CN108877357A - 一种基于家教机的交互方法及家教机 - Google Patents

一种基于家教机的交互方法及家教机 Download PDF

Info

Publication number
CN108877357A
CN108877357A CN201810646196.XA CN201810646196A CN108877357A CN 108877357 A CN108877357 A CN 108877357A CN 201810646196 A CN201810646196 A CN 201810646196A CN 108877357 A CN108877357 A CN 108877357A
Authority
CN
China
Prior art keywords
user
machine
private tutor
voice messaging
face information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810646196.XA
Other languages
English (en)
Inventor
朱文辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201810646196.XA priority Critical patent/CN108877357A/zh
Publication of CN108877357A publication Critical patent/CN108877357A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于家教机的交互方法及家教机,包括:当家教机检测到用户输出第一语音信息(例如,小布小布,我觉得很烦)之后,家教机可以再通过前置摄像头采集人脸信息(例如,用户的面部信息),在采集到人脸信息之后根据第一语音信息和人脸信息确定用户的当前情绪(例如,烦躁),进而,家教机再根据第一语音信息和人脸信息输出相匹配的引导内容(例如,舒缓的音乐);其中,引导内容用于引导用户调整当前情绪。实施本发明实施例,能够帮助学生调整情绪以提高学生对学习的兴趣,进而提高学生的学习效果以及用户使用粘稠度。

Description

一种基于家教机的交互方法及家教机
技术领域
本发明涉及家教机技术领域,具体涉及一种基于家教机的交互方法及家教机。
背景技术
对很多学生来说,学习的过程是很枯燥的。通常,在持续学习一段时间后,学生常会产生不开心、失落或者烦躁之类的情绪,以至于对学习的兴趣下降,在这种情况下再继续学习则会降低学生的学习效果,进而会降低家教机的用户使用粘稠度。
发明内容
本发明实施例公开了一种基于家教机的交互方法及家教机,能够帮助学生调整情绪以提高学生对学习的兴趣,进而提高学生的学习效果以及用户使用粘稠度。
本发明实施例第一方面公开了一种基于家教机的交互方法,所述方法包括:
所述家教机判断是否检测到第一语音信息;
如果检测到所述第一语音信息,所述家教机通过前置摄像头采集用户的人脸信息;
所述家教机根据所述第一语音信息和所述人脸信息确定用户的当前情绪;
所述家教机根据所述当前情绪和所述第一语音信息的内容输出相匹配的引导内容;其中,所述引导内容用于引导用户调整所述当前情绪。
作为一种可选的实施方式,在本发明实施例第一方面中,在所述家教机判断出检测到所述第一语音信息之后,以及在所述家教机通过所述前置摄像头采集用户的人脸信息之前,所述方法还包括:
所述家教机判断是否存在与所述第一语音信息对应的声纹特征匹配的预存声纹特征;
如果存在,所述家教机执行所述的通过前置摄像头采集用户的人脸信息;
所述家教机通过前置摄像头采集用户的人脸信息之后,以及在所述家教机根据所述第一语音信息和所述人脸信息确定用户的当前情绪之前,还包括:
所述家教机判断所述预存声纹特征对应的预存人脸信息是否与采集到的所述人脸信息匹配;
如果匹配,所述家教机执行所述的根据所述第一语音信息和所述人脸信息确定用户的当前情绪。
作为一种可选的实施方式,在本发明实施例第一方面中,在所述家教机判断出不存在与所述第一语音信息对应的声纹特征匹配的预存声纹特征之后,所述方法还包括:
所述家教机通过前置摄像头采集用户的人脸信息;
所述家教机将所述第一语音信息对应的声纹特征和所述人脸信息作为相互匹配的一对合法用户信息进行存储,并输出用于询问用户是否跳过指导教程的询问信息,所述指导教程用于指示用户使用所述家教机时的操作步骤;
如果检测到用户输入的用于表示跳过所述指导教程的跳过操作,所述家教机执行所述的根据所述第一语音信息和所述人脸信息确定用户的当前情绪。
作为一种可选的实施方式,在本发明实施例第一方面中,所述家教机判断是否检测到第一语音信息之前,所述方法还包括:
所述家教机判断所述家教机的当前状态是否为用户使用状态;
如果所述当前状态为所述用户使用状态,所述家教机判断所述家教机显示的当前界面是否为学习界面,当所述当前界面为所述学习界面时,判断所述学习界面的显示时长是否达到预设时长阈值,当所述显示时长达到所述预设时长阈值时,所述家教机执行所述的判断是否检测到第一语音信息;
所述方法还包括:
所述家教机根据在显示所述学习界面的过程中采集到的用户图像信息,确定用户的有效学习时长;
所述家教机根据在显示所述学习界面的过程中与用户的学习交互信息,确定用户的学习成果;
所述家教机根据所述有效学习时长以及所述学习成果,输出与所述有效学习时长以及所述学习成果相匹配的鼓励信息。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
所述家教机在输出所述引导内容之后,根据确定出的用户实时情绪判断是否需要继续引导用户,当判断出需要继续引导用户时,所述家教机向预先与所述家教机建立引导关系的所有终端设备中在当前时刻处于空闲状态的目标终端设备发送远程引导请求,所述远程引导请求用于请求对用户进行远程在线引导,所述远程引导请求包括所述第一语音信息、所述人脸信息、所述引导内容以及所述家教机在输出所述引导内容之后采集到的用户的状态信息;
所述家教机检测是否接收到所述目标终端设备针对所述远程引导请求反馈的远程引导响应,当接收到所述远程引导响应时,建立与所述目标终端设备之间的在线语音连接或在线视频连接,以实现对用户的远程在线引导。
本发明实施例第二方面公开了一种家教机,所述家教机包括:
第一判断单元,用于判断是否检测到第一语音信息;
第一采集单元,用于在所述第一判断单元判断出检测到所述第一语音信息之后,通过前置摄像头采集用户的人脸信息;
第一确定单元,用于根据所述第一语音信息和所述人脸信息确定用户的当前情绪;
输出单元,用于根据所述当前情绪和所述第一语音信息的内容输出相匹配的引导内容;其中,所述引导内容用于引导用户调整所述当前情绪。
作为一种可选的实施方式,在本发明实施例第二方面中,
所述第一判断单元,还用于在判断出检测到所述第一语音信息之后,以及在所述第一采集单元通过前置摄像头采集用户的人脸信息之前,判断是否存在与所述第一语音信息对应的声纹特征匹配的预存声纹特征;
所述第一采集单元,具体用于在所述第一判断单元判断出存在与所述第一语音信息对应的声纹特征匹配的预存声纹特征之后,通过前置摄像头采集用户的人脸信息;
所述第一判断单元,还用于在所述第一采集单元通过前置摄像头采集用户的人脸信息之后,以及在所述第一确定单元根据所述第一语音信息和所述人脸信息确定用户的当前情绪之前,判断所述预存声纹特征对应的预存人脸信息是否与采集到的所述人脸信息匹配;
所述第一确定单元,具体用于在所述第一判断单元判断出所述预存声纹特征对应的预存人脸信息与采集到的所述人脸信息匹配之后,根据所述第一语音信息和所述人脸信息确定用户的当前情绪。
作为一种可选的实施方式,在本发明实施例第二方面中,所述家教机还包括:
第二采集单元,用于在所述第一判断单元判断出不存在与所述第一语音信息对应的声纹特征匹配的预存声纹特征之后,通过前置摄像头采集用户的人脸信息;
存储输出单元,用于将所述第一语音信息对应的声纹特征和所述人脸信息作为相互匹配的一对合法用户信息进行存储,并输出用于询问用户是否跳过指导教程的询问信息,所述指导教程用于指示用户使用所述家教机时的操作步骤;
第二判断单元,用于判断是否检测到用户输入的用于表示跳过所述指导教程的跳过操作;
第二确定单元,用于在所述第二判断单元检测到用户输入的用于表示跳过所述指导教程的跳过操作之后,根据所述第一语音信息和所述人脸信息确定用户的当前情绪。
作为一种可选的实施方式,在本发明实施例第二方面中,所述家教机还包括:
第三判断单元,用于在所述第一判断单元判断出检测到所述第一语音信息之前,判断所述家教机的当前状态是否为用户使用状态;
所述第三判断单元,还用于在判断出所述家教机的当前状态为所述用户使用状态之后,判断所述家教机显示的当前界面是否为学习界面;
所述第三判断单元,还用于在判断出所述当前界面为所述学习界面之后,判断所述学习界面的显示时长是否达到预设时长阈值;
所述第一判断单元判断是否检测到第一语音信息的方式具体为:
在所述第三判断单元判断出所述家教机的当前状态为所述用户使用状态之后,以及判断出所述当前界面为所述学习界面之后,以及判断出所述学习界面的显示时长达到所述预设时长阈值之后,判断是否检测到第一语音信息;
所述家教机还包括:
第三确定单元,用于根据在显示所述学习界面的过程中采集到的用户图像信息,确定用户的有效学习时长;
所述第三确定单元,还用于根据在显示所述学习界面的过程中与用户的学习交互信息,确定用户的学习成果;
所述第三确定单元,还用于根据所述有效学习时长以及所述学习成果,输出与所述有效学习时长以及所述学习成果相匹配的鼓励信息。
作为一种可选的实施方式,在本发明实施例第二方面中,所述家教机还包括:
第四判断单元,用于在所述输出单元根据所述当前情绪和所述第一语音信息的内容输出相匹配的引导内容之后,根据确定出的用户实时情绪判断是否需要继续引导用户;
发送单元,用于在所述第四判断单元判断出需要继续引导用户之后,向预先与所述家教机建立引导关系的所有终端设备中在当前时刻处于空闲状态的目标终端设备发送远程引导请求,所述远程引导请求用于请求对用户进行远程在线引导,所述远程引导请求包括所述第一语音信息、所述人脸信息、所述引导内容以及所述家教机在输出所述引导内容之后采集到的用户的状态信息;
检测单元,用于检测是否接收到所述目标终端设备针对所述远程引导请求反馈的远程引导响应;
建立连接单元,用于在所述检测单元检测到接收到所述远程引导响应之后,建立与所述目标终端设备之间的在线语音连接或在线视频连接,以实现对用户的远程在线引导。
本发明实施例第三方面公开了一种家教机,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的基于家教机的交互方法。
本发明实施例第四方面公开了一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的基于家教机的交互方法。
本发明实施例第五方面公开了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面公开的基于家教机的交互方法。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,当家教机检测到用户输出第一语音信息(例如,小布小布,我觉得很烦)之后,家教机可以再通过前置摄像头采集人脸信息(例如,用户的面部信息),在采集到人脸信息之后根据第一语音信息和人脸信息确定用户的当前情绪(例如,烦躁),进而,家教机再根据第一语音信息和人脸信息输出相匹配的引导内容(例如,舒缓的音乐);其中,引导内容用于引导用户调整当前情绪。综上所述,实施本发明实施例,能够帮助学生调整情绪以提高学生对学习的兴趣,进而提高学生的学习效果以及用户使用粘稠度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于家教机的交互方法的流程示意图;
图2是本发明实施例公开的另一种基于家教机的交互方法的流程示意图;
图3是本发明实施例公开的又一种基于家教机的交互方法的流程示意图;
图4是本发明实施例公开的一种家教机的结构示意图;
图5是本发明实施例公开的另一种家教机的结构示意图;
图6是本发明实施例公开的又一种家教机的结构示意图;
图7是本发明实施例公开的又一种家教机的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种基于家教机的交互方法及家教机,能够帮助学生调整情绪以提高学生对学习的兴趣,进而提高学生的学习效果以及用户使用粘稠度。以下分别进行详细说明。
实施例一
请参阅图1,图1是本发明实施例公开的一种基于家教机的交互方法的流程示意图。如图1所示该基于家教机的交互方法可以包括步骤101-步骤104,其中:
101、家教机判断是否检测到第一语音信息,如果是,则执行步骤102,如果否,则执行步骤101。
本发明实施例中,作为一种可选的实施方式,家教机判断是否检测到第一语音信息的方式具体可以为:
家教机开启用户语音实时检测功能,并在检测到第一语音信息时判断第一语音信息的内容是否包括目标口令(例如,小布小布),如果包含目标口令,则默认检测到第一语音信息,如果不包含目标口令,则默认未检测到第一语音信息。这样能够在检测到语音信息中包括目标口令时确定家教机接收到用户输入的第一语音信息,降低了家教机对未包含目标口令的语音信息的误识别机率,提高了家教机对用户输入的第一语音信息的响应机率,改善了用户对家教机的使用体验。
在该可选的实施例中,进一步可选的,第一语音信息可以用于启动家教机或用于启动家教机的学习功能(如语音搜索功能),如果在检测到第一语音信息时,在执行上述的通过前置摄像头采集用户的人脸信息之前,家教机还可以执行以下操作:
家教机从检测到第一语音信息开始计时,并判断计时时长是否达到与家教机的用户的年龄相匹配的集中学习时长,如果计时时长达到集中学习时长,则执行上述的通过前置摄像头采集用户的人脸信息。
本发明实施例中,由于不同年龄的用户在开始学习时能够集中学习的时间不相同,因此,家教机可以在用户开始使用家教机学习时获取与家教机的用户的年龄相匹配的集中学习时长,并在用户使用家教机的实时时长达到该集中学习时长时,再采集用户的人脸信息,其中,集中学习时长为家教机的用户所能够集中精力学习的最大时长。这样只需在用户使用家教机学习的时长达到用户对应的集中学习时长时采集人脸信息,能够减少家教机的功耗。
举例来说,对于5岁的儿童,其能够集中精力学习的最大时长为20分钟,如果超过20分钟,该儿童可能会出现厌倦的情绪,因此,在检测到儿童语音输入了“小布小布,李白是谁”的语音信息之后,家教机确定儿童在通过家教机学习并开始计时学习时长,当该学习时长达到20分钟时,家教机通过其签字摄像头采集儿童的人脸信息,为分析儿童的当前情绪提供分析依据。
本发明实施例中,作为另一种可选的方式,家教机判断是否检测到第一语音信息的方式具体可以为:
家教机检测是否接收到第一语音信息,如果接收到第一语音信息,则通过声纹识别功能判断第一语音信息对应的目标声纹特征是否与预存合法声纹匹配,如果匹配,则默认检测到第一语音信息,如果不匹配,则默认未检测到第一语音信息。这样能够当第一语音信息不是合法用户输入时不对第一语音信息进行内容识别,以降低家教机的功耗。
102、家教机通过前置摄像头采集用户的人脸信息。
本发明实施例中,具体的,该人脸信息可以包括用户的表情信息、用户脸部某个部位(如眼部、眉毛等)的特征信息,本发明实施例不做限定。
103、家教机根据第一语音信息和人脸信息确定用户的当前情绪。
本发明实施例中,当前情绪可以为快乐、悲哀、恐惧以及愤怒中的至少一种,本发明实施例不作限定。
104、家教机根据当前情绪和第一语音信息的内容输出相匹配的引导内容;其中,引导内容用于引导用户调整当前情绪。
本发明实施例中,家教机根据当前情绪和第一语音信息的内容输出相匹配的引导内容的方式具体可以为:
家教机判断当前情绪是否为需调节情绪(例如,烦躁),如果是需调节情绪,则输出用于询问用户是否需要放松的提示信息;
当检测到用户输入的需要放松的操作时,家教机根据第一语音信息输出与第一语音信息(例如,“我好烦啊,我不想学习了,我想看动画片”)相匹配的引导内容(例如,动画片)。这样能够在用户(例如,学生)在情绪需要得到调节的时候,根据用户(例如,学生)的需求输出固定时长(例如,十分钟)的引导内容,以提高学生对学习的兴趣,进而提高学生的学习效果以及用户使用粘稠度。
作为一种可选的实施方式,步骤104之后,家教机还可以执行以下操作:
由输出引导内容时开始计时,并通过前置摄像头实时采集用户的当前人脸信息,并根据当前人脸信息确定用户的目标当前情绪;
判断目标当前情绪是否为需调节情绪,当判断出目标当前情绪不是需调节情绪时停止计时,得到情绪调节时长;
将该情绪调节时长作为引导内容的对应的输出有效时长存储。
可见,实施该可选的实施方式,能够根据用户的情绪变化,得到输出的引导内容对用户的情绪调节时长,以确定对调节用户情绪有效程度高的引导内容,进而提高对用户情绪的调节效率。需要说明的是,输出动画片10分钟时检测到用户的情绪转变为不需要调节的情绪,那么,该动画片的情绪调节时长为10分钟。
作为另一种可选的实施方式,步骤104之后,家教机还可以执行以下操作:
判断在预设时长内(例如,一个星期内)输出引导内容的次数是否超过上限次数,如果超过上限次数,则向与家教机建立连接的移动终端(例如,家长的手机)输出用于提示移动终端用户关注家教机用户情绪的提示信息;其中,该提示信息包括预设时长内输出引导内容的次数。
可见,实施该另一种可选的实施方式,能够实时关注学生用户的情绪,如果预设时长内(例如,一个星期内)输出引导内容的次数超过上限次数,则说明学生用户的情绪不稳定,需要家长关注,那么,家教机会向移动终端(例如,家长的手机)发送提示信息,以提示家长关注学生用户的情绪,进而使家长及时发现学生的情绪根源问题并解决,降低学生情绪问题对学习的影响。
可见,实施图1所描述的方法,能够帮助学生调整情绪以提高学生对学习的兴趣,进而提高学生的学习效果以及用户使用粘稠度;还能够提高家教机对用户输入的第一语音信息的响应机率,改善用户对家教机的使用体验;还能够当第一语音信息不是合法用户输入时不对第一语音信息进行内容识别,以降低家教机的功耗;还能够提示家长关注学生用户的情绪,进而使家长及时发现学生的情绪根源问题并解决,降低学生情绪问题对学习的影响。
实施例二
请参阅图2,图2是本发明实施例公开的另一种基于家教机的交互方法的流程示意图。如图2所示该基于家教机的交互方法可以包括步骤201-步骤208,其中:
201、家教机判断是否检测到第一语音信息,如果是,则执行步骤202,如果否,则执行步骤201。
202、家教机判断是否存在与第一语音信息对应的声纹特征匹配的预存声纹特征,如果是,则执行步骤205,如果否,则执行步骤203。
203、家教机通过前置摄像头采集用户的人脸信息。
本发明实施例中,可选的,家教机通过前置摄像头采集用户的人脸信息的方式具体可以为:
家教机根据前置摄像头采集用户的人脸信息并判断该人脸信息与预存的合法人脸信息是否匹配,如果匹配,则执行步骤204。这样能够通过对用户的合法性的检测,提高了专属合法用户的家教机的使用安全性。
204、家教机将第一语音信息对应的声纹特征和人脸信息作为相互匹配的一对合法用户信息进行存储,并输出用于询问用户是否跳过指导教程的询问信息,指导教程用于指示用户使用家教机时的操作步骤。
本发明实施例中,在家教机检测到用户输入的用于表示跳过指导教程的跳过操作之后,执行步骤207;当家教机未检测到用户输入的用于表示跳过指导教程的跳过操作时,执行步骤205。
本发明实施例中,指导教程可以包括动画演示、真人视频演示、语音指引以及文字指引中至少一种,本发明实施例不作限定。
205、家教机通过前置摄像头采集用户的人脸信息。
206、家教机判断预存声纹特征对应的预存人脸信息是否与采集到的人脸信息匹配,如果是,则执行步骤207,如果否,则结束本次流程。
需要说明的是,可选的,在家教机判断出预存声纹特征对应的预存人脸信息与采集到的人脸信息不匹配之后,家教机还可以执行以下步骤:
向与家教机已建立连接的移动终端(例如,家长的手机)发送采集到的人脸信息,并向移动终端输出用于提示家教机存在被盗用风险的告警信息;
判断是否检测到由移动终端发送的锁定指令,如果接收到锁定指令,将家教机锁定,以使家教机的当前所处状态转换为不可使用状态。
可见,这样能够通过将与预存人脸信息不匹配的人脸信息发送给家长,以使得家长在孩子的家教机被他人盗用时获知他人面部信息,以提高从他人手找回家教机的概率;还能够在人脸信息与预存人脸信息不匹配时根据移动终端发送的锁定指令锁定家教机,提高了家教机的使用安全性。
207、家教机根据第一语音信息和人脸信息确定用户的当前情绪。
208、家教机根据当前情绪和第一语音信息的内容输出相匹配的引导内容;其中,引导内容用于引导用户调整当前情绪。
需要说明的是,作为一种可选的实施方式,在步骤204之后,以及在步骤205之前,家教机还可以执行以下步骤:
当家教机未检测到用户输入的用于表示跳过指导教程的跳过操作时,通过第一语音信息对应的声纹特征和人脸信息确定用户当前所在的年龄段;
从云端数据库中获取与用户当前所在的年龄相对应的当前搜索热度最高的卡通人物的动画数据;
根据卡通人物的动画数据,以动画演示的形式输出指导教程。
可见,实施该可选的实施方式,能够向新用户(例如,儿童)以动画演示的形式输出指导教程,吸引儿童的注意力,以使得儿童能够认真观看指导教程,进而学会使用家教机,进而提高学习效率和学习效果。
可见,实施图2所描述的方法,能够帮助学生调整情绪以提高学生对学习的兴趣,进而提高学生的学习效果以及用户使用粘稠度;还能够提高家教机对用户输入的第一语音信息的响应机率,改善用户对家教机的使用体验;还能够当第一语音信息不是合法用户输入时不对第一语音信息进行内容识别,以降低家教机的功耗;还能够提示家长关注学生用户的情绪,进而使家长及时发现学生的情绪根源问题并解决,降低学生情绪问题对学习的影响;还能够提高从他人手找回家教机的概率;还能够在人脸信息与预存人脸信息不匹配时根据移动终端发送的锁定指令锁定家教机,提高了家教机的使用安全性;还能够提高用户的学习效率和学习效果。
实施例三
请参阅图3,图3是本发明实施例公开的又一种基于家教机的交互方法的流程示意图。如图3所示该基于家教机的交互方法可以包括步骤301-步骤317,其中:
301、家教机判断家教机的当前状态是否为用户使用状态,如果是,则执行步骤302,如果否,则执行步骤301。
本发明实施例中,可选的,家教机判断家教机的当前状态是否为用户使用状态的方式具体可以为:
判断是否在预设时长内未检测到用户操作,如果是,则确定家教机的当前状态非用户使用状态,如果否,则确定家教机的当前状态为用户使用状态。
302、家教机判断家教机显示的当前界面是否为学习界面,如果是,则执行步骤303,如果否,则执行步骤302;
303、家教机判断学习界面的显示时长是否达到预设时长阈值,如果是,则执行步骤307,如果否,则执行步骤304。
304、家教机根据在显示学习界面的过程中采集到的用户图像信息,确定用户的有效学习时长。
本发明实施例中,可选的,家教机根据在显示学习界面的过程中采集到的用户图像信息,确定用户的有效学习时长的方式具体可以为:
家教机在显示学习界面的过程中通过摄像头获取至少一张实时图像,并从全部实时图像中确定出包含人脸信息的实时图像,再根据对全部包含人脸信息的实时图像的分析确定出用于表示用户处于学习状态的目标实时图像,再根据所有的目标实时图像计算用户的有效学习时长。
其中,具体地,当家教机对很多包含人脸信息的实时图像中的其中一张实时图像进行分析时,家教机可以在判断出该实时图像包含五官信息以及根据该五官信息判断出用户情绪愉悦之后,确定该实时图像的拍摄时刻为用户有效学习时长中的其中一个时刻。
305、家教机根据在显示学习界面的过程中与用户的学习交互信息,确定用户的学习成果。
306、家教机根据有效学习时长以及学习成果,输出与有效学习时长以及学习成果相匹配的鼓励信息。
举例来说,当家教机判断出当前界面为数学做题界面时,家教机默认学生在使用家教机进行学习,进而,家教机还可以根据对用户图像信息的获取确定出用户的有效学习时长,当有效学习时长达到30分钟时且学生在数学做题界面做对了至少三道题时输出“你真是太棒了,再坚持十分钟,就可以看动画片了”。
步骤307~步骤314,针对步骤307~步骤314的描述,请参照实施例二中针对步骤201~步骤208的详细描述,本发明实施例不再赘述。
315、家教机在输出引导内容之后,根据确定出的用户实时情绪判断是否需要继续引导用户,如果是,则执行步骤315,如果否,则执行步骤314。
316、家教机向预先与家教机建立引导关系的所有终端设备中在当前时刻处于空闲状态的目标终端设备发送远程引导请求,远程引导请求用于请求对用户进行远程在线引导,远程引导请求包括第一语音信息、人脸信息、引导内容以及家教机在输出引导内容之后采集到的用户的状态信息。
317、家教机检测是否接收到目标终端设备针对远程引导请求反馈的远程引导响应,当接收到远程引导响应时,建立与目标终端设备之间的在线语音连接或在线视频连接,以实现对用户的远程在线引导。
可见,实施图3所描述的方法,能够提高学生的学习效果以及用户使用粘稠度;还能够提高家教机对用户输入的第一语音信息的响应机率,改善用户对家教机的使用体验;还能够降低家教机的功耗;还能够提示家长关注学生用户的情绪,进而使家长及时发现学生的情绪根源问题并解决,降低学生情绪问题对学习的影响;还能够提高从他人手找回家教机的概率;还能够在人脸信息与预存人脸信息不匹配时根据移动终端发送的锁定指令锁定家教机,提高了家教机的使用安全性;还能够提高用户的学习效率和学习效果。
实施例四
请参阅图4,图4是本发明实施例公开的一种家教机的结构示意图。如图4所示,该家教机可以包括:第一判断单元401、第一采集单元402、第一确定单元403以及输出单元404,其中,
第一判断单元401,用于判断是否检测到第一语音信息。
本发明实施例中,作为一种可选的实施方式,第一判断单元401判断是否检测到第一语音信息的方式具体可以为:
第一判断单元401开启用户语音实时检测功能,并在检测到第一语音信息时判断第一语音信息的内容是否包括目标口令(例如,小布小布),如果包含目标口令,则默认检测到第一语音信息,如果不包含目标口令,则默认未检测到第一语音信息。这样能够在检测到语音信息中包括目标口令时确定家教机接收到用户输入的第一语音信息,降低了家教机对未包含目标口令的语音信息的误识别机率,提高了家教机对用户输入的第一语音信息的响应机率,改善了用户对家教机的使用体验。
在该可选的实施例中,进一步可选的,第一语音信息可以用于启动家教机或用于启动家教机的学习功能(如语音搜索功能),第一判断单元401,还可以用于在检测到第一语音信息时,以及在第一采集单元402通过前置摄像头采集用户的人脸信息之前,
从检测到第一语音信息开始计时,并判断计时时长是否达到与家教机的用户的年龄相匹配的集中学习时长,如果计时时长达到集中学习时长,则触发第一采集单元402执行通过前置摄像头采集用户的人脸信息的操作。
本发明实施例中,由于不同年龄的用户在开始学习时能够集中学习的时间不相同,因此,家教机可以在用户开始使用家教机学习时获取与家教机的用户的年龄相匹配的集中学习时长,并在用户使用家教机的实时时长达到该集中学习时长时,再采集用户的人脸信息,其中,集中学习时长为家教机的用户所能够集中精力学习的最大时长。这样只需在用户使用家教机学习的时长达到用户对应的集中学习时长时采集人脸信息,能够减少家教机的功耗。
本发明实施例中,作为另一种可选的方式,第一判断单元401判断是否检测到第一语音信息的方式具体可以为:
第一判断单元401检测是否接收到第一语音信息,如果接收到第一语音信息,则通过声纹识别功能判断第一语音信息对应的目标声纹特征是否与预存合法声纹匹配,如果匹配,则默认检测到第一语音信息,如果不匹配,则默认未检测到第一语音信息。这样能够当第一语音信息不是合法用户输入时不对第一语音信息进行内容识别,以降低家教机的功耗。
第一采集单元402,用于在第一判断单元401判断出检测到第一语音信息之后,通过前置摄像头采集用户的人脸信息。
本发明实施例中,具体的,该人脸信息可以包括用户的表情信息、用户脸部某个部位(如眼部、眉毛等)的特征信息,本发明实施例不做限定。
本发明实施例中,在第一采集单元402通过前置摄像头采集到用户的人脸信息之后,触发第一确定单元403启动。
第一确定单元403,用于根据第一语音信息和人脸信息确定用户的当前情绪。
本发明实施例中,当前情绪可以为快乐、悲哀、恐惧以及愤怒中的至少一种,本发明实施例不作限定。
本发明实施例中,在第一采集单元402通过前置摄像头采集到用户的人脸信息之后,以及在第一确定单元403根据第一语音信息和人脸信息确定用户的当前情绪之后,触发输出单元404启动。
输出单元404,用于根据当前情绪和第一语音信息的内容输出相匹配的引导内容;其中,引导内容用于引导用户调整当前情绪。
本发明实施例中,输出单元404根据当前情绪和第一语音信息的内容输出相匹配的引导内容的方式具体可以为:
输出单元404判断当前情绪是否为需调节情绪(例如,烦躁),如果是需调节情绪,则输出用于询问用户是否需要放松的提示信息;
当检测到用户输入的需要放松的操作时,输出单元404根据第一语音信息输出与第一语音信息(例如,“我好烦啊,我不想学习了,我想看动画片”)相匹配的引导内容(例如,动画片)。这样能够在用户(例如,学生)在情绪需要得到调节的时候,根据用户(例如,学生)的需求输出固定时长(例如,十分钟)的引导内容,以提高学生对学习的兴趣,进而提高学生的学习效果以及用户使用粘稠度。
作为一种可选的实施方式,输出单元404,还可以用于在根据当前情绪和第一语音信息的内容输出相匹配的引导内容之后,
由输出引导内容时开始计时,并通过前置摄像头实时采集用户的当前人脸信息,并根据当前人脸信息确定用户的目标当前情绪;
判断目标当前情绪是否为需调节情绪,当判断出目标当前情绪不是需调节情绪时停止计时,得到情绪调节时长;
将该情绪调节时长作为引导内容的对应的输出有效时长存储。
可见,实施该可选的实施方式,能够根据用户的情绪变化,得到输出的引导内容对用户的情绪调节时长,以确定对调节用户情绪有效程度高的引导内容,进而提高对用户情绪的调节效率。需要说明的是,输出动画片10分钟时检测到用户的情绪转变为不需要调节的情绪,那么,该动画片的情绪调节时长为10分钟。
作为另一种可选的实施方式,输出单元404,还可以用于在根据当前情绪和第一语音信息的内容输出相匹配的引导内容之后,
判断在预设时长内(例如,一个星期内)输出引导内容的次数是否超过上限次数,如果超过上限次数,则向与家教机建立连接的移动终端(例如,家长的手机)输出用于提示移动终端用户关注家教机用户情绪的提示信息;其中,该提示信息包括预设时长内输出引导内容的次数。
可见,实施该另一种可选的实施方式,能够实时关注学生用户的情绪,如果预设时长内(例如,一个星期内)输出引导内容的次数超过上限次数,则说明学生用户的情绪不稳定,需要家长关注,那么,家教机会向移动终端(例如,家长的手机)发送提示信息,以提示家长关注学生用户的情绪,进而使家长及时发现学生的情绪根源问题并解决,降低学生情绪问题对学习的影响。
可见,实施图4所描述的家教机能够帮助学生调整情绪以提高学生对学习的兴趣,进而提高学生的学习效果以及用户使用粘稠度;还能够提高家教机对用户输入的第一语音信息的响应机率,改善用户对家教机的使用体验;还能够当第一语音信息不是合法用户输入时不对第一语音信息进行内容识别,以降低家教机的功耗;还能够提示家长关注学生用户的情绪,进而使家长及时发现学生的情绪根源问题并解决,降低学生情绪问题对学习的影响。
实施例五
请参阅图5,图5是本发明实施例公开的另一种家教机的结构示意图。其中,图5所示的家教机是由图4所示的家教机进行优化得到的。与图4所示的家教机相比较,图5所示的家教机还可以包括:第二采集单元405、存储输出单元406、第二判断单元407以及第二确定单元408,其中,
第二采集单元405,用于在第一判断单元401判断出不存在与第一语音信息对应的声纹特征匹配的预存声纹特征之后,通过前置摄像头采集用户的人脸信息。
本发明实施例中,可选的,第二采集单元405通过前置摄像头采集用户的人脸信息的方式具体可以为:
第二采集单元405根据前置摄像头采集用户的人脸信息并判断该人脸信息与预存的合法人脸信息是否匹配,如果匹配,则触发存储输出单元406执行将第一语音信息对应的声纹特征和人脸信息作为相互匹配的一对合法用户信息进行存储,并输出用于询问用户是否跳过指导教程的询问信息的操作。这样能够通过对用户的合法性的检测,提高了专属合法用户的家教机的使用安全性。
本发明实施例中,在第二采集单元405通过前置摄像头采集到用户的人脸信息之后,触发存储输出单元406启动。
存储输出单元406,用于将第一语音信息对应的声纹特征和人脸信息作为相互匹配的一对合法用户信息进行存储,并输出用于询问用户是否跳过指导教程的询问信息,指导教程用于指示用户使用家教机时的操作步骤。
本发明实施例中,指导教程可以包括动画演示、真人视频演示、语音指引以及文字指引中至少一种,本发明实施例不作限定。
本发明实施例中,在存储输出单元406将第一语音信息对应的声纹特征和人脸信息作为相互匹配的一对合法用户信息进行存储,并输出用于询问用户是否跳过指导教程的询问信息之后,触发第二判断单元407启动。
第二判断单元407,用于判断是否检测到用户输入的用于表示跳过指导教程的跳过操作。
第二确定单元408,用于在第二判断单元407检测到用户输入的用于表示跳过指导教程的跳过操作之后,根据第一语音信息和人脸信息确定用户的当前情绪。
第一判断单元401,还用于在判断出检测到第一语音信息之后,以及在第一采集单元通过前置摄像头采集用户的人脸信息之前,判断是否存在与第一语音信息对应的声纹特征匹配的预存声纹特征。
第一采集单元402,具体用于在第一判断单元401判断出存在与第一语音信息对应的声纹特征匹配的预存声纹特征之后,通过前置摄像头采集用户的人脸信息。
第一判断单元401,还用于在第一采集单元402通过前置摄像头采集用户的人脸信息之后,以及在第一确定单元403根据第一语音信息和人脸信息确定用户的当前情绪之前,判断预存声纹特征对应的预存人脸信息是否与采集到的人脸信息匹配。
需要说明的是,可选的,第一判断单元401,还可以用于在判断出预存声纹特征对应的预存人脸信息与采集到的人脸信息不匹配之后,
向与家教机已建立连接的移动终端(例如,家长的手机)发送采集到的人脸信息,并向移动终端输出用于提示家教机存在被盗用风险的告警信息;
判断是否检测到由移动终端发送的锁定指令,如果接收到锁定指令,将家教机锁定,以使家教机的当前所处状态转换为不可使用状态。
可见,这样能够通过将与预存人脸信息不匹配的人脸信息发送给家长,以使得家长在孩子的家教机被他人盗用时获知他人面部信息,以提高从他人手找回家教机的概率;还能够在人脸信息与预存人脸信息不匹配时根据移动终端发送的锁定指令锁定家教机,提高了家教机的使用安全性。
第一确定单元403,具体用于在第一判断单元401判断出预存声纹特征对应的预存人脸信息与采集到的人脸信息匹配之后,根据第一语音信息和人脸信息确定用户的当前情绪。
需要说明的是,作为一种可选的实施方式,第二采集单元405,还可以用于在第二采集单元405通过前置摄像头采集用户的人脸信息之后,以及在存储输出单元406将第一语音信息对应的声纹特征和人脸信息作为相互匹配的一对合法用户信息进行存储,并输出用于询问用户是否跳过指导教程的询问信息之前,
当家教机未检测到用户输入的用于表示跳过指导教程的跳过操作时,通过第一语音信息对应的声纹特征和人脸信息确定用户当前所在的年龄段;
从云端数据库中获取与用户当前所在的年龄相对应的当前搜索热度最高的卡通人物的动画数据;
根据卡通人物的动画数据,以动画演示的形式输出指导教程。
可见,实施该可选的实施方式,能够向新用户(例如,儿童)以动画演示的形式输出指导教程,吸引儿童的注意力,以使得儿童能够认真观看指导教程,进而学会使用家教机,进而提高学习效率和学习效果。
可见,实施图5所描述的家教机能够帮助学生调整情绪以提高学生对学习的兴趣,进而提高学生的学习效果以及用户使用粘稠度;还能够提高家教机对用户输入的第一语音信息的响应机率,改善用户对家教机的使用体验;还能够当第一语音信息不是合法用户输入时不对第一语音信息进行内容识别,以降低家教机的功耗;还能够提示家长关注学生用户的情绪,进而使家长及时发现学生的情绪根源问题并解决,降低学生情绪问题对学习的影响;还能够提高从他人手找回家教机的概率;还能够在人脸信息与预存人脸信息不匹配时根据移动终端发送的锁定指令锁定家教机,提高了家教机的使用安全性;还能够提高用户的学习效率和学习效果。
实施例六
请参阅图6,图6是本发明实施例公开的又一种家教机的结构示意图。其中,图6所示的家教机是由图5所示的家教机进行优化得到的。与图5所示的家教机相比较,图6所示的家教机还可以包括:第三判断单元409、第三确定单元410、第四判断单元411、发送单元412、检测单元413以及建立连接单元414,其中,
第三判断单元409,用于在第一判断单元401判断出检测到第一语音信息之前,判断家教机的当前状态是否为用户使用状态。
本发明实施例中,可选的,第三判断单元409判断家教机的当前状态是否为用户使用状态的方式具体可以为:
判断是否在预设时长内未检测到用户操作,如果是,则确定家教机的当前状态非用户使用状态,如果否,则确定家教机的当前状态为用户使用状态。
第三判断单元409,还用于在判断出家教机的当前状态为用户使用状态之后,判断家教机显示的当前界面是否为学习界面。
第三判断单元409,还用于在判断出当前界面为学习界面之后,判断学习界面的显示时长是否达到预设时长阈值。
第一判断单元401判断是否检测到第一语音信息的方式具体为:
在第三判断单元409判断出家教机的当前状态为用户使用状态之后,以及判断出当前界面为学习界面之后,以及判断出学习界面的显示时长达到预设时长阈值之后,判断是否检测到第一语音信息。
本发明实施例中,当第一判断单元401判断出未检测到第一语音信息时,触发第三确定单元410启动。
第三确定单元410,用于根据在显示学习界面的过程中采集到的用户图像信息,确定用户的有效学习时长。
本发明实施例中,可选的,第三确定单元410根据在显示学习界面的过程中采集到的用户图像信息,确定用户的有效学习时长的方式具体可以为:
第三确定单元410在显示学习界面的过程中通过摄像头获取至少一张实时图像,并从全部实时图像中确定出包含人脸信息的实时图像,再根据对全部包含人脸信息的实时图像的分析确定出用于表示用户处于学习状态的目标实时图像,再根据所有的目标实时图像计算用户的有效学习时长。
其中,具体地,当第三确定单元410对很多包含人脸信息的实时图像中的其中一张实时图像进行分析时,第三确定单元410可以在判断出该实时图像包含五官信息以及根据该五官信息判断出用户情绪愉悦之后,确定该实时图像的拍摄时刻为用户有效学习时长中的其中一个时刻。
第三确定单元410,还用于根据在显示学习界面的过程中与用户的学习交互信息,确定用户的学习成果。
第三确定单元410,还用于根据有效学习时长以及学习成果,输出与有效学习时长以及学习成果相匹配的鼓励信息。
第四判断单元411,用于在输出单元404根据当前情绪和第一语音信息的内容输出相匹配的引导内容之后,根据确定出的用户实时情绪判断是否需要继续引导用户。
发送单元412,用于在第四判断单元411判断出需要继续引导用户之后,向预先与家教机建立引导关系的所有终端设备中在当前时刻处于空闲状态的目标终端设备发送远程引导请求,远程引导请求用于请求对用户进行远程在线引导,远程引导请求包括第一语音信息、人脸信息、引导内容以及家教机在输出引导内容之后采集到的用户的状态信息。
本发明实施例中,在发送单元412向预先与家教机建立引导关系的所有终端设备中在当前时刻处于空闲状态的目标终端设备发送远程引导请求之后,触发检测单元413启动。
检测单元413,用于检测是否接收到目标终端设备针对远程引导请求反馈的远程引导响应。
建立连接单元414,用于在检测单元413检测到接收到远程引导响应之后,建立与目标终端设备之间的在线语音连接或在线视频连接,以实现对用户的远程在线引导。
可见,实施图6所描述的家教机能够提高学生的学习效果以及用户使用粘稠度;还能够提高家教机对用户输入的第一语音信息的响应机率,改善用户对家教机的使用体验;还能够降低家教机的功耗;还能够提示家长关注学生用户的情绪,进而使家长及时发现学生的情绪根源问题并解决,降低学生情绪问题对学习的影响;还能够提高从他人手找回家教机的概率;还能够在人脸信息与预存人脸信息不匹配时根据移动终端发送的锁定指令锁定家教机,提高了家教机的使用安全性;还能够提高用户的学习效率和学习效果。
实施例七
请参阅图7,图7是本发明实施例公开的又一种家教机的结构示意图。如图7所示,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。
参考图7,家教机包括:射频(Radio Frequency,RF)电路710、存储器720、输入单元730、显示单元740、传感器750、音频电路760、无线保真(wireless fidelity,WiFi)模块770、处理器780、电源790以及摄像头7100等部件。本领域技术人员可以理解,图7中示出的家教机结构并不构成对家教机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图7对家教机的各个构成部件进行具体的介绍:
RF电路710可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器780处理;另外,将设计上行的数据发送给基站。通常,RF电路710包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路710还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器720可用于存储软件程序以及模块,处理器780通过运行存储在存储器720的软件程序以及模块,从而执行家教机的各种功能应用以及数据处理。存储器720可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据家教机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器720可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元730可用于接收输入的数字或字符信息,以及产生与家教机的用户设置以及功能控制有关的键信号输入。具体地,输入单元730可包括触控面板731以及其他输入设备732。触控面板731,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板731上或在触控面板731附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板731可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器780,并能接收处理器780发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板731。除了触控面板731,输入单元730还可以包括其他输入设备732。具体地,其他输入设备732可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元740可用于显示由用户输入的信息或提供给用户的信息以及家教机的各种菜单。显示单元740可包括显示面板741,可选的,可以采用液晶显示器(Liquid CrystalDisplay,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板741。进一步的,触控面板731可覆盖显示面板741,当触控面板731检测到在其上或附近的触摸操作后,传送给处理器780以确定触摸事件的类型,随后处理器780根据触摸事件的类型在显示面板741上提供相应的视觉输出。虽然在图7中,触控面板731与显示面板741是作为两个独立的部件来实现家教机的输入和输入功能,但是在某些实施例中,可以将触控面板731与显示面板741集成而实现家教机的输入和输出功能。
家教机还可包括至少一种传感器750,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板741的亮度,接近传感器可在家教机移动到耳边时,关闭显示面板741和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别家教机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于家教机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路760、扬声器761,传声器762可提供用户与家教机之间的音频接口。音频电路760可将接收到的音频数据转换后的电信号,传输到扬声器761,由扬声器761转换为声音信号输出;另一方面,传声器762将收集的声音信号转换为电信号,由音频电路760接收后转换为音频数据,再将音频数据输出处理器780处理后,经RF电路710以发送给比如另一家教机,或者将音频数据输出至存储器720以便进一步处理。
WiFi属于短距离无线传输技术,家教机通过WiFi模块770可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图7示出了WiFi模块770,但是可以理解的是,其并不属于家教机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器780是家教机的控制中心,利用各种接口和线路连接整个家教机的各个部分,通过运行或执行存储在存储器720内的软件程序和/或模块,以及调用存储在存储器720内的数据,执行家教机的各种功能和处理数据,从而对家教机进行整体监控。可选的,处理器780可包括一个或多个处理单元;优选的,处理器780可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器780中。
家教机还包括给各个部件供电的电源790(比如电池),优选的,电源可以通过电源管理系统与处理器780逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,家教机还可以包括蓝牙模块等,在此不再赘述。
在本发明实施例中,该家教机所包括的处理器780调用存储在存储器720内的软件程序具体执行以下操作:
判断是否检测到第一语音信息;
在判断出检测到第一语音信息之后,通过摄像头7100的前置摄像头采集用户的人脸信息;
根据第一语音信息和人脸信息确定用户的当前情绪;
根据当前情绪和第一语音信息的内容输出相匹配的引导内容;其中,引导内容用于引导用户调整当前情绪。
可见,实施图7所描述的家教机能够帮助学生调整情绪以提高学生对学习的兴趣,进而提高学生的学习效果以及用户使用粘稠度。
以上所述,以上实施例仅用以说明本申请的技术方案而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,然而本领域的普通技术人员应当理解;其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于家教机的交互方法,其特征在于,所述方法包括:
所述家教机判断是否检测到第一语音信息;
如果检测到所述第一语音信息,所述家教机通过前置摄像头采集用户的人脸信息;
所述家教机根据所述第一语音信息和所述人脸信息确定用户的当前情绪;
所述家教机根据所述当前情绪和所述第一语音信息的内容输出相匹配的引导内容;其中,所述引导内容用于引导用户调整所述当前情绪。
2.根据权利要求1所述的方法,其特征在于,在所述家教机判断出检测到所述第一语音信息之后,以及在所述家教机通过所述前置摄像头采集用户的人脸信息之前,所述方法还包括:
所述家教机判断是否存在与所述第一语音信息对应的声纹特征匹配的预存声纹特征;
如果存在,所述家教机执行所述的通过前置摄像头采集用户的人脸信息;
所述家教机通过前置摄像头采集用户的人脸信息之后,以及在所述家教机根据所述第一语音信息和所述人脸信息确定用户的当前情绪之前,还包括:
所述家教机判断所述预存声纹特征对应的预存人脸信息是否与采集到的所述人脸信息匹配;
如果匹配,所述家教机执行所述的根据所述第一语音信息和所述人脸信息确定用户的当前情绪。
3.根据权利要求2所述的方法,其特征在于,在所述家教机判断出不存在与所述第一语音信息对应的声纹特征匹配的预存声纹特征之后,所述方法还包括:
所述家教机通过前置摄像头采集用户的人脸信息;
所述家教机将所述第一语音信息对应的声纹特征和所述人脸信息作为相互匹配的一对合法用户信息进行存储,并输出用于询问用户是否跳过指导教程的询问信息,所述指导教程用于指示用户使用所述家教机时的操作步骤;
如果检测到用户输入的用于表示跳过所述指导教程的跳过操作,所述家教机执行所述的根据所述第一语音信息和所述人脸信息确定用户的当前情绪。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述家教机判断是否检测到第一语音信息之前,所述方法还包括:
所述家教机判断所述家教机的当前状态是否为用户使用状态;
如果所述当前状态为所述用户使用状态,所述家教机判断所述家教机显示的当前界面是否为学习界面,当所述当前界面为所述学习界面时,判断所述学习界面的显示时长是否达到预设时长阈值,当所述显示时长达到所述预设时长阈值时,所述家教机执行所述的判断是否检测到第一语音信息;
所述方法还包括:
所述家教机根据在显示所述学习界面的过程中采集到的用户图像信息,确定用户的有效学习时长;
所述家教机根据在显示所述学习界面的过程中与用户的学习交互信息,确定用户的学习成果;
所述家教机根据所述有效学习时长以及所述学习成果,输出与所述有效学习时长以及所述学习成果相匹配的鼓励信息。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
所述家教机在输出所述引导内容之后,根据确定出的用户实时情绪判断是否需要继续引导用户,当判断出需要继续引导用户时,所述家教机向预先与所述家教机建立引导关系的所有终端设备中在当前时刻处于空闲状态的目标终端设备发送远程引导请求,所述远程引导请求用于请求对用户进行远程在线引导,所述远程引导请求包括所述第一语音信息、所述人脸信息、所述引导内容以及所述家教机在输出所述引导内容之后采集到的用户的状态信息;
所述家教机检测是否接收到所述目标终端设备针对所述远程引导请求反馈的远程引导响应,当接收到所述远程引导响应时,建立与所述目标终端设备之间的在线语音连接或在线视频连接,以实现对用户的远程在线引导。
6.一种家教机,其特征在于,所述家教机包括:
第一判断单元,用于判断是否检测到第一语音信息;
第一采集单元,用于在所述第一判断单元判断出检测到所述第一语音信息之后,通过前置摄像头采集用户的人脸信息;
第一确定单元,用于根据所述第一语音信息和所述人脸信息确定用户的当前情绪;
输出单元,用于根据所述当前情绪和所述第一语音信息的内容输出相匹配的引导内容;其中,所述引导内容用于引导用户调整所述当前情绪。
7.根据权利要求6所述的家教机,其特征在于,
所述第一判断单元,还用于在判断出检测到所述第一语音信息之后,以及在所述第一采集单元通过前置摄像头采集用户的人脸信息之前,判断是否存在与所述第一语音信息对应的声纹特征匹配的预存声纹特征;
所述第一采集单元,具体用于在所述第一判断单元判断出存在与所述第一语音信息对应的声纹特征匹配的预存声纹特征之后,通过前置摄像头采集用户的人脸信息;
所述第一判断单元,还用于在所述第一采集单元通过前置摄像头采集用户的人脸信息之后,以及在所述第一确定单元根据所述第一语音信息和所述人脸信息确定用户的当前情绪之前,判断所述预存声纹特征对应的预存人脸信息是否与采集到的所述人脸信息匹配;
所述第一确定单元,具体用于在所述第一判断单元判断出所述预存声纹特征对应的预存人脸信息与采集到的所述人脸信息匹配之后,根据所述第一语音信息和所述人脸信息确定用户的当前情绪。
8.根据权利要求7所述的家教机,其特征在于,所述家教机还包括:
第二采集单元,用于在所述第一判断单元判断出不存在与所述第一语音信息对应的声纹特征匹配的预存声纹特征之后,通过前置摄像头采集用户的人脸信息;
存储输出单元,用于将所述第一语音信息对应的声纹特征和所述人脸信息作为相互匹配的一对合法用户信息进行存储,并输出用于询问用户是否跳过指导教程的询问信息,所述指导教程用于指示用户使用所述家教机时的操作步骤;
第二判断单元,用于判断是否检测到用户输入的用于表示跳过所述指导教程的跳过操作;
第二确定单元,用于在所述第二判断单元检测到用户输入的用于表示跳过所述指导教程的跳过操作之后,根据所述第一语音信息和所述人脸信息确定用户的当前情绪。
9.根据权利要求6~8任一项所述的家教机,其特征在于,所述家教机还包括:
第三判断单元,用于在所述第一判断单元判断出检测到所述第一语音信息之前,判断所述家教机的当前状态是否为用户使用状态;
所述第三判断单元,还用于在判断出所述家教机的当前状态为所述用户使用状态之后,判断所述家教机显示的当前界面是否为学习界面;
所述第三判断单元,还用于在判断出所述当前界面为所述学习界面之后,判断所述学习界面的显示时长是否达到预设时长阈值;
所述第一判断单元判断是否检测到第一语音信息的方式具体为:
在所述第三判断单元判断出所述家教机的当前状态为所述用户使用状态之后,以及判断出所述当前界面为所述学习界面之后,以及判断出所述学习界面的显示时长达到所述预设时长阈值之后,判断是否检测到第一语音信息;
所述家教机还包括:
第三确定单元,用于根据在显示所述学习界面的过程中采集到的用户图像信息,确定用户的有效学习时长;
所述第三确定单元,还用于根据在显示所述学习界面的过程中与用户的学习交互信息,确定用户的学习成果;
所述第三确定单元,还用于根据所述有效学习时长以及所述学习成果,输出与所述有效学习时长以及所述学习成果相匹配的鼓励信息。
10.根据权利要求6~9任一项所述的家教机,其特征在于,所述家教机还包括:
第四判断单元,用于在所述输出单元根据所述当前情绪和所述第一语音信息的内容输出相匹配的引导内容之后,根据确定出的用户实时情绪判断是否需要继续引导用户;
发送单元,用于在所述第四判断单元判断出需要继续引导用户之后,向预先与所述家教机建立引导关系的所有终端设备中在当前时刻处于空闲状态的目标终端设备发送远程引导请求,所述远程引导请求用于请求对用户进行远程在线引导,所述远程引导请求包括所述第一语音信息、所述人脸信息、所述引导内容以及所述家教机在输出所述引导内容之后采集到的用户的状态信息;
检测单元,用于检测是否接收到所述目标终端设备针对所述远程引导请求反馈的远程引导响应;
建立连接单元,用于在所述检测单元检测到接收到所述远程引导响应之后,建立与所述目标终端设备之间的在线语音连接或在线视频连接,以实现对用户的远程在线引导。
CN201810646196.XA 2018-06-21 2018-06-21 一种基于家教机的交互方法及家教机 Pending CN108877357A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810646196.XA CN108877357A (zh) 2018-06-21 2018-06-21 一种基于家教机的交互方法及家教机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810646196.XA CN108877357A (zh) 2018-06-21 2018-06-21 一种基于家教机的交互方法及家教机

Publications (1)

Publication Number Publication Date
CN108877357A true CN108877357A (zh) 2018-11-23

Family

ID=64340275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810646196.XA Pending CN108877357A (zh) 2018-06-21 2018-06-21 一种基于家教机的交互方法及家教机

Country Status (1)

Country Link
CN (1) CN108877357A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448735A (zh) * 2018-12-21 2019-03-08 深圳创维-Rgb电子有限公司 基于声纹识别的视频参数调整方法、装置及读存储介质
CN110379234A (zh) * 2019-07-23 2019-10-25 广东小天才科技有限公司 一种学习辅导方法及装置
CN111028591A (zh) * 2019-04-25 2020-04-17 广东小天才科技有限公司 一种听写控制方法及学习设备
CN111079496A (zh) * 2019-06-09 2020-04-28 广东小天才科技有限公司 一种点读状态的显示方法及电子设备
CN113610006A (zh) * 2021-08-09 2021-11-05 中电科大数据研究院有限公司 一种基于目标检测模型的超时劳动判别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023693A (zh) * 2016-05-25 2016-10-12 北京九天翱翔科技有限公司 一种基于虚拟现实技术和模式识别技术的教育系统及方法
CN106507280A (zh) * 2016-10-28 2017-03-15 宇龙计算机通信科技(深圳)有限公司 一种情绪监测方法及相关设备
CN106570496A (zh) * 2016-11-22 2017-04-19 上海智臻智能网络科技股份有限公司 情绪识别方法和装置以及智能交互方法和设备
CN106658129A (zh) * 2016-12-27 2017-05-10 上海智臻智能网络科技股份有限公司 基于情绪的终端控制方法、装置及终端
CN106874265A (zh) * 2015-12-10 2017-06-20 深圳新创客电子科技有限公司 一种与用户情绪匹配的内容输出方法、电子设备及服务器
JP2017174056A (ja) * 2016-03-23 2017-09-28 株式会社ベネッセコーポレーション 情報処理システム、情報処理方法、及びプログラム
CN107331399A (zh) * 2017-07-05 2017-11-07 广东小天才科技有限公司 一种学习效果检测方法、系统及终端设备
CN107992199A (zh) * 2017-12-19 2018-05-04 广东小天才科技有限公司 一种用于电子设备的情绪识别方法、系统及电子设备
CN108109622A (zh) * 2017-12-28 2018-06-01 武汉蛋玩科技有限公司 一种早教机器人语音互动教育系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874265A (zh) * 2015-12-10 2017-06-20 深圳新创客电子科技有限公司 一种与用户情绪匹配的内容输出方法、电子设备及服务器
JP2017174056A (ja) * 2016-03-23 2017-09-28 株式会社ベネッセコーポレーション 情報処理システム、情報処理方法、及びプログラム
CN106023693A (zh) * 2016-05-25 2016-10-12 北京九天翱翔科技有限公司 一种基于虚拟现实技术和模式识别技术的教育系统及方法
CN106507280A (zh) * 2016-10-28 2017-03-15 宇龙计算机通信科技(深圳)有限公司 一种情绪监测方法及相关设备
CN106570496A (zh) * 2016-11-22 2017-04-19 上海智臻智能网络科技股份有限公司 情绪识别方法和装置以及智能交互方法和设备
CN106658129A (zh) * 2016-12-27 2017-05-10 上海智臻智能网络科技股份有限公司 基于情绪的终端控制方法、装置及终端
CN107331399A (zh) * 2017-07-05 2017-11-07 广东小天才科技有限公司 一种学习效果检测方法、系统及终端设备
CN107992199A (zh) * 2017-12-19 2018-05-04 广东小天才科技有限公司 一种用于电子设备的情绪识别方法、系统及电子设备
CN108109622A (zh) * 2017-12-28 2018-06-01 武汉蛋玩科技有限公司 一种早教机器人语音互动教育系统及方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448735A (zh) * 2018-12-21 2019-03-08 深圳创维-Rgb电子有限公司 基于声纹识别的视频参数调整方法、装置及读存储介质
US11330321B2 (en) 2018-12-21 2022-05-10 Shenzhen Skyworth-Rgb Electronic Co., Ltd. Method and device for adjusting video parameter based on voiceprint recognition and readable storage medium
CN109448735B (zh) * 2018-12-21 2022-05-20 深圳创维-Rgb电子有限公司 基于声纹识别的视频参数调整方法、装置及读存储介质
CN111028591A (zh) * 2019-04-25 2020-04-17 广东小天才科技有限公司 一种听写控制方法及学习设备
CN111079496A (zh) * 2019-06-09 2020-04-28 广东小天才科技有限公司 一种点读状态的显示方法及电子设备
CN111079496B (zh) * 2019-06-09 2023-05-26 广东小天才科技有限公司 一种点读状态的显示方法及电子设备
CN110379234A (zh) * 2019-07-23 2019-10-25 广东小天才科技有限公司 一种学习辅导方法及装置
CN113610006A (zh) * 2021-08-09 2021-11-05 中电科大数据研究院有限公司 一种基于目标检测模型的超时劳动判别方法
CN113610006B (zh) * 2021-08-09 2023-09-08 中电科大数据研究院有限公司 一种基于目标检测模型的超时劳动判别方法

Similar Documents

Publication Publication Date Title
CN108877357A (zh) 一种基于家教机的交互方法及家教机
CN108735216B (zh) 一种基于语义识别的语音搜题方法及家教设备
CN108320742A (zh) 语音交互方法、智能设备及存储介质
CN108108649B (zh) 身份验证方法及装置
CN109063583A (zh) 一种基于点读操作的学习方法及电子设备
WO2017032153A1 (zh) 提示信息的显示方法、装置及终端
CN108287739A (zh) 一种操作引导方法及移动终端
CN108062533A (zh) 用户肢体动作的解析方法、系统及移动终端
CN110164420A (zh) 一种语音识别的方法、语音断句的方法及装置
CN108594991A (zh) 一种帮助用户调节情绪的方法、装置和计算机存储介质
CN109284592A (zh) 一种题目推荐方法及家教设备
CN108877780B (zh) 一种语音搜题方法及家教设备
CN109885162B (zh) 振动方法及移动终端
CN108694947A (zh) 语音控制方法、装置、存储介质及电子设备
TW201515682A (zh) 一種數據獲取的方法及終端
CN108037885A (zh) 一种操作提示方法及移动终端
CN106652981B (zh) Bpm检测方法及装置
CN110162603A (zh) 一种智能对话方法、动态存储方法和装置
CN108958593A (zh) 一种确定通讯对象的方法及移动终端
CN109145088A (zh) 一种基于家教机的搜索方法及家教机
CN110796918A (zh) 一种训练方法、装置及移动终端
CN109495638A (zh) 一种信息显示方法及终端
CN105808043B (zh) 一种终端应用的设置方法和移动终端
CN107452233A (zh) 一种基于终端设备的学习控制方法及终端设备
CN108062195A (zh) 一种通知事件的提示方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123

RJ01 Rejection of invention patent application after publication