CN110091335B - 学伴机器人的控制方法、系统、设备及存储介质 - Google Patents

Abstract

本发明提供了一种学伴机器人的控制方法、系统、设备及存储介质，所述方法包括：课程开始时，与课程对应的在线教室建立连接；课程进行中，实时接收和播放所述在线教室的媒体数据流，并实时采集用户的视频数据发送至所述在线教室；分析所述在线教室的媒体数据流中老师的手势或语音指示，根据检测到的特定指示触发对应的第一控制指令；根据用户的视频数据分析用户状态，并根据所述用户状态触发对应的第二控制指令。通过采用本发明的方案，将机器人的学伴功能与真人授课相结合，形成人机联动效应的辅助学习功能，提高学习效果的同时提升用户使用体验。

Description

学伴机器人的控制方法、系统、设备及存储介质

技术领域

本发明涉及在线教育技术领域，尤其涉及一种学伴机器人的控制方法、系统、设备及存储介质。

背景技术

教育机器人是由生产厂商专门开发的以激发学生学习兴趣、培养学生综合能力为目标的机器人成品、套装或散件。目前市面上常见的教育机器人，多是在内部设定好既定的程序，根据学生的语音或其他输入方式来选择播放已有的视频或音频，因此，现有的智能机器人多是作为一个点播媒体的设备而存在，并不能很好地充当一个合格的学伴角色。

具体地，现有的教育机器人多存在如下缺点：

(1)语音交互能力弱：仅支持简单的预设好的机械语音对话，语义识别能力有限，无法以符合儿童认知能力的方式进行互动交流，很难持续吸引儿童的学习兴趣；

(2)设计较为粗暴：仅作为APP(应用程序)的另一个载体，简单取代平板电脑或手机，而没有很好地发挥机器人的属性特征；

(3)削减了儿童的社会互动：社会互动是儿童认知发展的必要因素。而儿童陪伴机器人在取代父母及其他人员陪护的同时，也减少了儿童与他人的交流机会，使得儿童的交互变成了与“拟人”的机器人交互，不利于孩子的健康成长；

(4)无法弥补课后辅导的不足：外教资源及精力有限，无法给予学生进行个性化的辅导。

发明内容

针对现有技术中的问题，本发明的目的在于提供一种学伴机器人的控制方法、系统、设备及存储介质，将机器人的学伴功能与真人授课相结合，形成人机联动效应的辅助学习功能。

本发明实施例提供一种学伴机器人的控制方法，所述方法包括如下步骤：

课程开始时，与课程对应的在线教室建立连接；

课程进行中，实时接收和播放所述在线教室的媒体数据流，并实时采集用户的视频数据发送至所述在线教室；

分析所述在线教室的媒体数据流中老师的手势或语音指示，根据检测到的特定指示触发对应的第一控制指令；

根据用户的视频数据分析用户状态，并根据所述用户状态触发对应的第二控制指令。

可选地，所述根据检测到的特定指示触发对应的第一控制指令，包括如下步骤：

判断检测到的老师的特定指示的类别；

如果特定指示为特效类型，则判断特定指示所对应的特效类别，播放对应的特效；

如果特定指示为奖励类型，则累加用户在当前课程中获得的奖励数。

可选地，将所述根据用户的视频数据分析用户状态，并根据所述用户状态触发对应的第二控制指令，包括如下步骤：

从用户图像中提取人脸区域图像；

如果无法从用户图像中提取人脸区域图像或提取的人脸区域图像不符合预设标准，则确定当前为非专注时间；

如果非专注时间连续超过预设时间阈值，则控制机器人的摄像头转动至采集到满足预设标准的人脸区域图像为止；

分析所述人脸区域图像中用户的状态，如果满足疲劳状态条件，则触发提醒指令。

可选地，所述根据用户的视频数据分析用户状态，并根据所述用户状态触发对应的第二控制指令，还包括如下步骤：

统计用户的人脸区域图像中开口且接收到语音数据的互动时长，并计算互动时长；

分析用户的人脸区域图像，统计用户的正向表情次数；

根据用户的互动时长、正向表情次数和当前课程已进行时间的比值，计算互动指数和正向表情指数；

根据预设的互动指数、正向表情指数和活跃度等级的映射关系，确定用户的活跃度等级；

将用户的活跃度等级通过所述在线教室发送至老师端。

可选地，所述学伴机器人的控制方法还包括如下步骤：

课程结束后，统计用户在课程中获得的奖励次数、非专注时间时长、疲劳状态时长和活跃度等级，生成课程评测报告。

可选地，所述学伴机器人的控制方法还包括如下步骤：

课程开始前，获取用户的历史活跃度等级，并通过所述在线教室发送至老师端；

课程进行中，获取用户的当前活跃度等级；

如果用户的当前活跃度等级相比于历史活跃度的等级提高超过预设阈值，则通过所述在线教室发送奖励提醒至所述在线教室；

如果用户的当前活跃度等级相比于历史活跃度的等级降低超过预设阈值，则播放互动提醒。

可选地，所述学伴机器人的控制方法还包括如下步骤：

获取用户的历史课程数据，根据用户的历史课程类别和用户的历史课程进度，为用户推荐课程；

获取到用户对课程的选择，为用户预订对应课程。

可选地，所述学伴机器人的控制方法还包括如下步骤：

于预订的课程开始前第一时间点，向用户发出预习提醒；

如果接收到用户的预习指令，则查询和显示预订的课程所对应的教材；

于预订的课程开始前第二时间点，向用户发出上课提醒；

于课程结束后的第三时间点，向用户发出复习提醒；

如果接收到用户的复习指令，则判断用户的复习选择为教材复习或视频复习；

如果是教材复习，则查询和显示预订的课程所对应的教材；

如果是视频复习，则播放录制的课程视频。

可选地，所述播放录制的课程视频时，还包括采集用户的语音，对语音进行语义识别，获取用户的视频观看指令，以控制所述课程视频的播放进程。

可选地，所述学伴机器人的控制方法还包括如下步骤：

判断用户是否登录在线学习系统；

如果用户未登录，则判断用户是否已注册在线学习系统；

如果已注册，则获取用户的语音输入，对用户的语音进行语义识别，获取用户的验证信息，登入在线学习系统；

如果未注册，则获取用户的语音输入，对用户的语音进行语义识别，获取用户的注册信息，申请为用户创建账号，并将账号与机器人绑定。

本发明实施例还提供一种学伴机器人的控制系统，应用于所述的学伴机器人的控制方法，所述系统包括：

通讯模块，用于在课程开始时，与课程对应的在线教室建立连接，以及在课程进行中，实时接收所述在线教室的媒体数据流，并实时将用户的视频数据发送至所述在线教室；

视频模块，用于实时采集用户的视频数据；

分析模块，用于分析所述在线教室的媒体数据流中老师的手势或语音指示，以及根据用户的视频数据分析用户状态；

指令模块，用于根据检测到的特定指示触发对应的第一控制指令，并根据所述用户状态触发对应的第二控制指令。

本发明实施例还提供一种学伴机器人的控制设备，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行所述的学伴机器人的控制方法的步骤。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的学伴机器人的控制方法的步骤。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

本发明所提供的学伴机器人的控制方法、系统、设备及存储介质具有下列优点：

本发明解决了现有技术中的问题，将真人授课与机器人的学伴功能相结合，将人和机器联动起来，形成真人教学和机器人陪伴学习的人机联动学习模式，充分发挥人的社会化过程中与人互动及与机器互动相互补足的优势，从而在提升学习效果的同时提升用户使用体验。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。

图1是本发明一实施例的学伴机器人的控制方法的流程图；

图2是本发明一实施例的通过学伴机器人于课前预订课程的流程图；

图3是本发明一实施例的通过学伴机器人上课的流程图；

图4是本发明一实施例的通过学伴机器人课后回顾的流程图；

图5是本发明一实施例的学伴机器人识别用户状态的流程图；

图6是本发明一实施例的学伴机器人检测人脸区域图像的示意图；

图7是本发明一实施例的学伴机器人检测用户状态的示意图；

图8是本发明一实施例的评价活跃度的流程图；

图9是本发明一实施例的学伴机器人的控制系统的结构示意图；

图10是本发明一实施例的学伴机器人的控制设备的示意图；

图11是本发明一实施例的计算机可读存储介质的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

如图1所示，为了解决上述技术问题，本发明实施例提供一种学伴机器人的控制方法，所述方法包括如下步骤：

S100：课程开始时，与课程对应的在线教室建立连接；

S200：课程进行中，实时接收和播放所述在线教室的媒体数据流，并实时采集用户的视频数据发送至所述在线教室；

S300：分析所述在线教室的媒体数据流中老师的手势或语音指示，根据检测到的特定指示触发对应的第一控制指令；

S400：根据用户的视频数据分析用户状态，并根据所述用户状态触发对应的第二控制指令。

本发明通过步骤S100和S200实现了用户通过学伴机器人进行在线学习，通过实时流媒体的传输，给予用户与老师面对面交流的真实体验。流媒体的传输可以基于webRTC(Web Real-Time Communication，网页即时通信)等技术实现，提高交互的实时性和流畅性。通过步骤S300和S400实现了真人授课与机器人辅助学习的有机结合，在课程进行过程中，机器人起到一个助教的作用，不仅可以根据用户当前的状态给出反馈，并且可以实时分析老师的手势或语音，播放特效或给予学生奖励，从而进一步基于人工智能技术提升教学效果。

为了给用户提供一个完善的学伴功能，在本发明一实施例中，机器人提供了一个从课程前预定课程到在线教室中上课再到课程结束后课程回顾的完善流程。

如图2所示，在课程前，如果用户没有预定课程，则可以根据用户的历史课程数据为用户推荐课程，并且可以提供语音订课服务。具体地，在用户未预定课程或者用户还需要增加预定新课程时，获取用户的历史课程数据，根据历史课程数据分析上课习惯、爱好、用户的历史课程类别和用户的历史课程进度，为用户推荐课程。在推荐课程时，首先分析历史课程类别，判断用户之前选择比较多的课程类别，将其作为用户感兴趣的课程类别，然后判断用户感兴趣的课程类别已完成的学习阶段，选择其下一个阶段的课程推荐。例如，根据用户平时上课上得比较多的类别选择语文、英语或数学等科目，如果用户完成了英语第三阶段的课程学习，则推荐英语第四阶段的学习等等。

在推荐课程之后，获取到用户对课程的选择，为用户预订对应课程。用户可以轻松地通过语音选择需要的课程，在接收到用户的语音指令后，则为用户预订对应的课程。

如图2所示，在用户成功预定了课程之后，学伴机器人还可以提供智能语音提醒的功能。即，所述学伴机器人的控制方法还包括如下步骤：

于预订的课程开始前第一时间点(如图2中示出的课前30分钟，该时间可根据需要设定)，向用户发出预习的语音提醒；

如果接收到用户的预习指令，则进入课前预习界面，查询和显示预订的课程所对应的教材，还可以播放语音提醒：“欢迎进入XXX课前预习，请使用上一页/下一页指令进行教材翻页，返回指令进入主界面”；在用户查看教材时，可以根据用户的语音指令控制教材智能翻页，例如，用户说“上一页”或“下一页”，则根据用户的指令进行翻页。用户在预习过程中，如果发现某个知识点不会，可以语音与机器人交流，例如向机器人询问某个单词的意思，机器人查询该单词意思后告知用户。

于预订的课程开始前第二时间点(如图2中示出的课前10分钟，该时间可根据需要设定)，向用户发出上课提醒，例如播放“您预订的XXX课程还有十分钟就要开始”。在课程开始前10分钟，如果机器人识别到预设距离范围内(例如1米内)有人时，表示用户准备来上课了，如果没有识别到用户，则每隔一段时间(例如每隔2分钟)再提醒一次。

如图3所示，为该实施例中采用学伴机器人辅助上课的一个流程图。

在学伴机器人语音识别到用户的学习指令时，开始整个辅助上课流程。例如，用户通过语音发出“我要学英语”、“我要学语文”或“我要学数学”等指令，学伴机器人在检测到相应的关键词时即判断要开启辅助上课流程。

判断用户是否已登录在线学习系统；

如果用户未登录，则判断用户是否已注册在线学习系统；

如果已注册，则获取用户的语音输入，对用户的语音进行语义识别，获取用户的验证信息，登入在线学习系统；

如果未注册，则获取用户的语音输入，对用户的语音进行语义识别，获取用户的注册信息，申请为用户创建账号，并将账号与机器人绑定，在注册完成后登入在线学习系统。

在该实施例中，用户的注册和登录可以采用手机号进行登录，学伴机器人能够智能识别手机号，第一次开启机器人时需要绑定一个手机号，允许绑定多个手机号，当当前使用的手机号即账号限制为一个，能够识别出当前所用的手机号。

在使用一个账号登录在线学习系统后，可以智能切换账号，可以设置界面由用户手动切换，也可以在主页通过语音的方式告诉机器人去切换，通过使用语音识别技术，识别出切换账号/切换用户/切换身份等语句，识别成功则弹窗提示目前注册的所有用户名称，当前使用的用户名称在第一位，机器人询问要切换至哪个用户，并提示回答方式：第二个/第三个/第四个等。如果回答方式错误则告知用户回答方式不正确，回答方式成功则成功切换至用户指令所对应的用户，并语音体型：“xxx欢迎回来，请进入到主界面”。

用户登录在线学习系统时，也可以采用智能语音输入的方式登入。当没有登录过或登录失败时则进入在线学习系统登录界面，该界面第一个输入框用户名为绑定的当前使用的手机号，无需手动输入，密码为短信验证码的方式，进入该界面短信验证码自动为获取状态，短信验证码会发送到绑定的手机上，并语音提醒：“验证码已发送，请注意查看手机”。

在等待预设间隔时间后，语音提醒用户说出验证码，当语音识别到用户说出四位数字时，验证码自动输入密码框，如果验证码正确，则自动登录，如果登录失败则返回至在线学习系统登录界面。

如果用户已登录在线学习系统，则显示课程列表页，判断用户是否已经预定课程，如果没有预定课程，则可以根据图2中示出的流程智能订课，如果用户在一开始说了“我要学语文”、“我要学英语”等用语，则识别用户指令中的课程类别，直接进入该课程类别的订课界面，并且可以优先推荐用户已完成阶段的下一个阶段的课程；

如果已经预定课程，则判断课程是否开始；

如果课程尚未开始，则语音提醒用户尚未开始课程，并且可以播放正确的课程开始时间，用户可以选择继续等待，也可以预定其他课程；

如果课程已经开始，则与在线教室建立连接，进入教室开始上课；

在课程进行中，根据在线教室传输的媒体流数据分析老师指示，并触发第一控制指令，根据采集的用户视频分析用户状态，触发第二控制指令，具体可以进行疲劳度检测、智能面部跟随和活跃度评价等，此部分内容会在下文中具体描述。

如图4所示，在该实施例中，课程结束后，还可以提供课程回顾功能。具体地，于课程结束后的第三时间点(例如课程结束后1天、3天等，具体时间可以根据需要设定)，向用户发出复习提醒。

如果接收到用户的复习指令，则判断用户的复习选择为教材复习或视频复习；

如果是教材复习，则查询和显示预订的课程所对应的教材，同样地，在教材查看过程中，可以根据用户的语音指令进行翻页；

如果是视频复习，则播放录制的课程视频，在播放录制的课程视频时，还包括采集用户的语音，对语音进行语义识别，获取用户的视频观看指令，以控制所述课程视频的播放进程。例如，当语音识别到用户说“我要看回放/我要看课后录像/我要看课程回顾”等指令时，自动进入课程回顾界面，当用户选中某堂课时，进入到录像播放界面，开始播放课程视频，用户可以使用快进/快退/暂停/继续等指令来控制课程视频的播放进程。

在课程结束后，还可以智能推送与已完成课程相关的习题、课后练习、课后作业等。此外，在没有课程进行时，还可以根据用户爱好、习惯、学习等级推荐一些文章、新闻等内容，当用户选择阅读推荐的文章时，如果用户有不明白不理解的内容，可以随时与智能机器人进行语音交流，极大程度地方便了用户的使用。

具体地，在该实施例中，所述步骤S300中，分析在线教室的媒体数据流中老师的手势或语音指示，可以通过分析媒体数据流中的画面，识别老师的手部图像，根据手部图像判断老师是否给出了具体的手势，也可以通过分析媒体数据流中的语音数据，识别老师的语音语义，根据语音语义判断老师是否说出了包含预设指示关键词的话语，来识别老师的指示。其中，手势的识别可以采用神经网络自学习和自动识别的方式，例如构建一个卷积神经网络，采用多个标记手部关键点位置的图像作为训练集，训练神经网络，训练完成后，将媒体数据流中的画面输入到神经网络中，输出手部关键点的位置，根据预设的各种特定手势的手部关键点位置关系，判断老师当前是否给出了具体的手势。

基于此，步骤S300中，根据检测到的特定指示触发对应的第一控制指令，包括如下步骤：

判断检测到的老师的特定指示的类别，指示的类别可以由特效类型，也可以有奖励类型，也可以由特效+奖励类型；

如果特定指示为特效类型，则判断特定指示所对应的特效类别，播放对应的特效；例如通过图像识别技术识别到老师双手做出心型形状时，播放送心特效；在播放特效时，可以包括声音特效(例如特定的旋律)、画面中的特性(例如在画面中添加一个心型图案)，也可以包括灯光特效(例如机器人上的灯光闪烁)等。

如果特定指示为奖励类型，则累加用户在当前课程中获得的奖励数。例如，当识别到老师做出大拇指手势时，增加用户在当前课程中获得的奖励数，并且可以伴随有特效(例如声光特效)。奖励数可以作为后期评定课程质量或用户参与程度的指标。

因此，在课程开始后，智能学伴机器人可以扮演真人老师的助教和用户的学伴，根据语音识别及手势识别技术，识别课程中老师的鼓掌、表扬指令，返回对应的特效、奖励效果。

如图5所示，在该实施例中，步骤S300中，将所述根据用户的视频数据分析用户状态，并根据所述用户状态触发对应的第二控制指令，包括如下步骤：

从用户图像中提取人脸区域图像；

如果无法从用户图像中提取人脸区域图像或提取的人脸区域图像不符合预设标准，则确定当前为非专注时间；此处预设标准可以是人脸区域图像未发生严重偏离，人脸区域图像未发生严重偏离可以通过判断人脸区域图像每一侧边缘与采集画面的同侧边缘的距离不小于预设距离阈值，例如图6所示，人脸区域图像每个侧边与画面同侧边的距离为d1、d2、d3和d4，如果人脸区域图像右侧边缘与采集画面的右侧边缘的距离d4很小甚至没有距离，说明人脸区域图像向右侧偏离，在转动摄像头时，可以向右侧转动，来使得人脸区域图像位置适中；如果整个采集画面中都找不到用户的人脸区域图像时，可以先沿一个设定方向匀速转动摄像头，在摄像头捕捉到人脸时，根据捕捉时人脸在画面中的位置再调整摄像头的角度，从而使得人脸位于画面适中的位置；

如果非专注时间连续超过预设时间阈值，则控制机器人的摄像头转动至采集到满足预设标准的人脸区域图像为止，即实现了如图3中的智能面部跟随，此外也可以发出语音提醒，提醒用户自己调整重新进入画面内；

分析所述人脸区域图像中用户的状态，如果满足疲劳状态条件，则触发提醒指令，从而实现了图3中的疲劳程度检测和及时提醒。例如，可以通过检测用户上课中一段时间内上下眼皮的间距，如果小于设定阈值(例如10秒钟内上下眼皮间距小于3毫米)，则认为用户是犯困了或者睡着了，这时语音提醒用户上课认真听讲。

在该实施例中，在用户图像中，对人脸区域图像的识别可以采用现有的人脸识别方法来实现，例如采用训练好的主动形状模型等。眼皮位置的识别可以采用训练好的主动形状模型、神经网络等识别眼皮关键点，进而确定眼皮位置以及上下眼皮的间距。如图7所示，分别检测一侧或两侧的眼皮的关键点E1和E2的位置，根据关键点E1和E2的位置计算上下眼皮的间距。

如图8所示，该实施例还可以进一步分析确定用户的活跃度等级，即实现了图3中的活跃度评价。在该实施例中，所述根据用户的视频数据分析用户状态，并根据所述用户状态触发对应的第二控制指令，还包括如下步骤：

统计用户的人脸区域图像中开口且接收到用户输入的语音数据的互动时长，检测用户是否开口可以通过检测用户上下嘴唇关键点的位置，并计算上下嘴唇关键点之间间距的方式来实现，上下嘴唇关键点的检测同样可以采用现有的主动形状模型、深度学习技术等等实现；

分析用户的人脸区域图像，统计用户的正向表情次数，此处正向表情可以指的是用户面带微笑、用户表情愉悦等，例如图7所示，检测嘴部关键点E3、E4、E5，根据三个关键点的位置判断用户是否微笑等，嘴部关键点的检测同样可以采用现有的主动形状模型、深度学习技术等等实现；

根据用户的互动时长、正向表情次数和当前课程已进行时间的比值，计算互动指数和正向表情指数；例如，用户的互动时长为10分钟，正向表情次数为12次，当前课程已经进行了40分钟，则互动指数为10/40，正向表情指数为12/40；互动指数和正向表情指数可以在课程中间实时地反映用户的活跃程度；

根据预设的互动指数、正向表情指数和活跃度等级的映射关系，确定用户的活跃度等级；

考虑到老师在授课过程中，可以着眼点在于授课，而没有很多的精力来兼顾学生当前的实际状态，也无法及时根据用户的状态来进行实时反馈。因此，在学伴机器人确定用户当前的活跃度等级之后，可以将用户的活跃度等级通过所述在线教室发送至老师端，老师可以根据用户当前的活跃度等级及时调整授课策略，例如，如果用户当前活跃度等级特别低，老师可以穿插一些提问、讲故事等互动环节，来提升用户的活跃度等级。

此外，在该实施例中，在课程开始前，还可以获取用户的历史活跃度等级，并通过所述在线教室发送至老师端。此处历史活跃度等级可以是用户多次课程的活跃度等级的平均值。老师通过老师端看到用户的历史活跃度等级，可以对学生的情况有一个基本的了解，便于确定此次教学时采用的教学策略。例如，对于历史活跃度等级较低的学生，可以多设置老师与学生的互动环境，或者多增加由学生来发音的环节，来提升学生的参与度和活跃度。

课程进行中，根据互动指数、正向表情指数等来确定用户的当前活跃度等级；

如果用户的当前活跃度等级相比于历史活跃度的等级提高超过预设阈值，则通过所述在线教室发送奖励提醒至所述在线教室，在线教室将奖励提醒转发给老师端，老师可以通过语音或手势来对用户发送奖励，学伴机器人在识别到老师发送奖励之后，增加用户的奖励数；

如果用户的当前活跃度等级相比于历史活跃度的等级降低超过预设阈值，则播放互动提醒。此处，播放互动提醒可以是学伴机器人自己播放语音提示，例如，播放“请学员注意多参与互动环节”等提示，也可以是将互动提醒通过在线教室发送给老师端，老师在老师端看到互动提醒后，可以酌情增加互动环节的设置。

因此，通过采用该实施例中自动分析用户状态并且根据用户状态及时执行相应第二控制指令，以及将用户状态及时发送给老师端的方法，可以实现将真人教学和机器教学有机的组合。以真人教学来弥补机器教学灵活性不足、语音交互能力弱、社交程度不足、无法以符合用户认知能力的方式进行互动交流的问题，以机器教学来弥补真人教学的数据统计能力不足、线程少的问题，学伴机器人的智能语音识别、智能面部识别和智能跟踪面部的功能，可以辅助老师有效减少用户上课走神、注意力不集中的情况，语音识别结合声光特效的播放，有效地提高了课堂趣味性，并提高了用户的参与感和现场体验感。通过真人教学和机器辅助教学两者的互补结合，可以给用户提供最好的学习体验。

在该实施例中，在课程结束后，还可以进一步统计用户在课程中获得的奖励次数、非专注时间时长、疲劳状态时长和活跃度等级，生成课程评测报告。课程测评报告可以推送至学伴机器人，由学伴机器人显示测评报告或语音播放测评报告，课程测评报告还可以推送至在线教室，在线教室的服务器进行存储备份后，可以发送给老师，由老师根据学生课堂表现和课程测评报告对学生进行打分，从而得到较为客观的评价。

如图9所示，本发明实施例还提供一种学伴机器人的控制系统，应用于所述的学伴机器人的控制方法，所述系统包括：

通讯模块M100，用于在课程开始时，与课程对应的在线教室建立连接，以及在课程进行中，实时接收所述在线教室的媒体数据流，并实时将用户的视频数据发送至所述在线教室；

视频模块M200，用于实时采集用户的视频数据；

分析模块M300，用于分析所述在线教室的媒体数据流中老师的手势或语音指示，以及根据用户的视频数据分析用户状态；

指令模块M400，用于根据检测到的特定指示触发对应的第一控制指令，并根据所述用户状态触发对应的第二控制指令。

本发明通过通讯模块M100和视频模块M200实现了用户通过学伴机器人进行在线学习，通过实时流媒体的传输，给予用户与老师面对面交流的真实体验。通讯模块M100可以基于webRTC技术等与在线教室的服务器传输数据，提高交互的实时性和流畅性。通过分析模块M300和指令模块M400实现了真人授课与机器人辅助学习的有机结合，在课程进行过程中，机器人起到一个助教的作用，不仅可以根据用户当前的状态给出反馈，并且可以实时分析老师的手势或语音，播放特效或给予学生奖励，从而进一步基于人工智能技术提升教学效果。

本发明的学伴机器人的控制系统中各个模块的功能可以采用上述学伴机器人的控制方法中各个步骤的具体实施方式来实现，例如通讯模块M100和视频模块M200可以采用步骤S100和步骤S200的实施方式来实现，分析模块M300和指令模块M400可以采用步骤S300和步骤S400的实施方式来实现，此处不予赘述。

本发明实施例还提供一种学伴机器人的控制设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的学伴机器人的控制方法的步骤。

所述处理器和存储器可以作为学伴机器人的核心控制器设置于学伴机器人上。为了实现用户与老师在线面对面地交流，学伴机器人至少需要具备摄像头来采集用户图像、具备麦克风来采集用户语音、具备语音播放设备来播放老师语音、具备显示设备来播放老师画面。为了更方便用户使用，学伴机器人还可以增加设置可以移动的滑轮、可以检测用户身体状态的红外测温仪、可以显示灯光特效的各种色彩的灯具等等。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

下面参照图10来描述根据本发明的这种实施方式的电子设备600。图10显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图10所示，电子设备600以通用计算设备的形式表现。电子设备600的组合可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组合(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。具体地，所述处理单元610在执行图1中各个步骤时，具体的步骤执行方式可以采用上述学伴机器人的控制方法的各个步骤的具体实施方式，再次不予赘述。

所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的学伴机器人的控制方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。

参考图11所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

综上所述，与现有技术相比，本发明所提供的学伴机器人的控制方法、系统、设备及存储介质具有下列优点：

本发明解决了现有技术中的问题，将真人授课与机器人的学伴功能相结合，将人和机器联动起来，形成真人教学和机器人陪伴学习的人机联动学习模式，充分发挥人的社会化过程中与人互动及与机器互动相互补足的优势，从而在提升学习效果的同时提升用户使用体验。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (11)

1.一种学伴机器人的控制方法，其特征在于，包括如下步骤：

课程开始时，与课程对应的在线教室建立连接；

课程进行中，实时接收和播放所述在线教室的媒体数据流，并实时采集用户的视频数据发送至所述在线教室；

分析所述在线教室的媒体数据流中老师的手势或语音指示，根据检测到的特定指示触发对应的第一控制指令；

根据用户的视频数据分析用户状态，并根据所述用户状态触发对应的第二控制指令；

所述根据用户的视频数据分析用户状态，并根据所述用户状态触发对应的第二控制指令，包括如下步骤：

从用户图像中提取人脸区域图像；

如果无法从用户图像中提取人脸区域图像或提取的人脸区域图像不符合预设标准，则确定当前为非专注时间；

如果非专注时间连续超过预设时间阈值，则控制机器人的摄像头转动至采集到满足预设标准的人脸区域图像为止；

分析所述人脸区域图像中用户的状态，如果满足疲劳状态条件，则触发提醒指令；

所述根据用户的视频数据分析用户状态，并根据所述用户状态触发对应的第二控制指令，还包括如下步骤：

统计用户的人脸区域图像中开口且接收到语音数据的互动时长，并计算互动时长；

分析用户的人脸区域图像，统计用户的正向表情次数；

根据用户的互动时长、正向表情次数和当前课程已进行时间的比值，计算互动指数和正向表情指数；

根据预设的互动指数、正向表情指数和活跃度等级的映射关系，确定用户的活跃度等级；

将用户的活跃度等级通过所述在线教室发送至老师端。

2.根据权利要求1所述的学伴机器人的控制方法，其特征在于，所述根据检测到的特定指示触发对应的第一控制指令，包括如下步骤：

判断检测到的老师的特定指示的类别；

如果特定指示为特效类型，则判断特定指示所对应的特效类别，播放对应的特效；

如果特定指示为奖励类型，则累加用户在当前课程中获得的奖励数。

3.根据权利要求1所述的学伴机器人的控制方法，其特征在于，还包括如下步骤：

课程结束后，统计用户在课程中获得的奖励次数、非专注时间时长、疲劳状态时长和活跃度等级，生成课程评测报告。

4.根据权利要求1所述的学伴机器人的控制方法，其特征在于，还包括如下步骤：

课程开始前，获取用户的历史活跃度等级，并通过所述在线教室发送至老师端；

课程进行中，获取用户的当前活跃度等级；

如果用户的当前活跃度等级相比于历史活跃度的等级提高超过预设阈值，则通过所述在线教室发送奖励提醒至所述在线教室；

如果用户的当前活跃度等级相比于历史活跃度的等级降低超过预设阈值，则播放互动提醒。

5.根据权利要求1所述的学伴机器人的控制方法，其特征在于，还包括如下步骤：

获取用户的历史课程数据，根据用户的历史课程类别和用户的历史课程进度，为用户推荐课程；

获取到用户对课程的选择，为用户预订对应课程。

6.根据权利要求5所述的学伴机器人的控制方法，其特征在于，还包括如下步骤：

于预订的课程开始前第一时间点，向用户发出预习提醒；

如果接收到用户的预习指令，则查询和显示预订的课程所对应的教材；

于预订的课程开始前第二时间点，向用户发出上课提醒；

于课程结束后的第三时间点，向用户发出复习提醒；

如果接收到用户的复习指令，则判断用户的复习选择为教材复习或视频复习；

如果是教材复习，则查询和显示预订的课程所对应的教材；

如果是视频复习，则播放录制的课程视频。

7.根据权利要求6所述的学伴机器人的控制方法，其特征在于，所述播放录制的课程视频时，还包括采集用户的语音，对语音进行语义识别，获取用户的视频观看指令，以控制所述课程视频的播放进程。

8.根据权利要求1所述的学伴机器人的控制方法，其特征在于，还包括如下步骤：

判断用户是否登录在线学习系统；

如果用户未登录，则判断用户是否已注册在线学习系统；

如果已注册，则获取用户的语音输入，对用户的语音进行语义识别，获取用户的验证信息，登入在线学习系统；

如果未注册，则获取用户的语音输入，对用户的语音进行语义识别，获取用户的注册信息，申请为用户创建账号，并将账号与机器人绑定。

9.一种学伴机器人的控制系统，其特征在于，应用于权利要求1至8中任一项所述的学伴机器人的控制方法，所述系统包括：

通讯模块，用于在课程开始时，与课程对应的在线教室建立连接，以及在课程进行中，实时接收所述在线教室的媒体数据流，并实时将用户的视频数据发送至所述在线教室；

视频模块，用于实时采集用户的视频数据；

分析模块，用于分析所述在线教室的媒体数据流中老师的手势或语音指示，以及根据用户的视频数据分析用户状态；

指令模块，用于根据检测到的特定指示触发对应的第一控制指令，并根据所述用户状态触发对应的第二控制指令。

10.一种学伴机器人的控制设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至8中任一项所述的学伴机器人的控制方法的步骤。

11.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至8中任一项所述的学伴机器人的控制方法的步骤。

Images