CN109961047A - 教育机器人的学习监督方法、装置、机器人及存储介质 - Google Patents

Abstract

本发明实施例公开了一种教育机器人的学习监督方法、装置、机器人及存储介质，该方法包括：在学习过程中，每隔预设周期采集用户的学习状态图像；从所述学习状态图像中提取眼部特征；根据提取结果，判断所述用户是否处于非专注状态；若所述用户处于非专注状态，则通过展示唤醒多媒体信息，将所述用户的注意力转移到学习中。本发明实施例的技术方案能够在用户学习不专注时，及时将用户的注意力转移到学习中，提高了用户的学习效率。

Description

教育机器人的学习监督方法、装置、机器人及存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种教育机器人的学习监督方法、装置、机器人及存储介质。

背景技术

随着互联网以及人工智能技术的不断发展，集成玩具与学习机为一体的教育机器人逐渐受到家长和孩子的青睐。目前，教育机器人可以根据用户的需求播放相应的课程视频，供用户学习，并且可以在学习的过程中与用户进行简单的互动。

但是，由于教育机器人服务的学生大多情况下都是儿童或青少年，儿童或青少年的玩心较重，自控力差，常常无法做到专心学习完整节课程，因此，在采用教育机器人学习课程时，会存在因用户不专注而影响学习效率的问题，亟需改进。

发明内容

本发明提供了一种教育机器人的学习监督方法、装置、机器人及存储介质，能够在用户学习不专注时，及时将用户的注意力转移到学习中，提高了用户的学习效率。

第一方面，本发明实施例提供了一种教育机器人的学习监督方法，该方法包括：

在学习过程中，每隔预设周期采集用户的学习状态图像；

从所述学习状态图像中提取眼部特征；

根据提取结果，判断所述用户是否处于非专注状态；

若所述用户处于非专注状态，则通过展示唤醒多媒体信息，将所述用户的注意力转移到学习中。

第二方面，本发明实施例还提供了一种教育机器人的学习监督装置，该装置包括：

图像采集模块，用于在学习过程中，每隔预设周期采集用户的学习状态图像；

眼部特征提取模块，用于从所述学习状态图像中提取眼部特征；

状态判断模块，用于根据提取结果，判断所述用户是否处于非专注状态；

注意力转移模块，用于若所述用户处于非专注状态，则通过展示唤醒多媒体信息，将所述用户的注意力转移到学习中。

第三方面，本发明实施例还提供了一种教育机器人，该教育机器人包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的教育机器人的学习监督方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的教育机器人的学习监督方法。

本发明实施例的技术方案，在用户学习过程中，周期性的采集用户的学习状态图像，通过从所述学习状态图像中提取眼部特征来判断用户是否处于非专注状态，若用户处于非专注状态，则通过展示唤醒多媒体信息的方式将用户的注意力转移到学习中，能够在用户学习不专注时，及时将用户的注意力转移到学习中，提高了用户的学习效率。

附图说明

为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。

图1是本发明实施例一提供的一种教育机器人的学习监督方法的流程图；

图2是本发明实施例二提供的一种教育机器人的学习监督方法的流程图；

图3是本发明实施例三提供的一种教育机器人的学习监督方法的流程图；

图4是本发明实施例四提供的一种教育机器人的学习监督方法的流程图；

图5是本发明实施例五提供的一种教育机器人的学习监督装置的结构框图；

图6是本发明实施例六提供的一种教育机器人的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种教育机器人的学习监督方法的流程图，本实施例可适用于用户通过教育机器人进行学习的过程中，教育机器人对用户学习专注度进行监督的情况，该方法可以由本发明实施例提供的教育机器人的学习监督装置或教育机器人来执行，该装置可采用硬件和/或软件的方式实现，例如，该装置可配置于教育机器人中，也可以是配置在其他具有授课功能的设备中。该方法具体包括：

S101，在学习过程中，每隔预设周期采集用户的学习状态图像。

其中，学习状态图像可以是指教育机器人在用户学习过程中采集到的用户当前学习状态的图像，例如，可以包括但不限于：用户认真学习的图像、用户睡觉的图像、用户转身说话的图像、用户走神的图像等等。可选的，用户的学习状态图像可以是通过设置在教育机器人上的摄像头拍摄的，其中，配置在教育机器人上的摄像头可以是旋转式摄像头，可以在用户开始学习课程时，教育机器人适应性的调节摄像头的角度，使得正在学习的用户落在拍摄视野中。

可选的，教育机器人可以在向用户授课的过程中，按照设定的采样周期，每隔预设周期采集一次用户的学习状态图像。可选的，可以是每次采集一组用户的学习状态图像，例如，每隔10分钟，采集10帧图像或连续采集3s的图像，还可以是每次采集一帧用户的学习状态图像，例如，每隔10分钟，采集一帧图像。可选的，预设周期可以是系统默认的，也可以是用户根据自身需求预先设定的，该预设周期可以根据实际学习情况，根据用户的需求进行调整。例如，若家长想实时对孩子的学习状态进行监督，则可以是将预设周期设置为0，此时，配置在教育机器人上的摄像头就会在孩子学习过程中，实时采集用户的学习状态。

S102，从学习状态图像中提取眼部特征。

其中，眼部特征可以是学习状态图像中用户的眼睛对应的像素特征，例如，可以包括眼部轮廓像素特征、瞳孔像素特征等。

可选的，从学习状态图像中提取眼部特征时，可以是对学习状态图像中的各像素点进行分析，按照眼部特征提取算法从学习状态图像中提取图像中的眼部特征；可选的，还可以是采用预先训练好的眼部特征提取模型进行眼部特征的提取，例如，可以是将教育机器人通过摄像头采集到的学习状态图像输入到预先训练好的眼部特征提取模型中，该眼部特征提取模型会根据训练时的算法和训练样本，对当前输入的学习状态图像进行分析计算，输出提取结果。

其中，眼部特征提取模型可以是机器学习模型，所采用的算法可以包括循环神经网络(Recurrent neural networks,RNN)、长短期记忆(Long Short-Term Memory,LSTM)网络、门限循环单元、简单循环单元、自动编码器、决策树、随机森林、特征均值分类、分类回归树、隐马尔科夫、K最近邻(k-NearestNeighbor，KNN)算法、逻辑回归模型、贝叶斯模型、高斯模型以及KL散度(Kullback–Leibler divergence)等等。可选的，可在用户使用教育机器人学习的过程中，采集训练样本，采用训练样本对预设初始模型进行训练，最终得到用于从所述学习状态图像提取眼部特征的眼部特征提取模型。示例性的，训练样本中包含的元素可包括大量的学习状态图像和各学习状态图像对应的眼部特征提取结果。

需要说明的是，本步骤中提取到的提取结果可能是不存在眼部特征；也可能是存在眼部特征，但是眼部特征不完整，例如，存在一个眼睛的眼部特征；还可能是存在双眼的眼部特征(即不存在缺失的、完整的以及清晰的眼部特征)。

S103，根据提取结果，判断用户是否处于非专注状态。

其中，用户的非专注状态可以包括但不限于用户在听课时处于摇头晃脑的状态、用户侧脸对着授课屏幕的状态、用户低头或捂住双眼、闭眼等看不到用户眼睛的状态以及用户走神、发呆等状态；相对的，用户的专注状态指的是用户当前时刻在认真且专注的听课，如眼睛盯着教育机器人的授课屏幕代表用户当前时刻在认真专注的听课。

可选的，S102中的提取结果包括上述介绍的三种情况，在根据提取结果，判断用户是否处于非专注状态时，可以是判断提取结果中是否存在双眼的眼部特征；若不存在双眼的眼部特征，则判断用户处于非专注状态。具体的，可以是在教育机器人预先记录有眼睛图像对应的标准眼部特征，如眼部轮廓像素特征、瞳孔像素特征等。然后将提取结果与预先记录的标准眼部特征进行比较，看是否存在两只眼睛的眼部特征，若存在，则判断该用户当前处于专注状态；若提取结果中不存在眼部特征或双眼的眼部特征存在缺失(如只有一只眼睛的眼部特征与标准眼部特征匹配成功或眼部特征模糊不清等)，则判断该用户当前处于非专注状态。

S104，若用户处于非专注状态，则通过展示唤醒多媒体信息，将用户的注意力转移到学习中。

其中，唤醒多媒体信息可以包括但不限于音频(如播放的儿歌、故事等)、视频(如播放的动画片、短视频等)、动作(如教育机器人跳舞等)等中的一个或多个。

由于本申请教育机器人的授课对象通常为儿童或青少年，他们通常会被儿歌、故事、动画片等吸引，所以当教育机器人判断用户处于非专注状态时，可以先暂停当前课程，保存当前授课进度，通过播放儿歌、故事、动画片或边放音乐边跳舞等方式，来吸引用户的注意力，将用户的注意力重新吸引到教育机器人上。教育机器人可以在检测到用户的注意力已经回到教育机器人时，停止播放唤醒多媒体信息，调取当前授课进度，继续播放学习内容。其中，教育机器人检测用户的注意力是否回到教育机器人的方式可以与上述判断用户是否处于专注状态的方式一样，对此不再进行赘述。

可选的，教育机器人通过一次展示唤醒多媒体信息并不能保证用户的注意力一定能被转移到教育机器人上，所以教育机器人在没有成功将用户的注意力转移到学习中时，可以是判断当前进行学习的用户的个数，若用户个数为一个，则可以是暂停当前课程的授课，等待该用户将注意力转移到学习中时，再调用当前授课进度，继续播放学习内容；若当前进行学习的用户个数为多个，为了避免影响其他用户的学习进程，则可以是继续播放学习内容。

本实施例提供了一种教育机器人的学习监督方法，在用户学习过程中，周期性的采集用户的学习状态图像，通过从所述学习状态图像中提取眼部特征来判断用户是否处于非专注状态，若用户处于非专注状态，则通过展示唤醒多媒体信息的方式将用户的注意力转移到学习中，能够在用户学习不专注时，及时将用户的注意力转移到学习中，提高了用户的学习效率。

进一步的，在本发明实施例中，由于S101中每个预设周期采集的学习状态图像可能是一帧图像，也可能是连续多帧学习状态图像组成的一组图像，所以在判断用户是否处于专注状态时，若S101中每隔预设周期采集一帧学习状态图像，则该帧图像中所表现出的用户的专注度情况即为用户当前的专注度情况，例如，若当前周期采集到的学习状态图像中，用户处于专注状态，则说明该用户当前处于专注状态；若S101中每隔预设周期采集用户的一组学习状态图像，则此时判断该用户当前是否处于专注状态时，可以是通过以下任意一种方式来确定。

方式一：若一组学习状态图像中存在连续预设个数帧学习状态图像的判断结果均为用户处于非专注状态，则判断所述用户当前处于非专注状态。具体的，一组学习状态图像是按照时间先后顺序采集的，可以是先分别对该组学习状态图像中的每一帧图像进行分析判断(如可以采用图像处理的方法进行分析判断，也可以是采用专注度判断模型进行分析判断)，确定出每一帧图像中用户是否处于专注状态，然后判断是否存在连续预设个数帧学习状态图像的判断结果均为用户处于非专注状态，若存在，则说明该用户当前处于非专注状态。例如，假设一组图像为10帧图像，预设个数为6帧，分别对10帧图像中用户的专注度情况进行分析判断后，若存在至少连续6帧图像的分析判断结果均为用户处于非专注状态，则认为该用户当前处于非专注状态。其中，预设个数可以是系统默认的，也可以是用户根据需求自身设定的。对此本实施例不进行限定。

方式二：统计一组学习状态图像包括的各帧学习状态图像的判断结果中专注状态和非专注状态的占比情况，若非专注状态的占比大于专注状态的占比，则判断所述用户当前处于非专注状态。具体的，与方式一类似，方式二同样也是先分别对该组学习状态图像中的每一帧图像进行分析判断，确定出每一帧图像中用户是否处于专注状态。而在根据每一帧图像的分析判断结果确定用户当前是否处于专注状态时，方式二可以是分别计算该组图像的分析判断结果中，属于专注状态的图像个数占该组图像总个数的第一百分比，以及属于非专注状态的图像个数占该组图像总个数的第二百分比，若第二百分比大于第一百分比，则判断该用户当前处于非专注状态。例如，假设采集到的一组学习状态图像中有30％的学习状态图像的分析判断结果是用户输出专注状态，有70％的学习状态图像的分析判断结果是用户属于非专注状态，则此时该组学习状态图像对应的判断结果是用户当前处于非专注状态。

需要说明的是，除上述两种方式外，还可以采用其他方式根据用户的一组学习状态图像来确定该用户当前是否处于专注状态，对此，本实施例不进行限定。

实施例二

图2本发明实施例二提供的一种教育机器人的学习监督方法的流程图，该方法在上述实施例的基础上进一步的优化，增加了判断所述学习状态图像中是否存在脸部特征的情况的介绍。如图2所示，该方法包括：

S201，在学习过程中，每隔预设周期采集用户的学习状态图像。

S202，判断学习状态图像中是否存在脸部特征，若是，则执行S203，若否，则执行S206。

可选的，本实施例中，学习状态图像中不存在脸部特征，可能是由两种因素导致的，一种是学习状态图像模糊，由于教育机器人在采集图像时是处于静止状态的，所以图像的模糊是用户运动导致的，如用户在摇头晃脑或走动等；第二种是学习状态图像清晰但不存在脸部特征。上述两种情况都说明用户并非在专注的学习，执行S206，判断该用户处于非专注状态；当学习状态图像中存在脸部特征时，则需要进一步执行S203的操作，进一步判断用户是否处于专注状态。

示例性的，判断学习状态图像中是否存在脸部特征时，可以先设置一个清晰度标准，分析当前采集到的学习状态图像的像素点的清晰度是否满足预设的清晰度标准，若不满足，则确定采集的学习状态图像不清晰，即不存在脸部特征，此时执行S206，判断该用户处于非专注状态；若判断学习状态图像的清晰度满足预设的清晰度标准，则再进一步判断采集到的学习状态图像中是否存在脸部特征，其中，脸部特征可以包括但不限于：椭圆形的脸部轮廓和完整的五官。具体的，判断是否存在脸部特征时，可以是教育机器人预先记录脸部图像对应的标准轮廓像素特征和标准五官像素特征，然后从清晰的学习状态图像中进行特征提取，将提取的特征与预先记录的标准轮廓像素特征以及标准五官像素特征进行比较，若都相同，则说明该学习状态图像不仅清晰，还包含脸部特征，此时执行S203，进行后续的判断，否则，直接执行S206判断用户处于非专注状态。

可选的，在本发明实施例中，判断所述学习状态图像中是否存在脸部特征，即可以通过图像处理的方式进行判断，还可以通过脸部特征判断模型来进行判断，例如，可以将教育机器人通过摄像头采集到的学习状态图像输入到预先训练好的脸部特征判断模型中，该脸部特征判断模型会根据训练时的算法和训练样本，对当前输入的学习状态图像进行分析计算，输出判断结果。

其中，判断所述学习状态图像中是否存在脸部特征的脸部特征判断模型可以是机器学习模型，所采用的算法可以与训练眼部特征提取模型所用的算法类似，具体不进行赘述。可选的，可在用户使用教育机器人学习的过程中，采集训练样本，采用训练样本对预设初始模型进行训练，最终得到用于判断所述学习状态图像中是否存在脸部特征的脸部特征判断模型。示例性的，训练样本中包含的元素可包括大量的学习状态图像和各学习状态图像对应的否存在脸部特征的判断结果。

S203，若存在脸部特征，则从脸部特征中提取眼部特征。

需要说明的是，S202中的标准五官像素特征为五官整体像素特征，而本步骤的眼部特征相对于标准五官像素特征，针对眼部的细节特征更为准确，精细。

S204，根据提取结果，判断用户是否处于非专注状态，若是，执行S206，若否，执行S205。

S205，用户处于专注状态。

S206，用户处于非专注状态。

S207，若用户处于非专注状态，则通过展示唤醒多媒体信息，将用户的注意力转移到学习中。

本实施例提供了一种教育机器人的学习监督方法，在用户学习过程中，周期性的采集用户的学习状态图像，在判断是否存在脸部特征的基础上，再提取眼部特征，判断用户是否处于专注状态，若用户处于非专注状态，则通过展示唤醒多媒体信息的方式将用户的注意力转移到学习中，增加脸部特征的判断，提高了判断用户是否处于专注状态的准确性和高效性，进而提高了用户的学习效率。

实施例三

图3本发明实施例三提供的一种教育机器人的学习监督方法的流程图，该方法在上述实施例的基础上进一步的优化，具体给出了判断学习状态图像中是否存在脸部特征的具体情况介绍，如图3所示，该方法包括：

S301，在学习过程中，每隔预设周期采集用户的学习状态图像。

S302，获取登录用户的标准面部特征。

可选的，获取登录用户的标准面部特征可以是教育机器人在用户本次登录时通过其上配置的摄像头实时采集该用户面部图像，对该用户面部图像进行分析后获取该登录用户的标准面部特征，如用户当前是否佩戴眼睛、发型特征、脸部轮廓特征以及五官特征等。

可选的，登录用户的标准面部特征还可以是预先存储在机器人信息库中，教育机器人无需在用户每一次学习时都采集一次用户的标准面部特征，只需在需要登录用户的标准面部特征时，直接从机器人信息库中查找于当前登录账户对应的标准面部特征。可选的，由于本步骤中获取的标准面部特征是从机器人的信息库中查找的，因此，此时标准面部特征中应去除用户的发型特征以及是否佩戴眼镜等非固定的面部特征，只保留脸部轮廓特征以及五官特征等固定的面部特征。其中，存储在机器人信息库中的登录用户的标准面部特征可以是在用户注册教育机器人账户时，教育机器人通过其上配置的摄像头采集用户面部图像，对该用户面部图像进行分析提取到的该注册账户对应的标准面部特征，将该标准面部特征与用户的注册信息一同存储在机器人信息库中。

S303、判断学习状态图像中的脸部特征是否与标准面部特征匹配，若是，则执行S304，若否，则执行S307。

可选的，本步骤在判断学习状态图像中的脸部特征是否与标准面部特征匹配之前，可以先判断学习状态图像是否清晰，具体的，可以是教育机器人先通过对当前采样周期采集到的学习状态图像进行清晰度分析，若不满足预设的清晰度标准，则说明不清晰，此时无需在进行脸部特征与标准面部特征的匹配，直接判断两者不匹配，执行S307，判断该用户处于非专注状态；若满足预设的清晰度标准，则继续从学习状态图像中的提取脸部特征，并将其与S302中获取的标准面部特征进行匹配，若匹配一致，则说明该学习状态图像中的脸部特征与标准面部特征匹配，此时确定该学习状态图像中存在脸部特征，执行S304，继续通过后续操作来判断用户是否处于专注状态。若匹配不一致，则说明当前采集到的学习状态图像中不存在登录用户，即登录用户已经离开教育机器人的摄像头视野范围，此时学习状态图像中同样不存在脸部特征，执行S307，判断登录用户处于非专注状态。例如，当前登录用户为用户A，教育机器人采集到的学习状态图像中提取的脸部特征为用户B的脸部特征，作为教育机器人，其主要授课对象为登录用户A，而登录用户A的脸部特征并没有出现在学习状态图像中，为了保证教育机器人能够准确为登录用户A进行服务，即使学习状态图像中出现了脸部特征，但不是登录用户A的脸部特征，也属于学习状态图像中不存在脸部特征，即登录用户处于非专注状态。

S304，若存在脸部特征，则从脸部特征中提取眼部特征。

S305，根据提取结果，判断用户是否处于非专注状态，若是，执行S307，若否，执行S306。

S306，用户处于专注状态。

S307，用户处于非专注状态。

S308，若用户处于非专注状态，则通过展示唤醒多媒体信息，将用户的注意力转移到学习中。

本实施例提供了一种教育机器人的学习监督方法，在用户学习过程中，周期性的采集用户的学习状态图像，通过登录用户的标准面部特征来确定是否存在脸部特征，进而结合眼部特征来判断用户是否处于专注状态，若用户处于非专注状态，则通过展示唤醒多媒体信息的方式将用户的注意力转移到学习中。能够通过对学习状态图像进行处理，检测登录用户学习是否专注，在登录用户学习不专注时，及时将登录用户的注意力转移到学习中，提高了登录用户的学习效率。

实施例四

图4本发明实施例四提供的一种教育机器人的学习监督方法的流程图，该方法在上述各实施例的基础上进一步的优化，增加了通过用户视角判断用户是否处于专注状态的具体情况的介绍。如图4所示，该方法包括：

S401，在学习过程中，每隔预设周期采集用户的学习状态图像。

S402，判断学习状态图像中是否存在脸部特征，若是，则执行S403，若否，则执行S408。

S403，若存在脸部特征，则从脸部特征中提取眼部特征。

S404，判断提取结果中是否存在双眼的眼部特征，若是，执行S405，若否，执行S408。

S405，若存在双眼的眼部特征，则从学习状态图像中解析用户的俯仰角和/或偏航角。

其中，俯仰角(pitch)是学习状态图像中脸部特征对应的法线与水平方向的夹角；偏航角(yaw)是学习状态图像中的脸部特征对应的法线与垂直方向的夹角。例如，当俯仰角大于零，则说明脸部特征为抬头的脸部特征；当俯仰角小于零，则说明脸部特征为低头的脸部特征。当偏航角大于零，则说明脸部特征向右旋转；当偏航角小于零，则说明脸部特征向左旋转。需要说明的是，本实施例中俯仰角和偏航角的角度正负与脸部特征之间的对应关系，并不限定与此，可以根据实际情况进行改变，例如，可以将俯仰角大于零设置为脸部特征为低头的脸部特征。

可选的，即使脸部特征中存在双眼的眼部特征，也不能保证用户此时就处于专注状态，例如，若用户没有看教育机器人的授课屏幕，而是微微抬头或侧着脸发呆，此时也能检测到完整的双眼的眼部特征，但用户并没有专注学习。因此，在检测到存在双眼的眼部特征后，为了更为准确的判断用户当前是否处于专注状态，可以进一步通过解析用户此时的俯仰角和/或偏航角来判断。

可选的，本实施例中，从学习状态图像中解析用户的俯仰角和/或偏航角可以是通过对学习状态图像的脸部特征进行图像处理分析，解析用户的俯仰角和/或偏航角；还可以通过角度分析模型解析用户的俯仰角和/或偏航角，如可以是将脸部特征输入角度分析模型中，此时角度分析模型会根据训练时的算法和训练样本，对当前输入的脸部特征进行分析，输出用户的俯仰角和/或偏航角。其中，该角度分析模型可以是机器学习模型，可预先采集训练样本，使用预先采集的训练样本结合预设的训练算法对预设初始模型进行训练，最终得到用于解析用户的俯仰角和/或偏航角的模型。示例性的，训练样本中包含的元素可包括大量的包含脸部特征的学习状态图像和各图像中脸部特征对应的俯仰角和/或偏航角。

S406，判断俯仰角和/或偏航角是否大于设定阈值，若是，执行S408，若否，执行S407。

其中，俯仰角和偏航角都有其对应的设定阈值，两者的设定阈值可以相同，也可以不同。俯仰角和偏航角对应的设定阈值可以是教育机器人系统默认的；也可以是用户根据自身需求设定的；还可以是教育机器人根据用户初始学习时与教育机器人的相对位置确定的。

示例性，若S405中解析得到的用户的俯仰角和/或偏航角大于设定阈值，则认为用户脸部转动的角度大于专注度判断标准，此时该用户处于非专注状态。例如，若俯仰角和偏航角的设定阈值都为30°，则可以是在俯仰角和/或偏航角大于30°的情况下，判断用户处于非专注状态。

可选的，本实施例中视角专注条件对应的判断依据并不仅限于俯仰角和偏航角，还可包括其他判断依据，如翻滚角(roll)和边框值等，例如，可以是判断翻滚角和/或边框值是否小于或等于设定阈值，若是，则满足视角专注条件。

S407，用户处于专注状态。

S408，用户处于非专注状态。

S409，若用户处于非专注状态，则通过展示唤醒多媒体信息，将用户的注意力转移到学习中。

本实施例提供了一种教育机器人的学习监督方法，在用户学习过程中，周期性的采集用户的学习状态图像，通过判断学习状态图像的脸部特征、双眼的眼部特征以及用户视角判断用户是否处于专注状态，若用户处于非专注状态，则通过展示唤醒多媒体信息的方式将用户的注意力转移到学习中，能够通过对学习状态图像进行多维度的图像处理操作，准确的判断用户当前的学习状态情况，以便于在用户学习不专注时，及时将用户的注意力转移到学习中，提高了用户的学习效率。

实施例五

图5为本发明实施例五提供的一种教育机器人的学习监督装置的结构框图，该装置可执行本发明任意实施例所提供的教育机器人的学习监督方法，具备执行方法相应的功能模块和有益效果。如图5所示，该装置包括：

图像采集模块501，用于在学习过程中，每隔预设周期采集用户的学习状态图像；

眼部特征提取模块502，用于从所述学习状态图像中提取眼部特征；

状态判断模块503，用于根据提取结果，判断所述用户是否处于非专注状态；

注意力转移模块504，用于若所述用户处于非专注状态，则通过展示唤醒多媒体信息，将所述用户的注意力转移到学习中。

本实施例提供了一种教育机器人的学习监督装置，在用户学习过程中，周期性的采集用户的学习状态图像，通过从所述学习状态图像中提取眼部特征来判断用户是否处于非专注状态，若用户处于非专注状态，则通过展示唤醒多媒体信息的方式将用户的注意力转移到学习中，能够在用户学习不专注时，及时将用户的注意力转移到学习中，提高了用户的学习效率。

进一步的，上述状态判断模块503具体用于：

判断所述提取结果中是否存在双眼的眼部特征；

若不存在双眼的眼部特征，则判断所述用户处于非专注状态。

进一步的，上述装置还包括：

脸部特征判断模块，用于判断所述学习状态图像中是否存在脸部特征；

所述状态判断模块503，还用于若不存在脸部特征，则判断所述用户处于非专注状态；

相应地，上述眼部特征提取模块502，还用于若存在脸部特征，则从所述脸部特征中提取眼部特征。

进一步，上述脸部特征判断模块具体用于：

获取登录用户的标准面部特征；

若所述学习状态图像中的脸部特征与所述标准面部特征匹配，则确定所述学习状态图像中存在脸部特征。

进一步的，上述装置还包括：

角度解析模块，用于若存在双眼的眼部特征，则从所述学习状态图像中解析用户的俯仰角和/或偏航角；

所述状态判断模块503，还用于若所述俯仰角和/或偏航角大于设定阈值，则所述用户处于非专注状态。

进一步的，若每隔预设周期采集用户的一组学习状态图像时，上述状态判断模块503还用于：

若一组学习状态图像中存在连续预设个数帧学习状态图像的判断结果均为用户处于非专注状态，则判断所述用户当前处于非专注状态；或，

统计一组学习状态图像包括的各帧学习状态图像的判断结果中专注状态和非专注状态的占比情况，若非专注状态的占比大于专注状态的占比，则判断所述用户当前处于非专注状态。

值得注意的是，上述教育机器人的学习监督装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；例如，该装置可以仅包括采集模块和处理模块，采集模块实现学习状态图像的获取；处理模块实现学习状态图像中否存在脸部特征判断，眼部特征的提取、非专注状态的判断以及展示唤醒多媒体信息等相关功能。另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例六

图6为本发明实施例六提供的一种教育机器人的结构示意图。图6示出了适于用来实现本发明实施方式的示例性教育机器人60的框图。该教育机器人60具有授课功能以及交互功能。图6显示的教育机器人60仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图6所示，该教育机器人60以通用计算设备的形式表现。该教育机器人60的组件可以包括但不限于：一个或者多个处理器或者处理单元601，系统存储器602，连接不同系统组件(包括系统存储器602和处理单元601)的总线603。

总线603表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

教育机器人60典型地包括多种计算机系统可读介质。这些介质可以是任何能够被教育机器人60访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器602可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)604和/或高速缓存存储器605。教育机器人60可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统606可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线603相连。系统存储器602可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块607的程序/实用工具608，可以存储在例如系统存储器602中，这样的程序模块607包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块607通常执行本发明所描述的实施例中的功能和/或方法。

教育机器人60也可以与一个或多个外部设备609(例如键盘、指向设备、显示器610等)通信，还可与一个或者多个使得用户能与该设备交互的设备通信，和/或与使得该教育机器人60能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口611进行。并且，教育机器人60还可以通过网络适配器612与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器612通过总线603与教育机器人60的其它模块通信。应当明白，尽管图中未示出，可以结合教育机器人60使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元601通过运行存储在系统存储器602中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的教育机器人的学习监督方法。

实施例七

本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述实施例所述的教育机器人的学习监督方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或机器人上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

上述实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员应该明白，上述的本发明实施例的各模块或各操作可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或操作制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间的相同或相似的部分互相参见即可。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种教育机器人的学习监督方法，其特征在于，包括：

在学习过程中，每隔预设周期采集用户的学习状态图像；

从所述学习状态图像中提取眼部特征；

根据提取结果，判断所述用户是否处于非专注状态；

若所述用户处于非专注状态，则通过展示唤醒多媒体信息，将所述用户的注意力转移到学习中。

2.根据权利要求1所述的方法，其特征在于，根据提取结果，判断所述用户是否处于非专注状态，包括：

判断所述提取结果中是否存在双眼的眼部特征；

若不存在双眼的眼部特征，则判断所述用户处于非专注状态。

3.根据权利要求1所述的方法，其特征在于，在从所述学习状态图像中提取眼部特征之前，还包括：

判断所述学习状态图像中是否存在脸部特征；

若不存在脸部特征，则判断所述用户处于非专注状态；

相应的，从所述学习状态图像中提取眼部特征，包括：

若存在脸部特征，则从所述脸部特征中提取眼部特征。

4.根据权利要求3所述的方法，其特征在于，判断所述学习状态图像中是否存在脸部特征，包括：

获取登录用户的标准面部特征；

若所述学习状态图像中的脸部特征与所述标准面部特征匹配，则确定所述学习状态图像中存在脸部特征。

5.根据权利要求2所述的方法，其特征在于，在判断所述提取结果中是否存在双眼的眼部特征之后，还包括：

若存在双眼的眼部特征，则从所述学习状态图像中解析用户的俯仰角和/或偏航角；

若所述俯仰角和/或偏航角大于设定阈值，则所述用户处于非专注状态。

6.根据权利要求1所述的方法，其特征在于，若每隔预设周期采集用户的一组学习状态图像时，还包括：

若一组学习状态图像中存在连续预设个数帧学习状态图像的判断结果均为用户处于非专注状态，则判断所述用户当前处于非专注状态；或，

统计一组学习状态图像包括的各帧学习状态图像的判断结果中专注状态和非专注状态的占比情况，若非专注状态的占比大于专注状态的占比，则判断所述用户当前处于非专注状态。

7.一种教育机器人的学习监督装置，其特征在于，包括：

图像采集模块，用于在学习过程中，每隔预设周期采集用户的学习状态图像；

眼部特征提取模块，用于从所述学习状态图像中提取眼部特征；

状态判断模块，用于根据提取结果，判断所述用户是否处于非专注状态；

注意力转移模块，用于若所述用户处于非专注状态，则通过展示唤醒多媒体信息，将所述用户的注意力转移到学习中。

8.根据权利要求7所述的装置，其特征在于，所述状态判断模块具体用于：

判断所述提取结果中是否存在双眼的眼部特征；

若不存在双眼的眼部特征，则判断所述用户处于非专注状态。

9.一种教育机器人，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的教育机器人的学习监督方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的教育机器人的学习监督方法。