CN110333774A - 一种基于多模态交互的远程用户注意力评估方法及系统 - Google Patents

Abstract

本发明涉及远程教育领域，提出基于多模态交互的远程用户注意力评估方法，旨在解决远程教育中用户的实时学习状态难以得到监督,学习质量无法得到评估,极大影响用户的学习效果的问题，方法包括：通过信息采集模块获取待评价用户的多模态信息；根据上述多模态信息判断上述待评价用户是否为目标用户，如果不是目标用户，发送提示信息；如果为目标用户，向上述待评价用户发送指令信息，并接收上述待评价用户的响应信息；根据上述响应信息评价上述待评价用户的状态。实现了远程教育中对用户的实时学习状态的评估，以监督用户的学习。

Description

一种基于多模态交互的远程用户注意力评估方法及系统

技术领域

本发明涉及计算机视觉领域，具体涉及在远程教育中对学生行为评价的一种基于多模态交互的远程用户注意力评估方法及系统。

背景技术

随着计算机、个人智能电子设备及高速网络的普及，国内外的远程教育迅速发展,提供相关服务的网络平台及智能电子设备层出不穷，远程教育成为一种新主流教育模式。远程教育在发展过程中由在其初期的个人用户基于爱好和需求主动学习的资源，转变成较为固定的、被大规模应用的主要教学方式和现有课堂的替代，造成用户主动学习的动力不足、积极性低下以至于学习效果下降。

受到教学形式及硬件设备等条件所限，相比传统教室及教学方法，远程教育中用户的实时学习状态难以得到监督,学习状态无法得到评估，无法保证用户的学习质量，极大地影响了用户的学习效果。

发明内容

为了解决现有技术中的上述问题，即为了解决在远程教育中，因无法实时监督用户的学习状态，使得用户学习积极性低所导致的学习质量差、学习效果差的问题，本发明提出一种基于多模态交互的远程用户注意力评估方法督促用户学习以解决上述问题：

第一方面，本发明提供一种基于多模态交互的远程用户注意力评估方法。该方法包括下列步骤：

通过用于监控用户状态的终端设备获取待评价用户的图像信息；其中，所述终端设备包括信息采集模块和显示模块，所述信息采集模块包括双目相机和音频接收器，所述显示模块包括主显示器和辅助显示器；所述用户信息是利用所述双目相机采集到人脸图像信息和/或利用所述音频接收器采集到的语音信息；

根据上述图像信息判断上述待评价用户是否为目标用户，如果上述待评价用户不是目标用户，发送提示信息；

如果上述待评价用户为目标用户，进入评估模式，在上述评估模式中，获取上述目标用户的多模态信息，判断上述多模态信息是否超出预设值，根据判断结果评估上述目标用户的状态，其中，上述多模态信息包括利用所述双目相机采集到的图像信息、和/或利用所述音频接收器采集到的语音信息、和/或用户根据当前交互操作测试信息反馈的屏幕交互操作信息；

记录上述目标用户的状态，并将上述目标用户的状态输出以监督所述目标用户的学习。

在一些示例中，上述根据上述用户信息判断上述待评价用户是否为目标用户，根据上述多模态信息判断上述待评价用户是否为目标用户包括：将上述用户信息与预存的上述目标用户预存的图像或音频进行相似度比较；如果相似度大于预设的第一阈值，确定上述待评价用户为目标用户。

在一些示例中，上述获取上述目标用户的多模态信息，判断上述多模态信息是否超出预设值，根据判断结果评估上述目标用户的状态，包括：获取上述多模态信息中的图像信息；根据上述图像信息，判断上述目标用户在预定时间内移出预设范围的次数是否超出预定次数；如果超出所述预定次数，确定上述目标用户的状态为非正常状态。

在一些示例中，上述获取上述目标用户的多模态信息，判断上述多模态信息是否超出预设值，根据判断结果评估上述目标用户的状态，包括：根据上述图像信息，判断上述目标用户在上述预定时间内移出预设范围的时长是否超出第一预定时长；如果超出上述第一预定时长，确定上述目标用户的状态为非正常状态。

在一些示例中，上述判断上述多模态信息是否超出预设值，根据判断结果评估上述目标用户的状态，包括：根据上述图像信息，判断上述目标用户的闭眼时间是否大于第二预定时长；如果大于上述第二预定时长，确定上述目标用户的状态为非正常状态。

在一些示例中，上述获取上述目标用户的多模态信息，根据上述多模态信息评估上述目标用户的状态，还包括：

获取上述多模态信息中的语音信息，对所述语音信息进行识别；

对语音识别结果与预设的标准答案进行匹配，根据匹配结果判断所述目标用户的状态是否为非正常状态。

在一些示例中，所述对语音识别结果与预设的标准答案进行匹配，根据匹配结果判断所述目标用户的状态是否为非正常状态包括：

判断所述语音信息中的语音持续时间是否超出第三预定时长；

如果超出所述第三预定时长，确定所述目标用户的状态为非正常状态。

第二方面，本发明还提供一种基于多模态交互的远程用户注意力评估系统，该系统包括信息采集模块、信息分析模块、学习状态监测模块、用户姿态监测模块、显示模块、音频输出模块和控制模块：

所述信息采集模块包括双目相机和音频接收器；所述双目相机配置为采集用户的图像信息，所述音频接收器配置为采集语音信息；

所述信息分析模块包括人脸检测模块、人脸识别模块和语音识别模块；所述人脸检测模块配置为根据所述双目相机所采集的图像信息判断是否有用户存在，所述人脸识别模块配置为当所述人脸检测模块检测到用户后根据所述双目相机当前采集的人脸图像判断当前用户是否为目标用户；所述语音识别模块配置为根据当前采集的语音信息判断是否有用户存在并且在判断出存在用户后根据所述语音信息判断当前用户是否为目标用户；

所述学习状态监测模块配置为获取所述目标用户的多模态信息，判断所述多模态信息是否超出预设值，根据判断结果评估所述目标用户的学习状态；其中，所述多模态信息包括所述图像信息、和/或所述语音信息、和/或用户根据当前交互操作测试信息反馈的屏幕交互操作信息；

所述用户姿态监测模块配置为根据所述多模态信息分析所述用户的姿态；

所述控制模块配置为根据所述学习状态选择性地控制所述显示模块和/或音频输出模块进行信息提醒，以及根据所述用户的姿态调整系统姿态。

在一些示例中，上述信息分析模块进一步配置为：将上述用户信息与上述目标用户预存的图像或音频进行相似度比较；如果相似度大于预设的第一阈值，确定上述待评价用户为目标用户。

在一些示例中，上述学习状态监测模块进一步配置为：获取所述多模态信息中的图像信息；根据上述图像信息，判断上述目标用户在设定时间内移出预设范围的次数和/或时长是否超出预定次数；如果超出上述预定次数，确定上述目标用户的状态为非正常状态。

在一些示例中，上述学习状态监测模块进一步配置为：根据所述图像信息，判断所述目标用户在所述预定时间内移出预设范围的时长是否超出第一预定时长；如果超出所述第一预定时长，确定所述目标用户的状态为非正常状态。

在一些示例中，上述学习状态监测模块进一步配置为：根据上述图像信息，判断上述目标用户的闭眼时间是否大于第二预定时长；如果大于上述第二预定时长，确定上述目标用户的状态为非正常状态。

在一些示例中，上述学习状态监测模块进一步配置为：

获取上述目标用户的语音信息，对所述语音信息进行识别；

对语音识别结果与预设的标准答案进行匹配，根据匹配结果判断所述目标用户的状态是否为非正常状态。

在一些示例中，上述学习状态监测模块还配置为：

判断所述语音信息中的语音持续时间是否超出第三预定时长；

如果超出所述第三预定时长，确定所述目标用户的状态为非正常状态。

本发明实施例提供的基于多模态交互的远程用户注意力评估方法，通过多模态信息确认待评价用户是否为目标用户，对确认为目标用户的待评价用户进行状态评估，在状态评估中，获取目标用户的多模态信息，利用所述多模态信息评估所述目标用户的状态。确认待评价用户为目标用户防止代“打卡”，根据所获取的多模态信息确认学习状态，可以及时监督待评价用户是否在学习课程，以及学习效果。实现了在远程教育中实时的监督用户的学习状态，提高用户学习的效果。

附图说明

图1是本发明可以应用于其中的示例性系统架构图；

图2是根据本发明的基于多模态交互的远程用户注意力评估方法实施例的主要步骤示意图；

图3a-3b是根据本发明的基于多模态交互的远程用户注意力评估方法实施例中的一个应用场景的示意图；

图4是本发明的基于多模态交互的远程用户注意力评估系统的一个实施例的结构图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

图1示出了可以应用本发明的基于多模态交互的远程用户注意力评估方法的实施例的示例性系统架构。

如图1所示，系统架构可以包括终端设备101，网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用，例如视屏播放类应用、社交平台软件、交互类应用、搜索类应用、即时通信工具、邮箱客户端等。

终端设备101可以是具有显示屏并且支持视屏播放与视屏交互类的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、播放器、膝上型便携计算机和台式计算机等等。

可以理解地是，终端设备101可以分为用于显示课程内容的终端设备，以及用于状态监控的终端设备，上述用于显示课程内容的终端设备和用于状态监控的终端设备可以一体设置，还可以分体设置。用于显示课程内容的终端设备可以为电脑、学习交互机等；用于状态监控的终端设备可以为具有摄像头、相机、拾音器等可以采集用户多模态信息的终端设备，以及显示设备以显示用户的状态，如投影仪、各种显示器等。

服务器103可以是提供各种服务的服务器，例如对终端使用设备101用户的信息进行评价的处理服务器，处理服务器可以对使用终端设备用户的信息进行分析处理，将处理结果(对远程用户注意力评估)反馈给终端设备或应用平台，以供用户或远程教育机构等待评价的用户进行评估。

需要说明的是，本发明实施例所提供的基于多模态交互的远程用户注意力评估方法一般由服务器103执行，相应地，应用该多模态交互的远程用户注意力评估方法及系统一般设置于服务器103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本发明的基于多模态交互的远程用户注意力评估方法的一个实施例的流程。该基于多模态交互的远程用户注意力评估方法，包括以下步骤：

步骤201，获取待评价用户的用户信息，具体为：利用双目相机采集人脸图像信息和/或利用音频接收器采集语音信息。具体地，

在本实施例中，基于多模态交互的远程用户注意力评估方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从用户利用其进行远程教育学习的终端或用于监控用户状态的终端设备接收用户的用户信息。在远程教育中，对于通过用户终端进行远程学习的学生进行监督，评估其学习状态。其中，上述待评价用户为正在通过远程教育系统学习的学生或学习人员。上述用户信息是上述服务器通过网络获取到的待评价用户学习状态的信息，可以是待评价用户的脸部图像、用户声音、用户动作等信息。上述用户信息可以为图像信息、音频信息等多种类型的复合信息；上述获取待评价用户的用户信息可以通过安装于用户学习所使用的终端设备的传感设备获取，还可以是通过用于监测用户状态的终端设备获取，上述用于监测用户状态的终端设备与用户学习所使用的终端设备分体设置，为不同的终端设备。例如，可以使用安装于用户所用终端设备的图像采集单元和音频采集单元采集待评价用户的图像信息、音频信息等。优选地，本实施例中，可以通过装设于用于监测用户状态的终端设备的摄像头和音频接收器采集用户的上述图像信息、音频信息。

步骤202，根据上述用户信息判断上述待评价用户是否为目标用户。具体地，如果上述待评价用户不是目标用户转至步骤208，如果上述待评价用户是目标用户转至步骤203。

在本实施例中，在上述服务器的存储单元预先存储各待评价用户的用户预存信息，上述用户预存信息可以包括用于区分待评价用户与其他用户的身份信息，其包括用户的注册信息，如，用户名、用户的姓名、年龄、性别、所学的课程等，还包括用户识别信息，如，用户的图像、音频信息等。上述根据用户信息判断上述待评价用户是否为目标用户，可以通过将上述用户信息与上述用户预存信息对比，确定是否为目标用户。作为示例，利用视频设备采集到待评价用户的图像信息，比较上述图像信息与上述用户预存信息中的图像比较，利用人脸识别技术确定待评价的用户是否为目标用户。根据比较结果，如果上述待评价用户不是目标用户，可以向待评价用户和/或系统发送提示信息。这里，可以将待评价用户登陆时所用的用户名所对应的用户确定为目标用户。根据上述用户名可以从上述用户预存信息中获得目标用户的信息，如目标用户的注册信息，如，用户名、用户的姓名、年龄、性别、所学的课程等，还包括目标用户的识别信息，如，图像信息、音频信息等。可以理解的是，确认待评价用户是否为目标用户，还可以防止其他人代替待评价用户学习课程的现象出现，即，防止代“打卡”的现象出现。

在本实施例一些可选的实现方式中，上述用户信息包括图像信息，以及上述根据上述多模态信息判断上述待评价用户是否为目标用户包括：将上述图像信息与预存的目标用户的图像进行相似度比较；如果相似度大于预设的第一阈值，确定上述待评价用户为目标用户。这里，上述用户信息所包括的图像信息可以从装设于终端设备的视频设备获得，上述图像信息所示出的图像可以为包括待评价用户的面部的图像。上述判断待评价用户是否为目标用户可以是比较上述图像信息所示的图像与目标用户预先存储的图像进行相似度比较，根据相似度确定出是否为目标用户。这里相似度比较可以通过面部的比较，利用人脸识别技术确定所比较的图像相似度，从而确定待评价用户与目标用户是否为同一人。

在本实施例的一些可选的实现方式中，上述用户信息包括语音信息，以及上述根据上述多模态信息判断上述待评价用户是否为目标用户包括：如果上述相似度小于上述第一阈值，且大于预设的第二阈值，将上述语音信息与预存的上述目标用户的音频信息进行音频特征相似度比较，其中，上述第二阈值小于上述第一阈值；如果上述音频特征相似度大于预设的第三阈值，确定上述待评价用户为目标用户。上述语音信息可以从用户终端设备的拾音器或视屏设备获得。这里，上述相似度小于上述第一阈值，且大于预设的第二阈值，表示根据上述图像信息并不能完全确认上述待评价用户是目标用户，也不能完全确认上述待评价用户不是目标用户，需要进一步判断。进一步，通过语音信息确认上述待评价用户是目标用户，可以将从用户终端所获取的语音信息与目标用户预存的音频信息进行语音特征比较，根据比较结果，若音频特征相似度大于预设的第三阈值，确定上述待评价用户为目标用户；这里，语音特征比较可以是频谱特征的比较。

步骤203，获取目标用户的多模态信息，具体为：利用双目相机采集用户的图像信息、和/或利用音频接收器采集语音信息、和/或获取用户根据当前交互操作测试信息反馈的屏幕交互操作信息。

步骤204，判断上述多模态信息是否超出预设值，根据判断结果评估上述目标用户的状态。

在本实施例中，基于上述步骤202中的判断结果，如果待评价用户为目标用户，则进入对待评价用户的学习状态监控的评估模式，在评估模式中，获取上述目标用户的多模态信息，根据所获取的多模态信息评估该目标用户的状态。上述评估模式是确定待评价用户为目标用户后，服务器或平台对目标用户进行学习状态评估的模式。在此模式下，服务器可以随时的获取目标用户的信息，或随时的向用户发送检测信息，监控用户的学习状态。这里，上述多模态信息可以包括图像信息、音频信息以及屏幕交互操作信息。上述服务器可以利用所获取的图像信息和/或音频信息和/或屏幕交互操作信息，对目标用户进行学习状态的评估。例如，可以利用图像信息判断目标用户的坐姿是否正确、是否乱窜、是否在学习位置、是否交头接耳等，并由此确定目标用户的学习状态是否正常。利用所获取的音频信息，判断目标用户的是否在进行与学习无关的事情，如听音乐、与他人聊天，并以此判断目标用户的学习状态是否正常。利用屏幕交互操作信息判断目标用户屏幕交互操作的正确率和响应时间，从而判断目标用户的学习状态。例如，目标用户屏幕交互操作的正确率，可以反映用户对所学习内容的理解掌握情况；用户屏幕交互操作的应答时间可以反映出用户是否及时响应教师的指令。

在本实施例的一些可选的实现方式中，上述获取上述目标用户的多模态信息，根据上述多模态信息评估上述目标用户的状态，包括：获取目标用户的图像信息；根据上述图像信息，判断上述目标用户在预定时间内移出预设范围的次数是否超出预订次数；如果超出上述预定次数确定上述目标用户的状态为非正常状态。这里，通过终端的视频单元或相机采集目标用户的图像信息。上述判断目标用户在设定时间内移出预设范围的次数过多，用于判断用户是否左顾右盼、是否离开学习位置；超出预定次数，表明用户不在学习位置的时间太长或太频繁，其学习状态不佳。上述预设范围可以是根据目标用户学习时的姿势，所确定出的目标用户所在的区域范围。

进一步地，可以通过判断目标用户在预定时间内移出预设范围的时长是否超出设定的时间，该设定的时间可以是第一预定时长；如果超出上述第一预定时长，确定该目标用户的状态为非正常状态。也即，如果目标用户在设定时间内移出预设范围的时间过长，表明用户不在学习位置的时间太长或太频繁，其学习状态不佳。而判断出用户的状态为非正常状态后可以控制显示模块中的辅助显示器进行信息提醒(如文字提醒)，还可以控制显示模块中的主显示器和辅助显示器同时进行信息提醒。

在本实施例的一些可选的实现方式中，还可以利用上述图像信息，判断目标用户的闭眼时间是否大于第二预定时长；如果大于第二预定时长，确定上述目标用户的状态为非正常状态。这里，利用上述图像信息可以对目标用户的面部进行识别，确定出目标用户的闭眼时间，如果目标用户的闭眼时间太长，表示目标用户可能在睡觉、或处于疲劳状态，目标用户的注意力不集中；由此，可确定出目标用户的学习状态。

在本实施例的一些可选的实现方式中，还可以利用多模态信息中的语音信息对目标用户的状态评估，具体可以为获取多模态信息中的语音信息，这里，通过用于状态监控的终端的音频单元或拾音器采集目标用户的语音信息；根据该语音信息，通过语音识别模块的识别结果与标准答案的匹配度，确定上述目标用户的状态为非正常状态。在设定时间内，如果目标用户的语音持续时间较长，用户可能在聊天或进行其他与学习无关的活动。还可以通过语音信息中的用户语音对话的反应时间和用户回答问题的正确率判断用户的状态。

步骤205，根据目标用户的状态选择性地控制辅助显示器进行信息提示或者控制主显示器与辅助显示器同时进行信息提醒。

具体地，当目标用户的状态是非正常状态时可以控制辅助显示器进行信息提示，也可以控制主显示器和辅助显示器同时进行信息提醒。

步骤206，判断是否接收到用户根据显示模块的提醒信息发送的反馈信息。具体地，若接收到反馈信息则转至步骤207，若未接收到反馈信息则转至步骤205，控制显示模块继续进行信息提醒。

步骤207，记录上述目标用户的状态，并将上述目标用户的状态输出以监督上述目标用户的学习。

在本实施例中，上述步骤204中对目标用户的状态评估结果，对上述目标用户的学习状态和学习纪律进行监督。上述监督可以是将上述结果存储于预设的储存模块，具体可以为将分析所得结果存储为长期记录与短期记录，以综合评价学生的学习纪律和学习效果。还可以将反馈评价信息发送到目标用户，以监督学习状态为非正常状态的目标用户。具体地，可以是通过语音反馈信息或文字反馈信息或图像反馈信息提醒用户或监督用户。

在一些具体的实现方式中，监督评估结果为非正常状态的目标用户可以是：向上述目标用户发送监督目标用户状态的指令信息；接收上述目标用户响应于上述指令信息的多模态信息，并根据上述多模态信息监督上述目标用户的状态。这里，上述服务器或平台向目标用户发送监测信息提示目标用户注意学习纪律和学习状态，尽快恢复到正常的学习状态，以监督目标用户的学习。

上述向用户发送指令信息以便督促目标用户恢复正常学习状态。这里，可以是以发送语音的方式向目标用户所在的终端设备发送指令信息，还可以是以短信息的方式向目标用户所在的终端设备发送指令信息。上述指令信息可以指令目标用户进行指定肢体动作，如，可以指令用户进行转动头部、抬头或点头、抬起左手或右手等肢体动。还可以指令目标用户按照指令信息进行操作，如，指示目标用户对指令信息中的问题进行回答。上述多模态信息可以是如下信息中的至少之一：视频信息、图像信息、语音信息、文本信息等。上述多模态信息是对上述指令信息的响应，包括肢体动作的响应、语音的响应、指定操作的响应等。作为示例，上述指令信息通过语音的方式指令待评价用户抬起右手，先握拳然后张开；通过目标用户所使用的终端设备所装设的视频设备采集目标用户的视频信息作为响应于指令信息的多模态信息。

在一些具体的实现方式中，所述多模态信息为图像信息，判断所述图像信息所示的图像中是否包含所述指令信息所指定的动作；如果不包含，确定所述目标用户并未接收到平台或服务器的指示或提示，需要继续关注或通过其他方式进行提醒。

这里，监督目标用户的学习状态可以通过判断响应于指令信息的图像信息中所示出的动作或操作是否为指令信息所指示的动作或操作。如果响应的动作或操作是指令信息所指示的动作或操作，确定所述目标用户接收到提示信息，并将目标用户的状态确定为正常状态。

在一些可选的实现方式中，上述多模态信息为音频信息，对学习评估为非正常状态的上述目标用户进行状态的监督，可以为：判断上述音频信息是否与上述指令信息所指示的语音是否一致；如果一致，确定目标用户的状态是正常状态。这里，当指令信息指令用户回答问题或用户主动提问时，获取的多模态信息为音频信息。通过音频信息判断音频的响应与上述指令信息所指示的语音是否一致，如果一致，确定目标用户接收到提示信息，进一步确定上述目标用户的状态为正常状态。这里，音频的响应为在待评价用户获得指令信息之后，从待评价用户的终端设备接收到的音频信息。上述判断上述音频信息与上述指令信息所指示的语音是否一致，可以是判断语音信息中的语音是否为指令指定用户回答问题、或指令指定用户复述的语音。

在本实施例一些可选的实现方式中，上述多模态信息为上述目标用户通过终端设备进行的操作信息，对学习评估为非正常状态的上述目标用户进行状态的监督可以为：判断上述操作信息是否包含上述指令信息所指定的操作；如果包含上述指令信息所指定的操作，确定目标用户接收到提示信息，进一步确定上述用户的状态为正常状态。上述响应与指令信息的多模态信息还包括操作信息，操作信息为在待评价用户获得指令信息之后，从待评价用户的终端设备接收到的操作信息，其中，操作信息所对应的操作包括用户在终端设备的界面的操作，如，点击页面中弹出的消息、在页面中指定位置输入文本信息等。具体的，用户操作信息是在系统判断出用户目前学习状态不佳并向用户发出提示信息以后，需要用户确认以保证该提示信息起到了提示作用。用户的操作信息可以为手势确实，手势确实是指用户作出某一系统设定的特定手势(如OK手势)，系统或应用平台通过双目摄像头采集到该手势并确认以后，提示信息不再显示。同时用户还可以主动回答“我收到提示信息”等进行确认，系统通过采集音频信息利用语音识别方法确认以后，提示信息不再显示。或者用户还可直接用鼠标点击显示模块上的提示信息，以确定用户收到了提示信息。

步骤208，控制辅助显示器进行信息提示或者控制主显示器与辅助限制器同时进行信息提醒。具体地，本实施例中可以将提示信息发送至显示模块中的辅助显示器进行信息提醒，也可以将提示信息同时发送至显示模块中的主显示器和辅助显示器进行信息提醒。在本实施例一些可选的实现方式中，上述方法还包括记录上述待评价用户的状态，并向确定为状态是非正常状态的待评价用户发送提示信息。上述记录待评价用户的状态可以用于对该待评价用户进行综合性的评估，例如，可以作为对待评价用户学习纪律的评价基础。上述提示信息可以是通过语音或短信息的方式发送到待评价用户的终端设备，以提醒待评价用户注意遵守学习纪律。

继续参见图3a-3b，图3a-3b是根据本实施例的基于多模态交互的远程用户注意力评估方法的应用场景的一个示意图。在图3a-3b的应用场景中，基于多模态交互的远程用户注意力评估方法运行于其上的服务器在验证了待评价用户为目标用户之后，向待评价用户所在的终端设备发送待评价用户学习的课程，在待评价用户学习期间向其所在终端设备发送指令信息以评估用户的学习状态。上述指令信息指令待评价用户在指定时间内回复指令信息所提出的问题，如图3a中301所示，指令信息指令待评价用户在30秒内回答弹出的问题，以检查用户对之前课程的学习效果，以及评价当前的学习状态。如果用户未在指定时间段内回复问题，则可认为待评价用户不在学习位置，确认其状态为非正常。待评价用户回复问题的答案不正确，确认其学习效果差。具体地，可以根据回复问题的难易程度设置不同的回复时间，以综合评估待评价用户的学习状态和学习效果。如图3b中302为对待评价用户学习效果和学习状态的评估。

本发明的上述实施例提供的方法首先通过多模态信息确认待评价用户是否为目标用户，然后，向待评价用户发送指令信息，并获取用户对该指令信息的响应信息，最后根据响应信息评估待评价用户的状态，实现了远程教育中对用户的学习状态的实时监督。

继续参考图4，示出了根据本发明的基于多模态交互的远程用户注意力评估系统的一个实施例的结构图。该基于多模态交互的远程用户注意力评估系统，包括：信息采集模块1、信息分析模块2、控制模块3、学习状态监测模块4、用户姿态监测模块5、存储模块6、音频输出模块8、云台控制模块9。具体地，信息采集模块1包括双目相机11和音频接收器12，双目相机11可以配置为采集用户的图像信息，音频接收器12可以配置为采集语音信息。信息分析模块2包括人脸检测模块21、人脸识别模块23和语音识别模块22。人脸检测模块21可以配置为根据双目相机11所采集的图像信息判断是否有用户存在，人脸识别模块23可以配置为当人脸检测模块21检测到用户后根据双目相机11当前采集的人脸图像判断当前用户是否为目标用户。语音识别模块22可以配置为根据当前采集的语音信息判断是否有用户存在并且在判断出存在用户后根据语音信息判断当前用户是否为目标用户。控制模块3可以配置为根据学习状态选择性地控制显示模块7和/或音频输出模块8进行信息提醒，以及根据用户的姿态调整系统姿态。存储模块6可以接收控制模块3所输出的指令，将分析所得结果存储为长期记录与短期记录。学习状态监测模块4可以配置为获取目标用户的多模态信息，判断多模态信息是否超出预设值，根据判断结果评估目标用户的学习状态。其中，多模态信息包括图像信息、和/或语音信息、和/或用户根据当前交互操作测试信息反馈的屏幕交互操作信息。用户姿态监测模块5可以配置为根据多模态信息分析用户的姿态。云台控制模块9可以接收控制模块3所输出的指令，调整系统的姿态。

在本实施例中，上述学习状态监测模块4获取上述目标用户的多模态信息，根据上述多模态信息评估所述目标用户的状态。上述学习状态监测模块4可以根据所获得用户信息中的图像或声音评估目标用户的状态。例如可以判断目标用户身体的姿势确定出目标用户的状态。

可以理解地是，在基于多模态交互的远程用户注意力评估系统中还应该包括启动模块。上述启动模块可以为系统各模块/各模块供电，保证系统的供电安全。在本实施例的一些可选的实现方式中，上述信息分析模块2进一步配置为：将上述用户信息与上述目标用户预存的图像或音频进行相似度比较；如果相似度大于预设的第一阈值，确定上述待评价用户为目标用户。

在本实施例的一些可选的实现方式中，上述学习状态监测模块4进一步配置为：获取目标用户的图像信息；根据上述图像信息，判断上述目标用户在设定时间内移出预设范围的次数是否超出预定次数；如果超出上述预定次数，确定上述目标用户的状态为非正常状态。进一步地，可以判断目标用户在设定时间内移出预设范围的时长是否超出第一预定时长，如果超出第一预定时长，确定目标用户的状态为非正常状态。

在本实施例的一些可选的实现方式中，上述学习状态监测模块4进一步配置为：根据上述图像信息，判断上述目标用户的闭眼时间是否大于第二预定时长；如果大于第二预定时长，确定上述目标用户的状态为非正常状态。

在本实施例的一些可选的实现方式中，上述学习状态监测模块4，进一步配置为：获取上述目标用户的语音信息；根据上述语音信息，判断上述语音信息中的语音持续时间是否超出第三预定时长；如果超出上述第三预定时长，确定上述目标用户的状态为非正常状态。

本发明的上述实施例提供的系统，首先通过信息采集组织采集待评价用户的信息，经信息分析模块2识别所采集的用户信息判断待评价用户是否为目标用户，通过学习状态监测模块4对目标用户进行学习状态的评估，如果目标用户的状态为非正常发送提示信息以提示用户，并根据用户对提示信息的响应信息监督用户的学习，实现了远程教育中对用户的学习状态的实时监督。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (14)

1.一种基于多模态交互的远程用户注意力评估方法，其特征在于，所述方法包括：

通过用于监测用户状态的终端设备获取待评价用户的用户信息；其中，所述终端设备包括信息采集模块和显示模块，所述信息采集模块包括双目相机和音频接收器，所述显示模块包括主显示器和辅助显示器；所述用户信息是利用所述双目相机采集到人脸图像信息和/或利用所述音频接收器采集到的语音信息；

根据所述用户信息判断所述待评价用户是否为目标用户，如果所述待评价用户不是目标用户，发送提示信息；

如果所述待评价用户为目标用户，进入评估模式，在所述评估模式中，获取所述目标用户的多模态信息，判断所述多模态信息是否超出预设值，根据判断结果评估所述目标用户的状态，其中，所述多模态信息包括利用所述双目相机采集到的图像信息、和/或利用所述音频接收器采集到的语音信息、和/或用户根据当前交互操作测试信息反馈的屏幕交互操作信息；

根据所述目标用户的状态选择性地控制所述辅助显示器进行信息提示或者控制所述主显示器与辅助显示器同时进行信息提醒；

判断是否接收到用户根据所述显示模块的提醒信息发送的反馈信息：若否，则控制所述显示模块持续进行信息提醒直至接收到所述反馈信息；

记录所述目标用户的状态，并将所述目标用户的状态输出以监督所述目标用户的学习。

2.根据权利要求1所述基于多模态交互的远程用户注意力评估方法，其特征在于，所述根据所述用户信息判断所述待评价用户是否为目标用户，包括：

将所述用户信息与所述目标用户预存的图像或音频进行相似度比较；

如果相似度大于预设的第一阈值，确定所述待评价用户为目标用户。

3.根据权利要求1所述的基于多模态交互的远程用户注意力评估方法，其特征在于，所述获取所述目标用户的多模态信息，判断所述多模态信息是否超出预设值，根据判断结果评估所述目标用户的状态，包括：

获取所述多模态信息中的图像信息；

根据所述图像信息，判断所述目标用户在预定时间内移出预设范围的次数是否超出预定次数；

如果超出所述预定次数，确定所述目标用户的状态为非正常状态。

4.根据权利要求3所述的基于多模态交互的远程用户注意力评估方法，其特征在于，所述获取所述目标用户的多模态信息，判断所述多模态信息是否超出预设值，根据判断结果评估所述目标用户的状态，包括：

根据所述图像信息，判断所述目标用户在所述预定时间内移出预设范围的时长是否超出第一预定时长；

如果超出所述第一预定时长，确定所述目标用户的状态为非正常状态。

5.根据权利要求3所述的基于多模态交互的远程用户注意力评估方法，其特征在于，所述判断所述多模态信息是否超出预设值，根据判断结果评估所述目标用户的状态，包括：

根据所述图像信息，判断所述目标用户的闭眼时间是否大于第二预定时长；

如果大于所述第二预定时长，确定所述目标用户的状态为非正常状态。

6.根据权利要求1所述的基于多模态交互的远程用户注意力评估方法，其特征在于，所述获取所述目标用户的多模态信息，根据所述多模态信息评估所述目标用户的状态，还包括：

获取所述多模态信息中的语音信息，对所述语音信息进行识别；

对语音识别结果与预设的标准答案进行匹配，根据匹配结果判断所述目标用户的状态是否为非正常状态。

7.根据权利要求6所述的基于多模态交互的远程用户注意力评估方法，其特征在于，所述对语音识别结果与预设的标准答案进行匹配，根据匹配结果判断所述目标用户的状态是否为非正常状态包括：

判断所述语音信息中的语音持续时间是否超出第三预定时长；

如果超出所述第三预定时长，确定所述目标用户的状态为非正常状态。

8.一种基于多模态交互的远程用户注意力评估系统，其特征在于包括信息采集模块、信息分析模块、学习状态监测模块、用户姿态监测模块、显示模块、音频输出模块和控制模块；

所述信息采集模块包括双目相机和音频接收器；所述双目相机配置为采集用户的图像信息，所述音频接收器配置为采集语音信息；

所述信息分析模块包括人脸检测模块、人脸识别模块和语音识别模块；所述人脸检测模块配置为根据所述双目相机所采集的图像信息判断是否有用户存在，所述人脸识别模块配置为当所述人脸检测模块检测到用户后根据所述双目相机当前采集的人脸图像判断当前用户是否为目标用户；所述语音识别模块配置为根据当前采集的语音信息判断是否有用户存在并且在判断出存在用户后根据所述语音信息判断当前用户是否为目标用户；

所述学习状态监测模块配置为获取所述目标用户的多模态信息，判断所述多模态信息是否超出预设值，根据判断结果评估所述目标用户的学习状态；其中，所述多模态信息包括所述图像信息、和/或所述语音信息、和/或用户根据当前交互操作测试信息反馈的屏幕交互操作信息；

所述用户姿态监测模块配置为根据所述多模态信息分析所述用户的姿态；

所述控制模块配置为根据所述学习状态选择性地控制所述显示模块和/或音频输出模块进行信息提醒，以及根据所述用户的姿态调整系统姿态。

9.根据权利要求8所述的基于多模态交互的远程用户注意力评估系统，其特征在于，所述信息分析模块进一步配置为：

将所述用户信息与所述目标用户预存的图像或音频进行相似度比较；

如果相似度大于预设的第一阈值，确定所述待评价用户为目标用户。

10.根据权利要求8所述的基于多模态交互的远程用户注意力评估系统，其特征在于，所述学习状态监测模块进一步配置为：

获取所述多模态信息中的图像信息；

根据所述图像信息，判断所述目标用户在设定时间内移出预设范围的次数是否超出预定次数；

如果超出所述预订次数，确定所述目标用户的状态为非正常状态。

11.根据权利要求10所述的基于多模态交互的远程用户注意力评估系统，其特征在于，所述学习状态监测模块进一步配置为：

根据所述图像信息，判断所述目标用户在所述预定时间内移出预设范围的时长是否超出第一预定时长；

如果超出所述第一预定时长，确定所述目标用户的状态为非正常状态。

12.根据权利要求10所述的基于多模态交互的远程用户注意力评估系统，其特征在于，所述学习状态监测模块进一步配置为：

根据所述图像信息，判断所述目标用户的闭眼时间是否大于第二预定时长；

如果大于所述第二预定时长，确定所述目标用户的状态为非正常状态。

13.根据权利要求8所述的基于多模态交互的远程用户注意力评估方法，其特征在于，所述学习状态监测模块进一步配置为：

获取所述多模态信息中的语音信息，对所述语音信息进行识别；

对语音识别结果与预设的标准答案进行匹配，根据匹配结果判断所述目标用户的状态是否为非正常状态。

14.根据权利要求3所述的基于多模态交互的远程用户注意力评估方法，其特征在于，所述学习状态监测模块还配置为：

判断所述语音信息中的语音持续时间是否超出第三预定时长；

如果超出所述第三预定时长，确定所述目标用户的状态为非正常状态。