CN106599881A - 学生状态的确定方法、装置及系统 - Google Patents

Abstract

本发明提供了一种学生状态的确定方法、装置及系统，该方法应用于网络在线教学场景中，网络的学生侧终端上配置有形态采集装置，该形态采集装置包括：摄像头、眼动仪和体感仪器；该方法包括：通过学生侧终端获取形态采集装置采集的数据；该数据包括：摄像头采集的表情数据、眼动仪采集的眼睛数据和体感仪器采集的身态数据；基于图像识别技术，对表情数据和眼睛数据分别进行分析处理，得到学生的情绪状态信息，以及疲劳与专注度状态信息；将身态数据、情绪状态信息和疲劳与专注度状态信息相结合分析，生成学生的状态信息；其中，状态信息包括高注意态、低注意态和依赖注意态。本发明有助于教师在网络教学中较为清楚的了解学生的学习状态。

Description

学生状态的确定方法、装置及系统

技术领域

本发明涉及智能学习信息记录技术领域，尤其是涉及一种学生状态的确定方法、装置及系统。

背景技术

随着科技的发展，网络在线教育已逐渐成为人们选择学习的一种便捷方式。

在传统的课堂教学中，老师能够较容易地判断每个学生的学习状态；然而在网络教育中，鉴于教师与学生并非面对面教学，教师并不能较好地了解位于网络另一端的各位学生的学习状态，致使教学效果不佳。

针对上述教师在网络教学中不便于了解学生的学习状态，致使教学效果不佳的问题，目前尚未提出有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种学生状态的确定方法、装置及系统，能够有助于教师在网络教学中较为清楚的了解学生的学习状态，进而提高教学效果。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种学生状态的确定方法，该方法应用于网络在线教学场景中，网络的学生侧终端上配置有形态采集装置，该形态采集装置包括：摄像头、眼动仪和体感仪器；该方法包括：通过学生侧终端获取形态采集装置采集的数据；数据包括：摄像头采集的表情数据、眼动仪采集的眼睛数据和体感仪器采集的身态数据；基于图像识别技术，对表情数据和眼睛数据分别进行分析处理，得到学生的情绪状态信息，以及疲劳与专注度状态信息；将身态数据、情绪状态信息和疲劳与专注度状态信息相结合分析，生成学生的状态信息；其中，状态信息包括高注意态、低注意态和依赖注意态。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述基于图像识别技术，对表情数据和眼睛数据分别进行分析处理，得到学生的情绪状态信息，以及疲劳与专注度状态信息包括：通过表情识别算法分析表情数据，生成与表情数据对应的情绪状态信息；通过眼动跟踪算法分析眼睛数据中的视线数据，得到学生的注视点信息；通过人眼状态识别算法分析眼睛数据中的眼球数据，生成与学生的眼睛睁合度信息；对注视点信息和眼睛睁合度信息进行分析，得到学生的疲劳与专注度状态信息。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述将身态数据、情绪状态信息和疲劳与专注度状态信息相结合分析，生成学生的状态信息包括：将身态数据、情绪状态信息和疲劳与专注度状态信息与预先设置的状态数据库中存储的各个状态类型进行分析匹配，根据匹配结果生成学生的状态信息。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述方法还包括：将学生的状态信息发送至网络的教师侧终端。

第二方面，本发明实施例还提供一种学生状态的确定装置，该确定装置应用于网络在线教学场景中，网络的学生侧终端上配置有形态采集装置，形态采集装置包括：摄像头、眼动仪和体感仪器；确定装置包括：数据采集模块，用于通过学生侧终端获取形态采集装置采集的数据；数据包括：摄像头采集的表情数据、眼动仪采集的眼睛数据和体感仪器采集的身态数据；分析处理模块，用于基于图像识别技术，对表情数据和眼睛数据分别进行分析处理，得到学生的情绪状态信息，以及疲劳与专注度状态信息；状态信息生成模块，用于将身态数据、情绪状态信息和疲劳与专注度状态信息相结合分析，生成学生的状态信息；其中，状态信息包括高注意态、低注意态和依赖注意态。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上述分析处理模块包括：第一状态生成单元，用于通过表情识别算法分析表情数据，生成与表情数据对应的情绪状态信息；第二状态生成单元，用于通过眼动跟踪算法分析眼睛数据中的视线数据，得到学生的注视点信息；通过人眼状态识别算法分析眼睛数据中的眼球数据，生成与学生的眼睛睁合度信息；对注视点信息和眼睛睁合度信息进行分析，得到学生的疲劳与专注度状态信息。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，上述状态信息生成模块包括：状态信息生成单元，用于将身态数据、情绪状态信息和疲劳与专注度状态信息与预先设置的状态数据库中存储的各个状态类型进行分析匹配，根据匹配结果生成学生的状态信息。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，上述确定装置还包括：发送模块，用于将学生的状态信息发送至网络的教师侧终端。

第三方面，本发明实施例提供了一种学生状态的确定系统，包括网络服务器和学生侧终端，其中，上述网络服务器包括第二方面任一项的确定装置，学生侧终端上配置有形态采集装置；且该形态采集装置包括：摄像头、眼动仪和体感仪器；摄像头用于采集表情数据，并将表情数据通过学生侧终端发送至网络服务器；眼动仪用于采集眼睛数据；并将眼睛数据通过学生侧终端发送至网络服务器；体感仪器用于采集身态数据；并将身态数据通过学生侧终端发送至网络服务器；网络服务器用于根据接收的表情数据、眼睛数据和身态数据，生成学生的状态信息。

结合第三方面，本发明实施例提供了第三方面的第一种可能的实施方式，其中，上述系统还包括：与网络服务器通信连接的教师侧终端；网络服务器还用于将状态信息发送至教师侧终端。

本发明实施例提供了一种学生状态的确定方法、装置及系统，通过学生侧终端获取形态采集装置采集的表情数据、眼睛数据和身态数据等数据，并对数据进行相应的分析处理，最后综合分析生成学生的状态信息。与现有技术中教师在网络教学中不便于了解学生的学习状态的问题相比，本发明实施例可以根据所采集到的学生的数据准确地分析出学生的状态，进而便于教师了解网络另一端学生的学习状态，以更好的提升教学效果。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种学生状态的确定方法流程图；

图2示出了本发明实施例所提供的一种学生状态的确定方法的具体流程图；

图3示出了本发明实施例所提供的一种状态数据库的匹配方法的流程图；

图4示出了本发明实施例所提供的一种学生状态的确定装置的结构框图；

图5示出了本发明实施例所提供的一种学生状态的确定装置的具体结构框图；

图6示出了本发明实施例所提供的一种学生状态的确定系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前网络在线教育已逐渐融入人们的生活，考虑到现有技术中教师在网络教学中不便于了解网络另一侧的学生的学习状态，致使教学效果不佳的问题，基于此，本发明实施例提供的一种学生状态的确定方法、装置及系统，能够有助于教师在网络教学中较为清楚的了解学生的学习状态。以下对本发明实施例进行详细介绍。

实施例一：

本发明实施例提供了一种学生状态的确定方法，该方法应用于网络在线教学场景中，其中，网络的学生侧终端上配置有形态采集装置，形态采集装置包括：摄像头、眼动仪和体感仪器。

具体的，可参见图1所示的一种学生状态的确定方法流程图，(该方法以从服务器侧描述为例进行说明)，包括以下步骤：

步骤S102，通过学生侧终端获取形态采集装置采集的数据；数据包括：摄像头采集的表情数据、眼动仪采集的眼睛数据和体感仪器采集的身态数据；其中，表情数据可以包括眉毛数据、嘴唇数据等；眼睛数据可以包括视线数据、眼球状态数据；身态数据可以为动作数据、头部数据，也可以为姿态数据。其中，通过对动作数据和头部数据的分析，也可得到姿态数据。

步骤S104，基于图像识别技术，对表情数据和眼睛数据分别进行分析处理，得到学生的情绪状态信息，以及疲劳与专注度状态信息；情绪状态信息可以包括学生的喜怒哀乐等面部特征，具体诸如悲伤、平静、惊讶、微笑、紧张、愁苦等；疲劳与专注度状态信息可以表征学生是否疲劳，以及学生的专注程度等。

步骤S106，将身态数据、情绪状态信息和疲劳与专注度状态信息相结合分析，生成学生的状态信息；其中，状态信息包括高注意态、低注意态和依赖注意态。可以根据统计学分析，进而得到学生在一段时间内(例如一节课)的学习状态，当然，也可以称为学习类型，诸如高注意态学习类型、低注意态学习类型、依赖注意态学习类型等。

当然，还可以包括录音装置，可以将采集到的学生的语音信息传送至执行上述方法的服务器，以使该服务器对学生的语音信息进行分析处理，根据学生的语音语调判断该学生的学习状态；例如，学生在回答问题时语音洪亮，可以将该语音洪亮的特征归属为高注意态。

本实施例的上述方法中，通过学生侧终端获取形态采集装置采集的表情数据、眼睛数据和身态数据等数据，并对数据进行相应的分析处理，最后综合分析生成学生的状态信息。与现有技术中教师在网络教学中不便于了解学生的学习状态的问题相比，本发明实施例可以根据所采集到的学生的数据准确地分析出学生的状态，进而便于教师了解网络另一端学生的学习状态，以更好的提升教学效果。

为了能够进一步了解本发明实施例提供的学生状态的确定方法的实现过程，请参见图2所示的一种学生状态的确定方法的具体流程图，包括如下步骤：

步骤S202，通过学生侧终端获取形态采集装置采集的数据；数据包括：摄像头采集的表情数据、眼动仪采集的眼睛数据和体感仪器采集的身态数据；

步骤S204，通过表情识别算法分析表情数据，生成与表情数据对应的情绪状态信息；

步骤S206，通过眼动跟踪算法分析眼睛数据中的视线数据，得到学生的注视点信息；通过人眼状态识别算法分析眼睛数据中的眼球数据，生成与学生的眼睛睁合度信息；对注视点信息和眼睛睁合度信息进行分析，得到学生的疲劳与专注度状态信息；

步骤S208，将身态数据、情绪状态信息和疲劳与专注度状态信息与预先设置的状态数据库中存储的各个状态类型进行分析匹配，根据匹配结果生成学生的状态信息。应当注意，是分析身态数据、情绪状态信息和疲劳与专注度状态信息的综合特征，与分析单一特征相比，综合分析得到的结果会更加全面、具体和客观。其中，状态数据库中记录有各个类型的学习状态特征的组合，例如，记录有高注意态的特征、低注意态的特征和依赖注意态的特征；不同的身态数据、情绪状态以及疲劳与专注度可以划分为不同的程度等级，不同的程度等级组合后可得到不同的学习状态，在此较为典型的有高注意态、低注意态和依赖注意态；当然学生状态还包括其它类别，在此仅以高注意态、低注意态和依赖注意态为例进行举例分析。

步骤S210，将学生的状态信息发送至网络的教师侧终端。

具体的，图2中的步骤S202对应图1中的步骤S102，图2中的步骤S204至步骤S206对应图1中的步骤S104；图2中的步骤S208对应图1中的步骤S106。

此外，图2中还增添了步骤S210，即将学生的状态信息发送至网络的教师侧终端，教师侧终端可以便捷的从执行该方法的服务器侧获取到学生的状态信息，从而便于教师清楚的了解位于网络另一端的各位学生的学习状态，进而可以有针对性的教学，以提升教学效果。

教师侧终端可以为电脑或者手机，教师侧终端还可以用于向服务器发送查询指令，该查询指令中携带有目标学生信息以及指定时间段，便于教师获得在指定时间段内目标学生的学习状态，从而对该学生的上课状态有了更清楚的了解，便于有针对性的调整教学方向，提高教学质量。

具体的，图像识别技术包括表情识别算法、眼动跟踪算法和姿势识别算法等，步骤S204至步骤S206可具体参照如下过程对数据进行处理。

(一)通过表情识别算法分析表情数据，生成与表情数据对应的情绪状态信息包括以下步骤：

1.1采用灰度图像直方图均衡法对表情数据进行图像预处理；

1.2利用人脸识别分类器对经过图像预处理后的表情数据进行人脸识别，生成人脸区域；

1.3通过LDA(Latent Dirichlet Allocation)特征提取算法从人脸区域中提取表情特征；

1.4采用支持向量机对表情特征进行表情分类，得到分类后的人脸表情；

1.5识别分类后的人脸表情，生成与人脸表情对应的情绪状态信息。

(二)通过眼动跟踪算法分析眼睛数据中的视线数据，得到学生的注视点信息包括以下步骤：

2.1采集图片样本，包括捕获校准眼图和捕获标定眼图。具体实现时，可以事先采集一组标准眼图数据，让测试人员在学生正常在线学习状态下拍摄记录该学生视线正对屏幕时的眼图，并将该眼图作为校准眼图；将记录学生正视屏幕边缘、四角时的眼图作为标定眼图。

2.2眼睛定位，包括椭圆拟合法瞳孔中心定位和Susan(Small univalue segmentassimilating nucleus)算子内眼角点定位。

2.3视线估计，包括校准和标定两个过程。校准过程根据图片样本采集中校准点眼图对应的校准点坐标和眼睛定位中获得的眼动数据，计算出学生视线与标准眼图之间的坐标映射系数。标定过程根据映射系数和眼睛定位中获得的标定点眼动数据计算出标定点的注视坐标(也就是学生视线落在屏幕上的坐标)，即得到学生的注视点信息。

(三)通过人眼状态识别算法分析眼睛数据中的眼球数据，生成与学生的眼睛睁合度信息包括以下步骤：

3.1首先进行人脸识别，可采用基于Hear的人脸识别分类器等方法；

3.2在识别出的人脸中截取眼睛区域，具体方法为:首先使用已有的算法进行肤色提取，其次分析肤色区域，进而对人脸区域进行预检测，之后结合人眼几何特征进行初步定位，最后利用人眼的灰度信息进行精确定位；

3.3为了获取清晰准确的眼部图像信息，首先将人脸图像灰度化、进行Gabor滤波、增强脸部各区域特征，然后将图像二值化，即得到二值化图像；

3.4对二值化图像进行水平积分投影，将二值化后人脸的特征点(诸如头发、眉毛、眼睛、鼻子、嘴巴等)明显的分割出来，对该二值化图像进行水平积分投影，即可准确的定位人眼；

3.5判别眼睛状态，根据眼睛的眼球大小判别眼睛睁合度信息。眼睛睁合度信息可以作为疲劳程度的表征。眼睛睁合度信息包括睁眼、闭眼、眯眼等；睁眼表示为不疲劳，连续闭眼时间超过预设时间(例如5秒)表示为疲劳，眯眼时眼睛睁合越小(即捕获的眼球面积越小)，表示学生越疲劳。

将得出的上述注视点信息和上述眼睛睁合度信息进行综合分析，得到学生的疲劳与专注度状态信息。

进一步，本发明实施例还提供了身态数据的具体获得方式：

(四)通过姿势识别算法得到身态数据包括：

4.1根据学习者身体各部位到传感器的距离信息，获取学习者当前的深度图像；

4.2在深度图像中根据深度差异，利用二值化法可以实现人像和背景分离，从而提取人像轮廓；

4.3采用Hu不变矩、贝叶斯分类器进行姿势分类，包括端坐、左倾、右倾、前靠、后仰这五种姿势；

4.4姿势识别，继而得到反映学生姿态或动作的身态数据。

具体的，上述姿势识别算法可以借助可以检测人体姿态、动作等的体感仪器得出，并将身态数据发送至服务器。

在步骤S208中提及的状态数据库中存储有各个学生的学习状态类型，每个类型都对应有不同的身态数据、情绪状态信息和疲劳与专注度状态信息组合。例如，可以根据各个学生状态的表现来确定身态数据、情绪状态信息和疲劳与专注度状态信息组合的组合。

高注意态学生通常表现为：眼球移动较快，坐姿端正，双手放于桌面，回答问题声音响亮。回答正确时会微笑，回答错误时会嘴巴微张，眼睛睁大，眉毛上扬，露出吃惊的表情，被老师批评后会低头，迅速露出悲伤的表情。低注意态学生通常表现为：坐姿不端正，一段时间会趴在桌子上或者歪头看其他的地方，眼球转动缓慢，基本不回答问题或者极少数回答问题，声音较小，情绪变化不大；被老师点名两次以上才能做出反应。依赖注意态学生通常表现为：情绪状态的变化明显受外界环境的影响，其情绪状态和学习内容是否感兴趣，教学过程是否有自己参与及其他学生的情绪状态密切相关；经常观察别的同学的学习状态，头部、眼球活动比较频繁，观察高注意型学生会短时间内表现出高注意型学生的上课特征，观察低注意型学生会短时间表现出低注意型学生的上课特征。

基于上述不同学生的学习状态表现，以高注意态为例，上述状态数据库中记录的高注意态对应的特征可以相应为：身态数据反映为坐姿端正(身态数据对应的姿态等级达到预设标准姿态值)；在指定时间内姿势较为固定，且姿势的变化频率低于预设频率；情绪状态反映为根据上课内容以及回答问题后的情况而变化，例如，在监测到学生回答问题后的情绪表情与预设反映相符合(微笑或者眉毛上扬)；疲劳与专注度状态反映为不疲劳且非常专注，例如，眼睛睁合度符合预设的睁合度，且视线方向会落于屏幕上，并会跟随课件内容的移动而小范围移动等。以上仅为示意性说明，可以在状态数据库中预先设置不同学生状态对应的特征，特征程度划分越细，越有利于将学生状态准确匹配。低注意态的特征和依赖注意态的特征在此不再赘述。

在应用状态数据库对身态数据、情绪状态信息和疲劳与专注度状态信息进行匹配，根据匹配结果生成学生的状态信息时，可以直接查询匹配，也可以按照如下步骤进行匹配：其中，为了便于描述，将身态数据、情绪状态信息和疲劳与专注度状态信息统称为状态数据。参见图3所示的一种状态数据库的匹配方法的流程图，包括如下步骤：

步骤S302，将状态数据与状态数据库中的高注意态特征进行匹配，判断该学生状态是否为高注意态；如果是，执行步骤S310；如果否，执行步骤S304；

步骤S304，将状态数据与状态数据库中的低注意态特征进行匹配，判断该学生状态是否为低注意态；如果是，执行步骤S310；如果否，执行步骤S306；

步骤S306，将状态数据与状态数据库中的依赖注意态特征进行匹配，判断该学生状态是否为依赖注意态；如果是，执行步骤S310；如果否，执行步骤S308；

步骤S308；重新获取状态数据，并执行步骤S302；

步骤S310：生成学生状态，并将该学生状态发送至教师侧终端。

以上仅为一种匹配方式，当然也可以先判断是否为低注意态，然后再判断是否为高注意态、依赖注意态；此外，还可以对获得的状态数据与状态数据库中的特征进行直接查找匹配。在此不再赘述。

实施例二：

对于实施例一中所提供的一种学生状态的确定方法，本发明实施例提供了一种设置在服务器侧的学生状态的确定装置，该确定装置应用于网络在线教学场景中，网络的学生侧终端上配置有形态采集装置，形态采集装置包括：摄像头、眼动仪和体感仪器；当然，还可以包括录音装置，可以将采集到的学生的语音信息传送至执行上述方法的服务器，以使该服务器对学生的语音信息进行分析处理，根据学生的语音语调判断该学生的学习状态；例如，学生在回答问题时语音洪亮，可以将该语音洪亮的特征归属为高注意态。

参见图4所示的一种学生状态的确定装置的结构框图，该确定装置包括以下模块：

数据采集模块402，用于通过学生侧终端获取形态采集装置采集的数据；数据包括：摄像头采集的表情数据、眼动仪采集的眼睛数据和体感仪器采集的身态数据；

分析处理模块404，用于基于图像识别技术，对表情数据和眼睛数据分别进行分析处理，得到学生的情绪状态信息，以及疲劳与专注度状态信息；

状态信息生成模块406，用于将身态数据、情绪状态信息和疲劳与专注度状态信息相结合分析，生成学生的状态信息；其中，状态信息包括高注意态、低注意态和依赖注意态。可以根据统计学分析，进而得到学生在一段时间内(例如一节课)的学习状态，当然，也可以称为学习类型，诸如高注意态学习类型、低注意态学习类型、依赖注意态学习类型等。

本实施例的上述装置中，通过数据采集模块402获取表情数据、眼睛数据和身态数据等数据，并由分析处理模块404对数据进行相应的分析处理，最后由状态信息生成模块406综合分析生成学生的状态信息。与现有技术中教师在网络教学中不便于了解学生的学习状态的问题相比，本发明实施例可以根据所采集到的学生的数据准确地分析出学生的状态，进而便于教师了解网络另一端学生的学习状态，以更好的提升教学效果。

为了能够进一步了解本发明实施例提供的学生状态的确定装置，参见图5所示的一种学生状态的确定装置的具体结构框图。

其中，在图4的基础上，分析处理模块404包括：

第一状态生成单元4042，用于通过表情识别算法分析表情数据，生成与表情数据对应的情绪状态信息；

第二状态生成单元4044，用于通过眼动跟踪算法分析眼睛数据中的视线数据，得到学生的注视点信息；通过人眼状态识别算法分析眼睛数据中的眼球数据，生成与学生的眼睛睁合度信息；对注视点信息和眼睛睁合度信息进行分析，得到学生的疲劳与专注度状态信息。

状态信息生成模块406包括：

状态信息生成单元4062，用于将身态数据、情绪状态信息和疲劳与专注度状态信息与预先设置的状态数据库中存储的各个状态类型进行分析匹配，根据匹配结果生成学生的状态信息。

进一步，上述确定装置还包括：发送模块502，用于将学生的状态信息发送至网络的教师侧终端。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例三：

对应于前述实施例所提供的方法和装置，参见图6所示的一种学生状态的确定系统的结构示意图，该系统包括网络服务器100和学生侧终端200，其中，网络服务器100包括实施例二中提供的确定装置10，学生侧终端200上配置有形态采集装置201；且形态采集装置201包括：摄像头201a、眼动仪201b和体感仪器201c；

摄像头201a用于采集表情数据，并将表情数据通过学生侧终端200发送至网络服务器100；

眼动仪201b用于采集眼睛数据；并将眼睛数据通过学生侧终端200发送至网络服务器100；

体感仪器201c用于采集身态数据；并将身态数据通过学生侧终端200发送至网络服务器100；

网络服务器100用于根据接收的表情数据、眼睛数据和身态数据，生成学生的状态信息。

当然，形态采集装置还可以包括录音装置，可以将学生的讲话声音传送至服务器，以使服务器对学生的语音信息进行分析处理，根据学生的语音语调判断该学生的学习状态；例如，学生在回答问题时语音洪亮，可以将该语音洪亮的特征归属为高注意态；

进一步，上述系统还包括：与网络服务器100通信连接的教师侧终端300；

网络服务器100还用于将状态信息发送至教师侧终端300。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

综上所述，本发明实施例提供的一种学生状态的确定方法、装置及系统，通过学生侧终端获取形态采集装置采集的表情数据、眼睛数据和身态数据等数据，并对数据进行相应的分析处理，最后综合分析生成学生的状态信息。与现有技术中教师在网络教学中不便于了解学生的学习状态的问题相比，本发明实施例可以根据所采集到的学生的数据准确地分析出学生的状态，进而便于教师了解网络另一端学生的学习状态，以更好的提升教学效果。

本发明实施例所提供的一种学生状态的确定方法、装置及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种学生状态的确定方法，其特征在于，所述方法应用于网络在线教学场景中，所述网络的学生侧终端上配置有形态采集装置，所述形态采集装置包括：摄像头、眼动仪和体感仪器；所述方法包括：

通过所述学生侧终端获取所述形态采集装置采集的数据；所述数据包括：所述摄像头采集的表情数据、所述眼动仪采集的眼睛数据和所述体感仪器采集的身态数据；

基于图像识别技术，对所述表情数据和所述眼睛数据分别进行分析处理，得到所述学生的情绪状态信息，以及疲劳与专注度状态信息；

将所述身态数据、所述情绪状态信息和所述疲劳与专注度状态信息相结合分析，生成所述学生的状态信息；其中，所述状态信息包括高注意态、低注意态和依赖注意态。

2.根据权利要求1所述的方法，其特征在于，基于图像识别技术，对所述表情数据和所述眼睛数据分别进行分析处理，得到所述学生的情绪状态信息，以及疲劳与专注度状态信息包括：

通过表情识别算法分析所述表情数据，生成与所述表情数据对应的情绪状态信息；

通过眼动跟踪算法分析所述眼睛数据中的视线数据，得到所述学生的注视点信息；通过人眼状态识别算法分析所述眼睛数据中的眼球数据，生成与所述学生的眼睛睁合度信息；对所述注视点信息和所述眼睛睁合度信息进行分析，得到所述学生的疲劳与专注度状态信息。

3.根据权利要求1所述的方法，其特征在于，将所述身态数据、所述情绪状态信息和所述疲劳与专注度状态信息相结合分析，生成所述学生的状态信息包括：

将所述身态数据、所述情绪状态信息和所述疲劳与专注度状态信息与预先设置的状态数据库中存储的各个状态类型进行分析匹配，根据匹配结果生成所述学生的状态信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述学生的状态信息发送至所述网络的教师侧终端。

5.一种学生状态的确定装置，其特征在于，所述确定装置应用于网络在线教学场景中，所述网络的学生侧终端上配置有形态采集装置，所述形态采集装置包括：摄像头、眼动仪和体感仪器；所述确定装置包括：

数据采集模块，用于通过所述学生侧终端获取所述形态采集装置采集的数据；所述数据包括：所述摄像头采集的表情数据、所述眼动仪采集的眼睛数据和所述体感仪器采集的身态数据；

分析处理模块，用于基于图像识别技术，对所述表情数据和所述眼睛数据分别进行分析处理，得到所述学生的情绪状态信息，以及疲劳与专注度状态信息；

状态信息生成模块，用于将所述身态数据、所述情绪状态信息和所述疲劳与专注度状态信息相结合分析，生成所述学生的状态信息；其中，所述状态信息包括高注意态、低注意态和依赖注意态。

6.根据权利要求5所述的确定装置，其特征在于，所述分析处理模块包括：

第一状态生成单元，用于通过表情识别算法分析所述表情数据，生成与所述表情数据对应的情绪状态信息；

第二状态生成单元，用于通过眼动跟踪算法分析所述眼睛数据中的视线数据，得到所述学生的注视点信息；通过人眼状态识别算法分析所述眼睛数据中的眼球数据，生成与所述学生的眼睛睁合度信息；对所述注视点信息和所述眼睛睁合度信息进行分析，得到所述学生的疲劳与专注度状态信息。

7.根据权利要求5所述的确定装置，其特征在于，所述状态信息生成模块包括：

状态信息生成单元，用于将所述身态数据、所述情绪状态信息和所述疲劳与专注度状态信息与预先设置的状态数据库中存储的各个状态类型进行分析匹配，根据匹配结果生成所述学生的状态信息。

8.根据权利要求5所述的确定装置，其特征在于，所述确定装置还包括：

发送模块，用于将所述学生的状态信息发送至所述网络的教师侧终端。

9.一种学生状态的确定系统，其特征在于，包括网络服务器和学生侧终端，其中，所述网络服务器包括权利要求5-8任一项所述的确定装置，所述学生侧终端上配置有形态采集装置；且所述形态采集装置包括：摄像头、眼动仪和体感仪器；

所述摄像头用于采集表情数据，并将所述表情数据通过所述学生侧终端发送至所述网络服务器；

所述眼动仪用于采集眼睛数据；并将所述眼睛数据通过所述学生侧终端发送至所述网络服务器；

所述体感仪器用于采集身态数据；并将所述身态数据通过所述学生侧终端发送至所述网络服务器；

所述网络服务器用于根据接收的所述表情数据、所述眼睛数据和所述身态数据，生成学生的状态信息。

10.根据权利要求9所述的系统，其特征在于，所述系统还包括：与所述网络服务器通信连接的教师侧终端；

所述网络服务器还用于将所述状态信息发送至所述教师侧终端。