CN113947797A - 一种课堂上学生的状态表情分析方法、装置及设备 - Google Patents

Abstract

本申请公开了一种课堂上学生的状态表情分析方法、装置及设备，其中，方法包括：对通过摄像头采集的图像进行人脸识别，以获得图像中的人脸的人脸信息；其中，人脸信息包括：图像中的人脸的特征向量；图像包括课堂上学生的状态表情图像；通过训练好的状态表情分类模型对图像中的人脸的特征向量进行分析，以确定出图像中人脸的状态表情；采用本申请，通过对课堂上学生的人脸进行分析，确定出图像中各个人脸的学习状态表情，获得在不同时刻课堂上不同状态表情的占比，通过时序性的表情变化，初步评估学生上课情绪波动变化，分析出学生上课期间表现，也可得知课堂上的授课效果，便于对学生或教师做出综合评价。

Description

一种课堂上学生的状态表情分析方法、装置及设备

技术领域

本申请涉及表情识别技术领域，尤其涉及一种课堂上学生的状态表情分析方法、装置及设备。

背景技术

在目前的教学实践中，学校通常通过学生考试成绩、课堂上学生的上课情况以及课堂上教师的教学情况等，以对学生的综合素质或教师的教学水平作出科学全面的评价；

但是教师课堂上大部分的时间和精力主要用在传授知识，使得对学生上课状况的考察有所缺失，导致学校很难做到对学生的综合素质以及对教师的教师水平做出科学评价。

发明内容

基于以上存在的问题以及现有技术的缺陷，本申请提供一种课堂上学生的状态表情分析方法、装置及设备，通过对课堂上学生的人脸进行分析，确定和输出出所述图像中各个人脸的学习状态表情，获得在不同时刻课堂上不同状态表情的占比；通过时序性的表情变化，初步评估学生上课情绪波动变化，分析出学生上课期间表现，也可得知课堂上的授课效果，便于分别对学生或教师做出综合评价，也便于授课教师对课程进行优化。

第一方面，本申请提供了一种课堂上学生的状态表情分析方法，该方法包括：

对通过摄像头采集的图像进行人脸识别，获得所述图像中的人脸的人脸信息；其中，所述人脸信息包括：所述图像中的人脸的特征向量；所述图像包括课堂上学生的状态表情图像；

通过训练好的状态表情分类模型对所述图像中的人脸的特征向量进行分析，以确定和输出所述图像中人脸的状态表情；其中，所述状态表情分类模型包括：SVM模型、利用IWO搜索算法进行SVM模型参数调整的SVM模型，或者利用基于目标解搜索的IWO搜索算法进行SVM模型参数调整的SVM模型。

第二方面，本申请提供了一种课堂上学生的状态表情分析装置，该装置包括：

人脸识别模块和人脸分析模块；其中，

所述人脸识别模块，用于：对通过摄像头采集的图像进行人脸识别,以获得所述图像中的人脸的人脸信息；其中，所述人脸信息包括：所述图像中的人脸的特征向量；所述图像包括课堂上学生的状态表情图像；

所述人脸状态表情分析模块，用于通过训练好的状态表情分类模型对所述图像中的人脸的特征向量进行分析，以确定和输出所述图像中人脸的状态表情；

其中，所述状态表情分类模型包括：SVM模型、利用IWO搜索算法进行SVM模型参数调整的SVM模型，或者利用基于目标解搜索的的IWO搜索算法进行SVM模型参数调整的SVM模型。

第三方面，本申请提供了一种课堂上学生的状态表情分析设备，该设备包括：

存储器及与所述存储器耦合的处理器，所述存储器用于存储应用程序指令，所述处理器被配置用于调用所述应用程序指令，执行第一方面所述的课堂上学生的状态表情分析方法。

本申请提供了一种课堂上学生的状态表情分析方法、装置及设备。其中，方法包括：对通过摄像头采集的图像进行人脸识别,以获得图像中的人脸的人脸信息；人脸信息包括：图像中的人脸的特征向量；图像包括课堂上学生的状态表情图像；通过训练好的状态表情分类模型对图像中的人脸的特征向量进行分析，以确定和输出图像中人脸的状态表情。

采用本申请，通过对课堂上学生的人脸进行分析，确定出图像中各个人脸的学习状态表情，获得在不同时刻所述课堂上不同状态表情的占比；通过时序性的表情变化，初步评估学生上课情绪波动变化，分析出学生上课期间表现，也可得知课堂上的授课效果，便于分别对学生或教师做出综合评价，也便于授课教师对课程进行优化。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的一种课堂上状态表情分析方法的流程示意图；

图2是本申请提供的一种人脸关键点的图像；

图3是本申请提供的卷积神经网络的部分结构的示意图；

图4是本申请提供的一种深度卷积神经网络的部分结构的示意图；

图5是本申请提供的一种课堂上状态表情分析装置的结构示意图；

图6-9是本申请提供的课堂上状态表情分析设备的结构示意图。

具体实施方式

下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参见图1，是本申请提供的一种课堂上学生的状态表情分析方法的示意流程图，如图1所示，该表情分析方法可包括但不限于下述步骤。

S101、对通过摄像头采集的图像进行人脸识别，以获得所述图像中的人脸的人脸信息。

本申请实施例中，人脸信息可包括但不限于：图像中的人脸的特征向量，图像中的人脸的特征向量对应的人脸(即：摄像头抓拍的人脸)、图像中的人脸对应的姓名、图像中的人脸对应的原始人脸图像或图像中的人脸对应的人脸相似度(如：百分比)，其中，该原始人脸图像为预先存储在人脸数据库中的学生的人脸图像。上述图像可包括但不限于：课堂上学生的状态表情图像，课堂上学生的状态图像或课堂上学生的行为图像。

其中，上述摄像头采集的图像可包括但不限于：RGB格式的图像或者YUV格式的图像。上述图像还可包括下述特点：分辨率可为：1080P、4K或8K分辨率，帧率可为30FPS、60FPS、100FPS或120FPS，高动态范围HDR(High Dynamic Range Imaging)。

应当说明的，摄像头采集的图像可存储在摄像头的存储器中，该存储器可存储2万张人脸图像。上述摄像头可包括但不限于：集成有CMOS传感器的摄像头、集成有CCD传感器的摄像头或热成像摄像头，该摄像头还可为：课堂专用智能球机。

具体的，对通过摄像头采集的图像进行人脸识别，以获得图像中的人脸的人脸信息，可包括但不限于下述3个步骤：

步骤1：设备对图像的图像质量进行检测，以判断该图像的图像质量评价指标是否处于预设范围；其中，图像质量评价指标可包括但不限于：图像对比度、图像的亮度、图像的灰度、图像的色调、图像的色相、图像的清晰度或图像的饱和度；

可选的，以图标质量评价指标为图像的亮度为例，则预设范围可为[50，70]。

其中，设备对图像的图像质量进行检测，以判断图像的图像质量评价指标是否处于预设范围，可包括但不限于下述5种方式。

方式1：设备对图像的图像质量通过盲图像质量(Blind image quality，BIQ)检测方式，以判断图像质量评价指标是否处于预设范围。

方式2：设备先采用小波分解系数经广义高斯分布(Generalized Gaussiandistribution，GGD)模型拟合得到的参数作为特征，由SVM分类模型得到当前图像属于每个类的概率，再采用SVR模型对各个退化类型计算图像质量指标值，最后根据概率加权得到图像的总的图像质量评价指标，以判断图像质量评价指标是否处于预设范围。

方式3：设备可对图像输入到训练好的卷积神经网络(Convolutional neuralnetworks，CNN)中，实现对该图像的图像质量的预测，并判断预测的图像质量评价指标是否处于预设范围。

方式4：设备可对图像输入到训练好的卷积神经网络(Deep Convolutionalneural networks，DCNN)中，实现对该图像的图像质量的预测，并判断预测的图像质量评价指标是否处于预设范围。

方式5：设备可通过自然图像质量评价(Natural image quality evaluator,NIQE)算法对图像的图像质量进行检测，以判断图像质量评价指标是否处于预设范围，具体的，

在对上述图像进行局部归一化图像后，基于韦伯分布提取自然图像统计特征，并以多变量高斯分布描述它的概率分布，评价过程中，计算待评价图像统计特征与无失真图像特征统计模型的距离作为图像质量评价指标，以判断图像质量评价指标是否处于预设范围。

步骤2：如果图像质量评价指标处于预设范围，则将图像进行人脸区域检测，以确定出图像中的人脸在图像中所处的位置区域，基于确定出的图像中的人脸在图像中所处的位置区域，对该位置区域的图像进行人脸关键点检测，以检测出该位置区域的图像中包括人脸关键点信息的特征向量；

具体的，如果该图像质量评价指标处于预设范围，则将该图像进行人脸区域检测，以确定出该图像中的人脸在该图像中所处的位置区域，设备可基于确定出的图像中的人脸在该图像中所处的位置区域，从该位置区域的对应的图像提取出包括N个人脸关键点信息的特征向量，其中，人脸关键点信息可包括但不限于：人脸关键点的位置坐标(如：嘴巴的位置坐标、鼻子的位置坐标、眼睛的位置坐标)。

其中，N为正整数，优选的，N可为5、21、68、106或其他正整数，本申请实施例不做限制。也即，设备可基于确定出的图像中的人脸在该图像中所处的位置区域，从该位置区域的对应的图像提取出包括N个人脸关键点的位置坐标的特征向量。

图2示例性示出了一种人脸关键点的图像。

如图2所示，设备可通过训练好的CNN，并基于确定出的图像中的人脸在该图像中所处的位置区域，从该位置区域的图像提取出包括68个人脸关键点信息的人脸的特征向量。其中，上述卷积神经网络可包括但不限于：LeNet。

一种可选的实施方式中，CNN可包括但不限于：两个卷积层、两个池化层、两个全连接层、其中，卷积核大小可为5*5，步长为1，池化层卷积核大小为2*2。

具体的，设备可将摄像头采集的图像输入到上述训练好的CNN中，首先，通过上述训练好的CNN的卷积层进行特征提取，通过池化层进行下采样及对特征进行压缩，以提取出主要特征，最后，可通过全连接层将前层的特征进行加权和，可获得包括68个人脸关键点信息的人脸的特征向量。

另一种可选的实施方式中，上述训练好的CNN可包括两个卷积层、两个池化层、两个全连接层、其中，卷积核大小可为5*5，步长为1，池化层卷积核大小为2*2。

下面可结合图3对CNN的部分结构进行简单说明。

以16*16大小的图像为例，将16*16的图像输入到上述训练好的CNN中，通过卷积层1(包括32个5*5的卷积核)对该16*16的图像进行特征提取，将得到的32帧16*16的特征图像(feature map)继续输入到池化层1(1个2*2大小的卷积核)中，将得到的32帧8*8的特征图像输入到卷积层2(包括64个5*5的卷积核)中，将获得的64帧8*8的特征图像输入到池化层2(1个2*2大小的卷积核)中，将获得的64帧4*4的特征图像输入到全连接层，获得一个256维度的特征向量。

另一种可选的实施方式中，设备可通过训练好的深度卷积神经网络(DCNN)，并基于确定出的图像中的人脸在图像中所处的位置区域，从该位置区域的图像提取68个人脸关键点的特征向量，其中，本申请实施例中的DCNN可包括但不限于：AlexNet。

具体的，该DCNN的结构可包括但不限于：

输入层，用于输入一个224*224*3的图像；

第一卷积层，用于使用两个大小为11*11*3*48的卷积核，步长可为4，零填充p＝3，获得两个大小为55*55*48的特征映射组；

第一池化层，用于大小为3*3的最大池化操作，步长S＝2，获得两个27*27*48的特征映射组；

第二卷积层，用于使用两个大小为5*5*48*128的卷积核，步长为S＝1，零填充P＝2，得到两个大小为27*27*128的特征映射组；

第二池化层，用于使用大小为3*3的最大池化操作，步长S＝2，获得两个13*13*128的特征映射组；

第三卷积层，用于两个路径的融合，使用一个大小为3*3*256*384的卷积核，步长S＝1，零填充P＝1,得到两个大小为13*13*192的特征映射组；

第四卷积层，用于使用两个大小为3*3*192*192的卷积核，步长S＝1，零填充P＝1，得到两个大小为13*13*128的特征映射组；

第五卷积层，用于使用两个大小为3*3*192*128的卷积核，步长S＝1，零填充P＝1，得到两个大小为13*13*128的特征映射组；

第三池化层，用于使用大小为3*3的最大池化操作，步长S＝2，获得两个6*6*128的特征映射组；

三个连接层，用于将前层的特征进行加权和，获得包括从上述图像中提取出的包括关键点信息的特征向量；

输出层，用于将上述提取出的特征向量进行输出。

应当说明的，CNN在通过人脸样本集训练好之前，通过采集的由课堂上学生的已标注的人脸样本集对上述CNN在GPU(Graphics Processing Unit，图像处理器)上进行训练，通过获得卷积层权重参数，以获得训练好的CNN。

应当说明的，在深度卷积神经网络(DCNN)在通过人脸样本集训练好之前，通过采集的由课堂上学生的已标注的人脸样本集对上述DCNN在GPU上进行训练，通过获得卷积层权重参数，以获得训练好的DCNN。

另一种可选的实施方式中，设备可通过训练好的DCNN，并基于确定出的图像中的人脸在图像中所处的位置区域，从该位置区域的图像提取68个人脸关键点的特征向量。

该DCNN的结构可包括但不限于：VGG-16网络模型和预设全连接层，其中，预设全连接层可包括：依次级联的一个Latten层以及两个全连接层(全连接层1，全连接层2)。图4示例性示出了一种DCNN的结构的示意图。如图4所示，

VGG-16模型由五个卷积块组成，每个块有两个或三个卷积层和一个池化层。卷积和池化操作能以2D图像格式执行。卷积块1(即卷积块1)以级联方式具有两个卷积层(卷积块2和卷积块3)和一个池化层(也即池化层1)。该卷积块1的池化层(池化层1)的输出是卷积块2的输入。

假设卷积块1的第一个卷积层(卷积块1)采用大小为224×224×3的输入，对于输入的特定位置区域对应的彩色图像大小为224×224；经过不同块的连续卷积和池化操作后，VGG-16模型的输出大小为7×7×512。flatten层将其转换为大小为25088(7×7×512＝25088)的线性向量，作为第一个dense层(全连接层1)的输入。它执行线性运算并输出长度为1000的向量，这是长度为128第二个dense层(全连接层2)的输入。第二个dense层(全连接层2)的输出为从上述图像中提取出的包括关键点信息的特征向量。应当说明的，设备还可通过使用Adaboost算法从上述图像中挑选出一些最能代表人脸的矩形特征(弱分类器)如：直方图特征、颜色特征、模板特征、结构特征及Haar特征，按照加权投票的方式将弱分类器构造为一个强分类器，再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，以检测出上述图像中的人脸，并得到该人脸所处位置对应的包括人脸关键点信息的特征向量。

应当说明的，设备还可通过多任务卷积神经网络(Multi-task ConvolutionalNeural Network)将该图像进行人脸检测，以检测出图像中的一个或多个人脸，并得到该人脸所处位置对应的包括人脸关键点信息的特征向量。

步骤3：设备可将该位置区域对应的包括人脸关键点信息的人脸的特征向量通过仿射变换矩阵实现人脸对齐，以获得对齐后的人脸的特征向量。

具体的，设备可通过人脸对齐算法(如：ESR、3D-ESR、SPR、LBF、SDM、CFSS、ASM、AAM或CLM等)将该位置区域对应的包括人脸关键点信息的人脸的特征向量通过仿射变换矩阵实现人脸对齐，以获得对齐后的人脸的特征向量。

更具体的，设备可通过人脸对齐算法(如：ESR、3D-ESR、SPR、LBF、SDM、CFSS、ASM、AAM或CLM等)包括人脸关键点信息的人脸的特征向量通过仿射矩阵进行矩阵运算，获得对齐后的人脸的特征向量，其中，仿射矩阵可为：将包括侧脸关键点信息的特征向量转换成包括正脸关键点信息的特征向量的变换矩阵。

其中，本申请实施例中的设备可包括但不限于：摄像头、AI智能盒子、其他芯片或设备。

S102、通过训练好的状态表情分类模型对摄像头采集的图像中的人脸的特征向量进行分析，以确定出图像中人脸的状态表情。

本申请实施例中，设备通过训练好的状态表情分类模型对摄像头采集的图像中的人脸进行分析，以确定和输出图像中各个人脸的状态表情之前，还可包括下述过程：

设备通过将预设人脸表情训练样本输入到待训练的状态表情分类模型中，以对待训练的状态表情分类模型进行训练，获得训练好的状态表情分类模型；

其中，该预设人脸表情训练样本可包括但不限于：预设人脸表情特征向量，预设人脸表情特征向量对应的预设人脸表情标注、以及所述预设人脸表情特征向量对应的微表情图片。

其中，上述预设人脸表情训练样本可包括但不限于：表征惊讶的人脸表情特征向量、表征思考的人脸表情特征向量、表征疑惑的人脸表情特征向量、表征专注的人脸表情特征向量、表征高兴的人脸表情特征向量、表征愤怒的人脸表情特征向量、表征恐惧的人脸表情特征向量、表征悲伤的人脸表情特征向量、表征厌恶的人脸表情特征向量、表征悲痛的人脸表情特征向量或表征害怕的人脸表情特征向量。

预设人脸表情标注，可包括但不限于：惊讶、思考、疑惑、专注、高兴、愤怒、恐惧、悲伤、厌恶、悲痛或害怕等。

应当说明的，通过训练好的状态表情分类模型对摄像头采集的图像中的人脸进行分析，以确定和输出该图像中各个(或者说：一个或多个)人脸的状态表情，可包括但不限于下述3种方式。

方式1：

当上述状态表情分类模型为SVM模型(Support Vector Machines，支持向量机)时，通过训练好的状态表情分类模型对图像中的人脸的特征向量进行分析，以确定出图像中人脸的状态表情，可包括但不限于下述过程：

设备将摄像头采集的图像中的人脸的特征向量输入到训练好的SVM模型，通过所述训练好的SVM模型对所述人脸的特征向量进行预测分析后，输出图像中各个人脸的状态表情；

其中，上述人脸的状态表情包括：人脸特征向量对应的微表情图片和表情标注；

例如：输出人脸的状态表情可为：思考的微表情图片和表情标注为思考的文字描述。

具体的，设备可基于SVM模型将输入的人脸的特征向量与人脸状态表情数据库中多种不同的人脸状态表情特征向量之间的欧式距离进行计算和比较，从多个人脸状态表情特征向量中，确定出一个目标人脸状态表情特征向量，并获得该目标人脸状态表情特征向量对应的状态表情。其中，上述输入的人脸的特征向量与目标人脸状态表情特征向量之间的距离最小，或者，输入的人脸的特征向量与目标人脸状态表情特征向量之间的角度最接近0，或者，输入的人脸的特征向量与目标人脸状态表情特征向量之间的余弦值最接近1；其中，人脸状态表情数据库中：任意一个人脸状态表情特征向量对应一个微表情图片和一个表情标注；

另外，人脸状态表情数据库包括：人脸状态表情特征向量，以及该人脸状态表情特征向量对应的微表情图片和表情标注。该人脸状态表情数据库包括：基于预先采集的学生的人脸的状态表情，以及从该学生的人脸中提取的人脸状态表情特征向量构成的人脸状态表情数据库，目标人脸状态表情特征向量为上述人脸状态表情数据库中多个人脸状态表情特征向量中的一个人脸表情特征向量。

其中，上述SVM模型的模型参数可包括但不限于：第一超参数和第一惩罚因子，上述第一超参数和所述第一惩罚因子用于确定上述SVM模型的状态表情的分类精确度。

应当说明的，本申请中的第一、第二仅仅用于区分不同的惩罚因子，或者用于区分不同的超参数，不应该对本申请做出限制。

应当说明的，上述SVM模型的目标函数和约束条件可为：

其中，

||Φ(x_i)-Φ(x_j)||²＝<Φ(x₁)-Φ(x₂),Φ(x₁)-Φ(x₂)>

＝<Φ(x₁),Φ(x₁)>-2<Φ(x₁),Φ(x₂)>+<Φ(x₂),Φ(x₂)>

＝k(x₁,x₁)-2k(x₁,x₂)+k(x₂,x₂) (2)

k(x₁,x₂)＝<Φ(x₁),Φ(x₂)> (3)

一方面，当第一超参数β→0时，

||Φ(x₁)-Φ(x₂)||²＝k(x₁,x₁)-2k(x₁,x₂)+k(x₂,x₂)＝2-2k(x₁,x₂)＝2 (5)

也即，当第一超参数β很小的情况下，所有映射后的点彼此之间的距离，均相等(为2)，即不存在聚类现象，每个样本点将被单独形成一个分类。

当第一超参数β→∞时，

||Φ(x₁)-Φ(x₂)||²＝k(x₁,x₁)-2k(x₁,x₂)+k(x₂,x₂)＝2-2k(x₁,x₂)＝0 (6)

也即，在第一超参数β很大的情况下，两个不同的点经过映射后，成为高维空间上的同一个点(相互之间距离为0)，基于此，所有的样本点将被划分成同一个类，无法区分开来。

另一方面，为了最小化上述SVM模型的目标函数：当第一惩罚因子C很大时，ξ(i)只能趋近于0，也就是说对处于边界之间的样本(只有处于两条边界之间的样本对应的松弛因子ξ(i)不为0，边界上(支持向量)和边界内(正确划分的样本)的样本对应的松弛因子ξ(i)均为0)的容忍度很低，错分较少，对样本的拟合性较好，但不一定预测效果好。

应当说明的，当第一惩罚因子C的取值小的时候，处于两条边界之间的样本变多，错分的可能性变大，对样本的拟合性下降，但却可能更合理，因为样本之间往往可能带有噪声。

应当说明的，从风险的角度来看，第一惩罚因子C权衡了经验风险(对样本的拟合能力)和结构风险(对测试样本的预测能力)：为使上述目标函数越小，第一惩罚因子C越大时，正则化项ξ(i)越小，说明结构风险越大，经验风险越小，容易出现过拟合；反之，第一惩罚因子C越小，模型的复杂度越低，结构风险越小。

综上可知，因此上述关于SVM模型中目标函数在约束条件下的最优化问题，即确定出最优的第一超参数β以及最优的第一惩罚因子C，以使得SVM模型的状态表情的分类精确度较优。

方式2：

当上述状态表情分类模型为利用IWO(Invasive Weed Optimization，杂草优化算法)搜索算法进行SVM模型参数调整的SVM模型时，

通过训练好的状态表情分类模型对所述图像中的人脸的特征向量进行分析，以确定出所述图像中人脸的状态表情，还包括下述过程：

设备可通过IWO搜索算法将所述SVM模型的第一超参数以及第一惩罚因子调整为第二超参数和第二惩罚因子，以获得利用IWO搜索算法进行SVM模型参数调整的SVM模型；

其中，上述利用IWO搜索算法进行SVM模型参数调整的SVM模型所配置的SVM模型参数包括：第二超参数和第二惩罚因子；

设备可利用IWO搜索算法对SVM模型参数进行调整的SVM模型的状态表情的分类精确度大于SVM模型参数配置为第一超参数和第一惩罚因子的SVM模型的状态表情的分类精确度；

设备可通过训练好的利用IWO搜索算法进行SVM模型参数调整的SVM模型对摄像头采集的图像中人脸的特征向量进行预测分析后，以确定和输出该图像中各个(或者说：一个或多个)人脸的状态表情。

应当说明的，上述IWO搜索算法的具体实现可包括但不限于下述过程：

输入：待求解的最小优化问题的目标函数f(x)，初始种群规模个数m₀，最大种群规模个数m_max，解的空间维数为2，杂草位置的取值范围为[q_min,q_max]，最大迭代次数h_max，种子正态扩散时每一维的最小标准差σ_min，j，以及最大标准差σ_max，j，其中，j＝1,2，非线性调制指数pow；

其中，目标函数

输出：最小优化问题的最优解x^*，其中，x^*＝(β^*，C^*),β^*为第二超参数，C^*为第二惩罚因子。

初始化：令迭代次数h＝0，当种群数m(h)＝m₀；

随机初始化由m(h)个杂草组成的原始种群

将杂草位置对应的目标函数值作为该杂草的适应度；

迭代过程：

for h＝1:h_max

Ω(h)←Ω(h-1)；

在当前(h+1)次迭代中，第i个新生种子的计算公式为：

其中，iter代表迭代次数，h_max代表最大迭代次数，pow代表非线性调制指数，一般设置为2，σ_initial为初始标准差，σ_final为最终标准差；

for a＝1:m(h-1)

在第h次迭代中，杂草a生成的种子个数S_a(h)；

其中，

其中，S_min为杂草能够产生的最小种子数，S_max为杂草能够生成的最大种子数，f_min(h)为第h次迭代后种群的最小适应度值，f_max(h)为第h次迭代后种群的最大适应度值，另外，q_a(h)＝(q_a,1(h),q_a,2(h))^T为第h次迭代后杂草a的当前位置，f(q_a(h))为杂草a在当前位置q_a(h)下的适应度值，m(h)代表第h次迭代后杂草个数，

代表向下取整。优选的，h可为100。

将生成的种子S_a(h)在父代杂草位置q_a(h-1)周围按照零均值的正态分布进行扩散；

然后将将扩散生成的种子位置限定在可行域范围内，并将其加入Ω(h)；

end for

计算第h次迭代中生成的所有种子数

如果W(h)+m(h-1)≤m_max

m(h)＝W(h)+m(h-1)；

则m(h)＝m_max；

对Ω(h)中各个体按适用度从小到达排列，取前m_max个个体组成Ω(h)；

end for

将种群Ω(h_max)中适用度最小的杂草位置

(h_max)作为所求最小优化问题的最优解x^*＝(β，C)；

返回：最优解x^*＝(β^*，C^*)。

方式3：

当状态表情分类模型为利用基于目标解搜索的IWO搜索算法进行SVM模型参数调整的SVM模型时，其中，上述IWO搜索算法在第h次迭代时的任一解都为由惩罚因子和超参数组成的二维向量：

通过训练好的状态表情分类模型对图像中的人脸的特征向量进行分析，以确定出图像中人脸的状态表情，还包括：

设备可将IWO搜索算法在第h次迭代时的一个或多个解基于所述惩罚因子的维度下，从所述一个或多个解的惩罚因子中确定出目标惩罚因子，以及将所述IWO搜索算法在第h次搜索时的一个或多个解在所述所述超参数的维度下，从所述一个或多个解的超参数中确定出目标超参数，以获得由所述所述目标惩罚因子和所述目标超参数构成的所述目标解；

其中，利用基于所述目标解进行搜索的IWO搜索算法进行SVM模型参数调整的SVM模型的状态表情的分类精确度大于或等于所述利用IWO搜索算法进行SVM模型参数调整的SVM模型的状态表情的分类精确度；其中，此处，h为正整数；

通过将训练好的所述利用基于目标解进行搜索的IWO搜索算法进行SVM模型参数调整的SVM模型对所述摄像头采集的图像中人脸的特征向量进行预测分析后，以确定和输出所述图像中各个(或者说：一个或多个)人脸的状态表情。

应当说明的，上述基于目标解搜索的IWO搜索算法的具体实现可包括但不限于下述过程：

输入：个体位置

输出：伪全局最优位置

创建一个伪全局最优粒子aGB.

取最小的

作为当前维度(如：惩罚因子的维度下，或者，超参数的维度下)的最小适应度值f(a,j)；

q_aGB(h)＝q_a[j],j(h)for

如果

则

其中，

表示第(h-1)次迭代时的全局最优值(全局最小适应度值)；

否则，

如果

则

返回：第h次迭代中的最优伪个体，即目标解。即设备可通过在惩罚因子的维度下，从第h次迭代中的多个种子中确定出第aGB₁个种子的适应度值最小，可通过在超参数的维度下，从第h次迭代中的多个种子中确定出第aGB₂个种子的适应度值最小。

即可获得第h次迭代中的最优伪个体的位置，即目标解可表示为

或者，目标解还可表示为

其中，当

为目标超参数时，

可为目标惩罚因子；当

为目标惩罚因子时，

可为目标超参数。

应当说明的，上述方法还可包括下述过程：

设备将图像中各个人脸的状态表情进行显示；人脸的状态表情包括：人脸特征向量对应的微表情图片和表情标注。

其中，上述人脸特征向量对应的微表情图片可包括：表征惊讶的微表情图片、表征思考的微表情图片、表征疑惑的微表情图片、表征专注的微表情图片或表征高兴的微表情图片；上述人脸特征向量对应的表情标注，可包括但不限于：惊讶、思考、疑惑、专注或高兴。

应当说明的，上述方法还可包括但不限于下述步骤：

步骤1：设备统计当前时刻上述图像中各个人脸的状态表情，计算出在当前时刻课堂上不同状态表情的次数，以统计出在当前时刻课堂上不同状态表情的占比；

步骤2：设备将在当前时刻课堂上不同状态表情的占比进行显示。

应当说明的，上述方法还可包括但不限于述步骤：

步骤1：设备确定出摄像头在不同时刻采集的图像中各个人脸的状态表情，以统计出一个课程时段中摄像头在不同时刻采集的图像中各个人脸的状态表情；

步骤2：设备确定出在不同时刻上述课堂上不同状态表情的占比，将课堂上不同状态表情的占比进行显示。

具体的，设备可通过统计图像中各个时刻各个人脸的状态表情的占比的情况，可确定出一个课程时段中各个时刻各个人脸的状态表情的占比，并可将课堂上不同状态表情的占比进行显示。

综上，通过对课堂上学生的人脸进行分析，确定出图像中各个人脸的学习状态表情，获得在不同时刻课堂上不同状态表情的占比；通过时序性的表情变化，初步评估学生上课情绪波动变化，分析出学生上课期间表现，也可得知课堂上的授课效果，便于分别对学生或教师做出综合评价，也便于授课教师对课程进行优化。

应当说明的，图2-4仅仅用于解释本申请实施例，不应对本申请做出限制。

本申请提供了一种课堂上学生的状态表情分析装置，可用于实现图1实施例所述的一种课堂上学生的状态表情分析方法。其中，图5所示的课堂上学生的状态表情分析装置可用于执行图1实施例中的描述内容。

如图5所示，状态表情分析装置50可包括但不限于：人脸识别模块501以及人脸状态表情分析模块502。

人脸识别模块501，可用于：对通过摄像头采集的图像进行人脸识别，以获得上述图像中的人脸的人脸信息；其中，上述人脸信息包括：摄像头采集的图像中的人脸；上述图像包括课堂上学生的状态表情图像；

人脸状态表情分析模块502，可用于：通过训练好的状态表情分类模型对上述图像中的人脸的特征向量进行分析，以确定和输出图像中人脸的状态表情。

人脸识别模块501，具体可用于：

对上述图像的图像质量进行检测，以判断图像的图像质量评价指标是否处于预设范围；图像质量评价指标包括：图像对比度、图像的亮度、图像的灰度、图像的色调、图像的色相、图像的清晰度或图像的饱和度；

如果图像质量评价指标处于预设范围，则将该图像进行人脸区域检测，以确定出该图像中的人脸在图像中所处的位置区域，对所述位置区域的图像进行人脸关键点检测，以获得所述位置区域对应人脸的特征向量；其中，该人脸的特征向量包括：上述人脸的人脸关键点信息；

将上述位置区域对应人脸的特征向量通过仿射变换矩阵实现人脸对齐，以获得对齐后的人脸的特征向量；

上述摄像头包括：集成有CMOS传感器的摄像头、集成有CCD传感器的摄像头或热成像摄像头；所述图像可包括但不限于：RGB格式的图像或者YUV格式的图像。

人脸状态表情分析模块502，具体可用于：

情形1：

当状态表情分类模型为SVM模型时，

将通过摄像头采集的图像中的人脸的特征向量输入到训练好的SVM模型进行预测分析，确定并输出图像中各个(或者说：一个或多个)人脸的状态表情；人脸的状态表情包括：人脸特征向量对应的微表情图片和表情标注；

其中，SVM模型的模型参数可包括但不限于：第一超参数和第一惩罚因子，所述第一超参数和所述第一惩罚因子用于确定所述SVM模型的状态表情的分类精确度。

情形2：

当状态表情分类模型为利用IWO搜索算法进行SVM模型参数调整的SVM模型时，

通过IWO搜索算法将上述SVM模型的第一超参数以及第一惩罚因子调整为第二超参数和第二惩罚因子，以获得上述利用IWO搜索算法进行SVM模型参数调整的SVM模型；

其中，所述利用IWO搜索算法进行SVM模型参数调整的SVM模型所配置的SVM模型参数包括：第二超参数和第二惩罚因子；

上述利用IWO搜索算法对SVM模型参数进行调整的SVM模型的状态表情的分类精确度大于SVM模型参数配置为第一超参数和第一惩罚因子的SVM模型的状态表情的分类精确度；

将训练好的利用IWO搜索算法进行SVM模型参数调整的SVM模型对摄像头采集的图像中人脸的特征向量进行预测分析后，以确定和输出上述图像中各个(或者说：一个或多个)人脸的状态表情。

情形3：

上述状态表情分类模型为利用基于目标解搜索的IWO搜索算法进行SVM模型参数调整的SVM模型时，其中，上述IWO搜索算法在第h次搜索时的任一解都可为由惩罚因子和超参数组成的二维向量：

将IWO搜索算法在第h次迭代时的一个或多个解基于惩罚因子的维度下，从一个或多个解的惩罚因子中确定出目标惩罚因子，以及将IWO搜索算法在第h次迭代时的一个或多个解在所述超参数的维度下，从所述一个或多个解的超参数中确定出目标超参数，以获得由所述目标惩罚因子和所述目标超参数构成的所述目标解；

其中，利用基于上述目标解进行搜索的IWO搜索算法进行SVM模型参数调整的SVM模型的状态表情的分类精确度大于或等于所述利用IWO搜索算法进行SVM模型参数调整的SVM模型的状态表情的分类精确度；其中，h为正整数；

将训练好的上述利用基于目标解进行搜索的IWO搜索算法进行SVM模型参数调整的SVM模型对摄像头采集的图像中人脸的特征向量进行预测分析后，以确定和输出图像中各个(或者说：一个或多个)人脸的状态表情。

应当理解，状态表情分析装置50仅为本申请实施例提供的一个例子，状态表情分析装置50可具有比示出的部件更多或更少的部件，可以组合两个或更多个部件，或者可具有部件的不同配置实现。

可理解的，关于图5的状态表情分析装置50包括的功能部件的具体实现方式，以及未详细阐明的解释或说明，可参考图1中方法实施例，此处不再赘述。

本申请提供了一种课堂上学生的状态表情分析设备，可用于实现图1实施例所述的一种课堂上学生的状态表情分析方法。其中，图6所示的课堂上学生的状态表情分析设备可用于执行图1实施例中的描述内容。

如图6所示，设备60可包括但不限于：存储器601、处理器602，其中，处理器602可包括但不限于：CPU(Central Processing Unit，中央处理器)和GPU(Graphics ProcessingUnit，图像处理器)。其中，CPU与GPU相互连接。

存储器601，可用于：存储应用程序指令；

处理器602，可用于：调用并执行存储器601中存储的应用程序指令，实现图1所述的课堂上学生的状态表情分析方法。

具体的，GPU可用于：

对通过摄像头采集的图像进行人脸识别，以获得所述图像中的人脸的人脸信息；

其中，人脸信息包括：图像中的人脸的特征向量；上述图像可包括但不限于：课堂上学生的状态表情图像；

通过训练好的状态表情分类模型对图像中的人脸的特征向量进行分析，以确定和输出图像中人脸的状态表情；

应当说明的，通过摄像头采集的图像在输入到GPU之前，设备60需要将所述图像进行压缩处理，将压缩后的图片输入到GPU。其中，设备60可通过但不限于：H.264算法、H.265算法、JPEG2000算法或显示流压缩(Display stream compression，DSC)技术等压缩算法将上述摄像头采集的图像进行压缩处理。

GPU具体可用于：

对图像的图像质量进行检测，以判断图像质量评价指标是否处于预设范围；图像质量评价指标可包括但不限于：图像对比度、图像的亮度、图像的灰度或图像的饱和度。

如果图像质量评价指标处于预设范围，则将该图像进行人脸区域检测，以确定出该图像中的人脸在该图像中所处的位置区域，对上述位置区域对应的图像进行人脸关键点检测，以获得上述位置区域对应人脸的特征向量；其中，该人脸的特征向量可包括但不限于：该人脸的人脸关键点信息；

将上述位置区域对应人脸的特征向量通过仿射变换矩阵实现人脸对齐，以获得对齐后的人脸的特征向量。

其中，摄像头包括：集成有CMOS传感器的摄像头、集成有CCD传感器的摄像头或热成像摄像头；上述图像可包括但不限于：RGB格式的图像或者YUV格式的图像。

上述GPU还可用于下述几种情形：

情形1：

当上述状态表情分类模型为SVM模型时，

将摄像头采集的图像中的人脸的特征向量输入到训练好的SVM模型进行预测分析，输出人脸的状态表情；人脸的状态表情包括：微表情图片，以及微表情图片对应的表情标注；

其中，SVM模型的模型参数包括：第一超参数和第一惩罚因子，第一超参数和第一惩罚因子用于确定SVM模型的状态表情的分类精确度。

情形2：

当状态表情分类模型为利用IWO搜索算法进行SVM模型参数调整的SVM模型时，

通过IWO搜索算法将所述SVM模型的第一超参数以及第一惩罚因子调整为第二超参数和第二惩罚因子，以获得利用IWO搜索算法进行SVM模型参数调整的SVM模型；

其中，上述利用IWO搜索算法进行SVM模型参数调整的SVM模型的SVM模型参数包括：第二超参数和第二惩罚因子；

上述用IWO搜索算法对SVM模型参数进行调整的SVM模型的状态表情的分类精确度大于SVM模型参数配置为第一超参数和第一惩罚因子的SVM模型的状态表情的分类精确度；

将训练好的上述利用IWO搜索算法进行SVM模型参数调整的SVM模型对摄像头采集的图像中的人脸的特征向量进行预测分析后，以确定和输出图像中各个人脸的状态表情。

情形3：

当上述状态表情分类模型为利用基于目标解搜索的IWO搜索算法进行SVM模型参数调整的SVM模型时，其中，所述IWO搜索算法在第h次搜索时的任一解都可为由惩罚因子和超参数组成的二维向量：

将上述IWO搜索算法在第h次迭代时的一个或多个解基于惩罚因子的维度下，从一个或多个解的惩罚因子中确定出目标惩罚因子，以及将所述IWO搜索算法在第h次迭代时的一个或多个解在所述所述超参数的维度下，从上述一个或多个解的超参数中确定出目标超参数，以获得由所述所述目标惩罚因子和所述目标超参数构成的所述目标解；

其中，利用基于上述目标解进行搜索的IWO搜索算法进行SVM模型参数调整的SVM模型的状态表情的分类精确度大于或等于所述利用IWO搜索算法进行SVM模型参数调整的SVM模型的状态表情的分类精确度；其中，h为正整数；

将训练好的上述利用基于目标解进行搜索的IWO搜索算法进行SVM模型参数调整的SVM模型对上述摄像头采集的图像中的人脸的特征向量进行预测分析后，以确定和输出图像中各个人脸的状态表情。

具体的，CPU可用于：

运行控制指令，该控制指令可用于控制摄像头的转向、摄像头的开机或关机等。

应当说明的，本申请实施例中待训练的CNN、待训练的DCNN、待训练的状态表情分类模型还可分别在服务器(如：本地服务器、阿里云服务器、谷歌服务器、华为服务器等云服务器等)上进行训练后，可分别获得训练好的CNN、训练好的DCNN或训练好的状态表情分类模型。

其中，上述服务器，可包括但不限于：集成有TPU(Tensor Processing Unit，张量处理器)的服务器，集成有GPU的服务器，集成有FPGA芯片的服务器或集成有ASIC芯片的服务器等。

应当说明的，如果待训练的CNN或DCNN在服务器(云端服务器或本地服务器)中的GPU或TPU上进行训练，可获得训练好的CNN或DCNN；另一方面，待训练的状态表情分类模型在设备60中GPU上进行训练，可获得训练好的状态表情分类模型。

应当理解，状态表情分析设备60仅为本申请实施例提供的一个例子，状态表情分析设备60可具有比示出的部件更多或更少的部件，可以组合两个或更多个部件，或者可具有部件的不同配置实现。

可理解的，关于图6的状态表情分析设备60包括的功能部件的具体实现方式，可参考图1实施例，此处不再赘述。

本申请提供了一种课堂上学生的状态表情分析设备，可用于实现图1实施例所述的另一种课堂上学生的状态表情分析方法。其中，图7所示的课堂上学生的状态表情分析设备可用于执行图1实施例中的描述内容。

如图7所示，设备60可包括但不限于：存储器601、处理器602，其中，处理器602可包括但不限于：CPU(Central Processing Unit，中央处理器)和NPU(neural-networkprocessing units，神经网络处理器)。其中，CPU与NPU通过电路进行连接。

存储器601，可用于：存储应用程序指令；

处理器602，可用于：调用存储器601中存储的应用程序指令，以实现图1所述的课堂上学生的状态表情分析方法。

NPU主要可用于：

方面1：通过训练好的状态表情分类模型对所述图像中的人脸的特征向量进行分析，以确定和输出图像中各个人脸的状态表情；

方面2：通过训练好的人脸识别模型(CNN或DCNN)对通过摄像头采集的图像进行人脸识别,以获得图像中各个人脸的人脸信息。

应当说明的，服务器(如：本地服务器、阿里云服务器、谷歌服务器、华为服务器等云服务器等)中GPU上运行的数据的格式为Tfile文件数据流，NPU上运行的数据的格式为RKN文件数据流。

如果待训练的CNN、DCNN、待训练的状态表情分类模型在服务器中GPU上进行训练；那么，当训练好的CNN、DCNN、状态表情分类模型需要在NPU上测试或运行时，需要先将在GPU上训练好的模型转换为适于在NPU上测试的模型。

应当说明的，图7实施例中NPU的具体功能和实现可参考图1和图6实施例，此处不再赘述。

应当说明的，图7实施例中CPU的具体功能和实现可参考图6中CPU的功能实现的实施例，此处不再赘述。

应当说明的，本申请实施例未详细阐明的定义或解释可参考图1或图6所述的实施例。

本申请提供了一种课堂上学生的状态表情分析设备，可用于实现图1实施例所述的另一种课堂上学生的状态表情分析方法。其中，图8所示的课堂上学生的状态表情分析设备可用于执行图1实施例中的描述内容。

如图8所示，设备60可包括但不限于：存储器601、处理器602，其中，处理器602可包括但不限于：CPU和FPGA(Field-Programmable Gate Array，即现场可编程门阵列)芯片。其中，CPU与FPGA芯片通过电路进行连接。

存储器601，可用于：存储应用程序指令；

处理器602，可用于：调用存储器601中存储的应用程序指令，实现图1所述的课堂上学生的状态表情分析方法。

FPGA芯片主要可用于：

方面1：通过训练好的状态表情分类模型对上述图像中的人脸的特征向量进行分析，以确定和输出图像中各个人脸的状态表情；

方面2：通过训练好的人脸识别模型(CNN或DCNN)对通过摄像头采集的图像进行人脸识别，以获得图像中各个人脸的人脸信息。

应当说明的，图8实施例中FPGA芯片的具体功能和实现可参考图1和图6实施例，此处不再赘述。

应当说明的，图8实施例中CPU的具体功能和实现可参考图6中CPU的功能实现的实施例，此处不再赘述。

应当说明的，本申请实施例未详细阐明的定义或解释可参考图1或图6所述的实施例。

本申请提供了一种课堂上学生的状态表情分析设备，可用于实现图1实施例所述的另一种课堂上学生的状态表情分析方法。其中，图9所示的课堂上学生的状态表情分析设备可用于执行图1实施例中的描述内容。

如图9所示，设备60可包括但不限于：存储器601、处理器602，其中，处理器602可包括但不限于：CPU和DSP(Digital Signal Processing)芯片。其中，CPU与DSP芯片通过电路进行连接。

存储器601，可用于：存储应用程序指令；

处理器602，可用于：调用存储器601中存储的应用程序指令，实现图1所述的课堂上学生的状态表情分析方法。

DSP芯片具体可用于：

通过采集的由课堂上学生的已标注的人脸样本集对待训练的卷积神经网络(CNN)在DSP上进行训练，通过获得卷积层权重参数，以获得训练好的CNN；或者，

通过采集的由课堂上学生的已标注的人脸样本集对待训练的DCNN在DSP上进行训练，通过获得卷积层权重参数，以获得训练好的DCNN。

DSP芯片具体还可用于：

通过预设人脸表情训练样本输入到待训练的表情分类模型中，以对所述待训练的表情分类模型进行训练，获得训练好的表情分类模型。

DSP芯片主要可用于：

方面1：通过训练好的状态表情分类模型对所述图像中的人脸的特征向量进行分析，以确定和输出图像中各个人脸的状态表情；

方面2：通过训练好的人脸识别模型(CNN或DCNN)对通过摄像头采集的图像进行人脸识别,以获得图像中各个人脸的人脸信息。

应当说明的，图9实施例中DSP的具体功能和实现可参考图1和图6实施例，此处不再赘述。

应当说明的，图9实施例中CPU的具体功能和实现可参考图6中CPU的功能实现的实施例，此处不再赘述。

应当说明的，本申请实施例未详细阐明的定义或解释可参考图1或图6所述的实施例。

本领域普通技术人员可以意识到，结合本申请中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、系统和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

上述描述的装置、设备的实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、设备、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种课堂上学生的状态表情分析方法，其特征在于，包括：

对通过摄像头采集的图像进行人脸识别，以获得所述图像中的人脸的人脸信息；其中，所述人脸信息包括：所述图像中的人脸的特征向量；所述图像包括课堂上学生的状态表情图像；

通过训练好的状态表情分类模型对所述图像中的人脸的特征向量进行分析，以确定出所述图像中人脸的状态表情；

其中，所述状态表情分类模型包括：SVM模型、利用IWO搜索算法进行SVM模型参数调整的SVM模型，或者利用基于目标解搜索的IWO搜索算法进行SVM模型参数调整的SVM模型。

2.如权利要求1所述课堂上学生的状态表情分析方法，其特征在于，

所述对通过摄像头采集的图像进行人脸识别，以获得所述图像中的人脸的人脸信息，包括：

对所述图像的图像质量进行检测，以判断所述图像的图像质量评价指标是否处于预设范围；所述图像质量评价指标包括：图像对比度、所述图像的亮度、所述图像的灰度或所述图像的饱和度；

如果所述图像质量评价指标处于所述预设范围，则将所述图像进行人脸区域检测，以确定出所述图像中的人脸在所述图像中所处的位置区域，对所述位置区域的图像进行人脸关键点检测，以获得所述位置区域对应人脸的特征向量；其中，所述人脸的特征向量包括：所述人脸的人脸关键点信息；

将所述位置区域对应人脸的特征向量通过仿射变换矩阵实现人脸对齐，以获得对齐后的人脸的特征向量；

其中，所述人脸数据库包括：预先存储的所述课堂上学生的人脸图像以及所述人脸图像对应的特征向量；所述摄像头包括：集成有CMOS传感器的摄像头、集成有CCD传感器的摄像头或热成像摄像头；所述图像包括：RGB格式的图像或者YUV格式的图像。

3.如权利要求2所述课堂上学生的状态表情分析方法，其特征在于，

所述将所述图像进行人脸区域检测，以确定出所述图像中的人脸在所述图像中所处的位置区域，对所述位置区域的图像进行人脸关键点检测，以获得所述位置区域对应人脸的特征向量，包括：

通过训练好的深度卷积神经网络或训练好的卷积神经网络将所述图像进行人脸区域检测，以确定出所述图像中的人脸在所述图像中所处的位置区域，对所述位置区域的图像进行人脸关键点检测，以获得所述位置区域对应人脸的特征向量；

其中，所述位置区域对应人脸的特征向量包括：N个人脸关键点信息，N为正整数；所述人脸关键点信息包括：人脸关键点的位置；所述深度卷积神经网络包括：VGG-16网络模型和预设全连接层，其中，所述预设全连接层包括：依次级联的Latten层以及两个全连接层。

4.如权利要求1所述课堂上学习状态表情分析方法，其特征在于，

当所述状态表情分类模型为SVM模型时，

所述通过训练好的状态表情分类模型对所述图像中的人脸的特征向量进行分析，以确定出所述图像中人脸的状态表情，包括：

将所述摄像头采集的图像中人脸的特征向量输入到训练好的SVM模型，通过所述训练好的SVM模型对所述人脸的特征向量进行预测分析后，输出所述人脸的状态表情；

其中，所述SVM模型的模型参数包括：第一超参数和第一惩罚因子，所述第一超参数和所述第一惩罚因子用于确定所述SVM模型的状态表情的分类精确度。

5.如权利要求4所述课堂上学习状态表情分析方法，其特征在于，

当所述状态表情分类模型为利用IWO搜索算法进行SVM模型参数调整的SVM模型时，

所述通过训练好的状态表情分类模型对所述图像中的人脸的特征向量进行分析，以确定出所述图像中人脸的状态表情，还包括：

通过所述IWO搜索算法将所述SVM模型的第一超参数以及第一惩罚因子调整为第二超参数和第二惩罚因子，以获得所述利用IWO搜索算法进行SVM模型参数调整的SVM模型；

其中，所述利用IWO搜索算法进行SVM模型参数调整的SVM模型所配置的SVM模型参数包括：第二超参数和第二惩罚因子；所述利用IWO搜索算法对SVM模型参数进行调整的SVM模型的状态表情的分类精确度大于SVM模型参数配置为所述第一超参数和所述第一惩罚因子的SVM模型的所述状态表情的分类精确度；

通过将训练好的所述利用IWO搜索算法进行SVM模型参数调整的SVM模型对所述摄像头采集的图像中人脸的特征向量进行预测分析后，以输出所述人脸的状态表情。

6.利要求5所述课堂上学习状态表情分析方法，其特征在于，

当所述状态表情分类模型为利用基于目标解搜索的IWO搜索算法进行SVM模型参数调整的SVM模型时，其中，所述IWO搜索算法在第h次搜索时的任一解都为由惩罚因子和超参数组成的二维向量：

所述通过训练好的状态表情分类模型对所述图像中的人脸的特征向量进行分析，以确定出所述图像中人脸的状态表情，还包括：

将所述IWO搜索算法在第h次迭代时的一个或多个解基于所述惩罚因子的维度下，从所述一个或多个解的惩罚因子中确定出目标惩罚因子，以及将所述IWO搜索算法在第h次迭代时的一个或多个解在所述所述超参数的维度下，从所述一个或多个解的超参数中确定出目标超参数，以获得由所述所述目标惩罚因子和所述目标超参数构成的所述目标解；

其中，利用基于所述目标解进行搜索的IWO搜索算法进行SVM模型参数调整的SVM模型的状态表情的分类精确度大于或等于所述利用IWO搜索算法进行SVM模型参数调整的SVM模型的状态表情的分类精确度；其中，h为正整数；

通过将训练好的所述利用基于目标解进行搜索的IWO搜索算法进行SVM模型参数调整的SVM模型对所述摄像头采集的图像中人脸的特征向量进行预测分析后，以输出所述人脸的状态表情。

7.如权利要求1所述课堂上学生的状态表情分析方法，其特征在于，

所述通过训练好的状态表情分类模型对所述图像中的人脸的特征向量进行分析，以确定出所述图像中人脸的状态表情之前，还包括：

通过预设人脸表情训练样本输入到待训练的状态表情分类模型中，以对所述待训练的状态表情分类模型进行训练，获得训练好的状态表情分类模型；

其中，所述预设人脸表情训练样本包括：多种不同预设人脸表情特征向量，以及多种不同预设人脸表情特征向量中每一种预设人脸表情特征向量对应的预设人脸表情标注。

8.如权利要求1所述课堂上学生的状态表情分析方法，其特征在于，

在所述通过训练好的状态表情分类模型对所述图像中的人脸的特征向量进行分析，以确定出所述图像中人脸的状态表情之后，所述方法还包括：

将所述图像中人脸的状态表情进行显示；所述人脸的状态表情包括：所述人脸特征向量对应的微表情图片和表情标注。

9.如权利要求1所述课堂上学生的状态表情分析方法，其特征在于，

在所述通过训练好的状态表情分类模型对所述图像中的人脸的特征向量进行分析，以确定出所述图像中人脸的状态表情之后，所述方法还包括：

统计当前时刻所述图像中各个人脸的状态表情，计算出在所述当前时刻课堂上不同状态表情的次数，以统计出在所述当前时刻课堂上不同状态表情的占比；

将所述在所述当前时刻课堂上不同状态表情的占比进行显示。

10.如权利要求1所述课堂上学生的状态表情分析方法，其特征在于，

在所述通过训练好的状态表情分类模型对所述图像中的人脸的特征向量进行分析，以确定出所述图像中人脸的状态表情之后，所述方法还包括：

统计出所述摄像头在不同时刻采集的图像中各个人脸的状态表情，以获得一个课程时段中所述摄像头在不同时刻采集的图像中各个人脸的状态表情；

确定出在不同时刻所述课堂上不同状态表情的占比，将所述课堂上不同状态表情的占比进行显示。

11.一种课堂上学生的状态表情分析装置，其特征在于，包括：

人脸识别模块和人脸分析模块；其中，

所述人脸识别模块，用于对通过摄像头采集的图像进行人脸识别，以获得所述图像中的人脸的人脸信息；其中，所述人脸信息包括：所述图像中的人脸的特征向量；所述图像包括课堂上学生的状态表情图像；

所述人脸状态表情分析模块，用于通过训练好的状态表情分类模型对所述图像中的人脸的特征向量进行分析，以确定出所述图像中人脸的状态表情；

其中，所述状态表情分类模型包括：SVM模型、利用IWO搜索算法进行SVM模型参数调整的SVM模型，或者利用基于目标解搜索的的IWO搜索算法进行SVM模型参数调整的SVM模型。

12.一种课堂上学生的状态表情分析设备，其特征在于，包括：

存储器及与所述存储器耦合的处理器，所述存储器用于存储应用程序指令，所述处理器被配置用于调用所述应用程序指令，执行权利要求1-10任一项所述的课堂上学生的状态表情分析方法。

Images