CN112528777A - 一种用于课堂环境下的学生面部表情识别方法及系统 - Google Patents
一种用于课堂环境下的学生面部表情识别方法及系统 Download PDFInfo
- Publication number
- CN112528777A CN112528777A CN202011363139.4A CN202011363139A CN112528777A CN 112528777 A CN112528777 A CN 112528777A CN 202011363139 A CN202011363139 A CN 202011363139A CN 112528777 A CN112528777 A CN 112528777A
- Authority
- CN
- China
- Prior art keywords
- expression
- students
- facial
- images
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000008921 facial expression Effects 0.000 title claims abstract description 24
- 230000014509 gene expression Effects 0.000 claims abstract description 172
- 230000001815 facial effect Effects 0.000 claims abstract description 97
- 238000012549 training Methods 0.000 claims abstract description 51
- 210000004709 eyebrow Anatomy 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000012706 support-vector machine Methods 0.000 description 23
- 210000002569 neuron Anatomy 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000012191 relaxation of muscle Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种用于课堂环境下的学生面部表情识别方法及系统，涉及表情识别技术领域。所述方法包括：获取学生面部图像，将学生面部图像进行表情分类放入相应地表情库；对学生面部图像进行人脸识别得到人脸识别图像；对人脸识别图像进行特征点标定，根据特征点计算相应地特征值，得到人脸图像数据集；根据人脸图像数据集对SVM训练模型进行训练，得到表情识别模型；获取课堂环境下学生面部图像，对课堂环境下学生面部图像进行人脸识别、特征点标定、特征值计算；基于表情识别模型，对课堂环境下学生面部图像进行表情类别判定。由此可以分析出学生上课的听讲状态以及理解能力，也可从学生上课质量反映出教师的教学水平。
Description
技术领域
本申请涉及表情识别技术领域，具体说是一种用于课堂环境下的学生面部表情识别方法及系统。
背景技术
随着计算机视觉技术的快速发展，课堂环境下学生的面部表情识别也逐渐受到关注。表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的听讲状态。课堂环境中的学生表情识别，是教师与家长了解学生上课状态及过程最客观的方式。对于教师来说，在上课时随时关注学生的反应，再好的老师也不可能顾及到每一个学生。尤其是那些中等生，就更难引起老师的注意，这对他们的发展无疑是非常不利的。而通过计算机了解学生上课时的状态可以使教师了解到每一位学生的上课过程，使教师可以更有针对性的，更高效的将知识传授给每一个学生。对于家长来说，了解自己孩子的学习只能从考试成绩和与老师的交流中得知，从某种程度上来说这是非常不客观的，也是不具体的。
面部表情识别不仅可以知道学生对不同知识的理解程度，更可以发现学生对不同知识的感兴趣程度。若碰到学生感兴趣的科目，学生会体现出兴奋、积极的面部状态，如微笑等，若是学生难于理解或者不喜欢的科目，面部则会表现出消极的表情，如皱眉等。从而更客观的发现学生的长处、短处，以及兴趣点和天赋。但是针对学习表情的识别相较于基本表情有一定的难度，主要原因在于学习过程中产生的表情大多比较细微，区分度小。
发明内容
为了便于识别课堂环境下学生的面部表情，本申请提供了一种用于课堂环境下的学生面部表情识别方法及系统。
第一方面，本申请提供的一种用于课堂环境下的学生面部表情识别方法，采用如下的技术方案：
一种用于课堂环境下的学生面部表情识别方法，包括：
获取学生面部图像，按照表情类别建立若干表情库，将获取的学生面部图像进行表情分类，放入相应地表情库；
对所述表情库中的学生面部图像进行人脸识别，得到人脸识别图像；
对所述人脸识别图像进行特征点标定，根据标定的特征点计算相应地特征值，将所述特征点和特征值存放在相应表情库中，得到人脸图像数据集；
建立SVM训练模型，根据所述人脸图像数据集对所述SVM训练模型进行训练，得到表情识别模型；
获取课堂环境下的学生面部图像，对所述课堂环境下的学生面部图像进行人脸识别，并进行特征点标定，并根据特征点计算特征值；
基于所述表情识别模型，对课堂环境下的学生面部图像的特征值进行表情类别判定。
通过采用上述技术方案，首先对每个学生拍摄多张图像，进行表情分类、人脸识别、特征点标定，得到人脸图像数据集。通过人脸图像数据集对SVM训练模型进行训练，得到表情识别模型。拍摄课堂环境中的学生面部图像，对该图像进行分析，根据表情识别模型对学生表情进行判断，由此可以分析出学生上课的听讲状态以及理解能力。此外，也可从学生上课质量反映出教师的教学水平。
可选的，在对所述学生面部图像进行人脸识别步骤之前，对所有表情库中的学生面部图像进行像素归一化处理。
通过采用上述技术方案，对学生面部图像的像素进行归一化，使得学生面部图像的每个像素值都是在0到1之间，有助于后续在进行人脸识别时更加方便。
可选的，采用MB-LBP特征算法对所述学生面部图像进行人脸识别，具体识别过程包括：
将所述学生面部图像划分为若干个子区域，计算每个子区域的平均灰度值，得到灰度值矩阵；
根据所述灰度值矩阵计算相应区域的MB-LBP特征值；
利用分类器对所述MB-LBP特征值进行分类，得到人脸识别图像。
通过采用上述技术方案，MB-LBP是通过局部二元模式操作器进行编码的矩形区域，通过区域化邻域像素，使得像素间的相关性得以体现。MB-LBP特征可以捕捉大尺度结构，这些结构可能是图像结构中的主要特征，能够通过较小的特征集合进行人脸识别，通过特征+分类器的模式得到人脸识别图像。
可选的，所述分类器为级联分类器，包括若干级联的强分类器，每级强分类器由若干弱分类器组成；所述弱分类器为多分支回归树。
通过采用上述技术方案，对MB-LBP特征进行分类时，使用级联分类器，级联分类器的每一层都是一个强分类器，这些强分类器形成一种多层分类结构，可以使得每一层都通过几乎全部的人脸样本，而拒绝大量的非人脸样本，从而在有可能存在人脸的区域花费较多时间，降低总体计算时间。
可选的，对所述人脸识别图像进行特征点标定，并根据标定的特征点计算相应地特征值，具体为：
采用基于DLIB机器学习方法对所述人脸识别图像中眉毛、眼睛、鼻子、嘴部和下巴的位置进行标定；根据眉毛、眼睛、鼻子、嘴部和下巴之间的位置和角度计算相应地特征值。
通过采用上述技术方案，DLIB对于人脸特征提取支持很好，有已经训练好的人脸特征点提取模型供开发者使用。根据实际需要对眉毛、眼睛、鼻子、嘴部和下巴的位置进行标定，并根据这几个部位之间的位置和角度计算所需要的特征值，以便后续进行人脸特征的对比。
可选的，对所述课堂环境下学生面部图像进行人脸识别，并进行面部特征点标定，并根据面部特征点计算面部特征值，具体为：
采用MB-LBP特征算法对课堂环境下学生面部图像进行人脸识别，得到课堂环境下人脸识别图像；对所述课堂环境下人脸识别图像中的眉毛、眼睛、鼻子、嘴部和下巴的位置进行标定；根据眉毛、眼睛、鼻子、嘴部和下巴之间的位置和角度计算相应地特征值。
通过采用上述技术方案，对课堂环境下学生表情进行分析时，同样采用MB-LBP特征算法进行人脸识别，并标定出与人脸图像数据集中相对应的特征点和特征值，便于根据建立的表情识别模型判定学生状态。
第二方面，本申请提供的一种用于课堂环境下的学生面部表情识别系统，采用如下的技术方案：
一种用于课堂环境下的学生面部表情识别系统，包括
图像采集模块，用于拍摄学生面部图像；
表情库模块，用于按照表情类别建立若干表情库，将所述图像采集模块采集的学生面部图像进行表情分类，并放入相应地表情库；
人脸检测提取模块，用于对所述表情库模块中的学生面部图像进行人脸识别，得到人脸识别图像；
特征点标定模块，用于对所述人脸识别图像进行特征点标定，根据标定的特征点计算相应地特征值，将所述特征点和特征值存放在相应表情库中，得到人脸图像数据集；
模型训练模块，用于建立SVM训练模型，根据所述人脸图像数据集对所述SVM训练模型进行训练，得到表情识别模型；
表情判定模块，用于基于所述表情识别模型，对课堂环境下的学生面部图像的特征值进行表情类别判定。
通过采用上述技术方案，通过图像采集模块对每个学生拍摄多张图像，并将拍摄的图像进行表情分类，并存放至表情库模块中相应地表情库。通过人脸检测提取模块和特征点标定模块进行人脸识别、特征点标定，得到人脸图像数据集。通过人脸图像数据集对SVM训练模型进行训练，得到表情识别模型。拍摄课堂环境中的学生面部图像，对该图像进行分析，根据表情识别模型对学生表情进行判断，由此可以分析出学生上课的听讲状态以及理解能力。
可选的，所述系统还包括：图像预处理模块，用于在对所述学生面部图像进行人脸识别之前，对所有表情库中的学生面部图像进行像素归一化处理。
通过采用上述技术方案，通过图像预处理模块对学生面部图像的像素进行归一化，使得学生面部图像的每个像素值都是在0到1之间，有助于后续在进行人脸识别时更加方便。
第三方面，本申请提供一种用于课堂环境下的学生面部表情识别的设备，采用如下的技术方案：
一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现：
获取学生面部图像，按照表情类别建立若干表情库，将获取的学生面部图像进行表情分类，放入相应地表情库；
对所述表情库中的学生面部图像进行人脸识别，得到人脸识别图像；
对所述人脸识别图像进行特征点标定，根据标定的特征点计算相应地特征值，将所述特征点和特征值存放在相应表情库中，得到人脸图像数据集；
建立SVM训练模型，根据所述人脸图像数据集对所述SVM训练模型进行训练，得到表情识别模型；
获取课堂环境下的学生面部图像，对所述课堂环境下的学生面部图像进行人脸识别，并进行特征点标定，并根据特征点计算特征值；
基于所述表情识别模型，对课堂环境下的学生面部图像的特征值进行表情类别判定的步骤。
第四方面，本申请提供的一种计算机可读存储介质，采用如下的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行：
获取学生面部图像，按照表情类别建立若干表情库，将获取的学生面部图像进行表情分类，放入相应地表情库；
对所述表情库中的学生面部图像进行人脸识别，得到人脸识别图像；
对所述人脸识别图像进行特征点标定，根据标定的特征点计算相应地特征值，将所述特征点和特征值存放在相应表情库中，得到人脸图像数据集；
建立SVM训练模型，根据所述人脸图像数据集对所述SVM训练模型进行训练，得到表情识别模型；
获取课堂环境下的学生面部图像，对所述课堂环境下的学生面部图像进行人脸识别，并进行特征点标定，并根据特征点计算特征值；
基于所述表情识别模型，对课堂环境下的学生面部图像的特征值进行表情类别判定的步骤。
综上所述，本申请包括以下有益技术效果：
1、通过对学生面部图像进行表情分类、人脸识别、特征点标定，利用建立的表情识别模型对学生表情进行判断，由此可以分析出学生上课的听讲状态以及理解能力。
2、采用MB-LBP特征算法对学生面部图像进行人脸识别，可以捕获更多关于图像结构的信息，另外能够通过较小的特征集合进行人脸识别，这就减少了训练时间。
3、由于DLIB中具有已经训练好的人脸特征点提取模型供开发者使用，因此采用DLIB方法对人脸特征点进行标定更加方便。
附图说明
图1是本申请其中一实施例的用于课堂环境下的学生面部表情识别方法流程图。
图2是本申请其中一实施例的用于课堂环境下的学生面部表情识别方法具体流程图。
图3是本申请其中一实施例的基于DLIB的23个关键点标定示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。
本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
如图1和图2所示，本申请实施例公开一种用于课堂环境下的学生面部表情识别方法，包括以下步骤。
步骤1，获取学生面部图像，按照表情类别建立若干表情库，将获取的学生面部图像进行表情分类，放入相应地表情库。
采集每个学生的多张面部图像，其中每个学生的每个表情均拍摄多张图像。按照所需表情分为若干表情类，每一类表情建立一个表情库，将采集的所有学生面部图像按照表情类别，分别存放在对应的表情库中，并按顺序为其标号。
在本实施例中，学生课堂表情大致可以分为三种，高兴、平常和困惑，建立相应地三个表情库。在课堂环境下，需要在每位学生面前架设微型摄像机，采集视频图像。这三类表情的每个表情库需要各年龄段学生至少录入100人，每人同类表情数据至少50套。明显地，表情库的数据样本量越大，分析结果越精准。
步骤2，对所述表情库中的学生面部图像进行人脸识别，得到人脸识别图像，并通过OpenCV保存成图片。
步骤21，在进行人脸识别之前，首先对所有表情库中的学生面部图像进行像素归一化处理。
归一化就是为了后续数据处理更加方便，把需要处理的数据经过处理后限制在一定范围之间。对学生面部图像的像素进行归一化，使得学生面部图像的每个像素值都是在0到1之间。当图像的像素处于0-1范围时，由于仍然介于0-255之间，所以图像依旧是有效的，并且可以正常查看图像。
步骤22，对所述学生面部图像进行人脸识别。
本实施例中，采用MB-LBP特征算法对所述学生面部图像进行人脸识别。MB-LBP（Multi-block Local Binary Patterns，多块局部二进制模式），是通过局部二元模式算子对矩形区域的强度进行编码，并且所得到的二进制模式可以描述图像不同局部结构。将图像分成一个个小块（Block），每个小块再分为一个个的矩形区域（类似于HOG中的cell），矩形区域内的灰度平均值作为当前矩形区域的灰度值，与周围矩形区域灰度进行比较形成LBP特征，生成的特征称为MB-LBP。
MB-LBP特征算法具体识别过程包括：
1）首先将所述学生面部图像划分为若干个3s×3t大小的子区域，任意一个3s×3t大小的子区域的领域窗口均分为9个子窗口，其大小记为s×t。计算每一个子区域的平均灰度值得到一个3×3的灰度值矩阵。
2）根据所述灰度值矩阵计算相应区域的MB-LBP特征值；
对该灰度值矩阵进行计算得到该区域的MB-LBP特征值，计算方法如下：
记任意点g c 的3×3窗口，其领域像素按顺时针方向定义为g i (0≤i≤7)，g i 的大小代表了该像素的灰度值。使用中心像素点gc阈值化邻域像素g i (0≤i≤7)，得到一个二进制数串，该二进制数串成为点gc的MB-LBP编码，计算公式如下式：
将S(g i , g c )进行加权求和，所得的值称为中心像素g c 的MB-LBP特征值。
其中，该MB-LBP值介于0~255区间之间，即一幅图像总共包含的MB-LBP模式总共为256个。
使用生成的二进制模式作为MB-LBP特征的特征值，这些二值模式能够出不同尺度和位置下的图像边缘、线、点、平坦区域和拐角等。
3）利用分类器对所述MB-LBP特征值进行分类，得到人脸识别图像。
根据分类器对上述得到的MB-LBP特征值进行分类，所述分类器为级联分类器，包括若干级联的强分类器，每级强分类器由若干弱分类器组成。
本实施例中的分类器可以是AdaBoost分类器，弱分类器可以采用多分支回归树。AdaBoost是通过训练一组弱分类器从而获得一个叠加这些弱分类器而得到的强分类器。AdaBoost算法是一种自适应Boosting算法，自适应在于将前一个分类器分错的样本会被用来训练下一个分类器，这种方法是一种迭代算法，在每一轮中加入一个新的弱分类器，直到达到某个预定的足够小的错误率。每一个训练样本都被赋予一个权重，表明它被某个分类器选入训练集的概率。如果某个样本点已经被准确地分类，那么在构造下一个训练集中，它被选中的概率就被降低；相反，如果某个样本点没有被准确地分类，那么它的权重就得到提高。
Adaboost算法原理就是将多个弱分类器进行合理的结合，使其成为一个强分类器。迭代思想为：每次迭代只训练一个弱分类器，训练好的弱分类器将参与下一次迭代的使用。也就是说，在第N次迭代中，一共就有N个弱分类器，其中N-1个是以前训练好的，其各种参数都不再改变，本次训练第N个分类器。其中弱分类器的关系是第N个弱分类器更可能分对前N-1个弱分类器没分对的数据，最终分类输出要看这N个分类器的综合效果。在训练过程中，每一个训练样本（即MB-LBP特征值）都被赋予一个权重，表明它被某个弱分类器选入训练集的概率。如果某个样本已经被准确地分类，那么在构造下一个训练集中，它被选中的概率就被降低；相反，如果某个样本没有被正确地分类，那么它的权重就被提高。
步骤3，对所述人脸识别图像进行特征点标定，根据标定的特征点计算相应地特征值，将所述特征点和特征值存放在相应表情库中，得到人脸图像数据集。
步骤31，对所述人脸识别图像进行特征点标定。
学生面部特征提取是通过卷积神经方法提取的面部识别中最重要的任务，是深度学习优劣性的差异。深度学习神经网络是对象检测，模式识别和人脸识别的最佳解决方案。
本实施例中，采用基于DLIB机器学习方法对所述人脸识别图像中眉毛、眼睛、鼻子、嘴部和下巴的位置进行标定。DLIB是一种功能强大的卷积神经网络，是广泛使用的深层神经网络之一，因为它很好地适应图像的平移不变性。卷积神经网络使用面部特征提取有三个主要基本思想：本地接受领域，共享权重和集合。
a.本地接受领域
在卷积神经网络中，隐藏神经元层具有小的连接，不同于其他神经网络的输入图像像素的局部区域具有每个输入像素的连接。为了更准确地说，第一隐藏层中的每个神经元将与输入神经元的小区域连接。
输入图像中的该区域被称为隐藏神经元的局部接收场，这是输入像素上的一个小窗口。每个连接学习时，隐藏的神经元也学习。接收场由每个像素滑动以与每个隐藏层神经元连接。
b.共享权重和偏差
连接到具有相同步长的隐藏层的本地接收场将共享相同的权重和偏差在整个隐藏层。 对于第j个,第k个隐藏的神经元，输出式如下：
其中σ是神经激活函数或S形函数，b是共享偏差，w 1,m 是共享权重，a j+1,k+m 是在j+1，k+m处输入。
第一隐藏层中的神经元检测到完全相同的特征，但在输入图像中的不同位置。因此，从输入图像隐藏层的图称为特征图，用于特征图的偏差称为共享偏差。共享权重和偏差称为内核或过滤器。人脸识别许多功能图，但内核有效地降低了参数。
c.集合层
卷积层之后是集合层，其用于简化从卷积层的特征图的输出中的信息到缩合特征图。许多汇总技术可用于卷积神经网络，但在本系统中，最大汇总用于面部识别系统。输出的特征图中返回2 x 2个输入区域中最大激活的输出。
在本实施例中，可以对每幅人脸识别图像中眉毛、眼睛、鼻子、嘴部和下巴位置的23个特征点进行了特征点标定。如图3所示，23个特征点具体包括：
眉（brow）：
LBl：左眉左端，
LBr：左眉右端，
RBl：右眉左端，
RBr：右眉右端，
Bc：眉心。
眼（eye）：
LEl：左眼左端，
LEr：左眼右端，
LEu：左眼上端，
LEd：左眼下端，
LEc：左眼中点（LEl与LEr中点），
REl：右眼左端，
REr：右眼右端，
REu：右眼上端，
REd：右眼下端，
REc：右眼中点（Rel与REr中点）。
鼻（nose）：
Nl：左鼻孔左端，
Nr：右鼻孔右端，
Nc：鼻子下端中心。
嘴（mouth）：
Ml：左嘴角，
Mr：右嘴角，
Mu：上唇上端，
Md：下唇下端。
下巴（chin）：
C：下巴下端。
步骤32，根据标定的特征点计算相应地特征值。
面部表情是经过面部肌肉活动产生的结果，因此不能简单使用关键点的位置变化判定表情的分类。作出表情变化时，肌肉的紧绷与舒张会使面部某些关键位置的肌肉产生明显的皱纹，在经过视频采集后，这些关键部位在图像上的呈现会有明暗之分，经过计算机视觉的灰度处理，可以得到该区域的图像强度。换言之，以特征点之间的位置及角度与面部关键位置的图像强度作为关键数据，可以确定被测人员的表情状态。
本实施例中，可以根据每张人脸中标定的23个特征点，计算出24个特征值，比如各特征点之间的角度、距离以及图像强度等，并将结果分别保存在数据库中。所述24个特征值具体如表1所示。
| 特征值 | 特征值描述 |
| F1 | ∠LErLElLBr的角度 |
| F2 | ∠RElREr RBl的角度 |
| F3 | LElLBl之间的距离 |
| F4 | RErRBr之间的距离 |
| F5 | LEcLEu之间的距离 |
| F6 | REc REu之间的距离 |
| F7 | LEcLEd之间的距离 |
| F8 | REc REd之间的距离 |
| F9 | LEu LEd之间的距离 |
| F10 | REu REd之间的距离 |
| F11 | NcMu之间的距离 |
| F12 | MlLEr之间的距离 |
| F13 | MrREl之间的距离 |
| F14 | NcMl之间的距离 |
| F15 | NcMr之间的距离 |
| F16 | Ml Mr之间的距离 |
| F17 | MuMd之间的距离 |
| F18 | NcC之间的距离 |
| F19 | 以Bc为圆心，LEr REl距离的二分之一为半径的圆的外接正方形，在LBrRBl以上区域的图像强度（平均灰度值） |
| F20 | 以Bc为圆心，LEr REl距离的二分之一为半径的圆的外接正方形，在LBrRBl以下区域的图像强度（平均灰度值） |
| F21 | 以LEl为圆心，LEl LEr距离的二分之一为半径的圆的外接正方形，在LEl LBl以左区域的图像强度（平均灰度值） |
| F22 | 以REr为圆心，RErREl距离的二分之一为半径的圆的外接正方形，在REr RBr以右区域的图像强度（平均灰度值） |
| F23 | 以Ml为圆心，NlNr距离的二分之一为半径的圆的外接正方形，在左半部分区域的图像强度（平均灰度值） |
| F24 | 以Mr为圆心，NlNr距离的二分之一为半径的圆的外接正方形，在右半部分区域的图像强度（平均灰度值） |
表1 计算得到的24个特征值
步骤33，通过特征点标定和特征值计算，可以将同种类的表情量化处理，将主观上的表情变为客观的量化数据。将表情库中每张人脸对应的23个特征点和计算出的每张脸的24个特征值作为表情数据分别保存在若干个TXT文档中，将含有表情数据的TXT文档按照表情类存放在相应表情库中，最终得到的表情库即为人脸图像数据集。
步骤4，建立SVM训练模型，根据所述人脸图像数据集对所述SVM训练模型进行训练，得到表情识别模型。
SVM方法是将统计学习理论应用于分离二级分类问题的超平面。 SVM的核心思想是调整辨别功能，最大限度地利用边界案例的可分离性信息。在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析，适用于大多数分类需求。给定属于两类学生表情之一的一组情况，训练包括搜索在同一侧留下最大数量的同一类的情况的超平面，同时最大化两个类与超平面的距离。
按照表情类从相应地表情库中提取表情数据（每个人脸图像中的表情数据均包括23个特征点以及相应地24个特征值），将提取的表情数据输入到SVM训练模型中，该模型是将若干特征值数据用SVM（支持向量机）进行分类训练，并将结果保存在XML文件中，得到表情识别模型。实现将人工分类后的宏观表情，输入到计算机中，把表情数据化分类。
步骤5，获取课堂环境下学生面部图像，对所述课堂环境下学生面部图像进行人脸识别，并进行面部特征点标定，并根据面部特征点计算面部特征值。
本实施例中，可以同样采用MB-LBP特征算法对课堂环境下学生面部图像进行人脸识别，得到课堂环境下的人脸识别图像。对所述课堂环境下的人脸识别图像中的23个面部特征点进行标定，并计算相应地24个面部特征值。
步骤6，基于所述表情识别模型，对所述面部特征值进行表情判定。
将步骤5中标定的课堂环境下学生的23个面部特征点和24个面部特征值，与已训练好的表情识别模型进行匹配，从而自动判定表情类别。
进行表情判定后，可以将每个学生的课堂表情数据集成分析，给出表情分布时间统计图，教师可通过查看学生的表情分布比例了解到学生的课堂参与程度，与本节课学生的知识接受程度。比如，困惑表情时间过长说明学生听课吸收知识较为吃力，平常表情时间持续时间长说明听课不在状态等。对学生的上课状态进行检测可以相对客观地将学生的学习情况展示给家长，可以了解到学生在这堂课上有多长时间是专注的，有多长时间的走神的，家长才可以更好地监督和督促。
同时，通过学生的数据分析结果，可以测算出学生参与课堂的统计分布图，并给出针对某位教师的教学情况评估分析。还可以根据每位学生的分析结果，对学生的爱好与性格进行分析。根据学生信息、表情判定结果、时间数据等所有信息数据，进行各项数据分析并输出相应分析结果。
本申请实施例还公开一种用于课堂环境下的学生面部表情识别系统，包括：
图像采集模块，用于拍摄学生面部图像；所述图像采集模块可以是微型摄像机或网络硬盘录像机，假设在每位学生面前。
表情库模块，用于按照表情类别建立若干表情库，将所述图像采集模块采集的学生面部图像进行表情分类，并放入相应地表情库。
人脸检测提取模块，用于对所述表情库模块中的学生面部图像进行人脸识别，得到人脸识别图像。
特征点标定模块，用于对所述人脸识别图像进行特征点标定，根据标定的特征点计算相应地特征值，将所述特征点和特征值存放在相应表情库中，得到人脸图像数据集。
模型训练模块，用于建立SVM训练模型，根据所述人脸图像数据集对所述SVM训练模型进行训练，得到表情识别模型。
表情判定模块，用于基于所述表情识别模型，对课堂环境下的学生面部图像的特征值进行表情类别判定。
在本实施例中，所述系统还可以包括图像预处理模块，用于在对所述学生面部图像进行人脸识别之前，对所有表情库中的学生面部图像进行像素归一化处理。
本申请实施例还公开一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现：
获取学生面部图像，按照表情类别建立若干表情库，将获取的学生面部图像进行表情分类，放入相应地表情库；
对所述表情库中的学生面部图像进行人脸识别，得到人脸识别图像；
对所述人脸识别图像进行特征点标定，根据标定的特征点计算相应地特征值，将所述特征点和特征值存放在相应表情库中，得到人脸图像数据集；
建立SVM训练模型，根据所述人脸图像数据集对所述SVM训练模型进行训练，得到表情识别模型；
获取课堂环境下的学生面部图像，对所述课堂环境下的学生面部图像进行人脸识别，并进行特征点标定，并根据特征点计算特征值；
基于所述表情识别模型，对课堂环境下的学生面部图像的特征值进行表情类别判定的步骤。
本申请实施例还公开一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行：
获取学生面部图像，按照表情类别建立若干表情库，将获取的学生面部图像进行表情分类，放入相应地表情库；
对所述表情库中的学生面部图像进行人脸识别，得到人脸识别图像；
对所述人脸识别图像进行特征点标定，根据标定的特征点计算相应地特征值，将所述特征点和特征值存放在相应表情库中，得到人脸图像数据集；
建立SVM训练模型，根据所述人脸图像数据集对所述SVM训练模型进行训练，得到表情识别模型；
获取课堂环境下的学生面部图像，对所述课堂环境下的学生面部图像进行人脸识别，并进行特征点标定，并根据特征点计算特征值；
基于所述表情识别模型，对课堂环境下的学生面部图像的特征值进行表情类别判定的步骤。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (10)
1.一种用于课堂环境下的学生面部表情识别方法，其特征在于，包括：
获取学生面部图像，按照表情类别建立若干表情库，将获取的学生面部图像进行表情分类，放入相应地表情库；
对所述表情库中的学生面部图像进行人脸识别，得到人脸识别图像；
对所述人脸识别图像进行特征点标定，根据标定的特征点计算相应地特征值，将所述特征点和特征值存放在相应表情库中，得到人脸图像数据集；
建立SVM训练模型，根据所述人脸图像数据集对所述SVM训练模型进行训练，得到表情识别模型；
获取课堂环境下的学生面部图像，对所述课堂环境下的学生面部图像进行人脸识别，并进行特征点标定，并根据特征点计算特征值；
基于所述表情识别模型，对课堂环境下的学生面部图像的特征值进行表情类别判定。
2.根据权利要求1所述的用于课堂环境下的学生面部表情识别方法，其特征在于，在对所述学生面部图像进行人脸识别步骤之前，对所有表情库中的学生面部图像进行像素归一化处理。
3.根据权利要求1所述的用于课堂环境下的学生面部表情识别方法，其特征在于，采用MB-LBP特征算法对所述学生面部图像进行人脸识别，具体识别过程包括：
将所述学生面部图像划分为若干个子区域，计算每个子区域的平均灰度值，得到灰度值矩阵；
根据所述灰度值矩阵计算相应区域的MB-LBP特征值；
利用分类器对所述MB-LBP特征值进行分类，得到人脸识别图像。
4.根据权利要求3所述的用于课堂环境下的学生面部表情识别方法，其特征在于，所述分类器为级联分类器，包括若干级联的强分类器，每级强分类器由若干弱分类器组成；所述弱分类器为多分支回归树。
5.根据权利要求1所述的用于课堂环境下的学生面部表情识别方法，其特征在于，对所述人脸识别图像进行特征点标定，并根据标定的特征点计算相应地特征值，具体为：
采用基于DLIB机器学习方法对所述人脸识别图像中眉毛、眼睛、鼻子、嘴部和下巴的位置进行标定；根据眉毛、眼睛、鼻子、嘴部和下巴之间的位置和角度计算相应地特征值。
6.根据权利要求1所述的用于课堂环境下的学生面部表情识别方法，其特征在于，对所述课堂环境下学生面部图像进行人脸识别，并进行面部特征点标定，并根据面部特征点计算面部特征值，具体为：
采用MB-LBP特征算法对课堂环境下学生面部图像进行人脸识别，得到课堂环境下人脸识别图像；对所述课堂环境下人脸识别图像中的眉毛、眼睛、鼻子、嘴部和下巴的位置进行标定；根据眉毛、眼睛、鼻子、嘴部和下巴之间的位置和角度计算相应地特征值。
7.一种用于课堂环境下的学生面部表情识别系统，其特征在于，包括：
图像采集模块，用于拍摄学生面部图像；
表情库模块，用于按照表情类别建立若干表情库，将所述图像采集模块采集的学生面部图像进行表情分类，并放入相应地表情库；
人脸检测提取模块，用于对所述表情库模块中的学生面部图像进行人脸识别，得到人脸识别图像；
特征点标定模块，用于对所述人脸识别图像进行特征点标定，根据标定的特征点计算相应地特征值，将所述特征点和特征值存放在相应表情库中，得到人脸图像数据集；
模型训练模块，用于建立SVM训练模型，根据所述人脸图像数据集对所述SVM训练模型进行训练，得到表情识别模型；
表情判定模块，用于基于所述表情识别模型，对课堂环境下的学生面部图像的特征值进行表情类别判定。
8.根据权利要求7所述的用于课堂环境下的学生面部表情识别系统，其特征在于，所述系统还包括：图像预处理模块，用于在对所述学生面部图像进行人脸识别之前，对所有表情库中的学生面部图像进行像素归一化处理。
9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1-6任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011363139.4A CN112528777A (zh) | 2020-11-27 | 2020-11-27 | 一种用于课堂环境下的学生面部表情识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011363139.4A CN112528777A (zh) | 2020-11-27 | 2020-11-27 | 一种用于课堂环境下的学生面部表情识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112528777A true CN112528777A (zh) | 2021-03-19 |
Family
ID=74994627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011363139.4A Pending CN112528777A (zh) | 2020-11-27 | 2020-11-27 | 一种用于课堂环境下的学生面部表情识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528777A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221683A (zh) * | 2021-04-27 | 2021-08-06 | 北京科技大学 | 教学场景下基于cnn模型的表情识别方法 |
| CN113657146A (zh) * | 2021-06-30 | 2021-11-16 | 北京惠朗时代科技有限公司 | 一种基于单幅图像的学生非专注学习低耗识别方法及装置 |
| CN114463813A (zh) * | 2022-01-21 | 2022-05-10 | 苏州浪潮智能科技有限公司 | 一种基于hog特征的表情识别方法、系统及相关装置 |
| CN114612983A (zh) * | 2022-03-15 | 2022-06-10 | 北京拙河科技有限公司 | 一种基于弹性图和svm的人脸识别方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971096A (zh) * | 2014-05-09 | 2014-08-06 | 哈尔滨工程大学 | 一种基于mb-lbp特征和人脸能量图的多姿态人脸识别方法 |
| CN106127139A (zh) * | 2016-06-21 | 2016-11-16 | 东北大学 | 一种mooc课程中学生面部表情的动态识别方法 |
| CN109344682A (zh) * | 2018-08-02 | 2019-02-15 | 平安科技（深圳）有限公司 | 课堂监控方法、装置、计算机设备及存储介质 |
| CN111178195A (zh) * | 2019-12-18 | 2020-05-19 | 中国平安人寿保险股份有限公司 | 人脸表情识别方法、装置及计算机可读存储介质 |
-
2020
- 2020-11-27 CN CN202011363139.4A patent/CN112528777A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971096A (zh) * | 2014-05-09 | 2014-08-06 | 哈尔滨工程大学 | 一种基于mb-lbp特征和人脸能量图的多姿态人脸识别方法 |
| CN106127139A (zh) * | 2016-06-21 | 2016-11-16 | 东北大学 | 一种mooc课程中学生面部表情的动态识别方法 |
| CN109344682A (zh) * | 2018-08-02 | 2019-02-15 | 平安科技（深圳）有限公司 | 课堂监控方法、装置、计算机设备及存储介质 |
| CN111178195A (zh) * | 2019-12-18 | 2020-05-19 | 中国平安人寿保险股份有限公司 | 人脸表情识别方法、装置及计算机可读存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221683A (zh) * | 2021-04-27 | 2021-08-06 | 北京科技大学 | 教学场景下基于cnn模型的表情识别方法 |
| CN113657146A (zh) * | 2021-06-30 | 2021-11-16 | 北京惠朗时代科技有限公司 | 一种基于单幅图像的学生非专注学习低耗识别方法及装置 |
| CN113657146B (zh) * | 2021-06-30 | 2024-02-06 | 北京惠朗时代科技有限公司 | 一种基于单幅图像的学生非专注学习低耗识别方法及装置 |
| CN114463813A (zh) * | 2022-01-21 | 2022-05-10 | 苏州浪潮智能科技有限公司 | 一种基于hog特征的表情识别方法、系统及相关装置 |
| CN114463813B (zh) * | 2022-01-21 | 2024-02-13 | 苏州浪潮智能科技有限公司 | 一种基于hog特征的表情识别方法、系统及相关装置 |
| CN114612983A (zh) * | 2022-03-15 | 2022-06-10 | 北京拙河科技有限公司 | 一种基于弹性图和svm的人脸识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106897738B (zh) | 一种基于半监督学习的行人检测方法 | |
| CN112528777A (zh) | 一种用于课堂环境下的学生面部表情识别方法及系统 | |
| CN113011357B (zh) | 基于时空融合的深度伪造人脸视频定位方法 | |
| Oliveira et al. | On exploration of classifier ensemble synergism in pedestrian detection | |
| CN113221655B (zh) | 基于特征空间约束的人脸欺骗检测方法 | |
| CN110503000B (zh) | 一种基于人脸识别技术的教学抬头率测量方法 | |
| CN113283334B (zh) | 一种课堂专注度分析方法、装置和存储介质 | |
| CN114463843A (zh) | 一种基于深度学习的多特征融合鱼类异常行为检测方法 | |
| Liang et al. | Predicting eye fixations with higher-level visual features | |
| Goderya et al. | Morphological classification of galaxies using computer vision and artificial neural networks: A computational scheme | |
| CN116403262A (zh) | 一种基于机器视觉的在线学习专注度监测方法、系统及介质 | |
| Ashwinkumar et al. | Deep learning based approach for facilitating online proctoring using transfer learning | |
| Zheng et al. | Attention assessment based on multi‐view classroom behaviour recognition | |
| CN111553299A (zh) | 基于图像大数据提取学生面部信息实现教育心理学分析方法 | |
| Johnson et al. | A study on eye fixation prediction and salient object detection in supervised saliency | |
| Al Taee et al. | Blurred Facial Expression Recognition System by Using Convolution Neural Network. | |
| Zárate et al. | Fruit Detection and Classification Using Computer Vision and Machine Learning Techniques | |
| Tani | Characteristics of visual categorization of long-concatenated and object-directed human actions by a multiple spatio-temporal scales recurrent neural network model | |
| Gosavi et al. | Adaptive Neuro Fuzzy Inference System for Facial Recognition | |
| Asiedu et al. | Recognition of facial expressions using principal component analysis and singular value decomposition | |
| Sivachandiran et al. | Automated deep learning based age and gender classification model using facial features for video surveillance | |
| CN118135496B (zh) | 一种基于双流卷积神经网络的课堂行为识别方法 | |
| Sundaram et al. | Symmetry perception by deep networks: inadequacy of feed-forward architectures and improvements with recurrent connections | |
| Miakshyn et al. | Face Recognition Technology Improving Using Convolutional Neural Networks | |
| Sultanov | Analysis of methods for detecting faces in an image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |