CN114333024B - 基于对抗训练网络进行学生面部表情识别的方法、装置、设备及存储介质 - Google Patents
基于对抗训练网络进行学生面部表情识别的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114333024B CN114333024B CN202111660380.8A CN202111660380A CN114333024B CN 114333024 B CN114333024 B CN 114333024B CN 202111660380 A CN202111660380 A CN 202111660380A CN 114333024 B CN114333024 B CN 114333024B
- Authority
- CN
- China
- Prior art keywords
- facial expression
- campus
- image
- value
- reference set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 313
- 238000012549 training Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012937 correction Methods 0.000 claims abstract description 62
- 239000011159 matrix material Substances 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims description 21
- 230000001815 facial effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 230000008485 antagonism Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000008451 emotion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010063659 Aversion Diseases 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请实施例公开了一种基于对抗训练网络进行学生面部表情识别的方法、装置、设备及存储介质，属于校园应用技术领域，该方法包括:对学生进行不同面部表情图像采集，构建面部表情矩阵Hi，构建面部表情矩阵Ck，将面部表情矩阵Ck中各个面部表情图像作为第一参照集；对第一参照集中元素进行竖直方向的列集合获取，获取的校园列集合分别表示不同面部表情图像对应的集合，特征提取，确定不同面部表情对应的特征区间值，进行第一参照集修正，基于对抗训练网络，生成不同分辨率的同一图像作为识别样本，识别出其对应的面部表情。本申请使用对抗训练网络进行样本获取，一定程度上提高了面部表情识别的准确性。
Description
技术领域
本申请涉及校园应用技术领域，尤其涉及一种基于对抗训练网络进行学生面部表情识别的方法、装置、设备及存储介质。
背景技术
表情识别通常将人脸面部情感划分为七类：高兴、悲伤、惊讶、愤怒、厌恶、恐惧、中性，在过去的数十年中，人脸表情识别已得到研究者们的广泛关注与研究，并被应用到多个领域，如心理医疗、远程教育、车载安全系统、疼痛评估系统、以及公安测谎系统等，虽然目前人脸表情识别已在各个领域展现出很高的应用价值，但其研究仍然存在巨大挑战，例如不同个体对相同情感的不同表达，以及训练数据缺乏等不同的情感信息是由人脸面部肌肉的变化造成的。
近期，基于生成对抗网络的图像生成技术在多个领域取得了很大成功。大量研究人员将其应用于不同类型的图像生成任务。例如，用于门牌号的生成，用其生成不同品种的动物，用其生成不同年龄的人脸图像等，但是，在校园内对单体学生表情进行识别，往往只有单独抓拍的机会，不可能提前产生大量的识别样本，因此，现有技术在校园内对学生进行面部表情识别时还存在样本量较少，导致识别不够准确的问题。
发明内容
本申请实施例的目的在于提出一种基于对抗训练网络进行学生面部表情识别的方法、装置、设备及存储介质，以解决现有技术在校园内对学生进行面部表情识别时还存在样本量较少，导致识别不够准确的问题。
为了解决上述技术问题，本申请实施例提供一种基于对抗训练网络进行学生面部表情识别的方法，采用了如下所述的技术方案：
一种基于对抗训练网络进行学生面部表情识别的方法，包括：
启动第一采集终端，基于预设采集指令以班级为单位对学校学生进行不同面部表情图像采集，其中，所述对学校学生进行不同面部表情图像采集具体为：基于学生学号信息设定唯一身份标识H，对于不同面部表情图像设定不同的区别标识，构建以学生为单位的面部表情集合；
以学生为单位，构建班级内所有学生对应的面部表情矩阵Hi；
以班级为单位，构建学校学生对应的面部表情矩阵Ck；
将所述面部表情矩阵Ck中的各个面部表情图像作为第一参照集；
对所述第一参照集中元素进行竖直方向的列集合获取，获取到校园列集合分别表示不同面部表情图像对应的集合；
基于预设的面部表情特征提取模型，获取所述校园列集合中每一张图像的特征值，并将所述校园列集合中的图像元素替换为每一张图像的特征值，生成新的校园列集合，获取所述新的校园列集合的取值范围区间，作为不同面部表情对应的特征区间值；
基于校园内预设的第二采集终端，对学生的面部表情图像进行随机抓拍，生成第二参照集，并基于预设的面部表情特征提取模型，获取所述第二参照集中每一张图像的特征值，判断所述第二参照集中每一张图像的特征值对应的所述特征区间值，确定所述第二参照集中每一张图像对应的面部表情；
判断所述第二参照集中每一张图像的特征值在其对应的所述新的校园列集合的取值范围区间中的位置，若其不在所述取值范围区间的端点位置，则相应删除所述取值范围区间的端点位置对应的一张图像，将所述当前特征值对应的第二参照集中图像，加入到所述取值范围区间对应的第一参照集中删除图像的位置，进行第一参照集修正；
基于设定的阈值区间，判断所述第一参照集在经过反复修正后其对应的所述新的校园列集合的取值范围区间是否在所述设定的阈值区间内，若在，则停止对所述第一参照集的修正，修正完成，获取修正完成后的所述第一参照集；
基于预设的面部表情抓拍模型，在校园内随机获取学生的面部表情，基于预设对抗训练网络的生成器，分别对随机获取学生的面部表情图像进行不同分辨率的同一图像生成，并将生成的不同分辨率的同一图像作为识别样本；
获取所述识别样本的特征值与所述修正完成后的第一参照集对应的所述新的校园列集合的取值范围区间进行对比，识别出所述识别样本对应的面部表情，完成面部表情识别。
进一步的，所述基于预设采集指令以班级为单位对学校学生进行不同面部表情图像采集，包括：
所述预设采集指令，预先播报待采集的面部表情种类，由学生配合进行面部动作变化，完成采集。
进一步的，所述对于不同面部表情图像设定不同的区别标识，构建以学生为单位的面部表情集合：H＝[a,b,c,d,e,f,g,h],其中，a,b,c,d,e,f,g,h等小写字母用于标识不同的面部表情，包括：
预先设定不同的小写字母用于表示不同的面部表情，给采集到的图像分别分配不同的小写字母，表征每一张图像对应的面部表情。
进一步的，所述基于预设的面部表情特征提取模型，获取所述校园列集合中每一张图像的特征值，包括：
基于kinect点分布特性对所述校园列集合中每一张图像分别进行面部点分布模型构建，获取所述校园列集合中每一张图像分别对应的面部模型；
使用Gabor小波变换法对所述校园列集合中每一张图像分别对应的面部模型进行特征值获取。
进一步的，所述并将所述校园列集合中的图像元素替换为每一张图像的特征值，生成新的校园列集合，获取所述新的校园列集合的取值范围区间，作为不同面部表情对应的特征区间值，包括：
使用所述特征值替换所述校园列集合中的图像元素，生成新的校园列集合；
对所述校园列集合中的所有特征值进行最大值和最小值查询，所述最小值到所述最大值所代表的区间，即所述新的校园列集合的取值范围区间，作为不同面部表情对应的特征区间值。
进一步的，所述判断所述第二参照集中每一张图像的特征值在其对应的所述新的校园列集合的取值范围区间中的位置，若其不在所述取值范围区间的端点位置，则相应删除所述取值范围区间的端点位置对应的一张图像，将所述当前特征值对应的第二参照集中图像，加入到所述取值范围区间对应的第一参照集中删除图像的位置，进行第一参照集修正，还包括：
在每次修正完成之后，重新确定所述新的校园列集合对应的取值范围区间，具体为：获取所述新的校园列集合中的所有特征值进行最大值和最小值查询，所述最小值到所述最大值所代表的区间，即所述新的校园列集合的取值范围区间，作为不同面部表情对应的特征区间值。
进一步的，所述基于校园内预设的第二采集终端，对学生的面部表情图像进行随机抓拍，生成第二参照集，并基于预设的面部表情特征提取模型，获取所述第二参照集中每一张图像的特征值，还包括：
将所述第二参照集作为生成器产生的新的数据样本，获取所述第二参照集中每一张图像的特征值，构建基于所述第二参照集的校园列集合，获取所述第二参照集的校园列集合对应的特征值区间。
进一步的，所述获取所述识别样本的特征值与所述修正完成后的第一参照集对应的所述新的校园列集合的取值范围区间进行对比，识别出所述识别样本对应的面部表情，还包括：
将所述识别样本的特征值与所述第二参照集的校园列集合对应的特征值区间进行对比，识别出所述识别样本对应的所述第二参照集中的面部表情，若在所述第一参照集和在所述第二参照集中识别出的面部表情一致，则完成面部表情识别，输出识别结果。
为了解决上述技术问题，本申请实施例还提供了一种基于对抗训练网络进行学生面部表情识别的装置，采用了如下所述的技术方案：
一种基于对抗训练网络进行学生面部表情识别的装置，包括：
原始训练数据采集模块，用于启动第一采集终端，基于预设采集指令以班级为单位对学校学生进行不同面部表情图像采集，其中，所述对学校学生进行不同面部表情图像采集具体为：基于学生学号信息设定唯一身份标识H，对于不同面部表情图像设定不同的区别标识，构建以学生为单位的面部表情集合；
校园列集合获取模块，用于以班级为单位，构建学校学生对应的面部表情矩阵Ck；将所述面部表情矩阵Ck中的各个面部表情图像作为第一参照集；对所述第一参照集中元素进行竖直方向的列集合获取，获取到校园列集合分别表示不同面部表情图像对应的集合；
特征区间值确定模块，用于基于预设的面部表情特征提取模型，获取所述校园列集合中每一张图像的特征值，并将所述校园列集合中的图像元素替换为每一张图像的特征值，生成新的校园列集合，获取所述新的校园列集合的取值范围区间，作为不同面部表情对应的特征区间值；
生产器与修正模块，用于基于校园内预设的第二采集终端，对学生的面部表情图像进行随机抓拍，生成第二参照集，并基于预设的面部表情特征提取模型，获取所述第二参照集中每一张图像的特征值，判断所述第二参照集中每一张图像的特征值对应的所述特征区间值，确定所述第二参照集中每一张图像对应的面部表情；判断所述第二参照集中每一张图像的特征值在其对应的所述新的校园列集合的取值范围区间中的位置，若其不在所述取值范围区间的端点位置，则相应删除所述取值范围区间的端点位置对应的一张图像，将所述当前特征值对应的第二参照集中图像，加入到所述取值范围区间对应的第一参照集中删除图像的位置，进行第一参照集修正；基于设定的阈值区间，判断所述第一参照集在经过反复修正后其对应的所述新的校园列集合的取值范围区间是否在所述设定的阈值区间内，若在，则停止对所述第一参照集的修正，修正完成，获取修正完成后的所述第一参照集；
面部表情识别模块，用于基于预设的面部表情抓拍模型，在校园内随机获取学生的面部表情，基于预设对抗训练网络的生成器，分别对随机获取学生的面部表情图像进行不同分辨率的同一图像生成，并将生成的不同分辨率的同一图像作为识别样本；获取所述识别样本的特征值与所述修正完成后的第一参照集对应的所述新的校园列集合的取值范围区间进行对比，识别出所述识别样本对应的面部表情，完成面部表情识别。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现本申请实施例中提出的一种基于对抗训练网络进行学生面部表情识别的方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种非易失性计算机可读存储介质，采用了如下所述的技术方案：
一种非易失性计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例中提出的一种基于对抗训练网络进行学生面部表情识别的方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请实施例公开了基于对抗训练网络进行学生面部表情识别的方法、装置、设备及存储介质，通过对学生进行不同面部表情图像采集，构建面部表情矩阵Hi，构建面部表情矩阵Ck，将面部表情矩阵Ck中各个面部表情图像作为第一参照集；对第一参照集中元素进行竖直方向的列集合获取，获取的校园列集合分别表示不同面部表情图像对应的集合，特征提取，确定不同面部表情对应的特征区间值，进行第一参照集修正，基于对抗训练网络，生成不同分辨率的同一图像作为识别样本，识别出其对应的面部表情。本申请使用对抗训练网络进行样本获取，一定程度上提高了面部表情识别的准确性。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例可以应用于其中的示例性系统架构图；
图2为本申请的基于对抗训练网络进行学生面部表情识别的方法的一个实施例的流程图；
图3为本申请实施例中对所述第一参考集进行修正的一个实施例流程图；
图4为本申请实施例中基于对抗训练网络进行学生面部表情识别的方法的一个实施例的执行逻辑图；
图5为本申请实施例中所述基于对抗训练网络进行学生面部表情识别的装置的一个实施例；
图6为本申请实施例中原始训练数据采集模块的结构示意图；
图7为本申请实施例中校园列集合获取模块的结构示意图；
图8为本申请实施例中生产器与修正模块的结构示意图；
图9为本申请实施例中计算机设备的一个实施例的结构示意图；
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的基于对抗训练网络进行学生面部表情识别的方法一般由服务器/终端设备执行，相应地，基于对抗训练网络进行学生面部表情识别的装置一般设置于服务器/终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，图中示出了本申请的基于对抗训练网络进行学生面部表情识别方法的一个实施例的流程图，所述的基于对抗训练网络进行学生面部表情识别的方法，包括以下步骤：
步骤201，启动第一采集终端，基于预设采集指令以班级为单位对学校学生进行不同面部表情图像采集，其中，所述对学校学生进行不同面部表情图像采集具体为：基于学生学号信息设定唯一身份标识H，对于不同面部表情图像设定不同的区别标识，构建以学生为单位的面部表情集合：H＝[a,b,c,d,e,f,g,h],其中，a,b,c,d,e,f,g,h等小写字母用于标识不同的面部表情。
在本申请实施例中，所述基于预设采集指令以班级为单位对学校学生进行不同面部表情图像采集，包括：所述预设采集指令，预先播报待采集的面部表情种类，由学生配合进行面部动作变化，完成采集。
在本申请实施例中，所述对于不同面部表情图像设定不同的区别标识，构建以学生为单位的面部表情集合：H＝[a,b,c,d,e,f,g,h],其中，a,b,c,d,e,f,g,h等小写字母用于标识不同的面部表情，包括：
预先设定不同的小写字母用于表示不同的面部表情，给采集到的图像分别分配不同的小写字母，表征每一张图像对应的面部表情。
解释：面部表情通常为高兴、悲伤、惊讶、愤怒、厌恶、恐惧、中性等，所述第一采集终端，提前发布不同的表情采集指令，例如：采集一张表情为高兴时的面部表情，采集完成后，使用小写字母a进行表示；采集一张表情为悲伤时的面部表情，采集完成后，使用小写字母b进行表示；同理，分别采集表情为惊讶、愤怒、厌恶、恐惧、中性时的面部表情，采集完成后，使用不同的小写字母进行表示；此外，若采集的同一种表情的图像为多张，例如：采集若干张表情为高兴时的面部表情，采集完成后，分别使用小写字母a1,a2,a3,...,an进行表示,其中，n为高兴时面部表情的数量。
解释：上述小写字母a,b,c,d,e,f,g,h为图像标识，实际在进行集合构建时，集合H中保存的是一张张不同的表情图像。
步骤202，以学生为单位，构建班级内所有学生对应的面部表情矩阵Hi,其中,i表示每个班级唯一标识，j表示班级i内的学生数量。
解释：所述班级内所有学生对应的面部表情矩阵Hi中保存的实质为标识为a1至hj一张张面部表情图像。
步骤203，以班级为单位，构建学校学生对应的面部表情矩阵Ck,其中，i表示每个班级唯一标识，k表示学校内班级的数量。
解释：所述学校学生对应的面部表情矩阵Ck,实质上是所有班级面部表情矩阵Hi中的一张张面部表情图像。
步骤204，将所述面部表情矩阵Ck中的各个面部表情图像作为第一参照集。
步骤205，对所述第一参照集中元素进行竖直方向的列集合获取，获取到校园列集合分别表示不同面部表情图像对应的集合。
解释：对所述第一参照集中元素进行竖直方向的列集合获取，获取到校园列集合时，首先，先对所述第一参照集中元素进行竖直方向的列集合，获取到班级列集合，如下：
第一个班级列集合为：
第二个班级列集合为：
其中，上述i表示不同班级的唯一标识，j表示对应班级内的学生数量。
依上述为例，依次获取所有班级列集合，在进行整合，获取到校园列集合为：
步骤206，基于预设的面部表情特征提取模型，获取所述校园列集合中每一张图像的特征值，并将所述校园列集合中的图像元素替换为每一张图像的特征值，生成新的校园列集合，获取所述新的校园列集合的取值范围区间，作为不同面部表情对应的特征区间值。
在本申请实施例中，所述基于预设的面部表情特征提取模型，获取所述校园列集合中每一张图像的特征值，包括：基于kinect点分布特性对所述校园列集合中每一张图像分别进行面部点分布模型构建，获取所述校园列集合中每一张图像分别对应的面部模型；使用Gabor小波变换法对所述校园列集合中每一张图像分别对应的面部模型进行特征值获取。
解释：使用Gabor小波变换法对所述校园列集合中每一张图像分别对应的面部模型进行特征值获取，会获取到一个唯一特征值，将所述唯一特征值作为所述校园列集合中该张图像的唯一特征值。
在本申请实施例中，所述并将所述校园列集合中的图像元素替换为每一张图像的特征值，生成新的校园列集合，获取所述新的校园列集合的取值范围区间，作为不同面部表情对应的特征区间值，包括：使用所述特征值替换所述校园列集合中的图像元素，生成新的校园列集合；对所述校园列集合中的所有特征值进行最大值和最小值查询，所述最小值到所述最大值所代表的区间，即所述新的校园列集合的取值范围区间，作为不同面部表情对应的特征区间值。
解释：使用所述唯一特征值替换其对应的校园列集合中的面部表情图像，此时，校园列集合中的元素由图像转为数值，获取元素中数值的最大值和最小值，所述不同面部表情对应的校园列集合的最小值与最大值之间的区间范围，即为不同面部表情对应的特征区间值。
步骤207，基于校园内预设的第二采集终端，对学生的面部表情图像进行随机抓拍，生成第二参照集，并基于预设的面部表情特征提取模型，获取所述第二参照集中每一张图像的特征值，判断所述第二参照集中每一张图像的特征值对应的所述特征区间值，确定所述第二参照集中每一张图像对应的面部表情。
解释：获取所述第二参照集中每一张图像的特征值，用所述特征值与所述特征区间值，进行对比，从而确定出所述特征值对应的第二参照集中的图像对应的面部表情，假设第一参照集中高兴面部表情对应的校园列集合的特征区间值为[56.0,60.3],此时，第二参照集中待对比图像的特征值为57.3，则判断出第二参照集中待对比图像的特征值57.3在特征区间值[56.0,60.3]中，即所述第二参照集中待对比图像的面部表情为高兴。
在本申请实施例中，所述基于校园内预设的第二采集终端，对学生的面部表情图像进行随机抓拍，生成第二参照集，并基于预设的面部表情特征提取模型，获取所述第二参照集中每一张图像的特征值，还包括：将所述第二参照集作为生成器产生的新的数据样本，获取所述第二参照集中每一张图像的特征值，构建基于所述第二参照集的校园列集合，获取所述第二参照集的校园列集合对应的特征值区间。
解释：为了保证所述第二参照集中图像量的基数，使用生成器的方式，分别对第二参照集获取到每一张图像进行新的数据样本生成，产生批量的生成图像，也作为第二参照集中图像。
步骤208，判断所述第二参照集中每一张图像的特征值在其对应的所述新的校园列集合的取值范围区间中的位置，若其不在所述取值范围区间的端点位置，则相应删除所述取值范围区间的端点位置对应的一张图像，将所述当前特征值对应的第二参照集中图像，加入到所述取值范围区间对应的第一参照集中删除图像的位置，进行第一参照集修正。
在本申请实施例中，所述判断所述第二参照集中每一张图像的特征值在其对应的所述新的校园列集合的取值范围区间中的位置，若其不在所述取值范围区间的端点位置，则相应删除所述取值范围区间的端点位置对应的一张图像，将所述当前特征值对应的第二参照集中图像，加入到所述取值范围区间对应的第一参照集中删除图像的位置，进行第一参照集修正，还包括：在每次修正完成之后，重新确定所述新的校园列集合对应的取值范围区间，具体为：获取所述新的校园列集合中的所有特征值进行最大值和最小值查询，所述最小值到所述最大值所代表的区间，即所述新的校园列集合的取值范围区间，作为不同面部表情对应的特征区间值。
解释：判断所述第二参照集中每一张图像的特征值在其对应的所述新的校园列集合的取值范围区间中的位置，例如：第二参照集中存在一张图像的特征值为57.2，其对应的所述新的校园列集合的取值范围区间为[56.0,58.3],则所述第二参照集中的当前图像特征值57.2在区间[56.0,58.3]的中间位置；若第二参照集中存在一张图像的特征值为56.0，其对应的所述新的校园列集合的取值范围区间为[56.0,58.3],则所述第二参照集中的当前图像特征值56.0在区间[56.0,58.3]的端点位置。
解释：若其不在所述取值范围区间的端点位置，则相应删除所述取值范围区间的端点位置对应的一张图像，将所述当前特征值对应的第二参照集中图像，加入到所述取值范围区间对应的第一参照集中删除图像的位置，进行第一参照集修正，例如：通过上述判断确定所述当前图像在区间[56.0,58.3]的中间位置，则通过特征值56.0或特征值58.3筛选出特征值为56.0或58.3的校园列集合中的一张或者多张图像，选择其中一张进行图像替换。
解释：在每次修正完成之后，重新确定所述新的校园列集合对应的取值范围区间，具体为：获取所述新的校园列集合中的所有特征值进行最大值和最小值查询，所述最小值到所述最大值所代表的区间，即所述新的校园列集合的取值范围区间，作为不同面部表情对应的特征区间值，例如：所述校园列集合的特征值取值范围区间为[56.0,58.3]，通过特征值56.0有且仅筛选出一张图像，且这张图像刚好被特征值为57.2的第二参照集中的一张图像替换，则特征值56.0对应的图像被替换，新的校园列集合中图像的特征值都大于56.0小于等于58.3，此时，获取所述新的校园列集合中图像的特征值最小值，假设此时，特征值最小值为56.2，则所述新的校园列集合的特征值区间为[56.2,58.3],每次修正之后，都通过上述方式进行特征值区间重新确定。
基于设定的阈值区间，判断所述第一参照集在经过反复修正后其对应的所述新的校园列集合的取值范围区间是否在所述设定的阈值区间内，若在，则停止对所述第一参照集的修正，修正完成，获取修正完成后的所述第一参照集。
解释：提取预设一设定的修正阈值区间，若在经过反复修正后，获取到的新校园列集合的特征值区间在所述设定的修正阈值区间内，则修正完成，停止修正。
本申请实施例中，所述基于设定的阈值区间，判断所述第一参照集在经过反复修正后其对应的所述新的校园列集合的取值范围区间是否在所述设定的阈值区间内，具体为：使用递归的方式，进行反复修正和区间对比，若满足预设的阈值区间条件，则跳出递归，修正完成。
继续参考图3，图3为本申请实施例中对所述第一参考集进行修正的一个实施例流程图，包括步骤如下：
步骤301，判断所述第二参照集中每一张图像的特征值在其对应的所述新的校园列集合的取值范围区间中的位置；
步骤302，若其不在所述取值范围区间的端点位置，则相应删除所述取值范围区间的端点位置对应的一张图像，将所述当前特征值对应的第二参照集中图像，加入到所述取值范围区间对应的第一参照集中删除图像的位置，进行第一参照集修正；
步骤303，基于设定的阈值区间，判断所述第一参照集在经过反复修正后其对应的所述新的校园列集合的取值范围区间是否在所述设定的阈值区间内，若在，则停止对所述第一参照集的修正，修正完成，获取修正完成后的所述第一参照集。
步骤209，基于预设的面部表情抓拍模型，在校园内随机获取学生的面部表情，基于预设对抗训练网络的生成器，分别对随机获取学生的面部表情图像进行不同分辨率的同一图像生成，并将生成的不同分辨率的同一图像作为识别样本。
解释：基于预设对抗训练网络的生成器，分别对随机获取学生的面部表情图像进行不同分辨率的同一图像生成，具体为：将随机获取到的学生的面部表情图像作为原始图像，对所述原始图像按照预设的分辨率区间调整其分辨率的大小，获取到原始图像的一系列多分辨率拟态图像，将所述原始图像和所述拟态图像共同作为识别样本。
步骤210，获取所述识别样本的特征值与所述修正完成后的第一参照集对应的所述新的校园列集合的取值范围区间进行对比，识别出所述识别样本对应的面部表情，完成面部表情识别。
解释：同步骤207获取所述第二参照集中图像的特征值，进行识别样本的特征值获取。
在本申请实施例中，所述获取所述识别样本的特征值与所述修正完成后的第一参照集对应的所述新的校园列集合的取值范围区间进行对比，识别出所述识别样本对应的面部表情，还包括：将所述识别样本的特征值与所述第二参照集的校园列集合对应的特征值区间进行对比，识别出所述识别样本对应的所述第二参照集中的面部表情，若在所述第一参照集和在所述第二参照集中识别出的面部表情一致，则完成面部表情识别，输出识别结果。
在本申请实施例中，还包括：在步骤207之后和步骤208之前，基于确定所述第二参照集中所有图像的特征值，确定所述第二参考集中相同面部表情图像对应的特征值区间，将所述特征值区间作为所述第二参照集的校园列集合对应的特征值区间。
继续参考图4，图4为本申请实施例中基于对抗训练网络进行学生面部表情识别的方法的一个实施例的执行逻辑图，包括：启动第一采集终端，基于预设采集指令以班级为单位对学校学生进行不同面部表情图像采集；以学生为单位，构建班级内所有学生对应的面部表情矩阵Hi；以班级为单位，构建学校学生对应的面部表情矩阵Ck；将所述面部表情矩阵Ck中的各个面部表情图像作为第一参照集；对所述第一参照集中元素进行竖直方向的列集合获取，分别表示不同面部表情图像对应的集合；获取所述校园列集合中每一张图像的特征值，并将所述校园列集合中的图像元素替换为每一张图像的特征值，生成新的校园列集合，获取所述新的校园列集合的取值范围区间，作为不同面部表情对应的特征区间值；基于校园内预设的第二采集终端，对学生的面部表情图像进行随机抓拍，生成第二参照集，获取所述第二参照集中每一张图像的特征值，确定所述第二参照集中每一张图像对应的面部表情；进行第一参照集修正；基基于预设对抗训练网络的生成器，分别对随机获取学生的面部表情图像进行不同分辨率的同一图像生成，并将生成的不同分辨率的同一图像作为识别样本；获取所述识别样本的特征值与所述修正完成后的第一参照集对应的所述新的校园列集合的取值范围区间进行对比，识别出所述识别样本对应的面部表情，完成面部表情识别。
本申请实施例中所述的基于对抗训练网络进行学生面部表情识别的方法，可以通过对学生进行不同面部表情图像采集，构建面部表情矩阵Hi，构建面部表情矩阵Ck，将面部表情矩阵Ck中各个面部表情图像作为第一参照集；对第一参照集中元素进行竖直方向的列集合获取，获取的校园列集合分别表示不同面部表情图像对应的集合，特征提取，确定不同面部表情对应的特征区间值，进行第一参照集修正，基于对抗训练网络，生成不同分辨率的同一图像作为识别样本，识别出其对应的面部表情。本申请使用对抗训练网络进行样本获取，一定程度上提高了面部表情识别的准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图5，作为对上述图2所示方法的实现，本申请提供了一种基于对抗训练网络进行学生面部表情识别的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例所述的基于对抗训练网络进行学生面部表情识别的装置5包括：原始训练数据采集模块501、校园列集合获取模块502、特征区间值确定模块503、生产器与修正模块504和面部表情识别模块505。其中：
原始训练数据采集模块501，用于启动第一采集终端，基于预设采集指令以班级为单位对学校学生进行不同面部表情图像采集，其中，所述对学校学生进行不同面部表情图像采集具体为：基于学生学号信息设定唯一身份标识H，对于不同面部表情图像设定不同的区别标识，构建以学生为单位的面部表情集合；以学生为单位，构建班级内所有学生对应的面部表情矩阵Hi；
校园列集合获取模块502，用于以班级为单位，构建学校学生对应的面部表情矩阵Ck；将所述面部表情矩阵Ck中的各个面部表情图像作为第一参照集；对所述第一参照集中元素进行竖直方向的列集合获取，获取到校园列集合分别表示不同面部表情图像对应的集合；
特征区间值确定模块503，用于基于预设的面部表情特征提取模型，获取所述校园列集合中每一张图像的特征值，并将所述校园列集合中的图像元素替换为每一张图像的特征值，生成新的校园列集合，获取所述新的校园列集合的取值范围区间，作为不同面部表情对应的特征区间值；
生产器与修正模块504，用于基于校园内预设的第二采集终端，对学生的面部表情图像进行随机抓拍，生成第二参照集，并基于预设的面部表情特征提取模型，获取所述第二参照集中每一张图像的特征值，判断所述第二参照集中每一张图像的特征值对应的所述特征区间值，确定所述第二参照集中每一张图像对应的面部表情；判断所述第二参照集中每一张图像的特征值在其对应的所述新的校园列集合的取值范围区间中的位置，若其不在所述取值范围区间的端点位置，则相应删除所述取值范围区间的端点位置对应的一张图像，将所述当前特征值对应的第二参照集中图像，加入到所述取值范围区间对应的第一参照集中删除图像的位置，进行第一参照集修正；基于设定的阈值区间，判断所述第一参照集在经过反复修正后其对应的所述新的校园列集合的取值范围区间是否在所述设定的阈值区间内，若在，则停止对所述第一参照集的修正，修正完成，获取修正完成后的所述第一参照集；
面部表情识别模块505，用于基于预设的面部表情抓拍模型，在校园内随机获取学生的面部表情，基于预设对抗训练网络的生成器，分别对随机获取学生的面部表情图像进行不同分辨率的同一图像生成，并将生成的不同分辨率的同一图像作为识别样本；获取所述识别样本的特征值与所述修正完成后的第一参照集对应的所述新的校园列集合的取值范围区间进行对比，识别出所述识别样本对应的面部表情，完成面部表情识别。
在本申请的一些实施例中，如图6，图6为本申请实施例中原始训练数据采集模块的结构示意图，所述原始训练数据采集模块501包括第一图像采集单元501a、班级面部表情矩阵构建单元501b。
在本申请的一些实施例中，所述第一图像采集单元501a，用于启动第一采集终端，基于预设采集指令以班级为单位对学校学生进行不同面部表情图像采集。
在本申请的一些实施例中，所述班级面部表情矩阵构建单元501b，用于基于学生学号信息设定唯一身份标识H，对于不同面部表情图像设定不同的区别标识，构建以学生为单位的面部表情集合，以学生为单位，构建班级内所有学生对应的面部表情矩阵Hi。
在本申请的一些实施例中，如图7，图7为本申请实施例中校园列集合获取模块的结构示意图，所述校园列集合获取模块502包括校园面部表情矩阵构建单元502a、校园列集合获取单元502b。
在本申请的一些实施例中，所述校园面部表情矩阵构建单元502a，用于以班级为单位，构建学校学生对应的面部表情矩阵Ck。
在本申请的一些实施例中，所述校园列集合获取单元502b，用于将所述面部表情矩阵Ck中的各个面部表情图像作为第一参照集；对所述第一参照集中元素进行竖直方向的列集合获取，获取到校园列集合 分别表示不同面部表情图像对应的集合。
在本申请的一些实施例中，如图8，图8为本申请实施例中生产器与修正模块的结构示意图，所述生产器与修正模块504包括第二图像采集单元504a、第一参照集修正单元504b。
在本申请的一些实施例中，所述第二图像采集单元504a，用于基于校园内预设的第二采集终端，对学生的面部表情图像进行随机抓拍，生成第二参照集，并基于预设的面部表情特征提取模型，获取所述第二参照集中每一张图像的特征值，判断所述第二参照集中每一张图像的特征值对应的所述特征区间值，确定所述第二参照集中每一张图像对应的面部表情，其中，基于预设对抗训练网络的生成器，分别对第二参照集中的面部表情图像进行不同分辨率的同一图像生成，并将生成的不同分辨率的同一图像作为识别样本，加入到所述第二参照集中。
在本申请的一些实施例中，所述第一参照集修正单元504b，用于判断所述第二参照集中每一张图像的特征值在其对应的所述新的校园列集合的取值范围区间中的位置，若其不在所述取值范围区间的端点位置，则相应删除所述取值范围区间的端点位置对应的一张图像，将所述当前特征值对应的第二参照集中图像，加入到所述取值范围区间对应的第一参照集中删除图像的位置，进行第一参照集修正；基于设定的阈值区间，判断所述第一参照集在经过反复修正后其对应的所述新的校园列集合的取值范围区间是否在所述设定的阈值区间内，若在，则停止对所述第一参照集的修正，修正完成，获取修正完成后的所述第一参照集。
本申请实施例所述的基于对抗训练网络进行学生面部表情识别的装置，通过对学生进行不同面部表情图像采集，构建面部表情矩阵Hi，构建面部表情矩阵Ck，将面部表情矩阵Ck中各个面部表情图像作为第一参照集；对第一参照集中元素进行竖直方向的列集合获取，获取的校园列集合分别表示不同面部表情图像对应的集合，特征提取，确定不同面部表情对应的特征区间值，进行第一参照集修正，基于对抗训练网络，生成不同分辨率的同一图像作为识别样本，识别出其对应的面部表情。本申请使用对抗训练网络进行样本获取，一定程度上提高了面部表情识别的准确性。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图9，图9为本实施例计算机设备基本结构框图。
所述计算机设备9包括通过系统总线相互通信连接存储器9a、处理器9b、网络接口9c。需要指出的是，图中仅示出了具有组件9a-9c的计算机设备9，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field-Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器9a至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器9a可以是所述计算机设备9的内部存储单元，例如该计算机设备9的硬盘或内存。在另一些实施例中，所述存储器9a也可以是所述计算机设备9的外部存储设备，例如该计算机设备9上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(FlashCard)等。当然，所述存储器9a还可以既包括所述计算机设备9的内部存储单元也包括其外部存储设备。本实施例中，所述存储器9a通常用于存储安装于所述计算机设备9的操作系统和各类应用软件，例如基于对抗训练网络进行学生面部表情识别的方法的程序代码等。此外，所述存储器9a还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器9b在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器9b通常用于控制所述计算机设备9的总体操作。本实施例中，所述处理器9b用于运行所述存储器9a中存储的程序代码或者处理数据，例如运行所述基于对抗训练网络进行学生面部表情识别的方法的程序代码。
所述网络接口9c可包括无线网络接口或有线网络接口，该网络接口9c通常用于在所述计算机设备9与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有基于对抗训练网络进行学生面部表情识别的程序，所述基于对抗训练网络进行学生面部表情识别的程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于对抗训练网络进行学生面部表情识别的方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (9)
1.一种基于对抗训练网络进行学生面部表情识别的方法，其特征在于，包括下述步骤：
启动第一采集终端，基于预设采集指令以班级为单位对学校学生进行不同面部表情图像采集，其中，所述对学校学生进行不同面部表情图像采集具体为：基于学生学号信息设定唯一身份标识H，对于不同面部表情图像设定不同的区别标识，构建以学生为单位的面部表情集合：H＝[a，b，c，d，e，f，g，h]，其中，a，b，c，d，e，f，g，h小写字母用于标识不同的面部表情；
以学生为单位，构建班级内所有学生对应的面部表情矩阵Hi，其中，i表示每个班级唯一标识，j表示班级i内的学生数量；
以班级为单位，构建学校学生对应的面部表情矩阵Ck，其中，i表示每个班级唯一标识，k表示学校内班级的数量；
将所述面部表情矩阵Ck中的各个面部表情图像作为第一参照集；
对所述第一参照集中元素进行竖直方向的列集合获取，获取到校园列集合Fi k，/>分别表示不同面部表情图像对应的集合，其中，i表示每个班级唯一标识，k表示学校内班级的数量，即：
Fi k＝[Fi 1 Fi 2 Λ Λ Fi k]，
基于预设的面部表情特征提取模型，获取所述校园列集合中每一张图像的特征值，并将所述校园列集合中的图像元素替换为每一张图像的特征值，生成新的校园列集合，获取所述新的校园列集合的取值范围区间，作为不同面部表情对应的特征区间值；所述基于预设的面部表情特征提取模型，获取所述校园列集合中每一张图像的特征值，包括：基于kinect点分布特性对所述校园列集合中每一张图像分别进行面部点分布模型构建，获取所述校园列集合中每一张图像分别对应的面部模型；使用Gabor小波变换法对所述校园列集合中每一张图像分别对应的面部模型进行特征值获取；
基于校园内预设的第二采集终端，对学生的面部表情图像进行随机抓拍，生成第二参照集，并基于预设的面部表情特征提取模型，获取所述第二参照集中每一张图像的特征值，判断所述第二参照集中每一张图像的特征值对应的所述特征区间值，确定所述第二参照集中每一张图像对应的面部表情；
判断所述第二参照集中每一张图像的特征值在其对应的所述新的校园列集合的取值范围区间中的位置，若其不在所述取值范围区间的端点位置，则相应删除所述取值范围区间的端点位置对应的一张图像，将当前特征值对应的第二参照集中图像，加入到所述取值范围区间对应的第一参照集中删除图像的位置，进行第一参照集修正；
基于设定的阈值区间，判断所述第一参照集在经过反复修正后其对应的所述新的校园列集合的取值范围区间是否在所述设定的阈值区间内，若在，则停止对所述第一参照集的修正，修正完成，获取修正完成后的所述第一参照集；
基于预设的面部表情抓拍模型，在校园内随机获取学生的面部表情，基于预设对抗训练网络的生成器，分别对随机获取学生的面部表情图像进行不同分辨率的同一图像生成，并将生成的不同分辨率的同一图像作为识别样本；
获取所述识别样本的特征值与所述修正完成后的第一参照集对应的所述新的校园列集合的取值范围区间进行对比，识别出所述识别样本对应的面部表情，完成面部表情识别。
2.根据权利要求1所述的基于对抗训练网络进行学生面部表情识别的方法，其特征在于，所述基于预设采集指令以班级为单位对学校学生进行不同面部表情图像采集，包括：
所述预设采集指令，预先播报待采集的面部表情种类，由学生配合进行面部动作变化，完成采集。
3.根据权利要求2所述的基于对抗训练网络进行学生面部表情识别的方法，其特征在于，所述对于不同面部表情图像设定不同的区别标识，构建以学生为单位的面部表情集合：H＝[a，b，c，d，e，f，g，h]，其中，a，b，c，d，e，f，g，h小写字母用于标识不同的面部表情，包括：
预先设定不同的小写字母用于表示不同的面部表情，给采集到的图像分别分配不同的小写字母，表征每一张图像对应的面部表情。
4.根据权利要求1所述的基于对抗训练网络进行学生面部表情识别的方法，其特征在于，所述并将所述校园列集合中的图像元素替换为每一张图像的特征值，生成新的校园列集合，获取所述新的校园列集合的取值范围区间，作为不同面部表情对应的特征区间值，包括：
使用所述特征值替换所述校园列集合中的图像元素，生成新的校园列集合；对所述校园列集合中的所有特征值进行最大值和最小值查询，所述最小值到所述最大值所代表的区间，即所述新的校园列集合的取值范围区间，作为不同面部表情对应的特征区间值。
5.根据权利要求4所述的基于对抗训练网络进行学生面部表情识别的方法，其特征在于，所述判断所述第二参照集中每一张图像的特征值在其对应的所述新的校园列集合的取值范围区间中的位置，若其不在所述取值范围区间的端点位置，则相应删除所述取值范围区间的端点位置对应的一张图像，将所述当前特征值对应的第二参照集中图像，加入到所述取值范围区间对应的第一参照集中删除图像的位置，进行第一参照集修正，还包括：
在每次修正完成之后，重新确定所述新的校园列集合对应的取值范围区间，具体为：获取所述新的校园列集合中的所有特征值进行最大值和最小值查询，所述最小值到所述最大值所代表的区间，即所述新的校园列集合的取值范围区间，作为不同面部表情对应的特征区间值。
6.根据权利要求1至5任一所述的基于对抗训练网络进行学生面部表情识别的方法，其特征在于，所述基于校园内预设的第二采集终端，对学生的面部表情图像进行随机抓拍，生成第二参照集，并基于预设的面部表情特征提取模型，获取所述第二参照集中每一张图像的特征值，还包括：
将所述第二参照集作为生成器产生的新的数据样本，获取所述第二参照集中每一张图像的特征值，构建基于所述第二参照集的校园列集合，获取所述第二参照集的校园列集合对应的特征值区间。
7.根据权利要求6所述的基于对抗训练网络进行学生面部表情识别的方法，其特征在于，所述获取所述识别样本的特征值与所述修正完成后的第一参照集对应的所述新的校园列集合的取值范围区间进行对比，识别出所述识别样本对应的面部表情，还包括：
将所述识别样本的特征值与所述第二参照集的校园列集合对应的特征值区间进行对比，识别出所述识别样本对应的所述第二参照集中的面部表情，若在所述第一参照集和在所述第二参照集中识别出的面部表情一致，则完成面部表情识别，输出识别结果。
8.一种基于对抗训练网络进行学生面部表情识别的装置，其特征在于，包括：
原始训练数据采集模块，用于启动第一采集终端，基于预设采集指令以班级为单位对学校学生进行不同面部表情图像采集，其中，所述对学校学生进行不同面部表情图像采集具体为：基于学生学号信息设定唯一身份标识H，对于不同面部表情图像设定不同的区别标识，构建以学生为单位的面部表情集合：H＝[a，b，c，d，e，f，g，h]，其中，a，b，c，d，e，f，g，h小写字母用于标识不同的面部表情；以学生为单位，构建班级内所有学生对应的面部表情Hi，其中，i表示每个班级唯一标识，j表示班级i内的学生数量；
校园列集合获取模块，用于以班级为单位，构建学校学生对应的面部表情矩阵Ck，其中，i表示每个班级唯一标识，k表示学校内班级的数量；
将所述面部表情矩阵Ck中的各个面部表情图像作为第一参照集；
对所述第一参照集中元素进行竖直方向的列集合获取，获取到校园列集合Fi k，/>分别表示不同面部表情图像对应的集合，其中，i表示每个班级唯一标识，k表示学校内班级的数量，即：
Fi k＝[Fi 1 Fi 2 Λ Λ Fi k]，
特征区间值确定模块，用于基于预设的面部表情特征提取模型，获取所述校园列集合中每一张图像的特征值，并将所述校园列集合中的图像元素替换为每一张图像的特征值，生成新的校园列集合，获取所述新的校园列集合的取值范围区间，作为不同面部表情对应的特征区间值；所述基于预设的面部表情特征提取模型，获取所述校园列集合中每一张图像的特征值，包括：基于kinect点分布特性对所述校园列集合中每一张图像分别进行面部点分布模型构建，获取所述校园列集合中每一张图像分别对应的面部模型；使用Gabor小波变换法对所述校园列集合中每一张图像分别对应的面部模型进行特征值获取；
生产器与修正模块，用于基于校园内预设的第二采集终端，对学生的面部表情图像进行随机抓拍，生成第二参照集，并基于预设的面部表情特征提取模型，获取所述第二参照集中每一张图像的特征值，判断所述第二参照集中每一张图像的特征值对应的所述特征区间值，确定所述第二参照集中每一张图像对应的面部表情；判断所述第二参照集中每一张图像的特征值在其对应的所述新的校园列集合的取值范围区间中的位置，若其不在所述取值范围区间的端点位置，则相应删除所述取值范围区间的端点位置对应的一张图像，将当前特征值对应的第二参照集中图像，加入到所述取值范围区间对应的第一参照集中删除图像的位置，进行第一参照集修正；基于设定的阈值区间，判断所述第一参照集在经过反复修正后其对应的所述新的校园列集合的取值范围区间是否在所述设定的阈值区间内，若在，则停止对所述第一参照集的修正，修正完成，获取修正完成后的所述第一参照集；
面部表情识别模块，用于基于预设的面部表情抓拍模型，在校园内随机获取学生的面部表情，基于预设对抗训练网络的生成器，分别对随机获取学生的面部表情图像进行不同分辨率的同一图像生成，并将生成的不同分辨率的同一图像作为识别样本；获取所述识别样本的特征值与所述修正完成后的第一参照集对应的所述新的校园列集合的取值范围区间进行对比，识别出所述识别样本对应的面部表情，完成面部表情识别。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于对抗训练网络进行学生面部表情识别的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111660380.8A CN114333024B (zh) | 2021-12-31 | 2021-12-31 | 基于对抗训练网络进行学生面部表情识别的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111660380.8A CN114333024B (zh) | 2021-12-31 | 2021-12-31 | 基于对抗训练网络进行学生面部表情识别的方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114333024A CN114333024A (zh) | 2022-04-12 |
| CN114333024B true CN114333024B (zh) | 2024-01-26 |
Family
ID=81019751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111660380.8A Active CN114333024B (zh) | 2021-12-31 | 2021-12-31 | 基于对抗训练网络进行学生面部表情识别的方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114333024B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010244321A (ja) * | 2009-04-07 | 2010-10-28 | Seiko Epson Corp | 顔画像を表す顔モデルを設定する画像処理 |
| KR20150089482A (ko) * | 2014-01-28 | 2015-08-05 | 영남대학교 산학협력단 | 표정 동작사전을 이용한 표정인식 방법 및 장치 |
| CN107977630A (zh) * | 2017-12-04 | 2018-05-01 | 杨世鹏 | 一种基于人物面部表情识别的笑容类别判定方法 |
| CN111666588A (zh) * | 2020-05-14 | 2020-09-15 | 武汉大学 | 一种基于生成对抗网络的情绪差分隐私保护方法 |
| CN112101087A (zh) * | 2020-07-24 | 2020-12-18 | 西安电子科技大学 | 一种面部图像身份去识别方法、装置及电子设备 |
| CN112232116A (zh) * | 2020-09-08 | 2021-01-15 | 深圳微步信息股份有限公司 | 一种人脸表情识别方法、装置及存储介质 |
-
2021
- 2021-12-31 CN CN202111660380.8A patent/CN114333024B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010244321A (ja) * | 2009-04-07 | 2010-10-28 | Seiko Epson Corp | 顔画像を表す顔モデルを設定する画像処理 |
| KR20150089482A (ko) * | 2014-01-28 | 2015-08-05 | 영남대학교 산학협력단 | 표정 동작사전을 이용한 표정인식 방법 및 장치 |
| CN107977630A (zh) * | 2017-12-04 | 2018-05-01 | 杨世鹏 | 一种基于人物面部表情识别的笑容类别判定方法 |
| CN111666588A (zh) * | 2020-05-14 | 2020-09-15 | 武汉大学 | 一种基于生成对抗网络的情绪差分隐私保护方法 |
| CN112101087A (zh) * | 2020-07-24 | 2020-12-18 | 西安电子科技大学 | 一种面部图像身份去识别方法、装置及电子设备 |
| CN112232116A (zh) * | 2020-09-08 | 2021-01-15 | 深圳微步信息股份有限公司 | 一种人脸表情识别方法、装置及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| Jie Cai etc..Identity-Free Facial Expression Recognition Using Conditional Generative Adversarial Network.《2021 IEEE International Conference on Image Processing (ICIP)》.2021,第1344-1347页. * |
| Youngsuk Shin etc..Facial expression recognition based on dimension model using automated feature extraction.《 Machine Graphics & Vision》.2000,第573-585页. * |
| 侯小红.基于LBP的人脸表情识别.《中国优秀硕士学位论文全文数据库（信息科技辑）》.2017,第I138-1092页. * |
| 陈军波.基于条件生成式对抗网络的面部表情迁移研究.《中国优秀硕士学位论文全文数据库（信息科技辑）》.2020,第I138-1496页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114333024A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110362677B (zh) | 文本数据类别的识别方法及装置、存储介质、计算机设备 | |
| CN112863683B (zh) | 基于人工智能的病历质控方法、装置、计算机设备及存储介质 | |
| CN109194689B (zh) | 异常行为识别方法、装置、服务器及存储介质 | |
| CN111898550B (zh) | 建立表情识别模型方法、装置、计算机设备及存储介质 | |
| CN112181835B (zh) | 自动化测试方法、装置、计算机设备及存储介质 | |
| CN110795714A (zh) | 一种身份验证方法、装置、计算机设备及存储介质 | |
| CN112330331A (zh) | 基于人脸识别的身份验证方法、装置、设备及存储介质 | |
| CN113127633A (zh) | 智能会议管理方法、装置、计算机设备及存储介质 | |
| CN112258238A (zh) | 用户生命价值周期检测方法、装置和计算机设备 | |
| CN114386013A (zh) | 学籍自动认证方法、装置、计算机设备及存储介质 | |
| CN113220828B (zh) | 意图识别模型处理方法、装置、计算机设备及存储介质 | |
| CN110874570A (zh) | 面部识别方法、装置、设备及计算机可读存储介质 | |
| CN111709851B (zh) | 基于rfid及面部识别的酒店安全入住的方法、装置及设备 | |
| CN110674488A (zh) | 基于神经网络的验证码识别方法、系统及计算机设备 | |
| CN114333024B (zh) | 基于对抗训练网络进行学生面部表情识别的方法、装置、设备及存储介质 | |
| CN111539390A (zh) | 一种基于Yolov3的小目标图像识别方法、设备和系统 | |
| CN116383787A (zh) | 页面创建方法、装置、计算机设备及存储介质 | |
| CN112529888B (zh) | 基于深度学习的人脸图像评估方法、装置、设备及介质 | |
| CN115700845A (zh) | 人脸识别模型训练方法、人脸识别方法、装置及相关设备 | |
| CN112395450B (zh) | 图片文字检测方法、装置、计算机设备及存储介质 | |
| CN112070744B (zh) | 一种人脸识别的方法、系统、设备及可读存储介质 | |
| CN113704623A (zh) | 一种数据推荐方法、装置、设备及存储介质 | |
| CN112733645A (zh) | 手写签名校验方法、装置、计算机设备及存储介质 | |
| CN112396111A (zh) | 文本意图分类方法、装置、计算机设备及存储介质 | |
| CN112417886A (zh) | 意图实体信息抽取方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |