CN110046576A - 一种训练识别面部表情的方法和装置 - Google Patents
一种训练识别面部表情的方法和装置 Download PDFInfo
- Publication number
- CN110046576A CN110046576A CN201910308236.4A CN201910308236A CN110046576A CN 110046576 A CN110046576 A CN 110046576A CN 201910308236 A CN201910308236 A CN 201910308236A CN 110046576 A CN110046576 A CN 110046576A
- Authority
- CN
- China
- Prior art keywords
- network model
- training
- layer
- image
- facial expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 124
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 146
- 230000004913 activation Effects 0.000 claims abstract description 8
- 238000005457 optimization Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 33
- 238000011176 pooling Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 206010041349 Somnolence Diseases 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000233805 Phoenix Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种训练识别面部表情的方法和装置，所述方法包括：获取训练数据，其中，所述训练数据，是N类面部表情中一类面部表情的图像数据，N是大于1的整数；利用所述训练数据训练第一网络模型达到预设识别面部表情的精度，从而获得优化的第一网络模型；其中，所述第一网络模型，包括特定结构的VGG19网络模型及依次连接在所述特定结构的VGG19网络模型后的一层全连接层、一层Dropout层和一层Softmax层；所述特定结构的VGG19网络模型，包括VGG19网络模型的输入层、池化层和卷积层；所述Softmax层，包括激活函数为Softmax函数的N个节点的全连接层；在训练时所述第一网络模型根据预设参数开始训练。本申请在非可控条件下，受光照等复杂背景影响较小，鲁棒性强。
Description
技术领域
本申请涉及图像处理领域，具体涉及训练识别面部表情的方法，以及训练识别面部表情的装置，以及识别面部表情的方法，以及识别面部表情的装置。
背景技术
人脸识别被广泛地应用于安防、经济、商贸和健康管理等领域，例如：匹配嫌疑犯的照片、根据目击者提供的信息进行人脸重构、嫌疑犯图像集；身份的匹配验证；公共场合的监控系统；自动门卫系统等。
一方面上述这些应用的背景可能是动态或静态，另一方面这些背景本身可能是非可控的，因此在这些应用背景下，可能会遇到各种各样的问题，相应的有不同的分析方式、解决方法和技术难度。随着人脸匹配识别的技术越来越成熟，研究者们也将人脸识别算法或方法研究投入实际应用，并且应用范围也越来越广泛。
课堂上听众的面部表情是听众的心理状态的一个表征，通过分析听众的面部表情数据可以用于评估和改善教学效果。随着信息化技术的不断发展，关于人体特征采集的各种技术应运而生，并取得了蓬勃的发展，例如人脸识别技术等已经取得了实质性的突破，可表情识别技术还不够成熟，尤其是面对课堂中学生的表情分析就更是凤毛麟角。表情特征分析系统可以广泛地应用于学生课堂，因为老师的精力有限，而且重心应在授课上，不能够充分注意到每个同学的课堂表现。但通过计算机记录并分析每一个学生的课堂表现并提出合理的教学改进可以弥补这一不足。
现有技术需要先对人脸进行特征点标注，再通过一定的计算进行特征提取并保存。当数据集容量很大时，数据标注就变成了一个大工程，消耗大量人力物力。同时，由于现有技术基于浅层神经网络或是基础的卷积神经网络，当环境复杂时，鲁棒性较低。
发明内容
本申请提供一种训练识别面部表情的方法，以及一种训练识别面部表情的装置，以及一种识别面部表情的方法，以及一种识别面部表情的装置；以解决现有技术中表情识别鲁棒性差的问题。
为了解决上述技术问题，本申请实施例提供了如下的技术方案：
本申请提供了一种训练识别面部表情的方法，包括：
获取训练数据，其中，所述训练数据，是N类面部表情中一类面部表情的图像数据，N是大于1的整数；
利用所述训练数据训练第一网络模型达到预设识别面部表情的精度，从而获得优化的第一网络模型；
其中，所述第一网络模型，包括特定结构的VGG19网络模型及依次连接在所述特定结构的VGG19网络模型后的一层全连接层、一层Dropout层和一层Softmax层；所述特定结构的VGG19网络模型，包括VGG19网络模型的输入层、池化层和卷积层；所述Softmax层，包括激活函数为Softmax函数的N个节点的全连接层；在训练时所述第一网络模型根据预设参数开始训练。
优选的，所述利用所述训练数据训练第一网络模型达到预设识别面部表情的精度，从而获得优化的第一网络模型，包括：
从所述训练数据中获取训练批的批训练数据；
将所述批训练数据输入所述第一网络模型中获取批训练结果；
判断所述批训练结果是否满足预设识别面部表情的精度；
若否，则根据所述批训练结果调整所述第一网络模型的权重值和偏移量，并继续上述步骤；
若是，则获得所述优化的第一网络模型。
优选的，所述判断所述批训练结果是否满足预设识别面部表情的精度，包括：
通过损失函数判断所述批训练结果是否满足预设识别面部表情的精度。
优选的，所述损失函数为交叉熵损失函数：
其中，
yi是批训练结果值；
是预设结果值；
i是训练次数。
优选的，所述训练批为64；所述输入层的输入图像分辨率为224像素×224像素。
优选的，所述预设参数包括：
优化函数采用自适应学习率的Adam；且
学习率的初始值等于0.0001。
优选的，所述获取训练数据，包括：
获取多个包括面部表情的静态图像数据；
从所述静态图像数据中提取全部面部表情的数据，且每个面部表情生成一个第一图像数据；
将所述第一图像数据的面部表情进行缩放处理，获取包括预设尺寸面部表情的第二图像数据；
根据预设条件过滤所述第二图像数据，获取第三图像数据；对所述第三图像数据进行筛选和分类，获取所述训练数据。
本申请提供了一种训练识别面部表情的装置，包括：
获取训练数据单元，用于获取训练数据，其中，所述训练数据，是N类面部表情中一类面部表情的图像数据，N是大于1的整数；
训练单元，用于利用所述训练数据训练第一网络模型达到预设识别面部表情的精度，从而获得优化的第一网络模型；
其中，所述第一网络模型，包括特定结构的VGG19网络模型及依次连接在所述特定结构的VGG19网络模型后的一层全连接层、一层Dropout层和一层Softmax层；所述特定结构的VGG19网络模型，包括VGG19网络模型的输入层、池化层和卷积层；所述Softmax层，包括激活函数为Softmax函数的N个节点的全连接层；在训练时所述第一网络模型根据预设参数开始训练。
本申请提供了一种识别面部表情的方法，包括：
获取待识别图像，其中，所述待识别图像，是包括面部表情的图像数据；
将所述待识别图像输入优化的第一网络模型获取所述待识别图像识别结果；
其中，所述优化的第一网络模型是采用如权利要求1-7任一项所述的方法生成的。
本申请提供了一种识别面部表情的装置，包括：
获取待识别图像单元，用于获取待识别图像，其中，所述待识别图像，是包括面部表情的图像数据；
输出结果单元，用于将所述待识别图像输入优化的第一网络模型获取所述待识别图像识别结果；
其中，所述优化的第一网络模型是采用如权利要求1-7任一项所述的方法生成的。
基于上述实施例的公开可以获知，本申请实施例具备如下的有益效果：
本申请提供了一种训练识别面部表情的方法和装置，所述方法包括：获取训练数据，其中，所述训练数据，是N类面部表情中一类面部表情的图像数据，N是大于1的整数；利用所述训练数据训练第一网络模型达到预设识别面部表情的精度，从而获得优化的第一网络模型；其中，所述第一网络模型，包括特定结构的VGG19网络模型及依次连接在所述特定结构的VGG19网络模型后的一层全连接层、一层Dropout层和一层Softmax层；所述特定结构的VGG19网络模型，包括VGG19网络模型的输入层、池化层和卷积层；所述Softmax层，包括激活函数为Softmax函数的N个节点的全连接层；在训练时所述第一网络模型根据预设参数开始训练。
本申请无需对人脸图像进行特征点标注再进行特征提取的操作，可直接输入处理好的人脸图像，省去了中间过程。在非可控条件下，受光照等复杂背景影响较小，鲁棒性强。
附图说明
图1为本申请实施例提供的第一网络模型的结构图；
图2为本申请实施例提供的训练识别面部表情的方法的流程图；
图3为本申请实施例提供的训练识别面部表情的装置的单元框图；
图4为本申请实施例提供的识别面部表情的方法的流程图；
图5为本申请实施例提供的识别面部表情的装置的单元框图。
具体实施方式
下面，结合附图对本申请的具体实施例进行详细的描述，但不作为本申请的限定。
应理解的是，可以对此处公开的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本申请的具体实施例；然而，应当理解，所公开的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所公开的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。
本申请提供一种训练识别面部表情的方法；本申请还提供一种训练识别面部表情的装置；本申请还提供一种识别面部表情的方法；本申请还提供一种识别面部表情的装置。在下面的实施例中逐一进行详细说明。
对本申请提供的第一实施例，即一种训练识别面部表情的方法的实施例。
VGG19网络模型，是一种深度卷积网络结构，卷积神经网络被用在处理图像上，VGG19模型就是训练图像数据集的模型。所述VGG19网络模型，包括：输入层、池化层、卷积层、全连接层和Softmax层。
本实施例基于迁移学习的第一网络模型，请参见图1所示，基于迁移学习的第一网络模型的主要框架。所述第一网络模型，包括特定结构的VGG19网络模型及依次连接在所述特定结构的VGG19网络模型后的一层全连接层、一层Dropout层和一层Softmax层；所述特定结构的VGG19网络模型，包括VGG19网络模型的输入层、池化层和卷积层；所述Softmax层，包括激活函数为Softmax函数的N个节点的全连接层。其中，N个节点与N类面部表情相对应，N是大于1的整数。例如，将课堂中学生的面部表情分为三类：笑、困倦和倾听，则所述Softmax层包括3各节点的全连接层。并且保留其输入层的输入图像格式为224像素×224像素，所述第一网络模型几乎没有脱离VGG19网络模型的基本结构。
本实施例在训练时下载大数据集ImageNet的训练权重，从而可以减少训练的次数，提高训练的效率。所述第一网络模型根据预设参数开始训练。所述预设参数包括：
优化函数采用自适应学习率的Adam；且
学习率的初始值等于所述随机梯度下降法的默认值0.0001。
池化层，是一种形式的降采样。采用非线性池化函数，将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。不断地减小数据的空间大小，因此参数的数量和计算量也会下降，在一定程度上也控制了过拟合。
所述过拟合，是指为了得到一致假设而使假设变得过度严格。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。
全连接层，在整个卷积神经网络中起到分类器的作用。
dropout层，目的是为了防止卷积神经元网络过拟合。在训练一个特定的网络时，当迭代次数增多的时候，可能出现网络对训练集拟合的很好，但是对验证集的拟合程度很差的情况。所以，引入dropout层，让每次跌代随机的更新网络参数，增加网络通用的能力。
Softmax层，属于多类分类器，输入为样本特征，输出为样本属于各个类别的概率。概率最大值所属的类别即为分类结果。
请参见图1所示，本实施例所述第一网络模型，包括：输入层、池化层、卷积层、全连接层、dropout层和Softmax层。每层的输出大小和每层参数数量请参见图1所示。所述输入层输入图像的像素大小为224像素×224像素，第一网络模型全部采用3×3的卷积核，步长为1。图1中数字64、128和512表示经过卷积运算后得到的特征图的数量。卷积层后面跟一个2×2的最大池化层，步长为2。全连接层包括256个神经元。
下面结合图2对本实施例进行详细说明，其中，图2为本申请实施例提供的训练识别面部表情的方法的流程图。
步骤S101，获取训练数据，其中，所述训练数据，是N类面部表情中一类面部表情的图像数据，N是大于1的整数。
例如，N等于3，N类面部表情，也就是将课堂中学生的面部表情分为三类：笑、困倦和倾听；所述获取训练数据，也就是“笑”类面部表情的图像数据，或“困倦”类面部表情的图像数据，或“倾听”类面部表情的图像数据。
具体包括以下步骤：
步骤S101-1，获取多个包括面部表情的静态图像数据。
例如，可以通过对班级学生上课情况进行录像，从录像中按照预设时间间隔抽帧获取多个包括面部表情的静态图像数据。
步骤S101-2，从所述静态图像数据中提取全部面部表情的数据，且每个面部表情生成一个第一图像数据。
例如，使用OpenCV中的人脸检测工具箱对图像中的人脸进行批量处理，将静态图像数据中每个人的图像提取出来，且每个人的图像生成一个第一图像数据。
步骤S101-3，将所述第一图像数据的面部表情进行缩放处理，获取包括预设尺寸面部表情的第二图像数据。
所述预设尺寸，是指所述面部表情的在图像中的尺寸。例如，所述预设规格是面部表情在图像中的长为224像素且宽为224像素。
步骤S101-4，根据预设条件过滤所述第二图像数据，获取第三图像数据。
也就是将不符合预设条件的所述第二图像数据剔除。例如，将面部表情不够清晰的第二图像数据放弃，不作为训练数据。
步骤S101-5，对所述第三图像数据进行筛选和分类，获取所述训练数据。
也就是对过滤后的图像进行筛选，并对图像进行分类，获取所述训练数据。其中，所述训练数据，是N类面部表情中一类面部表情的图像数据，N是大于1的整数。例如，N等于3，N类面部表情，也就是将课堂中学生的面部表情分为三类：笑、困倦和倾听。
步骤S102，利用所述训练数据训练第一网络模型达到预设识别面部表情的精度，从而获得优化的第一网络模型。
所述利用所述训练数据训练第一网络模型达到预设识别面部表情的精度，从而获得优化的第一网络模型，包括：
步骤S102-1，从所述训练数据中获取训练批的批训练数据。
优选的，所述训练批为64。也就是64张图像为一个训练批。
步骤S102-2，将所述批训练数据输入所述第一网络模型中获取批训练结果。
步骤S102-3，判断所述批训练结果是否满足预设识别面部表情的精度。
所述判断所述批训练结果是否满足预设识别面部表情的精度，包括：
通过损失函数判断所述批训练结果是否满足预设识别面部表情的精度。
所述损失函数为交叉熵损失函数：
其中，
yi是批训练结果值；
是预设结果值；
i是训练次数。
利用所述交叉熵损失函数可以避免梯度消散。
步骤S102-4，若否，则根据所述批训练结果调整所述第一网络模型的权重值和偏移量，并执行步骤S102-1。
步骤S102-5，若是，则获得所述优化的第一网络模型。
本实施例无需对人脸图像进行特征点标注再进行特征提取的操作，可直接输入处理好的人脸图像，省去了中间过程。在非可控条件下，受光照等复杂背景影响较小，鲁棒性强。
与本申请提供的第一实施例相对应，本申请还提供了第二实施例，即一种训练识别面部表情的装置。由于第二实施例基本相似于第一实施例，所以描述得比较简单，相关的部分请参见第一实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
图3示出了本申请提供的一种训练识别面部表情的装置的实施例。图3为本申请实施例提供的训练识别面部表情的装置的单元框图。
请参见图3所示，本申请提供一种训练识别面部表情的装置，包括：获取训练数据单元201，训练单元202；
获取训练数据单元201，用于获取训练数据单元，用于获取训练数据，其中，所述训练数据，是N类面部表情中一类面部表情的图像数据，N是大于1的整数；
训练单元202，用于利用所述训练数据训练第一网络模型达到预设识别面部表情的精度，从而获得优化的第一网络模型；
其中，所述第一网络模型，包括特定结构的VGG19网络模型及依次连接在所述特定结构的VGG19网络模型后的一层全连接层、一层Dropout层和一层Softmax层；所述特定结构的VGG19网络模型，包括VGG19网络模型的输入层、池化层和卷积层；所述Softmax层，包括激活函数为Softmax函数的N个节点的全连接层；在训练时所述第一网络模型根据预设参数开始训练。
在所述训练单元202中，包括：
获取批训练数据子单元，用于从所述训练数据中获取训练批的批训练数据；
获取批训练结果子单元，用于将所述批训练数据输入所述第一网络模型中获取批训练结果；
判断精度子单元，用于判断所述批训练结果是否满足预设识别面部表情的精度；
调整子单元，用于若所述判断精度子单元的输出结果为“否”，则根据所述批训练结果调整所述第一网络模型的权重值和偏移量，并继续所述获取批训练数据子单元的操作；
结束子单元，用于若若所述判断精度子单元的输出结果为“是”，则获得所述优化的第一网络模型。
在所述判断精度子单元中，包括：
第一判断精度子单元，用于通过损失函数判断所述批训练结果是否满足预设识别面部表情的精度。
优选的，所述损失函数为交叉熵损失函数：
其中，
yi是批训练结果值；
是预设结果值；
i是训练次数。
优选的，预设参数包括：
优化函数采用自适应学习率的Adam；且学习率的初始值等于0.0001。
优选的，所述训练批为64；所述输入层的输入图像分辨率为224像素×224像素。
在所述获取训练数据单元201中，所述获取训练数据，包括：
获取静态图像数据子单元，用于获取多个包括面部表情的静态图像数据；
提取图像数据子单元，用于从所述静态图像数据中提取全部面部表情的数据，且每个面部表情生成一个第一图像数据；
缩放处理子单元，用于将所述第一图像数据的面部表情进行缩放处理，获取包括预设尺寸面部表情的第二图像数据；
过滤子单元，用于根据预设条件过滤所述第二图像数据，获取第三图像数据；
分类子单元，用于对所述第三图像数据进行筛选和分类，获取所述训练数据。
本实施例无需对人脸图像进行特征点标注再进行特征提取的操作，可直接输入处理好的人脸图像，省去了中间过程。在非可控条件下，受光照等复杂背景影响较小，鲁棒性强。
与本申请提供的第一实施例相关联，本申请还提供了第三实施例，即一种识别面部表情的方法。由于第三实施例基本相似于第一实施例，所以描述得比较简单，相关的部分请参见第一实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
图4示出了本申请提供的一种识别面部表情的方法的实施例。图4为本申请实施例提供的识别面部表情的方法的流程图。
请参见图4所示，本申请提供一种识别面部表情的方法，包括：
步骤S301，获取待识别图像，其中，所述待识别图像，是包括面部表情的图像数据；
步骤S302，将所述待识别图像输入优化的第一网络模型获取所述待识别图像识别结果；
其中，所述优化的第一网络模型是采用如第一实施例所述训练识别面部表情的方法生成的。
本实施例无需对人脸图像进行特征点标注再进行特征提取的操作，可直接输入处理好的人脸图像，省去了中间过程。在非可控条件下，受光照等复杂背景影响较小，鲁棒性强。
与本申请提供的第三实施例相对应，本申请还提供了第四实施例，即一种识别面部表情的装置。由于第四实施例基本相似于第三实施例，所以描述得比较简单。下述描述的装置实施例仅仅是示意性的。
图5示出了本申请提供的一种识别面部表情的装置的实施例。图5为本申请实施例提供的识别面部表情的装置的单元框图。
请参见图5所示，本申请提供一种识别面部表情的装置，包括：获取待识别图像单元401，输出结果单元402；
获取待识别图像单元401，用于获取待识别图像，其中，所述待识别图像，是包括面部表情的图像数据；
输出结果单元402，用于将所述待识别图像输入优化的第一网络模型获取所述待识别图像识别结果；
其中，所述优化的第一网络模型是采用如第一实施例所述训练识别面部表情的方法生成的。
本实施例无需对人脸图像进行特征点标注再进行特征提取的操作，可直接输入处理好的人脸图像，省去了中间过程。在非可控条件下，受光照等复杂背景影响较小，鲁棒性强。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (10)
1.一种训练识别面部表情的方法，其特征在于，包括：
获取训练数据，其中，所述训练数据，是N类面部表情中一类面部表情的图像数据，N是大于1的整数；
利用所述训练数据训练第一网络模型达到预设识别面部表情的精度，从而获得优化的第一网络模型；
其中，所述第一网络模型，包括特定结构的VGG19网络模型及依次连接在所述特定结构的VGG19网络模型后的一层全连接层、一层Dropout层和一层Softmax层；所述特定结构的VGG19网络模型，包括VGG19网络模型的输入层、池化层和卷积层；所述Softmax层，包括激活函数为Softmax函数的N个节点的全连接层；在训练时所述第一网络模型根据预设参数开始训练。
2.根据权利要求1所述的方法，其特征在于，所述利用所述训练数据训练第一网络模型达到预设识别面部表情的精度，从而获得优化的第一网络模型，包括：
从所述训练数据中获取训练批的批训练数据；
将所述批训练数据输入所述第一网络模型中获取批训练结果；
判断所述批训练结果是否满足预设识别面部表情的精度；
若否，则根据所述批训练结果调整所述第一网络模型的权重值和偏移量，并继续上述步骤；
若是，则获得所述优化的第一网络模型。
3.根据权利要求2所述的方法，其特征在于，所述判断所述批训练结果是否满足预设识别面部表情的精度，包括：
通过损失函数判断所述批训练结果是否满足预设识别面部表情的精度。
4.根据权利要求3所述的方法，其特征在于，所述损失函数为交叉熵损失函数：
其中，
yi是批训练结果值；
是预设结果值；
i是训练次数。
5.根据权利要求2所述的方法，其特征在于，所述训练批为64；所述输入层的输入图像分辨率为224像素×224像素。
6.根据权利要求1所述的方法，其特征在于，所述预设参数包括：
优化函数采用自适应学习率的Adam；且
学习率的初始值等于0.0001。
7.根据权利要求1所述的方法，其特征在于，所述获取训练数据，包括：
获取多个包括面部表情的静态图像数据；
从所述静态图像数据中提取全部面部表情的数据，且每个面部表情生成一个第一图像数据；
将所述第一图像数据的面部表情进行缩放处理，获取包括预设尺寸面部表情的第二图像数据；
根据预设条件过滤所述第二图像数据，获取第三图像数据；对所述第三图像数据进行筛选和分类，获取所述训练数据。
8.一种训练识别面部表情的装置，其特征在于，包括：
获取训练数据单元，用于获取训练数据，其中，所述训练数据，是N类面部表情中一类面部表情的图像数据，N是大于1的整数；
训练单元，用于利用所述训练数据训练第一网络模型达到预设识别面部表情的精度，从而获得优化的第一网络模型；
其中，所述第一网络模型，包括特定结构的VGG19网络模型及依次连接在所述特定结构的VGG19网络模型后的一层全连接层、一层Dropout层和一层Softmax层；所述特定结构的VGG19网络模型，包括VGG19网络模型的输入层、池化层和卷积层；所述Softmax层，包括激活函数为Softmax函数的N个节点的全连接层；在训练时所述第一网络模型根据预设参数开始训练。
9.一种识别面部表情的方法，其特征在于，包括：
获取待识别图像，其中，所述待识别图像，是包括面部表情的图像数据；
将所述待识别图像输入优化的第一网络模型获取所述待识别图像识别结果；
其中，所述优化的第一网络模型是采用如权利要求1-7任一项所述的方法生成的。
10.一种识别面部表情的装置，其特征在于，包括：
获取待识别图像单元，用于获取待识别图像，其中，所述待识别图像，是包括面部表情的图像数据；
输出结果单元，用于将所述待识别图像输入优化的第一网络模型获取所述待识别图像识别结果；
其中，所述优化的第一网络模型是采用如权利要求1-7任一项所述的方法生成的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910308236.4A CN110046576A (zh) | 2019-04-17 | 2019-04-17 | 一种训练识别面部表情的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910308236.4A CN110046576A (zh) | 2019-04-17 | 2019-04-17 | 一种训练识别面部表情的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110046576A true CN110046576A (zh) | 2019-07-23 |
Family
ID=67277584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910308236.4A Pending CN110046576A (zh) | 2019-04-17 | 2019-04-17 | 一种训练识别面部表情的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110046576A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110598552A (zh) * | 2019-08-09 | 2019-12-20 | 吉林大学 | 基于改进粒子群算法优化卷积神经网络的表情识别方法 |
| CN111178263A (zh) * | 2019-12-30 | 2020-05-19 | 湖北美和易思教育科技有限公司 | 一种实时表情分析方法及其装置 |
| CN111401268A (zh) * | 2020-03-19 | 2020-07-10 | 内蒙古工业大学 | 一种面向开放环境的多模态情感识别方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650621A (zh) * | 2016-11-18 | 2017-05-10 | 广东技术师范学院 | 一种基于深度学习的情绪识别方法及系统 |
| CN107292950A (zh) * | 2017-06-08 | 2017-10-24 | 深圳市唯特视科技有限公司 | 一种基于深度神经网络的端到端三维人脸重建方法 |
| CN108388890A (zh) * | 2018-03-26 | 2018-08-10 | 南京邮电大学 | 一种基于面部表情识别的新生儿疼痛程度评估方法及系统 |
| CN108564007A (zh) * | 2018-03-27 | 2018-09-21 | 深圳市智能机器人研究院 | 一种基于表情识别的情绪识别方法和装置 |
| CN108900769A (zh) * | 2018-07-16 | 2018-11-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
| CN108921042A (zh) * | 2018-06-06 | 2018-11-30 | 四川大学 | 一种基于深度学习的人脸序列表情识别方法 |
| CN109376625A (zh) * | 2018-10-10 | 2019-02-22 | 东北大学 | 一种基于卷积神经网络的面部表情识别方法 |
-
2019
- 2019-04-17 CN CN201910308236.4A patent/CN110046576A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650621A (zh) * | 2016-11-18 | 2017-05-10 | 广东技术师范学院 | 一种基于深度学习的情绪识别方法及系统 |
| CN107292950A (zh) * | 2017-06-08 | 2017-10-24 | 深圳市唯特视科技有限公司 | 一种基于深度神经网络的端到端三维人脸重建方法 |
| CN108388890A (zh) * | 2018-03-26 | 2018-08-10 | 南京邮电大学 | 一种基于面部表情识别的新生儿疼痛程度评估方法及系统 |
| CN108564007A (zh) * | 2018-03-27 | 2018-09-21 | 深圳市智能机器人研究院 | 一种基于表情识别的情绪识别方法和装置 |
| CN108921042A (zh) * | 2018-06-06 | 2018-11-30 | 四川大学 | 一种基于深度学习的人脸序列表情识别方法 |
| CN108900769A (zh) * | 2018-07-16 | 2018-11-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
| CN109376625A (zh) * | 2018-10-10 | 2019-02-22 | 东北大学 | 一种基于卷积神经网络的面部表情识别方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110598552A (zh) * | 2019-08-09 | 2019-12-20 | 吉林大学 | 基于改进粒子群算法优化卷积神经网络的表情识别方法 |
| CN111178263A (zh) * | 2019-12-30 | 2020-05-19 | 湖北美和易思教育科技有限公司 | 一种实时表情分析方法及其装置 |
| CN111178263B (zh) * | 2019-12-30 | 2023-09-05 | 武汉美和易思数字科技有限公司 | 一种实时表情分析方法及其装置 |
| CN111401268A (zh) * | 2020-03-19 | 2020-07-10 | 内蒙古工业大学 | 一种面向开放环境的多模态情感识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Castro et al. | Predicting daily activities from egocentric images using deep learning | |
| CN104143079A (zh) | 人脸属性识别的方法和系统 | |
| CN112257728B (zh) | 图像处理方法、装置、计算机设备以及存储介质 | |
| CN105069448A (zh) | 一种真假人脸识别方法及装置 | |
| CN110046576A (zh) | 一种训练识别面部表情的方法和装置 | |
| CN106407369A (zh) | 一种基于深度学习人脸识别的照片管理方法和系统 | |
| CN111291863B (zh) | 换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备 | |
| CN111832573A (zh) | 一种基于类激活映射和视觉显著性的图像情感分类方法 | |
| CN106529377A (zh) | 一种基于图像的年龄估计方法、装置及系统 | |
| Chen et al. | A pornographic images recognition model based on deep one-class classification with visual attention mechanism | |
| CN112686258A (zh) | 体检报告信息结构化方法、装置、可读存储介质和终端 | |
| CN104679967B (zh) | 一种判断心理测试可靠性的方法 | |
| CN112528777A (zh) | 一种用于课堂环境下的学生面部表情识别方法及系统 | |
| CN110427881A (zh) | 基于人脸局部区域特征学习的跨数据库微表情识别方法及装置 | |
| CN115546861A (zh) | 一种在线课堂专注度识别方法、系统、设备及介质 | |
| Sun et al. | An integrated model for effective saliency prediction | |
| CN115482595A (zh) | 一种基于语义分割的特定人物视觉伪造检测与鉴别方法 | |
| CN114187640A (zh) | 一种基于线上课堂的学情观察方法、系统、设备及介质 | |
| CN110858304A (zh) | 一种身份证图像识别的方法及其设备 | |
| CN112464864A (zh) | 基于树形神经网络结构的人脸活体检测方法 | |
| Kaur et al. | Existing approaches in Ear biometrics | |
| Sakaguchi et al. | Study on relationship between composition and prediction of photo aesthetics using CNN | |
| Chen | Evaluation technology of classroom students’ learning state based on deep learning | |
| CN113205044B (zh) | 一种基于表征对比预测学习的深度伪造视频检测方法 | |
| Huang et al. | Research on learning state based on students’ attitude and emotion in class learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190723 |