CN111709278B - 一种识别猕猴面部表情的方法 - Google Patents
一种识别猕猴面部表情的方法 Download PDFInfo
- Publication number
- CN111709278B CN111709278B CN202010361101.7A CN202010361101A CN111709278B CN 111709278 B CN111709278 B CN 111709278B CN 202010361101 A CN202010361101 A CN 202010361101A CN 111709278 B CN111709278 B CN 111709278B
- Authority
- CN
- China
- Prior art keywords
- macaque
- facial
- expression classification
- model
- facial expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 241000282553 Macaca Species 0.000 title claims abstract description 127
- 230000008921 facial expression Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000014509 gene expression Effects 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000013145 classification model Methods 0.000 claims abstract description 26
- 230000001815 facial effect Effects 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 238000012795 verification Methods 0.000 claims abstract description 13
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 3
- 230000008014 freezing Effects 0.000 claims description 3
- 238000007710 freezing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims 4
- 230000003068 static effect Effects 0.000 abstract description 2
- 241000288906 Primates Species 0.000 description 4
- 230000003542 behavioural effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种识别猕猴面部表情的方法，包括如下步骤：构建猕猴面部图像样本集，所述猕猴面部图像样本集包括多种不同的猕猴表情；将所述猕猴面部图像样本集划分为训练集、验证集和测试集三个部分；计算训练集中所有猕猴面部图像的通道均值；构建、训练、验证和测试猕猴面部表情分类模型；基于完成训练的猕猴面部表情分类模型提取猕猴正面图像的表情属性。本发明通过对静态猕猴面部图像样本集建立猕猴面部表情分类模型，达到识别猕猴图像表情的目的，同时提高了识别猕猴表情的速度与效率。
Description
技术领域
本发明属于图像处理及分析技术领域，特别涉及一种识别猕猴面部表情的方法。
背景技术
从灵长类行为学角度和认知科学角度来说，猕猴有4种基本的面部表情：中性、臣服、恐惧和恐吓。这与同为灵长类的人类的面部表情有非常大的区别，例如人类有7种基本面部表情：厌恶、愤怒、恐惧、高兴、悲伤以及惊奇。对于非研究猕猴行为学特征的专业人士，识别猕猴的面部表情是困难的。而传统靠肉眼辨别猕猴面部表情的方法对于专业人士来说也耗时且低效。因此，准确、高效地识别猕猴面部表情在了解灵长类动物的活动和社会学特征以及开展灵长类的行为学研究中越来越重要。尽管目前已经有很多用于识别人类面部表情的方法和系统，但是目前还没有一套专门用于识别猕猴个体表情的人工智能识别系统。
近年来，基于深度学习的机器学习模型发展迅速，深度学习机器学习模型通过在海量数据上对图像特征进行迭代训练，提取到图像中用于区分不同类型物体的属性特征，可以达到非常好的分类和识别效果。深度神经网络在物体分类、人脸识别上已经表现出了非常优越的性能。而到目前为止，还没有基于深度神经网络来对猕猴表情进行识别的方法可以应用。
发明内容
为此，本发明提供了一种识别猕猴面部表情的方法，通过对静态猕猴面部图像样本集建立人脸表情分类模型，达到识别猕猴图像表情的目的，同时提高了识别猕猴表情的速度与效率。
本发明提供了一种识别猕猴面部表情的方法，包括如下步骤：
S1：构建猕猴面部图像样本集，所述猕猴面部图像样本集包括多种不同的猕猴表情；
S2：将所述猕猴面部图像样本集划分为训练集、验证集和测试集三个部分，保证三个部分的图像互不包含，且不同部分不含有相同猕猴个体的图像；
S3：计算训练集中所有猕猴面部图像的通道均值；
S4：首先将训练集、验证集和测试集按照猕猴表情分类，然后基于VGGFace模型构建猕猴面部表情分类模型，之后将所构建的猕猴面部表情分类模型在训练集上进行微调，并在验证集上进行验证，完成训练后，选择在验证集上获得猕猴面部表情验证正确率最高的猕猴面部表情分类模型，在测试集上进行测试，得到猕猴面部表情分类正确率；
S5：对于给定的猕猴面部图像，先对其减去步骤S3中计算的通道均值，再将其输入完成训练的猕猴面部表情分类模型，得到猕猴面部图像的表情属性。
进一步，步骤S1中，所述猕猴面部图像样本集包括四种不同的猕猴面部表情：中性、臣服、恐惧和恐吓。
进一步，步骤S1还包括使用图像处理软件对每一幅猕猴面部图像进行编辑和处理，以保证这些猕猴面部图像之间的低层次视觉信息一致。
进一步，所述低层次视觉信息包括图像背景、猕猴毛发、猕猴肤色以及图像明暗。
进一步，步骤S4包括如下子步骤：
S41:基于VGGFace模型构建猕猴面部表情分类模型，所述猕猴面部表情分类模型复制了VGGFace模型上除了分类块外的所有模型设计及其参数，并具有一个表情分类块，所述表情分类块包含一个flatten层和三个全连接层，其中最后一个全连接层的输出大小与猕猴面部表情的种类数对应，初始化所述表情分类块的参数；
S42:冻结VGGFace模型对应的层及其参数，而只开放所述表情分类块之前的第一个卷积块，在训练集上训练所述表情分类块以及其之前的第一个卷积块，当模型训练收敛时，如果正确率不是很高，则依次开放所述表情分类块之前的第二个卷积块和第三个卷积块，进行猕猴面部表情分类模型的训练。
本发明的有益效果：
在目前没有基于深度学习对猕猴面部表情进行识别的技术的情况下，本发明可以较准确的识别猕猴面部表情，提高猕猴面部表情识别的效率；同时，本发明对于猕猴的行为学和社会学研究也大有益处，研究人员可以通过本发明自动识别猕猴的表情，从而判断猕猴当时所处的情绪状态；此外，研究人员通过本发明对猕猴群体表情的分析，还可以进一步研究猕猴群体之间的交流。
附图说明
图1为本发明的识别猕猴面部表情的方法流程图；
图2为本发明的猕猴面部表情分类器的训练示意图。
具体实施方式
下面结合附图和实施例进一步描述本发明，应该理解，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
如图1所示，本发明的识别猕猴面部表情的方法包括如下步骤：
S1：构建猕猴面部图像样本集
首先采集猕猴的正面面部图像，构成所需的猕猴面部图像样本集。本实施例共选择了81个不同的猕猴个体，每个猕猴个体约有100张图像，整个样本集中包含了猕猴的四种表情：中性、臣服、恐惧和恐吓。应该注意，并不是每个猕猴个体都包含了上述4种表情，但样本集中四种猕猴表情的图像数量基本均衡，共计8100张左右。特别地，为了尽量保证这些图像之间的低层次视觉信息(如背景色、毛发、肤色、明暗等)的一致，本实施例使用adobepremiere pro图像处理软件对每一幅猕猴面部图像进行了编辑和处理。
S2:将猕猴面部图像样本集划分为三个部分：将样本集的60％的猕猴个体的所有图像，共计约4900张图像，作为训练集；样本集的20％的猕猴个体的所有图像，共计约1600张图像，作为验证集；样本集剩下的20％的猕猴个体的所有图像，共计约1600张图像，作为测试集。
S3:计算训练集中图像的通道均值
因为猕猴表情图像样本集均是由灰度图片扩展为RGB图片，即每个通道的像素值都相同，所以每个通道的均值也相同。在后续模型的训练、验证、测试阶段，均采用均值减法的图像预处理方法。
S4:构建、训练、验证和测试猕猴面部表情分类模型
首先将训练集、验证集、测试集均按照4种猕猴表情分类，然后基于基于VGG16网络架构的VGGFace模型创建一个新的神经网络模型，即猕猴面部表情分类模型，它复制了VGGFace模型上除了分类块(包含了一个flatten层和三个全连接层)外的所有模型设计及其参数。这些模型参数包含了VGGFace模型在源数据集上学习到的人脸相关信息，因此和本发明的猕猴面部图像数据集有一定的相关性。接着为猕猴面部表情分类模型添加一个表情分类块(同样包含了一个flatten层和三个全连接层，其中最后一个全连接层的输出大小为4，对应4种猕猴表情)，并初始化表情分类块的参数。
最后冻结原VGGFace模型对应的层及其参数，然后在训练集上训练猕猴面部表情分类模型中用于表情分类的分类块。训练结束后，正确率并不高，这是因为VGGFace模型是用于人脸身份识别的模型，因此分类块之前的层提取的信息是关于人脸身份的，直接用于猕猴的面部表情分类会对正确率有所影响。于是进一步开放猕猴表情分类模型分类块之前的第一个卷积块(卷积块5，见图2)，让这两部分都参与后续训练。当模型训练收敛时，如果正确率仍不是很高，可以进一步依次开放猕猴面部表情分类模型中的第二个卷积块(卷积块4)和第三个卷积块(卷积块3)，进行模型的训练至模型收敛，选择在验证集上表现最好的模型，在测试集上进行测试，最终达到超过显著水平的准确率。
S5：对于给定的猕猴面部图像，先对其减去步骤S3中计算的通道均值，再将其输入完成训练的猕猴面部表情分类模型，得到猕猴面部图像的表情属性。
此外，除了能提取猕猴的表情属性外，本发明还可以采用类似的方法来提取猕猴的其他属性(年龄、种类等)，比如基于vggface模型进行微调，训练一个猕猴种类分类模型，来实现提取猕猴种类属性的功能。
对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以对本发明的实施例作出若干变型和改进，这些都属于本发明的保护范围。
Claims (4)
1.一种识别猕猴面部表情的方法，其特征在于，包括如下步骤：
S1：构建猕猴面部图像样本集，所述猕猴面部图像样本集包括多种不同的猕猴表情；
S2：将所述猕猴面部图像样本集划分为训练集、验证集和测试集三个部分，保证三个部分的图像互不包含，且不同部分不含有相同猕猴个体的图像；
S3：计算训练集中所有猕猴面部图像的通道均值；
S4：首先将训练集、验证集和测试集按照猕猴表情分类，然后基于VGGFace模型构建猕猴面部表情分类模型，之后将所构建的猕猴面部表情分类模型在训练集上进行微调，并在验证集上进行验证，完成训练后，选择在验证集上获得猕猴面部表情验证正确率最高的猕猴面部表情分类模型，在测试集上进行测试，得到猕猴面部表情分类正确率；
S5：对于给定的猕猴面部图像，先对其减去步骤S3中计算的通道均值，再将其输入完成训练的猕猴面部表情分类模型，得到猕猴面部图像的表情属性；
步骤S4包括如下子步骤：
S41：基于VGGFace模型构建猕猴面部表情分类模型，所述猕猴面部表情分类模型复制了VGGFace模型上除了分类块外的所有模型设计及其参数，并具有一个表情分类块，所述表情分类块包含一个flatten层和三个全连接层，其中最后一个全连接层的输出大小与猕猴面部表情的种类数对应，初始化所述表情分类块的参数；
S42：冻结VGGFace模型对应的层及其参数，而只开放所述表情分类块之前的第一个卷积块，在训练集上训练所述表情分类块以及其之前的第一个卷积块，当模型训练收敛时，如果正确率不是很高，则依次开放所述表情分类块之前的第二个卷积块和第三个卷积块，进行猕猴面部表情分类模型的训练。
2.根据权利要求1所述的方法，其特征在于，步骤S1中，所述猕猴面部图像样本集包括四种不同的猕猴面部表情：中性、臣服、恐惧和恐吓。
3.根据权利要求1或2所述的方法，其特征在于，步骤S1还包括使用图像处理软件对每一幅猕猴面部图像进行编辑和处理，以保证这些猕猴面部图像之间的低层次视觉信息一致。
4.根据权利要求3所述的方法，其特征在于，所述低层次视觉信息包括图像背景、猕猴毛发、猕猴肤色以及图像明暗。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010361101.7A CN111709278B (zh) | 2020-04-30 | 2020-04-30 | 一种识别猕猴面部表情的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010361101.7A CN111709278B (zh) | 2020-04-30 | 2020-04-30 | 一种识别猕猴面部表情的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111709278A CN111709278A (zh) | 2020-09-25 |
| CN111709278B true CN111709278B (zh) | 2022-09-06 |
Family
ID=72536785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010361101.7A Expired - Fee Related CN111709278B (zh) | 2020-04-30 | 2020-04-30 | 一种识别猕猴面部表情的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111709278B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351537B (zh) * | 2023-09-11 | 2024-05-17 | 中国科学院昆明动物研究所 | 一种基于深度学习的猕猴脸部智能识别方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108108677A (zh) * | 2017-12-12 | 2018-06-01 | 重庆邮电大学 | 一种基于改进的cnn人脸表情识别方法 |
| CN108921042B (zh) * | 2018-06-06 | 2019-08-23 | 四川大学 | 一种基于深度学习的人脸序列表情识别方法 |
| US11222196B2 (en) * | 2018-07-11 | 2022-01-11 | Samsung Electronics Co., Ltd. | Simultaneous recognition of facial attributes and identity in organizing photo albums |
| CN109492529A (zh) * | 2018-10-08 | 2019-03-19 | 中国矿业大学 | 一种多尺度特征提取及全局特征融合的人脸表情识别方法 |
| CN109815785A (zh) * | 2018-12-05 | 2019-05-28 | 四川大学 | 一种基于双流卷积神经网络的人脸情绪识别方法 |
-
2020
- 2020-04-30 CN CN202010361101.7A patent/CN111709278B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN111709278A (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107491726B (zh) | 一种基于多通道并行卷积神经网络的实时表情识别方法 | |
| CN108615010B (zh) | 基于平行卷积神经网络特征图融合的人脸表情识别方法 | |
| CN110378985B (zh) | 一种基于gan的动漫绘画辅助创作方法 | |
| CN108629338B (zh) | 一种基于lbp和卷积神经网络的人脸美丽预测方法 | |
| CN108256482B (zh) | 一种基于卷积神经网络进行分布学习的人脸年龄估计方法 | |
| CN110399821B (zh) | 基于人脸表情识别的顾客满意度获取方法 | |
| CN109165674A (zh) | 一种基于多标签深度卷积网络的证件照分类方法 | |
| CN106778852A (zh) | 一种修正误判的图像内容识别方法 | |
| CN111523462A (zh) | 基于自注意增强cnn的视频序列表情识别系统及方法 | |
| Li et al. | Globally and locally semantic colorization via exemplar-based broad-GAN | |
| CN109685713A (zh) | 化妆模拟控制方法、装置、计算机设备及存储介质 | |
| CN107330455A (zh) | 图像评价方法 | |
| Zhang et al. | Inkthetics: a comprehensive computational model for aesthetic evaluation of Chinese ink paintings | |
| CN113486700A (zh) | 一种教学场景下基于注意力机制的面部表情分析方法 | |
| CN113642621A (zh) | 基于生成对抗网络的零样本图像分类方法 | |
| CN115966010A (zh) | 一种基于注意力和多尺度特征融合的表情识别方法 | |
| CN111723239A (zh) | 一种基于多模态的视频标注方法 | |
| CN111709278B (zh) | 一种识别猕猴面部表情的方法 | |
| CN111612090B (zh) | 基于内容颜色交叉相关的图像情感分类方法 | |
| CN115018729B (zh) | 一种面向内容的白盒图像增强方法 | |
| CN112818899A (zh) | 人脸图像处理方法、装置、计算机设备和存储介质 | |
| Chen et al. | Intelligent teaching evaluation system integrating facial expression and behavior recognition in teaching video | |
| Gao et al. | A robust improved network for facial expression recognition | |
| CN114494529A (zh) | 一种基于代价敏感学习的人脸属性编辑方法 | |
| CN112614048A (zh) | 一种基于对偶生成对抗网络的模仿化妆图像虚拟卸妆方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220906 |