CN112668551A - 基于遗传算法的表情分类方法 - Google Patents

基于遗传算法的表情分类方法 Download PDF

Info

Publication number
CN112668551A
CN112668551A CN202110060404.XA CN202110060404A CN112668551A CN 112668551 A CN112668551 A CN 112668551A CN 202110060404 A CN202110060404 A CN 202110060404A CN 112668551 A CN112668551 A CN 112668551A
Authority
CN
China
Prior art keywords
genetic algorithm
expression
classification method
facial expression
evaluation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110060404.XA
Other languages
English (en)
Other versions
CN112668551B (zh
Inventor
刘峰
王晗阳
齐佳音
周爱民
李志斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University Of International Business And Economics
East China Normal University
Original Assignee
Shanghai University Of International Business And Economics
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University Of International Business And Economics, East China Normal University filed Critical Shanghai University Of International Business And Economics
Priority to CN202110060404.XA priority Critical patent/CN112668551B/zh
Publication of CN112668551A publication Critical patent/CN112668551A/zh
Application granted granted Critical
Publication of CN112668551B publication Critical patent/CN112668551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于遗传算法的表情分类方法,包括如下步骤。获取人脸照片数据集;识别人脸特征部位;提取所有特征形成特征数据;编码所述特征数据;通过深度神经网络训练获取人脸表情评价模型;通过遗传算法进行演化计算人脸表情评价模型,得到遗传算法得到的结果集;将所述结果集还原为对应情绪边界的人脸表情图片和特征数据。本发明通过遗传算法独特的演化过程,得到处于情绪分类边界的表情,以此解决在表情、微表情识别中情绪分类的边界问题。将人脸表情照片输入后,可以以数据或图片的格式输出需要的一些情绪分类的边界。同时,边界表情图片可以用于可视化观察研究,而特征数据可以作为其他分类算法或系统的输入,来提高表情处理效率及精准度。

Description

基于遗传算法的表情分类方法
技术领域
本发明涉及表情智能处理算法,尤其涉及一种基于遗传算法的表情分类方法。
背景技术
在相关的现有技术中,人工智能对照片中表情的自动识别和处理较为落后,对于一些较为模糊的概念缺乏量化定义,大多凭借主观经验进行分类判断,智能程度不高,处理效率低下,导致表情、微表情识别中情绪分类效果欠佳。
发明内容
本发明实施方式提供的基于遗传算法的表情分类方法,包括如下步骤:
步骤一:获取人脸照片数据集;
步骤二:识别人脸特征部位;
步骤三:提取所有特征形成特征数据;
步骤四:编码所述特征数据;
步骤五:通过深度神经网络训练获取人脸表情评价模型;
步骤六:通过遗传算法进行演化计算人脸表情评价模型,得到遗传算法得到的结果集;
步骤七:将所述结果集还原为对应情绪边界的人脸表情图片和特征数据。
本发明通过遗传算法独特的演化过程,得到处于情绪分类边界的表情,以此解决在表情、微表情识别中情绪分类的边界问题。此外,将人脸表情照片输入后,可以以数据或图片的格式输出需要的一些情绪分类的边界。输出结果也可以用于后续的研究,加速分类的计算等。同时,边界表情图片可以用于可视化观察研究,而特征数据可以作为其他分类算法或系统的输入,来提高表情处理效率及精准度。
进一步地,步骤二中,人脸的主要特征部位分割为11部分,分别是左眉、右眉、左眼、右眼、鼻、上嘴唇、下嘴唇、左上脸颊、左下脸颊、右上脸颊和右下脸颊。
进一步地,步骤四中,编码的具体步骤为:
每张照片被编码为[x1,x2,...,x11],其中每个xi为一个表示人脸某个部分的特征向量。
进一步地,步骤五中,人脸表情评价模型f(x)具体的操作步骤为:
对人脸表情照片数据集进行标注;设计或选择恰当的深度神经网络模型;将数据集以及对应的标签输入深度学习模型进行训练。
进一步地,人脸表情评价模型f(x)通过交叉验证方法检验模型。
进一步地,步骤六中,通过遗传算法进行演化计算的具体步骤为:
随机选取一组染色体作为初始种群,popt=X1,X2,...,Xn,其中Xi=[xi1,xi2,...,xi11],使用步骤5中的人脸表情评价模型f(x)对种群中所有个体进行评价,通过交叉算子和变异算子对当前种群popt进行交叉,得到Qt=gen(popt)。
进一步地,交叉算子为cross(Xa,Xb)=[xa1,xa2,...,xam,xbm+1,...,xb11],变异算子为mutation(Xa)=[xa1,xa2...,x′am,...,xa11]。
进一步地,通过选择算子选择得到下一代种群popt+1=sel(popt,Qt)。
进一步地,选择算子采用轮盘赌方法。
本发明实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本发明实施方式的基于遗传算法的表情分类方法的流程示意图。
具体实施方式
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明。此外,本发明可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。此外,本发明提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
请参阅图1,本发明实施方式提供的基于遗传算法的表情分类方法的具体操作步骤如下。
首先,获得包含表情、微表情的人脸照片数据集。
通过对按照人脸的主要特征部位分割为11部分,分别是左眉、右眉、左眼、右眼、鼻、上嘴唇、下嘴唇、左上脸颊、左下脸颊、右上脸颊、右下脸颊。
再通过特征提取技术提取所有部分的特征。通过恰当的编码方式对其进行编码,每张照片被编码为[x1,x2,...,x11]。其中每个xi为一个表示人脸某个部分的特征向量。
通过对深度神经网络训练得到一个对人脸表情评价模型f(x),具体做法如下:
(1)对人脸表情照片数据集进行标注;
(2)设计或选择恰当的深度神经网络模型;
(3)将数据集以及对应的标签输入深度学习模型进行训练;
(4)通过交叉验证方法检验模型
通过遗传算法进行演化计算的具体步骤如下:
(1)随机选取一组染色体作为初始种群popt=X1,X2,...,Xn,其中Xi=[xi1,xi2,...,xi11];
(2)使用上述训练的人脸表情评价模型f(x)对种群中所有个体进行评价;
(3)通过恰当的交叉算子和变异算子对当前种群popt进行交叉,得到Qt=gen(popt)。其中,可以令交叉算子为cross(Xa,Xb)=[xa1,xa2,...,xam,xbm+1,...,xb11],变异算子为mutation(Xa)=[xa1,xa2...,x′am,...,xa11]。通过设定恰当的交叉概率、变异概率,以及随机产生变异位、交叉位等,得到合适的Qt
最后通过恰当的选择算子选择得到下一代种群popt+1=sel(popt,Qt)。
选择算子如轮盘赌方法。
判断是否符合停机条件,若符合则进入下一步,不符合则回到遗传算法中的第二步,得到遗传算法得到的结果集。
再将结果集还原为人脸照片集,即是处于情绪边界的表情。
综上所述,在经过一定量的训练后,该模型可以完成以下任务:
输入一张人脸照片,输出对应某个情绪边界的人脸表情图片和对应某个情绪边界的特征数据。
尽管已经示出和描述了本发明的实施方式,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (9)

1.基于遗传算法的表情分类方法,其特征在于,包括如下步骤:
步骤一:获取人脸照片数据集;
步骤二:识别人脸特征部位;
步骤三:提取所有特征形成特征数据;
步骤四:编码所述特征数据;
步骤五:通过深度神经网络训练获取人脸表情评价模型;
步骤六:通过遗传算法进行演化计算人脸表情评价模型,得到遗传算法得到的结果集;
步骤七:将所述结果集还原为对应情绪边界的人脸表情图片和特征数据。
2.根据权利要求1所述的基于遗传算法的表情分类方法,其特征在于,步骤二中,人脸的主要特征部位分割为11部分,分别是左眉、右眉、左眼、右眼、鼻、上嘴唇、下嘴唇、左上脸颊、左下脸颊、右上脸颊和右下脸颊。
3.根据权利要求1所述的基于遗传算法的表情分类方法,其特征在于,步骤四中,编码的具体步骤为:
每张照片被编码为[x1,x2,...,x11],
其中每个xi为一个表示人脸某个部分的特征向量。
4.根据权利要求1所述的基于遗传算法的表情分类方法,其特征在于,步骤五中,人脸表情评价模型f(x)具体的操作步骤为:
对人脸表情照片数据集进行标注;设计或选择恰当的深度神经网络模型;将数据集以及对应的标签输入深度学习模型进行训练。
5.根据权利要求4所述的基于遗传算法的表情分类方法,其特征在于,人脸表情评价模型f(x)通过交叉验证方法检验模型。
6.根据权利要求1所述的基于遗传算法的表情分类方法,其特征在于,步骤六中,通过遗传算法进行演化计算的具体步骤为:
随机选取一组染色体作为初始种群,popt=x1,x2,...,xn,其中Xi=[xi1,xi2,...,xi11],
使用步骤5中的人脸表情评价模型f(x)对种群中所有个体进行评价,通过交叉算子和变异算子对当前种群popt进行交叉,得到Qt=gen(popt)。
7.根据权利要求6所述的基于遗传算法的表情分类方法,其特征在于,交叉算子为cross(Xa,Xb)=[xa1,xa2,...,xam,xbm+1,...,xb11],变异算子为mutation(Xa)=[xa1,xa2...,x′am,...,xa11]。
8.根据权利要求6所述的基于遗传算法的表情分类方法,其特征在于,通过选择算子选择得到下一代种群popt+1=sel(popt,Qt)。
9.根据权利要求8所述的基于遗传算法的表情分类方法,其特征在于,选择算子采用轮盘赌方法。
CN202110060404.XA 2021-01-18 2021-01-18 基于遗传算法的表情分类方法 Active CN112668551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110060404.XA CN112668551B (zh) 2021-01-18 2021-01-18 基于遗传算法的表情分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110060404.XA CN112668551B (zh) 2021-01-18 2021-01-18 基于遗传算法的表情分类方法

Publications (2)

Publication Number Publication Date
CN112668551A true CN112668551A (zh) 2021-04-16
CN112668551B CN112668551B (zh) 2023-09-22

Family

ID=75415470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110060404.XA Active CN112668551B (zh) 2021-01-18 2021-01-18 基于遗传算法的表情分类方法

Country Status (1)

Country Link
CN (1) CN112668551B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255913A (zh) * 2021-06-08 2021-08-13 上海对外经贸大学 一种融合区块链技术的演化方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050102246A1 (en) * 2003-07-24 2005-05-12 Movellan Javier R. Weak hypothesis generation apparatus and method, learning apparatus and method, detection apparatus and method, facial expression learning apparatus and method, facial expression recognition apparatus and method, and robot apparatus
CN101968853A (zh) * 2010-10-15 2011-02-09 吉林大学 基于改进的免疫算法优化支持向量机参数的表情识别方法
CN105469080A (zh) * 2016-01-07 2016-04-06 东华大学 一种人脸表情识别方法
CN106096641A (zh) * 2016-06-07 2016-11-09 南京邮电大学 一种基于遗传算法的多模态情感特征融合方法
CN106778506A (zh) * 2016-11-24 2017-05-31 重庆邮电大学 一种融合深度图像和多通道特征的表情识别方法
US20180211102A1 (en) * 2017-01-25 2018-07-26 Imam Abdulrahman Bin Faisal University Facial expression recognition
CN109948589A (zh) * 2019-03-31 2019-06-28 西安电子科技大学 基于量子深度信念网络的人脸表情识别方法
US20190294868A1 (en) * 2016-06-01 2019-09-26 Ohio State Innovation Foundation System and method for recognition and annotation of facial expressions
CN110598552A (zh) * 2019-08-09 2019-12-20 吉林大学 基于改进粒子群算法优化卷积神经网络的表情识别方法
CN110717418A (zh) * 2019-09-25 2020-01-21 北京科技大学 一种喜好情感自动识别方法及系统
CN111260437A (zh) * 2020-01-14 2020-06-09 北京邮电大学 一种基于商品方面级情感挖掘和模糊决策的产品推荐方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050102246A1 (en) * 2003-07-24 2005-05-12 Movellan Javier R. Weak hypothesis generation apparatus and method, learning apparatus and method, detection apparatus and method, facial expression learning apparatus and method, facial expression recognition apparatus and method, and robot apparatus
CN101968853A (zh) * 2010-10-15 2011-02-09 吉林大学 基于改进的免疫算法优化支持向量机参数的表情识别方法
CN105469080A (zh) * 2016-01-07 2016-04-06 东华大学 一种人脸表情识别方法
US20190294868A1 (en) * 2016-06-01 2019-09-26 Ohio State Innovation Foundation System and method for recognition and annotation of facial expressions
CN106096641A (zh) * 2016-06-07 2016-11-09 南京邮电大学 一种基于遗传算法的多模态情感特征融合方法
CN106778506A (zh) * 2016-11-24 2017-05-31 重庆邮电大学 一种融合深度图像和多通道特征的表情识别方法
US20180211102A1 (en) * 2017-01-25 2018-07-26 Imam Abdulrahman Bin Faisal University Facial expression recognition
CN109948589A (zh) * 2019-03-31 2019-06-28 西安电子科技大学 基于量子深度信念网络的人脸表情识别方法
CN110598552A (zh) * 2019-08-09 2019-12-20 吉林大学 基于改进粒子群算法优化卷积神经网络的表情识别方法
CN110717418A (zh) * 2019-09-25 2020-01-21 北京科技大学 一种喜好情感自动识别方法及系统
CN111260437A (zh) * 2020-01-14 2020-06-09 北京邮电大学 一种基于商品方面级情感挖掘和模糊决策的产品推荐方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
UROŠ MLAKAR等: "Multi-Objective Differential Evolution for feature selection in Facial Expression Recognition systems", 《EXPERT SYSTEMS WITH APPLICATIONS》, vol. 89, pages 129 - 137, XP085169792, DOI: 10.1016/j.eswa.2017.07.037 *
刘欣; 解仑; 杨文祥; 王志良; 付晟森: "表情机器人的动态情绪调节过程研究", 《控制理论与应用》, no. 2011, pages 936 - 946 *
刘鹏;刘峰;: "融合脸部红外信息与深度信息的驾驶员路怒表情识别方法", 软件导刊, no. 10, pages 197 - 200 *
梁华刚;张志伟;王亚茹;: "自适应Gabor卷积核编码网络的表情识别方法", 计算机工程与应用, no. 10, pages 149 - 156 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255913A (zh) * 2021-06-08 2021-08-13 上海对外经贸大学 一种融合区块链技术的演化方法

Also Published As

Publication number Publication date
CN112668551B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
Shenoy et al. Multilogue-net: A context aware rnn for multi-modal emotion detection and sentiment analysis in conversation
CN110909803B (zh) 图像识别模型训练方法、装置和计算机可读存储介质
CN108182394B (zh) 卷积神经网络的训练方法、人脸识别方法及装置
US10719780B2 (en) Efficient machine learning method
KR20180125905A (ko) 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치
WO2020147395A1 (zh) 基于情感的文本分类处理方法、装置和计算机设备
CN112395979B (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN111160452A (zh) 一种基于预训练语言模型的多模态网络谣言检测方法
CN107316059B (zh) 学习者姿态识别方法
US20200143209A1 (en) Task dependent adaptive metric for classifying pieces of data
CN112418320B (zh) 一种企业关联关系识别方法、装置及存储介质
CN116311483B (zh) 基于局部面部区域重构和记忆对比学习的微表情识别方法
CN117197878B (zh) 基于机器学习的人物面部表情捕捉方法及系统
CN111242155A (zh) 一种基于多模深度学习的双模态情感识别方法
CN110598019A (zh) 重复图像识别方法及装置
CN114092742A (zh) 一种基于多角度的小样本图像分类装置和方法
Gogate et al. Real time emotion recognition and gender classification
CN114743133A (zh) 一种轻量化的小样本视频分类识别方法及系统
CN112668551B (zh) 基于遗传算法的表情分类方法
CN114005468B (zh) 一种基于全局工作空间的可解释情绪识别方法和系统
CN111340329B (zh) 演员评估方法、装置及电子设备
CN113657808A (zh) 一种人员评定方法、装置、设备及存储介质
Hinojosa-Cardenas et al. Improving Michigan-style fuzzy-rule base classification generation using a Choquet-like Copula-based aggregation function
CN112800959A (zh) 一种用于人脸识别中数据拟合估计的困难样本发掘方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant