CN109697399A - 一种人脸表情识别方法及装置 - Google Patents
一种人脸表情识别方法及装置 Download PDFInfo
- Publication number
- CN109697399A CN109697399A CN201711002761.0A CN201711002761A CN109697399A CN 109697399 A CN109697399 A CN 109697399A CN 201711002761 A CN201711002761 A CN 201711002761A CN 109697399 A CN109697399 A CN 109697399A
- Authority
- CN
- China
- Prior art keywords
- tetrad
- image
- deep learning
- sample data
- learning network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开人脸表情识别方法及装置,包括:S1对样本数据集进行人脸检测与对齐处理,确定各图像中人脸位置,剪出人脸图像;S2按四联子方式对处理后的样本数据集在线重组生成四联子训练样本;S3利用深度学习网络对四联子样本进行特征提取,将每一图像均提取成N维特征向量;S4将N维特征向量进行L2正则化处理后嵌入到N维欧几里得空间并利用预设的损失函数计算深度学习网络的损失,根据损失函数利用随机梯度下降算法对深度学习网络参数进行调整,返回S3对调整后的网络再训练,直至深度学习网络趋于稳定,得到训练好的人脸表情识别模型;S5将待测人脸图像输入人脸表情识别模型得到识别结果。本发明能对人脸表情快速准确的识别。
Description
技术领域
本发明实施例涉及人机交互和计算机视觉技术领域,具体涉及一种人脸表情识别方法及装置。
背景技术
人脸表情识别是人机交互和计算机视觉领域的重要研究方向。随着人脸识别技术的不断发展,人脸表情识别技术也逐渐受到人们的重视。面部表情的变化可以更客观的反应出人的生理状况和心里活动。如病人面部表情的变化可以反映出病人的身体状况,被审讯犯人的面部表情变化可以反映出犯人心理活动,精神病人面部表情可以反映出其精神状态。在连续监视的人脸的环境下,系统需要快速准确的区分出该张脸的面部表情变化。
通过机器学习方法自动从图像中学习得到对表情识别有用的特征大大推进了人脸识别领域的发展,目前主要是采用深度学习算法来提取不同表情特征来识别人脸表情。同时也有把深度学习网络与传统机器学习方法相结合来实现人脸表情识别,如深度学习与SVM、K均值等方法相结合实现表情分类。
但是,在连续监视人脸表情变化的环境下,现有的人脸表情识别方法对人脸表情识别的准确性和实时性有待提高。
鉴于此,如何对人脸表情进行快速准确的识别成为目前需要解决的技术问题。
发明内容
由于现有方法存在上述问题,本发明实施例提出一种人脸表情识别方法及装置,能够对人脸表情进行快速准确的识别。
第一方面,本发明实施例提出一种人脸表情识别方法,包括:
S1、对样本数据集进行人脸检测与对齐处理,确定所述样本数据集中每一图像中的人脸位置,剪切出人脸图像,所述样本数据集包括:带标签的不同个体的不同表情的图像;
S2、按照四联子的方式,对人脸检测与对齐处理后的样本数据集进行在线重组,生成四联子训练样本;
S3、利用深度学习网络,对所述四联子样本进行特征提取,将所述四联子样本中的每一图像均提取成一个N维特征向量;
S4、将提取的N维特征向量进行L2正则化处理后嵌入到N维欧几里得空间,并利用基于所述四联子样本而预先设置的损失函数,计算所述深度学习网络的损失,根据损失函数利用随机梯度下降算法对深度学习网络参数进行调整,返回步骤S3对调整后的网络再训练,直至所述深度学习网络趋于稳定,获得训练好的基于深度学习网络的人脸表情识别模型;
S5、将待测人脸图像输入所述人脸表情识别模型,获得人脸表情识别结果。
可选地,所述步骤S1包括:
采用MTCNN算法,对样本数据集进行人脸检测与对齐处理,确定所述样本数据集中每一图像中的人脸位置,剪切出人脸图像。
可选地,所述步骤S2按照四联子的方式,对人脸检测与对齐处理后的样本数据集进行在线重组,生成四联子训练样本,包括:
P1、在人脸检测与对齐处理后的样本数据集中随机选择一个个体;
P2为本次选择的个体选择一种表情;
P3、在本次选择的表情中选择一张作为锚点anchor的人脸图像
P4、选择一张与相同表情的人脸图像作为anchor的正样本;
P5、选择第一张与不同表情的人脸图像作为第一个负样本;
P6、选择第二张与不同表情的人脸图像作为第二个负样本,和为不同表情;
P7、循环步骤P4-P6,每循环一次生成一个四联子,直至对人脸检测与对齐处理后的样本数据集中本次所选择的个体、表情和锚点所对应的所有人脸图像均被选择过,则返回步骤P3;
P8、若本次选择的表情中的所有人脸图像均作为anchor被选择过,则返回步骤P2;
P9、若本次选择的个体的所有表情均被选择过,则返回步骤P1,直至人脸检测与对齐处理后的样本数据集中的所有个体均被选择过,循环结束。
可选地,所述步骤S3包括:
利用Inception-restnet-v1深度学习网络,对所述四联子样本进行特征提取,将所述四联子样本中的每一图像均提取成一个N维特征向量。
可选地,所述利用基于所述四联子样本而预先设置的损失函数loss为:
其中,在同一个个体中,为一个anchor,为与相同表情的人脸图像,是与不同表情的人脸图像,是与都不同表情的人脸图像,α为判定边界,M为生成的四联子训练样本的容量。
第二方面,本发明实施例还提出一种人脸表情识别装置,包括:
处理模块,用于对样本数据集进行人脸检测与对齐处理,确定所述样本数据集中每一图像中的人脸位置,剪切出人脸图像,所述样本数据集包括:带标签的不同个体的不同表情的图像;
样本重组模块,用于按照四联子的方式,对人脸检测与对齐处理后的样本数据集进行在线重组,生成四联子训练样本;
特征提取模块,用于利用深度学习网络,对所述四联子样本进行特征提取,将所述四联子样本中的每一图像均提取成一个N维特征向量;
调整模块,用于将提取的N维特征向量进行L2正则化处理后嵌入到N维欧几里得空间,并利用基于所述四联子样本而预先设置的损失函数,计算所述深度学习网络的损失,根据损失函数利用随机梯度下降算法对深度学习网络参数进行调整,返回所述特征提取模块对调整后的网络再训练,直至所述深度学习网络趋于稳定,获得训练好的基于深度学习网络的人脸表情识别模型;
获取模块,用于将待测人脸图像输入所述人脸表情识别模型,获得人脸表情识别结果。
可选地,所述处理模块,具体用于
采用MTCNN算法,对样本数据集进行人脸检测与对齐处理,确定所述样本数据集中每一图像中的人脸位置,剪切出人脸图像。
可选地,所述特征提取模块,具体用于
利用Inception-restnet-v1深度学习网络,对所述四联子样本进行特征提取,将所述四联子样本中的每一图像均提取成一个N维特征向量。
第三方面,本发明实施例还提出一种电子设备,包括:处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序;
其中,所述处理器,存储器通过所述总线完成相互间的通信;
所述处理器执行所述计算机程序时实现上述方法。
第四方面,本发明实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述方法。
由上述技术方案可知,本发明实施例的人脸表情识别方法及装置,通过选择新颖的样本重组方法和基于四联子样本而预先设置的损失函数来优化深度学习网络的特征提取过程,使训练好的基于深度学习网络的人脸表情识别模型可以学习同一个人不同表情的变化,能够实现对人脸表情进行快速准确的识别,准确性较高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1为本发明一实施例提供的一种人脸表情识别方法的流程示意图;
图2为本发明一实施例提供的一种人脸表情识别装置的结构示意图;
图3为本发明一实施例提供的电子设备的逻辑框图。
具体实施方式
下面结合附图,对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
图1示出了本发明一实施例提供的一种人脸表情识别方法的流程示意图,如图1所示,本实施例的人脸表情识别方法,包括:
S1、对样本数据集进行人脸检测与对齐处理,确定所述样本数据集中每一图像中的人脸位置,剪切出人脸图像,所述样本数据集包括:带标签的不同个体的不同表情的图像。
在具体应用中,举例来说,可以采用MTCNN(多任务卷积神经网络)算法,对样本数据集进行人脸检测与对齐处理,确定所述样本数据集中每一图像中的人脸位置,剪切出人脸图像。本实施例并不对其进行限制,也可以根据实际情况采用其他方法对样本数据集进行人脸检测与对齐处理,确定所述样本数据集中每一图像中的人脸位置,剪切出人脸图像。
S2、按照四联子的方式,对人脸检测与对齐处理后的样本数据集进行在线重组,生成四联子训练样本。
可以理解的是,步骤S2在进行在线重组时一次生成一个batch(批量)的四联子样本。
S3、利用深度学习网络,对所述四联子样本进行特征提取,将所述四联子样本中的每一图像均提取成一个N维特征向量。
其中,N为大于0的整数。
在具体应用中,举例来说,可以利用Inception-restnet-v1深度学习网络,对所述四联子样本进行特征提取,将所述四联子样本中的每一图像均提取成一个N维特征向量。当然,本实施例也可以根据实际情况利用其他深度学习网络(如Inception、VGG、残差网等)对所述四联子样本进行特征提取,将所述四联子样本中的每一图像均提取成一个N维特征向量,本实施例并不对其进行限制。
S4、将提取的N维特征向量进行L2正则化处理后嵌入到N维欧几里得空间,并利用基于所述四联子样本而预先设置的损失函数,计算所述深度学习网络的损失,根据损失函数利用随机梯度下降算法对深度学习网络参数进行调整,返回步骤S3对调整后的网络再训练,直至所述深度学习网络趋于稳定(即计算得到的损失不再减小),获得训练好的基于深度学习网络的人脸表情识别模型。
可以理解的是,本实施例是在训练过程中最小化损失函数,调整深度学习网络结构参数,直到深度学习网络可以很好的区分不同种类的表情。
S5、将待测人脸图像输入所述人脸表情识别模型,获得人脸表情识别结果。
本实施例的人脸表情识别方法,通过选择新颖的样本重组方法(即上述步骤S2按照四联子的方式,对人脸检测与对齐处理后的样本数据集进行在线重组,生成四联子训练样本)和基于所述四联子样本而预先设置的损失函数来优化深度学习网络的特征提取过程,使训练好的基于深度学习网络的人脸表情识别模型可以学习同一个人不同表情的变化,能够实现对人脸表情进行快速准确的识别,准确性较高。该训练好的基于深度学习网络的人脸表情识别模型对同一个人的不同表情变化更敏感,更适合在对人脸连续监视环境下使用。
进一步地,在上述方法实施例的基础上,在上述步骤S2按照四联子的方式,对人脸检测与对齐处理后的样本数据集进行在线重组,生成四联子训练样本,包括图中未示出的步骤P1-P9:
P1、在人脸检测与对齐处理后的样本数据集中随机选择一个个体。
P2为本次选择的个体选择一种表情。
P3、在本次选择的表情中选择一张作为锚点anchor的人脸图像
P4、选择一张与相同表情的人脸图像作为anchor的正样本(positive)。
P5、选择第一张与不同表情的人脸图像作为第一个负样本(negtive1)。
P6、选择第二张与不同表情的人脸图像作为第二个负样本(negtive2),和为不同表情。
P7、循环步骤P4-P6,每循环一次生成一个四联子,直至对人脸检测与对齐处理后的样本数据集中本次所选择的个体、表情和锚点所对应的所有人脸图像均被选择过,则返回步骤P3。
可以理解的是,在本步骤中返回步骤P3是为了更换一个新的anchor,即该循环为anchor循环,每次循环更换一个新的anchor,每次所选择作为anchor的人脸图像随机不重复选择。
P8、若本次选择的表情中的所有人脸图像均作为anchor被选择过,则返回步骤P2。
可以理解的是,在本步骤中返回步骤P2是为了更换一个新的表情,即该循环为表情循环,每次循环更换一种表情,每次所选择的表情随机不重复选择。
P9、若本次选择的个体的所有表情均被选择过,则返回步骤P1,直至人脸检测与对齐处理后的样本数据集中的所有个体均被选择过,循环结束。
可以理解的是,在本步骤中返回步骤P1是为了更换一个新的个体,即该循环为个体循环,每次循环更换一个个体,每次所选择的个体随机不重复选择。
进一步地,在上述生成的四联子训练样本的基础上,本实施例预先设置的深度学习网络的损失函数loss可以为:
其中,在同一个个体中,为一个anchor,为与相同表情的人脸图像,是与不同表情的人脸图像,是与都不同表情的人脸图像,α为判定边界,M为生成的四联子训练样本的容量。
可以理解的是,为了让深度学习网络更好的学习到同一张脸不同表情之间的特征差异,并根据特征差异把人脸表情区分开。在将提取的N维特征向量进行L2正则化处理后嵌入到N维欧几里得空间f(x)∈RN后,在该向量空间里希望保证同一种表情的距离近,不同种表情的距离远,相同表情间的距离小于不同表情之间的距离。基于前面所述四联子样本,希望和两个相同表情之间的距离加上判定边界α后小于和两个不同表情之间的距离:
为一个anchor,为和相同表情的图像,是与不同表情的图像,α为判定边界,f(x)表示图像x在欧几里得空间的向量,即表示图像在欧几里得空间的向量,其它可以以此类推。
为了让相同表情的聚集的紧密度更高,不同表情的距离更远,当知道两个图像为不同表情时,会希望这两张图像的距离远一些,因此加入第二个负样本是与都不同表情的图像。希望和的距离尽量大一些:
基于以上推理,本实施例将损失函数loss可设定为:
本实施例的人脸表情识别方法,通过选择新颖的样本重组方法和基于四联子样本而预先设置的损失函数来优化深度学习网络的特征提取过程,使训练好的基于深度学习网络的人脸表情识别模型可以学习同一个人不同表情的变化,能够实现对人脸表情进行快速准确的识别,准确性较高。
图2示出了本发明一实施例提供的一种人脸表情识别装置的结构示意图,如图2所示,本实施例的人脸表情识别装置,包括:处理模块21、样本重组模块22、特征提取模块23、调整模块24和获取模块25;其中:
所述处理模块21,用于对样本数据集进行人脸检测与对齐处理,确定所述样本数据集中每一图像中的人脸位置,剪切出人脸图像,所述样本数据集包括:带标签的不同个体的不同表情的图像;
所述样本重组模块22,用于按照四联子的方式,对人脸检测与对齐处理后的样本数据集进行在线重组,生成四联子训练样本;
所述特征提取模块23,用于利用深度学习网络,对所述四联子样本进行特征提取,将所述四联子样本中的每一图像均提取成一个N维特征向量;
所述调整模块24,用于将提取的N维特征向量进行L2正则化处理后嵌入到N维欧几里得空间,并利用基于所述四联子样本而预先设置的损失函数,计算所述深度学习网络的损失,根据损失函数利用随机梯度下降算法对深度学习网络参数进行调整,返回所述特征提取模块23对调整后的网络再训练,直至所述深度学习网络趋于稳定,获得训练好的基于深度学习网络的人脸表情识别模型;
所述获取模块25,用于将待测人脸图像输入所述人脸表情识别模型,获得人脸表情识别结果。
在具体应用中,所述处理模块21,可具体用于
采用MTCNN算法,对样本数据集进行人脸检测与对齐处理,确定所述样本数据集中每一图像中的人脸位置,剪切出人脸图像。
可以理解的是,所述处理模块21也可以根据实际情况采用其他方法对样本数据集进行人脸检测与对齐处理,确定所述样本数据集中每一图像中的人脸位置,剪切出人脸图像,本实施例并不对其进行限制。
在具体应用中,所述特征提取模块23,可具体用于
利用Inception-restnet-v1深度学习网络,对所述四联子样本进行特征提取,将所述四联子样本中的每一图像均提取成一个N维特征向量。
可以理解的是,所述特征提取模块23也可以根据实际情况利用其他深度学习网络对所述四联子样本进行特征提取,将所述四联子样本中的每一图像均提取成一个N维特征向量,本实施例并不对其进行限制。
在具体应用中,所述样本重组模块22,可具体用于执行上述方法实施例中的步骤P1-P9,此处不再赘述。
进一步地,在所述样本重组模块22所生成的四联子训练样本的基础上,本实施例的深度学习网络的损失函数loss可以预先设置为:
其中,在同一个个体中,为一个anchor,为与相同表情的人脸图像,是与不同表情的人脸图像,是与都不同表情的人脸图像,α为判定边界,M为生成的四联子训练样本的容量。
本实施例的人脸表情识别装置,可以用于执行前述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本实施例的人脸表情识别装置,通过选择新颖的样本重组方法(即按照四联子的方式,对人脸检测与对齐处理后的样本数据集进行在线重组,生成四联子训练样本)和基于所述四联子样本而预先设置的损失函数来优化深度学习网络的特征提取过程,使训练好的基于深度学习网络的人脸表情识别模型可以学习同一个人不同表情的变化,能够实现对人脸表情进行快速准确的识别,准确性较高。该训练好的基于深度学习网络的人脸表情识别模型对同一个人的不同表情变化更敏感,更适合在对人脸连续监视环境下使用。
图3示出了本发明实施例提供的一种电子设备的实体结构示意图,如图3所示,该电子设备可以包括:处理器11、存储器12、总线13及存储在存储器12上并可在处理器11上运行的计算机程序;
其中,所述处理器11,存储器12通过所述总线13完成相互间的通信;
所述处理器11执行所述计算机程序时实现上述各方法实施例所提供的方法,例如包括:S1、对样本数据集进行人脸检测与对齐处理,确定所述样本数据集中每一图像中的人脸位置,剪切出人脸图像,所述样本数据集包括:带标签的不同个体的不同表情的图像;S2、按照四联子的方式,对人脸检测与对齐处理后的样本数据集进行在线重组,生成四联子训练样本;S3、利用深度学习网络,对所述四联子样本进行特征提取,将所述四联子样本中的每一图像均提取成一个N维特征向量;S4、将提取的N维特征向量进行L2正则化处理后嵌入到N维欧几里得空间,并利用基于所述四联子样本而预先设置的损失函数,计算所述深度学习网络的损失,根据损失函数利用随机梯度下降算法对深度学习网络参数进行调整,返回步骤S3对调整后的网络再训练,直至所述深度学习网络趋于稳定,获得训练好的基于深度学习网络的人脸表情识别模型;S5、将待测人脸图像输入所述人脸表情识别模型,获得人脸表情识别结果。
本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例所提供的方法,例如包括:S1、对样本数据集进行人脸检测与对齐处理,确定所述样本数据集中每一图像中的人脸位置,剪切出人脸图像,所述样本数据集包括:带标签的不同个体的不同表情的图像;S2、按照四联子的方式,对人脸检测与对齐处理后的样本数据集进行在线重组,生成四联子训练样本;S3、利用深度学习网络,对所述四联子样本进行特征提取,将所述四联子样本中的每一图像均提取成一个N维特征向量;S4、将提取的N维特征向量进行L2正则化处理后嵌入到N维欧几里得空间,并利用基于所述四联子样本而预先设置的损失函数,计算所述深度学习网络的损失,根据损失函数利用随机梯度下降算法对深度学习网络参数进行调整,返回步骤S3对调整后的网络再训练,直至所述深度学习网络趋于稳定,获得训练好的基于深度学习网络的人脸表情识别模型;S5、将待测人脸图像输入所述人脸表情识别模型,获得人脸表情识别结果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、装置、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置/系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的说明书中,说明了大量具体细节。然而能够理解的是,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。类似地,应当理解,为了精简本发明公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释呈反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面,也不局限于任何单一的实施例,也不局限于这些方面和/或实施例的任意组合和/或置换。而且,可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种人脸表情识别方法,其特征在于,包括:
S1、对样本数据集进行人脸检测与对齐处理,确定所述样本数据集中每一图像中的人脸位置,剪切出人脸图像,所述样本数据集包括:带标签的不同个体的不同表情的图像;
S2、按照四联子的方式,对人脸检测与对齐处理后的样本数据集进行在线重组,生成四联子训练样本;
S3、利用深度学习网络,对所述四联子样本进行特征提取,将所述四联子样本中的每一图像均提取成一个N维特征向量;
S4、将提取的N维特征向量进行L2正则化处理后嵌入到N维欧几里得空间,并利用基于所述四联子样本而预先设置的损失函数,计算所述深度学习网络的损失,根据损失函数利用随机梯度下降算法对深度学习网络参数进行调整,返回步骤S3对调整后的网络再训练,直至所述深度学习网络趋于稳定,获得训练好的基于深度学习网络的人脸表情识别模型;
S5、将待测人脸图像输入所述人脸表情识别模型,获得人脸表情识别结果。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1包括:
采用MTCNN算法,对样本数据集进行人脸检测与对齐处理,确定所述样本数据集中每一图像中的人脸位置,剪切出人脸图像。
3.根据权利要求1所述的方法,其特征在于,所述步骤S2按照四联子的方式,对人脸检测与对齐处理后的样本数据集进行在线重组,生成四联子训练样本,包括:
P1、在人脸检测与对齐处理后的样本数据集中随机选择一个个体;
P2为本次选择的个体选择一种表情;
P3、在本次选择的表情中选择一张作为锚点anchor的人脸图像
P4、选择一张与相同表情的人脸图像作为anchor的正样本;
P5、选择第一张与不同表情的人脸图像作为第一个负样本;
P6、选择第二张与不同表情的人脸图像作为第二个负样本,和为不同表情;
P7、循环步骤P4-P6,每循环一次生成一个四联子,直至对人脸检测与对齐处理后的样本数据集中本次所选择的个体、表情和锚点所对应的所有人脸图像均被选择过,则返回步骤P3;
P8、若本次选择的表情中的所有人脸图像均作为anchor被选择过,则返回步骤P2;
P9、若本次选择的个体的所有表情均被选择过,则返回步骤P1,直至人脸检测与对齐处理后的样本数据集中的所有个体均被选择过,循环结束。
4.根据权利要求1所述的方法,其特征在于,所述步骤S3包括:
利用Inception-restnet-v1深度学习网络,对所述四联子样本进行特征提取,将所述四联子样本中的每一图像均提取成一个N维特征向量。
5.根据权利要求1所述的方法,其特征在于,所述利用基于所述四联子样本而预先设置的损失函数loss为:
其中,在同一个个体中,为一个anchor,为与相同表情的人脸图像,是与不同表情的人脸图像,是与都不同表情的人脸图像,α为判定边界,M为生成的四联子训练样本的容量。
6.一种人脸表情识别装置,其特征在于,包括:
处理模块,用于对样本数据集进行人脸检测与对齐处理,确定所述样本数据集中每一图像中的人脸位置,剪切出人脸图像,所述样本数据集包括:带标签的不同个体的不同表情的图像;
样本重组模块,用于按照四联子的方式,对人脸检测与对齐处理后的样本数据集进行在线重组,生成四联子训练样本;
特征提取模块,用于利用深度学习网络,对所述四联子样本进行特征提取,将所述四联子样本中的每一图像均提取成一个N维特征向量;
调整模块,用于将提取的N维特征向量进行L2正则化处理后嵌入到N维欧几里得空间,并利用基于所述四联子样本而预先设置的损失函数,计算所述深度学习网络的损失,根据损失函数利用随机梯度下降算法对深度学习网络参数进行调整,返回所述特征提取模块对调整后的网络再训练,直至所述深度学习网络趋于稳定,获得训练好的基于深度学习网络的人脸表情识别模型;
获取模块,用于将待测人脸图像输入所述人脸表情识别模型,获得人脸表情识别结果。
7.根据权利要求6所述的系统,其特征在于,所述处理模块,具体用于
采用MTCNN算法,对样本数据集进行人脸检测与对齐处理,确定所述样本数据集中每一图像中的人脸位置,剪切出人脸图像。
8.根据权利要求6所述的系统,其特征在于,所述特征提取模块,具体用于
利用Inception-restnet-v1深度学习网络,对所述四联子样本进行特征提取,将所述四联子样本中的每一图像均提取成一个N维特征向量。
9.一种电子设备,其特征在于,包括:处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序;
其中,所述处理器,存储器通过所述总线完成相互间的通信;
所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711002761.0A CN109697399A (zh) | 2017-10-24 | 2017-10-24 | 一种人脸表情识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711002761.0A CN109697399A (zh) | 2017-10-24 | 2017-10-24 | 一种人脸表情识别方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109697399A true CN109697399A (zh) | 2019-04-30 |
Family
ID=66227932
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711002761.0A Pending CN109697399A (zh) | 2017-10-24 | 2017-10-24 | 一种人脸表情识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109697399A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276252A (zh) * | 2019-05-15 | 2019-09-24 | 北京大学 | 一种基于生成式对抗网络的抗表情干扰的人脸识别方法 |
CN110378237A (zh) * | 2019-06-21 | 2019-10-25 | 浙江工商大学 | 基于深度度量融合网络的面部表情识别方法 |
CN110519509A (zh) * | 2019-08-01 | 2019-11-29 | 幻想动力(上海)文化传播有限公司 | 构图评价方法、摄影方法、装置、电子设备、存储介质 |
CN111738157A (zh) * | 2020-06-23 | 2020-10-02 | 平安科技(深圳)有限公司 | 面部动作单元数据集的构建方法、装置和计算机设备 |
CN112861579A (zh) * | 2019-11-27 | 2021-05-28 | 四川大学 | 三维面部标志自动检测方法 |
CN113057633A (zh) * | 2021-03-26 | 2021-07-02 | 华南理工大学 | 多模态情绪压力识别方法、装置、计算机设备及存储介质 |
CN113221708A (zh) * | 2021-04-30 | 2021-08-06 | 北京科技大学 | 面部运动单元检测模型训练方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679158A (zh) * | 2013-12-31 | 2014-03-26 | 北京天诚盛业科技有限公司 | 人脸认证方法和装置 |
CN104166668A (zh) * | 2014-06-09 | 2014-11-26 | 南京邮电大学 | 基于folfm模型的新闻推荐系统及方法 |
CN105975611A (zh) * | 2016-05-18 | 2016-09-28 | 天津大学 | 自适应组合降采样增强学习机 |
CN106778621A (zh) * | 2016-12-19 | 2017-05-31 | 四川长虹电器股份有限公司 | 人脸表情识别方法 |
CN106778604A (zh) * | 2015-12-15 | 2017-05-31 | 西安电子科技大学 | 基于匹配卷积神经网络的行人再识别方法 |
CN106980811A (zh) * | 2016-10-21 | 2017-07-25 | 商汤集团有限公司 | 人脸表情识别方法和人脸表情识别装置 |
-
2017
- 2017-10-24 CN CN201711002761.0A patent/CN109697399A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679158A (zh) * | 2013-12-31 | 2014-03-26 | 北京天诚盛业科技有限公司 | 人脸认证方法和装置 |
CN104166668A (zh) * | 2014-06-09 | 2014-11-26 | 南京邮电大学 | 基于folfm模型的新闻推荐系统及方法 |
CN106778604A (zh) * | 2015-12-15 | 2017-05-31 | 西安电子科技大学 | 基于匹配卷积神经网络的行人再识别方法 |
CN105975611A (zh) * | 2016-05-18 | 2016-09-28 | 天津大学 | 自适应组合降采样增强学习机 |
CN106980811A (zh) * | 2016-10-21 | 2017-07-25 | 商汤集团有限公司 | 人脸表情识别方法和人脸表情识别装置 |
CN106778621A (zh) * | 2016-12-19 | 2017-05-31 | 四川长虹电器股份有限公司 | 人脸表情识别方法 |
Non-Patent Citations (1)
Title |
---|
董胜等: "基于人脸区域特征相关性的视频流人脸识别研究", 《智能计算机与应用》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276252B (zh) * | 2019-05-15 | 2021-07-30 | 北京大学 | 一种基于生成式对抗网络的抗表情干扰的人脸识别方法 |
CN110276252A (zh) * | 2019-05-15 | 2019-09-24 | 北京大学 | 一种基于生成式对抗网络的抗表情干扰的人脸识别方法 |
CN110378237A (zh) * | 2019-06-21 | 2019-10-25 | 浙江工商大学 | 基于深度度量融合网络的面部表情识别方法 |
CN110519509A (zh) * | 2019-08-01 | 2019-11-29 | 幻想动力(上海)文化传播有限公司 | 构图评价方法、摄影方法、装置、电子设备、存储介质 |
CN112861579B (zh) * | 2019-11-27 | 2022-10-18 | 四川大学 | 三维面部标志自动检测方法 |
CN112861579A (zh) * | 2019-11-27 | 2021-05-28 | 四川大学 | 三维面部标志自动检测方法 |
WO2021259012A1 (zh) * | 2020-06-23 | 2021-12-30 | 平安科技(深圳)有限公司 | 面部动作单元数据集的构建方法、装置和计算机设备 |
CN111738157A (zh) * | 2020-06-23 | 2020-10-02 | 平安科技(深圳)有限公司 | 面部动作单元数据集的构建方法、装置和计算机设备 |
CN111738157B (zh) * | 2020-06-23 | 2023-07-21 | 平安科技(深圳)有限公司 | 面部动作单元数据集的构建方法、装置和计算机设备 |
CN113057633A (zh) * | 2021-03-26 | 2021-07-02 | 华南理工大学 | 多模态情绪压力识别方法、装置、计算机设备及存储介质 |
CN113057633B (zh) * | 2021-03-26 | 2022-11-01 | 华南理工大学 | 多模态情绪压力识别方法、装置、计算机设备及存储介质 |
CN113221708A (zh) * | 2021-04-30 | 2021-08-06 | 北京科技大学 | 面部运动单元检测模型训练方法及装置 |
CN113221708B (zh) * | 2021-04-30 | 2023-11-10 | 北京科技大学 | 面部运动单元检测模型训练方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109697399A (zh) | 一种人脸表情识别方法及装置 | |
CN108229555B (zh) | 样本权重分配方法、模型训练方法、电子设备及存储介质 | |
CN105912990B (zh) | 人脸检测的方法及装置 | |
CN109559300A (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
KR102252439B1 (ko) | 이미지에서 오브젝트 검출 및 표현 | |
CN106407958B (zh) | 基于双层级联的面部特征检测方法 | |
CN107358149A (zh) | 一种人体姿态检测方法和装置 | |
CN111553326B (zh) | 手部动作识别方法、装置、电子设备及存储介质 | |
CN110889446A (zh) | 人脸图像识别模型训练及人脸图像识别方法和装置 | |
CN110363077A (zh) | 手语识别方法、装置、计算机装置及存储介质 | |
CN106687989A (zh) | 使用标志子集内的线性关系进行面部表情识别的方法和系统 | |
Wang et al. | Sequential weakly labeled multiactivity localization and recognition on wearable sensors using recurrent attention networks | |
CN104899579A (zh) | 人脸识别方法和装置 | |
CN107004116B (zh) | 用于预测脸部属性的方法和设备 | |
Ruiz-Garcia et al. | Deep learning for emotion recognition in faces | |
CN110210194A (zh) | 电子合同显示方法、装置、电子设备及存储介质 | |
CN112418302A (zh) | 一种任务预测方法及装置 | |
Cvetkovic et al. | Semi-supervised learning for adaptation of human activity recognition classifier to the user | |
CN108717520A (zh) | 一种行人重识别方法及装置 | |
Bennet et al. | Modeling of upper limb and prediction of various yoga postures using artificial neural networks | |
Zhang et al. | Application of gesture recognition based on simulated annealing bp neural network | |
CN114611692A (zh) | 模型训练方法、电子设备以及存储介质 | |
Hernández et al. | Object-based probabilistic place recognition for indoor human environments | |
GB2546368B (en) | Modelling semantic concepts in an embedding space as distributions | |
CN113824989B (zh) | 一种视频处理方法、装置和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190430 |
|
RJ01 | Rejection of invention patent application after publication |