CN105608447B - 对人体面部微笑表情深度卷积神经网络的检测方法 - Google Patents

对人体面部微笑表情深度卷积神经网络的检测方法 Download PDF

Info

Publication number
CN105608447B
CN105608447B CN201610089191.2A CN201610089191A CN105608447B CN 105608447 B CN105608447 B CN 105608447B CN 201610089191 A CN201610089191 A CN 201610089191A CN 105608447 B CN105608447 B CN 105608447B
Authority
CN
China
Prior art keywords
mouth
convolutional neural
neural networks
image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610089191.2A
Other languages
English (en)
Other versions
CN105608447A (zh
Inventor
马苗
朱青青
郑雪
孙莉
裴炤
郭敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Siyuan Integrated Circuit And Intelligent Technology Research Institute Co ltd
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN201610089191.2A priority Critical patent/CN105608447B/zh
Publication of CN105608447A publication Critical patent/CN105608447A/zh
Application granted granted Critical
Publication of CN105608447B publication Critical patent/CN105608447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种对人体面部微笑表情深度卷积神经网络的检测方法，由训练步骤和测试步骤组成。训练步骤为：对训练样本图像进行预处理、训练卷积神经网、训练支持向量机分类器步骤；测试步骤为：对测试样本图像进行预处理，用预处理后的测试样本输入到卷积神经网络中提取测试样本的多尺度特征，将多尺度特征输入到支持向量机分类器中，得到检测结果，即是否微笑。本发明从大量样本图像中自动地提取微笑特征，避免了人工设计特征的复杂性和片面性，再利用支持向量机分类器进行微笑检测，提高了检测的准确率，可用于新产品用户体验评价、服务人员微笑服务评价、相机微笑快门控制及照片选择等。

Description

对人体面部微笑表情深度卷积神经网络的检测方法
技术领域
本发明属于图像处理及模式识别的技术领域，具体地涉及一种对人体面部微笑表情深度卷积神经网络的检测方法。
背景技术
作为人类情感表达的重要方式之一，微笑常常代表着人们快乐、欢喜、满意等情绪。人们能够一眼看出其他人的快乐心情，如果计算机也能自动解读人的情绪，计算机将会为人类提供更全面的服务。近年来，微笑自动检测技术逐渐得到研究人员和服务行业的关注，并渗透于人们日常生活的各个技术领域。例如，2013年，巴塞罗那一家喜剧俱乐部Teatreneu利用平板电脑通过识别人脸表情实行“按微笑收费”，这种创新实效的举措赢得了用户的青睐，并使得俱乐部的收入飙涨。再如，2007年，在索尼公司的SONYT200数码相机中，提供了由索尼和欧姆龙公司合作开发出来“微笑快门”用来捕捉刹那间笑容。此后，索尼爱立信将该功能引入到Cyber-shot系列手机W61S。但是，一般来说“微笑快门”灵敏度尚不理想。
目前，人们对微笑表情识别方法开始考虑遮挡和噪声的影响，比如身份、年龄、性别、姿态、光照、遮挡、拍摄环境、图像质量等因素。由于面部微笑表情易受多种客观因素影响，使得微笑表情特征复杂多变，难以人为的设计特征，因此，微笑表情识别成为一项具有挑战性的研究课题。
现有人脸表情识别多是对人脸正面成像的图像进行分析，用一种或多种特征融合的方法识别人脸表情，因此特征提取和选择算法不可避免的损失了部分信息，且易受人脸角度姿态、尺度变化和噪声干扰。
发明内容
本发明所要解决的技术问题在于克服现有技术的缺点，提供一种设计特征简单、全面、检测准确率高、检测速度快的对人体面部微笑表情深度卷积神经网络的检测方法。
解决上述技术问题所采用的技术方案它是由训练步骤和测试步骤组成，本发明的训练步骤为：
(1)对训练样本图像进行预处理
包括图像灰度化、嘴巴子图定位、大小归一化以及亮度调节步骤；
图像灰度化：用(1)式对被训练的样本图像进行灰度化处理，将彩色图像转为灰度图像：
I＝Wr×R+Wg×G+Wb×B (1)
式中I为灰度化后的亮度，R为彩色图像的红色分量，G为彩色图像的绿色分量，B为彩色图像的蓝色分量，Wr为彩色图像的红色分量的权重，Wg为彩色图像的绿色分量的权重，Wb为彩色图像的蓝色分量的权重。
嘴巴子图定位：用五个关键点横坐标的平均值作为中心点的横坐标x，用五个关键点纵坐标的平均值作为中心点的纵坐标y，用欧式距离或曼哈顿距离或棋盘距离计算五个关键点到中心点的距离；计算上述五个距离的最大距离D或平均距离D或最小距离D，以((x-(0.75～0.77)D),y)为左上角，裁剪成宽为(1.5～1.58)D、高为(1.7～1.78)D的矩形，得到嘴巴子图。
嘴巴子图大小归一化：将上述嘴巴子图用双三次插值法或B样条插值法或三次样条插值法或等距插值法或四次样条插值法或拉格朗日插值法，归一化为32×32嘴巴子图，像素总个数为322。
对嘴巴子图进行亮度调节：采用自适应亮度调节法或分段线性拉伸法或直方图均衡化算法，获得亮度调节后的嘴巴子图。
自适应亮度调节法，用(4)式计算32×32嘴巴子图的直方图h(x)累加和与像素总个数的比值cdf(x)：
式中x∈[0,255]，在cdf(x)中寻找第一个大于0.01的索引值ilow和第一个大于0.99的索引值ihigh。
用(5)式得到亮度范围[low,high]：
low＝(ilow-1)/255,high＝(ihigh-1)/255 (5)
用(6)式计算调节后的亮度值J
J＝(tmp-low)/(high-low) (6)
式中tmp＝max(low,min(high,I))，I为灰度化后的亮度，得到32×32标准嘴巴图像。
(2)训练卷积神经网络
将训练样本预处理后得到的32×32标准嘴巴图像输入卷积神经网络，经前向传播和反向传播两个步骤反复循环至达到设定的最大迭代次数，得到卷积神经网络和训练样本的多尺度特征。
(3)训练支持向量机分类器
把多尺度特征输入支持向量机，支持向量机根据多尺度特征寻找最优分类超平面，得到支持向量机分类器，该分类器的输出是1或0，1为微笑，0为不微笑。
本发明的测试步骤为：
(1)对测试样本图像进行预处理
测试样本图像的预处理与对训练样本图像进行预处理步骤(1)相同。
(2)用预处理后的测试样本输入到卷积神经网络中，提取测试样本的多尺度特征。
(3)将多尺度特征输入到支持向量机分类器中，得到检测结果，即是否微笑。
本发明的卷积神经网络的结构为：输入层是32×32的标准嘴巴图像；C1层是第一个卷积层，有10个28×28的特征图，每个特征图中的1个像素点与输入层的1个5×5区域相连接，共(5×5+1)×10＝260个训练参数；S2层是下2采样层，有10个14×14特征图，每个特征图中的1个像素点与C1层相应特征图的1个2×2区域相连接，共1×10个偏置参数；C3层是第二个卷积层，有12个10×10的特征图，每个特征图中的1个像素点与S2层相应的1个5×5区域相连接，共(5×5+1)×10×12＝3120个参数；S4层为第二个下2采样层，有12个5×5的特征图，共1×12个偏置参数；F5层是S4中12个5×5的特征图以列序为主序依次排列生成的1个300维的多尺度特征；输出层由2个结点1和0组成，F5层与输出层之间全连接，共300×2＝600个参数；该深度卷积神经网络共260+10+3120+12+600＝4002个参数，通过前向传播和反向传播反复循环至达到设定的最大迭代次数，确定网络参数。
本发明的支持向量机为：支持向量机的核函数选择径向基函数，其参数gamma＝0.05，支持向量机的输入是从卷积神经网络得到的多尺度特征，输出是1或0，1为微笑，0为不微笑。
本发明的多尺度特征的生成过程为：将32×32的标准嘴巴图像输入到卷积神经网络的输入层中，经C1层、S2层、C3层和S4层的2次卷积和下2采样，得到12个5×5的特征图，以列序为主序依次排列生成的1个300维的多尺度特征。
本发明针对真实场景下拍摄的不同姿态、光照和胡须等干扰的人脸图像，采用卷积神经网络的自动学习能力，从大量样本图像中自动地提取微笑特征，避免了人工设计特征的复杂性和片面性，再利用支持向量机分类器进行微笑检测，提高了检测的准确率，可用于新产品用户体验评价、服务人员微笑服务评价、相机微笑快门控制及照片选择等。
附图说明
图1是本发明实施例1对人体面部微笑表情深度卷积神经网络的检测方法流程图。
图2是图1中测试步骤的流程图。
图3是经过预处理后部分32×32的标准嘴巴图像。
图4是深度卷积神经网络的结构图。
图5是非正面成像的测试样本人体面部微笑表情的检测结果图。
图6是人体面部有胡须的测试样本微笑表情的检测结果图。
具体实施方式
下面结合具体附图和实例对本发明进行进一步的说明，但本发明不限于下述实例。
实施例1
本实施例的人脸图像来自多任务人脸标注(the Multi-Task Facial Landmark，MTFL)数据库，该库包括12995幅人脸图像，其中10000幅图像为训练样本，2995幅图像为测试样本。
本实施例微笑表情深度卷积神经网络的检测方法由训练步骤和测试步骤组成，训练步骤如下：
1、对10000幅训练样本图像进行预处理
包括图像灰度化、嘴巴子图定位、大小归一化以及亮度调节步骤；
10000幅图像灰度化：用(1)式对被训练的样本图像进行灰度化处理，将彩色图像转为灰度图像：
I＝0.2989×R+0.5870×G+0.1140×B (1)
式中I为灰度化后的亮度，R为彩色图像的红色分量，G为彩色图像的绿色分量，B为彩色图像的蓝色分量。
10000幅嘴巴子图定位：用五个关键点横坐标的平均值作为中心点的横坐标x，用五个关键点纵坐标的平均值作为中心点的纵坐标y，用(2)式计算五个关键点到中心点的欧式距离：
di＝((xi-x)2+(yi-y)2)0.5 (2)
式中i＝1,2,3,4,5，分别为左眼、右眼、左嘴角、右嘴角和鼻子五个关键点，di分别为五个关键点到中心点的欧式距离，xi分别为五个关键点的横坐标，yi分别为五个关键点的纵坐标。用(3)式计算上述五个距离的最大距离：
D＝max(d1，d2，d3，d4，d5) (3)
以((x-0.75D),y)为左上角，裁剪成宽为1.5D、高为1.7D的矩形，得到嘴巴子图。
10000幅嘴巴子图大小归一化：将上述嘴巴子图用双三次插值法归一化为32×32的图像，像素总个数为322。
对10000幅嘴巴子图进行亮度调节：采用自适应亮度调节法，用(4)式计算32×32嘴巴子图的直方图h(x)累加和与像素总个数的比值cdf(x)：
式中x∈[0,255]，在cdf(x)中寻找第一个大于0.01的索引值ilow和第一个大于0.99的索引值ihigh。
用(5)式得到亮度范围[low,high]：
low＝(ilow-1)/255,high＝(ihigh-1)/255 (5)
用(6)式计算调节后的亮度值J
J＝(tmp-low)/(high-low) (6)
式中tmp＝max(low,min(high,I)),I为灰度化后的亮度，得到10000幅32×32标准嘴巴图像。
2、训练卷积神经网络
训练卷积神经网络的参数设定为：10000幅训练样本分批训练，每批图像50幅，学习步长设为0.8，最大迭代次数为200。
将10000幅训练样本预处理后得到的10000幅32×32标准嘴巴图像输入卷积神经网络，经前向传播和反向传播两个步骤反复循环至达到设定的最大迭代次数，得到卷积神经网络和10000幅训练样本的多尺度特征，多尺度特征的生成过程按照卷积神经网络进行具体设计。
本实施例的卷积神经网络的结构为：输入层是10000幅32×32的标准嘴巴图像；C1层是第一个卷积层，有10个28×28的特征图，每个特征图中的1个像素点与输入层的1个5×5区域相连接，共(5×5+1)×10＝260个训练参数；S2层是下2采样层，有10个14×14特征图，每个特征图中的1个像素点与C1层相应特征图的1个2×2区域相连接，共1×10个偏置参数；C3层是第二个卷积层，有12个10×10的特征图，每个特征图中的1个像素点与S2层相应的1个5×5区域相连接，共(5×5+1)×10×12＝3120个参数；S4层为第二个下2采样层，有12个5×5的特征图，共1×12个偏置参数；F5层是S4中12个5×5的特征图以列序为主序依次排列生成的1个300维的多尺度特征。输出层由2个结点1和0组成，F5层与输出层之间全连接，共300×2＝600个参数；该深度卷积神经网络共260+10+3120+12+600＝4002个参数，通过前向传播和反向传播反复循环至达到设定的最大迭代次数，确定网络参数。这种网络结构一方面保存了更多的表情细节，另一方面降低了网络的复杂度，减少了运算量。
本实施例的多尺度特征的生成过程为：将32×32的标准嘴巴图像输入到卷积神经网络的输入层中，经C1层、S2层、C3层和S4层的2次卷积和下2采样，得到12个5×5的特征图，以列序为主序依次排列生成的1个300维的多尺度特征。这种通过卷积神经网络自动提取的特征避免了人为选择特征的片面性和复杂性。
3、训练支持向量机分类器
支持向量机的核函数选择径向基函数，其参数gamma＝0.05。
把10000幅训练样本的多尺度特征输入支持向量机，支持向量机根据多尺度特征寻找最优分类超平面，得到支持向量机分类器，该分类器的输出是1或0，1为微笑，0为不微笑；10000幅样本图像的多尺度特征训练支持向量机的时间为30秒。
测试步骤如下：
1、对测试样本图像进行预处理
2995幅测试样本图像的预处理与10000幅训练样本图像的预处理步骤相同。
2、用预处理后的2995幅测试样本输入到卷积神经网络中，提取2995幅测试样本的多尺度特征；
从每个测试样本的C1层得到10个28×28的特征图，S2层得到10个14×14的特征图，C3层得到12个10×10的特征图，S4层得到12个5×5的特征图，F5层得到1个300维的多尺度特征。对2995幅样本图像特征提取时间为20秒。
3、将2995幅测试样本图像的多尺度特征输入到支持向量机分类器中，得到检测结果，即是否微笑。2995幅测试样本图像的平均分类时间为2.3毫秒/每幅。
本实施例中，从2995幅测试样本图像中选2幅测试样本图像结果，见图5、图6，图5是非正面成像的测试样本人体面部微笑表情的检测结果，支持向量机分类器的输出为1，人体面部呈现微笑表情。图6是人体面部有胡须的测试样本微笑表情的检测结果，支持向量机分类器的输出为0，人体面部呈现非微笑表情。
实施例2
本实施例的人脸图像来自多任务人脸标注(the Multi-Task Facial Landmark，MTFL)数据库。该库包括12995幅人脸图像，其中10000幅图像为训练样本，2995幅图像为测试样本。
本实施例微笑表情深度卷积神经网络的检测方法由训练步骤和测试步骤组成，训练步骤如下：
1、对10000幅训练样本图像进行预处理
包括图像灰度化、嘴巴子图定位、大小归一化以及亮度调节步骤；
10000幅图像灰度化：用(7)式对被训练的样本图像进行灰度化处理，将彩色图像转为10000幅灰度图像：
I＝(R+G+B)/3 (7)
式中I为灰度化后的亮度，R为彩色图像的红色分量，G为彩色图像的绿色分量，B为彩色图像的蓝色分量。
10000幅嘴巴子图定位：用五个关键点横坐标的平均值作为中心点的横坐标x，用五个关键点纵坐标的平均值作为中心点的纵坐标y，用(8)式计算五个关键点到中心点的曼哈顿距离：
di＝|xi-x|+|yi-y| (8)
式中i＝1,2,3,4,5，分别为左眼、右眼、左嘴角、右嘴角和鼻子五个关键点，di分别为五个关键点到中心点的曼哈顿距离，xi分别为五个关键点的横坐标，yi分别为五个关键点的纵坐标。
用(9)式计算上述五个距离的平均距离：
D＝(d1+d2+d3+d4+d5)/5 (9)
以((x-0.76D),y)为左上角，裁剪成宽为1.54D、高为1.74D的矩形，得到10000幅嘴巴子图。
10000幅嘴巴子图大小归一化：将上述嘴巴子图用B样条插值法，归一化为32×32的图像，像素总个数为322。也可用三次样条插值法，也可用等距插值法，也可用四次样条插值法，还可用拉格朗日插值法等，得到归一化为32×32的图像，像素总个数为322。
对10000幅嘴巴子图进行亮度调节：采用分段线性拉伸法对10000幅嘴巴子图进行亮度调节，还可以用直方图均衡化算法对10000幅嘴巴子图进行亮度调节，得到10000幅32×32标准嘴巴图像。
2、训练卷积神经网络
训练卷积神经网络的参数设定为：10000幅训练样本分批训练，每批图像100幅，学习步长设为0.5，最大迭代次数为100。
将10000幅训练样本预处理后得到的10000幅32×32标准嘴巴图像输入卷积神经网络，经前向传播和反向传播两个步骤反复循环至达到设定的最大迭代次数，得到卷积神经网络和训练样本的多尺度特征，多尺度特征的生成过程按照卷积神经网络进行具体设计。
本实施例的卷积神经网络的结构与实施例1相同，多尺度特征的生成过程与实施例1相同，得到10000个300维的多尺度特征。这种通过卷积神经网络自动提取的特征避免了人为选择特征的片面性和复杂性。
3、训练支持向量机分类器
训练支持向量机分类器步骤与实施例1相同。
本实施例的测试步骤与实施例1相同。
实施例3
本实施例的人脸图像来自多任务人脸标注(the Multi-Task Facial Landmark，MTFL)数据库。该库包括12995幅人脸图像，其中10000幅图像为训练样本，2995幅图像为测试样本。
本实施例微笑表情深度卷积神经网络的检测方法由训练步骤和测试步骤组成，训练步骤如下：
1、对10000幅训练样本图像进行预处理
包括图像灰度化、嘴巴子图定位、大小归一化以及亮度调节步骤。
10000幅图像灰度化：该步骤与实施例1相同，得到10000幅灰度图像。
10000幅嘴巴子图定位：用五个关键点横坐标的平均值作为中心点的横坐标x，用五个关键点纵坐标的平均值作为中心点的纵坐标y，用(10)式计算五个关键点到中心点的棋盘距离：
di＝max(|xi-x|，|yi-y|) (10)
式中i＝1,2,3,4,5，分别为左眼、右眼、左嘴角、右嘴角和鼻子五个关键点，di分别为五个关键点到中心点的棋盘距离，xi分别为五个关键点的横坐标，yi分别为五个关键点的纵坐标。
用(11)式计算上述五个距离的最小距离：
D＝min(d1，d2，d3，d4，d5) (11)
以((x-0.77D),y)为左上角，裁剪成宽为1.58D、高为1.78D的矩形，得到10000幅嘴巴子图。
10000幅嘴巴子图大小归一化、对10000幅嘴巴子图进行亮度调节步骤与实施例1相同，得到10000幅32×32标准嘴巴图像。
2、训练卷积神经网络
训练卷积神经网络的参数设定为：10000幅训练样本分批训练，每批图像150幅，学习步长设为1.0，最大迭代次数为300。
将10000幅训练样本预处理后得到的10000幅32×32标准嘴巴图像输入卷积神经网络，经前向传播和反向传播两个步骤反复循环至达到设定的最大迭代次数，得到卷积神经网络和10000幅训练样本的多尺度特征，多尺度特征的生成过程按照卷积神经网络进行具体设计。
本实施例的卷积神经网络的结构与实施例1相同，多尺度特征的生成过程与实施例1相同，得到10000个300维的多尺度特征。这种通过卷积神经网络自动提取的特征避免了人为选择特征的片面性和复杂性。
3、训练支持向量机分类器
训练支持向量机分类器步骤与实施例1相同。
本实施例的测试步骤与实施例1相同。

Claims (3)

1.一种对人体面部微笑表情深度卷积神经网络的检测方法，它是由训练步骤和测试步骤组成，所述的训练步骤为：
(1)对训练样本图像进行预处理
包括图像灰度化、嘴巴子图定位、大小归一化以及亮度调节步骤；
图像灰度化：用(1)式对被训练的样本图像进行灰度化处理，将彩色图像转为灰度图像：
I＝Wr×R+Wg×G+Wb×B (1)
式中I为灰度化后的亮度，R为彩色图像的红色分量，G为彩色图像的绿色分量，B为彩色图像的蓝色分量，Wr为彩色图像的红色分量的权重，Wg为彩色图像的绿色分量的权重，Wb为彩色图像的蓝色分量的权重；
嘴巴子图定位：用左眼、右眼、左嘴角、右嘴角、鼻子五个关键点横坐标的平均值作为中心点的横坐标x，用左眼、右眼、左嘴角、右嘴角、鼻子五个关键点纵坐标的平均值作为中心点的纵坐标y，用欧式距离或曼哈顿距离或棋盘距离计算五个关键点到中心点的距离；计算上述五个距离的最大距离D或平均距离D或最小距离D，以((x-(0.75～0.77)D),y)为左上角，裁剪成宽为(1.5～1.58)D、高为(1.7～1.78)D的矩形，得到嘴巴子图；
嘴巴子图大小归一化：将上述嘴巴子图用双三次插值法或B样条插值法或三次样条插值法或等距插值法或四次样条插值法或拉格朗日插值法，归一化为32×32嘴巴子图，像素总个数为322；
对嘴巴子图进行亮度调节：采用自适应亮度调节法或分段线性拉伸法或直方图均衡化算法，获得亮度调节后的嘴巴子图；
自适应亮度调节法，用(4)式计算32×32嘴巴子图的直方图h(x)累加和与像素总个数的比值cdf(x)：
式中x∈[0,255]，在cdf(x)中寻找第一个大于0.01的索引值ilow和第一个大于0.99的索引值ihigh；
用(5)式得到亮度范围[low,high]：
low＝(ilow-1)/255,high＝(ihigh-1)/255 (5)
用(6)式计算调节后的亮度值J
J＝(tmp-low)/(high-low) (6)
式中tmp＝max(low,min(high,I))，I为灰度化后的亮度，得到32×32标准嘴巴图像；
(2)训练卷积神经网络
将训练样本预处理后得到的32×32标准嘴巴图像输入卷积神经网络，经前向传播和反向传播两个步骤反复循环至达到设定的最大迭代次数，得到卷积神经网络和训练样本的多尺度特征，所述的卷积神经网络的结构为：输入层是32×32的标准嘴巴图像；C1层是第一个卷积层，有10个28×28的特征图，每个特征图中的1个像素点与输入层的1个5×5区域相连接，共(5×5+1)×10＝260个训练参数；S2层是下2采样层，有10个14×14特征图，每个特征图中的1个像素点与C1层相应特征图的1个2×2区域相连接，共1×10个偏置参数；C3层是第二个卷积层，有12个10×10的特征图，每个特征图中的1个像素点与S2层相应的1个5×5区域相连接，共(5×5+1)×10×12＝3120个参数；S4层为第二个下2采样层，有12个5×5的特征图，共1×12个偏置参数；F5层是S4中12个5×5的特征图以列序为主序依次排列生成的1个300维的多尺度特征；输出层由2个结点1和0组成，F5层与输出层之间全连接，共300×2＝600个参数；该深度卷积神经网络共260+10+3120+12+600＝4002个参数，通过前向传播和反向传播反复循环至达到设定的最大迭代次数，确定网络参数；
(3)训练支持向量机分类器
把多尺度特征输入支持向量机，支持向量机根据多尺度特征寻找最优分类超平面，得到支持向量机分类器，该分类器的输出是1或0，1为微笑，0为不微笑；
所述的测试步骤为：
(1)对测试样本图像进行预处理
测试样本图像的预处理与对训练样本图像进行预处理步骤(1)相同；
(2)用预处理后的测试样本输入到卷积神经网络中，提取测试样本的多尺度特征；
(3)将多尺度特征输入到支持向量机分类器中，得到检测结果，即是否微笑。
2.根据权利要求1所述的对人体面部微笑表情深度卷积神经网络的检测方法，其特征在于所述的支持向量机为：支持向量机的核函数选择径向基函数，其参数gamma＝0.05，支持向量机的输入是从卷积神经网络得到的多尺度特征，输出是1或0，1为微笑，0为不微笑。
3.根据权利要求1所述的对人体面部微笑表情深度卷积神经网络的检测方法，其特征在于所述的多尺度特征的生成过程为：将32×32的标准嘴巴图像输入到卷积神经网络的输入层中，经C1层、S2层、C3层和S4层的2次卷积和下2采样，得到12个5×5的特征图，以列序为主序依次排列生成的1个300维的多尺度特征。
CN201610089191.2A 2016-02-17 2016-02-17 对人体面部微笑表情深度卷积神经网络的检测方法 Active CN105608447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610089191.2A CN105608447B (zh) 2016-02-17 2016-02-17 对人体面部微笑表情深度卷积神经网络的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610089191.2A CN105608447B (zh) 2016-02-17 2016-02-17 对人体面部微笑表情深度卷积神经网络的检测方法

Publications (2)

Publication Number Publication Date
CN105608447A CN105608447A (zh) 2016-05-25
CN105608447B true CN105608447B (zh) 2018-12-07

Family

ID=55988373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610089191.2A Active CN105608447B (zh) 2016-02-17 2016-02-17 对人体面部微笑表情深度卷积神经网络的检测方法

Country Status (1)

Country Link
CN (1) CN105608447B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127139B (zh) * 2016-06-21 2019-06-25 东北大学 一种mooc课程中学生面部表情的动态识别方法
CN107871098B (zh) * 2016-09-23 2021-04-13 北京眼神科技有限公司 人脸特征点的获取方法和装置
JP6842624B2 (ja) 2017-05-10 2021-03-17 日本電気株式会社 解析装置、解析方法、およびプログラム
EP3467712B1 (en) 2017-10-06 2023-04-26 Sensing Feeling Limited Methods and systems for processing image data
CN107798318A (zh) * 2017-12-05 2018-03-13 四川文理学院 一种机器人识别面部快乐微表情的方法及其装置
CN108197602B (zh) * 2018-01-30 2020-05-19 厦门美图之家科技有限公司 一种卷积神经网络生成方法及表情识别方法
CN110766502B (zh) * 2018-07-27 2024-06-18 北京京东尚科信息技术有限公司 商品评价方法和系统
CN109409424B (zh) * 2018-10-16 2021-09-17 广东工业大学 一种外观缺陷检测模型建模方法和装置
CN109871751A (zh) * 2019-01-04 2019-06-11 平安科技（深圳）有限公司 基于人脸表情识别的服务态度评估方法、装置及存储介质
CN109872183A (zh) * 2019-01-16 2019-06-11 深圳壹账通智能科技有限公司 智能服务评价方法、计算机可读存储介质和终端设备
CN109920514A (zh) * 2019-03-11 2019-06-21 重庆科技学院 一种基于卡尔曼滤波神经网络的自闭症拥抱机体验评价方法及系统
CN110895796B (zh) * 2019-03-19 2020-12-01 读书郎教育科技有限公司 移动终端功耗管理方法
CN110188673B (zh) * 2019-05-29 2021-07-30 京东方科技集团股份有限公司 表情识别方法和装置
CN110895685A (zh) * 2019-11-25 2020-03-20 创新奇智(上海)科技有限公司 基于深度学习的微笑服务质量评价系统及评价方法
CN113315904B (zh) * 2020-02-26 2023-09-26 北京小米移动软件有限公司 拍摄方法、拍摄装置及存储介质
CN111458688B (zh) * 2020-03-13 2024-01-23 西安电子科技大学 一种基于三维卷积网络的雷达高分辨距离像目标识别方法
CN114170540B (zh) * 2020-08-21 2023-06-13 四川大学 一种融合表情和姿态的个体情绪识别方法
CN113069080B (zh) * 2021-03-22 2021-12-21 上海交通大学医学院附属第九人民医院 一种基于人工智能的困难气道评估方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832183A (en) * 1993-03-11 1998-11-03 Kabushiki Kaisha Toshiba Information recognition system and control system using same
US7062073B1 (en) * 1999-01-19 2006-06-13 Tumey David M Animated toy utilizing artificial intelligence and facial image recognition
CN102314592A (zh) * 2010-06-30 2012-01-11 北京中星微电子有限公司 一种笑脸图像的识别方法和识别装置
CN102314611A (zh) * 2010-06-30 2012-01-11 北京中星微电子有限公司 一种笑脸图像的识别方法和识别装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832183A (en) * 1993-03-11 1998-11-03 Kabushiki Kaisha Toshiba Information recognition system and control system using same
US7062073B1 (en) * 1999-01-19 2006-06-13 Tumey David M Animated toy utilizing artificial intelligence and facial image recognition
CN102314592A (zh) * 2010-06-30 2012-01-11 北京中星微电子有限公司 一种笑脸图像的识别方法和识别装置
CN102314611A (zh) * 2010-06-30 2012-01-11 北京中星微电子有限公司 一种笑脸图像的识别方法和识别装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Deep Convolutional Neural Networks for Smile Recognition";Patrick O. Glauner;《Imperial College London Department of Computing》;20150930;全文 *
"笑脸表情分类识别的研究";陈俊;《中国博士学位论文全文数据库 信息科技辑》;20111215(第2011年12期);I138-36 *

Also Published As

Publication number Publication date
CN105608447A (zh) 2016-05-25

Similar Documents

Publication Publication Date Title
CN105608447B (zh) 对人体面部微笑表情深度卷积神经网络的检测方法
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
WO2019128508A1 (zh) 图像处理方法、装置、存储介质及电子设备
JP2023036784A (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
CN108717524B (zh) 一种基于双摄手机和人工智能系统的手势识别系统
JP7386545B2 (ja) 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置
CN108229369A (zh) 图像拍摄方法、装置、存储介质及电子设备
CN114514562A (zh) 预测性个性化三维身体模型
WO2021114814A1 (zh) 人体属性识别方法、装置、电子设备以及存储介质
US20200104568A1 (en) Method and Device for Face Image Processing, Storage Medium, and Electronic Device
CN110188641A (zh) 图像识别和神经网络模型的训练方法、装置和系统
CN107316029B (zh) 一种活体验证方法及设备
US20110292051A1 (en) Automatic Avatar Creation
CN107771336A (zh) 基于颜色分布的图像中的特征检测和掩模
CN109670430A (zh) 一种基于深度学习的多分类器融合的人脸活体识别方法
CN106204435A (zh) 图像处理方法及装置
CN103945104B (zh) 信息处理方法及电子设备
CN109214327A (zh) 一种基于pso的反人脸识别方法
CN111008971B (zh) 一种合影图像的美学质量评价方法及实时拍摄指导系统
CN107545536A (zh) 一种智能终端的图像处理方法及图像处理系统
CN104915684B (zh) 一种基于鲁棒多平面支持向量机的图像识别方法及装置
CN111222433B (zh) 自动人脸稽核方法、系统、设备及可读存储介质
CN109325408A (zh) 一种手势判断方法及存储介质
CN108810406A (zh) 人像光效处理方法、装置、终端及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220809

Address after: 213164 5th floor, Jiangnan modern industry research institute, Wujin science and Education City, Changzhou City, Jiangsu Province

Patentee after: Jiangsu Siyuan integrated circuit and Intelligent Technology Research Institute Co.,Ltd.

Address before: 710062 No. 199 South Changan Road, Shaanxi, Xi'an

Patentee before: Shaanxi Normal University

TR01 Transfer of patent right