CN110717423B - 一种老人面部表情的情感识别模型的训练方法及装置 - Google Patents
一种老人面部表情的情感识别模型的训练方法及装置 Download PDFInfo
- Publication number
- CN110717423B CN110717423B CN201910917644.XA CN201910917644A CN110717423B CN 110717423 B CN110717423 B CN 110717423B CN 201910917644 A CN201910917644 A CN 201910917644A CN 110717423 B CN110717423 B CN 110717423B
- Authority
- CN
- China
- Prior art keywords
- wavelet packet
- convolution
- image
- order difference
- old
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000008921 facial expression Effects 0.000 title claims abstract description 58
- 238000012549 training Methods 0.000 title claims abstract description 45
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 42
- 230000006870 function Effects 0.000 claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 56
- 239000013598 vector Substances 0.000 claims abstract description 53
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 40
- 230000014509 gene expression Effects 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims description 49
- 238000000354 decomposition reaction Methods 0.000 claims description 34
- 238000011176 pooling Methods 0.000 claims description 24
- 230000008451 emotion Effects 0.000 claims description 21
- 230000009467 reduction Effects 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 9
- 238000012847 principal component analysis method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000032683 aging Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种老人面部表情的情感识别模型的训练方法及装置,方法包括:1)、获取老人脸图像;2)、针对每一张老人脸图像,进行一阶差分和二阶差分处理。再利用预设的小波包尺度函数获取小波包基函数,并根据小波包尺度函数以及小波包基函数,利用卷积算法,获取老人脸图像、一阶差分图像和二阶差分图像的小波包子带;3)、对小波包子带的小波包系数进行统计处理,获取对应于各张老人脸图像的小波包子带的目标特征向量;4)、将目标特征项向量以及对应的表情标签值输入到预先构建的卷积神经网络模型中,训练卷积神经网络模型至收敛,得到训练后的老人面部表情的情感识别模型。应用本发明实施例,可以提高老人面部表情的情感识别的准确率。
Description
技术领域
本发明涉及一种老人面部表情的情感识别模型的训练方法及装置,更具体涉及一种老人面部表情的情感识别模型的训练方法及装置。
背景技术
随着人们生活水平的提高和城镇化改革加速,人口老龄化的现象加剧,我国城镇老龄人口“空巢化”的现象也呈现日益增长的趋势。空巢现象是一个不容忽视的社会问题。老年人作为弱势群体,在成为空巢老人,缺乏子女照料的情况下更容易导致老年人身体上、精神上出现问题。因此关注空巢现象,关爱空巢老人的情感状态具有非常迫切的现实需要。
人脸表情识别是指从给定的静态人脸图像或动态视频序列中分离出特定的表情状态,实现计算机对人的表情和心理情绪的理解与识别。表情识别是情感理解的基础,是计算机理解人们情感的前提。随着人工智能技术的迅速发展,人机交互的需求日益增长。表情识别作为一种良好的人机互动方式,在近些年受到了众多学者的重视。面部表情是能通过外表能自然察觉到的情感信息,人脸情感识别的研究可以使计算机更智能、更高效的为人们服务。
人脸表情识别中,表情特征提取是最关键的环节。特征的好坏直接决定着人脸表情识别性能的高低,人脸表情特征主要有灰度特征、频率特征和运动特征。提取表情特征的方法主要有几何特征提取方法、外貌特征提取方法、特征点跟踪法、弹性图匹配法等。目前,深度学习因其具有让计算机自动学习出模式特征,并将特征学习融入到建立模型的过程中的优点,在各个领域都有广泛的应用。由于人为设计特征造成的不完备性,以及特征提取的方法容易导致部分表情特征表述信息的丢失,进而导致现有技术中存在老人脸图像中的表情识别不够准确的技术问题。
发明内容
本发明所要解决的技术问题在于提供了一种老人面部表情的情感识别模型的训练方法及装置。
本发明是通过以下技术方案解决上述技术问题的:
本发明实施例提供了一种老人面部表情的情感识别模型的训练方法,所述方法包括:
1)、获取老人脸图像;
2)、针对每一张包含老人脸的面部图像,进行一阶差分和二阶差分处理;再利用预设的小波包尺度函数获取小波包基函数,并根据所述小波包尺度函数以及小波包基函数,利用卷积算法,获取所述老人脸图像的小波包子带、一阶差分图像小波包子带和二阶差分图像的小波包子带;
3)、对各个小波包子带的小波包系数进行统计处理,获取对应于各张老人脸图像的小波包子带的所对应的小波包系数,形成目标特征向量,其中,特征向量包括:小波包系数的最小值、最大值、均值、方差以及中位数;
4)、将目标特征项向量以及对应的表情标签值输入到预先构建的卷积神经网络模型中,训练所述卷积神经网络模型至收敛,得到训练后的老人面部表情的情感识别模型,其中,所述卷积神经网络包括:若干层卷积层、池化层、全连接层以及输出层。
可选的,所述方法还包括:
获取待识别老人脸图像,并利用训练后的老人面部表情的情感识别模型识别所述待识别老人脸图像所属情感类别。
可选的,所述步骤2),包括:
21)、针对每一张老人脸图像,进行一阶差分和二阶差分处理,得到一阶差分图像和二阶差分图像,针对老人脸图像、一阶差分图像和二阶差分图像中的每一个图像,根据预设的小波尺度函数,利用公式,获取对应的低通滤波器系数,其中,
hn为低通滤波器系数;∫为不定积分;
24)、根据预先构建的小波包分解树图的结构,将第一次小波包分解的过程作为当前卷积过程;
25)、根据所述低通滤波器系数、高通滤波器系数以及老人脸图像中的行数据,利用卷积算法将当前次卷积的老人脸图像分解为第一级平滑逼近和细节逼近;
26)、再利用对行变换后图像的列数据与低通滤波器和高通滤波器进行卷积运算,得到第二级离散平滑逼近和离散细节逼近,分别为图像的低频分量和图像在水平方向、垂直方向和对角线上的高频细节;
27)、将当前次卷积得到的第二级离散平滑逼近以及第二级离散细节逼近分别作为老人脸原始图像中的行数据;将当前卷积过程的下一卷积过程作为当前卷积过程,并返回执行步骤25),直至最后一个卷积过程;并将最后一次卷积中获取的第一级平滑逼近、细节逼近、第二级离散平滑逼近和离散细节逼近作为小波包子带。
将当前次卷积得到的第二级平滑逼近以及第二级离散细节逼近分别作为老人脸原始图像中的行数据;将当前卷积过程的下一卷积过程作为当前卷积过程,并返回执行步骤25),直至最后一个卷积过程。
可选的,所述步骤3),包括:
对所述原始图像进行差分处理,再得到原始图像和差分处理后图像的小波包系数,并对老人脸图像的原始信号以及差分处理后的小波包系数进行统计处理,得到统计结果,将所述统计结果进行组合得到对应于各张老人脸图像的小波包子带的特征向量;
利用降维算法将对应于各张老人脸图像的小波包子带的特征向量进行降维处理,得到目标特征向量,其中,所述降维算法包括:主成成分分析法。
可选的,所述卷积神经网络的构建过程包括:
构建依次由第一卷积层、池化层、第二卷积层、池化层以及全连接层的卷积神经网络,其中,
所述第一卷积层的卷积核尺寸为5*5、有32个卷积核、步长为1的卷积层;
池化层的卷积核尺寸为2*2;
第二卷积层的卷积核尺寸为5*5、有64个卷积核、步长为1的卷积层。
本发明实施例还提供了一种老人面部表情的情感识别模型的训练装置,所述装置包括:
获取模块,用于获取老人脸图像;
针对每一张老人脸图像,进行一阶差分和二阶差分处理;再利用预设的小波包尺度函数获取小波包基函数,并根据所述小波包尺度函数以及小波包基函数,利用卷积算法,获取所述老人脸图像的小波包子带、一阶差分图像小波包子带和二阶差分图像的小波包子带;
对各个小波包子带的小波包系数进行统计处理,获取对应于各张老人脸图像的小波包子带的所对应的小波包系数,形成目标特征向量,其中,特征向量包括:小波包系数的最小值、最大值、均值、方差以及中位数;
训练模块,用于将目标特征项向量以及对应的表情标签值输入到预先构建的卷积神经网络模型中,训练所述卷积神经网络模型至收敛,得到训练后的老人面部表情的情感识别模型,其中,所述卷积神经网络包括:若干层卷积层、池化层、全连接层以及输出层。
可选的,所述装置还包括:
识别模块,用于获取待识别老人脸图像,并利用训练后的老人面部表情的情感识别模型识别所述待识别老人脸图像所属情感类别。
可选的,所述获取模块,用于:
21)、针对每一张老人脸图像,进行一阶差分和二阶差分处理,得到一阶差分图像和二阶差分图像,针对老人脸图像、一阶差分图像和二阶差分图像中的每一个图像,根据预设的小波尺度函数,利用公式,获取对应的低通滤波器系数,其中,
hn为低通滤波器系数;∫为不定积分;
24)、根据预先构建的小波包分解树图的结构,将第一次小波包分解的过程作为当前卷积过程;
25)、根据所述低通滤波器系数、高通滤波器系数以及老人脸图像中的行数据,利用卷积算法将当前次卷积的老人脸图像分解为第一级平滑逼近和细节逼近;
26)、再利用对行变换后图像的列数据与低通滤波器和高通滤波器进行卷积运算,得到第二级离散平滑逼近和离散细节逼近,分别为图像的低频分量和图像在水平方向、垂直方向和对角线上的高频细节;
27)、将当前次卷积得到的第二级平滑逼近以及第二级离散细节逼近分别作为老人脸原始图像中的行数据;将当前卷积过程的下一卷积过程作为当前卷积过程,并返回执行步骤25),直至最后一个卷积过程;并将最后一次卷积中获取的第二级离散平滑逼近和离散细节逼近作为小波包子带。
可选的,所述获取模块,用于:
对所述原始图像进行差分处理,得到差分处理后的小波包系数,并对老人脸图像的原始信号以及差分处理后的小波包系数进行统计处理,得到统计结果,将所述统计结果进行组合得到对应于各张老人脸图像的小波包子带的特征向量;
利用降维算法将对应于各张老人脸图像的小波包子带的特征向量进行降维处理,得到目标特征向量,其中,所述降维算法包括:主成成分分析法。
可选的,所述卷积神经网络的构建过程包括:
构建依次由第一卷积层、池化层、第二卷积层、池化层以及全连接层的卷积神经网络,其中,
所述第一卷积层的卷积核尺寸为5*5、有32个卷积核、步长为1的卷积层;
池化层的卷积核尺寸为2*2;
第二卷积层的卷积核尺寸为5*5、有64个卷积核、步长为1的卷积层。
本发明相比现有技术具有以下优点:
本发明针对以上问题,提出了一种老人面部表情的情感识别模型的训练方法及装置,利用小波包分解算法对表情图像进行多层小波包系数分解,分别提取多层小波包系数特征动态特征以及全局特征作为表情图像的特征向量,将特征向量作为卷积神经网络的输入,经过训练和识别得到情感分类的结果,相对于现有技术中采用人为固定的特征,本发明实施例提取的特征更加全面,因此,该方法训练出的老人面部表情的情感识别模型可以有效的提高人脸情感识别的准确率。
附图说明
图1为本发明实施例提供的一种老人面部表情的情感识别模型的训练方法的流程示意图;
图2为本发明实施例提供的一种老人面部表情的情感识别模型的训练方法的原理示意图;
图3为本发明实施例提供的一种小波包分解算法的原理示意图;
图4为本发明实施例提供的小波包分解算法中的二维小波包系数图;
图5为本发明实施例提供的小波包分解算法中人脸表情经过三层小波包分解后的图;
图6为本发明实施例中提供的一种卷积神经网络的结构示意图;
图7为本发明实施例提供的一种卷积神经网络处理过程中图像大小的变化流程图;
图8为本发明实施例提供的一种老人面部表情的情感识别模型的训练装置的结构示意图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
本发明实施例提供了一种老人面部表情的情感识别模型的训练方法及装置,下面首先就本发明实施例提供的一种老人面部表情的情感识别模型的训练方法进行介绍。
实施例1
图1为本发明实施例提供的一种老人面部表情的情感识别模型的训练方法的流程示意图;图2为本发明实施例提供的一种老人面部表情的情感识别模型的训练方法的原理示意图,如图1和图2所示,所述方法包括:
S101:获取老人脸图像。
由于已有的人脸表情库大多是欧美的、日本的,而且文化、种族的差异对人脸表情存在一定的影响;再者,关于老人的表情库很少。
因此,本发明实施例中从网上下载的电视剧,如《空巢姥爷》,从该电视剧中截取老人人脸的图片,经过人工判断人物的情感类型,选择投票情感类型最多的为该人物的情感,以此来建立起自有的老人人脸表情库。
进一步的,随着年龄的增长,人脸逐渐呈现皱纹增加的老化状态。人脸老化是一种必然的、不可逆转的纹理与形状变化。纹理状态的改变使得一些表情变化的不够明显,老人的中性表情和悲伤表情的区别也不明显。因此,老人的表情库将分为开心、悲伤、惊讶、生气和厌恶五种情感。
在模型训练之前,对表情库中的图像进行归一化处理和对齐预处理。进行数据集预处理操作是为了减少由于光照、角度、采集环境的不同等因素对图像造成的影响,以此来去除图像的干扰信息,提高图像对比度。
应用本发明上述实施例,建立了针对我国老人的老人脸图像,用这些老人脸图像训练出的模型具有较高的针对性,可以进一步提高老人脸表情识别的准确率。
S102:针对每一张老人脸图像,进行一阶差分和二阶差分处理;再利用预设的小波包尺度函数获取小波包基函数,并根据所述小波包尺度函数以及小波包基函数,利用卷积算法,获取所述老人脸图像的小波包子带、一阶差分图像小波包子带和二阶差分图像的小波包子带;
人脸图像是一种非平稳的信号,通常包含长时低频(面部)和短时高频(边缘)不同尺度的特征。局部的时域信息包含了人脸图像的重要特征,如面部表情中眼睛、鼻子和嘴巴等感兴趣区域的轮廓大小和位置,在进行面部情感分类的时候起到很大作用。小波变换是一种多尺度分解的时频局部变换,可分析包含不同尺度的信号。在进行人脸表情识别中,小波变换对人脸信号的低频部分保留,忽略了信号高频部分的分析,而高频部分往往对人脸表情和姿态的变化比较敏感。小波包变换是小波变换的推广,可以对信号频带的低通分量和高通分量同时做分解,从而可聚焦到任意频段,对信号的分析能力更强。利用小波包分解进行老人表情识别,可以很好的提取老人表情特征。
小波包的定义
式中:j∈Z。
式中:g(k)=(-1)kh(1-k),即两系数也具有正交关系。
当n=0时,(3)式直接变为:
具体的,S102步骤可以包括:
21)、针对每一张老人脸图像,进行一阶差分和二阶差分处理,得到一阶差分图像和二阶差分图像,针对老人脸图像、一阶差分图像和二阶差分图像中的每一个图像,根据预设的小波尺度函数,利用公式,获取对应的低通滤波器系数,其中,
24)、根据预先构建的小波包分解树图的结构,将第一次小波包分解的过程作为当前卷积过程;
25)、根据所述低通滤波器系数、高通滤波器系数以及老人脸图像中的行数据,利用卷积算法将当前次卷积的老人脸图像分解为第一级平滑逼近和细节逼近;
得到的第一级平滑逼近为:
f′m+1(n)为当前次卷积得到的对应于老人脸的第一级平滑逼近,即高频信息;g(2n-k)为长度为2n-k的高频滤波器;fm′(k)为老人脸图像的行数据;n∈z;k为整数。
26)、再利用对行变换后图像的列数据与低通滤波器和高通滤波器进行卷积运算,得到当前次卷积的第二级离散平滑逼近和离散细节逼近,分别为图像的低频分量和图像在水平方向、垂直方向和对角线上的高频细节;
得到的离散细节逼近为:
fm+1(n)为离散细节逼近;∑为求和函数;h为低通滤波器;fm(k)为老人脸图像的列数据。
需要说明的是,在步骤25)中的细节逼近与步骤26)中的离散细节逼近类似,二者均为卷积算法的输出结果区别仅在于由于输入数据的不同;类似的,在步骤25)中的第一级平滑逼近与步骤26)中的第二级离散平滑逼近类似,二者均为卷积算法的输出结果区别仅在于由于输入数据的不同。
对于一阶差分图像和二阶差分图像也按照上述方法进行处理,本发明实施例在此不再对其进行赘述。
27)、将当前次卷积得到的第二级平滑逼近以及第二级离散细节逼近分别作为老人脸原始图像中的行数据;将当前卷积过程的下一卷积过程作为当前卷积过程,并返回执行步骤25),直至最后一个卷积过程;并将最后一次卷积中获取的第二级离散平滑逼近和离散细节逼近作为小波包子带。
在本发明实施例中,可以采用六层小波包分解算法进行图像特征信息的提取。图8为本发明实施例提供的一种老人面部表情的情感识别模型的训练装置的结构示意图图3为本发明实施例提供的一种小波包分解算法的原理示意图;图4为本发明实施例提供的小波包分解算法中的二维小波包系数图,如图4所示,一幅图像经过一层小波包分解之后形成四个子图像,子图LLj表示的是原始图像的低频分量,是原始图像在低分辨率的最佳逼近;子带HLj表示原始图像水平方向上的高频细节;子带LHj表示原始图像垂直方向的高频细节;子带HHj表示原始图像对角线上的高频细节。图4为图像的二层小波包分解树示意图。
图5为本发明实施例提供的小波包分解算法中人脸表情经过三层小波包分解后的图。本发明实施例中采用了小波基为Haar小波函数对表情图像进行6层分解,在第6级别有4096个小波包子带。
最后图像f(x,y)的分解结果如下:
利用尺度函数和小波函数的正交性,可得:
以及:
需要强调的是,前述公式仅仅为用于表征小波包子带,仅作为本发明实施例输出的结果,且为本领域常用的表征方式。
S103:对所述小波包子带的小波包系数进行统计处理,获取对应于各张老人脸图像的小波包子带所对应的小波包系数,形成目标特征向量,其中,特征向量包括:小波包系数的最小值、最大值、均值、方差以及中位数。
对所述原始图像进行差分处理,得到差分处理后的小波包系数,并对老人脸图像的原始信号以及差分处理后的小波包系数进行统计处理,得到统计结果,将所述统计结果进行组合得到对应于各张老人脸图像的小波包子带的特征向量;
利用降维算法将对应于各张老人脸图像的小波包子带的特征向量进行降维处理,得到目标特征向量,其中,所述降维算法包括:主成成分分析法。
在实际应用中,考虑到全局特征优于局部特征,本发明实施例进一步对原始图像信号进行一阶差分和二阶差分处理,并且分别计算原始图像信号、一阶差分和二阶差分的小波包系数的统计值,如最小值、最大值、均值、方差及中位数。将得到的统计值组成特征向量,计算得到61440维(4^6*5*3)小波包系数特征向量。由于得到的特征向量维度太大,本发明实施例中采用PCA(主成分分析法)降维的方法对特征向量进行降维,降维后的特征向量作为卷积神经网络的输入。
S104:将目标特征项向量以及对应的表情标签值输入到预先构建的卷积神经网络模型中,训练所述卷积神经网络模型至收敛,得到训练后的老人面部表情的情感识别模型,其中,所述卷积神经网络包括:若干层卷积层、池化层、全连接层以及输出层。
图6为本发明实施例中提供的一种卷积神经网络的结构示意图,如图6所示,可以构建依次由第一卷积层、池化层、第二卷积层、池化层以及全连接层的卷积神经网络,其中,
所述第一卷积层的卷积核尺寸为5*5、有32个卷积核、步长为1的卷积层;
池化层的卷积核尺寸为2*2;
第二卷积层的卷积核尺寸为5*5、有64个卷积核、步长为1的卷积层。
输出层最终采用softmax函数,以交叉熵作为优化目标的网络结构。在前向传播阶段中,设定X为得到的特征向量,y为对应的情感类别标签。特征向量X作为输入,通过当前层的激活函数计算得到的输出,都将作为下一层的输入。最后在Softmax层的输出得到的是一个7维向量,每一维向量都代表这X所对应类别的概率。经过前向传播计算输出,使用反向传播在训练过程中调整权重和偏置,来更新网络模型。通过比较所述权值初始值与期望值,计算出误差,然后进行误差的反向传播,由Softmax层开始逐层计算各层神经元的输出误差,根据误差梯度下降法来调节各层的权值和阈值,使卷积神经网络的最终输出能接近期望值。
图7为本发明实施例提供的一种卷积神经网络处理过程中图像大小的变化流程图,如图7所示,随着卷积的进行图像的大小不断变小,但是特征的维度不断升高。
应用本发明图1所示实施例,利用小波包分解算法对表情图像进行多层小波包系数分解,分别提取多层小波包系数特征动态特征以及全局特征作为表情图像的特征向量,将特征向量作为卷积神经网络的输入,经过训练和识别得到情感分类的结果,相对于现有技术中采用人为固定的特征,本发明实施例提取的特征更加全面,因此,该方法训练出的老人面部表情的情感识别模型可以有效的提高人脸情感识别的准确率。
而且,本发明提出表情特征的6层小波包系数模型,分别提取原始图像、一阶差分和二阶差分图像的6层小波包系数特征动态特征以及全局特征(最大值、最小值、平均值、中值和方差),应用于老人表情识别。相比于传统的特征,该方法提出的特征不仅具有较强的鲁棒性,还可以有效的提高人脸情感识别的准确率。将小波包分解和神经网络相结合进行情感识别,这种基于多分类器联合的方法不仅能够有效的减少训练时间和降低学习复杂性,而且能克服了隐层节点难选择的问题和优化了网络结构。
实施例2
本发明实施例2在本发明实施例1的基础上增加了以下步骤:
获取待识别老人脸图像,并利用训练后的老人面部表情的情感识别模型识别所述待识别老人脸图像。
可以将本发明实施例应用到智能家居和医学辅助治疗方面,可以为老人提供实时检测情感状态的途径,也为空巢家庭带来了方便。
实施例3
与本发明图1所示实施例1相对应,本发明实施例还提供了一种老人面部表情的情感识别模型的训练装置。
图8为本发明实施例提供的一种老人面部表情的情感识别模型的训练装置的结构示意图,如图8所示,所述装置包括:
获取模块801,用于获取老人脸图像;
针对每一张老人脸图像,进行一阶差分和二阶差分处理;再利用预设的小波包尺度函数获取小波包基函数,并根据所述小波包尺度函数以及小波包基函数,利用卷积算法,获取所述老人脸图像的小波包子带、一阶差分图像小波包子带和二阶差分图像的小波包子带;
对各个小波包子带的小波包系数进行统计处理,获取对应于各张老人脸图像的小波包子带的所对应的小波包系数,形成目标特征向量,其中,特征向量包括:小波包系数的最小值、最大值、均值、方差以及中位数;
训练模块802,用于将目标特征项向量以及对应的表情标签值输入到预先构建的卷积神经网络模型中,训练所述卷积神经网络模型至收敛,得到训练后的老人面部表情的情感识别模型,其中,所述卷积神经网络包括:若干层卷积层、池化层、全连接层以及输出层。
应用本发明图1所示实施例,利用小波包分解算法对表情图像进行多层小波包系数分解,分别提取多层小波包系数特征动态特征以及全局特征作为表情图像的特征向量,将特征向量作为卷积神经网络的输入,经过训练和识别得到情感分类的结果,相对于现有技术中采用人为固定的特征,本发明实施例提取的特征更加全面,因此,该方法训练出的老人面部表情的情感识别模型可以有效的提高人脸情感识别的准确率。
在本发明实施例的一种具体实施方式中,所述装置还包括:
识别模块,用于获取待识别老人脸图像,并利用训练后的老人面部表情的情感识别模型识别所述待识别老人脸图像所属情感类别。
在本发明实施例的一种具体实施方式中,所述获取模块801,用于:
21)、针对每一张老人脸图像,进行一阶差分和二阶差分处理,得到一阶差分图像和二阶差分图像,针对老人脸图像、一阶差分图像和二阶差分图像中的每一个图像,根据预设的小波尺度函数,利用公式,获取对应的低通滤波器系数,其中,
hn为低通滤波器系数;∫为不定积分;
24)、根据预先构建的小波包分解树图的结构,将第一次小波包分解的过程作为当前卷积过程;
25)、根据所述低通滤波器系数、高通滤波器系数以及老人脸图像中的行数据,利用卷积算法将当前次卷积的老人脸图像分解为第一级平滑逼近和细节逼近;
26)、再利用对行变换后图像的列数据与低通滤波器和高通滤波器进行卷积运算,得到第二级离散平滑逼近和离散细节逼近,分别为图像的低频分量和图像在水平方向、垂直方向和对角线上的高频细节;
27)、将当前次卷积得到的第二级离散平滑逼近以及第二级离散细节逼近分别作为老人脸原始图像中的行数据;将当前卷积过程的下一卷积过程作为当前卷积过程,并返回执行步骤25),直至最后一个卷积过程;并将最后一次卷积中获取的第二级离散平滑逼近和离散细节逼近作为小波包子带。
在本发明实施例的一种具体实施方式中,所述获取模块801,用于:
对所述原始图像进行差分处理,再得到原始图像和差分处理后图像的小波包系数,并对老人脸图像的原始信号以及差分处理后的小波包系数进行统计处理,得到统计结果,将所述统计结果进行组合得到对应于各张老人脸图像的小波包子带的特征向量;
利用降维算法将对应于各张老人脸图像的小波包子带的特征向量进行降维处理,得到目标特征向量,其中,所述降维算法包括:主成成分分析法。
在本发明实施例的一种具体实施方式中,所述卷积神经网络的构建过程包括:
构建依次由第一卷积层、池化层、第二卷积层、池化层以及全连接层的卷积神经网络,其中,
所述第一卷积层的卷积核尺寸为5*5、有32个卷积核、步长为1的卷积层;
池化层的卷积核尺寸为2*2;
第二卷积层的卷积核尺寸为5*5、有64个卷积核、步长为1的卷积层。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种老人面部表情的情感识别模型的训练方法,其特征在于,所述方法包括:
1)、获取老人脸图像;
2)、针对每一张老人脸图像,进行一阶差分和二阶差分处理;再利用预设的小波包尺度函数获取小波包基函数,并根据所述小波包尺度函数以及小波包基函数,利用卷积算法,获取所述老人脸图像的小波包子带、一阶差分图像小波包子带和二阶差分图像的小波包子带;
3)、对各个小波包子带的小波包系数进行统计处理,获取对应于各张老人脸图像的小波包子带的所对应的小波包系数,形成目标特征向量,其中,特征向量包括:小波包系数的最小值、最大值、均值、方差以及中位数;
4)、将目标特征项向量以及对应的表情标签值输入到预先构建的卷积神经网络模型中,训练所述卷积神经网络模型至收敛,得到训练后的老人面部表情的情感识别模型,其中,所述卷积神经网络包括:若干层卷积层、池化层、全连接层以及输出层。
2.根据权利要求1所述的一种老人面部表情的情感识别模型的训练方法,其特征在于,所述方法还包括:
获取待识别老人脸图像,并利用训练后的老人面部表情的情感识别模型识别所述待识别老人脸图像。
3.根据权利要求1所述的一种老人面部表情的情感识别模型的训练方法,其特征在于,所述步骤2),包括:
21)、针对每一张老人脸图像,进行一阶差分和二阶差分处理,得到一阶差分图像和二阶差分图像,针对老人脸图像、一阶差分图像和二阶差分图像中的每一个图像,根据预设的小波尺度函数,利用公式,获取对应的低通滤波器系数,其中,
hn为低通滤波器系数;∫为不定积分;
24)、根据预先构建的小波包分解树图的结构,将第一次小波包分解的过程作为当前卷积过程;
25)、根据所述低通滤波器系数、高通滤波器系数以及老人脸图像中的行数据,利用卷积算法将当前次卷积的老人脸图像分解为第一级平滑逼近和细节逼近;
26)、再利用对行变换后图像的列数据与低通滤波器和高通滤波器进行卷积运算,得到第二级离散平滑逼近和离散细节逼近,分别为图像的低频分量和图像在水平方向、垂直方向和对角线上的高频细节;
27)、将当前次卷积得到的第二级离散平滑逼近以及第二级离散细节逼近分别作为老人脸原始图像中的行数据;将当前卷积过程的下一卷积过程作为当前卷积过程,并返回执行步骤25),直至最后一个卷积过程;并将最后一次卷积中获取的第二级离散平滑逼近和离散细节逼近作为小波包子带。
4.根据权利要求1所述的一种老人面部表情的情感识别模型的训练方法,其特征在于,所述步骤3),包括:
对所述原始图像进行差分处理,再得到原始图像和差分处理后图像的小波包系数,并对老人脸图像的原始信号以及差分处理后的小波包系数进行统计处理,得到统计结果,将所述统计结果进行组合得到对应于各张老人脸图像的小波包子带的特征向量;
利用降维算法将对应于各张老人脸图像的小波包子带的特征向量进行降维处理,得到目标特征向量,其中,所述降维算法包括:主成成分分析法。
5.根据权利要求1所述的一种老人面部表情的情感识别模型的训练方法,其特征在于,所述卷积神经网络的构建过程包括:
构建依次由第一卷积层、池化层、第二卷积层、池化层以及全连接层的卷积神经网络,其中,
所述第一卷积层的卷积核尺寸为5*5、有32个卷积核、步长为1的卷积层;
池化层的卷积核尺寸为2*2;
第二卷积层的卷积核尺寸为5*5、有64个卷积核、步长为1的卷积层。
6.一种老人面部表情的情感识别模型的训练装置,其特征在于,所述装置包括:
获取模块,用于获取老人脸图像;
针对每一张老人脸图像,进行一阶差分和二阶差分处理;再利用预设的小波包尺度函数获取小波包基函数,并根据所述小波包尺度函数以及小波包基函数,利用卷积算法,获取所述老人脸图像的小波包子带、一阶差分图像小波包子带和二阶差分图像的小波包子带;
对各个小波包子带的小波包系数进行统计处理,获取对应于各张老人脸图像的小波包子带的所对应的小波包系数,形成目标特征向量,其中,特征向量包括:小波包系数的最小值、最大值、均值、方差以及中位数;
训练模块,用于将目标特征项向量以及对应的表情标签值输入到预先构建的卷积神经网络模型中,训练所述卷积神经网络模型至收敛,得到训练后的老人面部表情的情感识别模型,其中,所述卷积神经网络包括:若干层卷积层、池化层、全连接层以及输出层。
7.根据权利要求6所述的一种老人面部表情的情感识别模型的训练装置,其特征在于,所述装置还包括:
识别模块,用于获取待识别老人脸图像,并利用训练后的老人面部表情的情感识别模型识别所述待识别老人脸图像的情感类别。
8.根据权利要求6所述的一种老人面部表情的情感识别模型的训练装置,其特征在于,所述获取模块,用于:
21)、针对每一张老人脸图像,进行一阶差分和二阶差分处理,得到一阶差分图像和二阶差分图像,针对老人脸图像、一阶差分图像和二阶差分图像中的每一个图像,根据预设的小波尺度函数,利用公式,获取对应的低通滤波器系数,其中,
hn为低通滤波器系数;∫为不定积分;
24)、根据预先构建的小波包分解树图的结构,将第一次小波包分解的过程作为当前卷积过程;
25)、根据所述低通滤波器系数、高通滤波器系数以及老人脸图像中的行数据,利用卷积算法将当前次卷积的老人脸图像分解为第一级平滑逼近和细节逼近;
26)、再利用对行变换后图像的列数据与低通滤波器和高通滤波器进行卷积运算,得到第二级离散平滑逼近和离散细节逼近,分别为图像的低频分量和图像在水平方向、垂直方向和对角线上的高频细节;
27)、将当前次卷积得到的第二级离散平滑逼近以及第二级离散细节逼近分别作为老人脸原始图像中的行数据;将当前卷积过程的下一卷积过程作为当前卷积过程,并返回执行步骤25),直至最后一个卷积过程;并将最后一次卷积中获取的第二级离散平滑逼近和离散细节逼近作为小波包子带。
9.根据权利要求6所述的一种老人面部表情的情感识别模型的训练装置,其特征在于,所述获取模块,用于:
对所述原始图像进行差分处理,得到差分处理后的小波包系数,并对老人脸图像的原始信号以及差分处理后的小波包系数进行统计处理,得到统计结果,将所述统计结果进行组合得到对应于各张老人脸图像的小波包子带的特征向量;
利用降维算法将对应于各张老人脸图像的小波包子带的特征向量进行降维处理,得到目标特征向量,其中,所述降维算法包括:主成成分分析法。
10.根据权利要求6所述的一种老人面部表情的情感识别模型的训练装置,其特征在于,所述卷积神经网络的构建过程包括:
构建依次由第一卷积层、池化层、第二卷积层、池化层以及全连接层的卷积神经网络,其中,
所述第一卷积层的卷积核尺寸为5*5、有32个卷积核、步长为1的卷积层;
池化层的卷积核尺寸为2*2;
第二卷积层的卷积核尺寸为5*5、有64个卷积核、步长为1的卷积层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910917644.XA CN110717423B (zh) | 2019-09-26 | 2019-09-26 | 一种老人面部表情的情感识别模型的训练方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910917644.XA CN110717423B (zh) | 2019-09-26 | 2019-09-26 | 一种老人面部表情的情感识别模型的训练方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110717423A CN110717423A (zh) | 2020-01-21 |
CN110717423B true CN110717423B (zh) | 2023-03-17 |
Family
ID=69211033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910917644.XA Active CN110717423B (zh) | 2019-09-26 | 2019-09-26 | 一种老人面部表情的情感识别模型的训练方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110717423B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111652146B (zh) * | 2020-06-03 | 2023-03-24 | 陕西科技大学 | 一种养老院老人面部情感状况检测方法 |
CN112116004B (zh) * | 2020-09-18 | 2021-11-02 | 推想医疗科技股份有限公司 | 病灶分类方法及装置、病灶分类模型的训练方法 |
CN113076813B (zh) * | 2021-03-12 | 2024-04-12 | 首都医科大学宣武医院 | 面具脸特征识别模型训练方法和装置 |
CN112990007B (zh) * | 2021-03-13 | 2022-08-09 | 山东大学 | 基于区域分组与内部关联融合的人脸表情识别方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11074495B2 (en) * | 2013-02-28 | 2021-07-27 | Z Advanced Computing, Inc. (Zac) | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
CN107292256B (zh) * | 2017-06-14 | 2019-12-24 | 西安电子科技大学 | 基于辅任务的深度卷积小波神经网络表情识别方法 |
-
2019
- 2019-09-26 CN CN201910917644.XA patent/CN110717423B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110717423A (zh) | 2020-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110717423B (zh) | 一种老人面部表情的情感识别模型的训练方法及装置 | |
CN107203753B (zh) | 一种基于模糊神经网络和图模型推理的动作识别方法 | |
CN106529447B (zh) | 一种小样本人脸识别方法 | |
CN108804453B (zh) | 一种视音频识别方法及装置 | |
CN108304826A (zh) | 基于卷积神经网络的人脸表情识别方法 | |
CN112766355B (zh) | 一种标签噪声下的脑电信号情绪识别方法 | |
CN108133188A (zh) | 一种基于运动历史图像与卷积神经网络的行为识别方法 | |
Peng et al. | Towards facial expression recognition in the wild: A new database and deep recognition system | |
CN111160189A (zh) | 一种基于动态目标训练的深度神经网络人脸表情识别方法 | |
CN110135244B (zh) | 一种基于脑-机协同智能的表情识别方法 | |
CN113749657B (zh) | 一种基于多任务胶囊的脑电情绪识别方法 | |
CN111954250B (zh) | 一种轻量级Wi-Fi行为感知方法和系统 | |
CN115238731A (zh) | 基于卷积递归神经网络与多头自注意力的情感识别方法 | |
CN108171261A (zh) | 鲁棒的自适应半监督图像分类方法、装置、设备及介质 | |
CN107463917A (zh) | 一种基于改进的ltp与二维双向pca融合的人脸特征提取方法 | |
Kishore et al. | Selfie sign language recognition with convolutional neural networks | |
CN111967361A (zh) | 一种基于婴儿表情识别与哭声的情绪检测方法 | |
CN109543637A (zh) | 一种人脸识别方法、装置、设备以及可读存储介质 | |
CN115238796A (zh) | 基于并行damscn-lstm的运动想象脑电信号分类方法 | |
CN114863572A (zh) | 一种多通道异构传感器的肌电手势识别方法 | |
CN113850182B (zh) | 基于DAMR_3DNet的动作识别方法 | |
Priatama et al. | Hand gesture recognition using discrete wavelet transform and convolutional neural network | |
Yao | A compressed deep convolutional neural networks for face recognition | |
Li | Parallel two-class 3D-CNN classifiers for video classification | |
CN115937910A (zh) | 一种基于小样本度量网络的掌纹图像识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |