CN110717423B - 一种老人面部表情的情感识别模型的训练方法及装置 - Google Patents

Abstract

本发明公开了一种老人面部表情的情感识别模型的训练方法及装置，方法包括：1)、获取老人脸图像；2)、针对每一张老人脸图像，进行一阶差分和二阶差分处理。再利用预设的小波包尺度函数获取小波包基函数，并根据小波包尺度函数以及小波包基函数，利用卷积算法，获取老人脸图像、一阶差分图像和二阶差分图像的小波包子带；3)、对小波包子带的小波包系数进行统计处理，获取对应于各张老人脸图像的小波包子带的目标特征向量；4)、将目标特征项向量以及对应的表情标签值输入到预先构建的卷积神经网络模型中，训练卷积神经网络模型至收敛，得到训练后的老人面部表情的情感识别模型。应用本发明实施例，可以提高老人面部表情的情感识别的准确率。

Description

一种老人面部表情的情感识别模型的训练方法及装置

技术领域

本发明涉及一种老人面部表情的情感识别模型的训练方法及装置，更具体涉及一种老人面部表情的情感识别模型的训练方法及装置。

背景技术

随着人们生活水平的提高和城镇化改革加速，人口老龄化的现象加剧，我国城镇老龄人口“空巢化”的现象也呈现日益增长的趋势。空巢现象是一个不容忽视的社会问题。老年人作为弱势群体，在成为空巢老人，缺乏子女照料的情况下更容易导致老年人身体上、精神上出现问题。因此关注空巢现象，关爱空巢老人的情感状态具有非常迫切的现实需要。

人脸表情识别是指从给定的静态人脸图像或动态视频序列中分离出特定的表情状态，实现计算机对人的表情和心理情绪的理解与识别。表情识别是情感理解的基础，是计算机理解人们情感的前提。随着人工智能技术的迅速发展，人机交互的需求日益增长。表情识别作为一种良好的人机互动方式，在近些年受到了众多学者的重视。面部表情是能通过外表能自然察觉到的情感信息，人脸情感识别的研究可以使计算机更智能、更高效的为人们服务。

人脸表情识别中，表情特征提取是最关键的环节。特征的好坏直接决定着人脸表情识别性能的高低，人脸表情特征主要有灰度特征、频率特征和运动特征。提取表情特征的方法主要有几何特征提取方法、外貌特征提取方法、特征点跟踪法、弹性图匹配法等。目前，深度学习因其具有让计算机自动学习出模式特征，并将特征学习融入到建立模型的过程中的优点，在各个领域都有广泛的应用。由于人为设计特征造成的不完备性，以及特征提取的方法容易导致部分表情特征表述信息的丢失，进而导致现有技术中存在老人脸图像中的表情识别不够准确的技术问题。

发明内容

本发明所要解决的技术问题在于提供了一种老人面部表情的情感识别模型的训练方法及装置。

本发明是通过以下技术方案解决上述技术问题的：

本发明实施例提供了一种老人面部表情的情感识别模型的训练方法，所述方法包括：

1)、获取老人脸图像；

2)、针对每一张包含老人脸的面部图像，进行一阶差分和二阶差分处理；再利用预设的小波包尺度函数获取小波包基函数，并根据所述小波包尺度函数以及小波包基函数，利用卷积算法，获取所述老人脸图像的小波包子带、一阶差分图像小波包子带和二阶差分图像的小波包子带；

3)、对各个小波包子带的小波包系数进行统计处理，获取对应于各张老人脸图像的小波包子带的所对应的小波包系数，形成目标特征向量，其中，特征向量包括：小波包系数的最小值、最大值、均值、方差以及中位数；

4)、将目标特征项向量以及对应的表情标签值输入到预先构建的卷积神经网络模型中，训练所述卷积神经网络模型至收敛，得到训练后的老人面部表情的情感识别模型，其中，所述卷积神经网络包括：若干层卷积层、池化层、全连接层以及输出层。

可选的，所述方法还包括：

获取待识别老人脸图像，并利用训练后的老人面部表情的情感识别模型识别所述待识别老人脸图像所属情感类别。

可选的，所述步骤2)，包括：

21)、针对每一张老人脸图像，进行一阶差分和二阶差分处理，得到一阶差分图像和二阶差分图像，针对老人脸图像、一阶差分图像和二阶差分图像中的每一个图像，根据预设的小波尺度函数，利用公式，

获取对应的低通滤波器系数，其中，

h_n为低通滤波器系数；∫为不定积分；

为小波尺度函数；n∈k；

22)、根据所述低通滤波器与对应的高通滤波器的正交关系，获取的高通滤波器系数为：

其中，g(n)为高通滤波器系数；

23)、利用公式，

获取小波基函数，其中，

ψ(t)为小波基函数；

为尺度函数；

24)、根据预先构建的小波包分解树图的结构，将第一次小波包分解的过程作为当前卷积过程；

25)、根据所述低通滤波器系数、高通滤波器系数以及老人脸图像中的行数据，利用卷积算法将当前次卷积的老人脸图像分解为第一级平滑逼近和细节逼近；

26)、再利用对行变换后图像的列数据与低通滤波器和高通滤波器进行卷积运算，得到第二级离散平滑逼近和离散细节逼近，分别为图像的低频分量和图像在水平方向、垂直方向和对角线上的高频细节；

27)、将当前次卷积得到的第二级离散平滑逼近以及第二级离散细节逼近分别作为老人脸原始图像中的行数据；将当前卷积过程的下一卷积过程作为当前卷积过程，并返回执行步骤25)，直至最后一个卷积过程；并将最后一次卷积中获取的第一级平滑逼近、细节逼近、第二级离散平滑逼近和离散细节逼近作为小波包子带。

将当前次卷积得到的第二级平滑逼近以及第二级离散细节逼近分别作为老人脸原始图像中的行数据；将当前卷积过程的下一卷积过程作为当前卷积过程，并返回执行步骤25)，直至最后一个卷积过程。

可选的，所述步骤3)，包括：

对所述原始图像进行差分处理，再得到原始图像和差分处理后图像的小波包系数，并对老人脸图像的原始信号以及差分处理后的小波包系数进行统计处理，得到统计结果，将所述统计结果进行组合得到对应于各张老人脸图像的小波包子带的特征向量；

利用降维算法将对应于各张老人脸图像的小波包子带的特征向量进行降维处理，得到目标特征向量，其中，所述降维算法包括：主成成分分析法。

可选的，所述卷积神经网络的构建过程包括：

构建依次由第一卷积层、池化层、第二卷积层、池化层以及全连接层的卷积神经网络，其中，

所述第一卷积层的卷积核尺寸为5*5、有32个卷积核、步长为1的卷积层；

池化层的卷积核尺寸为2*2；

第二卷积层的卷积核尺寸为5*5、有64个卷积核、步长为1的卷积层。

本发明实施例还提供了一种老人面部表情的情感识别模型的训练装置，所述装置包括：

获取模块，用于获取老人脸图像；

针对每一张老人脸图像，进行一阶差分和二阶差分处理；再利用预设的小波包尺度函数获取小波包基函数，并根据所述小波包尺度函数以及小波包基函数，利用卷积算法，获取所述老人脸图像的小波包子带、一阶差分图像小波包子带和二阶差分图像的小波包子带；

对各个小波包子带的小波包系数进行统计处理，获取对应于各张老人脸图像的小波包子带的所对应的小波包系数，形成目标特征向量，其中，特征向量包括：小波包系数的最小值、最大值、均值、方差以及中位数；

训练模块，用于将目标特征项向量以及对应的表情标签值输入到预先构建的卷积神经网络模型中，训练所述卷积神经网络模型至收敛，得到训练后的老人面部表情的情感识别模型，其中，所述卷积神经网络包括：若干层卷积层、池化层、全连接层以及输出层。

可选的，所述装置还包括：

识别模块，用于获取待识别老人脸图像，并利用训练后的老人面部表情的情感识别模型识别所述待识别老人脸图像所属情感类别。

可选的，所述获取模块，用于：

21)、针对每一张老人脸图像，进行一阶差分和二阶差分处理，得到一阶差分图像和二阶差分图像，针对老人脸图像、一阶差分图像和二阶差分图像中的每一个图像，根据预设的小波尺度函数，利用公式，

获取对应的低通滤波器系数，其中，

h_n为低通滤波器系数；∫为不定积分；

为小波尺度函数；n∈k；

22)、根据所述低通滤波器与对应的高通滤波器的正交关系，获取的高通滤波器系数为：

其中，g(n)为高通滤波器系数；

23)、利用公式，

获取小波基函数，其中，

ψ(t)为小波基函数；

为尺度函数；

24)、根据预先构建的小波包分解树图的结构，将第一次小波包分解的过程作为当前卷积过程；

25)、根据所述低通滤波器系数、高通滤波器系数以及老人脸图像中的行数据，利用卷积算法将当前次卷积的老人脸图像分解为第一级平滑逼近和细节逼近；

26)、再利用对行变换后图像的列数据与低通滤波器和高通滤波器进行卷积运算，得到第二级离散平滑逼近和离散细节逼近，分别为图像的低频分量和图像在水平方向、垂直方向和对角线上的高频细节；

27)、将当前次卷积得到的第二级平滑逼近以及第二级离散细节逼近分别作为老人脸原始图像中的行数据；将当前卷积过程的下一卷积过程作为当前卷积过程，并返回执行步骤25)，直至最后一个卷积过程；并将最后一次卷积中获取的第二级离散平滑逼近和离散细节逼近作为小波包子带。

可选的，所述获取模块，用于：

对所述原始图像进行差分处理，得到差分处理后的小波包系数，并对老人脸图像的原始信号以及差分处理后的小波包系数进行统计处理，得到统计结果，将所述统计结果进行组合得到对应于各张老人脸图像的小波包子带的特征向量；

利用降维算法将对应于各张老人脸图像的小波包子带的特征向量进行降维处理，得到目标特征向量，其中，所述降维算法包括：主成成分分析法。

可选的，所述卷积神经网络的构建过程包括：

构建依次由第一卷积层、池化层、第二卷积层、池化层以及全连接层的卷积神经网络，其中，

所述第一卷积层的卷积核尺寸为5*5、有32个卷积核、步长为1的卷积层；

池化层的卷积核尺寸为2*2；

第二卷积层的卷积核尺寸为5*5、有64个卷积核、步长为1的卷积层。

本发明相比现有技术具有以下优点：

本发明针对以上问题，提出了一种老人面部表情的情感识别模型的训练方法及装置，利用小波包分解算法对表情图像进行多层小波包系数分解，分别提取多层小波包系数特征动态特征以及全局特征作为表情图像的特征向量，将特征向量作为卷积神经网络的输入，经过训练和识别得到情感分类的结果，相对于现有技术中采用人为固定的特征，本发明实施例提取的特征更加全面，因此，该方法训练出的老人面部表情的情感识别模型可以有效的提高人脸情感识别的准确率。

附图说明

图1为本发明实施例提供的一种老人面部表情的情感识别模型的训练方法的流程示意图；

图2为本发明实施例提供的一种老人面部表情的情感识别模型的训练方法的原理示意图；

图3为本发明实施例提供的一种小波包分解算法的原理示意图；

图4为本发明实施例提供的小波包分解算法中的二维小波包系数图；

图5为本发明实施例提供的小波包分解算法中人脸表情经过三层小波包分解后的图；

图6为本发明实施例中提供的一种卷积神经网络的结构示意图；

图7为本发明实施例提供的一种卷积神经网络处理过程中图像大小的变化流程图；

图8为本发明实施例提供的一种老人面部表情的情感识别模型的训练装置的结构示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明实施例提供了一种老人面部表情的情感识别模型的训练方法及装置，下面首先就本发明实施例提供的一种老人面部表情的情感识别模型的训练方法进行介绍。

实施例1

图1为本发明实施例提供的一种老人面部表情的情感识别模型的训练方法的流程示意图；图2为本发明实施例提供的一种老人面部表情的情感识别模型的训练方法的原理示意图，如图1和图2所示，所述方法包括：

S101：获取老人脸图像。

由于已有的人脸表情库大多是欧美的、日本的，而且文化、种族的差异对人脸表情存在一定的影响；再者，关于老人的表情库很少。

因此，本发明实施例中从网上下载的电视剧，如《空巢姥爷》，从该电视剧中截取老人人脸的图片，经过人工判断人物的情感类型，选择投票情感类型最多的为该人物的情感，以此来建立起自有的老人人脸表情库。

进一步的，随着年龄的增长，人脸逐渐呈现皱纹增加的老化状态。人脸老化是一种必然的、不可逆转的纹理与形状变化。纹理状态的改变使得一些表情变化的不够明显，老人的中性表情和悲伤表情的区别也不明显。因此，老人的表情库将分为开心、悲伤、惊讶、生气和厌恶五种情感。

在模型训练之前，对表情库中的图像进行归一化处理和对齐预处理。进行数据集预处理操作是为了减少由于光照、角度、采集环境的不同等因素对图像造成的影响，以此来去除图像的干扰信息，提高图像对比度。

应用本发明上述实施例，建立了针对我国老人的老人脸图像，用这些老人脸图像训练出的模型具有较高的针对性，可以进一步提高老人脸表情识别的准确率。

S102：针对每一张老人脸图像，进行一阶差分和二阶差分处理；再利用预设的小波包尺度函数获取小波包基函数，并根据所述小波包尺度函数以及小波包基函数，利用卷积算法，获取所述老人脸图像的小波包子带、一阶差分图像小波包子带和二阶差分图像的小波包子带；

人脸图像是一种非平稳的信号，通常包含长时低频(面部)和短时高频(边缘)不同尺度的特征。局部的时域信息包含了人脸图像的重要特征，如面部表情中眼睛、鼻子和嘴巴等感兴趣区域的轮廓大小和位置，在进行面部情感分类的时候起到很大作用。小波变换是一种多尺度分解的时频局部变换，可分析包含不同尺度的信号。在进行人脸表情识别中，小波变换对人脸信号的低频部分保留，忽略了信号高频部分的分析，而高频部分往往对人脸表情和姿态的变化比较敏感。小波包变换是小波变换的推广，可以对信号频带的低通分量和高通分量同时做分解，从而可聚焦到任意频段，对信号的分析能力更强。利用小波包分解进行老人表情识别，可以很好的提取老人表情特征。

小波包的定义

小波包分解对小波子空间按照二进制分式进行细分，以此达到提高高频率分辨率的目的。将尺度子空间V_j和小波子空间(小波函数的闭包)W_j用一个新的子空间

统一起来表征，若令：

式中：j∈Z。

则Hilbert空间的正交分解

即可用

的分解统一为：

定义子空间

是函数u_n(t)的闭包空间，而

是函数u_2n(t)的闭包空间，并令u_n(t)满足下面的双尺度方程：

式中：g(k)＝(-1)^kh(1-k)，即两系数也具有正交关系。

当n＝0时，(3)式直接变为：

由式(4)构造的序列{u_n(t)}称为由基函数

(

为尺度函数)确定的小波包。u₁(t)＝ψ(t)，其中，ψ(t)为小波基函数。

具体的，S102步骤可以包括：

21)、针对每一张老人脸图像，进行一阶差分和二阶差分处理，得到一阶差分图像和二阶差分图像，针对老人脸图像、一阶差分图像和二阶差分图像中的每一个图像，根据预设的小波尺度函数，利用公式，

获取对应的低通滤波器系数，其中，

h_n为低通滤波器系数；∫为不定积分；

为小波尺度函数；n∈k.

22)、根据所述低通滤波器与对应的高通滤波器的正交关系，获取的高通滤波器系数为：

其中，g(n)为高通滤波器系数；h_-n+1为。

23)、利用公式，

获取小波基函数，其中，

ψ(t)为小波基函数；

为尺度函数

24)、根据预先构建的小波包分解树图的结构，将第一次小波包分解的过程作为当前卷积过程；

25)、根据所述低通滤波器系数、高通滤波器系数以及老人脸图像中的行数据，利用卷积算法将当前次卷积的老人脸图像分解为第一级平滑逼近和细节逼近；

得到的第一级平滑逼近为：

其中，

f′_m+1(n)为当前次卷积得到的对应于老人脸的第一级平滑逼近，即高频信息；g(2n-k)为长度为2n-k的高频滤波器；f_m′(k)为老人脸图像的行数据；n∈z；k为整数。

26)、再利用对行变换后图像的列数据与低通滤波器和高通滤波器进行卷积运算，得到当前次卷积的第二级离散平滑逼近和离散细节逼近，分别为图像的低频分量和图像在水平方向、垂直方向和对角线上的高频细节；

得到的离散细节逼近为：

其中，

f_m+1(n)为离散细节逼近；∑为求和函数；h为低通滤波器；f_m(k)为老人脸图像的列数据。

需要说明的是，在步骤25)中的细节逼近与步骤26)中的离散细节逼近类似，二者均为卷积算法的输出结果区别仅在于由于输入数据的不同；类似的，在步骤25)中的第一级平滑逼近与步骤26)中的第二级离散平滑逼近类似，二者均为卷积算法的输出结果区别仅在于由于输入数据的不同。

对于一阶差分图像和二阶差分图像也按照上述方法进行处理，本发明实施例在此不再对其进行赘述。

27)、将当前次卷积得到的第二级平滑逼近以及第二级离散细节逼近分别作为老人脸原始图像中的行数据；将当前卷积过程的下一卷积过程作为当前卷积过程，并返回执行步骤25)，直至最后一个卷积过程；并将最后一次卷积中获取的第二级离散平滑逼近和离散细节逼近作为小波包子带。

在本发明实施例中，可以采用六层小波包分解算法进行图像特征信息的提取。图8为本发明实施例提供的一种老人面部表情的情感识别模型的训练装置的结构示意图图3为本发明实施例提供的一种小波包分解算法的原理示意图；图4为本发明实施例提供的小波包分解算法中的二维小波包系数图，如图4所示，一幅图像经过一层小波包分解之后形成四个子图像，子图LLj表示的是原始图像的低频分量，是原始图像在低分辨率的最佳逼近；子带HLj表示原始图像水平方向上的高频细节；子带LHj表示原始图像垂直方向的高频细节；子带HHj表示原始图像对角线上的高频细节。图4为图像的二层小波包分解树示意图。

图5为本发明实施例提供的小波包分解算法中人脸表情经过三层小波包分解后的图。本发明实施例中采用了小波基为Haar小波函数对表情图像进行6层分解，在第6级别有4096个小波包子带。

最后图像f(x，y)的分解结果如下：

其中，

利用尺度函数和小波函数的正交性，可得：

以及：

需要强调的是，前述公式仅仅为用于表征小波包子带，仅作为本发明实施例输出的结果，且为本领域常用的表征方式。

S103：对所述小波包子带的小波包系数进行统计处理，获取对应于各张老人脸图像的小波包子带所对应的小波包系数，形成目标特征向量，其中，特征向量包括：小波包系数的最小值、最大值、均值、方差以及中位数。

对所述原始图像进行差分处理，得到差分处理后的小波包系数，并对老人脸图像的原始信号以及差分处理后的小波包系数进行统计处理，得到统计结果，将所述统计结果进行组合得到对应于各张老人脸图像的小波包子带的特征向量；

利用降维算法将对应于各张老人脸图像的小波包子带的特征向量进行降维处理，得到目标特征向量，其中，所述降维算法包括：主成成分分析法。

在实际应用中，考虑到全局特征优于局部特征，本发明实施例进一步对原始图像信号进行一阶差分和二阶差分处理，并且分别计算原始图像信号、一阶差分和二阶差分的小波包系数的统计值，如最小值、最大值、均值、方差及中位数。将得到的统计值组成特征向量，计算得到61440维(4^6*5*3)小波包系数特征向量。由于得到的特征向量维度太大，本发明实施例中采用PCA(主成分分析法)降维的方法对特征向量进行降维，降维后的特征向量作为卷积神经网络的输入。

S104：将目标特征项向量以及对应的表情标签值输入到预先构建的卷积神经网络模型中，训练所述卷积神经网络模型至收敛，得到训练后的老人面部表情的情感识别模型，其中，所述卷积神经网络包括：若干层卷积层、池化层、全连接层以及输出层。

图6为本发明实施例中提供的一种卷积神经网络的结构示意图，如图6所示，可以构建依次由第一卷积层、池化层、第二卷积层、池化层以及全连接层的卷积神经网络，其中，

所述第一卷积层的卷积核尺寸为5*5、有32个卷积核、步长为1的卷积层；

池化层的卷积核尺寸为2*2；

第二卷积层的卷积核尺寸为5*5、有64个卷积核、步长为1的卷积层。

输出层最终采用softmax函数，以交叉熵作为优化目标的网络结构。在前向传播阶段中，设定X为得到的特征向量，y为对应的情感类别标签。特征向量X作为输入，通过当前层的激活函数计算得到的输出，都将作为下一层的输入。最后在Softmax层的输出得到的是一个7维向量，每一维向量都代表这X所对应类别的概率。经过前向传播计算输出，使用反向传播在训练过程中调整权重和偏置，来更新网络模型。通过比较所述权值初始值与期望值，计算出误差，然后进行误差的反向传播，由Softmax层开始逐层计算各层神经元的输出误差，根据误差梯度下降法来调节各层的权值和阈值，使卷积神经网络的最终输出能接近期望值。

图7为本发明实施例提供的一种卷积神经网络处理过程中图像大小的变化流程图，如图7所示，随着卷积的进行图像的大小不断变小，但是特征的维度不断升高。

应用本发明图1所示实施例，利用小波包分解算法对表情图像进行多层小波包系数分解，分别提取多层小波包系数特征动态特征以及全局特征作为表情图像的特征向量，将特征向量作为卷积神经网络的输入，经过训练和识别得到情感分类的结果，相对于现有技术中采用人为固定的特征，本发明实施例提取的特征更加全面，因此，该方法训练出的老人面部表情的情感识别模型可以有效的提高人脸情感识别的准确率。

而且，本发明提出表情特征的6层小波包系数模型，分别提取原始图像、一阶差分和二阶差分图像的6层小波包系数特征动态特征以及全局特征(最大值、最小值、平均值、中值和方差)，应用于老人表情识别。相比于传统的特征，该方法提出的特征不仅具有较强的鲁棒性，还可以有效的提高人脸情感识别的准确率。将小波包分解和神经网络相结合进行情感识别，这种基于多分类器联合的方法不仅能够有效的减少训练时间和降低学习复杂性，而且能克服了隐层节点难选择的问题和优化了网络结构。

实施例2

本发明实施例2在本发明实施例1的基础上增加了以下步骤：

获取待识别老人脸图像，并利用训练后的老人面部表情的情感识别模型识别所述待识别老人脸图像。

可以将本发明实施例应用到智能家居和医学辅助治疗方面，可以为老人提供实时检测情感状态的途径，也为空巢家庭带来了方便。

实施例3

与本发明图1所示实施例1相对应，本发明实施例还提供了一种老人面部表情的情感识别模型的训练装置。

图8为本发明实施例提供的一种老人面部表情的情感识别模型的训练装置的结构示意图，如图8所示，所述装置包括：

获取模块801，用于获取老人脸图像；

针对每一张老人脸图像，进行一阶差分和二阶差分处理；再利用预设的小波包尺度函数获取小波包基函数，并根据所述小波包尺度函数以及小波包基函数，利用卷积算法，获取所述老人脸图像的小波包子带、一阶差分图像小波包子带和二阶差分图像的小波包子带；

对各个小波包子带的小波包系数进行统计处理，获取对应于各张老人脸图像的小波包子带的所对应的小波包系数，形成目标特征向量，其中，特征向量包括：小波包系数的最小值、最大值、均值、方差以及中位数；

训练模块802，用于将目标特征项向量以及对应的表情标签值输入到预先构建的卷积神经网络模型中，训练所述卷积神经网络模型至收敛，得到训练后的老人面部表情的情感识别模型，其中，所述卷积神经网络包括：若干层卷积层、池化层、全连接层以及输出层。

应用本发明图1所示实施例，利用小波包分解算法对表情图像进行多层小波包系数分解，分别提取多层小波包系数特征动态特征以及全局特征作为表情图像的特征向量，将特征向量作为卷积神经网络的输入，经过训练和识别得到情感分类的结果，相对于现有技术中采用人为固定的特征，本发明实施例提取的特征更加全面，因此，该方法训练出的老人面部表情的情感识别模型可以有效的提高人脸情感识别的准确率。

在本发明实施例的一种具体实施方式中，所述装置还包括：

识别模块，用于获取待识别老人脸图像，并利用训练后的老人面部表情的情感识别模型识别所述待识别老人脸图像所属情感类别。

在本发明实施例的一种具体实施方式中，所述获取模块801，用于：

21)、针对每一张老人脸图像，进行一阶差分和二阶差分处理，得到一阶差分图像和二阶差分图像，针对老人脸图像、一阶差分图像和二阶差分图像中的每一个图像，根据预设的小波尺度函数，利用公式，

获取对应的低通滤波器系数，其中，

h_n为低通滤波器系数；∫为不定积分；

为小波尺度函数；n∈k；

22)、根据所述低通滤波器与对应的高通滤波器的正交关系，获取的高通滤波器系数为：

其中，g(n)为高通滤波器系数；

23)、利用公式，

获取小波基函数，其中，

ψ(t)为小波基函数；

为尺度函数；

24)、根据预先构建的小波包分解树图的结构，将第一次小波包分解的过程作为当前卷积过程；

25)、根据所述低通滤波器系数、高通滤波器系数以及老人脸图像中的行数据，利用卷积算法将当前次卷积的老人脸图像分解为第一级平滑逼近和细节逼近；

26)、再利用对行变换后图像的列数据与低通滤波器和高通滤波器进行卷积运算，得到第二级离散平滑逼近和离散细节逼近，分别为图像的低频分量和图像在水平方向、垂直方向和对角线上的高频细节；

27)、将当前次卷积得到的第二级离散平滑逼近以及第二级离散细节逼近分别作为老人脸原始图像中的行数据；将当前卷积过程的下一卷积过程作为当前卷积过程，并返回执行步骤25)，直至最后一个卷积过程；并将最后一次卷积中获取的第二级离散平滑逼近和离散细节逼近作为小波包子带。

在本发明实施例的一种具体实施方式中，所述获取模块801，用于：

对所述原始图像进行差分处理，再得到原始图像和差分处理后图像的小波包系数，并对老人脸图像的原始信号以及差分处理后的小波包系数进行统计处理，得到统计结果，将所述统计结果进行组合得到对应于各张老人脸图像的小波包子带的特征向量；

利用降维算法将对应于各张老人脸图像的小波包子带的特征向量进行降维处理，得到目标特征向量，其中，所述降维算法包括：主成成分分析法。

在本发明实施例的一种具体实施方式中，所述卷积神经网络的构建过程包括：

构建依次由第一卷积层、池化层、第二卷积层、池化层以及全连接层的卷积神经网络，其中，

所述第一卷积层的卷积核尺寸为5*5、有32个卷积核、步长为1的卷积层；

池化层的卷积核尺寸为2*2；

第二卷积层的卷积核尺寸为5*5、有64个卷积核、步长为1的卷积层。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种老人面部表情的情感识别模型的训练方法，其特征在于，所述方法包括：

1)、获取老人脸图像；

2)、针对每一张老人脸图像，进行一阶差分和二阶差分处理；再利用预设的小波包尺度函数获取小波包基函数，并根据所述小波包尺度函数以及小波包基函数，利用卷积算法，获取所述老人脸图像的小波包子带、一阶差分图像小波包子带和二阶差分图像的小波包子带；

3)、对各个小波包子带的小波包系数进行统计处理，获取对应于各张老人脸图像的小波包子带的所对应的小波包系数，形成目标特征向量，其中，特征向量包括：小波包系数的最小值、最大值、均值、方差以及中位数；

4)、将目标特征项向量以及对应的表情标签值输入到预先构建的卷积神经网络模型中，训练所述卷积神经网络模型至收敛，得到训练后的老人面部表情的情感识别模型，其中，所述卷积神经网络包括：若干层卷积层、池化层、全连接层以及输出层。

2.根据权利要求1所述的一种老人面部表情的情感识别模型的训练方法，其特征在于，所述方法还包括：

获取待识别老人脸图像，并利用训练后的老人面部表情的情感识别模型识别所述待识别老人脸图像。

3.根据权利要求1所述的一种老人面部表情的情感识别模型的训练方法，其特征在于，所述步骤2)，包括：

21)、针对每一张老人脸图像，进行一阶差分和二阶差分处理，得到一阶差分图像和二阶差分图像，针对老人脸图像、一阶差分图像和二阶差分图像中的每一个图像，根据预设的小波尺度函数，利用公式，

获取对应的低通滤波器系数，其中，

h_n为低通滤波器系数；∫为不定积分；

为小波尺度函数；n∈k；

22)、根据所述低通滤波器与对应的高通滤波器的正交关系，获取的高通滤波器系数为：

其中，g(n)为高通滤波器系数；

23)、利用公式，

获取小波基函数，其中，

ψ(t)为小波基函数；

为尺度函数；

24)、根据预先构建的小波包分解树图的结构，将第一次小波包分解的过程作为当前卷积过程；

25)、根据所述低通滤波器系数、高通滤波器系数以及老人脸图像中的行数据，利用卷积算法将当前次卷积的老人脸图像分解为第一级平滑逼近和细节逼近；

26)、再利用对行变换后图像的列数据与低通滤波器和高通滤波器进行卷积运算，得到第二级离散平滑逼近和离散细节逼近，分别为图像的低频分量和图像在水平方向、垂直方向和对角线上的高频细节；

27)、将当前次卷积得到的第二级离散平滑逼近以及第二级离散细节逼近分别作为老人脸原始图像中的行数据；将当前卷积过程的下一卷积过程作为当前卷积过程，并返回执行步骤25)，直至最后一个卷积过程；并将最后一次卷积中获取的第二级离散平滑逼近和离散细节逼近作为小波包子带。

4.根据权利要求1所述的一种老人面部表情的情感识别模型的训练方法，其特征在于，所述步骤3)，包括：

对所述原始图像进行差分处理，再得到原始图像和差分处理后图像的小波包系数，并对老人脸图像的原始信号以及差分处理后的小波包系数进行统计处理，得到统计结果，将所述统计结果进行组合得到对应于各张老人脸图像的小波包子带的特征向量；

利用降维算法将对应于各张老人脸图像的小波包子带的特征向量进行降维处理，得到目标特征向量，其中，所述降维算法包括：主成成分分析法。

5.根据权利要求1所述的一种老人面部表情的情感识别模型的训练方法，其特征在于，所述卷积神经网络的构建过程包括：

构建依次由第一卷积层、池化层、第二卷积层、池化层以及全连接层的卷积神经网络，其中，

所述第一卷积层的卷积核尺寸为5*5、有32个卷积核、步长为1的卷积层；

池化层的卷积核尺寸为2*2；

第二卷积层的卷积核尺寸为5*5、有64个卷积核、步长为1的卷积层。

6.一种老人面部表情的情感识别模型的训练装置，其特征在于，所述装置包括：

获取模块，用于获取老人脸图像；

针对每一张老人脸图像，进行一阶差分和二阶差分处理；再利用预设的小波包尺度函数获取小波包基函数，并根据所述小波包尺度函数以及小波包基函数，利用卷积算法，获取所述老人脸图像的小波包子带、一阶差分图像小波包子带和二阶差分图像的小波包子带；

对各个小波包子带的小波包系数进行统计处理，获取对应于各张老人脸图像的小波包子带的所对应的小波包系数，形成目标特征向量，其中，特征向量包括：小波包系数的最小值、最大值、均值、方差以及中位数；

训练模块，用于将目标特征项向量以及对应的表情标签值输入到预先构建的卷积神经网络模型中，训练所述卷积神经网络模型至收敛，得到训练后的老人面部表情的情感识别模型，其中，所述卷积神经网络包括：若干层卷积层、池化层、全连接层以及输出层。

7.根据权利要求6所述的一种老人面部表情的情感识别模型的训练装置，其特征在于，所述装置还包括：

识别模块，用于获取待识别老人脸图像，并利用训练后的老人面部表情的情感识别模型识别所述待识别老人脸图像的情感类别。

8.根据权利要求6所述的一种老人面部表情的情感识别模型的训练装置，其特征在于，所述获取模块，用于：

21)、针对每一张老人脸图像，进行一阶差分和二阶差分处理，得到一阶差分图像和二阶差分图像，针对老人脸图像、一阶差分图像和二阶差分图像中的每一个图像，根据预设的小波尺度函数，利用公式，

获取对应的低通滤波器系数，其中，

h_n为低通滤波器系数；∫为不定积分；

为小波尺度函数；n∈k；

22)、根据所述低通滤波器与对应的高通滤波器的正交关系，获取的高通滤波器系数为：

其中，g(n)为高通滤波器系数；

23)、利用公式，

获取小波基函数，其中，

ψ(t)为小波基函数；

为尺度函数；

24)、根据预先构建的小波包分解树图的结构，将第一次小波包分解的过程作为当前卷积过程；

25)、根据所述低通滤波器系数、高通滤波器系数以及老人脸图像中的行数据，利用卷积算法将当前次卷积的老人脸图像分解为第一级平滑逼近和细节逼近；

26)、再利用对行变换后图像的列数据与低通滤波器和高通滤波器进行卷积运算，得到第二级离散平滑逼近和离散细节逼近，分别为图像的低频分量和图像在水平方向、垂直方向和对角线上的高频细节；

27)、将当前次卷积得到的第二级离散平滑逼近以及第二级离散细节逼近分别作为老人脸原始图像中的行数据；将当前卷积过程的下一卷积过程作为当前卷积过程，并返回执行步骤25)，直至最后一个卷积过程；并将最后一次卷积中获取的第二级离散平滑逼近和离散细节逼近作为小波包子带。

9.根据权利要求6所述的一种老人面部表情的情感识别模型的训练装置，其特征在于，所述获取模块，用于：

对所述原始图像进行差分处理，得到差分处理后的小波包系数，并对老人脸图像的原始信号以及差分处理后的小波包系数进行统计处理，得到统计结果，将所述统计结果进行组合得到对应于各张老人脸图像的小波包子带的特征向量；

利用降维算法将对应于各张老人脸图像的小波包子带的特征向量进行降维处理，得到目标特征向量，其中，所述降维算法包括：主成成分分析法。

10.根据权利要求6所述的一种老人面部表情的情感识别模型的训练装置，其特征在于，所述卷积神经网络的构建过程包括：

构建依次由第一卷积层、池化层、第二卷积层、池化层以及全连接层的卷积神经网络，其中，

所述第一卷积层的卷积核尺寸为5*5、有32个卷积核、步长为1的卷积层；

池化层的卷积核尺寸为2*2；

第二卷积层的卷积核尺寸为5*5、有64个卷积核、步长为1的卷积层。

Images