CN108537194A - 一种基于深度学习和svm的肝豆状核变性患者的表情识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习和SVM的肝豆状核变性患者的表情识别方法，包括如下步骤：检测倾斜的人脸图像并进行旋转校正；对表情分布丰富的区域进行裁剪；通过直方图均衡化对表情图像进行处理，增强图像对比度；通过计算局部二值模式LBP以描述人脸图像局部纹理特征，得到区域特征向量；通过PCA算法使用线性变换矩阵对所述区域特征向量进行降维，得到低维Gabor特征向量；通过支持向量机SVM对表情进行分类。本发明通过将人脸识别技术与患者病情的评估与康复有机结合，实现计算机辅助的自动化障碍评估与康复，不仅可以辅助医生诊断、治疗，也可用于患者自行诊断，对于患者发现病情并及时掌握病情的发展有极大的帮助。

Description

一种基于深度学习和SVM的肝豆状核变性患者的表情识别 方法

技术领域

本发明属于人脸表情识别系统技术领域，特别是涉及一种基于深度学习和SVM的肝豆状核变性患者的表情识别方法。

背景技术

关于面部表情加工过程的研究最初是使用具体面部肌肉结构来区分面部表情，研究表明面部表情是情绪活动所特有的外显表现，是人际交往的重要工具，也是研究情绪的重要客观指标，在漫长的演化过程中逐渐发展成表达情绪的固定的面部肌肉模式，表情是动物和人类进化过程中适应性的动作遗迹，属于集体潜意识范畴，对动物的生存有重要价值，并且这种功能在生物所处环境中得到进一步发展。

肝豆状核变性(hepatolenticulardegeneration，HLD)由Wilson在1912年首先描述，故又称为Wilson病(WilsonDisease,WD)。是一种常染色体隐性遗传的铜代谢障碍性疾病，以铜代谢障碍引起的肝硬化、基底节损害为主的脑变性疾病为特点。由于铜在细胞和组织内的慢性沉积，其病理变化主要在肝、脑、肾和角膜，其中脑、肝及角膜的含铜量明显高于其他组织。HLD患者自出生后不久，铜离子便开始逐渐沉积于脑，尤其好侵犯豆状核(苍白球、壳核)及丘脑等部位。一般在5岁以后，出现以锥体外系统损害为主的极为复杂、形式多样的神经症状。神经系统症状是最常见的出发症状，大多于7～30岁间出现。本病在疾病初期或病程中可出现一项或多项锥体外系症状或其他神经症状，在情绪活动中，人的面部、体姿和语音、语调会发生一系列明显的变化，例如，面红耳赤、目瞪口呆、手舞足蹈、语无伦次等等。这些变化因为可被他人直接观察到，往往成为情绪活动的表征，所统称为“表情”。表情是情绪活动所特有的外显表现，是人际交往的重要方式，也是研究情绪的重要客观指标。它包括面部表情、姿态表情和语调表情。其中最引人关注，也是非常重要的表情就肉、颜面肌肉和口部肌肉的变化来表现情绪状态。面部表情的重要性，在于它是人类情绪最为明显的外显形式，是人际交往中传递情绪的主要媒介。面部表情为人际交流提供了一条迅速、有效的通道，使得个体情绪不需要依赖言语和肢体动作就能准确地被传递出来。

表情信息采样过程中，系统的抗噪性能需要适应环境变化，需要较高的鲁棒性。现有技术中也有一些人脸识别样本采集工作是基于视频方式的。比如，用摄像机在某一定点拍摄视频，样本采集工作者在后台截取视频中含有人脸的图像帧，然后对含有人脸的图像帧根据姿态、光照、表情等进行识别，将符合的图像帧放入人脸识别样本库。这种基于视频方式的样本采集技术，不需要受试者依次有序的处于拍摄点进行多次拍摄，但是还是需要样本采集工作者手动选取含有人脸的图像帧，并人工查验该图像帧是否达到识别标准，再进行样本整理。

发明内容

本发明的目的在于提供一种基于深度学习和SVM的肝豆状核变性患者的表情识别方法，通过将人脸识别技术与患者病情的评估与康复有机结合，将人工智能应用到临床医学中，实现计算机辅助的自动化障碍评估与康复，不仅可以辅助医生诊断、治疗，也可用于患者自行诊断，对于患者发现病情并及时掌握病情的发展有极大的帮助，具有很高的临床实用价值、社会价值和现实意义。

本发明的目的可以通过以下技术方案实现：

一种基于深度学习和SVM的肝豆状核变性患者的表情识别方法，包括如下步骤：

S1、获取人脸图像；

S2、检测图像信息中包含的噪声，通过采集语音的起始端点和结束端点将噪声去除；

S3、基于人脸对称性的人脸分割方法对图像进行处理，确定图像中的面部范围；

S4、获取面部图像并判断是否人脸图像，若所述面部图像为人脸图像，继续执行S5，否则，排除图像信息；

S5、检测倾斜的人脸图像并进行旋转校正；

S6、对表情分布丰富的区域进行裁剪；

S7、通过直方图均衡化对表情图像进行处理，增强图像对比度；

S8、通过计算局部二值模式LBP以描述人脸图像局部纹理特征，得到区域特征向量；

S9、通过PCA算法使用线性变换矩阵对所述区域特征向量进行降维，得到低维Gabor特征向量；

S10、通过支持向量机SVM对表情进行分类。

进一步地，所述S5中倾斜校正单元根据旋转公式对人脸图像进行校正，旋转公式为：

其中，(x，y，1)为原图像中的单个像素位置，θ为以原点为中心顺时针旋转角度，(x'，y′，1)为旋转后的单个像素位置。

进一步地，所述S8中LBP通过将各个像素与附近的像素进行比较，并把结果保存为二进制数得到LBP算子。

进一步地，生成LBP算子包括如下步骤：

A1、将窗口分割成多个小方格；

A2、对于每个方格中的像素，比较和它相邻的8个小方格像素值，相邻的方格比中心方格像素值小，则该位置设置为0，相邻的方格比中心方格像素值大，则该位置设置为1；

A3、将所有相邻窗口二进制的值按顺时针组合而成的二进制的值作为窗口中心小方格的LBP值；

A4、计算每个区域的直方图并进行直方图均衡化；

A5、将所有区域的直方图连接起来就是整个区域的特征向量。

本发明的有益效果：

本发明通过将人脸识别技术与患者病情的评估与康复有机结合，将人工智能应用到临床医学中，实现计算机辅助的自动化障碍评估与康复，不仅可以辅助医生诊断、治疗，也可用于患者自行诊断，对于患者发现病情并及时掌握病情的发展有极大的帮助，具有很高的临床实用价值、社会价值和现实意义。

本发明通过对患者的面部表情进行图像样本的预处理操作，采用Gabor滤波器以及局部二值模型LBP描述算子以及主成分分析PCA，Fisher线性判断等，通过特征提取获取不同表情之间有差异且容易处理的数据。对提取到的特征表情进行分类通过理论分析和数值分析，结合临床研究，讨论如何对WD患者的病情进行分类分级识别，并对患者表情库进行更新与设定，对WD患者的整体数据库进行扩充与维护，便于医生对疗效的掌握，对指导医生改进治疗方法等方面具有重大的意义，在临床研究中具有重要且深远的意义。

同时，LBP是一个简单但非常有效的纹理运算符，它将各个像素与其附近的像素进行比较，并把结果保存为二进制数，LBP在不同的场景下得到广泛的应用，它具有旋转不变性和灰度不变性等显著的优点，对诸如光照变化等造成的灰度变化的鲁棒性。

附图说明

下面结合附图和具体实施例对本发明作进一步详细描述。

图1是本发明流程示意图。

图2是本发明LBP操作示意图。

图3是本发明LBP空间模型示意图。

图4是本发明RBM子模块示意图。

图5是本发明多层自动编码示意图。

具体实施方式

一种基于深度学习和SVM的肝豆状核变性患者的表情识别方法，如图1所示，包括如下步骤：

S1、图片输入单元获取人脸图像，并将人脸图像传输至端点检测单元；

S2、端点检测单元检测图像信息中包含的噪声，通过采集语音的起始端点和结束端点将噪声去除，并将去噪后的图像传输至参数提取单元；

S3、参数提取单元基于人脸对称性的人脸分割方法对图像进行处理，确定图像中的面部范围，得到面部图像并输送至人脸检测单元；

S4、人脸检测单元获取面部图像并判断是否人脸图像，若所述面部图像为人脸图像，人脸检测单元将图像信息发送至倾斜校正单元，否则，排除图像信息；

S5、倾斜校正单元通过旋转操作对倾斜的人脸图像进行校正，并将校正后的图像传输至几何归一化单元；

较优的，表情库中的部分图像由于采集的原因，有一定程度的旋转，比如双眼没有在同一水平线上，通常可以利用旋转操作对这些图像进行预处理；

具体的，倾斜校正单元根据旋转公式对人脸图像进行校正，其中旋转公式为：

其中，(x，y，1)为原图像中的单个像素位置，θ为以原点为中心顺时针旋转角度，(x'，y′，1)为旋转后的单个像素位置；

S6、几何归一化单元对表情图像进行裁剪，获得表情分布比较丰富的区域，并将表情图像输送至光照归一化单元；

较优的，表情库中的图像包含背景噪声、头发等冗余信息，若将这些信息作为输入提取表情特征，必将影响分类的效果；

本实施例中，将表情库图像裁剪成144*127大小的区域；

S7、光照归一化单元通过直方图均衡化对表情图像进行处理，增强图像对比度，消除光照不均匀对表情特征提取的影响，并将处理后的图像传输至LBP特征提取单元；

具体的，光照归一化单元将原始图像中的灰度级都映射到新的灰度级，公式为

s＝T(r)

其中，r为原图像中的灰度级，s为新的灰度级；

其中映射函数T(r)满足以下条件：

T(r)在0≤T(r)≤1区间单调增加，当0≤r≤1时，0≤r≤1；

并计算图像中灰度级出现的概率P_r(r_k)：

其中，n为图像中像素的总个数，n_k为灰度级为k的像素的数量，L为灰度级总数；

根据每个灰度级出现的概率，直方图均衡化的映射函数为：

离散形式为：

S8、LBP特征提取单元通过计算局部二值模式LBP以描述人脸图像局部纹理特征，得到区域特征向量，并将特征向量发送至PCA单元；

较优的，LBP通过将各个像素与其附近的像素进行比较，并把结果保存为二进制数；

具体的，生成LBP算子包括如下步骤：

1、将窗口分割成的小方格；

2、对于每个方格中的像素，比较和它相邻的8个小方格像素值，若相邻的某个方格比中心方格像素值小，则该位置设置为0，若相邻的某个方格比中心方格像素值大，则该位置设置为1；

3、将所有相邻窗口二进制的值按顺时针组合而成的二进制的值作为窗口中心小方格的LBP值；

4、计算每个区域的直方图并进行直方图均衡化，较优的，人脸图像被划分成一个或多个区域；

5、将所有区域的直方图连接起来就是整个区域的特征向量；

本实施例中，一个3x3邻域中LBP操作如图2所示，首先根据所述旋转公式计算得到点x一个二进制数，即局部二值模型，具体计算公式如下：

其中m是以(P，R)限定的邻域数目，p为抽样点数，R为半径；

较优的，局部二值模型(LBP)操作可以被用来描述图像的纹理与形状，例如当考虑诸如眼球、瞳孔、鼻子等人脸成分时，保存人脸成分的形状信息的8个主要LBP空间模型如图3所示；

本实施例中，通过标记LBP，其中下标表示在(P，R)邻域内使用操作，上标代表仅使用空间模型用f_i(x，y)标识；

通过将人脸区域被分成小的区域，在这些小的区域计算标识图f_i(x，y)的直方图：

其中是由LBP操作产生不同标识的数目且

较优的，所述直方图中包含的信息有局部微模型的分布，比如在整个图片中的点、线、边缘、拐点和平面区域，它具有表示空间信息的能力；

本实施例中，将人脸区域分为49个区域，每块区域中所有非f_i(x，y)用一个符号标记，共包含p(p-1)+3个统计项，因此对于一个划分为49个小区域，八抽样点圆形邻域的图片，应包含有2891统计项；

较优的，LBP代码无法计算图片中距边缘为R的区域像素，所以必须对这些区域的像素做特殊处理，具体的，对于一个N×M的图片特征向量是通过计算包含于x_c∈{R+1,···,N-R},y_c∈{R+1,···,M-R}中的每个像素点{x_c,y_c}构成的，如果一张图片划分为k×k个区域，那么对区域(k_x，k_y)(其中k_x∈{1,…,k},k_y∈{1,…,k})可以定义成：

其中L是统计项i的标记I{A}；

S9、PCA单元通过PCA算法使用线性变换矩阵对所述区域特征向量进行降维，得到低维Gabor特征向量，并通过特征向量单元输出至表情分类模块，表情分类模块通过支持向量机SVM对表情进行分类；

具体的，包括如下步骤：

1、设置超平面，所述超平面在保证分类精度的同时最大化超平面两侧的空白区域；

2、对于一个有标签的训练集M(x_i,y_i),x_i∈R_N,y_i是相应的标签(y_i∈{-1,1})，判别函数为：

其中，k(x，x_i)是核函数，b是偏移量，f(x)是成员的类别，通过计算得到所有的非零α_i；

较优的，对于线性SVM，系统寻找一个最小维度的线性函数；而对于非线性SVM核函数则是将输入空间数据通过非线性映射函数映射到高维属性空间：Φ:R^N→F^M，其中，M＞＞N，然后在F中构建超平面，所述核函数需要满足：

k(x,x_i)＝Φ(x)·Φ(x_i)

其中Φ是非线性投影函数。

本发明的一个具体实施方式包括如下步骤：

A1、进行非监督预训练；

受限波尔兹曼机(RBM)单元组成多层自动编码器，较优的，RBM为神经网络，可视层和隐层单元彼此相互连接，层内无连接，如图4所示；

具体的，预训练采用无监督贪心逐层方式，隐层激活单元和可视输入单元的关联差异形成了权值更新的基础；

其中，RBM训练算法如下：

步骤1、由式(11a)计算Q(h_1i＝1|x₁)，并从Q(h_1i＝1|x₁)中采样h_1i∈{0,1}；

步骤2、由式(11b)计算Q(x_2i＝1|h₁)，并从P(x_2i＝1|h₁)中采样x_2i∈{0,1}；

步骤3、计算Q(h_2i＝1|x₂)并按下式更新权值：

W←W+ε(h₁x₁-Q(h₂＝1|x₂)x'₂)

b←b+ε(x₁-x₂)

c←c+ε(h₁-Q(h₂＝1|x₂))

A2、组建多层自动编码器

将训练完成的RBM子模块分解，构建自动编码器，如图5所示；

A3、进行监督式精雕训练

当多层编码器应用于分类任务时，生成性的预训练可结合其它典型的区分性学习算法将所有权值进行优化。

本发明通过对患者的面部表情进行图像样本的预处理操作，采用Gabor滤波器以及局部二值模型LBP描述算子以及主成分分析PCA，Fisher线性判断等，通过特征提取获取不同表情之间有差异且容易处理的数据。对提取到的特征表情进行分类通过理论分析和数值分析，结合临床研究，讨论如何对WD患者的病情进行分类分级识别，并对患者表情库进行更新与设定，对WD患者的整体数据库进行扩充与维护，便于医生对疗效的掌握，对指导医生改进治疗方法等方面具有重大的意义，在临床研究中具有重要且深远的意义。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (4)

1.一种基于深度学习和SVM的肝豆状核变性患者的表情识别方法，其特征在于，包括如下步骤：

S1、获取人脸图像；

S2、检测图像信息中包含的噪声，通过采集语音的起始端点和结束端点将噪声去除；

S3、基于人脸对称性的人脸分割方法对图像进行处理，确定图像中的面部范围；

S4、获取面部图像并判断是否人脸图像，若所述面部图像为人脸图像，继续执行S5，否则，排除图像信息；

S5、检测倾斜的人脸图像并进行旋转校正；

S6、对表情分布丰富的区域进行裁剪；

S7、通过直方图均衡化对表情图像进行处理，增强图像对比度；

S8、通过计算局部二值模式LBP以描述人脸图像局部纹理特征，得到区域特征向量；

S9、通过PCA算法使用线性变换矩阵对所述区域特征向量进行降维，得到低维Gabor特征向量；

S10、通过支持向量机SVM对表情进行分类。

2.根据权利要求1所述的一种基于深度学习和SVM的肝豆状核变性患者的表情识别方法，其特征在于：所述S5中倾斜校正单元根据旋转公式对人脸图像进行校正，旋转公式为：

其中，(x，y，1)为原图像中的单个像素位置，θ为以原点为中心顺时针旋转角度，(x'，y′，1)为旋转后的单个像素位置。

3.根据权利要求1所述的一种基于深度学习和SVM的肝豆状核变性患者的表情识别方法，其特征在于：所述S8中LBP通过将各个像素与附近的像素进行比较，并把结果保存为二进制数得到LBP算子。

4.根据权利要求3所述的一种基于深度学习和SVM的肝豆状核变性患者的表情识别方法，其特征在于：生成LBP算子包括如下步骤：

A1、将窗口分割成多个小方格；

A2、对于每个方格中的像素，比较和它相邻的8个小方格像素值，相邻的方格比中心方格像素值小，则该位置设置为0，相邻的方格比中心方格像素值大，则该位置设置为1；

A3、将所有相邻窗口二进制的值按顺时针组合而成的二进制的值作为窗口中心小方格的LBP值；

A4、计算每个区域的直方图并进行直方图均衡化；

A5、将所有区域的直方图连接起来就是整个区域的特征向量。