CN108564042A - 一种基于肝豆状核变性患者的人脸表情识别系统 - Google Patents

Abstract

本发明公开了一种基于肝豆状核变性患者的人脸表情识别系统，倾斜校正单元通过旋转操作对倾斜的人脸图像进行校正；几何归一化单元对表情图像进行裁剪，获得表情分布丰富的区域；光照归一化单元用于增强图像对比度，光照归一化单元通过直方图均衡化对表情图像进行处理；LBP特征提取单元通过计算局部二值模式LBP用来描述人脸图像局部纹理特征；表情分类模块通过支持向量机SVM对表情进行分类。本发明通过将人脸识别技术与患者病情的评估与康复有机结合，实现计算机辅助的自动化障碍评估与康复，不仅可以辅助医生诊断、治疗，也可用于患者自行诊断，对于患者发现病情并及时掌握病情的发展有极大的帮助，具有很高的临床实用价值、社会价值和现实意义。

Description

一种基于肝豆状核变性患者的人脸表情识别系统

技术领域

本发明属于人脸表情识别系统技术领域，特别是涉及一种基于肝豆状核变性患者的人脸表情识别系统。

背景技术

近年来计算机科学与技术的飞速发展与进步，为人工智能与模式识别技术的迅猛发展创造了良好的先决条件，也为人机交互技术的高速进步奠定了良好的基础。利用人类固有的静态外观特征或者动态行为特征识别人类自身的生物特征识别技术，逐渐受到了研究者们的关注。生物特征的识别一般包括面部表情识别、虹膜识别、指纹识别、手形识别等方面，尤其是人的面部表情识别在实际工作与生活中应用广泛，例如在临床医学中，表情识别技术可以辅助医生了解病人身体状况的变化、诊断病症等。

肝豆状核变性(hepatolenticular degeneration，HLD)患者神经系统表现一般出现在12-30岁患者，平均年龄约19岁，常缓慢发展，可有阶段性缓解或加重，亦有进展迅速者，特别是年轻患者。突出的神经系统临床表现是锥体外系症状，表现为肢体舞蹈样及手足徐动样动作，肌张力障碍，怪异表情，静止性、意向性或姿势性震颤，肌强直，运动迟缓，构音障碍，吞咽困难，屈曲姿势及慌张步态等。

深度结构化学习已经成为机器学习研究的新领域，研究表明多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类，深度神经网络在训练上的难度，可以通过“逐层初始化”来有效克服，逐层初始化可通过无监督学习实现的。在过去的这几年中，深度学习的开发技术对传统的信号与信息处理研究产生了广泛的影响，更广泛的来看，也包括机器学习和人工智能等重要领域。

当前多数分类、回归等学习方法为浅层结构算法，其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。深度学习能够得到更好地表示数据的特征，同时由于模型的层次、参数很多，容量足够，因此，模型有能力表示大规模数据，所以对于图像这种特征不明显的问题，能够在大规模训练数据上取得更好的效果。此外，从模式识别特征和分类器的角度，深度学习框架将特征和分类器结合到一个框架中，用数据去学习特征，在使用中减少了手工设计特征的巨大工作量，因此，不仅效果可以更好，而且使用起来也有很多方便之处，是机器学习领域十分值得关注的一套框架。

同时，人脸识别样本采集工作以往都是基于图像的方式。比如，先让受试者依次有序的处于某个拍摄点；然后，样本采集工作者根据姿态、光照、表情等差异对受试者进行多次拍摄；最后，样本采集工作者根据拍摄得到的图像进行筛选处理，建立人脸识别样本库。这种基于图像的方式虽然直观，但仍然存在三点不足:第一，让大量的受试者依次有序的处于拍摄点进行多次拍照，这种做法十分耗时耗力；第二，人脸识别对人脸样本在分辨率上有严格的要求，因此，拍摄的图像能否达到识别标准，尚须要样本采集工作者一一查验。

发明内容

本发明的目的在于提供一种基于肝豆状核变性患者的人脸表情识别系统，通过将人脸识别技术与患者病情的评估与康复有机结合，将人工智能应用到临床医学中，实现计算机辅助的自动化障碍评估与康复，不仅可以辅助医生诊断、治疗，也可用于患者自行诊断，对于患者发现病情并及时掌握病情的发展有极大的帮助，具有很高的临床实用价值、社会价值和现实意义。

本发明的目的可以通过以下技术方案实现：

一种基于肝豆状核变性患者的人脸表情识别系统，包括人脸特征提取模块、表情分类模块；

所述人脸特征提取模块包括倾斜校正单元、光照归一化单元、几何归一化单元、LBP特征提取单元、PCA单元和特征向量单元；

所述倾斜校正单元通过旋转操作对倾斜的人脸图像进行校正；

所述几何归一化单元对表情图像进行裁剪，获得表情分布丰富的区域；

所述光照归一化单元用于增强图像对比度，光照归一化单元通过直方图均衡化对表情图像进行处理；

所述LBP特征提取单元通过计算局部二值模式LBP用来描述人脸图像局部纹理特征；

所述表情分类模块通过支持向量机SVM对表情进行分类。

进一步地，所述光照归一化单元将原始图像中的灰度级映射到新的灰度级，映射公式为：

s＝T(r)

其中，r为原图像中的灰度级，s为新的灰度级。

进一步地，所述映射公式中，映射函数T(r)满足以下条件：T(r)在0≤T(r)≤1区间单调增加，当0≤r≤1时，0≤r≤1。

进一步地，所述光照归一化单元还用于计算图像中灰度级出现的概率P_r(r_k)：

其中，n为图像中像素的总个数，n_k为灰度级为k的像素的数量，L为灰度级总数。

进一步地，所述向量机SVM对表情分类包括如下步骤：

S1、设置超平面，所述超平面在保证分类精度的同时最大化超平面两侧的空白区域；

S2、对于一个有标签的训练集M(x_i,y_i),x_i∈R_N,y_i是相应的标签(y_i∈{-1,1})，判别函数为：

其中，k(x，x_i)是核函数，b是偏移量，f(x)是成员的类别，通过计算得到所有的非零α_i。

本发明的有益效果：

本发明通过将人脸识别技术与患者病情的评估与康复有机结合，将人工智能应用到临床医学中，实现计算机辅助的自动化障碍评估与康复，不仅可以辅助医生诊断、治疗，也可用于患者自行诊断，对于患者发现病情并及时掌握病情的发展有极大的帮助，具有很高的临床实用价值、社会价值和现实意义。

本发明通过对患者的面部表情进行图像样本的预处理操作，采用Gabor滤波器以及局部二值模型LBP描述算子以及主成分分析PCA，Fisher线性判断等，通过特征提取获取不同表情之间有差异且容易处理的数据。对提取到的特征表情进行分类通过理论分析和数值分析，结合临床研究，讨论如何对WD患者的病情进行分类分级识别，并对患者表情库进行更新与设定，对WD患者的整体数据库进行扩充与维护，便于医生对疗效的掌握，对指导医生改进治疗方法等方面具有重大的意义，在临床研究中具有重要且深远的意义。

同时，LBP是一个简单但非常有效的纹理运算符，它将各个像素与其附近的像素进行比较，并把结果保存为二进制数，LBP在不同的场景下得到广泛的应用，它具有旋转不变性和灰度不变性等显著的优点，对诸如光照变化等造成的灰度变化的鲁棒性。

附图说明

下面结合附图和具体实施例对本发明作进一步详细描述。

图1是本发明系统结构示意图。

图2是本发明LBP操作示意图。

图3是本发明LBP空间模型示意图。

具体实施方式

一种基于肝豆状核变性患者的人脸表情识别系统，包括人脸特征提取模块、表情分类模块，如图1所示；

所述人脸特征提取模块包括倾斜校正单元、光照归一化单元、几何归一化单元、LBP特征提取单元、PCA单元和特征向量单元；

所述倾斜校正单元通过旋转操作对倾斜的人脸图像进行校正，较优的，表情库中的部分图像由于采集的原因，有一定程度的旋转，比如双眼没有在同一水平线上，通常可以利用旋转操作对这些图像进行预处理；

具体的，倾斜校正单元根据旋转公式对人脸图像进行校正，其中旋转公式为：

其中，(x，y，1)为原图像中的单个像素位置，θ为以原点为中心顺时针旋转角度，(x'，y，1)为旋转后的单个像素位置；

几何归一化单元对表情图像进行裁剪，获得表情分布比较丰富的区域，较优的，表情库中的图像包含背景噪声、头发等冗余信息，若将这些信息作为输入提取表情特征，必将影响分类的效果；

本实施例中，将表情库图像裁剪成144*127大小的区域；

光照归一化单元通过直方图均衡化对表情图像进行处理，增强图像对比度，消除光照不均匀对表情特征提取的影响；

具体的，光照归一化单元将原始图像中的灰度级都映射到新的灰度级，公式为

s＝T(r)

其中，r为原图像中的灰度级，s为新的灰度级；

其中映射函数T(r)满足以下条件：

T(r)在0≤T(r)≤1区间单调增加，当0≤r≤1时，0≤r≤1；

并计算图像中灰度级出现的概率P_r(r_k)：

其中，n为图像中像素的总个数，n_k为灰度级为k的像素的数量，L为灰度级总数；

根据每个灰度级出现的概率，直方图均衡化的映射函数为：

离散形式为：

所述LBP特征提取单元通过计算局部二值模式LBP用来描述人脸图像局部纹理特征；

较优的，LBP通过将各个像素与其附近的像素进行比较，并把结果保存为二进制数；

具体的，生成LBP算子包括如下步骤：

1、将窗口分割成的小方格；

2、对于每个方格中的像素，比较和它相邻的8个小方格像素值，若相邻的某个方格比中心方格像素值小，则该位置设置为0，若相邻的某个方格比中心方格像素值大，则该位置设置为1；

3、将所有相邻窗口二进制的值按顺时针组合而成的二进制的值作为窗口中心小方格的LBP值；

4、计算每个区域的直方图并进行直方图均衡化，较优的，人脸图像被划分成一个或多个区域；

5、将所有区域的直方图连接起来就是整个区域的特征向量；

本实施例中，一个3x3邻域中LBP操作如图2所示，首先根据所述旋转公式计算得到点x一个二进制数，即局部二值模型，具体计算公式如下：

其中m是以(P，R)限定的邻域数目，p为抽样点数，R为半径；

较优的，局部二值模型(LBP)操作可以被用来描述图像的纹理与形状，例如当考虑诸如眼球、瞳孔、鼻子等人脸成分时，保存人脸成分的形状信息的8个主要LBP空间模型如图3所示；

本实施例中，通过标记LBP，其中下标表示在(P，R)邻域内使用操作，上标代表仅使用空间模型用f_i(x，y)标识；

通过将人脸区域被分成小的区域，在这些小的区域计算标识图f_i(x，y)的直方图：

其中是由LBP操作产生不同标识的数目且

较优的，所述直方图中包含的信息有局部微模型的分布，比如在整个图片中的点、线、边缘、拐点和平面区域，它具有表示空间信息的能力；

本实施例中，将人脸区域分为49个区域，每块区域中所有非f_i(x，y)用一个符号标记，共包含p(p-1)+3个统计项，因此对于一个划分为49个小区域，八抽样点圆形邻域的图片，应包含有2891统计项；

较优的，LBP代码无法计算图片中距边缘为R的区域像素，所以必须对这些区域的像素做特殊处理，具体的，对于一个N×M的图片特征向量是通过计算包含于x_c∈{R+1,···,N-R},y_c∈{R+1,···,M-R}中的每个像素点{x_c,y_c}构成的，如果一张图片划分为k×k个区域，那么对区域(k_x，k_y)(其中k_x∈{1,…,k},k_y∈{1,…,k})可以定义成：

其中L是统计项i的标记I{A}；

所述PCA单元通过PCA算法使用线性变换矩阵对所述区域特征向量进行降维，得到低维Gabor特征向量，并通过特征向量单元输出至表情分类模块；

表情分类模块通过支持向量机SVM对表情进行分类，具体的，包括如下步骤：

1、设置超平面，所述超平面在保证分类精度的同时最大化超平面两侧的空白区域；

2、对于一个有标签的训练集M(x_i,y_i),x_i∈R_N,y_i是相应的标签(y_i∈{-1,1})，判别函数为：

其中，k(x，x_i)是核函数，b是偏移量，f(x)是成员的类别，通过计算得到所有的非零α_i；

较优的，对于线性SVM，系统寻找一个最小维度的线性函数；而对于非线性SVM核函数则是将输入空间数据通过非线性映射函数映射到高维属性空间：Φ:R^N→F^M，其中，M＞＞N，然后在F中构建超平面，所述核函数需要满足：

k(x,x_i)＝Φ(x)·Φ(x_i)

其中Φ是非线性投影函数。

本发明的具体实施方式包括如下步骤：

1、筛选肝豆状核变性患者中锥体外系损害较为严重，伴有面部怪荣，肌张力障碍较为明显的病人作为受试者；

2、记录病人的基本信息(姓名、身高、体重、年龄等)、患病时间、测试时间、症状以及实验前的用药情况；

3、实验开始时，让受试者面向摄像头，尽量保持水平位置，双眼直视摄像头，其中，设备包括高品质单向式专业型麦克风、语音采集卡、电脑、监听级耳机、广播级全高清采集卡和高清监控摄像头；

较优的，肝豆状核变性患者的图像样本采集和肝豆状核变性运动障碍的视频数据采集同步进行；

较优的，图像采集时房间内保持安静，没有可能分散患者注意力的物品；

4、创建表情库，并根据图片、姓名标记表情图片。

本发明通过对患者的面部表情进行图像样本的预处理操作，采用Gabor滤波器以及局部二值模型LBP描述算子以及主成分分析PCA，Fisher线性判断等，通过特征提取获取不同表情之间有差异且容易处理的数据。对提取到的特征表情进行分类通过理论分析和数值分析，结合临床研究，讨论如何对WD患者的病情进行分类分级识别，并对患者表情库进行更新与设定，对WD患者的整体数据库进行扩充与维护，便于医生对疗效的掌握，对指导医生改进治疗方法等方面具有重大的意义，在临床研究中具有重要且深远的意义。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (5)

1.一种基于肝豆状核变性患者的人脸表情识别系统，其特征在于，包括人脸特征提取模块、表情分类模块；

所述人脸特征提取模块包括倾斜校正单元、光照归一化单元、几何归一化单元、LBP特征提取单元、PCA单元和特征向量单元；

所述倾斜校正单元通过旋转操作对倾斜的人脸图像进行校正；

所述几何归一化单元对表情图像进行裁剪，获得表情分布丰富的区域；

所述光照归一化单元用于增强图像对比度，光照归一化单元通过直方图均衡化对表情图像进行处理；

所述LBP特征提取单元通过计算局部二值模式LBP用来描述人脸图像局部纹理特征；

所述表情分类模块通过支持向量机SVM对表情进行分类。

2.根据权利要求1所述的一种基于肝豆状核变性患者的人脸表情识别系统，其特征在于：所述光照归一化单元将原始图像中的灰度级映射到新的灰度级，映射公式为：

s＝T(r)

其中，r为原图像中的灰度级，s为新的灰度级。

3.根据权利要求2所述的一种基于肝豆状核变性患者的人脸表情识别系统，其特征在于：所述映射公式中，映射函数T(r)满足以下条件：T(r)在0≤T(r)≤1区间单调增加，当0≤r≤1时，0≤r≤1。

4.根据权利要求1所述的一种基于肝豆状核变性患者的人脸表情识别系统，其特征在于：所述光照归一化单元还用于计算图像中灰度级出现的概率P_r(r_k)：

其中，n为图像中像素的总个数，n_k为灰度级为k的像素的数量，L为灰度级总数。

5.根据权利要求1所述的一种基于肝豆状核变性患者的人脸表情识别系统，其特征在于：所述向量机SVM对表情分类包括如下步骤：

S1、设置超平面，所述超平面在保证分类精度的同时最大化超平面两侧的空白区域；

S2、对于一个有标签的训练集M(x_i,y_i),x_i∈R_N,y_i是相应的标签(y_i∈{-1,1})，判别函数为：

其中，k(x，x_i)是核函数，b是偏移量，f(x)是成员的类别，通过计算得到所有的非零α_i。