CN110084259A - 一种结合面部纹理和光流特征的面瘫分级综合评估系统 - Google Patents

Abstract

本发明公开了一种结合面部纹理和光流特征的面瘫分级综合评估系统，包括图像视频采集及预处理模块、面部对称区域划分模块、基于纹理差异的评估模块、基于光流特征差异的评估模块以及面瘫分级综合评估模块，首先对面瘫静态图像和视频数据进行预处理；然后利用人脸关键点检测方法对人脸进行区域划分；针对面瘫图像和视频数据，分别依据人脸左右两侧对应区域的纹理特征差异和光流特征差异以完成面瘫分级评估；最后利用基于图像和视频数据的评估结果进行面瘫分级的综合评估。实验表明，提出方法的面瘫分级评估平均准确率相对于传统方法提高了18％以上，具有明显优势。

Description

一种结合面部纹理和光流特征的面瘫分级综合评估系统

技术领域

本发明涉及医疗及图像学技术领域，具体涉及一种结合面部纹理和光流特征的面瘫分级综合评估系统。

背景技术

面瘫是一种以面部表情肌群运动功能障碍为主要特征的一种疾病，是一种常见病、多发病，且不受年龄限制。面瘫主要是由于面部神经受损引发的，大多数是单侧性面瘫，主要表现在口眼歪斜，无法完成抬眉、闭眼、鼓腮等面部基本动作。面部运动时面部左右两侧特征差异较为明显。目前，面瘫病症的诊断主要依靠医生“望闻问切”的诊断方法来对病人的病情进行诊断，并评估面瘫病症的严重程度。但是由于受到现有医疗条件不完善和相关专科医生短缺，以及诊断医生自身医疗经验受限等原因，导致面瘫病症不能准确地诊断和很好的治疗；此外，面瘫患者初期难以发现面部的细微变化，导致很多早期患者难以得到及时的治疗，病情进一步加重。

针对面瘫的自动分级与评价，国内外学者已进行了许多该方面的研究。王倩倩等人提出基于AAM关键点定位的面部神经运动功能评价方法；Wachtman等人利用手工在人脸上标定三个特征点把人脸分成左右两部分，然后根据左右部分的不对称性程度来判断面瘫；而Modersohn等人为提取具有紧凑区分性的面部特征，提出改进AAM模型来解决轻度面瘫患者病情的识别与分析问题；Hontanilla使用3D模型信息来评估面部麻痹程度，通过要求患者进行微笑、张嘴、闭眼和前额提升等多种脸部动作，定量分析面部运动的评估。

He等人提出基于光流法的面瘫严重程度的评估方法。Barbosa等人利用混合分类模型检测人脸关键点，并追踪面部关键点的运动变化，进而提出一种基于面部不对称和面部动态变化的面瘫自动评估方法。2014年董军宇等人提出基于AAM和人脸面部LBP差异特征的面瘫分级评估方法。王绍宇等人提出了基于ASM和光流特征的面瘫分级评估方法，该方法依据不同表情的面部区域运动特点，利用光流空间特征进行面瘫严重度的评估。

基于计算机视觉技术的面瘫识别及等级评估方法的基本原理主要是依据人脸面部的左右对称性特点，但是目前面瘫分级评估方法还存在一些问题，主要表现在：①传统的面瘫分级评估方法只利用单一的人脸纹理或形状特征，而没有能够将多种类型的特征进行融合，以实现更为准确的面瘫分级评估。②传统的利用深度学习进行面瘫分级评估的方法只针对视频中的单帧进行特征提取，而没有考虑面部运动时的变化特征。

发明内容

针对传统方法仅仅单一的利用人脸纹理和形状特征进行面瘫等级评估，在深度学习时面部运动变化特征没有考虑到等问题，本发明基于面瘫患者不同面部表情的图像和视频数据，提出结合面部纹理和光流特征差异的面瘫分级综合评估系统。

为了实现上述任务，本发明采用以下技术方案：

一种结合面部纹理和光流特征的面瘫分级综合评估系统，包括：

图像视频采集及预处理模块，用于采集面瘫患者的面部状态由中性转换到面部运动最大幅度时的面部图像，以及整个面部表情变化过程中的视频数据，并对所述的视频数据进行子视频划分和人脸检测；

面部对称区域划分模块，用于将面部图像中的面部划分左右对称的两部分，然后再划分为不同的区域；

基于纹理差异的评估模块，用于提取所述面部图像不同区域的纹理特征，然后根据人脸对称性特点，分别计算人脸对称区域之间的特征差异；基于特征差异，利用SVM分类器进行面瘫分级评估；

基于光流特征差异的评估模块，用于针对所述的子视频利用光流法提取面部运动的光流信息，并计算面部运动过程中，人脸左右两侧对应区域之间光流特征之间的差异性，根据差异性特征，利用LSTM模型实现面瘫分级评估；

面瘫分级综合评估模块，用于对面瘫诊断动作的图像和视频数据，利用图像视频采集及预处理模块进行预处理后，一方面通过基于纹理差异的评估模块得到基于图像数据的面瘫分级评估结果，另一方面，通过基于光流特征差异的评估模块得到基于视频数据的面瘫分级评估结果，将两个分级评估结果融合得到最终的分级评估结果。

进一步地，所述的划分为不同的区域，包括：

左、右眉毛区域；左、右眼睛区域；左、右脸颊区域；左、右鼻子区域；左、右嘴巴区域。

进一步地，所述的提取所述面部图像不同区域的纹理特征，然后根据人脸对称性特点，分别计算人脸对称区域之间的特征差异，包括：

提取人脸区域的Gabor特征，并与LBP特征进行级联融合，以更全面描述人脸区域的纹理特征信息；

所述的纹理特征包括LBP特征和Gabor特征，其中，LBP特征的提取公式为：

其中，LBP(P，R)＝LBP(8，1)，P＝8是指中心点像素周围的八个近邻像素点，R＝1是指中心点像素到八个近邻像素点的距离；g_c表示中心点像素，g_n(n＝0,1,2,3,……,8)是中心点像素的邻近点；

计算人脸两侧对应区域的不同特征的差异，公式为：

D_P＝P_L-P_R (4)

D_G＝G_L-G_R (5)

其中，P_L和P_R表示人脸左、右侧部分提取的LBP特征信息，D_P表示LBP特征差异信息；G_L和G_R表示人脸左、右侧部分提取的Gabor特征信息，D_G表示Gabor特征差异信息。

进一步地，所述的基于特征差异，利用SVM分类器进行面瘫分级评估，包括：

对特征差异信息D_P和D_G进行归一化，获得级联的特征差异向量，最后，利用主成分分析对特征差异向量进行降维处理，将降维后的向量作为SVM分类器的输入，以进行面瘫分级评估。

进一步地，所述的针对所述的子视频利用光流法提取面部运动的光流信息，并计算面部运动过程中，人脸左右两侧对应区域之间光流特征之间的差异性，包括：

面部运动的光流信息的提取方法为：

对于在时间t的视频帧中坐标为(x,y)的像素点，其灰度为I(x,y,t)，经过时间Δt后，该像素点运动到位置(x+Δx,y+Δy)处，其灰度为I(x+Δx,y+Δy,t+Δt)；由于是两个不同时刻的同一个点，因此，根据灰度守恒假设有：

I(x,y,t)＝I(x+Δx,y+Δy,t+Δt) (6)

将式6的右边在(x,y,t)点用泰勒公式展开，经化简和略去二次项后，得到光流场的基本方程：

其中V_x，V_y分别是I(x,y,t)的光流向量中x，y的组成；表示光流信息，则是图像在(x,y,t)这一点的梯度，表示两帧图像块之间差值；

利用上述光流信息的提取方法来计算面瘫子视频中各相邻帧之间的光流信息；

基于计算得出的人脸不同区域的光流信息，针对不同的面部动作，对比分析人脸左右两侧相关区域的光流差异特征，光流差公式如下：

D_W＝W_L-W_R (8)

其中，W_L、W_R表示人脸左、右侧部分提取的流光信息，D_W表示流光信息差值。

进一步地，所述的根据差异性特征，利用LSTM模型实现面瘫分级评估，包括：

将获取到的不同区域的光流差异信息作为LSTM模型的输入，建立整个子视频中光流信息之间的相互关联关系，进而实现基于视频数据的面瘫分级评估。

进一步地，所述的将两个分级评估结果融合得到最终的分级评估结果，包括：

Q＝αQ_I,A+βQ_V,A (9)

其中，Q表示面瘫最终分级评估结果，Q_I,A和Q_V,A分别表示基于图像数据I和视频数据V的针对相应面部动作A的面瘫分级评估结果，α，β表示权值参数。

本发明与现有技术相比具有以下技术特点：

1.本发明方法针对不同的面部表情，关注相对应的面部区域。基于面瘫患者在进行面瘫诊断表情时，提取左右脸差异特征，并利用SVM进行面瘫分级，从而实现更为准确的面瘫分级评估。

2.相对于静态图像数据，视频数据能够更好地反映面部运动的时序变化特征，有利于提高面瘫分级评估的准确性。而光流法在视频数据分析中不仅能够提供运动目标的外形轮廓和具体位置信息，同时还能够提供目标的运动矢量信息，以准确得到图像序列中目标的运动参数。

附图说明

图1为本发明系统的整体流程框架图；

图2的(a)、(b)分别为左眼、右眼及其LBP特征的直方图；

图3的(a)、(b)分别为左眼、右眼及其Gabor特征图；

图4为闭眼视频片段的流光图，其中(a)为左眼序列视频帧，(b)为左眼光流图，(c)为右眼序列视频帧，(d)为右眼光流图；

图5为左眼和右眼光流差异图；

图6为不同面瘫分级评估方法结果曲线图。

具体实施方式

本发明公开了一种结合面部纹理和光流特征的面瘫分级综合评估系统，具体包括以下模块：

1.图像视频采集及预处理模块

用于采集面瘫患者的面部状态由中性转换到面部运动最大幅度时的面部图像，以及整个面部表情变化过程中的视频数据，并对所述的视频数据进行子视频划分和人脸检测，对检测到的人脸区域统一到相同尺寸。

疑似面瘫患者在诊断的过程中，医生要求患者从中性状态(自然状态下)开始做一些特定面部表情动作，面部状态由中性逐渐转换到面部运动的最大幅度，每个动作大约持续3秒。每位就诊人员要求做3～4次相同的面部表情动作。

那么，本方案中，利用相机拍摄面瘫患者在其面部表情最大幅度时的面部图像，以及整个面部表情由中性到最大幅度过程的视频数据。然后，针对这些图像和视频数据进行预处理，主要包括面部动作子视频划分和人脸区域定位。

子视频划分：

面部动作子视频划分是按照患者进行面部动作时采集的含有患者诊断过程中所有面部动作的所述视频数据划分为多个单个动作单次完成的子视频，以体现面瘫患者在做单一面部诊断动作时面部的动态变化特征。

人脸区域定位：

面瘫分级评估主要关注面部运动变化的特征，而并不关注背景因素和患者的其他身体部分，因此，本方案利用Faster RCNN对所有子视频数据进行人脸检测，并对检测得到的人脸区域统一到相同的尺寸。

2.面部对称区域划分模块

用于将面部图像中的面部划分左右对称的两部分，然后再划分为不同的区域，包括左、右眉毛区域；左、右眼睛区域；左、右脸颊区域；左、右鼻子区域；左、右嘴巴区域。

主动外观模型(AAM)是一种特征点提取方法，已在人脸关键点检测和特征提取领域广泛应用。利用AAM模型可以较为准确地获得人脸五官和轮廓的各个特征点的精确位置。

基于人脸关键点可以对人脸不同的器官或人脸区域进行划分。而面部运动则会引起多数关键点会发生位置变化，导致面部对称线难以准确确定。但眼角和鼻梁两侧存在4个位置几乎保持不变的关键点，因此，选取这四个关键点把人脸分成左右对称的两部分。然后，根据其他关键点的位置分布，将面部分为十个区域，包括：左、右眉毛区域；左、右眼睛区域；左、右脸颊区域；左、右鼻子区域；左、右嘴巴区域。

3.基于纹理差异的评估模块

在人脸区域划分的基础上，该模块用于提取所述面部图像不同区域的纹理特征，然后根据人脸对称性特点，分别计算人脸对称区域之间的特征差异；基于特征差异，利用SVM分类器进行面瘫分级评估。

本方案中，所述的纹理特征包括LBP特征和Gabor特征，其中：

LBP是一种有效的局部纹理描述算子，它可以对灰度图像中局部邻域的纹理信息进行度量和提取。提取面部区域的LBP特征采用中心点值为阈值的3×3的LBP算子，计算公式如下：

其中，LBP(P，R)＝LBP(8，1)，P＝8是指中心点像素周围的八个近邻像素点，R＝1是指中心点像素到八个近邻像素点的距离。g_c表示中心点像素，g_n(n＝0,1,2,3,……,8)是中心点像素的邻近点。当g_n大于g_c时，临近点的二进制表示为1；反之，为0。如图6所示为对左、右眼提取LBP特征的直方图。

Gabor小波能在一定意义上反映图像在不同方向和尺度下的纹理信息，能够有效降低光照，噪音对图像特征提取的影响，可以增强图像的边缘特征；同时在图像有一定程度的旋转和形变时仍然保持着很好的分辨效果。因此，提取人脸区域的Gabor特征，并与LBP特征进行级联融合，以更全面描述人脸区域的纹理特征信息。针对面瘫图像，在3尺度、4个方向提取Gabor特征。

基于面瘫图像的面瘫分级评估主要依据面部的不对称性，即可对比分析人脸左、右两侧对应区域的纹理特征之间的差异程度。由于面瘫诊断时，要求患者做不同的面部表情动作，并且针对不同的面部表情动作关注面部不同的区域，因此，根据不同面部动作时的面部图像，提取相关面部区域的LBP特征和Gabor特征，并计算人脸两侧对应区域的不同特征的差异：

D_F＝F_L-F_R (3)

F_L和F_R表示分别在人脸左、右侧部分提取的特征信息，D_F表示特征差异信息。那么针对LBP特征和Gabor特征，则有：

D_P＝P_L-P_R (4)

D_G＝G_L-G_R (5)

其中，P_L和P_R表示人脸左、右侧部分提取的LBP特征信息，D_P表示LBP特征差异信息；G_L和G_R表示人脸左、右侧部分提取的Gabor特征信息，D_G表示Gabor特征差异信息。其中人脸左侧部分包括左眉毛区域、左眼睛区域、左脸颊区域、左鼻子区域以及左嘴巴区域，人脸右侧部分包括右眉毛区域、右眼睛区域、右脸颊区域、右鼻子区域以及右嘴巴区域。

然后，对纹理特征差异D_P和D_G进行归一化，获得级联的特征差异向量，最后，利用主成分分析(PCA)对特征差异向量进行降维处理，将降维后的向量作为SVM分类器的输入，以进行面瘫分级评估。

4.基于光流特征差异的评估模块

用于针对所述的子视频利用光流法提取面部运动的光流信息，并计算面部运动过程中，人脸左右两侧对应区域之间光流特征之间的差异性，根据差异性特征，利用LSTM模型实现面瘫分级评估。

相对于静态图像，视频能够记录目标运动的动态变化信息。因此，面瘫患者进行面部诊断动作时的视频数据能够反映面部运动变化信息。而在运动目标的动态特征提取方面，光流技术得到广泛的应用，并取得良好的效果。

所述的面部运动的光流信息的提取方法为：

对于在时间t的视频帧中坐标为(x,y)的像素点，其灰度为I(x,y,t)，经过时间Δt后，该像素点运动到位置(x+Δx,y+Δy)处，其灰度为I(x+Δx,y+Δy,t+Δt)；由于是两个不同时刻的同一个点，因此，根据灰度守恒假设有：

I(x,y,t)＝I(x+Δx,y+Δy,t+Δt) (6)

将式6的右边在(x,y,t)点用泰勒公式展开，经化简和略去二次项后，得到光流场的基本方程：

其中V_x，V_y分别是I(x,y,t)的光流向量中x，y的组成。表示光流信息，则是图像在(x,y,t)这一点的梯度，表示两帧图像块之间差值。

利用上述光流计算方法来计算面瘫子视频中各相邻帧之间的光流信息。

基于计算得出的人脸不同区域的光流信息，针对不同的面部动作，对比分析人脸左右两侧相关区域的光流差异特征。光流差公式如下：

D_W＝W_L-W_R (8)

其中，W_L、W_R表示人脸左、右侧部分提取的流光信息，D_W表示流光信息差值。

基于视频数据的光流信息能够更好地反映面部相关区域的运动特征。例如：闭眼动作主要影响眼睛和眉毛区域，通过光流法得到左眼和右眼的光流信息，然后比较左眼和右眼的光流信息得到光流差异信息，然后，将获取到的不同区域的光流差异信息作为LSTM模型的输入，建立整个子视频中光流信息之间的相互关联关系，进而实现基于视频数据的面瘫分级评估。

5.面瘫分级综合评估模块

用于针对疑似面瘫患者的面瘫诊断动作(包括：微笑，抬眉，皱眉，闭眼，耸鼻，示齿和鼓腮七种面部动作)的图像和视频数据，利用图像视频采集及预处理模块进行预处理后，一方面通过基于纹理差异的评估模块，提取诊断动作图像中面部图像不同区域的纹理特征，对比分析人脸左右两侧相应区域的特征差异，进而通过SVM分类器得到基于图像数据的面瘫分级评估结果；另一方面，通过基于光流特征差异的评估模块，提取子视频中面部运动的光流信息，并对比分析人脸左右两侧相关区域光流差异特征，进而通过LSTM模型得到基于视频数据的面瘫分级评估结果，然后通过以下计算得到最终分级评估结果：

Q＝αQ_I,A+βQ_V,A (9)

其中，Q表示面瘫最终分级评估结果，Q_I,A和Q_V,A分别表示基于图像数据I和视频数据V的针对相应面部动作A的面瘫分级评估结果，而α，β表示权值参数。

用于实现本系统的具体硬件结构可采用包括相机、处理器、存储装置、显示器在内的设备，其中相机用于采集面部图像和视频数据，其余模块的功能则由处理器、存储装置完成，最终结果通过显示器进行显示。

对于面瘫分级评估的相关研究，由于涉及到患者的个人隐私，目前还没有公开的数据集。为验证提出方法的有效性，与陕西省中医医院合作，制定了一套较为完整的数据采集规范，采集真实面瘫患者的诊断图像和视频数据。目前为止，已经收集到面瘫患者83例，患者数据包含83×7余幅面部图像(每位患者进行7个面部动作的图像数据)和83×7×3段视频数据(每位患者进行7个面部动作，每个动作分别进行3次)。此外，由3位专科医生对收集到的数据进行明确标注，并由资质医生对标注进行最终审核确认。面瘫图像和视频的分级标注主要分为四个标准：0代表正常(非面瘫)，1代表轻度面瘫，2代表中度面瘫，3代表重度面瘫。

此外，选用几种现有的面瘫评估方法作为对比试验方法，已验证提出方法的优越性。针对不同面瘫动作的所有图像和视频数据，都分别使用70％的图像或视频作为训练数据，剩余的30％的数据作为测试数据。针对不同面部动作使用不同方法进行面瘫分级评估的结果如表1所示，实验数据对于的曲线图如图1所示。

表1不同面瘫分级评估方法的准确率(％)

面部动作	Gabor+SVM	LBP+SVM	光流+LSTM	本方案
					闭眼	66.7	79.4	87.5	88.4
微笑	66.8	62.9	83.3	83.5
					抬眉	68.8	76.6	90.4	92.7
皱眉	61.8	64.5	89.9	90.1
					耸鼻	69.2	64.7	83.4	83.9
示齿	69.8	69.2	87.2	87.8
					鼓腮	78.0	73.8	91.6	91.7

通过对实验数据的分析，我们可以看出：传统的基于静态面部图像，依据面部纹理特征的不对称性进行面瘫评估的方法，其评估准确率难以达到令人满意的效果。此类方法对7种面部动作的面瘫分级评估准确率均在80％以下。相对于图像数据，利用视频数据，依据面部运动的光流差异特征进行面瘫分级评估的准确性得到大幅度提高，相对于Gabor方法，7个面部动作评估的平均准确率提高了18.9％；而相对于LBP的方法，平均准确率提高了17.5％。主要原因在于视频数据中不仅具有静态图像的面部不对称性特征，同时也包含面部运动时更为丰富的面部运动的动态变化特征。而本方案则将基于静态面部图像的评估结果与基于视频的评估结果结合起来实现面瘫分级的综合评估，进一步提高面瘫分级评估的准确性，平均准确率相对于仅使用视频数据的评估结果提高了0.69％。可见提出方法的面瘫评估准确率总体上都优于其他方法，尤其相对传统的基于面部图像的评估方法，优势更为明显。

Claims (7)

1.一种结合面部纹理和光流特征的面瘫分级综合评估系统，其特征在于，包括：

图像视频采集及预处理模块，用于采集面瘫患者的面部状态由中性转换到面部运动最大幅度时的面部图像，以及整个面部表情变化过程中的视频数据，并对所述的视频数据进行子视频划分和人脸检测；

面部对称区域划分模块，用于将面部图像中的面部划分左右对称的两部分，然后再划分为不同的区域；

基于纹理差异的评估模块，用于提取所述面部图像不同区域的纹理特征，然后根据人脸对称性特点，分别计算人脸对称区域之间的特征差异；基于特征差异，利用SVM分类器进行面瘫分级评估；

基于光流特征差异的评估模块，用于针对所述的子视频利用光流法提取面部运动的光流信息，并计算面部运动过程中，人脸左右两侧对应区域之间光流特征之间的差异性，根据差异性特征，利用LSTM模型实现面瘫分级评估；

面瘫分级综合评估模块，用于对面瘫诊断动作的图像和视频数据，利用图像视频采集及预处理模块进行预处理后，一方面通过基于纹理差异的评估模块得到基于图像数据的面瘫分级评估结果，另一方面，通过基于光流特征差异的评估模块得到基于视频数据的面瘫分级评估结果，将两个分级评估结果融合得到最终的分级评估结果。

2.如权利要求1所述的结合面部纹理和光流特征的面瘫分级综合评估系统，其特征在于，所述的划分为不同的区域，包括：

左、右眉毛区域；左、右眼睛区域；左、右脸颊区域；左、右鼻子区域；左、右嘴巴区域。

3.如权利要求1所述的结合面部纹理和光流特征的面瘫分级综合评估系统，其特征在于，所述的提取所述面部图像不同区域的纹理特征，然后根据人脸对称性特点，分别计算人脸对称区域之间的特征差异，包括：

提取人脸区域的Gabor特征，并与LBP特征进行级联融合，以更全面描述人脸区域的纹理特征信息；

所述的纹理特征包括LBP特征和Gabor特征，其中，LBP特征的提取公式为：

其中，LBP(P，R)＝LBP(8，1)，P＝8是指中心点像素周围的八个近邻像素点，R＝1是指中心点像素到八个近邻像素点的距离；g_c表示中心点像素，g_n(n＝0,1,2,3,……,8)是中心点像素的邻近点；

计算人脸两侧对应区域的不同特征的差异，公式为：

D_P＝P_L-P_R (4)

D_G＝G_L-G_R (5)

其中，P_L和P_R表示人脸左、右侧部分提取的LBP特征信息，D_P表示LBP特征差异信息；G_L和G_R表示人脸左、右侧部分提取的Gabor特征信息，D_G表示Gabor特征差异信息。

4.如权利要求1所述的结合面部纹理和光流特征的面瘫分级综合评估系统，其特征在于，所述的基于特征差异，利用SVM分类器进行面瘫分级评估，包括：

对特征差异信息D_P和D_G进行归一化，获得级联的特征差异向量，最后，利用主成分分析对特征差异向量进行降维处理，将降维后的向量作为SVM分类器的输入，以进行面瘫分级评估。

5.如权利要求1所述的结合面部纹理和光流特征的面瘫分级综合评估系统，其特征在于，所述的针对所述的子视频利用光流法提取面部运动的光流信息，并计算面部运动过程中，人脸左右两侧对应区域之间光流特征之间的差异性，包括：

面部运动的光流信息的提取方法为：

对于在时间t的视频帧中坐标为(x,y)的像素点，其灰度为I(x,y,t)，经过时间Δt后，该像素点运动到位置(x+Δx,y+Δy)处，其灰度为I(x+Δx,y+Δy,t+Δt)；由于是两个不同时刻的同一个点，因此，根据灰度守恒假设有：

I(x,y,t)＝I(x+Δx,y+Δy,t+Δt) (6)

将式6的右边在(x,y,t)点用泰勒公式展开，经化简和略去二次项后，得到光流场的基本方程：

其中V_x，V_y分别是I(x,y,t)的光流向量中x，y的组成；表示光流信息，则是图像在(x,y,t)这一点的梯度，表示两帧图像块之间差值；

利用上述光流信息的提取方法来计算面瘫子视频中各相邻帧之间的光流信息；

基于计算得出的人脸不同区域的光流信息，针对不同的面部动作，对比分析人脸左右两侧相关区域的光流差异特征，光流差公式如下：

D_W＝W_L-W_R (8)

其中，W_L、W_R表示人脸左、右侧部分提取的流光信息，D_W表示流光信息差值。

6.如权利要求1所述的结合面部纹理和光流特征的面瘫分级综合评估系统，其特征在于，所述的根据差异性特征，利用LSTM模型实现面瘫分级评估，包括：

将获取到的不同区域的光流差异信息作为LSTM模型的输入，建立整个子视频中光流信息之间的相互关联关系，进而实现基于视频数据的面瘫分级评估。

7.如权利要求1所述的结合面部纹理和光流特征的面瘫分级综合评估系统，其特征在于，所述的将两个分级评估结果融合得到最终的分级评估结果，包括：

Q＝αQ_I,A+βQ_V,A (9)

其中，Q表示面瘫最终分级评估结果，Q_I,A和Q_V,A分别表示基于图像数据I和视频数据V的针对相应面部动作A的面瘫分级评估结果，α，β表示权值参数。