CN113782184A - 一种基于面部关键点与特征预学习的脑卒中辅助评估系统 - Google Patents

Abstract

本发明公开了一种基于面部关键点与特征预学习的脑卒中辅助评估系统。本发明包括数据采集模块、关键点定位模型训练模块、特征预学习模型训练模块和快速诊断评估模型构建模块。本发明首先利用在公开的大数据量的面瘫数据集中进行特征预学习，随后在脑卒中小样本数据集上进行针对性的特征学习从而获取具有高刻画度的脑卒中面部变化图像特征，其次采用面部多关键点定位算法对脑卒中面部区域进行分割定位，分割出眼部、嘴部区域，将得到的眼部以及嘴部区域送入卷积神经网络进行特征提取，最后对不同区域的特征进行分类，最终得到脑卒中面部评估量化标准。本发明能快速、简单、精确的对脑卒中进行辅助检测与康复评估，为医生提供客观、科学的诊断依据。

Description

一种基于面部关键点与特征预学习的脑卒中辅助评估系统

技术领域

本发明属于计算机视觉、智慧医疗、临床辅助检测技术领域，涉及一种基于面部关键点与特征预学习的脑卒中面部症状辅助检测、评估系统。

背景技术

据全球疾病负担研究估计，随着我国人口老龄化的日益加剧，中国已成为卒中终生风险最高和疾病负担最重的国家，卒中终身风险高达39.3％，中国卒中防治工作正面临巨大挑战。脑卒中作为一种突发性疾病，在发病后的3小时内属于黄金治疗期，如果在此期间能够得到及时的诊断，并对病情严重程度实现准确评估，从而进行针对性的干预治疗，可以大大地减少死亡风险，提高预后康复治疗效果。传统上，医生使用“FAST”脑卒中诊断法对患者进行脑卒中诊断以及评估时，受限于医生自身的水平经验和各种量表的复杂性，诊断评定过程专业性要求高，受检查者主观因素影响大，耗时费力，难以精确量化，缺乏统一规范，导致患者被错误分诊，影响后续康复治疗。考虑到脑卒中发作后引起面部神经功能受损，会导致出现口角歪斜、眼睑下耷、鼻唇沟变浅等面部变化，这也是当前临床上医生对于卒中患者诊断、干预治疗以及康复评估的重要依据。

发明内容

本发明的目的是针对现有技术的不足，提出一种基于面部关键点与特征预学习的脑卒中辅助评估系统。

首先，由于脑卒中发作时的面部变化数据量较少，且采集困难，而面瘫与卒中脸部症状具有强近似性，因此利用在公开的大数据量的面瘫数据集中进行特征预学习，随后在脑卒中小样本数据集上进行针对性的特征学习从而获取具有高刻画度的脑卒中面部变化图像特征，其次采用面部多关键点定位算法对脑卒中面部区域进行分割定位，分割出眼部、嘴部区域，将得到的眼部以及嘴部区域送入卷积神经网络进行特征提取，最后对不同区域的特征进行分类，最终得到脑卒中面部评估量化标准。

为实现上述目的，本发明的技术方案主要包括如下步骤：

本发明包括数据采集模块、关键点定位模型训练模块、特征预学习模型训练模块和快速诊断评估模型构建模块；

数据采集模块：采集脑卒中患者面部图像，构建数据集；搜索公开的面瘫患者面部图像标准数据集以及人脸关键点数据集；

关键点定位模型训练模块：采用公开人脸关键点数据集，进行基于深度卷积神经网络的关键点定位模型训练；

特征预学习模型训练模块：采用公开面瘫数据集，基于已经训练好的定位模型得到人脸关键点，从而基于人脸关键点将面部区域分割出Region OfInterest(ROI)区域；随后使用卷积神经网络作为特征提取器，以面部面瘫的三种严重程度：正常、轻中度、重度程度作为分类目标，从而完成特征预学习模型的训练；

快速诊断评估模型构建模块：采用脑卒中患者面部图像数据集，利用上述训练完成的关键点定位模型与特征预学习模型，构建脑卒中患者的快速诊断评估模型；

数据采集模块具体实现如下：

首先收集公开面瘫数据集，针对其数据分布不均衡问题，需要对面瘫数据集进行数据增强，本模块主要是对原始数据集进行了图像旋转，图像旋转的基本原理是原图像与仿射变换矩阵相乘，其中仿射变换矩阵M的表达式为：

α＝scale·cos(angle) (2)

β＝scale·sin(angle) (3)

其中(center_x,center_y)表示旋转中心，angle代表旋转角度，scale代表旋转后图像的缩放比，通过仿射变换矩阵与原图像相乘得到一定数量的增强后的图像。

关键点定位模型训练模块具体实现如下：

采用公开人脸关键点数据集，以人脸关键点图像W＝{w₁,w₂,w₃,...,w_n}作为输入，训练基于卷积神经网络的人脸关键点定位模型，其中人脸关键点定位模型包含“特征提取层”、“损失函数层”、“网络输出层”3个部分。

特征提取层中采用标准卷积、反转残差块，反转残差块采取了先扩张，再提取特征，最后再压缩的策略，使得模型提取的特征更加丰富，同时减少了运算量；在特征提取层还引入由标准卷积构成的辅助卷积神经网络，用于对每一个输入的人脸关键点图像的三维欧拉角进行估计，辅助卷积神经网络克服了位姿、光线、遮挡外部因素对人脸关键点定位的影响；特征提取层经过卷积、激活、数据归一化三个步骤完成人脸关键点特征提取，其表达式为：

Y＝f(WX+B) (4)

其中W为隐藏层权重矩阵，B为隐藏层偏执矩阵，f为激活函数，最后在激活函数之后接入数据归一化层，其表达式为：

其中x为需要归一化的输入数据，mean(x)和var(x)分别表示数据的均值和方差，eps为防止分母出现零所增加的变量；γ和β分别为缩放和平移变量，加入缩放和平移变量的原因是保证每次得到的归一化的值都符合标准正态分布。

损失函数层中的人脸关键点训练建立如下损失函数：

其中M表示一个批次训练的图片数，N表示每张面部图像预先设定的待检测人脸关键点数量，γ_n表示权重，包含几何约束和数据不平衡约束，

衡量第m张输入图片的第n个预测的人脸关键点实际的人脸关键点的距离，损失函数值越小，表示关键点定位准确率越高；将γ_n替换成辅助网络的参数得到最终的损失函数表达式：

其中K表示偏航角yaw、俯仰角pitch、翻滚角roll三个自由度的方向，

表示在上述3个自由度方向上，真实值与预测值角度的偏差，当角度变大时损失值也越大，

表示脸部姿势的类型，包括正脸、侧脸、抬头、低头、带有表情、遮挡。

网络输出层输出为位于人脸面部区域的若干个人脸关键点位置，利用这些人脸关键点位置，能够定位出受脑卒中影响较大的嘴部、眼部区域。

所述特征预学习模型训练模块具体实现如下：

首先选取指定的区域分割点作为眼部以及嘴角的基准点，得到的区域类别分为以下6种：眼部中轻度、眼部重度、嘴部中轻度、嘴部重度、眼部正常、嘴部正常；对分割得到的区域

采用标准卷积模块和反转残差模块组成的卷积神经网络进行特征预学习，得到n维特征向量X＝(x¹,x²,...,xⁿ)，特征向量经过全连接层降维到上述6种类别的维数，网络的训练目标是最小化交叉熵损失函数：

其中p＝[p₁,...,p_C]是一个概率分布，每个元素p_c表示样本属于第c类别的概率，y＝[y₁,...,y_C]是样本标签的one-hot编码表示，当样本属于第c类别时y_c＝1，否则y_c＝0。

所述的指定的区域分割点为：在人脸关键点数为96个的情况下，眼部区域矩形框左上角与右下角的分割坐标点为：(x[0],y[35])，(x[32],y[57])；嘴部区域矩形框左上角与右下角的分割坐标点为：(x[66],y[52])，(x[20],y[20])。

所述快速诊断评估模型构建模块具体实现如下：

使用得到的人脸关键点定位模型，对脑卒中数据集中的人脸患病区域进行分割，得到以下6种类别：眼部中轻度、眼部重度、嘴部中轻度、嘴部重度、眼部正常、嘴部正常；使用得到的特征预学习模型，基于脑卒中数据集对特征预学习模型的网络参数进行微调，使得该网络对脑卒中面部特征有更好的分类结果。

本发明的效益如下：

本发明提出的方法可以快速、简单、精确的对脑卒中进行辅助检测与康复评估，为医生提供客观、科学的诊断依据，帮助医生更好的对脑卒中病人进行临床诊断与康复策略的制定，有效地挽回患者的生命，提高患者的愈后状况与生活质量，降低医疗费用，同时依托于方法，可以建立康复评估模型，规范康复流程和治疗方案，降低对降低患者致残率，提高患者生活质量，实现脑卒中预防、康复服务目的，有助于构建一级检测预警、二级临床诊疗和三级康复医疗的脑卒中三级防治网络。

附图说明

图1本发明的流程图；

图2本发明的实际应用效果图。

具体实施方式

下面结合附图和具体实施方式对本发明优选实现方案作详细说明。本发明基于卒中患者发作时的面部变化，刻画基于多关键点的面部特征，融合特征预学习方法，提出了一种快速的脑卒中面部图像辅助检测、评估系统，该系统不仅能够辅助医生完成脑卒中病人病情量化，而且还能以此来培训年轻医生，增加年轻医生的临床经验，本发明弥补了目前国内外基于面部图像的脑卒中快速辅助检测与康复评估方法的缺失。

如图1所示本发明的算法流程主要包括如下步骤：

步骤1、卒中、面瘫面部图像数据集获取：医院实地走访，拍摄卒中患者面部图像，并请医生进行对获取的面部图像标注不同的严重程度，面瘫数据、人脸关键点数据从公开数据集中获取。

步骤1-1、收集公开面瘫数据集，对面瘫数据集进行预处理，选取一定量的正常样本用来扩充面瘫样本中类别较少的样本，使得样本类型分布较为均衡，有利于模型的训练。

步骤1-2、前往医院实地收集脑卒中病人面部图像数据，由于不同卒中患者的轻重程度不同，所表现出来的面部特征也不同，故根据面部特征来进行卒中等级划分。按照已经收集到的面瘫数据集的格式，请医生对卒中患者面部的眼睛、嘴部区域分别按照中轻、重度两个等级标注并给出对应的评分，同时卒中区域使用矩形框画出。

所述步骤2、面部关键点定位模型训练：使用卷积神经网络训练人脸关键点定位模型，该人脸关键点算法网络结构包含“特征提取层”、“损失函数层”、“网络输出层”三个部分，使用Wider Facial Landmarks in-the-wild(WFLW)人脸关键点数据集进行训练。

步骤2-1、“特征提取层”所涉及的网络结构采用标准卷积Convolution模块，反转残差Inverted Residual模块，“特征提取层”具体步骤为：首先普通卷积模块的卷积核大小的3x3，步长为s＝{1，2}，输出通道c＝64，填充p＝1，该模块使用2维的批量标准化函数BatchNorm2d，激活函数使用线性整流函数Relu。之后经过反转残差模块，该层步长s＝{1，2}，输出通道c＝{64，128}，膨胀率expand_ratio＝{2，4}，卷积核大小与膨胀率相关，通过若干反转残差进行组合对特征进行深度提取。最后为了使得模型在处于不同姿态的时候能够有一个较好的关键点预测能力，在“特征提取层”加入了辅助网络，用来对每一个输入的人脸样本的三维欧拉角进行估计，辅助网络结构主要是通过标准卷积组合得到，卷积核大小为{3x3，7x7}，输出通道c＝{64，128}，步长s＝{1，2}，经过不同的组合，能够对人脸样本的三位欧拉角进行准确估计。

步骤2-2、“损失函数层”是比较模型预测输出与真实输出的“距离”，在通过反向传播这一“距离”到网络的“特征提取层”，从而调节网络参数使得网络预测的准确率上升。人脸关键点定位算法的损失函数表达式为：

其中M表示表示一个批次训练的图片数，N表示每张脸预先设定的要检测的特征点数量，γ_n表示权重，包含几何约束和数据不平衡约束，

衡量第m张输入图片的第n个预测的人脸关键点与实际的人脸关键点之间的偏差，把其中的γ_n替换成辅助网络的参数得到最终的损失函数表达式：

其中K表示偏航角yaw、俯仰角pitch、翻滚角roll三个自由度的方向，

表示在上述3个自由度方向上，真实值与预测值角度的偏差，当角度变大时损失值也越大，

表示脸部姿势的类型，如正脸、侧脸、抬头、低头、带有表情、遮挡等。

步骤2-3、最后网络输出为位于人脸面部区域的96个关键点位置，利用这96个关键点，可以定位出受脑卒中影响较大的嘴部、眼部区域。

步骤2-4、使用人脸关键点定位算法进行网络训练时，参数配置情况如下：WFLW数据集训练集与测试集按照7：3划分，初始学习率为0.0001，迭代次数为100次，优化器选择Adam优化器。

所述步骤3、特征预学习模型：根据定位好的关键点，分割出Region Of Interest(ROI)区域，对ROI区域使用卷积神经网络进行特征提取。

步骤3-1、取眼部矩形左上角和右下角作为区域分割点，取嘴部矩形左上角和右下角作为区域分割点。所得到的区域类别可分为以下6种：眼部中轻度、眼部重度、嘴部中轻度、嘴部重度、眼部正常、嘴部正常。得到局部区域之后，使用神经网络模型对局部区域进行深度特征提取。为了提高网络的特征提取能力提高网络的特征提取能力以及训练速度，首先将特征提取网络在ImageNet数据集公开数据集上进行训练，获得初始权值之后，再将特征提取网络用来对ROI区域进行特征提取。

步骤3-2、在区域特征提取网络中，输入人脸关键点图像W＝{w₁,w₂,w₃,...,w_n}先后经过普通卷积模块和反转残差模块。普通卷积模块的卷积核大小的3x3，步长为s＝{0，1，2}，输出通道c＝{64，128}，填充p＝1，该模块使用2维的批量标准化函数BatchNorm2d，激活函数使用线性整流函数Relu。在反转残差模块中，输出通道c＝{112，56，28，14，7}，卷积核的大小为{3x3，5x5}，通过若干反转残差与标准卷积进行组合对区域特征进行深度提取。

步骤3-3、提取出来的特征向量X＝(x¹,x²,...,xⁿ)经过卷积层Conv1x1、全连接层，得到预测输出，预测输出与真实标签使用交叉熵损失函数进行对比，多分类任务的交叉熵损失函数如下，对于给定的N个训练样本

交叉熵损失函数表达式如下：

其中p＝[p₁,...,p_C]是一个概率分布，每个元素p_i表示样本属于第c类别的概率，y＝[y₁,...,y_C]是样本标签的one-hot编码表示，当样本属于第c类别时y_c＝1，否则y_c＝0。每次出现用One-hot编码好的6个类别的预测值，将预测值与真实值带入交叉熵损失函数中，得到loss值，将loss反向传播更新神经网络参数，形成闭环反馈。

步骤3-4、具体参数配置如下：选取的面瘫数据集训练集与测试集按照8：2划分，初始学习率为0.0001，迭代次数为150次，优化器选择Adam优化器，学习率设置衰减项。

所述步骤4、采用脑卒中患者面部图像数据集，利用上述训练完成的关键点定位模型与特征预学习模型，进行脑卒中患者的快速诊断评估模型的构建，实际辅助诊断效果如图2所示。

步骤4-1、使用步骤2得到的人脸关键点定位模型，对脑卒中数据中的人脸患病区域进行分割，得到以下6种类别：眼部中轻度、眼部重度、嘴部中轻度、嘴部重度、眼部正常、嘴部正常。使用步骤3得到的特征预学习模型，对其网络参数进行微调，使得该网络对脑卒中面部特征有更好的分类结果。

步骤4-2具体参数配置如下：选取的脑卒中数据集训练集与测试集按照7：3划分，初始学习率为0.0001，迭代次数为200次，优化器选择Adam优化器，学习率设置衰减项。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (9)

1.一种基于面部关键点与特征预学习的脑卒中辅助评估系统，其特征在于包括数据采集模块、关键点定位模型训练模块、特征预学习模型训练模块和快速诊断评估模型构建模块；

数据采集模块：采集脑卒中患者面部图像，构建数据集；搜索公开的面瘫患者面部图像标准数据集以及人脸关键点数据集；

关键点定位模型训练模块：采用公开人脸关键点数据集，进行基于深度卷积神经网络的关键点定位模型训练；

特征预学习模型训练模块：采用公开面瘫数据集，基于已经训练好的定位模型得到人脸关键点，从而基于人脸关键点将面部区域分割出Region Of Interest(ROI)区域；随后使用卷积神经网络作为特征提取器，以面部面瘫的三种严重程度：正常、轻中度、重度程度作为分类目标，从而完成特征预学习模型的训练；

快速诊断评估模型构建模块：采用脑卒中患者面部图像数据集，利用上述训练完成的关键点定位模型与特征预学习模型，构建脑卒中患者的快速诊断评估模型。

2.根据权利要求1所述的一种基于面部关键点与特征预学习的脑卒中辅助评估系统，其特征在于数据采集模块具体实现如下：

首先收集公开面瘫数据集，针对其数据分布不均衡问题，需要对面瘫数据集进行数据增强，本模块主要是对原始数据集进行了图像旋转，图像旋转的基本原理是原图像与仿射变换矩阵相乘，其中仿射变换矩阵M的表达式为：

α＝scale·cos(angle) (2)

β＝scale·sin(angle) (3)

其中(center_x,center_y)表示旋转中心，angle代表旋转角度，scale代表旋转后图像的缩放比，通过仿射变换矩阵与原图像相乘得到一定数量的增强后的图像。

3.根据权利要求1或2所述的一种基于面部关键点与特征预学习的脑卒中辅助评估系统，其特征在于关键点定位模型训练模块具体实现如下：

采用公开人脸关键点数据集，以人脸关键点图像W＝{w₁,w₂,w₃,...,w_n}作为输入，训练基于卷积神经网络的人脸关键点定位模型，其中人脸关键点定位模型包含“特征提取层”、“损失函数层”、“网络输出层”3个部分。

4.根据权利要求3所述的一种基于面部关键点与特征预学习的脑卒中辅助评估系统，其特征在于特征提取层中采用标准卷积、反转残差块，反转残差块采取了先扩张，再提取特征，最后再压缩的策略，使得模型提取的特征更加丰富，同时减少了运算量；在特征提取层还引入由标准卷积构成的辅助卷积神经网络，用于对每一个输入的人脸关键点图像的三维欧拉角进行估计，辅助卷积神经网络克服了位姿、光线、遮挡外部因素对人脸关键点定位的影响；特征提取层经过卷积、激活、数据归一化三个步骤完成人脸关键点特征提取，其表达式为：

Y＝f(WX+B) (4)

其中W为隐藏层权重矩阵，B为隐藏层偏执矩阵，f为激活函数，最后在激活函数之后接入数据归一化层，其表达式为：

其中x为需要归一化的输入数据，mean(x)和var(x)分别表示数据的均值和方差，eps为防止分母出现零所增加的变量；γ和β分别为缩放和平移变量，加入缩放和平移变量的原因是保证每次得到的归一化的值都符合标准正态分布。

5.根据权利要求4所述的一种基于面部关键点与特征预学习的脑卒中辅助评估系统，其特征在于损失函数层中的人脸关键点训练建立如下损失函数：

其中M表示一个批次训练的图片数，N表示每张面部图像预先设定的待检测人脸关键点数量，γ_n表示权重，包含几何约束和数据不平衡约束，

衡量第m张输入图片的第n个预测的人脸关键点实际的人脸关键点的距离，损失函数值越小，表示关键点定位准确率越高；将γ_n替换成辅助网络的参数得到最终的损失函数表达式：

其中K表示偏航角yaw、俯仰角pitch、翻滚角roll三个自由度的方向，

表示在上述3个自由度方向上，真实值与预测值角度的偏差，当角度变大时损失值也越大，

表示脸部姿势的类型，包括正脸、侧脸、抬头、低头、带有表情、遮挡。

6.根据权利要求4或5所述的一种基于面部关键点与特征预学习的脑卒中辅助评估系统，其特征在于网络输出层输出为位于人脸面部区域的若干个人脸关键点位置，利用这些人脸关键点位置，能够定位出受脑卒中影响较大的嘴部、眼部区域。

7.根据权利要求6所述的一种基于面部关键点与特征预学习的脑卒中辅助评估系统，其特征在于所述特征预学习模型训练模块具体实现如下：

首先选取指定的区域分割点作为眼部以及嘴角的基准点，得到的区域类别分为以下6种：眼部中轻度、眼部重度、嘴部中轻度、嘴部重度、眼部正常、嘴部正常；对分割得到的区域

采用标准卷积模块和反转残差模块组成的卷积神经网络进行特征预学习，得到n维特征向量X＝(x¹,x²,...,xⁿ)，特征向量经过全连接层降维到上述6种类别的维数，网络的训练目标是最小化交叉熵损失函数：

其中p＝[p₁,...,p_C]是一个概率分布，每个元素p_c表示样本属于第c类别的概率，y＝[y₁,...,y_C]是样本标签的one-hot编码表示，当样本属于第c类别时y_c＝1，否则y_c＝0。

8.根据权利要求7所述的一种基于面部关键点与特征预学习的脑卒中辅助评估系统，其特征在于所述的指定的区域分割点为：在人脸关键点数为96个的情况下，眼部区域矩形框左上角与右下角的分割坐标点为：(x[0],y[35])，(x[32],y[57])；嘴部区域矩形框左上角与右下角的分割坐标点为：(x[66],y[52])，(x[20],y[20])。

9.根据权利要求8所述的一种基于面部关键点与特征预学习的脑卒中辅助评估系统，其特征在于所述快速诊断评估模型构建模块具体实现如下：

使用得到的人脸关键点定位模型，对脑卒中数据集中的人脸患病区域进行分割，得到以下6种类别：眼部中轻度、眼部重度、嘴部中轻度、嘴部重度、眼部正常、嘴部正常；使用得到的特征预学习模型，基于脑卒中数据集对特征预学习模型的网络参数进行微调，使得该网络对脑卒中面部特征有更好的分类结果。

Images