CN112396600A - 基于热成像和深度图的脱敏状态下面部神经麻痹检测系统 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，尤其涉及基于热成像和深度图的脱敏状态下面部神经麻痹检测系统，包括依次连接的面部采集模块、面部修正模块、对称轴划分模块以及面部异常检测模块，解决了现有的面部异常检测系统对面部对称轴的划分会使检测结果误差较大，且不能实现数据脱敏的问题。本发明通过采集患者的热力图像以及深度图像实现了数据脱敏，同时在数据脱敏状态下，利用瓦片的稀疏深度值进一步保护了用户面部的敏感信息，提升了用户使用体验；另外，本发明通过面部修正以及对每行瓦片进行对称轴的划分，大大减小了由于面部偏转以及面部对称轴划分导致的误差，提高了检测结果的准确性以及可靠性。

Description

基于热成像和深度图的脱敏状态下面部神经麻痹检测系统

技术领域

本发明涉及计算机视觉技术领域，尤其涉及基于热成像和深度图的脱敏状态下面部神经麻痹检测系统。

背景技术

目前，基于移动端的疾病检测系统一般需要采集RGB图像，而RGB图像包含了患者所处环境、面部细节等敏感信息；但是，部分患者不希望检测系统采集当前室内环境以及面部细节等信息，比如：面部胡茬。

另外，基于深度图的面部异常检测通常将图像纵向中心轴或者特定特征点连线作为面部对称轴，但是，此种面部对称轴并非理想共线，且面瘫患者有时嘴部会整体偏移，因此，将纵向中心轴或者特定特征点连线作为面部对称轴的方式，会导致检测结果误差较大。

发明内容

本发明提供基于热成像和深度图的脱敏状态下面部神经麻痹检测系统，解决的技术问题是，现有的面部异常检测系统对面部对称轴的划分会使检测结果误差较大，且不能实现数据脱敏。

为解决以上技术问题，本发明提供了一种基于热成像和深度图的脱敏状态下面部神经麻痹检测系统，包括依次连接的面部采集模块、面部修正模块、对称轴划分模块以及面部异常检测模块；

所述面部采集模块，用于根据采集到的患者的热力图像以及深度图像，得到人脸深度图；

所述面部修正模块，用于对所述人脸深度图进行瓦片分割，得到人脸分割图，计算所述人脸分割图中左右两侧的深度描述，并利用所述深度描述检测面部姿态；还用于对符合面部姿态要求的所述人脸分割图的每行瓦片进行滑窗拟合，获取所有瓦片的斜率系数，根据所述斜率系数得到人脸斜率，并将所述人脸斜率输入修正模型进行修正，得到人脸修正图；

所述对称轴划分模块，用于将所述人脸修正图进行瓦片切分，所有瓦片关于纵向中心轴以第一设定步长向两侧移动，同时获取全局对称性评价量，利用所述最小的全局对称性评价量获取全局对称轴；还用于以所述全局对称轴为基准，每行瓦片以第二设定步长向两侧移动，同时获取两侧的行对称性评价量，利用所述最小的行对称性评价量获取行对称轴；

所述面部异常检测模块，用于基于所述行对称轴，获取对称瓦片的深度差异，根据所述深度差异计算深度差异方差，利用所述深度差异方差检测面部异常程度。

进一步地，所述根据采集到的患者的热力图像以及深度图像，得到人脸深度图，具体包括：

采集患者的热力图像以及深度图像；

根据所述热力图像以及深度神经网络，得到人脸掩膜；

利用所述人脸掩膜得到热力区域图以及深度区域图；

对所述热力区域图进行连通域分析，得到人脸包围框；

利用所述人脸包围框对所述深度区域图进行裁剪，得到人脸深度图。

其中，所述深度神经网络采用编码器-解码器架构。

进一步地，所述深度描述具体为：

式中，A表示所述人脸分割图单侧瓦片的深度描述，M_i,j表示第i行、第j列瓦片的深度值，S表示深度系数，Q表示所述人脸分割图中瓦片的总行数，P表示所述人脸分割图中瓦片的总列数。

进一步地，所述修正模型为：

式中，X_i,j表示第i行，第j列瓦片的新深度值，V_i,j表示第i行、第j列瓦片的横向坐标，L表示人脸真实宽度，γ表示所述人脸斜率。

进一步地，所述全局对称性评价量为：

式中，C表示全局对称性评价量，X′_x,y表示一侧第y行、第x列瓦片全局移动后的深度值，X′_-x,y表示另一侧第y行、第x列瓦片全局移动后的深度值。

更进一步地，所述行对称性评价量为：

式中，B表示行对称性评价量，X″_x表示当前行一侧第x列瓦片行移动后的深度值，X″_-x表示当前行另一侧第x列瓦片行移动后的深度值，μ表示正态分布期望值。

进一步地，所述瓦片分割包括：

基于所述人脸深度图的宽高尺寸，根据预设的所述总行数以及所述总列数获取单个瓦片的宽高尺寸；

以所述人脸深度图的竖向中心线为基准，将所述人脸深度图划分为左右两侧，根据单个瓦片的宽高尺寸横向对两侧进行瓦片分割；

以所述人脸深度图最左侧竖线为第一坐标系纵轴，将瓦片以从左向右、从下向上的顺序进行编号。

更进一步地，所述瓦片切分包括：以所述人脸修正图的所述纵向中心轴为第二坐标系纵轴，将两个单侧的瓦片分别以从下向上的顺序进行编号。

本发明提供的一种基于热成像和深度图的脱敏状态下面部神经麻痹检测系统，包括依次连接的面部采集模块、面部修正模块、对称轴划分模块以及面部异常检测模块，解决了现有的面部异常检测系统对面部对称轴的划分会使检测结果误差较大，且不能实现数据脱敏的问题。相比于直接采集RGB图像进行检测，本发明通过采集的热力图像以及深度图像实现面部检测，实现了数据脱敏，降低了用户敏感信息泄露的风险，同时通过划分瓦片，不仅保证了在深度值稀疏情况下仍实现系统的检测，而且进一步保护了用户面部的敏感信息；另外，本发明通过面部修正降低了面部偏转对检测结果的影响，修正脸部各区域深度值，提高了检测结果的准确性，同时通过对瓦片行对称轴的划分，大大减小了由于面部偏转以及面部对称轴划分导致的误差，可靠性高，实用性强。

附图说明

图1是本发明实施例提供的基于热成像和深度图的脱敏状态下面部神经麻痹检测系统的结构框图；

图2是本发明实施例提供的瓦片行对称轴划分结果示意图。

图形标注：

面部采集模块1；面部修正模块2；

对称轴划分模块3；面部异常检测模块4。

具体实施方式

下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。

针对现有的面部异常检测系统对面部对称轴的划分会使检测结果误差较大，且不能实现数据脱敏的问题，本发明实施例提供了一种基于热成像和深度图的脱敏状态下面部神经麻痹检测系统，如图1所示，包括依次连接的面部采集模块1、面部修正模块2、对称轴划分模块3以及面部异常检测模块4；

所述面部采集模块1首先采集患者的热力图像以及深度图像；其中，在本实施例中，所述热力图像为红外线热成像，其像素值表示物体的表面温度，所述深度图像通过结构光方式获得，其像素值表示物体距离相机坐标系原点的距离。相比于现有技术采集的RGB图像，本实施例通过热力图像以及深度图像，使得系统在数据采集过程中即可避免敏感信息的采集。

本发明实施例将所述热力图像中不属于温度阈值[34，40]范围的信息剔除，得到脱敏热力图像，同时将所述深度图像中不属于深度阈值[0，500]范围的信息剔除，得到脱敏深度图像，大大减少后续信息计算量，提高系统检测效率；

需要说明的是，本发明实施例需保证所述脱敏热力图像以及所述脱敏深度图像的图像信息大于整体图像像素的30％，保证在减少数据处理量的同时保留充足的有用信息；若小于整体图像像素的30％，则重新采集图像。

本实施例将所述脱敏热力图像输入深度神经网络进行人脸识别，输出人脸掩膜，其中，所述深度神经网络采用编码器-解码器结构，具体训练过程为：

所述编码器通过卷积、池化操作对所述脱敏热力图像进行下采样，同时提取所述脱敏热力图像的空域特征，所述编码器输出提取到的特征向量；所述解码器对特征向量进行上采样，输出人脸掩膜；其中，网络训练的数据集为所述脱敏热力图像，标签为所述脱敏热力图像对应的标签图像，在所述标签图像中，每个像素值表示当前像素点类别，本发明实施例设置3个类别，分别为背景，人脸，人体其他部位，依次标记像素值为[0，2]；另外，损失函数为交叉熵损失函数。

本实施例首先将所述人脸掩膜分别与所述脱敏热力图像和所述脱敏深度图像相乘，得到热力区域图以及深度区域图；然后，对所述热力区域图进行连通域分析，得到人脸包围框，并利用所述人脸包围框对所述深度区域图进行裁剪，得到人脸深度图；

所述面部修正模块2首先对所述人脸深度图进行瓦片分割，得到人脸分割图，具体包括：

基于所述人脸深度图的宽度W、高度H，根据预设的总行数Q以及总列数P获取单个瓦片的宽度SW＝W/P、高度SH＝H/Q；需要说明的是，为了便于分割，本实施例预设的所述总列数为偶数；

以所述人脸深度图的竖向中心线为基准，将所述人脸深度图划分为左右两侧，根据单个瓦片的宽高尺寸横向对两侧进行瓦片分割；

以所述人脸深度图最左侧竖线为第一坐标系纵轴，将瓦片以从左向右、从下向上的顺序进行编号，即瓦片横向编号方向为从左向右，纵向编号方向为从下向上。

然后，所述面部修正模块2计算所述人脸分割图中各个瓦片的深度值，即单个瓦片中所有像素值的平均值；根据各个瓦片的深度值计算所述人脸分割图左右两侧的深度描述；

所述深度描述具体为：

式中，A表示所述人脸分割图单侧瓦片的深度描述，M_i,j表示第i行、第j列瓦片的深度值，S表示深度系数，Q表示所述人脸分割图中瓦片的总行数，P表示所述人脸分割图中瓦片的总列数。

其中，所述深度系数为：

式中，V_i,j表示第i行、第j列瓦片的横向坐标，V₀表示竖向中心线横向坐标，

为所述人脸分割图中单侧瓦片列数。

由于深度值越稠密，检测到的用户面部细节信息越多，因此，本实施例通过划分瓦片，不仅使得系统采集稀疏深度值也能够实现面部异常检测，而且避免了系统捕捉面部细节；另外，本实施例以瓦片的最左侧为其横向坐标。

本实施例将所述深度描述输入面部姿态模型，以检测面部偏转是否较大，所述面部姿态模型为：

式中，D表示面部偏转度，其反映面部倾角的正切值，A_l、A_r分别表示所述人脸分割图左、右侧瓦片的深度描述，L表示人脸真实宽度。

其中，所述人脸真实宽度L的计算公式为：

式中，W表示所述人脸深度图的宽度，dx表示相机内参，M′表示面部平均深度值，f表示相机焦距。

在本实施例中，若所述面部偏转度D小于预设偏转度，则认为左、右两侧的深度值相差较小，面部姿态符合系统处理要求；若否，则提醒用户面部偏转较大；其中，本实施例设置的所述预设偏转度为tan(10)＝0.64836082745909。

需要说明的是，即使符合面部姿态要求，患者面部仍存在一定偏转，并非理想中完全正视，本发明实施例利用面部两侧的深度值判断病情，而面部偏转会使检测结果误差较大，因此，为了更准确地利用面部深度值检测面部异常状况，本实施例需要对面部偏转进行校正；

所述面部修正模块2对符合面部姿态要求的所述人脸分割图的每行瓦片进行滑窗拟合，获取所有瓦片的斜率系数，具体包括：

逐行对同行的瓦片深度值进行一维滑窗，滑窗长度为HC，滑动步长为1，拟合滑窗内瓦片深度值的线性关系：

M_i,j＝α*V_i,j+β 1-5

式中，α表示斜率系数；β表示常数项；M_i,j表示第i行、第j列瓦片的深度值，其为因变量；V_i,j表示第i行、第j列瓦片的横向坐标，其为自变量。本实施例利用滑窗内所有瓦片进行深度值拟合，拟合所得的线性方程具有最少的离群值。

滑窗拟合结束后得到线性方程，计算滑窗内各瓦片的深度值距所述线性方程的离群距离，若瓦片的所述离群距离大于设定的离群距离阈值，则判定此瓦片的斜率系数为0；对于其余斜率系数不为零的瓦片，本实施例筛选出单个瓦片在整个滑窗过程中产生的多个且不为零的斜率系数的众数，将其作为此瓦片的斜率系数。

所述面部修正模块2根据所述斜率系数得到人脸斜率，具体包括：

首先，将同一列瓦片中相同的所述斜率系数归为一类，统计同一列各类所述斜率系数的得分：

式中，F(m)表示当前列中第m类倾斜系数的得分，E(m)表示当前列中第m类倾斜系数的数量，α(m)表示当前列中第m类倾斜系数，α_max、α_min表示当前列中最大、最小倾斜系数；其中，所述倾斜系数越小，表明拟合的线性方程越平坦，其得分也越高。

将各列得分最高的类对应的所述倾斜系数构成倾斜序列：

{α(0),α(1),…,α(j),…,α(P)}

然后，利用所述倾斜序列计算整个面部的人脸斜率：

式中，γ表示人脸斜率。

本实施例将所述人脸斜率输入修正模型进行修正，得到人脸修正图，其中，所述修正模型为：

式中，X_i,j表示第i行，第j列瓦片的新深度值，V_i,j表示第i行、第j列瓦片的横向坐标，L表示人脸真实宽度；其中，

反映第i行，第j列瓦片的横向比例值。

本实施例利用瓦片的深度值进行线性拟合，进而修正面部各瓦片的深度值，减少了面部偏转对深度值的影响。

本发明实施例需利用面部两侧的深度值判断病情，但是，现有技术一般将人脸中心轴作为对称轴，进行两侧对称点的比较，而人脸的眼睛、鼻子、嘴巴的对称轴并非完全处于同一直线，因此，本实施例对全局对称轴进行分段修正，使得判断结果更加准确；

所述对称轴划分模块3将所述人脸修正图进行瓦片切分，所述瓦片切分与所述瓦片分割相同，但瓦片编号不同：本实施例以所述人脸修正图的纵向中心轴为第二坐标系纵轴，分别向两侧进行横向编号，设置所述第二坐标系纵轴的左侧为负，即为-x，所述第二坐标系纵轴的右侧为正，即为x，同时将两个单侧的瓦片分别以从下向上的顺序进行纵向编号；

所有瓦片关于纵向中心轴以第一设定步长分别向左右两侧移动，同时由于每移动一个所述第一设定步长，瓦片对应的区域发生改变，因此，本实施例需利用上述1-8公式重新计算各个瓦片的深度值，得到各个瓦片全局移动后的深度值，并计算全局对称性评价量，直至移动结束，得到若干个所述全局对称性评价量，所述全局对称性评价量为：

式中，C表示全局对称性评价量，X′_x,y表示一侧第y行、第x列瓦片全局移动后的深度值，X′_-x,y表示另一侧第y行、第x列瓦片全局移动后的深度值。

比如：本发明实施例设置所述第一设定步长为SW/10，所有瓦片相对所述纵向中心轴的移动范围为[-n*SW，n*SW]，其中，n为超参数；移动结束后，得到2n*10次移动获得的全局对称性评价量序列：{C(-n*10),…,C(g),…,C(n*10)}；

本实施例选取所述全局对称性评价量序列中最小元素对应的序号g，根据所述序号g获取全局对称轴，具体为：

V_D＝V₀+g*SW/10 1-10

式中，V_D表示全局对称轴的横向坐标，V₀表示纵向中心轴的横向坐标SW/10表示第一设定步长。

所述对称轴划分模块3基于所述全局对称轴，逐行划分行对称轴，具体为：

本实施例以所述全局对称轴为基准，将每行瓦片以第二设定步长向左、右两侧移动，同理，每移动一个所述第二设定步长，利用上述1-8公式重新计算各个瓦片的深度值，得到各个瓦片行移动后的深度值，并计算行对称性评价量，直至移动结束，得到若干个所述行对称性评价量，所述行对称性评价量的计算公式为：

式中，B表示行对称性评价量，X″_x表示当前行一侧第x列瓦片行移动后的深度值，X″_-x表示当前行另一侧第x列瓦片行移动后的深度值，μ表示正态分布期望值。

举例说明：本发明实施例设置所述第二设定步长为SW/20，每行瓦片相对所述全局对称轴的移动范围为[-n*SW，n*SW]，其中，n为超参数；行移动结束后，得到每行瓦片2n*20次移动获得的所述行对称性评价量序列：{B(-n*20),…,B(e),…,B(n*20)}；

本实施例选取所述行对称性评价量序列中最小元素对应的序号e，根据所述序号e获取行对称轴，具体为：

V_i＝V_D+e*SW/20 1-12

式中，V_i表示第i行的行对称轴的横向坐标，V_D表示全局对称轴的横向坐标，SW/20表示第二设定步长。

所述对称轴划分模块3逐行获得各行瓦片的行对称轴，如图2所示，得到各行瓦片的行对称轴。

所述面部异常检测模块4基于所述行对称轴，计算各对称瓦片的深度差异，即：

N(x,y)＝|X″′_x,y-X″′_-x,y| 1-13

式中，N(x,y)表示第y行第x列瓦片与对称瓦片的深度差异，X″′_x,y表示行移动结束后第y行第x列瓦片的深度值，X″′_-x,y表示行移动结束后第y行第-x列瓦片的深度值。

本实施例计算

个所述深度差异的深度差异均值，根据当前单个所述深度差异与所述深度差异均值计算得到深度差异方差，将所述深度差异方差输入面部异常检测模型，得到面部异常值，所述面部异常检测模型为：

式中，O表示面部异常值，R₁表示深度差异方差，R₂表示除所述当前单个深度差异外其余深度差异的方差，即所有其余深度差异与所述深度差异均值之差平方和的平均数。

在本实施例中，若所述面部异常值大于预设的异常阈值，则表示对应瓦片的面部异常程度较高，且此时，面部异常值越大，病变的概率越高。

本发明实施例提供的一种基于热成像和深度图的脱敏状态下面部神经麻痹检测系统，包括依次连接的面部采集模块1、面部修正模块2、对称轴划分模块3以及面部异常检测模块4，解决了现有的面部异常检测系统对面部对称轴的划分会使检测结果误差较大，且不能实现数据脱敏的问题，本实施例通过采集患者的热力图像以及深度图像实现了数据脱敏，同时在脱敏状态下，利用瓦片的稀疏深度值进一步降低了用户面部细节信息泄露的风险；另外，本实施例通过面部修正模块2、对称轴划分模块3大大减小了由于面部偏转以及面部对称轴划分导致的检测结果误差，提高了检测结果的准确性，使得其可靠性更强。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.基于热成像和深度图的脱敏状态下面部神经麻痹检测系统，其特征在于：包括依次连接的面部采集模块、面部修正模块、对称轴划分模块以及面部异常检测模块；

所述面部采集模块，用于根据采集到的患者的热力图像以及深度图像，得到人脸深度图；

所述面部修正模块，用于对所述人脸深度图进行瓦片分割，得到人脸分割图，计算所述人脸分割图中左右两侧的深度描述，并利用所述深度描述检测面部姿态；还用于对符合面部姿态要求的所述人脸分割图的每行瓦片进行滑窗拟合，获取所有瓦片的斜率系数，根据所述斜率系数得到人脸斜率，并将所述人脸斜率输入修正模型进行修正，得到人脸修正图；

所述对称轴划分模块，用于将所述人脸修正图进行瓦片切分，所有瓦片关于纵向中心轴以第一设定步长向两侧移动，同时获取全局对称性评价量，利用所述最小的全局对称性评价量获取全局对称轴；还用于以所述全局对称轴为基准，每行瓦片以第二设定步长向两侧移动，同时获取两侧的行对称性评价量，利用所述最小的行对称性评价量获取行对称轴；

所述面部异常检测模块，用于基于所述行对称轴，获取对称瓦片的深度差异，根据所述深度差异计算深度差异方差，利用所述深度差异方差检测面部异常程度。

2.如权利要求1所述的基于热成像和深度图的脱敏状态下面部神经麻痹检测系统，其特征在于，所述根据采集到的患者的热力图像以及深度图像，得到人脸深度图，具体包括：

采集患者的热力图像以及深度图像；

根据所述热力图像以及深度神经网络，得到人脸掩膜；

利用所述人脸掩膜得到热力区域图以及深度区域图；

对所述热力区域图进行连通域分析，得到人脸包围框；

利用所述人脸包围框对所述深度区域图进行裁剪，得到人脸深度图。

3.如权利要求2所述的基于热成像和深度图的脱敏状态下面部神经麻痹检测系统，其特征在于，深度描述具体为：

式中，A表示所述人脸分割图单侧瓦片的深度描述，M_i,j表示第i行、第j列瓦片的深度值，S表示深度系数，Q表示所述人脸分割图中瓦片的总行数，P表示所述人脸分割图中瓦片的总列数。

4.如权利要求1所述的基于热成像和深度图的脱敏状态下面部神经麻痹检测系统，其特征在于，所述修正模型为：

式中，X_i,j表示第i行，第j列瓦片的新深度值，V_i,j表示第i行、第j列瓦片的横向坐标，L表示人脸真实宽度，γ表示所述人脸斜率。

5.如权利要求1所述的基于热成像和深度图的脱敏状态下面部神经麻痹检测系统，其特征在于，所述全局对称性评价量为：

式中，C表示全局对称性评价量，X′_x,y表示一侧第y行、第x列瓦片全局移动后的深度值，X′_-x,y表示另一侧第y行、第x列瓦片全局移动后的深度值。

6.如权利要求1所述的基于热成像和深度图的脱敏状态下面部神经麻痹检测系统，其特征在于，所述行对称性评价量为：

式中，B表示行对称性评价量，X″_x表示当前行一侧第x列瓦片行移动后的深度值，X″_-x表示当前行另一侧第x列瓦片行移动后的深度值，μ表示正态分布期望值。

7.如权利要求1所述的基于热成像和深度图的脱敏状态下面部神经麻痹检测系统，其特征在于，所述瓦片分割包括：

基于所述人脸深度图的宽高尺寸，根据预设的所述总行数以及所述总列数获取单个瓦片的宽高尺寸；

以所述人脸深度图的竖向中心线为基准，将所述人脸深度图划分为左右两侧，根据单个瓦片的宽高尺寸横向对两侧进行瓦片分割；

以所述人脸深度图最左侧竖线为第一坐标系纵轴，将瓦片以从左向右、从下向上的顺序进行编号。

8.如权利要求1所述的基于热成像和深度图的脱敏状态下面部神经麻痹检测系统，其特征在于，所述瓦片切分包括：以所述人脸修正图的所述纵向中心轴为第二坐标系纵轴，将两个单侧的瓦片分别以从下向上的顺序进行编号。

9.如权利要求2所述的基于热成像和深度图的脱敏状态下面部神经麻痹检测系统，其特征在于：所述深度神经网络采用编码器-解码器架构。

Images