CN113361509B - 用于面神经麻痹检测的图像处理方法 - Google Patents

Abstract

本发明提供了一种用于面神经麻痹检测的图像处理方法，该方法包括：对患者未患病时的第一面部图像和患病时的第二面部图像进行相同位置的遮挡，基于遮挡后得到的第一面部遮挡图像和第二面部遮挡图像的相似度确定病情粗定位区域；在第一面部图像和第二面部图像中获取病情粗定位区域的第一区域图像和第二区域图像后进行网格划分，得到第一区域网格图像和第二区域网格图像；对第一区域网格图像和第二区域网格图像中相同位置的网格依次进行遮挡，拟合遮挡后得到的第一遮挡图像和第二遮挡图像的相似度，得到相似度曲线，增加遮挡网格的个数，每次增加后都重复获取相似度曲线，根据每条相似度曲线中的最大值确定主要病情区域。本发明运行速度快，功耗小。

Description

用于面神经麻痹检测的图像处理方法

技术领域

本发明涉及图像处理领域，具体为一种用于面神经麻痹检测的图像处理方法。

背景技术

一种现有的面神经麻痹的检测方法是寻找到人脸对称轴后，以人脸左右两侧的差异来判断疾病，而实际生活中多数人的脸部其左右并非理想对称的情况，利用脸部对称性进行病变定位和病情识别，很容易因为人脸左右正常的差异而造成误识别的情况。

另一种现有的面神经麻痹的检测方法是使用DNN网络的方式来进行患者面部病变的识别，但是神经网络需要大量患者人脸数据来进行训练，但患者的人脸数据涉及患者的敏感信息，因此，患者的人脸数据难以大量采集。

发明内容

为了解决上述问题，本发明提出一种用于面神经麻痹检测的图像处理方法，该方法包括：

获取患者未患病时的第一面部图像和患病时的第二面部图像；

对第一面部图像和第二面部图像进行相同位置的遮挡，基于遮挡后得到的第一面部遮挡图像和第二面部遮挡图像的相似度确定病情粗定位区域；

分别在第一面部图像和第二面部图像中获取病情粗定位区域的第一区域图像和第二区域图像，按照相同的划分方式对第一区域图像和第二区域图像进行网格的划分，得到第一区域网格图像和第二区域网格图像；

对第一区域网格图像和第二区域网格图像中相同位置的网格依次进行遮挡，拟合每次遮挡后得到的第一遮挡图像和第二遮挡图像的相似度，得到相似度曲线，增加遮挡的网格的个数，每次增加后都重复获取相似度曲线，根据每条相似度曲线中的最大值确定主要病情区域；其中，利用遮罩进行遮挡，遮挡图像中被遮挡区域像素值为预设数值，未被遮挡区域像素值不变。

进一步地，所述增加遮挡的网格的个数具体为逐个递增。

进一步地，所述每次增加后都重复获取相似度曲线具体为：

当前获取的相似度曲线中相似度最大值对应的网格为固定网格，固定网格以外的网格构成其他网格集合，依次在其他网格集合中选择一个网格，对固定网格与所选择的一个网格进行遮挡，拟合每次遮挡后得到的第一遮挡图像和第二遮挡图像的相似度，得到相似度曲线。

进一步地，所述第一遮挡图像和第二遮挡图像的相似度的计算方法为：

设置扇形卷积核，利用扇形卷积核分别对第一遮挡图像和第二遮挡图像进行滑动卷积后获取第一描述向量和第二描述向量，第一描述向量和第二描述向量的相似度为所述第一遮挡图像和第二遮挡图像的相似度。

进一步地，所述扇形卷积核每滑动一次进行一次旋转。

进一步地，所述扇形卷积核为直角扇形。

进一步地，所述病情粗定位区域的获取方法为：

按照相同的划分方式对第一面部图像和第二面部图像进行网格的划分，得到第一面部网格图像和第二面部网格图像；

对第一面部网格图像和第二面部网格图像中相同位置的网格进行遮挡，每次遮挡一个网格，拟合每次遮挡后得到的第一面部遮挡图像和第二面部遮挡图像的相似度，得到相似度曲线，剔除相似度曲线中最小值对应的网格区域，得到病情的粗定位区域。

本发明的有益效果在于：

1.本发明首先获取病情粗定位区域，在患者的正常面部图像和患病面部图像中获取病情粗定位区域对应的第一区域图像和第二区域图像，在第一区域图像和第二区域图像中进行相同位置的遮挡，根据遮挡后两张图像中未遮挡部分的相似度确定主要病情区域，本发明只需对两张图像进行图像处理即可确定主要病情区域，运行速度快，功耗小。

2.本发明利用扇形卷积核提取遮挡后的第一区域图像和第二区域图像中的纹理特征，相较于现有的方形卷积核，利用扇形卷积核可减少非病情区域特征的提取，从而得到精细化的病情区域的特征。

3.病情粗定位区域中包括主要病情区域和带动病情区域，每获取一条相似度曲线后增加遮挡的网格个数，获取若干相似度曲线，本发明只需基于每条相似度曲线中的最大值即可得到主要病情区域，有助于患者的病情评估。

附图说明

图1为本发明方法实施流程图。

图2为实施例中扇形卷积核的示意图。

具体实施方式

为了让本领域技术人员更好的理解本发明，下面结合实施例对本发明进行详细描述。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

实施例一：

该实施例提供了一种用于面神经麻痹检测的图像处理方法，该方法流程如图1所示，具体地，该方法包括：

1)获取患者未患病时的第一面部图像和患病时的第二面部图像；其中，第一面部图像可由患者提供，第二面部图像可利用相机对患者面部进行图像采集，拍摄视角为正视于人脸，拍摄视野要覆盖患者人脸全部区域；实施例利用OpenCV开源库对患者提供的图像和相机采集的图像进行人脸检测，基于得到的人脸包围框获取第一面部图像和第二面部图像。

2)对第一面部图像和第二面部图像进行相同位置的遮挡，基于遮挡后得到的第一面部遮挡图像和第二面部遮挡图像的相似度确定病情粗定位区域，其中，利用遮罩进行遮挡，遮挡图像中被遮挡区域像素值为预设数值，未被遮挡区域像素值不变，具体地：

将第一面部图像和第二面部图像进行人脸对齐后，按照相同的划分方式对第一面部图像和第二面部图像进行网格的划分，得到第一面部网格图像和第二面部网格图像。实施例中基于医疗大数据获得不同患者、不同病变程度的人脸图像，基于统计学思想确定不同大小人脸、不同病变程度患者的最优网格划分方法，例如，人脸区域图像大小为1*1，则网格大小为0.02*0.02，将人脸等分为50*50的网格图像。

实施例中，按照从左到右，从上到下的顺序，对第一面部网格图像和第二面部网格图像中相同位置的网格进行遮挡，每次遮挡一个网格，具体地，此时，遮罩与第一面部图像和第二面部图像等大，利用遮罩对网格进行遮挡时，一种实施方式为，遮罩中与要遮挡的网格相对应位置的值为0，其他位置值为1，遮罩分别与第一面部图像和第二面部图像点对点相乘，得到第一面部遮挡图像和第二面部遮挡图像，即每次遮挡得到的第一面部遮挡图像、第二面部遮挡图像中被遮挡网格区域像素值为0，未被遮挡网格区域的像素值不变即未被遮挡网格区域的像素值和第一面部图像、第二面部图像中相应网格区域的像素值相同，需要说明，遮挡前后图像的大小不发生改变，拟合每次遮挡后得到的第一面部遮挡图像和第二面部遮挡图像的相似度，得到相似度曲线，剔除相似度曲线中最小值对应的网格区域，得到病情的粗定位区域；需要说明，相似度曲线中最小值对应的网格可能为多个网格。

需要说明，计算第一面部遮挡图像和第二面部遮挡图像的相似度是计算图像中未遮挡部分的相似度，具体地图像相似度的计算方法为：分别提取第一面部遮挡图像和第二面部遮挡图像中的人脸纹理特征，优选地，实施例中采用Canny算子提取图像中的人脸纹理特征，得到相应的特征描述向量

、

，则特征描述向量

、

的余弦相似度为第一面部遮挡图像和第二面部遮挡图像的相似度；余弦相似度越大，遮挡的网格区域为病情区域的几率越大。

其中，剔除相似度曲线中最小值对应的网格区域，得到病情的粗定位区域的判断依据为：根据先验，当遮挡的网格区域为非病情区域时，得到的第一面部遮挡图像和第二面部遮挡图像的相似度值最小，当遮挡的网格区域中包括病情区域时，第一面部遮挡图像和第二面部遮挡图像的相似度增大，因此，相似度曲线中曲线保持平稳且值为最小值时，对应的进行遮挡的网格区域为非病情区域；剔除相似度曲线中最小值对应的网格区域，即剔除非病情区域，得到病情的粗定位区域，进一步地，可得到病情的粗定位区域的长度

。

需要说明，由于面神经麻痹患者的症状表现为口眼歪斜，所获取的病情的粗定位区域可能有多个，因此，实施例中需要获取每个病情粗定位区域的长度

。

3)分别在第一面部图像和第二面部图像中获取病情粗定位区域的第一区域图像和第二区域图像，优选地，一种实施方式为，分别在第一面部图像和第二面部图像中将病情粗定位区域以外的区域的像素值置为0，得到第一区域图像和第二区域图像；对第一区域图像和第二区域图像按照相同的划分方式进行网格的划分，得到第一区域网格图像和第二区域网格图像；网格的划分是为了更好的设置每次遮挡的范围和遍历规则，有利于对第一区域图像和第二区域图像进行遍历遮挡；对第一区域网格图像和第二区域网格图像中相同位置的网格依次进行遮挡，同样地，利用遮罩进行遮挡，此时遮罩与第一区域网格图像和第二区域网格图像等大，遮罩中与要遮挡的网格相对应位置的值为0，其他位置值为1，遮罩分别与第一区域网格图像和第二区域网格图像相乘，得到第一遮挡图像和第二遮挡图像，拟合每次遮挡后得到的第一遮挡图像和第二遮挡图像的相似度，得到相似度曲线，增加遮挡的网格的个数，每次增加后都重复获取相似度曲线，根据每条相似度曲线中的最大值确定主要病情区域。

进一步地，第一遮挡图像和第二遮挡图像的相似度的计算方法为：

设置扇形卷积核，优选地，扇形卷积核为直角扇形，利用扇形卷积核分别对第一遮挡图像和第二遮挡图像进行滑动卷积后获取第一描述向量和第二描述向量，具体地，对第一遮挡图像和第二遮挡图像中的病情的粗定位区域进行滑动卷积后获取第一描述向量和第二描述向量，第一描述向量和第二描述向量的相似度为所述第一遮挡图像和第二遮挡图像的相似度。

需要说明，扇形卷积核每滑动一次进行一次旋转，其中，扇形卷积核在每个病情粗定位区域进行滑动时，开始滑动和结束滑动时扇形卷积核的姿态如图2所示，图2中PQ表示扇形的圆弧，扇形卷积核从开始滑动至结束滑动共旋转

，具体地，扇形卷积核每次旋转的角度为：

，其中，

为预设缩放系数，

为病情粗定位区域的长度。

实施例中，扇形半径为5，可在5*5的卷积核中进行扇形卷积核的切取。

采用扇形卷积核的原因为：计算第一遮挡图像和第二遮挡图像的相似度时，采用现有的方形的卷积核进行特征的提取，会提取到多余信息，例如，眼睛病变时，眼角歪斜，眼睛内部的眼白和眼球信息不属于病变特征，为无用信息，利用现有的方形卷积核则会提取到眼睛内部的纹理信息，因此，为了减少无用信息的提取，本发明提出一种扇形卷积核，利用该扇形卷积核可以提取到更为精细化的病变区域特征。

进一步地，增加遮挡的网格的个数，每次增加后都重复获取相似度曲线，具体为：

实施例中网格的个数是逐个递增，即每获取一条相似度曲线后，增加一个要遮挡的网格个数，重复获取相似度曲线，优选地，当前获取的相似度曲线中相似度最大值对应的网格为固定网格，固定网格以外的网格构成其他网格集合，依次在其他网格集合中选择一个网格，对固定网格与所选择的一个网格进行遮挡，拟合每次遮挡后得到的第一遮挡图像和第二遮挡图像的相似度，得到一条新的相似度曲线。

进一步地，基于曲线获取的先后顺序拟合已获得的每条相似度曲线中的最大值，得到最大值曲线，对最大值曲线进行平稳性分析，当最大值曲线趋于平稳时即病情区域被完全遮挡时，停止相似度曲线的获取。

由于主要病情区域未被完全遮挡时，增加遮挡的网格个数后获取的相似度曲线中的最大值与前一条相似度曲线中最大值的差异较大，而主要病情区域几乎被完全遮挡后，增加遮挡的网格个数后获取的相似度曲线中的最大值与前一条相似度曲线中最大值的差异不大；因此，停止获取相似度曲线后，根据获得的每条相似度曲线中的最大值确定主要病情区域，即根据相邻两条相似度曲线中最大值的差异情况确定主要病情区域，具体地：在最大值曲线上分别从每条相似度曲线中的最大值向坐标系横轴作垂线，从而将最大值曲线下方区域划分为多个子区域，根据相邻两个子区域的面积差值

确定主要病情区域，当

时，第

条相似度曲线中的最大值对应的遮挡的网格区域为主要病情区域；其中，

为预设阈值，

，

、

分别表示第

个、第

个子区域的面积。

对主要病情区域进行患病程度分析，辅助监督患者的康复情况。

以上所述旨在让本领域技术人员更好的理解本发明，并不用于限制本发明，凡是在本发明精神和原则之内做出的修改与变动皆在本发明的保护范围内。

Claims (5)

1.一种用于面神经麻痹检测的图像处理方法，其特征在于，该方法包括：

获取患者未患病时的第一面部图像和患病时的第二面部图像；

按照相同的划分方式对第一面部图像和第二面部图像进行网格的划分，得到第一面部网格图像和第二面部网格图像；对第一面部网格图像和第二面部网格图像中相同位置的网格进行遮挡，每次遮挡一个网格，拟合每次遮挡后得到的第一面部遮挡图像和第二面部遮挡图像的相似度，得到相似度曲线，剔除相似度曲线中最小值对应的遮挡的网格区域，得到病情的粗定位区域；

分别在第一面部图像和第二面部图像中获取病情粗定位区域的第一区域图像和第二区域图像，按照相同的划分方式对第一区域图像和第二区域图像进行网格的划分，得到第一区域网格图像和第二区域网格图像；

对第一区域网格图像和第二区域网格图像中相同位置的网格依次进行遮挡，拟合每次遮挡后得到的第一遮挡图像和第二遮挡图像的相似度，得到相似度曲线，增加遮挡的网格的个数，每次增加后都重复获取相似度曲线，基于曲线获取的先后顺序拟合已获得的每条相似度曲线中的最大值，得到最大值曲线，在最大值曲线上分别从每条相似度曲线中的最大值向坐标系横轴作垂线，从而获得最大值曲线下方区域划分后的多个子区域，根据相邻两个子区域的面积差值

确定主要病情区域，当

时，第

条相似度曲线中的最大值对应的遮挡的网格区域为主要病情区域；其中，

为预设阈值，

，

、

分别表示第

个、第

个子区域的面积；其中，利用遮罩进行遮挡，遮挡图像中被遮挡区域像素值为预设数值，未被遮挡区域像素值不变。

2.如权利要求1所述的方法，其特征在于，所述增加遮挡的网格的个数具体为逐个递增。

3.如权利要求2所述的方法，其特征在于，所述每次增加后都重复获取相似度曲线具体为：

当前获取的相似度曲线中相似度最大值对应的网格为固定网格，固定网格以外的网格构成其他网格集合，依次在其他网格集合中选择一个网格，对固定网格与所选择的一个网格进行遮挡，拟合每次遮挡后得到的第一遮挡图像和第二遮挡图像的相似度，得到相似度曲线。

4.如权利要求1所述的方法，其特征在于，所述第一遮挡图像和第二遮挡图像的相似度的计算方法为：

设置扇形卷积核，利用扇形卷积核分别对第一遮挡图像和第二遮挡图像进行滑动卷积后获取第一描述向量和第二描述向量，第一描述向量和第二描述向量的相似度为所述第一遮挡图像和第二遮挡图像的相似度；其中，在5*5的卷积核中进行扇形卷积核的切取，所述扇形卷积核为直角扇形，扇形半径为5。

5.如权利要求4所述的方法，其特征在于，所述扇形卷积核每滑动一次进行一次旋转。

Images