CN111062936A - 用于面部变形诊疗效果的量化指标评估方法 - Google Patents

用于面部变形诊疗效果的量化指标评估方法 Download PDF

Info

Publication number
CN111062936A
CN111062936A CN201911383229.7A CN201911383229A CN111062936A CN 111062936 A CN111062936 A CN 111062936A CN 201911383229 A CN201911383229 A CN 201911383229A CN 111062936 A CN111062936 A CN 111062936A
Authority
CN
China
Prior art keywords
face
asymmetry
facial
diagnosis
treatment effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911383229.7A
Other languages
English (en)
Other versions
CN111062936B (zh
Inventor
牛超群
张国庆
凌鋆超
张珂昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institutes for Biological Sciences SIBS of CAS
Original Assignee
Shanghai Institutes for Biological Sciences SIBS of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institutes for Biological Sciences SIBS of CAS filed Critical Shanghai Institutes for Biological Sciences SIBS of CAS
Priority to CN201911383229.7A priority Critical patent/CN111062936B/zh
Publication of CN111062936A publication Critical patent/CN111062936A/zh
Application granted granted Critical
Publication of CN111062936B publication Critical patent/CN111062936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/68Analysis of geometric attributes of symmetry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明运用计算机数值计算方法研究面部变形诊疗时图像,对诊疗效果进行量化评估,首先,采集患者的脸部图像样本并将人脸框与背景切割,在人脸框中标识出68个特征点;其次,计算出人脸对称轴后重新构建一种基于人脸区域不对称度和人脸角度不对称度的人脸不对称模型;然后,设计七种能够让计算机辅助诊断面瘫的检测方式,套用人脸不对称模型来构建面部变形评估模型;最后,综合考虑患者的五官区域的大小不一致性和五官中心的位置不一致性,输出诊疗量化评估结果。本发明提出一套客观、较为准确和容易被医生和患者接受的面部变形诊疗效果评估方法,以辅助医生精确诊疗。

Description

用于面部变形诊疗效果的量化指标评估方法
技术领域
本发明涉及面部变形诊疗技术领域,尤其涉及一种用于面瘫辅助诊疗和医学整容的效果进行量化评估的检测方法。
背景技术
在医学诊疗和临床应用中,对称性理论有很重要的价值,即通过观察医学图像的对称性可以辅助医生诊疗和决策。然而,具有不同知识背景的医生即使对同一张医学图像也可能存在不同的判断。运用计算机数值计算方法研究医学图像,对病人的病情进行量化,辅助医生根据医学图像量化结果进行诊疗,提高其效率和精度,具有较高的学术价值和实际应用价值。
针对面部变形,如面瘫诊疗或医学整容等,现阶段医院主要是依靠临床体征和医生的临床经验,治疗效果缺乏客观量化指标,比如在人脸上进行人工标记,通过计算标记点间距离和角度的变化来判断治疗效果,又如采用肌电仪检查对面瘫损害程度和疗效进行评价。但是,这些无法满足患者及时了解自己的治疗效果的需求,甚至导致患者错误的评估自己的面瘫程度,导致病程延长,甚至遗留不同程度的功能障碍,因此,本领域技术人员急需开发一套可以对面部变形诊疗效果进行量化评估的检测系统来辅助医生精确诊疗。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是提供一种用于面部变形辅助诊疗的方法,通过量化评估面部变形,辅助医生对面部变形进行精确评估诊疗,提高评估的精准度,提高术后效果。
本发明是通过下述技术方案来实现的。
一种用于面部变形诊疗效果的量化指标评估方法,包括以下步骤:
步骤S1、采集患者的脸部图像样本,通过人脸图像处理方法将人脸框与背景成功切割,并且从切割出的人脸框中检测出人脸的多个特征点;
步骤S2、在人脸特征点检测的基础上得到人脸对称轴,构建一种新颖的基于人脸区域不对称度和人脸角度不对称度的人脸不对称模型;
步骤S3、设计多种能够让计算机辅助诊断面瘫的检测动作,结合人脸区域不对称度和人脸角度不对称度构建面部变形评估模型;
步骤S4、综合考虑患者的五官区域的大小不一致性和五官中心的位置不一致性,输出评估结果。
在一些具体实施方式中,所述步骤S1包括:构建肤色模型,利用肤色像素点与背景像素点在色彩上的差别来提取肤色信息;对提取的所述肤色信息选择合适的色彩空间;针对选择的所述色彩空间,根据图像灰度值分布特性使用阈值分割对图像切割的方法,将人脸区域从复杂的背景中分割出来;对切割出的人脸建立卷积神经网络提取人脸的特征点。
在一些具体实施方式中,所述构建肤色模型的步骤为:利用图像的肤色信息进行检测,得出检查结果;对所述检测结果进行分割肤色区域;对切割出的所述肤色区域进行人脸检测。
在一些具体实施方式中,所述建立卷积神经网络提取人脸的特征点的方法为:搭建卷积神经网络对切割出的人脸区域进行人脸识别,建立人脸模型;对所述人脸模型进行训练;从训练好的所述人脸模型中提取多个特征点。
在一些具体实施方式中,所述步骤S2具体包括以下步骤:根据多个人脸特征点的位置,构建二维人脸的对称轴表达式Ps(x′,y′);根据所述对称轴表达式,寻找任意点P(x,y)关于对称轴的镜像坐标,构建不对称度的计算模型;根据所述不对称度的计算模型,提出了基于区域(RgAs)和角度(AnAs)的人脸不对称度度量指标。
构建的所述二维人脸的对称轴表达式为:对称轴方程为Ax+By=C;
在人正脸左侧(右侧)任意选择一初始点P0(a,b),设初始点P0(a,b)关于对称轴的镜像点的坐标为P1(a′,b′),理想状态下应在右侧(左侧)脸颊,对称轴的方程为:
Figure BDA0002342798620000021
其中,法向量为:<a-a′,b-b′>。
在一些具体实施方式中,构建不对称度的计算模型为:
对于任意一点P(x,y),其关于对称轴L的镜像点Ps(x′,y′),公式为:
<x′,y′>=<x,y>+t·<a-a′,b-b′>,
其中,t是一个可以求解的参数,可以得到公式:
Figure BDA0002342798620000022
求解可得:
Figure BDA0002342798620000023
将t带入上式,得到任意点P(x,y)关于坐标轴L的镜像点Ps(x′,y′)的坐标转换。
在一些具体实施方式中,所述人脸不对称度度量指标的计算方法为:
定义像素点到人脸对称轴的距离D为:
Figure BDA0002342798620000024
根据所述定义的像素到人脸对称轴距离与像素值的乘积GD为:
GD(i,j)=f(i,j).D(i,j),
其中,f为人脸区域;
根据GD给出人脸不对称度计算方法:
Figure BDA0002342798620000025
其中,asym为左半脸GD之和与右半脸GD之和的比值,即asym表示人脸的不对称度,asym越大,人脸的不对称越小,反之亦然;由于人脸不是完全镜像对称的,所以计算得到的人脸不对称度接近1。
在一些具体实施方式中,所述步骤S3的操作方法为:
步骤S31、设计七种能够让计算机辅助诊断面瘫的检测动作,主要包括:正脸、闭眼、抬眉、鼓气、咧嘴、耸鼻和吹口哨,采集患者在不同检测动作下的面部图像并进行预处理;
步骤S32、对所述步骤S31预处理后的图像,定义脸部区域、关键点和连线,以便计算人脸不对称特征;
步骤S33、根据所述步骤S2提出的人脸不对称特征:人脸区域不对称度和人脸角度不对称度,判断该患者是否患有面瘫及面瘫程度;
步骤S34、通过患者本人的人脸不对称特征和所有患者的人脸不对称特征度量面瘫程度;
步骤S35、对所述步骤S33和S34的不对称度模型使用Yale人脸库实验,实验表明正常人有着较大的区域不对称度和较小的角度不对称度,而面瘫患者人脸的角度不对称度明显高于正常人。
在一些具体实施方式中,所述步骤S31的操作方法为:根据规格归一化处理方法针对人脸在图像中的偏移、大小和位置情况进行矫正,从而使得不同条件下拍摄和输入的人脸图像最终能够以一种较为统一的方式表现,保证人脸的关键部位的信息;根据Gabor滤波器能够克服光照条件变化对人脸识别效果的影响,更好地描述空间频率、空间位置及方向选择性的局部结构信息。
在一些具体实施方式中,所述步骤S32的定义脸部区域、关键点和连线的方法为:定义脸部区域为:
rul(R)=(minx(R),miny(R)),
rlr(R)=(maxx(R),maxy(R)),
其中,R是像素点的集合,minx用来计算R里面x坐标的最小值,miny用来计算R里面y坐标的最小值,maxx用来计算R里面x的最大值,maxy用来计算R里面y坐标的最大值;
定义关键点为:
p(P)=(meanx(P),meany(P)),
其中,P是点的集合,meanx用来计算P里面x坐标的平均值,meany用来计算P里面y坐标的平均值;
定义眉毛中心连线为:
Figure BDA0002342798620000031
定义鼻子中心的连线L-N为:
Figure BDA0002342798620000032
定义嘴巴中心连线L-M为:
Figure BDA0002342798620000033
将所述人脸不对称特征(FAF)分为区域不对称度(RgAs)和角度不对称度(AnAs),分别用以下公式表示:
RgAs=EAs+EBAs+NAs+Mas,
AnAs=MAn+NAn+EbAn;
其中,人脸区域不对称特征分为眼睛不对称度(EAs),眉毛不对称度(EBAs),鼻子不对称度(NAs),嘴巴不对称度(MAs),人脸角度不对称特征分为嘴巴夹角(MAn),鼻子夹角(NAn)和眉毛夹角(EBAn)。
本发明的有益效果:
本发明基于卷积神经网络进行人脸特征点检测,通过卷积层和池化层交替使用,即通过卷积层计算特征映射图,再利用池化层降低特征映射图的尺寸,且保持特征的旋转和平移特性,在特征映射图尺寸和层数达到要求时,将二维的特征映射图按顺序排列起来转换为一维的特征,再与全连接层进行连接进行特征点检测,对人脸面部变形进行了量化处理,辅助医生对面部变形进行精确评估诊疗,提高评估的精准度,提高术后效果。
附图说明
图1为本发明一实施例的诊断方法示意图。
具体实施方式
下面通过参考具体实施方式进一步详细阐述本发明,但这些阐述仅仅是为了使本领域技术人员更好地理解和实施本发明,并不对本发明做任何形式的限制。除非另有说明,否则本文所用的所有科学和技术术语具有本发明所属和相关技术领域的一般技术人员通常理解的含义。
采用本发明的方法,首先收集多名患者的数据建立数据库,患者人数36人,其中包括17名男性(47.2%)和19名女性(52.8%),一级面瘫的有25名患者(69.40%),二级面瘫的有11名患者(30.60%),10名患者是反复性面瘫;健康组中包含36名样本,包含17名男性和(47.2%)和19名女性(52.8%),检测结果如下表所示。
表1
人脸区域不对称度 人脸角度不对称度
Yale 3.810±0.32 1.238±0.029
面瘫 3.592±0.68 3.239±0.095
在本发明专利中,表1提供的数据用来作为面部变形诊疗效果评估的依据。
如图1所示。本发明中的面瘫辅助诊断方法包括下述的步骤:
步骤S1,通过手机端向医生采集患者的脸部图像样本,通过人脸图像处理方法将人脸框与背景成功切割,并且从切割出的人脸框中检测出人脸的68个特征点。进行人脸图像处理,对传统的人脸图像处理的肤色进行模型构造、图像切割和五官定位并运用卷积神经网络进行人脸特征点检测;构造肤色模型的目的是将人脸区域从复杂的背景中分离开来,这里需要建立一个合适的色彩空间;建立合适的肤色模型,并且利用该图像的肤色信息进行检测;将肤色区域分割出来;对分割出的肤色区域进行人脸检测。
在其他实施例中,特征点的数量也可以为多余或者少于68个特征点的其他数量。
选择合适的色彩空间是用来描述使用一组值(通常使用三个、四个值或者颜色成分)表示颜色方法的抽象数学模型。本专利使用的是YCrCb色彩空间,因为YCrCb色彩空间广泛应用在屏幕显示领域,即视频压缩编码(如JPEG、MPEG等等)标准中普遍采用的颜色表示;YCrCb色彩空间与人眼视觉感知方式具有相同的原理构成;YCrCb色彩空间与绝大色彩空间相同(如HSV、YUV色度空间)具有将图像中的亮度分量分离的优点;不同于HSV、YUV等色彩空间,YCrCb色彩空间的空间坐标表示和计算过程都比较简单;
使用阈值分割对图像切割的方法,把图像上的具有研究意义的不同目标划分开来,是他们之间互不相交,其各个区域满足灰度、纹理和色彩等特征的某些相同规则;
使用基于卷积神经网络进行人脸特征点检测,通常以卷积层和池化层交替使用,即通过卷积层计算特征映射图,再利用池化层降低特征映射图的尺寸,且保持特征的旋转和平移特性,在特征映射图尺寸和层数达到要求时,将二维的特征映射图按顺序排列起来转换为一维的特征,再与全连接层进行连接。卷积层的运算过程可以表示为:
Figure BDA0002342798620000041
其中:X(l,k)表示第l层输出的第k组特征映射图,nl表示第l层特征映射图的层数,W(l,k,p)表示第l-1层中第p组特征映射图向第l层中第k组特征映射图映射时所用的滤波器。第l层的每一组特征映射图的生成都需要nl-1个滤波器和一个偏置,假设滤波器的大小为h×w,那么第l层卷积层的参数数量为:
nl-1×nl×h×w+nl
步骤S2,建立人脸不对称模型,首先给出人脸对称轴的定义与表达式,其次给出了任一点关于对称轴的镜像坐标,然后给出了人脸不对称度的计算方法,最后给出人脸不对称度的计算方法;
人脸对称轴的定义与表达式;
对称轴L的方程可表示为:
Ax+By=C,
在人正脸左侧(或右侧)任意选择一初始点P0(a,b),该点在下面的讨论中都不变,即a、b都视为常熟对待;
设初始点P0(a,b)关于对称轴L的镜像点P1的坐标为P1(a′,b′);
在理想状态下,P1的位置应该在右侧(或左侧)脸颊附近;
由P0(a,b)和P1(a′,b′)亮点的左边,可以改写对称轴L的方程为:
Figure BDA0002342798620000051
其中法向量为<a-a′,b-b′>;
任意点关于对称轴的镜像坐标;
给出一个点P(x,y),其关于对称轴L的镜像点Ps(x′,y′),如公式:
<x′,y′>=<x,y>+t·<a-a′,b-b′>;
其中,t是一个可以求解的参数;S222,可以得到以下公式:
Figure BDA0002342798620000052
求解得以下公式:
Figure BDA0002342798620000053
将t带入上式,就完成了点P(x,y)关于对称轴L的镜像点Ps(x′,y′)的坐标表达转换;
构建不对称度的计算模型;
定义D为:
Figure BDA0002342798620000054
定义GD为:
GD(i,j)=f(i,j).D(i,j),
其中f为人脸区域;
下面给出人脸不对称度的计算方法,如下式所示:
Figure BDA0002342798620000055
LF为左脸区域像素点的集合,RF为右脸区域像素点的集合。D为像素点到人脸对称轴的距离,GD为像素值与像素到人脸对称轴距离的乘积。asym为左半脸GD之和和有半脸GD之和的比值;
asym表示人脸的不对称程度,asym越大,人脸的不对称越小。然而人脸又不是完全镜像对称的,所以计算得到的人脸不对称度接近1;
步骤S3,建立面瘫评估模型,首先进行图片预处理,其次定义脸部区域、关键点和连线,然后结合人脸不对称度的计算方法获取人脸不对称特征,最后给出面瘫程度度量方法;
步骤S31,图像预处理,包括规格归一化处理和Gabor滤波;
规格归一化处理是指人脸在图像中的偏移、大小、位置情况都会对人脸正确识别产生较大的影响,因此,需要对输入的人脸进行校正,从而使得不同条件下拍摄和输入的人脸图像最终能够以一种较为统一的方式进行表现,而且保证人脸最关键部位的特征不会在归一化处理中丢失。其中归一化处理主要包括旋转、大小校正、翻转等;
Gabor滤波是一个用于边缘检测的线性滤波器,Gabor滤波器可以通过旋转和尺度伸缩来生产一系列的滤波器,可以采用具有多个中心频率和方向的滤波器来对一幅图像进行描述。二维Gabor滤波器的参数ψu、kv以及σ分别表示了Gabor滤波器纹理的方向、波长和高斯窗口大小,随着ψu的变化,滤波器的实部和虚部表现为方向不同的特征。kv以及σ分别体现了Gabor滤波器在频率和方向空间上的采样方式;σ表示了滤波器的带宽。Gabor变换的参数满足以下公式:
Figure BDA0002342798620000061
在使用Gabor变化提取人脸局部特征时,正面人脸、表情变化的人脸以及姿态变化较小的偏正面都近似为椭圆;鼻子位于竖直方向上,双眼和嘴角都基本保持在同一个水平方向上。因此采用5个中心频率和8个方向的Gabor滤波器,其中Gabor滤波器的取值如下所示:
Figure BDA0002342798620000062
在人脸识别中,人脸图像会一定程度的受到光照的影响,为此在Gabor滤波函数中加入了
Figure BDA0002342798620000063
垂直分量,有效降低了Gabor变化对人脸图像绝对亮度的依赖,同时也克服了光照条件改变对人脸识别效果的而影响;
S32,脸部区域、关键点和连线的定义;
脸部区域的定义:
rul(R)=(minx(R),miny(R)),
rlr(R)=(maxx(R),maxy(R)),
R是像素点的集合,minx用来计算R里面x坐标的最小值。miny用来计算R里面y坐标的最小值,maxx用来计算R里面x的最大值,maxy用来计算R里面y坐标的最大值;R-LEB是左眉毛区域,设置:
R={P17,P18,P19,P20,P21},
R-LEB的左上角坐标:
(xR-LEB-ul,yR-LEB-ul),
和右下角坐标:
(xR-LEB-lr,yR-LEB-lr),
R-REB是右眉毛区域,设置:
R={P22,P23,P24,P25,P26},
R-REB的左上角坐标:
(xR-REB-ul,yR-REB-ul),
和右下角坐标:
(xR-REB-lr,yR-REB-lr),
R-LE是左眼睛区域,设置:
R={P36,P37,P38,P39,P40,P41},
R-LE的左上角坐标:
(xR-LE-ul,yR-LE-ul),
和右下角坐标:
(xR-LE-lr,yR-LE-lr),
R-RE是右眼睛区域,设置:
R={P42,P43,P44,P45,P46,P47},
R-RE的左上角坐标:
(xR-RE-ul,yR-RE-ul),
和右下角坐标:
(xR-RE-lr,yR-RE-lr),
R-LN是左鼻子区域,设置:
R={P30,P31,P32,P33},
R-LN的左上角坐标:
(xR-LN-ul,yR-LN-ul),
和右下角坐标:
(xR-LN-lr,yR-LN-lr),
R-RN是右鼻子区域,设置:
R={P30,P31,P32,P33},
R-RN的左上角坐标:
(xR-RN-ul,yR-RN-ul),
和右下角坐标:
(xR-RN-lr,yR-RN-lr),
R-LM是左嘴巴区域,设置:
P={P48,P49,P50,P51,P57,P58,P59,P60,P61,P62,P66,P67},
R-LM的左上角坐标:
(xR-LM-ul,yR-LM-ul),
和右下角坐标:
(xR-LM-lr,yR-LM-lr),
R-RM是右嘴巴区域,设置:
R={P51,P52,P53,P54,P55,P56,P57,P62,P63,P64,P65,P66},
R-RM的左上角坐标:
(xR-RM-ul,yR-RM-ul),
和右下角坐标:
(xR-RM-lr,yR-RM-lr);
关键点的定义:p(P)=(meanx(P),meany(P)),P是点的集合,meanx用来计算P里面x坐标的平均值,meany用来计算P里面y坐标的平均值;
P-LEB是左眉毛中心,设置:
R={P17,P18,P19,P20,P21},
R-LEB坐标:
(xP-LEB,yP-LEB),
P-REB是右眉毛中心,设置:
R={P22,P23,P24,P25,P26},
P-LEB坐标:
(xP-LEB,yP-REB),
P-LE是左眼睛中心,设置:
R={P36,P37,P38,P39,P40,P41},
P-LE坐标:
(xP-LE,yP-LE),
P-RE是右眼睛中心,设置:
R={P42,P43,P44,P45,P46,P47},
P-RE坐标:
(xP-RE,yP-RE),
P-LN是左鼻子中心,设置:
R={P30,P31,P32,P33},
P-LN坐标:
(xP-LN,yP-LN),
P-RN是右鼻子中心,设置:
R={P30,P31,P32,P33},
P-RN坐标:
(xP-RN,yP-RN),
P-LM是左嘴巴中心,设置:
R={P48,P49,P50,P51,P57,P58,P59,P60,P61,P62,P66,P67},
P-LM坐标:
(xP-LM,yP-LM),
P-RM是右嘴巴中心,设置:
R={P51,P52,P53,P54,P55,P56,P57,P62,P63,P64,P65,P66},
P-RM坐标:
(xP-RM,yP-RM);
L-EB为眉毛中心的连线,L-EB的角度可以用以下公式来计算:
Figure BDA0002342798620000081
L-N为鼻子中心的连线,L-N的角度可以用以下公式来计算:
Figure BDA0002342798620000082
L-M为嘴巴中心的连线,L-M的角度可以用以下公式来计算:
Figure BDA0002342798620000083
步骤S33,人脸不对称特征,面瘫病人的人脸不对称性和正常人存在着明显不同;
为了评估病人不同面部动作的人脸不对称性,本发明给出了人脸不对称特征(FAF),包括眼睛不对称度(EAs),眉毛不对称度(EBAs),鼻子不对称度(NAs),嘴巴不对称度(MAs),嘴巴夹角(MAn),鼻子夹角(NAn)和眉毛夹角(EBAn);
根据面瘫病人的每个人练动作,本发明结合了区域和角度提出了人脸不对称度将人脸不对称度分为两种:区域不对称度(EBAs)和角度不对称度(AnAs);
分别用以下的公式计算:
RgAs=EAs+EBAs+NAs+Mas,AnAs=MAn+NAn+EbAn;
步骤S34,面瘫程度的度量,由于该面瘫评估模型是在本发明提出的,目前没有一个公认标准的阈值范围来判定该患者的不对称程度,所以本发明将从两方面来描述面瘫程度的度量方法;
步骤S35,通过患者本人的人脸不对称特征度量面瘫程度;通过所有患者的人脸不对称特征度量面瘫程度并进行量化;
S4,输出评估结果,本发明定义了脸部关键点、关键线和关键区域,并提出了度量患者面瘫的角度不对称模型与区域不对称模型,最后根据该不对称度提出了两种面瘫患者的面瘫程度的度量,为患者的自我诊断、医生的治疗过程提供了帮助。

Claims (10)

1.一种用于面部变形诊疗效果的量化指标评估方法,其特征在于,包括以下步骤:
步骤S1、采集患者的脸部图像样本,通过人脸图像处理方法将人脸框与背景切割,并且从切割出的人脸框中检测出人脸的多个特征点;
步骤S2、在人脸特征点检测的基础上得到人脸对称轴,构建一种新颖的基于人脸区域不对称度和人脸角度不对称度的人脸不对称模型;
步骤S3、设计多种能够让计算机辅助诊断面瘫的检测动作,结合人脸区域不对称度和人脸角度不对称度构建面部变形评估模型;
步骤S4、综合考虑患者的五官区域的大小不一致性和五官中心的位置不一致性,输出评估结果。
2.如权利要求1所述的用于面部变形诊疗效果的量化指标评估方法,其特征在于,所述步骤S1包括:构建肤色模型,利用肤色像素点与背景像素点在色彩上的差别来提取肤色信息;对提取的所述肤色信息选择合适的色彩空间;针对选择的所述色彩空间,根据图像灰度值分布特性使用阈值分割对图像切割的方法,将人脸区域从复杂的背景中分割出来;对切割出的人脸建立卷积神经网络提取人脸的特征点。
3.如权利要求2所述的用于面部变形诊疗效果的量化指标评估方法,其特征在于,所述构建肤色模型的步骤为:利用图像的肤色信息进行检测,得出检查结果;对所述检测结果进行分割肤色区域;对切割出的所述肤色区域进行人脸检测;所述建立卷积神经网络提取人脸的特征点的方法为:搭建卷积神经网络对切割出的人脸区域进行人脸识别,建立人脸模型;对所述人脸模型进行训练;从训练好的所述人脸模型中提取多个特征点。
4.如权利要求1所述的用于面部变形诊疗效果的量化指标评估方法,其特征在于,所述步骤S2具体包括以下步骤:根据多个人脸特征点的位置,构建二维人脸的对称轴表达式Ps(x′,y′);根据所述对称轴表达式,寻找任意点P(x,y)关于对称轴的镜像坐标,构建不对称度的计算模型;根据所述不对称度的计算模型,提出了基于区域(RgAs)和角度(AnAs)的人脸不对称度度量指标。
5.如权利要求4所述的用于面部变形诊疗效果的量化指标评估方法,其特征在于,构建的所述二维人脸的对称轴表达式为:对称轴方程为Ax+By=C;
在人正脸左侧(右侧)任意选择一初始点P0(a,b),设初始点P0(a,b)关于对称轴的镜像点的坐标为P1(a′,b′),理想状态下应在右侧(左侧)脸颊,对称轴的方程为:
Figure FDA0002342798610000011
其中,法向量为:<a-a′,b-b′>。
6.如权利要求5所述的用于面部变形诊疗效果的量化指标评估方法,其特征在于,构建不对称度的计算模型为:
对于任意一点P(x,y),其关于对称轴L的镜像点Ps(x′,y′),公式为:
<x′,y′>=<x,y>+t·<a-a′,b-b′>,
其中,t是一个可以求解的参数,可以得到公式:
Figure FDA0002342798610000021
求解可得:
Figure FDA0002342798610000022
将t带入上式,得到任意点P(x,y)关于坐标轴L的镜像点Ps(x′,y′)的坐标转换。
7.如权利要求6所述的用于面部变形诊疗效果的量化指标评估方法,其特征在于,所述人脸不对称度度量指标的计算方法为:
定义像素点到人脸对称轴的距离D为:
Figure FDA0002342798610000023
根据所述定义的像素到人脸对称轴距离与像素值的乘积GD为:
GD(i,j)=f(i,j).D(i,j),
其中,f为人脸区域;
根据GD给出人脸不对称度计算方法:
Figure 159649DEST_PATH_BDA0002342798620000055
其中,asym为左半脸GD之和与右半脸GD之和的比值,即asym表示人脸的不对称度,asym越大,人脸的不对称越小,反之亦然;由于人脸不是完全镜像对称的,所以计算得到的人脸不对称度接近1。
8.如权利要求1所述的用于面部变形诊疗效果的量化指标评估方法,其特征在于,所述步骤S3的操作方法为:
步骤S31、设计七种能够让计算机辅助诊断面瘫的检测动作,主要包括:正脸、闭眼、抬眉、鼓气、咧嘴、耸鼻和吹口哨,采集患者在不同检测动作下的面部图像并进行预处理;
步骤S32、对所述步骤S31预处理后的图像,定义脸部区域、关键点和连线,以便计算人脸不对称特征;
步骤S33、根据所述步骤S2提出的人脸不对称特征:人脸区域不对称度和人脸角度不对称度,判断该患者是否患有面瘫及面瘫程度;
步骤S34、通过患者本人的人脸不对称特征和所有患者的人脸不对称特征度量面瘫程度;
步骤S35、对所述步骤S33和S34的不对称度模型使用Yale人脸库实验,实验表明正常人有着较大的区域不对称度和较小的角度不对称度,而面瘫患者人脸的角度不对称度明显高于正常人。
9.根据权利要求8所述的用于面部变形诊疗效果的量化指标评估方法,其特征在于,所述步骤S31的操作方法为:根据规格归一化处理方法针对人脸在图像中的偏移、大小和位置情况进行矫正,从而使得不同条件下拍摄和输入的人脸图像最终能够以一种较为统一的方式表现,保证人脸的关键部位的信息;根据Gabor滤波器能够克服光照条件变化对人脸识别效果的影响,更好地描述空间频率、空间位置及方向选择性的局部结构信息。
10.根据权利要求8所述的用于面部变形诊疗效果的量化指标评估方法,其特征在于,所述步骤S32的定义脸部区域、关键点和连线的方法为:定义脸部区域为:
rul(R)=(minx(R),miny(R)),
rlr(R)=(maxx(R),maxy(R)),
其中,R是像素点的集合,minx用来计算R里面x坐标的最小值,miny用来计算R里面y坐标的最小值,maxx用来计算R里面x的最大值,maxy用来计算R里面y坐标的最大值;
定义关键点为:
p(P)=(meanx(P),meany(P)),
其中,P是点的集合,meanx用来计算P里面x坐标的平均值,meany用来计算P里面y坐标的平均值;
定义眉毛中心连线为:
Figure DEST_PATH_BDA0002342798620000031
定义鼻子中心的连线L-N为:
Figure DEST_PATH_BDA0002342798620000032
定义嘴巴中心连线L-M为:
Figure DEST_PATH_BDA0002342798620000033
将所述人脸不对称特征(FAF)分为区域不对称度(RgAs)和角度不对称度(AnAs),分别用以下公式表示:
RgAs=EAs+EBAs+NAs+Mas,
AnAs=MAn+NAn+EbAn;
其中,人脸区域不对称特征分为眼睛不对称度(EAs),眉毛不对称度(EBAs),鼻子不对称度(NAs),嘴巴不对称度(MAs),人脸角度不对称特征分为嘴巴夹角(MAn),鼻子夹角(NAn)和眉毛夹角(EBAn)。
CN201911383229.7A 2019-12-27 2019-12-27 用于面部变形诊疗效果的量化指标评估方法 Active CN111062936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911383229.7A CN111062936B (zh) 2019-12-27 2019-12-27 用于面部变形诊疗效果的量化指标评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911383229.7A CN111062936B (zh) 2019-12-27 2019-12-27 用于面部变形诊疗效果的量化指标评估方法

Publications (2)

Publication Number Publication Date
CN111062936A true CN111062936A (zh) 2020-04-24
CN111062936B CN111062936B (zh) 2023-11-03

Family

ID=70304292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911383229.7A Active CN111062936B (zh) 2019-12-27 2019-12-27 用于面部变形诊疗效果的量化指标评估方法

Country Status (1)

Country Link
CN (1) CN111062936B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553250A (zh) * 2020-04-25 2020-08-18 深圳德技创新实业有限公司 一种基于人脸特征点的精准面瘫程度评测方法及装置
CN116596935A (zh) * 2023-07-18 2023-08-15 苏州思谋智能科技有限公司 形变检测方法、装置、计算机设备及计算机可读存储介质
WO2023197212A1 (zh) * 2022-04-13 2023-10-19 深圳先进技术研究院 自闭症的评估方法、评估装置、电子设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107007257A (zh) * 2017-03-17 2017-08-04 深圳大学 面部不自然度的自动评级方法和装置
CN110084259A (zh) * 2019-01-10 2019-08-02 谢飞 一种结合面部纹理和光流特征的面瘫分级综合评估系统
WO2019200749A1 (zh) * 2018-04-17 2019-10-24 平安科技(深圳)有限公司 识别人脸的方法、装置、计算机设备和存储介质
CN110516626A (zh) * 2019-08-29 2019-11-29 上海交通大学 一种基于人脸识别技术的面部对称性评估方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107007257A (zh) * 2017-03-17 2017-08-04 深圳大学 面部不自然度的自动评级方法和装置
WO2019200749A1 (zh) * 2018-04-17 2019-10-24 平安科技(深圳)有限公司 识别人脸的方法、装置、计算机设备和存储介质
CN110084259A (zh) * 2019-01-10 2019-08-02 谢飞 一种结合面部纹理和光流特征的面瘫分级综合评估系统
CN110516626A (zh) * 2019-08-29 2019-11-29 上海交通大学 一种基于人脸识别技术的面部对称性评估方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨云聪等: "应用于中医面诊的人脸区域分割方法", 《测控技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553250A (zh) * 2020-04-25 2020-08-18 深圳德技创新实业有限公司 一种基于人脸特征点的精准面瘫程度评测方法及装置
WO2023197212A1 (zh) * 2022-04-13 2023-10-19 深圳先进技术研究院 自闭症的评估方法、评估装置、电子设备以及存储介质
CN116596935A (zh) * 2023-07-18 2023-08-15 苏州思谋智能科技有限公司 形变检测方法、装置、计算机设备及计算机可读存储介质
CN116596935B (zh) * 2023-07-18 2023-11-03 苏州思谋智能科技有限公司 形变检测方法、装置、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN111062936B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN109730637B (zh) 一种人脸面部图像定量分析系统及方法
US20210174505A1 (en) Method and system for imaging and analysis of anatomical features
CN111062936B (zh) 用于面部变形诊疗效果的量化指标评估方法
US20210133473A1 (en) Learning apparatus and learning method
CN104299242B (zh) 基于ngc‑acm的荧光造影眼底图像提取方法
CN110338777A (zh) 融合心率变异特征和面部表情特征的疼痛评估方法
SG190730A1 (en) Method and an apparatus for determining vein patterns from a colour image
CN112465905A (zh) 基于深度学习的磁共振成像数据的特征脑区定位方法
CN111292307A (zh) 一种消化系统胆囊结石识别方法及定位方法
CN114694236A (zh) 一种基于循环残差卷积神经网络的眼球运动分割定位方法
CN114450716A (zh) 用于卒中表征的图像处理
CN110427987A (zh) 一种关节炎患者的足底压力特征识别方法和系统
CN117274278B (zh) 基于模拟感受野的视网膜图像病灶部位分割方法及系统
CN112215878B (zh) 一种基于surf特征点的x光图像配准方法
CN113255462A (zh) 步态评分方法、系统、计算机程序产品及可读存储介质
CN113610746A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN114240934B (zh) 一种基于肢端肥大症的图像数据分析方法及系统
CN115690556A (zh) 一种基于多模态影像学特征的图像识别方法及系统
CN114648512A (zh) 舌下图像分析方法、装置、计算机设备和存储介质
Intriago-Pazmiño et al. Quantitative Measures for Medical Fundus and Mammography Images Enhancement
Lin et al. Automatic sublingual vein feature extraction system
Samhitha et al. Analysis of Brain Tumor Segmentation using Convolutional Neural Network with Magnetic Resonance Imaging
Joshi Manisha et al. Computerized pragmatic assessment of Prakriti Dosha using tongue images-Pilot study
Heravi et al. EXTRACTING FEATURES OF THE HUMAN FACE FROM RGB-D IMAGES TO PLAN FACIAL SURGERIES
Jayasinghe et al. Comparative Study of Face Tracking Algorithms for Remote Photoplethysmography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No. 319, Yueyang Road, Xuhui District, Shanghai

Applicant after: Shanghai Institute of nutrition and health, Chinese Academy of Sciences

Address before: No. 319, Yueyang Road, Xuhui District, Shanghai

Applicant before: SHANGHAI INSTITUTES FOR BIOLOGICAL SCIENCES, CHINESE ACADEMY OF SCIENCES

GR01 Patent grant
GR01 Patent grant