CN110210357A - 一种基于静态照片面部识别的上睑下垂图像测量方法 - Google Patents

Abstract

本发明公开了一种基于静态照片面部识别的上睑下垂图像测量方法。采集获得人脸正面图像，处理获取人脸区域，进而获得眼部图像区域；预处理，包括灰度化和二值化，再定位获得虹膜中心位置，利用得虹膜中心位置和虹膜外边缘轮廓的关系获得虹膜半径；获得虹膜中心位置至上眼睑缘的像素间距MRD1和虹膜中心位置至下眼睑缘的像素间距MRD2：利用标记的实际尺寸和像素尺寸获得图像的分辨尺寸关系，进而获得MRD1和MRD2的实际尺寸。本发明能自动检测上睑下垂的严重程度，从而提高上睑下垂诊断的准确性和客观性，以图像处理方式避免了人工测量的麻烦，本发明为体检筛查、远程医疗等也提供了可能性。

Description

一种基于静态照片面部识别的上睑下垂图像测量方法

技术领域

本发明涉及了一种眼部图像处理方法，尤其是涉及了一种基于静态照片面部识别的上睑下垂图像测量方法。

背景技术

上睑下垂是一种常见的眼科整形疾病，不仅影响患者的外观和视功能，而且易伴随近视、弱视和斜视等并发症发生，对患者的生活质量造成不利影响。因此，上睑下垂的早期诊断及手术干预对于改善患者预后至关重要。上睑下垂矫正术被认为是眼科整形领域最具挑战性的手术。为获得较为理想的手术效果，术前需进行全面的专科检查，评估上睑下垂的发病机制以及下垂状态。睑缘角膜映光距离(margin reflex distance，MRD)是目前国际通用的上睑下垂严重程度的评测指标(见图1)，包括上睑缘角膜映光距离(MRD1)和下睑缘角膜映光距离(MRD2)。

准确的上睑下垂术前评估是制定合理手术方案的前提条件。但临床实际评估很大程度上依赖于医生的主观经验，而且需要患者的密切配合。对于婴幼儿、认知障碍成人等特殊患者，准确的评估显得尤为困难。随着计算机的迅速发展，面部识别技术已被广泛应用于各个领域。然而，目前已有的上睑下垂计算机辅助诊断技术仍然依赖角膜映光点的识别，对于严重上睑下垂遮盖角膜映光点的患者并不适用。

发明内容

为了解决背景技术中存在的问题，本发明的目的是提供了一种基于静态照片面部识别的上睑下垂图像测量方法，通过计算机图像处理提取面部特征能准确完成识别过程，能够根据面部特征自动检测来评估上睑下垂严重程度，用于对上睑下垂进行辅助判断。

本发明所采用的技术方案是包括以下步骤：

步骤1：采集获得人脸正面图像，通过人脸特征点检测算法对图像进行处理检测获取人脸区域，定位得到人脸区域内的眼、鼻、眉等区域，进而获得作为感兴趣区域的眼部图像区域；

步骤2：对眼部图像区域预处理，包括灰度化和二值化，对二值化后的眼部图像区域进行Canny边缘检测获得虹膜外边缘轮廓，利用外边缘轮廓上的像素点进行虹膜外边缘的圆拟合，再通过遗传算法定位检测获得虹膜中心位置(包括虹膜中心位置的图像横坐标和图像纵坐标)，利用得虹膜中心位置和虹膜外边缘轮廓的关系计算获得虹膜半径；

具体实施中Candy边缘检测获得虹膜内外边缘轮廓，本方法只保留外边缘轮廓，舍弃内边缘轮廓。

本发明中将虹膜与瞳孔为同一圆心的标准圆，用虹膜中心替代瞳孔中心，作为理想的角膜映光点。即采用图像处理对虹膜进行检测，而不是对瞳孔进行检测，能提高图像处理精度，提高准确性。

步骤3：图像处理获得虹膜中心位置至上眼睑缘的像素间距MRD1和虹膜中心位置至下眼睑缘的像素间距MRD2，如图1所示：

3.1、把虹膜外边缘轮廓的上部边缘作为上眼睑缘，计算虹膜中心至上眼睑缘之间的像素间距MRD1，如图1所示，若上眼睑缘位于虹膜中心的下方，则记MRD1为负值；否则记为正值；

3.2、作以下判断：

若虹膜中心至下眼边缘像素点之间的距离小于虹膜半径时(此时下眼睑部分遮盖虹膜下缘)，下眼边缘像素点为虹膜外边缘轮廓所在圆弧段的最下端的像素点，将虹膜外边缘轮廓的下部边缘作为下眼睑缘；

若虹膜中心至下眼边缘像素点之间的距离等于虹膜半径时(此时下眼睑未遮盖虹膜下缘，二值化图像的下部边缘即为虹膜下缘)，用边缘检测算法检测原始彩色的眼部图像区域的边缘轮廓的下部边缘作为下眼睑缘；

若虹膜中心至下眼边缘像素点之间的距离大于虹膜半径时，则不作处理；

步骤4：通过Hough变换检测人脸上的标记，计算标记的尺寸，用像素值表示。利用标记的实际尺寸和像素尺寸获得图像的分辨尺寸关系，进而获得MRD1和MRD2的实际尺寸。

为方便检测，具体实施中一般统一使用固定尺寸大小的红色圆标记粘贴在人脸的额头位置，实际直径为10mm，通过图像检测处理获得图像中的圆标记的像素直径，进而像素直径和实际尺寸之间建立对应关系，获得分辨尺寸关系。利用分辨尺寸关系对MRD1和MRD2的像素点数据进行转换获得，MRD1和MRD2的实际毫米数。

所述的人脸正面图像中的人脸额部上粘贴有圆标记。

所述的虹膜中心位置作为角膜映光点。

本发明以一种计算机图像处理的方式获得了上睑下垂的检测结果，避免了现有人工测量的麻烦和操作繁琐。

本发明不需要角膜映光点的设置避免了现有方法角膜映光点的额外处理，直接通过虹膜位置的有效检测获得了上睑下垂的检测结果。

运用上述技术方案，使得本发明与现有技术相比有以下优势：

本发明以简易的方式获取患者的面部照片，通过人脸特征点的识别定位虹膜中心，以此作为理想的角膜映光点，能自动检测上睑下垂的严重程度。本发明的计算机测量结果与临床实际测量具有高度一致性，可用于辅助临床医生进行诊断，从而提高上睑下垂诊断的准确性和客观性。由于图像资料存储和传输的简易性，本发明有望应用于体检筛查、远程医疗等领域，有利于节约及优化医疗资源。

附图说明

附图1为本发明方法中MRD1和MRD2的表达示意图。

附图2为本发明方法实施例的示意图。

附图2a为额部粘贴圆标记的面部照片图。

附图2b为眼部图像的二值化图。

附图2c为眼部二值化图像的边缘检测图。

附图2d为眼部图像的虹膜拟合及MRD检测图。

具体实施方式

下面结合实施例对本发明做进一步说明。

本发明实施例及其实施过程如下：

步骤1：收集2016年11月至2017年5月期间于某医院眼科中心就诊的66例(132只眼)上睑下垂患者的静态面部照片。

患者年龄在1岁至40岁之间，包括50例单眼上睑下垂和16例双眼上睑下垂。嘱患者目视前方，额部粘贴一圆形标记物(直径10mm)，在相同照明条件下，在患者正前方1m处使用佳能500D相机和100mm微距镜头拍摄自然状态下的睁眼照片(分辨率为4752×3168像素)。

患者双眼的实际MRD1和MRD2由一位经验丰富的眼整形专科医生按照临床标准方法进行测量。

步骤2：采用开源的人脸特征检测算法获取人脸区域，定位人脸区域内的眼、鼻、眉等区域。定位得到人脸区域内的眼、鼻、眉等区域，进而获得作为感兴趣区域的眼部图像区域。

步骤3：采用平均值法对彩色的眼部区域图像进行灰度化处理，使图像中每个像素点的灰度范围为0～255。因虹膜外边缘与巩膜的灰度值有明显的差异，通过阈值分割法进行眼部灰度图像的二值化，粗定位虹膜区域，如图2b所示。采用Canny边缘检测算法对眼部二值化图像进行边缘检测，获得虹膜外边缘点，如图2c所示。使用最小二乘法对虹膜外边缘点进行圆拟合，从而定位虹膜区域，如图2d所示。

步骤4：假设虹膜与瞳孔为同一圆心的标准圆，以虹膜中心作为瞳孔中心。通过遗传算法定位虹膜中心位置(获取虹膜中心的横坐标和纵坐标)，计算虹膜半径。

步骤5：计算虹膜中心位置至上眼睑缘之间的像素间距MRD1，以及虹膜中心位置至下眼睑缘之间的像素间距MRD2。

5.1、采用Canny边缘检测把眼部二值化图像的上部边缘作为上眼睑缘，计算虹膜中心至上眼睑缘之间的像素间距MRD1。

若上眼睑缘位于虹膜中心的下方，则记MRD1为负值。

5.2、采用Canny算法检测眼部二值化图像的下部边缘，当虹膜中心到二值化图像下部边缘像素点之间的距离小于虹膜半径时(此时下眼睑部分遮盖虹膜下缘)，则将下部边缘作为下眼睑缘。

当虹膜中心到二值化图像下部边缘像素点之间的距离等于虹膜半径时(此时下眼睑未遮盖虹膜下缘，二值化图像的下部边缘即为虹膜下缘)，则用边缘检测算法检测眼部彩色图像的下部边缘作为下眼睑缘。

计算虹膜中心位置至下眼睑缘之间的像素间距作为MRD2。

步骤6：统一使用固定尺寸大小的红色圆标记粘贴在人脸的额头位置，如图2a所示，采用OpenCV中的Hough变换检测额部实心圆标记(为方便检测，统一使用红色圆标记，实际直径为10mm)，以像素值表示圆标记的直径。根据单位像素对应的毫米数，计算MRD1和MRD2的实际毫米数。得到结果如图2d所示。

步骤7：根据132只眼的MRD1、MRD2的计算机测量值和人工测量值，计算两种测量方法的Spearman相关系数(r)以及组内相关系数(ICC)，同时采用Bland-Altman分析绘制MRD1、MRD2计算机测量值和人工测量值的差值(bias)对均值图，根据差值计算一致性界限(LoA)。

统计结果如下：

对于MRD1：r＝0.968，ICC＝0.966，bias＝0.02mm，LoA＝-0.88mm～0.92mm。

对于MRD2：r＝0.803，ICC＝0.833，bias＝0.34mm，LoA＝-0.54mm～1.22mm。

由上述实施对比数据可见，使用该技术方案测量上睑下垂，与经验丰富的临床医生测量相比较，结果具有高度一致性。

Claims (3)

1.一种基于静态照片面部识别的上睑下垂图像测量方法，其特征在于：

步骤1：采集获得人脸正面图像，通过人脸特征点检测算法对图像进行处理检测获取人脸区域，进而获得作为感兴趣区域的眼部图像区域；

步骤2：对眼部图像区域预处理，包括灰度化和二值化，对二值化后的眼部图像区域进行Canny边缘检测获得虹膜外边缘轮廓，利用外边缘轮廓上的像素点进行虹膜外边缘的圆拟合，再通过遗传算法定位检测获得虹膜中心位置，利用得虹膜中心位置和虹膜外边缘轮廓的关系计算获得虹膜半径；

步骤3：图像处理获得虹膜中心位置至上眼睑缘的像素间距MRD1和虹膜中心位置至下眼睑缘的像素间距MRD2：

3.1、把虹膜外边缘轮廓的上部作为上眼睑缘，计算虹膜中心至上眼睑缘之间的像素间距MRD1，若上眼睑缘位于虹膜中心的下方，则记MRD1为负值；否则记为正值；

3.2、作以下判断：

若虹膜中心至下眼边缘像素点之间的距离小于虹膜半径时，下眼边缘像素点为虹膜外边缘轮廓所在圆弧段的最下端的像素点，将虹膜外边缘轮廓的下部作为下眼睑缘；

若虹膜中心至下眼边缘像素点之间的距离等于虹膜半径时，用边缘检测算法检测原始彩色的眼部图像区域的边缘轮廓的下部作为下眼睑缘；

若虹膜中心至下眼边缘像素点之间的距离大于虹膜半径时，则不作处理；

步骤4：通过Hough变换检测人脸上的标记，计算标记的尺寸，利用标记的实际尺寸和像素尺寸获得图像的分辨尺寸关系，进而获得MRD1和MRD2的实际尺寸。

2.根据权利要求1所述的一种基于静态照片面部识别的上睑下垂图像测量方法，其特征在于：所述的人脸正面图像中的人脸额部上粘贴有圆标记。

3.根据权利要求1所述的一种基于静态照片面部识别的上睑下垂图像测量方法，其特征在于：所述的虹膜中心位置作为角膜映光点。