CN115762787B - 一种眼睑疾病手术疗效评估方法和系统 - Google Patents

Abstract

本发明公开了一种基于眼睑拓扑形态分析的眼睑疾病手术疗效评估方法和系统，通过基于全局注意力门控和循环残差卷积神经网络的第一模型和第二模型对术前人脸图像和术后人脸图像进行粗分割和细分割得到眼睑掩膜和角膜掩膜，然后基于角膜掩膜采用聚类方式确定术前瞳孔中心和术后瞳孔中心，最后依据术前瞳孔中心和术后瞳孔中心、术前眼睑掩膜和角膜掩膜、术后眼睑掩膜和角膜掩膜分别确定术前眼睑拓扑形态和术后眼睑拓扑形态，并依据图像比例尺转换为术前眼睑拓扑形态实际尺寸、术后眼睑拓扑形态实际尺寸，通过眼睑拓扑形态参数的精确测量，能快速客观地评估眼睑疾病患者的手术疗效，为患者提供便捷的诊疗服务。

Description

一种眼睑疾病手术疗效评估方法和系统

技术领域

本发明属于智慧医疗技术领域，具体涉及一种基于眼睑拓扑形态分析的眼睑疾病手术疗效评估方法和系统。

背景技术

正常的眼睑位置和轮廓形态是维持眼睑正常功能的基础。眼睑位置和轮廓异常与多种眼睑疾病密不可分，例如上睑下垂、眼睑退缩、睑内翻和睑外翻等。准确评估眼睑位置和轮廓形态对眼睑相关疾病的诊断及眼睑疾病手术疗效的评估至关重要。

以上睑下垂矫正术为例，目前临床上常用刻度尺手动测量患者的睑裂高度、上睑缘角膜映光距离和下睑缘角膜映光距离，用于术前诊断及术后随访评估。然而，精确测量依赖医生丰富的临床经验以及患者的高度配合，且手工测量不可避免出现重现性和稳定性不足的问题。此外，仅仅一维测量指标无法全面反映完整的眼睑拓扑形态特征。二维测量指标如睑裂面积，对于评估眼睑拓扑形态也具有重要意义，但二维测量指标无法通过手动测量直接获得。

在评估眼睑轮廓方面，既往采用多项式函数来定义眼睑轮廓在临床实践中受到诸多限制。一种更实用的方法是测量多角度瞳孔中心至上睑缘距离，该测量指标允许对眼睑轮廓进行定量分析，并可应用于眼睑疾病手术疗效的评估。

自动测量眼睑拓扑形态特征的关键步骤是眼睑边缘的精确分割和瞳孔中心的精确定位。由于眼睑和睫毛之间的低对比度，传统的边缘检测算法无法准确分割眼睑边缘。

专利文献CN 112837805A公开了一种基于深度学习的眼睑拓扑形态特征的提取方法。具体为：采集正常人的电子数码照片，对电子数码照片进行处理后构建ROI图像训练集，将ROI图像训练集输入待训练的卷积神经网络中得到训练好的卷积神经网络；对待测的电子数码照片使用面部识别方法定位眼部感兴趣区域位置(ROI)，获得待测的ROI区域图像，将待测的ROI区域图像输入训练后的卷积神经网络输出带有眼睑轮廓线和角膜轮廓线图像，确定待测的电子数码照片的圆形比例尺、瞳孔中心，提取单眼的眼睑拓扑形态特征。该卷积神经网络对眼睑及角膜结构进行分割，并使用MeanShift聚类确定瞳孔中心后进行眼睑相关结构参数自动化计算，获得与手动测量相当的准确度，该方法虽然能够实现眼睑拓扑形态提取，但是并不能实现眼睑疾病手术的疗效评估。

发明内容

鉴于上述，本发明的目的是提供一种基于眼睑拓扑形态分析的眼睑疾病手术疗效评估方法和系统，实现自动测量眼睑疾病患者术前和术后的眼睑拓扑形态参数，快速客观地评估眼睑疾病患者的手术疗效。

为实现上述发明目的，实施例提供的一种基于眼睑拓扑形态分析的眼睑疾病手术疗效评估系统，包括输入单元、粗分割单元、细分割单元、瞳孔定位单元、比例尺计算单元、眼睑拓扑形态测量单元，输出单元，

所述输入单元用于输入眼睑疾病患者的术前人脸图像和术后人脸图像；

所述粗分割单元用于利用基于全局注意力门控和循环残差卷积神经网络的第一模型对术前人脸图像和术后人脸图像进行粗分割，得到术前眼部区域图像和术后眼部区域图像；

所述细分割单元用于利用基于全局注意力门控和循环残差卷积神经网络的第二模型对术前眼部区域图像和术后眼部区域图像进行细分割，得到带有眼睑轮廓线和角膜轮廓线的术前眼睑掩膜和角膜掩膜、术后眼睑掩膜和角膜掩膜；

所述瞳孔定位单元用于依据术前角膜掩膜和术后角膜掩膜采用聚类方式确定术前瞳孔中心和术后瞳孔中心；

所述比例尺计算单元用于依据患者额部的标记的图上尺寸和实际尺寸来确定图像比例尺；

所述眼睑拓扑形态测量单元用于依据术前瞳孔中心和术后瞳孔中心、术前眼睑掩膜和角膜掩膜、术后眼睑掩膜和角膜掩膜分别确定术前眼睑拓扑形态和术后眼睑拓扑形态，并依据图像比例尺转换为术前眼睑拓扑形态实际尺寸、术后眼睑拓扑形态实际尺寸；

所述输出单元用于对术前眼睑拓扑形态实际尺寸和术后眼睑拓扑形态实际尺寸进行比较，得到实际差异，该实际差异作为眼睑疾病手术疗效评估结果并输出。

优选地，所述第一模型和第二模型采用相同结构，包括编码部分和解码部分以及输出模块，

所述编码部分包括N个连续的循环残差卷积模块，输入图像经过N个连续的循环残差卷积模块依次编码得到每层的编码特征图，编码部分最后一层循环残差卷积模块输出的编码特征图作为解码部分作为输入；

所述解码部分包括N-1个全局注意力门控模块、N-1连续的循环残差反卷积模块，在解码部分第n层中，第n-1个循环残差反卷积模块输出的解码特征图经过上采样得到上采样图，第N-n个循环残差卷积模块输出的编码特征图经过第n个全局注意力门控模块过滤得到过滤特征图，上采样图和过滤特征图的拼接结果经过第n个循环残差反卷积模块解码得到解码特征图，其中，n属于1～N-1，针对解码部分第1层，将解码部分的输入作为第0个循环残差卷积模块输出的编码特征图；

所述输出模块对解码部分最后一个循环残差反卷积模块输出的解码特征图进行卷积操作得到输出图像。

优选地，所述全局注意力门控模块包括：将输入的编码特征图进行patch分区，实现分块的同时进行线性嵌入，将线性嵌入的输出结果输入第一级Swin转换模块获得重建特征图，对重建特征图依次进行上采样、卷积处理、批量标准化以及ReLU函数激活输出注意力系数，同时将第一级Swin转换模块输出的特征图进行下一循环的线性嵌入和第二级Swin转换模块，重建特征图后执行上采样、卷积处理、批量标准化、ReLU函数激活输出注意力系数，依此类推，逐层嵌套循环直至执行完毕，最后将各层激活后输出的注意力系数分别与编码特征图进行矩阵乘法获得过滤特征图。

优选地，所述第一模型和第二模型在被应用之前，需要经过参数优化，针对第一模型，从人脸属性数据集中选取高分辨率人脸图像作为样本数据来优化第一模型的参数；针对第二模型，从Google图像搜索眼部图像集作为样本数据来优化第二模型的参数。

5、根据权利要求1所述的基于眼睑拓扑形态分析的眼睑疾病手术疗效评估系统，其特征在于，所述第一模型对术前人脸图像和术后人脸图像进行粗分割，包括：

第一模型对输入图像进行计算，获得眼部二值掩膜，依据眼部二值掩膜的边界框对眼部进行定位，从而剪裁获得眼部区域图像，其中，输入图像包括术前人脸图像和术后人脸图像。

优选地，依据术前角膜掩膜和术后角膜掩膜采用聚类方式确定术前瞳孔中心和术后瞳孔中心，包括：

针对角膜掩膜，重复若干次随机选取角膜轮廓线上的三个像素点，拟合三个像素点所在圆的圆心，通过高斯核均值漂移聚类算法获得若干个圆心的聚类中心，并将聚类中心设为瞳孔中心，其中，角膜掩膜包括术前角膜掩膜和术后角膜掩膜，瞳孔中心包括术前瞳孔中心和术后瞳孔中心。

优选地，所述依据患者额部的标记的图上尺寸和实际尺寸来确定图像比例尺，包括：

针对患者额部的标记，采用自适应阈值算法根据人脸图像中不同区域亮度分布，计算标记的局部阈值，获得标记的二值掩膜，测量二值掩膜的横向像素距离和纵向像素距离。根据标记的实际横向尺寸和实际纵向尺寸，换算得到图像比例尺。

优选地，眼睑拓扑形态包括睑裂高度、多角度瞳孔中心至上睑缘距离、眼睑长度以及睑裂面积的像素尺寸，其中，睑裂高度为上睑缘角膜映光距离和下睑缘角膜映光距离之和，眼睑长度包括上睑长度和下睑长度，睑裂面积包括角膜面积、鼻侧面积和颞侧面积。

为实现上述发明目的，实施例提供了一种基于眼睑拓扑形态分析的眼睑疾病手术疗效评估方法，所述方法采用上述眼睑疾病手术疗效评估系统，所述方法包括以下步骤：

利用输入单元获取眼睑疾病患者的术前人脸图像和术后人脸图像；

利用粗分割单元对术前人脸图像和术后人脸图像进行粗分割，得到术前眼部区域图像和术后眼部区域图像；

利用细分割单元对术前眼部区域图像和术后眼部区域图像进行细分割，得到术前眼睑掩膜和角膜掩膜、术后眼睑掩膜和角膜掩膜；

利用通孔定位单元依据术前角膜掩膜和术后角膜掩膜采用聚类方式确定术前瞳孔中心和术后瞳孔中心；

利用比例尺计算单元依据患者额部的标记的图上尺寸和实际尺寸来确定图像比例尺；

利用眼睑拓扑形态测量单元依据术前瞳孔中心和术后瞳孔中心、术前眼睑掩膜和角膜掩膜、术后眼睑掩膜和角膜掩膜分别确定术前眼睑拓扑形态和术后眼睑拓扑形态，并依据图像比例尺转换为术前眼睑拓扑形态实际尺寸、术后眼睑拓扑形态实际尺寸；

利用输出单元对术前眼睑拓扑形态实际尺寸和术后眼睑拓扑形态实际尺寸进行比较，得到实际差异，该实际差异作为眼睑疾病手术疗效评估结果并输出。

为实现上述发明目的，实施例提供了一种计算设备，包括存储器、处理器以及存储在存储器中并可在所述处理器上执行的计算机程序，所述存储器中存有计算机程序，所述处理器执行所述计算机程序时实现上述基于眼睑拓扑形态分析的眼睑疾病手术疗效评估方法。

与现有技术相比，本发明具有的有益效果至少包括：

通过计算机图像处理的方式获得了眼睑疾病患者手术前后的眼睑拓扑形态特征，相比于传统人工测量眼睑线性指标，能更加全面完整地反映眼睑位置和轮廓特征，可用于客观评估手术疗效。

通过基于全局注意力门控和循环残差卷积神经网络对人脸正面图像中的眼部结构进行深度学习分割。相比于传统分割方法如边缘检测、区域检测法等，需要人工针对具体的应用场景设计相适应的分割算法，泛化性和鲁棒性较差，且消耗人力资源多，本发明采用的分割方法可获得更加精确的分割效果，为后续精确分析眼睑拓扑形态特征奠定基础。相较于初代基本卷积神经网络进行医学图像分割时出现的网络退化问题，以及梯度消失、梯度爆炸等情况，循环卷积与残差单元相结合可通过融合更大尺度的特征映射实现更高精度的医学图像分割，应用全局注意力门控模块赋予特征图像以注意力权重系数，通过深层特征纠正低分辨率特征，可提高细节特征的提取能力。

通过眼睑拓扑形态参数的精确测量，能快速客观地评估眼睑疾病患者的手术疗效。由于图像资料采集和传输的便捷性，本发明也有望应用于远程医疗，解决患者跨地区随访的难题，为患者提供更快捷、方便的诊疗服务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的基于眼睑拓扑形态分析的眼睑疾病手术疗效评估系统的结构示意图；

图2是实施例提供的第一模型和第二模型的结构示意图；

图3是实施例提供的全局注意力门控模块的结构示意图；

图4是实施例提供的眼睑拓扑形态参数(睑裂高度、眼睑长度、睑裂面积)示意图，其中，A为患者术前图像，B为患者术后图像；

图5是实施例提供的眼睑拓扑形态参数(多角度瞳孔中心至上睑缘距离)示意图，以患者术后图像为例。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

实施例提供了一种基于眼睑拓扑形态分析的眼睑疾病手术疗效评估方法和系统，通过自动测量眼睑疾病患者术前和术后的眼睑拓扑形态参数，如睑裂高度、多角度瞳孔中心至上睑缘距离、眼睑长度和睑裂面积，全方位比较手术前后眼睑拓扑形态参数的改变，可为眼睑疾病患者的眼睑手术效果评估提供客观可靠的范式。

如图1所示，实施例提供的基于眼睑拓扑形态分析的眼睑疾病手术疗效评估系统包括输入单元、粗分割单元、细分割单元、瞳孔定位单元、比例尺计算单元、眼睑拓扑形态测量单元，输出单元。

5、其中，输入单元用于输入眼睑疾病患者的术前人脸图像和术后人脸图像。其中，眼睑疾病患者术前人脸图像和术后的人脸图像通过以下方式获得：要求为全脸图像且额部有固定尺寸的标记，患者处于目视正前方的第一眼位，拍摄得到人脸图像。

粗分割单元用于利用基于全局注意力门控和循环残差卷积神经网络的第一模型对术前人脸图像和术后人脸图像进行粗分割，即对输入图像进行计算，获得术前和术后眼部二值掩膜，依据眼部二值掩膜的边界框对眼部进行定位，从而剪裁获得术前和术后眼部区域图像。

细分割单元用于利用基于全局注意力门控和循环残差卷积神经网络的第二模型对术前眼部区域图像和术后眼部区域图像进行细分割，得到带有眼睑轮廓线和角膜轮廓线的术前眼睑掩膜和角膜掩膜、术后眼睑掩膜和角膜掩膜。

实施例中，所述第一模型和第二模型采用相同结构，包括编码部分和解码部分以及输出模块。其中，编码部分包括N个连续的循环残差卷积模块，输入图像经过N个连续的循环残差卷积模块依次编码得到每层的编码特征图，编码部分最后一层循环残差卷积模块输出的编码特征图作为解码部分作为输入；解码部分包括N-1个全局注意力门控模块、N-1连续的循环残差反卷积模块，在解码部分第n层中，第n-1个循环残差卷积模块输出的编码特征图经过上采样得到上采样图，第N-n个循环残差卷积模块输出的编码特征图经过第n个全局注意力门控模块过滤得到过滤特征图，上采样图和过滤特征图的拼接结果经过第n个循环残差反卷积模块解码得到解码特征图，其中，n属于1～N-1，针对解码部分第1层，将解码部分的输入作为第0个循环残差卷积模块输出的编码特征图；输出模块对解码部分最后一个循环残差反卷积模块输出的解码特征图进行卷积操作得到输出图像。

如图2所示，实施例中，第一模型和第二模型均包括五个连续的循环残差卷积模块、四个全局注意力门控模块、四个连续的循环残差反卷积模块、一个输出模块。

在编码部分，通过五个连续的循环残差卷积模块并结合下采样操作提取编码特征图，每个循环残差卷积模块包括带有残差结构的循环卷积层、ReLU非线性激活函数，输入图像经过循环卷积层和ReLU非线性激活函数后得到当前层的编码特征图，编码特征图经过2×2最大池化层实现下采样后输入至下一个循环残差卷积模块。

在解码部分，输入图像执行上采样操作生成分割图像作为输出，包括全局注意力门模块和循环反残差卷积模块，循环反残差卷积模块包括循环残差反卷积层、ReLU非线性激活函数。具体包括：将第5个循环残差卷积模块的特征编码图通过执行反卷积操作实现上采样得到上采样图，通过第1个全局注意力门控过滤来自第4个循环残差卷积模块输出的编码特征图得到过滤特征图，将过滤特征图与上采样图拼接后输入至第1个循环残差反卷积模块，经过解码得到解码特征图；

将第1个循环残差反卷积模块输出的解码特征图通过执行反卷积操作实现上采样得到上采样图，通过第2个全局注意力门控过滤来自第3个循环残差卷积模块输出的编码特征图得到过滤特征图，将过滤特征图与上采样图拼接后输入至第2个循环残差反卷积模块，经过解码得到解码特征图；

将第2个循环残差反卷积模块输出的解码特征图通过执行反卷积操作实现上采样得到上采样图，通过第3个全局注意力门控过滤来自第2个循环残差卷积模块输出的编码特征图得到过滤特征图，将过滤特征图与上采样图拼接后输入至第3个循环残差反卷积模块，经过解码得到解码特征图；

将第3个循环残差反卷积模块输出的解码特征图通过执行反卷积操作实现上采样得到上采样图，通过第4个全局注意力门控过滤来自第1个循环残差卷积模块输出的编码特征图得到过滤特征图，将过滤特征图与上采样图拼接后输入至第4个循环残差反卷积模块，经过解码得到解码特征图。输出模块对第4个循环残差反卷积模块输出的解码特征图执行1x1的卷积操作处理，将提取的分割图像作为模型输出。

如图3所示，实施例提供的全局注意力门控模块包括：将输入的编码特征图进行patch分区，实现分块的同时进行线性嵌入，将线性嵌入的输出结果输入第一级Swin转换模块获得重建特征图，对重建特征图依次进行上采样、卷积处理、批量标准化以及ReLU函数激活输出注意力系数，同时将第一级Swin转换模块输出的特征图进行下一循环的线性嵌入和第二级Swin转换模块，重建特征图后执行上采样、卷积处理、批量标准化、ReLU函数激活输出注意力系数，依此类推，逐层嵌套循环直至执行完毕，最后将各层激活输出的注意力系数分别与编码特征图进行矩阵乘法获得过滤特征图。

基于以上的第一模型和第二模型的结构，第一模型和第二模型在被应用之前，需要经过参数优化，针对第一模型，从人脸属性数据集(CelebFaces Attributes Dataset)中选取高分辨率人脸图像作为样本数据来优化第一模型的参数，具体优化时，将高分辨率人脸图像输入至第一模型中，训练参数为：迭代次数＝200；批大小＝32；输入图像尺寸＝512×512像素；损失函数:交叉熵损失函数；优化器:Adam(学习率＝0.00001)。通过图像旋转、缩放、增加噪音等方法进行数据增强，增加网络的稳定性和性能。

针对第二模型，从Google图像搜索眼部图像集作为样本数据来优化第二模型的参数，同时构建标签数据，其中，针对标签数据，由训练有素的眼科医生使用Adobe Photoshop中的磁性套索工具，对眼睑轮廓和角膜轮廓进行手动注释。具体优化时，将眼部图像输入至第二模型中，训练参数为：迭代次数＝200；批大小＝32；输入图像尺寸＝256x256像素；损失函数:IoU损失函数；优化器:Adam(学习率＝0.00001).通过图像旋转、缩放、增加噪音等方法进行数据增强，增加网络的稳定性和性能。

瞳孔定位单元用于依据术前角膜掩膜和术后角膜掩膜采用聚类方式确定术前瞳孔中心和术后瞳孔中心，具体地，针对术前角膜掩膜，重复若干次随机选取角膜轮廓线上的三个像素点，拟合三个像素点所在圆的圆心，通过高斯核均值漂移聚类算法获得若干个圆心的聚类中心，并将聚类中心设为术前瞳孔中心。针对术后角膜掩膜，重复若干次随机选取角膜轮廓线上的三个像素点，拟合三个像素点所在圆的圆心，通过高斯核均值漂移聚类算法获得若干个圆心的聚类中心，并将聚类中心设为术后瞳孔中心。

比例尺计算单元用于依据患者额部的标记的图上尺寸和实际尺寸来确定图像比例尺。具体地，针对患者额部的标记(例如纯色圆形标记)，采用自适应阈值算法根据人脸图像中不同区域亮度分布，计算标记的局部阈值，获得标记的二值掩膜，测量二值掩膜的横向像素距离和纵向像素距离。根据标记的实际横向尺寸和实际纵向尺寸，换算得到图像比例尺。

眼睑拓扑形态测量单元用于依据术前瞳孔中心和术后瞳孔中心、术前眼睑掩膜和角膜掩膜、术后眼睑掩膜和角膜掩膜分别确定术前眼睑拓扑形态和术后眼睑拓扑形态，并依据图像比例尺转换为术前眼睑拓扑形态实际尺寸、术后眼睑拓扑形态实际尺寸。

实施例中，眼睑拓扑形态包括睑裂高度、多角度瞳孔中心至上睑缘距离、眼睑长度以及睑裂面积的像素尺寸，其中，睑裂高度为上睑缘角膜映光距离和下睑缘角膜映光距离之和，眼睑长度包括上睑长度和下睑长度，睑裂面积包括角膜面积、鼻侧面积和颞侧面积。睑裂高度为上睑缘至下睑缘且经过瞳孔中心的垂直距离。上睑缘角膜映光距离为瞳孔中心至上睑缘的垂直距离。下睑缘角膜映光距离为瞳孔中心至上睑缘的垂直距离。多角度瞳孔中心至上睑缘距离为在0°至180°方向上(以15°为间隔)瞳孔中心至上睑缘的直线距离。上睑长度为以内眦和外眦为起止点的上睑缘几何长度。下睑长度为以内眦和外眦为起止点的下睑缘几何长度。角膜面积为第一眼位时角膜暴露区域的面积。鼻侧面积为第一眼位时位于角膜鼻侧的巩膜暴露区域的面积。颞侧面积为第一眼位时位于角膜颞侧的巩膜暴露区域的面积。

在得到眼睑拓扑形态的像素尺寸后，根据图像比例尺，将像素尺寸换算成实际尺寸，从而比较手术前后眼睑拓扑形态参数的实际差异。

输出单元用于对术前眼睑拓扑形态实际尺寸和术后眼睑拓扑形态实际尺寸进行比较，得到实际差异，该实际差异作为眼睑疾病手术疗效评估结果并输出。

基于同样的发明构思，实施例还提供了一种基于眼睑拓扑形态分析的眼睑疾病手术疗效评估方法，该方法采用上述眼睑疾病手术疗效评估系统，方法包括以下步骤：

步骤1，利用输入单元获取眼睑疾病患者的术前人脸图像和术后人脸图像；

步骤2，利用粗分割单元对术前人脸图像和术后人脸图像进行粗分割，得到术前眼部区域图像和术后眼部区域图像；

步骤3，利用细分割单元对术前眼部区域图像和术后眼部区域图像进行细分割，得到术前眼睑掩膜和角膜掩膜、术后眼睑掩膜和角膜掩膜；

步骤4，利用通孔定位单元依据术前角膜掩膜和术后角膜掩膜采用聚类方式确定术前瞳孔中心和术后瞳孔中心；

步骤5，利用比例尺计算单元依据患者额部的标记的图上尺寸和实际尺寸来确定图像比例尺；

步骤6，依据术前瞳孔中心和术后瞳孔中心、术前眼睑掩膜和角膜掩膜、术后眼睑掩膜和角膜掩膜分别确定术前眼睑拓扑形态和术后眼睑拓扑形态，并依据图像比例尺转换为术前眼睑拓扑形态实际尺寸、术后眼睑拓扑形态实际尺寸；

步骤7，利用输出单元对术前眼睑拓扑形态实际尺寸和术后眼睑拓扑形态实际尺寸进行比较，得到实际差异，该实际差异作为眼睑疾病手术疗效评估结果并输出。

具体测试时，被试为2016年1月至2019年9月期间于某三甲医院眼科中心实施上睑下垂矫正手术的103例患者(135只患眼)，包括73例男性和30例女性，年龄在1岁至50岁之间，其中71例诊断为为单眼上睑下垂，32例诊断为双眼上睑下垂，平均术后随访时间为21周。患眼手术前后的实际上睑缘角膜映光距离和下睑缘角膜映光距离由一位经验丰富的眼整形专科医生按照临床标准方法进行测量。收集患者在手术前后的正面人脸图像。嘱患者目视前方，额部粘贴一纯色圆形标记(直径10mm)，在相同照明条件下，在患者正前方1m处使用佳能500D相机和100mm微距镜头拍摄自然状态下的睁眼照片(分辨率为4752×3168像素)。

基于收集的术前人脸图像和术后人脸图像，采用上述方法测量患者术前图像和术后图像的眼睑拓扑形态参数，如图4和5所示，依据眼睑拓扑形态参数进行眼睑疾病手术疗效评估。同时还采用Dice系数评估模型自动分割患眼眼睑轮廓和角膜轮廓的准确性，Dice_眼睑＝0.950，Dice_角膜＝0.956，提示自动分割的准确性高。使用组内相关系数(ICC)分析135只患眼手术前后的上睑缘角膜映光距离、下睑缘角膜映光距离的自动测量值和人工测量值的一致性，ICC均大于0.952。

基于同样的发明构思，实施例还提供了一种计算设备，包括存储器、处理器以及存储在存储器中并可在所述处理器上执行的计算机程序，所述存储器中存有计算机程序，处理器执行所述计算机程序时上述步骤1-步骤7实现的基于眼睑拓扑形态分析的眼睑疾病手术疗效评估方法。其中，存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)。

上述实施例提供的系统和方法，通过眼睑拓扑形态参数的精确测量，能快速客观地评估眼睑疾病患者的手术疗效，为患者提供便捷的诊疗服务。此外，由于图像资料采集和传输的便捷性，本发明也有望应用于远程医疗，解决患者跨地区随访的难题。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于眼睑拓扑形态分析的眼睑疾病手术疗效评估系统，其特征在于，包括输入单元、粗分割单元、细分割单元、瞳孔定位单元、比例尺计算单元、眼睑拓扑形态测量单元，输出单元，

所述输入单元用于输入眼睑疾病患者的术前人脸图像和术后人脸图像；

所述粗分割单元用于利用基于全局注意力门控和循环残差卷积神经网络的第一模型对术前人脸图像和术后人脸图像进行粗分割，得到术前眼部区域图像和术后眼部区域图像；

所述细分割单元用于利用基于全局注意力门控和循环残差卷积神经网络的第二模型对术前眼部区域图像和术后眼部区域图像进行细分割，得到带有眼睑轮廓线和角膜轮廓线的术前眼睑掩膜和角膜掩膜、术后眼睑掩膜和角膜掩膜；

所述瞳孔定位单元用于依据术前角膜掩膜和术后角膜掩膜采用聚类方式确定术前瞳孔中心和术后瞳孔中心；

所述比例尺计算单元用于依据患者额部的标记的图上尺寸和实际尺寸来确定图像比例尺；

所述眼睑拓扑形态测量单元用于依据术前瞳孔中心和术后瞳孔中心、术前眼睑掩膜和角膜掩膜、术后眼睑掩膜和角膜掩膜分别确定术前眼睑拓扑形态和术后眼睑拓扑形态，并依据图像比例尺转换为术前眼睑拓扑形态实际尺寸、术后眼睑拓扑形态实际尺寸；

所述输出单元用于对术前眼睑拓扑形态实际尺寸和术后眼睑拓扑形态实际尺寸进行比较，得到实际差异，该实际差异作为眼睑疾病手术疗效评估结果并输出；

所述第一模型和第二模型采用相同结构，包括编码部分和解码部分以及输出模块；

所述编码部分包括N个连续的循环残差卷积模块，输入图像经过N个连续的循环残差卷积模块依次编码得到每层的编码特征图，编码部分最后一层循环残差卷积模块输出的编码特征图作为解码部分作为输入；

所述解码部分包括N-1个全局注意力门控模块、N-1连续的循环残差反卷积模块，在解码部分第n层中，第n-1个循环残差反卷积模块输出的解码特征图经过上采样得到上采样图，第N-n个循环残差卷积模块输出的编码特征图经过第n个全局注意力门控模块过滤得到过滤特征图，上采样图和过滤特征图的拼接结果经过第n个循环残差反卷积模块解码得到解码特征图，其中，n属于1～N-1，针对解码部分第1层，将解码部分的输入作为第0个循环残差卷积模块输出的编码特征图；

所述输出模块对解码部分最后一个循环残差反卷积模块输出的解码特征图进行卷积操作得到输出图像。

2.根据权利要求1所述的基于眼睑拓扑形态分析的眼睑疾病手术疗效评估系统，其特征在于，所述全局注意力门控模块包括：将输入的编码特征图进行patch分区，实现分块的同时进行线性嵌入，将线性嵌入的输出结果输入第一级Swin转换模块获得重建特征图，对重建特征图依次进行上采样、卷积处理、批量标准化以及ReLU函数激活输出注意力系数，同时将第一级Swin转换模块输出的特征图进行下一循环的线性嵌入和第二级Swin转换模块，重建特征图后执行上采样、卷积处理、批量标准化、ReLU函数激活输出注意力系数，依此类推，逐层嵌套循环直至执行完毕，最后将各层激活输出的注意力系数分别与编码特征图进行矩阵乘法获得过滤特征图。

3.根据权利要求1所述的基于眼睑拓扑形态分析的眼睑疾病手术疗效评估系统，其特征在于，所述第一模型和第二模型在被应用之前，需要经过参数优化，针对第一模型，从人脸属性数据集中选取高分辨率人脸图像作为样本数据来优化第一模型的参数；针对第二模型，从Google图像搜索眼部图像集作为样本数据来优化第二模型的参数。

4.根据权利要求1所述的基于眼睑拓扑形态分析的眼睑疾病手术疗效评估系统，其特征在于，所述第一模型对术前人脸图像和术后人脸图像进行粗分割，包括：

第一模型对输入图像进行计算，获得眼部二值掩膜，依据眼部二值掩膜的边界框对眼部进行定位，从而剪裁获得眼部区域图像，其中，输入图像包括术前人脸图像和术后人脸图像。

5.根据权利要求1所述的基于眼睑拓扑形态分析的眼睑疾病手术疗效评估系统，其特征在于，依据术前角膜掩膜和术后角膜掩膜采用聚类方式确定术前瞳孔中心和术后瞳孔中心，包括：

针对角膜掩膜，重复若干次随机选取角膜轮廓线上的三个像素点，拟合三个像素点所在圆的圆心，通过高斯核均值漂移聚类算法获得若干个圆心的聚类中心，并将聚类中心设为瞳孔中心，其中，角膜掩膜包括术前角膜掩膜和术后角膜掩膜，瞳孔中心包括术前瞳孔中心和术后瞳孔中心。

6.根据权利要求1所述的基于眼睑拓扑形态分析的眼睑疾病手术疗效评估系统，其特征在于，所述依据患者额部的标记的图上尺寸和实际尺寸来确定图像比例尺，包括：

针对患者额部的标记，采用自适应阈值算法根据人脸图像中不同区域亮度分布，计算标记的局部阈值，获得标记的二值掩膜，测量二值掩膜的横向像素距离和纵向像素距离，根据标记的实际横向尺寸和实际纵向尺寸，换算得到图像比例尺。

7.根据权利要求1所述的基于眼睑拓扑形态分析的眼睑疾病手术疗效评估系统，其特征在于，眼睑拓扑形态包括睑裂高度、多角度瞳孔中心至上睑缘距离、眼睑长度以及睑裂面积的像素尺寸，其中，睑裂高度为上睑缘角膜映光距离和下睑缘角膜映光距离之和，眼睑长度包括上睑长度和下睑长度，睑裂面积包括角膜面积、鼻侧面积和颞侧面积。

8.一种基于眼睑拓扑形态分析的眼睑疾病手术疗效评估方法，其特征在于，所述方法采用权利要求1-7任一项所述的眼睑疾病手术疗效评估系统，所述方法包括以下步骤：

利用输入单元获取眼睑疾病患者的术前人脸图像和术后人脸图像；

利用粗分割单元对术前人脸图像和术后人脸图像进行粗分割，得到术前眼部区域图像和术后眼部区域图像；

利用细分割单元对术前眼部区域图像和术后眼部区域图像进行细分割，得到术前眼睑掩膜和角膜掩膜、术后眼睑掩膜和角膜掩膜；

利用通孔定位单元依据术前角膜掩膜和术后角膜掩膜采用聚类方式确定术前瞳孔中心和术后瞳孔中心；

利用比例尺计算单元依据患者额部的标记的图上尺寸和实际尺寸来确定图像比例尺；

利用眼睑拓扑形态测量单元依据术前瞳孔中心和术后瞳孔中心、术前眼睑掩膜和角膜掩膜、术后眼睑掩膜和角膜掩膜分别确定术前眼睑拓扑形态和术后眼睑拓扑形态，并依据图像比例尺转换为术前眼睑拓扑形态实际尺寸、术后眼睑拓扑形态实际尺寸；

利用输出单元对术前眼睑拓扑形态实际尺寸和术后眼睑拓扑形态实际尺寸进行比较，得到实际差异，该实际差异作为眼睑疾病手术疗效评估结果并输出。

9.一种计算设备，包括存储器、处理器以及存储在存储器中并可在所述处理器上执行的计算机程序，所述存储器中存有计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7任一项所述的基于眼睑拓扑形态分析的眼睑疾病手术疗效评估方法。

Images