CN115909470B - 基于深度学习的全自动眼睑疾病术后外观预测系统和方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的全自动眼睑疾病术后外观预测系统和方法，通过利用眼部检测单元、图像裁剪单元以及预测单元依据输入的术前人脸正面图像预测术后条带图像，术后条带图像带有术后的眼睑轮廓线和角膜轮廓线，然后再依据术后条带图像并利用测量单元来测量计算眼睑形态参数的实际尺寸并输出，同时将术后条带图像粘贴回术前人脸正面图像，得到术后人脸外观预测图像并输出，这样基于深度学习通过计算机辅助图像处理和图像生成，以全自动化的方式获得了眼睑疾病术后外观预测图像，避免了现有人工预测方法的繁琐与误差，从而提高眼睑疾病术后效果预测的准确性和客观性，可辅助临床决策、预测术后各阶段恢复情况、促进手术前后医患沟通。

Description

基于深度学习的全自动眼睑疾病术后外观预测系统和方法

技术领域

本发明涉及眼部图像处理及生成技术领域，尤其是涉及了一种基于深度学习的全自动眼睑疾病术后外观预测系统和方法。

背景技术

眼睑是保护眼球的重要屏障，其相关疾病种类繁多，包括上睑下垂、睑内翻、睑外翻、眼睑退缩等眼睑解剖结构和功能异常疾病，不仅影响患者的眼表健康和视功能，而且造成患者的心理负担，严重影响生活质量。

手术干预为眼睑提供了较为有效的治疗选择。然而，由于缺少基于患者本人的术后效果展示，患者可能在决策阶段、术前准备甚至术后恢复阶段产生更为焦虑的状态，从而影响其判断力、应激水平、疼痛认知、依从度及术后的康复。因此，设计一个直观、便捷、真实的术后效果预测方法，在辅助眼睑疾病术前医患沟通过程中具有迫切的临床需求。

现有的一些模拟术后效果的尝试，包括使用照片处理软件制作眼睑疾病术后预测图像、用弯钩操作一只眼并对另一只眼应用镜像处理软件等，在临床实践过程中存在操作复杂、耗时耗力、主观性强的缺点。

近年来，随着计算机技术的迅速发展，深度学习作为人工智能的一个子领域，在眼科领域的应用日益广泛。基于深度学习的图像分析方法已被用于评估眼睑轮廓，实现了自动比较上睑下垂术前和术后的眼睑形态改变。

同时，深度学习神经网络在合成图像中展现出令人兴奋的应用前景，已应用于生成甲状腺相关眼病眶减压术的术后外观，然而该项研究数据未从临床采集，图像需人工裁剪，且生成的图像质量相对较低，并缺少客观评价。

值得注意的是，生成对抗网络作为一种新型的深度学习技术，在医学领域得到了越来越多的关注，为开发全自动眼睑疾病术后外观预测系统提供了方向。

发明内容

鉴于上述，本发明的目的是提供一种基于深度学习的全自动眼睑疾病术后外观预测系统和方法，通过深度学习算法自动生成眼睑疾病术后预测图像，处理分割眼睑疾病患者术后预测图像中眼部结构特征，用于促进眼睑疾病手术前的医患沟通、辅助临床决策。

为实现上述发明目的，实施例提供了一种基于深度学习的全自动眼睑疾病术后外观预测系统，包括：输入单元、基于循环残差卷积神经网络构建的眼部检测单元、图像裁剪单元、基于条件生成式对抗网络架构构建的预测单元、测量单元、输出单元；

所述输入单元用于获取待预测的术前人脸正面图像；

所述眼部检测单元用于对术前人脸正面图像进行眼部检测，得到带有眼睑轮廓线和角膜轮廓线的术前二值掩膜图像；

所述图像裁剪单元用于对术前二值掩膜图像进行裁剪以得到带有内眦锚定点的术前条带图像；

所述预测单元用于对术前条带图像进行预测以获得术后条带图像；

所述眼部检测单元还用于对术后条带图像进行眼部检测以得到带有眼睑轮廓线和角膜轮廓线的术后二值掩膜图像；

所述测量单元用于对术后二值掩膜图像进行测量计算以得到眼睑形态参数的实际尺寸；

所述输出单元用于基于内眦锚定点将术后条带图像粘贴回术前人脸正面图像，得到术后人脸外观预测图像并输出，同时输出眼睑形态参数的实际尺寸。

优选地，在所述眼部检测单元中，进行眼部检测时，通过面部识别方法定位输入图像的眼部感兴趣区域位置，并获得眼部感兴趣区域图像，然后利用训练好的循环残差卷积神经网络基于输入的眼部感兴趣区域图像进行语义分割，输出每个像素点为眼睑、角膜或背景的分类概率，根据预设阈值判断像素点的分类，对像素点进行分类，得到眼睑区域、角膜区域和背景区域，并输出带有眼睑轮廓线和角膜轮廓线的二值掩膜，其中，输入图像包括术前人脸正面图像、术后条带图像。

优选地，所述眼部感兴趣区域包括上眼睑、下眼睑、角膜、瞳孔和巩膜可见区。

优选地，所述循环残差卷积神经网络包括多个连续的循环残差卷积模块和结果输出模块；循环残差卷积模块包括多个循环卷积层，采用残差连接的方式构成；输入图像经循环卷积模块和最大池化操作处理，即上一个循环卷积模块的输出最大池化操作后输入到下一个循环卷积模块中；结果输出模块采用卷积操作处理，最终获得感兴趣区域图像的语义分割结果。

优选地，在所述图像裁剪单元中，进行裁剪时，将带有眼睑轮廓线和角膜轮廓线的术前二值掩膜图像定位回术前人脸正面图像，检测并锚定双眼的内眦，将带有内眦锚定点的术前人脸正面图像裁剪成条带图像，使得条带图像包含双眼感兴趣区域。

优选地，所述条件生成式对抗网络架构包括用来从术前条带图像生成术后条带图像的生成网络，判断生成的术后条带图像是否真实的判别网络，其中，生成网络以U-Net为基本结构，并在编码器和解码器之间添加跳跃连接，通过拼接操作进行特征融合，判别网络采用马尔可夫判别器。

优选地，在所述测量单元中，对带有眼睑轮廓线和角膜轮廓线的术后二值掩膜图像进行测量计算时，首先采用聚类算法确定术后二值掩膜图像中双眼瞳孔中心，并计算双眼瞳孔中心连线的中点，以该中点为中心旋转使双眼处于同一水平面上，得到水平旋转后的术后二值掩膜图像；然后依据水平旋转后的术后二值掩膜图像确定图上眼睑形态参数，其中，眼睑形态参数包括瞳孔中心沿多角度方向至上眼睑缘的像素距离；最后依据图像比例尺确定图上眼睑形态参数对应的实际尺寸。

优选地，所述采用聚类算法确定术后二值掩膜图像中双眼瞳孔中心，包括：

重复多次随机选取术后二值掩膜图像中角膜轮廓线的三个像素点，并拟合三个像素点所在圆的圆心，对多次拟合获得的圆心使用聚类方法确定聚类中心，将聚类中心作为瞳孔中心。

优选地，所述图像比例的计算方法为：

针对术前人脸正面图像中人脸额头上的圆形标记，基于中值色彩阈值并采用自适应机制过滤掉额头标记之外的颜色，得到人脸正面图像中额头上的圆形标记的二值掩码，测量二值掩码的横向宽度和纵向宽度，再结合圆形标记的实际横向宽度和实际纵向宽度，换算得到图像比例尺。

为实现上述发明目的，实施例还提供了一种基于深度学习的全自动眼睑疾病术后外观预测方法，所述方法采用上述预测系统，所述方法包括以下步骤：

利用输入单元获取待预测的术前人脸正面图像；

利用眼部检测单元对术前人脸正面图像进行眼部检测，得到带有眼睑轮廓线和角膜轮廓线的术前二值掩膜图像；

利用图像裁剪单元对术前二值掩膜图像进行裁剪以得到带有内眦锚定点的术前条带图像；

利用预测单元对术前条带图像进行预测以获得术后条带图像；

利用眼部检测单元对术后条带图像进行眼部检测以得到带有眼睑轮廓线和角膜轮廓线的术后二值掩膜图像；

利用测量单元对术后二值掩膜图像进行测量计算以得到眼睑形态参数的实际尺寸；

利用输出单元基于内眦锚定点将术后条带图像粘贴回术前人脸正面图像，得到术后人脸外观预测图像并输出，同时输出眼睑形态参数的实际尺寸。

与现有技术相比，本发明具有的有益效果至少包括：

通过利用眼部检测单元、图像裁剪单元以及预测单元依据输入的术前人脸正面图像预测术后条带图像，术后条带图像带有术后的眼睑轮廓线和角膜轮廓线，然后再依据术后条带图像并利用测量单元来测量计算眼睑形态参数的实际尺寸并输出，同时将术后条带图像粘贴回术前人脸正面图像，得到术后人脸外观预测图像并输出，这样基于深度学习通过计算机辅助图像处理和图像生成，以全自动化的方式获得了眼睑疾病术后外观预测图像，避免了现有人工预测方法的繁琐与误差，从而提高眼睑疾病术后效果预测的准确性和客观性。在临床应用具有重要前景，可辅助临床决策、预测术后各阶段恢复情况、促进手术前后医患沟通等。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的系统实现的全自动眼睑疾病术后外观预测系统的结构示意图；

图2是实施例提供的全自动眼睑疾病术后外观预测流程框图；

图3是实施例提供的用于眼部检测的循环残差卷积神经网络的结构示意图；

图4是实施例提供的术前图像、真实的术后图像及预测的术后图像样本，A、B为单眼患者，C为双眼患者；

图5是实施例提供的为预测效果的客观评估示意图，其中，(a)、(b)为真实的术后图像和预测的术后图像，以多角度(0°至180°，以15°为间隔)瞳孔中心-至上眼睑缘距离作为局部预测效果评价指标，(c)为以真实的术后眼睑轮廓和预测的术后眼睑轮廓的交集与并集的比值作为整体预测效果评价指标。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了实现对眼睑疾病术后外观预测，基于深度学习的全自动眼睑疾病术后外观预测系统，如图1所示，包括输入单元、眼部检测单元、图像裁剪单元、预测单元、测量单元、输出单元，基于这些单元可以实现全自动眼睑疾病术后外观预测，如图2所示。下面针对每个单元进行详细说明。

实施例中，输入单元用于获取待预测的术前人脸正面图像。该术前人脸正面图像一般体现了患者的眼睑疾病，同时要求患者的全脸且额头处贴有圆标，被拍摄者处于目视正前方的第一眼位，这样采集得到待预测的术前人脸正面图像。

实施例中，眼部检测单元用于对术前人脸正面图像进行眼部检测，得到带有眼睑轮廓线和角膜轮廓线的术前二值掩膜图像。同时还用于对术后条带图像进行眼部检测以得到带有眼睑轮廓线和角膜轮廓线的术后二值掩膜图像。具体地，在所述眼部检测单元中，进行眼部检测时，通过面部识别方法定位输入图像的眼部感兴趣区域位置，并获得眼部感兴趣区域图像，其中，眼部感兴趣区域包括上眼睑、下眼睑、角膜、瞳孔和巩膜可见区。然后利用训练好的循环残差卷积神经网络基于输入的眼部感兴趣区域图像进行语义分割，输出每个像素点为眼睑、角膜或背景的分类概率，根据预设阈值判断像素点的分类，对像素点进行分类，得到眼睑区域、角膜区域和背景区域，并输出带有眼睑轮廓线和角膜轮廓线的二值掩膜，其中，输入图像包括术前人脸正面图像、术后条带图像。这样通过使用循环残差卷积神经网络对术前人脸正面图像进行眼睑轮廓和角膜轮廓分割，进而锚定双眼的内眦，根据锚定点对术前人脸正面图像进行自动剪裁，避免了人工剪裁误差，直接通过锚定点位置裁剪获得包含眼部感兴趣区域的条带图像。

如图3所示，实施例提供的循环残差卷积神经网络，包括五个连续的循环残差卷积模块和一个结果输出模块；循环残差卷积模块包括两个卷积核大小为2×2的循环卷积层，采用残差连接的方式构成；输入图像经五个循环卷积模块和四个最大池化操作处理，即上一个循环卷积模块的输出经2×2最大池化操作后输入到下一个循环卷积模块中；结果输出模块采用1×1的卷积操作处理，最终获得待测的感兴趣区域图像的语义分割结果。

循环残差卷积神经网络并应用之前需要经过训练，训练之前先构建样本，具体采集1000只眼图像，标注眼睑轮廓线和角膜轮廓线，转换为眼睑二值分割图像和角膜二值分割图像作为样本，这些样本用于训练分割眼睑和角膜区域的循环残差卷积神经网络。训练过程中，使用L1损失函数和Adam优化器，设置初始学习频率为0.00001，训练迭代次数为200次。通过使用缩放、旋转、对称、增加图片噪音等方法进行数据增强，增加网络的稳定性和性能。

实施例中，图像裁剪单元用于对术前二值掩膜图像进行裁剪以得到带有内眦锚定点的术前条带图像。在所述图像裁剪单元中，对术前二值掩膜图像进行裁剪时，将带有眼睑轮廓线和角膜轮廓线的术前二值掩膜图像定位回术前人脸正面图像，检测并锚定双眼的内眦，将带有内眦锚定点的术前人脸正面图像裁剪成条带图像，使得条带图像包含双眼感兴趣区域，具体地，使得条带图像中内眦位于图像的水平方向1/3处，垂直方向1/3处。

实施例中，预测单元基于条件生成式对抗网络架构构建，用于对术前条带图像进行预测以获得术后条带图像。其中，条件生成式对抗网络架构包括用来从术前条带图像生成术后条带图像的生成网络，判断生成的术后条带图像是否真实的判别网络。生成网络以U-Net为基本结构，总共五层深度，在编码器和解码器之间添加跳跃连接，通过拼接操作进行特征融合。编码器(下采样)由卷积层组成，解码器(上采样)由反卷积层组成。编码器的第一层和解码器的第五层之间、编码器的第二层和解码器的第四层之间、编码器的第三层和解码器的第三层之间、编码器的第四层和解码器的第二层之间、编码器的第五层和解码器的第一层之间，均添加跳跃连接。编码器的第五层将张量传递给解码器的第一层。判别网络采用马尔可夫判别器，即PatchGAN架构，由五个卷积块组成。将生成的术后条带图像分成70×70个图像块，将这些图像块依次提供给判别器，输出一个70×70的矩阵，矩阵中每个点(真或假的概率)即代表生成的术后条带图像的每一个图像块的判别值，最后取输出矩阵的均值作为生成的术后条带图像的判别值(真或假的概率)。

条件生成式对抗网络架构在被应用之前，也需要经过参数优化。具体包括样本数据构建和网络参数优化两个部分。针对样本数据构建，实施例收集2016年6月至2021年4月期间到访某医院眼科中心的362例上睑下垂患者(450只患眼)(从0岁至77岁)的970对成对匹配的术前和术后人脸正面图像，构建人脸图像数据集。其中895对图像用于条件生成式对抗网络的训练，75对图像用于测试。手术由具有15年以上眼整形手术经验的高级外科医生进行。既往有睑板手术、眼眶手术或任何可能影响眼睑形态和功能的异常或手术患者被排除于本研究之外。被试的平均随访期为115.7天，要求其恢复稳定，眼睛呈对称且自然的眼睑轮廓，没有明显的红肿和肿胀。

被试额部平整粘贴一圆形标记物(红色，直径为10mm)，嘱其保持目视正前方的第一眼位，在相同照明条件下，采用佳能500D数码相机和100毫米宏观镜头拍摄成对匹配的术前和术后全脸电子数码照片。然后将成对匹配的术前和术后人脸正面图像输入至眼部检测单元，经过检测得到带有眼睑轮廓线和角膜轮廓线的术前和术后二值掩膜图像，组成二值掩膜数据集。接下来利用图像裁剪单元对术前二值掩膜图像和术后二值掩膜图像进行裁剪以得到带有内眦锚定点的术前条带图像和真实的术后条带图像，组成样本对。

在进行条件生成式对抗网络架构的网络参数优化时，将样本对作为输入，使用Adam优化器，设置初始学习频率为0.0001，训练迭代次数为200次。将条带图像的上下区域补齐成512×512像素。总体训练损失为

设定λ＝100。为优化生成器性能，使用L1损失函数，增强生成图像的清晰度。通过使用随机噪声、随机缩放和弹性变换等方法进行数据增强，增加网络的稳定性和性能。

实施例中，测量单元用于对术后二值掩膜图像进行测量计算以得到眼睑形态参数的实际尺寸。具体对带有眼睑轮廓线和角膜轮廓线的术后二值掩膜图像进行测量计算时，首先采用聚类算法确定术后二值掩膜图像中双眼瞳孔中心，并计算双眼瞳孔中心连线的中点，以该中点为中心旋转使双眼处于同一水平面上，得到水平旋转后的术后二值掩膜图像；然后依据水平旋转后的术后二值掩膜图像确定图上眼睑形态参数，其中，眼睑形态参数包括瞳孔中心沿多角度方向至上眼睑缘的像素距离，具体地，多角度方向可以是以15°为间隔在0°至180°之间的方向；最后依据图像比例尺确定图上眼睑形态参数对应的实际尺寸。

其中，采用聚类算法确定术后二值掩膜图像中双眼瞳孔中心，包括：重复多次随机选取术后二值掩膜图像中角膜轮廓线的三个像素点，并拟合三个像素点所在圆的圆心，对多次拟合获得的圆心使用聚类方法确定聚类中心，将聚类中心作为瞳孔中心。

其中，图像比例的计算方法为：针对术前人脸正面图像中人脸额头上的圆形标记，采用自适应阈值法，基于中值色彩阈值并采用自适应机制过滤掉额头标记之外的颜色，得到人脸正面图像中额头上的圆形标记的二值掩码，测量二值掩码的横向宽度和纵向宽度，再结合圆形标记的实际横向宽度和实际纵向宽度，换算得到带有眼睑轮廓线和角膜轮廓线的二值掩膜的图像比例尺，即每一像素的实际宽度和实际长度。

实施例中，输出单元用于基于内眦锚定点将术后条带图像粘贴回术前人脸正面图像，得到术后人脸外观预测图像并输出，同时输出眼睑形态参数的实际尺寸。

为了验证系统在全自动眼睑疾病术后外观预测的性能，实施例将用于测试条件生成式对抗网络的真实的术后人脸图像输入眼部检测单元，获得带有眼睑轮廓线和角膜轮廓线的二值掩膜；并将的二值掩膜输入测量单元，计算真实的术后眼睑形态参数的实际尺寸。

结果发现，如图4所示和如图5所示，预测的术后图像与真实的术后图像在任何角度下的瞳孔中心至上眼睑缘距离均无明显差异，预测的术后图像和真实的术后图像的眼睑轮廓交集与并集的比值为0.858±0.082，表明预测的术后图像与真实的术后图像具有高度一致性。

由此实施可见，本发明通过使用循环残差卷积神经网络，对术前图像进行眼睑轮廓和角膜轮廓分割，进而自动裁剪获得条带图像，使用条件生成对抗网络自动生成预测的术后图像，实现了高度的自动化。本发明通过计算机辅助图像处理和图像生成的方式避免了人工预测的繁琐和误差，技术性能稳定，预测的术后图像真实性好，可针对眼睑疾病患者预测其本人的术后效果。通过自动化生成术后外观图像，可以实现多种眼睑疾病、同一疾病多种类型以及各年龄段患者的术后效果预测，具有重要的临床应用前景，可辅助临床决策、预测术后各阶段恢复情况、促进手术前后医患沟通等。

基于同样的发明构思，实施例还提供了一种基于深度学习的全自动眼睑疾病术后外观预测方法，该方法采用上述预测系统，所述方法包括以下步骤：

步骤1，利用输入单元获取待预测的术前人脸正面图像；

步骤2，利用眼部检测单元对术前人脸正面图像进行眼部检测，得到带有眼睑轮廓线和角膜轮廓线的术前二值掩膜图像；

步骤3，利用图像裁剪单元对术前二值掩膜图像进行裁剪以得到带有内眦锚定点的术前条带图像；

步骤4，利用预测单元对术前条带图像进行预测以获得术后条带图像；

步骤5，利用眼部检测单元对术后条带图像进行眼部检测以得到带有眼睑轮廓线和角膜轮廓线的术后二值掩膜图像；

步骤6，利用测量单元对术后二值掩膜图像进行测量计算以得到眼睑形态参数的实际尺寸；

步骤7，利用输出单元基于内眦锚定点将术后条带图像粘贴回术前人脸正面图像，得到术后人脸外观预测图像并输出，同时输出眼睑形态参数的实际尺寸。

基于同样的发明构思，实施例还提供了一种计算设备，包括存储器、处理器以及存储在存储器中并可在所述处理器上执行的计算机程序，所述存储器中存有所述处理器执行所述计算机程序时实现上述步骤1-步骤7所示的全自动眼睑疾病术后外观预测方法。其中，存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)。

本发明提供的系统和方法以简易的方式获取眼睑疾病患者的可以仅通过术前人脸正面图像自动生成术后外观预测图像，预测真实性好。通过使用循环残差卷积神经网络，对术前图像进行眼睑轮廓和角膜轮廓分割，进而自动裁剪获得条带图像，使用条件生成式对抗网络自动生成术后预测图像，实现了高度的自动化。本发明技术性能稳定，不受年龄和肤色限制，可以对不同亮度、对比度和饱和度的人脸图像进行准确预测。本发明对系统的准确性进行了整体和局部的评估，实现了现实世界的主观评价。结果显示本发明预测术后图像与真实术后图像具有高度一致性，可针对眼睑疾病患者预测其本人的术后效果。通过自动化生成术后外观图像，可以实现多种眼睑疾病、同一疾病多种类型以及各年龄段患者的术后效果预测，具有重要的临床应用前景，可辅助临床决策、预测术后各阶段恢复情况、促进手术前后医患沟通等。由于图像资料存储和传输的简易性，本发明可以用于远程医疗等领域，有利于节约及优化医疗资源。本发明技术设备需求低，整套算法可以在家用电脑及笔记本上运行。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的全自动眼睑疾病术后外观预测系统，其特征在于，包括：输入单元、基于循环残差卷积神经网络构建的眼部检测单元、图像裁剪单元、基于条件生成式对抗网络架构构建的预测单元、测量单元、输出单元；

所述输入单元用于获取待预测的术前人脸正面图像；

所述眼部检测单元用于对术前人脸正面图像进行眼部检测，得到带有眼睑轮廓线和角膜轮廓线的术前二值掩膜图像；

所述图像裁剪单元用于对术前二值掩膜图像进行裁剪以得到带有内眦锚定点的术前条带图像，包括：将带有眼睑轮廓线和角膜轮廓线的术前二值掩膜图像定位回术前人脸正面图像，检测并锚定双眼的内眦，将带有内眦锚定点的术前人脸正面图像裁剪成条带图像，使得条带图像包含双眼感兴趣区域；

所述预测单元用于对术前条带图像进行预测以获得术后条带图像；

所述眼部检测单元还用于对术后条带图像进行眼部检测以得到带有眼睑轮廓线和角膜轮廓线的术后二值掩膜图像；

所述测量单元用于对术后二值掩膜图像进行测量计算以得到眼睑形态参数的实际尺寸；

所述输出单元用于基于内眦锚定点将术后条带图像粘贴回术前人脸正面图像，得到术后人脸外观预测图像并输出，同时输出眼睑形态参数的实际尺寸。

2.根据权利要求1所述的基于深度学习的全自动眼睑疾病术后外观预测系统，其特征在于，在所述眼部检测单元中，进行眼部检测时，通过面部识别方法定位输入图像的眼部感兴趣区域位置，并获得眼部感兴趣区域图像，然后利用训练好的循环残差卷积神经网络基于输入的眼部感兴趣区域图像进行语义分割，输出每个像素点为眼睑、角膜或背景的分类概率，根据预设阈值判断像素点的分类，对像素点进行分类，得到眼睑区域、角膜区域和背景区域，并输出带有眼睑轮廓线和角膜轮廓线的二值掩膜，其中，输入图像包括术前人脸正面图像、术后条带图像。

3.根据权利要求2所述的基于深度学习的全自动眼睑疾病术后外观预测系统，其特征在于，所述眼部感兴趣区域包括上眼睑、下眼睑、角膜、瞳孔和巩膜可见区。

4.根据权利要求1所述的基于深度学习的全自动眼睑疾病术后外观预测系统，其特征在于，所述循环残差卷积神经网络包括多个连续的循环残差卷积模块和结果输出模块；循环残差卷积模块包括多个循环卷积层，采用残差连接的方式构成；输入图像经循环卷积模块和最大池化操作处理，即上一个循环卷积模块的输出最大池化操作后输入到下一个循环卷积模块中；结果输出模块采用卷积操作处理，最终获得感兴趣区域图像的语义分割结果。

5.根据权利要求1所述的基于深度学习的全自动眼睑疾病术后外观预测系统，其特征在于，在所述图像裁剪单元中，进行裁剪时，将带有眼睑轮廓线和角膜轮廓线的术前二值掩膜图像定位回术前人脸正面图像，检测并锚定双眼的内眦，将带有内眦锚定点的术前人脸正面图像裁剪成条带图像，使得条带图像包含双眼感兴趣区域。

6.根据权利要求1所述的基于深度学习的全自动眼睑疾病术后外观预测系统，其特征在于，所述条件生成式对抗网络架构包括用来从术前条带图像生成术后条带图像的生成网络，判断生成的术后条带图像是否真实的判别网络，其中，生成网络以U-Net为基本结构，并在编码器和解码器之间添加跳跃连接，通过拼接操作进行特征融合，判别网络采用马尔可夫判别器。

7.根据权利要求1所述的基于深度学习的全自动眼睑疾病术后外观预测系统，其特征在于，在所述测量单元中，对带有眼睑轮廓线和角膜轮廓线的术后二值掩膜图像进行测量计算时，首先采用聚类算法确定术后二值掩膜图像中双眼瞳孔中心，并计算双眼瞳孔中心连线的中点，以该中点为中心旋转使双眼处于同一水平面上，得到水平旋转后的术后二值掩膜图像；然后依据水平旋转后的术后二值掩膜图像确定图上眼睑形态参数，其中，眼睑形态参数包括瞳孔中心沿多角度方向至上眼睑缘的像素距离；最后依据图像比例尺确定图上眼睑形态参数对应的实际尺寸。

8.根据权利要求7所述的基于深度学习的全自动眼睑疾病术后外观预测系统，其特征在于，所述采用聚类算法确定术后二值掩膜图像中双眼瞳孔中心，包括：

重复多次随机选取术后二值掩膜图像中角膜轮廓线的三个像素点，并拟合三个像素点所在圆的圆心，对多次拟合获得的圆心使用聚类方法确定聚类中心，将聚类中心作为瞳孔中心。

9.根据权利要求7所述的基于深度学习的全自动眼睑疾病术后外观预测系统，其特征在于，所述图像比例的计算方法为：

针对术前人脸正面图像中人脸额头上的圆形标记，基于中值色彩阈值并采用自适应机制过滤掉额头标记之外的颜色，得到人脸正面图像中额头上的圆形标记的二值掩码，测量二值掩码的横向宽度和纵向宽度，再结合圆形标记的实际横向宽度和实际纵向宽度，换算得到图像比例尺。

10.一种基于深度学习的全自动眼睑疾病术后外观预测方法，其特征在于，所述方法采用权利要求1-9任一项所述的预测系统，所述方法包括以下步骤：

利用输入单元获取待预测的术前人脸正面图像；

利用眼部检测单元对术前人脸正面图像进行眼部检测，得到带有眼睑轮廓线和角膜轮廓线的术前二值掩膜图像；

利用图像裁剪单元对术前二值掩膜图像进行裁剪以得到带有内眦锚定点的术前条带图像；

利用预测单元对术前条带图像进行预测以获得术后条带图像；

利用眼部检测单元对术后条带图像进行眼部检测以得到带有眼睑轮廓线和角膜轮廓线的术后二值掩膜图像；

利用测量单元对术后二值掩膜图像进行测量计算以得到眼睑形态参数的实际尺寸；

利用输出单元基于内眦锚定点将术后条带图像粘贴回术前人脸正面图像，得到术后人脸外观预测图像并输出，同时输出眼睑形态参数的实际尺寸。

Images