CN110604617A - 板层角膜移植ar手术导航系统及方法 - Google Patents

Abstract

本发明提供一种板层角膜移植AR手术导航系统及方法。该板层角膜移植AR手术导航系统包括依次连接的摄像单元、处理单元以及AR单元；摄像单元用于获取板层角膜移植手术过程中的视频影像；处理单元用于对视频影像中的每一帧图像中的角膜轮廓进行分割，得到多帧角膜轮廓图像，将多帧角膜轮廓图像划分为多个关键帧角膜轮廓图像与多个遮挡帧角膜轮廓图像，当当前帧角膜轮廓图像为遮挡帧角膜轮廓图像时，恢复当前帧角膜轮廓图像被遮挡的运动信息并对关键帧角膜轮廓图像进行变形以重建当前帧角膜轮廓图像，再控制AR单元在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置，从而指导医生及时准确的找到角膜缝针位置，提高手术成功率。

Description

板层角膜移植AR手术导航系统及方法

技术领域

本发明涉及眼科手术领域，尤其涉及一种板层角膜移植AR手术导航系统及方法。

背景技术

角膜疾病是世界范围内最主要的致盲性眼病之一，在我国的发病率仅次于白内障，约为11.5/10000。随着技术的发展，深板层角膜移植手术(Deep Anterior LamellarKeratoplasty，DALK)成为药物无法治疗的感染性角膜溃疡等疾病的唯一有效的治疗手段，板层角膜移植手术是以角膜的部分组织为操作对象进行的手术，只切除有病变的角膜浅层组织，深层比较完好的受主角膜仍然保留作为移植床，然后取同样大小和厚度的角膜材料作为浅层角膜片，缝于患者角膜的创面上，由于板层角膜移植手术不扰动眼内组织，因此板层角膜移植手术能够有效地降低发生内皮性排斥反应的风险，减少散光等手术并发症的发生。

然而，板层角膜移植手术对医生的技术和经验有着严格的要求，由于板层角膜移植手术场景复杂，手术时间较长，手术过程中受血液污染和手术器械遮挡的干扰较大，角膜轮廓边界十分模糊，因此板层角膜移植过程中难以定位角膜缝针位置，造成角膜缝合位置分布不均匀，导致移植的角膜受力不均匀，从而引发多种术后并发症的问题，因此训练有素的医务人员和角膜供体的严重缺乏，容易导致角膜疾病难以得到及时有效的治疗，引发失明等严重后果。

增强现实(Augmented Reality，AR)是一种新的技术，是将计算机产生的虚拟图形融合到使用者所看到的真实世界景象中，使用者可从计算机描绘的模拟模型中获得额外的信息，从而对真实环境进行增强。增强现实具有三大特点：虚拟结合、实时交互、三维匹配。手术导航是将病人术前或术中影像数据和手术床上病人解剖结构准确对应，手术中跟踪手术器械并将手术器械的位置在病人影像上以虚拟探针的形式实时更新显示，使医生对手术器械相对病人解剖结构的位置一目了然，使外科手术更快速、更精确、更安全。增强现实手术导航(Augmented Reality Surgery Navigation)则是将虚拟信息融合到现实手术环境中，能够让医生直接看到配准叠加后的场景，为医生提供实时的手术指导，及时做出精准决策，减少手术风险。

发明内容

本发明的目的在于提供一种板层角膜移植AR手术导航系统，能够实时追踪角膜轮廓，指导医生能够及时准确的找到角膜缝针位置，提高手术成功率。

本发明的目的还在于提供一种板层角膜移植AR手术导航方法，能够实时追踪角膜轮廓，指导医生能够及时准确的找到角膜缝针位置，提高手术成功率。

为实现上述目的，本发明提供了一种板层角膜移植AR手术导航系统，包括：摄像单元、与所述摄像单元连接的处理单元以及与所述处理单元连接的AR单元；

所述AR单元用于通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置；

所述摄像单元用于获取板层角膜移植手术过程中的视频影像；

所述处理单元用于对视频影像中的每一帧图像中的角膜轮廓进行分割，得到多帧角膜轮廓图像，将多帧角膜轮廓图像划分为多个关键帧角膜轮廓图像与多个遮挡帧角膜轮廓图像，所述关键帧角膜轮廓图像为角膜轮廓完全可见的图像，所述遮挡帧角膜轮廓图像为角膜轮廓被遮挡的图像，

当当前帧角膜轮廓图像为遮挡帧角膜轮廓图像时，通过光流补全网络恢复当前帧角膜轮廓图像与该当前帧角膜轮廓图像相邻的一个关键帧角膜轮廓图像之间被遮挡而丢失的运动信息，并通过光流补全网络输出的补全光流对关键帧角膜轮廓图像进行变形以重建当前帧角膜轮廓图像，再控制AR单元通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置；

当当前帧角膜轮廓图像为关键帧角膜轮廓图像时，控制AR单元通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置。

所述处理单元通过U-Net分割网络对角膜轮廓进行分割。

所述处理单元划分角膜轮廓图像的具体步骤为：通过每一帧角膜轮廓图像分割处的角膜轮廓前景点计算每一帧角膜轮廓图像的中心点坐标p₀(x₀，y₀)，x₀和y₀定义为

其中，P为分割得到的角膜轮廓的点集，n为点集的个数；

分别统计中心点p₀的四个象限内的前景点个数(n₁，n₂，n₃，n₄)，并计算四个象限的对称比例：

其中，n₁为第一象限内的前景点个数，n₂为第二象限内的前景点个数，n₃为第三象限内的前景点个数，n₄为第四象限内的前景点个数，r_LR为四个象限的左右对称比例，r_UD为四个象限的上下对称比例；

通过筛选公式判断角膜轮廓图像为关键帧角膜轮廓图像或遮挡帧角膜轮廓图像，所述筛选公式为：

其中，I_t为角膜轮廓图像，为遮挡帧角膜轮廓图像，为关键帧角膜轮廓图像，n_thres为点集个数的阈值，r_{thres_occ}为遮挡帧角膜轮廓图像对称比例的阈值，r_{thres_key}为关键帧角膜轮廓图像对称比例的阈值。

所述处理单元通过变形公式对关键帧角膜轮廓图像进行变形，所述变形公式为：

其中，i和j分别为图像中一预设位置的横坐标与纵坐标，y_ij为光流变形后的值，和为在预设位置的两通道光流值，k为线性插值核函数，m和v均为常数。

所述处理单元还通过联合损失函数重建当前帧角膜轮廓图像；所述联合损失函数包括变形损失函数及扩展空间计算损失函数；

所述联合损失函数为：L＝αL_warp+(1-α)L_esdl，其中，L为联合损失函数，I_warp为变形损失函数，L_esdl为扩展空间计算损失函数，α大于0且小于1；

所述变形损失函数为：其中，I_key为与当前帧角膜轮廓图像相邻的关键帧角膜轮廓图像，为通过光流补全网络补全的光流，为光流的真实值，为I_key沿耆与当前帧角膜轮廓图像的对齐操作，为I_key沿耆与当前帧角膜轮廓图像的对齐操作；

扩展空间计算损失函数为：其中，f_t，key为由FlowNet2网络产生的在当前帧角膜轮廓图像和I_key之间的光流，为扩展空间计算掩模，⊙表示点乘操作。

本发明还提供一种板层角膜移植AR手术导航方法，包括如下步骤：

步骤S1、获取板层角膜移植手术过程中的视频影像，对视频影像中的每一帧图像中的角膜轮廓进行分割，得到多帧角膜轮廓图像；

步骤S2、将多帧角膜轮廓图像划分为多个关键帧角膜轮廓图像与多个遮挡帧角膜轮廓图像；所述关键帧角膜轮廓图像为角膜轮廓完全可见的图像；所述遮挡帧角膜轮廓图像为角膜轮廓被遮挡的图像；

步骤S3、当当前帧角膜轮廓图像为遮挡帧角膜轮廓图像时，通过光流补全网络恢复当前帧角膜轮廓图像与该当前帧角膜轮廓图像相邻的一个关键帧角膜轮廓图像之间被遮挡而丢失的运动信息，并通过光流补全网络输出的补全光流对关键帧角膜轮廓图像进行变形以重建当前帧角膜轮廓图像；

当当前帧角膜轮廓图像为关键帧角膜轮廓图像时，则进行步骤S4；

步骤S4、通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置。

所述步骤S1中，通过U-Net分割网络对角膜轮廓进行分割。

所述步骤S2中划分角膜轮廓图像的具体步骤为：步骤S21、通过每一帧角膜轮廓图像分割处的角膜轮廓前景点计算每一帧角膜轮廓图像的中心点坐标p₀(x₀，y₀)，x₀和y₀定义为

其中，P为分割得到的角膜轮廓的点集，n为点集的个数；

步骤S22、分别统计中心点p₀的四个象限内的前景点个数(n₁，n₂，n₃，n₄)，并计算四个象限的对称比例：

其中，n₁为第一象限内的前景点个数，n₂为第二象限内的前景点个数，n₃为第三象限内的前景点个数，n₄为第四象限内的前景点个数，r_LR为四个象限的左右对称比例，r_UD为四个象限的上下对称比例；

步骤S23、通过筛选公式判断角膜轮廓图像为关键帧角膜轮廓图像或遮挡帧角膜轮廓图像，所述筛选公式为：

其中，I_t为角膜轮廓图像，为遮挡帧角膜轮廓图像，为关键帧角膜轮廓图像，n_thres为点集个数的阈值，r_{thres_occ}为遮挡帧角膜轮廓图像对称比例的阈值，r_{thres_key}为关键帧角膜轮廓图像对称比例的阈值。

所述步骤S3中，通过变形公式对关键帧角膜轮廓图像进行变形，所述变形公式为：

其中，i和j分别为图像中一预设位置的横坐标与纵坐标，y_ij为光流变形后的值，和为在预设位置的两通道光流值，k为线性插值核函数，m和v均为常数。

所述步骤S3中，还通过联合损失函数重建当前帧角膜轮廓图像；所述联合损失函数包括变形损失函数及扩展空间计算损失函数；

所述联合损失函数为：L＝αL_warp+(1-α)L_esdl，其中，L为联合损失函数，I_warp为变形损失函数，L_esdl为扩展空间计算损失函数，α大于0且小于1；

所述变形损失函数为：其中，I_key为与当前帧角膜轮廓图像相邻的关键帧角膜轮廓图像，为通过光流补全网络补全的光流，为光流的真实值，为I_key沿着与当前帧角膜轮廓图像的对齐操作，为I_key沿着与当前帧角膜轮廓图像的对齐操作；

扩展空间计算损失函数为：其中，f_t，key为由FlowNet2网络产生的在当前帧角膜轮廓图像和I_key之间的光流，为扩展空间计算掩模，⊙表示点乘操作。

本发明的有益效果：本发明的板层角膜移植AR手术导航系统，包括：摄像单元、与所述摄像单元连接的处理单元以及与所述处理单元连接的AR单元；所述摄像单元用于获取板层角膜移植手术过程中的视频影像；所述处理单元用于对视频影像中的每一帧图像中的角膜轮廓进行分割，得到多帧角膜轮廓图像，将多帧角膜轮廓图像划分为多个关键帧角膜轮廓图像与多个遮挡帧角膜轮廓图像，所述关键帧角膜轮廓图像为角膜轮廓完全可见的图像，所述遮挡帧角膜轮廓图像为角膜轮廓被遮挡的图像，当当前帧角膜轮廓图像为遮挡帧角膜轮廓图像时，通过光流补全网络恢复当前帧角膜轮廓图像与该当前帧角膜轮廓图像相邻的一个关键帧角膜轮廓图像之间被遮挡而丢失的运动信息，并通过光流补全网络输出的补全光流对关键帧角膜轮廓图像进行变形以重建当前帧角膜轮廓图像，再控制AR单元通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置；当当前帧角膜轮廓图像为关键帧角膜轮廓图像时，控制AR单元通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置，从而能够实时追踪角膜轮廓，指导医生能够及时准确的找到角膜缝针位置，提高手术成功率。本发明的板层角膜移植AR手术导航方法，能够实时追踪角膜轮廓，指导医生能够及时准确的找到角膜缝针位置，提高手术成功率。

附图说明

为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。

附图中，

图1为本发明的板层角膜移植AR手术导航系统的示意图；

图2为本发明的板层角膜移植AR手术导航方法的流程图。

具体实施方式

为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。

请参阅图1，本发明提供一种板层角膜移植AR手术导航系统，包括：摄像单元10、与所述摄像单元10连接的处理单元20以及与所述处理单元20连接的AR单元30；

所述AR单元30用于通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置；

所述摄像单元10用于获取板层角膜移植手术过程中的视频影像；

所述处理单元20用于对视频影像中的每一帧图像中的角膜轮廓进行分割，得到多帧角膜轮廓图像，将多帧角膜轮廓图像划分为多个关键帧角膜轮廓图像与多个遮挡帧角膜轮廓图像，所述关键帧角膜轮廓图像为角膜轮廓完全可见的图像，所述遮挡帧角膜轮廓图像为角膜轮廓被遮挡的图像，

当当前帧角膜轮廓图像为遮挡帧角膜轮廓图像时，通过光流补全网络恢复当前帧角膜轮廓图像与该当前帧角膜轮廓图像相邻的一个关键帧角膜轮廓图像之间被遮挡而丢失的运动信息，并通过光流补全网络输出的补全光流对关键帧角膜轮廓图像进行变形以重建当前帧角膜轮廓图像，再控制AR单元30通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置；

当当前帧角膜轮廓图像为关键帧角膜轮廓图像时，控制AR单元30通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置。

需要说明的是，由于板层角膜移植手术场景比较复杂，主要干扰因素是血液污染和手术器材的遮挡，本发明通过视频影像中的每一帧图像中的角膜轮廓进行分割，将血液污染的角膜轮廓图像和手术器材遮挡的角膜轮廓图像划分为遮挡帧角膜轮廓图像，将角膜轮廓完全可见的图像划分为关键帧角膜轮廓图像，当当前帧角膜轮廓图像为遮挡帧角膜轮廓图像时，通过光流补全网络恢复当前帧角膜轮廓图像与该当前帧角膜轮廓图像相邻的一个关键帧角膜轮廓图像之间被遮挡而丢失的运动信息，并通过光流补全网络输出的补全光流对关键帧角膜轮廓图像进行变形以重建当前帧角膜轮廓图像，通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置，从而能够实时追踪角膜轮廓，指导医生能够及时准确的找到角膜缝针位置，提高手术成功率。

具体的，所述处理单元20通过U-Net分割网络对角膜轮廓进行分割。U-Net是专门用来处理医学图像分割的网络，医学图像处理具有样本小、定位精度要求高等特点，U-Net在训练数据较少的情况下，能够实现目标区域的精准定位和多尺度上下文信息的融合，保留了更加丰富的细节信息。

具体的，所述处理单元20划分角膜轮廓图像的具体步骤为：通过每一帧角膜轮廓图像分割处的角膜轮廓前景点计算每一帧角膜轮廓图像的中心点坐标p₀(x₀，y₀)，x₀和y₀定义为

其中，P为分割得到的角膜轮廓的点集，n为点集的个数；

分别统计中心点p₀的四个象限内的前景点个数(n₁，n₂，n₃，n₄)，并计算四个象限的对称比例：

其中，n₁为第一象限内的前景点个数，n₂为第二象限内的前景点个数，n₃为第三象限内的前景点个数，n₄为第四象限内的前景点个数，r_LR为四个象限的左右对称比例，r_UD为四个象限的上下对称比例；

通过筛选公式判断角膜轮廓图像为关键帧角膜轮廓图像或遮挡帧角膜轮廓图像，所述筛选公式为：

其中，I_t为角膜轮廓图像，为遮挡帧角膜轮廓图像，为关键帧角膜轮廓图像，n_thres为点集个数的阈值，r_{thres_occ}为遮挡帧角膜轮廓图像对称比例的阈值，r_{thres_key}为关键帧角膜轮廓图像对称比例的阈值；从而本发明可以筛选出角膜轮廓完全可见的图像作为关键帧角膜轮廓图像，同时筛选出角膜轮廓遮挡程度比较严重(大于一阈值)的图像作为遮挡帧角膜轮廓图像。

具体的，与该当前帧角膜轮廓图像相邻的一个关键帧角膜轮廓图像指的是，在视频影像时间序列中与当前帧角膜轮廓图像距离最近的一个关键帧角膜轮廓图像。

具体的，所述光流补全网络由编码网络和解码网络两部分构成，中间层使用了空洞卷积用来增大感受感受野，在不影响时间复杂的前提下尽量获得更大感受野的信息。光流补全网络只进行了两次下采样，将图像的尺度变为原来的四分之一，可以保留更加丰富的细节信息，尽量保证补全的光流更加清晰。光流补全网络的输入是包括一个两通道的光流数据和一个掩模(spatially discounted mask，SDM)(需要重建的部分值为1，其他部分值为0)，网络的输出是补全的两通道的光流。

具体的，所述处理单元20通过变形公式对关键帧角膜轮廓图像进行变形，所述变形公式为：

其中，i和j分别为图像中一预设位置的横坐标与纵坐标，y_ij为光流变形后的值(也就是从关键帧角膜轮廓图像的预设位置到遮挡帧角膜轮廓图像的相同位置的光流变形)，和为在预设位置(i，j)的两通道光流值，k为线性插值核函数，m和v均为常数。

进一步的，所述k可以定义为k(p，q)＝max(0，1-|p|)*max(0，1-|q|)，p和q可以根据实际情况具体取值。

具体的，所述处理单元20还通过联合损失函数重建当前帧角膜轮廓图像；所述联合损失函数包括变形损失函数及扩展空间计算损失函数；

所述联合损失函数为：L＝αL_warp+(1-α)L_esdl，其中，L为联合损失函数，I_warp为变形损失函数，L_esdl为扩展空间计算损失函数，α大于0且小于1；

所述变形损失函数为；其中，I_key为与当前帧角膜轮廓图像相邻的关键帧角膜轮廓图像，也就是在时间序列上距离当前帧角膜轮廓图像最近的关键帧角膜轮廓图像，为通过光流补全网络补全的光流，为光流的真实值，指的是当前帧角膜轮廓图像原始无遮挡时与I^key之间的光流，为I_key沿着与当前帧角膜轮廓图像的对齐操作，为I_key沿着与当前帧角膜轮廓图像的对齐操作；

扩展空间计算损失函数为：其中，f_t，key为由FlowNet2网络产生的在当前帧角膜轮廓图像和I_key之间的光流，为扩展空间计算掩模(extended spatially discounted mask，ESDM)(原始的掩膜仅在需要重建的部分值为1，其他部分值为0，则边界附近的值较大，靠近中心的值较小，扩展空间计算掩模则是在原始的掩膜的基础上将非零区域略微放大，放大元素的值利用y^d计算，其中，d是当前像素和待补全区域边界的距离，γ是一个小于1的常数)，⊙表示点乘操作。

具体的，所述处理单元20对当前帧角膜轮廓图像的分割结果得到的前景点点集进行椭圆拟合，控制AR单元30以该拟合的椭圆作为标记标注出角膜轮廓，并对该拟合的椭圆进行等分及均匀采样，以标注出均匀分布的多个角膜缝针位置。

进一步的，角膜缝针位置的数量可以为32个。

具体的，所述处理单元20还通过角膜轮廓追踪公式来判断拟合的椭圆与角膜轮廓的叠加准确性；所述角膜轮廓追踪公式为：

其中，G和F分别为真值椭圆和拟合椭圆上的均匀采样点，d(g，f)为g和f两点之间的距离，∈_ellipse为拟合的椭圆与角膜轮廓的叠加准确程度，∈_ellibse越低则叠加越准确。

请参阅图2，基于上述板层角膜移植AR手术导航系统，本发明还提供一种板层角膜移植AR手术导航方法，包括如下步骤：

步骤S1、获取板层角膜移植手术过程中的视频影像，对视频影像中的每一帧图像中的角膜轮廓进行分割，得到多帧角膜轮廓图像；

步骤S2、将多帧角膜轮廓图像划分为多个关键帧角膜轮廓图像与多个遮挡帧角膜轮廓图像；所述关键帧角膜轮廓图像为角膜轮廓完全可见的图像；所述遮挡帧角膜轮廓图像为角膜轮廓被遮挡的图像；

步骤S3、当当前帧角膜轮廓图像为遮挡帧角膜轮廓图像时，通过光流补全网络恢复当前帧角膜轮廓图像与该当前帧角膜轮廓图像相邻的一个关键帧角膜轮廓图像之间被遮挡而丢失的运动信息，并通过光流补全网络输出的补全光流对关键帧角膜轮廓图像进行变形以重建当前帧角膜轮廓图像；

当当前帧角膜轮廓图像为关键帧角膜轮廓图像时，则进行步骤S4；

步骤S4、通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置。

需要说明的是，由于板层角膜移植手术场景比较复杂，主要干扰因素是血液污染和手术器材的遮挡，本发明通过视频影像中的每一帧图像中的角膜轮廓进行分割，将血液污染的角膜轮廓图像和手术器材遮挡的角膜轮廓图像划分为遮挡帧角膜轮廓图像，将角膜轮廓完全可见的图像划分为关键帧角膜轮廓图像，当当前帧角膜轮廓图像为遮挡帧角膜轮廓图像时，通过光流补全网络恢复当前帧角膜轮廓图像与该当前帧角膜轮廓图像相邻的一个关键帧角膜轮廓图像之间被遮挡而丢失的运动信息，并通过光流补全网络输出的补全光流对关键帧角膜轮廓图像进行变形以重建当前帧角膜轮廓图像，通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置，从而能够实时追踪角膜轮廓，指导医生能够及时准确的找到角膜缝针位置，提高手术成功率。

具体的，所述步骤S1中，通过U-Net分割网络对角膜轮廓进行分割。U-Net是专门用来处理医学图像分割的网络，医学图像处理具有样本小、定位精度要求高等特点，U-Net在训练数据较少的情况下，能够实现目标区域的精准定位和多尺度上下文信息的融合，保留了更加丰富的细节信息。

具体的，所述步骤S2中划分角膜轮廓图像的具体步骤为：步骤S21、通过每一帧角膜轮廓图像分割处的角膜轮廓前景点计算每一帧角膜轮廓图像的中心点坐标p₀(x₀,y₀)，x₀和y₀定义为

其中，P为分割得到的角膜轮廓的点集，n为点集的个数；

步骤S22、分别统计中心点p₀的四个象限内的前景点个数(n₁,n₂,n₃,n₄)，并计算四个象限的对称比例：

其中，n₁为第一象限内的前景点个数，n₂为第二象限内的前景点个数，n₃为第三象限内的前景点个数，n₄为第四象限内的前景点个数，r_LR为四个象限的左右对称比例，r_UD为四个象限的上下对称比例；

步骤S23、通过筛选公式判断角膜轮廓图像为关键帧角膜轮廓图像或遮挡帧角膜轮廓图像，所述筛选公式为：

其中，I_t为角膜轮廓图像，为遮挡帧角膜轮廓图像，为关键帧角膜轮廓图像，n_thres为点集个数的阈值，r_{thres_occ}为遮挡帧角膜轮廓图像对称比例的阈值，r_{thres_key}为关键帧角膜轮廓图像对称比例的阈值；从而本发明可以筛选出角膜轮廓完全可见的图像作为关键帧角膜轮廓图像，同时筛选出角膜轮廓遮挡程度比较严重(大于一阈值)的图像作为遮挡帧角膜轮廓图像。

具体的，所述步骤S3中，与该当前帧角膜轮廓图像相邻的一个关键帧角膜轮廓图像指的是，在视频影像时间序列中与当前帧角膜轮廓图像距离最近的一个关键帧角膜轮廓图像。

具体的，所述光流补全网络由编码网络和解码网络两部分构成，中间层使用了空洞卷积用来增大感受感受野，在不影响时间复杂的前提下尽量获得更大感受野的信息。光流补全网络只进行了两次下采样，将图像的尺度变为原来的四分之一，可以保留更加丰富的细节信息，尽量保证补全的光流更加清晰。光流补全网络的输入是包括一个两通道的光流数据和一个掩模(spatially discounted mask，SDM)(需要重建的部分值为1，其他部分值为0)，网络的输出是补全的两通道的光流。

具体的，所述步骤S3中，通过变形公式对关键帧角膜轮廓图像进行变形，所述变形公式为：

其中，i和j分别为图像中一预设位置的横坐标与纵坐标，y_ij为光流变形后的值(也就是从关键帧角膜轮廓图像的预设位置到遮挡帧角膜轮廓图像的相同位置的光流变形)，和为在预设位置(i,j)的两通道光流值，k为线性插值核函数，m和v均为常数。

进一步的，所述k可以定义为k(p,q)＝max(0,1-|p|)*max(0,1-|q|)，p和q可以根据实际情况具体取值。

具体的，所述步骤S3中，还通过联合损失函数重建当前帧角膜轮廓图像；所述联合损失函数包括变形损失函数及扩展空间计算损失函数；

所述联合损失函数为：L＝αL_warp+(1-α)L_esdl，其中，L为联合损失函数，I_warp为变形损失函数，L_esdl为扩展空间计算损失函数，α大于0且小于1；

所述变形损失函数为：其中，I_key为与当前帧角膜轮廓图像相邻的关键帧角膜轮廓图像，也就是在时间序列上距离当前帧角膜轮廓图像最近的关键帧角膜轮廓图像，为通过光流补全网络补全的光流，为光流的真实值，指的是当前帧角膜轮廓图像原始无遮挡时与I^key之间的光流，为I_key沿着与当前帧角膜轮廓图像的对齐操作，为I_key沿着与当前帧角膜轮廓图像的对齐操作；

扩展空间计算损失函数为：其中，f_t,key为由FlowNet2网络产生的在当前帧角膜轮廓图像和I_key之间的光流，为扩展空间计算掩模(extended spatially discounted mask，ESDM)(原始的掩膜仅在需要重建的部分值为1，其他部分值为0，则边界附近的值较大，靠近中心的值较小，扩展空间计算掩模则是在原始的掩膜的基础上将非零区域略微放大，放大元素的值利用γ^d计算，其中，d是当前像素和待补全区域边界的距离，γ是一个小于1的常数)，⊙表示点乘操作。

具体的，所述步骤S4中，对当前帧角膜轮廓图像的分割结果得到的前景点点集进行椭圆拟合，以该拟合的椭圆作为标记标注出角膜轮廓，并对该拟合的椭圆进行等分及均匀采样，以标注出均匀分布的多个角膜缝针位置。

进一步的，角膜缝针位置的数量可以为32个。

具体的，所述步骤S4中，还通过角膜轮廓追踪公式来判断拟合的椭圆与角膜轮廓的叠加准确性；所述角膜轮廓追踪公式为：

其中，G和F分别为真值椭圆和拟合椭圆上的均匀采样点，d(g,f)为g和f两点之间的距离，∈_ellipse为拟合的椭圆与角膜轮廓的叠加准确程度，∈_ellipse越低则叠加越准确。

综上所述，本发明的板层角膜移植AR手术导航系统，包括：摄像单元、与所述摄像单元连接的处理单元以及与所述处理单元连接的AR单元；所述摄像单元用于获取板层角膜移植手术过程中的视频影像；所述处理单元用于对视频影像中的每一帧图像中的角膜轮廓进行分割，得到多帧角膜轮廓图像，将多帧角膜轮廓图像划分为多个关键帧角膜轮廓图像与多个遮挡帧角膜轮廓图像，所述关键帧角膜轮廓图像为角膜轮廓完全可见的图像，所述遮挡帧角膜轮廓图像为角膜轮廓被遮挡的图像，当当前帧角膜轮廓图像为遮挡帧角膜轮廓图像时，通过光流补全网络恢复当前帧角膜轮廓图像与该当前帧角膜轮廓图像相邻的一个关键帧角膜轮廓图像之间被遮挡而丢失的运动信息，并通过光流补全网络输出的补全光流对关键帧角膜轮廓图像进行变形以重建当前帧角膜轮廓图像，再控制AR单元通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置；当当前帧角膜轮廓图像为关键帧角膜轮廓图像时，控制AR单元通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置，从而能够实时追踪角膜轮廓，指导医生能够及时准确的找到角膜缝针位置，提高手术成功率。本发明的板层角膜移植AR手术导航方法，能够实时追踪角膜轮廓，指导医生能够及时准确的找到角膜缝针位置，提高手术成功率。

以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。

Claims (10)

1.一种板层角膜移植AR手术导航系统，其特征在于，包括：摄像单元(10)、与所述摄像单元(10)连接的处理单元(20)以及与所述处理单元(20)连接的AR单元(30)；

所述AR单元(30)用于通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置；

所述摄像单元(10)用于获取板层角膜移植手术过程中的视频影像；

所述处理单元(20)用于对视频影像中的每一帧图像中的角膜轮廓进行分割，得到多帧角膜轮廓图像，将多帧角膜轮廓图像划分为多个关键帧角膜轮廓图像与多个遮挡帧角膜轮廓图像，所述关键帧角膜轮廓图像为角膜轮廓完全可见的图像，所述遮挡帧角膜轮廓图像为角膜轮廓被遮挡的图像，

当当前帧角膜轮廓图像为遮挡帧角膜轮廓图像时，通过光流补全网络恢复当前帧角膜轮廓图像与该当前帧角膜轮廓图像相邻的一个关键帧角膜轮廓图像之间被遮挡而丢失的运动信息，并通过光流补全网络输出的补全光流对关键帧角膜轮廓图像进行变形以重建当前帧角膜轮廓图像，再控制AR单元(30)通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置；

当当前帧角膜轮廓图像为关键帧角膜轮廓图像时，控制AR单元(30)通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置。

2.如权利要求1所述的板层角膜移植AR手术导航系统，其特征在于，所述处理单元(20)通过U-Net分割网络对角膜轮廓进行分割。

3.如权利要求1所述的板层角膜移植AR手术导航系统，其特征在于，所述处理单元(20)划分角膜轮廓图像的具体步骤为：通过每一帧角膜轮廓图像分割处的角膜轮廓前景点计算每一帧角膜轮廓图像的中心点坐标p₀(x₀，y₀)，x₀和y₀定义为

其中，P为分割得到的角膜轮廓的点集，n为点集的个数；

分别统计中心点p₀的四个象限内的前景点个数(n₁，n₂，n₃，n₄)，并计算四个象限的对称比例：

其中，n₁为第一象限内的前景点个数，n₂为第二象限内的前景点个数，n₃为第三象限内的前景点个数，n₄为第四象限内的前景点个数，r_LR为四个象限的左右对称比例，r_UD为四个象限的上下对称比例；

通过筛选公式判断角膜轮廓图像为关键帧角膜轮廓图像或遮挡帧角膜轮廓图像，所述筛选公式为：

其中，I_t为角膜轮廓图像，为遮挡帧角膜轮廓图像，为关键帧角膜轮廓图像，n_thres为点集个数的阈值，r_{thres_occ}为遮挡帧角膜轮廓图像对称比例的阈值，r_{thres_key}为关键帧角膜轮廓图像对称比例的阈值。

4.如权利要求1所述的板层角膜移植AR手术导航系统，其特征在于，所述处理单元(20)通过变形公式对关键帧角膜轮廓图像进行变形，所述变形公式为：

其中，i和j分别为图像中一预设位置的横坐标与纵坐标，y_ij为光流变形后的值，和为在预设位置的两通道光流值，k为线性插值核函数，m和v均为常数。

5.如权利要求1所述的板层角膜移植AR手术导航系统，其特征在于，所述处理单元(20)还通过联合损失函数重建当前帧角膜轮廓图像；所述联合损失函数包括变形损失函数及扩展空间计算损失函数；

所述联合损失函数为：L＝αL_warp+(1-α)L_esdl，其中，L为联合损失函数，I_warp为变形损失函数，L_esdl为扩展空间计算损失函数，α大于0且小于1；

所述变形损失函数为：其中，I_key为与当前帧角膜轮廓图像相邻的关键帧角膜轮廓图像，为通过光流补全网络补全的光流，为光流的真实值，为I_key沿着与当前帧角膜轮廓图像的对齐操作，为I_key沿着与当前帧角膜轮廓图像的对齐操作；

扩展空间计算损失函数为：其中，f_t，key为由FlowNet2网络产生的在当前帧角膜轮廓图像和I_key之间的光流，为扩展空间计算掩模，⊙表示点乘操作。

6.一种板层角膜移植AR手术导航方法，其特征在于，包括如下步骤：

步骤S1、获取板层角膜移植手术过程中的视频影像，对视频影像中的每一帧图像中的角膜轮廓进行分割，得到多帧角膜轮廓图像；

步骤S2、将多帧角膜轮廓图像划分为多个关键帧角膜轮廓图像与多个遮挡帧角膜轮廓图像；所述关键帧角膜轮廓图像为角膜轮廓完全可见的图像；所述遮挡帧角膜轮廓图像为角膜轮廓被遮挡的图像；

步骤S3、当当前帧角膜轮廓图像为遮挡帧角膜轮廓图像时，通过光流补全网络恢复当前帧角膜轮廓图像与该当前帧角膜轮廓图像相邻的一个关键帧角膜轮廓图像之间被遮挡而丢失的运动信息，并通过光流补全网络输出的补全光流对关键帧角膜轮廓图像进行变形以重建当前帧角膜轮廓图像；

当当前帧角膜轮廓图像为关键帧角膜轮廓图像时，则进行步骤S4；

步骤S4、通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置。

7.如权利要求6所述的板层角膜移植AR手术导航方法，其特征在于，所述步骤S1中，通过U-Net分割网络对角膜轮廓进行分割。

8.如权利要求6所述的板层角膜移植AR手术导航方法，其特征在于，所述步骤S2中划分角膜轮廓图像的具体步骤为：步骤S21、通过每一帧角膜轮廓图像分割处的角膜轮廓前景点计算每一帧角膜轮廓图像的中心点坐标p₀(x₀，y₀)，x₀和y₀定义为

其中，P为分割得到的角膜轮廓的点集，n为点集的个数；

步骤S22、分别统计中心点p₀的四个象限内的前景点个数(n₁，n₂，n₃，n₄)，并计算四个象限的对称比例：

其中，n₁为第一象限内的前景点个数，n₂为第二象限内的前景点个数，n₃为第三象限内的前景点个数，n₄为第四象限内的前景点个数，r_LR为四个象限的左右对称比例，r_UD为四个象限的上下对称比例；

步骤S23、通过筛选公式判断角膜轮廓图像为关键帧角膜轮廓图像或遮挡帧角膜轮廓图像，所述筛选公式为：

其中，I_t为角膜轮廓图像，为遮挡帧角膜轮廓图像，为关键帧角膜轮廓图像，n_thres为点集个数的阈值，r_{thres_occ}为遮挡帧角膜轮廓图像对称比例的阈值，r_{thres_key}为关键帧角膜轮廓图像对称比例的阈值。

9.如权利要求6所述的板层角膜移植AR手术导航方法，其特征在于，所述步骤S3中，通过变形公式对关键帧角膜轮廓图像进行变形，所述变形公式为：

其中，i和j分别为图像中一预设位置的横坐标与纵坐标，y_ij为光流变形后的值，和为在预设位置的两通道光流值，k为线性插值核函数，m和v均为常数。

10.如权利要求6所述的板层角膜移植AR手术导航方法，其特征在于，所述步骤S3中，还通过联合损失函数重建当前帧角膜轮廓图像；所述联合损失函数包括变形损失函数及扩展空间计算损失函数；

所述联合损失函数为：L＝αL_warp+(1-α)L_esdl，其中，L为联合损失函数，I_warp为变形损失函数，L_esdl为扩展空间计算损失函数，α大于0且小于1；

所述变形损失函数为：其中，I_key为与当前帧角膜轮廓图像相邻的关键帧角膜轮廓图像，为通过光流补全网络补全的光流，为光流的真实值，为I_key沿着与当前帧角膜轮廓图像的对齐操作，为I_key沿着与当前帧角膜轮廓图像的对齐操作；

扩展空间计算损失函数为：其中，f_t，key为由FlowNet2网络产生的在当前帧角膜轮廓图像和I_key之间的光流，为扩展空间计算掩模，⊙表示点乘操作。