CN114767268B - 一种适用于内镜导航系统的解剖结构跟踪方法及装置 - Google Patents

Abstract

本发明公开了一种适用于内镜导航系统的解剖结构跟踪方法及装置。所述方法，包括：通过内镜导航系统实时获取内镜所在位置的原始视频，分别对所述原始视频中的每一原始视频帧进行预处理，得到多个目标视频帧；通过预先构建的目标检测模型分别确定每一所述目标视频帧中解剖结构的类别和位置，得到多个所述目标视频帧中解剖结构的类别和位置。本发明能够自动针对内镜的视频影像不间断地跟踪解剖结构，提高内镜导航的成功率。

Description

一种适用于内镜导航系统的解剖结构跟踪方法及装置

技术领域

本发明涉及医疗系统技术领域，尤其涉及一种适用于内镜导航系统的解剖结构跟踪方法及装置。

背景技术

插管术、特别是气管插管术通常是在医院手术室内由医护专家在手术前、麻醉后实施的一种操作，用于建立人工气道，在患者没有自主呼吸后利用呼吸机协助患者呼吸。

人体腔道诊疗由每位医护专家操纵内镜和器械，从内镜图像里观察人体腔道，依据内镜中的图像信息进行器械操作，常见场景包括消化内镜诊疗、呼吸内镜诊疗等。目前已有各种内镜工具用于传递人体腔道内的实时场景，如可视喉镜、消化内镜、带有光纤导芯的纤维内镜等，然而内镜在实际应用中存在一些难点：首先，内镜无法对组织进行分离，其使用过程中需要识别人体腔道中的各类解剖标志物，沿解剖标志物前进。然而内镜是单目镜头，不同于人眼的双目，导致了空间信息的缺失，增加了对解剖标志物辨识的困难。其次，内镜的视野由其附带的照明结构提供，但二者的轴向高度重合，就导致了视野中间较亮，而边缘较暗；在部分极端条件下会出现大面积的反光，进一步增加了解剖标志物辨识的难度。最后，内镜使用过程中需要避免对人体组织的刺激，以免产生过多的组织液及分泌物，分泌物会污染镜头，导致视野的模糊乃至插管的失败。

综上，内镜的视频影像引导对医生操作要求较高、需要实时决策，而内镜的视野不直观，增加了决策难度，对医生提出了较高的要求。因此，如何自动针对内镜的视频影像不间断地跟踪解剖结构，提高内镜导航的成功率，成为当前急需解决的一大难题。

发明内容

为了克服现有技术的缺陷，本发明提供一种适用于内镜导航系统的解剖结构跟踪方法及装置，能够自动针对内镜的视频影像不间断地跟踪解剖结构，提高内镜导航的成功率。

为了解决上述技术问题，第一方面，本发明一实施例提供一种适用于内镜导航系统的解剖结构跟踪装置，包括：

视频处理模块，用于通过内镜导航系统实时获取内镜所在位置的原始视频，分别对所述原始视频中的每一原始视频帧进行预处理，得到多个目标视频帧；

目标检测模块，用于通过预先构建的目标检测模型分别确定每一所述目标视频帧中解剖结构的类别和位置，得到多个所述目标视频帧中解剖结构的类别和位置；

跟踪导航模块，用于在所述通过预先构建的目标检测模型分别确定每一所述目标视频帧中解剖结构的类别和位置，得到多个所述目标视频帧中解剖结构的类别和位置之后，结合所述内镜的所在位置、多个所述目标视频帧中解剖结构的类别和位置，生成导航路径；所述跟踪导航模块包括解剖结构定位单元和导航路径生成单元；解剖结构定位单元，用于分别根据每一所述目标视频帧中解剖结构的类别和位置，确定每一所述目标视频帧中解剖结构的中心和轮廓，得到多个所述目标视频帧中解剖结构的中心和轮廓；导航路径生成单元，用于结合所述内镜的所在位置、多个所述目标视频帧中解剖结构的中心和轮廓，按照预设的解剖结构排列顺序生成所述导航路径。

进一步地，所述适用于内镜导航系统的解剖结构跟踪装置，还包括：

视频拼接模块，用于在所述分别对所述原始视频中的每一原始视频帧进行预处理，得到多个目标视频帧之后，将所有所述目标视频帧拼接为目标视频。

进一步地，所述视频处理模块包括第一处理单元和第二处理单元；

第一处理单元，用于对于每一所述原始视频帧，对所述原始视频帧进行高斯滤波和直方图均衡，得到中间视频帧；

第二处理单元，用于确定所述中间视频帧中的掩码区域，并调节所述掩码区域的像素值，得到所述目标视频帧。

相比于现有技术，本发明的实施例，具有如下有益效果：

通过内镜导航系统实时获取内镜所在位置的原始视频，分别对原始视频中的每一原始视频帧进行预处理，得到多个目标视频帧，通过预先构建的目标检测模型分别确定每一目标视频帧中解剖结构的类别和位置，得到多个目标视频帧中解剖结构的类别和位置，能够自动针对内镜的视频影像不间断地跟踪解剖结构，提高内镜导航的成功率。

附图说明

图1为本发明第一实施例中的一种适用于内镜导航系统的解剖结构跟踪方法的流程示意图；

图2为本发明第一实施例中示例的内镜导航系统的结构示意图；

图3为本发明第一实施例中示例的一种适用于内镜导航系统的解剖结构跟踪方法的数据流图；

图4为本发明第一实施例中示例的目标检测模型的数据流图；

图5为本发明第一实施例中示例的原始视频帧预处理的数据流图；

图6为本发明第一实施例中示例的导航路径生成的数据流图；

图7为本发明第二实施例中的一种适用于内镜导航系统的解剖结构跟踪装置的结构示意图。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的终端设备执行，且下文均以处理器作为执行主体为例进行说明。

如图1所示，第一实施例提供一种适用于内镜导航系统的解剖结构跟踪方法，包括步骤S1～S2：

S1、通过内镜导航系统实时获取内镜所在位置的原始视频，分别对原始视频中的每一原始视频帧进行预处理，得到多个目标视频帧；

S2、通过预先构建的目标检测模型分别确定每一目标视频帧中解剖结构的类别和位置，得到多个目标视频帧中解剖结构的类别和位置。

内镜导航系统(或者称插管机器人)如图2所示。内镜导航系统用于人机交互，医生通过操纵杆控制内镜的移动，实时获取内镜所在位置的原始气道图像，也就是原始视频，并在显示器上显示原始气道图像、解剖结构跟踪导航规划、患者生理指标。

如图3所示，作为示例性地，在步骤S1中，考虑到部分患者的上呼吸道情况较为复杂，存在大量的反光、组织液、肿块，且内镜镜头成像像素较低，容易产生噪点，通过分别对原始视频中的每一原始视频帧进行预处理，能够消除反光、组织液、肿块、噪点等影响，优化原始视频帧的图像质量，有利于保证后续识别解剖结构的准确性。

在步骤S2中，预先训练神经网络来构建目标检测模型，通过目标检测模型分别确定每一目标视频帧中解剖结构的类别和位置，得到多个目标视频帧中解剖结构的类别和位置，实现不间断地跟踪解剖结构，有利于医生通过内镜导航系统进行精准插管。

其中，神经网络的模型训练用于获取模型参数，是系统得以运行的前置性工作。随着深度学习的兴起，已有多类神经网络可以较好的适配此类任务。具有代表性的有FastRCNN，Faster RACNN，Mask RCNN，YOLO系列等。这些神经网络均可实现目标检测功能，此外用于实例分割的神经网络在气管环检测上可以取得更好的效果。因此，采用YOLO系列较新的YOLOv5网络作为目标检测模型。该网络由开源程序实现，此处不多赘述。

如图4所示，目标检测模型完成两项任务：其一是解剖标志物的分类，其二是解剖标志物位置的确定。对于分类任务，目标检测模型测算出待检测标志物所属类别的概率，概率最大的类别即为模型输出，即解剖结构的类别。对于解剖结构位置的确认，其本质上来讲是在二维平面上的回归任务，对于一个解剖结构，其可能存在多个空间位置，因此采用非极大值抑制算法，仅保留位置信度最高的区域，即为该解剖结构的位置。

本实施例能够自动针对内镜的视频影像不间断地跟踪解剖结构，提高内镜导航的成功率。

在优选的实施例当中，在所述分别对原始视频中的每一原始视频帧进行预处理，得到多个目标视频帧之后，还包括：将所有目标视频帧拼接为目标视频。

本实施例通过将所有目标视频帧拼接为目标视频，方便医生直接查看目标视频，采用人工干预方式来跟踪解剖结构，能够在出现解剖结构无法准确识别的情况时，使医生可以查看目标视频识别解剖结构，并手动控制操纵杆进行插管，有利于提高内镜导航的成功率。

在优选的实施例当中，所述分别对原始视频中的每一原始视频帧进行预处理，得到多个目标视频帧，具体为：对于每一原始视频帧，对原始视频帧进行高斯滤波和直方图均衡，得到中间视频帧；确定中间视频帧中的掩码区域，并调节掩码区域的像素值，得到目标视频帧。

如图5所示，作为示例性地，对原始视频帧进行高斯滤波，高斯滤波的作用在于消除原始视频帧中的高斯噪音，进而对高斯滤波后的原始视频帧进行直方图均衡，直方图均衡的作用在于改变原始视频帧中像素的分布，使其像素颜色分布能够覆盖更广的区域，从而加强原始视频帧中不同区域的对比度，得到中间视频帧。

利用二值化算法，对中间视频帧中的反光、高光区域形成掩码，对掩码覆盖的区域，利用掩码区域周围的区域的像素平均值进行填充，从而消除中间视频帧中反光与高光的影响，得到目标视频帧。

在优选的实施例当中，在所述通过预先构建的目标检测模型分别确定每一目标视频帧中解剖结构的类别和位置，得到多个目标视频帧中解剖结构的类别和位置之后，还包括：结合内镜的所在位置、多个目标视频帧中解剖结构的类别和位置，生成导航路径。

在优选的实施例当中，所述结合内镜的所在位置、多个目标视频帧中解剖结构的类别和位置，生成导航路径，具体为：分别根据每一目标视频帧中解剖结构的类别和位置，确定每一目标视频帧中解剖结构的中心和轮廓，得到多个目标视频帧中解剖结构的中心和轮廓；结合内镜的所在位置、多个目标视频帧中解剖结构的中心和轮廓，按照预设的解剖结构排列顺序生成导航路径。

气道气管插管需要辨识的解剖结构包括悬雍垂、会厌、声门、气管环等大类。胃镜下食管粘膜剥离需要辨识的解剖结构包括悬雍垂、会厌、犁状窝、食管开口、贲门、胃角、胃窦、幽门等大类。这些解剖结构在空间上相邻，在时间上相继，是内镜操作重要的导航标志物。因此，可从前到后设置解剖结构排列顺序。

如图6所示，作为示例性地，根据图像坐标系、空间坐标系的对应关系，共同计算出目标视频帧中解剖结构与内镜的相对坐标，以由此通过内镜导航系统控制机械结构进行平移、旋转、前进，实现对解剖结构的跟踪定位。

根据预先定义的导航策略，在不同的解剖结构附近执行不同的路径规划方案，并通过内镜导航系统控制机械结构的行动，从而实现气管插管的全自动或半自动导航。

根据预先定义的医生干预策略，即在解剖结构跟踪的过程中，对于困难气道患者，可能出现肿块过多，无法准确识别出解剖标志物的情况，此时由医生接管插管操作。

以气管插管为例解剖结构跟踪与导航路径生成流程如下：

1、根据内镜前端指向的方向与目标视频帧的中心点是重合的这一情况，确定内镜的相对位置，也就是其所在位置。

2、通过目标检测模型在目标视频帧中标记解剖结构的类别和位置。对于每一目标视频帧来说，均需要根据解剖结构的类别和位置，计算出该解剖结构的中心与轮廓。

3、根据解剖结构的位置和内镜的相对位置，对内镜导航系统的导航路径进行规划，即决定接下来插管行进的方向、角度、速度等参数。对于不同的解剖结构，其路径规划策略有所区别，故而许根据解剖结构的类别，选取路径规划策略。

4、舌是首先遇到的解剖结构，占据近半视野，内镜光源主要反观来自于舌部，其与周围组织间存在较为明细的明暗对比，故内镜导航系统遇到舌部时，计算舌部轮廓，从轮廓左下方或右下方穿过；

绕过舌部后，可见悬雍垂，根据病患的情况，可能仅能见到部分，多数气管插管采用仰卧体位，此时悬雍垂位于视野下方中心，而舌根部位于视野上方，此时需计算舌根中心与悬雍垂中心，由二者中心连线的中点做垂线，内镜导航系统在舌与悬雍垂轮廓范围外约5mm处向该垂线方向调整姿态，直到舌根部消失，保持方向不变继续前进，直到悬雍垂消失；

绕过悬雍垂后，可见会厌，计算会厌中心，边缘，镜头中心即为视野中心，内镜导航系统朝视野中心与会厌中心的连线方向前进，同时与会厌轮廓保持越2-3mm距离；

在向会厌前进的过程中，声门会出现，当检测到声门后，即以声门为路径规划的标志，调整视野中心与声门中心重合，持续前进，直到声门占据视野范围的70％，此时已经到声门口，需要注意的是，在由悬雍垂到声门这一段，气道是弯曲的，在姿态调整的过程中，内镜前端始终处于弯曲状态；

在贴近声门后，需将内镜前端逐步恢复为笔直状态。即在声门占据视野范围的70％时，逐步减小内镜前端弯曲角度并缓慢前进，直到越过声门；

声门过后即为气管，可检测到气管环，内镜导航系统前进方向为气管环的中心方向，不断调整姿态缓慢前进即可到达插管停止位置后，内镜导航系统保持姿态不变，并向医生发出插管成功的通知，以便医生进行下一步决策。

而在第4步的各个子流程中，可能存在解剖结构无法准确识别的情况，故医生可随时接管内镜导航系统的操作控制权，手动控制插管进行，当后续解剖结构可以识别时，医生可放弃该控制权。

基于与第一实施例相同的发明构思，第二实施例提供如图所示的一种适用于内镜导航系统的解剖结构跟踪装置，包括：视频处理模块21，用于通过内镜导航系统实时获取内镜所在位置的原始视频，分别对原始视频中的每一原始视频帧进行预处理，得到多个目标视频帧；目标检测模块22，用于通过预先构建的目标检测模型分别确定每一目标视频帧中解剖结构的类别和位置，得到多个目标视频帧中解剖结构的类别和位置。

在优选的实施例当中，所述适用于内镜导航系统的解剖结构跟踪装置，还包括：跟踪导航模块，用于在所述通过预先构建的目标检测模型分别确定每一目标视频帧中解剖结构的类别和位置，得到多个目标视频帧中解剖结构的类别和位置之后，结合内镜的所在位置、多个目标视频帧中解剖结构的类别和位置，生成导航路径。

在优选的实施例当中，所述适用于内镜导航系统的解剖结构跟踪装置，还包括：视频拼接模块，用于在所述分别对原始视频中的每一原始视频帧进行预处理，得到多个目标视频帧之后，将所有目标视频帧拼接为目标视频。

在优选的实施例当中，视频处理模块包括第一处理单元和第二处理单元；第一处理单元，用于对于每一原始视频帧，对原始视频帧进行高斯滤波和直方图均衡，得到中间视频帧；第二处理单元，用于确定中间视频帧中的掩码区域，并调节掩码区域的像素值，得到目标视频帧。

在优选的实施例当中，跟踪导航模块包括解剖结构定位单元和导航路径生成单元；解剖结构定位单元，用于分别根据每一目标视频帧中解剖结构的类别和位置，确定每一目标视频帧中解剖结构的中心和轮廓，得到多个目标视频帧中解剖结构的中心和轮廓；导航路径生成单元，用于结合内镜的所在位置、多个目标视频帧中解剖结构的中心和轮廓，按照预设的解剖结构排列顺序生成导航路径。

综上所述，实施本发明的实施例，具有如下有益效果：

通过内镜导航系统实时获取内镜所在位置的原始视频，分别对原始视频中的每一原始视频帧进行预处理，得到多个目标视频帧，通过预先构建的目标检测模型分别确定每一目标视频帧中解剖结构的类别和位置，得到多个目标视频帧中解剖结构的类别和位置，能够自动针对内镜的视频影像不间断地跟踪解剖结构，提高内镜导航的成功率。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

Claims (3)

1.一种适用于内镜导航系统的解剖结构跟踪装置，其特征在于，包括：

视频处理模块，用于通过内镜导航系统实时获取内镜所在位置的原始视频，分别对所述原始视频中的每一原始视频帧进行预处理，得到多个目标视频帧；

目标检测模块，用于通过预先构建的目标检测模型分别确定每一所述目标视频帧中解剖结构的类别和位置，得到多个所述目标视频帧中解剖结构的类别和位置；

跟踪导航模块，用于在所述通过预先构建的目标检测模型分别确定每一所述目标视频帧中解剖结构的类别和位置，得到多个所述目标视频帧中解剖结构的类别和位置之后，结合所述内镜的所在位置、多个所述目标视频帧中解剖结构的类别和位置，生成导航路径；所述跟踪导航模块包括解剖结构定位单元和导航路径生成单元；解剖结构定位单元，用于分别根据每一所述目标视频帧中解剖结构的类别和位置，确定每一所述目标视频帧中解剖结构的中心和轮廓，得到多个所述目标视频帧中解剖结构的中心和轮廓；导航路径生成单元，用于结合所述内镜的所在位置、多个所述目标视频帧中解剖结构的中心和轮廓，按照预设的解剖结构排列顺序生成所述导航路径。

2.如权利要求1所述的适用于内镜导航系统的解剖结构跟踪装置，其特征在于，还包括：

视频拼接模块，用于在所述分别对所述原始视频中的每一原始视频帧进行预处理，得到多个目标视频帧之后，将所有所述目标视频帧拼接为目标视频。

3.如权利要求1至2任一项所述的适用于内镜导航系统的解剖结构跟踪装置，其特征在于，所述视频处理模块包括第一处理单元和第二处理单元；

第一处理单元，用于对于每一所述原始视频帧，对所述原始视频帧进行高斯滤波和直方图均衡，得到中间视频帧；

第二处理单元，用于确定所述中间视频帧中的掩码区域，并调节所述掩码区域的像素值，得到所述目标视频帧。