CN115944388A

CN115944388A - 手术内窥镜位置引导方法、装置、计算机设备及存储介质

Info

Publication number: CN115944388A
Application number: CN202310193831.4A
Authority: CN
Inventors: 王琰
Original assignee: Xi'an central hospital
Current assignee: Xi'an central hospital
Priority date: 2023-03-03
Filing date: 2023-03-03
Publication date: 2023-04-11
Anticipated expiration: 2043-03-03
Also published as: CN115944388B

Abstract

本申请涉及内窥镜技术领域，公开了一种手术内窥镜位置引导方法、装置、计算机设备及存储介质，所述方法包括通过特征提取网络提取目标特征图中的有效特征点，并根据有效特征点确定目标内窥镜对应的有效图像；将术前检测图像对应的术前特征点与有效图像对应的有效特征点进行匹配，生成匹配度；根据匹配度确定目标位置，并控制内窥镜移动至所述目标位置。通过上述方式，本申请通过将内窥镜采集到的图像进行特征点提取，并根据有效特征点确定有效图像，再通过有效特征点与术前特征点匹配，确定病灶位置后，引导内窥镜向目标位置移动，提高了手术用内窥镜的位置引导准确性，解决了目前手术用内窥镜的位置引导准确性低的技术问题。

Description

手术内窥镜位置引导方法、装置、计算机设备及存储介质

技术领域

本申请涉及内窥镜技术领域，尤其涉及一种手术内窥镜位置引导方法、装置、计算机设备及存储介质。

背景技术

内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器，其具有图像传感器、光学镜头、光源照明、机械装置等，可以经口腔进入胃内、鼻腔进入肺内、或经其他天然孔道进入体内。利用内窥镜可以看到X射线不能显示的病变，而同时还可以配合活检工具做活体组织的钳检、刷检、针吸检查；配合操作工具切除肿瘤、息肉或是其他病灶。内窥镜引导的微创手术中，图像结构、颜色及纹理相似性高，视觉特征点误匹配率大，而且诊疗过程涉及神经外科，肿瘤外科等多学科技术，术中手术器械操作规避重要组织器官和术后病灶切除效果，依赖于内窥镜图像的特征匹配，从而获取软组织表面的精确三维重建。因此，如何提高手术用内窥镜的位置引导准确性成为目前亟待解决的技术问题。

发明内容

本申请提供了一种手术内窥镜位置引导方法、装置、计算机设备及存储介质，以提高手术用内窥镜的位置引导准确性。

第一方面，本申请提供了一种手术内窥镜位置引导方法，所述手术内窥镜位置引导方法包括：

通过预训练的特征提取网络提取目标特征图中的有效特征点，并根据所述有效特征点确定所述目标内窥镜对应的有效图像；

将术前检测图像对应的术前特征点与所述有效图像对应的所述有效特征点进行匹配，生成匹配度；

根据所述匹配度确定目标位置，并控制内窥镜移动至所述目标位置。

进一步地，通过预训练的特征提取网络提取目标特征图中的有效特征点，并根据所述有效特征点确定所述目标内窥镜对应的有效图像之前，包括：

通过预训练的校正模型对初始目标特征图进行校正，生成所述目标特征图。

进一步地，通过图像合成模型对初始目标特征图进行校正，生成所述目标特征图，包括：

通过目标内窥镜获取初始图像，将所述初始图像输入至所述图像合成模型，向所述初始图像中添加对应的时间序列，生成所述初始目标特征图。

将人工标注的特征图训练集输入至所述特征提取网络，并通过所述特征提取网络输出所述特征图训练集对应的预训练特征图；

基于预设非极大值抑制规则，聚类全部所述预训练特征图，生成预训练的所述特征提取网络。

进一步地，通过预训练的特征提取网络提取目标特征图中的有效特征点，并根据所述有效特征点确定所述目标内窥镜对应的有效图像之前，还包括：

在确定所述有效图像至少一帧之前，基于预设公式将背景初始化，所述预设公式如下：

B(x)＝{B₁(x),B₂(x),...,B_i(x),...,B_N(x)}

其中，B(x)为预设背景模型，N为样本数量，样本Bi(x)由颜色值v i、LBSP纹理特征值LBSP i(x)、颜色维度置信度

和纹理维度置信度

组成，即：

进一步地，根据所述匹配度确定目标位置，并控制内窥镜移动至所述目标位置之前，包括：

将预设范围内所述匹配度不小于预设阈值的区域确定为所述目标位置。

进一步地，通过预训练的特征提取网络提取目标特征图中的有效特征点，并根据所述有效特征点确定所述目标内窥镜对应的有效图像，包括：

通过预训练的所述特征提取网络提取所述目标特征图中的全部特征点；

通过稳定性评价模型对所述全部特征点进行稳定性评价，生成各特征点对应的稳定性；

将各所述特征点对应的稳定性与预设稳定性阈值进行比较，并将所述稳定性不小于所述稳定性阈值的特征点确定为所述有效特征点

第二方面，本申请还提供了一种手术内窥镜位置引导装置，所述手术内窥镜位置引导装置包括：

有效图像确定模块，用于通过预训练的特征提取网络提取目标特征图中的有效特征点，并根据所述有效特征点确定所述目标内窥镜对应的有效图像；

匹配模块，用于将术前检测图像对应的术前特征点与所述有效图像对应的所述有效特征点进行匹配，生成匹配度；

引导模块，用于根据所述匹配度确定目标位置，并控制内窥镜移动至所述目标位置。

第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的手术内窥镜位置引导方法。

第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的手术内窥镜位置引导方法。

本申请公开了一种手术内窥镜位置引导方法、装置、计算机设备及存储介质，所述手术内窥镜位置引导方法包括通过预训练的特征提取网络提取目标特征图中的有效特征点，并根据所述有效特征点确定所述目标内窥镜对应的有效图像；将术前检测图像对应的术前特征点与所述有效图像对应的所述有效特征点进行匹配，生成匹配度；根据所述匹配度确定目标位置，并控制内窥镜移动至所述目标位置。通过上述方式，本申请通过将内窥镜采集到的图像进行特征点提取，并根据有效特征点确定有效图像，再通过有效特征点与术前特征点匹配，确定病灶位置后，引导内窥镜向目标位置移动，提高了手术用内窥镜的位置引导准确性，解决了目前手术用内窥镜的位置引导准确性低的技术问题。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的第一实施例提供的一种手术内窥镜位置引导方法的示意流程图；

图2是本申请的第二实施例提供的一种手术内窥镜位置引导方法的示意流程图；

图3是本申请的第三实施例提供的一种手术内窥镜位置引导方法的示意流程图；

图4为本申请的实施例提供的一种手术内窥镜位置引导装置的示意性框图；

图5为本申请的实施例提供的一种计算机设备的结构示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

本申请的实施例提供了一种手术内窥镜位置引导方法、装置、计算机设备及存储介质。其中，该手术内窥镜位置引导方法可以应用于服务器中，通过将内窥镜采集到的图像进行特征点提取，并根据有效特征点确定有效图像，再通过有效特征点与术前特征点匹配，确定病灶位置后，引导内窥镜向目标位置移动，提高了手术用内窥镜的位置引导准确性，解决了目前手术用内窥镜的位置引导准确性低的技术问题。其中，该服务器可以为独立的服务器，也可以为服务器集群。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，图1是本申请的第一实施例提供的一种手术内窥镜位置引导方法的示意流程图。该手术内窥镜位置引导方法可应用于服务器中，用于通过将内窥镜采集到的图像进行特征点提取，并根据有效特征点确定有效图像，再通过有效特征点与术前特征点匹配，确定病灶位置后，引导内窥镜向目标位置移动，提高了手术用内窥镜的位置引导准确性，解决了目前手术用内窥镜的位置引导准确性低的技术问题。

如图1所示，该手术内窥镜位置引导方法具体包括步骤S10至步骤S30。

S10、通过预训练的特征提取网络提取目标特征图中的有效特征点，并根据所述有效特征点确定所述目标内窥镜对应的有效图像；

S20、将术前检测图像对应的术前特征点与所述有效图像对应的所述有效特征点进行匹配，生成匹配度；

S30、根据所述匹配度确定目标位置，并控制内窥镜移动至所述目标位置。

本实施例公开了一种手术内窥镜位置引导方法，所述手术内窥镜位置引导方法包括通过预训练的特征提取网络提取目标特征图中的有效特征点，并根据所述有效特征点确定所述目标内窥镜对应的有效图像；将术前检测图像对应的术前特征点与所述有效图像对应的所述有效特征点进行匹配，生成匹配度；根据所述匹配度确定目标位置，并控制内窥镜移动至所述目标位置。通过上述方式，本申请通过将内窥镜采集到的图像进行特征点提取，并根据有效特征点确定有效图像，再通过有效特征点与术前特征点匹配，确定病灶位置后，引导内窥镜向目标位置移动，提高了手术用内窥镜的位置引导准确性，解决了目前手术用内窥镜的位置引导准确性低的技术问题。

基于图1所示实施例，本实施例中，步骤S10之前，包括：

具体地，通过预训练的校正模型对初始目标特征图进行校正，生成所述目标特征图，包括：

本实施例公开了一种手术内窥镜位置引导方法，所述手术内窥镜位置引导方法包括通过目标内窥镜获取初始图像，将所述初始图像输入至所述图像合成模型，向所述初始图像中添加对应的时间序列，生成所述初始目标特征图。通过上述方式，本申请通过将内窥镜采集到的图像进行特征点提取，并根据有效特征点确定有效图像，再通过有效特征点与术前特征点匹配，确定病灶位置后，引导内窥镜向目标位置移动，提高了手术用内窥镜的位置引导准确性，解决了目前手术用内窥镜的位置引导准确性低的技术问题。

请参阅图2，图2是本申请的第二实施例提供的一种手术内窥镜位置引导方法的示意流程图。该手术内窥镜位置引导方法可应用于服务器中，用于通过将内窥镜采集到的图像进行特征点提取，并根据有效特征点确定有效图像，再通过有效特征点与术前特征点匹配，确定病灶位置后，引导内窥镜向目标位置移动，提高了手术用内窥镜的位置引导准确性，解决了目前手术用内窥镜的位置引导准确性低的技术问题。

基于图1所示实施例，本实施例中如图2所示，在步骤S10之前，包括步骤S01和步骤S02。

S01、将人工标注的特征图训练集输入至所述特征提取网络，并通过所述特征提取网络输出所述特征图训练集对应的预训练特征图；

S02、基于预设非极大值抑制规则，聚类全部所述预训练特征图，生成预训练的所述特征提取网络。

具体地，非极大值抑制可以理解为局部最大搜索。这个局部代表的是一个邻域，邻域有两个参数可变，一是邻域的维数，二是邻域的大小。通过“非极大值抑制”抑制非极大值的元素，保留极大值元素。

本实施例公开了一种手术内窥镜位置引导方法，所述手术内窥镜位置引导方法包括将人工标注的特征图训练集输入至所述特征提取网络，并通过所述特征提取网络输出所述特征图训练集对应的预训练特征图；基于预设非极大值抑制规则，聚类全部所述预训练特征图，生成预训练的所述特征提取网络。通过上述方式，本申请通过将内窥镜采集到的图像进行特征点提取，并根据有效特征点确定有效图像，再通过有效特征点与术前特征点匹配，确定病灶位置后，引导内窥镜向目标位置移动，提高了手术用内窥镜的位置引导准确性，解决了目前手术用内窥镜的位置引导准确性低的技术问题。

基于上述实施例，本实施例中，所述步骤S10之前还包括：

B(x)＝{B₁(x),B₂(x),...,B_i(x),...,B_N(x)}

和纹理维度置信度

组成，即：

基于图1所述实施例，本实施例中，所述步骤S30包括：

请参阅图3，图3是本申请的第三实施例提供的一种手术内窥镜位置引导方法的示意流程图。该手术内窥镜位置引导方法可应用于服务器中，用于通过将内窥镜采集到的图像进行特征点提取，并根据有效特征点确定有效图像，再通过有效特征点与术前特征点匹配，确定病灶位置后，引导内窥镜向目标位置移动，提高了手术用内窥镜的位置引导准确性，解决了目前手术用内窥镜的位置引导准确性低的技术问题。

基于图1所示实施例，本实施例中如图3所示，步骤S10包括步骤S11和步骤S13。

S11、通过预训练的所述特征提取网络提取所述目标特征图中的全部特征点；

S12、通过稳定性评价模型对所述全部特征点进行稳定性评价，生成各特征点对应的稳定性；

S13、将各所述特征点对应的稳定性与预设稳定性阈值进行比较，并将所述稳定性不小于所述稳定性阈值的特征点确定为所述有效特征点。

本实施例公开了一种手术内窥镜位置引导方法，所述手术内窥镜位置引导方法包括通过预训练的所述特征提取网络提取所述目标特征图中的全部特征点；通过稳定性评价模型对所述全部特征点进行稳定性评价，生成各特征点对应的稳定性；将各所述特征点对应的稳定性与预设稳定性阈值进行比较，并将所述稳定性不小于所述稳定性阈值的特征点确定为所述有效特征点。通过上述方式，本申请通过将内窥镜采集到的图像进行特征点提取，并根据有效特征点确定有效图像，再通过有效特征点与术前特征点匹配，确定病灶位置后，引导内窥镜向目标位置移动，提高了手术用内窥镜的位置引导准确性，解决了目前手术用内窥镜的位置引导准确性低的技术问题。

请参阅图4，图4是本申请的实施例提供一种手术内窥镜位置引导装置的示意性框图，该手术内窥镜位置引导装置用于执行前述的手术内窥镜位置引导方法。其中，该手术内窥镜位置引导装置可以配置于服务器。

如图4所示，该手术内窥镜位置引导装置400，包括：

有效图像确定模块10，用于通过预训练的特征提取网络提取目标特征图中的有效特征点，并根据所述有效特征点确定所述目标内窥镜对应的有效图像；

匹配模块20，用于将术前检测图像对应的术前特征点与所述有效图像对应的所述有效特征点进行匹配，生成匹配度；

引导模块30，用于根据所述匹配度确定目标位置，并控制内窥镜移动至所述目标位置。

进一步地，所述手术内窥镜位置引导装置还包括校正模块，具体包括：

校正单元，用于通过预训练的校正模型对初始目标特征图进行校正，生成所述目标特征图。

进一步地，所述校正单元还包括：

校正子单元，用于通过目标内窥镜获取初始图像，将所述初始图像输入至所述图像合成模型，向所述初始图像中添加对应的时间序列，生成所述初始目标特征图。

进一步地，所述手术内窥镜位置引导装置还包括特征提取模块，具体包括：

特征提取训练单元，用于将人工标注的特征图训练集输入至所述特征提取网络，并通过所述特征提取网络输出所述特征图训练集对应的预训练特征图；

聚合单元，用于基于预设非极大值抑制规则，聚类全部所述预训练特征图，生成预训练的所述特征提取网络。

进一步地，所述手术内窥镜位置引导装置还包括目标位置确定模块，具体包括：

目标位置确定单元，用于将预设范围内所述匹配度不小于预设阈值的区域确定为所述目标位置。

进一步地，所述有效图像确定模块10具体包括：

全部特征点提取模块，用于通过预训练的所述特征提取网络提取所述目标特征图中的全部特征点；

稳定性生成模块，用于通过稳定性评价模型对所述全部特征点进行稳定性评价，生成各特征点对应的稳定性；

特征点筛选模块，用于将各所述特征点对应的稳定性与预设稳定性阈值进行比较，并将所述稳定性不小于所述稳定性阈值的特征点确定为所述有效特征点。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。

请参阅图5，图5是本申请的实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器。

参阅图5，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种手术内窥镜位置引导方法。

处理器用于提供计算和控制能力，支撑整个计算机设备的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种手术内窥镜位置引导方法。

该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

在一个实施例中，通过预训练的特征提取网络提取目标特征图中的有效特征点，并根据所述有效特征点确定所述目标内窥镜对应的有效图像之前，用于实现：

在一个实施例中，通过图像合成模型对初始目标特征图进行校正，生成所述目标特征图，用于实现：

在一个实施例中，通过预训练的特征提取网络提取目标特征图中的有效特征点，并根据所述有效特征点确定所述目标内窥镜对应的有效图像之前，还用于实现：

B(x)＝{B₁(x),B₂(x),...,B_i(x),...,B_N(x)}

和纹理维度置信度

组成，即：

在一个实施例中，根据所述匹配度确定目标位置，并控制内窥镜移动至所述目标位置之前，用于实现：

在一个实施例中，通过预训练的特征提取网络提取目标特征图中的有效特征点，并根据所述有效特征点确定所述目标内窥镜对应的有效图像，用于实现：

将各所述特征点对应的稳定性与预设稳定性阈值进行比较，并将所述稳定性不小于所述稳定性阈值的特征点确定为所述有效特征点。

本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项手术内窥镜位置引导方法。

其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种手术内窥镜位置引导方法，其特征在于，所述手术内窥镜位置引导方法包括：

2.根据权利要求1所述的手术内窥镜位置引导方法，其特征在于，所述通过预训练的特征提取网络提取目标特征图中的有效特征点，并根据所述有效特征点确定所述目标内窥镜对应的有效图像之前，包括：

3.根据权利要求2所述的手术内窥镜位置引导方法，其特征在于，所述通过图像合成模型对初始目标特征图进行校正，生成所述目标特征图，包括：

4.根据权利要求1所述的手术内窥镜位置引导方法，其特征在于，所述通过预训练的特征提取网络提取目标特征图中的有效特征点，并根据所述有效特征点确定所述目标内窥镜对应的有效图像之前，包括：

5.根据权利要求4所述的手术内窥镜位置引导方法，其特征在于，所述通过预训练的特征提取网络提取目标特征图中的有效特征点，并根据所述有效特征点确定所述目标内窥镜对应的有效图像之前，还包括：

B(x)＝{B₁(x),B₂(x),...,B_i(x),...,B_N(x)}

其中，B(x)为预设背景模型，N为样本数量，样本Bi(x)由颜色值vi、LBSP纹理特征值LBSPi(x)、颜色维度置信度

和纹理维度置信度

组成，即：

6.根据权利要求1所述的手术内窥镜位置引导方法，其特征在于，所述根据所述匹配度确定目标位置，并控制内窥镜移动至所述目标位置之前，包括：

7.根据权利要求1至6中任一项所述的手术内窥镜位置引导方法，其特征在于，所述通过预训练的特征提取网络提取目标特征图中的有效特征点，并根据所述有效特征点确定所述目标内窥镜对应的有效图像，包括：

8.一种基于权利要求1-7任一项所述方法的手术内窥镜位置引导装置，其特征在于，所述手术内窥镜位置引导装置包括：

9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的手术内窥镜位置引导方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的手术内窥镜位置引导方法。