CN114332229A - 内窥镜定位的处理方法、装置、手术系统、设备与介质 - Google Patents

Abstract

本发明提供了一种内窥镜定位的处理方法、装置、手术系统、设备与介质，其中，内窥镜定位的处理方法，包括：获取目标生理通道的术前三维模型；获取所述内窥镜检测所述目标生理通道得到的当前术中图像；基于所述当前术中图像，确定所述目标生理通道的实时三维模型；通过比较所述实时三维模型与所述术前三维模型，确定所述内窥镜在所述目标生理通道的实时位置。

Description

内窥镜定位的处理方法、装置、手术系统、设备与介质

技术领域

本发明涉及医疗领域，尤其涉及一种内窥镜定位的处理方法、装置、手术系统、设备与介质。

背景技术

在医疗活动中，可将内窥镜伸入生理通道(例如气管)，并沿生理通道运动至病灶区域，并在到达病灶区域后实现治疗、探测等活动。在内窥镜的运动过程中，需要对内窥镜进行定位。

现有相关技术中，可将内窥镜所采集到的术中图像与生理通道的虚拟模型的虚拟切片图进行配准，从而在所有虚拟切片图中找到与术中图像相匹配的图像，然后利用所找到的虚拟切片图在虚拟模型中的位置表征出内窥镜的真实位置。

然而，针对于生理通道中不同位置的术中图像(或虚拟切片图)，依旧会有比较相像的图像，这会极大影响定位的准确性，导致定位结果准确性难以保障的问题。

发明内容

本发明提供一种内窥镜定位的处理方法、装置、手术系统、设备与介质，以解决定位结果准确性难以保障的问题。

根据本发明的第一方面，提供了一种内窥镜定位的处理方法，包括：

获取目标生理通道的术前三维模型；

获取所述内窥镜检测所述目标生理通道得到的当前术中图像

基于所述当前术中图像，确定所述目标生理通道的实时三维模型；

通过比较所述实时三维模型与所述术前三维模型，确定所述内窥镜在所述目标生理通道的实时位置

可选的，所述基于所述当前术中图像，确定所述目标生理通道的实时三维模型，包括：

获取所述当前术中图像中的图像特征，所述图像特征包括以下至少之一：离散的特征点、连续的特征点而形成的特征线条、连续的特征点而形成的特征面；

将部分或全部所述特征点投射到目标坐标系，更新所述实时三维模型，所述目标坐标系为所述术前三维模型所在坐标系。

可选的，所述当前术中图像由所述内窥镜的图像采集部检测得到；

所述将部分或全部所述特征点投射到目标坐标系包括：

确定所述图像采集部在以目标生理通道为基准的基准坐标系中的当前位姿信息；

基于所述当前位姿信息，确定所述基准坐标系与所述当前术中图像的图像坐标系间的第一转换关系，并基于所述第一转换关系，以及所述基准坐标系与所述目标坐标系间的第二转换关系，将部分或全部所述特征点投射到所述目标坐标系。

可选的，获取所述当前术中图像中的图像特征，包括：

将所述当前术中图像输入至经训练的特征识别模型，并获取所述特征识别模型输出的所述图像特征，所述图像特征用于表征所述特征点在所述当前术中图像的位置。

可选的，确定所述图像采集部在以目标生理通道为基准的基准坐标系中的当前位姿信息，包括：

通过比对所述当前术中图像与历史术中图像，确定所述图像采集部的位姿变化信息；所述位姿变化信息用于表征该图像采集部当前位姿相对于采集该历史术中图像时的位姿的变化；

基于所述图像采集部的位姿变化信息、以及采集所述历史术中图像时所述图像采集部的位姿，确定图像采集部的第一位姿信息；

基于第一位姿信息，确定所述图像采集部的当前位姿信息。

可选的，基于所述第一位姿信息，确定所述图像采集部的当前位姿信息，包括：

基于设于所述图像采集部的指定传感器检测到的检测信息，确定所述图像采集部的第二位姿信息；所述检测信息被用于表征所述图像采集部的以下至少之一：位置、姿态、加速度、速度；

基于所述第一位姿信息与所述第二位姿信息，确定所述当前位姿信息。

可选的，基于所述第一位姿信息与所述第二位姿信息，确定所述当前位姿信息，包括：

对所述第一位姿信息与所述第二位姿信息进行加权求和，得到所述当前位姿信息。

可选的，确定所述图像采集部的当前位姿信息，包括：

基于设于所述图像采集部的指定传感器检测到的检测信息，确定所述图像采集部的第二位姿信息；所述检测信息被用于表征所述图像采集部的以下至少之一：位置、姿态、加速度、速度；

基于所述第二位姿信息，确定所述当前位姿信息。

可选的，所述指定传感器为惯性测量单元，所述惯性测量单元固定连接于所述图像采集部，所述检测信息包括所述惯性测量单元质心的角加速度与线加速度；所述第二位姿信息是基于所述检测信息的积分结果而确定的。

可选的，将部分或全部所述特征点投射到目标坐标系，更新所述实时三维模型，包括：

将所述特征点投射至所述目标坐标系后得到的目标点云作为所述实时三维模型的一部分。

可选的，基于所述当前位姿信息，确定所述基准坐标系与所述当前术中图像的图像坐标系间的第一转换关系，并基于所述第一转换关系，以及所述基准坐标系与所述目标坐标系间的第二转换关系，将对应的特征点投射到所述目标坐标系之前，还包括：

确定所述当前位姿信息不同于所述图像采集部的历史位姿信息。

可选的，所述方法还包括：

将当前术中图像与历史术中图像进行匹配，从与各历史术中图像对应的各历史位姿信息中，确定与当前位姿信息匹配的目标历史位姿信息；

基于所述当前位姿信息与所述目标历史位姿信息，调整所述第一转换关系，并基于所述调整后的第一转换关系调整各历史位姿信息，以及调整所述当前位姿信息。

根据本发明的第二方面，提供了一种内窥镜定位的处理装置，包括：

术前模型获取模块，用于获取目标生理通道的术前三维模型；

术中图像获取模块，用于获取所述内窥镜检测所述目标生理通道得到的当前术中图像；

实时模型确定模块，用于基于所述当前术中图像，确定所述目标生理通道的实时三维模型；

实时位置确定模块，用于通过比较所述实时三维模型与所述术前三维模型，确定所述内窥镜在所述目标生理通道的实时位置。

根据本发明的第三方面，提供了一种手术系统，包括数据处理部，以及内窥镜；所述数据处理部用于执行第一方面及其可选方案涉及的处理方法。

根据本发明的第四方面，提供了一种电子设备，包括处理器与存储器，

所述存储器，用于存储代码；

所述处理器，用于执行所述存储器中的代码用以实现第一方面及其可选方案涉及的处理方法。

根据本发明的第五方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面及其可选放哪该案涉及的处理方法。

本发明提供的内窥镜定位的处理方法、装置、手术系统、设备与介质中，由于实时三维模型是基于术中图像而更新的，进而，实时三维模型的构建进度，可准确反应出内窥镜的位置，而该构建进度即可体现为实时三维模型与术前三维模型的差异，可见，本发明通过实时三维模型的更新，以及其与术前三维模型的比对，可准确地对内窥镜的位置进行定位。该过程中，无需实现虚拟切片图与术中图像的配准，可避免不同位置图像的相似性对定位结果的影响，进而，本发明可有助于提高内窥镜定位的准确性。

同时，相较于基于内窥镜的整体形状进行定位的方案(例如通过光纤采集内窥镜的形状，进而基于形状进行内窥镜定位的方案)，本发明中，用以与术前三维模型比对的对象为实时三维模型，其是基于当前术中图像点而构建的，可见，实时三维模型不仅可反映出目标生理通道的整体形状，还可反映出目标生理通道内部的形态，因信息更全面多样，所以据此进行比对、定位的话，可有助于提高定位准确性。此外，还可使得提供给用户的信息更丰富(例如用户可通过观察实时三维模型而获悉目标生理通道内的形态)。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一示例性的实施例中手术系统的构造示意图；

图2是本发明另一示例性的实施例中手术系统的构造示意图；

图3是本发明一示例性的实施例中内窥镜定位的处理方法的流程示意图；

图4是本发明一示例性的实施例中更新实时三维模型的流程示意图；

图5是本发明一示例性的实施例中确定当前位姿信息的流程示意图；

图6是本发明另一示例性的实施例中确定当前位姿信息的流程示意图；

图7是本发明一示例性的实施例中内窥镜定位的处理装置的程序模块示意图；

图8是本发明另一示例性的实施例中内窥镜定位的处理装置的程序模块示意图；

图9是本发明一示例性的实施例中电子设备的构造示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

本发明实施例提供了一种手术系统，请参考图1，包括数据处理部101，以及内窥镜102。

内窥镜102可以包括图像采集部，内窥镜102可理解为在进入生理通道(例如支气管)后，能够利用图像采集部采集相应图像的装置或装置的组合。其中，内窥镜102还可以包括弯曲管(例如主动弯曲管和/或被动弯曲管)，图像采集部可设于弯曲管的一端，此外，内窥镜102可用于支气管的，也可用于尿道、肠道等而不限于支气管，不论采用何种内窥镜102，均不脱离本发明实施例的范围。

所述数据处理部101，可理解为具有数据处理能力的任意装置或装置的组合，在本发明实施例中，数据处理部101可用于实施后文涉及的处理方法，进而，该数据处理部101可直接或间接与内窥镜102中的图像采集部进行数据交互，使得数据采集部102可以接收术中图像。

图2所示实施例中的数据处理部201、内窥镜202的部分特征与图1所示实施例中的数据处理部101、内窥镜102相同或相似，对于相同或相似的内容，在此不再赘述。

图2所示的实施例中，内窥镜202的末端设有图像采集部204，同时，可在内窥镜202设置指定传感器203，该指定传感器203可固定连接图像采集部204，进而，可检测图像采集部204的检测信息。

所述检测信息被用于表征所述图像采集部的以下至少之一：位置、姿态、加速度、速度。

进而，若检测信息为位置和姿态，则指定传感器203可以为位姿传感器，例如磁传感器；若检测信息为加速度，则指定传感器203可以为加速度计、陀螺仪等，也可以是加速度、陀螺仪等组成的装置，该装置可例如惯性测量单元。

所使用的惯性测量单元可例如包括三轴的加速度计和三轴的陀螺仪，加速度计可例如为力传感器，其可根据各方向受力(包含重力)情况计算每个轴上的加速度。陀螺仪可例如为角速度检测仪，其可根据每个轴上的角加速度得到各个轴上的角速度信息(角度变化)。其中，由于惯性测量单元测得的是惯性测量单元质心的角速度和线加速度，惯性测量单元和图像采集部(例如相机)固定安装后，相机和惯性测量单元的线加速度和角速度是一样的。进而，数据处理部可通过加速度计测得的线加速度和陀螺仪测得的角速度，进行惯性测量单元的位姿信息(即位置及姿态)的解算，并以此视作图像采集部204的位姿信息。

请参考图3，本发明实施例提供了一种内窥镜定位的处理方法，包括：

S301：获取目标生理通道的术前三维模型；

其中的术前三维模型，可理解为针对目标生理通道而构建的三维模型，且该三维模型是基于目标生理通道的术前数据(例如术前CT数据)而构建的，一种举例中，可获取目标人体(即目标生理通道所属的人体)的术前CT数据，例如可对目标人体进行CT扫描后，采集到术前CT数据，进而，基于该术前CT数据构建术前三维模型；可见，术前三维模型可以是针对于目标生理通道而专门构建的，基于此而实现的定位，可有效提高内窥镜的定位准确性；其他实施方式中，术前三维模型也可以是基于其他数据构建的，还可以采用标准化的术前三维模型，而无需专门基于术前CT数据而构建；

其中的目标生理通道，可理解为内窥镜所要进入的生理通道，其可以是支气管、尿道、肠道等任意之一；

S302：获取所述内窥镜检测所述目标生理通道得到的当前术中图像；

其中的当前术中图像，可理解为在当前时刻采集到的术中图像；

与之对应的，在当前时刻之前所采集到的术中图像，可理解为历史术中图像，其可以上一个时刻采集到的术中图像，也可以是之前其他时刻采集到的术中图像；

其中的术中图像，可理解为手术时图像采集部所采集到的图像；

此外，其中的术中图像可以是图像采集部所采集到的原始图像，也可以是对原始图像进行处理后的图像，均可理解为图像采集部检测到的术中图像；

例如，若图像采集部为鱼眼相机，那么，鱼眼相机拍摄的原始图像存在明显的畸变现象，进而，需要对原始图像进行一定的畸变校准(也可理解为去畸变)，得到畸变校准后的图像作为术中图像；

在畸变校准前，需要对鱼眼相机的内参进行标定，获得相机的的内参数矩阵、径向畸变系数和切向畸变系数，然后，在畸变校准时，利用获得的内参数矩阵、径向畸变系数和切向畸变系数对鱼眼相机的原始图像进行畸变校准，从而得到术中图像；

S303：基于所述当前术中图像，确定所述目标生理通道的实时三维模型；

在一个实施例中，确定所述目标生理通道的实时三维模型，也可以理解为更新目标生理通道的三维模型。在内窥镜运动过程中，内窥镜在目标生理通道中的位置发生变化，并且可以实时采集到不同的当前术中图像。根据本实施例方法，根据当前术中图像确定的实时三维模型，与内窥镜在目标生理通道中的位置对应。

在一个实施例中，可以以内窥镜在目标生理通道的入口处为基准，在与该位置对应的三维模型的基础上进行更新，得到实时三维模型。或者，在另一个实施例中，可以在初始时刻以内窥镜在目标生理通道的入口处的三维模型为基准，在后续内窥镜运动过程中，始终以上一个时刻内窥镜在目标生理通道的位置对应的三维模型为基准(即根据上一个时刻采集“当前术中图像”所确定的“实时三维模型”为基准)，增量更新实时三维模型。

S304：通过比较所述实时三维模型与所述术前三维模型，确定所述内窥镜在所述目标生理通道的实时位置。

在一个实施例中，通过比较所述实时三维模型与所述术前三维模型，也可以确定内窥镜在目标生理通道的实时位姿(即包括实时位置和实时姿态)。

所述实时位置被用于表征所述内窥镜在所述目标生理通道的位置，具体可以表征出目标生理通道的具体部位，以支气管树作为目标生理通道为例，实时位置则可表征出内窥镜当前到达了支气管树的哪个肺段，例如内窥镜末端(例如内窥镜中的图像采集部所处位置)到达了支气管树的哪个肺段。

部分举例中，可仅将实时位置的信息(例如当前内窥镜到达目标生理通道的哪个部位)反馈给用户，例如可将实时位置的信息以视觉、听觉等方式反馈出来，也可利用显示设备向用户显示术前虚拟模型，并在其中显示出实时位置；

另部分举例中，也可将实时三维模型反馈至用户(例如利用显示设备向用户现实实时三维模型)。

一种实施方式中，实时三维模型与术前三维模型均可视作对应坐标系(同一坐标系或不同坐标系)下点云的集合，进而，可通过实时三维模型与术前三维模型间局部或全部的点云之间的配准而判断实时位置，例如，可通过所述实时三维模型与所述术前三维模型之间点云的配准，在术前三维模型确定实时三维模型所匹配的模型部分，进而，基于该模型部分，可确定内窥镜当前到达了目标生理通道的哪一部分(例如支气管树的哪个肺段)，并以此作为实时位置的信息。

以上方案中，由于实时三维模型是基于术中图像而更新的，进而，实时三维模型的构建进度，可准确反应出内窥镜的位置，而该构建进度即可体现为实时三维模型与术前三维模型的差异，可见，本发明通过实时三维模型的更新，以及其与术前三维模型的比对，可准确地对内窥镜的位置进行定位。该过程中，无需实现虚拟切片图与术中图像的配准，可避免不同位置图像的相似性对定位结果的影响，进而，本发明可有助于提高内窥镜定位的准确性。

同时，相较于基于内窥镜的整体形状进行定位的方案(例如通过光纤采集内窥镜的形状，进而基于形状进行内窥镜定位的方案)，本发明中，用以与术前三维模型比对的对象为实时三维模型，其是基于当前术中图像点而构建的，可见，实时三维模型不仅可反映出目标生理通道的整体形状，还可反映出目标生理通道内部的形态，因信息更全面多样，所以据此进行比对、定位的话，可有助于提高定位准确性。此外，还可使得提供给用户的信息更丰富(例如用户可通过观察实时三维模型而获悉目标生理通道内的形态)。

其中一种实施方式中，请参考图4，基于所述当前术中图像，确定所述目标生理通道的实时三维模型的过程，可以包括：

S401：获取所述当前术中图像中的图像特征；

S402：将部分或全部所述特征点投射到目标坐标系，更新所述实时三维模型。

所述图像特征包括以下至少之一：离散的特征点、连续的特征点而形成的特征线条、连续的特征点而形成的特征面；其中的特征线条可以是闭合的线条，也可以是未闭合的线条；线条的形态可以是任意的，也可以是指定的，其中的特征面可以是任意形状的面；具体的，所述图像特征用于表征所述特征点在所述当前术中图像的位置。

部分举例中，图像特征还可包括对特征点、特征线条、特征面中至少之一的颜色、灰度等进行描述的任意信息。

其中的当前位姿信息，可理解为能够对图像采集部当前时刻的位置与姿态进行描述的任意信息，并且，随着内窥镜的行进，该当前位姿信息可以随时变化；与之对应的，当前时刻之前时刻的图像采集部的位姿信息，即可理解为是历史位姿信息；

特征点被投射到目标坐标系之后，可形成目标点云，目标点云可理解为对应特征点投射至目标坐标系后而得到的点的集合，其分布形态可体现出图像采集部已拍到的目标生理通道的部分形态；

目标坐标系可理解为实时三维模型所处的坐标系，其与术前三维模型的坐标系可以是同一坐标系，也可以是不同坐标系。具体的，步骤S402的处理过程例如：确定所述图像采集部在以目标生理通道为基准的基准坐标系中的当前位姿信息；并基于所述当前位姿信息，确定所述基准坐标系与所述当前术中图像的图像坐标系间的第一转换关系，基于所述第一转换关系，以及所述基准坐标系与所述目标坐标系间的第二转换关系，将部分或全部所述特征点投射到所述目标坐标系。

本领域任意可实现位置点在坐标系间转换的方式，均可作为一种可选方案，同时，针对以上第一转换关系，第二转换关系，可在手术之前或手术过程中标定和/或修正。

不同于以上方案的一种实施例中，也可将当前术中图像中所有点均投射到目标坐标系，从而确定实时三维模型，相较于此，以上方案中，通过特征点的获取与投射，可有效降低确定实时三维模型所需使用的数据量，在实时三维模型可体现出目标生理通道形态的基础上，可有效降低数据的处理量，提高处理效率。

其中一种实施方式中，确定所述当前术中图像中的图像特征的过程，可以包括：

将所述当前术中图像输入至经训练的特征识别模型，并获取所述特征识别模型输出的所述图像特征(也可理解为一种特征识别结果)；

所述图像特征被用于表征所述特征点在所述当前术中图像的位置，也可不限于位置。

例如，将术中图像(例如当前术中图像)输入至特征识别模型后，特征识别模型可输出一个仅记载了图像特征(例如特征点、特征线条、特征面中至少之一)的图像，其尺寸可以与术中图像相同。

可见，对于特征线条、特征面来说，对其中特征点位置的表征，亦即是对特征线条、特征面的位置、形态(比如形状、旋转方位等)的表征。

该特征识别模型可以为任意机器学习的模型，在训练时，可以将标记了图像特征的图像作为训练素材，以使得特征识别模型具备输出以上特征识别结果的能力，本领域任意已有或改进的模型、训练方式，均可作为一种可选方案。

其他实施方式中，也可通过对图像特征的定义，进而参照定义提取出图像特征，例如，若将线条特征定义为某种颜色、形状、尺寸的封闭的线条，则可基于该颜色、形状、尺寸而搜索术中图像中符合定义的线条，从而确定线条特征。

相较于此，采用特征识别模型的情况下，可有助于兼顾各种图像特征的可能性，在充分训练后，也可精确地提取出所需的图像特征。

其中一种实施方式中，请参考图5，确定所述图像采集部在以目标生理通道为基准的基准坐标系中的当前位姿信息的过程，可以包括：

S501：通过比对所述当前术中图像与历史术中图像，确定所述图像采集部当前的位姿变化信息；

在一个实施例中，当前术中图像与历史术中图像所采集的对象有一定的重合(例如会对同一分叉口、纹路进行图像采集)。

S502：基于所述图像采集部的位姿变化信息，以及采集所述历史术中图像时所述图像采集部的位姿，确定图像采集部的第一位姿信息；

S503：基于第一位姿信息，确定所述图像采集部的当前位姿信息。

其中的第一位姿信息，可理解为基于术中图像而得到的用于对图像采集部的位姿进行描述的信息。

步骤S501的一种举例中，可以在所述当前术中图像的图像特征与所述历史术中图像的图像特征间，通过图像特征的匹配，确定相匹配的图像特征；然后，通过比对所述相匹配的图像特征，确定所述图像采集部的位姿变化信息；

其中，相匹配的图像特征，可理解为两个术中图像之间描述同一结构(例如纹路、分叉口等)的图像特征，一种举例中，若当前术中图像的图像特征包括某分叉口的线条特征a(一个封闭线条)，历史图像特征包括该分叉口的线条特征a’(一个封闭线条)，进而，步骤S501的具体举例中通过图像特征的匹配，可计算出线条特征a与线条特征a’相匹配。在此基础上，可基于线条特征a与线条特征a’之间的变化，计算出位姿变化信息。

其中的位姿变化信息可以为任意能够对图像采集部的位置、姿态变化进行描述的任意信息，例如可利用位姿转换矩阵而表征出该位姿变化信息。

在步骤S503中“采集所述历史术中图像时所述图像采集部的位姿”，可例如是采集历史术中图像时所计算出来的第一位姿信息或当前位姿信息，进而，可将位姿变化信息叠加于采集所述历史术中图像时所述图像采集部的位姿，得到所述第一位姿信息，例如：若采集所述历史术中图像时所述图像采集部的位姿利用一个位姿矩阵表征，则可将该位姿矩阵乘上位姿转换矩阵，从而得到所述第一位姿信息；

步骤S503的一种举例中，第一位姿信息可直接作为实时位姿信息，另一举例中，也可结合其他因素(例如第二位姿信息)而计算出实时位姿信息。

一种举例中，可以图像采集部到达目标生理通道的入口的初始时刻的位姿作为历史位姿信息，另一举例中，也可以图像采集部到达目标生理通道的特定部位(例如支气管树的分叉口)的时刻的位姿作为历史位姿信息，又一举例中，也可以当前时刻的上一个时刻图像采集部的位姿作为历史位姿信息。

以上方案中，由于在不同位姿下对生理通道内的同一内容进行拍摄时，对应术中图像中对该内容的显示位置、姿态必然与图像采集部的位姿相关联的，进而，通过不同时刻术中图像的比对，可应用这种关联性，从而准确有效地确定出图像采集部的实际位姿(即第一位姿信息)，从而为进一步的定位提供准确可靠的依据。进一步方案中，通过图像特征的提取、匹配、比对，保障了第一位姿信息的准确性。

其中一种实施方式中，也可不采用术中图像而实现当前位姿信息的确定，以图6为例，确定所述图像采集部的当前位姿信息的过程，可以包括：

S601：基于设于所述图像采集部的指定传感器检测到的检测信息，确定所述图像采集部的第二位姿信息；

S602：基于所述第二位姿信息，确定所述当前位姿信息。

其中，若指定传感器为位姿传感器，则可直接将检测信息作为第二位姿信息，若所述指定传感器为惯性测量单元，则所述检测信息包括所述惯性测量单元质心的角加速度与线加速度。

所述第二位姿信息可以是对指定传感器的位姿进行描述的任意信息(亦即是对图像采集部的位姿信息进行描述的任意信息)，具体的，若指定传感器为惯性测量单元，第二位姿信息可以是基于所述检测信息的积分结果而确定的。

一种举例中，对检测信息中的三轴线加速度和三轴角速度进行积分的过程可例如：通过对线加速度对时间进行积分获得速度，再进行二次积分获得位移，对角速度进行积分获得角度，进而可得到位置变化和位姿变化，通过对位置变化、姿态变化的累积，可得到对应的位置信息、姿态信息作为所述第二位姿信息。

以上方案中，通过指定传感器及对应第二位姿信息的引入，可准确反应出图像采集部的位姿。

此外，若采用磁传感器作为指定传感器，磁场容易受到外界干扰，从而影响定位准确性，相较于此，采用惯性测量单元的方案可具有受外界干扰小等优点。

同时，在使用惯性测量单元的情况下，在基于检测信息而确定第二位姿信息之前，还可对检测信息的信号进行滤波，去除惯性测量单元自身所存在的漂移和误差，使得所获取到的检测信息更准确。

其中一种实施方式中，可结合图像采集部采集的术中图像与指定传感器的检测信息而实现对目标位姿信息的确定；

进而，基于所述第一位姿信息，确定所述图像采集部的当前位姿信息的过程(或基于所述第二位姿信息，确定所述图像采集部的当前位姿信息的过程)，可以进一步包括：

基于所述第一位姿信息与所述第二位姿信息，确定所述当前位姿信息。

以上方案中，第一位姿信息与第二位姿信息均能体现出图像采集部的位姿，但是基于不同原理和硬件而检测到的，进而，以上方案中，可实现两种检测方式间的兼顾互补，弥补单种检测方式的弊端，进一步提高实时位姿信息的准确性。

例如，仅采用第一位姿信息的话，所得到的位姿可能会受到图像处理、图像采集的效果的限制而无法达到较高的准确性，针对于该弊端，由于第二位姿信息的位姿确定过程无需使用到图像处理的手段，所以，恰能在一定程度上弥补图像处理、采集带来的限制；

再例如，仅采用第二位姿信息的话，所得到的位姿可能会因为指定传感器易被干扰、传感器检测精度不高等原因而无法到较高的准确性，针对于该弊端，由于第一位姿信息的位姿确定过程完全独立于对指定传感器的使用，所以，恰能避免指定传感器本身的缺陷。

一种举例中，基于第一位姿信息与第二位姿信息而确定实时位姿信息的过程可以包括：对所述第一位姿信息与所述第二位姿信息进行加权求和，得到所述当前位姿信息。

其中加权的权重可以根据需求而任意设定，也可基于所选择的图像采集部、指定传感器的检测精度、类型而变化，本领域任意可对位姿信息进行加权求和的方式，均不脱离以上过程的范围。

另一举例中，基于第一位姿信息与第二位姿信息而确定实时位姿信息的过程可以包括：将第一位姿信息与第二位姿信息输入位姿整合的机器学习的数据模型，然后，可获取数据模型所输出的位姿信息作为当前位姿信息。

此外，不论采用何种方式而确定实时位姿信息，若第一位姿信息、第二位姿信息、实时位姿信息所采用的坐标系不同，则可在处理过程中实现位姿信息在坐标系之间的投射变换。

其中一种实施方式中，将部分或全部所述特征点投射到目标坐标系，更新所述实时三维模型的过程，可例如包括：

将所述特征点投射至所述目标坐标系后得到的目标点云作为所述实时三维模型的一部分；

进而，可实现实时三维模型的更新。

部分举例中，由于不同术中图像中的图像特征所描述的实体结构可以是重复的，以支气管树为例，当内窥镜在支气管树的一个肺段运动时，肺段末端分叉口在术中图像中将形成多个封闭的线条，该封闭的线条可被提取出来作为特征线条，其中包含若干特征点；然而，内窥镜运动过程中采集到的多个术中图像中均会描绘出该分叉口，通过不同术中图像之间图像特征的匹配，可确定出不同术中图像的该分叉口的线条特征是相匹配的；可见，针对匹配的图像特征，其实际是描绘目标生理通道的同一结构的。

此时：

一种举例中，可以将各张术中图像中图像特征的特征点都投射到目标坐标系，从而形成较为密集的目标点云，进而，可有助于提高实时三维模型的细致度；

另一种举例中，针对相匹配的图像特征，可以针对同一图像特征，仅投射一次(或指定次数)特征点，从而得到相对稀疏一些的目标点云；进而，可以有效节约数据处理量，提高处理效率；

此外，所得到的目标点云可基于统计学的原理而进行过滤，例如可滤除偏差较大的目标点云(即不以此目标点云作为实时三维模型的一部分)。进而，可有效排除误差，保障目标点云能准确反映目标生理通道内的形态。

从中可见，特征点的稀疏程度将决定目标点云的稀疏程度，从而决定实时三维模型中点云的稀疏程度；不论实现了何种稀疏程度，均可应用于与术前三维模型进行比对，进而不脱离本发明实施例的范围。

其中一种实施方式中，对应的特征点投射到所述目标坐标系之前，还包括：

确定所述当前位姿信息不同于所述图像采集部的历史位姿信息。

其中的历史位姿信息，可理解为表征了：当前时刻之前，图像采集部已经到达过的位姿。

进而，若当前位姿信息相同于历史位姿信息，通常表明，内窥镜回到了之前已经到过的位置，此时，所得到的特征点很有可能是之前已经投射到目标坐标系了，若重复计算，则会浪费计算资源，不必要地增加计算时间，所以，通过以上过程，可有效提高处理效率，降低处理量。

在一个实施例中，可以通过回环检测的方法来对确定出的实时三维模型进行校正。下面进行具体介绍：

第1步：将当前术中图像与历史术中图像进行匹配，从与各历史术中图像对应的各历史位姿信息中，确定与当前位姿信息匹配的目标历史位姿信息。

在一个实施例中，可以将内窥镜检测到的当前术中图像与历史时刻中检测到的各个历史术中图像进行比对。

例如，当前时刻为t1时刻，则可以将当前术中图像与t1时刻前采集到的各个历史术中图像进行比对，并确定t0时刻的历史术中图像与当前术中图像一致，则将t0时刻的历史术中图像确定为目标历史图像。

由此，可以将内窥镜采集该目标历史图像时的位姿，确定为与内窥镜当前的位姿匹配，即将t0时刻内窥镜的位姿确定为目标历史位姿信息。

在一个实施例中，当前术中图像与目标历史术中图像匹配，可以为该两个图像一致(或相似度较高)。由此，可以认为检测该历史术中图像时内窥镜的位姿(即t0时刻内窥镜的位姿)与当前时刻内窥镜的位姿(即t1时刻内窥镜的位姿)是相同的，即则内窥镜返回到t0时刻的位置。

第2步：基于所述当前位姿信息与所述目标历史位姿信息，调整所述第一转换关系，并基于所述调整后的第一转换关系调整各历史位姿信息，以及调整所述当前位姿信息。

根据第1步中的描述，t1时刻内窥镜的位姿应当与t1时刻内窥镜的位姿相同。然而，由于确定基准坐标系与当前术中图像的图像坐标系之间的第一转换关系的方法存在一定误差(确定第一转换关系的方法可以参见前文实施例，例如图5、6所示实施例)，同时，在增量地根据历史术中位姿和第一转换关系来确定当前术中位姿的过程中会导致该误差累积，因此，按照本实施例方法，t1时刻计算出的位姿与t0时刻计算出的位姿二者之间可能存在较大差异。

根据上述原理，可以将“t1时刻计算出的位姿与t0时刻计算出的位姿一致”作为约束条件，调整第一转换关系，并在调整第一转换关系后，再确定历史术中位姿(即t0-t1时刻之间得到的各个历史术中图像对应的内窥镜位姿)，使得当前术中位姿(即t1时刻计算出的位姿)和历史术中位姿(t0时刻计算出的位姿)的误差满足设定阈值要求(小于预设阈值)。通过此种方法，既可以对第一转换关系进行优化调整，也可以基于当前纠正历史的误差累计，进而实现全局性位姿更新调整，进而更新实时三维模型，实现更加准确的位姿估计和三维模型重建。

请参考图7，内窥镜定位的处理装置700，包括：

术前模型获取模块701，用于获取目标生理通道的术前三维模型；

术中图像获取模块702，用于获取所述内窥镜检测所述目标生理通道得到的当前术中图像；

实时模型确定模块703，用于基于所述当前术中图像，确定所述目标生理通道的实时三维模型；

实时位置确定模块704，用于通过比较所述实时三维模型与所述术前三维模型，确定所述内窥镜在所述目标生理通道的实时位置。

可选的，所述实时模型确定模块703，具体用于：

获取所述当前术中图像中的图像特征，所述图像特征包括以下至少之一：离散的特征点、连续的特征点而形成的特征线条、连续的特征点而形成的特征面；

将部分或全部所述特征点投射到目标坐标系，更新所述实时三维模型，所述目标坐标系为所述术前三维模型所在坐标系。

可选的，所述当前术中图像由所述内窥镜的图像采集部检测；

可选的，所述实时模型确定模块703，具体用于：

确定所述图像采集部在以目标生理通道为基准的基准坐标系中的当前位姿信息；

基于所述当前位姿信息，确定所述基准坐标系与所述当前术中图像的图像坐标系间的第一转换关系，并基于所述第一转换关系，以及所述基准坐标系与所述目标坐标系间的第二转换关系，将对应的特征点投射到所述目标坐标系。

可选的，所述实时模型确定模块703，具体用于：

将所述当前术中图像输入至经训练的特征识别模型，并获取所述特征识别模型输出的所述图像特征，所述图像特征用于表征所述特征点在所述当前术中图像的位置。

可选的，所述实时模型确定模块703，具体用于：

通过比对所述当前术中图像与历史术中图像，确定所述图像采集部的位姿变化信息；所述位姿变化信息用于表征该图像采集部当前位姿相对于采集该历史术中图像时的位姿的变化；

基于所述图像采集部的位姿变化信息、以及采集所述历史术中图像时所述图像采集部的位姿，确定图像采集部的第一位姿信息；

基于第一位姿信息，确定所述图像采集部的当前位姿信息。

可选的，所述实时模型确定模块703，具体用于：

基于设于所述图像采集部的指定传感器检测到的检测信息，确定所述图像采集部的第二位姿信息；所述检测信息被用于表征所述图像采集部的以下至少之一：位置、姿态、加速度、速度；

基于所述第一位姿信息与所述第二位姿信息，确定所述当前位姿信息。

可选的，所述实时模型确定模块703，具体用于：

对所述第一位姿信息与所述第二位姿信息进行加权求和，得到所述当前位姿信息。

可选的，所述实时模型确定模块703，具体用于：

基于设于所述图像采集部的指定传感器检测到的检测信息，确定所述图像采集部的第二位姿信息；所述检测信息被用于表征所述图像采集部的以下至少之一：位置、姿态、加速度、速度；

基于所述第二位姿信息，确定所述当前位姿信息。

可选的，所述指定传感器为惯性测量单元，所述惯性测量单元固定连接于所述图像采集部，所述检测信息包括所述惯性测量单元质心的角加速度与线加速度；所述第二位姿信息是基于所述检测信息的积分结果而确定的。

可选的，所述实时模型确定模块703，具体用于：

将所述特征点投射至所述目标坐标系后得到的目标点云作为所述实时三维模型的一部分。

可选的，所述实时模型确定模块703，还用于：

确定所述当前位姿信息不同于所述图像采集部的历史位姿信息。

图8所示实施例中的内窥镜定位的处理装置800与图7所示实施例中的内窥镜定位的处理装置700相同或相似，对于相同或相似的内容，在此不再赘述。

请参考图8，内窥镜定位的处理装置800还包括：

目标历史位姿确定模块801，用于将当前术中图像与历史术中图像进行匹配，从与各历史术中图像对应的各历史位姿信息中，确定与当前位姿信息匹配的目标历史位姿信息；

调整模块802，用于基于所述当前位姿信息与所述目标历史位姿信息，调整所述第一转换关系，并基于所述调整后的第一转换关系调整各历史位姿信息，以及调整所述当前位姿信息。

请参考图9，提供了一种电子设备900，包括：

处理器901；以及，

存储器902，用于存储所述处理器的可执行指令；

其中，所述处理器901配置为经由执行所述可执行指令来执行以上所涉及的方法。

处理器901能够通过总线903与存储器902通讯。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所涉及的方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种内窥镜定位的处理方法，其特征在于，包括：

获取目标生理通道的术前三维模型；

获取所述内窥镜检测所述目标生理通道得到的当前术中图像；

基于所述当前术中图像，确定所述目标生理通道的实时三维模型；

通过比较所述实时三维模型与所述术前三维模型，确定所述内窥镜在所述目标生理通道的实时位置。

2.根据权利要求1所述的内窥镜定位的处理方法，其特征在于，

所述基于所述当前术中图像，确定所述目标生理通道的实时三维模型，包括：

获取所述当前术中图像中的图像特征，所述图像特征包括以下至少之一：离散的特征点、连续的特征点而形成的特征线条、连续的特征点而形成的特征面；

将部分或全部所述特征点投射到目标坐标系，更新所述实时三维模型，所述目标坐标系为所述术前三维模型所在坐标系。

3.根据权利要求2所述的内窥镜定位的处理方法，其特征在于，所述当前术中图像由所述内窥镜的图像采集部检测得到；

所述将部分或全部所述特征点投射到目标坐标系包括：

确定所述图像采集部在以目标生理通道为基准的基准坐标系中的当前位姿信息；

基于所述当前位姿信息，确定所述基准坐标系与所述当前术中图像的图像坐标系间的第一转换关系，并基于所述第一转换关系，以及所述基准坐标系与所述目标坐标系间的第二转换关系，将部分或全部所述特征点投射到所述目标坐标系。

4.根据权利要求2所述的内窥镜定位的处理方法，其特征在于，

获取所述当前术中图像中的图像特征，包括：

将所述当前术中图像输入至经训练的特征识别模型，并获取所述特征识别模型输出的所述图像特征，所述图像特征用于表征所述特征点在所述当前术中图像的位置。

5.根据权利要求3所述的内窥镜定位的处理方法，其特征在于，

确定所述图像采集部在以目标生理通道为基准的基准坐标系中的当前位姿信息，包括：

通过比对所述当前术中图像与历史术中图像，确定所述图像采集部的位姿变化信息；所述位姿变化信息用于表征该图像采集部当前位姿相对于采集该历史术中图像时的位姿的变化；

基于所述图像采集部的位姿变化信息，以及采集所述历史术中图像时所述图像采集部的位姿，确定图像采集部的第一位姿信息；

基于第一位姿信息，确定所述图像采集部的当前位姿信息。

6.根据权利要求5所述的内窥镜定位的处理方法，其特征在于，

基于所述第一位姿信息，确定所述图像采集部的当前位姿信息，包括：

基于设于所述图像采集部的指定传感器检测到的检测信息，确定所述图像采集部的第二位姿信息；所述检测信息被用于表征所述图像采集部的以下至少之一：位置、姿态、加速度、速度；

基于所述第一位姿信息与所述第二位姿信息，确定所述当前位姿信息。

7.根据权利要求6所述的内窥镜定位的处理方法，其特征在于，

基于所述第一位姿信息与所述第二位姿信息，确定所述当前位姿信息，包括：

对所述第一位姿信息与所述第二位姿信息进行加权求和，得到所述当前位姿信息。

8.根据权利要求3所述的内窥镜定位的处理方法，其特征在于，

确定所述图像采集部的当前位姿信息，包括：

基于设于所述图像采集部的指定传感器检测到的检测信息，确定所述图像采集部的第二位姿信息；所述检测信息被用于表征所述图像采集部的以下至少之一：位置、姿态、加速度、速度；

基于所述第二位姿信息，确定所述当前位姿信息。

9.根据权利要求6或8所述的内窥镜定位的处理方法，其特征在于，所述指定传感器为惯性测量单元，所述惯性测量单元固定连接于所述图像采集部，所述检测信息包括所述惯性测量单元质心的角加速度与线加速度；所述第二位姿信息是基于所述检测信息的积分结果而确定的。

10.根据权利要求2至8任一项所述的内窥镜定位的处理方法，其特征在于，

将部分或全部所述特征点投射到目标坐标系，更新所述实时三维模型，包括：

将所述特征点投射至所述目标坐标系后得到的目标点云作为所述实时三维模型的一部分。

11.根据权利要求3、5至8任一项所述的内窥镜定位的处理方法，其特征在于，

基于所述当前位姿信息，确定所述基准坐标系与所述当前术中图像的图像坐标系间的第一转换关系，并基于所述第一转换关系，以及所述基准坐标系与所述目标坐标系间的第二转换关系，将对应的特征点投射到所述目标坐标系之前，还包括：

确定所述当前位姿信息不同于所述图像采集部的历史位姿信息。

12.根据权利要求3、5至8任一项所述的内窥镜定位的处理方法，其特征在于，所述方法还包括：

将当前术中图像与历史术中图像进行匹配，从与各历史术中图像对应的各历史位姿信息中，确定与当前位姿信息匹配的目标历史位姿信息；

基于所述当前位姿信息与所述目标历史位姿信息，调整所述第一转换关系，并基于所述调整后的第一转换关系调整各历史位姿信息，以及调整所述当前位姿信息。

13.一种内窥镜定位的处理装置，其特征在于，包括：

术前模型获取模块，用于获取目标生理通道的术前三维模型；

术中图像获取模块，用于获取所述内窥镜检测所述目标生理通道得到的当前术中图像

实时模型确定模块，用于基于所述当前术中图像，确定所述目标生理通道的实时三维模型；

实时位置确定模块，用于通过比较所述实时三维模型与所述术前三维模型，确定所述内窥镜在所述目标生理通道的实时位置。

14.一种手术系统，其特征在于，包括数据处理部，以及内窥镜；所述数据处理部用于执行权利要求1至12任一项所述的处理方法。

15.一种电子设备，其特征在于，包括处理器与存储器，

所述存储器，用于存储代码；

所述处理器，用于执行所述存储器中的代码用以实现权利要求1至12任意之一所述的处理方法。

16.一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至12任意之一所述的处理方法。

Images