CN116402861A

CN116402861A - 内窥镜实时追踪方法、装置、计算设备及存储介质

Info

Publication number: CN116402861A
Application number: CN202310678326.9A
Authority: CN
Inventors: 刘润南; 陈日清; 李楠宇; 徐宏; 余坤璋
Original assignee: Hangzhou Kunbo Biotechnology Co Ltd
Current assignee: Hangzhou Kunbo Biotechnology Co Ltd
Priority date: 2023-06-09
Filing date: 2023-06-09
Publication date: 2023-07-07
Anticipated expiration: 2043-06-09
Also published as: CN116402861B

Abstract

一种内窥镜实时追踪方法、装置、计算设备及存储介质，涉及图像处理技术领域，其中该方法包括：采用图像配准方式，得到内窥镜的相机在参考坐标系中的图像位姿信息，根据内窥镜的光纤的第一光纤信息和图像位姿信息，计算出相机对应的参考位置点在参考坐标系中的第一位置信息，根据光纤的第二光纤信息和图像位姿信息，计算出参考位置点在参考坐标系中的第二位置信息，比较第一位置信息和第二位置信息，并根据得到的比较结果对图像位姿信息进行校正。该方法用于确定内窥镜的位置，具有运算速度快、节省计算资源、成本低以及定位精度高的优点。

Description

内窥镜实时追踪方法、装置、计算设备及存储介质

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种内窥镜实时追踪方法、装置、计算设备及存储介质。

背景技术

内窥镜实时追踪技术，是一种旨在确定内窥镜在使用过程中准确到达的位置的技术，目前常用的内窥镜实时追踪技术主要包括：基于相机的图像导航、基于电磁传感器的磁导航以及基于光纤光栅传感器的光纤导航等。

上述基于光纤光栅传感器的光纤导航技术，通常需要重建出的完整的光纤形状，然后通过将得到的光纤形状与生理组织中的生理通道进行形状匹配，确定出内窥镜在生理组织中的位置，因此需要耗费大量的计算资源并且耗费时间较长。

上述基于相机的图像导航技术，通常是先利用内窥镜的相机采集到的图像进行图像匹配，然后基于匹配结果确定出内窥镜在生理组织中的位置，由于相机采集到的图像可能会存在炫光或者气泡等问题，因此容易导致确定出的内窥镜的位置误差较大的问题。

发明内容

本申请实施例提供一种内窥镜实时追踪方法、装置、计算设备及存储介质，可节约计算资源，提高运算速度，并提高对内窥镜实时追踪的效率。

本申请实施例一方面提供了一种内窥镜实时追踪方法，所述内窥镜包括相机以及与所述相机关联的光纤，所述方法包括：

采用图像配准方式，得到内窥镜的相机在参考坐标系中的图像位姿信息；

根据内窥镜的光纤的第一光纤信息和所述图像位姿信息，计算出所述相机对应的参考位置点在所述参考坐标系中的第一位置信息；

根据所述光纤的第二光纤信息和所述图像位姿信息，计算出所述参考位置点在所述参考坐标系中的第二位置信息；

比较所述第一位置信息和所述第二位置信息，并根据得到的比较结果对所述图像位姿信息进行校正。

本申请实施例一方面还提供了一种内窥镜实时追踪装置，包括：

配准模块，用于采用图像配准方式，得到内窥镜的相机在参考坐标系中的图像位姿信息；

计算模块，用于根据内窥镜的光纤的第一光纤信息和所述图像位姿信息，计算出所述相机对应的参考位置点在所述参考坐标系中的第一位置信息；

所述计算模块，还用于根据所述光纤的第二光纤信息和所述图像位姿信息，计算出所述参考位置点在所述参考坐标系中的第二位置信息；

校正模块，用于比较所述第一位置信息和所述第二位置信息，并根据得到的比较结果对所述图像位姿信息进行校正。

本申请实施例一方面还提供了一种计算设备，包括：

存储器和处理器；

所述存储器存储有可执行计算机程序；

与所述存储器耦合的所述处理器，调用所述存储器中存储的所述可执行计算机程序，执行如上述内窥镜实时追踪方法中的各步骤。

本申请实施例一方面还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时，实现如上述实施例提供的内窥镜实时追踪方法。

上述本申请各实施例，通过采用图像配准方式，得到内窥镜的相机在参考坐标系中的图像位姿信息，根据内窥镜的光纤的第一光纤信息和该图像位姿信息，计算出该相机对应的参考位置点在该参考坐标系中的第一位置信息，根据该光纤的第二光纤信息和该图像位姿信息，计算出该参考位置点在该参考坐标系中的第二位置信息，比较该第一位置信息和该第二位置信息，并根据得到的比较结果对该图像位姿信息进行校正，由于一方面仅需要对内窥镜工作通道内较短长度的光纤进行重建，就可以结合光纤重建和图像配准方式，准确得到内窥镜的相机在参考坐标系中的实时位置信息，另一方面还可以对经过图像配准方式得到的内窥镜的相机的图像位姿信息进行校准，保障最终确定出的图像位姿信息的准确性和可靠性，因此不但可以提升运算速度、节约计算资源，而且还可有效避免相机采集到的图像中可能会存在的炫光或者气泡对内窥镜定位的干扰，提高定位精度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的内窥镜实时追踪方法中光纤及其坐标系示意图；

图2为本申请一实施例提供的内窥镜实时追踪方法中光纤与相机位置关系示意图；

图3为本申请一实施例提供的内窥镜实时追踪方法中第一光纤坐标系、第二光纤坐标系、第一相机坐标系和第二相机坐标系示意图；

图4为本申请一实施例提供的内窥镜实时追踪方法的实现流程示意图；

图5为图4中步骤S101的细化流程示意图；

图6为图4中步骤S103的细化流程示意图；

图7为图6中步骤S1032的细化流程示意图；

图8为本申请一实施例提供的内窥镜实时追踪方法中光纤末端弯曲状态示意图；

图9为本申请一实施例提供的内窥镜实时追踪方法中包含光纤的滚动角度的坐标示意图；

图10为本申请一实施例提供的内窥镜实时追踪方法中内窥镜位置误差较大时的示意图；

图11为本申请一实施例提供的内窥镜实时追踪方法中内窥镜位置误差较小时的示意图；

图12为本申请一实施例提供的内窥镜实时追踪装置的结构示意图；

图13为本申请一实施例提供的计算设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种内窥镜实时追踪方法，在内窥镜的工作通道内融合了一段长度较短的光纤，例如光纤的长度为5厘米，可以利用该光纤的形状信息获得重建后的末端姿态信息，因为只使用了一小段光纤的信息，因此光纤耗材也只需要一小段，不需要很长一段足够从病人生理通道入口到末端长度的光纤耗材，节约了成本。同时，结合光纤方式和图像配准方式可大幅提高内窥镜定位准确率。相对于现有技术，运算速度快、节省计算资源，且成本低、精度高。

本申请实施例中内窥镜可以包括胃镜、肠镜以及支气管镜等，内窥镜可以利用其所含的相机采集人体颈部、心脏血管以及胸腔内的气管和支气管等相应生理通道的图像。而本申请实施例中内窥镜可以包括用于图像采集的相机以及光纤等。

为了便于说明，本申请后续实施例中以内窥镜为支气管镜伸入人体内的支气管树为例。

参见图1，图1为本申请内窥镜所含光纤的示意图，其中光纤中包含有多个纤芯，该光纤可以获得由多个纤芯提供的信息，可以在光纤末端定义第一光纤坐标系f：

，可以在光纤首端定义第二光纤坐标系f’：/>

，并且设定第一光纤坐标系f的z轴、第二光纤坐标系f’的z轴均与光纤的截面垂直。

参见图2，图2为本申请内窥镜所含的光纤与相机之间的位置关系的示意图，可以定义相机的第一相机坐标系c：

。将光纤通过内窥镜的工作通道延伸到内窥镜末端，使得光纤末端与内窥镜末端截面重合，那么第一光纤坐标系f的xy平面与第一相机坐标系的xy平面位于同一平面内，其中，内窥镜的工作通道可以是支气管镜鞘管。内窥镜的工作通道包括不可调弯曲区域和可调弯曲区域，使得伸入内窥镜的工作通道的光纤也包括不可调弯曲区域和可调弯曲区域。其中，光纤末端为光纤靠近可调弯曲区域的一端，光纤首端为靠近不可调弯曲区域的一端。

参见图3，已知光纤长度为

，例如光纤长度/>

可以为5厘米，在沿第一相机坐标系c的/>

轴负方向/>

处建立一个与第一相机坐标系c相同朝向的第二相机坐标系c’：/>

，相当于将第一相机坐标系c沿光纤末端向光纤首端方向平移/>

至第一相机坐标系c下的点[0，0，/>

]处形成第二相机坐标系c’，可以将第二相机坐标系c’的原点作为参考位置点。即第一光纤坐标系的xy平面与第一相机坐标系xy平面位于同一平面内，第二光纤坐标系的xy平面与第二相机坐标系xy平面位于同一平面内。

参见图4，图4为内窥镜实时追踪方法的流程示意图，该内窥镜包括相机以及与该相机关联的光纤，该方法包括：

S101、采用图像配准方式，得到内窥镜的相机在参考坐标系中的图像位姿信息；

参考坐标系即CT坐标系，也即虚拟图像对应的参考坐标系。

相机在参考坐标系中的图像位姿信息，是指在利用内窥镜的相机采集真实内窥镜图像时，该相机在参考坐标系中的位姿数据。其中，位姿数据可以包括位置和姿态。

具体地，参见图5，步骤S101进一步包括：

S1011、根据生理通道的CT数据获取虚拟数据库，该虚拟数据库中记录有若干对应于该生理通道的虚拟图像以及各个虚拟图像所对应的图像位姿；

生理通道可以是支气管树，可以利用CT设备对支气管树进行扫描，获得相应的CT数据，基于CT数据可以得到重建的三维的虚拟支气管树。而在重建得到的三维的虚拟支气管树中，以不同的位姿可以渲染出对应于支气管树的虚拟图像，从而可以在虚拟数据库中存储若干虚拟图像及其对应的在参考坐标系下的图像位姿。其中，CT数据可以包括CT图像。

S1012、将通过该内窥镜的相机采集到的真实内窥镜图像与该虚拟数据库所含的虚拟图像进行比较，确定匹配于该真实内窥镜图像的目标虚拟图像；

S1013、将该目标虚拟图像对应的在该参考坐标系下的图像位姿，确定为该相机在该参考坐标系中的图像位姿信息。

获取内窥镜的相机采集到的真实内窥镜图像，然后将该真实内窥镜图像与虚拟数据库所含的各个虚拟图像进行相似度计算，从而确定出虚拟数据库中与真实内窥镜图像的相似度最高的目标虚拟图像，将虚拟数据库中记录的对应于目标虚拟图像的图像位姿作为内窥镜的相机采集该真实虚拟图像时的图像位姿信息。

当然，为了使得通过图像配准方式得到的支气管镜的相机在参考坐标系中的图像位姿信息更加准确，可以获得支气管镜的相机在临近气道分叉口处获得的真实内窥镜图像，同时，可以基于重建的三维的虚拟支气管树确定出其所含的气道的中心线，然后根据确定出的气道的中心线得到虚拟支气管树中的各个分叉口，从而可以在虚拟数据库中记录临近各个分叉口的图像位姿以及相应渲染得到的虚拟图像，而由于在支气管树中临近分叉口的图像所含的特征信息较多，可以使得后续确定出的支气管镜的相机的图像位姿信息更加准确，同时可以提升真实内窥镜图像与虚拟图像之间的匹配效率和准确性。

S102、根据内窥镜的光纤的第一光纤信息和该图像位姿信息，计算出相机对应的参考位置点在该参考坐标系中的第一位置信息；

由于内窥镜的相机和光纤末端之间的位置非常接近，内窥镜的相机与光纤末端之间的距离1-2毫米，为了便于后续的计算和处理，本申请中设置第一相机坐标系c和第一光纤坐标系f的原点重合，并且第一相机坐标系c的z轴与第一光纤坐标系f的z轴一致，那么同时上述第二相机坐标系c’和第二光纤坐标系f’的原点也重合，第二相机坐标系f’的z轴与第二光纤坐标系c’的z轴一致。

第一光纤信息具体为该相机与该参考位置点之间的光纤长度；参考位置点位于光纤的不可调弯曲区域，或，位于该参考位置点靠近光纤的不可调弯曲区域，从而使得在内窥镜的工作通道的可调弯曲区域被弯曲的情况下，参考位置点在参考坐标系中的位姿不发生改变或者改变较小，因此可减少后续计算的偏差。

获取该相机与该参考位置点之间的光纤长度

，确定该内窥镜所处支气管树的中心线，结合该图像位姿信息和该光纤长度，计算出位于确定出的该中心线上的该第一位置信息。

而第一相机坐标系c的原点o_c与第一光纤坐标系f的原点o_f重合，第二相机坐标系c’和第二光纤坐标系f’的原点重合，因而第二光纤坐标系f’和第二相机坐标系c’相对于第一相机坐标系c的平移向量是相同的。

如图10和图11所示，可以通过图像配准方式得到内窥镜的相机在参考坐标系中的图像位姿信息，确定出内窥镜的相机在参考坐标系下的具体位置①，同时，基于上述重建得到的三维虚拟支气管树所含的中心线，计算出内窥镜所在支气管的气道分支对应的中心线的表达式。然后计算出支气管气道分支对应的中心线上与具体位置①相距为光纤长度

的具体位置②，并将具体位置②作为参考位置点在参考坐标系中的第一位置信息/>

，其中，左上角标/>

的含义代表该第一位置信息是根据光纤长度及气道中心线计算得到。

S103、根据光纤的第二光纤信息和该图像位姿信息，计算出该参考位置点在该参考坐标系中的第二位置信息；

参见图6，步骤S103进一步包括：

S1031、根据光纤的形状信息，得到光纤末端对应的第一光纤坐标系与光纤首端对应的第二光纤坐标系之间的首末端转换关系；

其中，光纤末端位于光纤靠近相机处，光纤首端位于光纤远离相机处；

通过光纤的形状传感功能获得光纤的形状信息，并根据该形状信息，在虚拟支气管图像中重建光纤的三维形状，通过光纤的三维形状重建，计算该第一光纤坐标系f和该第二光纤坐标系的f’之间的首末端转换关系

。其中，形状信息可以包括光纤所含纤芯的反馈波长、标定波长以及形状参数等。该首末端转换关系中可以包括平移矩阵和旋转矩阵。

S1032、获取相机对应的第一相机坐标系与第一光纤坐标系之间的第一指定转换关系、第二光纤坐标系与参考位置点对应的第二相机坐标系之间的第二指定转换关系；

参见图7，具体地，步骤S1032可以包括：

步骤S10321、在光纤的可调弯曲区域属于弯曲状态时，获取第一相机坐标系与第二相机坐标系之间的初始转换关系；

具体的，首先，在光纤的可调弯曲区域属于非弯曲状态时，得到第二相机坐标系与参考坐标系之间的转换关系。然后，在光纤的可调弯曲区域属于弯曲状态时，通过图像配准得到第一相机坐标系与参考坐标系之间的转换关系。最后，结合第二相机坐标系与参考坐标系之间的转换关系和第一相机坐标系与参考坐标系之间的转换关系，得到第一相机坐标系与第二相机坐标系之间的初始转换关系。

参见图8，控制支气管镜鞘管的可调弯曲区域处于不弯曲的状态，定义此时刻为

，获取时刻为/>

时相机在参考坐标系下的位姿，可用第一相机坐标系c和参考坐标系之间的转换矩阵/>

表示，转换矩阵/>

包括/>

时刻下第一相机坐标系c与参考坐标系之间的旋转矩阵和平移矩阵。

支气管镜的鞘管在不弯曲状态下近似为圆柱体，因此第二相机坐标系c’与第一相机坐标系c之间的变换关系仅为平移。可用转换矩阵

表示在/>

时刻第二相机坐标系c’相对于第一相机坐标系c的转换关系：

；

在

时刻，第二相机坐标系c’在参考坐标系下的位姿可用转换矩阵/>

表示，则：

。

参见图8，在不移动支气管镜的情况下，控制支气管镜末端鞘管的可调弯曲区域处于弯曲的状态，定义此时刻为

，通过图像配准得到第一相机坐标系与参考坐标系之间的转换关系，即得到第一相机坐标系c与参考坐标系的转换关系/>

；

由于不移动支气管镜，调弯支气管镜末端鞘管的可调弯曲区域和不可调弯曲区域均未发生移动，那么包含参考位置点的光纤首端的截面也没有移动，所以

时刻的第二相机坐标系c’在参考坐标系中的位姿与/>

时刻的第二相机坐标系c’在参考坐标系中的位姿相同，即：

。

结合第二相机坐标系与参考坐标系之间的转换关系和第一相机坐标系与参考坐标系之间的转换关系，得到第一相机坐标系与第二相机坐标系之间的初始转换关系：

。

步骤S10322、根据光纤的形状信息，确定第一光纤坐标系与第二光纤坐标系之间的初始转换关系；

在

时刻时，即在支气管镜末端鞘管的可调弯曲区域处于弯曲的状态，也就是在光纤的可调弯曲区域属于弯曲状态时，根据光纤所含的纤芯获得相应的形状信息，然后根据获得的形状信息，得到第一光纤坐标系f相对于第二光纤坐标系f’之间的初始转换关系/>

：

；

其中，r11~r33表示第一光纤坐标系f相对于第二光纤坐标系f’的旋转矩阵，

、/>

、/>

表示/>

时刻第一光纤坐标系f相对于第二光纤坐标系f’的平移矩阵。

步骤S10323、计算得到第一指定转换关系和第二指定转换关系。

结合第一光纤坐标系与第一相机坐标系之间的第一关联关系、第二光纤坐标系与第二相机坐标系之间的第二关联关系、第一相机坐标系与第二相机坐标系之间的初始转换关系、第一光纤坐标系与第二光纤坐标系之间的初始转换关系，计算得到第一指定转换关系和第二指定转换关系；

其中，第一关联关系包括第一光纤坐标系f与第一相机坐标系c的原点重合，并且第一光纤坐标系f和第一相机坐标系c均包含与光纤的截面垂直的同一坐标轴；

第二关联关系包括第二光纤坐标系f’与第二相机坐标系c’的原点重合，并且第二光纤坐标系f’和第二相机坐标系c’均包含与光纤的截面垂直的同一坐标轴；

该第一指定转换关系是第一相机坐标系c与第一光纤坐标系f之间的转换关系；

该第二指定转换关系是第二光纤坐标系f’与第二相机坐标系c’之间的转换关系。

计算得到第一相机坐标系与第一光纤坐标系之间的第一指定转换关系和第二光纤坐标系与第二相机坐标系第二指定转换关系，具体包括：

由于光纤是以一个随机的滚动角度

伸入内窥镜工作通道当中，如图9所示，由于第一光纤坐标系的xy平面与第一相机坐标系xy平面位于同一平面，第二光纤坐标系的xy平面与第二相机坐标系xy平面位于同一平面，第一相机坐标系和第一光纤坐标系的原点重合，并且第一相机坐标系的z轴与第一光纤坐标系的z轴一致，同时上述第二相机坐标系和第二光纤坐标系的原点也重合，第二相机坐标系的z轴与第二光纤坐标系的z轴一致，那么第一光纤坐标系的xy平面相对于第一相机坐标系的xy平面之间的夹角为该滚动角度/>

，第二光纤坐标系的xy平面与第二相机坐标系的xy平面之间的夹角也为该滚动角度/>

。由于该滚动角度/>

未知，则第二光纤坐标系或第一光纤坐标系相对于参考坐标系的变换关系也未知。那么，可通过/>

定义第二指定转换关系/>

的表达式为：

；

其中，

和/>

分别表示余弦函数（cos）和正弦函数（sin）。

根据该第二指定转换关系和步骤S10322中得到的第一光纤坐标系f相对于第二光纤坐标系f’之间的初始转换关系

，得到第一光纤坐标系f相对于第二相机坐标系c’的转换关系/>

：

。

进一步地，由于第一相机坐标系c的原点o_c与第一光纤坐标系f的原点o_f重合，所以该两个坐标系原点o_c和o_f在第二相机坐标系c’中的平移向量（也即坐标值）相等，相机首端坐标系c’与光纤末端坐标系f的平移向量

，等于相机首端坐标系c’与相机末端坐标系c的平移向量/>

；

，

已知转换矩阵T由旋转矩阵R和平移向量P组成：

，

第一相机坐标系c与第一光纤坐标系f的z轴重合，任意一点在z轴坐标值相等，因此公式

又可简化为：

，

式中下标（1，2）表示向量P中对应的元素组成的向量。即，上式中不包含z轴数据。

将上述

、/>

带入/>

中，可得到：

。

根据上式可求得滚动角度

；

将滚动角度

值带入到上述/>

的表达式中，可求得在/>

时刻第二光纤坐标系f’相对于相机参考坐标系c’的转换关系/>

。

并且在支气管镜的工作过程中，光纤与相机之间的位置关系不会发生改变，因而上述计算得到的转换关系在对内窥镜的实时追踪的过程中是固定不变的，即：

，

其中，

为任意时刻。

至此可得第一相机坐标系与第一光纤坐标系之间的第一指定转换关系

和第二光纤坐标系与第二相机坐标系第二指定转换关系/>

。

S1033、根据首末端转换关系、第一指定转换关系和第二指定转换关系，得到第一相机坐标系和第二相机坐标系之间的目标转换关系；

根据前述步骤S1031计算得到的首末端转换关系

，上述计算得到的第一指定转换关系/>

和第二指定转换关系/>

，实时计算出支气管镜导航追踪过程中第一相机坐标系c和第二相机坐标系c’之间的目标转换关系：

，

其中，

。

S1034、根据该目标转换关系和图像位姿信息，得到第二位置信息。

在步骤S101中可以通过图像配准方式，计算得到支气管镜的相机在参考坐标系（即CT坐标系）下的图像位姿信息

，结合该图像位姿信息/>

和目标转换关系/>

，计算得到相机的参考位置点在参考坐标系下的位姿/>

：

。

通过光纤形状确定第二相机坐标系c’的原点（即参考位置点）在参考坐标系下的第二位置信息：

具体地，根据上式得到的位姿

，通过公式/>

，确定该参考位置点在参考坐标系下的具体位置③，参见图10和图11，并将具体位置③作为该参考位置点在参考坐标系下的第二位置信息/>

，其中，左上角标/>

的含义代表该第二位置信息是基于光纤的形状信息计算出的。

S104、比较该第一位置信息和该第二位置信息，并根据得到的比较结果对该图像位姿信息进行校正。

比较在步骤S102计算得到的参考位置点的第一位置信息

和在步骤S1034计算得到的参考位置点的第二位置信息/>

，即，比较图10和图11所示的具体位置②和具体位置③的距离，若该距离小于预设阈值，确认该第一位置信息和该第二位置信息的偏差较小；若该距离不小于预设阈值，确认该第一位置信息和该第二位置信息的偏差较大。

图10为分别为该第一位置信息和该第二位置信息的偏差较大的支气管镜的位姿图像示意图，图11为该第一位置信息和该第二位置信息的偏差较小的支气管镜的位姿图像示意图。

比较该第一位置信息和该第二位置信息的具体比较方法可以是求二者的均方根误差：

，

在该比较结果小于预设阈值时，将通过图像配准方式得到的图像位姿信息

当作当前帧的最终位姿，并存储此帧对应在步骤S1034中计算得到的第二相机坐标系c’在CT坐标系下的位姿的/>

。

在该比较结果不小于预设阈值的情况下，获取该参考位置点对应的第二相机坐标系c’与该参考坐标系之间的历史转换关系；其中，该历史转换关系为上一帧图像的第二相机坐标系c’与参考坐标系之间的转换关系

；其中假设支气管镜的相机当前采集到的图像为第n帧图像，并且对应存储的第二相机坐标系c’与CT坐标系之间的转换关系/>

，那么相应的历史转换关系中第二相机坐标系c’与CT坐标系之间的转换关系可以表示为/>

；n为大于等于1的整数，n表述采集到图像的帧序。该历史转换关系还可以是当前采集到的第n帧图像之前的第m帧图像，m是小于n的整数，m可以按照实际需求进行设置，本说明书并不对此进行限制。

根据该历史转换关系

和该目标转换关系/>

，对该图像位姿信息进行校正，估算出当前帧图像中相机在参考坐标系下的位姿：

那么可以将内窥镜的相机采集当前帧图像时在CT坐标系下的图像位姿信息更新为上述计算得到的

，从而实现对采用图像配准方式得到的支气管镜的相机在采集当前帧图像时在CT坐标系下的图像位姿信息进行校正，结合光纤信息和图像配准方式，可以有效避免得到的图像位姿信息存在偏差，显著提升了获得的图像位姿信息的准确性与可靠性，有助于帮助相关操作者及时发现异常并进行相应的处理，实现针对内窥镜的实时追踪。

每一帧内窥镜图像经过上述处理后得到的相机位姿，相对于上一帧内窥镜图像处理后得到的相机位姿更加准确。

本实施例中，通过采用图像配准方式，得到内窥镜的相机在参考坐标系中的图像位姿信息，根据内窥镜的光纤的第一光纤信息和该图像位姿信息，计算出该相机对应的参考位置点在该参考坐标系中的第一位置信息，根据该光纤的第二光纤信息和该图像位姿信息，计算出该参考位置点在该参考坐标系中的第二位置信息，比较该第一位置信息和该第二位置信息，并根据得到的比较结果对该图像位姿信息进行校正，由于一方面仅需要对内窥镜工作通道内较短长度的光纤进行重建，就可以结合光纤重建和图像配准方式，准确得到内窥镜的相机在参考坐标系中的实时位置信息，另一方面还可以对经过图像配准方式得到的内窥镜的相机的图像位姿信息进行校准，保障最终确定出的图像位姿信息的准确性和可靠性，因此不但可以提升运算速度、节约计算资源，而且还可有效避免相机采集到的图像中可能会存在的炫光或者气泡对内窥镜定位的干扰，提高定位精度。

参见图12，本申请一实施例提供的内窥镜实时追踪装置的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。该装置可单独配置在具有数据处理功能的计算机设备中，该装置包括：

配准模块201，用于采用图像配准方式，得到内窥镜的相机在参考坐标系中的图像位姿信息；

计算模块202，用于根据内窥镜的光纤的第一光纤信息和该图像位姿信息，计算出该相机对应的参考位置点在该参考坐标系中的第一位置信息；

计算模块202，还用于根据该光纤的第二光纤信息和该图像位姿信息，计算出该参考位置点在该参考坐标系中的第二位置信息；

校正模块203，用于比较该第一位置信息和该第二位置信息，并根据得到的比较结果对该图像位姿信息进行校正。

进一步地，计算模块202，还用于获取该相机与该参考位置点之间的光纤长度；

确定该内窥镜所处生理通道的中心线；

结合该图像位姿信息和该光纤长度，计算出位于确定出的该中心线上的该第一位置信息。

计算模块202，还用于根据该光纤的形状信息，得到光纤末端对应的第一光纤坐标系与光纤首端对应的第二光纤坐标系之间的首末端转换关系；

其中，该光纤末端位于该光纤靠近该相机处，该光纤首端位于该光纤远离该相机处；

获取该相机对应的第一相机坐标系与该第一光纤坐标系之间的第一指定转换关系、该第二光纤坐标系与该参考位置点对应的第二相机坐标系之间的第二指定转换关系；

根据该首末端转换关系、第一指定转换关系和该第二指定转换关系，得到该第一相机坐标系和该第二相机坐标系之间的目标转换关系；

根据该目标转换关系和该图像位姿信息，得到该第二位置信息。

光纤包括不可调弯曲区域和可调弯曲区域，参考位置点位于光纤的不可调弯曲区域，或参考位置点靠近光纤的不可调弯曲区域。

计算模块202，还用于在该光纤的可调弯曲区域属于弯曲状态时，获取该第一相机坐标系与该第二相机坐标系之间的初始转换关系，并根据该光纤的形状信息，确定该第一光纤坐标系与该第二光纤坐标系之间的初始转换关系；

结合该第一光纤坐标系与该第一相机坐标系之间的第一关联关系、该第二光纤坐标系与该第二相机坐标系之间的第二关联关系、该第一相机坐标系与该第二相机坐标系之间的初始转换关系、该第一光纤坐标系与该第二光纤坐标系之间的初始转换关系，计算得到该第一指定转换关系和该第二指定转换关系。

其中，第一关联关系包括第一光纤坐标系与第一相机坐标系的原点重合，并且第一光纤坐标系和第一相机坐标系均包含与光纤的截面垂直的同一坐标轴，第二关联关系包括第二光纤坐标系与第二相机坐标系的原点重合，并且第二光纤坐标系和第二相机坐标系均包含与光纤的截面垂直的同一坐标轴。

计算模块202，还用于在该光纤的可调弯曲区域属于非弯曲状态时，得到该第二相机坐标系与该参考坐标系之间的转换关系；

在该光纤的可调弯曲区域属于弯曲状态时，通过图像配准得到该第一相机坐标系与该参考坐标系之间的转换关系；

结合该第二相机坐标系与该参考坐标系之间的转换关系和该第一相机坐标系与该参考坐标系之间的转换关系，得到该第一相机坐标系与该第二相机坐标系之间的初始转换关系。

校正模块203，还用于在该比较结果不小于预设阈值的情况下，获取该参考位置点对应的第二相机坐标系与该参考坐标系之间的历史转换关系；

根据该历史转换关系和该目标转换关系，对该图像位姿信息进行校正。

配准模块201，还用于根据生理通道的CT数据获取虚拟数据库，该虚拟数据库中记录有若干对应于该生理通道的虚拟图像以及各个虚拟图像所对应的图像位姿；

将通过该内窥镜的相机采集到的真实内窥镜图像与该虚拟数据库所含的虚拟图像进行比较，确定匹配于该真实内窥镜图像的目标虚拟图像；

将该目标虚拟图像对应的在该参考坐标系下的图像位姿，确定为该相机在该参考坐标系中的图像位姿信息。

参见图13，本申请一实施例提供的计算设备的硬件结构示意图。如图13所示，该计算设备包括：存储器401和处理器402。

其中，存储器401存储有可执行计算机程序403。与存储器401耦合的处理器402，调用存储器中存储的可执行计算机程序403，执行上述实施例提供的内窥镜实时追踪方法。

示例性的，该计算机程序403可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在存储器401中，并由处理器402执行，以完成本发明。所述一个或多个模块/单元可以包括上述实施例中的内窥镜实时追踪装置中的各个模块，如：配准模块201、计算模块202和校正模块203。

进一步地，该计算设备还包括：

至少一个输入设备以及至少一个输出设备。

上述处理器402、存储器401、输入设备和输出设备可通过总线连接。

其中，该输入设备具体可为摄像头、触控面板、物理按键或者鼠标等等。该输出设备具体可为显示屏。

进一步的，该计算设备还可包括比图示更多的部件，或者组合某些部件，或者不同的部件，例如网络接入设备、传感器等。

处理器402可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器401可以是例如硬盘驱动存储器，非易失性存储器（例如闪存或用于形成固态驱动器的其它电子可编程限制删除的存储器等），易失性存储器（例如静态或动态随机存取存储器等）等，本申请实施例不作限制。具体的，存储器401可以是该计算设备的内部存储单元，例如：该计算设备的硬盘或内存。存储器401也可以是该计算设备的外部存储设备，例如该计算设备上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器401还可以既包括该计算设备的内部存储单元也包括外部存储设备。存储器401用于存储计算机程序以及终端所需的其他程序和数据。存储器401还可以用于暂时地存储已经输出或者将要输出的数据。

进一步的，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的计算设备中，该计算机可读存储介质可以是前述图13所示实施例中的存储器401。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述各实施例中描述的内窥镜实时追踪方法。进一步的，该计算机可存储介质还可以是USB闪存驱动器（Universal Serial Bus flash disk）、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：USB闪存驱动器、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

在本申请中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一特征和第二特征直接接触，或第一特征和第二特征通过中间媒介间接接触。

而且，第一特征在第二特征“之上”、“上方”和“上面”可以是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度低于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述，意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任意一个或者多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

以上为对本申请所提供的内窥镜实时追踪方法、装置、计算设备及计算机可读存储介质的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims

1.一种内窥镜实时追踪方法，所述内窥镜包括相机以及与所述相机关联的光纤，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据内窥镜的光纤的第一光纤信息和所述图像位姿信息，计算出所述相机对应的参考位置点在所述参考坐标系中的第一位置信息包括：

获取所述相机与所述参考位置点之间的光纤长度；

确定所述内窥镜所处生理通道的中心线；

结合所述图像位姿信息和所述光纤长度，计算出位于确定出的所述中心线上的所述第一位置信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述光纤的第二光纤信息和所述图像位姿信息，计算出所述参考位置点在所述参考坐标系中的第二位置信息包括：

根据所述光纤的形状信息，得到光纤末端对应的第一光纤坐标系与光纤首端对应的第二光纤坐标系之间的首末端转换关系；

其中，所述光纤末端位于所述光纤靠近所述相机处，所述光纤首端位于所述光纤远离所述相机处；

获取所述相机对应的第一相机坐标系与所述第一光纤坐标系之间的第一指定转换关系、所述第二光纤坐标系与所述参考位置点对应的第二相机坐标系之间的第二指定转换关系；

根据所述首末端转换关系、第一指定转换关系和所述第二指定转换关系，得到所述第一相机坐标系和所述第二相机坐标系之间的目标转换关系；

根据所述目标转换关系和所述图像位姿信息，得到所述第二位置信息。

4.根据权利要求3所述的方法，其特征在于，所述光纤包括不可调弯曲区域和可调弯曲区域；

所述参考位置点位于所述光纤的不可调弯曲区域或所述参考位置点靠近所述光纤的不可调弯曲区域。

5.根据权利要求4所述的方法，其特征在于，所述获取所述相机对应的第一相机坐标系与所述第一光纤坐标系之间的第一指定转换关系、所述第二光纤坐标系与所述参考位置点对应的第二相机坐标系之间的第二指定转换关系包括：

在所述光纤的可调弯曲区域属于弯曲状态时，获取所述第一相机坐标系与所述第二相机坐标系之间的初始转换关系，并根据所述光纤的形状信息，确定所述第一光纤坐标系与所述第二光纤坐标系之间的初始转换关系；

结合所述第一光纤坐标系与所述第一相机坐标系之间的第一关联关系、所述第二光纤坐标系与所述第二相机坐标系之间的第二关联关系、所述第一相机坐标系与所述第二相机坐标系之间的初始转换关系、所述第一光纤坐标系与所述第二光纤坐标系之间的初始转换关系，计算得到所述第一指定转换关系和所述第二指定转换关系；

其中，所述第一关联关系包括第一光纤坐标系与所述第一相机坐标系的原点重合，并且所述第一光纤坐标系和所述第一相机坐标系均包含与所述光纤的截面垂直的同一坐标轴，所述第二关联关系包括所述第二光纤坐标系与所述第二相机坐标系的原点重合，并且所述第二光纤坐标系和所述第二相机坐标系均包含与所述光纤的截面垂直的同一坐标轴。

6.根据权利要求5所述的方法，其特征在于，所述在所述光纤的可调弯曲区域属于弯曲状态时，获取所述第一相机坐标系与所述第二相机坐标系之间的初始转换关系包括：

在所述光纤的可调弯曲区域属于非弯曲状态时，得到所述第二相机坐标系与所述参考坐标系之间的转换关系；

在所述光纤的可调弯曲区域属于弯曲状态时，通过图像配准得到所述第一相机坐标系与所述参考坐标系之间的转换关系；

结合所述第二相机坐标系与所述参考坐标系之间的转换关系和所述第一相机坐标系与所述参考坐标系之间的转换关系，得到所述第一相机坐标系与所述第二相机坐标系之间的初始转换关系。

7.根据权利要求6所述的方法，其特征在于，所述比较所述第一位置信息和所述第二位置信息，并根据得到的比较结果对所述图像位姿信息进行校正包括：

在所述比较结果不小于预设阈值的情况下，获取所述参考位置点对应的第二相机坐标系与所述参考坐标系之间的历史转换关系；

根据所述历史转换关系和所述目标转换关系，对所述图像位姿信息进行校正。

8.根据权利要求1所述的方法，其特征在于，所述采用图像配准方式，得到内窥镜的相机在参考坐标系中的图像位姿信息包括：

根据生理通道的CT数据获取虚拟数据库，所述虚拟数据库中记录有若干对应于所述生理通道的虚拟图像以及各个虚拟图像所对应的图像位姿；

将通过所述内窥镜的相机采集到的真实内窥镜图像与所述虚拟数据库所含的虚拟图像进行比较，确定匹配于所述真实内窥镜图像的目标虚拟图像；

将所述目标虚拟图像对应的在所述参考坐标系下的图像位姿，确定为所述相机在所述参考坐标系中的图像位姿信息。

9.一种内窥镜实时追踪装置，其特征在于，所述装置包括：

10.一种计算设备，其特征在于，包括：

存储器和处理器；

所述存储器存储有可执行程序代码；

与所述存储器耦合的所述处理器，调用所述存储器中存储的所述可执行程序代码，执行如权利要求1至8中的任一项所述的内窥镜实时追踪方法中的各步骤。

11.一种非暂时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至8中的任一项所述的内窥镜实时追踪方法。