CN116324897A - 用于重建管状器官的三维表面的方法和系统 - Google Patents

Abstract

实时可视化管腔的三维内表面的方法包括以下步骤：利用经训练的神经网络和弯曲管腔模型来使用从内窥镜获得的图像数据、运动数据以及形状数据的各种组合。可以将三维内表面可以展开以形成二维可视化。

Description

用于重建管状器官的三维表面的方法和系统

技术领域

这里所描述的本发明的实施方式涉及用于重建管状器官的三维表面的方法和系统。特别地，用于重建结肠的三维内表面的方法和系统包括使用来自柔性内窥镜系统的形状数据以及来自内窥镜摄像头的姿态数据，并将该数据拟合至弯曲管腔模型以获得内表面的模型。

背景技术

在全世界的癌症死亡中，结直肠癌具有第二高的死亡率。癌或癌前息肉的早期检测和去除(这两者都可以利用结肠镜筛检以非侵入方式来进行)显著降低了死亡的风险。然而，该手术是不完善的，研究表明即使在最佳条件下也仅检查81％的结肠粘膜。这部分地导致了2％至6％的癌症、5％至10％的“晚期”(良性，>10mm)腺瘤、以及高达22％的小腺瘤在结肠镜检查期间被漏掉。目前，腺瘤检出率(adenomadetection rate，ADR)是结肠镜检查表现的国际公认的关键质量保证标志，然而，这仅仅是所看见的这部分结肠粘膜的替代标志。后者显然是真实的质量指标，但是直到现在尚未有可靠的方法计算该质量指标，在实时方面就更加如此了。

可以将确保充分可视化的术中(“实时”)支持用于引导临床医生并确保良好的可视化和实践。在该手术之后，从该数据获得的度量可以提供术后质量保证和训练。

而且，显然迫切需要能够生成结肠的数字化图的技术，在该图上可以指示组织异常和未看见的区域的位置。这样的信息可以为癌症的检测和准确定位提供显著的改进。然而，仅通过成像已经证明重建结肠的内表面是极具挑战性的，而且仍然没有可用的实际解决方案。这部分是由于器官的高度复杂性，部分是由于内窥镜内缺少容纳双目镜观测(binocular vision)或者基于光的三维传感器的空间。

类似于移动机器人的同时定位和映射(SLAM)，结肠的准确映射也将需要内窥镜的运动与来自摄像头的信息融合。机器人辅助技术定位良好以提供该信息。另外，虽然传统的内窥镜导致结肠的变形，使得配准具有挑战性，但是自推进式内窥镜避免了这种情况，从而使得问题易处理。这种内窥镜的示例可以在King’s College London的专利申请WO2018154326中找到。图6例示了该装置的示例。还参见参考文献[1]和[2]。

提高看见的粘膜的量

在食道、胃、十二指肠镜检查(esophagogastroduodenoscopy，EGD)或上消化道内窥镜检查(upper endoscopy)中，WISENSE通过使用卷积神经网络(CNN)实时记录已经获得的26个所需内窥镜视图中的哪一个视图来监测盲点[3]。这在技术上是相对容易的，因为胃在患者当中是同质的、具有清晰的开始和结束、并且缺少深的遮蔽皱襞(fold)，因此所述视图中的各个视图皆易于可重复地标识。300名参与者的研究表明，该实时反馈将盲点的数量从22％减少到6％。这种方法对于结肠镜检查是不可能的，因为大多数位置无法在解剖学上与内窥镜图像区分开。对于结肠镜检查，存在两类方法用于估计所看见的粘膜的量。

第一类方法测量并鼓励内窥镜以螺旋方式抽出，因为这应该近似地覆盖整个粘膜。University of Minnesota的一个小组测量了来自该方法的对350名学员结肠镜检查的实时反馈影响，并且由于螺旋指示器的实时反馈而显示出这些特征的统计学显著改善[4]。

来自同一组的第二类方法从二维视图重建三维模型，从而外推结肠的未看见的部分，诸如皱襞后面的那些部分[5]。然后，经颜色编码的图形描绘可以指示很可能漏掉的区域，并且内窥镜医师可以选择返回并聚焦在这些区域上。他们的方法需要计算密集的算法，最大为4Hz，并且假定形状基本上是具有皱襞的圆筒形(结肠袋(haustra))。该方法尚未在临床实践中进行测试。

三维重建

为了如上所述生成落入第二类的用于测量所看见的结肠粘膜的量的方法，需要内窥镜图像的三维解释。已经对这种效果作出了许多努力。

诸如从运动恢复形状(SfM)的多视图立体视觉(MVS)方法是用于从多个单目图像来重建对象或场景的形状的成熟技术。然而，由于缺少在结肠中跟踪的独特特征，因此，使用MVS的重建通常是稀疏的，从而导致不准确并且提供很少的信息来例如进行准确配准帧。

最近的研究集中于密集深度估计技术，以便解决这种特征的缺乏。这些方法创建深度图，其中，每一个像素的强度与距该三维位置的距离相关。与近似结肠的总体结构相反，这些方法集中于例如用于测量息肉尺寸的高的逐像素准确度。作为这种聚焦于像素准确度的副产品，深度图仅对所看见的内容进行建模，并且不能预测组织区域是否有漏掉或者近似那些漏掉的区域的几何形状。从阴影恢复形状(SfS)是一种突出的技术，其通过利用神经网络显式地或隐式地对场景的照明条件进行建模，来估计外观与深度之间的关系。应用于结肠镜检查的SfS的限制是现实照明和组织反射特性在整个器官中发生改变，因此不可能完全进行建模。这导致来自错误(诸如对阴影或反射的误解)的噪声和不准确的数据。

结肠映射的另一种方法是基于用于马赛克视频的管道投影，其中，摄像头向前移动通过近似圆筒形的场景。该技术将组织表面映射到虚拟柱面模型上。这种方法的变型已经广泛地应用于小肠的无线胶囊式内窥镜(WCE)。然而，结肠的几何形状明显更复杂，且具有沿着其长度定位的急弯和结肠袋襞(haustral)，从而使得柱面模型所使用的许多假设无效。特别地，结肠的主要限制是其不能处理曲率-对于绝大多数帧将不成立的假设。尽管如此，一个作者还是进行了尝试[6]。

在[7]中呈现了更复杂的圆形广义柱面(CGC)，其尽管类似于管道投影模型，但是从彼此以固定距离定位的多个连续圆构造几何形状，以便形成器官的截面骨架。在[5]中具体针对结肠镜检查研究了类似的概念，其中，在经历插值之前估计到各个结肠袋襞的距离和角度。这项工作的主要限制是它非常复杂，因此对于实时应用是不可行的，并且很可能在不太理想的图像中失败。另外，当不沿结肠腔直视时，算法缺少输入，这是因为没有看见皱襞。

虚拟展开

已经对从虚拟(CT)结肠镜检查中获得的三维数据生成结肠内表面的展开图进行了广泛的研究，以便改善筛查。最流行的技术被称为共形映射(conformal mapping)，其将3D几何结构变形到2D平面上，同时保持局部几何结构的角度，正如Mercator世界地图投影一样。然而，由于缺乏来自光学视频的信息以及增加的处理复杂性，这还没有扩展到传统的结肠镜检查。一个例外是[6]，然而，所提出的方法是极其有限的，仅对未模拟的视频序列的极小部分起作用。光学结肠镜检查仍然是结肠筛查的黄金标准，这是因为组织颜色和纹理是可见的，并且在发现息肉时可以立即介入。类似的映射系统已经被研究用于其它较简单的器官(诸如食管)，但是结肠到目前为止仍然是最具挑战性的。

发明内容

本发明的实施方式通过提供用于重建结肠的三维内表面的方法和系统、以及用于展开三维模型以生成内表面的二维图的方法和系统来解决上述问题。

这里所描述的本发明的一些方面包括整体方法以映射结肠的内表面(粘膜)，在该内表面上标记组织的“漏掉”(即，未看见的)区域以在光学结肠镜检查期间帮助诊断。本发明可以使用弯曲的管状模型来近似地重建结肠的几何形状。传感器信息可以由软体机器人内窥镜(诸如在本申请人的在先专利申请WO2018154326中描述的)来提供并且被称为MorphGI(诸如摄像头的姿态(“姿态数据”)，并且结肠的中心轴线的曲率(“形状数据”)被用于将模型拟合至内窥镜的摄像头图像(“图像数据”)。然后，可以虚拟地展开该模型，以生成结肠粘膜的矩形图像。可以将该图像用于术中或术后。

鉴于上述，根据第一方面，本公开涉及一种可视化管腔中的关注区域的三维内表面的方法。所述方法包括以下步骤：从安装在移动通过关注区域的内窥镜上的摄像头收集图像数据；收集与内窥镜的运动有关的运动数据；收集与内窥镜的形状有关的内窥镜形状数据；将图像数据输入到诸如机器学习算法的算法(例如，神经网络)中，以输出摄像头相对于管腔的姿态数据；以及将姿态数据、运动数据以及内窥镜形状数据输入到模型中，以虚拟地构建关注区域的内表面的三维模型。

该方面提供了这样一种方法，即，该方法用于组合来自被插入管腔中的内窥镜的图像数据、运动数据以及形状数据，以生成管腔的内表面的三维模型。这是通过将至少图像数据(其可以包括来自视频的多个帧)输入到算法(例如，经训练的神经网络)中以获得各个图像帧的摄像头姿态的估计来实现的。然后，将姿态数据、运动数据以及形状数据输入到模型中，以虚拟地构建管腔的内表面。

该方面的优点在于，与仅单独使用图像数据相比，组合图像和形状数据给出了更准确的结果。与图像处理不同，形状感测不需要复杂的场景语义理解，因此更可靠。形状感测可以使用光学感测、机械感测或电磁形状感测来实现，这意味着对于该方法不需要特别适配的内窥镜。

在本发明的第二方面，提供了一种可视化管腔中的关注区域的三维内表面的补充或另选方法。所述方法包括以下步骤：从安装在移动通过关注区域的内窥镜上的摄像头收集图像数据，该图像数据包括多个帧；将所述多个帧输入到经训练以从输入的图像数据确定摄像头姿态和管腔曲率的算法中，并且获得与各个帧相对应的摄像头相对于管腔的姿态数据、以及与管腔曲率相对应的图像形状数据；将姿态数据和图像形状数据输入到弯曲管腔模型中；输出管腔的内表面的多个三维模型，各个模型对应于各个帧；组合所述多个三维模型，以获得关注区域的内表面的最终三维模型。

该方面提供了这样一种方法，即，该方法使用来自被插入管腔中的内窥镜所拍摄的视频的图像帧，并将那些帧输入到经训练的神经网络中，以获得各个图像帧的摄像头姿态的估计。然后，将姿态信息输入到弯曲管腔模型中-可以假定关注区域的恒定曲率的模型。该模型输出管腔的内表面的三维模型。组合所述多个模型不是必要的，可选地，可以单独使用单独模型来提供在该时刻可以看见和无法看见的信息。这个方面是有利的，因为它只需要图像数据来生成三维模型。经训练的神经网络可以单独从图像数据获得足够的信息，以提供足够的输入到弯曲管腔模型中。弯曲管腔模型优于先前使用柱面模型的工作，因为柱面模型所使用的假设对所有管腔无效。例如，柱面模型不能很好地用于结肠。分析了来自12次虚拟结肠镜检查的CT数据，发现5cm结肠段的中位角为60°，10％节段具有120°以上的角度，如图19所示。

根据本发明的第二方面的方法还可以包括以下步骤：收集与内窥镜的形状有关的内窥镜形状数据，该内窥镜的形状与管腔的形状相关；以及将内窥镜形状数据作为附加输入而输入到弯曲管腔模型中。这是有利的，因为除了图像形状数据之外还具有内窥镜形状数据为模型提供了更多信息，从而增加了模型的准确度。

根据上述方面中的任一方面的方法还可以包括以下步骤：使用内窥镜形状数据作为神经网络的附加输入。这是有利的，因为向神经网络提供更多的信息增加了神经网络输出的准确度，并因此增加了模型的输入。

内窥镜形状数据可以使用机械感测或电磁感测来获得。这是有利的，因为这意味着标准内窥镜可以与该方法一起使用而无需修改。具有电磁感测的内窥镜在本领域中是常见的。机械感测是有利的，因为机械感测和建模简单且可靠，并且不需要内窥镜外部的任何传感器。

可以针对相对于图像数据的空间偏移来校正内窥镜形状数据。内窥镜形状数据与图像数据之间的空间偏移可能因以下事实而产生：当摄像头感知机器人前方的位置时，形状感测感知机器人的当前位置。可以通过标识什么内窥镜形状数据对应于什么图像数据来同步图像数据和内窥镜形状数据。内窥镜形状数据与图像数据之间的时间偏移可能是因结肠的形状作为与内窥镜的机械相互作用的结果而随时间改变的可能性产生的。对于软内窥镜，这不是问题，因为软内窥镜顺应结肠的形状，所以随着内窥镜移动通过结肠而结肠不会变形。与此相反，传统的内窥镜随着它们移动通过结肠而易于使结肠变形，尽管这在盲插管(cecal intubation)而不是抽出(withdrawl)期间更为显著。为此，假定时间偏移对于两类内窥镜都是可忽略的，然而，软内窥镜特别适合于这种假设。

内窥镜形状数据和/或图像形状数据可以包括关于管腔的中心轴线的曲率的信息。随着内窥镜移动通过结肠，内窥镜的形状将近似遵循管腔的曲率。

根据本发明的第二方面的方法还可以包括以下步骤：收集与内窥镜的运动有关的运动数据；以及将运动数据作为附加输入而输入到弯曲管腔模型中。这是有利的，因为除了图像数据之外还具有运动数据为模型提供了更多信息，从而增加了可视化的准确度。可以将运动数据用于使图像和形状数据同步(即，校正空间偏移)，和/或将所述多个模型拼接(stitching)在一起，各个模型皆与一个帧相关。

运动数据可以包括插入深度数据。这是有利的，因为随着内窥镜从腔中抽出，使用外部传感器容易测量插入深度。插入深度与管腔内的摄像头的位置(以及由此的运动)线性相关。

内窥镜可以是柔性内窥镜，其代表胃肠内窥镜检查的当前标准，并且通常包含用于形状测量的电磁传感器。这是有利的，因为本发明可以应用于现有的内窥镜而不更改内窥镜的硬件。

柔性内窥镜可以是软体机器人。软体机器人可以包括能够顺应管腔的形状的一个或更多个软节段。所述一个或更多个软节段可以各自包括至少一个流体致动(例如，以液压方式或气动方式)的内室。可以将所述至少一个经液压致动的内室中的压力和体积用于感测软体机器人的形状，以提供形状数据。这些特征是有利的，因为它们使得能够使用固有感测来感测内窥镜的形状。这意味着不需要额外的传感器来准确地感测内窥镜的形状，从而限制了机器人的成本和复杂性。如上提及，这也是有利的，因为软体机器人可以是特别柔性的，因此当软体机器人移动时不会使结肠的形状发生变形，从而导致可忽略的时间偏移。

该模型可以假定关注区域的恒定曲率。这是有利的，因为以前的工作假定关注区域是圆筒形的。然而，由于结肠的几何形状是复杂的，因此，这种假设对于结肠不能很好地起作用。假定给定区域的曲率恒定的模型比柱面模型给出更好的结肠建模结果。以前已经尝试更准确地对结肠进行建模的工作导致高度复杂的分析，这不适于实时应用。恒定曲率模型在过于简单且不准确的柱面模型(cylinder model)与过于复杂的不切实际的模型之间取得平衡。另选地，曲率不需要是恒定的，可以从由神经网络处理的图像帧、或者从随时间的多个形状测量结果、或者通过使用具有用于S型曲线的多个节段的柔性内窥镜来推断更复杂的曲率。

该模型可以假定关注区域的非圆形截面和/或变化截面。这是有利的，因为非圆形截面或可变截面可以更好地近似关注管腔的几何形状，例如，结肠的横剖面(transversesection)通常具有圆角三角形形状。

根据上述方面中的任一方面的方法还可以包括以下步骤：虚拟地展开三维模型，以形成管腔的内表面的二维模型，其中，该二维模型示出摄像头无法获得图像数据的盲点的位置。这是有利的，因为其向内窥镜医师示出了内窥镜未充分扫描的区域，提示他们返回并扫描那些区域。此外，展开三维模型以生成二维图使得内窥镜医师更快速且更容易地观察内部结构。对于三维模型，内窥镜医师将必须虚拟地“移动通过”模型以对其进行评定。而二维模型可以容易一目了然地观察。

三维模型可以实时更新。这在执行内窥镜检查时是有利的，就像发现漏掉了区域一样，内窥镜医师可以立即返回到那些区域，而不是必须在稍后的日子将患者叫回来进行进一步的测试。

图像数据可以是光学图像数据。这是有利的，因为光学结肠镜检查仍然是结肠筛查的黄金标准，这是因为组织颜色和纹理是可见的。

管腔可以是胃肠道，优选为结肠。如贯穿全文所描述的，本发明对于结肠特别有用，因为其复杂的几何形状呈现了本发明所致力于解决的挑战，例如，结肠不是近似圆筒形的，并且具有变化截面。

神经网络另外可以输出管腔的要被用作该模型的附加输入的特性。管腔的特性可以包括以下项中的一个或更多个：

关注区域的曲率大小；

关注区域的曲率的方向；

关注区域的长度；

关注区域的半径；

关注区域的一个或更多个截面；

关注区域的一个或更多个结肠袋长度；以及

关注区域的一个或更多个结肠袋深度。

该特征是有利的，尤其是在不提供形状数据的时候，这是因为神经网络可以从图像数据估计模型所需的特性。

在本发明的第三方面，提供了一种检测结肠的内表面的缺失数据(missing data)的方法。所述方法包括以下步骤：将内表面的三维模型输入到展开程序，该模型是从通过被插入结肠中的内窥镜拍摄的光学图像数据而获得的；以及输出结肠的内表面的二维模型。其中，该二维模型突出显示没有可用图像数据的区域。

如上面关于第一方面和第二方面所描述的，检测缺失数据和展开模型是有利的，因为它允许内窥镜医师看见哪些区域没有被内窥镜充分扫描，提示他们返回并扫描那些区域。此外，展开三维模型以生成二维图使得内窥镜医师更快速且更容易地观察内部结构。对于三维模型，内窥镜医师将必须虚拟地“移动通过”模型以对其进行评定。而二维模型可以容易一目了然地观察。然而，检测缺失数据和展开模型的过程不一定必须与上述二维模型一前一后地执行，尽管这种布置是优选的。

在本发明的第四方面，提供了一种可视化管腔中的关注区域的三维内表面的系统。该系统包括处理器以及包括计算机程序代码的存储器。该存储器和计算机程序代码被配置成，与处理器一起执行根据上面所描述方面中的任一方面的方法。

上面所描述的系统还可以包括内窥镜，该内窥镜被设置成，向存储器提供图像数据、形状数据以及运动数据中的一个或更多个。

在本发明的第五方面，提供了一种检测结肠的内表面的缺失数据的系统。该系统包括处理器以及包括计算机程序代码的存储器。该存储器和计算机程序代码被配置成，与处理器一起执行根据上面所描述的第三方面的方法。

本发明的又一方面包括一种对受治疗者的体内管腔进行建模的计算机实现的系统，该系统包括：至少一个处理器；以及至少一个计算机可读存储介质，所述至少一个计算机可读存储介质存储计算机可读指令，该计算机可读指令在由处理器执行时使处理器：i)接收在管腔的内窥镜检查期间从受治疗者的体内管腔内获得的内窥镜运动数据、内窥镜图像数据、以及内窥镜形状数据；ii)处理内窥镜运动数据、内窥镜图像数据、以及内窥镜形状数据，以确定管腔的虚拟三维模型，该管腔的虚拟三维模型是由一系列邻接的弯曲柱面模型形成的，该系列邻接的弯曲柱面模型是基于内窥镜图像数据的每图像帧来获得的，所述管腔的所述虚拟三维模型根据所述内窥镜的视场和作为结果的可用内窥镜图像数据利用所述内窥镜图像数据在可能的情况下被纹理映射。

在上面的内容内，计算机可读指令可以在由处理器执行时还使该处理器：

iii)通过将邻接的弯曲柱面模型虚拟展开成二维图像，来生成虚拟三维模型的虚拟内表面的二维图像，该内窥镜图像数据的纹理映射在可用的情况下从虚拟三维模型空间被变换到二维图像空间；

其中，该虚拟展开和内窥镜图像数据使得在被映射到虚拟三维模型上的内窥镜图像数据纹理不足以完全填充(populate)二维图像的情况下，接着将二维图像的未填充部分以对于用户而言是明显为没有被填充的这种方式来纹理化，其中，图像的未填充的图像部分示出管腔的表面的在内窥镜图像数据中未被成像的那些部分。

附图说明

下面，仅通过示例的方式并且参照附图来进一步描述本发明的实施方式，其中，相同标号指的是相同的部分，并且其中：

图1是根据本发明的第一实施方式的流程图；

图2是示出与关注管腔中的多个图像帧相对应的多个环面模型(torus model)的图；

图3是根据本发明的第二实施方式的流程图；

图4是根据本发明的实施方式的内窥镜和计算机的框图；

图5是根据本发明的实施方式的系统的框图；

图6是可以与本发明一起使用的柔性自推进机器人结肠镜的CGI图像；

图7是示出用于组合形状感测、插入深度以及摄像头图像以拟合结肠模型的步骤的图；

图8是示出组合来自三个传感器的输入以将结肠模型拟合至当前视频帧的过程的流程图；

图9是示出从外部将机器人的某一节段弯曲到大致90度(左)和180度(右)的图像。该节段的所测量的形状的实时可视化在后面的用户界面上是可见的；

图10是示出在经液压致动状态和未致动状态两者下的MorphGI软体机器人节段的预期压力对比正常压力的曲线图；

图11是示出(左)如何使用输入帧、摄像头运动以及经拟合的结肠模型来预测视频的下一帧，以及(右)如何将所预测的帧与真值(ground truth)帧进行比较，从而提供用于训练CNN的监督的图；

图12是示出恒定曲率环面模型的图，其中，r是该节段的半径，d_max是节段的长度，R是恒定曲率大小，以及是恒定曲率的方向；

图13(左)是具有典型圆角三角形形状的结肠的横剖面的图像；图13(右)是近似结肠的结肠袋襞的可变半径截面的例示图；

图14是对于垂直于摄像头视图的平移，新视图合成与真值的定性(左)和定量(右)比较。利用mSSIM测量相似性，并且正mSSIM变化指示环面模型优于柱面模型。曲率k是R(图12所示)的倒数并且是以mm^-1来测量的；

图15是从医用结肠镜检查体模(phantom)拍摄的图像，在该医用结肠镜体模上投影有环面模型；

图16是对于该示例用棋盘纹理化的柱面的摄像头图像的虚拟展开过程的例示图。在展开的图像中，y轴是沿着柱面的距离，x轴是绕其截面的角度，以及灰白网格表示未看见的区域，诸如垂直于摄像头的那些区域；

图17示出了虚拟展开直结肠段(曲率，k＝0mm^-1)的结果。d是沿着结肠的距离，v是绕其截面的角度；

图18示出了使用柱面模型和环面模型来虚拟展开结肠段的比较。示出了从上到下增加曲率k的三个节段。在展开的图像中，y轴是沿着结肠多达100mm的距离d，x轴是绕其截面的角度v，以及灰白网格表示未看见的组织区域；

图19示出了5cm结肠段的两端之间的角度的直方图。竖直线分别示出了第50、第90、第95以及第99百分位数。从12名不同患者的虚拟结肠镜沿着结肠以2mm步长提取节段；

图20示出了结肠中最常见的盲点有多少位于急弯(acute bend)处，由“Cottonand Williams’Practical Gastrointestinal Endoscopy:The Fundamentals”提供；以及

图21示出了组织区域可能是怎样隐藏在结肠袋襞后面的。

具体实施方式

概述

本发明的实施方式被用于可视化体内管腔的内表面。将内窥镜插入关注管腔(例如，结肠)中，并且随着内窥镜从管腔中缓慢抽出，拍摄前向视场(forward-facing fieldof view)的一系列图像(可选地采用视频的形式)。然后，将各个图像用作经训练的神经网络的输入，该神经网络可以拍摄图像并且输出姿态数据(在拍摄图像时摄像头的位置和取向)。然后，程序取得姿态数据(以及可选地，取得从神经网络确定的和/或从内窥镜本身的形状感测确定的管腔的附加特性)，并且预测在拍摄图像的位置处的管腔的形状，并且将管腔的形状建模为弯曲管的某一区段。然后，对该系列中的所有图像重复该步骤，使得可以对关注管腔的整个长度的三维结构进行建模和可视化。一旦三维结构被建模，该模型就可以被“展开”，以形成采用管腔的内部结构的二维图的形式的可视化。在这个图上，可以将尚未被内窥镜成像的区域突出显示，以允许内窥镜医师返回到那些区域并确保它们被成像。另外或者另选地，可以将尚未被内窥镜成像的区域在三维模型上突出显示。

图1例示了本发明的一个实施方式。被插入关注管腔内的内窥镜100收集图像数据102、运动数据104以及形状数据106。图像数据102包括在内窥镜100从管腔中抽出时该内窥镜的摄像头的前向视场的多个快照。运动数据104可以包括内窥镜100的插入深度，该插入深度随着内窥镜100的抽出而随时间减小。可以在内窥镜100的外部测量插入深度。插入深度与管腔内的摄像头位置有关。形状数据106可以从内窥镜100自身上的形状传感器收集-这可以使用电磁传感器(如果内窥镜是传统的内窥镜)或机械形状感测(如果内窥镜是软体机器人，诸如WO2018154326中所描述的)来实现。

然后，将图像数据102以及可选地将形状数据106用作经训练的卷积神经网络(CNN)110的输入。神经网络110可以分析数据输入102、106，以计算在拍摄各个单独图像时，内窥镜的摄像头的位置和取向(姿态数据112)是什么。

然后，可以将与各个图像有关的姿态数据112、运动数据104、以及可选地将与各个图像有关的形状数据106用作程序120的输入，以用于模拟管腔的三维结构。可以将形状数据106用于估计模型所需的附加参数-即，恒定曲率的大小和方向，以及管腔的待建模区段的长度和半径。程序输出各个图像的对管腔的某一区段的预测。这在图2中进行了例示。这些预测210a至210e采用曲线环面段的形式。因此，各个图像帧皆具有管腔200的所述区段的与该帧有关的对应预测210a至210e。然后，可以组合所述多个预测210a至210e，以形成管腔的由内窥镜穿过的部分的完整模型。然而，组合来自各个帧的预测并不是必要的。各个预测单独地仍然可以提供就在那一点可以看见和无法看见的信息。当组合所述多个预测时，弯曲的环面段重叠(例如，212)。该重叠212增加了完整模型的准确度，这是因为它具有用于那些重叠区段212的多个信息源。建模程序的最终结果(下面更详细地描述)是管腔的三维模型122。

然后，可以使用展开程序130展开三维模型122，从而得到管腔200的内表面的二维图132。二维图132使得能够预测任何“盲点”-即，在筛查过程期间很可能被内窥镜摄像头漏掉的区域。然后，这允许内窥镜医师返回到这些位置并单独对它们成像。二维图132的另一优点是容易观察。快速观察二维图像比虚拟地移动通过管腔200的三维可视化要容易得多。

图3例示了本发明的另一实施方式。除了不涉及内窥镜形状数据106之外，该实施方式类似于上面所描述的以及图1所例示的实施方式。在该实施方式中，内窥镜可以仅收集图像数据102。然后，使用图像数据102来估计管腔的形状。将图像数据102用作神经网络110的输入。神经网络110输出如上所述的姿态数据112，并且另外输出模型120所需的管腔特性114的估计(诸如恒定曲率的大小和方向、长度和半径、截面、以及管腔的待建模区段的结肠袋的特性)。然后,模型120如上所述继续进行。在该实施方式中，运动数据104也可以由内窥镜来收集并且被用于提供附加信息，以在模型程序120中将帧拼接在一起。

图4示出了内窥镜100可以如何包括用于收集图像数据102的摄像头402、用于收集运动数据104的运动传感器404、以及用于收集形状数据106的形状传感器406。可选地，运动传感器404可以位于内窥镜100的外部，使得该运动传感器可以测量内窥镜100的插入深度。形状传感器406可以是机械形状传感器(例如，在软内窥镜的情况下)或电磁形状传感器(例如，在传统内窥镜的情况下)。技术人员应明白，可以使用基于其它原理的形状传感器，例如，光学形状感测。电磁形状传感器可以包括围绕内窥镜的一系列磁环-这些在本领域中是已知的。计算机400包括：经训练的卷积神经网络110、以三维方式可视化内部结构的模型程序120、将三维模型122展开成二维图132的展开程序130、以及可选的存储介质410。图5更详细地示出了计算机系统400。

图5是例示是根据本发明的实施方式的系统的布置的框图。本发明的一些实施方式被设计成运行于通用台式计算机或膝上型计算机上。因此，根据第一实施方式，提供了一种计算设备500，该计算设备具有中央处理单元(CPU)506，以及随机存取存储器(RAM)504，将数据、程序指令等存储在该RAM中并由CPU进行访问。设备500设置有显示器520，以及采用键盘522和鼠标器524的形式的输入外围设备。键盘522和鼠标器524经由外围输入接口508与设备500进行通信。类似地，提供显示控制器502来控制显示器520，以便使该显示器在CPU506的控制下显示图像。可以将内窥镜图像数据530、形状数据532和运动数据534输入到该设备中，并且经由形状、运动和图像数据输入端510进行存储。在这方面，设备500包括计算机可读存储介质512，诸如硬盘驱动器、可写CD或DVD驱动器、zip驱动器、固态驱动器、USB驱动器等，在该计算机可读存储介质上可以存储图像数据102、运动数据104、以及形状数据106。另选地，可以将数据530、532、534存储在基于web的平台(例如，数据库(例如，XNAT))上，并且经由适当的网络来进行访问。计算机可读存储介质512还存储各种程序，这些程序在由CPU 506执行时，使设备500根据本发明的一些实施方式进行操作。

特别地，提供了控制接口程序516，该控制接口程序在由CPU 506执行时，提供对计算设备的总体控制，并且特别地，在显示器520上提供图形界面，并且通过外围接口508接受使用键盘522和鼠标器524的用户输入。必要时，控制接口程序516还调用其它程序,l以在需要时执行特定处理动作。特别地，提供了经训练的卷积神经网络程序110，其能够对由控制接口程序516指示的数据102、106中的一个或更多个数据进行操作，以便输出姿态数据(未示出)以及可选地输出模型程序所需的管腔特性的估计。然后，在弯曲模型程序120中使用这些输出，以生成管腔的内部结构的三维模型。然后，可以将该三维模型输入到展开程序130中，以生成内部结构的二维图。下面更详细地描述卷积神经网络程序110、弯曲模型程序120以及展开程序130的操作。

现在，将描述计算设备500的详细操作。首先，用户启动控制接口程序516。将控制接口程序516加载到RAM 504中并由CPU 506来执行。然后，用户启动可视化程序514，该可视化程序包括神经网络程序110、弯曲模型程序120以及展开程序130。如上所述，该程序作用于输入数据102、104、106。

获得数据

将内窥镜100插入关注管腔200(例如，结肠)中(尽管对于技术人员而言，显然该方法可以应用于其它管腔)。图6例示了被插入结肠200中的内窥镜装置100的示例。图6中的示例是WO2018154326中所描述类型的被称为“MorphGI”的高度柔性的自推进机器人结肠镜，然而，可以使用适合于关注管腔200的任何内窥镜。内窥镜100包括摄像头400，该摄像头能够在内窥镜100从结肠200抽出时获得前向视场的图像数据。图7例示了如何获得图像数据102、运动数据104以及形状数据106。图7例示了柔性软体机器人的示例。图7a示出了在软体机器人的情况下，如何使用机器人本身来固有地测量结肠200的曲率(形状)(下面更详细地描述)。图7a所例示的方法的部分测量结肠曲率的大小和方向。当与MorphGI一起使用时，MorphGI的柔软特性意味着它自然地顺应结肠200，与结肠的形状匹配。因此，通过测量机器人的形状，间接地测量了结肠200的形状。形状感测和结肠模型都是弯曲的，这允许将曲率信息从机器人的形状映射至其摄像头402的图像。如果使用传统的内窥镜，则可以使用电磁传感来测量内窥镜的形状。电磁感测可以使用围绕内窥镜的电磁环来监测其形状。用于传统内窥镜的电磁感测在本领域中是已知的。图7b示出了如何从内窥镜100获得运动数据。随着将内窥镜100从结肠200中抽出，在患者的肛门704处测量插入深度702。该插入深度测量结果702与摄像头402在结肠200内部的位置线性相关，因而可以被用于确定摄像头402的运动。图7c示出了当内窥镜被逐渐抽出时摄像头402如何获得前向视场的图像数据。该图像使得能够使用经训练的神经网络来估计摄像头的姿态(下面将更详细地描述)。图7d示出了组合形状数据、运动数据以及图像数据以拟合模型(下面更详细地描述)。这里和图7中概述的过程对于视频的每个帧连续地发生。

图8例示了可以如何部分地通过使用卷积神经网络(CNN)来处理和组合图像数据102(视频帧)、形状数据106(机器人形状)以及运动数据104(插入深度)，以从摄像头图像估计剩余的模型参数114。对于环面模型，这可以仅仅是摄像头相对于模型的姿态112，但是对于更复杂的模型，还可以包括几何参数，诸如结肠袋的深度。

合并这两个传感器流(形状感测106和摄像头连续镜头(footage)102)的困难在于所包含的信息是时空偏移的。空间偏移802是由于这样的事实，即，当图像数据是机器人前方的区域(即，最接近摄像头)的测量结果时，形状感测感知与机器人并置的区域(即，远离摄像头)。时间偏移指的是结肠的形状作为与内窥镜的机械相互作用的结果而随时间变化的可能性。然而，与常规的结肠镜不同，MorphGI被设计为在其移动时不使结肠变形，因而随时间的变化是可忽略的，因此，仅需要考虑空间偏移。对于常规的结肠镜，在大部分筛查进行时，器官的变形是在盲插管期间而不是在抽出期间更加显著。为此，对于常规的内窥镜，时间偏移也被假定是可忽略的。可以通过估计机器人沿着结肠的前进来考虑空间偏移，以标识哪些摄像头图像和哪些机器人形状涉及相同的位置，从而使两个传感器同步。尽管形状感测可以应用于机器人的任何节段，但是优选地从构成MorphGI的三个节段中的中段或后段采取测量。这是因为在抽出期间，包含摄像头的前段是随着机器人通常由医生手动地抽出而不是通过使用类似尺蠖的移动方法来致动的。因此，中段和后段的形状仅受结肠曲率的影响，从而提供了结肠形状的更清晰的测量。

对于抽出，由于MorphGI的柔软性和缺乏环形成，因此，该MorphGI在内窥镜的尖端处的运动与在内窥镜医师的手处的运动的比率大约为1:1。例如，如果内窥镜医师从患者的肛门704抽出5cm的内窥镜100，那么结肠200内的摄像头402将拉回大致5cm。对于不是这种情况的其它内窥镜，可能需要额外的步骤来利用内窥镜尖端处的运动对插入深度进行校准。因此，可以在抽出时，通过测量负插入深度702或者从患者肛门抽出的内窥镜量来估计机器人的位置，该位置被测量为沿着结肠中心线从肛门到摄像头的距离。将被固定至或靠近患者肛门的外部位置传感器用于测量内窥镜的插入深度702。另外，基于该数据，可以将结肠段210a至210e拼接在一起，以随着抽出内窥镜来显示结肠的总体三维形状。这可以被用于评估内窥镜100的位置并且标记医学发现的解剖位置，而这通常需要提供形状信息的昂贵的电磁传感器系统。

使用这种方法有许多益处。首先，为了从图像可靠地估计曲率，CNN将需要依赖于图像的特别复杂的语义理解。CNN将需要估计图像中的每一个像素的深度，并且在进一步的步骤中，将弯曲的三维中心线优化到这些点-有挑战性的任务，很可能需要三维CNN。上面描述的使用形状感测来测量结肠的曲率的方法保持模型的复杂性相对较低并且能够实时操作。其次，可以向CNN提供来自形状感测的曲率信息作为附加输入。这实质上给出神经网络的决策过程的一些已知信息，即，图像中的结肠的近似三维形状，而这将提高其准确度和可靠性。

优选将所描述的方法与软体机器人内窥镜一起使用，然而，该方法可以容易地修改为与传统内窥镜一起使用。使用传统内窥镜时的主要障碍在于，形状感测数据只能通过使用电磁感测系统。由于使结肠变形的内窥镜的高刚度，因此，这并不准确地表示结肠的局部形状，而是仅给出结肠形状的概观，例如，如果它包含一个环而不是所述环的精确形状。尽管如此，来自传统内窥镜的形状信息仍然可以被用于提高神经网络和模型的准确度。

用于MorphGI的固有形状感测

如上所述，可以使用MorphGI的形状的机械感测来获得模型所需的曲率参数。用于该目的的形状估计方法的主要优点在于，它使用不需要对场景的复杂语义理解的机械感测和建模，这与图像处理不同，因而更可靠。

除了与结肠模型一起使用之外，还可以将MorphGI固有形状感测集成到患者体内的机器人形状的屏幕上可视化中。这种可视化有助于内窥镜医师理解机器人的行为，例如当围绕弯曲部或环前进时。当自推进内窥镜不向内窥镜医师提供他们在传统结肠镜检查中使用的触觉反馈时，情况就特别如此。

可以将固有形状感测方法应用于任何软体机器人。关键的是，所描述的形状感测方法不需要集成任何额外的传感器，并且不需要对软体机器人节段的非标准设计要求。这限制了机器人的成本和复杂性，这两者对于诸如MorphGI的单次使用的医疗工具都是关键的，并且在机器人内不需要额外的空间，而这对于任何最小侵入式医疗手术都是极其有限的。

简要地，MorphGI结肠镜检查机器人由三个软节段构成，各个软节段皆通过三个内室经液压致动。除了主动地通过致动之外，软节段还能够通过与环境的相互作用而被动地弯曲，从而顺应结肠的形状。固有形状感测背后的概念是当分离时，即，独立于其它室考虑时，在各个室的长度与压力之间存在可预测的关系。首先，预测因将已知体积的液体注入到室中而造成的长度和压力增加。其次，在致动单元外部测量所述室的真实压力。将与预测的偏差用于计算因外部弯曲而造成的长度和压力变化。在软节段的运动学模型中结合三个单独室的预测长度，获得作为结果的机器人的形状。所检索的形状信息是该节段的曲率大小、曲率方向、以及总延伸。使用几何方法而不是有限元方法，诸如这种几何方法的方法允许对非常大的偏转进行建模，如图9所示。

通过以液压方式致动软节段到三个不同的弯曲角度来测试模型的准确度。在所有情况下，然后通过外部接触将所述节段弯曲到设定角度，并且测量作为结果的室压力。然后，使用该模型来计算各个数据点的预期压力。图10示出了该结果，显示了所测得的压力与经建模的压力之间的强相关性。

神经网络

将卷积神经网络(CNN)110用于近似摄像头姿态112，并且可选地，近似诸如结肠的一个或更多个截面、结肠袋的数量和尺寸等的附加参数。在没有获得形状数据106的实施方式中，还可以将CNN用于从图像数据估计管腔特性114。

CNN是一种在应用之前需要进行训练的机器学习方法。CNN的训练可以是自监督的，这意味着它可以对原始的、未标记的视频数据进行训练。这是重要的，因为手动标记数据是时间密集的、易于人为错误、并且需要专家，从而导致昂贵的标记过程和相对少量的训练数据。一种常见的替代方案是在计算机模拟中训练CNN；然而，在这种情况下，模型将不能很好地适应真实结肠镜检查连续镜头的困难。神经网络方法的强处包括：它可以推广到具有最小人类调节的结肠模型的任何版本、它能够同时估计所有需要的参数、以及它在固定的时间量内运行。然后，使用由CNN从图像近似的数据，来经由弯曲模型解释图像。

自监督训练背后的关键概念是视频中的连续帧彼此相关。如果场景的几何形状以及两个帧之间的运动被理解，则可以从当前帧预测视频的下一帧，参见图11(左)。如果预测帧与真实帧没有紧密匹配，那么这是因为分量几何形状和/或运动估计较差的缘故。因此，下一帧充当真值，并且这可以被用于监督神经网络的训练，参见图11(右)。初始地，最初，模型参数将是随机的，并且预测将非常差。然而，在处理许多视频帧之后，CNN 110将最终推导出结肠镜检查图像与模型参数之间的关系。生成预测帧本身的方法被称为新视图合成(novel view synthesis，NVS)，并且通过应用弯曲结肠模型(下面描述)来实现。下面还描述了通过与真值比较来判断预测帧的方法，即，经修改的结构相似性指数(mSSIM)。帧之间的摄像头运动和摄像头固有的校准(它们是摄像头的物理特性，诸如摄像头的焦距)也可以由CNN作为副产物推导出。在实践中，摄像头校准最有可能在术前执行，因而不需要估计。然而，可以将摄像头运动用于提供对结肠段210a至210e进行拼接的数据，并且例如利用Kalman滤波器，根据随时间的许多测量结果来改进摄像头姿态的估计。

在一些实施方式中，向神经网络110提供来自形状感测的曲率信息(形状数据106)，这将增强性能。再次重申，这实质上给出神经网络110的决策过程的一些已知信息，即，结肠200的近似三维形状，而这将提高其准确度和可靠性。

三维模型

本发明包括用于以高计算速度重建在光学结肠镜检查图像中看见的结肠段的近似三维结构的新模型120。贯穿本说明书，将使用结肠200的示例来描述模型120。然而，本领域技术人员将理解，本文所描述的概念可以类似地应用于具有类似形态(morphology)的其它管腔。模型120在以前已知的无法合理地应用于结肠的过于简单化的柱面模型与本质上不切实际的过于复杂的模型之间取得平衡。该工具为内窥镜100创造了一系列智能、实时特征的潜力，诸如下面描述的虚拟展开。本发明还可以应用于结肠腔内的内窥镜的半自主转向，诸如MorphGI的机器人工具所可能做到的。与结肠的以前的基于深度图或点云的模型(其仅建模实际上观察到的内容)相比，本文所描述的结肠的弯曲模型120预测未看见的区域的形状。这使得模型能够预测不可见的粘膜区域，并在图132上标记这些区域。

结肠模型120采用两个中心概念。第一，假定在局部区域中，器官200的曲率是平滑的。在优选实施方式中，假定恒定曲率。第二，对结肠200的截面进行建模，以使该结肠的几何形状可以离散地或者连续地进行数学表达。例如，假定结肠的截面是圆形的，如图12所示，并且在这种情况下，模型等同于环面段(被称为环面模型)。如果该节段的曲率也为零，那么该模型将等同于柱面段。这两个概念合起来消除了单独估计结肠中的许多点的三维位置的需要，从而将复杂性从可能的数百万个参数降低到在该示例中不足10个参数。对于环面模型，几何参数是恒定曲率的大小和方向，以及节段的长度和半径。另外，还需要摄像头相对于管腔的6自由度姿态来解释由所述摄像头生成的图像。

非圆形或可变截面也是可能的，并且可以更好地近似真实的结肠几何形状。例如，非圆形截面对于通常具有如图13(左)所示的圆角三角形形状的结肠的横剖面将具有特别的益处。通过采用来自计算机图形的现有数值方法以生成几何形状并利用该几何形状执行计算，可以适应这种以及任何其它的截面形状。这些方法还提供了增加计算速度的额外益处。类似地，沿着结肠段发生变化的截面也是可能的。例如，通过改变图13(右)中的环面模型的直径的半径，也可以对结肠的结肠袋襞进行建模。

已经在医学结肠镜检查体模中使用新视图合成(NVS)方法(上面关于神经网络提及的)测试了该模型。拍摄单个结肠镜检查图像，然后将摄像头虚拟地移动通过三维空间，从而根据图像的三维理解来合成新的、未看见的视图。然后，将所述视图与各个新摄像头位置的真值视图进行比较。更接近真值的合成输出指示该三维理解更准确。注意：出于测试目的，模型参数是先验已知的，因此仅测试模型本身的适用性；假定圆形截面(环面模型)，并且将柱面模型用作比较的基线。

在图14(左)中给出了对于垂直于摄像头视图的平移的真值对比合成视图的示例。注意柱面模型如何使结肠袋失真(distort)，而环面模型仍保持管腔的原始结构。将定制图像相似性指数(mSSIM)用于将合成视图与真值进行定量比较。mSSIM值的范围从0％“两个随机结肠镜检查帧”到100％“两个相同的结肠镜检查帧”变动。在图14(右)中，示出了柱面模型与环面模型之间的mSSIM的差异，其中，正mSSIM变化表示环面模型相比于柱面模型的优越性。以不同的结肠曲率k＝1/R重复实验确认了以下假设：随着曲率的增加，环面模型与柱面模型相比变得越来越有利。对于每一个数据点，环面模型匹配或者优于柱面模型，尽管如此，很显然当k为0时，两个模型完全相等。在几乎每一种情况下，随着新视图从输入视图进一步移动，相对性能也随之提高，并且任务变得越来越具有挑战性。这些结果表明，环面模型生成了结肠段的更准确并因此更有用的三维重建，从而在结肠曲率的更大范围上提供了比柱面模型更高质量的结果。

本发明的关键方面是使用弯曲模型来对胃肠(GI)道的光学连续镜头进行建模，特别是对结肠应用恒定曲率假设。在前的工作已经使用了通常用于小肠的极其简单的柱面模型，或者使用了用于结肠的极其复杂的深度估计。而且，之前还没有将非圆形和可变截面应用于具有直的或弯曲的中心线的GI道模型。这主要是因为柱面模型通常被用于小肠，其更好地满足恒定的圆形截面假设。

为了应用该模型，必须选择拟合给定图像的模型参数，诸如结肠曲率和摄像头位置，如图15所示。图15示出了被投影到从医用结肠镜检查体模拍摄的图像上的环面模型。对于柱面模型，通常假定几何形状是恒定的，并且半径和长度是预设的。对于摄像头姿态，典型的假设是结肠是直的，并且最暗的像素表示该直管的中心。然而，这些假设是极其脆弱的，并且只能估计摄像头的旋转而不能估计位置。对于较简单的环境，诸如在小肠中，移动受到约束，并且这种假设是可接受的。然而，结肠远离直的，并且摄像头可沿任何方向自由移动。对模型的参数进行近似是有挑战性的，但对于现实使用也是至关重要的。在优选实施方式中，使用MorphGI的核心、唯一原理，以便实时实现该估计。在抽出而不是盲插管期间对模型进行拟合，因为这通常是手术的诊断部分。

展开程序

临床医生迫切需要能够生成结肠的指示了未看见的组织区域的数字化图132的技术。这样的图可以实时地将临床医生引导至盲点，从而显著改善癌症的检测。另外，这种图可以使手术的文档化现代化，为术后质量控制和训练提供益处。

结肠的展开图(即，以二维形式表示结肠的三维结构)已经由许多研究人员使用可从虚拟结肠镜检查(VC)获得的三维医学成像数据进行了研究。然而，光学结肠镜检查(OC)仍然是结肠筛查的黄金标准，并因此基本上更普遍。然而，不存在展开由OC提供的二维视频数据的等效方法。

虚拟展开程序130把三维模型120作为输入，来展开形成管腔200的二维图像132的图像数据102。二维图132将结肠组织的内表面表示为全景图像，如图16所例示的基本圆筒形几何形状。先前描述的弯曲管腔模型使得能够以高效率并且等同地以高速，来进行结肠镜检查视频流的各个帧的重建和展开。

随着MorphGI机器人结肠镜移动通过医用结肠镜体模，在由该MorphGI机器人结肠镜拍摄的图像上测试虚拟展开方法。布置体模以形成一系列弯曲部。沿着结肠壁粘附直的黑色标记物，以便在展开图中提供结肠方向的定性参考。

图17示出了虚拟展开直结肠段的结果。在没有曲率的情况下，如在这种情况下，柱面模型和环面模型在几何上是等同的。要注意展开的图像的几个关键特征：

-结肠袋襞是周向收缩的，因此可以看见跨展开的图像水平伸展。在该实验设置中，体模的管腔具有三角形形状，这也是横结肠的共同特征。这与环面模型的圆形截面不匹配，从而导致皱襞在展开的图像中呈现波浪形。若需要的化，具有例如三角形截面的弯曲模型的另一实施方式将改善这一点。

-展开的图像中的灰白网格表示未看见的组织区域。组织区域可以是未看见的，因为它在摄像头正在观察的区域之外，或者因为它隐藏在另一组织区域后面-展开程序可以处理这两种可能性。注意，即使在直结肠段中，垂直于摄像头的区域中的组织也是不可见的。

-展开的图像的质量从摄像头进一步降级。其一个原因是，由于视角，摄像头的图像包含较少的关于更远区域的信息。自然地，这在展开的图像中反映为随着距离的增加而降低的分辨率。第二个原因是模型中的任何缺陷都很可能从摄像头进一步放大，并且三维位置估计变得不太准确。这将导致随着距离的增加在展开的图像中的失真或其它视觉误差将增加。

图18呈现了对由柱面模型和环面模型生成的展开的图的定性比较。这些展开的图像等同于图16所示的示例，除了在这种情况下将结肠镜检查照片作为输入图像之外。已知的是，黑色标记物具有恒定的宽度，并且沿着结肠延伸，并且结肠袋襞表示近似垂直于该黑色标记物。这样，在理想情况下，在展开的图像中，结肠袋襞将呈现为水平的，而标记物将呈现为竖直的并且具有恒定的宽度。

在利用环面模型展开的图像中，标记物是竖直的并且具有恒定的宽度，并且没有大的失真。然而，在较高的曲率下，一些结肠袋襞不再表现为水平的。这是由于这些测试照片中的极端非圆形截面，如前所述，这在本发明的不同实施方式中，可以通过改变弯曲模型的截面来纠正。与此相反，即使在具有所测试的最低曲率的结肠段中，利用柱面模型展开的图像在所有情况下也未能生成有意义的输出。特别地，这些展开的图像没有维持黑色标记物的宽度，或者关键地，没有维持结肠袋襞的水平外观。而且，注意，环面模型预测无法看见的额外组织区域，而柱面模型漏掉这些-用于检测盲点的关键弱点。

在结肠镜检查中，有两种主要的方式使组织不可见，并因此不被检查：该组织被隐藏在结肠袋襞后面，或者摄像头只是从未指向该方向。文献方面关于这些缺陷中的各个缺陷对漏掉的息肉的相对影响存在不一致。还应注意，在临床上，息肉也可能因其它错误而被漏掉，诸如清洁不充分、液体或粪便模糊了视野、或者或被摄像头看见但临床医生未识别为息肉。然而，这些错误不太重要，因为如果组织区域从来没有被摄像头看见，那么缺失率被保证为100％。

环面模型没有尝试对结肠袋进行建模，因此被隐藏在结肠袋襞后面的区域无法被预测。然而，许多最常见的盲点位于结肠中的急弯处，如图20所示，由“Cotton andWilliams’Practical Gastrointestinal Endoscopy:The Fundamentals”提供。这样做的一个特殊理由是，当弯曲部分(flexure)的外侧容易看见时，结肠镜必须重新插入并钩住以选择性地观察相对侧。这些盲点可以通过环面模型进行预测，并因此可以被用于避免临床实践中的这些常见错误。

然而，在弯曲模型的另选实施方式中，如在图13中看见的，实际上通过改变结肠袋的截面来模拟该结肠袋。在这种情况下，隐藏在结肠袋襞后面的组织区域(诸如图21所指示的区域)也可以被预测，并因此在虚拟展开的图上指示给临床医生。

摘要和优点

总之，这里所描述的本发明的关键方面如下：

·使用弯曲模型(在优选实施方式中，为恒定曲率模型)，以用于胃肠道的光学连续镜头。

·在具有直的或弯曲的中心线的结肠段模型中使用非圆形或可变截面。

·组合机器人感测(在优选实施方式中，为内窥镜形状和插入深度数据)和摄像头感测，以拟合结肠段模型。

·使用室压力和体积来同时致动和感测软体机器人的形状。

·使用基于压力的形状感测来可视化内窥镜的形状和穿过结肠的整个路径。

·使用神经网络以从摄像头图像预测摄像头姿态，从而使得即使管腔的中心不可见也能够预测盲点。

盲点预测

几乎全部现有的方法都落入摄影测量的范畴，即，从图像中可靠地测量物理对象。因此，这些方法使用各种技术来创建所看见的内容的点云；然而，没有作出关于未看见的内容的预测。为了对医生尚未看见的内容进行建模，本发明并入关于结肠的典型几何形状的现有知识以及摄像头图像之外的附加传感器信息。具体地，本发明假定结肠的任何局部区域近似具有特定曲率和截面的管，其中，结肠的曲率是根据内窥镜的形状来测量的。这允许本发明生成结肠的标记有在筛查期间已经漏掉的区域的图，从而向临床医生指示他们应当注意这些位置。该用例将在直接和即时意义上提高手术的诊断有效性；然而，本发明的盲点预测也可以在术后用作性能指标和训练工具。

虚拟展开

除了缺少盲点预测之外，这类方法还将结肠表示为没有预定义结构的一般三维模型。然而，一目了然地观察到这些模型具有许多与观察结肠图像本身相同的问题，即，整个模型在不移动摄像头的情况下是不可见的。相反，本发明的表示是围绕沿着结肠延伸的中心轴线建立的，其允许虚拟展开成二维图像。在手术期间，可以将该二维图像接着显示在屏幕上，以便由临床医生与内窥镜进给(endoscopic feed)并排读取。这种用例只有在该方法实时工作的情况下才可以-是很少有方法能够满足的挑战。所描述的发明通过利用具有低维数的模型和来自内窥镜的附加形状感测信息来实现这一点。

与最接近的在前工作的比较

结肠的柱面模型是与本发明最接近的比较。然而，它过于简单并且不适合结肠的弯曲部和可变的形状，在除几个仔细挑选的视频段外全部视频段中都失败了。本文所描述的实验已经显示出结肠的弯曲模型优于柱面模型。随着距摄像头的距离的增加，柱面模型的非曲率假设迅速崩溃。它是不合适的，因为它不能有效地匹配结肠的真实形态。相反，本文所描述的弯曲模型可以重建相当长的节段，在距摄像头更大距离处处理数据。这对于盲点检测是至关重要的，因为管腔模型的感知必须与临床医生的感知相匹配。换句话说，如果模型只能在靠近摄像头的地方起作用，但是医生可以在该距离之外进行诊断，那么模型之外的区域将被不正确地记录为盲点。这样做的技术优点还在于，较长的模型在将单独帧拼接在一起时增加了重叠区域，从而导致更高的准确度并且改善了在结肠镜检查中常常发生的快速摄像头移动的解释。

另一实施方式

在该另一实施方式中，我们提出了一种用于实时检测在结肠镜检查期间尚未被检查的宽泛组织区域的系统，如在稍早的实施方式中那样。这以4个关键步骤来实现。第一，获取帧的3D点云。第二，根据点云输入，我们对摄像头周围的结肠的几何形状进行建模。该模型延伸到可见区域之外，从而提供摄像头所看见的内容的3D解释以及摄像头未能看见的内容的预测。第三，我们根据摄像头参数和3D模型标识盲点。最后，我们将逐帧盲点估计进行组合，以生成表示在手术期间到目前为止已经看见和尚未看见哪个组织的累积图。

这里，我们假定提供点云和运动估计作为输入。在机器人结肠镜的情况下，该数据可以由诸如被集成到现代智能手机中的微型飞行时间摄像头的传感器来生成。对于传统的结肠镜，可以使用诸如SfM的传统3D重建方法或者在深度神经网络上构建的现代单目深度估计方法。然后，可以通过记录两个连续点云来估计帧到帧相对摄像头运动。注意，与其它方法相反，点云仅充当初始重建，因而仅需要是稀疏的。这种稀疏性避免了其它方法中涉及的许多典型挑战，诸如传感器分辨率或重建密度、可靠性、以及速度。

环面模型

我们建议不需要高度详细的3D重建来预测是否已经检查了宽泛的组织区域。这种方法增加了复杂性，而这可能负面影响可靠性和处理速度。相反地，在此提出的环面模型(图22)将结肠的局部结构近似为“弯管”，并且能够检测许多不同类型的盲点。然而，注意，关键的是，我们假定结肠壁是光滑的，因此没有尝试模拟结肠袋襞或检测它们后面的那些盲点。与柱面模型相比，环面模型包括曲率以更好地近似结肠的3D形状。然而，关键是因为柱面模型无法预测急弯处的遮蔽。这可论证地是最常见的且临床相关类型的盲点，因为这是个实质缺点。

表I

注解

/>

柱面模型和环面模型共享关于结肠截面的假设1和假设2(下文)。然而，尽管柱面模型假定该节段是完全直的，但是环面模型假定它平滑地弯曲(假设3)。因此，环面模型仅包含一个附加参数。贯穿全文，我们将使用表I中给出的注解。

假设1：截面是圆形的。

假设2：截面在全文中是相同的，例如，它不包含结肠袋。

假设3：中心线以恒定曲率弯曲，即，k≥0。

环面模型的输入是长度、半径、以及曲率，它们一起近似结肠的3D形状。为了解释结肠镜检查图像，还需要摄像头相对于模型/结肠的姿态。

模型拟合

给定相对于摄像头的3D位置的稀疏点云，我们拟合环面模型。在这样做时，我们近似结肠的这个局部区域的几何形状，以及摄像头和模型的相对姿态。这些合起来提供了对摄像头正看见的内容以及不能看见的内容的解释。对于有效的拟合方法，选择适当的参数、约束、初始猜测、成本函数、以及优化算法都是关键的。我们将在此对这些进行总结。

我们的优化参数是位置(采用笛卡尔坐标)、取向(采用欧拉角)、以及结肠中心线的曲率。除了结肠的半径(等同于环面的小圆)之外，这些合起来限定了结肠的中心线(等同于环面的大圆)。该模型相对于中心线而不是环面的中心定位，因为这最接近地表示参数的物理含义。因此，这创建了优选用于优化的连续参数空间。我们使用来自MATLAB优化工具箱的非线性内点优化，其利用最小二乘成本函数，即，点误差平方和。点误差被定义为各个点与其到模型上的投影之间的距离，即，其在环面的表面上的最近点。

我们将小半径限制在5mm到50mm之间。通过提取和测量12次CT扫描的截面并且在过滤异常值(outlier)之后选择范围来选择这些值。将大半径限制到最大500mm。以这个长度，给定环面的纵横比，模型的小可见段实际上是直的。因此，该界限对于防止优化尝试接近无穷大是必要的，不然会导致慢的收敛时间。我们设定线性约束|z|≤r以保持中心点接近摄像头。最后，计算从摄像头(在原点处)到表面的距离以便加上正负号，并且负误差指示它在模型的表面内。通过设定非线性约束以保持该值低于0，我们可以确保摄像头保持在模型内。

我们的初始猜测预测：摄像头与中心线重合、给出了我们的结肠镜检查知识的合理近似、以及主半径和次半径是它们相应界限的平均值。然后，将前一帧的优化参数用作下一帧的初始参数，以促进时间一致性，即，模型随时间平滑改变。对此的一个例外是在拟合失败了的时候，如下所讨论的。在这种情况下，先前优化的参数被认为是错误的，并且我们默认回到我们的初始猜测，从而避开局部最小值。

给定输入数据和模型的性质，一些帧的拟合将失败，即，经优化的模型将不会创建摄像头图像的可接受的解释。为了对此进行检测，我们提出了一种用于验证模型的拟合的算法。注意，从全局视角来看，环面与点云紧密拟合是可能的，但从摄像头的视角来看并非如此-特别是当点云中存在很少的点时，如图23所示。该原理被用于错误检测。我们的度量是以摄像头为中心的，因为最终我们从摄像头的视点解释图像。为了计算该度量，首先经由光线投射来从摄像头的视角将点云投影到模型上。然后，我们将“再投影误差”计算为点云与投影位置之间的距离。再投影误差高于公差(4mm，凭经验获得的)的任何点被分类为错误的。如果大多数点是错误的，则认为拟合失败。虽然该度量在检测对摄像头图像生成不良解释的模型时是有效的，但是由于参数空间中的不连续性，它无法被用于优化。

在图23中，给定环面模型，点云中的各个点皆具有再投影误差。该示例中的最低点从全局视角来看紧密地拟合模型，但从摄像头的视角来看并非如此。该原理被用于错误检测。

优化过程的输出是完整的环面或“环形圈(doughnut)”，其中只有某一节段将被用于对结肠建模。无法利用最小二乘法来优化该节段，因为根据定义，每次迭代的长度变化会改变那些点被包括在优化过程中/排除在优化过程之外，从而导致不稳定性。相反地，任何非错误点(即，再投影误差小于我们先前的公差的点)被投影到(u、v)模型空间中，参见图22。然后，u的最小值和最大值给出由可用点云数据覆盖的环面段。然而，为了提高鲁棒性，我们首先从u的集合中去除异常值。我们将异常值定义为高于上四分位数或低于下四分位数的大于1.5个四分位间距(interquartile range)的角度。这是标准定义，重要的是，它没有假定数据是正态分布的。

盲点检测

我们现在描述执行盲点检测的算法。输入是经拟合的模型以及摄像头姿态的估计。

根据下面的参数方程(1)和(2)来定义跨模型表面的点

和法线/>

我们在区间u∈[0,L/R]和v∈[0,2π)中生成具有线性间隔角(u,v)的点，参见图2。我们从摄像头的光学中心向各个点P投射光线/>

将R≥r约束成维持典型的环面或“环形圈”形状，即，防止表面自身相交。注意，当模型具有零曲率(k＝0)时，(1)包含奇点(singularity)(R是未定义的)，因为R＝1/k导致除以0。然而，用于柱面的参数方程不包含该奇点。因此，对于这种特殊情况，我们测试k是否低于小阈值，如果低于小阈值，则切换到等同的柱面模型。理想地，该阈值将是机器精度(machine epsilon)，但实际上，当k非常小时，随着R接近非常大的数，模型拟合变得更慢。

接下来，给定摄像头的视场以及环面的几何特性，我们确定摄像头不能够看见所述环面点中的哪个环面点，即，盲点。如某点满足以下条件中的任何条件，则认为该点是未看见的。这些条件将来可以扩展成更好地匹配临床经验。例如，我们可以将仅在摄像头帧的高度失真边缘处看见的点或者仅在非常短的时段内看见的点视为盲点。

条件1(视场)：它在摄像头的视场之外，例如，在摄像头后面。在我们的实验中，视场是140°，具有“截头圆”形状(参见图25，第1行)以匹配典型的结肠镜。当将表面点p从世界帧投影到摄像头图像中时，应用条件1。在GPU渲染流水线的“裁剪空间”中执行测试，这允许我们检查点是否处于摄像头的视锥体内，如图24(左)所示。

条件2(观察距离)：它离摄像头太远而不能清楚地看见(>50mm，如稍后所讨论的)。该位置的图像包含很少的数据并且对于筛查而言不够详细。对于条件2，我们简单地测试光线长度r(t)，如图4(中心)所示。

条件3(遮蔽)：它隐藏在结肠的急弯处的另一粘膜区域后面。通过找到各个光线r(t)的第一交点q(即，沿那个方向的可见点)，来测试条件3。如果该交点q与光线投射到的p不重合，则光线被遮蔽。这在图24(右)中例示出-由于摄像头与点之间的光线被环面上的另一点阻挡，所以p₂不可见。

图24示出了定义环面模型上的点是否清晰且摄像头可见的三个条件。在各个例示图中，p_1被认为是可见的，而p_2是不可见的。

为了找到q，将光线的参数方程代入环面的隐式方程并且在代数上消除平方根。对根的求解，我们计算多达4个光线-环面交点，从而形成集合Q(t)(3)。具有最小正值t的实根给出最接近摄像头并处于摄像头前方的交点q，即，摄像头看见的点。

对于被遮蔽的盲点，我们应用进一步的后处理步骤。观察到，通常，尽管成功地检测到弯曲部周围的盲点，但是它们的区域被低估。其原因在于，在弯曲部的外侧，组织被拉伸，使结肠袋襞变平并且产生逐渐的曲线，而在内侧，相对的弯曲部产生更尖锐的曲线。这可以在图25的行2中看见。另外，由于弯曲部的外侧通常具有较大的可见区域，因此，其更有助于模型拟合。因此，我们应用“遮蔽增强(occlusion boosting)”，其通过人为地扩展由遮蔽预测的任何盲点来解决该低估(条件3)。在实践中，我们简单地利用盘形结构元素(半径为10mm)跨表面扩张盲点。这在所有方向上将盲点的边界扩展了10mm。

全景拼接

在这个阶段，可以针对单独帧并且在3D空间中检测盲点的存在和位置。然后，可以随时间组合这些单独的观察结果，以标识在手术过程中迄今为止尚未看见哪些区域。这是通过使用这样的概念来实现的，即，其中模型在各个帧处被虚拟展开以生成采用纹理坐标的2D切片，该2D切片然后被拼接到累积图中。根据定义，该“全景图”上的任何漏掉的区域从未被看见。该图的轴线是沿着结肠中心线的距离以及围绕结肠截面的角度。

对于各个帧，我们使用经拟合的模型来解释摄像头图像。将帧虚拟地展开，从3D投影移动到2D投影。除了在图像中观察到的纹理之外，还将在模型上检测到的盲点映射到结肠的各个2D切片上。由于以同一坐标系在环面的表面上生成点p(u,v)，因此，与全景图一样，展开环面模型是简单的。各个可见点的表面颜色是通过将其投影到摄像头图像中而找到的，而未看见的点被同样地标记。

为了累积地将各个切片拼接到全景图中，我们需要估计各个切片之间的2D变换。如在各个帧中，根据定义，将模型与中心线对准，我们不需要考虑旋转或剪切。我们假定点云是以一致的比例生成的，因此不需要考虑比例。因此，可以通过简单的平移来描述切片之间的相对运动。沿u方向的平移对应于沿着结肠中心线的距离。在v方向的平移对应于围绕中心线的滚动或“扭转”。因此，这两个值可以从3D空间中的后续模型之间的相对变换中提取，而不需要依赖于用于配准的图像特征。

从模型拟合过程中，我们知道在各个帧处的摄像头与模型之间的变换。从输入到我们的方法，我们知道摄像头的在前一帧与当前帧之间的变换。因此，我们可以计算后续帧的模型之间的变换。根据我们的注解，模型的z方向对应于中心线的方向。因此，模型已经沿着中心线移动的距离是前一模型沿z方向的平移。当我们正在使用这2个模型之间的线性距离时，这假定该模型仅移动帧之间的小距离。对于沿v方向的平移，我们将旋转矩阵转换成x-y-z欧拉角，其中z角给出我们模型之间的“扭转”。

然后，我们的拼接过程根据该变换对2D切片进行镶嵌(mosaic)。通常，帧中的大部分组织是先前有的。因此，为了仅保持最高质量的纹理数据，我们选择仅保持最亮的数据。对于重叠区域，我们对各个切片应用高斯滤波器，以使考虑宽泛区域的亮度而不是表面细节的亮度，并且根据HSV颜色空间中的值(亮度)通道来执行比较。

评估

对于我们的实验，我们使用来自癌症成像档案点击(Cancer Imaging ArchiveClick)的患者CT扫描，或者点击此处以输入文本。我们使用CT数据而不是光学结肠镜检查视频，因为该CT数据供了以其它方式不可获的真值。虚拟结肠镜和光学结肠镜都遵循类似的工作流程，特别是器官的准备(清洁)和吹入(insufflation)(充气)，因此结肠的形态在虚拟结肠镜和光学结肠镜两者之间应该是可比较的。关键区别在于，在虚拟结肠镜检查中，结肠镜不会使器官发生机械变形。假定这种变形的影响很小，因为摄像头前方的组织不与结肠镜接触，从而导致很少或者没有明显的变形。

IBM欧洲人类中心创新中心(IBM Europe Human Centric Innovation Center)在Unity开发了3D结肠镜检查模拟器。模拟器利用真值数据来创建结肠镜检查视频。所使用的3D模型如前所述是从CT扫描中提取的，并且以人工纹理进行再现。另外，可以将对象添加至结肠壁上以模拟息肉、内窥镜纹身、疤痕等。模拟器模仿真实结肠镜的参数，包括摄像头的视场和分辨率，以及其光源的特征。使用键盘和鼠标器来将内窥镜导航通过结肠。我们在各个帧处执行光线投射以获得粘膜已经被看见的真值，并且相应地标记这些面。通过根据我们前述的盲点条件(图24)提取顶点，来生成用作该方法的输入的模拟点云。

由于不存在用于比较的商业系统，因此，将环面模型直接与真值进行比较。最密切相关的研究采用柱面模型。尽管如此，我们仍呈现了柱面模型与我们的弯曲模型之间的比较。请注意，这仅是在我们的系统的背景下，其包括超出模型本身的差异，诸如拟合过程和盲点检测。

为了评定对曲率的需要，我们研究了结肠的典型迂曲度(tortuosity)。我们从12名患者的结肠扫描中提取了中心线，并将该中心线分割成9308个50mm长度，作为2mm步长的滑动窗口。这些子段(subsegment)表示在光学结肠镜检查期间随着摄像头前进通过结肠将被摄像头看见的结肠部分。我们有经验的胃肠病学家选择了50mm长度，以近似可以执行筛查的距摄像头的最大距离。我们将各个子段的弯曲角定义为使用余弦规则计算的开始矢量与结束矢量之间的角度。我们发现50％的子段具有大于59°(中值)的角度、10％的字段具有大于121°的角度，以及5％的字段具有大于132°的角度。

其余实验全部在来自4次模拟结肠镜检查的剪辑(clip)上执行，跨2.53米的结肠上具有7分钟15秒(13069个视频帧)的组合时间。模拟点云包含227个点的中值。对于预测模型上的各个点，我们计算三角化真值表面上的最近点，从而形成两者之间的映射。因此，这两个点之间的欧几里德距离表示该区域的重建误差。还可以比较各个点的预测可见性和真值可见性，从而允许将各个点分类为真阳性、真阴性、假阳性或假阴性。出于分类的目的，这里将肯定结果定义为盲点，而将否定结果定义为已经看见的区域。

我们现在评估模型的表面重建误差。然而，注意，虽然通常重建准确度应改进盲点检测，但这是不保证的。为了测量所看见的区域的表面相似性，我们使用从摄像头的视角来看的平均再投影误差(mean reprojection error，MRE)，如图3所示，这对于摄像头图像的解释是最有意义的。对于未看见的区域，再投影误差是未定义的，因而，我们改为使用平均表面距离(mean surface distance，MSD)，它是预测表面与真值表面之间的点误差的平均值。对于看见的区域，MRE为3.6mm，而对于未看见的区域，MSD为2.2mm。

如前所述，我们的误差检测通过对中值再投影误差进行阈值处理来起作用。整个地，环面模型对于0.34％的帧是失败的。这些帧中的任何信息实际上是算法未看见的，因此高失败率导致假阳性的数量增加。

图25示出了来自模拟结肠镜检查视频的帧的样本、关联的真值、以及对其来说组织可见(或不可见)的环面模型预测和柱面模型预测。注意，在相对低的曲率(列1)下，环面模型和柱面模型的预测是非常相似的，并且两者都正确地预测了因摄像头的视场和观察距离而造成的盲点。还要注意，在列1中，由于两个模型都没有尝试预测在结肠袋襞后面的盲点，因此，两个模型都不预测该盲点。随着曲率的增加，由于遮蔽，盲点出现在弯曲部的内部。缺少曲率的话，柱面模型在每一种情况下都会漏掉这个盲点。另一方面，即使在盲点小的情况下，环面模型也一致地预测其存在。表II示出了环面模型预测到比柱面模型在边上(marginally)更多的点是“视野外”(条件1)或“太远”(条件2)。这被推理为更准确地表示结肠的几何形状的结果。然而，添加“遮蔽”(条件3)使盲点的预测增加了5.9％，并且在遮蔽增强的情况下高达14.7％。这间接表明环面模型的最显著的改进不是其重建的准确度，而是其能够对在急弯处发生的遮蔽进行建模和预测的事实。因此，这表明除了简单的弯曲模型足以可靠地预测急弯的事实之外，还需要对曲率进行建模。第5列示出了一种困难的情况，其中大的结肠袋襞阻挡了大部分管腔。尽管环面模型未被设计成处理这种情形，但是结肠袋襞有时会局部地呈现为弯曲部，因此，如在这种情况下，环面模型正确地标识皱襞后面的盲点。

表II

根据我们的盲点条件，在各个帧处被预测为漏掉的或看见的模型的平均百分比。在具有和没有遮蔽增强(occlusion boosting，OB)的情况下评估环面模型。

我们现在基于“每帧”对照真值来评估盲点预测，即，独立地评估各个帧而不是融合来自多个模型的信息。该评估的结果可以在表III中看到。注意，由于没有预测而是测量结肠袋襞后面的盲点，因此，存在对最大可实现灵敏度和F分数(F-score)的限制，F分数是准确度的量度(measure)。这些结果测试了模型作为整体的有效性，而不是仅针对急弯处的盲点。尤其是在考虑到模型的简单性时，环面模型的结果显示出高F分数。弯曲环面模型显示出比非弯曲柱面模型显著更灵敏，检测到49％以上的真值盲点区域(当使用遮蔽增强时)。

表III

每帧盲点分类。所有值均为百分比。在具有和没有遮蔽增强(occlusionboosting，OB)的情况下评估环面模型。

本质上，在精度与灵敏度之间存在折衷，遮蔽增强的水平会影响到这一点。增加用于遮蔽增强的结构元素的半径增加了灵敏度并降低了精度。然而，从表III中注意到，即使在没有遮蔽增强的情况下，环面模型也比柱面模型稍微更精确且显著更灵敏。F分数通常被用于测量测试的准确度，并且同等地加权灵敏度和精度。由于环面模型倾向于对急弯处的盲点区域预测不足，因此，F分数量度奖励遮蔽增强一直到某一点。从我们的实验中，如贯穿全文所使用的，利用10mm的半径来实现最佳F分数。然而，由于假阴性的潜在风险很可能远比假阳性的不便之处更重要，因此，医院可以合理地采取更加谨慎的方法，将灵敏度优先于精度，并进一步增加遮蔽增强。

表IV

各个模拟的盲点图的分类成功。我们使用利用遮蔽增强的环面模型。TP＝真阳性FN＝假阴性，FP＝假阳性，其中，阳性＝盲点。

我们通过以关于给出与所估计的盲点图相当的投影的这种方式虚拟展开真值模型来创建真值盲点图。这通过沿着中心线以均匀的步长投射光线环来实现，如在[23]中。对于每条光线，我们检查其击中的面是否已经被看见，并相应地更新图。模拟中包括亮蓝色息肉，以充当真值与预测之间的参考点。盲点图中的盲点分类的正确性由专家参考结肠镜检查视频、真值以及所估计的盲点图来进行评估。表IV示出了结果。跨4次结肠镜检查，我们的灵敏度仅为56％，尽管精度为100％。由于根据盲点的原因手动地或者在算法上分类该盲点的模糊性，因此，确定有多少真值盲点是由结肠袋襞造成的(我们的方法没有检测到)是有挑战性的。图6呈现了具有与真阳性盲点和假阴性盲点相对应的帧的估计盲点图和真值盲点图。模拟结肠镜检查覆盖62cm的结肠，从脾曲(plenic flexure)到直肠(rectum)。

我们的系统已经构建于MATLAB中并且运行于标准CPU(Intel Core i7 8650U)上。我们注意到，由于使用光线投射，因此，处理速度随着全景图的分辨率而按指数规律增加。然而，即使在我们用于我们的实验的3像素/mm的高分辨率下，我们的系统的平均处理速度也仅为737ms/帧。这其中的绝大部分(610ms)来自光线投射，而如果在GPU上运行，则该光线投射几乎可忽略。另有82ms来自非线性拟合算法，而剩余的45ms来自全景拼接。这些可以进行优化，但是期望简单地编译代码以容易地满足实时结肠镜检查所需的30Hz(33ms/帧)的要求，从而为预处理视频和提取稀疏点云的额外开销提供空间。

讨论

我们在此已经呈现的数据表明，通过利用弯曲模型来对结肠的局部结构进行建模，我们能够以高灵敏度预测盲点。模型的唯一输入是内窥镜视频和稀疏点云，该稀疏点云可以使用许多现有方法之一实时地从该视频中提取。与其它方法相比，该模型具有高度的可靠性，并且运行时间非常低。对于我们的实验，我们使用CT数据，该CT数据给出我们真值，我们可以对照该真值与我们的估计进行比较。据我们所知，这是首次使用真实的医学数据来定量评估结肠的参数模型，而以前的研究使用合成数据或定性地呈现结果。因此，考虑到所有上述内容，我们认为这些结果表明了我们的弯曲模型的现实应用的强大潜力。

总的来说，跨帧融合模型来创建盲点图提供了相对低的灵敏度。然而，将数据分解为表IV中的4个组成结肠镜检查显示出模拟#4提供了相当强的结果。通过实时观察系统进展，将清楚差异是由具有相对不明显(unpronounced)的结肠袋襞的该结肠模型造成的。更明显的结肠袋襞产生更多的盲点，这些盲点在没有对这些皱襞进行建模的情况下是不可检测的，而我们没有这样做。这可以在图26中看见-经正确标识的盲点出现在急弯处，其中，弯曲部的内部没有被检查，而漏掉的盲点出现在呈现结肠袋襞的地方。因此，我们提出，在将来，弯曲模型与对结肠袋襞进行建模的其它方法之一一前一后地使用，但是也依赖于这些结肠袋襞是可见的。更明显的皱襞还导致更复杂的几何形状，对系统的稳定性造成挑战。特别地，这可以导致模型拟合对于一系列帧失败或者在帧之间不规律地改变。这又产生累积中心线的不可靠估计，这意味着切片没有在它们的正确位置处拼接到全景图上。我们还注意到，“每帧”灵敏度(82％，参见表III)显著高于盲点图的灵敏度(56％，参见表IV)。这个结果仅仅是前述拼接问题的延伸。由于盲点图是二进制的，因此，区域被看见或者未看见，即使单个帧的拼接错误也可以导致区域被不正确但不可逆地定义为“看见”。

与现有技术相比，我们的方法具有许多独特的优点。首先，环面模型是用于检测急弯处的盲点并预测这些急弯的几何形状的唯一现有方法，因为其它方法不考虑结肠的弯曲拓扑。同时，SLAM方法将随着组织变形而失败，并且如稍早所讨论的，不预测未看见的区域的几何形状。其次，我们首先通过对照点云的优化来将结肠模型拟合至结肠镜检查帧。理论上，所使用的模型也可以比环面模型更复杂，例如并入结肠袋襞。在前的研究仅使用了启发式方法，诸如检测结肠袋襞或者旋转柱面模型以朝着最暗点定向。这些启发式方法是不可推广的，并且各自具有独特的限制，诸如需要看到结肠的管腔。虽然许多方法已经使用稀疏重建来创建点云，或者用于直接稀疏测距法(odometry)或者用于监督结肠袋襞估计，但是没有一种方法主动利用所包含的全部3D信息。最后，我们的方法在计算上特别便宜。例如，一种现有技术方法具有1.5min/帧的平均处理时间。在类似的处理条件下，即使被设定成高分辨率输出时，我们的系统也快122倍。

可以对上述示例进行各种修改(无论是通过增加、减少还是修改)，以提供进一步的示例，这些示例中的任一者和全部均被所附权利要求所涵盖。

参考文献

[1]J.E.Bernth,J.Back,G.Abrahams,L.Lindenroth,B.Hayee,and H.Liu,“Endoscope Force Generation and Intrinsic Sensing with EnvironmentalScaffolding,”in 2019 International Conference on Robotics and Automation(ICRA),2019,pp.1940–1946.

[2]J.E.Bernth,A.Arezzo,and H.Liu,“A Novel Robotic Meshworm withSegment-Bending Anchoring for Colonoscopy,”IEEE Robot.Autom.Lett.,pp.1–1,2017.

[3]L.Wu et al.,“Randomised controlled trial of WISENSE,a real-timequality improving system for monitoring blind spots duringesophagogastroduodenoscopy,”Gut,Mar.2019.

[4]N.Srinivasan,M.Szewczynski,F.Enders et al.,“Real-time FeedbackImproves the Quality of Colonoscopy by Trainees:A Controlled Clinical Trial,”American Journal of Gastroenterology,2012.

[5]D.Hong,W.Tavanapong,J.Wong,J.H.Oh,and P.C.de Groen,“three-dimensional Reconstruction of virtual colon structures from colonoscopyimages,”Comput.Med.Imaging Graph.,vol.38,no.1,pp.22–33,2014.

[6]M.A.Armin et al.,“Visibility Map:A New Method in EvaluationQuality of Optical Colonoscopy,”in Medical image computing and computer-assisted intervention(MICCAI),2015,pp.396–404.

[7]J.Zhou,A.Das,F.Li,and B.Li,“Circular Generalized Cylinder fittingfor three-dimensional reconstruction in endoscopic imaging based on MRF,”2008IEEE Comput.Soc.Conf.Comput.Vis.Pattern Recognit.Work.CVPR Work.,2008.

[8]D.Freedman et al.,“Detecting Deficient Coverage in Colonoscopies,”arXiv preprint,Mar.2020.

[9]L.Lindenroth,C.Duriez,J.Back,K.Rhode,and H.Liu,“Intrinsic forcesensing capabilities in compliant robots comprising hydraulic actuation,”IEEEInt.Conf.Intell.Robot.Syst.,vol.2017-Septe,pp.2923–2928,2017.

Claims (33)

1.一种可视化管腔中的关注区域的三维内表面的方法，所述方法包括以下步骤：

从安装在移动通过所述关注区域的内窥镜上的摄像头收集图像数据；

收集与所述内窥镜的运动有关的运动数据；

收集与所述内窥镜的形状有关的内窥镜形状数据；

将所述图像数据输入到经训练以从输入的图像数据确定摄像头姿态的算法中，并且获得所述摄像头相对于所述管腔的姿态数据；以及

将所述姿态数据、所述运动数据以及所述内窥镜形状数据输入到模型程序中，以虚拟地构建所述关注区域的所述内表面的三维模型。

2.一种可视化管腔中的关注区域的三维内表面的方法，所述方法包括以下步骤：

从安装在移动通过所述关注区域的内窥镜上的摄像头收集图像数据，所述图像数据包括多个帧；

将所述多个帧输入到经训练以从输入的图像数据确定摄像头姿态和管腔曲率的算法中，并且获得与各个帧相对应的所述摄像头相对于所述管腔的姿态数据以及与所述管腔曲率相对应的图像形状数据；

将所述姿态数据和所述图像形状数据输入到弯曲管腔模型程序中；

输出所述管腔的所述内表面的多个三维模型，各个模型对应于各个帧；

组合所述多个三维模型，以获得所述关注区域的所述内表面的最终三维模型。

3.根据权利要求2所述的方法，所述方法还包括以下步骤：

收集与所述内窥镜的形状有关的内窥镜形状数据；以及

将所述内窥镜形状数据作为附加输入而输入到所述弯曲管腔模型程序中。

4.根据权利要求1或3所述的方法，其中，所述内窥镜形状数据被用作所述算法的附加输入。

5.根据权利要求1、3或4中的任一项所述的方法，其中，所述内窥镜形状数据是使用光学感测、机械感测或电磁感测而获得的。

6.根据权利要求1或者3至5中的任一项所述的方法，其中，针对相对于所述图像数据的空间和/或时间偏移来校正所述内窥镜形状数据。

7.根据前述权利要求中的任一项所述的方法，其中，所述图像和/或内窥镜形状数据包括所述管腔的中心轴线的曲率。

8.根据权利要求2所述的方法，所述方法还包括以下步骤：

收集与所述内窥镜的运动有关的运动数据；以及

将所述运动数据作为附加输入而输入到所述弯曲管腔模型程序中。

9.根据前述权利要求中的任一项所述的方法，其中，所述算法是神经网络。

10.根据权利要求1或8所述的方法，其中，所述运动数据包括插入深度数据。

11.根据前述权利要求中的任一项所述的方法，其中，所述内窥镜是柔性内窥镜。

12.根据权利要求11所述的方法，其中，所述柔性内窥镜是软体机器人。

13.根据权利要求12所述的方法，其中，所述软体机器人包括能够顺应所述管腔的形状的一个或更多个软节段。

14.根据权利要求13所述的方法，其中，所述一个或更多个软节段各自包括至少一个流体致动的内室。

15.根据权利要求14所述的方法，其中，所述至少一个流体致动的内室中的压力和体积被用于感测所述软体机器人的形状，以提供内窥镜形状数据。

16.根据前述权利要求中的任一项所述的方法，其中，所述模型程序假定所述关注区域的恒定曲率。

17.根据前述权利要求中的任一项所述的方法，其中，所述模型程序假定所述关注区域的圆形截面。

18.根据权利要求1至16中的任一项所述的方法，其中，所述模型程序假定所述关注区域的非圆形截面和/或变化的截面。

19.根据前述权利要求中的任一项所述的方法，其中，所述三维模型示出所述摄像头无法获得图像数据的盲点的位置。

20.根据权利要求19所述的方法，其中，所述盲点是因以下状况中的一个或更多个造成的：

a)所述盲点处于摄像头视场之外；

b)所述盲点距所述摄像头太远；以及/或者

c)所述盲点被所述管腔的其它部分遮蔽。

21.根据前述权利要求中的任一项所述的方法，所述方法还包括以下步骤：虚拟地展开所述三维模型，以形成所述管腔的所述内表面的二维模型，其中，所述二维模型示出所述摄像头无法获得图像数据的盲点的位置。

22.根据前述权利要求中的任一项所述的方法，其中，所述三维模型被实时更新。

23.根据前述权利要求中的任一项所述的方法，其中，所述图像数据是光学图像数据。

24.根据前述权利要求中的任一项所述的方法，其中，所述管腔是胃肠道。

25.根据权利要求24所述的方法，其中，所述管腔是结肠。

26.根据前述权利要求中的任一项所述的方法，其中，所述算法另外输出所述管腔的特性，所述特性被用作所述模型程序的附加输入。

27.根据权利要求26所述的方法，其中，所述管腔的所述特性包括以下项中的一个或更多个：

所述关注区域的曲率大小；

所述关注区域的恒定曲率的方向；

所述关注区域的长度；

所述关注区域的半径；

所述关注区域的一个或更多个截面；

所述关注区域的一个或更多个结肠袋长度；以及

所述关注区域的一个或更多个结肠袋深度。

28.一种检测结肠的内表面的缺失数据的方法，所述方法包括以下步骤：

将所述内表面的三维模型输入到展开程序，所述模型是从通过插入所述结肠中的内窥镜拍摄的光学图像数据而获得的；以及

输出所述结肠的所述内表面的二维模型；

其中，所述二维模型突出显示没有可用的图像数据的区域。

29.一种可视化管腔中的关注区域的三维内表面的系统，所述系统包括：

处理器；以及

存储器，所述存储器包括计算机程序代码；

所述存储器和所述计算机程序代码被配置成与所述处理器一起执行根据前述权利要求中的任一项所述的方法。

30.根据权利要求29所述的系统，所述系统还包括内窥镜，所述内窥镜被设置成向所述存储器提供图像数据、形状数据以及运动数据中的一个或更多个。

31.一种检测结肠的内表面的缺失数据的系统，所述系统包括：

处理器；以及

包括计算机程序代码的存储器；

所述存储器和所述计算机程序代码被配置成，与所述处理器一起执行根据权利要求28所述的方法。

32.一种对受治疗者的体内管腔进行建模的计算机实现的系统，所述系统包括：

至少一个处理器；以及

至少一个计算机可读存储介质，所述至少一个计算机可读存储介质存储计算机可读指令，所述计算机可读指令在由所述处理器执行时使所述处理器：

i)接收在所述管腔的内窥镜检查期间从受治疗者的所述体内管腔内获得的内窥镜运动数据、内窥镜图像数据以及内窥镜形状数据；

ii)处理所述内窥镜运动数据、所述内窥镜图像数据以及所述内窥镜形状数据，以确定所述管腔的虚拟三维模型，所述管腔的所述虚拟三维模型是由一系列邻接的弯曲柱面模型形成的，所述一系列邻接的弯曲柱面模型是基于所述内窥镜图像数据的每图像帧来获得的，所述管腔的所述虚拟三维模型根据所述内窥镜的视场和作为结果的可用内窥镜图像数据利用所述内窥镜图像数据在可能的情况下被纹理映射。

33.根据权利要求32所述的系统，所述系统还包括计算机可读指令，所述计算机可读指令在由所述处理器执行时使所述处理器：

iii)通过将所述邻接的弯曲柱面模型虚拟展开成二维图像，来生成所述虚拟三维模型的虚拟内表面的二维图像，所述内窥镜图像数据的所述纹理映射在可用的情况下从虚拟三维模型空间被变换到二维图像空间；

其中，所述虚拟展开和内窥镜图像数据使得，在被映射到所述虚拟三维模型上的内窥镜图像数据纹理不足以完全填充所述二维图像的情况下，则将所述二维图像的未填充部分以对于用户而言是明显为没有被填充的这种方式来纹理化，其中，所述图像的未填充的图像部分示出所述管腔的所述表面的在所述内窥镜图像数据中未被成像的那些部分。

Images