CN113331769A - 用于在内窥镜检查期间检测漏检区域的方法和装置 - Google Patents

Abstract

本申请涉及用于在内窥镜检查期间检测漏检区域的方法和装置，公开了一种处理使用包括相机的内窥镜捕捉的图像的方法。根据所述方法，当操作者操纵内窥镜以穿过人类胃肠道(GI)时，接收由相机捕捉的常规图像。对常规图像进行拼接，以确定内窥镜已经过的人体胃肠道部分中的任何漏检或成像不足的区域。如果检测到任何漏检或成像不足的区域，则向操作者提供有关漏检或成像不足区域的信息。

Description

用于在内窥镜检查期间检测漏检区域的方法和装置

相关申请的交叉引用

本发明是对于2020年3月2日提交的序列号为16/806,286的美国专利申请的部分延续，并要求上述申请的优先权。本发明还涉及2018年4月3日授权的第9,936,151号美国专利。上述专利的全部内容通过引用并入本文。

技术领域

本发明涉及用于使用内窥镜捕获的人类胃肠道(GI)的图像序列的图像/视频处理。具体而言，本发明涉及检测胃肠道的漏检区域或成像不足区域，并向执行内窥镜检查程序的医学专业人员提供反馈或向自主胶囊内窥镜提供运动控制。

背景技术

用于体内体腔或通道成像的装置在本领域中是已知的，其包括内窥镜和自动封装相机。内窥镜(Endoscope)是通过孔口或外科开口进入身体的柔性管，通常通过口腔进入食道或通过直肠进入结肠。使用透镜在远端形成图像，并通过透镜中继系统或相干光纤束将图像传输到身体外部的近端。目前，结肠镜检查仍然是用以预防结肠癌的结肠筛查的黄金标准。然而，结肠镜检查并不完美，有时息肉可能会被遗漏。

息肉可能会错过的情况包括两种主要类型。在一种类型中，医生可以看到息肉可能存在的区域，但由于各种原因未能识别出它是息肉。有时，息肉的外观可能是微妙的，不容易从背景结肠粘膜辨别。对于另一种类型，在结肠镜检查过程中，由于结肠镜检查者的技术不足或疲劳，可能会遗漏一些区域，即未检查。这也可能与软管难以通过迂曲和扭曲的结肠相关。

针对第一类问题，已经有各种各样的研究以及甚至产品使用人工智能来帮助医生(特别是初学者)识别息肉。这种系统可以向医生提供通知，在显示器上突出显示，以指示息肉可能在哪里。例如，在Peter Klare等人发表的文章(“Automated polyp(息肉)detectionin the colorectum:a prospective study”，胃肠内窥镜检查，第89卷，第3期，2019年，第576-82页)中，已经披露了在常规结肠镜检查条件下实时自动息肉检测软件(APDS)的应用。并得出结论，计算机辅助自动低延迟息肉检测在实时结肠镜检查中是可行的。在DanielaGuerrero-Vinsard等人的另一篇文章(“Quality assurance of computer-aideddetection and diagnosis in colonoscopy”，胃肠内窥镜检查，第90卷，第1期，2019年；第55-63页)中，回顾了当今基于机器学习的CADe和/或CADx(计算机辅助检测和诊断)结肠镜研究的贡献和局限性。并得出结论，一旦人工智能系统的有效性和可重复性在严格设计的试验中得到验证，基于机器学习的CADe和/或CADx可能会对结肠镜实践产生重大影响。

虽然各种研究都致力于解决第一类问题，但第二类问题(即结肠镜检查时的漏检区域或成像不足区域)仍有待解决。因此，本发明旨在处理第二类问题。特别地，本发明旨在开发能够实时或接近实时地检测漏检区域或成像不足区域以辅助结肠镜检查程序的方法。漏检区域也可能发生在胶囊内窥镜上。漏检区域或成像不足区域的检测将使用检查或显示站的处理能力来实现实时或近实时检测。因此，借助于本发明，可以消除或降低漏检区域或成像不足区域的概率。

发明内容

公开了一种处理使用包括相机的内窥镜捕捉的图像的方法。根据所述方法，当操作者操纵所述内窥镜穿过人体肠胃道时，接收由相机捕捉的常规图像；拼接所述常规图像，以确定所述内窥镜经过的所述人体肠胃道的部分中的任何漏检或成像不足的区域；以及若检测到任何漏检或成像不足的区域，向所述操作者提供有关任何漏检或成像不足的区域的信息。

所述方法还包括从所述相机接收与所述常规图像相关的结构光图像；并基于所述结构光图像导出所述常规图像的距离信息；其中，所述结构光图像由所述相机捕捉，而所述内窥镜由所述操作者操纵以穿过所述人体肠胃道。所述常规图像的所述距离信息用于辅助拼接所述常规图像。所述内腔视图没有许多锐利的边缘或特征来进行可靠的配准。因此，所述距离信息有助于实现正确的拼接过程。根据所述常规图像的所述距离信息和光学放大信息对所述常规图像进行归一化，以便于对所述常规图像进行所述拼接。

在一实施例中，所述距离信息用于确定一个常规图像中的目标区域是否失焦，若所述目标区域在覆盖所述目标区域的所有常规图像中失焦，则将所述目标区域确定为一个漏检或成像不足的区域。

在另一实施例中，所述内窥镜还包括用于测量所述人体胃肠道内的相机运动的运动传感装置。例如，运动传感装置对应于加速计或回转器。运动传感装置可用于确定相机运动、相机轨迹、相机方向或其任何组合。所述的常规图像的拼接可以在基于所述相机轨迹的空间中进行。

在一实施例中，所述向所述操作者提供关于任何漏检或成像不足的区域的信息包括在任何漏检或成像不足的区域上突出显示所述规则图像。在另一实施例中，所述方法还包括生成二维或三维拼接图像，并在显示装置上显示所述二维或三维拼接图像，其中，任何漏检或成像不足的区域被突出显示。

在一实施例中，所述方法还可以包括生成二维或三维拼接图像并存储所述二维或三维拼接图像。在所述内窥镜的取出过程中，所述操作者使用存储的所述二维或三维拼接图像的信息来重新成像任何漏检或成像不足的区域。或者，可以在取出过程中构建二维和三维拼接。存储的所述二维或三维拼接图像的信息也可用于同一患者的后续结肠镜检查。

在一个实施例中，所述常规图像中的目标区域视差不足，所述目标区域被确定为一个漏检或成像不足的区域。在另一实施例中，所述常规图像中的目标区域缺少拼接结果中的表面区域，所述目标区域被确定为一个漏检或成像不足的区域。

在一实施例中，所述方法还可包括通过使用基于所述常规图像的运动估计来导出人体解剖腔内的相机位置、相机运动、相机方向或其组合。在另一实施例中，使用来自结构光图像的所述距离信息导出所述运动估计。

附图说明

图1A示出了示例性场景，其中，存在对应于结肠皱襞的边缘和在皱襞底部的息肉，其中，由于息肉被皱襞阻挡而容易遗漏。

图1B示出了一个示例性场景，其中，相机成一定角度以获得对漏检区域或成像不足区域的良好观察。

图2示出了用于处理使用包括根据本发明实施例的相机的内窥镜捕获的图像的示例性流程图，其中，漏检区域或成像不足区域被检测到。

具体实施方式

应当容易地理解，如本文附图中所一般描绘和图示的，本发明的组件可以以各种不同的配置来设置和设计。因此，如附图所示，下面针对本发明的系统和方法实施例的更详细的描述并不旨在限制本发明的范围(所声明的)，而仅仅代表本发明的选定实施例。贯穿本说明书对“一实施例”、“一个实施例”或类似语言的引用意味着结合所述实施例描述的特定特征、结构或特性可以包括在本发明的至少一个实施例中。因此，贯穿本说明书的短语“在一实施例中”或“在一个实施例中”在各个地方的出现不一定都指向同一实施例。

此外，所描述的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。然而，相关领域的技术人员将认识到，本发明可以在不具有一个或多个具体细节的情况下实施，或者使用其他方法、组件等实施。在其他情况下，未详细地示出或描述公知的结构或操作以避免模糊本发明的各个方面。通过参考附图可以最好地理解本发明的所示实施例，其中相同的部分始终由相同的数字指定。以下描述仅旨在作为示例，并且简单地示出与本文所要求保护的本发明一致的设备和方法的某些选定实施例。

结肠镜检查可以让医生检查患者的直肠、结肠(大肠)和小肠最下面的部分(回肠)是否有任何异常。在结肠镜检查过程中，从肛门插入内窥镜，然后缓慢进入直肠、结肠和回肠。结肠镜检查旨在覆盖结肠镜检查人体胃肠道(GI)部分的所有表面区域。然而，结肠镜的视野(FOV)有限。此外，由于胃肠道的各种困难条件，如结肠的急弯、皱襞、扭曲和弯曲，它们对操作内窥镜对胃肠道进行全覆盖成像提出了巨大挑战。

为了处理漏检区域问题，本发明公开了基于图片拼接(picture mosaicking)的技术，用于在结肠镜检查期间识别可能的漏检区域或成像不良区域(也称为成像不足区域)。成像不足区域是指不能为图片拼接提供足够图像质量的区域。成像不足的区域可能是由于对象失焦、对象被部分遮挡等造成的。图像拼接可能对应于三维拼接(即三维配准(3Dregistration))或二维拼接(即图像拼接(image stitching))。如果内窥镜成像的部分能够及时检测到漏检或成像不足的区域，就可以向结肠镜检查人员提醒漏检区域，以便采取纠正措施。拼接的图像可以提供解剖腔的全景。因此，在本发明中，拼接的图像也被称为全景图像。为了及时提醒结肠镜检查者，必须实时或近实时地完成成像不足区域的漏检的检测。例如，检测必须在几秒钟或更短的时间内完成。本发明的关键思想是结肠是一个闭合的肠道，因此从结肠镜获取的图像可以是拼接的成像区域以形成闭合的肠道，而不会遗漏任何成像不足的区域。如果有任何漏检或成像不足的区域，这意味着有胃肠道上有区域未成像或成像不良。

为了向结肠镜检查人员提醒漏检区域，本发明的一个实施例将显示突出显示(highlighted)的未成像区域的拼接图像。漏检区域的突出显示可以是漏检区域的轮廓的形式。在另一示例中，漏检区域的突出显示可以是覆盖颜色的形式。在另一实施例中，可向结肠镜检查者提供可听见的声音或其它通知信号。

本发明公开了各种漏检区域检测方法。在一实施例中，如果捕获图像中的区域视差不足，则所述区域被视为漏检区域或成像不足区域的候选区域。如本领域所公知的，视差是沿两条不同的视线观察的物体在明显位置上的位移或差异。视差是通过这两条线之间的倾角或半倾角来测量的。由于前缩透视(foreshortening)的关系，当从不同的位置观察时，附近的物体比远处的物体显示出更大的视差。因此，视差在各种应用中被用于确定距离。根据本发明的一个实施例，图像拼接识别多个捕获图像中的相应目标区域，并使用多个捕获图像拼接相应的目标区域。如果这样的视差对于相应的目标区域不可用，则相应的目标区域被确定为漏检区域或成像不足区域的候选区域。

图1A示出了示例性场景，其中，如图1所示，在皱襞的底部存在与结肠110的皱襞130相对应的边缘132和息肉140。息肉很容易漏诊，因为它被皱襞堵住了。当相机刚刚通过皱襞时，相机122可以看到息肉。如图1A所示，内窥镜120包括相机122和软管124。在这种情况下，与息肉相关的区域只能从一个透视角度看到。根据本实施例，息肉周围的区域视差不足并且被识别为漏检或成像不足的区域。因此，所述区域应被突出显示。例如，边缘被突出显示，或者结肠镜检查者被告知有这样的遮挡区域。

对于图1A中描述的情况，边缘的另一侧可能没有被充分成像。如果存在实质性边缘(例如边缘132)，则可以不拼接显示边缘的两侧的全景图像，以避免包括息肉140的遮挡区域。如果此全景图中缺少某个区域，则应通知结肠镜医生。此外，通知的方式可以与不是由边缘以及与遮挡区域相关联的视差不足而导致的漏检区域不同。在三维拼接中，这种被遮挡区域应该表现为拼接结果中的表面区域的缺少。在另一实施例中，空间中的运动估计可用于提供相机位置、运动和方向。如果没有看到边缘的另一侧，例如图1B所示的情况，则可以通知结肠镜检查者。在另一实施例中，在可从运动传感装置获得运动和取向的情况下，如果未检查边缘的另一侧，则可通知结肠镜检查者。然后，结肠镜检查者可以调整相机角度，以便很好地观察漏检或成像不足的区域，如图1B所示。

对于预期的应用，除了查看捕捉的图像和意识到可能遗漏或成像不足的区域外，让结肠镜检查者知道相机的位置或相对位置也很重要。因此，当需要移动相机来覆盖漏检或成像不足的区域时，可以及时通知结肠镜检查者所需的移动。为了确定相机在胃肠道内的位置和/或方向，在本发明的一个实施例中，结肠镜还配备有运动传感装置，例如加速计或回转器。因此，可以确定相机的运动和轨迹以及其方向，以便医生能够更好地了解结肠结构以及相机和与所显示的图像相关的周围胃肠道之间的相对位置。在一个实施例中，可以基于相机运动的轨迹在空间中形成拼接图像。

在另一实施例中，内窥镜可配备有结构光以捕捉常规图像以及结构光图像。可以利用结构光图像(structured light images；SLI)得到图像中不同区域之间的距离，从而利用成像区域的三维信息进行更精确的拼接。此外，拼接过程的迭代(iteration)的起点越精确，所拼接的图像就越不会陷入局部极小值。在通过引用合并的序列号为9,936,151的美国专利中，公开了一种配备有规则光和结构光的相机，以使用相同的图像传感器捕捉常规图像和结构光图像。通过在时间上接近的方式捕捉结构光图像和相应的常规图像，使得两者之间的运动较小。因此，从结构光图像导出的距离信息与常规图像高度相关。关于具有SLI捕捉能力的相机设计的细节，已在美国专利(序列号9936151)中公开。

这些二维或三维拼接结构可有助于内窥镜检查手术。例如，二维或三维拼接结构可能由不同的结肠镜检查者完成，因此解剖学信息可以帮助结肠镜检查者在管腔内进行引导。此概念以及本发明中的其它概念可应用于胃肠道或器官或身体的其它区域，例如膀胱。

除了内腔表面缺少锐利的边缘和特征以便于配准的这一事实之外，图片拼接领域的一些研究(例如J.Davis，“Mosaics of scenes with moving objects”会议记录。1998年IEEE计算机学会计算机视觉和模式识别会议(Cat.No.98CB36231)，加利福尼亚州圣巴巴拉，1998年，第354-360页)发现，物体与相机之间的距离过近将使得拼接更加困难。因此，距离信息对于GI图像非常重要，因为距离通常非常近。在一实施例中，在结肠镜的操作期间，仅在屏幕上显示常规图像而不显示结构光图像。然而，结构光图像可以通过计算机或处理器来计算常规图像的距离信息。在一实施例中，根据距离信息和光学放大率信息对常规图像进行归一化以便于拼接。在另一实施例中，拼接的二维或三维结构可以实时或接近实时地显示。在又一实施例中，漏检区域在拼接的二维或三维结构上突出显示。拼接图像可以胃肠道的表面的形式显示。拼接算法可以是刚性的，也可以是非刚性的，以考虑结肠镜检查时肠道的一些运动。

如果结肠镜检查配备有结构光以捕捉SLI并提取距离信息，则可以确定失焦区域的常规图像。在拼接过程中，重叠区域应以适当聚焦的像素为主。如果存在一个区域，其中覆盖所述区域的所有图像对于所述区域来说都不对焦，则所述区域是成像不良区域的候选区域。所述区域应突出显示或向结肠镜检查者提供通知。

在另一实施例中，结肠镜可配备运动传感装置(例如加速器或回转器等)以确定其运动和相机的轨迹以及一个或多个结构光以捕捉SLI并导出相应的距离信息。通过将结构光与运动传感装置相结合，可以在实时中构建精确的胃肠道三维结构。基于胃肠道的精确三维结构，结肠镜系统可以配置成突出显示任何未检查的区域，并提醒医生未检查的区域。此外，结肠镜系统可配置为在结肠镜检查期间通过了解生理拓扑和病理拓扑(当存在时)来协助医生。或者，可以记录这些信息并稍后使用。

本发明也可用于其它胃肠道，例如胃，或非胃肠道区域，例如膀胱。

除了栓系内窥镜(tethered endoscope)之外，胶囊内窥镜也可受益于本发明以检测漏检区域。对于可以控制或引导胶囊移动的系统，例如机械化胶囊或磁控胶囊，可以使用漏检区域的实时检测来引起胶囊的移动，使得胶囊可以重新成像漏检区域。有时，尽管不能控制胶囊，但是可以改变对象(例如，患者)的姿势位置以使胶囊成像所需区域。漏检区域的信息可以用于指导确定被拍摄主体的正确姿势。另一方面，漏检区域信息可以为临床医生提供与手术相关的有价值的信息。在另一个实施例中，可以提供漏检区域信息，以便以能够避免或减少漏检区域的方式对胶囊进行编程。

在另一实施例中，通过正确地执行拼接，可以移除冗余重叠区域。基于聚集的冗余区域的信息，其可以提供关于是否可以降低帧速率的信息，以节省胶囊的能量和其他资源。另一方面，其可以提供关于是否增加帧速率以避免或减少漏检区域的信息。大量的冗余区域也表明一个区域已经被充分成像。

图2示出了用于处理使用包括根据本发明实施例的相机的内窥镜捕捉的图像的示例性流程图，其中，检测到漏检或成像不足的区域。根据本方法，在步骤210中，当操作者操纵内窥镜以穿过人体解剖腔时，接收由相机捕捉的常规图像。在步骤220中，对常规图像进行拼接以确定内窥镜行进的人体解剖腔的部分中的任何漏检或成像不足的区域。如果检测到任何漏检或成像不足的区域，则在步骤230中向操作者提供关于任何漏检或成像不足的区域的信息。

所述方法可以在软件中实现，以便由各种类型的处理器执行。例如，处理器可对应于与结肠镜检查站相关联的计算机或耦合为从结肠镜接收图像的工作站。

提供上述描述是为了使本领域的普通技术人员能够实施在特定应用及其要求的上下文中提供的本发明。对所描述的实施例的各种修改对于本领域技术人员来说是显而易见的，并且本文中定义的一般原理可以应用于其他实施例。因此，本发明并不打算局限于所示和描述的特定实施例，而是被赋予与本文公开的原理和新颖特征一致的最宽范围。在上述详细描述中，为了提供对本发明的透彻理解，示出了各种具体细节发明。然而，本领域技术人员将理解，可以实施本发明。

本发明可以在不脱离其精神或本质特征的情况下以其他具体形式体现。所描述的示例在所有方面仅被认为是说明性的而不是限制性的。因此，本发明的范围由所附权利要求书而不是由前述描述来指示。在权利要求的等同含义和范围内的所有变更都应包含在其范围内。

Claims (22)

1.一种处理使用包括相机的内窥镜捕捉的图像的方法，所述方法包括：

当操作者操纵所述内窥镜穿过人体解剖腔时，接收由所述相机捕捉的常规图像；

拼接所述常规图像，以确定所述内窥镜经过的所述人体解剖腔的部分中的任何漏检或成像不足的区域；以及

若检测到任何漏检或成像不足的区域，向所述操作者提供有关任何漏检或成像不足的区域的信息。

2.根据权利要求1所述的方法，还包括：

从所述相机接收与所述常规图像相关的结构光图像；以及

基于所述结构光图像导出所述常规图像的距离信息；

其中，所述结构光图像由所述相机捕捉，而所述内窥镜由所述操作者操纵以穿过所述人体解剖腔。

3.根据权利要求2所述的方法，其中，所述常规图像的所述距离信息用于辅助所述常规图像的所述拼接。

4.根据权利要求3所述的方法，其中，根据所述常规图像的所述距离信息和光学放大信息而对所述常规图像进行归一化，以便于促进所述常规图像的所述拼接。

5.根据权利要求2所述的方法，其中，所述距离信息用于确定一个常规图像中的目标区域是否失焦，并且如果所述目标区域在覆盖所述目标区域的所有常规图像中失焦，则将所述目标区域确定为一个漏检或成像不足的区域。

6.根据权利要求2所述的方法，其中，所述内窥镜还包括用于测量所述人体解剖腔内的相机运动的运动传感装置。

7.根据权利要求6所述的方法，其中，所述运动传感装置对应于加速计或回转器。

8.根据权利要求6所述的方法，其中，所述运动传感装置用于确定相机运动、相机轨迹、相机方向或其任何组合。

9.根据权利要求8所述的方法，其中，可在基于所述相机轨迹的空间中执行所述常规图像的所述拼接。

10.根据权利要求1所述的方法，其中，所述向所述操作者提供有关任何漏检或成像不足的区域的所述信息包括在任何漏检或成像不足的区域上突出显示所述常规图像。

11.根据权利要求1所述的方法，还包括：

生成二维或三维拼接图像，并在显示装置上显示所述二维或三维拼接图像，其中，任何漏检或成像不足的区域被突出显示。

12.根据权利要求1所述的方法，其中，所述内窥镜还包括用于测量所述人体解剖腔内的相机运动的运动传感装置。

13.根据权利要求12所述的方法，其中，所述运动传感装置对应于加速计或回转器。

14.根据权利要求12所述的方法，其中，所述运动传感装置用于确定相机运动、相机轨迹、相机方向或其任何组合。

15.根据权利要求14所述的方法，其中，可在基于所述相机轨迹的空间中执行所述常规图像的所述拼接。

16.根据权利要求1所述的方法，还包括生成二维或三维拼接图像并存储所述二维或三维拼接图像。

17.根据权利要求16所述的方法，其中，所述操作者在所述内窥镜的取出过程中使用存储的所述二维或三维拼接图像的信息来重新成像任何漏检或成像不足的区域。

18.根据权利要求16所述的方法，其中，存储的所述二维或三维拼接图像的信息用于同一患者的后续结肠镜检查。

19.根据权利要求1所述的方法，其中，所述常规图像中的目标区域为视差不足，所述目标区域被确定为一个漏检或成像不足的区域。

20.根据权利要求1所述的方法，其中，所述常规图像的目标区域在拼接结果中缺少表面区域，所述目标区域被确定为一个漏检或成像不足的区域。

21.根据权利要求1所述的方法，还包括：

通过使用基于所述常规图像的运动估计来导出所述人体解剖腔内的相机位置、相机运动、相机方向或其组合。

22.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质上存储有可由处理器执行的计算机可读代码，以使所述处理器执行以下步骤：

当操作者操纵内窥镜穿过人体解剖腔时，接收由相机捕捉的常规图像；

拼接所述常规图像，以确定所述内窥镜经过的所述人体解剖腔的部分中的任何漏检或成像不足的区域；以及

若检测到任何漏检或成像不足的区域，向所述操作者提供有关任何漏检或成像不足的区域的信息。

Images