CN114787858A - 用于确定用于区分组织液细胞和组织细胞的信息的光学监测装置和方法以及数据处理系统 - Google Patents

Abstract

本发明涉及一种用于确定用于在组织区域的高分辨率图像(34)中区分组织液细胞和组织细胞的信息的方法。在该方法中，访问在记录高分辨率图像(34)之前以低分辨率和高帧率临时存储的图像(33A‑E)，并且从具有低分辨率和高帧率的临时存储图像(33A‑E)中获得用于区分组织液细胞和组织细胞的信息。

Description

用于确定用于区分组织液细胞和组织细胞的信息的光学监测 装置和方法以及数据处理系统

技术领域

本发明涉及一种用于确定用于在组织区域的高分辨率图像中区分组织液细胞和组织细胞的信息的计算机实施的方法、一种用于执行该方法的数据处理系统、以及一种计算机程序和一种具有用于确定用于在组织区域的高分辨率图像中区分组织液细胞和组织细胞的信息的指令的非易失性计算机可读存储介质。另外，本发明涉及一种用于通过扫描成像方法记录组织区域的高分辨率图像以及被分配到该图像且用于区分组织液细胞和组织细胞的信息的方法，并且涉及一种光学监测装置。

背景技术

在内窥镜检查中，特别是在显微内窥镜检查中，基于微机电系统(MEMS)的扫描装置的发展促进了扫描成像方法的发展，该微机电系统有助于使用可移动的光纤或在固定光纤的情况下通过可移动的微机电镜(MEMS镜)对对象进行横向扫描。例如，在US 2016/0051131 A1中描述了一种基于微机电系统的光纤扫描装置。扫描成像方法尤其是在光学相干断层扫描(Optical Coherence Tomography，OCT)的范围内或在共焦成像的范围内使用，例如，如US 2010/0157308 A1和US 9,921,406 B2中所述。

在扫描成像方法的情况下，例如首先沿一条线扫描对象，这条线通常称为x方向或x行。之后是在y方向上的换行，随后再次沿着x方向上的行进行扫描。在这种情况下，如果所有行都用于扫描，则这些行在y方向上彼此之间可以具有的最小可能间距定义了通过扫描成像方法获得的图像的分辨率。然而，所有行都用于扫描的图像也需要最长的扫描过程，因为必须扫描许多行。由于扫描时间长，基于扫描成像方法的视频流中的帧率较低。在此，帧率指定了视频流中可实现的每秒帧数(fps)。为了能够实现更高的帧率，有必要减少使用扫描成像方法记录帧所需的持续时间。通常，这是通过对于一帧不使用扫描中的所有行来实现的，例如仅使用每第10行，因此可以提高帧率，但会牺牲帧的分辨率。举例来说，在US2010/0157037 A1中描述了具有可调分辨率的扫描内窥镜系统，用于具有螺旋扫描式扫描仪的内窥镜。

在医学领域，扫描成像方法例如在共焦显微镜的范围内、特别是在共焦显微内窥镜的范围内、以及在光学相干断层扫描的范围内使用以记录组织区域的高分辨率图像，基于这些高分辨率图像可以诊断组织变化。这种情况下的一个问题是在通过扫描成像方法获得的图像中难以区分组织细胞和组织液细胞。

发明内容

因此，本发明的第一个目的是提供一种用于确定用于在组织区域的高分辨率图像中区分组织液细胞和组织细胞的信息的计算机实施的方法，并提供一种用于执行该方法的数据处理系统。

第二个目的是提供一种计算机程序和一种具有指令的非易失性计算机可读存储介质，这些指令有助于确定用于在组织区域的高分辨率图像中区分组织液细胞和组织细胞的信息。

本发明的第三个目的是提供一种通过扫描成像方法记录组织区域的高分辨率图像的方法，由此可以确定用于区分组织液细胞和组织细胞的信息，该信息还被分配到高分辨率图像。

本发明的第四个目的在于提供一种光学监测装置，其有助于确定用于在组织区域的高分辨率图像中区分组织液细胞和组织细胞的信息。

第一个目的是通过如权利要求1所述的计算机实施的方法和如权利要求12所述的数据处理系统来实现的，第二个目的是通过如权利要求10所述的计算机程序和如权利要求11所述的非易失性计算机可读存储介质来实现的，第三个目的是通过如权利要求13所述的用于记录高分辨率图像的方法来实现的，并且第四个目的是通过如权利要求16所述的光学监测装置来实现的。从属权利要求要求保护本发明的有利配置。

根据本发明的第一方面，提供了一种用于确定用于在组织区域的高分辨率图像中区分组织液细胞和组织细胞的信息的计算机实施的方法。在本发明的范围内，在一方面组织液细胞和另一方面组织细胞之间进行区分。在这种情况下，组织细胞被认为是那些与细胞外基质结合的细胞。特别地，组织细胞是上皮组织的细胞、结缔和支持组织的细胞、肌肉组织的细胞以及神经组织的细胞。相比之下，组织液细胞被认为是位于组织液中，特别是血液或淋巴液中的那些细胞。

在根据本发明的计算机实施的方法中，访问在记录高分辨率图像之前以低分辨率和高帧率记录和缓冲的缓冲图像。用于区分组织液细胞和组织细胞的信息是从高帧率的低分辨率缓冲图像中获得的。

特别是，当用户导航到关注的组织区域或搜索组织以发现组织变化时，显微内窥镜光学监测装置经常以低图像分辨率模式与扫描图像记录设备一起操作。因此，本发明范围内的图像分辨率不应理解为由成像光学元件的光学特性引起的光学分辨率，而是指由成像像素的尺寸和这些像素彼此之间的间距引起的像素分辨率。由于图像分辨率降低，使用扫描图像记录设备可以更快地记录帧，因此可以实现高帧率。结果，可以向用户提供每秒4帧或更高的帧率。一旦用户到达目标区域或发现有组织变化的部位，就需要高分辨率图像来更详细地检查对应的组织区域。这里的一个问题是在高分辨率图像中区分一方面组织液细胞和另一方面嵌入细胞外基质中的组织细胞。为了获得有助于区分组织液细胞和组织细胞的必要信息，根据本发明的计算机实施的方法利用了在记录高分辨率图像之前以高帧率记录了多个低分辨率图像的事实。这些图像包含允许区分组织液细胞和嵌入细胞外基质中的组织细胞的信息。由于高帧率，在低分辨率图像中很容易发现相对于细胞外基质移动的组织液细胞，因为只要有多个在时间上连续的低分辨率图像可用，就能获得它们的移动和由此产生的帧中的位置变化。根据本发明的计算机实施的方法可以从缓冲器中获取这些图像，所述图像持续地缓冲在该缓冲器中。如果现在创建高分辨率图像，则该方法可以访问缓冲图像以获得和准备有助于区分组织液细胞和组织细胞的信息。该信息尤其基于对细胞相对于图像背景的位置变化的检测。举例来说，分布在帧中并且在所有帧中相对于彼此具有基本相同的相对位置的细胞可以被认为是图像背景。

在最简单的情况下，计算机实施的方法可以从至少一些高帧率的低分辨率缓冲图像生成视频序列，然后将所述视频序列描绘在高分辨率图像旁边或叠加在高分辨率图像上。在该视频序列中，组织液细胞相对于嵌入细胞外基质中的组织细胞移动，因此对于视频序列的观察者来说很容易识别。

表示用于区分组织液细胞和组织细胞的信息的另一替代选项包括确定图像背景(例如在所有帧中相对于彼此基本具有相同的相对位置的细胞)以及在高帧率的低分辨率缓冲图像中相对于图像背景移动的那些图像元素。那些已经被确定为相对于图像背景移动的图像元素的图像元素然后可以在图像中被突出显示。特别地，它们也可以叠加在高分辨率图像上，从而在高分辨率图像中直接突出显示组织液细胞。可替代地，也有可能在高分辨率图像旁边显示在其中突出显示了组织液细胞的第二图像。举例来说，可以基于对基于高帧率的低分辨率图像创建的视频序列的分析来确定相对于图像背景移动的图像元素。然而，原则上，彼此之间具有合适的时间间隔的两幅图像就足以从某些图像元素相对于图像背景的不同位置推断出移动图像元素。

自然也可以选择将视频序列叠加在高分辨率图像上。

如果被获取高分辨率图像的对象是活组织，则生理过程会导致组织发生连续移动。结果，被成像对象在缓冲图像的每个图像中位于稍微不同的位置。换言之，组织液细胞相对于其移动的图像背景同样处于运动中。为了补偿所创建的视频序列中或相对于图像背景移动的图像元素被突出显示的图像中的这种移动，用于生成视频序列或确定相对于图像背景移动的图像元素的高帧率的低分辨率缓冲图像可以相对于参考图像进行配准。也就是说，除了参考图像之外的所有图像都经过变换，这导致图像背景的某些结构在每个图像中位于相同的图像部分中。通常，所使用的变换包含图像中对象的至少一个位移。然而，例如，如果生理过程导致组织的旋转或周期性扩张和收缩，它们也可能包含旋转或变形。在这种情况下，特别是高分辨率图像也可以用作参考图像。可选地，可以使高分辨率参考图像的分辨率与低分辨率图像匹配，或者通过插值使低分辨率图像与高分辨率图像的高分辨率匹配。然而，也可以替代地选择高帧率的低分辨率缓冲图像之一作为参考图像。通常，为此会使用足够清晰的图像。

此外，在根据本发明的方法的范围内，可以对嵌入细胞外基质中的组织细胞进行分类。这种分类可以通过适当的软件来实施。分类的前提是组织液细胞不会被错误地认为是嵌入细胞外基质的细胞，反之亦然。因此，根据本发明的计算机实施的方法创造了允许对嵌入细胞外基质中的组织细胞进行分类的条件。该分类允许根据组织细胞的分类对它们进行标记。举例来说，通过标记，可以将组织细胞细分为相对于正常状态没有变化的第一类组织细胞和相对于正常状态有变化的第二类组织细胞。借助于分类和标记，然后例如可以预先选择需要由病理学家检查变化的组织区域。

根据本发明的计算机实施的方法可以包括以下方法步骤：对每个高帧率的低分辨率缓冲图像执行检查，以确定其是否适合获得用于区分组织液细胞和组织细胞的信息。适合性的标准可能是：足够的对比度、足够的清晰度、没有令人讨厌的移动伪影等。然后，仅使用被确定为适合获得用于区分组织液细胞和组织细胞的信息的高帧率的低分辨率缓冲图像来获得该信息。这可以保证所获得的信息的质量不会因为低质量的帧而降低。

可选地，根据本发明的计算机实施的方法还可以包括以下步骤：检查是否有足够数量的适合获得用于区分组织液细胞和组织细胞的信息的高帧率的低分辨率缓冲图像可用。如果检查表明没有足够数量的适合获得用于区分组织液细胞和组织细胞的信息的高帧率的低分辨率缓冲图像可用，则计算机实施的方法会提示记录更多的高帧率的低分辨率图像。虽然因此延迟了获得用于区分组织液细胞和组织细胞的信息，但是该过程增加了能够获得用于区分组织液细胞和组织细胞的高质量信息的概率。

根据本发明的第二方面，提供了一种用于确定用于在组织区域的高分辨率图像中区分组织液细胞和组织细胞的信息的计算机程序。该计算机程序包括指令，这些指令当在计算机上执行时提示计算机访问在记录高分辨率图像之前缓冲的高帧率的低分辨率图像，并从高帧率的低分辨率缓冲图像中获得用于区分组织液细胞和组织细胞的信息。因此，根据本发明的计算机程序包含指令，借助这些指令可以在计算机或任何其他数据处理设备上执行根据本发明的计算机实施的方法。在该过程中，根据本发明的计算机程序还可以包括指令，借助这些指令，可以在计算机或任何其他数据处理设备上执行根据本发明的计算机实施的方法的所描述的进一步实施例。因此，关于根据本发明的计算机实施的方法及其进一步的实施例所描述的特性和优点可以借助计算机程序来实现。

根据本发明的第三方面，还提供了一种非易失性计算机可读存储介质，其上存储有用于确定用于在组织区域的高分辨率图像中区分组织液细胞和组织细胞的信息的指令。这些指令当在计算机上执行时提示计算机访问在记录高分辨率图像之前缓冲的高帧率的低分辨率图像，并从高帧率的低分辨率缓冲图像中获得用于区分组织液细胞和组织细胞的信息。根据本发明的非易失性计算机可读存储介质允许将根据本发明的计算机程序加载到计算机或任何其他数据处理设备中，使得根据本发明的计算机实施的方法可以由计算机或由其他数据处理设备执行。因此，关于根据本发明的计算机实施的方法及其进一步的实施例所描述的特性和优点可以借助计算机或任何其他数据处理设备来实现。

根据本发明的第四方面，提供了一种用于确定用于在组织区域的高分辨率图像中区分组织液细胞和组织细胞的信息的数据处理系统。该数据处理系统尤其可以基于市售计算机，包括处理器和至少一个存储器，该处理器被配置为基于存储在存储器中的计算机程序的指令来访问在记录高分辨率图像之前缓冲的高帧率的低分辨率图像，并从高帧率的低分辨率缓冲图像中获得用于区分组织液细胞和组织细胞的信息。借助于这样的数据处理系统，可以实现根据本发明及其进一步实施例的计算机实施的方法的实施方式，并因此可以实现与计算机实施的方法相关的特性和优点。

根据本发明的第五方面，还提供了一种用于通过扫描成像方法记录组织区域的高分辨率图像以及被分配到该图像且用于区分组织液细胞和组织细胞的信息的方法。在第一扫描模式下以高帧率记录组织区域的低分辨率图像。在一定时间段内缓冲高帧率的低分辨率记录图像。在触发信号之后改变为高分辨率的第二扫描模式，在该第二扫描模式下记录高分辨率图像。此外，按照根据本发明的计算机实施的方法的步骤确定用于区分组织液细胞的信息。结果，可以将信息分配给记录的高分辨率图像，该信息使得能够区分组织液细胞和组织细胞。在这种情况下，可以在高分辨率图像的记录之后返回到第一扫描模式，以便继续记录高帧率的低分辨率图像。当高帧率的低分辨率缓冲图像不包括足够的适合获得用于区分组织液细胞和组织细胞的信息的图像时，这尤其是有利的。然后，为了获得用于区分组织液细胞和组织细胞的信息，可以使用在记录高分辨率图像之后记录的更多的高帧率的低分辨率图像。

在根据本发明的方法的范围内，高分辨率图像的记录可以自动触发获得用于区分组织液细胞和组织细胞的信息。因此不需要进一步的触发步骤，当扫描图像记录设备在操作范围内使用来执行该方法时，这尤其是有利的。然后，外科医生只需要触发高分辨率图像的记录，就可以再次专注于手术。

最后，本发明还提供一种光学监测装置，该光学监测装置包括扫描图像记录设备和根据本发明的数据处理系统。特别地，光学监测装置可以是内窥镜，更具体地，可以是被设计用于执行光学相干断层扫描的共焦内窥镜或内窥镜。使用根据本发明的光学监测装置，可以执行根据本发明的用于记录组织区域的高分辨率图像以及所分配的用于区分组织液细胞和组织细胞的信息的方法。因此，根据本发明的光学监测装置有助于实现与根据本发明的方法相关的特性和优点。

附图说明

从以下参考附图对示例性实施例的描述中，本发明的其他特征、特性和优点将变得清楚。

图1示出了被配置为执行扫描成像方法的内窥镜的高度示意图。

图2示出了高分辨率图像的示意图。

图3示出了低分辨率图像的示意图。

图4基于流程图示出了用于确定用于在高分辨率图像中区分组织液细胞和组织细胞的信息的计算机实施的方法的示例。

图5示出了一系列记录的图像。

图6示出了具有组织细胞和处于第一位置的组织液细胞的图像的高度示意图。

图7示出了图6的图像，其中组织液细胞处于第二位置。

具体实施方式

为了解释的目的，下面将基于示例性实施例详细描述本发明。这里，图1示出了具有扫描装置的内窥镜，作为具有被设计用于记录对象图像的图像记录设备的光学监测装置的示例性实施例，所述图像由像素网格组成。图2和图3示出了根据由内窥镜进行的扫描获得的高度示意性的图像。

图1所示的内窥镜1包括光纤3，该光纤具有输入端5和输出端7。输入端5面向监测对象9并且其位于扫描装置11中，借助该扫描装置，端5可以相对于监测对象9沿两个侧向方向移动，以下称为x方向和y方向。特别地，扫描装置可以通过微机电系统(MEMS)来实现。举例来说，在US 2016/0051131 A1中描述了使用微机电系统的扫描装置。关于合适的扫描装置的结构，请参考该文档。可替代地，如果光纤端部5是固定的，则可以借助可移动的微机电镜(MEMS镜)或借助多个可移动的微机电镜来扫描监测对象9。

光纤3的第二端7面向传感器13，通过该传感器可以捕获入射在传感器13上的光能。传感器13位于外壳15中，该外壳在本示例性实施例中被实施为单独的模块，但也可以被实施为手柄，在该手柄中还容纳有用于产生用于照射监测对象9的照明光的光源(图中未示出)和用于将照明光耦合到光纤3的第二端7的输入耦合设备。特别地，光源可以是激光光源。然而，光源也可以布置在外壳15的外部并且通过光导连接到外壳。然后，光导的输出端位于外壳15中。在这种情况下，输入耦合设备将从光导的输出端射出的照明光耦合到光纤3的第二端7。照明光可以是白光，即具有宽带光谱，或者是具有由一个或多个窄带光谱范围(例如适合于在监测对象9中激发荧光的一个或多个窄带光谱范围)组成的光谱的光。

耦合到光纤3的第二端7的照明光通过光纤3被引导到第一端5，照明光由此朝监测对象9的方向射出。被监测对象9反射的照明光或被照明光激发并由监测对象9发射的光(例如荧光)进而进入光纤3的第一端5并从第一端引导至第二端7，由此朝传感器13的方向射出。此外，聚焦光学单元可以位于光纤3的末端5、7处或之前，这些聚焦光学单元可以用于将光聚焦到监测对象9的表面或传感器13上。特别地，内窥镜1可以实施为共焦内窥镜。附加地或作为其替代，其也可以实施为用于执行光学相干断层扫描(OCT)的内窥镜。例如，共焦显微镜和光学相干断层扫描是众所周知的方法并且在US 2010/0157308 A1和US 9,921,406B2中进行了描述。因此，在本说明书的范围内省略了关于共焦显微镜和关于光学相干断层扫描的细节的描述。相反，请参考US 2010/0157308 A1和US 9,921,406 B2。

在本示例性实施例中，借助计算机17来控制借助内窥镜1记录的图像。然而，也可以通过专用的控制装置来实施控制。在本示例性实施例中用于控制的计算机17连接到扫描装置11和传感器13两者。在本示例性实施例中，扫描装置11由计算机17控制，以使得沿着具有网格点21的网格19(见图2)扫描监测对象9。在每个扫描的网格点21处，用照明光照射监测对象9，并且记录反射的照明光或由于通过照明光的激发而由监测对象9发射的光。然后，计算机从在网格点21处记录的反射照明光或从在网格点21处记录的由监测对象发射的光生成图像，所述图像的像素网格对应于在扫描期间使用的网格19。因此，光纤3、扫描装置11、传感器13和计算机17共同形成了图像记录设备，其中计算机17用作图像生成设备。

在本示例性实施例中，网格包括在图2中沿x方向延伸的网格行和在图2中沿y方向延伸的网格列。这里，在本示例性实施例中，对监测对象的扫描是逐行执行的，即，以以下方式进行：扫描一行，即沿x方向进行扫描，并且在该行已经完成之后，光纤3在y方向上偏移，然后使用已经在y方向上偏移的光纤3再次扫描在x方向上延伸的行。在扫描过程期间，传感器13对在记录时光纤所在的每个网格点21曝光。这样，借助于传感器13和扫描装置11，逐行生成如图2示意性示出的监测对象9的图像。

图2高度示意性地示出了一个图像，其中在扫描监测对象9时使用了网格19的所有网格点21。这里，图2示意性地示出了监测对象9的结构23，出于说明的目的，该结构由环表示。位于结构23上方的网格点21导致传感器13上的信号与不位于结构23上方的那些网格点21不同。在图2中，由位于结构23上方的网格点21生成的信号由阴影网格点21表示。由于网格点21的尺寸较小并且网格点21之间的相应间距较小，通过使用光纤3，可以实现监测对象9中的结构23的高分辨率。由于在高分辨率情况下要扫描的网格点的数量较大，因此借助扫描成像方法生成高分辨率图像需要相对较长的时间。如果使用扫描成像方法记录视频序列，则由于借助扫描成像方法记录帧所需的持续时间，因此仅可以实现低帧率。

为了提高帧率，可以选择减少在扫描期间使用的网格点21的数量，如图3所示，以便增加为帧执行扫描的速度。为此，在本示例性实施例中，计算机17可以控制扫描装置11，以使得在沿着网格19扫描时省略某些行25。换句话说，在扫描期间仅扫描每第n行，如图3中示意性地示出的，其中，作为示例，仅扫描每第三行。在扫描期间使用的行21的网格点21在图中用实线表示，在扫描期间省略的行25的网格点21用虚线表示。在所示的图中，在扫描期间仅使用网格19的每第三行，因此帧率可以大约为三倍。实际上，可以在两个扫描行之间省略了多于两行，以便将帧率提高到至少4fps。

在扫描期间省略行25会导致y方向上的图像分辨率降低。从图3可以明显看出，由于行的数量减少，在图像中可用于表示结构23的网格点21与使用所有行时相比较少。

虽然在一些情况下以降低的分辨率记录视频流可能就足够了，例如只要导航到检查部位，但在有些情况下，需要监测对象9的结构23的高分辨率图像。这尤其适用于当内窥镜1已经到达检查部位并且应该检查检查部位的变化时。

在本示例性实施例中，在记录视频流的同时，视频流的低分辨率帧在计算机17的存储器中缓冲一定时间量，为此可以使用例如循环缓冲器，即在一定存储时间内存储数据的存储器，并且在这种情况下，存储器中的存储时间已经过去的数据被当前数据覆盖。当用户到达检查部位时，他们可以通过在计算机17中输入对应的命令作为触发信号来触发高分辨率图像的记录。举例来说，命令可以是键盘输入，或者如果计算机17被配备为接受语音命令，则可以是语音命令。然而，也可以使用通过有线或无线电连接到计算机17的外部输入装置。举例来说，这样的外部输入装置可以是脚踏开关，在其致动之后，触发信号被传输到计算机17。与键盘输入相比，脚踏开关和语音命令的优势在于内窥镜1的用户不需要用手来生成触发信号。

下面基于图4中描绘的流程图解释用于确定用于在高分辨率图像中区分组织液细胞和嵌入在细胞外基质中的细胞的信息的计算机实施的方法的实施例。

在本示例性实施例中，计算机实施的方法在计算机17上执行。其实施由触发信号触发，例如通过致动脚踏开关、通过键盘输入或语音命令。触发信号可以是仅为执行该方法而设计的信号，但与前面的实施例一样，它也可以是被耦合以触发高分辨率图像34(见图5)的信号。一旦在触发信号之后在步骤S1中开始了该方法，则该方法在步骤S2中访问存储在循环缓冲器中的视频流的低分辨率帧33A-E，这些帧是在记录高分辨率图像34之前记录的。如果低分辨率帧33A-E不存储在计算机17的存储器中而是存储在外部，例如存储在内窥镜1的存储器中，则访问视频流的低分辨率帧33A-E还包括将低分辨率帧33A-E读取到计算机17中。在这一点上，应该指出，低分辨率帧33A-E在本实施例中是视频流的帧，但对于本发明来说这不是强制性的。

在步骤S2中访问缓冲的帧33A-E之后，在步骤S3中评估帧33A-E的质量并且摒弃质量太低的帧。尤其是在相应帧的清晰度、移动伪影的存在、对比度等方面实施关于帧质量的评估。特别地，可以基于图像清晰度、对比度、移动伪影的存在等来确定质量参数。那些未达到质量参数的指定值的低分辨率帧33A-E被摒弃。在该过程中，还可以选择定义多个质量参数并摒弃所有未达到至少一个质量参数的指定值的图像。

在步骤S4中对质量具有足够值的帧进行检查，以判断各个帧的图像场是否有足够的重叠。图像场没有足够重叠的帧被摒弃。为了确定足够的重叠，例如可以从低分辨率帧33A-E确定参考图像，并且可以确定剩余帧33A-E与参考图像的重叠。举例来说，重叠可以由数值表示，该数值指示相应帧33A-E的图像场的哪个部分与参考图像的图像场相对应。尽管本实施例中先摒弃图像质量不足的帧，再摒弃与参考图像没有足够重叠的帧，但也可以颠倒测试顺序，即先摒弃那些与参考图像没有足够重叠的帧，并随后摒弃那些质量不足的帧。代替帧，也可以使用高分辨率图像34作为参考图像。

在步骤S3和S4中摒弃了质量不足或没有足够重叠的图像之后，在步骤S5中检查低分辨率帧33A-E的剩余数量是否足以确定用于区分组织液细胞和嵌入细胞外基质的组织细胞的信息。举例来说，为此可以指定不应低于的帧数的下限。附加地或作为替代，可以指定两个低分辨率帧33A-E之间不应超过的最大时间间隔。进一步附加地或作为进一步的替代，还可以指定应该由低分辨率帧33A-E覆盖的总时间间隔。

如果在步骤S5中确定低分辨率帧33A-E的数量不足以确定用于区分组织液细胞和嵌入细胞外基质中的组织细胞的信息，则该方法前进到步骤S6，其中将更多的低分辨率帧35A-C添加到已经可用的帧33A-E。通常，在已经创建高分辨率图像之后，内窥镜1继续记录低分辨率帧35A-C。因此，只需要在步骤S6中访问在已创建高分辨率图像之后记录的低分辨率帧35A-C。如果在创建高分辨率图像34之后内窥镜1没有自动继续记录低分辨率帧35A-C，则在步骤S6中触发记录多个低分辨率帧35A-C。无论在创建高分辨率图像34之后是在步骤S6中触发记录多个低分辨率帧35A-C还是内窥镜1自动继续记录低分辨率帧35A-C，该方法都从步骤S6返回到步骤S3，以便再次执行步骤S3、S4和S5的检查。这一直执行，直到在步骤S5中确定有足够数量的低分辨率帧33A-E、35A-C可用为止。

图5示出了记录低分辨率帧33A-E和35A-C的时间序列的示意图，它们在不同时间被记录并在步骤S3至S6中使用。此外，图5表示了在时间t0记录的高分辨率图像34。在时间t0触发高分辨率图像34例如同时触发了确定用于在高分辨率图像34中区分组织液细胞和组织细胞的信息。为此，根据步骤S2，根据步骤S3至S5评估在时间t-1至t-m记录的缓冲低分辨率帧。同时，在本示例性实施例中，在已经记录了高分辨率图像34之后继续记录低分辨率帧35A-C。如果根据步骤S3至S5的评估表明满足所需质量标准的低分辨率帧33A-E的数量不足以确定用于区分组织液细胞和嵌入细胞外基质中的组织细胞的信息，则添加在时间t1-t3记录的低分辨率帧35A-C，所述低分辨率帧35A-C在记录高分辨率图像34之后被记录。一旦在步骤S5中确定有足够数量的满足质量标准的低分辨率帧可用，该方法就继续进行步骤S7，在该步骤中其配准低分辨率图像。

一旦在步骤S5中确定有足够数量的低分辨率帧33A-E、35A-C可用，该方法就前进到步骤S7，在该步骤中相对于参考图像来配准低分辨率帧。如果参考图像是高分辨率图像34，则如果低分辨率帧33A-E、35A-C中省略的像素的像素值是通过对未省略的像素进行插值来计算的，则对配准质量是有利的。

在本实施例的步骤S8中，然后基于将已配准的帧相互比较，确定在帧33A-E、35A-C中的图像场中在每种情况下位于相同位置的图像元素。这些图像元素在图6和图7中进行了描绘，并由附图标记29标记。通过将低分辨率帧33A-E、35A-C相互比较，还确定在帧33A-E、35A-C中位于不同位置的那些图像元素。这种图像元素在图6和图7中描绘并且以示例性方式由附图标记31标记。帧33A-E、35A-C中始终存在于图像场的相同位置的那些图像元素29代表嵌入细胞外基质中的组织细胞，而其位置在帧的各个图像场中不同的图像元素31代表移动的组织液细胞。

在步骤S8中获得关于哪些图像元素代表嵌入细胞外基质中的组织细胞以及哪些图像元素代表组织液细胞的信息之后，在步骤S9中适当地处理所获得的信息以供显示。举例来说，准备可以包括在高分辨率图像中对嵌入细胞外基质中的组织细胞或组织液细胞通过颜色进行突出显示。可替代地，还可以选择基于低分辨率帧33A-E、35A-C生成短视频序列，所述视频序列在与高分辨率图像34配准之后叠加在高分辨率图像上。代替叠加，还可以选择在高分辨率图像34旁边呈现视频序列。然后输出准备好的信息以在外部监视器上显示(步骤S10)。可替代地，该信息也可以呈现在计算机17的监视器上。该方法以该信息的呈现结束。

在确定允许区分嵌入细胞外基质中的组织细胞与组织液细胞的信息之后，可以对组织细胞进行分类。这种分类可以通过合适的软件来实施，例如，基于以下出版物中描述的方法：A.BenTaieb等人的“Deep Learning Models for Digital Pathology[数字病理学的深度学习模型]”，arXiv:1910:12329v2[cs.CV]2019年10月29日；A.Bizzego等人的“Evaluating reproducibility of AI algorithms in digital pathology with DAPPER[使用DAPPER评估数字病理学中AI算法的再现性]”，PLoS Comput Biol 15(3):e1006269，2019年3月27日；以及T.Fuchs等人的“Computational pathology:Challenges andpromises for tissue analysis[计算病理学：组织分析的挑战和前景]”，计算机化医学成像和图形35(2011)，第515-530页。借助于分类，可以在本示例性实施例中对组织细胞进行不同的标记。举例来说，标记允许在高分辨率图像中区分相对于正常状态没有变化的组织细胞和确实有变化的组织细胞。

已经出于说明性的目的基于示例性实施例对本发明进行了详细描述。然而，本领域技术人员认识到，在本发明的范围内可能存在与示例性实施例的偏差，正如在示例性实施例的范围内已经指出的那样。因此，例如可以仅将配准的低分辨率帧合并到在高分辨率图像旁边呈现的短视频序列中，而不选择基于低分辨率帧来确定形成背景的图像区域和相对于背景移动的图像区域。在由配准的低分辨率帧构成的视频序列中，内窥镜的用户可以基于短视频序列中呈现的组织液细胞的移动来识别组织液细胞。因此，如在所描述的示例性实施例中实施的那样自动确定形成图像背景的图像区域和相对于所确定的图像背景移动的图像区域不是强制性的。本领域技术人员将认识到所描述的示例性实施例的进一步修改是可能的。因此，本发明旨在于仅受所附权利要求的限制。

附图标记清单

1 内窥镜

3 光纤

5 第一端

7 第二端

9 监测对象

11 扫描装置

13 传感器

15 壳体

17 计算机

19 网格

21 网格点

23 结构

25 省略行

27 扫描行

29 形成图像背景的图像元素

31 相对于图像背景移动的图像元素

33 低分辨率图像

34 高分辨率图像

S1 开始

S2 读取缓冲图像

S3 根据图像质量进行选择

S4 根据图像场进行选择

S5 检查是否有足够数量的低分辨率帧可用

S6 添加更多的低分辨率帧

S7 配准低分辨率帧

S8 确定形成图像背景的图像元素和相对于图像背景移动的图像元素

S9 处理信息

S10 输出信息以供显示。

Claims (16)

1.一种用于确定用于在组织区域的高分辨率图像(34)中区分组织液细胞和组织细胞的信息的计算机实施的方法，其中，

-访问在记录该高分辨率图像(34)之前缓冲的高帧率的低分辨率图像(33A-E)，以及

-从这些高帧率的低分辨率缓冲图像(33A-E)中获得用于区分组织液细胞和组织细胞的信息。

2.如权利要求1所述的计算机实施的方法，其中，用于区分组织液细胞和组织细胞的信息是通过从至少一些高帧率的低分辨率缓冲图像(33A-E)中生成的视频序列来获得的。

3.如权利要求1或权利要求2所述的计算机实施的方法，其中，区分组织液细胞和组织细胞的信息是通过在这些高帧率的低分辨率缓冲图像(图33A-E)中确定图像背景(29)和相对于该图像背景(29)移动的图像元素(31)并且将相对于该图像背景(29)移动的这些图像元素(31)在图像中突出显示为组织液细胞来获得的。

4.如权利要求2或权利要求3所述的计算机实施的方法，其中，将该视频序列或被突出显示为组织液细胞的这些图像元素(31)叠加在该高分辨率图像上。

5.如权利要求2至4中任一项所述的计算机实施的方法，其中，相对于参考图像来配准用于生成该视频序列或用于确定相对于该图像背景(29)移动的这些图像元素(31)的这些高帧率的低分辨率缓冲图像(33A-E)。

6.如权利要求1至5中任一项所述的计算机实施的方法，其中，对这些组织细胞进行分类。

7.如权利要求6所述的计算机实施的方法，其中，根据这些组织细胞的分类在该高分辨率图像中对这些组织细胞进行标记。

8.如权利要求1至5中任一项所述的计算机实施的方法，其中，检查每个高帧率的低分辨率缓冲图像(33A-E)是否适合获得用于区分组织液细胞和组织细胞的信息，并且仅使用被确定为适合获得用于区分组织液细胞和组织细胞的信息的高帧率的低分辨率缓冲图像(33A-E)来获得区分组织液细胞和组织细胞的信息。

9.如权利要求8所述的计算机实施的方法，其中，检查是否有足够数量的适合获得用于区分组织液细胞和组织细胞的信息的高帧率的低分辨率缓冲图像(33A-E)可用，并且如果该检查表明没有足够数量的适合获得用于区分组织液细胞和组织细胞的信息的高帧率的低分辨率缓冲图像(33A-E)可用，则提示记录更多的高帧率的低分辨率图像(35A-C)。

10.一种用于确定用于在组织区域的高分辨率图像(34)中区分组织液细胞和组织细胞的信息的计算机程序，所述计算机程序包括指令，这些指令当在计算机上(17)执行时提示该计算机(17)访问在记录该高分辨率图像(34)之前缓冲的高帧率的低分辨率图像(33A-E)，并从这些高帧率的低分辨率缓冲图像(33A-E)中获得用于区分组织液细胞和组织细胞的信息。

11.一种非易失性计算机可读存储介质，其上存储有用于确定用于在组织区域的高分辨率图像(34)中区分组织液细胞和组织细胞的信息的指令，所述指令当在计算机上(17)执行时提示该计算机(17)访问在记录该高分辨率图像(34)之前缓冲的高帧率的低分辨率图像(33A-E)，并从这些高帧率的低分辨率缓冲图像(33A-E)中获得用于区分组织液细胞和组织细胞的信息。

12.一种用于确定用于在组织区域的高分辨率图像(34)中区分组织液细胞和组织细胞的信息的数据处理系统，该数据处理系统包括处理器和至少一个存储器，该处理器被配置为基于存储在该存储器中的计算机程序的指令来访问在记录该高分辨率图像(34)之前缓冲的高帧率的低分辨率图像(33A-E)，并从这些高帧率的低分辨率缓冲图像(33A-E)中获得用于区分组织液细胞和组织细胞的信息。

13.一种用于通过扫描成像方法记录组织区域的高分辨率图像以及所分配的用于区分组织液细胞和组织细胞的信息的方法，其中，在第一扫描模式下以高帧率记录该组织区域的低分辨率图像(33A-E)，并且在一定时间段内缓冲这些高帧率的低分辨率记录图像(33A-E)，并且其中，在触发信号之后

-改变为高分辨率的第二扫描模式，在该第二扫描模式下记录高分辨率图像(34)，以及

-根据权利要求1至9中任一项所述的方法的步骤来确定用于区分组织液细胞和组织细胞的信息。

14.如权利要求13所述的方法，其中，在记录该高分辨率图像(34)之后返回到该第一扫描模式，并且该方法继续记录高帧率的低分辨率图像(35A-C)。

15.如权利要求13所述的方法，其中，高分辨率图像(34)的记录触发了获得用于区分组织液细胞和组织细胞的信息。

16.一种光学监测装置，包括扫描图像记录设备和如权利要求12所述的数据处理系统。

Images