CN112584735A - 手术内窥镜视频流的图像校正 - Google Patents

Abstract

本发明公开了一种来自手术机器人系统的手术内窥镜的视频流的实时图像校正方法。视频流包括图像序列。该方法包括：对于图像序列中的图像，识别多个区域，每个区域具有与另一区域不同的至少一个图像属性的值域；将掩模应用于图像，所述掩模将区域特异性修改应用于每个区域，每个区域特异性修改对那一区域的至少一个图像属性进行修改；从手术机器人系统导出数据；根据导出的数据确定图像中特征之间的关系；针对视频流中后续图像时特征之间的预测关系修改掩模；以及将修改的掩模应用于视频流中的后续图像。

Description

手术内窥镜视频流的图像校正

背景技术

本公开涉及来自手术机器人系统的手术内窥镜的视频流的图像校正。

在微创手术中，经由手术内窥镜对手术部位进行成像。内窥镜是一种相机，通常具有尖端，所述尖端包括用于对所述部位照明的光源以及用于获取视频流的一个或多个透镜。视频流在显示器上被实时显示，使得外科医生能够查看手术部位和他正在操纵的手术器械。

为了充分照明手术部位，内窥镜上的光源非常强烈。在所得视频流中，被照明区域与处于阴影中的图像的其余部分成高对比度。在微创手术中，内窥镜的直径非常细，因此光源非常接近内窥镜的光轴。组织是湿的且有光泽，因此在被照明时导致强烈反射回到透镜中，当组织靠近光轴并且接近内窥镜时，这种情况会恶化。图像的这种过于明亮的部分与看起来非常暗的图像周边形成鲜明的对比。离内窥镜更远的组织也看起来非常暗。因此，为外科医生留下可见度有限的手术部位的不良视图。

已知向来自内窥镜的视频流应用变换以提高外科医生观察的图像的质量。调节亮度和对比度以使得图像的中央区域更加可见。然而，由于图像的其它区域比中央区域暗得多，当在整个图像内均匀应用变换时，其进一步劣化了那些较暗区域的可见度。

已知对来自内窥镜对图像的中央区域施加不同于图像周边的变换，例如，以使中央区域变暗并让周边变亮。虽然在整个图像中均匀地应用变换实现了改进，但这种方法存在这样的问题，即其未改善中央区域之内或周边之内的高对比度区域的可见度。

用于处理静态图像的更精密技术是已知的，其涉及对图像的手动操纵。涉及手动操纵的技术不适合对来自内窥镜的视频流进行实时校正，在本领域中需要实时校正以使外科医生能够更好地查看他正在其中操作的手术部位。

需要一种实时地对来自手术内窥镜的视频流进行图像校正的改进方法，以便改善整个图像对正在手术部位操作的外科医生的可见度。

发明内容

根据第一方面，提供了一种来自手术机器人系统的手术内窥镜的视频流的实时图像校正的方法，所述视频流包括图像序列，所述方法包括：对于图像序列中的图像，识别多个区域，每个区域具有与另一区域不同的至少一个图像属性的值域；将掩模应用于图像，所述掩模将区域特异性修改应用于每个区域，每个区域特异性修改对那一区域的至少一个图像属性进行修改；从手术机器人系统导出数据；根据导出的数据确定图像中特征之间的关系；针对视频流中后续图像时特征之间的预测关系修改掩模；以及将修改的掩模应用于视频流中的后续图像。

所述方法还包括存储一组预定修改，以及将每个区域特异性修改生成为两个或更多个预定修改的加权组合。

预定修改可以修改以下图像属性中的一个或多个：亮度、对比度、灰度系数和颜色。

在后续图像时所述特征之间的预测关系可以使得所述图像中的一个或多个特征的形状已经改变，或者特征的相对位置已经改变。

数据可以包括手术内窥镜相对于图像中的另一特征的位置。

数据可以包括图像中特征的深度信息。深度信息可以从手术内窥镜的移动导出。视频流可以是手术内窥镜的两个立体视频通道的组合，所述方法可以包括从手术内窥镜的两个立体视频通道导出深度信息。

数据可以包括图像中的特征的标识。

所述方法可以包括选择图像的区域以对应于图像的所识别特征，以及将特征特异性修改应用于那些所选区域。

所述方法可以包括跟踪外科医生的注视点，选择要以外科医生的注视点为中心的图像的第一区域，选择排除外科医生的注视点的图像的第二区域，以及将不同的区域特异性修改应用于第一区域和第二区域。

所述方法可以包括基于视频流中的后续图像时特征之间的预测关系来识别后续图像的多个区域，其中，将修改的掩模应用于视频流中的后续图像包括将区域特异性修改应用于后续图像的每个区域。

所述方法还可以包括通过以下方式将迭代更新的掩模应用于视频流的另外图像：从手术机器人系统导出另外数据；根据所导出的另外数据确定图像序列的另一图像中的特征之间的更新关系；针对视频流中又一图像时特征之间的更新预测关系进一步修改掩模以形成更新掩模；将更新掩模应用于视频流中的又一图像；以及针对视频流的其他图像迭代地执行上述步骤。

可以以比视频流的图像帧率更慢的速率更新掩模。可以仅在图像中特征的重大变化时更新掩模。可以仅在手术内窥镜和/或手术内窥镜所处的患者的重大移动时更新掩模。

附图说明

现在将参照附图以举例的方式描述本公开。在附图中：

图1示出了正由一组手术机器人进行手术的人；

图2示出了外科医生控制台；

图3示出了手术机器人系统与手术内窥镜相关的部分的示意图；以及

图4示出了流程图，示出了来自手术内窥镜的视频流的图像校正的过程。

具体实施方式

图1示出了对人104进行手术的手术机器人101、102、103。每个机器人包括连接到基部的铰接臂。机器人101和102中的每一个都具有连接到其臂的末端的手术器械105、106。手术内窥镜107连接到机器人103的臂。手术器械105、106和手术内窥镜107各自通过身体104中的切口进出手术部位。外科医生从图2中所示的外科医生控制台200控制手术器械，并任选地控制手术内窥镜。外科医生操纵手操控制器201、202。控制系统将手操控制器的移动转换成控制信号以移动手术机器人之一的臂接头和/或器械末端执行器。来自手术部位处的手术内窥镜107的视频馈送被显示在显示器203上。因此，外科医生能够查看手术部位，包括他正用手操控制器201、202操纵的器械末端执行器。

图3示出了手术机器人系统与手术内窥镜107相关的部分。手术内窥镜107附接到机器人臂103的远离其基部304的末端。来自手术内窥镜的视频流由控制单元301接收，在控制单元处，视频流被处理，然后被输出到外科医生控制台305，在外科医生控制台处，被显示在显示器203上。控制单元301包括处理器302和存储器303。存储器以非暂态方式存储可以由处理器执行的软件代码，以使处理器以本文描述的方式实时校正来自手术内窥镜107的视频流。控制单元301被示为远离外科医生控制台305和手术机器人103两者。替代地，控制单元301可以被并入外科医生控制台305之内。作为另一替代方案，控制单元301可以并入手术机器人103或手术机器人系统的另一手术机器人之内。

处理器302根据参照图4描述的以下示范性方法对来自手术内窥镜107的视频流执行实时图像校正。

视频流包括图4中编号为1、2、3、……、n-1、n、n+1、……、m-1、m、m+1、……、p-1、p、……的图像序列。所述处理器处理所述图像序列的每个图像。在步骤401处，处理器识别图像1中的多个区域。每个区域由一个或多个像素构成。每个区域通过具有至少一个图像属性的不同值域而与另一个区域区分开。区域的图像属性包括亮度、对比度、灰度系数和颜色。这些图像属性中的任何一个或多个在不同区域中可以不同。在步骤402处，处理器将掩模应用于图像1。掩模对图像的每个区域应用区域特异性修改。一个区域的区域特异性修改不同于另一个区域的区域特异性修改。每个区域特异性修改都修改那一区域的至少一个图像属性。在基于区域具有特定图像属性(例如，亮度)的不同值域来识别区域的情况下，区域特异性修改将修改那一特定图像属性。区域特异性修改还可以修改所述区域的其它图像属性。处理器将相同的掩模应用于一系列图像。例如，处理器将基于图像1创建的掩模应用于图像1、2、……、n-1。

在步骤403处，处理器从手术内窥镜所属的手术机器人系统导出数据。下文描述可以导出的示例性数据。在步骤404处，处理器使用导出的数据来确定图像1中的特征之间的关系。这些特征可以是例如器官、组织结构和/或手术器械。在步骤405处，处理器使用图像1中的特征之间的所确定关系来预测图像序列中的后续图像时的那些相同特征之间的关系。在图4中，此后续图像是图像n。在步骤406处，处理器接着修改针对图像1生成的掩模，以用于在图像n时的特征之间的所预测关系。在步骤407处，处理器将修改的掩模应用于图像n。处理器将相同的掩模应用于一系列图像。在图4的情况下，处理器将修改的掩模应用于图像n、n+1、……、m-1。

处理器执行迭代过程，其中，掩模被更新并应用于一系列图像，然后掩模被再次更新并应用于另一系列图像，以此类推，直到视频流结束。为了针对每个另外图像更新掩模，预测那一另外图像中的特征之间的关系。在图4中，更新掩模所针对的下一个图像是图像m。在步骤408处，处理器预测图像m中的特征之间的关系。这一预测可以基于在步骤403中从手术机器人系统导出的数据，其方式与在步骤405中对图像n进行预测的方式相同。替代地或另外，预测可以基于在步骤411处从手术机器人系统导出的另外数据。在步骤412处，此另外导出数据被用于确定在导出另外数据时特征之间的更新关系。在这种情况下，在步骤408处，处理器基于在步骤412中的特征之间的更新关系来预测在图像m时的特征之间的关系。在步骤409处，修改掩模以形成更新掩模，以用于在图像m时的特征之间的更新预测关系。在步骤410，将更新的掩模应用于图像m。处理器将相同的掩模应用于一系列图像。在图4的情况下，处理器将更新的掩模应用于图像m、m+1、……、p-1。处理器接着使用上文关于图像m描述的相同过程从图像p开始为一系列图像生成另一更新掩模。所述过程迭代地继续，直到视频流停止。

在步骤403和411处从手术机器人系统导出的数据可以包括能够确定图像中特征的位置和/或相对移动的数据。例如，可以根据图像的力反馈或视觉分析来确定手术器械正在触碰组织结构或器官。可以如下计算手术器械和手术内窥镜的相对位置：(i)支撑器械和内窥镜的手术机器人臂的基部的已知相对位置；(ii)手术器械相对于其支撑机器人臂的位置，可以使用正向运动学从关节上的位置传感器感测的机器人臂的那些关节的位置来计算所述位置；以及(iii)手术内窥镜相对于其支撑机器人臂的位置，可以使用正向运动学从那些关节上的位置传感器感测的机器人臂的关节位置来计算所述位置。因此，知道了手术内窥镜相对于手术器械和组织结构/器官的位置。也可以从手术机器人系统导出与手术器械、手术内窥镜和患者中的一个或多个的移动有关的数据。例如，从外科医生的手操控制器发送的操纵手术器械的命令信号指定了保持手术器械的机器人臂的移动和手术器械的铰接部的移动，以便执行命令的操纵。从图像中的特征之间的初始关系以及与手术器械、手术内窥镜或患者的后续移动相关的数据，处理器能够预测在未来指定时间，特征之间的关系。因此，处理器修改掩模以考虑图像中特征的相对位置在将来指定时间的变化，并且将修改的掩模应用于视频流中那一指定将来时间的图像。

在步骤403和411处从手术机器人系统导出的数据可以包括使得能够推断图像中特征布置的数据。具体地，所述数据可以使得能够推断图像中特征的深度。这种数据可以是手术内窥镜的移动。驱动手术内窥镜移动的命令信号指定保持手术内窥镜的机器人臂的移动和手术内窥镜的铰接部的移动，以便执行命令的移动。可以从这些命令信号推断手术内窥镜移动的距离和方向。因此，可以推断在手术内窥镜的尖端处的相机，因此推断图像移动的距离和方向。图像特征随着内窥镜移动发生的变化使得能够确定关于那些特征的深度信息。例如，如果内窥镜移动经过特征，则可以估计该特征在内窥镜的行进方向上的尺度。作为另一示例，如果内窥镜朝向远端特征移动，则那一特征的尺寸变化可以用于估计所述特征有多远。

可以从视频流本身推断与图像中特征的深度相关的数据。内窥镜可以具有两个立体视频通道。两个通道有偏移，从而在显示器上呈现手术部位的3D视图。处理器可以从这一3D视图估计图像中特征的尺度和相对深度。

根据特征的初始关系和深度数据，处理器能够预测在手术内窥镜移动之后的未来时间各特征之间的关系。因此，处理器修改掩模以考虑图像中特征的相对位置在那一将来时间的变化，并且将修改的掩模应用于视频流中那一将来时间的图像。

在步骤403和411处从手术机器人系统导出的数据可以包括标识图像中特征的数据。例如，可以标记手术部位处的器官和/或组织结构。这种标记可以由外科医生、由手术室工作人员的其它成员或通过控制单元301的自动检测来完成。一旦被标记，器官或组织结构就可以由处理器通过视频流从一个图像到另一个图像进行运动跟踪。处理器可以选择器官/组织结构作为区域，并将器官/组织结构特异性掩模应用于器官/组织结构。例如，处理器可以存储用于肾脏的定义掩模，并且在已识别肾脏的情况下，将肾脏特异性掩模应用于肾脏。

根据从手术机器人系统导出的数据确定的图像中特征之间的关系可以包括图像中的特征布置和/或图像中特征的相对位置。因为图像中特征中的一个或多个的形状改变，这种关系可以随着时间而改变。如果特征已经被识别，则可以预期其随时间的移动和/或形状改变。例如，由于身体中的生理过程导致特征物理地改变形状，所以图像中特征的形状可能会变化/变形。例如，动脉由于患者的心跳而随时间脉动，膈膜由于患者呼吸而向上和向下移动。由于手术内窥镜移动经过特征，因此特征被从不同角度观察，图像中特征的形状可能变化。图像中特征的形状可能由于其被手术器械操纵而改变。

如上所述，掩模对图像的每个区域应用区域特异性修改。所述掩模修改所述区域的一个或多个图像属性。这些图像属性包括亮度、对比度、灰度系数和颜色。作为简单示例，处理器可以识别图像中的三个区域。第一区域太暗，第二区域太亮，并且第三区域是可接受的亮度。处理器应用于图像的掩模包括区域特异性修改，这样增加了第一区域的亮度，减小了第二区域的亮度，并且未改变第三区域的亮度。所得图像在其整体上具有更均匀的对比度，这改善了图像对于外科医生的可见度。

手术部位通常具有很少的颜色变化。大部分情况下，是不同深浅的红色，有些区域看起来更白。处理器可以生成掩模以向图像应用假颜色以提高图像内特征的可见度。例如，区域特异性修改可以包括要叠加在所述区域上的荧光颜色通道。

控制单元301可以将一组预定修改存储在存储器303中。处理器接着将这些预定修改中的一个或多个应用于每个区域。在处理器将两个或更多个预定修改应用于区域的情况下，处理器选择向所述区域应用的预定修改的比例。处理器可以将预定修改中的两个或更多个的加权组合应用于所述区域。例如，处理器可以存储三个预定修改：修改1、修改2和修改3。基于图像中区域的图像属性，处理器可选择：向区域1应用由5％的修改1、10％的修改2和85％的修改3构成的区域特异性修改；并向区域2应用由80％的修改1、15％的修改2和5％的修改3构成的区域特异性修改。

应用预定修改减少了校正视频流的延迟，因为修改本身不需要在运行中生成，而仅仅需要在运行中生成要应用的那些修改的比例。可以通过了解来自手术部位的图像的典型图像属性来生成预定修改。例如，已知的有限颜色通道、高对比度、高反射部分等。也可以通过了解来自手术部位的图像中的典型特征来生成预定修改。例如，可以为一组器官和组织结构中的每一个生成预定修改。例如，肾脏具有紫色色调，因此可以为肾脏生成与具有鲜红色的动脉的预定修改不同的预定修改。

如上所述，手术内窥镜可以是具有两个偏移通道的3D手术内窥镜。在这种情况下，处理器将掩模应用于每个视频通道。从两个通道接收的图像有偏移，因此应用于一个视频通道的掩模从应用于另一个视频通道的掩模偏移。掩模被偏移，使得与未校正视频流相比，外科医生观察到的感知图像具有改善的可见度。

当针对该帧中的后续图像时特征之间的预测关系修改掩模时，修改可以是改变区域的区域特异性修改。例如，如果预期区域到后续图像的时，由于移动或形状改变，会变得更明亮，则可以改变区域特异性修改，以与先前的区域特异性修改相比降低对比度和/或亮度。

如上所述，处理器识别图像中的多个区域。处理器分析图像以便选择区域。每个区域可以是像素的集合，每个像素邻接所述区域中的至少一个其它像素。处理器可以基于对于以下图像属性中的任何一个或多个具有相似值的像素来将那些像素分组到一起以形成区域：亮度、对比度、灰度系数、颜色、饱和度。

处理器可以基于来自从手术机器人系统导出的数据的图像中的特征识别将像素分组到一起以形成区域。例如，可以通过自动化图像分析或由外科医生在手术程序期间的某个点识别特征来在图像中识别器官和/或组织结构。处理器可以将那些器官和/或组织结构中的每一个识别为单独区域。处理器可以实施已知的边缘找寻技术以确定器官/组织结构的轮廓，且因此确定区域的边界。这种边缘找寻技术可以是并非计算密集的粗略估计。这足以使图像校正方法能够改进图像的感知可见度，即使区域的边界不完美匹配器官/组织结构的轮廓。

处理器可以基于跟踪外科医生的注视点来将像素分组到一起以形成区域。第一区域可以被选择为以外科医生的注视点为中心的图像的区域。可以选择一个或多个另外的区域以并入排除第一区域的图像的剩余区域。将不同的区域特异性修改应用于第一区域和另外区域。为了改善外科医生感知到的图像质量但考虑到需要减少延迟，可以在第一区域上实施计算上更复杂的图像校正过程，而在另外区域上实施计算上不太复杂的图像校正过程。例如，第一区域的掩模可以比另外区域的掩模得到更频繁的更新。

处理器可以使用预定图像区域以便选择图像的区域。预定图像区域可以包括例如图像的内部区域和外部区域。处理器可基于这些预定图像区域生成区域，但基于上述方法中的任一种方法来修改那些区域。例如，处理器可以存储图像的预定内部区域和外部区域。处理器还可以跟踪外科医生的注视点。如果注视点从屏幕的中心移动，则处理器可以修改所述区域，以便使内部区域的中心移位到外科医生的注视点。作为另一示例，处理器可以存储图像的预定内部区域和外部区域。处理器还可以标记和跟踪器官/组织结构。如果被标记的器官大部分位于图像的内部区域中，但部分地延伸到外部区域中，则处理器可以修改内部区域以涵盖整个被标记的器官。

处理器可以修改后续图像的区域。这可以基于在后续图像时图像的特征之间的预测关系。例如，处理器可以预测特征之间的关系将改变，因为手术内窥镜正在朝向一特征移动，因此那一特征将占据图像的更大比例。如果处理器已经将那一特征识别为区域，那么在后续图像中，那一区域将变得更大，即为更大的像素集合。通过跟踪手术内窥镜、(多个)手术器械以及标记和跟踪图像中的特征，处理器可以识别所述区域的改变，并且为后续图像修改所述区域以考虑到所述图像中特征之间变化中的关系。然后，用于后续图像的修改掩模将被应用于后续图像的修改区域。

实时执行视频流的图像校正，以便使外科医生能够看到他正在操作的手术部位。为了使处理器能够以足够低的延迟执行所描述的图像校正，以使得外科医生在他在手术部位移动器械和在显示器上观察所述移动之间不会觉察到延迟，可以实施以下措施中的一个或多个。可以使用低延迟图像处理管道来应用掩模。可以将相同的掩模应用于一系列图像，如关于图4所述。在这种情况下，掩模的更新比图像帧率更慢。可以定期更新掩模。例如，可以每10帧更新一次掩模。替代地或另外，当由手术机器人系统的部件的某一动作触发时，可以更新掩模。为了进一步减少延迟，可以仅在由此类动作触发时更新掩模。这种动作可以是图像中特征的重大变化。图像中特征的重大变化可能源于手术内窥镜的重大移动。图像中特征的重大变化可能例如源于使患者倾斜而导致患者身体的重大移动。这些重大变化可以从图像分析确定，或者可以从手术机器人系统本身导出。可以响应于手术内窥镜在患者体内的位置和/或取向而更新掩模。可以响应于从手术内窥镜接收的3D图像中观看的特征而更新掩模。

上文所描述的掩模提供了一种来自手术内窥镜的视频流的实时图像校正的改进方法。除了使用如上所述生成的掩模之外，可以为特定图像手动生成更精确的掩模，并且当可用时应用于视频流。此类掩模的生成比本文所述的实时掩模生成更慢。因此，以这种方式生成的掩模的更新速率将低于本文所述的掩模。

本文所述的实时图像校正方法可以用于除手术程序期间校正手术机器人系统的手术内窥镜的视频流之外的目的。例如，所述方法可以用于校正来自用于汽车制造中的机器人的内窥镜的视频流，以用于观察发动机的内部。

申请人在此独立地公开了本文描述的每个单独的特征以及两个或更多个这种特征的任意组合，只要这些特征或组合能够基于本说明书作为一个整体根据本领域技术人员的公知常识来实施，而不管这些特征或特征的组合是否解决本文公开的任何问题，并且不限制权利要求的范围。申请人指出，本发明的各方面可以由任何这样的单个特征或特征组合组成。鉴于以上描述，对于本领域技术人员来说显而易见的是，可以在本发明的范围内进行各种修改。

Claims (17)

1.一种来自手术机器人系统的手术内窥镜的视频流的实时图像校正方法，所述视频流包括图像序列，所述方法包括：

对于所述图像序列中的图像，识别多个区域，每个区域具有与另一区域不同的至少一个图像属性的值域；

向所述图像应用掩模，所述掩模向每个区域应用区域特异性修改，每个区域特异性修改对那一区域的所述至少一个图像属性进行修改；

从所述手术机器人系统导出数据；

根据所导出的数据确定所述图像中特征之间的关系；

针对所述视频流中的后续图像时所述特征之间的预测关系修改所述掩模；以及

将所修改的掩模应用于所述视频流中的所述后续图像。

2.根据权利要求1所述的方法，还包括存储一组预定修改，以及将每个区域特异性修改生成为两个或更多个预定修改的加权组合。

3.根据权利要求2所述的方法，其中，所述预定修改修改以下图像属性中的一个或多个：亮度、对比度、灰度系数和颜色。

4.根据任一项前述权利要求所述的方法，其中，在所述后续图像时所述特征之间的所述预测关系使得所述图像中的所述特征中的一个或多个的形状已经改变。

5.根据任一项前述权利要求所述的方法，其中，在所述后续图像时所述特征之间的所述预测关系使得所述特征的相对位置已经改变。

6.根据任一项前述权利要求所述的方法，其中，所述数据包括所述手术内窥镜相对于所述图像中的另一特征的位置。

7.根据任一项前述权利要求所述的方法，其中，所述数据包括所述图像中的所述特征的深度信息。

8.根据权利要求7所述的方法，包括从所述手术内窥镜的移动导出所述深度信息。

9.根据权利要求7所述的方法，其中，所述视频流是所述手术内窥镜的两个立体视频通道的组合，所述方法包括从所述手术内窥镜的所述两个立体视频通道导出所述深度信息。

10.根据任一项前述权利要求所述的方法，其中，所述数据包括所述图像中的特征的标识。

11.根据权利要求10所述的方法，包括选择所述图像的区域以对应于所述图像的所识别特征，以及将特征特异性修改应用于那些所选择区域。

12.根据任一项前述权利要求所述的方法，包括跟踪外科医生的注视点，选择要以所述外科医生的注视点为中心的所述图像的第一区域，选择排除所述外科医生的注视点的所述图像的第二区域，以及将不同的区域特异性修改应用于所述第一区域和所述第二区域。

13.根据任一项前述权利要求所述的方法，包括基于所述视频流中的所述后续图像时所述特征之间的所述预测关系来识别所述后续图像的多个区域，其中，将所修改的掩模应用于所述视频流中的所述后续图像包括将区域特异性修改应用于所述后续图像的每个区域。

14.根据任一项前述权利要求所述的方法，还包括通过以下方式将迭代更新的掩模应用于所述视频流的另外图像：

从所述手术机器人系统导出另外数据；

根据所导出的另外数据确定所述图像序列中另一图像中特征之间的更新关系；

针对所述视频流中的又一图像时所述特征之间的更新预测关系进一步修改所述掩模以形成更新掩模；

将所述更新掩模应用于所述视频流中的所述又一图像；以及

针对所述视频流的另外图像迭代地执行以上步骤。

15.根据权利要求14所述的方法，包括以比所述视频流的图像帧率更慢的速率更新所述掩模。

16.根据权利要求14或15所述的方法，包括仅在所述图像中的所述特征的重大变化时更新所述掩模。

17.根据权利要求16所述的方法，包括仅在所述手术内窥镜和/或所述手术内窥镜所处的患者的重大移动时更新所述掩模。

Images