CN110651333A - 手术成像系统、方法和计算机程序产品 - Google Patents

Abstract

一种手术成像系统，包括电路，所述电路被配置为：突显所捕获的图像中的区域的图像特征；识别所述区域中图像特征的变化；并基于图像特征的变化来识别生理特征相对于手术装置的位置。

Description

手术成像系统、方法和计算机程序产品

相关申请的交叉引用

本申请要求2017年6月21日提交申请的EP17177212.2的权益，其以全文引用的方式并入本文。

技术领域

本公开涉及手术成像系统和方法。

背景技术

本文提供的“背景技术”部分的描述目的在于总体上呈现本公开的背景。就背景技术部分中描述的程度而言，当前署名的发明人的工作，以及在提交申请时可能不具有现有技术资格的描述的各方面，既不明确地也不隐含地被认作针对本公开的现有技术。

当对诸如结肠的内部解剖结构执行诸如内窥镜检查或显微镜检查的手术时，一个问题是该手术缺少界标(landmarks)，并且在患者之间和整个手术过程中可能有很大差异。这使得难以评估和解释内部解剖结构的图像和视频。

此外，缺少界标使得难以定位和再次定位患者体内的特定区域。已知可以通过纹身以及将吸盘施加到各个区域以助于再次定位某个区域。然而，当内部器官是移动的且不牢固时，这些技术可能是不可靠的。这会增长手术时间并增加由于所谓的“错误部位”手术的风险的并发症。

本公开的目的是至少解决这些问题。

[引用列表]

[非专利文献]

[非专利文献1]《基于相位的视频运动处理》，Neal Wadhwa,Michael Rubinstein,Fredo Durand,William t.Freeman.《美国计算机学会图形学汇刊》，第32卷，第4期(ProcSIGGRAPH)，2013。

发明内容

根据一个方面，提供了一种手术成像系统，包括电路，该电路被配置为：突显所捕获的图像中的区域的图像特征；识别该区域中图像特征的变化；并基于图像特征的变化来识别生理特征相对于手术装置的位置。

根据另一方面，提供了一种手术成像系统，包括电路，该电路被配置为：突显所捕获的图像中的区域的颜色和/或运动；将突显的运动与所存储的突显的运动进行比较，并且基于该比较来识别该对象的材质。

根据另一方面，提供了一种手术成像系统，包括电路，该电路被配置为：突显所捕获的图像中的区域的颜色和/或运动；将突显的运动与所存储的突显的运动进行比较，并且基于该比较来识别界标。

根据另一方面，提供了一种手术成像系统，包括电路，该电路被配置为：突显所捕获的图像中的区域的颜色和/或运动；并基于所述突显的运动的特征来识别界标。

根据另一方面，提供了一种手术成像系统，包括电路，该电路被配置为：将血管系统图案的捕获图像识别为界标；存储所捕获的模式；将后续捕获的图像与所存储的模式进行比较，并且基于该比较将该后续图像识别为界标。

前面的段落是以总体介绍的方式提供的，并不旨在限制所附权利要求的范围。通过参考以下结合附图做出的详细描述，将最透彻地理解所描述的实施例以及其他优点。

附图说明

当结合附图考虑时，通过参考以下详细描述，使得更易于理解本公开，从而对本公开及其许多伴随的优点有更完整的了解。

[图1]图1是示出内窥镜手术系统的示意性构造的实例的视图。

[图2]图2是示出图1中所示出的相机头和相机控制单元(CCU)的功能配置的实例的框图。

[图3]图3和图4示意性地示出了说明本公开的实施例的内窥镜视图。

[图4]图3和图4示意性地示出了说明本公开的实施例的内窥镜视图。

[图5]图5是说明根据本发明实施例的训练阶段的流程图。

[图6]图6是说明本公开的实施例的流程图。

[图7]图7是说明本公开的实施例的内窥镜视图。

[图8]图8至图10示出了说明根据本公开的实施例的血管系统分支。

[图9]图8至图10示出了说明根据本公开的实施例的血管系统分支。

[图10]图8至图10示出了说明根据本公开的实施例的血管系统分支。

[图11]图11示出了根据本公开的实施例的流程图。

[图12]图12示出了根据本公开的实施例的流程图。

[图13]图13和图14示出了说明远离振荡源的干扰对象的检测的图。

[图14]图13和图14示出了说明远离振荡源的干扰对象的检测的图。

具体实施方式

现在参考附图，其中贯穿各个附图，相同的附图标记表示相同或相应的部分。

1.应用

<<1.应用>>

根据本公开的实施例的技术可以应用于各种产品。例如，根据本公开的实施例的技术可以应用于内窥镜手术系统。

图1是示出可应用根据本公开的实施例的技术的内窥镜手术系统5000的示意性构造的示例的视图。在图1中，示出了外科医生(医生)5067正在使用内窥镜手术系统5000对患者床5069上的患者5071进行手术的状态。如图所示，内窥镜手术系统5000包括内窥镜5001、其他手术工具5017、在其上支撑内窥镜5001的支撑臂设备5027，以及其上安装有用于内窥镜手术的各种设备的推车5037。

在内窥镜手术中，代替切开腹壁以进行剖腹手术，而使用称为套管针5025a至5025d的多个管状孔设备来穿刺腹壁。然后，内窥镜5001的镜筒5003和其他手术工具5017通过套管针5025a至5025d插入到患者5071的体腔中。在所描绘的示例中，将气腹管5019、能量治疗工具5021和镊子5023作为其他手术工具5017插入患者5071的体腔中。此外，能量治疗工具5021是用于通过高频电流或超声振动进行组织的切割和剥离、血管的密封等的治疗工具。然而，所示的手术工具5017完全仅仅是示例，并且可以使用通常用于内窥镜手术的各种手术工具，例如一对镊子或牵开器，作为手术工具5017。

由内窥镜5001成像的患者5071的体腔中的手术区域的图像显示在显示设备5041上。外科医生5067将使用能量治疗工具5021或镊子5023，同时实时地观察显示在显示设备5041上的手术区域的图像，以执行例如切除病变区域的治疗。应当注意，尽管未示出，但是在手术期间，由外科医生5067、助手等支撑气腹管5019、能量治疗工具5021和镊子5023。

(支撑臂设备)

支撑臂设备5027包括从基座单元5029延伸的臂单元5031。在所示的示例中，臂单元5031包括接合部5033a、5033b和5033c以及连杆5035a和5035b，并且在臂控制装置5045的控制下被驱动。内窥镜5001由臂单元5031支撑，从而控制内窥镜5001的位置和姿态。因此，可以实现内窥镜5001的位置的稳定固定。

(内窥镜)

内窥镜5001包括镜筒5003和连接到镜筒5003近端的相机头5005，镜筒5003具有从其远端起预定长度的区域，用以插入到患者5071的体腔中。在所示出的示例中，内窥镜5001被示出为包括具有硬型镜筒5003的硬镜。然而，内窥镜5001可以另外配置为具有软型镜筒5003的软镜。

镜筒5003在其远端具有开口，在该开口中安装有物镜。光源设备5043连接到内窥镜5001，使得由光源设备5043产生的光通过在镜筒5003内部延伸的光导引入到镜筒的远端，并且通过物镜向患者5071的体腔中的观察目标照射。应当注意，内窥镜5001可以是直视镜，或者可以是透视镜或侧视镜。

光学系统和图像拍摄元件设置在相机头5005的内部，使得来自观察目标的反射光(观察光)通过光学系统聚集在图像拍摄元件上。图像拍摄元件光电转换观察光以产生与观察光对应的电信号，即与观察图像对应的图像信号。图像信号作为RAW数据被发送到CCU5039。应当注意，相机头5005具有适当地驱动相机头5005的光学系统以调节放大率和焦距的内置功能。

应当注意，例如，为了建立与立体视觉(三维(3D)显示器)的兼容性，可以在相机头5005上提供多个图像拍摄元件。在这种情况下，多个中继光学系统设置在镜筒5003的内部，以便将观察光引导到多个图像拍摄元件中的每一个。

(推车中包含的各种设备)

CCU 5039包括中央处理单元(CPU)、图形处理单元(GPU)等，并且整体地控制内窥镜5001和显示设备5041的操作。具体地，CCU 5039对于从相机头5005接收的图像信号，执行用于基于图像信号显示图像的各种图像处理，例如显影处理(去马赛克处理)。CCU 5039向显示设备5041提供已经执行了图像处理的图像信号。此外，CCU 5039向相机头5005发送控制信号以控制相机头5005的驱动。控制信号可以包括与图像拍摄条件相关的信息，例如放大率或焦距。

在CCU 5039的控制下，显示设备5041基于图像信号来显示图像，CCU 5039已对该图像信号执行图像处理。如果内窥镜5001准备好用于高分辨率(例如4K(水平像素数3840×垂直像素数2160)、8K(水平像素数7680×垂直像素数4320)等)的成像和/或准备好用于3D显示，则可以将能够进行高分辨率和/或3D显示的相应显示的显示设备用作显示设备5041。在装置准备好用于诸如4K或8K的高分辨率成像的情况下，如果用作显示设备5041的显示设备具有等于或大于55英寸的尺寸，则可以获得更身临其境的体验。此外，可以根据目的而提供具有不同分辨率和/或不同尺寸的多个显示设备5041。

光源设备5043包括诸如发光二极管(LED)的光源，并向内窥镜5001提供用于对手术区域进行成像的照射光。

臂控制设备5045包括处理器，例如CPU，并且根据预定程序操作以根据预定控制方法控制支撑臂设备5027的臂单元5031的驱动。

输入设备5047是内窥镜手术系统5000的输入接口。用户可以通过输入设备5047向内窥镜手术系统5000输入各种信息或指令。例如，用户将通过输入设备5047输入与手术有关的各种信息，例如患者的身体信息、与手术过程有关的信息等。此外，用户可以通过输入设备5047输入例如驱动臂单元5031的指令、由内窥镜5001改变图像摄像条件(照射光的类型、放大率、焦距等)的指令，以及驱动能量治疗工具5021的指令等。

输入设备5047的类型不受限制，并且可以是各种已知输入设备中的任何一种。作为输入设备5047，可以应用例如鼠标、键盘、触摸面板、开关、脚踏开关5057和/或控制杆等。在使用触摸面板作为输入设备5047的情况下，可以将其设置在显示设备5041的显示面上。

除此情形，输入设备5047是要安装在用户身上的装置，例如眼镜型可佩戴装置或头戴式显示器(HMD)，并且响应于由所提及的任何装置检测到的用户的姿势或视线来执行各种输入。此外，输入设备5047包括能够检测用户的动作的相机，并且响应于从由相机成像的视频检测到的用户的姿势或视线来执行各种输入。此外，输入设备5047包括能够收集用户语音的麦克风，并且通过由麦克风收集的语音来执行各种输入。通过配置输入设备5047使得可以以非接触方式输入各种信息，尤其是身处清洁区域的用户(例如，外科医生5067)可以以非接触方式操作位于非清洁区域的设备。此外，由于使用者可以在不从其手上松开所持手术工具的情况下操作装置，因此提高了用户的便利性。

治疗工具控制设备5049控制用于组织的烧灼或切割、血管的密封等的能量治疗工具5021的驱动。气腹设备5051通过气腹管5019将气体供给到患者5071的体腔中以使体腔膨胀，从而确保内窥镜5001的视场并确保外科医生的工作空间。记录器5053是能够记录与手术有关的各种信息的设备。打印机5055是能够以各种形式(例如文本、图像或图形)打印与手术有关的各种信息的设备。

在下文中，特别详述内窥镜手术系统5000的特征配置。

(支撑臂设备)

支撑臂设备5027包括用作基座的基座单元5029和从基座单元5029延伸的臂单元5031。在所示示例中，臂单元5031包括多个接合部5033a、5033b和5033c以及通过接合部5033b彼此连接的多个连杆5035a和5035b。在图1中，为了简化说明，以简化的形式示出臂单元5031的构造。实际上，可以适当地设定接合部5033a至5033c和连杆5035a和5035b的形状、数量和布置以及接合部5033a至5033c的旋转轴线的方向等，使得臂单元5031具有所需的自由度。例如，臂单元5031可以优选地被配置为使得其具有等于或不小于6度的自由度。这使得可以在臂单元5031的可移动范围内自由地移动内窥镜5001。因此，可以将内窥镜5001的镜筒5003从所需的方向插入到患者5071的体腔中。

在接合部5033a至5033c中的每一个中设置有致动器，并且接合部5033a至5033c构造成使得它们可通过相应致动器的驱动而围绕其预定旋转轴线旋转。致动器的驱动由臂控制设备5045控制，以控制每个接合部5033a至5033c的旋转角度，从而控制臂单元5031的驱动。因此，可以实现内窥镜5001的位置和姿态的控制。基于此，臂控制设备5045可以通过各种已知的控制方法(例如力控制或位置控制)来控制臂单元5031的驱动。

例如，如果外科医生5067通过输入设备5047(包括脚踏开关5057)适当地执行操作输入，则可以响应于操作输入由臂控制设备5045适当地控制臂单元5031的驱动，以控制内窥镜5001的位置和姿势。在臂单元5031的远端处的内窥镜5001通过上述的控制从任意位置移动到不同的任意位置之后，内窥镜5001可以固定地被支撑在移动之后的位置处。应注意，臂单元5031可以以主从方式操作。在这种情况下，用户可以通过放置在远离手术室的位置的输入设备5047远程控制臂单元5031。

此外，在施加力控制的情况下，臂控制装置5045可执行助力控制以驱动接合部5033a至5033c的致动器，使得臂单元5031可接收用户施加的外力并跟随该外力平稳地移动。这使得当用户直接接触并移动臂单元5031时，可以以相对较弱的力移动臂单元5031。因此，通过更简单和更容易的操作，用户可以更直观地移动内窥镜5001，并且可以为用户提供更佳的便利性。

此处，通常在内窥镜手术中，内窥镜5001由称为内窥镜医生的医生支撑。相反，在使用支撑臂设备5027的情况下，可以不用手就能将内窥镜5001的位置固定得更牢固，因此，可以稳定地获得手术区域的图像，并且可以平稳地进行手术。

应当注意，臂控制设备5045不一定设置在推车5037上。此外，臂控制设备5045不一定是单个设备。例如，臂控制设备5045可以设置在支撑臂设备5027的臂单元5031的每个接合部5033a至5033c中，使得多个臂控制设备5045彼此协作以实现臂单元5031的驱动控制。

(光源设备)

光源设备5043在手术区域成像时向内窥镜5001提供照射光。光源设备5043包括白光源，包括例如LED、激光光源或它们的组合。在这种情况下，在白光源包括红、绿和蓝(RGB)激光光源的组合的情况下，由于对于每种颜色(每种波长)可以高精度地控制输出强度和输出时刻，所以可以由光源设备5043调节拍摄图像的白平衡。此外，在这种情况下，如果来自各个RGB激光光源的激光束被时分地照射在观察目标上，并且与照射时刻同步地控制相机头5005的图像拍摄元件的驱动，则可以时分地拍摄分别对应于红、绿和蓝三种颜色的图像。根据刚才描述的方法，即使没有为图像拍摄元件提供滤色器，也可以获得彩色图像。

此外，可以控制光源设备5043的驱动，使得对于每个预时刻间改变要输出的光的强度。通过与光强度变化的时刻同步地控制相机头5005的图像拍摄元件的驱动，以时分地获取图像并合成图像，可以创建没有曝光不足造成的遮挡阴影和曝光过度造成的高亮的高动态范围的图像。

此外，光源设备5043可以被配置为提供准备用于特殊光观察的预定波段的光。在特定的光观察中，例如，通过利用身体组织中光的吸收的波长依赖性来照射具有与通常观察(即白光)时的照射光相比较窄波段的光，执行以高对比度对预定组织(例如粘膜的表面部分的血管等)成像的窄带光观察(窄带成像)。或者，在特殊的光观察中，可以进行用于从激发光照射产生的荧光获得图像的荧光观察。在荧光观察中，可以通过在身体组织上照射激发光来执行对来自身体组织的荧光的观察(自发荧光观察)，或者可以通过将诸如吲哚青绿(ICG)的试剂定位到的注射到身体组织中并且将对应于试剂的荧光波长的激发光照射在身体组织上来获得荧光图像。光源设备5043可以被配置为提供适合于如上所述的特殊光观察的这种窄带光和/或激发光。

(相机头和CCU)

参照图2更详细地描述内窥镜5001的相机头5005和CCU 5039的功能。图2是描绘图1中所描绘的相机头5005和CCU 5039的功能配置的示例的框图。

参照图2，相机头5005具有作为其功能的透镜单元5007、图像拍摄单元5009、驱动单元5011、通信单元5013和相机头控制单元5015。此外，CCU 5039具有作为其功能的通信单元5059、图像处理单元5061和控制单元5063。相机头5005和CCU 5039通过传输电缆5065连接成可彼此双向通信。

首先，描述相机头5005的功能配置。透镜单元5007是设置在相机头5005与镜筒5003的连接位置处的光学系统。从镜筒5003的远端获取的观察光被引入相机头5005并进入透镜单元5007。透镜单元5007包含包括变焦透镜和聚焦透镜的多个透镜的组合。透镜单元5007具有调节的光学特性，使得观察光会聚在图像拍摄单元5009的图像拍摄元件的光接收面上。此外，变焦透镜和聚焦透镜被配置为使得它们在其的光轴上的位置是可移动的，用于调节所拍摄图像的放大率和焦点。

图像拍摄单元5009包括图像拍摄元件，并设置在透镜单元5007的后一级。通过透镜单元5007的观察光被会聚在图像拍摄元件的光接收面上，并且通过图像拍摄元件的光电转换产生与观察图像相对应的图像信号。由图像拍摄单元5009生成的图像信号被提供给通信单元5013。

使用例如互补金属氧化物半导体(CMOS)类型的图像传感器，作为图像拍摄单元5009所包括的图像拍摄元件，其具有拜耳(Bayer)阵列并且能够拍摄彩色图像。应当注意，可以使用准备好例如对等于或大于4K的高分辨率图像进行成像的图像拍摄元件，作为所述图像拍摄元件。如果以高分辨率获得手术区域的图像，则外科医生5067可以更详细地了解手术区域的状态，并且可以更顺利地进行手术。

此外，图像拍摄单元5009所包含的图像拍摄元件包括使得其具有与3D显示器兼容的用于获取右眼和左眼的图像信号的一对图像拍摄元件。在应用3D显示的情况下，外科医生5067可以更准确地理解活体组织在手术区域中的深度。注意，如果图像拍摄单元5009被配置为多板型图像拍摄单元，则对应于图像拍摄单元5009的各个图像拍摄元件设置多个透镜单元系统5007。

图像拍摄单元5009不一定设置在相机头5005上。例如，图像拍摄单元5009可以设置在镜筒5003内部的物镜的正后方。

驱动单元5011包括致动器，并且在相机头控制单元5015的控制下沿着光轴将透镜单元5007的变焦透镜和聚焦透镜移动预定距离。因此，可以适当地调节由图像拍摄单元5009拍摄的图像的放大率和焦点。

通信单元5013包括用于向CCU 5039发送各种信息和从CCU 5039接收各种信息的通信设备。通信单元5013通过传输电缆5065将从图像拍摄单元5009获取的图像信号作为RAW数据发送到CCU 5039。因此，为了以低等待时间显示手术区域的拍摄图像，优选地通过光通信传输图像信号。这是因为，在手术时，外科医生5067在通过拍摄的图像观察病变区域的状态的同时进行手术，需要尽可能实时地显示手术区域的运动图像，以便以较高程度的安全性和确定性实现手术。在应用光通信的情况下，在通信单元5013中提供用于将电信号转换成光信号的光电转换模块。在光电转换模块将图像信号转换成光信号之后，通过传输电缆5065将其传输到CCU 5039。

此外，通信单元5013从CCU 5039接收用于控制相机头5005的驱动的控制信号。控制信号包括与图像拍摄条件有关的信息，例如指定拍摄图像的帧速率的信息、指定图像拍摄时的曝光值的信息和/或指定拍摄图像的放大率和焦点的信息。通信单元5013将接收到的控制信号提供给相机头控制单元5015。应当注意，来自CCU 5039的控制信号也可以通过光通信发送。在这种情况下，在通信单元5013中提供用于将光信号转换成电信号的光电转换模块。在通过光电转换模块将控制信号转换成电信号之后，将其提供给相机头控制单元5015。

此外，CCU 5039的控制单元5063基于取得的图像信号，自动设定帧频、曝光值、放大率、焦点等图像拍摄条件。换句话说，在内窥镜5001中包括自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。

相机头控制单元5015基于通过通信单元5013接收的来自CCU 5039的控制信号来控制相机头5005的驱动。例如，相机头控制单元5015基于指定拍摄图像的帧速率的信息和/或指定图像拍摄时曝光值的信息来控制图像拍摄单元5009的图像拍摄元件的驱动。此外，例如，相机头控制单元5015基于指拍摄图像的放大率和焦点的信息来控制驱动单元5011以适当地移动透镜单元5007的变焦透镜和聚焦透镜。相机头控制单元5015还可以包括用于存储用于识别镜筒5003和/或相机头5005的信息的功能。

注意，通过将诸如透镜单元5007和图像拍摄单元5009的部件设置在具有高气密性和防水性的密封结构中，相机头5005可以具有耐高压灭菌过程的性能。

现在，描述CCU 5039的功能配置。通信单元5059包括用于向相机头5005发送各种信息和从相机头5005接收各种信息的通信设备。通信单元5059通过传输电缆5065接收从相机头5005发送来的图像信号。因此，如上所述，图像信号可以优选地通过光通信来发送。在这种情况下，为了与光通信兼容，通信单元5059包括用于将光信号转换成电信号的光电转换模块。通信单元5059将转换为电信号之后的图像信号提供给图像处理单元5061。

此外，通信单元5059向相机头5005发送用于控制相机头5005的驱动的控制信号。控制信号也可以通过光通信来发送。

图像处理单元5061对从相机头5005发送来的RAW数据形式的图像信号执行各种图像处理。该图像处理包括各种已知的信号处理，例如显影处理、图像质量改善处理(带宽突显处理、超分辨率处理、降噪(NR)处理和/或图像稳定处理)和/或放大处理(电子变焦处理)。此外，图像处理单元5061对图像信号执行检测处理，以便执行AE、AF和AWB。

图像处理单元5061包括诸如CPU或GPU的处理器，并且当处理器根据预定程序操作时，可以执行上述图像处理和检测处理。应当注意，在图像处理单元5061包括多个GPU的情况下，图像处理单元5061适当地划分与图像信号有关的信息，使得由多个GPU并行执行图像处理。

控制单元5063执行与内窥镜5001对手术区域的图像拍摄和所拍摄图像的显示有关的各种控制。例如，控制单元5063产生用于控制相机头5005的驱动的控制信号。因此，如果用户输入了图像拍摄条件，则控制单元5063基于用户的输入产生控制信号。或者，如果内窥镜5001具有AE功能、AF功能和AWB功能，则控制单元5063响应于图像处理单元5061的检测处理的结果适当地计算最佳曝光值、焦距和白平衡，并产生控制信号。

此外，控制单元5063控制显示设备5041以基于已经由图像处理单元5061执行了图像处理的图像信号来显示手术区域的图像。于是，控制单元5063使用各种图像识别技术来识别手术区域图像中的各种对象。例如，当使用能量治疗工具5021时，控制单元5063可以通过检测包括在手术区域图像中的对象的边缘的形状、颜色等来识别诸如镊子等手术工具、特定活体区域、出血、薄雾等。当控制单元5063控制显示单元5041显示手术区域图像时，控制单元5063使用识别结果以与手术区域的图像重叠的方式显示各种手术支持信息。在手术支持信息以重叠方式显示并呈现给外科医生5067的情况下，外科医生5067可以更加安全和可靠地进行手术。

将相机头5005和CCU 5039彼此连接的传输电缆5065是准备用于电信号通信的电信号电缆、准备用于光通信的光纤，或准备用于电和光通信两者的复合电缆。

这里，虽然在所示的示例中，通过使用传输电缆5065的有线通信来执行通信，但是相机头5005和CCU 5039之间的通信也可以通过无线通信来执行。在通过无线通信执行相机头5005和CCU 5039之间的通信的情况下，不必将传输电缆5065放置在手术室中。因此，可以消除在手术室中医务人员的移动被传输电缆5065干扰的情况。

上面已经描述了可以应用根据本公开的实施例的技术的内窥镜手术系统5000的示例。这里应当注意，尽管内窥镜手术系统5000被描述为示例，但是可以应用根据本公开的实施例的技术的系统不限于该示例。例如，根据本公开的实施例的技术可以应用于用于检查的软内窥镜系统或显微手术系统。

从上述部件中，根据本公开的实施例的技术可以适当地应用于控制单元5063。具体地，根据本公开的实施例的技术涉及内窥镜检查和/或显微镜检查。通过将根据本公开的实施例的技术应用于内窥镜检查和/或显微镜检查技术，可以更容易地找到内窥镜和/或显微镜的位置。这使得手术能够以更高的安全性和确定性进行。

内窥镜定位技术

为了帮助导航并给出内窥镜图像背景，存在无源和有源技术。无源技术试图使用由内窥镜产生的图像数据来确定患者体内的内部位置。这通常是通过手术前图像或3D模型的配准来实现是。这需要采集手术前图像，增加了手术的成本和复杂性。也可能增加患者进一步进行手术前手术的风险。另外，随着组织随时间移动，图像配准可能由于手术前图像和内窥镜检查期间捕获的图像之间发生的组织移动而混淆。

有源技术包括磁性成像。在此，提供第二设备(磁成像仪)以显示内窥镜的实时3D定位。该技术适用于经验不足的操作者，并且需要在手术室中放置大量额外的外科装置。这显著地增加了程序的成本和时间。

可以使用其他信息。例如，插入深度、旋转数据和柔性内窥镜构造可以被跟踪并标记为用于诸如结肠镜检查等手术的图像，但是由于体内内部结构的可变形性，诸如这样的信息对于解剖图像位置而言是不可靠的。

需要不仅为内窥镜而且为诸如显微镜的其他手术设备提供改进的定位技术。

为了改善定位，可以找到距其他内部器官的距离和/或方向。通常，这是通过突显所捕获的图像内组织的颜色和/或运动的微小变化来实现的。这使得能够确定到该内部器官的距离和/或方向。此外，可以建立其他定位到的生理特征。例如，可以建立任何定位到的切口、出血点或血液充血处。

在图3和图4中示出了这种效果的示例。

在图1中，患者5071正接受诸如结肠镜检查的手术。尽管患者5071被示为人，但是本公开不限于此，并且手术可以应用于任何医学分支，例如兽医学。

在300中示出了根据实施例的来自手术装置(其可以是内窥镜，但也可以是显微镜)的图像。通常，如在引言中所解释的，该图像包括的界标将很少。然而，在图3中，存在标记为1-4的脉冲波。这些脉冲波是由患者5071跳动的心脏310引起的。特别地，心脏的跳动引起非常小的波纹，沿着结肠表面用肉眼是察觉不到这些波纹的。这是因为心脏在运动时向身体施加机械运动。这种机械运动产生横贯患者体内软组织的机械波阵面。由于机械运动非常小，且距心脏的距离相对较小，因此人眼察觉不到机械波阵面的振幅。然而，在本公开的实施例中，对内窥镜图像执行图像处理以突显图像中的振荡运动。这突显了如图3中的波阵面所示的人眼通常察觉不到的波纹。当然，尽管该示例讨论了心跳作为波纹的原因，但是本公开不限于此。特别地，在身体上施加机械运动的任何器官(例如物理运动的肺)也可引起波纹。

图3的图像300包括四个波阵面。应当理解，波阵面沿图3中箭头315所示的方向行进。换句话说，波阵面在远离心脏310的方向上移动。为了捕获图像，执行两个图像处理。图像处理的第一步是在图像中产生波阵面。这是通过突显图像中的振荡运动来实现的。换句话说，执行图像处理，其突显由心脏运动引起的机械运动(波阵面或波纹)。

为了实现这一点，在实施例中，对捕获的图像执行欧拉视频处理。欧拉处理是将每个图像分解成空间频带的几种图像处理技术之一。然后将相同的时间滤波器应用于每个空间频带，并且将滤波后的空间频带放大预定量。换句话说，该过程的目标是放大特时刻间频带内的图像中的时间变化(即，应用带通时间放大)，以揭示图像的静态区块中的强度/颜色的振荡变化或突显图像区域内的对象的振荡运动。应当注意，当与拉格朗日方法相比时，欧拉视频处理特别有用，因为欧拉视频处理在存在较大运动的情况下放大小运动(这在内窥镜和内部器官运动的手术中是有用的)。稍后提供“欧拉视频处理概述”。

确定内窥镜相对于生理特征的位置

现在返回图3，在将欧拉视频处理应用于所捕获的图像之后，将识别图3的四个波阵面中的第一个波阵面。在实施例中，在包括电路的图像处理单元5061中执行欧拉图像处理。当然，本公开不限于此，并且可以在CCU 539中的任何地方或者实际上在相机头5005中执行图像处理。在短的预时刻间段(例如，500ms)上，分析捕获帧之间的组织表面的振幅变化。这允许识别和提取振荡变化。使用诸如小波或傅立叶变换的变换函数来确定该时间段上的振荡频率。

尽管不是必需的(如稍后将解释的)，但是如果幅度用于确定距离，则幅度测量的分辨率将与成像系统的分辨率相关联。欧拉放大技术能够检测和分辨小于单个像素(低至像素的1/100)的运动，因此能够比其他运动检测技术更好地分辨小运动的幅度。此外，对于本公开的实施例，仅需要相对幅度。例如，不同图像区域之间的比较将提供识别心室收缩和心房收缩之间的时刻和相对幅度差的幅度的比较差异。

表面上的这些机械振动可以与例如由患者呼吸或由内窥镜引起的其他组织运动引起的其他振动区分开。该区分是使用心脏振荡参考数据(存储在图像处理单元5061可访问的存储器中)来实现的，在该参考数据中，静止的人体的心跳的周期性、幅度、频率和动态特征的已知范围用于提取与心跳相关联的波阵面。这可以在欧拉视频处理之后执行，或者可以作为欧拉视频处理的一部分来执行。例如，可以以通常的心跳频率执行欧拉视频处理中的时间放大步骤。

尽管对于本领域技术人员来说是显而易见的，但是本文中的术语“动态特征(dynamic profile)”是指由心脏跳动的多个腔室依次引起的机械振动的重复模式。更具体地，这将是波形随时间发生的特征频率和振幅变化。例如，这可以是心室收缩和心房收缩之间的振幅或频率比的已知允许范围。

可以确定在图像的每个部分中出现的心脏振荡的时刻，从而允许观察心脏振荡在图像内的传播。该过程如图3所示。给定成像表面的3D方位，例如通过3D建模，也可以在3D中确定振荡在表面上的扩展方向。这是因为患者和内窥镜的方位对于内窥镜系统是已知的(例如通过使用内窥镜上的陀螺仪)。通过反转这些方向，可以确定心脏振荡源的大致方向。

然而，由于声音在组织中的传播速度相对于图像拍摄单元5007中的图像感测电路的帧速率较高，所以可以与心脏的周期同相地获取图像，以获取图像内的多个阶段的波传播。换句话说，可以将图像传感器电路的帧速率调节为与患者的心跳同相。可以从ECG或通过其他方式确定心跳。

然后由CCU 5039(其包括电路)通过心脏振荡到达时间与可见血管中的相应血液脉冲波(由使用稍后解释的欧拉处理获得的颜色变化确定)的差以及它们的估计速度来确定关于到心脏的距离的大致值。根据软组织和动脉中声音和脉冲波速度的已知速度值来确定这些估计速度。这些值可以在训练阶段获得。下面在标题为“干扰对象和组织样本的训练阶段”的部分中解释训练阶段。

假设是直接传播路径，可以通过将速度比乘以图像内的到达时间差来确定两个信号到公共原点的距离。

或者，可以通过与在离心脏已知距离处的患者脉搏或心脏机械振动的单独记录相比较来确定该距离。换句话说，不需要改变颜色就可以确定到心脏的距离。具体地，在训练阶段期间，连续记录内窥镜的位置以及波阵面的相应参数和(可选地)颜色变化。在使用期间，通过将存储的参数和可选的颜色变化与存储的参数和(可选的)颜色变化进行比较，波阵面的参数用于确定内窥镜的位置。

为了改进内窥镜和心脏之间距离的估计，该估计可以与其他距离估计方法(例如插入深度方法)相结合。

频谱的加宽和频率分量在时间上的分离可以通过与来自患者心脏上方胸部图像的心脏振荡的类似测量进行比较来确定。频率分布的这些改变所指示出的是非线性传播，其效果随着传播距离的增大而增加。

这提供了一种估计信号已经穿过身体的距离的方法，该方法可以与其他描述的方法结合使用。

心脏机械波形的频率分量的参考测量可以例如通过分析从心脏上方的患者胸部获取的视频来进行。然后从其他位置进行的机械波形的测量可以与此进行比较，以确定在测量位置处已经发生的变化程度，并因此确定行进距离的估计。

或者，如果在振荡参考数据中患者的心跳频率动态变化很小，则可以与振荡频谱的参考数据和接近心脏的动态特征进行比较。

虽然以上描述了使用仅应用于软组织的机械运动来识别内窥镜相对于用户的心脏(或肺)的位置，但是本公开不限于此。例如，前述内容可以应用于检测任何生理特征的位置。生理特征是位于人体解剖结构内的任何特征。例如切口、出血点、血液充血处等或内部器官。

如上面简要指出的，在实施例中，可以使用图像中不可察觉的颜色变化的突显来代替或补充上面关于机械运动的描述内容，以帮助相对于心脏(或肺)定位内窥镜。

尽管上述讨论使用脉冲波传播通过软组织来确定内窥镜的位置，但是在实施例中，也可以跟踪脉冲波传播通过成像表面上的血管系统。这还允许得出图像相对于心脏方向的方位和位置：

心室(例如左心室)的收缩会通过动脉发送血液的脉冲波，该脉冲波随着血液流动而消散。当脉冲波周期性地改变组织中血液的体积时，这引起图像内的运动和颜色变化。这些变化是肉眼察觉不到的，因为当脉冲波到达成像表面内的血管系统时，这些变化通常很小。

如在上述实施例中，通过欧拉视频处理检测这些小振幅振荡，由此在一段时间内分析帧之间发生的组织表面的微小变化，允许提取具有振荡特性的变化。

可以使用傅立叶或小波变换函数来确定在某些时间间隔内的所观察的复合表面振荡的频谱。

对于颜色和运动，通过使用由已知心跳频率、脉冲波动态特征(其可以是对应于舒张和收缩的脉冲波分量)和波形周期组成的参考数据，将由脉冲波产生的振荡与其他振荡分离。应当理解，其他示例可以包括脉冲波形随时间变化的任何特性。该“血管参考数据”定义了这些参数的预期范围，这些参数可以与血管系统相关联并且被存储为可由CCU 5039访问。

血管参考数据由静止时不同血管系统维度内的脉冲波的周期性、变化幅度、频率和动态特征的已知范围组成。可以从代表群体横截面的测试情形来测量该数据，如从上面解释的软组织的波阵面的情形来测量。可选地，可以从接受检查的患者身上的不同位置来记录。

在血管系统的所有预期范围内的振荡分量被分组为“血管振荡”。

确定在图像的每个部分中发生的血管振荡的时刻，从而允许观察脉冲波通过图像中的血管系统的传播。给定成像表面的3D方位(例如通过3D建模方法)，也在3D中确定血管振荡在表面上的扩展方向。这是因为患者和内窥镜的方位对于内窥镜系统是已知的(例如通过使用内窥镜上的陀螺仪)。通过反转这些方向，可以确定心脏振荡源的大致方向。

然而，由于声音在组织中相对于图像传感器的帧速率的传播速率高，可以与心脏的周期同相地获取图像，以获取图像内的多个阶段的波传播。换句话说，内窥镜系统中的图像传感器的帧速率可以被调节为与患者的心跳同相。可以从ECG或通过其他方式确定心跳。

在一些场景中，血流方向可以取决于从主动脉的最近分支，其可以显著不同于朝向心脏的方向。在这种情况下，可以使用诸如机械运动原理的其他心脏位置提示(由上述心脏跳动引起的波纹)来减轻这种不准确性。

心脏与内窥镜之间结构的确定

参考图4，示出了本公开的实施例。类似于图3，其中相同的数字表示相同的特征，内窥镜执行结肠镜检查。然而，在这种情况下，内窥镜捕获的图像400包括图3的波阵面和区域5。在这个例子中，区域5不包含波阵面。

在一个示例中，区域5由从心脏310发出的波阵面形成，该波阵面被胃405遮蔽。换句话说，在本公开的实施例中，内窥镜和心脏310之间的胃405(其自身不产生运动)的存在产生所谓的差动心脏振荡。区域5可以没有波阵面或者可以具有与上面参考图3描述的那些不同的波阵面，并且是差动心脏振荡的一个例子。概括地说，在本实施例中，本公开描述了识别干扰结构，该干扰结构本身不产生运动，但是其存在可以通过分析来自提供运动的器官(例如心脏)的波阵面来识别。

在这种情况下，可以通过观察由于不同传播路径而发生的成像表面的振荡，来识别诸如具有不同心脏或肺振荡传递函数的特定器官的干扰结构。例如，如图4所示，可以通过当胃位于心脏和成像表面之间时发生的折射、反射和衰减模式来识别胃405的位置。尽管可以识别胃的位置，但是本公开不限于此。一般而言，微分传递函数是干扰器官在速度、衰减和频率改变效应方面对振荡信号的影响。除了诸如空气空间(有助于识别胃)这一高反射结构的例子之外，不同密度的组织将影响传播到测量位置的频率分量和它们到达的速度。给定可以在传输路径之间进行比较的信号，分析波形和到达时间能够确定在一个路径中存在或多或少密集的干扰结构，其可以被识别为特定器官。

如何识别心脏振荡如上所述。

在一些场景中，在多个图像中的图像单独区域之间所识别的心脏振荡的幅度、频谱、动态频率特征或空间和时间特征可以是不同的。

在具有高反射率的干扰结构(例如部分充气的胃)的情况下，心脏振荡信号振幅将在成像表面的一部分中大大降低。在训练阶段将捕获患者上不同点处的折射、反射和衰减模式。例如，在内窥镜的特定位置处的差动运动模式，诸如心脏运动的变化频率分量的到达的步进时间暗示了不同的干扰结构。另外，一些干扰结构可以在信号中创建对于该结构唯一的特征模式，并且如果它们在其他传播路径中不重复，则可以识别这些特征模式。这些特征模式可以通过建模软件或实验在患者体内建立。

如果信号的路径长度长，则可能难以分离一些干扰器官的细微效果。然而，如果路径长度较短并且干扰器官的效果相对较大，例如干扰器官是胃，则两个信号路径之间观察到的差异可用于以高置信度识别胃。

因此，可以确定被胃遮蔽于心脏振荡的区域。

给定心脏从未被遮蔽表面出发的已知方向，可以通过三角测量来识别胃的方向和一些边界。这可以实现，因为给定已知的入射波方向，所观察的被遮蔽区域可以用于大致限定胃的边缘。应当理解，声学阴影的清晰度可能随着与空气空隙的距离增加而下降，这可能使得在一定距离之后效果不明显。

因此，使用到达时间和波在成像表面上传播的角度，可以确定波折射而过的更远(即超过一定距离)的空隙的存在。这些波可以被过滤以限定遮蔽区域。然而，波的角度将随着到胃的距离增加而减小，使得这项任务随着到胃的距离增加而更加难以执行。

参考图13和图14，给出了测量干扰对象的存在的一种原理的解释。参照图13，说明性示例1300包括产生波的心脏1305，并且胃1310是阻挡(干扰)对象。内窥镜捕获组织表面1315的图像。在这种情况下，胃1310远离成像的组织表面1315，因此不能通过遮蔽效应容易地识别。在这种情况下，可以通过波传播时间的相对变化来识别胃1310的存在。

图13所示的衍射声路径1320的路径长度比未被遮蔽的直接传输路径1325的路径长度更长。这导致朝向成像组织中心(即在部分2中)的传播时间差逐渐增加。在具有足够的瞬时分辨率的情况下，当到达的波以朝向中心点(垂直于胃的边缘)的传播矢量分量在表面上传播时，都会感知到该模式，而与成像的组织方位无关。矢量分量将被叠加在存在于成像组织表面的部分1中的波传播矢量上，其将可以是组织到心脏1305的直接距离的函数。在图14中示出了可以在组织表面1315的部分1和部分2中观察到的波传播矢量的示例。

在图14中，示出了内窥镜视图1400。然而，结合图13公开的内容，很明显，即使只有小部分的组织是可见的，例如当内窥镜视图1400在部分1和部分2之间的边界上行进时，并不是由于组织几何形状而导致的所观察的波的方向矢量的差异(波传播速度或方向)也用于限定该边界。因此，能够可靠地识别来自心脏1305的传输路径中的胃1310的存在。类似地，通过扫描在不包含可识别边界的区域上的内窥镜视图1315，在成像表面上的线性到达时间进程或朝向中心点的相对到达时间变化的不同状态是可识别的，而不需要进行比较。

如果内窥镜视图太小而无法以足够的置信度识别这些特征，则可以使用虚像区域构造技术来在内窥镜移动时在多个生物(心跳)周期内测量更广的区域。

折射和反射引起的信号分量可能混淆该边界定义方法的精确度，因为在直接遮蔽区域内仍然可能存在信号。然而，这些信号可以被滤波，因为它们将以与来自心脏的直接信号不同的角度和时刻入射，并且因此可以从如上所述的跨越成像表面的不同扩展方向以及从由到达时刻在其他表面上给出的时刻的期望值来识别这些信号。

由于诸如肋骨的结构靠近心脏的位置且机械特性明显不同，因此诸如肋骨的结构可以将某些频率分量有效地传输到成像表面。尽管这不是干扰结构，但是也可以通过其信号分量的方向来识别其位置，并且可以通过分析在呼吸循环期间发生的心脏振荡的频率分量的变化来进一步可靠地识别其位置，因为肋骨可能相对于成像表面明显移动。

所观察到的归因于不同器官的运动的动态特征，例如心室收缩相对于心房收缩的时刻和相对幅度(前者将检测到较大幅度的干扰)，或者由肋骨框架和膈膜在呼吸期间产生的不同运动，可用于推断相对于器官的方位和距离。

尽管前面已经参照被检测器官的存在进行了描述，但是可以应用类似的过程来确定不同类型组织的存在。

在这种情况下，可以使用源自诸如心脏或肺的自然源的微小振动来评估组织特性。例如，可以检测组织硬度的变化以识别癌组织。在这种情况下，在训练阶段，可以通过对患者体内类似位置处的癌组织进行训练来确定对振荡运动的影响。

类似地，对于上述干扰结构和器官的识别，可以由其中心脏振荡的特性被改变的图像部分来确定表面异常的位置。

肿瘤通常比周围软组织更硬，因此对心脏振荡的反应与周围组织不同。这些变化的振荡(例如频谱中的特定偏移)可以自动地与可能的表面肿瘤传递函数的参考数据进行比较。因此可以识别特定表面异常是肿瘤的可能性。术语“表面肿瘤传递函数”是描述表面肿瘤如何影响心脏振荡的函数。可以通过向组织施加已知的振荡并确定表面肿瘤对振荡的影响来预先测量传递函数。当然，尽管上面讨论了表面肿瘤，但是可以设想任何类型的干扰对象，例如器官等。

异常和正常组织之间的边界也可以通过从正常心脏振荡和定位到的改变的振荡而来的转变的几何形状来进行研究。这可以帮助确定例如硬边和软边肿瘤，以及定义肿瘤的边界。

确定内窥镜相对于生理特征的位置的操作

参考图5，示出了解释训练阶段的流程图500。该过程开始于505。在步骤510中，将内窥镜插入测试患者体内。在步骤515中识别内窥镜的准确位置。这通过使用磁性成像等来实现。还使用位于内窥镜中的陀螺仪和/或加速度计来确定内窥镜的方位。捕获的图像经过在步骤520中执行的欧拉视频处理。欧拉视频处理突显了振荡运动。在步骤525中确定脉冲波动态特征，例如该位置处的波阵面的周期性、大小和移动。特别地，波阵面之间的时刻定义了周期性。脉冲波运动是通过对沿着血管的波速的测量来定义的。脉冲波的振幅通过测量任意点处血管宽度的最大相对增加值来确定。在步骤530中，与内窥镜的位置相关联地存储所获得的脉冲波动态特征。

在步骤535中，确定训练是否已经完成。这通常由外科医生或内窥镜检查操作者决定。在实施例中，由于脉冲波动态特征的捕获和存储是连续的过程，该过程将默认进行到步骤540，在该步骤中，内窥镜将由操作者移动并且该过程将返回到步骤515。

然而，一旦该过程结束，外科医生将停止该过程，因此该过程将在步骤545结束。

参考图6，描述了解释心脏和/或肺定位技术的流程图600。该过程开始于步骤605。该过程进行到步骤610，在该步骤中将内窥镜插入被测患者体内。

在步骤615中执行欧拉图像处理。在步骤620中确定脉冲波动态特征，例如该位置处的波阵面的周期性、大小和移动。将所获得的脉冲波动态特征与在图5的训练阶段获得的所存储的脉冲波动态特征进行比较。

这里应当注意，周期性是波的基频，尺寸是最大幅度，运动是速度和方向。此外，欧拉放大率放大了在限定频率范围内的运动。在训练和测试期间使用相同的时间放大。数据基本上是在不同位置(在这种情况下是一个位置)的频率、相位和幅度。可替换地，可以将它们视为复合波的振幅和相位，或者等效地视为在该位置处的复合波的振幅、方向和速度。

在步骤630中，选择与所获得的脉冲波动态最接近的所存储的脉冲波动态。然后在步骤635中执行检查以确定所存储的脉冲波动态特征与所获得的脉冲波动态特征之间的差值。如果差值等于或低于阈值，则遵循“是”路径。

或者，如果差值高于阈值，则遵循“否”路径。在实施例中，阈值是测量值的0.3％。当然，可以选择其他值。阈值的目的是确定所获得的位置是否足够精确以向用户指示内窥镜的位置。

如果位置的确定性太低，则在步骤640中将不显示该位置，因为向用户显示不准确的位置可能使过程复杂化。如果没有显示位置，则过程在步骤655结束。

返回到步骤635，如果差值等于或低于阈值，则遵循“是”路径，并且从存储的位置值检索内窥镜的位置。这在步骤645中执行。

当内窥镜系统检索内窥镜的位置时，可以建立心脏(或肺)和内窥镜之间的相对距离(和方向)。然后，可以将相对距离和方向叠加到捕获的图像上，以显示给内窥镜的操作者。图7中示出了叠加图像的示例。

然后过程在步骤655结束。

参照图7，叠加图像700包括来自内窥镜的图像715和环境信息707。在图7的示例中，环境信息707包括对心脏710的指示和对肺705的指示。可以在图像上的任何地方提供环境信息。例如，可以在图像的底部提供环境信息，以最小化环境信息对内窥镜图像的遮挡的量。此外，可以选择环境信息的颜色和大小以最小化对内窥镜图像的遮挡的量，同时确保环境信息的高展示度。

确定界标

如上所述，在内窥镜检查期间将界标放置在患者体内，以允许外科医生或内窥镜检查操作者定位或重新定位关注的区域。这通常是纹身或吸盘标记。标记可以相对于诸如器官的解剖特征放置，但这不是必需的。

当前用于界标的技术存在两个问题。第一个问题是：外科医生通常沿着行进路径以均匀的距离放置标志，从而许外科医生测量他们已经行进的距离。通过计数通过的标记数和测量通过的时间来实现这一目的。然而，移动的感觉取决于距被观察对象的距离。这可能导致距离估计不准确且界标放置不均匀。

第二个问题是：在手术期间，解剖特征移动，因此放置在组织表面上的标志(例如纹身或吸盘)变得不太有效。

本公开的实施例的目的是解决这些问题。

主要使用上述技术来解决与界标相关的第一个问题，其中使用欧拉视频处理来确定内窥镜与心脏或肺之间的相对距离。这是因为移动的距离是独立于距被观察对象的距离而确定的。因此，上述技术可用于以均匀间隔创建界标。

针对第二个问题，使用包括界标的特征的关系而不是界标的视觉外观。在实施例中，所使用的界标是血管系统。

参照图8解释地形界标。在图8中，示出了血管系统800。为了识别标志“S”，使用血管系统的分支。具体地，根据通向/来自“节点”的血管通道的数量，来分类由分支点或交叉点组成的“节点”。然后将“分支”定义为一系列连接的节点，这些节点起源于用户希望标记的相同源节点；在这种情况下，是位置“S”。这些分支用于唯一性地标记位置“S”。

在图8的示例中，示出了用于标识位置“S”的四个分支。分支编号和编号系统如图8所示。具体地，位置“S”包括4个不同的分支系统，即分支系统1-4。分支系统由进入或离开节点的分支定义。因此，在示例性血管系统800中，分支系统1由分支2、2、3、3组成：分支系统2由分支2、2、3、3组成：分支系统3由分支2、2、3、3、1、4组成，分支系统4由分支2、3、1、3、4组成。

为了识别位置“S”，血管系统分支系统由模式组成。可以使用已知的模式匹配技术来识别该模式，例如拟合的多点接近度。因此，当用户使用用户界面将位置“S”识别为界标时，捕获与界标相关联的血管分支。因此，当内窥镜再次访问位置“S”时，使用模式匹配来识别血管系统分支系统，并且通知用户它们当前处于位置“S”。如果使用拟合的多点接近度，则确定图像中捕获的模式是已知位置“S”的可能性。

因此，由于界标(位置“S”)的位置由血管系统确定，所以即使表面要变形，血管系统分支的性质也将保持恒定。因此，界标抵抗这种变形。

此外，设想用户还可以去除不再需要的界标。例如，如果用户不需要位置“S”的通知，则他们可以使用用户界面来删除所存储的与该位置相关联的血管系统分支。因此，不会向用户通知位置“S”作为界标。这对于节省存储和避免在不必要时警告用户是有用的。当然，存在决定何时删除先前存储的界标的其他机制。例如，当设置界标时，可以设置重要性等级。重要性等级设置界标对外科医生而言的重要性等级。因此，当外科医生识别出新界标何时比旧界标更重要时，可以自动删除旧界标。

参考图9解释另一地形界标，其中血管系统900上的数字表示时间单位，例如毫秒。在图9中，示出了与图8相同的血管系统。然而，在图8的血管系统中，内窥镜操作者(例如外科医生)必须观察血管系统。然而，在图9的实施例中，界标可能变得部分被遮蔽，这会妨碍操作者的识别。

为了解决这个问题，提供了动态界标。在动态界标中，识别具有共同起源和稍后可观察的节点的两个血管分支。针对每个分支测量脉冲波从共享分支点行进到每个节点所花费的时间，并将其用作动态界标。当返回界标时，即使任一分支被部分地遮蔽或变形，也可以通过可见节点处的相对脉冲波时刻来识别分支。

可以以与时刻信息类似的方式使用血管内的脉冲波振幅耗散速率和在分支点处发生的减小，以识别特定分支，即使它们被部分遮挡。例如，如果图9所示的分支1中的第二节点905被遮挡，则可以根据第一和第三节点之间的脉冲波振幅的减小来估计血管生出分支的次数，从而恢复丢失的分支信息。使用上述欧拉处理测量脉冲波振幅。在一些情况下，并且在没有先验知识的情况下，可以识别出存在至少一个尚未观察到的分支。

图10示出了本公开的其他实施例。在图10中，重新绘制了图8所示的血管系统。然而，在该实施例中，血管系统1000具有跨越若干分支的切口1005。在内窥镜检查过程中，关于患者生理状态的信息，例如心率或呼吸率，或血流异常，从图像来看可能不明显。这些信息可以指示位于图像视场之外的附近的切口/收缩。不能识别生理状态的变化可能导致并发症和患者治疗结果不能达到最佳。后一应用尤其涉及诸如手术的过程。

为了识别图10中位于成像表面1010下游的切口方向，血管中的血压用于指示由于切口引起的压力损失。这是通过比较不同血管路径内的脉冲波的速度和振幅而相对测量的。脉冲波由上述关于欧拉处理的实施例识别。

具有最低估计压力的血管中的流动方向用于估计发生在内窥镜的视场1010外部的切口的方向。然后，通过用切口的方向指示符注释内窥镜图像，将该信息传递给用户。

还可以观察切口形成前的血压。在这种情况下，监测该变化，并且当血压在预时刻间段内下降预定量时，可以推断分支中的切口。

如上所述，可以使用血压下降来确定切口。然而，也可以使用界标技术检测成像区域内部或外部的切口、血液充血处或其他出血点。具体地，如上所述，描述了使用模式来确定界标。在检测成像区域外的切口的情况下，该模式可以是血流、一个或多个切口或血液充血处的模式。

在模式是血流、一个或多个切口或血液充血处的情况下，可以确定模式的起源(即切口的位置)。为了实现这一点，对于任何给定的血液充血处切口或点，识别该模式。这将以与上述关于界标的相同方式来实现。一旦模式被识别为切口或血液充血，切口或血液充血的位置则被记录并显示给用户。

作为确定血流、断流或血液充血的替代机制或附加机制，存储该位置处的模式。然后，当内窥镜再次观察模式时，确定第一次观察模式和第二次观察模式之间的差。这种差异归因于与一个或多个切口或血液充血点相关的变化。该差异可以识别与血液充血的切口或点相关的某些特征。例如，可以减少血液的量(体积)，可以降低血流的强度等。这可以给出外科医生采取的任何补救措施(例如，烧灼切口)取得成功的指示，或者给出状况变得更糟并且因此需要补救措施的指示。可以设想，如果血流强度增加，则内窥镜系统可以指示外科医生执行某些补救措施。

尽管上面描述了通过将存储的模式与内窥镜视图进行比较来识别模式，但是内窥镜检查系统可以被配置为使用对象识别来识别模式。在对象识别中，对象的特征用于识别对象，而不是依赖于看到整个对象并将整个对象与该对象的存储表示相匹配。对象识别是已知的技术，因此为了行文简洁将不再描述。

当然，可以识别内窥镜视场内的切口或血液充血，其中切口或血液充血的某些特征在视场内。例如，切口通常具有图像特征，该图像特征是红血球的薄线性区域。因此，对象识别算法识别满足这些特征的区域，并因此使用这些特征特性来识别切口，而不是须得识别与先前存储的切口示例精确匹配的剪切口。

为了识别内窥镜视场之外的切口或多个切口或血液充血，可以识别视场内指示位于视场之外的切口的特征。例如，切口下方位置处的组织可能比周围组织红色较浅。这是因为由于切口，供给到该组织的血液较少。还可以根据组织的颜色识别切口的严重程度。例如，在存在严重切口的情况下，与切口较不严重的情况相比，组织看起来红色较浅。因此，即使切口本身不在相机的视场中，也可以根据捕获图像的颜色或其他图像特性来识别切口的位置和严重性。

除了使用对象识别来检测流血点之外，对象识别还可以用于识别上述界标。这具有内窥镜系统学习界标特征的优点，而不是将捕获的界标与存储的界标进行比较，从而可以更容易地改变界标。

图11示出了描述在内窥镜检查期间对所识别的部位进行界标的流程图1100。该过程开始于步骤1105。该过程移动到步骤1110，其中将内窥镜插入患者体内。在步骤1115，外科医生移动内窥镜以识别用作界标的适当位置。外科医生通过与用户界面交互来执行界标。特别地，当外科医生识别要标记的部位时，外科医生将与用户界面交互以标记该部位。当标记该部位时，在实施例中，CCU 5039将从识别界标的图像中提取模式。该模式可包括但不限于血管系统分支系统，或血管系统中的分支相对位置或一些其他模式，并将其存储以供稍后比较。当然，在其他实施例中，模式本身可以是捕获的图像。该过程在步骤1125结束。

图12示出了过程1200，其示出了界标部位的识别。该过程开始于步骤1205。在步骤1210，将内窥镜插入患者体内。在步骤1215中捕获来自内窥镜的图像。在步骤1220中，将所捕获的图像与所存储的界标进行比较。在实施例中，从所捕获的图像中提取相关模式(例如血管系统)并将其与所存储的模式进行比较。当然，如果所存储的模式是界标部位的图像，则将所捕获的图像与所存储的界标部位的图像进行比较。

该过程移动到步骤1225，在该步骤中确定所存储的界标和所捕获的图像之间的相似度。通过确定捕获图像与存储图像的相似度是否在阈值内，来确定该程度。可以从拟合的多点接近度算法获得相似度值。

如果捕获的图像与存储的模式不相似，则遵循“否”路径返回到步骤1215。或者，如果捕获的图像相似，则遵循“是”路径，过程移动到步骤1230。在步骤1230中，图像被识别为界标部位。然后在步骤1235中向外科医生显示界标。这将被显示为内窥镜图像上的叠加后图形。

该过程移动到步骤1240，在步骤1240确定外科医生是否已经完成对界标的搜索。为了确定这一点，外科医生将使用图形用户界面表明他或她是否已经完成搜索。在外科医生没有完成搜索的情况下，遵循“否”路径返回到步骤1215。在外科医生已经完成他或她的搜索的情况下，该过程遵循“是”路径，之后在步骤1245结束。

本公开的各种实施方式由以下编号分句定义：

1.一种手术成像系统，包括电路，所述电路被配置为：突显所捕获的图像中的区域的图像特征；识别所述区域中图像特征的变化；并基于所述图像特征的变化来识别生理特征相对于手术装置的位置。

2.根据分句1所述的手术成像系统，其中所述电路被配置为：通过将每个图像分解为空间频带来突显运动；将相同的时间滤波器应用于每个空间频带，并将滤波后的空间频带放大预定量。

3.根据分句2所述的手术成像系统，其中所述电路被配置为：通过对所捕获的图像执行欧拉视频处理来突显运动。

4.根据前述分句中任一项所述的手术成像系统，其中所述突显基于所述图像中的所述区域的颜色变化。

5.根据分句4所述的手术成像系统，其中所述颜色变化是跨越所述对象的表面的脉冲波，并且所述电路被配置为：通过测量所述区域中的颜色变化与跨越所述对象的表面的对应脉冲波之间的时间差，来确定距所述内部器官的距离。

6.根据前述分句中任一项所述的手术成像系统，其中所述突显基于所述图像内的对象的运动。

7.根据分句6所述的手术成像系统，其中，所述对象的运动是跨过所述对象的表面的脉冲波。

8.根据前述分句中任一项所述的手术成像系统，还包括连接器电路，所述连接器电路被配置为连接到显示器，其中，所述电路被配置为将所述内部器官的位置的指示叠加到所捕获的图像之一上，以形成合成图像，并且将所述合成图像提供给所述连接器电路。

9.根据前述分句中任一项所述的手术成像系统，其中，所述生理特征是内部器官或出血点。

10.一种手术成像系统，包括电路，所述电路被配置为：突显所捕获的图像中的区域的颜色和/或运动；将突显的运动与所存储的突显的运动进行比较，并且基于所述比较来识别所述对象的材质。

11.一种手术成像系统，包括电路，所述电路被配置为：突显所捕获的图像中的区域的颜色和/或运动；将突显的运动与所存储的突显的运动进行比较，并且基于所述比较来识别界标。

12.根据分句11所述的手术成像系统，其中所述电路被配置为将血管系统识别为所述界标。

13.根据分句11所述的手术成像系统，其中所述电路被配置为将出血点识别为所述界标。

14.一种手术成像系统，包括电路，所述电路被配置为：突显所捕获的图像中的区域的颜色和/或运动；并基于所述突显运动的特征来识别界标。

15.根据分句14所述的手术成像系统，其中所述电路被配置为将出血点识别为所述界标。

16.一种手术成像系统，包括电路，所述电路被配置为：将所捕获的血管模式的图像识别为界标；存储所捕获的模式；将后续捕获的图像与所存储的模式进行比较，并且基于所述比较将所述后续图像识别为界标。

17.根据分句1、10、11、14或16所述的手术成像系统，包括被配置为捕获所述多个图像的图像传感器电路。

18.一种手术成像方法，包括：突显所捕获的图像中的区域的图像特征；识别所述区域中图像特征的变化；并基于所述图像特征的变化来识别生理特征相对于手术装置的位置。

19.根据分句18所述的手术成像方法，包括：通过将每个图像分解为空间频带来突显运动；将相同的时间滤波器应用于每个空间频带，并将滤波后的空间频带放大预定量。

20.根据分句19所述的手术成像方法，包括通过对所捕获的图像执行欧拉视频处理来突显所述运动。

21.根据分句18至20中任一项所述的手术成像方法，其中，所述突显基于所述图像中的所述区域的颜色变化。

22.根据分句21所述的手术成像方法，其中所述颜色变化是跨越所述对象的表面的脉冲波，并且所述电路被配置为通过测量所述区域中的颜色变化与跨越所述对象的表面的对应脉冲波之间的时间差来确定距所述内部器官的距离。

23.根据分句18至22中任一项所述的手术成像方法，其中，所述突显基于所述图像内的对象的运动。

24.根据分句23所述的手术成像方法，其中所述对象的运动是跨过所述对象的表面的脉冲波。

25.根据分句18至24中任一项所述的手术成像方法，还包括在显示器上将所述内部器官的位置的指示叠加到所述捕获图像之一上，以形成合成图像，并且将所述合成图像提供给所述连接器电路。

26.根据分句18至25中任一项所述的手术成像方法，其中所述生理特征是内部器官或出血点。

27.一种手术成像方法，包括：突显所捕获的图像中的区域的颜色和/或运动；将所述突显的运动与所存储的突显的运动进行比较，并且基于所述比较来识别所述对象的材质。

28.一种手术成像方法，包括：突显所捕获的图像中的区域的颜色和/或运动；将所述突显的运动与所存储的突显的运动进行比较，并且基于所述比较来识别界标。

29.根据分句28所述的手术成像方法，其中所述界标是血管系统。

30.根据分句28所述的手术成像方法，其中所述界标是出血点。

31.一种手术成像方法，包括：突显所捕获的图像中的区域的颜色和/或运动；并基于所述突显的运动的特征来识别界标。

32.根据分句31所述的手术成像方法，其中所述界标是出血点。

33.一种手术成像方法，包括：将所捕获的血管模式的图像识别为界标；存储捕获的模式；将由所述图像传感器捕获的后续图像与所存储的模式进行比较，并且基于所述比较将所述后续图像识别为所述界标。

34.一种包括计算机可读指令的计算机程序产品，当所述计算机可读指令被加载到计算机上时，配置所述计算机以执行根据分句18至33中任一项所述的方法。

显然，根据上述教导，本公开的许多修改和变化是可能的。因此，应当理解，在所附权利要求的范围内，可以以不同于本文具体描述的方式实施本公开。

鉴于已经将本公开的实施例描述为至少部分地由软件控制的数据处理装置实现，应当理解，承载诸如光盘、磁盘、半导体存储器等这样的软件的非瞬时机器可读介质也被认为代表本公开的实施例。

应当理解，为了清楚起见，上面的描述已经参考不同的功能单元、电路和/或处理器描述了实施例。然而，显而易见的是，可以使用不同功能单元、电路和/或处理器之间的任何适当的功能分布，而不减损实施例的作用。

所描述的实施例可以以任何合适的形式实现，包括硬件、软件、固件或它们的任何组合。所描述的实施例可以可选地至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。任何实施例的元件和组件可以以任何适当的方式物理地、功能性地和逻辑性地实现。实际上，功能可以在单个单元、多个单元或作为其他功能单元的一部分来实现。这样，所公开的实施例可以在单个单元中实现，或者可以物理地和功能性地分布在不同的单元、电路和/或处理器之间。

尽管已经结合一些实施例对本发明进行了描述，但是本发明并不限于这里所阐述的特定形式。另外，尽管特征可能看起来是结合特定实施例来描述的，但是本领域技术人员将认识到，所描述的实施例的各种特征可以以适于实现该技术的任何方式来组合。

欧拉视频处理概述

概括来说，就是放大了出现在频率范围内的、特定位置处的图像中的像素强度值(RGB)的振荡。原则上，我们取视频数据(X，Y，T)的3D立方体，并且仅在T方向上应用带通频率滤波操作。

1.在每个特定空间位置独立地执行该处理。因此，希望(尽管不是必需的)图像在时间频率放大窗口上合理地静止。如果需要，这可以通过应用视频稳定算法来改进。

2.由于放大了图像信号，因此将存在放大图像中的噪声的问题。为了减轻这种情况，需要某种形式的空间平均，以确保信噪比对于要放大的实信号(在某个空间范围上操作)足够高。这可以通过许多不同的方式来完成，例如：

a.可以在操作之前对图像进行平滑和下采样，但是这导致最终图像/视频更小、分辨率更低；

b.图像可以被分成不同的空间频带，例如利用拉普拉斯金字塔。这里，用选定的小空间平滑卷积，例如空间高斯(与下采样速率匹配)对图像进行平滑，并从前一(非平滑的)图像中减去，然后下采样到例如一半大小。重复该操作直到留下小的残留图像。然后分别对每个空间带通图像(和剩余图像)执行时间频率放大，放大因子取决于该频带的预期信噪比(对于较大的空间频率应该改善，因此放大因子可以更高)。然后将带通滤波后的图像重新组合(通过上采样和加入)成最终的完整图像/视频。

3.通过例如使用离散余弦变换(DCT)对每个单个像素时间序列数据应用带通滤波器来分别对该数据执行时间放大，其中数据窗口被变换到频域，点乘以滤波器的DCT，然后变换回像素数据域，例如选择和放大0.5Hz和5Hz之间的频率。带通滤波器可以是动态的，例如跟踪心率(由心电图(ECG)信号或脉搏血氧计提供)，或是固定的，并且可以是窄带或宽带的。放大值可以是固定的，根据信噪比的一些测量来计算或由用户调节。

4.振荡运动信号的放大仅适用于小的空间振荡和低水平的放大，否则会发生显著的失真。

5.用于放大的时间带通滤波器可以从宽范围的选项中选择——理想(矩形脉冲)滤波器、二阶无限脉冲响应(IIR)滤波器等，这取决于应用。可以针对用户提供的截止频率生成滤波器，然后，比方说，实时地应用。

6.由于所述处理在像素时间序列上操作，因此在与用于时间放大的时间窗口相关的任何实时实施方式中将存在一些固有等待时间。

欧拉算法可以展现出更好的性能，来使更大的并且对噪声较不敏感的振荡运动可视化。这是通过由在尺度和方向上分解的处理金字塔(使用正交滤波器)执行空间分解来实现的，并且对该金字塔的相位执行时间放大[1]。

干扰对象和组织样本的训练阶段

为了确定诸如空气填充的胃或实际上各种类型的组织之类的干扰对象对心脏和肺振荡的影响，必须执行训练阶段。在训练阶段期间，由这些对象引起的折射、反射和衰减模式在患者的各个点处被捕获。预期训练将发生一次，并且在制造期间核对结果并将结果存储在内窥镜系统中的存储介质内。

在训练阶段期间，使用磁成像连续监视内窥镜的位置。为了获得折射、反射和衰减模式的代表值，训练阶段期间患者的心脏和肺功能必须代表将接受内窥镜检查的患者。这将包括心跳平均，同时心脏强度、肺功能和身体脂肪组成均处于平均水平的患者(因为过量的身体脂肪可能产生错误的训练结果)。当然，可以选择位于该标准之外的其他患者以获得异常值。在这种情况下，在内窥镜位置处的折射、反射和衰减模式与患者相对于被测平均值和异常值的位置之间可能存在相关性。换句话说，如果患者的身体脂肪正好在平均值和异常值之间，则波阵面的衰减也可以正好在对于平均值所所需的衰减和患者身体中相同位置处的异常值之间。

类似地，可以在训练阶段期间捕获各种不同材质的效果。例如，对于在训练阶段期间选择的患者，一个可能具有恶性肿瘤，而另一个可能在类似位置具有良性肿瘤。可以观察和记录在给定的一组已知位置由恶性肿瘤和良性肿瘤引起的折射、反射和衰减模式。这些可以在制造期间存储在内窥镜系统中，并且当操作系统时用于识别肿瘤是恶性或良性的可能性。

Claims (34)

1.一种手术成像系统，包括电路，所述电路被配置为：突显所捕获的图像中的区域的图像特征；识别所述区域中的图像特征的变化；并且基于所述图像特征的变化来识别生理特征相对于手术装置的位置。

2.根据权利要求1所述的手术成像系统，其中，所述电路被配置为：通过将每个图像分解为空间频带来突显运动；将相同的时间滤波器应用于每个所述空间频带，并将滤波后的空间频带放大一预定量。

3.根据权利要求2所述的手术成像系统，其中，所述电路被配置为通过对所捕获的所述图像执行欧拉视频处理来突显所述运动。

4.根据权利要求1所述的手术成像系统，其中，所述突显是基于所述图像中的所述区域的颜色变化。

5.根据权利要求4所述的手术成像系统，其中，所述颜色变化是跨对象的表面的脉冲波，并且所述电路被配置为：通过测量所述区域中的颜色变化和跨所述对象的表面的相应脉冲波之间的时间差来确定距内部器官的距离。

6.根据权利要求1所述的手术成像系统，其中，所述突显是基于所述图像内的对象的运动。

7.根据权利要求6所述的手术成像系统，其中，所述对象的运动是跨所述对象的表面的脉冲波。

8.根据权利要求1所述的手术成像系统，还包括连接器电路，所述连接器电路被配置为连接到显示器，其中，所述电路被配置为：将内部器官的位置的指示叠加到所捕获的所述图像中的一个上以形成合成图像，并且将所述合成图像提供给所述连接器电路。

9.根据权利要求1所述的手术成像系统，其中，所述生理特征是内部器官或出血点。

10.一种手术成像系统，包括电路，所述电路被配置为：突显所捕获的图像中的区域的颜色和/或运动；将突显的运动与所存储的突显的运动进行比较，并且基于所述比较来识别对象的材质。

11.一种手术成像系统，包括电路，所述电路被配置为：突显所捕获的图像中的区域的颜色和/或运动；将突显的运动与所存储的突显的运动进行比较，并且基于所述比较来识别界标。

12.根据权利要求11所述的手术成像系统，其中，所述电路被配置为将血管系统识别为所述界标。

13.根据权利要求11所述的手术成像系统，其中，所述电路被配置为将出血点识别为所述界标。

14.一种手术成像系统，包括电路，所述电路被配置为：突显所捕获的图像中的区域的颜色和/或运动；并且基于突显的运动的特征特性来识别界标。

15.根据权利要求14所述的手术成像系统，其中，所述电路被配置为将出血点识别为所述界标。

16.一种手术成像系统，包括电路，所述电路被配置为：将所捕获的血管的图案的图像识别为界标；存储所捕获的图案；将捕获的后续图像与所存储的图案进行比较，并且基于所述比较将所述后续图像识别为界标。

17.根据权利要求1、10、11、14或16所述的手术成像系统，包括被配置为捕获多个图像的图像传感器电路。

18.一种手术成像方法，包括：突显所捕获的图像中的区域的图像特征；识别所述区域中的所述图像特征的变化；并且基于所述图像特征的变化来识别生理特征相对于手术装置的位置。

19.根据权利要求18所述的手术成像方法，包括：通过将每个图像分解为空间频带来突显运动；将相同的时间滤波器应用于每个所述空间频带，并将滤波后的空间频带放大一预定量。

20.根据权利要求19所述的手术成像方法，包括通过对所捕获的所述图像执行欧拉视频处理来突显所述运动。

21.根据权利要求18所述的手术成像方法，其中，所述突显是基于所述图像中的所述区域的颜色变化。

22.根据权利要求21所述的手术成像方法，其中，所述颜色变化是跨对象的表面的脉冲波，并且所述电路被配置为：通过测量所述区域中的颜色变化和跨所述对象的表面的相应脉冲波之间的时间差来确定距内部器官的距离。

23.根据权利要求18所述的手术成像方法，其中，所述突显是基于所述图像内的对象的运动。

24.根据权利要求23所述的手术成像方法，其中，所述对象的运动是跨所述对象的表面的脉冲波。

25.根据权利要求18所述的手术成像方法，还包括在显示器上将内部器官的位置的指示叠加到所捕获的所述图像中的一个上以形成合成图像，并将所述合成图像提供给连接器电路。

26.根据权利要求18所述的手术成像方法，其中，所述生理特征是内部器官或出血点。

27.一种手术成像方法，包括：突显所捕获的图像中的区域的颜色和/或运动；将突显的运动与所存储的突显的运动进行比较，并且基于所述比较来识别对象的材质。

28.一种手术成像方法，包括：突显所捕获的图像中的区域的颜色和/或运动；将突显的运动与所存储的突显的运动进行比较，并且基于所述比较来识别界标。

29.根据权利要求28所述的手术成像方法，其中，所述界标是血管系统。

30.根据权利要求28所述的手术成像方法，其中，所述界标是出血点。

31.一种手术成像方法，包括：突显所捕获的图像中的区域的颜色和/或运动；并且基于突显的运动的特征特性来识别界标。

32.根据权利要求31所述的手术成像方法，其中，所述界标是出血点。

33.一种手术成像方法，包括：将所捕获的血管的图案的图像识别为界标；存储所捕获的图案；将由图像传感器捕获的后续图像与所存储的图案进行比较，并且基于所述比较将所述后续图像识别为所述界标。

34.一种包括计算机可读指令的计算机程序产品，当被加载到计算机上时，所述计算机可读指令使所述计算机配置为执行根据权利要求18、27、28、31或33中任一项所述的方法。

Images