CN111643054A - 用于镜面反射检测和减少的系统和方法 - Google Patents

Abstract

本申请涉及用于镜面反射检测和减少的系统和方法。一种镜面反射检测和减少的方法和系统包括处理单元和耦合至处理单元的成像单元，处理单元包括一个或更多个处理器。成像单元包括用于提供目标区域的照明的一个或更多个第一照明器、用于检测照明的反射的一个或更多个第一检测器、用于触发一种或更多种荧光材料在目标区域中发荧光的一个或更多个第二照明器、和用于检测荧光材料的发荧光的一个或更多个第二检测器。处理单元被配置为从第一检测器接收第一图像、确定第一图像中的一个或更多个高镜面反射区域、遮住第一图像中的高镜面反射区域以及基于遮住的第一图像和检测到的荧光生成合成图像。第一图像包括检测到的反射。

Description

用于镜面反射检测和减少的系统和方法

本申请是2015年2月27日提交的名称为“用于镜面反射检测和减少的系统和方法”的中国专利申请201580021291.5的分案申请。

技术领域

本公开大体上涉及成像装置以及支持荧光成像的成像装置，且更具体地，涉及镜面反射检测和减少。

背景技术

在基于荧光的成像中，呈现在成像装置的视场中的荧光材料用一种波长的光激发并发射不同波长的光。这可以提供一种有用的机制以突出观察者特别感兴趣的视场部分。例如，在荧光图像引导手术的情况下，荧光染料(如，吲哚菁绿(ICG))可被引入到病人的解剖部分以突出病人的那些解剖部分。当用近红外光(大约750-800nm)激发ICG时，其发射稍高波长(845nm左右)的荧光。通过将ICG引入到病人的解剖的选定部分，在合适的观察器或照相机帮助的情况下，外科医生或其他医疗人员可接收视觉线索和/或高亮，其帮助他们识别和/或避免选定的解剖。例如，ICG或其他染料可用于突出前哨淋巴结、相对灌注的区域、肿瘤边缘等。适于突出患者解剖的其他有用的荧光染料包括来自内布拉斯加州林肯的LI-COR公司的亚甲基蓝、荧光素和

在一些情况下，荧光可以处于可视频带下，并且可以不需要额外的观察器或照相机。虽然正在使用基于荧光的成像，但通常做法是使用可见光大体上照亮关于目标区域或荧光的患者解剖的其他区域，使得外科医生和/或其他医疗人员可看到其他解剖结构并使其可视化。

不幸地，基于荧光的成像易受到与其他成像应用相同的问题中的许多问题影响。由于例如解剖结构(如，组织和/或器官结构)的表面上存在水分，患者的解剖的许多部分是高度反射光的。由于这种高反射，用于大体上照亮患者的解剖的可见光可生成一个或更多个高镜面反射区域。这些高镜面反射的区域可以在患者的解剖的图像中产生亮斑，和/或使用于检测图像的传感器饱和。结果，高镜面反射区域可被误当做发荧光区域和/或遮住或掩盖荧光区域，因此限制荧光在检测选定解剖时的有用性。

因此，期望的提供改善的方法和系统以检测、降低和/或补偿高镜面反射区域使得可获得更有用的荧光图像。

发明内容

符合一些实施例，一种成像系统包括处理单元，其包括一个或更多个处理器；和成像单元，其耦合至所述处理单元。成像单元包括用于提供目标区域的照明的一个或更多个第一照明器、用于检测照明的反射的一个或更多个第一检测器、用于触发目标区域中的一种或更多种荧光材料发荧光的一个或更多个第二照明器、和用于检测荧光材料的发荧光的一个或更多个第二检测器。处理单元被配置为：从第一检测器接收第一图像，确定第一图像中的一个或更多个高镜面反射区域，遮住第一图像中的高镜面反射区域，并基于遮住的第一图像和检测到的荧光生成合成图像。第一图像包括检测到的反射。

符合一些实施例，一种成像的方法包括：使用成像单元发射普通照明到目标区域上，使用成像单元检测普通照明的第一反射，基于检测到的第一反射形成第一图像，确定第一图像中的一个或更多个高镜面反射区域，遮住第一图像中的高镜面反射区域，使用成像单元发射荧光触发照明到目标区域上，使用成像单元检测目标区域中的一种或更多种荧光材料的荧光，并基于遮住的第一图像和检测到的荧光生成合成图像。

符合一些实施例，一种成像系统包括处理单元，其包括一个或更多个处理器；和成像单元，其耦合至所述处理单元。成像单元包括用于提供目标区域的照明的一个或更多个第一照明器和用于检测照明的反射的一个或更多个第一检测器。处理单元被配置为：从第一检测器接收第一图像，从第一检测器接收第二图像，确定第一图像和第二图像中的第一高镜面反射区域，基于第一图像和第二图像之间的差异估计第一高镜面反射区域中的第一表面法线，并基于估计的第一表面法线提供一个或更多个移开提示。第一图像包括检测到的反射并基于第一成像几何形状。第二图像包括检测到的反射并基于与第一成像几何形状不同的第二成像几何形状。

符合一些实施例，一种成像系统包括处理单元、耦合至处理单元的照明系统、和耦合至处理单元的检测器系统。处理单元包括一个或更多个处理器。照明系统发射照明以照亮目标区域并触发目标区域中的一种或更多种荧光材料发荧光。检测器系统检测发射的照明的反射并检测目标区域中的一种或更多种荧光材料的发荧光。处理单元被配置为：从检测器系统接收包括检测到的反射的第一图像，确定第一图像中的一个或更多个高镜面反射区域，遮住第一图像中的高镜面反射区域，并基于遮住的第一图像和检测到的荧光生成合成图像。

符合一些实施例，一种方法包括访问目标区域的遮住的图像，访问目标区域的荧光图像，并基于遮住的图像和荧光图像生成合成图像。遮住的图像包括第一反射图像，第一反射图像具有遮住的高镜面反射区域。

附图说明

图1是根据一些实施例的一种荧光成像系统的简图。

图2是根据一些实施例的一种高镜面反射检测和减少的方法的简图。

图3是根据一些实施例的另一个荧光成像系统的简图。

图4是根据一些实施例的另一种高镜面反射检测和减少的方法的简图。

在附图中，具有相同标记的元件具有相同或类似功能。

具体实施方式

在以下说明书中，阐述具体细节以描述符合本公开的一些实施例。然而，在没有一些或所有这些具体细节的情况下可实施一些实施例对本领域技术人员是明显的。本文公开的具体实施例意在例示性的而非限制。本领域技术人员可以意识到本文中虽然未具体公开的其他要素也在本公开的范围和精神内。此外，为了避免不必要的重复，关于一个实施例示出并描述的一个或更多个特征可并入到其他实施例，除非以其他方式具体描述或如果一个或更多个特征将使实施例是非功能性的。

图1是根据一些实施例的一种荧光成像系统100的简图。如图1中所示，示出使用成像单元120照亮的目标区域110，如患者的解剖部分。成像单元120包括若干成像发射器和检测器以照亮目标区域110并基于目标区域中的反射的照明和荧光二者收集目标区域110的一个或更多个图像。虽然在图1中未示出，但成像单元120可以是内窥镜工具的部分、计算机辅助外科手术器械的末端执行器的部分和/或计算机辅助成像装置的部分，其中计算机辅助外科手术器械对应于从加利福尼亚桑尼维尔市的直观外科手术公司购得的da

外科手术系统。为了支持荧光成像，成像单元120可以包括至少两种类型的成像发射器和检测器。

普通照明器132用来将光照在目标区域110上，如由示例光线142所示，其在入射点115处到达目标区域110。当光线142到达目标区域110时，根据入射点115处的目标区域110的漫射、反射、镜面反射和/或其他成像属性，光线142可以被目标区域110反射。反射的光被建模为示例光线144，其朝向成像单元120被反射回，其中，在成像单元120处，光线144被普通照明检测器134检测。入射点115可以是成像期间特别感兴趣的，因为成像单元120以及更具体地普通照明器132和普通照明检测器134位于入射点115处的表面法线大约附近或上方。当入射点115具有高镜面反射时，如，由于入射点115处的水分，普通照明检测器134可以检测高水平的光和/或可以变得饱和。结果，入射点115可以在目标区域110的图像上表现为亮斑，其由成像单元120取得。通过监测这些图像并寻找高强度和/或饱和的区域，成像单元120和/或如处理单元150的系统可以检测目标区域110内的可能高的镜面反射区域。

成像单元120进一步包括荧光成像元件。荧光触发照明器136可以发射一种或更多种波长的光，如由示例光线146所示，光线146被示为在入射点115处到达目标区域110。当光线146到达入射点115时，荧光材料(如果存在)吸收光并通过以另一波长发荧光(如代表光线148所示的)做出响应，光线148返回到成像单元120并在成像单元120处被荧光检测器138检测。例如，当荧光材料为ICG时，光线146的入射光和光线148的荧光可以处于近红外光谱中，但处于不同波长。

根据一些实施例，普通照明器132和/或荧光触发照明器136可以是任何种类的光和/或电磁发射器，电磁发射器可以发射适当频率/波长和/或频带的光。在一些示例中，照明器中的每个可以包括一个或更多个发光二极管、激光二极管、卤素光源和/或诸如此类。根据一些实施例，普通照明检测器134和/或荧光检测器138可以是任何种类的检测器，其可以检测适当频率/波长和/或频带的光或电磁信号。在一些示例中，检测器中的每个可以包括一个或更多个光电晶体管、电荷耦合器件、有源和/或无源滤波器(如，液晶可调谐滤波器(LCTF)和/或声光可调谐滤波器(AOTF))和/或诸如此类。

荧光成像系统100可以进一步包括处理单元150。处理单元150可以是更大的计算设备和/或电子系统(未示出)的部分，所述更大的计算设备和/或电子系统可以从用户控件接收输入、处理那些输入、基于那些输入实施一个或更多个控制算法、提供荧光图像进行显示等。处理单元150包括耦合至存储器170的处理器160。处理单元150的操作由处理器160控制。并且虽然处理单元150被示出仅具有一个处理器160，但应当理解，处理器160可以表示处理单元150中的一个或更多个中央处理单元、多核处理器、微处理器、微控制器、数字信号处理器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等。处理单元150可以被实施为添加到计算设备的独立子系统和/或板，或被实施为虚拟机。在一些实施例中，处理单元150可以作为操作员工作站的部分被包括和/或独立于操作员工作站但与操作员工作站协调操作。

存储器170可以用来存储由处理单元150执行的软件和/或处理单元150操作期间使用的一个或更多个数据结构。存储器170可以包括一种或更多种类型的机器可读介质。一些常见形式的机器可读介质可以包括软盘、柔性盘、硬盘、磁带、任何其它磁介质、CD-ROM、任何其它光学介质、打孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或匣、和/或处理器或计算机适于从中读取的任何其他介质。

如图所示，存储器170包括成像应用程序180，其可以用来支持目标区域110的图像(包括目标区域110中的荧光图像)的生成和/或使用。成像应用程序180可以包括用于实施成像方法的一个或更多个应用程序编程接口(API)，所述方法可以包括发出一个或更多个命令和/或请求来自成像单元120的图像以及从成像单元120接收图像。并且虽然成像应用程序180被描述为软件应用程序，但是可以使用硬件、软件和/或硬件和软件的组合实施成像应用程序180。

为了支持成像应用程序180，处理单元150附加包括具有一个或更多个I/O端口的接口190。接口190可以是任何适当类型，如，专用I/O线路、网络连接(如，以太网)、内置集成电路(I²C)总线、串行外围接口(SPI)总线、并行端口、模拟I/O线路等。接口190可以包括一个或更多个线路和/或总线以用于将处理单元150耦合至成像单元120。在一些示例中，与接口190相关联的接口电路系统可以包括一个或更多个总线控制器、I/O控制器、模数转换器、数模转换器、数据采集系统、图像采集系统、路由器、交换机、网络交换设备和/或类似装置。

如上所述且进一步在此强调的，图1仅是一个示例，不应当过度限制所要求保护的范围。本领域技术人员将认识到许多变体、替代和修改。

本领域技术人员将注意到图1的几何形状不必按照比例绘制，而是经绘制以强调荧光成像系统100和成像单元120的重要特征。例如，普通照明器132、普通照明检测器134、荧光触发照明器136和荧光检测器138的相对尺寸和/或定位可以被放大从而以光线142-148的实际路径的更精准描述为代价示出这些特征。

根据一些实施例，成像单元120和处理单元150之间的不同布置可以是可能的。在一些示例中，处理单元150可以是成像单元120的部分。在一些示例中，成像单元120可以是处理单元150的部分。在一些示例中，处理单元150可以耦合到一个以上的成像单元120。在一些示例中，成像单元120可以与一个以上的处理单元共享成像数据。

根据一些实施例，普通照明器132、普通照明检测器134、荧光触发照明器136和荧光检测器138的不同布置和配置是可能的。在一些示例中，可以使用更多和/或更少的照明器和/或检测器。在一些示例中，照明器和/或检测器间的相对定位可以改变。在一些示例中，普通照明检测器134和荧光检测器138可以被组合成单个检测器，单个检测器可以用于镜面和/或荧光检测二者。在一些示例中，组合的检测器可以使用时分多路复用和/或频分多路复用以将普通图像与荧光图像分开。在一些示例中，普通照明器132和荧光触发照明器136可以被组合成单个照明器或发射器，其可以用来生成普通照明和/或荧光触发照明二者。在一些示例中，组合的照明器可以借助一个或更多个有源滤波器或无源滤波器使用时分多路复用和/或频分多路复用生成期望的照明。在一些示例中，普通照明器132和普通照明检测器134还可以是用于目标区域110的普通照明和成像系统的部分。

根据一些实施例，可以使用普通照明器和普通照明检测器的多个组合。在一些示例中，多个普通照明器和/或单个普通照明器可以生成多个频率/波长和/或频带的普通光线。相应的多个普通照明检测器和/或单个普通照明检测器可以检测多个频率/波长和/或频带中的每个并生成多个频率/波长和/或频带的每个的图像。在一些示例中，当在图像的每个中的相同位置处检测到高强度和/或饱和时，可以检测到高镜面反射区域。

图像中高镜面反射区域的存在通常可能是不期望的。由高镜面反射引起的高强度和/或饱和的区域可以降低包含它们的图像的质量和/或有用性。在一些示例中，高镜面反射区域可以将包含它们的图像的观察器从图像中的其他重要区域转移(distract)。在一些示例中，高镜面反射区域可能会被误以为是目标区域中的发荧光区域和/或遮住特征和/或盖住特征，如，荧光，这可以以其他方式可见，但是针对高镜面反射存在的情况不可见。

已经开发许多技术来检测、减少和/或补偿图像中的高镜面反射区域。一种此类方法是检测具有高强度的区域，其具有与高镜面反射相关并屏蔽图像的那些部分的高的可能性。在一些示例中，这可以包括将图像内的像素强度与阈值比较，如一组饱和百分比，并且用替换颜色(如，黑色或指明遮住的颜色)替换具有高于阈值的强度的任何像素。该方法还可以包括识别和/或突出被屏蔽的区域的边界。该方法可以移除高镜面反射区域导致的转移，但其也可能不适当地屏蔽具有不是由高镜面反射引起的高强度区域，以及当屏蔽的区域通常不包括潜在的图像细节时，从图像去除其他重要特征。

另一种方法使用两组图像传感器。当高强度区域(如由高镜面反射导致的那些区域)在图像中的一个中被检测到时，来自另一个图像的相应区域被替换。该方法降低了屏蔽期望的图像细节的可能性，但是可能要求两组图像传感器被充分隔开使得高镜面反射可以不在两个图像中的相同区域中发生。

其他方法可以在照明器/发射器以及图像检测器周围使用创造性屏蔽和/或挡板来降低高镜面反射区域可以被图像检测器捕捉到的可能性。该方法通常可以要求对照明器/发射器以及检测器的相对定位进行严格控制，且可能不很好地推广到成像单元和目标区域的每个可能几何形状。

利用荧光成像的一种常见方法是减少由普通照明器提供的普通照明并使用组合的可视检测器用于普通照明和荧光二者。通过减少普通照明，可以被生成的普通照明和/或高镜面反射区域不太可能盖住由于发荧光材料的荧光触发照明获得的图像信息。然而，该方法倾向于生成具有低水平环境光的图像，这可能使观察目标区域中的感兴趣的特征变得困难。

因此，当期望的图像示出可视细节和荧光细节二者时，用于检测、减少和/或补偿高镜面反射区域的大多数方法不提供良好的方案。这是因为牺牲了重要可视细节，荧光细节可以被盖住和/或方案可能包括具有不实际用于与内窥镜设备和/或类似设备一起使用的几何形状的设备。通过使用一种成像系统(如荧光成像系统100)可以获得改善方案，其允许从荧光图像中单独收集普通照明图像。以这种方式，检测、减少和/或补偿高镜面反射区域可以明显不太可能遮住和/或盖住重要的荧光信息。

图2是根据一些实施例的一种高镜面反射检测和减少的方法200的简图。可以至少部分以存储在非暂时性的有形机器可读介质上的可执行代码的形式实施方法200的一个或更多个过程210-280，当该代码由一个或更多个处理器运行时可以使一个或更多个处理器(如，处理器160)执行一个或更多个过程210-280。在一些实施例中，可以由成像应用程序(如，成像应用程序180)执行高镜面反射检测和减少。

在过程210，发射普通照明。使用一个或更多个普通照明器或发射器(如，普通照明器132)，普通照明被照在目标区域上。在一些示例中，普通照明可以包括可见光谱的一个或更多个频带中的可见光。在一些示例中，可使用适当驱动器和/或调制电路打开普通照明器。在一些示例中，普通照明器均可以包括一个或更多个发光二极管、激光二极管、卤素光源和/或诸如此类。在一些示例中，当普通照明包括来自多个频带的信号时，多个频带可以被同时和/或经由时分多路复用发射。

在过程220，检测普通照明的反射。使用一个或更多个普通照明检测器(如，普通照明检测器134)检测过程210期间发射的普通照明的反射。在一些示例中，普通照明可以反射自一个或更多个结构、物体、患者解剖的部分和/或诸如此类。在一些示例中，一个或更多个普通照明检测器可以检测由普通照明器和/或其子组发射的每个频带中的普通照明。在一些示例中，普通照明检测器中的每个可以包含一个或更多个光电晶体管、电荷耦合装置、有源和/或无源滤波器(如，LCTF和/或AOTF)和/或诸如此类。在一些示例中，一个或更多个普通照明检测器可以被时间多路复用以与一个或更多个普通照明器同步。在一些示例中，检测到的普通照明可以被检测为目标区域的单个图像和/或多个图像，其中，多个图像中的每个对应于被发射和/或针对该对应图像被检测的频带。在一些示例中，可以预处理单个图像和/或多个图像。在一些示例中，预处理可以包括直方图均衡和/或对比度调节。

在过程230，检测一个或更多个高镜面反射区域。在过程220期间检测到的图像中的每个可以被分析以确定一个或更多个潜在的高镜面反射区域。在一些示例中，可以通过识别具有高强度和/或饱和度的图像中的一个或更多个区域，确定潜在的一个或更多个高镜面反射区域。在一些示例中，高强度可以针对具有高于阈值的强度的任何像素被确定。在一些示例中，该阈值可以由成像系统的操作员设置和/或响应于成像系统其他属性被设置。在一些示例中，该阈值可以被设置为绝对强度阈值或被设置为最大可能强度值的百分比。在一些示例中，当在过程220期间检测到单个图像时，潜在的高镜面反射区域可以是一个或更多个高镜面反射区域。在一些示例中，当在过程220期间检测到多个图像时，可以在多个图像中的每个包括潜在的一个或更多个高镜面反射区域之中的区域的区域中检测到高镜面反射。在一些示例中，因为高镜面反射通常与波长无关，所以通过测试多个频率下的或在多个频带中的高镜面反射，使用多个图像可以降低区域可能被错分为高镜面反射区域的可能性。

在过程240，发射荧光触发照明。使用一个或更多个荧光触发照明器或发射器(如，荧光触发照明器136)，荧光触发照明被照在目标区域上。在一些示例中，荧光触发照明可以包括近红外频带中的频率。在一些示例中，可以使用适当驱动器和/或调制电路打开荧光触发照明器。在一些示例中，荧光触发照明器均可以包括一个或更多个发光二极管、激光二极管、卤素光源和/或诸如此类。在一些示例中，当荧光触发照明器可以与普通照明器相同时，但其中调制和/或驱动电路适于生成荧光触发照明而不是普通照明。在一些示例中，驱动电路可以包括一个或更多个有源或无源滤波器，如，LCTF和/或AOTF。

在过程250，检测一个或更多个荧光区域。使用一个或更多个荧光检测器(如，荧光检测器138)检测目标区域中的荧光材料的荧光。在一些示例中，在过程250期间可以不检测来自荧光照明的高镜面反射，因为荧光检测器通常对荧光触发照明器发射的频率不敏感。在一些示例中，一个或更多个荧光检测器可以是与一个或更多个普通照明检测器相同的检测器。在一些示例中，荧光检测器中的每个可以包含一个或更多个光电晶体管、电荷耦合装置、有源和/或无源滤波器(如，LCTF和/或AOTF)和/或诸如此类。在一些示例中，检测到的荧光可以被检测为荧光图像。在一些示例中，荧光图像也可以对应于普通照明图像。

在过程260，遮住一个或更多个高镜面反射区域。在一些示例中，在过程230期间检测到的一个或更多个高镜面反射区域可以被目标区域的、获取的一个或更多个普通照明图像遮住。在一些示例中，该遮住可以包括用背景或默认颜色(如黑色)的像素替换所述一个或更多个区域中的像素。在一些示例中，当普通照明图像也包括荧光信息时，高镜面反射区域中的荧光信息也可以被遮住。在一些实施例中，当普通照明图像与过程250期间检测到的荧光图像分开时，可以使用图像组合算法(如阿尔法(α)混合等)使荧光图像信息与普通照明图像组合。这些一个或更多个合成图像随后可以用于方法200的余下过程。

在过程270，可视化提示可以被添加到高镜面反射区域。因为过程260的遮住可以掩盖一个或更多个高镜面反射区域的存在，所以一个或更多个可视化提示可以被添加到遮住的一个或更多个普通照明图像和/或一个或更多个合成图像以通知操作员一个或更多个高镜面反射区域中的较差质量和/或不完整的图像信息的可能性。在一些示例中，可视化提示可以包括在一个或更多个高镜面反射区域的周围添加轮廓、添加假彩色、添加图案、添加闪烁、添加箭头和/或其他标记和/或诸如此类。

在过程280，提供一个或更多个几何形状调整提示。因为在过程260期间遮住一个或更多个高镜面反射区域可以移除和/或降级一个或更多个普通照明图像和/或合成图像中的信息，所以可以提供几何形状调整提示至成像单元的操作员和/或运动规划系统。通过调节成像单元的几何形状，减少一个或更多个普通照明图像和/或合成图像中的一个或更多个高镜面反射区域的尺寸和/或将其移除是可能的，因为成像相对于目标区域中的表面法线的取向可以改变。在一些示例中，几何形状调整提示可以包括一个或更多个普通照明图像和/或合成图像中的音频提示、视觉线索(如箭头)、应用到操作员输入控件的反馈、应用到运动规划算法的反馈和/或诸如此类。

方法200可以进一步包括重复过程210-280以移除多个图像中的高镜面反射区域和/或生成目标区域的视频图像。

如上所述且进一步在此强调的，图2仅是示例，其不应当过度限制所要求保护的范围。本领域技术人员将认识到许多变体、替代和修改。在一些实施例中，方法200可以经修改以利用使用运动规划算法相对于目标区域移动成像单元的能力。在一些示例中，使用成像应用程序的操作员或其他系统可以指定体积，成像单元可在该体积中移动而不干扰目标区域中或其附近的其他装置、物体和/或患者解剖。成像应用程序随后可以在该体积周围移动成像单元以收集一系列普通照明和/或荧光图像。一些图像中的高镜面反射区域可以用来自已经减少镜面反射或不具有镜面反射的其他图像的相同区域的图像替换。在一些示例中，一个或更多个图像拼接算法可以用来创建具有减少的和/或消除的镜面反射的合成图像。在一些示例中，成像单元的一个或更多个动态模型以及将成像单元移动通过所述体积的装置可以用来交叉关联来自不同图像的区域。在一些示例中，当目标区域包括移动物体和/或移动患者解剖(如，跳动的心脏)时，图像收集可以被定时，使得该系列图像大致对应于目标区域中的物体和/或患者解剖的相同位置、相位和/或取向。

图3是根据一些实施例的另一个荧光成像系统300的简图。如图3中所示，示出使用成像单元320照亮的目标区域310，如患者的解剖部分。成像单元320包括若干成像发射器和检测器以照亮目标区域310并基于目标区域中反射的照明和荧光二者收集目标区域310的一个或更多个图像。虽然在图3中未示出，但成像单元320可以是内窥镜工具的部分、计算机辅助外科手术器械的末端执行器的部分和/或计算机辅助成像装置的部分。为了支持荧光成像，成像单元320可以包括若干组和类型的成像发射器和检测器。

成像单元320包括以已知距离隔开的至少两个普通照明器332和334。在一些示例中，普通照明器332和334中的每个可以类似于普通照明器132。普通照明器332和334中的每个被配置为将普通照明照在目标区域310上，如从普通照明器332和334到目标区域中的表面的相应示例性光线箭头所示。基于如由其中普通照明入射在目标区域310的表面上的相应点附近的表面法线315接近的表面的几何形状，普通照明从目标区域中的表面反射。反射的普通照明返回到成像单元320，在这里，其可以在单独的立体图像中由普通照明检测器336捕捉。在一些示例中，普通照明检测器336可以类似于普通照明检测器134。在一些示例中，普通照明器332和334可以替代地在目标区域310上提供照明，使得可以每次使用来自普通照明器332和334中的一个的照明捕捉单独的立体图像。使用单独的立体图像以及普通照明器332和334和普通照明检测器336的已知几何形状，成像单元320和/或耦合至成像单元320的处理单元(如，处理单元150)可以确定表面法线315的近似位置和/或取向以及可以被定位在目标区域310中的其他位置处的其他表面法线。在一些示例中，单独的立体图像还可以用来检测目标区域310中的一个或更多个高镜面反射区域。

类似于成像单元120，成像单元320还可以包括荧光触发照明器342和344以及荧光检测器346。在一些示例中，荧光触发照明器342和344中的每个可以类似于荧光触发照明器136，而荧光检测器346可以类似于荧光检测器138。荧光触发照明器342和344中的一个或二者可以用来触发目标区域310中的荧光材料的荧光。荧光检测器346可以检测由荧光触发照明器342和344触发的荧光。

通过接近表面法线(如，表面法线315)，成像单元320能够更好地提供关于过程280所述的几何形状调整提示。表面法线的位置和取向可以用来为成像单元320提供更好的移开提示，因为具有最高镜面反射的取向通常发生在普通照明器和普通照明检测器二者位于表面法线上方且朝向表面法线取向的时候。因此，避免成像单元320直接或近似与表面法线(如，表面法线315)对齐的取向可以减少和/或消除由在那些表面法线处的表面引起的高镜面反射。

如上所述且进一步在此强调的，图3仅是示例，其不应当过度限制所要求保护的范围。本领域技术人员将认识到许多变体、替代和修改。

本领域技术人员将注意到图3的几何形状不必按照比例绘制，但是其已经经绘制以强调荧光成像系统300和成像单元320的重要特征。例如，照明器和检测器的相对尺寸和/或定位可以被放大从而以图3中的相应光线的实际路径的更精准描述为代价示出这些特征。

根据一些实施例，成像单元320和处理单元150之间的不同布置可以是可能的。在一些示例中，处理单元150可以是成像单元320的部分。在一些示例中，成像单元320可以是处理单元150的部分。在一些示例中，处理单元150可以耦合到一个以上的成像单元320。在一些示例中，成像单元320可以与一个以上的处理单元共享成像数据。

根据一些实施例，照明器和检测器的不同布置和配置还可以提供期望的立体图像、高镜面反射区域的检测和荧光图像的检测。在一些示例中，更多和/或更少的照明器和/或检测器是可能的。在一些示例中，两个普通照明器332、334和普通照明检测器336可以用具有已知间距的两个普通照明检测器和一个普通照明器替换。在一些示例中，一个或其他荧光触发照明器342和/或344可以被省略。在一些示例中，余下的荧光触发照明器可以移动到更靠近荧光检测器346的位置。在一些示例中，时分多路复用和/或频分多路复用可以用来组合普通照明器和荧光触发照明器(如，普通照明器332和荧光触发照明器342)。在一些示例中，时分多路复用和/或频分复多路用可以用来组合普通照明检测器336和荧光检测器346。

图4是根据一些实施例的另一种高镜面反射检测和减少的方法400的简图。可以至少部分以存储在非暂时性的有形机器可读介质上的可执行代码的形式实施方法400的一个或更多个过程410-450，当该代码由一个或更多个处理器运行时可以使一个或更多个处理器(如，处理器160)执行一个或更多个过程410-450。在一些实施例中，可以由成像应用程序(如，成像应用程序180)执行高镜面反射检测和减少。在一些实施例中，方法400可以连同方法200执行以提供一个或更多个高镜面反射区域的遮住以及提供移开提示二者以减少由成像系统捕捉的高镜面反射的量。

在过程410，发射普通照明。使用一个或更多个普通照明器或发射器(如，普通照明器332和/或334)，普通照明和/或普通照明被照在目标区域上。在一些示例中，普通照明可以包括可见光谱的一个或更多个频带中的可见光。在一些示例中，可以使用适当驱动器和/或调制电路打开普通照明器。在一些示例中，普通照明器均可以包括一个或更多个发光二极管、激光二极管、卤素光源和/或诸如此类。在一些示例中，当普通照明包括来自多个频带的信号时，多个频带可以被同时和/或经由时分多路复用发射。

在过程420，检测立体反射。使用一个或更多个普通照明检测器(如，普通照明检测器336)连同一个或更多个普通照明器获得反射的普通照明的两个或更多个立体图像。在一些示例中，普通照明可以从一个或更多个结构、物体、患者解剖部分和/或类似结构反射。在一些示例中，一个或更多个普通照明检测器可以检测由一个或更多个普通照明器和/或其子组发射的频带中的每个的普通照明。在一些示例中，普通照明检测器中的每个可以包含一个或更多个光电晶体管、电荷耦合装置、有源和/或无源滤波器(如，LCTF和/或AOTF)和/或诸如此类。在一些示例中，一个或更多个普通照明检测器可以被时间多路复用以与一个或更多个普通照明器同步。

在过程430，估计表面法线。过程420期间检测的立体图像可以用来估计立体图像中可见的一个或更多个表面的表面法线。在一些示例中，两个立体图像之间的成像几何形状的已知差异可以用来基于立体图像中的差异估计表面法线。在一些示例中，立体相机校正数据可以用来估计表面法线。在一些示例中，可以针对那些表面上的多个位置处的一个或更多个表面估计表面法线。在一些示例中，类似于过程230的过程可以用来检测高的或潜在的高的镜面反射区域，其中，在那些检测的区域内估计表面法线。

在过程440，估计的表面法线用来提供移开提示。一个或更多个估计的表面法线指向目标区域中的成像单元应当避免接近的一个或更多个表面上方的位置，以减少和/或消除检测的和/或捕捉的图像中的高镜面反射的量。为了阻止成像单元定位在一个或更多个表面法线上方和/或鼓励成像单元移动而不与一个或更多个表面法线对准，可以提供移开提示至成像单元的操作员和/或运动规划系统。在一些示例中，可以基于成像单元安装在其上的装置臂的一个或更多个动态模型提供移开提示。

在一些实施例中，一个或更多个移开提示可以包括在显示给操作员的图像中添加可视化提示(如箭头)，其建议成像单元的移动方向和/或取向变化。在一些示例中，移动方向可以远离由一个或更多个表面法线指向的位置。在一些示例中，当成像单元位于由一个或更多个表面法线指向的位置中的一个位置附近时，移动提示可以包括远离表面法线的一组受限的方向。在一些示例中，当成像单元与表面法线对齐时，移动提示可以建议远离表面法线的任何方向。在一些示例中，当表面法线可以由位置和/或取向变化避免时，移动提示可以建议成像单元适当旋转以远离表面法线。在一些示例中，可以基于成像单元安装在其上的装置臂的一个或更多个动态模型确定该旋转。

在一些实施例中，一个或更多个移开提示可包括音频提示。在一些示例中，音频提示可以包括如左、右、上、下、离开、旋转等方向。在一些示例中，当多方向声音可用时，移开提示可以提供可以提示操作员朝向或远离声音移动的声音。在一些示例中，当音频提示被成功遵循时，声音强度可以增加或减少。

在一些实施例中，一个或更多个移开提示可以包括在运动规划几何形状中添加一个或更多个移开点和/或线。在一些示例中，可以使用具有排斥场(repulsing field)和/或排斥电荷(repulsing charge)的一个或更多个点或区域实施一个或更多个移开点和/或线。在一些示例中，可以使用一个或更多个虚拟碰撞对象和/或虚拟反馈机制实施一个或更多个移开点和/或线。在一些示例中，一个或更多个移开点可以由相应表面法线指向并基于成像单元的工作距离位于相应表面法线上方的一高度处。在一些示例中，一个或更多个移开点可以由相应表面法线指向并位于成像单元的当前位置附近。在一些示例中，一个或更多个移开线可以与表面法线共线并从该表面延伸通过至少成像单元的高度。

在过程450，提供反馈。在一些实施例中，一个或更多个移开点和/或线可以用来改变成像单元的运动规划。在一些示例中，一个或更多个移开点和/或线可以创建排斥力(repulsing force)和/或扭矩，这可以在成像单元的接头上引起反馈力和/或扭矩。在一些示例中，引起的反馈力或扭矩可以修改从其他运动规划和/或操作员命令运动确定的成像单元的相应接头的力或扭矩。在一些示例中，雅可比转置或类似方法可以用来将排斥力和/或扭矩映射到引起的反馈力或扭矩。在一些示例中，反馈力和/或扭矩还可以通过一个或更多个触觉控制装置反馈至操作员。

方法400可以进一步包括重复过程410-450以周期性估计表面法线并提供移开提示和反馈至操作员和/或运动规划系统。

如上所述且进一步在此强调的，图4仅是示例，其不应当过度限制所要求保护的范围。本领域技术人员将认识到许多变体、替代和修改。在一些实施例中，方法400可以被修改以利用使用运动规划算法相对于目标区域移动成像单元的能力。在一些示例中，使用成像应用程序的操作员或其他系统可以指定体积，成像单元可以在该体积中移动而不干扰目标区域中或其附近的其他装置、物体和/或患者解剖。成像应用程序随后可以在该体积周围移动以收集一系列立体图像。在一些示例中，收集的立体图像可以被分析以确定成像单元的一个或更多个姿态，所述姿态最大量地减少成像单元与目标区域中的表面法线中的每一个的定位和/或对齐。在一些示例中，收集的立体图像可以被分析以预测成像单元的优选姿态以避免目标区域内的选定区域的高镜面反射并且/或者确定由方法200使用的一组优选姿态从而将合成图像与减少的和/或消除的镜面反射拼接在一起。在一些示例中，当目标区域包括移动的物体和/或移动的患者解剖(如，跳动的心脏)时，图像收集可以被定时，使得该系列立体图像大致对应于目标区域中的物体和/或患者解剖的相同位置、相位和/或取向。

处理单元(如，处理单元150)的一些示例可以包括非暂时性的有形机器可读介质，其包括可执行代码，当该代码由一个或更多个处理器(如，处理器160)运行时可使一个或更多个处理器执行方法200和/或400的过程。可以包括方法200和/或400的过程的机器可读介质的一些常见形式为例如软盘、柔性盘、硬盘、磁带、任何其它磁介质、CD-ROM、任何其它光学介质、打孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或匣、和/或处理器或计算机适于从中读取的任何其他介质。

虽然已经示出并描述了例示性实施例，但在前述公开中设想宽范围的修改、改变和替换，并且在一些情况下，在不相应地使用其他特征的情况下，可应用实施例的一些特征。本领域技术人员将认识到许多变体、替代和修改。因此，本发明的范围应当仅由随附权利要求限制，并将理解的是，权利要求被广泛地并以与本文公开的实施例的范围一致的方式解释。

Claims (10)

1.一种成像系统，包括：

照明器，用于提供目标区域上的照明；

检测器，用于检测所述照明的反射；以及

处理单元，其被配置为：

接收包含所述目标区域的第一图像；

基于所述目标区域上的所述照明的所述反射，确定所述第一图像中的第一高镜面反射区域；

通过替代所述第一高镜面反射区域中的默认颜色遮住所述第一图像，以产生遮住的第一图像；并且

基于所述遮住的第一图像和所述目标区域的荧光图像生成合成图像。

2.根据权利要求1所述的成像系统，其中所述处理单元被进一步配置为将与所述第一高镜面反射区域相关联的一个或更多个可视高亮添加到所述合成图像。

3.根据权利要求1所述的成像系统，其中所述第一图像基于第一成像几何形状，并且其中所述处理单元被进一步配置为从所述检测器接收第二图像，所述第二图像包括所述照明的所述反射并且基于与所述第一成像几何形状不同的第二成像几何形状。

4.根据权利要求1所述的成像系统，其中所述处理单元被进一步配置为：

基于所述第一图像和所述处理单元接收的第二图像之间的差异估计所述第一高镜面反射区域中的第一表面法线；并且

基于所估计的第一表面法线提供一个或更多个移开提示。

5.根据权利要求4所述的成像系统，其中提供所述一个或更多个移开提示包括提供移开点至运动规划系统，所述移开点由所述第一表面法线指向。

6.根据权利要求5所述的成像系统，其中所述移开点基于所述成像系统的成像单元的工作距离位于所述第一表面法线上方的一高度处。

7.根据权利要求5所述的成像系统，其中所述移开点位于所述成像系统的成像单元附近。

8.根据权利要求4所述的成像系统，其中提供所述一个或更多个移开提示包括提供移开线至运动规划系统，所述移开线与所述第一表面法线共线。

9.根据权利要求4所述的成像系统，其中所述处理单元被进一步配置为：

将成像单元从第一姿态移动到第二姿态，所述移动将第一成像几何形状改变到第三成像几何形状并且将第二成像几何形状改变到第四成像几何形状；

从所述检测器接收第三图像，所述第三图像包括所述照明的所述反射并且基于所述第三成像几何形状；

从所述检测器接收第四图像，所述第四图像包括所述照明的所述反射并且基于所述第四成像几何形状；

确定所述第三图像和所述第四图像中的第二高镜面反射区域；

基于所述第三图像和所述第四图像之间的差异估计所述第二高镜面反射区域中的第二表面法线；以及

基于所述第一表面法线和所述第二表面法线、所述第一高镜面反射区域和所述第二高镜面反射区域以及所述第一姿态和所述第二姿态，选择使用所述第一图像和所述第二图像或选择使用所述第三图像和所述第四图像。

10.根据权利要求1所述的成像系统，进一步包括：

第二照明器，用于触发一种或更多种荧光材料在所述目标区域中发荧光；以及

第二检测器，用于检测所述荧光材料的发荧光，

其中所述处理单元被进一步配置为生成所述目标区域的所述荧光图像。

Images