CN102076259A

CN102076259A - 用于手术机器人的放大立体可视化

Info

Publication number: CN102076259A
Application number: CN2009801243332A
Authority: CN
Inventors: D·D·斯考特; W·赵; C·J·哈瑟; B·D·霍弗曼; P·E·利拉根; I·M·麦克度威尔; C·J·莫尔; J·D·斯特恩; T·赵
Original assignee: Intuitive Surgical Operations Inc
Current assignee: Intuitive Surgical Operations Inc
Priority date: 2008-04-26
Filing date: 2009-04-09
Publication date: 2011-05-25
Anticipated expiration: 2029-04-09
Also published as: EP2641529A1; US20090268010A1; EP2641531B1; CN102188222A; KR20110018330A; EP3332687A1; KR20190051085A; KR101854189B1; EP2641529B1; EP3332687B1; KR20200020018A; US8803955B2; KR20150082646A; KR102435851B1; WO2009131840A9; US8810631B2; US20180000329A1; US20090268011A1; KR20180131646A; KR20200130873A

Abstract

本发明涉及一种机器人手术系统，其设置和握持内窥镜。可见光成像系统耦合到该内窥镜。该可见光成像系统捕获组织的可见光图像。备用成像系统也耦合到该内窥镜。该备用成像系统捕获该组织至少一部分的荧光图像。立体视频显示系统耦合到该可见光成像系统和备用成像系统。该立体视频显示系统输出实时立体图像，其包含与所捕获的荧光图像关联的荧光图像和可见光图像的融合的三维展示。

Description

用于手术机器人的放大立体可视化

相关申请

本申请要求美国专利申请No.61/048,179(提交于2008年4月26日)、美国专利申请No.12/164,363(提交于2008年6月30日)、美国专利申请No.12/164,976(提交于2008年6月30日)、美国专利申请No.12/165,194(提交于2008年6月30日)、美国专利申请No.12/165,121(提交于2008年6月30日)和美国专利申请No.12/165,189(提交于2008年6月30日)的权益，这些专利申请以引用的方式合并在此。

技术领域

本发明的各方面涉及内窥镜成像，更具体地涉及融合可见光和备用图像(visible and alternate image)以便给外科医生提供增强的实时视频显示。

背景技术

加利福尼亚州Sunnyvale的Intuitive Surgical(直观外科手术)公司制造的da

手术系统是微创遥控机器人手术系统，它给病人带来许多益处，如身体伤疤减少、恢复较快和住院时间较短。da

手术系统的一个关键的构成要素是提供三维(3D)可见光图像的双通道(即，左和右)视频捕获和显示能力，为外科医生提供了立体视图。

此种电子立体成像系统可以向外科医生输出高清晰度视频图像，并可以允许诸如图像缩放(zoom)的功能从而提供“放大”视图，使得外科医生得以识别特殊组织的类型和特性以及以增大的精确度操作。但是，在典型的手术视野(surgical field)中，某些组织的类型很难识别，或者感兴趣的组织可能被其它组织至少部分地遮盖。

发明内容

在一方面，机器人手术系统握持和设置内窥镜。可见光成像系统耦合到该内窥镜。该可见光成像系统捕获组织的可见光图像。备用成像系统也耦合到该内窥镜。该备用成像系统捕获该组织至少一部分的荧光图像。立体视频显示系统耦合到该可见光成像系统和该备用成像系统。该立体视频显示系统输出实时立体图像，该实时立体图像包含与所捕获的荧光图像关联的荧光图像和该可见光图像的融合的三维展示(presentation)。

因而，通过合并立体可见光图像和立体备用成像模态图像，手术机器人的立体视频捕获和查看能力被增强，从而在手术期间实时识别临床感兴趣的组织。

除了外科医生在采用遥控手术系统进行手术操作时正常使用的立体可见光图像以外，本发明的各方面同时还提供了识别临床感兴趣的组织的立体备用模态图像。这种立体可见光和备用图像结合提供了益处，其包括但不局限于，允许外科医生实时为患病组织切除识别阳性肿瘤边缘以及识别神经以便避免切割那些神经。

这种成像结合可以是立体可见光和备用图像的连续覆盖(continuous overlay)，或者该立体备用图像的覆盖可以间歇地切换(toggl on and off)。并且，在一方面，可见光图像和另一荧光图像的实时三维融合仅在该立体图像的一只眼中展示。

在另一方面，该可见光成像系统以第一帧率捕获该可见光图像，而该备用成像系统以第二帧率捕获该荧光图像。第一帧率与第二帧率不同。该备用成像系统通过生成人工荧光图像以第一帧率将荧光图像提供给该立体视频显示系统，从而使该荧光图像与该可见光图像同步。

因而，在一个方面，方法包括从由机器人手术系统的机器人操纵臂握持和设置的内窥镜中捕获组织的可见光图像。这种方法也从该内窥镜中捕获该组织的至少一部分的备用图像。该备用图像包含荧光图像。在这种方法中，将与所捕获的荧光图像关联的另一个荧光图像和该可见光图像的融合以实时立体视频显示输出。

在另一方面，该方法利用与所捕获的荧光图像关联的信息生成第二荧光图像。该第二荧光图像是另一荧光图像。

在又一方面，该方法利用与可见光图像关联的信息生成第二可见光图像。该可见光图像和第二可见光图像包含可见光图像的立体像对。在这个方面，该方法也利用与荧光图像关联的信息生成第二荧光图像。该第二荧光图像是另一个荧光图像。

在一个方面，照射通道由机器人手术系统握持和设置。来自照射通道的光照射组织。立体光通道也由机器人手术系统握持和设置。该立体光通道传输(transport)来自该组织的第一光。另一个光通道也由机器人手术系统握持和设置。这个光通道传输来自该组织的第二光。该立体光通道与另一个光通道不同。

图像捕获系统包括耦合到立体光通道的第一捕获单元。该第一捕获单元从第一光中捕获立体可见光图像。该图像捕获系统也包括耦合到另一个光通道的第二捕获单元。该第二捕获单元从第二光中捕获荧光图像。

智能图像处理系统耦合到该第一捕获单元和该第二捕获单元。该智能图像处理系统接收所捕获的立体可见光图像和所捕获的荧光图像。该智能图像处理系统生成荧光图像立体像对。

放大立体显示系统耦合到该智能图像处理系统和该图像捕获系统。该放大立体显示系统输出实时立体图像，所述实时立体图像包含该立体可见光图像与该荧光图像立体像对的融合的三维展示。

在另一方面，方法包括从由机器人手术系统握持和设置的立体光通路(optical path)中捕获组织的立体可见光图像。这种方法也包括从由机器人手术系统握持和设置的另一个光通道(optical channel)中捕获组织的荧光图像。该立体光通道与另一个光通道不同。

该方法利用来自所捕获的立体可见光图像的信息处理所捕获的荧光图像，从而生成荧光图像立体像对。生成该组织的实时放大立体图像，所述实时放大立体图像包含该立体可见光图像与该荧光图像立体像对的融合的三维展示。

在一个方面，内窥镜由机器人手术系统握持和设置。该内窥镜包括立体光通道，其具有传输来自组织的第一光的第一通道和传输来自组织的第二光的第二通道。

第一捕获单元耦合到该第一通道。该第一捕获单元：从第一光中捕获与荧光左图像结合的可见光左图像的可见光第一颜色分量；从第一光中捕获该可见光左图像的可见光第二颜色分量；和从第一光中捕获该可见光左图像的可见光第三颜色分量。

第二捕获单元耦合到该第二通道。该第二捕获单元：从第二光中捕获与荧光右图像结合的可见光右图像的可见光第一颜色分量；从第二光中捕获该可见光右图像的可见光第二颜色分量；和从第二光中捕获该可见光右图像的可见光第三颜色分量。该两个捕获单元都包括在图像捕获系统中。

放大立体显示系统耦合到该图像捕获系统。该放大立体显示系统输出该组织至少一部分的实时立体图像。该实时立体图像包括包含该可见光左和右图像以及该荧光左和右图像的三维展示。

该第一捕获单元包括棱镜。该棱镜将第一光分成(1)该可见光左图像的可见光第一颜色分量、(2)该可见光左图像的可见光第二颜色分量、(3)该可见光左图像的第三颜色分量，和(4)从该第一、第二和第三颜色分量中分离并去除的第四分量，其具有第一颜色分量的颜色，其中第四分量是荧光左图像。在一个方面，该第二捕获单元包括类似棱镜。

在再一方面，方法从由机器人手术系统握持和设置的内窥镜中的立体光通路中捕获与组织至少一部分的荧光左图像结合的该组织可见光左图像的可见光第一颜色分量。该方法也从该立体光通路中捕获该可见光左图像的可见光第二颜色分量；从该立体光通路中捕获该可见光左图像的可见光第三颜色分量；从由机器人手术系统握持和设置的内窥镜中的立体光通路中捕获与组织至少一部分的荧光右图像结合的该组织可见光右图像的可见光第一颜色分量；从该立体光通路中捕获该可见光右图像的可见光第二颜色分量；和从该立体光通路中捕获该可见光右图像的可见光第三颜色分量。

该方法生成了该组织的实时放大立体图像。该实时放大立体图像包括包含可见光左和右图像及荧光左和右图像的三维展示。

这种方法利用棱镜将来自立体光通路的光分成(1)该可见光第一颜色分量、(2)该可见光第二颜色分量、(3)该可见光第三颜色分量，和(4)从该第一、第二和第三颜色分量中分离并去除的第四分量，其具有第一颜色分量的颜色。该第四分量是荧光图像。

在一个方面，内窥镜也由机器人手术系统握持和设置。该内窥镜包括传输来自组织的光的立体光通道。捕获单元耦合到该立体光通道。该捕获单元从该光中捕获(1)可见光第一图像和(2)与荧光第二图像结合的可见光第二图像。该第一图像是左图像和右图像中的一个。该第二图像是左图像和右图像中的另一个。

智能图像处理系统耦合到该捕获单元，从而接收(1)可见光第一图像和(2)与荧光第二图像结合的可见光第二图像。该智能图像处理系统可以生成荧光图像立体像对的至少一个荧光图像，和可见光第二图像。

放大立体显示系统耦合到该智能图像处理系统和该图像捕获系统。该放大立体显示系统输出包括三维展示的实时立体图像。该三维展示包括在一只眼中荧光图像立体像对的至少一个荧光图像与可见光第一和第二图像中的一个的融合，和在另一只眼中可见光第一和第二图像中的另一个。

在又一个方面，方法从由机器人手术系统握持和设置的内窥镜中的立体光通路中捕获该组织的可见光第一图像。该方法也从由机器人手术系统握持和设置的内窥镜中的立体光通路中捕获与该组织的荧光第二图像结合的可见光第二图像。该第一图像是该左图像和该右图像中的一个。该第二图像是该左图像和该右图像中的另一个。

该方法处理该可见光第一图像和与该荧光第二图像结合的可见光第二图像，从而生成荧光图像立体像对的至少一个荧光图像，和可见光第二图像。生成包含三维展示的实时立体图像。该三维展示包括：在一只眼中荧光图像立体像对的至少一个荧光图像与该可见光第一和第二图像中的一个的融合，和在另一只眼中可见光第一和第二图像中的另一个。

在一个方面，内窥镜还由机器人手术系统握持和设置。该内窥镜包括传输来自组织的光的立体光通道。捕获单元耦合到该立体光通道。

该捕获单元(1)在第一时间从该光中捕获第一图像，并且(2)在不同于第一时间的第二时间从该光中捕获第二图像。该第一图像和第二图像中仅有一个包括荧光图像与可见光图像的结合。该第一图像和第二图像中的另一个是可见光图像。

智能图像处理系统耦合到该捕获单元。该智能图像处理系统利用所捕获的荧光图像生成人工荧光图像。放大立体显示系统耦合到该智能图像处理系统。该放大立体显示系统输出包含人工荧光图像的该组织至少一部分的放大立体图像。

在一个方面，该荧光图像包括荧光左图像和荧光右图像。该第一图像包含图像的立体像对，其包括：与荧光左图像结合的可见光左图像，和与荧光右图像结合的可见光右图像。该机器人手术系统利用该荧光左和右图像生成第二时间的荧光图像的人工立体像对，以便该荧光图像的人工立体像对为人工荧光图像。该智能图像处理系统也包括使该第一图像和第二图像配准的时间图像配准。

在另一方面，该第一图像包括可见光图像，该可见光图像又包括可见光第一颜色分量、可见光第二颜色分量和可见光第三颜色分量。该第二图像包括与荧光图像结合的可见光图像，其包括：与荧光图像结合的可见光第一颜色分量、可见光第二颜色分量和可见光第三颜色分量。该智能图像处理系统进一步包含荧光图像和伪影生成器(artifact generator)，用于生成(1)可见光第二和第三颜色分量的伪影，和(2)荧光图像加可见光第一颜色分量的伪影。

在这个方面，该智能图像处理系统还包括耦合到该荧光图像和伪影生成器的荧光图像提取器(extractor)。该荧光图像提取器生成第二时间的第一荧光图像。荧光图像增强系统耦合到该荧光图像生成器。该荧光图像增强系统接收该第一荧光图像并生成人工荧光图像。

在再一个方面，方法包括在第一时间从在第一时间由机器人手术系统握持和设置的内窥镜中的立体光通路的光中捕获第一图像，其中该光来自组织。这个方法也包括在不同于第一时间的第二时间从该光中捕获第二图像，其中该第一图像和第二图像中仅有一个包括荧光图像和可见光图像的结合，该第一图像和第二图像中的另一个是可见光图像。人工荧光图像利用所捕获的荧光图像生成。还生成该组织至少一部分的放大立体图像，其包括人工荧光图像。

附图说明

图1是用于微创手术机器人的放大立体可视化系统的简图。

图2是利用例如图1中用于微创手术机器人的放大立体可视化系统执行的过程的过程流程图。

图3A是示出利用两个独立光通路(但荧光成像有一个摄像机单元)的硬件和软件(图像处理和用户界面)方面的示意图，该硬件和软件方面在微创手术机器人系统中用于捕获、处理和输出融合的实时立体可见光和荧光图像。

图3B是示出内窥镜的更详细的视图，该内窥镜具有两个独立光通路和耦合到每个光通路的独立摄像机单元。

图3C示出连接到光纤电缆的组合照射源的一个方面。

图3D示出空间图像配准系统的一个方面。

图3E是示出利用两个独立光通路和立体摄像机的硬件和软件(图像处理和用户界面)方面的替换示意图，该硬件和软件方面在微创手术机器人系统中用于捕获、处理和输出融合的实时立体可见光和荧光图像。

图4是利用例如图3A中用于微创手术机器人的放大立体可视化系统执行的过程的过程流程图。

图5A是示出利用具有独立摄像机的单个立体光通路的硬件和软件(图像处理和用户界面)方面的示意图，该硬件和软件方面在微创手术机器人系统中用于捕获、处理和输出融合的立体实时可见光和荧光图像。

图5B是示出内窥镜的更详细的视图，该内窥镜具有耦合到它的两个独立摄像机单元。

图5C～5D和图5G示出组合光源的方面和用于传输来自该组合光源的光的一个光纤束或多个光纤束的方面。

图5F示出从组织中分离可见光和荧光图像的一个方面。

图6是利用例如图5A中用于微创手术机器人的放大立体可视化系统执行的过程的过程流程图。

图7A是利用具有单个立体光通路的通道划分(channel division)的硬件和软件(图像处理和用户界面)方面的示意图，该硬件和软件方面在微创手术机器人系统中用于捕获、处理和输出融合的实时立体可见光和荧光图像。

图7B是示出内窥镜的更详细的视图，该内窥镜具有耦合到它的单个摄像机单元。

图8是利用例如图7A中用于微创手术机器人的放大立体可视化系统执行的过程的过程流程图。

图9A和图9B是示出利用具有单个立体光通路的时分(time division)的硬件和软件(图像处理和用户界面)方面的示意图，该硬件和软件方面在微创手术机器人系统中用于捕获、处理和输出融合的立体可见光和荧光图像。

图9C示出图9A和图9B中系统的定时、同步和捕获的一个方面。

图9D是示出利用具有单个立体光通路的时分(time division)的硬件和软件(图像处理和用户界面)方面的示意图，该硬件和软件方面在微创手术机器人系统中用于捕获，替换地处理和输出融合的立体可见光和荧光图像。

图9E是示出智能图像处理系统的替换方面的示意图。

图10A是利用例如图9A中用于微创手术机器人的放大立体可视化系统执行的过程的过程流程图。

图10B示出利用图10A的过程产生的定时、同步、捕获和人工荧光帧的方面。

图11A示出利用时分以及利用单个立体光通路捕获具有可见光颜色分量之一的荧光图像、在微创手术机器人系统中处理和输出融合的立体可见光和荧光图像的硬件和软件方面。

图11B示出图11A中系统的定时、同步和捕获的一方面。

图12是图11A中智能图像处理系统的一个方面的过程流程图。

图13A是示出利用单个立体光通路、在微创手术机器人系统中用具有改进型棱镜(modified prism)的摄像机单元捕获、处理和输出实时立体可见光和荧光图像的硬件和软件(图像处理和用户界面)方面的示意图。

图13B示出来自棱镜的光谱，该棱镜将来自组织的可见光和荧光分成可见光图像的第一颜色分量、可见光图像的第二颜色分量、可见光图像的第三颜色分量和从第一、第二和第三颜色分量分离和去除的第四分量，其中第四分量具有颜色分量之一的颜色。

图14是利用例如图13A中用于微创手术机器人的放大立体可视化系统执行的过程的过程流程图。

图15示出利用具有1-芯片CCD传感器的立体内窥镜的在微创手术机器人的放大立体可视化系统中时间和通道划分的定时、同步和捕获的一个方面。

在图中，单位数图号的图号中第一个数字和双位数图号的图号中前两个数字表示其中具有那个图号的元件第一次出现的图。

具体实施方式

如本文使用的，“机器人”应在广义上解读，其包括遥控机器人系统。

如本文使用的，电子立体成像包括两个成像通道(即，左图像和右图像的通道)的使用。

如本文使用的，立体光通路包括用于传输来自组织的光的内窥镜中的两个通道(例如，左图像和右图像的通道)。在每个通道中传输的光表示该组织的不同视图，所以有时称为第一光和第二光，用以区分该两个通道中的光。该光可以包括一个或多个图像。

如本文使用的，照射通路包括向组织提供照射的内窥镜中的通路。

如本文使用的，在可见光谱内捕获的图像称为可见光图像。

如本文使用的，以备用成像模态捕获的不包括可见光图像的图像称为备用图像。备用成像模态的示例是捕获组织荧光的图像。

如本文使用的，因为荧光而被捕获的图像在本文称为荧光图像。存在多种荧光成像模态。荧光可以利用例如可注射染料、荧光蛋白或荧光标记抗体生成。荧光可以由例如激光或其它能源的激发引起。荧光图像可以提供对手术至关重要的病人体内重要信息，如病理信息(例如，发荧光肿瘤)或解剖信息(例如，发荧光的示踪神经)。

如本文使用的，长通滤波器让高于波长数的所有波长通过。例如，510nm长通滤波器让高于510nm的所有波长通过该滤波器。典型地，长通滤波器在荧光中用作屏障滤波器。长通滤波器有时用来使荧光通过该滤波器而不让激发光通过。

如本文使用的，短通滤波器让波长低于该滤波器波长的光通过该滤波器。例如，480nm短通滤波器让波长低于480nm(小于480nm)的光通过该滤波器。短通滤波器有时用作荧光的激发滤波器。

如本文使用的，带通滤波器仅允许一组波长通过。该波长数称为带通滤波器的中心波长。该中心波长是允许在将通过该滤波器的波长范围内的大部分光通过的波长。这常常是该滤波器的中心波长。带通滤波器由中心波长和通带或宽度评定(rate)。

本发明的各方面可以放大手术机器人(例如加利福尼亚州Sunnywale的Intuitive Surgical公司制造的da

手术机器人系统)的立体视图捕获和查看能力，其通过合并立体可见光图像和立体备用成像模态图像实现，从而在手术期间实时识别临床感兴趣的组织。(da

是加利福尼亚州Sunnywale的Intuitive Surgical公司的注册商标)。

除了外科医生在采用遥控手术系统进行手术操作时正常使用的立体可见光图像以外，本发明各方面同时还提供了识别临床感兴趣的组织的立体备用模态图像。立体可见光图像和备用图像的这种结合提供了这种益处，其包括但不限于，允许外科医生实时为患病组织切除识别阳性肿瘤边缘和识别神经以避免切割那些神经。

这种成像结合可以是立体可见光图像和备用图像的连续覆盖(overlay)，或者该立体备用图像的覆盖可以间歇地切换(例如，通过使用脚踏板或通过双击da

手术系统外科医生控制台上的主控指状抓取器(master finger grip))。

图1是一个包括放大立体可视化系统100的机器人手术系统，例如da

手术系统的高级简图。在这个示例中，外科医生利用外科医生控制台114，使用机器人操纵臂113远程操纵内窥镜112。还有与da

手术系统关联的其它零件、电缆等，但为了避免削弱本公开，所以未将它们示出在图1中。

如下面更完整地解释，照射系统(未示出)耦合到内窥镜112。典型地，该照射系统提供白色光和至少一种荧光激发光。这种光的全部或部分通过光纤束耦合到内窥镜112中的至少一个照射通路中。该光通过内窥镜112中的至少一个照射通路并照射病人111的组织103。在一方面，内窥镜112还包括使来自该组织的光，例如反射的白色光和荧光通过的两个光通道。该反射的白色光是可见光图像，而该荧光是荧光图像。

从组织103反射的白色光作为可见光立体图像121被捕获在图像捕获系统120中。类似地，一个荧光图像或多个荧光图像122也被捕获在图像捕获硬件120中。如下面更完整地解释，立体显示所需的各种图像的捕获有多种方式。典型地，图像捕获硬件120包括至少一个摄像机，该摄像机包括电荷耦合器件(CCD)传感器。图像的捕获同时或几乎同时发生在图像捕获系统120中。

在一方面，智能图像处理系统130与图像捕获系统120配合运行，从而从由光通道提供的信息中提取荧光图像。例如，考虑用于激发荧光的激光频率，滤波处理和光谱均衡器(spectrum balancer)一起工作从而补偿在去除荧光图像的过程中可见光图像的任何退化(degradation)。

并且，处理所捕获的图像以便随后在智能成像处理系统130中立体显示。例如，当利用具有固定关系的独立光通道将荧光图像和反射的白色光图像传输到智能图像处理系统130中时，可以基于独立光通道的固定相对位置采用一步校准。

智能图像处理系统130适当时也执行(多个)荧光图像与可见光图像的空间图像配准。该空间图像配准允许该荧光图像在放大立体显示系统140中适当覆盖。

在另一方面，智能图像处理系统130执行左通道和右通道可见光图像的立体匹配。在又一个方面，智能图像处理生成人工可见光和/或荧光图像，以便可以向外科医生展示放大的立体显示。

因而，对于采用具有放大的立体可视化系统100的手术机器人系统执行微创手术的外科医生，组织103在照射组织过程201中被照射(图2)从而允许捕获可见光图像和备用图像(如荧光图像)。

技术人员应理解，当组织本身受特定波长的光激发时，或者替换地当附加到组织103上的组织特异性荧光团受到特定波长的光激发时，荧光可以自然发生。因而，本文描述的荧光图像可以通过任一技术获得。技术人员也应理解，一些荧光团放出可见光谱内的能量，而其他荧光团放出可见光谱范围之外的能量(例如，在约830nm处的)。

本发明的方面包括，在照射组织的过程201中利用可见光图像用的宽光谱白色光源和备用图像用的另一种光源照射组织。例如，激发组织特异性荧光团的窄带光(narrow band light)可以用作备用图像用的光源。

对于荧光备用图像，如果激发波长存在于可见光谱内，则白色光可以起作用从而激发荧光团。如果激发波长存在于可见光谱范围之外(例如，在近红外(IR)中)或如果该可见光谱内的波长处需要另外的激发能量，则在照射组织过程201中使用激光模块(或其它能源，例如发光二极管或过滤的白色光)同时照射该组织。这种同时照射可以各种方式完成，如下面更完整地讨论。

在预处理来自组织的光的过程202中限定(condition)来自组织103的反射和发射光。例如，过滤该光从而增强立体视频显示中的图像对比。如果该反射和发射光包括在单个光通道中，则预处理来自组织的光的过程202将该光分成反射光和放射光。

预处理来自组织的光的过程202是可选的，并且在某些方面可以不采用它。因而，来自组织103的预处理光或来自组织103的原始光通过捕获图像的过程203。

预处理来自组织的光的过程202的输出作为可见光图像和(多个)备用图像被捕获在捕获图像的过程203中。参见例如上述图像捕获系统120。

智能处理204对所捕获图像执行必要过程，从而提供立体显示用的整组可见光和荧光图像。

在生成组织立体视频显示的过程205中，该组可见光和荧光图像按需要融合从而生成该组织的三维展示。该三维展示排除了现有技术中有关组织相对于内窥镜变化的距离和几何结构的问题。特别地，具有备用图像和/或可见光图像的组织实时立体显示提供了该组织的准确三维视图，外科医生可以用其确定手术范围，例如患病组织位置、神经或其它器官等的位置。

来自组织的两个独立光通路

在图3A的实施例中，机器人手术系统(未示出)包括两个独立而且不同的光通路，用于将来自组织303的光传输到放大立体视觉系统300中。来自两个光通路的光用来生成组织303的实时立体视频显示以供外科医生操作机器人手术系统。

在一方面，该立体视频显示包括用一个或多个备用图像放大的组织303的正常三维视图，从而突出(highlight)组织中感兴趣的区域(如组织303的患病部分)和/或特定组织(如不同于被操作部分的神经或器官)。典型地，备用图像以特定色彩，例如蓝色展示。

在这个示例中，示出两个独立的内窥镜301、302，其提供了立体光通路和从组织303到硬件320的至少一个其它光通路。内窥镜302包括构成立体光通路的两个光通道，而内窥镜301包括至少一个光通道。或者，所有光通道都可以在单个内窥镜中。因此，图3A的各方面仅是说明性的而不是要将这个实施例局限于所示出的特定方面。

在这个示例中，内窥镜301和302各自包括用于把来自组合光源310的光提供给组织303的照射通路。或者，可以利用单个照射通路来将该光提供给组织303。虽然未示出，但是在一方面，内窥镜301和302各自通过机器人手术系统以固定关系握持和移动。例如，参见图1。可替换地，可以利用不同的机器人手臂分别握持和移动该两个内窥镜。在这个方面，来自机器人手臂的实时运动学信息(kinematic information)用于对准该两个内窥镜。

在这个示例中，放大立体视觉系统300包括组合光源310、硬件320和多个基于计算机的方法390。如图3A所示，硬件320的一部分构成图像捕获系统120A。硬件320的另一部分和多个基于计算机的方法390的一部分构成智能图像处理系统130A。硬件320的又一部分和多个基于计算机的方法390的另一部分构成放大立体显示系统140A。在图像捕获系统120A和智能图像处理系统130A内，处理可见光图像的部分构成可见光成像系统，而处理荧光图像的部分构成备用成像系统。

并且，在一方面，图4的方法400可以利用放大立体视觉系统300实施。如图4所示，方法400包括多个单独的过程。方法400是方法200的一种实施方式(图2)。

在一个方面，硬件320包括至少两个摄像机单元331、332(图3B)。一个摄像机单元332包括两个3-芯片电荷耦合器件(CCD)高分辨率摄像机，而另一个摄像机单元331包括1-芯片CCD摄像机。

在这个方面，摄像机单元331通过包括滤波器的滤波块(filter block)333耦合到内窥镜301，如下面针对预处理来自内窥镜301的光的更完整的描述。类似地，摄像机单元332通过包括滤波器的滤波块334耦合到内窥镜302，如下面针对预处理来自内窥镜302的光的更完整的描述。在另一方面，滤波器可以合并在摄像机单元中或替换地可以不被使用。硬件320还包括执行下面更完整地描述的功能的硬件电路。多个基于计算机的方法390是例如在计算机处理器上执行的软件。

技术人员应理解，基于计算机的方法也可以仅利用硬件实施、部分用硬件和部分用可执行计算机代码实施，或全部用可执行计算机代码实施。类似地，本文描述的硬件也可以以基于计算机的方法或硬件与基于计算机的方法的结合形式实现。因此，本文使用的关于硬件和基于计算机的方法的特征仅为说明性的而不限制于描述的具体方面。

两个单独光通路-照射

组合光源310、310A(图3A和图3C)包括白色光源312A和另一种光源311A。组合光源310结合内窥镜中的照射通路使用从而执行照射组织过程201A(图4)。白色光源312A提供照射组织303的白色光，例如第一光。另一种光源311提供激发组织303的备用图像的光，例如第二光。例如，来自光源311A的窄带光用来激发组织特异性荧光团以便该备用图像是组织303内特殊组织的荧光图像。

对于备用图像为荧光图像的情况，如果该荧光激发波长存在于可见光谱内，则白色光源312A(图3B)可以用作白色光源和用作激发荧光团的光源。如果该荧光激发波长存在于可见光谱范围之外(例如，在近红外(IR)中)或如果可见光谱内的波长处需要另外的激发能量，则使用激光模块317(或其它能源，如发光二极管或过滤的白色光)同时照射组织303。

因而，在一方面，荧光由来自激光模块317的光触发。例如，从Medarex公司获得的抗体剂利用525nm(纳米)激光激发。

根据使用的荧光团或多个荧光团，为组合光源310A选择特定备用光源。各种FDA批准体内使用的荧光染料的最大激发和发射波长在表1中给出。

表1

荧光染料	最大激发波长(nm)	最大发射波长(nm)
			荧光素(Fluorscein)	494	521
吲哚花青绿	810	830
			靛蓝胭脂红	在碱性溶液中为436	在碱性溶液中为528
亚甲蓝	664	682

表2给出用于生物系统中的常见蛋白荧光团示例。

表2

荧光蛋白/荧光团	最大激发波长(nm)	最大发射波长(nm)
			GFP	489	508
YFP	514	527
			DsRed(RFP)	558	583
FITC	494^**	518^**
			德克萨斯红(Texas red)	595^**	615^**
Cy5	650^**	670^**
			Alexa Fluor 568	578^**	603^**
Alexa Fluor 647	650^**	668^**
			Hoechst 33258	346	460

topRO-3

642

661

^**接近缀合物的最大激发和荧光发射波长。

本领域技术人员应理解，荧光团可以结合到药剂上，该药剂又结合到病人特定组织上。因此，当选择特定荧光团时，组合光源310A包括可以提供对于那种荧光团具有最大激发波长的光的光源。因而，对于感兴趣的荧光团或多种荧光团，适当光源可以包括在组合光源310、310A中。

表1和表2中的上面示例仅是说明性的而不是要将这个方面限制于给出的特定示例。对于本公开，可以选择该组织的备用成像特性，然后可以基于所利用的荧光或其它备用成像特性选择适当的光源。

在一方面，组合光源310A(图3C)的白色光源312A使用氙气灯314，其具有(1)椭圆形背部反射体314A和(2)长通紫外(W)滤波器涂层314B，用于创建可见光图像用的宽带白色照射光。氙气灯的使用仅是说明性的而非限制的。例如，还可以使用高压汞弧灯、其它弧灯或其它宽带光源。

带通滤波器318从白照射光中去除预期的荧光发射波长。这可以增加荧光图像的对比。阻止该(多个)荧光图像捕获芯片被来自该荧光波长处的整个组织的反射光饱和。

来自滤波器318的过滤的白光直接进入光纤束316。类似地，来自激光模块317的光直接进入光纤束315。如图3A所示，光纤束315和316是两个独立而且不同的光纤束。但在另一方面，光纤束315和316可以是常见光纤束中不同组的纤维。

两个独立光通路-图像捕获系统120A

来自组织303(图3A)的可见光图像是从内窥镜302中的一个立体光通路中获得的，而荧光图像是从内窥镜301中的独立的单视场(monoscopic)或立体光通路中获得的。如上所述，虽然图3A中单独光通路示出在两个独立内窥镜中，但是该单独光通路也可以在单个内窥镜中。如下所述，使用两个独立光通路的优点是光效率，因为没有因使用分束的方面造成的损失。

来自内窥镜302立体光通路的光，例如第一光，通过荧光激发和荧光滤波器334A从而去除该荧光激发波长和荧光，剩下可见光左和右图像。这有助于增强可见光立体图像和荧光图像之间的对比并且有助于提高可见光图像质量。

来自荧光激发和荧光滤波器334A过滤的可见光图像作为可见光左图像336被捕获在左CCD 332A中并且作为可见光右图像338被捕获在右CCD 332B中。左CCD 332A捕获可见光左图像336的红色、绿色和蓝色图像。类似地，右CCD 332B捕获可见光右图像338的红色、绿色和蓝色图像。左CCD 332A和右CCD 332B可以是多CCD，其中每个CCD捕获不同的颜色分量；可以是单CCD，其中该CCD的不同区域捕获特定颜色分量，等。

而且，本文使用的单色电荷耦合器件(CCD)仅是说明性的。还可以使用增强型电荷耦合器件(ICCD)、电荷注入器件(CID)、电荷调制器件(CMD)、互补金属氧化物半导体图像传感器(CMOS)或电子束电荷耦合器件(EBCCD)类形的传感器代替单色CCD。类似地，在此，3-芯片CCD传感器也是说明性的，还可以使用彩色CMOS图像传感器或三CMOS彩色图像传感器组件。这些注释应用于本文描述的各种1-芯片CCD传感器和3-芯片传感器中，所以不对本文描述的此种传感器的每个方面重述。

来自内窥镜301的光通路的光通过荧光带通滤波器333A从而去除所有可见光波长但荧光图像除外。来自荧光带通滤波器333A的荧光图像335被捕获在CCD 331A中，该CCD 331A在一方面是单CCD传感器。

在这个方面，滤波器333A和334A执行预处理来自组织的光的操作202A(图4)。捕获图像过程203A通过在如刚描述的CCD中捕获各种图像执行。

两个单独光通路-智能图像处理系统130A

因为所捕获的可见光和荧光图像来源于不同位置处的光通路，所以利用图像处理方法使所捕获的图像对准。在这个示例中，一般在正常设置下使用摄像机单元之前，将所捕获的图像(一般为可见光图像)提供给单步校准391。如果该两个光通路之间的物理关系是恒定的，则在正常使用之前一旦在单步校准391中完成图像对准，该对准信息将应用到所有所捕获的图像(固定关系或“单步”校准)中。单步校准391可以确定使来自该两个光通路的图像达到同轴度(proper alignment)所必需的位移。

在单步校准391的一个方面，至少要考虑两个因素：

1)每个内窥镜和摄像机的内在校准(intrinsic calibration)，这对成像的几何结构方面很重要，例如a)焦距、b)光心和c)透镜畸变参数；和

2)两个光通路的相对位置和取向。

用于此种校准的基于计算机的方法可以涉及利用该两个内窥镜和关联的摄像机单元来捕获校准式样的图像，例如棋盘式样(checker-board pattern)的图像。只要光通路之间的关系保持固定，这个校准都是有效的。在这个方面，单步校准391(图3A)是智能成像过程204A内的校准过程405(图4)。

单步校准391的结果供给到配准过程406(图4)的空间图像配准392(图3A)中。空间图像配准392也接收所捕获的图像335、336和338中的每个作为输入。简言之，空间图像配准使从不同视角获取的图像配准，以便基于该配准结果的两个图像中任何两个对应像素涉及世界中同一场景点。

空间图像配准392的一个方面示出在图3D中。表3给出有时用在空间图像配准392中的图像模态。

表3

在空间图像配准392A(图3D)中，所捕获的图像中的两个，例如可见光图像之一和荧光图像作为图像1输入到预处理370中和作为图像2输入到预处理371中。根据使该可见光与荧光匹配的特征，预处理370、371生成适当信息。例如，对于梯度图像，生成原始图像沿着X和Y方向的梯度。类似地，图像特征通过预处理原始图像获得。可以利用许多图像特征，例如局部区域中图像亮度(intensity)的直方图。

预处理370、371的结果供给到匹配过程372。有许多可供匹配过程372利用的方法。匹配的第一示例是梯度图像的归一化互相关性，其是利用在围绕位置(x，y)处像素的小区域中的所有像素计算的。另一个示例是基于匹配的交互信息，其中输入信息为亮度直方图(intensity histogram)。

匹配过程372的输出是在将(x，y)处像素从一个输入图像移动到另一个输入图像之后给出最佳匹配得分的位移(dx，dy)。如果为输入图像中的所有像素都生成位移(dx，dy)，则该结果称为由dx(x，y)和dy(x，y)两种图像组成的视差图(disparity map)。

在这个方面，荧光图像335与可见光左图像336在空间配准392中配准，荧光图像335有时称为所捕获的荧光图像335或存储的荧光图像335，可见光左图像336有时称为所捕获的可见光左图像336或存储的可见光左图像336。或者，可以首先配准两个可见光图像336和338，然后再对荧光图像335进行配准。类似地，荧光图像335与可见光右图像338在空间配准392中配准，可见光右图像338有时称为所捕获的可见光右图像338或存储的可见光右图像338。一般地，在此，CCD中显示的图像有时称为所捕获的图像或所存储图像。

图像扭曲器/卷绕器(image warper)340可利用空间图像配准392的结果。图像扭曲器340也接收所捕获的荧光图像335作为输入。利用空间图像配准信息，图像扭曲器340将所捕获的荧光图像335转化成立体荧光对(fluorescence pair)，例如，用于生成荧光图像立体显示的人工荧光左图像341和人工荧光右图像342。在此，人工用来指通过硬件、软件或两者结合生成并与所捕获图像形成对比的图像。

具体地，图像扭曲器340利用荧光图像335与可见光左图像336的配准将荧光图像335扭曲/卷绕(warp)成荧光左图像341。类似地，图像扭曲器340利用荧光图像335与可见光右图像338的配准从而将荧光图像335扭曲成荧光右图像342。因而，图像扭曲器340执行生成立体荧光图像的过程407(图4)。应注意，虽然这种描述必须是线性的并描述了通过该处理的单程(single pass)，但是该过程是实时发生的且各种图像不断更新从而反映经由内窥镜301、302观察的组织303的当前状态。

两个独立光通路-放大立体显示系统140A

在一个方面，放大立体视频输出显示可以操作在各种模式。例如，在第一模式中，仅向外科医生输出立体可见光图像，如在da

手术系统中。在第二模式中，荧光图像被叠加在可见光图像上从而创建放大图像，并向外科医生输出该立体放大图像。

通过使用例如脚踏开关、双击控制手术器械的主控抓取器、语音控制和其它相似的转换方法，该视频输出可以在这两个模式之间切换。用于在该两个模式之间转换的切换器(toggle)在图3A中表示为显示模式选择360。

响应于用户输入420(图4)，来自显示模式选择360(图3A)的信号被提供给用户界面393中的显示模式检查操作408，用户界面393又将控制信号提供给融合电路351和融合电路352。如果外科医生仅选择可见光，则可见光左图像336和可见光右图像338在生成组织立体视频显示的过程205A中经由可见光图像立体显示过程411(图4)展示在立体显示350中。在一方面，智能图像处理系统130可以包括类似于图5A中示出的那些的光谱均衡器，从而分别对提供给融合电路351和融合电路352的可见光左和右图像进行色彩平衡。

如果外科医生在融合过程409中选择可见光加荧光，则融合电路351融合荧光左图像341和可见光左图像336，而融合电路352融合荧光右图像342和可见光右图像338。不同的图像融合选项，例如α融合，可以在融合电路351、352中实施。融合电路351、352的输出经由可见光和荧光图像立体显示过程410(图4)展示在立体显示350中。

因为荧光图像341、342展现出医疗感兴趣的组织，所以可以对荧光图像341、342进行处理从而增强外科医生的视频显示展示。这种处理产生人工荧光图像。例如，可用已知方法对荧光图像中的发荧光区域进行人工着色(伪彩色处理)。当该人工荧光图像与可见光视频图像融合时，此时外科医生可以在该可见光图像中看到与周围组织有着高度对比的发荧光组织(例如，人工制作的亮绿色)。再次，可以利用不同的图像融合选项，例如伪彩色荧光图像与可见光图像的α融合。

在增强荧光图像的另一方面，可用已知方法围绕荧光区域安置高度可见的边界(highly visible border)。发荧光组织经常与外科医生进行或不进行的决定(例如去除或不去除)相关联，所以该高度可见的边缘是有帮助的。

在增强荧光图像的又一方面，对原始荧光图像数据335进行局部直方图均衡化。在展现发荧光组织的荧光图像的部分周围识别一个或多个局部区域，以代替为全部荧光图像帧执行直方图均衡化。对该一个或多个局部区域进行直方图均衡化，从而均衡该增强荧光图像中的光暗荧光外观。此种图像增强也对空间图像配准有帮助。

进一步地，可将该荧光图像人工地维持在向外科医生输出的视频中。例如，可以在注射剂不再发荧光之后维持该荧光图像以便外科医生仍可以看到该发荧光区域。

由握持内窥镜或多种内窥镜的机器人手术系统提供的稳定平台有利于所捕获的荧光图像的实时处理，因为不像手持内窥镜，不必补偿手引导的内窥镜引起的内窥镜或多种内窥镜的不稳定性，该不稳定性典型地导致荧光图像模糊。另外，相对于手持内窥镜较锐利的(sharper)荧光图像有利于所捕获的荧光图像的增强处理。

两个独立光通路-多个荧光图像

在使用两个独立光通路的另一个方面，多个荧光图像可以利用放大立体视觉系统300A(图3E)捕获。系统300A与系统300类似，所以在此仅描述不同点。具有相同标识号的元件是相同或等效元件。

在图3E的实施例中，机器人手术系统(未示出)包括两个独立而且不同的立体光通路，用于将来自组织303A的光传输到放大立体视觉系统300A。来自该两个光通路的光用来生成组织303的实时立体视频显示以供外科医生操作机器人手术系统。该立体视频显示包括用两个备用图像放大的组织303的正常三维视图，从而突出组织303A中的感兴趣区域(如组织303A的患病部分)和组织303A中的其它组织(如神经或器官)。典型地，该备用图像各自以不同的特定颜色展示，不同的特定颜色一般与立体视频显示中正常看到的颜色形成对比。

再次在这个示例中，示出两个独立内窥镜301A、302，其提供了从组织303A到硬件320A的两个不同的立体光通路。内窥镜302具有两个光通道，并且内窥镜301A具有两个光通道。内窥镜301A中的两个光通道用于捕获两个不同的荧光图像，荧光图像1和荧光图像2。为了方便，选取与图3A中的荧光图像相同的荧光图像1，并且选取与图3A中的可见光图像相同的可见光图像。在这个方面，摄像机单元331包括至少一个二芯片CCD摄像机。

因而，上面元件333A、331A、335、340、341和342的描述以引用的方式合并在此。类似地，上面元件334A、332A、336、332B和338的描述以引用的方式合并在此。

在这个示例中，放大立体视觉系统300A包括组合源照射系统310C、硬件320A和多个基于计算机的方法390A。如图3E所示，硬件320A的一部分构成图像捕获系统120B。硬件320A的另一部分和多个基于计算机的方法390A的一部分构成智能图像处理系统130B。硬件320A的又一部分和多个基于计算机的方法390A的另一部分构成放大立体显示系统140B。

组合光源310C包括白色光源312和两个其它光源311A和311B。白色光源312与光源312A(图3C)类似，但除了滤波器318之外，另一个滤波器也为荧光图像2去除来自白色照射光的预期的荧光发射波长。

第二光源311A提供激发荧光图像1的光，而第三光源311B提供激发荧光图像2的光。对于本公开，可以基于用于两个不同荧光图像的荧光特性选择适当的光源。

在图3E示出的方面，一个光纤束316使来自白色光源312的光耦合(couple)到内窥镜302中的照射通路。光纤束315A使来自第二光源311A的光和来自第三光源311B的光耦合到内窥镜中的照射通路315A。具体地，光纤束315A内的第一组纤维使来自第二光源311A的光耦合到内窥镜301A中的第一照射通路，并且光纤束315A内的第二组纤维使来自第三光源311B的光耦合到内窥镜301A中的第二照射通路。

这个方面仅是说明性的而不是作为限制。例如，如果两个照射通路在单个内窥镜中，则诸如具有光纤束514A(图5G)的组合光源510D的组合光源可以代替组合光源310C使用。

因为所捕获的可见光图像和该两个荧光图像都来源于不同位置处的光通路，所以所捕获的图像可以利用图像处理方法对准。在这个示例中，所捕获的图像被提供到单步校准391A。再次，如果该两个立体光通路之间的物理关系是恒定的，则一旦在单步校准391A中完成图像对准，该对准信息则被应用到所有所捕获的图像(固定关系或“单步”校准)。单步校准391A中的过程等效于上面针对荧光图像中的每个描述的过程。

单步校准391A的结果被供给到配准过程406(图4)的空间图像配准392A(图3A)。空间图像配准392A也接收所捕获的图像335、335A、336和338中的每个作为输入。也对该荧光图像中的每个完成上面针对图3D描述的预处理和匹配。图像扭曲器340、340A可以利用空间图像配准392的结果。

再次，在一方面，该放大立体视频输出显示可以各种模式操作。例如，在第一模式中，仅向外科医生输出立体可见光图像，如在da

手术系统中。在第二模式中，用于荧光图像1的荧光图像被叠加在可见光图像上从而创建放大图像，并且向外科医生输出该立体放大图像。在第三模式中，用于荧光图像2的荧光图像被叠加在可见光图像上从而创建放大图像，并向外科医生输出该立体放大图像。在第四模式中，用于荧光图像1的荧光图像和用于荧光图像2的荧光图像都被叠加在可见光图像上从而创建放大图像，并向外科医生输出该立体放大图像。

该视频输出可以在这四个模式之间切换，例如通过使用脚踏开关、双击控制手术器械的主控抓取器、语音控制和其它相似的转换法实现。用于在该四个模式之间转换的切换器在图3E中表示为显示模式选择360A。

响应于用户输入420(图4)，来自显示模式选择360A(图3A)的信号提供给用户界面393A，用户界面393A又将控制信号提供给融合电路351A和融合电路352A。如果外科医生仅选择可见光，则可见光左图像336和可见光右图像338展示在立体显示350中。

如果外科医生选择可见光加荧光图像1，则融合电路351A融合荧光左图像341和可见光左图像336，而融合电路352A融合荧光右图像342和可见光右图像352。如果外科医生选择可见光加荧光图像2，则融合电路351A融合荧光左图像341A和可见光左图像336，而融合电路352A融合荧光右图像342A和可见光右图像338。如果外科医生选择可见光加荧光图像1加荧光图像2，则融合电路351A融合荧光左图像341、荧光左图像341A和可见光左图像336，而融合电路352A融合荧光右图像342、荧光右图像342A和可见光右图像338。

再次，可用已知方法对荧光图像中的发荧光区域进行人工着色(伪彩色处理)。当该人工荧光图像与可见光视频图像融合时，此时外科医生可以在该可见光图像中看到与周围组织有着高度对比的发荧光组织(例如，人工制作的亮绿色)。再次，可以利用不同图像融合选项，例如伪彩色荧光图像和可见光图像的α融合。

具有多个摄像机的单个立体光通路

在图5A的实施例中，机器人手术系统(未示出)包括用于将来自组织503的光传输到放大立体视觉系统500的单个立体光通路。来自该单个立体光通路的光用来生成组织503的实时立体视频显示以供外科医生操作机器人手术系统。该立体视频显示包括用备用图像放大的组织503的三维视图，从而突出组织503中感兴趣的区域，如组织503的患病部分和/或感兴趣的其它组织，如神经或器官。在一个方面，该备用图像以特定颜色展示，例如蓝色。

在这个示例中，单个内窥镜501提供了从组织503到硬件520的立体光通路。内窥镜501包括构成立体光通路的两个光通道。内窥镜501还包括向组织503提供光的照射通路。虽然未示出，但内窥镜501由机器人手术系统握持和移动。例如参见图1。

在这个示例中，放大立体视觉系统500包括组合光源510、硬件520和多个基于计算机的方法590。如图5A所示，硬件520的一部分构成图像捕获系统120C。硬件520的另一部分和多个基于计算机的方法590的一部分构成智能图像处理系统130C。硬件520的又一部分和多个基于计算机的方法590的另一部分构成放大立体显示系统140C。在图像捕获系统120C和智能图像处理系统130C内，处理可见光图像的部分构成可见光成像系统，而处理荧光图像的部分构成备用成像系统。

并且，图6的方法600可以利用放大立体视觉系统500实施。如图6所示，方法600包括多个单独的过程。方法600是方法200的一种实施方式(图2)。

在一个方面，硬件520包括至少两个摄像机单元531、532(图5B)。一个摄像机单元532包括3-芯片电荷耦合器件(CCD)高分辨率摄像机和至少一个1-芯片CCD摄像机。另一个摄像机531单元也包括3-芯片电荷耦合器件(CCD)高分辨率摄像机和至少一个1-芯片CCD摄像机。

在这个方面，摄像机单元531和摄像机单元532通过包括滤波器和分束器的块533耦合到内窥镜501，该滤波器和分束器的块533用于预处理来自内窥镜501的光，如下面更完整的描述。在另一方面，该滤波器可以合并在摄像机单元中。

硬件520也包括执行下面更完整地描述的功能的硬件电路。多个基于计算机的方法590是，例如在计算机处理器上执行的软件。

可见光和荧光图像经由同一立体光通路被同时捕获。一个摄像机单元531捕获可见光和荧光左图像，而第二摄像机单元532捕获可见光和荧光右图像。在一方面，摄像机单元531、532锁定在一起。

具有多个摄像机的单个立体光通路-照射

组合光源510、510A、510B、510C(图5A、图5C、图5D、图5E)包括白色光源512A和另一种光源511A。组合光源510结合内窥镜501中的照射通路使用，从而执行照射组织过程201B(图6)。白色光源512A提供了照射组织503的光。另一种光源511A提供了用于组织303的备用图像的光。例如，来自光源511A的窄带光用来激发组织特异性荧光团，从而使得该备用图像是组织503内特定组织的荧光图像。

对于备用图像为荧光图像的情况，如果该荧光激发波长存在于可见光谱内，则白色光源512A(图5B)可以用作白色光源和用作激发荧光团的光源。如果该荧光激发波长存在于可见光谱范围之外(例如，在近红外(IR)中)或如果可见光谱内的波长处需要另外的激发能量，则使用激光模块517(或其它能源，如发光二极管或过滤的白色光)同时照射组织503。

在一个方面，白色光源512A与白色光源312A相同，并且白色光源312A的描述以引用的方式合并在此。

在组合光源510A(图5C)中，立即将小入射反射镜(injection mirror)放置在白色光灯单元512A前面，从而反射通过白色光灯单元512A的焦点的激发光。将转向反射镜(turning mirror)516放置在激光模块517和入射反射镜513之间，从而允许用于激发光的光通路与该白色光对准。这种镜子布置导致白色照射光非常高效率地耦合，以及激光以近100％的效率耦合到光纤束514中。

已观察到对于组合光源的各个方面，当在光纤束中注入激光时，该激光可以充分地分散和照射组织503，而不需任何其它分散技术。

在组合光源510B(图5D)中，分束器515(例如，50/50二色镜；已知的各种分束技术)可用来将来自转向反射镜516的白色照射光和激光激发光合并到光纤束514中。

在另一方面(图5E)，来自白色光源512A的白色照射光和来自激光模块517的激光激发光可利用光纤束514A耦合在一起，其中光纤束514A的数个纤维分裂并分别在激光可耦合到的连接器中终止。

在da

手术系统的情况下，内窥镜具有两个照射通路。因而，该光纤束分裂以便两组纤维——传送白色光的一组和传送激发光的另一组——各自直接进入该照射通路中不同的一个通路中。这个方面的优点是对于现有da手术系统而言，不需对准激发光并且可以容易地互换具有各种激发光波长的如上描述的各种激发光源。例如，如果在相同程序(例如，与肿瘤关联的荧光团和与附近神经关联的荧光团，如在前列腺手术中)期间查看到具有不同激发波长的不同荧光团，则可以容易地交换组合光源中的用于不同荧光团的激发激光。在一个方面，当交换光源时，保持该一个或多个光纤束连接到该组合光源。可替换地，两个或两个以上个激发光源可以类似方式耦合到一个或多个内窥镜照射通道中。

在组合光源510、510A、510B、510C的每个中，带通滤波器518从白色照射光中去除预期的荧光发射波长。这增加了荧光图像的对比。阻止了(多个)荧光图像捕获芯片被来自该荧光波长处组织的反射光饱和。

并且，在一方面，因为电荷耦合器件(CCD)典型地在可见光谱范围之外的波长处是灵敏的，所以短通滤波器519去除可见光波长和超出期望发射的未使用的IR波长。去除未使用的IR波长为可见光图像和荧光图像都增加了对比度。在一个实施例中，为增加对红色和近IR波长的灵敏度，从CCD摄像机中去除了IR滤波器。过滤的白色光然后直接进入如上所述的光纤束中，并耦合到用于照射组织503的立体内窥镜上以便进行可见光成像。

具有多个摄像机的单个立体光通路

-图像捕获系统120C

来自组织503的荧光右图像λR和可见光图像(图5A，图5F)传输在内窥镜501中立体光通路的一个通路中。类似地，来自组织503的荧光左图像λL和可见光左图像传输在内窥镜501中立体光通路的另一个通路中。

来自内窥镜501立体光通路的图像通过荧光激发滤波器534(图5F)从而从该图像中去除荧光激发波长。这有助于增强该可见光立体图像和荧光图像之间的对比度并有助于改进该可见光图像的质量。

该过滤的可见光左图像和荧光左图像与分束器533A相互影响，该分束器533A将该过滤的图像分裂成捕获在CCD 531A中的可见光左图像536和捕获在CCD 531B中的荧光左图像535。在一个方面，CCD531A为捕获左RGB图像的3-CCD传感器，且CCD 531B为捕获荧光左图像535的1-CCD单色传感器。

类似地，该过滤的可见光右图像和荧光右图像与分束器533B相互影响，该分束器533B将该过滤的图像分裂成捕获在CCD 532A中的可见光右图像538和捕获在CCD 532B中的荧光右图像537。在一个方面，CCD 532A也为捕获右RGB图像的3-CCD传感器，且CCD 532B为捕获荧光右图像537的1-CCD单色传感器。

因而，总共捕获四个图像-左、右可见光和荧光图像。这个方面的优点是可见光和荧光图像之间的对准在硬件中完成，因为该芯片在制造期间被物理设置。另外，可以选择单CCD用于优化该荧光图像(例如，在近IR中)的感测。

在这个方面，块533(图5F)用来执行预处理来自组织的光的操作202B(图6)。捕获立体可见光和立体荧光图像的过程203B通过在如刚描述的CCD中捕获各种图像执行。

具有多个摄像机的单个立体光通路-

智能图像处理系统130C

因为上述滤波在可见光左图像536和可见光右图像538的每个中创建了缺口(notch)，所以光谱均衡器541、542为该缺口校正色彩平衡。色彩平衡通常在摄像机中进行，而类似技术也应用于本文中。例如，该摄像机可以包括多个内置色彩平衡。滤波处理594基于用在光谱均衡器541、542中的荧光滤波器特性选择正确的内置色彩平衡。可替换地，与光谱均衡器541、542结合的滤波处理594可以基于该荧光滤波器的特性实施色彩平衡。

在这个方面，滤波处理594与光谱均衡器541、542的结合执行智能图像处理204B中的平衡光谱过程605(图6)。

具有多个摄像机的单个立体光通路-

放大立体显示系统140C

在一个方面，该放大立体视频输出显示可以各种模式操作。显示模式选择560、用户界面593的操作以及与融合电路551、552的相互影响与上面关于显示模式选择360、用户界面393以及与融合电路351、352的相互作用的描述相同，并且该描述以引用的方式合并在此。

因而，响应于用户输入620(图6)，来自显示模式选择560(图5A)的信号被提供给用户界面593中的显示模式检查操作608，用户界面593又将控制信号提供给融合电路551和552。如果外科医生仅选择可见光，则光谱均衡的可见光左图像536和光谱均衡的可见光右图像538经由生成组织立体视频显示的过程205B中的可见光图像立体显示过程611(图6)展示在立体显示550中。

如果外科医生在融合过程609中选择可见光加荧光，则融合电路551融合荧光左图像535和光谱均衡的可见光左图像536，而融合电路552融合荧光右图像537和光谱均衡的可见光右图像538。不同的图像融合选项，例如α融合，可以在融合电路551、552中实施。融合电路551、552的输出经由可见光和荧光图像立体显示过程610(图6)展示在立体显示550中。该显示的荧光图像可以以与上面针对图3A至4描述的那些等效的方式处理，因而在此不对其重述。

具有两个摄像机的摄像机单元的上面描述仅是说明性的而不是限制。例如，每个摄像机单元可以是具有分裂入射束的光学部件的单个摄像机。在这个方面，3-CCD图像传感器的两个芯片用来捕获该可见光图像，并且第三芯片用来捕获该荧光图像。在这个方面，对将光导向三个CCD芯片的棱镜(例如，三色分束器棱镜组件)进行设计以便荧光波长光朝一个CCD芯片反射，而可见光分离到另外两个CCD芯片上。该可见光图像的全色(full color)可以从该两个CCD通道重建，如常见的做法。这个方面具有上述的硬件对准优点。

在另一个方面，图3A的智能图像处理特征可以与图5A的方面结合。例如，组合光源510D(图5G)包括如上针对图5D描述的白色光源512A和配置的激光模块517，从而将激光和白色照射光投射(project)到光纤电缆514A中的一组纤维中。第二激光模块509提供了注入到光纤电缆514A中第二组纤维上的光束。来自两个激光器517、509的光激发不同的荧光发射，所以内窥镜501中的每个光通路均包括可见光图像和两个荧光图像。

在这个方面，分束器533A被配置为分离用于第一荧光图像的可见光左图像和荧光左图像。分束器533B被配置为分离用于第二荧光图像的可见光右图线和荧光右图像

因而，在这个方面，第一荧光图像的荧光左图像被捕获在CCD531B中，而第二荧光图像的荧光右图像被捕获在CCD 532B中。在每种情况下，都有必要生成用于立体显示的其它荧光图像。

使第一荧光图像的荧光左图像与可见光右图像在空间上配准，然后利用图像扭曲器基于该配准生成第一荧光图像的荧光右图像。

类似地，使该第二荧光图像的荧光右图像与该可见光左图像在空间上配准，然后利用图像扭曲器基于该配准生成第二荧光图像的荧光左图像。因而，可以获得可见光左图像、可见光右图像、荧光左第一图像、荧光右第一图像、荧光左第二图像和荧光右第二图像。图3E的放大立体显示系统140B用来显示各种图像。

因而，一般地，对于其中仅在一个立体通道中捕获荧光图像信息的方面，必须生成用于另一个通道的荧光图像从而产生供外科医生用的立体荧光图像显示，其与立体可见光图像视频相关。如果该可见光和荧光图像共用同一光通路，则该可见光图像的立体匹配用来生成第二立体通道的荧光图像。如果该可见光和荧光图像使用不同的光通路，则该可见光和荧光图像在包括所捕获的荧光图像的通道中互相配准，然后应用可见光图像的立体匹配从而生成第二通道的荧光图像。

具有摄像机单元的单个立体光通路

在一个示例过程中，可见光和荧光图像都捕获在右立体通道中，并且仅可见光图像被捕获在左通道中。例如，在图7A的实施例中，机器人手术系统(未示出)包括将来自组织703的光传输到放大立体视觉系统700的单个立体光通路。来自该单个立体光通路的光用来生成组织703的实时立体视频显示，以供外科医生操作机器人手术系统。

该立体视频显示包括用备用图像放大的组织703的三维视图从而突出组织503中的感兴趣区域(如组织503的患病部分)和/或感兴趣的其它组织(如神经或器官)。在一个方面，该备用图像仅提供给立体视图中的一只眼，例如右眼，以便外科医生可以比较左眼和右眼图像而无需在放大和未放大的立体视图之间切换。另外，这个方面也提供了具有立体备用视图的立体视图。这可以在不使用例如图5a中分束器的情况下完成。在一个方面，该备用视图以特定颜色展示，例如蓝色。

在这个示例中，单个内窥镜701提供从组织703到硬件720的立体光通路。内窥镜701具有构成该立体光通路的两个光通道和用于向组织701提供光的至少一个照射通道。虽然未示出，但内窥镜701由该机器人手术系统握持和移动。例如，参见图1。

在这个示例中，放大立体视觉系统700包括组合光源710、硬件720和多个基于计算机的方法790。如图7A所示，硬件720的一部分构成图像捕获系统120D。硬件720的另一部分和多个基于计算机的方法790的一部分构成智能图像处理系统130D。硬件720的又一部分和多个基于计算机的方法790的另一部分构成放大立体显示系统140D。在图像捕获系统120D和智能图像处理系统130D内，处理可见光图像的部分构成可见光成像系统而处理荧光图像的部分构成备用成像系统。

并且，图8的方法800可以利用放大立体视觉系统700实施。如图8所示，方法800包括多个单独的过程。方法800是方法200的一种实施方式(图2)。

在一个方面，硬件720包括单个摄像机单元731(图7B)。摄像机单元731包括用于内窥镜701的每个光通路的3-芯片电荷耦合器件(CCD)传感器。

在这个方面，摄像机单元731(图7B)通过包括滤波器733A(图7A)的块733耦合到内窥镜701，该滤波器733A用于预处理来自内窥镜701立体光通路的左光通路的光。在另一方面，该滤波器可以合并在该摄像机单元中。该可见光右图像与荧光图像和可见光左图像经由同一立体光通路被同时捕获。

硬件720也包括执行下面更完整地描述的功能的硬件电路。多个基于计算机的方法790是，例如在计算机处理器上执行的软件。

具有摄像机单元的单个立体光通路-照射

具有光纤束714的组合光源710等效于组合光源510A(图5C)、510B(图5D)和510C(图5E)中的任何一个和关联的光纤束，以及上面针对实施组合光源310A(图3C)描述的各个方面。为了不重复描述这些组合光源，将那些描述以引用的方式合并在此。组合光源710结合内窥镜710中的照射通路使用从而执行照射组织过程201C(图8)。

具有摄像机的单个立体光通路-

图像捕获系统120D

来自组织703(图7A)的可见光左图像是从内窥镜701中立体光通路的左光通道中捕获的，而与荧光图像结合的可见光右图像是从内窥镜701中立体光通路的右光通道中捕获的。

为了仅捕获可见光左图像，来自左光通道的光通过荧光滤波器733A过滤从而将(多种)荧光波长从可见光左图像736中去除，该可见光左图像736捕获在左CCD 731A中。可见光和荧光右图像738被捕获在右CCD 731B中。左CCD 731A捕获用于可见光左图像731的红色、绿色和蓝色图像。类似地，右CCD 731B捕获用于可见光和荧光右图像738的红色、绿色和蓝色图像。

在这个方面，滤波器733A执行预处理来自组织的光的操作202C(图8)。通过如刚才描述的在CCD中捕获各种图像，执行捕获可见光左图像以及可见光与荧光右图像过程203C。

具有摄像机单元的单个立体光通路-

智能图像处理系统130D

空间图像配准792接收所捕获的图像736和738中的每个作为输入。再次，空间图像配准使从不同视角获取的图像配准以便基于该配准结果的两个图像中任何两个对应像素参考世界中相同场景点。空间图像配准792在智能处理204C中的配准过程805(图8)中执行。

在一个方面，供表4中图像模态用的空间图像配准792与图3D中给出的相同。

表4

在空间图像配准392A(图3D)中，所捕获的图像中的两个，例如可见光左图像以及可见光和荧光右图像，作为图1输入到预处理370中和作为图像2输入到预处理371中。根据使该可见光与可见光和荧光匹配的特征，预处理370、371生成适当信息。例如，对于梯度图像，生成原始图像沿着X和Y方向的梯度。类似地，图像特征通过预处理原始图像获得。可以利用许多图像特征，例如局部区域中图像亮度的直方图。

预处理370、371的结果被供给到匹配过程372。有许多可供匹配过程372利用的方法。第一示例是原始图像或梯度图像的归一化互相关性，其是利用在围绕位置(x，y)处像素的小区域中的所有像素计算的。另一个示例是基于匹配的交互信息，其中输入为亮度直方图。

匹配过程372的输出是在将(x，y)处像素从一个输入图像移动到另一个输入图像之后给出最佳匹配得分的位移(dx，dy)。如果为输入图像中的所有像素都生成位移(dx，dy)，则该结果称为由dx(x，y)和dy(x，y)两种图像组成的视差图。

在空间图像配准792中为左和右图像逐像素配准可用于图像扭曲器740和图像扭曲器741。图像扭曲器740也可以接收所捕获的可见光左图像736作为输入。

利用该空间图像配准信息和可见光左图像736，图像扭曲器340生成可见光右图像，而该可见光右图像又被供给到图像减法器(image subtractor)743。图像减法器743从所捕获的可见光和荧光图像738中减去可见光右图像，从而生成荧光右图像744。利用该空间图像配准信息和荧光右图像744，图像扭曲器741生成荧光左图像742。图像减法器745从所捕获可见光和荧光图像738中减去荧光右图像744从而生成可见光右图像746。

因而，在这个方面，元件792、740、743、744、736、738和745的结合可用在生成可见光右图像的过程806(图8)中。元件792、740、743、736和738的结合可用来在生成荧光左和右图像的过程807中生成荧光右图像，而元件792、740、743、744、741、736和738的结合可用来在生成荧光左和右图像的过程807中生成荧光左图像。

上述过程仅是描述性的而不是限制。仅可见光右图像746可以各种方式生成。例如，对于仅含有可见光数据的仅可见光右图像746的区域，该可见光数据可以从所捕获的右图像738中获取，而对于含有荧光的区域，该区域利用所捕获的左图像被扭曲(warp)。

再次，应注意，虽然这种描述必然是线性的并描述了通过该处理的单程(single pass)，但是该过程是实时发生的且各图像被不断更新以便反映如经由内窥镜701所观察到的组织703的当前状态。并且，如果可以获得必要信息，则可以并行执行各个过程。

具有摄像机单元的单个立体光通路-

放大立体显示系统140D

在一个方面，该放大立体视频输出显示可以各种模式操作。例如，在第一模式中，仅向外科医生输出立体可见光图像，如在da

手术系统中。在第二模式中，荧光图像叠加在可见光图像上从而创建放大图像，并向外科医生输出该立体放大图像。在第三模式中，立体显示的一只眼的可见光图像与那只眼的相应荧光图像融合，而仅可见光图像为另一只眼展示。因而，在立体显示中，该立体放大视图具有用于一只眼的放大视图和用于另一只眼的正常视图。

该视频输出可以在这些模式之间切换，通过使用例如，脚踏开关、双击控制手术器械的主控抓取器、语音控制和其它相似的转换方法实现。用于在该各种模式之间转换的切换器在图7A中表示为显示模式选择760。

响应于用户输入820(图8)，来自显示模式选择760(图7A)的信号被提供给用户界面793中的显示模式检查操作808，用户界面793又将控制信号提供给融合电路751和融合电路752。如果外科医生选择仅可见光，则可见光左图像736和可见光右图像746经由可见光图像立体显示过程811(图8)展示在立体显示750中。

如果外科医生在融合过程812中仅选择右眼中的可见光加荧光，则融合电路751将可见光左图像736传到立体显示750中，而融合电路752融合荧光右图像744和可见光右图像746。可替换地，融合电路752可以将可见光和荧光右图像738传到立体显示750中。在生成组织立体视频显示的过程205C中，融合电路751、752的输出经由仅一只眼中的荧光图像和可见光图像的立体显示过程813(图8)展示在立体显示750中。

如果外科医生在融合过程809中选择可见光加荧光，则融合电路751融合荧光左图像742和可见光左图像736，而融合电路752融合荧光右图像744和可见光右图像746。

不同的图像融合选项(例如α融合)可以在融合电路751、752中实施。融合电路751、752的输出经由可见光和荧光图像立体显示过程810(图8)展示在立体显示750中。

先前描述的用于增强立体显示中荧光图像的技术也适用于这个实施例。

并且，在上述方面，左图像和右图像可以颠倒。因而，左图像是第一图像的示例，而右图像是第二图像的示例。

时分-

具有摄像机单元的单个立体光通路

在又一方面，该可见光图像和荧光图像经由同一立体光通路被捕获，但图像捕获是时分多路复用形式的。在这个方面，同一摄像机单元捕获可见光和荧光图像两者的数据，但在不同时间捕获。这种时分通过使光源开启/关断与视频帧捕获同步来实现。

例如，在图9A和图9B的实施例中，机器人手术系统(未示出)包括用于将来自组织903的光传输到放大立体视觉系统900的单个立体光通路。来自该单个立体光通路的光用来生成组织903的实时立体视频显示，以供外科医生操作机器人手术系统用。该立体视频显示包括与备用图像融合的组织903的三维视图，从而突出组织903中感兴趣的区域(如组织903的患病部分)和/或感兴趣的其它组织(如神经或器官)。

在这个示例中，单个内窥镜901提供了从组织903到硬件920的立体光通路。内窥镜901具有构成立体光通路的两个光通道和用于向组织903提供光的至少一个照射通道。虽然未示出，但内窥镜901由机器人手术系统握持和移动。例如参见图1。

在这个示例中，放大立体视觉系统900包括组合光源910、硬件920和多个基于计算机的方法990。如图9A和图9B所示，硬件920的一部分构成图像捕获系统120E。硬件920的另一部分和多个基于计算机的方法990的一部分构成智能图像处理系统130E。硬件920的又一部分和多个基于计算机的方法990的另一部分构成放大立体显示系统140E。在图像捕获系统120E和智能图像处理系统130E内，处理可见光图像的部分构成可见光成像系统而处理荧光图像的部分构成备用成像系统。

并且，利用放大立体视觉系统900实现图10A的方法1000。如图10A所示，方法1000包括多个单独的过程。方法1000是方法200的一种实施方式(图2)。

在一方面，硬件920包括单个摄像机单元，如摄像机单元731(图7B)。摄像机单元731包括用于内窥镜901的每个光通路的3-芯片电荷耦合器件(CCD)传感器。

硬件920也包括用于执行下面更完整描述的功能的硬件电路。多个基于计算机的方法990是例如在计算机处理器上执行的软件。在下面描述中，描述了执行相同功能的多个硬件单元。这仅是为了方便描述而不意在要求所示的确切数目。根据该实现方式，可以使用该硬件单元的单个例子，或者可以使用小于所示数字的数目，只要该硬件在相关时间段内执行即可。

时分-

具有摄像机单元的单个立体光通路-

照射

具有光纤束914的组合光源910(图9A)类似于组合光源510A(图5C)、510B(图5D)和510C(图5E)中的任何一个和关联的光纤束，以及上面针对实施组合光源310A(图3C)描述的各个方面。因此，那些组合光源的描述以引用的方式合并在此。然而，组合光源910包括用于关断和开启该光源中至少一个光源的装置。

例如，组合光源510A被选定为组合光源910的起始点，并且普克尔斯盒(Pockels cell)911被插入在转向反射镜516和入射反射镜513之间的激光通路中。普克尔斯盒911被连接到激光/摄像机同步电路935。如更完整地解释，在一个方面，在时间t时，普克尔斯盒911接收来自激光/摄像机同步电路935的信号，以便该激光束通过普克尔斯盒911并与来自白色光源512A的光一起注入到光纤电缆914中。在此，时间t与帧关联，而时间(t+1)与不同的帧关联。

在时间(t+1)时，普克尔斯盒911接收来自激光/摄像机同步电路935的信号，以便该激光束被普克尔斯盒911阻断并且仅来自白色光源512A的光被注入到光纤电缆914中。因而，对于第一时间间隔，组织903用白色光和刺激来自组织903的荧光的光照射，然后对于紧接着第一时间间隔的第二时间间隔，组织903仅用白色光照射。在这个示例中，该激光束可以被间歇调制(modulated on and off)。但对于下面描述，系统900可以用间歇调制的白色光源和持续开启的激光束实施。

时分-

具有摄像机单元的单个立体光通路-

图像捕获系统120E

激光/摄像机同步电路935也向图像捕获系统120E中的摄像机同步934和933提供信号。响应于那个信号，摄像机同步934使得帧被捕获在左CCD传感器931A中，并且摄像机同步933使得该帧被捕获在右CCD传感器931B中。每个CCD传感器都是3-芯片CCD传感器，所以所捕获的图像具有红色、绿色和蓝色分量。图9B是组合光源910和该帧捕获之间同步的示例。

例如，在时间t时，组织903用白色光和激光照射，并且信号左光通路捕获(LeftOptical Path Capture)、右光通路捕获(Right Optical Path Capture)被分别发送到摄像机同步934和933。因而，在时间t时，可见光左图像和荧光左图像λL的第一立体帧936A被捕获在左CCD 931A中。并且，在时间t时，可见光右图像和荧光右图像λR的第一立体帧938A被捕获在右CCD 931B中。

例如，在时间(t+1)时，组织903仅用白色光照射，激光关闭，并且信号左光通路捕获、右光通路捕获被分别发送到摄像机同步934和933。因而，在时间(t1)时，可见光左图像的第二立体帧936B被捕获在左CCD 931A中。并且，在时间(t+1)时，可见光右图像的第二立体帧938A被捕获在右CCD 931B中。

如图9C所示，对于这个示例，该捕获过程连续，所以荧光图像捕获率是可见光图像捕获率的一半，例如，可见光数据每帧收集一次，而荧光和可见光数据每隔一帧收集一次。这个捕获率仅是说明性的，并且对于本公开，可以挑选适当的荧光图像捕获率。

来自组织903(图9A)的左图像从内窥镜901中立体光通路的左光通道中捕获，来自组织903的右图像从内窥镜901中立体光通路的右光通道中捕获。

在图9A和图9B的示例中，示出如由CCD传感器捕获的两帧。这仅是为了方便说明，而不是为了限制。众所周知，在时间(t+1)时捕获帧之前，可以将捕获在CCD传感器中的帧移动到缓冲器中，例如，以便进行下面更完整地描述的处理。

时分-

具有摄像机单元的单个立体光通路-

智能图像处理系统130E

因为荧光和可见光图像是以不同的帧率捕获的，所以在荧光图像与可见光图像的同步中使用时间配准(temporal registration)992。在这个示例中，不需要空间配准。然而，在其中使用空间配准的一个方面，该空间配准在时间配准992之间完成。如下面更完整地描述，利用来自时间配准的信息应用变换从而通过图像扭曲生成丢失的(missing)荧光帧，以及当可见光图像和荧光图像一起被捕获时可利用该信息生成各自的图像。

因而，在这个示例中，时间图像配准992接收所捕获的帧936A、936B、938A和938B中的每个作为输入。时间图像配准992也接收来自捕获模式选择945的输入。在这个示例中，考虑了三种捕获模式。第一捕获模式是如上描述的时分模式945B，其中捕获可见光加荧光图像和仅可见光图像。在第二捕获模式，连续可见模式945A中，仅捕获可见光图像并且荧光激发光源被制止(hold off)。在称为扩展模式的第三捕获模式中，因为荧光图像不再可用，所以仅捕获可见光图像，并因此合成荧光左和右图像，如下面更完整地描述。应注意虽然在第二和第三捕获模式中该模式的设置不同，但是该捕获、处理和显示过程实际上是等效的。

利用时间(t+1)时可见光左图像936B与在时间t时捕获的与荧光左图像936A结合的可见光左图像的时间图像配准信息，图像扭曲器940A为时间(t+1)生成结合的可见光左图像和荧光左图像。图像扭曲器940A补偿时间t和(t+1)之间的任何运动(motion)。

为时间(t+1)生成的结合的可见光左图像和荧光左图像作为第一输入供给到图像减法器942A。图像减法器942A从左CCD 931A接收时间(t+1)时可见光左图像936B作为第二输入。图像减法器942A从为时间(t+1)生成的结合的可见光左图像和荧光左图像中减去可见光左图像936B，从而生成时间(t+1)时人工荧光左图像947A。

在时间(t+1)时生成的荧光左图像947A是图像扭曲器940B的输入。图像扭曲器940B也接收时间图像配准信息作为输入。图像扭曲器940A从在时间(t+1)时生成的荧光左图像947A中为时间t生成荧光左图像947B。图像扭曲器940B补偿时间t和(t+1)之间的任何运动。

为时间t生成的荧光左图像947B作为第一输入供给到图像减法器942B。图像减法器942A从左CCD 931A接收在时间t时捕获的与荧光左图像936A结合的可见光左图像作为第二输入。图像减法器942B从在时间t时捕获的与荧光左图像936A结合的可见光左图像中减去为时间t生成的荧光左图像947B，从而生成时间t时可见光左图像944L。

利用时间(t+1)时可见光右图像938B和在时间t时捕获的与荧光右图像938A结合的可见光右图像的时间图像配准信息，图像扭曲器941A(图9B)为时间(t+1)生成结合的可见光右图像和荧光右图像。图像扭曲器941A补偿时间t和(t+1)之间的任何运动。

该为时间(t+1)生成的结合的可见光右图像和荧光右图像作为第一输入供给到图像减法器943A。图像减法器932A从右CCD 931B接收时间(t+1)时可见光右图像938B作为第二输入。图像减法器943A从为时间(t+1)生成的结合的可见光右图像和荧光右图像中减去可见光右图像938B从而生成时间(t+1)时人工荧光右图像946A。

在时间(t+1)时生成的人工荧光右图像946A是图像扭曲器941B的输入。图像扭曲器941B也接收时间图像配准信息作为输入。图像扭曲器941B从在时间(t+1)时生成的人工荧光右图像946A中为时间t生成荧光右图像946B。图像扭曲器941B补偿时间t和(t+1)之间的任何运动。

为时间t生成的荧光右图像946B作为第一输入供给到图像减法器943B。图像减法器943A从右CCD 931B接收在时间t时捕获的与荧光右图像938A结合的可见光右图像作为第二输入。图像减法器943B从在时间t时捕获的与荧光右图像938A结合的可见光右图像中减去为时间t生成的荧光右图像946B，从而生成时间t时可见光右图像944R。

荧光左图像947B和荧光右图像946B是荧光图像立体像对。类似地，人工荧光左图像947A和人工荧光右图像946A是荧光图像立体像对。

在图9A和图9B中，示出为都供给到融合电路951和952的在时间t和(t+1)时帧的荧光和可见光数据。这仅是为了方便理解。可以以适当的序列提供这两个帧，从而使得即使该视频序列可能被一个或多个帧延迟，展示给外科医生的立体显示也以适当的时间序列流出从而允许上述处理。

当捕获模式选择945(图9A)处于连续可见模式945A时，激光模块517关断并且仅可见光图像被捕获。在这个模式中，不生成或显示荧光图像，所以所捕获的可见光图像以正常方式简单地显示在立体显示950上。

在这个示例中，放大系统900也包括在长时间段内一直提供指示感兴趣组织的荧光图像的能力，甚至在该组织中的药剂不再发荧光之后。在这种形势下，不论组合光源910的配置如何，仅可见光图像被捕获并在时间配准992中配准。这种模式称为扩展模式。

在扩展模式中，时间配准992将图像配准信息以扩展模式提供给合成荧光左图像949和合成荧光右图像948。合成荧光左图像949也接收最近生成的荧光左图像，即荧光左图像947A作为输入。合成荧光左图像949通过利用时间配准信息生成合成的荧光左图像，从而将荧光左图像947A移动到相对于当前仅可见光左图像的正确位置中。在一个方面，用来生成合成荧光左图像的过程等效于刚描述的用于生成人工荧光左图像的过程。

类似地，合成荧光右图像948也接收最近生成的荧光右图像，即，荧光右图像946A作为输入。合成荧光右图像948通过利用配准信息生成合成的荧光右图像，从而将荧光右图像946移动到相对于当前仅可见光右图像的正确位置中。在一个方面，用来生成合成荧光右图像的过程等效于刚描述的用于生成人工荧光右图像的过程。

再次，应注意，虽然这种描述必然是线性的并描述了通过该处理的单程(single pass)，但是该过程是实时重复的且各种图像被不断更新以反映利用刚描述的过程经由内窥镜901观察到的组织903的当前状态。

时分-

具有摄像机单元的单个立体光通路-

放大立体显示系统140E

在一个方面，该放大立体视频输出显示可以各种模式操作。例如，在第一模式中，仅向外科医生输出立体可见光图像，如在da手术系统中。在第二模式中，荧光图像叠加在可见光图像上从而创建放大图像，并向外科医生输出该立体放大图像。

该视频输出可以在这些模式之间切换，例如通过使用脚踏开关、双击控制手术器械的主控抓取器、语音控制和其它相似的转换方法实现。用于在该两种模式之间转换的切换器在图9A中表示为显示模式选择960，其生成提供给用户界面993的信号，该用户界面993又向融合电路951、952提供信号，该融合电路951、952以与先前关于其它融合电路描述的方式相同的方式运行。

另外，在一些方面，可以实施另一种显示模式，其生成具有荧光和可见光图像的放大显示。这个显示模式可以是第一显示模式的变化形式或完全不同的显示模式。在任一情况下，该荧光图像都在该立体显示中间歇闪烁(flicker on and off)，因而不连续显示。这个特征可以，例如通过利用智能图像处理系统130E来实施，从而将适当帧供给到系统140E以便获得期望的闪烁率。可替换地，可以调制来自组合光源910的激光从而提供该显示中的闪烁。该闪烁模式可以被用于本文描述的其它方面，所以不对每个方面进行重述。

上面描述的时分工作在用于可见光图像的第一帧率，例如每秒30帧，和捕获荧光图像的第二帧率。这个描述可以与上述其它方面结合，从而在该方面的任何一个方面中提供时分。并且，对于时分多路复用方面，或在其它图像捕获和处理方面，如果该内窥镜或组织移动或者照射变化，则可以进行滤波从而去除包括运动伪影和/或照射伪影在内的伪影。

图9A和图9B中的各方面仅是说明性的，并且对于本公开，本领域中技术人员可以实施各种配置以获得类似结果。例如，图9D示出一个可替换实施例。在这个示例中，系统900A包括硬件920A，其包括备用智能图像处理系统130E。在此，当前帧选择适当的存储帧发送到放大立体显示系统140E。例如，帧936A和936B作为立体像对存取并发送到系统140E。接下来，帧936B和人工荧光左图像947A以及帧938B和人工荧光右图像946A被提供给系统140E。图9D中其它元件的运转方式与上面对图9A和9B中相同参考标记的元件描述的方式相同。

图9E示出可以合并在例如图9A和9B系统中的智能图像处理系统130E的另一方面。在此，仅示出对从立体光通路中右光通道中捕获的图像的处理。从左光通道中捕获的图像的硬件和处理是等效的，所以未示出。

在这个方面，图像扭曲器941B接收在时间(t-1)时捕获的可见光右图像和适当的配准信息。图像扭曲器941B生成在时间t时的可见光右图像944R。图像扭曲器943B接收在时间t时的可见光右图像944R和在时间t时捕获的可见光加荧光右图像938A作为输入。图像减法器943B从所捕获可见光加荧光右图像938A中减去可见光右图像944R，从而生成在时间t时的人工荧光图像946B。

图10A是一般时分复用技术的过程流程图，其中捕获组合可见光荧光图像帧，然后捕获N个仅可见光图像帧，其中N为整数。为了方便，图10A利用图9A的设备进行解释。图10A假定任何初始化均已完成并且过程1000正在运转。

在捕获可见光和荧光图像的过程1001中，图像捕获系统120E捕获结合的可见光和荧光图像936A、936B的立体像对。在图像立体显示过程1002中，融合的可见光和荧光图像显示在立体显示950上。

初始化帧计算器的过程1003将帧计数器初始化为N(在上述示例中，N为1)，然后在关断荧光激发的过程1004中，激光/摄像机同步电路935使得普克尔斯盒911阻断激光束。

接下来，在捕获可见光图像的过程1005中，激光/摄像机同步电路935使得可见光图像936B、938B被捕获。在配准过程1006中，可见光左图像936B与所捕获的组合左图像936A配准，并且可见光右图像938B与所捕获的组合右图像938A配准。

生成荧光左和右图像的过程1007利用智能图像处理系统130E从而生成这些图像，如上针对图9A和9B描述的。在过程1008中，与供显示用的时间序列中下一帧关联的可见光和荧光图像融合并且显示在立体显示950上。

该帧计数器在过程1009中递减，计算器等于0的检查操作1010确定是否捕获另一组可见光图像或另一组组合可见光和荧光图像。如果帧计算器不等于0，则重复过程1005至1009。如果帧计算器等于0，则过程1011开启荧光激发源并转到过程1001。

图10B示出过程1000中的可见光和荧光帧流(frame stream)。如上在图10B中描述和显示的，在时间t时捕获可见光和荧光帧。

从时间(t+1)到时间(t+N)，仅捕获可见光帧。在这个时间间隔期间，使在时间t时捕获的荧光帧与各个所捕获的可见光帧在时间上配准，然后扭曲在时间t时捕获的荧光帧从而产生相应时间的人工荧光帧，如图10B所示。在一个方面，所捕获的荧光帧和人工的荧光帧可以被整合(integrate)，并且显示整合的结果。应注意，该人工荧光帧用来使立体显示中荧光图像的帧率与可见光图像的帧率同步。

更一般地说，在捕获荧光图像的帧之间，可以将荧光图像人工地维持在输出到外科医生的视频中。当摄像机在捕获可见光和荧光图像之间切换时，该人工维持的荧光图像与可见光图像融合。

并且，如另一个示例和上面指出的，可以在注射剂不再发荧光之后维持该荧光图像以便外科医生仍可以看到该发荧光区域。在一个方面，如果摄像机移动，则维持的图像输出将自动中止，以便外科医生看不到荧光和可见光图像的错误融合。但是，如果荧光图像中的发荧光区域与可见光图像在空间上配准，则由于维持的荧光图像与可见光图像正确地融合，所以可以输出该维持的荧光图像。如上所讨论，可以从输出显示中过滤伪影。

时分-具有用于捕获与可见光颜色分量结合的荧光图像的摄像机

单元的单个立体光通路

在又一方面，可见光和荧光图像经由同一立体光通路捕获，但图像捕获是时分多路复用形式的，并且该荧光图像是以可见光颜色分量之一(例如红色分量)捕获的。在这个方面，同一摄像机单元捕获可见光和荧光图像两者的数据，但在不同时间捕获。这种时分通过使光源的开启/关断与视频帧捕获同步来实现。

例如，在图11A的实施例中，机器人手术系统(未示出)包括将来自组织1103的光传输到放大立体视觉系统1000的单个立体光通路。来自该单个立体光通路的光用于生成组织1103的实时立体视频显示，以供外科医生操作机器人手术系统。该立体视频显示包括与备用图像融合的组织1103的三维视图，有时称为展示，从而突出组织1103中感兴趣的区域(如组织1103的患病部分)和/或感兴趣的其它组织(如神经或器官)。

在这个示例中，单个内窥镜1101提供了从组织1103到硬件1120的立体光通路。内窥镜1101具有构成立体光通路的两个光通道和用于向组织1103提供光的至少一个照射通道。虽然未示出，但内窥镜1101由机器人手术系统握持和移动。例如参见图1。

在这个示例中，放大立体视觉系统1100包括组合光源1110、硬件1120和至少一种基于计算机的方法1190。如图11A所示，硬件1120的一部分构成图像捕获系统120F。硬件1120的另一部分构成智能图像处理系统130F。硬件1120的又一部分和基于计算机的方法构成放大立体显示系统140F。在图像捕获系统120F和智能图像处理系统130F内，处理可见光图像的部分构成可见光成像系统，而处理荧光图像的部分构成备用成像系统。

并且，图12的方法1200可以利用放大立体视觉系统1100实施。如图12所示，方法1200包括多个单独的过程。

在一个方面，硬件1120包括单个摄像机单元，如摄像机单元731(图7B)。摄像机单元731包括用于内窥镜1101的每个光通路的3-芯片电荷耦合器件(CCD)传感器。

硬件1120也包括执行下面更完整地描述的功能的硬件电路。至少一种基于计算机的方法1190是，例如在计算机处理器上执行的软件。

时分-

具有用于捕获与可见光颜色分量结合的荧光图像的摄像机单元的

单个立体光通路-

照射

具有光纤束1114的组合光源1110类似于组合光源510A(图5C)、510B(图5D)和510C(图5E)中的任何一个和关联的光纤束，以及上面针对实施组合光源310A(图3C)描述的各个方面。因此，那些组合光源的描述以引用的方式合并在此。然而，组合光源1110包括用于关断和开启该光源中至少一个光源的装置，所以光源910用作示例，并将光源910A的上面描述以引用的方法合并在此。

在一个方面，在时间t时，普克尔斯盒911接收来自激光/摄像机同步电路1135的信号，以便该激光束被普克尔斯盒911阻断，并且仅来自白色光源512A的光注入到光纤电缆1114中。在时间(t+1)时，普克尔斯盒911接收来自激光/摄像机同步电路1135的信号，以便该激光束通过普克尔斯盒911并与来自白色光源512A的光一起注入到光纤电缆1114中。在此，时间t与帧关联，而时间(t+1)与不同的帧关联。

因而，对于第一时间间隔，组织1103仅用白色光照射，然后对于紧接着第一时间间隔的第二时间间隔，组织1103用白色光和刺激来自组织1103的荧光的光照射。在这个示例中，该激光束可以间歇地调制。但是对于下面描述，系统1100可以用间歇调制的白色光源和持续开启的激光束实施。

时分-

具有捕获与可见光颜色分量结合的荧光图像的摄像机单元的单个

立体光通路-

图像捕获系统120F

激光/摄像机同步电路1135也向摄像机同步1134和1133提供信号。响应于那个信号，摄像机同步1134使得帧被捕获在左CCD传感器1131A中，并且摄像机同步1133使得帧被捕获在右CCD传感器1131B中。每个CCD传感器都是3-芯片CCD传感器。图11B是组合光源1110和该帧捕获之间同步的示例。

例如，在时间t时，组织1103用白色光照射，并且信号左光通路捕获(Left Optical Path Capture)、右光通路捕获(Right Optical Path Capture)被分别发送到摄像机同步1134和1133。因而，在时间t时，可见光左图像的可见光红色、绿色和蓝色分量的第一立体帧1136A捕获在左CCD 1131A中。并且，在时间t时，可见光右图像的可见光红色、绿色和蓝色分量的第一立体帧1138A捕获在右CCD 1131B中。

例如，在时间(t+1)时，组织1103用白色光和激光照射，并且信号左光通路捕获、右光通路捕获被分别发送到摄像机同步1134和1133。因而，在时间(t+1)时，可见光左图像的可见光红色、绿色和蓝色分量的第二立体帧1136B被捕获在左CCD 1131A中。但该可见光红色分量与荧光左图像λL结合以便该结合的图像被捕获在左CCD1131A中。并且，在时间(t+1)时，可见光右图像的可见光红色、绿色和蓝色分量的第二立体帧1138A被捕获在右CCD 1131B中。但该可见光红色分量与荧光右图像λR结合，以便该结合的图像被捕获在右CCD 1131B中。这个捕获率仅是说明性的，对于本公开，可以挑选适当的荧光图像捕获率。

来自组织1103(图11A)的左图像从内窥镜1101中立体光通路的左光通道中捕获，来自组织1103的右图像从内窥镜1101中立体光通路的右光通道中捕获。

在图11A的示例中，示出如由该CCD传感器捕获的两帧。这仅是为了方便说明，而不是限制。众所周知，在捕获时间(t+1)时的帧之前，可以将捕获在CCD传感器中的帧移动到缓冲器，例如，以便进行下面更完整地描述的处理。

时分-

立体光通路-

智能图像处理系统130E

因为该荧光图像是用可见光颜色分量之一捕获的，所以有必要提取荧光图像以便可以处理该荧光图像从而在立体可见显示中突出该荧光组织。左和右图像的处理类似，所以在下面描述中仅考虑左通道。

在此，在时间t时捕获的红色、绿色和蓝色可见光分量分别由R_t、G_t和B_t表示。在时间(t+1)时捕获的分量由(R+λ)_t+1、G_t+1和B_t+1表示。

在一个方面，荧光图像和伪影生成器1140(图11A)利用过程1200中帧间相减(frame-to-frame substraction)过程1201(图12)生成荧光图像，其具有由照射变化引起的可能伪影以及运动伪影。帧间相减过程1201从在时间(t+1)时捕获的帧中减去在时间t时捕获的帧。例如，

I_R＝(R+λ)_t+1-R_t

I_G＝G_t+1-G_t

I_B＝B_t+1-B_t

其中I_R、I_G和I_B分别为红色、绿色和蓝色分量的帧间颜色分量差。更具体地，帧间红色分量差I_R是与红色分量的可能伪影结合的荧光图像；帧间绿色分量差I_G和帧间篮色分量差I_B分别为绿色和蓝色分量的可能伪影。之所以使用短语“可能伪影”，是因为在该两帧之间组织1103、内窥镜1101和器械可能没有移动并且照射设备可能是稳定的，在此种情况下将没有伪影。

为了从荧光图像中分离出伪影，在一个方面，尺度系统(scale system)1141(图11A)实施归一化过程1202(图12)。尺度系统1141是可选的，并不用在所有方面。但是在这个方面，归一化过程1202处理帧间颜色分量差值I_R、I_G和I_B以便该差具有共同的尺度。例如，在一个方面，从该颜色分量差中减去每个颜色分量差平均值，并将该结果调节(scale)为单位方差。例如，

{\hat{I}}_{R} = \frac{I_{R} - {\overset{&OverBar;}{I}}_{R}}{σ_{I_{R}}^{2}}

{\hat{I}}_{G} = \frac{I_{G} - {\overset{&OverBar;}{I}}_{G}}{σ_{I_{G}}^{2}}

{\hat{I}}_{B} = \frac{I_{B} - {\overset{&OverBar;}{I}}_{B}}{σ_{I_{B}}^{2}}

其中I_R、I_G和I_B以及I_R、I_G和I_B分别为相同的元素。颜色分量差值上的横杠表示那个颜色分量的平均值并且σ的平方表示方差。该平均值和方差可以基于整帧或者替换地基于更小的帧区域来确定。

如果在捕获该两帧的时间之间没有运动或照射变化，则在该两帧之间三种颜色分量中的伪影通常类似，但可能不完全相同。因而，在该两帧之间归一化的绿色和蓝色分量的伪影可以用来估计归一化的红色分量中的伪影。因而，在一个方面，归一化的绿色和蓝色分量用于改善荧光图像两帧之间伪影的影响。

因而，荧光图像提取器1142(图11A)，在一个方面实施跨通道相减(cross-channel subtraction)过程1203(图12)。跨通道相减过程1203从包括荧光图像λ的归一化的帧间红色分量中减去归一化的帧间蓝和绿色分量差，从而获得荧光图像F。具体地，在一个方面，跨通道相减过程1203生成荧光图像F，如：

F = | {\hat{I}}_{R} - {\hat{I}}_{B} | + | {\hat{I}}_{R} - {\hat{I}}_{G} |

荧光图像增强1143(图11A)，在一个方面，实施增强荧光图像的过程1204(图12)。增强荧光图像的过程1204可选地调节荧光图像F并将该色彩从红色转换成蓝色或绿色，例如伪彩色荧光图像F，以便当荧光左图像1144与可见光图像融合时，该荧光图像引人注目。人工荧光左图像1144和人工荧光右图像1149是荧光图像立体像对。

在一个方面，包括可选的稀疏组织追踪(sparse tissue tracking)。例如，宣称为运动区域的像素的时间配准用于确定是否在该运动区域的每个区域中都确实存在运动。另外，图像滤波和阈值处理可以用来清除(clean up)最终的荧光图像。

过程1200的上述方面仅是说明性的，而不是限制。这些过程的各种变体均可以在该硬件中实施。例如，

帧间相减

I_t+1-I_t＝{R_t+1-R_t+λ_t+1，G_t+1-G_t，B_t+1-B_t}

检测运动/照射变化区域(MIR)

MIR：if(G_t+1-G_t)+(B_t+1-B_t)＞threshold_1

确定处理之后的荧光区域如果

FR：if NOT MIR & abs((R_t+1-R_t)+λ_t+1-(G_t+1-G_t))＞threshold_2

在一个方面，该阈值凭经验确定。

元件1145至1149在刚刚针对左通道描述的情况下运行，并且也实施过程1200。因此，可以直接由上面的描述得出元件1145至1149的实施方式。

继续对所捕获的每对帧进行这种处理。各种替换实施方式可以用来生成人工图像从而提供可见光和荧光图像显示所需要的帧率。例如，该图像可以简单地重复。可替换地，一旦处理了多帧后，就可以立即运用插值法按需要生成荧光图像和/或可见光图像的人工帧。

时分-

立体光通路-

放大立体显示系统140F

手术系统中。在第二模式中，荧光图像叠加在可见光图像上从而创建放大图像，并向外科医生输出该立体放大图像。

该视频输出可以在这些模式之间切换，例如通过使用脚踏开关、双击控制手术器械的主控抓取器、语音控制和其它相似的转换方法实现。在该两种模式之间转换的切换器在图11A中表示为显示模式选择1160，其生成提供给融合电路1151、1152的信号，该融合电路1151、1152按照与先前针对其它融合电路描述的方式相同的方式运行。

先前描述用于增强立体显示中荧光图像的技术也适用于这个实施例。

具有改进摄像机单元的单个立体光通路

在又一方面，可见光图像和荧光图像经由同一立体光通路捕获，但该荧光图像再次由可见光颜色分量之一捕获。在这个方面，同一摄像机单元为该可见光和荧光图像捕获数据，但棱镜，如下面更完整地解释，使荧光图像与可见光颜色分量之一结合。

例如，在图13A的实施例中，机器人手术系统(未示出)包括用于将来自组织1303的光传输到放大立体视觉系统1300的单个立体光通路。来自该单个立体光通路的光用来生成组织1303的实时立体视频显示以供外科医生操作机器人手术系统。该立体视频显示包括具有备用图像的组织1303的三维视图从而突出组织1303中感兴趣的区域(如组织1303的患病部分)和/或感兴趣的其它组织(如神经或器官)。

在这个示例中，单个内窥镜1301提供了从组织1303到硬件1320的立体光通路。内窥镜1301具有构成立体光通路的两个光通道和用于向组织1303提供光的至少一个照射通道。虽然未示出，但内窥镜1301由机器人手术系统握持和移动。例如参见图1。

在这个示例中，放大立体视觉系统1300包括组合光源1310、硬件1320和至少一种基于计算机的方法1390。如图13A所示，硬件1320的一部分构成图像捕获系统120G。在这个方面，未使用智能图像处理系统。硬件1320的又一部分和至少一种基于计算机的方法1393构成放大立体显示系统140G。在图像捕获系统120G内，处理可见光图像的部分构成可见光成像系统而处理荧光图像的部分构成备用成像系统。

在一个方面，硬件1320包括单个摄像机单元，如改进摄像机单元731(图7B)。摄像机单元731包括用于内窥镜1301的每个光通路的3-芯片电荷耦合器件(CCD)传感器。

硬件1320也包括用于执行下面更完整地描述的功能的硬件电路。基于计算机的方法1390是，例如在计算机处理器上执行的软件。

具有改进摄像机单元的单个立体光通路-

照射

具有光纤束1314的组合光源1310类似于组合光源910和光纤束914。因此，组合光源910的描述以引用的方式合并在此。然而，在组合光源1310中，用于关断和开启该光源中至少一个光源的装置的控制不同于组合光源910。

在这个方面，普克尔斯盒911接收来自光控制器1335的控制信号，光控制器1335又接收来自用户界面1393的信号。当外科医生选择仅可见光时，信号被施加到普克尔斯盒911以便激光束被普克尔斯盒911阻断并且仅来自白色光源512A的光注入到光纤电缆1314中。当外科医生选择可见光加荧光时，两个光源都提供注入到光纤电缆1314中的光束。

具有改进摄像机单元的单个立体光通路-

图像捕获系统120G

在这个方面，改进该摄像机单元以使来自每个光通路的光通过改进型棱镜1334、1333。改进型棱镜1334、1333中的每个，例如，均具有图13B中示出的特性。

改进型棱镜1334、1333将来自光通路的可见光加荧光图像分裂成典型的RGB分量1381、1382、1383(注意该分量的颜色由线表示-蓝色由虚线表示，绿色由实线表示，红色由点线表示)。但是在这个示例中，改进型棱镜1334、1333不但生成蓝色分量1381，而且生成位于近红外区域中的第二蓝色峰1384。因而，当该荧光图像在近红外时，这个棱镜将结合的可见光和荧光图像分成可见光RGB图像和近红外中的蓝色荧光图像。改进型棱镜1334、1333用传统方式制造，除了对正常仅使一种可见光颜色分量通过的棱镜的一部分进行修饰从而使可见光颜色分量和从该颜色分量分离和去除的另一分量都通过。该另一分量对应于荧光图像。

虽然在这个方面，提供了相对于蓝色分量的双峰，但是根据荧光波长，可以改进该棱镜从而为颜色分量中的任何一个获得期望结果。在这个方面，用于蓝色分量的CCD累计峰1481和峰1484，因而捕获与来自那个光通路的荧光图像结合的来自该光通路的可见光蓝色图像。

因而，如图13A中示出的，当来自光源512A的光束和来自光源517的光束照射组织1303时，左CCD 1331A中的红色左CCD捕获可见光红色左图像1336A；左CCD 1331A中的绿色左CCD捕获可见光绿色左图像1336B；左CCD 1331A中的蓝色左CCD捕获与荧光左图像1336C结合的可见光蓝色左图像。类似地，右CCD 1331B中的红色右CCD捕获可见光红色右图像1338A；右CCD 1331B中的绿色右CCD捕获可见光绿色右图像1338B；右CCD 1331B中的蓝色右CCD捕获与荧光右图像1338C结合的可见光蓝色右图像。

当激光束未注入到光纤束1314中且仅来自光源512A的光注入时，左CCD 1331A中的红色左CCD捕获可见光红色左图像1336A；左CCD1331A中的绿色左CCD捕获可见光绿色左图像1336B；左CCD 1331A中的蓝色左CCD仅捕获可见光蓝色左图像1336C。这就是在图13A的括号中附上“具有荧光左图像”的原因，因为并不总是捕获荧光左图像。类似地，右CCD 1331B中的红色右CCD捕获可见光红色右图像1338A；右CCD 1331B中的绿色右CCD捕获可见光绿色右图像1338B；右CCD 1331B中的蓝色右CCD仅捕获可见光蓝色右图像1338C。这就是在图13A的括号中附上“具有荧光右图像”的原因，因为并不总是捕获荧光右图像。

具有改进摄像机单元的单个立体光通路-

放大立体显示系统140G

在一个方面，该放大立体视频输出显示可以各种模式操作。例如，在第一模式中，仅向外科医生输出实时立体可见光图像，如在da

手术系统中。在第二模式中，荧光图像叠加在可见光图像上从而创建放大图像，并向外科医生输出该实时立体放大图像。

如上所指出的，该视频输出可以在这些模式之间切换，例如通过使用脚踏开关、双击控制手术器械的主控抓取器、语音控制和其它相似的转换法实现。在该两种模式之间转换的切换器在图13A中表示为显示模式选择1360，其生成提供给用户界面1393的信号，该用户界面1393反过来向光控制器1335提供控制信号，如先前所描述的。

先前描述的用于增强立体显示中荧光图像的技术也适用于这个实施例。当采用此种技术时，系统1300中将包括智能图像处理系统。

另外，在一些方面，可以实施另一种显示模式，其生成具有荧光和可见光图像的放大显示。这个显示模式可以是第一显示模式的变化形式或完全不同的显示模式。在任一情况下，该荧光图像都在该立体显示中间歇地闪烁，因而不连续显示。这个特征可以，例如利用智能图像处理系统实施，从而将适当帧供给到系统140G以便获得期望的闪烁率。或者，可以调制来自组合光源1310的激光从而提供该显示中的闪烁。

在一个方面，方法1400(图14)可以利用放大立体视觉系统1300实施。在照射组织的过程201E中，来自组合光源1310的光照射组织1303。

来自组织1303的光在预处理来自组织的光的过程202E中分裂成如上所述的各种分量。包括与荧光图像结合的分量在内的各种分量被捕获在捕获立体可见光和立体荧光图像的过程203E中。

基于用户输入过程1420的用户输入，必要时用户界面1393中的显示模式检查操作1408配置组合光源，并执行可见光和荧光图像立体显示的过程1410以及仅可见光图像立体显示的过程1411中的一个。过程1410和1411在生成组织立体视频显示的过程205E中生成上面针对放大立体视觉系统1300描述的显示。

时分-

具有单CCD摄像机单元的单个立体光通路

在又一方面，该可见光图像和荧光图像经由同一立体光通路捕获，但图像捕获是时分多路复用形式的。在这个方面，同一摄像机单元捕获可见光和荧光图像两者的颜色分量的数据，但在不同时间捕获。这种时分通过使捕获与利用旋转滤波器进行的滤波同步来实施，如下面更完整地描述。

例如，在图15的实施例中，机器人手术系统(未示出)包括用于将来自组织1503的光传输到放大立体视觉系统1500的单个立体光通路。来自该单个立体光通路的光用于生成组织1503的实时立体视频显示以供外科医生操作机器人手术系统。该立体视频显示包括与备用图像融合的组织1503的三维视图从而突出组织1503中感兴趣的区域(如组织1503的患病部分)和/或感兴趣的其它组织(如神经或器官)。

在这个示例中，放大立体视觉系统1500包括组合光源1510、硬件1520和至少一种基于计算机的方法1590。如图15所示，硬件1520的一部分构成图像捕获系统120H。硬件1520的另一部分构成智能图像处理系统130H。硬件1520的又一部分和基于计算机的方法1590中的用户界面1593构成放大立体显示系统140H。在图像捕获系统120H和智能图像处理系统130H内，处理可见光图像的部分构成可见光成像系统而处理荧光图像的部分构成备用成像系统。

在一个方面，硬件1520包括单个摄像机单元，如改进摄像机单元731(图7B)。摄像机单元731包括用于内窥镜1501的每个光通路的单电荷耦合器件(CCD)传感器。

硬件1520也包括执行下面更完整地描述的功能的硬件电路。基于计算机的方法1590是，例如在计算机处理器上执行的软件。

时分-

具有单CCD摄像机单元的单个立体光通路-

照射

具有光纤束1514的组合光源1510类似于组合光源510A(图5C)、510B(图5D)和510C(图5E)中的任何一个和关联的光纤束，以及上面针对实施组合光源310A(图3C)描述的各个方面。因此，那些组合光源的描述以引用的方式合并在此。

时分-

具有单CCD摄像机单元的单个立体光通路-

图像捕获系统120G

在这个方面，用来自组合光源1510的白色光和激光照射组织1503。左图像和右图像的捕获操作是等效的。

旋转滤波器1532A包括四个带通滤波器：可见光红色滤波器、可见光绿色滤波器、可见光蓝色滤波器和荧光滤波器。旋转滤波器1532B具有类似配置。旋转滤波器1532A、1532B与摄像机单元的单CCD中的图像捕获耦合，例如，供来自内窥镜1501的左光通路的过滤的光用的左CCD 1531A和供来自内窥镜1501的右光通路的过滤的光用的右CCD 1533A。

在时间t时，旋转滤波器1532A用该红色滤波器过滤来自内窥镜1501的左光通路的光，所以左CCD 1531A在时间t时捕获红色左图像1534L。在时间t+1时，旋转滤波器1532A用该绿色滤波器过滤来自内窥镜1501的左光通路的光，所以左CCD 1531A在时间t+1时捕获绿色左图像1535L。在时间t+2时，旋转滤波器1532A用该蓝色滤波器过滤来自内窥镜1501的左光通路的光，所以左CCD 1531A在时间t+2时捕获蓝色左图像1536L。在时间t+3时，旋转滤波器1532A用该荧光滤波器过滤来自内窥镜1501的左光通路的光，所以左CCD 1531A在时间t+3时捕获荧光左图像1537L。

在时间t时，旋转滤波器1532B用该红色滤波器过滤来自内窥镜1501的右光通路的光，所以右CCD 1533A在时间t时捕获红色右图像1534R。在时间t+1时，旋转滤波器1532B用该绿色滤波器过滤来自内窥镜1501的右光通路的光，所以右CCD 1533A在时间t+1时捕获绿色右图像1535R。在时间t+2时，旋转滤波器1532B用该蓝色滤波器过滤来自内窥镜1501的右光通路的光，所以右CCD 1533A在时间t+2时捕获蓝色右图像1536R。在时间t+3时，旋转滤波器1532B用该荧光滤波器过滤来自内窥镜1501的右光通路的光，所以右CCD 1533A在时间t+3时捕获荧光右图像1537R。

在这个方面，该捕获过程在时间t+4时重新开始。在图15的示例中，示出如由该CCD传感器捕获的四帧。这仅是为了方便说明，而不是限制。众所周知，在捕获该帧之前，可以将先前捕获在CCD传感器中的帧移动到缓冲器中，例如，以便进行下面更完整地描述的处理。

在这个示例中，持续保持组合光源中的两个光源开启。在另一方面，白色光源保持开启以供在时间t、t+1和t+2时的捕获用，然后在时间t+3时的捕获之前关断。开启激光以供在时间t+3时的捕获用。在这个方面，将不使用荧光滤波器。

时分-

具有单CCD摄像机单元的单个立体光通路-

智能图像处理系统130H

因为荧光和可见光分量图像是在不同的时间情况下捕获的，所以可见光左图像采集器1541确定何时可以获得可见光左图像数据的三个新帧，并将这三个帧作为可见光图像帧提供给融合电路1551。类似地，荧光左图像采集器1543确定何时可以获得荧光左图像数据的新帧，并将该帧作为荧光图像提供给融合电路1551。采集器1542和1544对右图像进行类似操作并将数据提供给融合电路1552。

在一个方面，该捕获帧率是正常视频显示率的四倍，所以该视频显示每秒具有正常数目的帧。但这个方面可以与各种帧率一起使用。例如，荧光捕获帧率可以是可见光图像捕获帧率的某些部分。当荧光帧不是为所捕获的每个RGB帧而被捕获时，例如，图9A的特征可以用来处理数据和生成人工荧光帧。

时分-

具有单CCD摄像机单元的单个立体光通路-

放大立体显示系统140H

在一个方面，该放大立体视频输出显示可以各种模式操作。显示模式选择1560、用户界面1593的操作以及与融合电路1551、1552的相互影响与上面针对显示模式选择360、用户界面393以及与融合电路351、352的相互影响描述的相同。

在上面描述的所有方面中，荧光区域可以从图像中提取并可以用伪彩色(pseudo-coloring)识别。并且，可以执行消除噪音使其低于所选阈值的图像处理，从而提高图像质量。

在一个实施例中，可以从CCD摄像机中去除IR滤波器，从而增加对红色和近红外波长的灵敏度，以便改进荧光图像的捕获。

在上述可见光和荧光图像的各种视频捕获方面的任何一个中，均可改变帧率从而改进图像捕获。该可见光图像可以标准的视频帧率(例如，30Hz)捕获从而提供可接收的图像，以便外科医生可以在外科医生控制台处在立体视频输出中看到该组织和微创手术工具。用于荧光图像的帧率可以与用于可见光图像的帧率相同，或者可以利用上述过程使其变慢(例如，8Hz)。根据使用的光通路和摄像机单元，可以使用上述过程的各种结合从而生成任何丢失的可见光或荧光帧。

在一些情况下，对于在弱荧光区域捕获关键的图像信息来说，慢帧率很重要。慢帧率允许捕获荧光图像的摄像机/芯片用更多时间接收来自感兴趣组织中激发荧光团的荧光能量。由机器人手术系统提供的可移动但稳定的内窥镜摄像机平台对这种荧光图像所需的慢帧率捕获非常有利。相比之下，手持内窥镜将产生模糊的慢帧率图像。

在一些方面，以类似于上面描述的通过生成人工荧光帧的方式，使以不同帧率捕获的可见光图像和荧光图像同步。在固定的摄像机情况下，例如由da

手术系统平台握持不动的内窥镜摄像机，摄像机和组织之间仅存在小的相对运动，如由呼吸引起的运动。这些小运动所造成的所捕获的荧光图像的模糊在许多情况下都可以忽略。在移动的摄像机情况下，如当da

手术系统内窥镜摄像机被机器人摄像机操纵臂移动时，首先进行可见光图像的时间配准从而使得运动模糊的荧光图像变清晰(deblur)。然后，可以生成荧光图像用以如上所述的图像同步。

如上所指出的，因为荧光图像展现出医疗感兴趣的组织，所以可以对该荧光图像进行处理从而增强外科医生的视频显示展示。这种处理产生人工荧光图像。例如，可以用已知方法对荧光图像中发荧光区域进行人工着色(伪彩色处理)。当该人工荧光图像与可见光视频图像融合时，此时外科医生可以看见与可见光图像中的周围组织有着高对比度的发荧光组织(例如，人工制作的亮绿色)。可以利用不同的图像融合选项，例如伪彩色荧光图像和可见光图像的α融合。

对于上面描述的各方面，技术人员应理解，图像传感器可以设置在病人外面在内窥镜的近端，或者它们可以安置在邻近组织的内窥镜的远端。左和右立体图像可以通过单独的芯片或摄像机捕获，或者它们可以通过单个摄像机中单个芯片的不同区域捕获。

虽然描述了关于荧光的备用成像，但是也包括其它成像模式。在一些方面，可见光图像和备用图像可以融合在二维(单通道，单视场)图像捕获和显示系统中。

可见光图像和荧光图像在手术机器人系统中的实时无缝融合给外科医生带来显著的程序效益并给病人带来显著的临床效益。外科医生在手术期间能够看见感兴趣的发荧光组织的能力增强了识别和去除患病组织，以及识别需保留的健康组织的精确度和完整性。例如，在前列腺手术期间，患病前列腺中的一些或全部需要去除，但有必要保留邻近的神经从而避免引起勃起功能障碍和/或尿失禁。

本发明各方面

【来自01700】

与手术机器人放大立体可视化系统关联的方面包括，但不限于：

1.一种机器人手术系统，其包含：

由所述机器人手术系统的机器人操纵臂握持和设置的内窥镜；

耦合到所述内窥镜的可见光成像系统，其中所述可见光成像系统捕获组织的可见光图像；

耦合到所述内窥镜的备用成像系统，其中所述备用成像系统捕获至少一部分所述组织的荧光图像；和

耦合到所述可见光成像系统和所述备用成像系统的立体视频显示系统，其中所述立体视频显示系统输出实时立体图像，所述实时立体图像包含与所捕获的荧光图像关联的另一个荧光图像和所述可见光图像的三维融合。

2.根据方面1所述的机器人手术系统，其进一步包含：

组合光源，其包含：

第一光源；和

第二光源，其中所述第二光源激发所述荧光；和

至少一个光纤束，其连接到所述组合光源和所述内窥镜，从而将来自所述组合光源的光提供给所述内窥镜。

3.根据方面2所述的机器人手术系统，其中当保持所述至少一个光纤束连接到内窥镜和所述组合光源时，可以将所述第二光源换成不同光源。

4.根据方面1所述的机器人手术系统，其中所述备用成像系统包含：

智能图像处理系统的至少一部分，其中所述智能图像处理系统的所述至少一部分利用与所述荧光图像关联的信息生成荧光图像立体像对，所述荧光图像立体像对是另一个荧光图像。

5.根据方面1所述的机器人手术系统，其中所述可见光成像系统进一步包含：

智能图像处理系统的至少一部分，其中所述智能图像处理系统的所述部分利用与所述可见光图像关联的信息生成第二可见光图像，其中所述可见光图像和所述第二可见光图像包含可见光图像的立体像对。

6.根据方面5所述的机器人手术系统，其中所述备用成像系统包含：

智能图像处理系统的另一部分，其中所述智能图像处理系统的另一部分利用与所述荧光图像关联的信息生成第二荧光图像，其中所述第二荧光图像是另一个荧光图像。

7.根据方面1所述的机器人手术系统，其中所述立体视频显示系统进一步包含：

具有多个模式的立体显示模式选择器，其包括：

第一模式，其中选择所述第一模式之后，所述立体视频显示系统输出所述可见光图像和所述另一个荧光图像的实时三维融合；和

第二模式，其中选择所述第二模式之后，所述立体视频显示系统仅输出所述实时三维可见光图像。

8.根据方面1所述的机器人手术系统，其中所述可见光图像和所述另一个荧光图像的实时三维融合仅展示在该立体图像的一只眼中。

9.根据方面1所述的机器人手术系统，其中

所述可见光成像系统以第一帧率捕获所述可见光图像；和

所述备用成像系统以第二帧率捕获所述荧光图像，其中所述第一帧率不同于所述第二帧率。

10.根据方面9所述的机器人手术系统，其中所述备用成像系统以第一帧率将荧光图像提供给所述立体视频显示系统，并且进一步地其中所述备用成像系统生成人工荧光图像从而使所述荧光图像与所述可见光图像同步。

11.一种方法，其包含：

从由机器人手术系统的机器人操纵臂握持和设置的内窥镜中捕获组织的可见光图像；

从所述内窥镜中捕获至少一部分所述组织的备用图像，其中所述备用图像包含荧光图像；和

在实时立体视频显示中向操作所述机器人手术系统的人员输出与所捕获的荧光图像关联的另一个荧光图像和所述可见光图像的融合。

12.根据方面11的方法，进一步包含：

使组合光源耦合到所述内窥镜从而将来自所述组合光源的光提供给所述内窥镜。

13.根据方面12所述的方法

可以在保持所述组合光源耦合到所述内窥镜时，将所述组合光源中的光源换成不同光源。

14.根据方面11所述的方法，其进一步包含：

生成荧光图像立体像对，所述荧光图像立体像对是另一个荧光图像。

15.根据方面11所述的方法，其进一步包含：

利用与所述可见光图像关联的信息生成第二可见光图像，其中所述可见光图像和所述第二可见光图像是可见光图像的立体像对。

16.根据方面15所述的方法，其进一步包含：

利用与所述荧光图像关联的信息生成第二荧光图像，其中所述第二荧光图像是另一个荧光图像。

17.根据方面11所述的方法，其进一步包含：

在所述外科医生选择第一显示模式之后，在所述实时立体视频显示中输出所述可见光图像和所述荧光图像的融合；和

在所述外科医生选择第二显示模式之后，在所述实时立体视频显示中仅输出所述可见光图像。

18.根据方面11所述的方法，其中在实时立体视频显示中向操作所述机器人手术系统的人员输出与所捕获的荧光图像关联的另一荧光图像和所述可见光图像的融合，进一步包含仅在实时立体视频显示的一只眼中输出所述可见光图像和所述另一荧光图像的融合。

19.根据方面11所述的方法，其中

所述捕获组织的可见光图像进一步包含以第一帧率捕获所述可见光图像；和

所述捕获至少一部分所述组织的荧光图像进一步包含以第二帧率捕获所述备用图像，其中所述第一帧率不同于所述第二帧率。

20.根据方面19所述的方法，其进一步包含：

生成人工荧光图像从而使所述荧光图像与所述可见光图像同步。

【来自01701】

对于利用所捕获的荧光图像和所捕获的立体可见光图像的手术机器人放大立体可视化系统，与其关联的方面包括但不局限于：

1.一种机器人手术系统，其包含：

由所述机器人手术系统握持和设置的照射通道，其中来自所述照射通道的光照射组织；

由所述机器人手术系统握持和设置的立体光通道，其用于传输来自所述组织的第一光；

由所述机器人手术系统握持和设置的另一光通道，其用于传输来自所述组织的第二光，其中所述立体光通道不同于所述另一光通道；

图像捕获系统，其包含：

耦合到所述立体光通道的第一捕获单元，其中所述第一捕获单元从所述第一光中捕获立体可见光图像；和

耦合到所述另一光通道的第二捕获单元，其中所述第二捕获单元从所述第二光中捕获荧光图像；

耦合到所述第一捕获单元和所述第二捕获单元的智能图像处理系统，用于接收所述立体可见光图像和所述荧光图像，其中所述智能图像处理系统生成荧光图像立体像对；和

耦合到所述智能图像处理系统和所述图像捕获系统的放大立体显示系统，其中所述放大立体显示系统输出实时立体图像，所述实时立体图像包含所述立体可见光图像和所述荧光图像立体像对的三维融合。

2.根据方面1所述的机器人手术系统，其中所述照射通道和所述立体光通道在第一内窥镜中，而所述另一光通道在不同于所述第一内窥镜的第二内窥镜中。

3.根据方面2所述的机器人手术系统，其进一步包含：

所述第二内窥镜中的另一照射通道。

4.根据方面1所述的机器人手术系统，其中所述智能图像处理系统进一步包含：

单步校准，其中所述单步校准确定使来自所述立体光通道和所述另一光通道的图像对准所必需的位移。

5.根据方面1所述的机器人手术系统，其中所述智能图像处理系统进一步包含：

空间图像配准，用于使所述荧光图像与所述立体可见光图像中的可见光左图像和所述立体可见光图像中的可见光右图像配准。

6.根据方面1所述的机器人手术系统，其中所述智能图像处理系统进一步包含：

图像扭曲器，用于将所述荧光图像转化成荧光图像立体像对。

7.根据方面1所述的机器人手术系统，其中所述放大立体显示系统进一步包含：

第一融合电路，其耦合到荧光图像立体像对中的荧光左图像，并耦合到所述立体可见光图像的可见光左图像；

第二融合电路，其耦合到所述荧光图像立体像对中的荧光右图像，并耦合到所述立体可见光图像的可见光右图像；

立体显示，其耦合到所述第一融合电路和所述第二融合电路。

8.根据方面7所述的机器人手术系统，其中所述放大立体显示系统进一步包含：

显示模式选择，其耦合到所述第一融合电路和所述第二融合电路并具有多个可选模式，

其中选择第一模式之后，所述立体显示提供所述立体可见光图像和所述荧光图像立体像对的实时三维融合；和

选择第二模式之后，所述立体显示仅提供所述实时立体可见光图像。

9.根据方面1所述的机器人手术系统，其进一步包含：

耦合到所述照射通路的组合光源，其包含：

提供第一照射光的第一光源；和

提供第二照射光的第二光源，其中所述第二照射光不同于所述第一照射光。

10.一种机器人手术系统，其包含：

由所述机器人手术系统握持和设置的立体光通道，用于传输来自所述组织的第一光；

由所述机器人手术系统握持和设置的另一光通道，用于传输来自所述组织的第二光，其中所述立体光通道不同于所述另一光通道；

耦合到所述照射通路的组合光源，其包含：

提供第一照射光的第一光源；和

提供第二照射光的第二光源，其中所述第二照射光不同于所述第一照射光；

图像捕获系统，其包含：

耦合到所述第一捕获单元和所述第二捕获单元的智能图像处理系统，从而接收所述立体可见光图像和所述荧光图像，其包含：

单步校准，其中所述单步校准确定使来自所述立体光通道和所述另一光通道的图像对准所必需的位移；

耦合到所述单步校准的空间图像配准，用于使所述荧光图像与所述立体可见光图像中的可见光左图像和所述立体可见光图像中的可见光右图像配准；

耦合到所述空间图像配准和所述荧光图像的图像扭曲器，用于将所述荧光图像转化成荧光图像立体像对；和

耦合到所述智能图像处理系统和所述图像捕获系统的放大立体显示系统，其中所述放大立体显示系统输出实时立体图像，其包含所述立体可见光图像和所述荧光图像立体像对的三维融合，并且进一步地其中所述放大立体显示系统包含：

第一融合电路，其耦合到荧光图像立体像对中的荧光左图像和所述立体可见光图像的可见光左图像；

第二融合电路，其耦合到所述荧光图像立体像对中的荧光右图像和所述立体可见光图像的可见光右图像；

立体显示，其耦合到所述第一融合电路和所述第二融合电路；和

11.一种方法，其包含：

从由机器人手术系统握持和设置的立体光通路中捕获组织的立体可见光图像；

从由所述机器人手术系统握持和设置的另一光通道中捕获所述组织的荧光图像，其中所述立体光通道不同于所述另一光通道；

利用来自所述立体可见光图像的信息处理所述荧光图像，从而生成荧光图像立体像对；和

生成所述组织的实时放大立体图像，所述实时放大立体图像包含所述立体可见光图像和所述荧光图像立体像对的三维融合。

12.根据方面11所述的方法，其中所述照射通道和所述立体光通道在第一内窥镜中，而另一光通道在不同于所述第一内窥镜的第二内窥镜中。

13.根据方面11所述的方法，其中所述处理所述荧光图像进一步包含：

确定使来自所述立体光通道和所述另一光通道的图像对准所必需的位移。

14.根据方面11所述的方法，其中所述处理所述荧光图像进一步包含：

使所述荧光图像与所述立体可见光图像中的可见光左图像和所述立体可见光图像中的可见光右图像在空间上配准。

15.根据方面11所述的方法，其中所述处理所述荧光图像进一步包含：

利用图像扭曲器将所述荧光图像转化成荧光图像立体像对。

16.根据方面11所述的方法，其中所述生成实时放大立体图像进一步包含：

融合所述荧光图像立体像对中的荧光左图像和所述立体可见光图像的可见光左图像；和

融合所述荧光图像立体像对中的荧光右图像和所述立体可见光图像的可见光右图像。

17.根据方面11所述的方法，其进一步包含：

在所述外科医生选择第一显示模式之后，生成所述组织的实时放大立体图像，所述实时放大立体图像包含所述立体可见光图像和所述荧光图像立体像对的三维融合；和

在所述外科医生选择第二显示模式之后，仅生成所述立体可见光图像。

18.根据方面12所述的方法，其进一步包含：

使组合光源耦合到所述第一内窥镜从而将来自所述组合光源的光提供给所述内窥镜。

19.根据方面12所述的方法，其进一步包含：

使来自组合光源中第一光源的光耦合到所述第一内窥镜中的照射通路；和

使来自组合光源中第二光源的光耦合到所述第二内窥镜中的照射通路。

【来自01702】

对于利用所捕获的与荧光图像结合的可见光图像和所捕获的可见光图像的手术机器人放大立体可视化系统，与其关联的方面包括但不局限于：

1.一种机器人手术系统，其包含：

由所述机器人手术系统握持和设置的内窥镜，包含：

传输来自组织的光的立体光通道；

耦合到所述立体光通道的捕获单元，其中所述捕获单元从所述光中捕获(1)可见光第一图像和(2)与荧光第二图像结合的可见光第二图像，其中所述第一图像是左图像和右图像中的一个，并且所述第二图像是所述左图像和所述右图像中的另一个；

智能图像处理系统，其耦合到所述捕获单元从而接收(1)所述可见光第一图像和(2)所述与荧光第二图像结合的可见光第二图像，其中所述智能图像处理系统生成荧光图像立体像对的至少一个荧光图像和可见光图像；和

耦合到所述智能图像处理系统和所述图像捕获系统的放大立体显示系统，其中所述放大立体显示系统输出包括三维展示的实时立体图像，所述三维展示包含：在一只眼中所述荧光图像立体像对的至少一个荧光图像与所述可见光第一和第二图像中的一个的融合，和在另一只眼中所述可见光第一和第二图像中的另一个。

2.根据方面1所述的机器人手术系统，其中所述内窥镜进一步包含照射通道，并且所述机器人手术系统进一步包含：

耦合到所述照射通道的组合光源，包含：

提供第一照射光的第一光源；和

3.根据方面2所述的机器人手术系统，其进一步包含：

使所述照射通道连接到所述组合光源的光纤束。

4.根据方面3所述的机器人手术系统，其中当保持所述至少光纤束连接到所述照射通道和所述组合光源时，可以将所述第二光源换成不同光源。

空间图像配准，用于使所述可见光第一图像和与所述荧光第二图像结合的所述可见光第二图像配准。

第一图像扭曲器，用于将所述可见光第一图像转化成可见光第二图像。

7.根据方面6所述的机器人手术系统，其中所述智能图像处理系统进一步包含：

第一图像减法器，其耦合到所述第一图像扭曲器从而接收所述可见光第二图像，并耦合到所述捕获单元从而接收与所述荧光第二图像结合的所述可见光第二图像，其中所述图像减法器从与所述荧光第二图像结合的所述可见光第二图像中减去所述可见光第二图像从而生成荧光第二图像。

8.根据方面7所述的机器人手术系统，其中所述智能图像处理系统进一步包含：

第二图像减法器，其耦合到(i)所述第一图像减法器从而接收所述荧光第二图像，并耦合到(ii)所述捕获单元从而接收与所述荧光第二图像结合的所述可见光第二图像，其中所述第二图像减法器从与所述荧光第二图像结合的所述可见光第二图像中减去所述荧光第二图像从而生成另一个可见光第二图像。

9.根据方面7所述的机器人手术系统，其中所述智能图像处理系统进一步包含：

第二图像扭曲器，用于将所述荧光第二图像转化成荧光第一图像。

10.根据方面7所述的机器人手术系统，其中所述放大立体显示系统进一步包含：

耦合到所述可见光第一图像的第一融合电路；

耦合到所述荧光第二图像和所述可见光第二图像的第二融合电路；和

耦合到所述第一融合电路和所述第二融合电路的立体显示。

11.根据方面10所述的机器人手术系统，其中所述放大立体显示系统进一步包含：

显示模式选择，其耦合到所述第一和第二融合电路并具有多个可选择模式，

其中选择第一模式之后，所述立体显示仅提供来自所述可见光第一和第二图像的实时三维可见光图像；和

选择第二模式之后，所述立体显示提供所述三维展示，其包含：在一只眼中所述荧光图像立体像对的至少一个荧光图像与所述可见光第一和第二图像中的一个的融合，和在另一只眼中所述可见光第一和第二图像中的另一个。

12.一种机器人手术系统，其包含：

由所述机器人手术系统握持和设置的内窥镜，包含：

传输来自组织的光的立体光通道；

智能图像处理系统，其耦合到所述捕获单元从而接收(1)所述可见光第一图像和(2)所述与荧光第二图像结合的可见光第二图像，其中所述智能图像处理系统进一步包含：

空间图像配准，用于使所述可见光第一图像和与所述荧光第二图像结合的所述可见光第二图像配准；

耦合到所述空间图像配准的第一图像扭曲器，用于将所述可见光第一图像转化成可见光第二图像；

第一图像减法器，其耦合到所述第一图像扭曲器从而接收所述可见光第二图像，并耦合到所述捕获单元从而接收与所述荧光第二图像结合的所述可见光第二图像，其中所述图像减法器从与所述荧光第二图像结合的所述可见光第二图像中减去所述可见光第二图像从而生成荧光第二图像；

第二图像减法器，其耦合到(i)所述第一图像减法器从而接收所述荧光第二图像，并耦合到(ii)所述捕获单元从而接收与所述荧光第二图像结合的所述可见光第二图像，其中所述第二图像减法器从与所述荧光第二图像结合的所述可见光第二图像中减去所述荧光第二图像从而生成另一种可见光第二图像；

耦合到所述空间图像配准和所述荧光第二图像的第二图像扭曲器，用于将所述荧光第二图像转化成荧光第一图像；和

耦合到所述智能图像处理系统和所述图像捕获系统的放大立体显示系统，其中所述放大立体显示系统输出包括三维展示的实时立体图像，所述三维展示包含：在一只眼中所述荧光第一图像和第二图像中的至少一个荧光图像与所述可见光第一和第二图像中的一个的融合，和在另一只眼中所述可见光第一和第二图像中的另一个。

13.一种方法，其包含：

从由机器人手术系统握持和设置的内窥镜中的立体光通路中捕获组织的可见光第一图像；

从由机器人手术系统握持和设置的内窥镜中的立体通路中捕获与所述组织的荧光第二图像结合的可见光第二图像，其中所述第一图像是左图像和右图像中的一个，并且所述第二图像是所述左图像和右图像中的另一个；

处理所述可见光第一图像和与所述荧光第二图像结合的所述可见光第二图像，从而生成荧光图像立体像对的至少一个荧光图像和可见光第二图像；和

生成包含三维展示的实时立体图像，所述三维展示包含：在一只眼中荧光图像立体像对的至少一个荧光图像与所述可见光第一和第二图像中的一个的融合，和在另一只眼中可见光第一和第二图像中的另一个。

14.根据方面13所述的方法，其中所述处理进一步包含：

使所述可见光第一图像和与所述荧光第二图像结合的可见光第二图像在空间上配准。

15.根据方面13所述的方法，其中所述处理包含：

利用图像扭曲器将所述可见光第一图像转化成可见光第二图像。

16.根据方面15所述的方法，其中所述处理进一步包含：

从与所述荧光第二图像结合的所述可见光第二图像中减去所述可见光第二图像从而生成荧光第二图像。

17.根据方面16的方法，其中所述处理进一步包含：

从与所述荧光第二图像结合的所述可见光第二图像中减去所述荧光第二图像从而生成另一可见光第二图像。

18.根据方面17的方法，其中所述处理进一步包含：

利用另一个图像扭曲器将所述荧光第二图像转化成荧光第一图像。

【来自01703】

利用具有改进型棱镜的摄像机单元的手术机器人放大立体可视化系统的各方面包括但不限于：

1.一种机器人手术系统，其包含：

由所述机器人手术系统握持和设置的内窥镜，其中所述内窥镜包括立体光通道，所述立体光通道包括传输来自组织的第一光的第一通道和传输来自所述组织的第二光的第二通道；

图像捕获系统，包含：

耦合到所述第一通道的第一捕获单元，其中所述第一捕获单元从所述第一光中捕获与荧光左图像结合的可见光左图像的可见光第一颜色分量，从所述第一光中捕获所述可见光左图像的可见光第二颜色分量，和从所述第一光中捕获所述可见光左图像的可见光第三颜色分量；和

耦合到所述第二通道的第二捕获单元，其中所述第二捕获单元从所述第二光中捕获与荧光右图像结合的可见光右图像的可见光第一颜色分量，从所述第二光中捕获所述可见光右图像的可见光第二颜色分量，和从所述第二光中捕获所述可见光右图像的可见光第三颜色分量；和

耦合到所述图像捕获系统的放大立体显示系统，其中所述放大立体显示系统输出所述组织至少一部分的实时立体图像，所述实时立体图像包括包含所述可见光左和右图像以及所述荧光左和右图像的三维展示。

2.根据方面1所述的机器人手术系统：

其中所述第一捕获单元包括棱镜；

其中所述棱镜将所述第一光分成与所述荧光左图像的荧光波长范围分量结合的可见光左图像的可见光第一颜色分量、所述可见光左图像的可见光第二颜色分量，和所述可见光左图像的可见光第三颜色分量；和

其中所述荧光左图像的荧光波长范围分量是从所述第一、第二、和第三可见光颜色分量的波长范围中分离和去除的。

3.根据方面1所述的机器人手术系统：

其中所述第二捕获单元包括棱镜；

其中所述棱镜将所述第二光分成与所述荧光右图像的荧光波长范围分量结合的可见光右图像的可见光第一颜色分量、所述可见光右图像的可见光第二颜色分量，和所述可见光右图像的可见光第三颜色分量；和

其中所述荧光右图像的荧光波长范围分量是从所述第一、第二、和第三可见光颜色分量的波长范围中分离和去除的。

4.根据方面1所述的机器人手术系统：

其中所述可见光第一颜色分量包含蓝色或绿色分量。

5.根据方面1所述的机器人手术系统：

其中所述内窥镜进一步包含照射通道；

其中所述机器人手术系统进一步包含耦合到所述照射通道的组合光源；和

其中所述组合光源包含：

提供第一照射光的第一光源；和

提供第二照射光的第二光源；

其中所述第二照射光不同于所述第一照射光；和

其中所述第二照射光激发所述荧光。

6.根据方面5所述的机器人手术系统，其进一步包含：

使所述照射通道连接到是所述组合光源的光纤束。

7.根据方面5所述的机器人手术系统，其进一步包含：

第三光源；

其中所述第三光源在不同于所述第二光源激发所述荧光的波长处激发第二荧光；和

其中当保持所述光纤束连接到所述照射通道和所述组合光源时，可以交换所述第二和所述第三光源。

8.根据方面5所述的机器人手术系统：

其中所述放大立体显示系统进一步包含耦合到所述第二照射光源的显示模式选择；

其中所述显示模式选择包含多个可选择模式；

其中在选择第一模式之后，所述放大立体显示系统输出所述实时立体图像；和

其中在选择第二模式之后，所述第二照射光中止，仅所述第一照射光被提供给所述组织；和

其中所述放大立体显示系统输出仅包含可见光左和右图像的另一个实时立体图像。

9.根据方面5所述的机器人手术系统：

其中所述放大立体显示系统进一步包含耦合到所述第一照射光源的显示模式选择；

其中所述显示模式选择包含多个可选择模式；

其中在选择第二模式之后，所述第一照射光中止，仅所述第二照射光被提供给所述组织；和

其中所述放大立体显示系统输出仅包含荧光左和右图像的另一个实时立体图像。

10.一种机器人手术系统，其包含：

捕获左立体组织图像和右立体组织图像的立体内窥镜；

其中所述左和右立体组织图像各自包含第一可见光颜色分量波长范围内的光、第二可见光颜色分量波长范围内的光、第三可见光颜色分量波长范围内的光，和荧光分量波长范围中的光；和

其中所述荧光分量波长范围与所述第一、第二和第三可见光颜色分量波长范围基本不同；

包含第一传感器、第二传感器和第三传感器的左图像捕获单元；

其中所述第一传感器基本上仅接收所述第一可见光颜色分量波长范围内的光和所述荧光分量波长范围内的光；

其中所述第二传感器基本上仅接收所述第二可见光颜色分量波长范围内的光，和

其中所述第三传感器基本上仅接收所述第三可见光颜色分量波长范围内的光；和

包含第四传感器、第五传感器和第六传感器的右图像捕获单元；

其中所述第四传感器基本上仅接收所述第一可见光颜色分量波长范围内的光和所述荧光分量波长范围内的光；

其中所述第五传感器基本上仅接收所述第二可见光颜色分量波长范围内的光，和

其中所述第六传感器基本上仅接收所述第三可见光颜色分量波长范围内的光。

11.根据方面10所述的系统：

其中所述第一可见光颜色分量波长范围包含蓝色波长峰；和其中所述荧光分量波长范围包含可见光谱范围之外的波长峰。

12.根据方面10所述的系统：

其中所述第一可见光颜色分量波长范围包含绿色波长峰；和其中所述荧光分量波长范围包含可见光谱范围之外的波长峰。

13.根据方面10所述的系统：

其中所述左图像捕获单元和所述右图像捕获单元中的一个或两个都包含棱镜组件，所述棱镜组件将相应的立体组织图像分成与所述荧光分量波长范围结合的第一可见光颜色分量波长范围、所述第二可见光颜色分量波长范围，和所述第三可见光颜色分量波长范围。

14.根据方面10所述的系统：

其中所述内窥镜由所述机器人手术系统握持和设置。

15.一种方法，其包含；

捕获左立体组织图像和右立体组织图像，

其中所述左和右立体组织图像各自包含第一可见光颜色分量波长范围内的光、第二可见光颜色分量波长范围内的光、第三可见光颜色分量波长范围内的光，和荧光分量波长范围内的光，和

通过以下操作感测所捕获的左图像，即，通过基本上只将所述第一可见光颜色分量波长范围内的光和所述荧光分量波长范围内的光导向到第一传感器，基本上只将所述第二可见光颜色分量波长范围内的光导向到第二传感器，和基本上只将所述第三可见光颜色分量波长范围内的光导向到第三传感器；和

通过以下操作感测所捕获的右图像，即，通过基本上只将所述第一可见光颜色分量波长范围内的光和所述荧光分量波长范围内的光导向到第四传感器，基本上只将所述第二可见光颜色分量波长范围内的光导向到第五传感器，和基本上只将所述第三可见光颜色分量波长范围内的光导向到第六传感器。

16.根据方面15所述的方法，其进一步包含：

利用一个或多个棱镜将来自组织图像的光分成所述第一可见光颜色分量波长范围、第二可见光颜色分量波长范围、第三可见光颜色分量波长范围和荧光分量波长范围。

17.根据方面15所述的方法：

其中所述第一可见光颜色分量波长范围内中的光包含蓝色波长峰。

18.根据方面15所述的方法：

其中所述第一可见光颜色分量波长范围中的光包含绿色波长峰。

19.根据方面15所述的方法，其进一步包含：

在第一情况下用第一光源和第二光源照射组织；和

在第二情况下仅用所述第一光源照射组织；

其中所述第一光源照射所述组织，用于感测所述第一、第二和第三可见光颜色分量波长范围；和

其中所述第二光源照射所述组织，用于感测所述荧光分量波长范围。

20.根据方面15所述的方法，其进一步包含：

在第一情况下用第一光源和第二光源照射组织；和

在第二情况下仅用所述第二光源照射组织；

21.根据方面15所述的方法，其进一步包含：

在第一情况下用第一光源和第二光源照射组织；和

在第二情况下用所述第一光源和第三光源照射组织；

其中所述第一光源照射所述组织，用于感测所述第一、第二和第三可见光颜色分量波长范围；

其中所述第二光源照射所述组织，用于感测第一荧光分量波长范围；和

其中所述第三光源照射所述组织，用于感测不同于所述第一荧光波长范围的第二荧光分量波长范围。

【来自01704】

利用时分双工(time duplexing)的手术机器人放大立体可视化系统的各方面包括，但不限于：

1.一种机器人手术系统，其包含：

由所述机器人手术系统握持和设置的内窥镜，其包含：

传输来自组织的光的立体光通道；

耦合到所述立体光通道的捕获单元，其中所述捕获单元：

(1)在第一时间从所述光中捕获第一图像，和

(2)在不同于第一时间的第二时间从所述光中捕获第二图像，其中所述第一图像和第二图像中仅有一个包括荧光图像与可见光图像的结合；并且所述第一图像和第二图像中的另一个是可见光图像；和

耦合到所述捕获单元的智能图像处理系统，其中所述智能图像处理系统利用所捕获的荧光图像生成人工荧光图像；和

耦合到所述智能图像处理系统的放大立体显示系统，其中所述放大立体显示系统输出包含所述人工荧光图像的所述组织至少一部分的放大立体图像。

2.根据方面1所述的机器人手术系统，其中所述荧光图像包含荧光左图像和荧光右图像，并且进一步地其中

所述第一图像包含图像的立体像对，其包括：

与所述荧光左图像结合的可见光左图像；和

与所述荧光右图像结合的可见光右图像。

3.根据方面2所述的机器人手术系统，其中所述智能图像处理系统利用所述荧光左和右图像生成所述第二时间的荧光图像的人工立体像对，以便所述荧光图像的人工立体像对与荧光左和右图像关联并从而与所述第一图像关联。

4.根据方面2所述的机器人手术系统，其中所述第二图像包含立体可见光图像，并且进一步地其中放大立体图像进一步包含：

在所述第二时间捕获的立体可见光图像与所述第二时间的荧光图像的人工立体像对的融合。

5.根据方面1所述的机器人手术系统，其中所述内窥镜进一步包含照射通道，并且所述机器人手术系统进一步包含：

耦合到所述照射通道的组合光源，其包含：

提供第一照射光的第一光源；和

提供第二照射光的第二光源，

其中所述第二照射光不同于所述第一照射光；和

所述第二照射光与所述第一和第二图像之一的捕获同步。

6.根据方面5所述的机器人手术系统，其进一步包含：

使所述照射通道连接到所述组合光源的光纤束。

7.根据方面6所述的机器人手术系统，其中当保持所述至少光纤束连接到所述照射通道和所述组合光源时，可以将所述第二光源换成不同的光源。

8.根据方面3所述的机器人手术系统，其中所述智能图像处理系统进一步包含：

使所述第一图像和所述第二图像配准的时间图像配准。

9.根据方面8所述的机器人手术系统，其中所述智能图像处理系统进一步包含：

耦合到所述时间图像配准的图像扭曲器，用于将与在所述第一时间捕获的所述荧光右图像结合的所述可见光右图像转化成与所述第二时间的荧光图像结合的右可见光图像。

10.根据方面3所述的机器人手术系统，其中所述智能图像处理系统进一步包含：

图像扭曲器，用于将与在所述第一时间捕获的所述荧光右图像结合的可见光右图像转化成与所述第二时间的荧光图像结合的右可见光图像。

11.根据方面10所述的机器人手术系统，其中所述智能图像处理系统进一步包含：

图像减法器，其耦合到所述图像扭曲器从而接收与所述第二时间的荧光图像结合的所述右可见光图像，并耦合到所述捕获单元从而接收在所述第二时间捕获的可见光右图像，其中所述图像减法器从与所述第二时间的荧光图像结合的所述右可见光图像中减去在所述第二时间捕获的可见光右图像，从而在所述第二时间的荧光图像的人工立体像对中生成所述第二时间的人工荧光右图像。

12.根据方面10所述的机器人手术系统，其中所述智能图像处理系统进一步包含：

耦合到所述人工荧光右图像的合成荧光右图像系统，其中所述合成荧光右图像系统利用所述人工荧光右图像生成合成的荧光右图像。

13.根据方面1所述的机器人手术系统，其中，

所述第一图像包含可见光图像，其包括可见光第一颜色分量、可见光第二颜色分量和可见光第三颜色分量；和

所述第二图像包含与荧光图像结合的可见光图像，其包括：与所述荧光图像结合的可见光第一颜色分量、可见光第二颜色分量和可见光第三颜色分量。

14.根据方面13所述的机器人手术系统，其中所述智能图像处理系统进一步包含荧光图像和伪影生成器，用以生成(1)用于所述可见光第二和第三颜色分量的伪影，和(2)所述荧光图像加所述可见光第一颜色分量的伪影。

15.根据方面14所述的机器人手术系统，其中所述智能图像处理系统进一步包含耦合到所述荧光图像和伪影生成器的荧光图像提取器，其中所述荧光图像提取器生成所述第二时间的第一荧光图像。

16.根据方面15所述的机器人手术系统，其中所述智能图像处理系统进一步包含耦合到所述荧光图像生成器的荧光图像增强系统，其中所述荧光图像增强系统接收所述第一荧光图像并生成所述人工荧光图像。

17.一种方法，其包含：

在第一时间从在第一时间由机器人手术系统握持和设置的内窥镜中立体光通路的光中捕获第一图像，其中所述光来自组织；

在不同于所述第一时间的第二时间从所述光中捕获第二图像，其中所述第一图像和第二图像中仅有一个包括荧光图像和可见光图像的结合，并且所述第一图像和第二图像中的另一个是可见光图像；

利用所捕获的荧光图像生成人工荧光图像；和

生成包含人工荧光图像的所述组织至少一部分的放大立体图像。

18.根据方面17所述的方法，其中所述荧光图像包含荧光左图像和荧光右图像，并且进一步地其中

所述第一图像包含图像的立体像对，其包括：

与所述荧光左图像结合的可见光左图像；和

与所述荧光右图像结合的可见光右图像。

19.根据方面17所述的方法，其中，

20.根据方面19所述的方法，其进一步包含：

生成(1)用于所述可见光第二和第三颜色分量的伪影，和(2)所述荧光图像加所述可见光第一颜色分量的伪影。

Claims

1.一种机器人手术系统，其包含：

2.一种方法，其包含：

3.一种机器人手术系统，其包含：

图像捕获系统，其包含：

耦合到所述第一捕获单元和所述第二捕获单元的智能图像处理系统，从而接收所述立体可见光图像和所述荧光图像，其中所述智能图像处理系统生成荧光图像立体像对；和

耦合到所述智能图像处理系统和所述图像捕获系统的放大立体显示系统，其中所述放大立体显示系统输出实时立体图像，所述实时立体图像包含所述荧光图像立体像对和所述立体可见光图像的三维融合。

4.一种机器人手术系统，其包含：

耦合到所述照射通路的组合光源，其包含：

提供第一照射光的第一光源；和

图像捕获系统，其包含：

智能图像处理系统，其被耦合到所述第一捕获单元和所述第二捕获单元以接收所述立体可见光图像和所述荧光图像，其包含：

耦合到所述单步校准的空间图像配准，用于使所述荧光图像与所述立体可见光图像中的可见光左图像和所述立体可见光图像中的可见光右图像配准；和

耦合到所述智能图像处理系统和所述图像捕获系统的放大立体显示系统，其中所述放大立体显示系统输出实时立体图像，其包含所述荧光图像立体像对和所述立体可见光图像的三维融合，并且进一步地其中所述放大立体显示系统包含：

第一融合电路，其耦合到所述荧光图像立体像对中的荧光左图像和所述立体可见光图像的可见光左图像；

第二融合电路，其耦合到所述荧光图像立体像对中的荧光右图像，和所述立体可见光图像的可见光右图像；

显示模式选择，其耦合到所述第一融合电路和所述第二融合电路并具有多个可选择的模式，

其中选择第一模式之后，所述立体显示提供所述立体可见光图像和所述荧光图像立体像对的实时三维融合，和选择第二模式之后，所述立体显示仅提供所述实时立体可见光图像。

5.一种方法，其包含：

生成所述组织的实时放大立体图像，其包含所述立体可见光图像和所述荧光图像立体像对的三维融合。

6.一种机器人手术系统，其包含：

由所述机器人手术系统握持和设置的内窥镜，包含：

传输来自组织的光的立体光通道；

智能图像处理系统，其耦合到所述捕获单元从而接收(1)所述可见光第一图像和(2)与所述荧光第二图像结合的所述可见光第二图像，其中所述智能图像处理系统生成可见光第二图像和荧光图像立体像对的至少一个荧光图像；和

耦合到所述智能图像处理系统和所述图像捕获系统的放大立体显示系统，其中所述放大立体显示系统输出包括三维展示的实时立体图像，所述三维展示包含：在一只眼中荧光图像立体像对的所述至少一个荧光图像与所述可见光第一和第二图像中的一个的融合，和在另一只眼中所述可见光第一和第二图像中的另一个。

7.一种机器人手术系统，其包含：

由所述机器人手术系统握持和设置的内窥镜，包含：

传输来自组织的光的立体光通道；

智能图像处理系统，其耦合到所述捕获单元从而接收(1)所述可见光第一图像和(2)与所述荧光第二图像结合的所述可见光第二图像，其中所述智能图像处理系统进一步包含：

第一图像减法器，其耦合到所述第一图像扭曲器以接收所述可见光第二图像并耦合到所述捕获单元以接收与所述荧光第二图像结合的所述可见光第二图像，其中所述图像减法器从与所述荧光第二图像结合的所述可见光第二图像中减去所述可见光第二图像从而生成荧光第二图像；

第二图像减法器，其耦合到所述第一图像减法器以接收所述荧光第二图像，并耦合到所述捕获单元以接收与所述荧光第二图像结合的所述可见光第二图像，其中所述第二图像减法器从与所述荧光第二图像结合的所述可见光第二图像中减去所述荧光第二图像从而生成另一可见光第二图像；

耦合到所述智能图像处理系统和所述图像捕获系统的放大立体显示系统，其中所述放大立体显示系统输出包含三维展示的实时立体图像，所述三维展示包含：在一只眼中所述荧光第一和第二图像中的至少一个荧光图像与所述可见光第一和第二图像中的一个的融合，和在另一只眼中所述可见光第一和第二图像中的另一个。

8.一种方法，其包含：

从由所述机器人手术系统握持和设置的所述内窥镜中的所述立体光通路中捕获与所述组织的荧光第二图像结合的可见光第二图像，其中所述第一图像是左图像和右图像中的一个，并且所述第二图像是所述左图像和该右图像中的另一个；

处理所述可见光第一图像和与所述荧光第二图像结合的所述可见光第二图像，从而生成荧光图像立体像对的至少一个荧光图像，和可见光第二图像；和

生成包含三维展示的实时立体图像，所述三维展示包含：在一只眼中荧光图像立体像对的所述至少一个荧光图像与所述可见光第一和第二图像中的一个的融合，和在另一只眼中所述可见光第一和第二图像中的另一个。

9.一种机器人手术系统，其包含：

由机器人手术系统握持和设置的内窥镜，其中所述内窥镜包含立体光通道，其包括用于传输来自组织的第一光的第一通道和用于传输来自所述组织的第二光的第二通道；

图像捕获系统，包含：

10.一种机器人手术系统，其包含：

捕获左立体组织图像和右立体组织图像的立体内窥镜；

其中所述左和右立体组织图像各自包含第一可见光颜色分量波长范围内的光、第二可见光颜色分量波长范围内的光、第三可见光颜色分量波长范围内的光，和荧光分量波长范围内的光；和

其中所述荧光分量波长范围与所述第一、第二和第三可见光颜色分量波长范围基本不同；包含第一传感器、第二传感器和第三传感器的左图像捕获单元；

11.一种方法，其包含；

捕获左立体组织图像和右立体组织图像，

12.一种机器人手术系统，其包含：

由所述机器人手术系统握持和设置的内窥镜，其包含：

传输来自组织的光的立体光通道；

耦合到所述立体光通道的捕获单元，其中所述捕获单元：

(1)在第一时间从所述光中捕获第一图像，和

(2)在不同于所述第一时间的第二时间从所述光中捕获第二图像，其中所述第一图像和所述第二图像中仅有一个包括荧光图像与可见光图像的结合；并且所述第一图像和所述第二图像中的另一个是可见光图像；和

13.一种方法，其包含：

在第一时间从由机器人手术系统握持和设置的内窥镜中立体光通路的光中捕获第一图像，其中所述光来自组织；

在不同于所述第一时间的第二时间从所述光中捕获第二图像，其中所述第一图像和所述第二图像中仅有一个包括荧光图像和可见光图像的结合，并且所述第一图像和所述第二图像中的另一个是可见光图像；

利用所捕获的荧光图像生成人工荧光图像；和