CN103142309A - 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵 - Google Patents

Abstract

本发明是医用机器人系统中的计算机显示屏上的辅助图像现实和操纵。为了帮助外科医生进行医疗程序，一般表示正被治疗的解剖结构的内部细节的辅助图像被显示在计算机显示屏上，并由外科医生操纵来补充一般只是解剖结构的外视图的主图像。在第一模式控制机器人手臂的主输入设备可以由外科医生转换至第二模式，以便替换用作类似鼠标的定位设备，用以帮助该外科医生进行这种辅助信息的显示和操纵。

Description

医用机器人系统中的计算机显示屏上的辅助图像显示和操纵

本申请是申请日为2006年10月19的名称为：“医用机器人系统中的计算机显示屏上的辅助图像显示和操纵”的中国专利申请200680038944.1的分案申请。

相关申请的横向参考

本申请要求2005年10月20日提交的美国临时申请S.N.60/728,450的优先权，该申请通过参考并入本文。

技术领域

本发明一般涉及医用机器人系统，更具体地涉及辅助图像在医用机器人系统中计算机显示屏上的显示和操纵。

背景技术

诸如那些用于执行微创外科手术过程的医用机器人系统对传统开放式外科技术提供了许多的好处，包括较少的疼痛、更短的住院时间、更快地恢复到正常活动，最小的伤疤、减少的恢复时间以及对组织具有较少的损伤。因此，对利用医用机器人系统进行微创外科手术的需求是很强烈且不断增大的。

医用机器人系统的一个示例是美国加利福尼亚州Sunnyvale的直观外科手术公司（Intuitive Surgical,Inc.）的da

外科手术系统，这个da

系统包括外科医生控制台、病人手推车、高性能3D显示系统，以及直观外科手术公司专有的EndoWrist^TM关节连接器械，这些器械按照人类腕关节模制，所以当被添加到固定所述外科手术器械的机器人手臂装置的动作时，它们允许至少完整6个自由度的动作，而这和开放式外科手术的正常动作相当。

da

外科医生控制台具有一个高分辨率立体视频显示屏，其具有两个步进扫描阴极射线管（CRT）。该系统提供了比偏光（polarization）、快门眼镜（shutter eyeglass）或其它技术更高的保真度。通过物镜和一系列反射镜，每个眼睛观察呈现左眼或右眼观察范围的独立的CRT。在整个手术中，外科医生舒适地坐着观察这一显示器，这样就使得这里成为外科医生显示和操纵三维手术中图像的理想位置。

除了显示在显示屏上的主图像，同样经常需要能够同时观察辅助信息来获得更好的理解或者帮助正在处理的医疗程序。辅助信息可以各种模式提供，例如文本信息，条形图，二维画中画图像，以及相对于它们的主图像副本对准且完全重叠的二维或三维图像。

对于辅助图像，这些图像可以通过利用例如超声波扫描术、磁共振成像、计算机化轴向X线断层摄影术以及荧光透视法等技术在手术前或手术中获得，以便提供正接受治疗的解剖结构的内部细节。该信息然后被用于补充该解剖结构的外部视图，如由局部放置的照相机获得的视图。

虽然存在过多的辅助信息源以及显示这种信息的方式，对辅助图像的显示和操纵的改进对于更好地帮助外科医生利用医用机器人系统执行医疗程序仍然是有用的。

发明内容

因此，本发明的各个方面的一个目的是一种方法，该方法用于将包括治疗过程的效果的辅助信息显示为此时由治疗程序所治疗的解剖结构的图像的覆盖图或者与此时由所述程序所治疗的解剖结构的图像另外相关联的覆盖图。

本发明的各个方面的另一个目的是一种方法，该方法用于以用户指定的放大因数将解剖结构的辅助图像的体绘制的用户选定部分显示为计算机显示屏上的与解剖结构的主图像对准的覆盖图。

本发明的各个方面的另一个目的是一种医用机器人系统，其具有主输入设备，该主输入设备可以用于手动地在计算机显示器的三维空间内对准图像。

本发明的各个方面的另一个目的是一种医用机器人系统，其具有主输入设备，该主输入设备可以用于限定在计算机显示器的三维空间内解剖结构的体绘制的剖面。

本发明的各个方面的另一个目的是一种医用机器人系统，其具有主输入设备，该主输入设备可以用于选择性地修改计算机显示器的三维空间内的解剖结构的体绘制的各部分或细节。

本发明的各个方面的另一个目的是一种医用机器人系统，其具有主输入设备，该主输入设备可以用于改变在计算机显示屏上显示的解剖结构的体绘制的参数。

本发明的各个方面的又一个目的是一种医用机器人系统，其具有主输入设备，该主输入设备可以在图像获取模式以及图像操纵模式之间切换，在所述图像获取模式中所述主输入设备控制图像获取设备的移动，在所述图像操纵模式中，所述主输入设备控制由所述图像获取设备获取的图像在计算机显示屏上的显示和操纵。

这些以及其他目的通过本发明的各个方面来实现，其中简单地说，一个方面是在计算机显示屏上显示通过治疗仪器施加到解剖结构上的治疗程序的效果的方法，该方法包括：生成辅助图像，该辅助图像指示通过治疗仪器施加到解剖结构上的治疗程序的效果；并且在所述治疗程序期间，在计算机显示屏上显示被所述辅助图像覆盖的解剖结构的主图像。

另一个方面是一种用于在计算机显示屏上将解剖结构的辅助图像的选定部分显示为解剖结构的主图像的覆盖图的方法，所述方法包括：将可移动窗与定位设备相关联，以便所述可移动窗可以利用所述定位设备在所述计算机显示屏上定位；将解剖结构的辅助图像与所述解剖结构的主图像相对准，以便在共同的坐标系内处于相同的位置和方位；以及在所述计算机显示屏上显示所述主图像，并且将所述对准的辅助图像的一部分显示为所述可移动窗中的主图像的覆盖图，其中所述辅助图像的一部分对应于所述可移动窗的相同坐标。

又一方面是一种医用机器人系统，该系统包括：用于获取图像的图像获取设备；固定所述图像获取设备的机器人手臂；计算机显示屏；适合于由用户以多个自由度运动来操纵的主输入设备；以及一个处理器，该处理器被配置成当所述主输入设备处于图像获取模式时根据主输入设备的用户操纵来控制所述图像获取设备的移动，以及当所述主输入设备处于图像操纵模式时根据主输入设备的用户操纵来控制从获取的图像中得到的图像在计算机显示屏上的显示。

本发明的各个方面的其他目的、特征以及优势从下面本发明的优选实施例的描述与附图的结合中将会变得很明显。

附图说明

图1图解说明采用了利用本发明的各个方面的医用机器人系统的手术室的俯视图。

图2图解说明了利用本发明的各个方面的医用机器人系统的结构图。

图3图解说明了可用于利用本发明的各个方面的医用机器人系统的腹腔镜超声波探测器。

图4图解说明了利用本发明的各个方面，在计算机显示屏上显示由治疗仪器施加至解剖结构上的治疗程序的效果的方法的流程图。

图5图解说明了解剖结构的外部视图，其中治疗仪器插入所述解剖结构用于执行治疗程序。

图6图解说明了解剖结构的内部视图，其中可辨别的治疗效果显示为由治疗传感设备所获取。

图7图解说明了一种计算机显示屏，该显示屏显示由一种利用本发明的各个方面的方法生成的、由所述治疗程序所医治的解剖结构的治疗程序的效果。

图8图解说明了一种方法的流程图，所述方法利用本发明的各个方面，在计算机显示屏上、在用户可移动的放大镜内显示解剖结构的辅助图像的选定部分。

图9图解说明了一种方法的流程图，所述方法利用本发明的各个方面，以一个指定的放大因数显示解剖结构的内部视图的可操纵窗。

图10图解说明了解剖结构的辅助图像和呈现不同的放大因数的辅助图像的同心区域，用于通过利用本发明的各个方面的方法在计算机显示屏上、在一个放大镜内的显示。

图11图解说明了一种计算机显示屏，在该显示屏上，在放大透镜内观察解剖结构的主图像和所述解剖结构的辅助图像的覆盖部分，如由利用本发明的各个方面的方法显示的。

图12图解说明了一种方法的流程图，该方法由医用机器人系统内的处理器执行，用于利用本发明的各个方面操纵显示在计算机显示屏上的物体。

具体实施方式

图1作为示例图解说明了采用医用机器人系统的手术室的俯视图。在此情形中所述医用机器人系统是微创机器人外科手术（MIRS）系统100，其包括由外科医生（S）使用的控制台（C），同时在一个或多个助手（A）的帮助下，对一个躺在手术台（O）上的病人（P）执行微创诊断或外科手术程序。

控制台包括主显示器104（在本文中也被称作“显示屏”或“计算机显示屏”），用于给外科医生显示病人体内手术部位的一个或多个图像，以及可能的其他信息。同样包括的是主输入设备107，108（在本文中也被称作“主操纵器”），一个或多个脚踏板105，106，用于接收来自外科医生的声音命令的麦克风103，以及处理器102。主输入设备107，108可以包括许多种输入设备中的任意一个或多个，所述多种输入设备例如操纵杆、手套、扳机枪、手持控制器、夹具（gripper）等等。处理器102优选是可以集成在控制台内或者以常规方式另外连接到控制台的个人电脑。

外科医生通过操纵主输入设备107，108来利用MIRS系统100执行医疗程序，从而处理器102促使这些主输入设备各自关联的从动臂121，122相应地操纵它们各自可拆装地连接和固定的外科手术仪器138，139（在本文中也被称作“工具”），同时外科医生可以在主显示器104上观察手术部位的三维（3D）图像。

工具138，139优选是直观外科手术公司专有的EndoWrist^TM关节仪器，其模仿人类腕关节，所以在附加到固定所述工具的机器人手臂的动作之后，它们可以允许至少完整六个自由度的动作，这可以与开放式外科手术的正常动作相匹敌。这种工具的其他细节可以在共同拥有的名为“具有更强灵巧性和灵敏度的用于执行微创外科手术的手术仪器的腕关节机构（Wrist Mechanism for Surgical Instrument forPerforming Minimally Invasive Surgery with Enhanced Dexterity andSensitivity）”的第5,797,900号美国专利中找到，这篇专利通过参考并入本文。在每一个工具138，139的操作末端是一个可操纵的末端执行器，例如夹子，抓紧器、剪刀，订书机，刀片，针，针托，或者供电探测器（energizable probe）等。

主显示器104具有高分辨率立体视频显示器，具有两个步进扫描阴极射线管（CRT）。该系统提供了比偏光、快门眼镜或其它技术更高的保真度。通过物镜和一系列反射镜，每个眼睛观察一个呈现左边或右边眼睛观察范围的独立的CRT。在整个手术过程中，外科医生可以舒服地坐着观察显示器，这样就使得这里成为外科医生显示和操纵三维手术中图像的理想位置。

立体内窥镜140为处理器102提供右照相机视图和左照相机视图，以便该处理器可以根据程序化的指令来处理信息，并使其显示在主显示器104上。腹腔镜超声（LUS）探测器150为处理器102提供解剖结构的二维（2D）超声波图像切片，以便处理器102可以生成三维超声波计算机模型或解剖结构的体积绘制。

每一个工具138，139以及内窥镜140和LUS探测器150，优选通过套管或套管针（未示出）或者其他工具引导件被插入病人体内，以便通过相应的微创切口（例如切口161）延伸至手术部位。每一个从动臂121-124包括从动操纵器和调整臂。从动操纵臂可以利用电机控制接头（也被称作“活动接头”）自动地移动，以便操纵和/或移动他们各自固定的工具。调整臂可以通过正常释放制动的接头（也被称作“调整接头”）被手动操纵，从而水平和垂直地定位从动臂121-124，以便他们各自的工具可以被插入套管内。

同时使用的外科手术工具的数量并且因此用于系统100中的从动臂的数量除其它因素外通常取决于将要执行的医疗程序以及手术室内的空间限制。如果需要改变一个或多个在程序中使用的工具，助手可以从从动臂上移除不再使用的工具，并用另外的工具来替代，例如在手术室内的盘子（T）中的工具131。

优选地，主显示器104位于外科医生手附近的位置，以便其可以显示定向的投影图像，从而使得外科医生感受到他或她实际上是径直向下观察手术部位。最后，工具138，139的图像优选看起来像是基本上处于外科医生手所在的位置，即使观察点（即内窥镜140和LUS探测器150的观察点）并不是来自图像的观察点。

另外，实时图像优选投影到透视图中，以便外科医生能够通过关联的主输入设备107或108，来操作工具如138或139的末端执行器，好像观察基本真实呈现的工作场所。真实的呈现的意思是图像的呈现是模拟实际操纵工具的操作者的视点的真实透视图。因此，处理器102将工具的坐标转换成感知位置，以便该透视图是在一个开腔外科手术过程中一个人以外科医生眼睛的水平在内窥镜140直接观察工具的时候所可以看到图像。

处理器102在系统100内执行各种功能。其执行的一个重要的功能是通过总线110上的控制信号，转换主输入设备107和108的机械运动并将其传递到它们关联的从动臂121和122上，以便外科医生有效地操纵它们各自的工具138和139。另一个重要的功能是实现本文参考图4-12所描述的各种方法。

虽然描述为处理器，应该理解的是处理器102在实际中可以通过硬件、软件和固件的任意组合来实现。同样，本文所描述的它的功能可以通过一个单元来实现，或者分成不同的部分，每一个部分也可以由硬件、软件和固件的任意组合来实现。当分成不同的部分的时候，各个部分可以集中在一个位置或者为了分布式处理的目的而分布在整个系统100上。

在执行医疗程序之前，LUS探测器150获取的超声波图像，立体内窥镜140获取的右2D照相机图像和左2D照相机图像，以及使用从动臂121-124的运动学和其感测的接头位置确定的末端执行器的位置和方位，被校准并相互对准。

从动臂123和124可以用与从动臂121和122操纵工具138和139相同的方式来操纵内窥镜140和LUS探测器150。但是，当系统中仅存在两个主输入设备的时候，例如系统100中的主输入设备107，108，为了让外科医生可以手动控制内窥镜140或LUS探测器150的运动，需要临时将主输入设备107和108中的一个主输入设备和外科医生需要手动控制的内窥镜140或LUS探测器150相关联，同时其之前关联的工具和从动操纵器被锁定在适当位置。

虽然没有在这个示例中示出，但解剖结构的主图像和辅助图像的其他来源可以包括在系统100中，例如那些通常用于获取超声波，磁共振，计算机化轴向X线断层摄影术，以及荧光透视成像。这些成像来源中的每一个都可以在手术前使用，以及在适当和实用的时候可以在手术中使用。

图2作为示例图解说明了系统100的模块图。在这个系统中，存在两个主输入设备107和108。主输入设备107根据其控制转换机构211所处的模式来控制工具138或立体内窥镜140的运动，主输入设备108根据其控制转换机构231所处的模式来控制工具139或LUS探测器150的运动。

控制转换机构211和231可以由外科医生通过采用以下方式被设置在第一或第二模式：声音命令、实际设置在主输入设备107和108上或其附近的开关、控制台上的脚踏板105和106、或者外科医生对适当图标的选择或者显示在主显示器104或辅助显示器（未示出）上的其他图形化用户接口选择装置。

当控制转换机构211被设置在第一模式下时，其引起主控制器202与从控制器203通信，以便外科医生对主输入107的操纵可以导致通过从动臂121的工具138的相应运动，同时内窥镜140被锁定在合适位置。另一方面，当控制转换机构211设置在第二模式时，其引起主控制器202和从控制器233通信，以便外科医生对主输入107的操纵可以导致由从动臂123的内窥镜140的相应运动，同时工具138被锁定在适当位置。

同样地，当控制转换机构231设置在第一模式时，其引起主输入控制器108和从控制器223通信，以便外科医生对主输入108的操纵可以导致从动臂122的工具139的相应运动。但是，在这种情况下，LUS探测器150没必要锁定在适当位置。其运动可以由辅助控制器242根据存储在存储器240中的指令来引导。辅助控制器242同样通过主输入108提供触觉反馈给外科医生，这种触觉反馈反映了LUS探测器压力传感器247的读数。另一方面，当控制转换机构231设置在第二模式时，其引起主控制器108和从控制器243通信，以便外科医生对主输入108的操纵可以导致从动臂124的LUS探测器150的相应运动，同时工具139被锁定在适当位置。

在控制转换机构实现转换回其第一或正常模式时，其关联的主输入设备优选重新设置在其转换之前的位置。替代性的，主输入设备可以保持在其当前位置以及主输入设备及其重新调整的关联工具从动臂的运动学关系，从而一旦控制转换机构转换回其第一或正常模式时，不会出现工具的异常运动。控制转换的其他细节参见例如共同拥有的名为“合作微创远程外科手术系统（Cooperative Minimally InvasiveTelesurgical System）”的美国专利第6,659,939号，该专利通过参考并入本文。

第三控制转换机构241被提供以允许其用户在图像获取模式和图像操纵模式之间转换，同时控制转换机构231处于其第二模式（即将主输入设备108和LUS探测器150关联）。在其第一或正常模式（即图像获取模式），LUS探测器150通常由主输入设备108如上所述控制。在其第二模式（即图像操纵模式），LUS探测器150不受主输入设备108控制，使得主输入设备108可以自由地执行其他任务，例如在显示屏104上显示和操纵辅助图像，特别是执行某些如本文所描述的用户特定功能。但是应注意，虽然LUS探测器150在控制转换机构241的第二模式下可以不被主输入设备108所控制，其仍然可能根据存储在存储器240内的指令自动摇动或在辅助控制器242的控制下运动，所以最近的解剖结构的三维体积绘制可以从LUS探测器150获取的一系列二维超声波图像切片中生成。LUS探测器150的这种运动以及其他编程的运动的其他细节，可以参见共同拥有的于2006年6月6日提交的名为“腹腔镜超声波机器人外科手术系统（Laparoscopic UltrasoundRobotic Surgical System）”的第11/447,668号美国专利申请，该申请通过参考并入本文。

辅助控制器242也执行与LUS探测器150和内窥镜140相关的其他功能。其接收来自LUS探测器压力传感器247的输出，该压力传感器感测施加到LUS探测器150上的压力，并通过主控制器222将压力信息反馈给主输入设备108，以便外科医生可以感受这些压力，即使他或她那时没有直接控制LUS探测器150的运动。因此，对病人的潜在的伤害被最小化，因为外科医生有能力立即停止LUS探测器150的任何运动，以及有能力对这种运动采取手动控制。

辅助控制器242的另一个关键功能是根据用户选择的显示选项，促使来自内窥镜140和LUS探测器150的所处理的信息显示在主显示器104上。这种处理的示例包括从通过超声波处理器246接收的来自LUS探测器150的二维超声波图像切片中生成三维超声图像，促使对应于选择的位置和方位的三维或二维超声波图像显示在主显示器104的画中画窗内，促使解剖结构的三维或二维超声波图像覆盖显示在主显示器104上的解剖结构的照相机获取的图像，并执行下文中参考图4－12所描述的方法。

虽然显示为独立的实体，主输入控制器202和222，从控制器203，233，223和243，以及辅助控制器242优选实现为由处理器102执行的软件模块，以及控制转换机构211，231，241的某些模式转换方面。另一方面，超声波处理器246和视频处理器236，可以是软件模块或插入与处理器102耦连或与处理器102集成的适当插槽的独立电路板或卡，以将从这些图像获取设备中接收的信号转换成适合显示在主显示器104上的信号，和/或用于在显示在主显示器104之前由辅助控制器242进行的其他处理。

虽然本示例假设了每个主输入设备仅由一个预先指定的工具从动机器人手臂或一个预先指定的图像获取设备机器人手臂共享，替代性的布置在本发明的整个范围内也是可行的，并且可以设想的。例如，一种不同的布置，其中每个主输入设备可以是可选择地与任意一个工具所关联，并且图像获取设备机器人手臂也是可能的，甚至优选适合用于最大灵活性。同样，虽然内窥镜机器人手臂在这个示例中示出由单个主输入设备控制，但它也可以通过使用两个主输入设备来控制，以给出能够“抓取图像”的感觉，并将其移动至不同位置或视角。更进一步地，虽然只在这个示例中示出内窥镜和LUS探测器，但其他图像获取设备，例如那些用于获取照相机、超声波、磁共振、计算机化轴向X线断层摄影术以及荧光透视成像的图像获取设备也完全可以预期用于系统100中，虽然不是这些图像获取设备中的每一个都有必要由主输入设备中的一个来操纵。

图3图解说明了LUS探测器150的一个实施例的侧视图。LUS探测器150是一种灵巧工具，其优选具有两个远端自由度。驱动杆或电缆（未示出）的相反端物理连接于LUS传感器301的近端，并且延伸穿过伸长轴312的内部通道，利用传统的推拉类型动作来机械地控制LUS传感器301的倾斜和偏转运动。

LUS传感器301获取最接近的解剖结构的二维超声波切片，并通过LUS电缆304将该信息传送回处理器102。虽然图示为LUS电缆304延伸在伸长轴312的外面，但它也可以在伸长轴312内延伸，蛤壳式护套321包围伸长轴312和LUS电缆304，以提供穿过套管331（或套管针）时的优异的密封。基准标记302和322被设置在LUS传感器301和护套321上用于视频跟踪目的。

图4作为示例图解说明了在显示屏104上显示治疗程序或治疗的效果的方法的流程图。在401，解剖结构的主图像通过图像获取设备获取。作为示例，图5图示说明了通过内窥镜140获取的主图像，其包括解剖结构501和部分插入解剖结构501中的用来在解剖结构501内的治疗部位处执行治疗程序的治疗仪器511。在另一应用中，治疗仪器511仅仅需要接触或接近解剖结构501，以便执行治疗程序。

主图像可以在治疗程序之前或者治疗程序期间获取。在程序之前获取的主图像被称作“手术前”图像，而在程序期间获取的主图像称作“手术中”图像。当主图像是手术前图像时，该图像在程序期间通常不会更新，以便该方法通常仅使用一幅主图像。另一方面，当主图像是手术中图像，该图像优选在程序期间周期性地更新，以便该方法在这种情况中可以使用多幅主图像。

手术前图像一般利用例如超声波成像、磁共振成像（MRI）、或计算机化轴向X线断层摄影术（CAT）等技术来获取。手术中图像可以通过例如立体内窥镜140或LUS探测器150等图像获取设备在手术或治疗部位获取，或者它们可以通过例如那些用来获取手术前图像的技术从外部获取。

在图4的402中，治疗仪器被打开，或者被激活或通电，以便能够在病人体内的解剖结构施加治疗。这个仪器通常具有用于施加治疗能量至异常组织（例如有病或损坏的组织）的末端。作为这种治疗程序的一个示例，射频切除（RFA）可以通过利用RFA探测器施加热量至有病组织部位，用于破坏有病的组织，例如解剖结构（例如肝脏）内的肿瘤。其他程序的示例，包括高强度聚焦超声波（HIFU）以及烧灼等。这种治疗仪器可以是连接至从动臂121和122的工具138和139中的一个，以便其可以被外科医生通过主/从控制系统移动至治疗部位并在治疗部位处操纵。

在403，生成辅助图像，其中该辅助图像指示对解剖结构的治疗程序的效果。该辅助图像可以是解剖结构的真实图像，其可以通过由感测设备获取的信息提供，或者由感测设备获取的信息所生成，其中所述感测设备能够感测治疗程序的效果。替代地，辅助图像可以是指示治疗效果的计算机模型，其可以利用这种效果的经验导出或常规确定规则来生成。在后一种情况下，计算机模型通常是通过以下因素来确定的体积形态（volumetric shape）：诸如治疗仪器的末端的几何形状、由治疗仪器的末端施加至解剖结构的热量或能量级别，以及解剖结构内承受治疗程序的治疗部位周围组织的特征。

作为由感测设备获取的信息提供或者从中导出的辅助图像的示例，图6图解说明了解剖结构601的三维超声波图像，其已经按照惯例从由LUS探测器150获取的二维超声波切片中导出。在这个示例中，所示出的切除体621表示治疗程序的效果，其中RFA探测器612的末端613被施加至解剖结构601的肿瘤部位。在这种情况下，因为由于肿瘤部位处的周围组织的发热和坏死引起的组织性质的变化，切除体的生长是看得见的。

在404中，主图像和辅助图像被对准，以便具有相同比例，并且在共同的参考坐标系内参考相同的位置和方位。这种类型的对准是公知的。作为示例，可以参考共同拥有的题为“用于显示和调整远程外科手术系统的图像显示器上的辅助信息以帮助执行外科手术程序的手术人员的设备和方法（Devices and Methods for Presenting andRegulating Auxiliary Information on an Image Display of a TelesurgicalSystem to Assist an Operator in Performing a Surgical Procedure）”的第6,522,906号美国专利，该专利通过参考并入本文。

在405中，在治疗程序进行期间，主图像显示在显示屏104上，并且所对准的辅助图像优选覆盖在主图像上，以便在每一个图像中的相应的结构或物体显示为相同尺寸，并在显示屏104上处于相同的位置和方位。以这种方式，治疗程序的效果被显示为正承受治疗程序的解剖结构上的覆盖图。

作为示例，图7示出了示例性显示屏104，其中为演示目的被区别标示为虚线的辅助图像覆盖在图5的主图像上。当辅助图像通过感测设备获取的信息提供或者源自于感测设备获取的信息时，治疗效果521，治疗仪器512，以及仪器末端513通过获取的信息提供或者从所获取的信息中得到。另一方面，当治疗效果521通过利用经验值确定的规则被生成为体形态的计算机模型时，治疗仪器512和仪器末端513可以至少部分地基于其操纵从动臂的关节位置通过利用传统工具跟踪计算来确定。

在图4的406中，该方法然后检查治疗仪器是否已经关闭。如果已经关闭，则意味着治疗程序已经结束，则该方法结束。另一方面，如果治疗仪器仍然开启，则该方法认为治疗程序仍然在进行，并进入到407来确定是否已获取新的主图像。如果没有获取新的主图像，例如，因为主图像是手术前图像，则该方法跳回403以更新辅助图像，并继续循环通过403－407，直到通过检测到治疗仪器已经关闭来判断治疗程序已完成为止。另一方面，如果新的主图像已经获取，例如，因为主图像是手术中图像，则该方法在跳回步骤403之前，在步骤408更新主图像，以更新辅助图像，并继续循环通过403－408，直到通过检测到治疗仪器已经关闭来判断治疗程序已经完成为止。

图8作为示例图解说明了一种方法的流程图，该方法用于在限定为放大镜的镜头区域的窗内，以用户指定的放大倍率将解剖结构的辅助图像显示为解剖结构的主图像的对准覆盖图，显示在显示屏104上的辅助图像的位置和方位可以由用户利用关联的定位设备操纵。

在801，该方法通过关联放大镜和定位设备而开始，以使定位设备移动，显示在显示屏104上的放大镜（特别地，其镜头可以被视为窗）以相应的方式移动。在这种情况下可以通过使用定位设备或者通过使放大镜有效地放大定位设备的光标，以传统方式“抓取”放大镜来完成关联。由于显示屏104优选为三维显示器，因此定位设备相应地优选为具有方位指示能力的三维定位设备。

在802中，当前主图像和辅助图像可用于处理。在这个示例中主图像由内窥镜140获取，而辅助图像通过LUS探测器150获取。但是，主图像和辅助图像的其他源也可以在实践本发明的时候使用和考虑，包括从相同源获取的主图像和辅助图像。作为最后一种情况的示例，一种高分辨率照相机可以获取分辨率高于用来在显示屏上显示图像的分辨率的图像。在这种情况下，由照相机获取的高分辨率图像可以作为辅助图像处理，而显示在显示屏上的缩小的图像可以作为主图像处理。

在803中，用户可选择的放大因数被读取。放大因数是用户可通过，例如定位设备上的标度盘或轮式类型的控制来选择的。替代地，用户可通过显示在显示屏104上的菜单中的用户选项来选择、或者通过任何其他传统的用户可选择参数值配置或机构来选择。如果用户没有做出选择，则可以使用默认值，例如放大因数为1.0。

在804中，主图像和辅助图像被对准，以便具有相同尺寸，并在同一个参考坐标系中参考相同位置和方位，从而使这两个图像中相应的结构和物体具有相同的坐标。

在805，主图像被显示在显示屏104上，例如解剖结构的三维视图，在这种情况下，解剖结构的辅助图像的二维切片的一部分可以显示为放大镜的镜头中的覆盖图。在这种情况下的二维切片的这一部分由具有中心点——该中心点具有和放大镜镜头的中心点相同的位置和方位——的窗区域以及由放大因数确定的区域来限定，所以二维切片的这一部分可以被放大或缩小，以便适合放大镜的镜头。因为放大镜的位置和方位可由定位设备来操纵至显示屏104的三维空间内的任意位置，包括那些在解剖结构体内的位置，所以二维切片可以对应于任何用户选择的在解剖结构内的深度。和物理放大镜不同，其视图不被限制于仅仅检查解剖结构的外表。对于805的其他细节，请参见下文中参考图9的描述。

在806中，该方法然后确定放大镜命令是否已经通过以下方式被关闭：例如用户释放放大镜的“抓取”图像、或者通过某些类型的传统开关装置的使用来断开放大镜和定位设备之间的关联。如果关联已经关闭，则该方法结束。另一方面，如果没有关闭，则该方法跳回802，并继续循环通过802－806，直到放大镜命令被检测出已经关闭。应该注意，每一次该方法从802-806循环一遍，主图像和辅助图像的更新的版本（如果有的话），利用用户可选择放大因数（如果有的话）的更新值处理。因此，如果该方法以足够快的方式通过该循环，则如果用户在旋转标度盘或手柄来调节放大因数，同时在放大镜的选定位置和方位观察解剖结构的时候，用户将不会发现任何明显的延迟。

图9作为示例图解说明了一种方法的流程图，该方法用于在用户可移动放大镜的镜头内，以指定的放大因数，将解剖结构的辅助图像视图显示为解剖结构的主图像视图的覆盖图。如前面所解释的，这种方法可以用来执行图8的805。

在901中，放大镜镜头的中心点的当前位置和方位在显示屏104的三维空间内确定。在902中，辅助图像的对准的体模型的二维切片从那个位置和方位的透视图中获取，并且该二维切片的一部分按照优选具有相同位置和方位的中心点的辅助视图窗的限定来获得。根据放大镜的当前放大因数，在这种情况下的辅助视图窗的区域与镜头的区域成反比。在903中，由辅助视图窗限定的二维切片的部分被放大因数放大，以便其适合放大镜的镜头区域，并且在904中，解剖结构的主图像被显示在显示屏104上，其中辅助图像的二维切片的放大部分覆盖在显示于显示屏104上的放大镜的镜头区域上。

作为901－904的一个形象化示例，在图10－11中示出解剖结构的辅助图像的二维切片1001，并且二维切片的两个圆形窗1021和1022如图10所示。在这种情况下，每一个窗1021，1022在形状上对应于放大镜1120的镜头1121的形状并具有和它相同的中心点，该放大镜1120的镜头1121和解剖结构的外部视图1101的主图像一起被显示在显示屏104上，如图11所示。在这个示例中，窗1021的区域等于镜头1121的区域，所以如果放大因数为1.0，那么窗1021可以被选择用于902。另一方面，窗1022的区域小于镜头1121的区域，所以如果放大因数大于1.0，那么窗1022可以被选择用于902。应该注意虽然放大镜1120的镜头1121被描述为圆形的，但它还可以具有其他适合用作放大镜的普通形状，例如矩形。

图12作为示例图解说明了一种方法的流程图，该方法当主输入设备处于图像操纵模式下的时候，响应于关联主输入设备的相应操纵，由医用机器人系统的处理器执行，用于操纵显示在医用机器人系统的计算机显示屏上的图像目标。

作为这种方法的开始，医用机器人系统包括图像获取设备用来获取图像（例如内窥镜140或LUS探测器150）；固定图像获取设备的机器人手臂（例如分别固定内窥镜140和LUS探测器150的从动臂123或从动臂124）；计算机显示屏（例如显示屏104）；适合于由用户以多个自由度的运动操纵的主输入设备（例如主输入设备107或主输入设备108）；以及处理器（例如辅助控制器242），其被配置成当主输入设备处于图像获取模式时根据主输入设备的用户操纵来控制图像获取设备的运动，并且当主输入设备处于图像操纵模式时根据主输入设备的用户操纵来控制从所获取的图像中得到的图像在计算机显示屏上的显示。

在1201中，处理器检测到用户已经将主输入设备设置成图像操纵模式。实现这一目的的一种方式是利用提供在医用机器人系统中的主离合机构，该主离合机构支持将主输入设备从其关联的机器人手臂脱离，从而主输入设备可以被替换。当这个模式通过某些机构被激活的时候，例如用户按压主输入设备上的按钮，按下踏板，或者利用声音激活，所关联的机器人手臂被锁定在适当位置，并且光标（象征性地为手的图标化表示，例如

）在计算机显示屏上呈现给用户。当用户离开这种模式的时候，光标被隐藏，并且如果需要的话，机器人手臂的控制可以在重新调整其位置之后恢复。

在1202中，处理器确定控制输入（例如通过按压常规鼠标的按钮而产生的）是否已经被用户激活。在这种情况下控制输入可以通过按压主输入设备上提供的按钮来激活，或者它可以通过其他方式来激活，例如挤压主输入设备上提供的夹具（gripper）或钳子（pincher）结构。关于离合的其他细节，主输入设备上的夹具或钳子结构，参见例如共同拥有的题为“合作微创远程外科手术系统（Cooperative MinimallyInvasive Telesurgical System）”的第6,659,939号美国专利，该专利通过参考并入本文。如果在1202控制输入没有被确定为“打开（on）”（即激活或），则处理器等待，直到其接收到“打开”指示或者退出图像操纵模式。

在1203，在接收控制输入处于“on”的指示之后，处理器进行检查以观察光标是否处于显示在计算机显示屏上的物体上（或者在预定距离内）。如果没有处于“on”，则在1204，处理器引起用户可选择的项目或活动的菜单显示在计算机显示屏上，并且在1205，处理器接收用户所做出的菜单选择并对该选择进行反应。

用户可选择菜单项目的示例包括：放大镜，剖面，擦除器，以及图像对准。如果用户选择了放大镜项目，则放大镜的图像被显示在计算机显示屏上，并且参考图8所描述的方法由处理器来执行。当用户完成放大镜功能时，则用户可以任何常规方式来指示退出该功能，并且该处理器返回1202。

如果用户选择了剖面选项，则在计算机显示屏上显示一个平面（或者显示固定尺寸的或用户可调节尺寸的矩形窗）。主输入设备然后可以和这个平面关联，以便用户可以以定位设备的方式通过操纵主输入设备，将该平面定位和定向在计算机显示屏的三维空间内。如果该平面被操纵和移动以便和解剖结构的体绘制相交，则其用作限定在交叉处的体绘制的二维切片的剖面。替代地，主输入设备可以和解剖结构的体绘制相关联，然后可以被操纵和移动，进而和所显示的平面相交来限定剖面。平面或体绘制与定位设备的关联可以参考图8的801的放大镜所描述的基本相同的方式执行。

二维切片然后也可以在自己的平面内被观察到，或者在计算机显示屏上的一个独立窗（例如画中画）中被观察。用户可以进一步选择剖面项目的额外时间来限定体绘制的附加的二维切片，用于同时在计算机显示屏上的各个平面或画中画窗内观察。为了不会使得计算机显示屏和不需要的剖面切片之间产生混乱，提供了常规的删除功能，以便用户可以可选择性地删除任何剖面或它们的相应切片。当完成剖面功能时，用户可以然后以任意常规方式指示退出该功能，并且处理器返回1202。

如果用户选择擦除器项目，则在计算机显示屏上显示擦除器。主输入设备则和该擦除器相关联，以便用户可以通过以定位设备的方式操纵主输入设备，以在计算机显示屏的三维空间内定位和定向该擦除器。在这种情况下定位设备和擦除器的关联可以利用和上文参考图8的801的放大镜所描述的基本相同的方式来进行。如果擦除器被操纵和移动以至于和解剖结构的体绘制相交，则当擦除器经过体绘制时，其用来完全或者部份地擦除这种绘制。如果用户选择部分擦除（或者预先编程在处理器中），则每当该擦除器穿过体绘制，则解剖结构的更少的细节被显示。在这种情况下更少的细节指得是绘制的粗糙度/精细度，或者可以指三维体绘制中的各层次的剥离。擦除的所有这些特性或选项均可以利用常规方式选择。如果用户不注意地擦除了体绘制的一部分，常规的撤消特征被提供以允许用户撤消该擦除。当用户完成擦除功能之后，则用户可以以任意常规方式指示退出该功能，并且处理器返回1202。

除了上面描述的擦除功能，其他空间局部修改功能也可以考虑并被视为落入本发明的完整范围，包括选择性地锐化，增亮，或者将显示的图像的一部分加彩色以增强或加亮其在选定区域的可视性。每一个这种空间局部修改功能可以利用上文中参考擦除器功能所描述的基本相同的方法来执行。

如果用户选择图像对准项目，则处理器在再次跳回程序1202之前如下文中参考1212所描述的那样记录这种选择用于未来的活动/动作。在这种情况下，图像对准一般包括手动对准物体（例如解剖结构）的辅助图像和该物体的相应的主图像。

上面描述的菜单方法的一种替代是，当进入图像操纵模式时分别指示如上所描述的每一个可选择项目的图标被显示在计算机显示屏上，并通过用户点击它们而被选择，在这之后，处理器继续按照参考它们相应的菜单项目的选择所描述的那样执行。

现在继续参考图12所描述的方法，当在1201中接收到控制输入处于on的指示之后，并且在1202中判定光标被定位在显示于计算机显示屏上的物体上或其周围（不是图标）之后，处理器优选将光标从手的图标化表示转换成，例如，正在抓握的手来指示物体已经被“抓取”，并且已经准备通过主输入设备的用户操纵来移动或“拖曳”至在计算机显示屏的三维空间的另一个位置和/或方位。

在1206，处理器判定用户是否已经指示选定物体的显示参数将要被调整，如果用户已经指示，则在1207，处理器执行显示器调整。作为示例，主输入设备上的标度盘可以被用户转动来指示对显示参数的显示调整，该显示参数关联于根据选定物体上的标度盘的旋转量将要被调整的标度盘。替代性地，如果主输入设备装备有夹具，则该夹具可以被旋转，以便用作标度盘。可以这种方式调整的显示参数的示例包括：显示在计算机显示屏上的选定物体的亮度、对比度、色彩和细节级别（例如网格粗糙度/精细度，或者体元或三维象素的大小和/或不透明度）。

然后处理器继续进行至1208，以在1203得到肯定的判定之后判定该光标是否已在“抓取”所述选定物体之后移动。如果还没有移动，则处理器跳回1202，因为用户此时可能仅希望调整选定物体的显示参数。另一方面，如果光标在“抓取”该选定物体之后已经移动，则在1209，处理器移动选定物体至新的光标位置。因为光标操作在计算机显示屏的三维空间，当它“进入”显示屏时，它可以通过例如逐渐减小尺寸来指示这种移动。当计算机显示屏的三维性质通过使用该物体的右二维视图和左二维视图而实现的时候，这两个视图之间的交叉点的差异就表示深度值，在右视图和左视图中光标图像的深度值的降低可以指示该光标“进入”显示屏。

可选择地，在1210，触觉反馈可以被提供返回主输入设备，以便在1209中用户在“被抓取”的物体移动时可以感测到反馈力。作为示例，通过将物体的虚拟质量和惯性与物体关联起来，用户和物体的相互作用可以触觉地反馈至用户，以便用户感受当和物体接触或者当物体被加速或减速时平移和旋转物体的反馈力。在1210中执行的这种触觉反馈仅仅对于某些类型的物体可以实现，对于其他的物体不能实现，或者它仅仅在某些环境下有用。这种触觉反馈的使用还可以被施加到放大镜和/或如上所述用于限定剖面的平面的移动。但是，在这种情况下，触觉反馈可以被限制为仅在放大镜或平面进入感兴趣的解剖结构内之后出现。

在1211，处理器判定控制输入是否仍处于“on”状态。如果控制仍然处于“on”，则处理器跳回1208，以跟踪和响应光标运动。另一方面，如果控制已经关闭，例如通过用户释放最初被按压以指示控制“打开”的按钮，则在1212中处理器执行选定的菜单活动。

例如，如果响应于处理器在1204显示菜单（或者替代性地，用户点击指示该项的图标），图像对准项目已经被用户选定，则已经移动的物体和现在排成一列的并且此时正显示在计算机显示屏上的该物体的另一图像相对准，以便它们在共同坐标系（例如计算机显示屏的坐标系）内，具有相同的坐标和方位值。这一特征有助于，例如，解剖结构的辅助图像（例如利用LUS探测器150获得的）与解剖结构的主图像（例如利用内窥镜140获得的）的手动对准。在初始对准之后，主图像中的对应物体的位置和/方位的变化可以被镜像，以便引起辅助图像内的选定物体的相应变化，从而保持它相对于主图像的相对位置/方位。当用户完成图像对准功能时，处理器返回1202。

虽然本发明的各个方面已经参考优选实施例进行描述，但应该理解的是本发明有权利在所附权利要求的完整范围内进行完整保护。

Claims (26)

1.一种医用机器人系统，包括：

用于获取图像的图像获取设备；

固定所述图像获取设备的机器人手臂；

计算机显示屏；

适合于由用户以多自由度运动来操纵的主输入设备；以及

处理器，所述处理器被配置，以当所述主输入设备处于图像获取模式时，根据所述主输入设备的用户操纵来控制所述图像获取设备的运动，并且当所述主输入设备处于图像操纵模式时，根据所述主输入设备的用户操纵来控制从获取的图像中导出的图像在所述计算机显示屏上的显示。

2.根据权利要求1所述的医用机器人系统，其中所述主输入设备被配置，以便能够在六个自由度下操纵，从而使得所述主输入设备在处于所述图像操纵模式下时作为三维鼠标操作。

3.根据权利要求1所述的医用机器人系统，其中所述处理器被配置，以便当用户启动控制输入，同时关联于所述主输入设备的光标被显示在导出的图像上时，对显示在所述计算机显示屏上的所述导出的图像中的一个图像执行抓取功能，并当所述用户移动所述主输入设备，同时在处于所述图像操纵模式时保持所述控制输入启动时，对所述导出的图像执行移动功能。

4.根据权利要求3所述的医用机器人系统，其中所述处理器被进一步配置，以提供触觉反馈给所述主输入设备，同时对所述导出的图像执行所述移动功能。

5.根据权利要求4所述的医用机器人系统，其中通过将虚拟质量和惯性关联于所述导出的图像来提供所述触觉反馈，以便当所述处理器响应于处于所述图像操纵模式下的所述主输入设备的用户操纵，而对所述导出的图像执行所述抓取和移动功能的时候，所述用户可以感受到反馈力。

6.根据权利要求3所述的医用机器人系统，其中所述图像获取设备获取辅助图像，并且所述处理器被配置成使由主图像获取设备获取的主图像显示在所述计算机显示屏上，并且所述导出的图像中的一个图像的至少一部分覆盖在所述主图像上。

7.根据权利要求6所述的医用机器人系统，其中所述处理器被配置成通过用户对所述导出的图像执行所述抓取和移动功能，帮助手动对准所述导出的图像中的一个和所述主图像，以便当处于所述图像操纵模式时对准所述导出的图像和所述主图像，如同它们同时显示在所述计算机显示屏上。

8.根据权利要求1所述的医用机器人系统，其中所述主输入设备具有夹具，该夹具适合于由用户的手捏住以当所述主输入设备处于所述图像操纵模式时用作控制输入。

9.根据权利要求8所述的医用机器人系统，其中所述处理器被配置成当所述主输入设备处于所述图像操纵模式且当所述夹具被捏住并绕着所述夹具的轴旋转时，调节与所述导出的图像关联的参数。

10.根据权利要求9所述的医用机器人系统，其中所述可调节参数是所述导出的图像的亮度。

11.根据权利要求9所述的医用机器人系统，其中所述可调节参数是所述导出的图像的色彩。

12.根据权利要求9所述的医用机器人系统，其中所述可调节参数是所述导出的图像的细节的级别。

13.根据权利要求12所述的医用机器人系统，其中所述导出的图像的细节的级别由限定所述导出的图像的网格结构的粗糙度的级别来确定。

14.根据权利要求1所述的医用机器人系统，其中所述导出的图像是从所述获取的图像中生成的三维体；并且所述处理器被进一步配置成在所述计算机显示屏上显示所述三维体和二维窗中的一个，响应所述主输入设备的用户操纵来操纵所述计算机显示屏上的所述窗的位置和方位，并通过所述窗和所述三维体的交叉来定义一个剖面，从而指示所述三维体的二维切片。

15.根据权利要求14所述的医用机器人系统，其中所述二维切片被显示在所述窗内。

16.根据权利要求14所述的医用机器人系统，其中所述二维切片被显示在所述计算机显示屏的画中画窗内。

17.根据权利要求14所述的医用机器人系统，其中所述处理器被进一步配置成在所述计算机显示屏上显示用户可选择数目的二维窗，响应于所述主输入设备的用户操纵来独立地操纵在所述计算机显示屏上的所述窗的位置和方位，并通过所述操纵窗和三维体的交叉来定义剖面，以便指示所述三维体的相应的二维切片。

18.根据权利要求17所述的医用机器人系统，其中所述二维切片被显示在所述计算机显示屏的相应的画中画窗中。

19.根据权利要求14所述的医用机器人系统，其中所述处理器被配置成响应所述计算机显示屏上的显示菜单中包括的项目的用户选择，而在所述计算机显示屏上显示所述二维窗。

20.根据权利要求14所述的医用机器人系统，其中所述处理器被配置成响应显示在所述显示屏上的图标的用户选择，而在所述计算机显示屏上显示所述二维窗。

21.根据权利要求20所述的医用机器人系统，其中所述图标被显示在所述计算机显示屏的外围区域中，并且所述处理器被进一步配置成将点击所述图标和从所述外围区域拖走所述图标的用户鼠标类活动解释成用户对所述图标的选择。

22.根据权利要求21所述的医用机器人系统，其中所述图像获取设备是超声波探测器，并且所述导出的图像是解剖结构的三维超声图像，这些三维超声图像是从由所述超声波探测器获取的二维超声切片中计算机生成的。

23.根据权利要求1所述的医用机器人系统，其中所述处理器被进一步配置成将所述导出的图像和擦除器图像中的一个图像显示在所述计算机显示屏上，响应所述主输入设备的用户操纵来操纵所述擦除器图像在所述计算机显示屏上的至少一个位置，并且当所述擦除器图像在所述计算机显示屏上被操纵时，擦除被所述擦除器图像穿过的显示在所述计算机显示屏上的所述导出的图像中的一个图像的任意部分。

24.根据权利要求23所述的医用机器人系统，其中所述处理器被配置成擦除被所述擦除器图像所穿过的所述导出的图像的所述部分的所有细节。

25.根据权利要求23所述的医用机器人系统，其中所述处理器被配置成减少被所述擦除器图像所穿过的所述导出的图像的所述部分的细节。

26.根据权利要求25所述的医用机器人系统，其中由所述擦除器图像所穿过的所述导出图像的所述部分的细节的减少使得限定所述导出的图像的网格结构的精细度减少。

Images