CN105078576A - 手术机器人及其控制方法 - Google Patents

Abstract

公开了一种手术机器人及其控制方法。一种手术机器人可包括：图像信息获取单元，在手术机器人执行手术操作的同时获取腹内环境的图像信息；和/或控制器，被配置为基于获取的图像信息和包括在内窥镜和器械中的链接件的运动信息，识别安装在手术机器人上的内窥镜和器械的位置。一种手术机器人可包括：图像信息获取单元，被配置为在手术机器人执行手术操作时获取腹内环境的图像信息；惯性测量单元，被配置为获取手术机器人的惯性测量信息；和/或控制器，被配置为基于获取的图像信息和惯性测量信息，识别安装在手术机器人上的内窥镜和器械的位置。

Description

手术机器人及其控制方法

本申请要求于2014年5月8日在韩国知识产权局(KIPO)提交的第10-2014-0054783号韩国专利申请的优先权，该申请的整个公开通过引用包含于此。

技术领域

本公开的一些示例实施例可总体涉及在使用机器人进行手术期间基于内窥镜图像信息来实时估计内窥镜和器械的位置。

背景技术

微创手术一般可以指能够最小化切口尺寸的手术，使用手术机器人的手术或腹腔镜手术可以被用于微创手术。与使用穿过人体部位(例如，腹部)的较大手术切口的剖腹手术不同，在微创手术中，可穿过腹壁形成直径为例如0.5厘米(cm)至1.5cm的一个或更多个小口(切口或创口)，并且手术员可以将内窥镜和手术仪器插入穿过一个或更多个口，从而在查看由内窥镜提供的图像的同时进行手术。

与剖腹手术相比，由于切口小，上述微创手术可减小术后疼痛，可实现排便的更快恢复，可实现进食能力的更早恢复，可实现更短的住院时间，可实现日常生活的更快恢复，并可促进更好的美容效果。因此，微创手术已经被用于胆囊切除术、前列腺癌手术和疝修补术等，并且微创手术的应用会继续增长。

手术机器人可包括主装置和从机器人，其中，主装置可根据手术员(例如医生)的操纵而产生需要的信号并可发送该信号，从机器人可从主装置接收信号，并可响应于从主装置接收到的信号直接进行患者的手术所需要的操纵(即使从机器人可能远离主装置)。对此，主装置可基于可由从机器人检测的各种物理信息(诸如，力、位置、触感、温度、湿度、照度等)，执行对从机器人的操作的远程控制。

总体上，从机器人可被安装在手术室中，主装置可被安装在操纵室中，主装置和从机器人可经由有线或无线通信彼此连接以在一定距离内执行手术。医生可以在同一房间中、不同房间中或者在不同的设施(可能位于其它国家)中。

手术机器人可提供多个其它优点，诸如潜在地增加精度、能够更好地监视患者、能够记录手术过程以进行训练、鉴定和取证目的。

当通过使用手术机器人在腹腔中进行手术时，手术员仅可通过内窥镜监视关于腹内环境的信息。然而，内窥镜的窄视野可能会限制手术员在手术期间判断内窥镜和手术器械在腹腔中的精确位置。这可能是造成内窥镜和器械之间的干扰或碰撞、或者由于内窥镜和器械的不必要的移动而导致对器官和组织的伤害的原因之一。

虽然将联系手术机器人和控制这些机器人的方法来描述一些实例实施例，但是本领域技术人员应理解，一些示例实施例可被应用于其它类型的机器人，诸如不是在医疗领域中使用的机器人(例如，航空机器人、用于处理危险材料的机器人、巡检机器人、军事机器人)、人形机器人或更通用的系统和/或控制这样的系统的方法。

发明内容

一些示例实施例可提供手术机器人及其控制方法，该手术机器人能够通过不仅使用内窥镜的位置和方位还使用器械的位置和方位作为位置识别滤波器的状态变量同时识别内窥镜的位置和器械的位置，来改善位置识别性能(位置识别的精度和聚合度)。

一些示例实施例可提供手术机器人及其控制方法，该手术机器人能够通过在对内窥镜和器械的位置识别处理期间融合运动信息和各种传感器信息(内窥镜图像信息、惯性测量信息等)来改善改善位置识别性能(例如位置识别的精度和聚合度)。

一些示例实施例可提供手术机器人及其控制方法，该手术机器人能够通过基于由位置识别滤波器获得的腹腔中的特征点的位置信息和内窥镜的位置/方位信息对腹内环境进行建模，识别被建模的腹内环境与内窥镜和器械的位置/方位之间的相对关系。

在一些示例实施例中，一种控制设置有内窥镜和器械的手术机器人的方法可包括：在手术机器人执行手术操作时获取关于腹内环境的图像信息；和/或基于获取的图像信息和包括在内窥镜和器械中的链接件的运动信息来识别内窥镜和器械的位置。

在一些示例实施例中，所述方法还可包括：基于内窥镜和器械的位置识别的结果来创建腹内环境的图。

在一些示例实施例中，识别内窥镜和器械的位置的步骤可包括：基于当前获取的图像信息和运动信息，预测内窥镜和器械的位置和方位以及特征点的位置；确定现有标记物是否与从当前获取的图像信息提取的特征点相同；和/或通过使用现有标记物的位置和从当前获取的图像信息提取且与现有标记物匹配的特征点的位置信息，更新内窥镜和器械的预测位置和方位以及被注册为标记物的特征点的位置。

在一些示例实施例中，所述方法还可包括：在预测内窥镜和器械的位置和方位以及特征点的位置之后，将当前获取的图像信息划分为多个感兴趣区域。

在一些示例实施例中，将当前获取的图像信息划分为多个感兴趣区域的步骤包括：通过使用预测的内窥镜和器械的位置和方位，计算器械相对于内窥镜的相对位置和方位信息；将器械模型投影到当前获取的图像信息上；和/或将当前获取的图像信息划分为器械图像感兴趣区域和腹内图像感兴趣区域。

在一些示例实施例中，一种控制设置有内窥镜和器械的手术机器人的方法可包括：在手术机器人执行手术操作时，获取腹内环境的图像信息和手术机器人的惯性测量信息；和/或基于获取的图像信息和获取的惯性测量信息识别内窥镜和器械的位置。

在一些示例实施例中，所述方法还可包括：基于内窥镜和器械的位置识别的结果来创建腹内环境的图。

在一些示例实施例中，识别内窥镜和器械的位置的步骤可包括：基于当前获取的图像信息和惯性测量信息，预测内窥镜和器械的位置和方位以及特征点的位置；确定现有标记物是否与从当前获取的图像信息提取的特征点相同；和/或通过使用现有标记物的位置和从当前获取的图像信息提取且与现有标记物匹配的特征点的位置信息，更新内窥镜和器械的预测位置和方位以及被注册为标记物的特征点的位置。

在一些示例实施例中，所述方法还可包括：在预测内窥镜和器械的位置和方位以及特征点的位置之后，将当前获取的图像信息划分为多个感兴趣区域。

在一些示例实施例中，将当前获取的图像信息划分为多个感兴趣区域的步骤可包括：通过使用预测的内窥镜和器械的位置和方位，计算器械相对于内窥镜的相对位置和方位信息；将器械模型投影到当前获取的图像信息上；和/或将当前获取的图像信息划分为器械图像感兴趣区域和腹内图像感兴趣区域。

在一些示例实施例中，一种手术机器人可包括：图像信息获取单元，被配置为在手术机器人执行手术操作时获取腹内环境的图像信息；和/或控制器，被配置为基于获取的图像信息和安装在手术机器人上的内窥镜和器械中所包括的链接件的运动信息来识别内窥镜和器械的位置。

在一些示例实施例中，控制器还可被配置为基于内窥镜和器械的位置识别的结果来创建腹内环境的图。

在一些示例实施例中，控制器还可被配置为通过以下操作来识别内窥镜和器械的位置，所述操作包括：基于当前获取的图像信息和运动信息，预测内窥镜和器械的位置和方位以及特征点的位置；确定现有标记物是否与从当前获取的图像信息提取的特征点相同；通过使用现有标记物的位置和从当前获取的图像信息提取且与现有标记物匹配的特征点的位置信息，更新预测的内窥镜和器械的位置和方位以及被注册为标记物的特征点的位置。

在一些示例实施例中，控制器还可被配置为：在预测内窥镜和器械的位置和方位以及特征点的位置之后，将当前获取的图像信息划分为多个感兴趣区域。

在一些示例实施例中，控制器还可被配置为通过以下操作将当前获取的图像信息划分为多个感兴趣区域，所述操作包括：通过使用预测的内窥镜和器械的位置和方位，计算器械相对于内窥镜的相对位置和方位信息；将器械模型投影到当前获取的图像信息上；将当前获取的图像信息划分为器械图像感兴趣区域和腹内图像感兴趣区域。

在一些示例实施例中，一种手术机器人可包括：图像信息获取单元，被配置为在手术机器人执行手术操作时，获取腹内环境的图像信息；惯性测量单元，被配置为获取手术机器人的惯性测量信息；和/或控制器，被配置为基于获取的图像信息和惯性测量信息，识别安装在手术机器人上的内窥镜和器械的位置。

在一些示例实施例中，控制器还可被配置为基于内窥镜和器械的位置识别的结果来创建腹内环境的图。

在一些示例实施例中，控制器还可被配置为通过以下操作识别内窥镜和器械的位置，所述操作包括：基于当前获取的图像信息和惯性测量信息，预测内窥镜和器械的位置和方位以及特征点的位置；确定现有标记物是否与从当前获取的图像信息提取的特征点相同；通过使用现有标记物的位置和从当前获取的图像信息提取且与现有标记物匹配的特征点的位置信息，更新预测的内窥镜和器械的位置和方位以及被注册为标记物的特征点的位置。

在一些示例实施例中，控制器还可被配置为：在预测内窥镜和器械的位置和方位以及特征点的位置之后，将当前获取的图像信息划分为多个感兴趣区域。

在一些示例实施例中，控制器还可被配置为通过以下操作将当前获取的图像信息划分为多个感兴趣区域，所述操作包括：通过使用预测的内窥镜和器械的位置和方位，计算器械相对于内窥镜的相对位置和方位信息；将器械模型投影到当前获取的图像信息上；将当前获取的图像信息划分为器械图像感兴趣区域和腹内图像感兴趣区域。

在一些示例实施例中，一种手术机器人可包括：主装置；和/或从机器人，被配置为与主装置进行通信。从机器人可被配置为在手术机器人执行手术操作时获取腹内环境的图像信息。主装置或从机器人可被配置为基于获取的图像信息和附加信息识别安装在从机器人上的内窥镜和器械的位置。

在一些示例实施例中，主装置可被配置为基于获取的图像信息和附加信息来识别安装在从机器人上的内窥镜和器械的位置。

在一些示例实施例中，附加信息可包括内窥镜和器械中所包括的链接件的运动信息。

在一些示例实施例中，附加信息可包括从机器人的惯性测量信息。

在一些示例实施例中，主装置还可被配置为基于内窥镜和器械的位置识别的结果来创建腹内环境的图。

在一些示例实施例中，从机器人可被配置为基于获取的图像信息和附加信息来识别安装在从机器人上的内窥镜和器械的位置。

在一些示例实施例中，附加信息可包括内窥镜和器械中所包括的链接件的运动信息。

在一些示例实施例中，附加信息可包括从机器人的惯性测量信息。

在一些示例实施例中，从机器人还可被配置为基于内窥镜和器械的位置识别的结果来创建腹内环境的图。

在一些示例实施例中，主装置和从机器人可被配置为基于获取的图像信息和附加信息来识别安装在从机器人上的内窥镜和器械的位置。

附图说明

从以下结合附图对示例实施例的详细描述中，以上和/或其它方面和优点将变得更明显且更易于理解，其中：

图1是示出根据一些示例实施例的手术机器人的整体结构的透视图；

图2是示出图1的部分PN的内视图；

图3是示出根据一些示例实施例的控制手术机器人的系统的框图；

图4是示出根据一些示例实施例的控制手术机器人的系统的框图；

图5是描述根据一些示例实施例的位置识别滤波器的构思的示图；

图6是描述根据一些示例实施例的计算器械相对于相机(例如内窥镜)的坐标系的相对位置信息的构思的示图；

图7A是示出通过将器械模型投影到内窥镜图像上而获取的结果的图像；

图7B是示出根据一些示例实施例的通过从腹内图像分离出器械图像而获取的结果的图像；

图8A和图8B示出根据一些示例实施例的内窥镜和器械的同时位置识别的结果、腹内环境信息和相对距离；

图9示出根据一些示例实施例的通过注册腹腔建模信息(例如内窥镜图像)和预建模信息(例如诊断图像)而获取的结果图像；

图10是示出根据一些示例实施例的控制手术机器人的方法的流程图；

图11是示出根据一些示例实施例的图10的内窥镜图像划分和特征点提取处理的流程图。

具体实施方式

现在将参照附图更全面地描述示例实施例。然而，实施例可以以许多不同形式被实施，而不应被解释为受限于在此阐述的实施例。相反，提供这些示例实施例使得本公开将是充分且完整的，并且将范围全面传达给本领域技术人员。在附图中，为了清楚可以夸大层和区域的厚度。

将理解，当元件被称为在另一组件“上”、“连接到”、“电连接到”或“结合到”另一组件时，该元件可以直接地在另一组件上、连接到、电连接到或结合到该另一组件，或者可以存在中间组件。相反，当元件被称为“直接”在另一组件“上”、“直接连接到”、“直接电连接到”或“直接结合到”另一组件时，不存在中间组件。如在此所使用的，术语“和/或”包括关联列出项中的一个或更多个项的任意和所有组合。

将理解，虽然在此可使用术语第一、第二、第三等来描述各种元件、组件、区域、层和/或部分，这些元件、组件、区域、层和/或部分不应被这些术语限制。这些术语仅被用来将一个元件、组件、区域、层和/或部分与另一元件、组件、区域、层和/或部分区分开。例如，在不脱离示例实施例的教导的情况下，可将第一元件、组件、区域、层和/或部分命名为第二元件、组件、区域、层和/或部分。

在此可使用空间相关术语(诸如“在……之下”、“以下”、“下方”、“以上”、“上方”等)以便于说明书描述一个组件和/或特征与另一组件和/或特征或者其它组件和/或特征的关系，如在附图中所示。将理解，除了附图中描绘的方位之外，空间相关术语意图包含使用或操作中的装置的不同方位。

在此使用的术语仅为了描述特定示例实施例的目的，而不意图限制示例实施例。如在此所使用的，除非上下文明确另外指示，否则单数形式也意图包括复数形式。还将理解，在本说明书中使用的术语“包括”、“包含”指明存在所阐述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或更多个其它特征、整体、步骤、操作、元件、组件和/或它们的组。

除非另外定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与示例实施例所属的本领域的普通技术人员通常理解的意思相同的意思。还将理解，诸如在通用字典中定义的术语应被解释为具有与它们在现有技术的背景下的意思一致的意思，而不应被解释为理想化或过于形式化的意思，除非这里如此定义。

现在将对示例实施例进行参考，其中，相同标号可始终表示相同组件。

图1是示出根据一些示例实施例的手术机器人的整体结构的示例的透视图。图2是示出图1的部分PN的内视图。具体地说，图1示出一种单口(single-port)手术机器人，该单口手术机器人能够通过将多个手术仪器穿过一个切入口(单口)而导入患者体内来在人体内的各个位置进行手术，其中，每个手术仪器在其末端设置有手术器械。下面是针对使用单口手术机器人进行手术的若干要求。第一，由于多个手术仪器穿过一个切入口插入人体内并且移动至手术操作所期望的位置，因此手术仪器应具有宽阔的工作空间。第二，虽然手术仪器与人体的组织(诸如腹壁)的碰撞被最小化，手术仪器也应具有高自由度以进行各种手术操作。第三，应通过使用具有宽阔工作空间和高自由度的从机器人，在手术期间经由视觉引导向手术员提供进行安全和精确的手术所需要的信息。

如图1中所示，手术机器人包括从机器人200和主装置100，其中，从机器人200对躺在手术台上的患者进行手术，主装置100帮助手术员(例如医生)远程控制从机器人200。主装置100根据手术员(例如医生)的操纵产生控制信号，并将控制信号发送到从机器人200。同时，从机器人200从主装置100接收控制信号，并根据接收到的控制信号移动以执行手术所需要的操纵。对此，主装置100和从机器人200不必需被分开布置为物理上独立的装置，而是可与彼此集成而作为单个装置。

在一些示例实施例中，主装置100可以不是单个装置，而是可包括多于一个装置，每个装置执行主装置100的一个或更多个功能。因此，在一些示例实施例中，主装置100的功能可被分散。

类似地，在一些示例实施例中，从机器人200可以不是单个机器人，而是可包括多于一个机器人，每个机器人执行从机器人200的一个或更多个功能。因此，在一些示例实施例中，从机器人200的功能可被分散。

因此，在一些示例实施例中，主装置100、从机器人200或者主装置100和从机器人200的功能可被分散。

在一些示例实施例中，可要求主装置100执行特定功能，但是在维持其作为主装置100的作用时可执行其它功能或者可不执行其它功能。一个或更多个这些其它功能可以与从机器人200(维持其作为从机器人200的作用)共享或者由从机器人200执行。类似地，在一些示例实施例中，可要求从机器人200执行特定功能，但是在维持其作为从机器人200的作用时可执行其它功能或者可不执行其它功能。一个或更多个这些其它功能可以与主装置100(维持其作为主装置100的作用)共享或者由主装置100执行。

因此，在一些示例实施例中，可维持主装置100和从机器人200的要求的功能，同时可与另一机器人共享或者由另一机器人执行的功能可以同与主装置100和从机器人200相一致的另一机器人共享或者被该另一机器人执行，其中，主装置100维持其作为主装置100的作用，从机器人200维持其作为从机器人200的作用。

如图1和图2中所示，从机器人200可包括安装臂202和保护套204(保护套204可以是圆柱形或者可以不是圆柱形)。

从机器人200的安装臂202可被构造为以多个自由度被驱动。安装臂202包括多个链接件和多个关节，安装臂202的上部连接到保护套204。包括多个器械212a和212b的导管210、内窥镜214和用于驱动多个器械212a和212b、内窥镜214和导管210的驱动单元(图3的260A和图4的260B)被嵌入在保护套204中。导管210经由保护套204连接到安装臂202。当从机器人200不执行手术时，导管210嵌入在保护套204中。当从机器人200执行手术时，嵌入在保护套204中的导管210伸出保护套204并插入患者体内，如图1和图2所示。

图2更详细地示出导管210在被插入患者体内的状态下(例如，图1的部分PN的内视图)执行手术操作的情况。当导管210穿过形成于患者皮肤上的切口IH而插入患者体内并接近手术的目标区域(例如，手术区域)时，多个器械212a和212b以及内窥镜214从导管210分支出来并执行手术。对此，导管210、多个器械212a和212b以及内窥镜214还可包括按照与安装臂202相同的方式以多个自由度被驱动的多个链接件和多个关节。多个器械212a和212b中的每个器械的末端设置有作为手术器械的端执行器216a和216b，诸如与腹腔内的组织接触并直接执行手术(例如切割和缝合)的镊子、钳口、抓钳、剪刀、吻合器、烧灼器和针。此外，获取将在腹腔中观察的对象(诸如器官、组织和病变)的图像信息的内窥镜相机218被安装在内窥镜214的末端。除了在使用机器人的手术中广泛使用的腹腔镜之外，内窥镜214可包括用于手术的各种内窥镜，诸如胸腔镜、关节镜和鼻镜。

同时，主装置100可包括主操纵器112L和112R、踏板传感器114L和114R和显示单元116。主操纵器112L和112R可有助于多于一个医生同时进行的手术。

主装置100包括主操纵器112L和112R，从而手术员在用双手握住主操纵器112L和112R时控制它们。手术员经由主操纵器112L和112R操纵从机器人200的安装臂202、导管210、多个器械212a和212b和内窥镜214的位置和功能。主操纵器112L和112R可被构造为具有6个自由度，用于在3维(3D)空间中控制安装臂202等在x轴、y轴、z轴上的平移运动以及滚动、俯仰和偏转方向的旋转运动。可使用如图1所示的两个手柄来实现主操纵器112L和112R，可根据对手柄的操纵将控制信号发送到从机器人200以控制包括安装臂202等的从机器人200的手术。通过对手柄的操纵执行安装臂202、导管210、多个器械212a和212b以及内窥镜214的平移运动和旋转运动，并且可通过这样的运动来执行诸如缝合和导管的插入的手术操作。

主装置100包括两个踏板传感器114L和114R，从而手术员用双脚踩在踏板传感器114L和114R上或对其施加压力，以提高主操纵器112L和112R的操纵性能。将详细描述在图1中示出的通过使用包括两个手柄的主操纵器112L和112R以及两个踏板传感器114L和114R来控制安装臂202的操作的示例。首先，可使用主操纵器112L(左手柄)来控制安装臂202的位置和操作，并且可使用主操纵器112R(右手柄)来控制导管210的位置和操作。此外，虽然操纵包括在主装置100中的模式开关(未示出)和按钮(未示出)，但是可使用主操纵器112L(左手柄)来控制第一器械212a(左器械)的操作和位置，并可使用主操纵器112R(右手柄)来控制第一器械212b(右器械)的操作和位置。此外，在模式开关和按钮被操纵之后且在左踏板传感器114L被操纵时，可使用主操纵器112L(左手柄)来控制内窥镜214的位置和操作。此外，在模式开关和按钮被操纵之后且在右踏板传感器114R被操纵时，可使用主操纵器112R(右手柄)来控制内窥镜214的位置和操作。

图1示例性地示出两个主操纵器(手柄)被安装在主装置100上的情况。然而，可通过添加另外的手柄来实时地操纵多个手术仪器(诸如导管)和多个器械。主操纵器112L和112R可根据操纵方法具有各种机械构造，并可包括三维地移动并操作从机器人200的安装臂202、导管210以及多个器械212a和212b的各种输入单元，诸如控制杆。多个链接件和多个关节(例如在链接件之间的连接部分)被连接到主操纵器112L和112R。旋转角传感器(例如编码器)可被安装在连接到主操纵器112L和112R的多个关节中的每个关节上，其中，旋转角传感器检测连接到主操纵器112L和112R中的每个主操纵器的每个关节的旋转角。

由内窥镜214输入的图像可被显示在主装置100的显示单元116上作为图片图像。显示单元116可包括显示手术所需要的信息的至少一个监视器。例如，多个监视器可支持立体观看或者同时从多个角度进行观看。虽然图1示例性地示出显示单元116包括三个监视器，但是监视器的数量可根据将被显示的信息的类型或种类而改变。

主装置100和从机器人200可经由有线或无线通信网络彼此连接，并可将控制信号、通过内窥镜214输入的内窥镜图像、由各个传感器(诸如惯性传感器)输入的检测信息发送到另一方(从机器人200或主装置100)。当需要发送由设置在主装置100上的两个主操纵器(手柄)产生的两个控制信号时，两个控制信号可被独立发送。例如，当需要同时或者在相似的时间点发送用于操纵从导管210分支出来的第一器械212a的位置的控制信号和用于操纵从导管210分支出来的第二器械212b的位置的控制信号时，每个控制信号可被独立地发送到从机器人200。

被独立发送的控制信号不会彼此干扰，并且一个控制信号不会影响另一个控制信号。为了如上所述独立地发送多个控制信号，可使用各种方法，诸如通过在产生控制信号的阶段将头信息添加到每个控制信号来发送控制信号的方法、根据控制信号的产生顺序来发送控制信号的方法、或者通过针对每个控制信号的发送顺序设置优先级来发送控制信号的方法。在此情况下，可通过独立地形成各个控制信号的传输通道来完全消除控制信号之间的干扰。

图3是示出根据一些示例实施例的控制手术机器人的示例的框图。

如图3中所示，手术机器人可包括主装置100A和从机器人200A。

主装置100A可包括输入单元120A、存储单元130A、主控制器140A、通信单元150A和显示单元116A。

输入单元120A是允许用户向从机器人200A输入操作指令(例如，开始手术的指令和执行手术的指令)的装置，并可包括上述主操纵器112L和112R以及传感器114L和114R、用户界面UI等。

存储单元130A是这样的存储器，该存储器存储用于允许主控制器140A识别内窥镜214和多个器械212a和212b的位置的预信息和算法、以及位置识别的结果。存储单元130A可存储多个器械212a和212b中的每个器械的3D模型信息(例如，计算机辅助设计(CAD)模型信息)、分别构成内窥镜214和多个器械212a和212b的每个链接件(例如结构连接关节)的运动信息(例如，长度信息)、在从机器人200A的手术期间使用基于视觉传感器的同时定位和建图(SLAM)算法计算的内窥镜214和多个器械212a和212b的位置识别的结果(例如，内窥镜的位置/方位信息、多个器械的位置/方位信息和标记物的位置信息)、以及基于位置识别的结果创建的腹内环境的3D图。存储单元130A还可存储在手术之前获取的各种诊断图像，诸如X射线图像、超声图像、计算机断层(CT)扫描图像和磁共振图像(MRI)。

作为用于控制从机器人的整体操作的处理器的主控制器140A可包括位置估计单元142A、图创建单元144A和图像处理器146A。

位置估计单元142A通过将SLAM算法应用于由从机器人200A的图像信息获取单元220A获取的图像信息和构成内窥镜214和多个器械212a和212b的链接件的运动信息，或者通过将SLAM算法应用于由图像信息获取单元220A获取的图像信息和由惯性测量单元225A获取的惯性测量信息(例如角速度信息的加速度信息)，来估计内窥镜的位置/方位和多个器械212a和212b的位置/方位。SLAM算法将图像中的特征点的位置和内窥镜214和多个器械212a和212b的位置/方位信息设置为一个状态变量，并同时通过随机滤波估计构成状态变量的元素。该过程包括被重复执行的预测处理、数据关联处理和更新处理。对此，随机滤波器的示例可包括扩展卡尔曼滤波器、粒子滤波器等。此外，位置估计单元142A可通过使用基于视觉传感器的测距法(odometery)来估计内窥镜214的位置/方位。

图创建单元144A基于由位置估计单元142A执行的位置识别的结果(诸如内窥镜214的位置信息和方位信息以及腹内图像的特征点的位置信息)创建腹内环境的3D图。

图像处理器146A处理从从机器人200A的图像信息获取单元220A(例如，安装在内窥镜214的末端的内窥镜相机218)输入的图像，以将输入图像输出为图片图像。对此，图像处理的示例可包括对捕捉到的图像进行的扩大、缩小、旋转、平移、编辑和滤波操作。

通信单元150A是经由有线或无线通信网络连接到主控制器140A和从机器人200A的通信单元250A并发送和接收数据的通信电路。通信单元150A可将由主控制器140A产生的扭矩控制信号(例如与用于估计每个关节的目标旋转的关节扭矩相应的扭矩控制信号)发送到从机器人200A，或从从机器人200A接收由图像信息获取单元220A获取的图像信息(例如，内窥镜图像信息)和由惯性测量单元225A获取的惯性测量信息。

显示单元116A显示腹内环境与内窥镜214、多个器械212a和212b的位置/方位之间的相对关系，其中，基于由位置估计单元142A执行的位置识别的结果和由图创建单元144A创建的图对腹内环境进行建模。

此外，显示单元116A将与从从机器人200A的图像信息获取单元220A接收到的内窥镜图像相应的图片图像(例如，内窥镜相机218和/或在手术前获取的并被存储在存储单元130A中的各种诊断图像(诸如X射线图像、超声图像、计算机断层(CT)扫描图像、磁共振图像(MRI)))，输出为视觉信息。

从机器人200A通过根据从主装置100A接收到的控制信息操作安装臂202、导管210、多个器械212a和212b和内窥镜214，直接执行对患者进行手术所需要的操纵。如图3所示，从机器人200A可包括图像信息获取单元220A、惯性测量单元225A、存储单元230A、从控制器240A、通信单元250A和驱动单元260A。

图像信息获取单元220A被插入患者体内，并在移动的同时捕捉内部组织或体腔的图像，从而获取手术区域的图像信息。图像信息获取单元220A可使用内窥镜214来实现。图像信息获取单元220A获取的图像信息可被发送到从控制器240A的图像处理器246A并进行图像处理，或者可在不经过图像处理的情况下经由通信单元250A被发送到主装置100A。

惯性测量单元225A被安装在从机器人200A的多个器械212a和212b和/或内窥镜214中，并检测方位信息(例如，角度信息)，其中，惯性测量单元225A是用于测量从机器人200的与导航相关的各种信息(诸如加速度、速度和方位(角度))的装置。惯性测量单元225A通过检测安装臂202相对于重力方向和惯性系统的相对角度，产生滚动、俯仰和偏转方向方位信息(例如，角度信息)。惯性测量单元225A包括测量角度的倾斜传感器和测量角速度的角速度传感器。加速度计可被用作倾斜传感器，速度陀螺仪可被用作角速度传感器。

存储单元230A存储控制从机器人200A的操作所需要的信息和算法、从机器人200A获取的信息等。例如，存储单元230A存储由图像信息获取单元220A获取的手术区域的图像信息和由惯性测量单元225A获取的惯性测量信息(例如，加速度信息或角速度信息)。存储单元230A还可存储在手术前获取的各种诊断图像，诸如X射线图像、超声图像、计算机断层(CT)扫描图像和磁共振图像(MRI)。

从控制器240A经由通信单元250A将由图像信息获取单元220A获取的手术区域的图像信息发送到主装置100A，或者将由主控制器140A产生并通过通信单元250A接收到的扭矩控制信号发送到驱动单元260A，其中，从控制器240A是用于连接形成从机器人200A的各种构成元件并控制从机器人200A的操作的处理器。

此外，从控制器240A可包括图像处理器246A，处理器246A处理由图像信息获取单元220A获取的手术区域的图像。对此，图像处理的示例可包括对捕捉到的图像进行的放大、缩小、旋转、平移、编辑和滤波操作。如果期望的话，可以省略在从控制器240A中执行的图像处理。

通信单元250A是经由有线或无线通信网络连接到从控制器240A和主装置100A的通信单元150A并发送和接收数据的通信电路。通信单元250A可从主装置100A接收扭矩控制信号，或者可将由图像信息获取单元220A获取的图像信息(例如，内窥镜图像信息)和由惯性测量单元225A获取的惯性测量信息(例如加速度信息或角速度信息)发送到主装置100A。

作为致动器(诸如马达)的驱动单元260A(诸如用于将电力或液压力传输到构成安装臂202、导管210、多个器械212a和212b和内窥镜214的多个关节中的每个关节的马达)根据从主控制器140A接收到的扭矩控制信号，旋转地驱动构成安装臂202、导管210、多个器械212a和212b和内窥镜214的的多个关节中每个关节。

图4是示出根据一些示例实施例的控制手术机器人的另一示例的框图。

如图4所示，手术机器人可包括主装置100B和从机器人200B。

主装置100B可包括输入单元120B、存储单元130B、主控制器140B、通信单元150B和显示单元116B。

作为控制从机器人的整体操作的处理器的主控制器140B可包括图像处理器146B。

如图4所示，从机器人200B可包括图像信息获取单元220B、惯性测量单元225B、存储单元230B、从控制器240B、通信单元250B和驱动单元260B。

以上参照图3描述了根据本公开一些示例实施例的控制手术机器人的主装置100A和从机器人200A的构造。图3示出主装置100A的主控制器140A包括：位置估计单元142A，估计内窥镜214的位置和方位以及多个器械212a和212b的位置和方位；图创建单元144A，基于由位置估计单元142A执行的位置识别的结果对腹内环境进行建模。不同地，根据一些示例实施例，如图4所示，从机器人200B的从控制器240B包括位置估计单元242B、图创建单元244B和图像处理器246B。

参照图4，由于从控制器240B估计内窥镜214和多个器械212a和212b的位置，从机器人200b的存储单元230B可存储估计内窥镜214和多个器械212a和212b的位置/方位所需要的信息。例如，存储单元230B可存储多个器械212a和212b中的每个器械的3D模型信息(例如，计算机辅助设计(CAD)模型信息)以及分别构成内窥镜214和多个器械212a和212b的每个链接件的运动信息。存储单元230B还可存储由位置估计单元242B执行的内窥镜214和多个器械212a和212b的位置识别的结果(例如，内窥镜的位置/方位、多个器械212a和212b的位置/方位和标记物的位置信息)、以及基于位置识别的结果创建的腹内环境的3D图。对此，由从控制器240B的位置估计单元242B执行的位置识别的结果和基于位置识别的结果创建的腹内环境的图可通过通信单元250B和150B被发送到主控制器140B，主控制器140B在显示单元116B上显示基于接收到的位置识别的结果和腹内环境的图而建模的腹内环境与内窥镜和多个器械的位置/方位之间的相对关系。

由于图4的手术机器人的控制构造与图3的控制构造不同之处在于：从控制器240B(而不是主控制器140B)包括图4中的位置估计单元242B和图创建单元244B，而图4的手术机器人的其它构成元件与图3的手术机器人的构成元件相同，因此此处将不再对其进行详细描述。

在下文中，将参照图5至图10详细描述估计(例如，识别)安装在手术机器人中的内窥镜和器械的位置/方位的方法和基于识别结果创建腹内环境的图的方法。

图5是用于描述根据一些示例实施例的位置识别滤波器的构思的示图。

如图5所示，在使用机器人进行手术期间，位置识别滤波器可实时估计相对于世界坐标系W的内窥镜214的位置rEN和方位qEN、多个器械212a和212b的位置rLT、方位qLT和位置rRT、方位qRT、腹内图像的特征点的位置y_l、器械图像的特征点的位置yLT,i和yRT,j。对此，在图5中，‘O’表示组织，‘L’表示病变。

位置识别滤波器使用在内窥镜图像中示出的内窥镜214和多个器械212a和212b的3D位置‘r’和3D方位‘q’以及特征点的3D位置‘y’作为一个状态变量x(k|k)，并通过使用随机滤波算法(例如，卡尔曼滤波器和粒子滤波器)针对世界坐标系W执行位置估计。在一些示例实施例中，内窥镜214和多个器械212a和212b的3D方位被示出为四元数。

如图5所示，当一个内窥镜214和两个器械212a和212b被安装在从机器人200中时，位置识别滤波器可将内窥镜214的位置rEN和方位qEN、两个器械212a和212b的位置rLT、方位qLT和位置rRT、方位qRT、从腹内图像提取的多个特征点的位置y₁、从器械图像提取的多个特征点的位置yLT,i和yRT,j用作状态变量的元素。状态变量x(k|k)可由下面的等式1表示。

[等式1]

$x\left(k\right|k)=\left[\begin{array}{c}{r}_{\mathrm{EN}}\left(k\right|k)\\ q_{\mathrm{EN}}\left(k\right|k)\\ r_{\mathrm{LT}}\left(k\right|k)\\ q_{\mathrm{LT}}\left(k\right|k)\\ r_{\mathrm{RT}}\left(k\right|k)\\ q_{\mathrm{RT}}\left(k\right|k)\\ y_l\left(k\right|k)\\ y_{\mathrm{LT},i}\left(k\right|k)\\ y_{\mathrm{RT},i}\left(k\right|k)\end{array}\right]$

用于实时估计内窥镜214和多个器械212a和212b、从腹内图像提取的多个特征点的位置y₁、从器械图像提取的多个特征点的位置yLT,i和yRT,j的位置的识别滤波器包括预测阶段和更新阶段，每个阶段被重复执行。

在下文，首先，将描述预测状态变量的元素中的内窥镜214的位置rEN和方位qEN以及多个器械212a和212b的位置rLT、方位qLT和位置rRT、方位qRT的处理。

通过位置识别滤波器预测内窥镜214的位置rEN和方位qEN以及多个器械212a和212b的位置rLT、方位qLT和位置rRT、方位qRT的处理指示在更新阶段将内窥镜214的位置rEN和方位qEN以及多个器械212a和212b的位置rLT、方位qLT和位置rRT、方位qRT的状态变量与传感器信息融合之前，通过运动模型估计当前阶段的状态变量。对此，可通过使用由惯性测量单元225A和225B测量的分别构成内窥镜214和多个器械212a和212b的每个链接件的共同运动信息(例如，长度信息)、加速度信息或角速度信息，将内窥镜214和多个器械212a和212b从先前阶段‘k-1’到当前阶段‘k’的移动程度计算为位置和方位的相对改变信息‘δr’和‘δq’形式的测量。

同时，在内窥镜214能够使用图像信息的情况下，可基于通过使用当前阶段‘k’的图像和先前阶段‘k-1’的图像作为输入来从每个图像提取特征点而获取的特征点之间的关系，并通过基于视觉传感器的测距法将从每个图像提取的特征点进行匹配，将内窥镜214的位置和方位的相对改变信息δr’和‘δq’计算为测量。

使用动作预测模型f(·)执行从位置和方位的相对改变信息获取预测状态变量的处理。该处理由下面的等式2表示。

[等式2]

x(k|k-1)＝f(x(k-1|k-1),δx(k))

等式2是在位置识别滤波器的预测阶段中通过使用位置和方位的相对改变信息来计算预测状态变量的一般等式。对此，x(k|k-1)指示预测状态变量，f(·)指示运动预测模型，x(k-1|k-1)指示在先前阶段‘k-1’期间的更新状态变量，δx(k)指示位置和方位的相对改变信息。

等式2可指示通过将运动预测模型f(·)应用于先前阶段中的更新状态变量x(k-1|k-1)以及位置和方位的相对改变信息δx(k)来计算当前阶段的预测状态变量x(k|k-1)的处理，其中，相对改变信息δx(k)指示从先前阶段‘k-1’到当前阶段‘k’的移动的程度。等式2的状态变量‘x’包括内窥镜214和多个器械212a和212b的位置信息和方位信息两者。换言之，δx(k)是包括位置的相对改变信息‘δr’和方位的相对改变信息‘δq’的概念。

可使用下面的等式3计算内窥镜214和多个器械212a和212b的预测位置信息r(k|k-1)，可使用下面的等式4计算内窥镜214和多个器械212a和212b的预测方位信息q(k|k-1)。

[等式3]

r(k|k-1)＝r(k-1|k-1)+R[q(k-1|k-1)]δr(k)

在等式3中，R是旋转矩阵。

[等式4]

q(k|k-1)＝q(k-1|k-1)×δq(k)

此外，可基于根据随机滤波器算法的等式2的模型，基于协方差矩阵或粒子分布来预测用于估计预测状态变量的误差程度的不确定性。

当使用卡尔曼滤波器作为随机滤波器时，可基于运动预测模型f(·)的雅克比矩阵F以及位置和方位的相对改变信息‘δr’和‘δq’的噪声Q(k)来计算协方差矩阵，如下面的等式5所示。

[等式5]

P(k|k-1)＝FP(k-1|k-1)F^T+Q(k)

在一些示例实施例中，P(k|k-1)是预测协方差矩阵，P(k-1|k-1)是在先前阶段(k-1)更新的协方差矩阵。同时，当使用粒子滤波器作为随机滤波器时，可通过基于运动预测模型f(·)对粒子进行采样来获取粒子的分布。

在状态变量的元素中，除了内窥镜214的位置rEN和方位qEN以及多个器械212a和212b的位置rLT、方位qLT和位置rRT、方位qRT之外，其它元素(腹内图像的特征点的位置和器械图像的特征点的位置)可以如下进行预测。

以与恒定位置模型相同的方式，在静态环境(例如，当腹腔中不存在器官的运动时)中没有相对位置改变的情况下，预测从腹内图像提取的特征点的位置y_l。这可以由下面的等式6表示。

[等式6]

Δy₁＝[0,0,0]^T

可使用腹部物理属性模型(诸如有限元法(FEM))或通过将随机布朗运动噪声反映在动态环境(例如，当腹腔中存在器官的运动时)中，预测从腹内图像提取的特征点的位置y_l。这可以由下面的等式7来表示。

[等式7]

Δy₁＝[dx,dy,dz]^T

从提取自腹内图像的特征点的计算出的位置Δy_l的改变信息计算预测位置信息y_l(k|k-1)的处理可以由下面的等式8表示。

[等式8]

y₁(k|k-1)＝y₁(k-1|k-1)+Δy₁

同时，如图6所示，可通过对器械模型信息(例如模型中的特征点的位置)、内窥镜214的位置rEN和方位qEN以及多个器械212a和212b的位置rLT、方位qLT和位置rRT、方位qRT进行3D坐标变换，预测从器械图像提取的特征点的位置yLT,i和yRT,j。

图6是描述根据一些示例实施例的计算器械相对于相机(例如，内窥镜)的坐标系的相对位置信息的构思的示图。图7A是示出通过将器械模型投影到内窥镜图像上而获取的结果的图像。图7B是示出根据一些示例实施例的通过从腹内图像分离出器械图像而获取的结果的图像。

首先，如图6所示，使用在预测阶段预测的信息来获得多个器械212a和212b相对于相机坐标系C(例如图6中的虚线)的相对位置信息^ENr_LT和^ENr_RT。之后，通过下面的使用相机模型(例如固有参数c_u、c_v、f_u和f_v以及径向失真系数k₁和k₂)的等式9和10将多个器械212a和212b的相对位置信息^ENr_LT和^ENr_RT投影到相机坐标系C，预测从器械图像提取的特征点yLT,i和yRT,j的位置。

[等式9]

u_u＝c_u+[f_u·(x/z)]

v_u＝c_v+[f_v·(y/z)]

[等式10]

u_d＝(u_u-c_u)(1+k₁r_u ²+k₂r_u ⁴)+c_u

v_d＝(v_u-c_v)(1+k₁r_u ²+k₂r_u ⁴)+c_v

这里， $r_u=\sqrt{{(u_u-c_u)}^2+{(v_u-c_v)}^2}.$

在某些示例实施例中，(u_u,v_u)^T表示未失真图像坐标，(u_d,v_d)^T表示失真图像坐标，(c_u,c_v)^T表示相机坐标系C中的坐标，f_u和f_v表示从相机坐标系C到世界坐标系W的单位转换，r_u表示从相机坐标系C中的坐标(c_u,c_v)^T到未失真图像坐标(u_u,v_u)^T的距离，x、y和z表示世界坐标系W中的坐标。

在执行了对于作为状态变量的元素的内窥镜214和多个器械212a和212b的位置/方位、从腹内图像提取的多个特征点的位置、从器械图像提取的多个特征点的位置的预测阶段之后，执行内窥镜图像划分和特征点提取阶段。在内窥镜图像划分和特征点提取阶段，提取在下一更新阶段中被重复需要的特征点，并对测量和预测测量进行适当匹配。内窥镜图像划分和特征点提取阶段是位置识别滤波器中的预测阶段和更新阶段之间的处理。

如图7A所示，按照与预测从器械图像提取的特征点的位置y_LT,i和y_RT,j的方法相同的方式，可通过利用等式9和10计算多个器械212a和212b相对于内窥镜214的相对位置信息^ENr_LT和^ENr_RT，将多个器械212a和212b的模型(例如，在图7A中用白色粗线示出的区域)投影到当前内窥镜图像。

如图7B所示，可将被投影的器械模型所位于的一个区域设置为器械图像的感兴趣区域(ROI)A，可将另一区域设置为腹内图像的ROIB。分别从每个ROI提取的特征点的坐标被顺序用作下一更新阶段中的测量，并被用于减少位置识别中的误差。

可通过从腹内图像分离出器械图像来防止由于多个器械212a和212b的移动而导致的特征点的误匹配，其中，器械图像指示多个器械212a和212b所占据的一个区域，腹内图像指示内窥镜图像中的除了器械图像之外的其它区域。因此，可改善位置识别滤波器的性能。

可使用由内窥镜图像的传感器处理获取的测量z(k)、噪声测量R(k)、使用在预测阶段中获取的状态变量x(k|k-1)而获得的预测测量h(k)，执行位置识别滤波器的更新阶段。对此，通过以与参照内窥镜(例如相机)的坐标系的等式9和10相同的方式对特征点的3D位置进行变换来获得预测测量。

从器械图像提取的特征点可以是人工标记物(诸如附着于多个器械212a和212b)的标记、或自然标记物(诸如多个器械212a和212b的边缘或螺栓孔)。另一方面，从腹内图像提取的特征点可以是图像特征点(诸如角或斑点(blob))、或人体模型信息(诸如血管、神经或组织)。

可根据随机滤波器(诸如卡尔曼滤波器和粒子滤波器)算法不同地应用位置识别滤波器的更新阶段。

当使用卡尔曼滤波器作为随机滤波器时，从如下面的等式11示出的预测测量h(k)和噪声测量R(k)的雅克比矩阵H(k)计算卡尔曼增益K，并使用下面的等式12和13计算新的估计值和协方差矩阵，其中，H(k)^T是雅克比矩阵的转置矩阵。

[等式11]

K＝P(k|k-1)H(k)[H(k)P(k|k-1)H(k)^T+R(k)]^-1

[等式12]

x(k|k)＝x(k|k-1)+K(z(k)-h(k))

[等式13]

P(k|k)＝(I-KH(k))P(k|k-1)

同时，当使用粒子滤波器作为随机滤波器时，可使用从预测测量和实际测量计算得到的权重，通过对在预测阶段中获得的粒子进行重新采样来获得粒子的更新分布。

图8A和图8B示出根据一些示例实施例的内窥镜和器械的同时位置识别的结果、腹内环境信息和相对距离。

在通过预测阶段、内窥镜图像划分和特征点提取阶段和更新阶段执行了位置识别之后，可基于作为位置识别滤波器的结果的内窥镜的位置/方位和腹腔中的特征点的位置信息对腹内环境进行建模。

由于位置识别滤波器可实时估计腹腔中的特征点的位置y_l，因此特征点的位置y_l可以被表示在3D空间中。如图8A所示，可通过使用3D空间中的点形成三角网格来对腹腔进行三维建模。

当另外使用能够计算3D距离信息的立体内窥镜或内窥镜时，可通过使用迭代就近点(ICP)算法或创建基于概率的网格图注册3D点云数据来如图8B所示对腹内环境进行建模。

此外，虽然如图8A和图8B所示仅使用内窥镜图像对腹内环境进行建模，但是根据图9所示的一些示例实施例，可通过注册腹腔建模信息(例如，内窥镜图像)和预建模信息(例如，诊断信息)来产生新的结果图像。换言之，如图9所示，可通过针对将被手术或检查的区域注册3D内窥镜图像(a)、超声图像(b)、磁共振图像(MRI)(c)和CT图像(d)，执行对腹内环境的更详细和更精确的建模。

用于注册两条3D点云数据的ICP算法使用重复执行以下处理的优化方法，所述处理包括：将被定义为‘p’和‘q’且通过能够以一对一关系计算3D位置信息的内窥镜或立体内窥镜获取的两条3D点云数据对齐，检测最小化该两条3D点云数据之间的距离之和的变换，并检测变换状态下的关系。对此，通过使用下面的等式14，将经由刚性变换计算出的3D点云数据‘p’和3D点云数据‘q’之间的距离之和G(R,t)用作所述优化方法的参考。最近，最小化等式14的刚性变换关系(R′,t′)被用于通过下面的等式15进行的注册。

[等式14]

$G(R,t)=\underset{i}{\mathrm{\Σ}}\left|\right|R{p}_i+t-q_i\left|\right|$

[等式15]

$(R^{\′},t^{\′})=\underset{R\∈R_{3\×3,}t\∈T_{3\×1}}{\arg \min }G(R,t)$

这里，‘R’是被计算为执行ICP算法的结果的旋转变换矩阵，‘t’是被计算为执行ICP算法的结果的平移变换矩阵。

图10是示出根据一些示例实施例的控制手术机器人的方法的流程图。图11是示出根据一些示例实施例的内窥镜图像划分和特征点提取处理的流程图。

作为用于描述操作的初始条件，存储单元130A预先存储多个器械212a和212b中的每个器械的3D模型信息(例如，CAD模型信息)、分别构成内窥镜214和多个器械212a和212b的每个链接件(例如，结构连接关节)的运动信息(例如，长度信息)作为执行内窥镜214和多个器械212a和212b的位置识别所需要的预信息。

此外，为了便于描述，将参照图3所示的主装置100A和从机器人200A描述控制手术机器人的方法。

首先，当手术员通过输入单元120A输入针对手术机器人的手术操作指令时，手术机器人启动手术。

当手术机器人启动手术时，主控制器140A执行手术，同时周期性地从从机器人200A的图像信息获取单元220A接收腹内环境的图像信息，并从惯性测量单元225A接收惯性测量信息(例如，加速度信息和角速度信息)(操作300)。

在由手术机器人执行手术时，主控制器140A的位置估计单元142A根据基于视觉传感器的SLAM算法并通过另外使用预存储在存储单元130A中的构成内窥镜214的每个链接件的运动信息和由惯性测量单元225A获取的惯性测量信息(例如，加速度信息和角速度信息)，预测内窥镜214的位置和方位(操作310)。位置估计单元142A还可通过使用基于视觉传感器的测距法来预测内窥镜214的位置和方位。

位置估计单元142A根据基于视觉传感器的SLAM算法并通过另外使用预存储在存储单元130A中的构成多个器械212a和212b的每个链接件的运动信息和由惯性测量单元225A获取的惯性测量信息(例如，加速度信息和角速度信息)，预测多个器械212a和212b的位置和方位(操作320)。

然后，位置估计单元142A预测从内窥镜图像获取的特征点的位置(操作330)。操作320和330对应于SLAM算法的预测阶段。

然后，位置估计单元142A将由图像信息获取单元220A获取的内窥镜图像划分为器械图像和腹内图像，并分别从器械图像和腹内图像提取特征点(操作340)。

将更详细地描述操作340的内窥镜图像划分和特征点提取处理。如图11所示，位置估计单元142A计算内窥镜214与多个器械212a和212b的相对位置和方位信息(操作342)。

然后，位置估计单元142A将器械模型投影到当前内窥镜图像上(如图7A所示)(操作344)。对此，在将器械模型投影到内窥镜图像上时，使用多个器械212a和212b中的每个器械的3D模型信息(例如，CAD模型信息)、内窥镜214的固有参数和径向失真系数。

然后，位置估计单元142A从腹内图像分离出器械图像(如图7B所示)(操作346)。

然后，位置估计单元142A分别从器械图像和腹内图像提取特征点(操作348)。

返回参照图10，位置估计单元142A确定预存储在存储单元130A中的标记物是否与当前提取的特征点相同(操作350)。换言之，位置估计单元142A通过特征点的跟踪和匹配处理确定从当前获取的图像信息提取的特征点是否与先前使用的标记物相同，或者所述特征点是否应被注册为新的标记物。该处理对应于SLAM算法的数据关联阶段。

然后，位置估计单元142A通过使用先前被注册为标记物的特征点的位置信息和从当前获取的图像信息提取且与先前注册的标记物匹配的特征点的位置信息，对在预测阶段预测的内窥镜214的位置和方位、多个器械212a和212b的位置和方位、以及被注册为标记物的特征点的位置进行更新(操作360)。

然后，主控制器140A的图创建单元144A基于作为由位置估计单元142A执行的位置识别的结果的内窥镜214的位置信息和方位信息以及腹内图像的特征点的位置信息，创建腹内环境的图(操作370)。

然后，主控制器140A通过将控制信号发送到显示单元116A，显示由图创建单元144A建模的腹内环境与内窥镜和器械的位置和方位之间的相对关系(操作380)。

然后，主控制器140A确定手术机器人的手术是否完成(操作390)。当手术员通过输入单元120A输入停止手术机器人的手术的指令，或者当在期望时间段(该期望时间段可被预定或者可不被预定)内没有从安装在主操纵器112L和112R上的旋转角传感器接收到旋转角信息时，主控制器140A确定手术机器人的手术完成。

当手术机器人的手术没有完成(操作390的“否”)时，主控制器140A返回操作300并接收图像信息和惯性测量信息，随后通过使用在更新阶段更新的信息来预测内窥镜和器械的位置和方位(操作310和320)。同时，当手术机器人的手术完成(操作390的“是”)时，主控制器140A将腹内环境的最终图存储在存储单元130A中，并终止安装在手术机器人上的内窥镜和器械的位置识别处理。

图10的方法可用于更通用的系统和/或控制这样的系统的方法。例如，可以在自治装置中使用所述方法和/或使用所述方法来控制这样的装置以实现自治装置的操作。

图11的方法可用于更通用的系统和/或控制这样的系统的方法。例如，可以在航天机器人中使用所述方法和/或使用所述方法来控制这样的机器人以实现机器人的安全起飞、移动和/或着陆。

从以上描述中可以清楚，根据手术机器人及其控制方法，可通过不仅使用内窥镜的位置和方位还使用器械的位置和方位作为位置识别滤波器的状态变量来同时识别内窥镜的位置和器械的位置，从而改善位置识别性能(例如位置识别的精度和聚合度(convergence))。

此外，根据手术机器人及其控制方法，可通过在对内窥镜和器械的位置识别处理期间融合运动信息和各种传感器信息(例如，内窥镜图像信息、惯性测量信息等)来改善改善位置识别性能(例如位置识别的精度和聚合度)。

此外，根据手术机器人及其控制方法，可实时识别腹内环境与内窥镜和器械的位置和方位之间的相对关系，其中，基于由位置识别滤波器获得的腹腔中的特征点的位置信息和内窥镜的位置/方位信息对腹内环境进行建模。

在本申请中讨论的算法(例如用于控制手术机器人和方法的算法)可被用于更通用的设备和/或控制设备的方法。例如，所述方法可被在用于处理仪器和材料的智能机器人中被使用和/或用于控制这样的智能机器人以实现仪器和材料的安全移动、包装和/或运输。

上述方法可被编写为计算机程序并可在使用计算机可读记录介质执行程序的通用数字计算机中被实现。此外，在方法中使用的数据结构可以以各种方式被记录在计算机可读记录介质中。计算机可读记录介质的示例包括存储介质，诸如磁存储介质(例如，ROM(只读存储器)、RAM(随机存取存储器)、USB(通用串行总线)、软盘、硬盘等)和光记录介质(例如，CD-ROM(致密盘只读存储器)或DVD(数字视频盘))。

此外，还可通过介质中/上(例如计算机可读介质)的用于控制实现一些示例实施例的至少一个处理元件的计算机可读代码/指令来实现一些示例实施例。介质可对应于允许计算机可读代码的存储和/或传输的任何介质/媒介。

可以以各种方式在介质上记录/传输计算机可读代码，介质的示例包括记录介质(诸如磁存储介质(例如ROM、软盘、硬盘等)、光记录介质(例如CD-ROM或DVD))和传输介质(诸如互联网传输介质)。因此，介质可以是包括或携带信号或信息的定义的且可测量的结构，诸如携带根据一些示例实施例的比特流的装置。介质还可以是分布网络，从而计算机可读代码以分布方式被存储/传输和执行。此外，处理元件可包括处理器或计算机处理器，并且处理元件可被分布和/或包括在单个装置中。

在一些示例实施例中，一些元件可被实现为“模块”。根据一些示例实施例，“模块”可被解释为基于软件的组件或硬件组件，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)，并且模块可执行特定功能。然而，模块不限于软件或硬件。模块可被构造为被布置在执行寻址的存储介质中或执行一个或更多个处理器。

例如，模块可包括如下组件，诸如，软件组件、面向对象的软件组件、类组件、任务组件、处理、功能、属性、处理、子例程、程序代码段、驱动器、硬件、微代码、电路、数据、数据库、数据结构、表、阵列和变量。从组件和模块提供的功能可被组合为更少数量的组件和模块，或者可被分离为更多的组件和组件。此外，组件和模块可执行装置中的一个或更多个中央处理单元(CPU)。

可通过包括用于控制上述实施例的至少一个处理元件的计算机可读代码/指令的介质(例如计算机可读介质)来实现一些示例实施例。这样的介质可对应于可存储和/或传输计算机可读代码的介质/媒介。

计算机可读代码可被记录在介质中或通过互联网传输。例如，介质可包括ROM、RAM、CD-ROM、磁带、软盘、光记录介质或通过互联网进行数据传输的载波。此外，介质可以是非暂时性计算机可读介质。由于介质可以是分布网络，因此计算机可读代码可以以分布方式被存储、传输和执行。此外，例如，处理元件可包括处理器或计算机处理器，并被分布和/或被包括在一个装置中。

虽然已经示出和描述了一些示例实施例，但是本领域技术人员将理解，在不脱离示例实施例的原理和精神的情况下，可以对这些示例实施例进行改变，示例实施例的范围由权利要求及其等同物限定。例如，虽然将特定操作描述为有给定元件执行，但是本领域技术人员将理解所述操作可以以各种方式在元件之间进行划分。

虽然已经描述了关于手术机器人及其控制方法的一些示例实施例，但是本领域技术人员将理解，一些示例实施例可被应用于其它类型的系统和方法，诸如不是用于医疗领域的系统(例如，航空遥操作系统和方法、处理危险材料的设备和方法、巡检设备和方法、军事设备和方法)、人形设备和方法或更通用的系统和方法。本领域技术人员将理解，在本申请中描述的X光线照相术的设备和方法具有许多实际用途。

虽然已经示出和描述了本公开的一些示例实施例，但是本领域技术人员将理解，在不脱离本公开的原理和精神的情况下，可以对这些示例实施例进行各种改变，本公开的范围由权利要求及其等同物限定。

应理解，在此描述的示例实施例应仅被视为描述性意义，而不是为了限制的目的。在每个实施例中的对特征或方面的描述应被一般视为可应用于其它实施例中的其它类似特征或方面。

Claims (20)

1.一种控制设置有内窥镜和器械的手术机器人的方法，所述方法包括：

在手术机器人执行手术操作的同时获取关于腹内环境的图像信息；

基于获取的图像信息和包括在内窥镜和器械中的链接件的运动信息来识别内窥镜和器械的位置。

2.根据权利要求1所述的方法，还包括：

基于内窥镜和器械的位置识别的结果来创建腹内环境的图。

3.根据权利要求1所述的方法，其中，识别内窥镜和器械的位置的步骤包括：

基于当前获取的图像信息和运动信息，预测内窥镜和器械的位置和方位以及特征点的位置；

确定现有标记物是否与从当前获取的图像信息提取的特征点相同；

通过使用现有标记物的位置以及从当前获取的图像信息提取的与现有标记物匹配的特征点的位置信息，更新预测的内窥镜和器械的位置和方位以及被注册为标记物的特征点的位置。

4.根据权利要求3所述的方法，还包括：

在预测内窥镜和器械的位置和方位以及特征点的位置之后，将当前获取的图像信息划分为多个感兴趣区域。

5.根据权利要求4所述的方法，其中，将当前获取的图像信息划分为多个感兴趣区域的步骤包括：

通过使用预测的内窥镜和器械的位置和方位，计算器械相对于内窥镜的相对位置和方位信息；

将器械模型投影到当前获取的图像信息上；

将当前获取的图像信息划分为器械图像的感兴趣区域和腹内图像的感兴趣区域。

6.一种控制设置有内窥镜和器械的手术机器人的方法，所述方法包括：

在手术机器人执行手术操作的同时，获取腹内环境的图像信息和手术机器人的惯性测量信息；

基于获取的图像信息和获取的惯性测量信息来识别内窥镜和器械的位置。

7.根据权利要求6所述的方法，还包括：

基于内窥镜和器械的位置识别的结果来创建腹内环境的图。

8.根据权利要求6所述的方法，其中，识别内窥镜和器械的位置的步骤包括：

基于当前获取的图像信息和惯性测量信息，预测内窥镜和器械的位置和方位以及特征点的位置；

确定现有标记物是否与从当前获取的图像信息提取的特征点相同；

通过使用现有标记物的位置以及从当前获取的图像信息提取的与现有标记物匹配的特征点的位置信息，更新预测的内窥镜和器械的位置和方位以及被注册为标记物的特征点的位置。

9.根据权利要求8所述的方法，还包括：

在预测内窥镜和器械的位置和方位以及特征点的位置之后，将当前获取的图像信息划分为多个感兴趣区域。

10.根据权利要求9所述的方法，其中，将当前获取的图像信息划分为多个感兴趣区域的步骤包括：

通过使用预测的内窥镜和器械的位置和方位，计算器械相对于内窥镜的相对位置和方位的信息；

将器械模型投影到当前获取的图像信息上；

将当前获取的图像信息划分为器械图像感兴趣区域和腹内图像感兴趣区域。

11.一种手术机器人，包括：

图像信息获取单元，被配置为在手术机器人执行手术操作的同时获取腹内环境的图像信息；

控制器，被配置为基于获取的图像信息和安装在手术机器人上的内窥镜和器械中所包括的链接件的运动信息来识别内窥镜和器械的位置。

12.根据权利要求11所述的手术机器人，其中，控制器还被配置为基于内窥镜和器械的位置识别的结果来创建腹内环境的图。

13.根据权利要求11所述的手术机器人，其中，控制器还被配置为通过以下操作来识别内窥镜和器械的位置：基于当前获取的图像信息和运动信息，预测内窥镜和器械的位置和方位以及特征点的位置；确定现有标记物是否与从当前获取的图像信息提取的特征点相同；通过使用现有标记物的位置和从当前获取的图像信息提取且与现有标记物匹配的特征点的位置信息，更新预测的内窥镜和器械的位置和方位以及被注册为标记物的特征点的位置。

14.根据权利要求13所述的手术机器人，其中，控制器还被配置为：在预测内窥镜和器械的位置和方位以及特征点的位置之后，将当前获取的图像信息划分为多个感兴趣区域。

15.根据权利要求14所述的手术机器人，其中，控制器还被配置为通过以下操作将当前获取的图像信息划分为多个感兴趣区域：通过使用预测的内窥镜和器械的位置和方位，计算器械相对于内窥镜的相对位置和方位信息；将器械模型投影到当前获取的图像信息上；将当前获取的图像信息划分为器械图像感兴趣区域和腹内图像感兴趣区域。

16.一种手术机器人，包括：

图像信息获取单元，被配置为在手术机器人执行手术操作的同时，获取腹内环境的图像信息；

惯性测量单元，被配置为获取手术机器人的惯性测量信息；

控制器，被配置为基于获取的图像信息和惯性测量信息，识别安装在手术机器人上的内窥镜和器械的位置。

17.根据权利要求16所述的手术机器人，其中，控制器还被配置为基于内窥镜和器械的位置识别的结果来创建腹内环境的图。

18.根据权利要求16所述的手术机器人，其中，控制器还被配置为通过以下操作识别内窥镜和器械的位置：基于当前获取的图像信息和惯性测量信息，预测内窥镜和器械的位置和方位以及特征点的位置；确定现有标记物是否与从当前获取的图像信息提取的特征点相同；通过使用现有标记物的位置和从当前获取的图像信息提取的与现有标记物匹配的特征点的位置信息，更新预测的内窥镜和器械的位置和方位以及被注册为标记物的特征点的位置。

19.根据权利要求18所述的手术机器人，其中，控制器还被配置为：在预测内窥镜和器械的位置和方位以及特征点的位置之后，将当前获取的图像信息划分为多个感兴趣区域。

20.根据权利要求19所述的手术机器人，其中，控制器还被配置为通过以下操作将当前获取的图像信息划分为多个感兴趣区域：通过使用预测的内窥镜和器械的位置和方位，计算器械相对于内窥镜的相对位置和方位信息；将器械模型投影到当前获取的图像信息上；将当前获取的图像信息划分为器械图像感兴趣区域和腹内图像感兴趣区域。