CN103619280B - 医疗用机械手系统 - Google Patents

Abstract

一种医疗用机械手系统，该医疗用机械手系统包括：主机械手；从机械手；第一图像形成装置，其被配置为获取第一图像；第二图像形成装置，其被配置为形成第二图像；显示装置，其被配置为显示第一图像和第二图像；选择单元，其被配置为从第一图像和第二图像中选择一个图像；变换单元，其被配置为将主机械手发送的动作指令变换为对应的新命令，使得所选择的图像坐标系与主机械手所使用的操作坐标系一致；以及驱动单元，其被配置为使得从机械手根据所述新命令移动。

Description

医疗用机械手系统

技术领域

本发明涉及医疗用机械手系统。

要求2011年6月29日提交的日本专利申请No.2011-144100的优先权，其内容以引用方式并入本文。

背景技术

传统上，已知医疗用机械手系统是一种手术支持系统。医疗用机械手系统设置有由操作者操作的主机械手以及基于主机械手的移动执行处置的从机械手。

例如，在专利文献1中，公开了一种医疗用机器人系统，该医疗用机器人系统设置有主机械手和从机械手，并且设置有显示处置对象等的图像的显示屏幕。

专利文献1中描述的医疗用机器人系统具有由操作者手动操作的两个主输入装置以及从臂，两个从臂连接到主输入装置中的每一个。此外，在此医疗用机器人系统中，可使用开关在与主输入装置的移动对应地移动的从臂之间进行切换。

另外，专利文献1中描述的医疗用机器人系统设置有作为指点装置操作的模式作为主机械手的操作模式，所述指点装置用于使指示输入位置和坐标的光标在显示屏幕上移动。

[现有技术的文献]

[专利文献]

[专利文献1]PCT国际公布的公开的日文译文No.2009-512514

发明内容

[本发明要解决的问题]

然而，在专利文献1中描述的医疗用机器人系统中，存在这样的问题：从臂的操作感觉与鼠标的操作感觉极端不同。因此，当操作者在通过主输入装置操作从臂的模式与主输入装置用作指点装置的模式之间切换时，在切换之后操作者可能经历不协调感，直至操作者能够习惯新模式的操作感觉为止。

本发明的目的在于提供一种医疗用机械手系统，其可针对不同的图像在操作者不会经历任何不协调感的情况下操作。

[解决问题的手段]

为了解决上述问题，本发明提出如下措施。

根据本发明的第一方面，一种医疗用机械手系统包括主机械手、从机械手、第一图像形成装置、第二图像形成装置、显示装置、选择单元、变换单元和驱动单元。所述主机械手被配置为发送动作指令。所述从机械手被配置为支撑对处置对象执行处置的手术器械。所述第一图像形成装置被配置为获取第一图像，该第一图像包括所述从机械手的一部分和所述处置对象。所述第二图像形成装置被配置为形成第二图像，该第二图像是与所述第一图像不同的图像，并且包括与所述从机械手的一部分对应的图像。所述显示装置被配置为显示所述第一图像和所述第二图像。所述选择单元被配置为从所述第一图像和所述第二图像中选择一个图像。所述变换单元被配置为将所述主机械手发送的所述动作指令变换为对应的新命令，使得所选择的图像坐标系与所述主机械手所使用的操作坐标系一致。所述驱动单元被配置为使得所述从机械手根据所述新命令来移动。

根据本发明的第二方面，所述第一图像形成装置是内窥镜。此外，所述第二图像形成装置生成虚拟机械手图像，然后通过将所述虚拟机械手图像合成到基本图像上来生成所述第二图像，其中，在所述虚拟机械手图像中所述从机械手被显示为看起来根据所述新命令移动，所述基本图像通过生成所述处置对象的图像而形成。

根据本发明的第三方面，所述第二图像形成装置基于来自所述主机械手的所述动作指令更新所述基本图像，并且更改视点。

根据本发明的第四方面，所述医疗用机械手系统与在对所述处置对象执行处置的同时形成所述处置对象的图像的检查装置一起使用。此外，所述第二图像形成装置将在处置任务期间由所述检查装置形成的图像用作所述基本图像。

根据本发明的第五方面，所述检查装置设置在所述从机械手中。

[本发明的效果]

根据上述医疗用机械手系统，操作者能够针对不同的图像操作从臂而不会经历任何不协调感。

附图说明

[图1]示出本发明的第一实施方式的医疗用机械手系统的总体图。

[图2]本发明的第一实施方式的医疗用机械手系统的框图。

[图3]用于示出本发明的第一实施方式的医疗用机械手系统使用时的操作的示图。

[图4]示出本发明的第二实施方式的医疗用机械手系统的一部分的结构的框图。

具体实施方式

（第一实施方式）

现在将描述本发明的第一实施方式的医疗用机械手系统1。图1是示出本实施方式的医疗用机械手系统的总体图。图2是该医疗用机械手系统的框图。

如图1和图2所示，医疗用机械手系统1由主机械手2、从机械手7、显示装置10和控制装置20形成。

主机械手2被设置用于将操作者Op的移动传递给从机械手7。主机械手2设置有通过操作者Op移动的主臂3，并且设置有切换显示在显示装置10上的图像的开关6（即，选择单元）。

主臂3具有多轴结构，其能够移动以与从机械手7和手术器械110的活动范围匹配。另外，在主臂3中，安装有位移传感器4和臂驱动部5，位移传感器4发射表明主臂3的位置和取向的改变量的电信号，臂驱动部5根据来自主控制部22的驱动信号操作主臂3（下面描述）。

位移传感器4所发射的电信号被输出给控制单元20，并形成用于操作从机械手7的动作指令。这样，主机械手2接收操作者Op所进行的操作，并基于操作者Op所进行的操作发送动作指令。

开关6被配置为当它被按下时，医疗用机械手系统1将预定切换信号输出给控制单元20。在图1中，开关6被示出为在靠近机械手的地面上，然而，输入机构不受具体限制，可适当地选择各种类型的开关。

从机械手7设置有从臂8、内窥镜100（即，第一图像形成装置）、手术器械110和致动器9（即，驱动单元）。内窥镜100和手术器械110配备到从臂8上。致动器9操作内窥镜100、手术器械110和从臂8。使内窥镜100、手术器械110和从臂8移动的致动器9根据从控制部20输出的驱动信号操作。

设置在从机械手7中的内窥镜100具有图像取得部101，图像取得部101获取包括从机械手7的一部分和处置对象的图像（即，第一图像）。在本实施方式中，提及包括在第一图像中的“从机械手7的一部分”是指手术器械110的一部分和从臂8的一部分。即，利用图像取得部101，可获取表明利用从机械手7对处置对象进行处置时的实际处理的图像。在本实施方式中，内窥镜100获取能够形成立体图像的两个图像，并将这些图像作为电信号输出给显示装置10。

手术器械110设置在从机械手7中，手术器械110被设置用于对处于图像取得部101的视野内的处置对象执行处置。手术器械110的类型不受具体限制，可根据处置的类型适当地使用已知的手术器械。手术器械110不限于是能够安装在从机械手7上的手术器械。手术器械110可以是与从机械手7协作的手术器械。

显示装置10安装在与主机械手2相同的基座上，并设置在操作者Op的前面。显示装置10设置有图像处理部11和显示面板12。图像处理部11基于图像取得部101所获取的两个图像生成立体可视图像。显示面板12由（例如）液晶面板或有机EL面板等形成。即，显示装置10能够显示两个图像，这两个图像能够形成立体图像。在本实施方式中，提供将图像取得部101所获取的两个图像分离成用于各只眼睛的图像的3D眼镜13作为显示装置10的附件。通过戴上3D眼镜13，然后通过3D眼镜13观看，医疗用机械手系统1的操作者Op能够将显示在显示面板12上的图像看成立体图像。需要注意的是，显示面板12也可以是为裸眼提供立体视图的面板。在为裸眼提供立体视图的面板的情况下，不需要提供3D眼镜13作为显示装置10的附件。

如图1和图2所示，控制装置20设置有主控制单元21、切换部24和检查图像检索系统30（即，第二图像形成装置）。

主控制单元21经由信号线电连接到主机械手2、切换部24和检查图像检索系统30。主控制单元21还设置有主控制部22和从控制部23。

从主机械手2发送的动作指令被输入到主控制部22中。主控制部22将输入的动作指令输出给从控制部23。另外，主控制部22通过根据显示在显示装置10上的从机械手7和虚拟机械手40（下面描述）的远侧端部的取向，将驱动信号输出给臂驱动部5来改变主臂3的远侧端部（即，夹持部分）的取向。

从主控制部22发送的动作指令被输入到从控制部23中。从控制部23还根据所述动作指令输出使得从机械手7移动的驱动信号。在一些情况下，在切换部24中修改输出自从控制部23的驱动信号的内容（即，坐标系），然后将其输出给从机械手7（这在下面详细描述）。

切换部24设置有选择部25、变换单元26和信号输出部27。选择部25选择设置在从机械手7中的内窥镜装置100或者设置在虚拟机械手40（下面描述）中的虚拟内窥镜41，作为操作对象。变换单元26针对选择部25所选择的操作对象转换驱动信号的坐标系。信号输出部27向操作对象输出已由变换单元26转换了坐标系的驱动信号。需要注意的是，虚拟机械手40是一种虚拟的机械手，其由检查图像检索系统30生成并作为图像显示在显示装置10上。

选择部25电连接到开关6，并且每当开关6被按下时就在将内窥镜装置100设置为操作对象与将虚拟内窥镜41设置为操作对象之间切换。当在选择部25中选择内窥镜装置100作为操作对象时，由内窥镜装置100的图像取得部101获取的图像被输出给显示装置10。当在选择部25中选择虚拟内窥镜41作为操作对象时，由检查图像检索系统30形成的图像被输出给显示装置10。

变换单元26转换驱动信号的坐标系，使得当所选择的操作对象显示在显示装置10的显示面板12上时显示屏幕上的坐标系与主机械手2所使用的操作坐标系一致。显示屏幕上的坐标系是显示在显示面板12上的立体图像的三维坐标系。此时的立体图像在使用3D眼镜13观看时出现。

由变换单元26转换了坐标系的驱动信号形成具有与主机械手2所发送的动作指令不同的坐标系的新命令。

当操作对象是内窥镜100时，将驱动信号从信号输出部27输出给内窥镜100和手术器械110。当操作对象是虚拟内窥镜41时，将驱动信号从信号输出部27输出给检查图像检索系统30。

检查图像检索系统30是这样的系统，它根据检查患者等（处置对象）时获得的信息生成图像，然后将该图像与虚拟机械手40的图像一起输出给显示装置10。

如图2所示，检查图像检索系统30设置有数据服务器31、图像形成部32、图像处理部33和图像输出部34。数据服务器31存储检查患者等时获得的信息。图像形成部32形成基于存储在数据服务器31中的信息的基本图像。图像处理部33处理由图像形成部32形成的图像。图像输出部34将由图像处理部33处理的图像输出给显示装置10。

在数据服务器31中，存储有通过在待处置患者的术前执行的超声成像获得的图像（即，超声图像）。

基于存储在数据服务器31中的超声图像，图像形成部32形成由三维图像形成的基本图像。从切换部24输出的驱动信号也输入到图像形成部32中。

图像形成部32根据从切换部24输出的驱动信号更新基本图像。例如，当操作者Op使用主机械手2来移动虚拟内窥镜41或者改变虚拟内窥镜41的取向时，图像形成部32将虚拟内窥镜41的方位看起来已更改为不同的位置和角度的图像设置为新的基本图像。

图像处理部33从预定数据库选择虚拟机械手图像，该虚拟机械手图像能够提供与通过来自变换单元26的驱动信号设置的取向和移动对应的立体视图。所述虚拟机械手图像可包括从臂8的一部分的图像、手术器械110的一部分的图像或者模仿从臂8和手术器械110的图像。即，虚拟机械手图像是反映与主机械手2所执行的操作对应的取向和移动的图像。

图像处理部33将虚拟机械手图像叠加到基本图像上，以生成虚拟机械手40看起来基于主机械手2所执行的操作移动到基本图像上方的图像（即，第二图像）。

图像处理部33还将所生成的第二图像输出给图像输出部34。

图像输出部34临时存储从图像处理部33输出的第二图像，并按照预定帧速率将临时存储的第二图像顺序地输出给显示装置10。通过这样做，在显示装置10上显示立体动态图像，其中虚拟机械手40看起来根据变换单元26所转换的驱动信号（即，新命令）移动。

现在将描述本实施方式的医疗用机械手系统1的操作。图3是示出当使用医疗用机械手系统1时的操作的示图。

如图1所示，当使用医疗用机械手系统1时，操作者Op戴上3D眼镜13，并在观看显示在显示装置10的显示面板12上的图像的同时对处置对象执行处置。通过按下开关6，可将显示在显示面板12上的图像在由设置在从机械手7中的内窥镜100的图像取得部101（参见图2）获取的术中患者的图像（即，第一图像——参见图1）与基于经由术前检查获得的超声图像的图像（即，第二图像——参见图3）之间切换。

第一图像内包含从机械手7本身的图像。第二图像内包含由图像处理部33选择的虚拟机械手40的图像。

当显示第一图像时，显示装置10上的从机械手7的坐标系与主机械手2所使用的操作坐标系一致。另外，当显示第二图像时，显示装置10上的虚拟机械手40的坐标系与主机械手2所使用的操作坐标系一致。因此，操作者Op能够在从机械手7和虚拟机械手40之间切换操作，而不会经历任何不协调感。

此外，通过根据主机械手2的移动更新图像形成部32中的基本图像，在作为能够立体地观看的图像的第二图像中，操作者Op能够识别这样的图像，其中看起来操作者Op将虚拟内窥镜41移动到期望的位置。换言之，操作者能够通过执行与使用内窥镜100时操作者利用主机械手2执行的操作相同类型的操作，来观看术前检查图像。结果，操作者能够直观地将显示在第一图像中的信息与显示在第二图像中的图像进行对比，从而有效地执行任务。

（修改示例1）

接下来，将参照图1和图2描述上述第一实施方式的修改示例。

在此修改示例中，检查图像检索系统30的结构不同。

在数据服务器31中，存储有利用x射线通过在术前对待处置患者执行的计算机断层扫描（CT）获得的图像（CT图像）。

基于存储在数据服务器31中的CT图像，图像形成部32形成由三维图像形成的基本图像。

在此修改示例中，除了基本图像基于CT图像之外，剩余结构与上述实施方式中相同。

利用此结构也可实现与上述实施方式相同类型的效果。

（修改示例2）

接下来，将参照图1和图2描述上述第一实施方式的另一修改示例。

在此修改示例中，检查图像检索系统30的结构不同。

在数据服务器31中，存储有通过在术前对待处置患者执行的核磁共振成像（MRI）获得的图像（MRI图像）。

图像形成部32通过从累积在数据服务器31中的MRI图像检索由操作者Op选择的单个切片图像来形成基本图像。可用于选择基本图像的方法的一个示例是将作为基本图像的候选的多个切片图像显示在显示装置10上，然后操作者通过移动主臂3选择这些切片图像中的一个的方法。

在此修改示例中，除了基本图像是MRI图像的切片图像之外，剩余结构与上述实施方式和修改示例1中相同。

利用此结构也可实现与上述实施方式相同类型的效果。

此外，MRI图像不限于切片图像（即，二维图像），还可采用与上述修改示例1相同的方法来形成三维图像。利用此结构也可实现与上述实施方式相同类型的效果。

还可不仅在检查图像检索系统30中的数据服务器31中包括关于患者的检查信息，而且还包含三维（或二维）CG数据，例如人体的一般解剖模型。利用此结构也可实现与上述实施方式相同类型的效果。

（第二实施方式）

接下来，将描述根据本发明的第二实施方式的医疗用机械手系统1A。图4是示出本实施方式的医疗用机械手系统的一部分的结构的框图。

如图4所示，本实施方式的医疗用机械手系统1A与第一实施方式的不同之处在于，术中检查装置35连接到检查图像检索系统30。

术中检查装置35是诸如（例如）超声内窥镜、荧光内窥镜、实时断层扫描装置、实时MRI装置等的装置。术中检查装置35可安装在从机械手7上，或者可与从机械手7一起设置在待处置的患者附近。

术中检查装置35在手术过程中对患者进行观察和检查等，并将作为这些观察和检查的结果获得的信息存储在数据服务器31中。通过这样做，检查图像检索系统30基于由术中检查装置35获取的信息在图像形成部32中形成基本图像。此外，以与第一实施方式相同的方式，检查图像检索系统30也通过在图像处理部33中将虚拟机械手的图像叠加在基本图像的上方来形成第二图像。

根据本实施方式的医疗用机械手1A，在对患者进行手术的中间，通过术中检查装置35（不同于内窥镜100的装置）获取关于患者的信息，基于所获取的信息形成的第二图像立刻显示在显示装置10上。

上面已参照附图详细描述了本发明的实施方式，然而，其具体结构不限于这些实施方式，可包括各种设计修改等，只要其未脱离本发明的精神或范围即可。

例如，在第一实施方式和第二实施方式中在术前和术中使用的检查装置和医疗图像的类型不限于X射线和MRI装置和图像，假若使用诸如闪烁扫描装置、正电子发射断层扫描（PET）装置、荧光透视装置、红外图像形成装置或血管造影系统等的公知检查装置，则所述方法不受限制。在这些情况下，也可实现与上述实施方式相同类型的效果。

此外，包含可用于设置医疗用机械手系统1或1A的操作模式的按钮或图标的操作屏幕、或者文档或图示的图像、或者诸如心电图等的医疗信息也可作为第二图像显示在显示装置10上。在这些情况下，也可由操作主臂3的操作者来操作第二图像。

还可采用头戴式显示器作为显示装置。

此外，还可为检查图像检索系统30提供当主臂3进行特定动作时确定正在进行特定操纵的姿态输入功能。

此外，在各个上述实施方式中，描述了利用开关6切换显示在显示面板12上的图像的示例，然而，也可采用设置有多个显示面板12的显示装置，第一图像和第二图像将显示在单独的显示面板12上。在这种情况下，可提供与上述第一实施方式相同类型的开关6，然而，代替开关6，优选的是，在切换部24中提供确定操作者Op正在观看哪一显示面板12的确定装置。该确定装置优选地具有检测操作者Op的脸部或视线所朝向的方向的传感器。

此外，在上述第一实施方式中，描述了臂驱动部5被设置用于调节主臂3的远侧端部（即，夹持部分）的取向的示例，然而，也可采用这样的结构，其中未设置臂驱动部，相反，操作者能够手动调节主臂3的取向。

此外，也可提供利用运动传感器（例如，光学跟踪传感器等）检测主夹持部分的位置和取向的输入装置，而不设置主臂。在这种情况下，操作者也可手动调节主夹持部分的取向。

此外，上述实施方式和修改示例中的每一个中所示的组成元件也可适当地组合成各种结构。

[工业实用性]

根据上述医疗用机械手系统，操作者能够针对不同的图像操作从臂而不会经历任何不协调感。

[标号说明]

1、1A医疗用机械手系统

2主机械手

3主臂

4位移传感器

5臂驱动部

6开关（选择单元）

7从机械手

8从臂

9致动器（驱动单元）

10显示装置

11图像处理部

12显示面板

20控制装置

21主控制单元

22主控制部

23从控制部

24切换部

25选择部

26变换单元

27信号输出部

30检查图像检索系统（第二图像形成装置）

31数据服务器

32图像形成部

33图像处理部

34图像输出部

35术中检查装置

40虚拟机械手

41虚拟内窥镜

100内窥镜（第一图像形成装置）

101图像取得部

110手术器械

Op操作者

Claims (5)

1.一种医疗用机械手系统，该医疗用机械手系统包括：

主机械手，其被配置为发送动作指令；

从机械手，其支撑对处置对象执行处置的手术器械；

第一图像形成装置，其被配置为获取第一图像，该第一图像包括所述从机械手的一部分和所述处置对象；

第二图像形成装置，其被配置为形成第二图像，该第二图像是与所述第一图像不同的图像，并且包括与所述从机械手的一部分对应的虚拟机械手的图像；

显示装置，其被配置为显示所述第一图像和所述第二图像中的任意一个图像；

选择单元，其被配置为从所述第一图像和所述第二图像中选择一个图像；

选择部，其被配置为根据所述选择单元进行的选择，对所述第一图像形成装置和所述虚拟机械手中的虚拟内窥镜中的任意一个进行切换并将其设定为操作对象；

变换单元，其被配置为针对所述操作对象将所述主机械手发送的所述动作指令变换为对应的新命令，使得所选择的图像坐标系与所述主机械手所使用的操作坐标系一致；以及

驱动单元，其被配置为在所述选择部将所述第一图像形成装置设定为操作对象的情况下，使得所述从机械手根据所述新命令来移动，

所述第二图像形成装置具有图像处理部，该图像处理部在所述选择部将所述虚拟机械手中的虚拟内窥镜设为操作对象的情况下生成所述第二图像，以使所述虚拟机械手的图像成为反映了与所述主机械手的操作对应的取向和移动的图像。

2.根据权利要求1所述的医疗用机械手系统，其中，

所述第一图像形成装置是内窥镜，并且

所述第二图像形成装置生成虚拟机械手图像，然后通过将所述虚拟机械手图像合成到基本图像上来生成所述第二图像，其中，在所述虚拟机械手图像中所述从机械手被显示为看起来根据所述新命令移动，所述基本图像是通过生成所述处置对象的图像而形成的。

3.根据权利要求2所述的医疗用机械手系统，其中，

所述第二图像形成装置基于来自所述主机械手的所述动作指令来更新所述基本图像并更改视点。

4.根据权利要求2或3所述的医疗用机械手系统，其中，

所述医疗用机械手系统与在对所述处置对象执行处置的同时形成所述处置对象的图像的检查装置一起使用，并且

所述第二图像形成装置将在处置任务期间由所述检查装置形成的图像用作所述基本图像。

5.根据权利要求4所述的医疗用机械手系统，其中，

所述检查装置被设置在所述从机械手中。