CN110225720A - 手术辅助装置及其控制方法、程序、以及手术辅助系统 - Google Patents

手术辅助装置及其控制方法、程序、以及手术辅助系统 Download PDF

Info

Publication number
CN110225720A
CN110225720A CN201780082918.7A CN201780082918A CN110225720A CN 110225720 A CN110225720 A CN 110225720A CN 201780082918 A CN201780082918 A CN 201780082918A CN 110225720 A CN110225720 A CN 110225720A
Authority
CN
China
Prior art keywords
control
operation tool
posture
auxiliary device
control point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780082918.7A
Other languages
English (en)
Other versions
CN110225720B (zh
Inventor
安藤岳洋
宫本宽之
粟野启太
杉浦吉英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Excellent Traction Of Co Clubs
Original Assignee
Excellent Traction Of Co Clubs
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Excellent Traction Of Co Clubs filed Critical Excellent Traction Of Co Clubs
Publication of CN110225720A publication Critical patent/CN110225720A/zh
Application granted granted Critical
Publication of CN110225720B publication Critical patent/CN110225720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/062—Measuring instruments not otherwise provided for penetration depth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/067—Measuring instruments not otherwise provided for for measuring angles

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本发明的手术辅助装置使用插入到体腔中的第2手术工具来对插入到体腔且被机械性地驱动的第1手术工具的姿势进行控制，手术辅助装置具有：切换单元，其对为了进行治疗而使用第2手术工具的第1模式和为了控制第1手术工具而使用第2手术工具的第2模式进行切换；测量单元，其对第2手术工具的轴向体腔插入的插入角度和插入深度进行测量；以及运算单元，其为了控制第1手术工具的姿势，根据测量单元的测量结果来决定被控制点的目标位置，被控制点是作为手术人员的控制对象、且是确定第1手术工具的姿势的点，运算单元根据从第2模式的开始时刻起测量到的插入角度和插入深度的变化量来决定被控制点的目标位置。

Description

手术辅助装置及其控制方法、程序、以及手术辅助系统
技术领域
本发明涉及手术辅助装置及其控制方法、程序以及手术辅助系统。
背景技术
已知有在腹壁上开多个小径的孔，通过将手术人员手持的手术工具或内窥镜等医疗器械从小径的孔中分别插入到体腔内来进行手术的腹腔镜手术。一般地，在腹腔镜手术中，操作超声刀或钳子等多个手术工具进行手术的手术人员是在操作腹腔镜的腹腔镜操作者(scopist)或用钳子牵引脏器等的助手等的帮助下进行手术的，因此与切开腹部的开腹手术相比有时会很烦杂。因此，提出了代替腹腔镜操作者等的辅助而由机械手臂(robotarm)来辅助手术人员的技术。
在专利文献1中提出了如下技术：使用安装于治疗工具上的可动线圈和安装于具有内窥镜(scope)的垂直多关节型6自由度机器人侧的固定发射机来测量手术工具的姿势，控制腹腔镜的姿势以使得手术工具的末端位置在腹腔镜的轴心上通过。此外，在专利文献2中提出了如下技术：在套管(Trocar)上设置倾斜传感器等惯性传感器和插入量传感器来测量手术工具的姿势，控制腹腔镜的姿势以追踪手术工具的末端位置。
在先技术文献
专利文献
专利文献1：日本特开2003－127076号公报
专利文献2:日本特开2007－301378号公报
发明内容
发明要解决的课题
然而，在专利文献1提出的技术中，由于需要取得6个自由度的姿势，因此造价高，并且有时因各自由度的测量误差导致对机械手臂的控制产生较大影响。此外，像专利文献2提出的技术那样，在利用惯性传感器来测量被操作的手术工具的移动的情况下，实际上会累积被称之为漂移误差(Drift error)的测量误差，存在测量结果偏离实际的位置这样的问题。即，如果在对手术工具的测量结果中累积了测量误差，则机械手臂的动作会变得不自然。
此外，无论是哪种技术，手术人员所意图进行操作的操作对象最终是用于进行治疗的主手术工具，腹腔镜等附属手术工具随着主手术工具的末端位置的移动而被控制。即，没有考虑过将手术人员所意图进行操作的操作对象作为附属手术工具并利用主手术工具直观地操作该附属手术工具的姿势。如果将主手术工具的用途从治疗的用途切换成直接操作附属手术工具的用途，那么手术人员便能够按照期望来操作附属手术工具的姿势，如此一来，便能够进一步提高机械手臂对手术人员的辅助效果。
本发明是鉴于上述课题而完成的。即，目的在于提供一种手术辅助装置及其控制方法、程序以及手术辅助系统，其能够使用用于治疗的手术工具在抑制了测量误差的影响的同时直观地控制被机械地控制的手术工具的姿势。
用于解决课题的手段
为了解决这些课题，例如本发明的手术辅助装置具有以下结构。即，一种手术辅助装置，使用插入到体腔中的第2手术工具来对插入到体腔且被机械性地驱动的第1手术工具的姿势进行控制，手术辅助装置具有：切换单元，其对为了进行治疗而使用第2手术工具的第1模式和为了控制第1手术工具而使用第2手术工具的第2模式进行切换；测量单元，其对第2手术工具的轴向体腔插入的插入角度和插入深度进行测量；以及运算单元，其为了控制第1手术工具的姿势，根据测量单元的测量结果来决定被控制点的目标位置，被控制点是作为手术人员的控制对象、且是确定第1手术工具的姿势的点，运算单元根据从第2模式的开始时刻起测量到的插入角度和插入深度的变化量来决定被控制点的目标位置。
发明效果
根据本发明，能够使用用于治疗的手术工具在抑制测量误差的影响的同时直观地控制被机械性地控制的手术工具的姿势。
根据参照了附图的以下说明，可以清楚地理解本发明的其他特征和优点。另外，在附图中，对同一个或者同样的结构，标注同样的参照编号。
附图说明
附图包含在说明书中，构成说明书的一部分，用于示出本发明的实施方式，并且与其叙述一同说明本发明的原理。
图1是示出本实施方式的手术辅助系统的结构例的图。
图2是说明本实施方式的、用于求出机器人的坐标系和惯性传感器的坐标系之间的关系的校准方法的图。
图3是说明本实施方式的、决定机器人医疗器械相对于被控制点的目标位置的处理的图。
图4是说明本实施方式的、决定机器人医疗器械相对于被控制点的目标姿势的处理的图。
图5是对本实施方式的棒状的机器人医疗器械的控制进行说明的图。
图6是对本实施方式的具有多个自由度的机器人医疗器械的姿势的控制进行说明的图。
图7是对本实施方式的、能够变更光轴的朝向的机器人医疗器械的姿势的控制进行说明的图。
图8是对本实施方式的、具有其他机构的机器人医疗器械的姿势的控制进行说明的图。
图9是示出本实施方式的、使用手持式医疗器械的机器人医疗器械的操作的一系列动作的流程图。
图10是说明具有拍摄器件的机器人医疗器械的操作的图
图11是说明本实施方式的具有拍摄器件的机器人医疗器械的控制的图。
具体实施方式
在以下，参照附图对本发明所例示的实施方式进行详细说明。另外，在以下的说明中，在仅对手术工具的姿势的测量或者控制进行说明的情况下，有时包括对手术工具的特定部位的位置进行测量、或者将手术工具的特定部位控制到其他位置的情况。
(手术辅助系统的结构)
图1是示出本实施方式的手术辅助系统1的功能结构例的图。另外，图1所示的功能块的1个以上可以由ASIC、可编程逻辑阵列(PLA)等硬件来实现，也可以通过由CPU或MPU等可编程处理器执行软件来实现。此外，也可以通过软件和硬件的组合来实现。因此，在以下的说明中，即使在将不同的功能块记作动作主体的情况下，也能够由相同的硬件实现主体。
本实施方式的手术辅助系统1包含手术辅助装置2、和对手术工具或末端执行器的姿势进行控制的医疗器械驱动部11。此外，手术辅助装置2例如包含：对手术人员所持有的手术工具的姿势进行测量的位置姿势测量装置22、用于对控制状态进行切换的模式切换部3、进行坐标变换和控制对象的位置等的运算或控制医疗器械驱动部11的控制部4、显示部7、及非易失性存储器8。此外，在图1中，示出了经由外套管将手术工具或末端执行器插入到躺在手术台6上的患者的体腔内的情形。
本实施方式的手术辅助系统1设置在靠近手术人员和患者的位置处，通过控制医疗器械驱动部11，配合手术人员的手术工具的操作而辅助手术人员所进行的手术。手术人员操作手持式医疗器械21以交替进行的方式切换治疗(例如用电手术刀切开脏器的一部分)和对机器人医疗器械12或末端执行器的姿势的控制(现有技术中是由助手用钳子牵引脏器)。
因此，本实施方式中的机器人医疗器械12或末端执行器的姿势的控制与上述的一直测量手术工具的末端位置并使腹腔镜等追随该手术工具的末端位置附近的控制不同，是在操作手持式医疗器械21执行切开等治疗的间隔进行的。因此，为了控制机器人医疗器械12或末端执行器的姿势而进行的手持式医疗器械21的姿势的测量在较短时间内结束。
医疗器械驱动部11包含对机器人医疗器械12的移动或末端执行器13的姿势进行控制的驱动部(例如机械手臂)。例如构成为能够控制机器人医疗器械12向腹壁5插入的插入角度、机器人医疗器械12的轴在长轴方向上的移动(插入深度)，以及末端执行器13的驱动。虽然驱动部的机构例如可以是使用了R引导件的机构、使用了平行连杆的结构、或者是基于垂直多关节臂的机构等，但只要能够主动地控制末端执行器13的姿势即可，其形状可以是任意的。在驱动部中包含多个伺服马达等定位用致动器，能够从致动器所包含的编码器取得机构的关节角等当前位置信息。医疗器械驱动部11经由LAN等通信线路或者总线而与手术辅助装置2连接，与手术辅助装置2的控制部4之间进行数据的接收发送。医疗器械驱动部11能够向手术辅助装置2的控制部4输出关节角等当前位置信息，此外，还能够根据从控制部4输出的控制信息来控制机器人医疗器械12的移动或末端执行器13的姿势。另外，在之后的说明中仅称为“机器人”的情况下，指的是医疗器械驱动部11、机器人医疗器械12、末端执行器13全体。
机器人医疗器械12的一部分经由外套管14插入到体腔内，该外套管14插入到开设在腹壁5上的小径的孔中。例如，机器人医疗器械12包括插入体腔内使用的钳子、镊子、电手术刀、抽吸管、超声波凝固切开装置、止血装置、电波烧灼装置、内窥镜、胸腔镜、腹腔镜等，其形状虽然是直线状，但可以具有弯曲关节。
手持式医疗器械21是手术人员实际上手动进行通常的治疗的医疗器械，其经由插入到开设于腹壁5的小径的孔中的外套管23而被插入到体腔内。在手持式医疗器械21上安装有位置姿势测量装置22，其通过后述的传感器来测量手持式医疗器械21的姿势。该传感器可以是一般的能够测量6个自由度的绝对位置姿势的传感器，在本实施方式中，对使用仅能够测定相对于某时刻、位置的相对位置姿势的传感器的例子进行说明。
位置姿势测量装置22由能够测量3个自由度的姿势的惯性传感器和能够测量向体腔内插入的插入深度的距离传感器的组合构成。作为惯性传感器，例如能够利用加速度传感器、倾斜传感器、陀螺仪传感器、地磁传感器等一般的传感器和它们的组合。此外，作为距离传感器，能够使用编码器、和使用了光或磁的距离计等，该编码器应用了通过插入手持式医疗器械21而进行旋转的辊。
模式切换部3包含用于适当地切换手术辅助系统的操作模式的操作部件，例如由手动开关、脚踏开关等构成。操作模式包括：为了进行治疗，操作手持式医疗器械21实际进行手术的模式(也可以简称为治疗模式)、为了操作机器人医疗器械12或末端执行器而使用手持式医疗器械21的模式(还简称为机器人操作模式)。此外，机器人操作模式还包括：用于进行后述的校准(calibration)的校准模式、和用于使用手持式医疗器械21对机器人医疗器械12等的规定部位的位置进行控制的位置控制模式。当手术人员通过模式切换部3切换了操作模式时，控制部4根据来自模式切换部3的信号切换系统的操作模式，将当前的操作模式记录于未图示的RAM中。另外，也可以是，经由模式切换部3取得规定的声音、规定的姿势信息，控制部4切换成与输入的信息对应的操作模式。
控制部4包含CPU或者MPU等中央运算装置、ROM以及RAM，执行存储于ROM或非易失性存储器8等记录介质中的程序，对手术辅助装置2的各模块的动作进行控制。此外，控制部4从医疗器械驱动部11取得关节角等当前位置信息(或者是基于这些而获得的关节角等之间的距离信息等)。此外，将用于控制机器人医疗器械12的移动或末端执行器13的姿势的控制信息向医疗器械驱动部11发送。
显示部7例如包括液晶显示器、有机EL显示器等显示装置，其显示由插入到腹壁的未图示的腹腔镜所拍摄到的体腔内的图像或者视频。此外，显示部7显示(包含表示机器人或手持式医疗器械21的姿势的数值等)系统内部的状态、和用于操作本系统的操作画面等。
非易失性存储器8包括由半导体存储器、或磁盘等构成的记录介质，其存储控制部4执行的程序、或动作用的常数等。
(测量手持式医疗器械21的姿势时的问题)
为了使用手持式医疗器械21操作机器人医疗器械12，需要测量手持式医疗器械21的姿势。在本实施方式中，为了求出该姿势，使用以腹壁5的旋转中心为原点的、以惯性传感器的启动时的姿势为基准的坐标系。但是，这样的姿势测量方法存在以下3个问题。
第1，由于惯性传感器的坐标系和机器人所具有的坐标系不同，因此即使测量出手持式医疗器械21的姿势，也无法使机器人医疗器械12或末端执行器13向手术人员所意图的方向移动。
第2，存在如下问题：在惯性传感器的绕重力轴的旋转角的测量值中包含漂移误差。对于惯性传感器，通常是将陀螺仪传感器与加速度传感器组合而对姿势进行计算，但是作为绕重力轴的旋转角，只能够使用陀螺仪传感器的值。因此，要使用对角速度积分后的值来作为旋转角。在角速度的测量结果中存在或大或小的误差，因此在对该值进行积分的情况下，随着时间经过，测量误差会增大。将该测量误差称为漂移误差。当产生了漂移误差时，最初规定的坐标系成为好像进行了旋转的状态，手持式医疗器械的实际姿势与测量值相背离。另外，即使在不使用陀螺仪传感器而仅使用加速度传感器的情况下，也要使用对加速度积分后的值来作为位置，因此测量结果同样包含漂移误差。
第3，存在难以将用于测量插入深度的距离传感器的基准点与腹壁的旋转中心对准的问题。通常，位置姿势测量装置22所包含的距离传感器设置在外套管23或手持式医疗器械21上的规定位置，因此只能进行以该位置为基准的距离的测量。因此，距离传感器的基准点处于与手持式医疗器械21在腹壁5上的旋转中心不同的位置。但是，腹壁5上的旋转中心处于腹壁内部，此外还会根据腹壁的厚度等而发生变化，因此不能决定成距外套管23固定的距离。即，手持式医疗器械21的旋转中心与距离传感器的基准点如果不能相互变换，则无法准确地在机器人坐标系上求出手持式医疗器械21的原点，会成为不自然的操作。
(使用了手持式医疗器械21的机器人医疗器械的操作的一系列动作)
接下来，参照图9，对使用了手持式医疗器械21的机器人医疗器械12的操作的一系列动作进行说明。各步骤的更详细的说明会另外后述，通过该动作会解决上述的问题，并且手术人员能够使用手持式医疗器械21更加直观地操作机器人医疗器械12或末端执行器13。另外，在本动作中，控制部4是通过将记录于非易失性存储器8的程序加载到未图示的RAM中并执行该程序而实现的。此外，本处理在例如手术人员操作模式切换部3将操作模式切换成校准模式时开始。
在S1中，控制部4确定用作虚拟的旋转中心的控制基准点。在本实施方式中，将控制基准点的位置设定为与手持式医疗器械21的旋转中心的位置相同的位置。因此，控制部4根据在后面详述的基于校准的测量结果来确定手持式医疗器械21的旋转中心在惯性传感器坐标系中的位置(即控制基准点的位置)。
在S2中，控制部4将惯性传感器坐标系变换为机器人坐标系。更具体地，根据在S1的校准中所确定的至少2个位置在惯性传感器坐标系中的位置和在机器人坐标系中的位置之间的关系来确定坐标系之间的变换函数。
在S3中，控制部4对是否接收到向位置控制模式切换的切换指示进行判定。例如，当手术人员在S2的处理结束后经由模式切换部3将操作模式设定为位置控制模式时，控制部4会接收到将操作模式向位置控制模式切换的指示。控制部4在接收到操作模式的切换指示的情况下，使处理前进到S4。另一方面，在没有接收到操作模式的切换指示的情况下，使处理再次返回到S3(也可以根据需要结束本一系列的动作)。
在S4中，控制部4计算操作模式被切换到位置控制模式的时刻的、从控制基准点向被控制点的基准向量。被控制点是指，在手术人员操作机器人医疗器械12或末端执行器13时成为控制对象的点。控制部将计算出的基准向量的信息例如保存在RAM等中。在该处理中，意味着确定了在模式被切换的时刻所规定的、从控制基准点向被控制点延伸的虚拟轴，并保存该虚拟轴。
在S5中，控制部4求出自计算出基准向量的时刻(即切换到位置控制模式的时刻)起的、手持式医疗器械21的相对移动量。然后在S6中，控制部4通过基于在S5中求出的相对移动量而移动基准向量，来确定表示被控制点所应该在的位置的目标位置。换言之，意味着根据手术人员使手持式医疗器械21移动的相对移动量来确定在S4中求出的虚拟轴的末端的目标位置。然后，控制部4控制机械手臂使末端执行器13向该目标位置移动，结束本系列的动作。
像这样，根据上述的处理，由于使用了相对于手持式医疗器械21的相对移动量，因此能够控制漂移误差的影响。此外，由于使基于控制基准点的被控制点的位置通过相对于手持式医疗器械21发生的移动量而变化，因此能够给与手术人员好像在虚拟的棒的末端直接操作被控制点这样的直观的操作感。在此后，对于参照图9所说明的步骤补充更详细的说明。
＜S1：控制基准点的确定＞
首先，对在上述S1中确定被用作虚拟的旋转中心的控制基准点的动作进行说明。安装于手持式医疗器械21的位置姿势测量装置22包含：测量外套管23与手持式医疗器械21的末端之间的相对距离的距离传感器、和能够测量3个轴的姿势的至少1个惯性传感器。在该距离传感器和惯性传感器的组合中，不清楚腹壁5的旋转中心与距离传感器的测量原点之间的偏移，此外，绕重力轴的旋转具有漂移误差。但是，漂移误差如果是在数秒～数分程度的较短时间，则由于小到可以无视的程度，因此可以不考虑测量值的漂移。即，由于本实施方式中的使用了手持式医疗器械21的末端执行器的操作实际上在数分钟左右便结束，并切换成使用手持式医疗器械21的实际手术，因此在这段时间内累积的漂移误差很小，是可以无视的。即使在假设使用了手持式医疗器械21的末端执行器的操作需要较长时间的情况下，可以临时将操作切换成使用手持式医疗器械21的实际手术，然后再切换成末端执行器的操作。因此，在各操作中，都能够在无视漂移误差的程度的时间内进行操作。
校准是在机器人医疗器械12和手术人员手持的手持式医疗器械21分别经由外套管14和外套管23而插入到体腔内的状态下进行的。具体而言，手术人员使末端执行器13移动到手持式医疗器械21的末端所能够接触到的位置。末端执行器13的移动通过手术人员以手动(例如进行慢前进动作等)进行，当到达目的位置时停止。此时，控制部4从医疗器械驱动部11取得各关节所具备的传感器信息(当前位置信息)，通过求解公知的正向运动学而求出末端执行器13在机器人坐标系中的姿势。此外，控制部4能够根据位置姿势测量装置22的信息，在惯性传感器坐标系中求出外套管23与手持式医疗器械21的末端之间的相对距离、以及手持式医疗器械的姿势。该惯性传感器坐标系虽然长期而言受前述的漂移误差的影响而旋转，但如果是数秒～数分这样的单位，则可以视作没有旋转。
接下来，如图2所示，使在机器人坐标系中已知的至少2个点与手持式医疗器械21的末端接触。控制部4保存接触时从距离传感器和惯性传感器输出的测量值。另外，为了使手持式医疗器械21与机器人坐标系中的2个点接触，手术人员使从另外插入到体腔内的未图示的腹腔镜取得的视频显示在显示部7上，一边观察所显示的视频一边进行操作。
此外，控制部4按照机器人的正向运动学进行计算，在机器人坐标系中计算出接触的2个点各自的位置。接触的2个点例如是末端执行器13的末端和根端的位置。但是，只要是机械性的已知位置即可，可以是任意位置。此外，也可以在使第1个点进行接触之后，使机器人移动到不同的位置，设为第2个点，如果存在2个以上的机械手臂，也可以将各末端执行器上的点设为各点。但是，由于在接触的2个点处于重力轴上的情况下无法求出绕重力轴的旋转，因此将2个点设定成使连接该进行接触的2点的直线与重力轴之间具有角度。优选为，在与重力轴垂直的平面(与地面平行的平面)上取得接触的2个点。例如，控制部4计算接触的2个点的重力轴上的位置的差分，将差分值(例如，-3，··-1，0，+1，··，+3等)显示于显示部7。这样，使机器人移动的用户容易在与重力轴垂直的平面上调节接触的2个点。
并且，控制部4将距离传感器的值变换为以腹壁的旋转中心为基准的插入深度。此外，由于接触的2个点在机器人坐标系中是已知的，因此控制部4可以按照下面的数学公式1取得该2点间的距离d。
[数学公式1]
d＝|p2-p1|
在此，p1、p2是手持式医疗器械21与末端执行器13等发生接触的2个点在机器人坐标系中的位置。
另一方面，控制部4通过惯性传感器的信息，取得与末端执行器13的2个点接触时的向量，并通过内积求出该期间的角α。此外，通过距离传感器的信息来测量以外套管23为基准的距离。将接触的各点与外套管23之间的相对距离设为L1、L2，将距离传感器的基准点与旋转中心之间的距离设为Loff，各长度具有以下关系。
[数学公式2]
(L1-Loff)2+(L2-Loff)2-2(L1-Loff)(L2-Loff)cosα＝d2
在此，L1、L2不一定表示从外套管23到手持式医疗器械21的末端的距离，也可以考虑符号而使用自手持式医疗器械21的其他位置起的距离。如果对Loff进行求解，根据几何学条件确定1个解，其能够像以下那样求出。
[数学公式3]
<S2：从惯性传感器坐标系向机器人坐标系的转换>
接下来，对将惯性传感器坐标系向机器人坐标系转换的步骤进行补充说明。控制部4求出接触的2个点在以旋转中心为原点的惯性传感器坐标系中的位置，并将它们设为q1、q2。由于这些点与机器人坐标系中的该2点p1、p2是对应的，因此能够使用旋转矩阵R和平移向量t生成下面的评估函数H。
[数学公式4]
只要求出使该评估函数最小的旋转矩阵R和平移向量t，便将惯性传感器坐标系变换为机器人坐标系。另外，旋转矩阵R和平移向量t一共包含6个变量，如果使用在不同的2个点接触的条件，能够生成6个方程式。因此，只要在至少2个点上使机器人与手持式医疗器械21接触，便能够使解收敛。当然，也可以使用2个以上的点使评估函数最优化。
<S4：从控制基准点向被控制点的基准向量的计算>
接下来，参照图3，对计算从控制基准点向被控制点的基准向量的动作更详细地进行说明。首先，控制部4作为能够在机器人坐标系中规定的任意点而取得被控制点。被控制点可以是机器人医疗器械12的末端、末端执行器13的根部或末端等，被控制点只要能够用于定位机器人即可，也可以在空间中规定。在此，对通过手持式医疗器械21而被操作的末端执行器13的根部被作为被控制点的例子进行说明。控制部4根据从医疗器械驱动部11取得的当前位置信息取得被控制点的位置。此外，将手持式医疗器械21的旋转中心设定为控制基准点。
设手术人员将操作模式切换成位置控制模式的瞬间的被控制点的位置为pc。此外，将已经确定的控制基准点的位置设为pt。在此，控制部4根据以下的数学公式来计算从控制基准点pt向医疗器械的被控制点pc的向量v0(即基准向量)。
[数学公式5]
v0＝pc-pt
控制部4仅在通过模式切换部3切换成位置控制模式的瞬间进行该计算，直到该位置控制模式解除为止，都将基准向量v0保持为常数。在此，如果将基准向量v0以极坐标来表示，则成为下式。
[数学公式6]
<S5：手持式医疗器械的相对移动量的计算>
接下来，设手术人员通过模式切换部3切换成位置控制模式的瞬间tk时的、手持式医疗器械21的传感器测量值为(l′k，φ′k，θ′k)。如果设手持式医疗器械21从该时刻起移动到某位置时的时刻为ti，则上述传感器测量值各自变化后的值能够表示为(l′k+i，φ′k+i，θ′k+i)。然后，控制部4以如下方式计算出测量值的变化量来作为上述的手持式医疗器械21的相对移动量。
[数学公式7]
Δl′i＝l′k+i-l′k
Δφ′i＝φ′k+i-φ′k
Δθ′i＝θ′k+i-θ′k
另外，由于所取得的相对移动量(Δl′i，Δφ′i，Δθ′i)是机器人被设定为位置控制模式期间的数秒～数分这样的较短时间内的相对移动量，因此对于Δθ′i可以不考虑漂移误差。
<S6：被控制点的目标位置的确定>
然后，控制部4使用这些传感器的测量值的变化量(相对移动量)和基准向量计算从控制基准点向目标位置的向量vi。
[数学公式8]
由此，能够以如下方式求出表示机器人坐标系中的目标位置的向量pr。
[数学公式9]
pr＝pt+vi
然后，控制部4针对所提供的目标位置，使用公知的机械手臂的控制方法使末端执行器13的被控制点向该目标位置移动。此处所示的变量不会受到漂移误差的影响。因此，其结果为，手术人员能够在没有意识到坐标系的旋转的前提下直观地操作机器人。
此外，如在上文图9的说明中所述，通过本实施方式的处理，手术人员能够进行如直接操作被控制点那样的直观的操作。在上述的例子中，由于将手持式医疗器械21的原点设为控制基准点pt，因此对于手术人员来说存在如下认知：似乎存在从旋转中心向被控制点延伸的虚拟的轴，并且手持着该轴而对被控制点进行着操作。
如以上所说明那样，在本实施方式中，根据从机器人医疗器械12的操作开始的基准时刻(位置控制模式的开始时刻)起的、手持式医疗器械21的相对移动量，来确定机器人医疗器械12等的被控制点的目标位置。通过采用此方式，抑制了惯性传感器坐标系中的漂移误差的影响，且手术人员能够使用手持式医疗器械来直观地控制机械手臂上的所期望的点的位置。换言之，能够使用用于治疗的手术工具在抑制了测量误差的影响的同时进行直观地控制被机械性地控制的手术工具的姿势。
另外，能够根据所采用的机器人医疗器械的结构或所需的用途简化求出控制基准点的处理或用于校准的处理。例如，设机器人坐标系的任意1个轴朝向重力方向。在这样的状况下，在惯性传感器坐标系与机器人坐标系的变换中，仅求出平移和绕重力轴的旋转即可，能够使用解析解来计算。此外，即使机器人坐标系的任意1个轴与重力轴不一致，通过向机器人安装加速度传感器，能够变换成至少1个轴与重力轴平行的坐标系。即，可以在变换了坐标后进行上述的简化计算。
还考虑了几个用于使距离传感器的基准点与实际的旋转中心对准的方法。例如，为了使得外套管23插入到腹壁5中的深度始终固定，可以在外套管23的规定位置标注标记或者在外套管23上安装挡块以使得不会插入固定深度以上。只要外套管23插入到腹壁5中的深度固定，则距离传感器的原点能够偏离到旋转中心。
此外，为了测量机器人的点的位置，可以使用能够测量机器人坐标系上的任意的点的位置的测量装置。作为这样的测量装置，考虑测量机械臂末端的位置的装置、光学性地对位置进行测量的装置、利用磁性测量距离的装置等。这些测量装置通常能够预先整合到机器人坐标系中，因此能够测量机器人坐标系上的任意位置。此外，如果使用这样的装置求出手持式医疗器械21的旋转中心位置，则能够将所得到的手持式医疗器械21的坐标系与机器人坐标系整合在一起。
并且，也可以不根据上述的校准顺序，从预先确定的控制基准点之中选择规定的控制基准点。在该情况下，只要准备好定义了手持式医疗器械21的原点所处的位置的模板(template)，选择与手术人员所进行的手术最近似的配置即可。此外，在能够整合到机器人坐标系中的情况下，可以指定3维空间上的任意点。这样，控制基准点不一定必须存在于手持式医疗器械的旋转中心，只要是机器人坐标系上的点即可，能够根据用途通过选择或计算来确定。
(末端执行器的姿势控制)
在至目前为止的说明中，说明了对末端执行器13的根部位置进行控制的例子。但是，对于末端执行器，除了以根部为基准的位置的控制，还可以考虑比根部靠末端的部分的姿势。例如，以使该末端始终朝向规定的点的方式进行控制，使得姿势相对于机器人坐标系中的规定的点被固定。此外，也可以控制成在单纯地关节被固定的状态下，仅使被控制点的位置移动。
接下来，对还将上述一系列的动作应用于末端执行器13的姿势控制的例子进行说明。为了对末端执行器13的姿势进行控制，模式切换部3除了包括用于对末端执行器13的位置进行操作的位置控制模式之外，还包括用于对姿势进行操作的姿势控制模式。
在能够在进行姿势控制时直观地实施操作的控制基准点和被控制点的组合中，例如具有手持式医疗器械21的旋转中心与末端执行器13的末端这一组合，在以下的说明中，以该组合为例进行说明。但是对于该组合，只要是能够由机器人坐标系规定的点的组合即可，是任意的。
在姿势控制模式中，为了能够仅变更末端执行器13的姿势，(在位置控制中使用的)末端执行器的其他被控制点(例如根部位置)被固定于其位置。被固定的点(固定点)不一定必须是被控制点，但是在末端执行器13具有多个被控制点的情况下，可以将多个被控制点中的1个设为当前的控制对象并依次变更控制对象，可以将不是当前的控制对象的被控制点设为固定点。关于将何处设为固定点，可以根据机器人的结构或使用方法而不同，例如在设想在棒状的轴的末端具有弯曲关节的医疗器械的情况下，将弯曲关节的中心设为固定点，仅针对比该处靠末端的部分的姿势进行控制。
参照图4，对姿势控制模式下的控制进行说明。在姿势控制模式时，基本的控制处理与位置控制模式中的处理也是相同的。首先，假设上述的S1～S2已经执行完成，控制部4在代替S3而接收到向姿势控制模式的切换通知的情况下，在S4中计算模式被切换的瞬间的、从旋转中心(控制基准点)向被控制点的基准向量v0。接下来，在S5中，使用从惯性传感器等得到的信息来求出手持式医疗器械21的相对移动量，在S5中确定机器人的目标位置pr。
在姿势控制模式时，由于末端执行器的根部等通过固定点而被固定，因此有时在将被控制点移动到目标位置的控制中存在物理上的限制。因此，计算从固定点pf向目标位置pr的向量，并将该向量作为目标姿势vr输入到机器人中。该vr表示机器人坐标系上的目标姿势。由于机器人能够自如地控制末端执行器的姿势，其结果，能够利用手持式医疗器械21在抑制了漂移误差的影响的情况下直观地控制末端执行器的姿势。
(机器人医疗器械的姿势控制的应用例)
机器人医疗器械12的姿势控制、即使用了被控制点、固定点以及手持式医疗器械21的旋转中心(控制基准点)的控制能够应用于各种操作。
例如，如图5所示，设想棒状的医疗器械来作为机器人医疗器械12，考虑机器人能够自如地变更其姿势的情况。由于该医疗器械是经由外套管14而插入到腹腔内的，因此在机器人侧也存在腹壁5上的旋转中心。将上述的固定点设定于机器人侧的旋转中心位置，并使手持式医疗器械21的控制基准点虚拟地移动到该固定点，并选择棒状的医疗器械的末端作为被控制点。这样，手术人员能够像将机器人侧的医疗器械握在自身的手里那样进行操作。另外，在该情况下，固定点实现作为旋转中心的作用，并容许直线运动方向的自由度。
作为其他示例，能够设想图6所示的具有多个自由度的机器人医疗器械12。该医疗器械能够通过致动器来任意地变更形状，设在机器人坐标系中，能够对该医疗器械的任意的点进行控制。在该情况下，将固定点设定成末端以及与末端分离的另一个点，并选择这些固定点之间的点来作为被控制点。控制基准点可以是手持式医疗器械21的实际的旋转中心位置。在该例子中，由于障害物等的存在，能够在使不能进行移动的点固定的同时，变更医疗器械的一部分的姿势。在被控制点不能够物理性地追随于输入值的情况下，可以应用前述的姿势控制模式的例子仅变更姿势向量。此外，可以使机器人医疗器械12具有多个被控制点，将多个被控制点中的1个被控制点作为姿势控制的对象，将其他被控制点作为固定点。在该情况下，能够通过对作为控制对象的被控制点进行转矩操作等，在依次对被控制点和固定点进行切换的同时进行姿势控制。在图6的例子中，对被控制点和固定点2进行切换。在依次对被控制点进行切换时，可以重置而重新设定姿势控制模式的开始时间。这样，能够降低漂移误差的影响。
上述的被控制点、固定点及控制基准点无需是物理上实际存在的点，可以根据目的移动到虚拟的位置。此外，它们也可以各自存在2个以上。被控制点例如也可以是光轴上的点。例如，如图7所示，可以假定光轴方向能够变化的医疗器械是机器人医疗器械12。在该情况下，固定点是光轴发生弯曲的起点，被控制点选择从固定点离开了某一距离r的光轴上的点。通过该结构，能够与对末端执行器进行的控制相同地控制安装于机器人医疗器械12上的光学机器的光轴的朝向。
(组合了其他操作部件的机器人医疗器械的操作)
此外，通过进一步组合其他的操作部件，能够直观地对具有关节等的其他形态的末端执行器进行操作。例如，作为机器人医疗器械12，设想有如图8所示的在末端具有进行旋转和开闭的钳口机构的钳子状的医疗器械。在操作具有钳口机构的医疗器械的情况下，设置专门用于钳口的开闭的输入装置。例如只要将用于使钳口机构开闭的开关或拨盘等安装于手持式医疗器械21即可。也可以代替于此，利用脚踏开关或声音来对开闭进行操作。
虽然对于末端的旋转，也可以同样地设置开关或拨盘等专用的输入装置，但也能够根据手持式医疗器械的姿势信息来进行控制。控制部4在手术人员将操作模式切换成机器人操作模式(位置控制、姿势控制均可)的时刻，分别将手持式医疗器械21的绕轴的旋转角和末端执行器13的末端的旋转角分别设为0°。然后，控制部4利用惯性传感器来测量从该状态起使手持式医疗器械21绕轴旋转时的相对角度，将该测量值作为末端执行器13的末端的旋转角输入。由此，除了目前为止所述的控制方法，还能够控制末端执行器的末端旋转。另外，如果像这样进行控制，则旋转角不会受到漂移误差的影响。
此外，在上述的实施方式中，对分别对位置控制模式和姿势控制模式进行控制的情况进行了说明，但这些控制模式也可以并行执行。例如，可以利用与手持式医疗器械21的插入角度和插入深度不同的输入来对位置控制模式、姿势控制模式中的某一个进行操作。例如，对于位置控制模式，通过上述的手持式医疗器械21的插入角度和插入深度来控制，同时，通过安装于手持式医疗器械的开关等操作部件对末端执行器13的姿势进行变更。这样，对于末端执行器的位置控制，是通过手持式医疗器械21的姿势来操作的，而对于末端执行器的姿势控制，是利用手动开关来进行的，从而具有能够同时进行末端执行器的位置控制和姿势控制这一优点。另外，也可以更换操作对象，对于末端执行器的位置控制，可以通过手动开关等来进行。
(针对机械手臂的参数设定的应用)
上述的控制不仅用于对机器人医疗器械12进行操作，还能够用作变更医疗器械驱动部11(机械手臂)的各种参数的输入装置。在该情况下，模式切换部3还能够设定参数变更模式，控制部4从医疗器械驱动部11或非易失性存储器8取得参数，并将设定的参数显示在显示部7上。在借助模式切换部3而设定成参数变更模式的情况下，医疗器械驱动部11固定于该时刻的姿势，能够替代来变更设定于医疗器械驱动部11的控制参数。能够变更的参数包括动作量相对于输入量(动作缩放比例)的倍率、速度、力、可动范围的限制等与操作有关的全部参数。例如列举变更把持的力的情况下的一例。在设定成参数变更模式的情况下，手持式医疗器械21的姿势能够看作一般的电位器等的输入装置。例如在使手持式医疗器械21绕轴右旋转的情况下，控制部4使把持力增加，而在反向旋转的情况下，使把持力减少。由于控制部4将操作对象的参数被变更的情形显示于显示部7，因此手术人员(或者操作者)能够掌握当前值。显示方法可以是数值、图表、音量、音高、振动的强弱、光的明暗、颜色等中的任意一种。此外，只要是能够根据姿势信息来运算的物理量，都能够用来进行参数变更。例如考虑施加插入量、倾斜度、移动速度、旋转速度、冲击这样的输入、施加振动这样的输入、通过手持式医疗器械21的末端而描绘出的特定的图形等各种输入方法。
(能够进行拍摄的机器人医疗器械的直观的操作)
在被设想成机器人医疗器械的医疗器械中，例如有像内窥镜那样，在医疗器械的轴的末端附近安装光学部件(例如透镜或者光纤)，拍摄从该光学部件射入的被摄体光并输出图像信号的医疗器械。在这样的医疗器械中，不仅有医疗器械的轴的中心轴与光学部件的光轴一致的情况，像斜视镜、末端弯曲的内窥镜那样机器人医疗器械12的轴的方向与光轴的方向不同的医疗器械也很多。另外，以下说明中的光学部件是指，位于使来自机器人医疗器械12的镜筒外部的光射入到镜筒内的位置的光学部件(即物镜侧的部分)。
对于这样的内窥镜，考虑如下情况：通过图5中所说明的使用了固定点和被控制点的控制，使得手术人员好像是自己握持着机器人医疗器械12那样进行操作。即，将机器人医疗器械12的腹壁5上的旋转中心设定为固定点，并且将手持式医疗器械21的控制基准点虚拟地设为该固定点的位置，对处于机器人医疗器械12的轴末端的被控制点(光学部件的安装位置)进行控制。此时，安装于机器人医疗器械12的轴末端的光学部件被固定成，其光轴的朝向相对于轴的中心轴具有规定的角度。
参照图10对手术人员操作机器人医疗器械12的状况进行说明。图10示出了使用光轴相对于机器人医疗器械12的轴的中心轴倾斜的状态下的光学部件将腹壁内的物体作为被摄体来拍摄的情形。在该图中，光学部件的光轴朝向物体，在机器人医疗器械12的轴的中心轴方向上不存在物体。在这样的状况下，例如，在手术人员操作手持式医疗器械21，使机器人医疗器械12上的虚拟的握持位置101(以滑动的方式)移动到位置102的情况下，经由光学部件而拍摄到的内窥镜视频以缩小的方式从内窥镜视频103变化为104。因此，手术人员的操作方向与内窥镜视频的变化方向产生了较大的偏差，在该偏差较大的情况下，有时会使操作产生违和感。
因此，为了降低手术人员对手持式手术工具的操作方向和视频的变化方向之间的偏差，使得手术人员能够好像手持共有光轴的虚拟的棒来操作光轴的方向那样控制机器人医疗器械12。即，在手术人员以腹壁的旋转中心为基点使手持式医疗器械21滑动来实施了操作的情况下，以使内窥镜视频对准着该操作方向进行平移(pan)的方式控制机器人医疗器械12。
具体而言，在通过校准将规定光学部件的姿势的照相机坐标系与机器人坐标系整合在一起之后，确定经过光学部件的位置(即被控制点)且与光学部件的光轴方向大致相同的虚拟的棒的方向。然后，在确定的虚拟的棒的轴上设定固定点，并将该固定点作为基点，根据手术人员的操作对被控制点的位置进行控制。另外，在虚拟的棒的轴上设定的固定点还是控制基准点。
在校准中，首先将包含有作为拍摄对象的物体的内窥镜视频显示于显示部7。此时，以使物体的特定的位置(例如物体的中心)成为画面中心的方式来决定机器人医疗器械12的姿势。然后，控制部4记录该状态下机器人坐标系中的光学部件的位置(内窥镜末端的位置)。接下来，以拍摄到的物体的大小发生变化(即放大·缩小的状态)的方式，手动使机器人医疗器械12的姿势变化，并记录该状态下的光学部件的位置。此时，使上述物体的特定位置大致成为画面中心。这里，之所以设为大致画面中心，是因为光轴的方向相对于机器人医疗器械12的轴的中心轴是被固定的，因此严格来说存在物体的特定位置不是画面中心的情况。但是，在所记录的2个位置的距离较短的情况下，如图10的机器人医疗器械12的末端位置所示，经过所记录的2个位置的直线能够近似地与光学部件的光轴的方向大致相同。因此，能够将该直线规定为共有光轴的虚拟的棒。一般情况下，将画面的水平方向设为与地面平行，因此绕光轴的姿势被确定。此外，由于照相机坐标系的原点与内窥镜的末端大致一致，因此求出从机器人坐标系观察到的照相机坐标系的位置姿势。
另外，虽然使用内窥镜视频进行的校准在使用了照相机坐标系与机器人坐标系没有被整合的机器人医疗器械12的情况下是必要的，但是如果是能够预先求出这些坐标系之间的变换矩阵等的情况，也可以使用其他方法来统一坐标系。此外，在为具有末端弯曲的那样的自由度的内窥镜的情况下，如果末端的弯曲发生变化，则照相机坐标系与机器人坐标系的对应关系也发生变化。在这样的情况下，只要在每次变更弯曲角时进行上述的校准，则该方法也是适用的。此外，也能够使用求出末端的弯曲角的传感器来整合照相机坐标系与机器人坐标系。
接下来，为了控制求出的照相机坐标系的位置姿势，将被控制点设定为光学部件的位置(照相机坐标系的原点)。如前述那样，例如是内窥镜的末端位置。固定点如图11所示那样，设定于虚拟的棒上，设置于仅偏离照相机坐标系的原点与内窥镜在腹壁上的旋转中心之间的距离(L)的位置。此外，将手持式医疗器械的控制基准点的位置设定于求出的固定点的位置。通过进行这样的被控制点、固定点的设定，无论光学部件的光轴相对于手术工具的轴朝向哪个方向，都能够进行好像直接握持着与光学部件的光轴相同的方向的虚拟的棒而进行动作那样的直观操作。另外，被控制点与固定点的设定基本上只要在切换成位置控制模式或姿势控制模式的时刻进行即可。此外，在上述的例子中，对机器人医疗器械12在其轴的末端仅具有光学部件的例子进行了说明，但也可以采用该光学部件与拍摄元件一体化的结构。并且，被控制点和固定点的位置并不一定是上述的位置，还可以采用如下方式：通过使该2点的距离变远或者变近，来变更虚拟的棒的摆动幅度的大小。
另外，在上述的实施方式中，对使用会发生漂移误差的位置姿势测量装置22来直观地操作末端执行器的姿势的例子进行了说明，但是该操作也可以使用能够取得绝对位置的位置姿势测量装置22来实现。
此外，上述的实施方式还能够通过由上述系统或装置的计算机中的处理器读取并执行经由网络而获得的程序来实现。
本发明不限定于上述实施方式，能够在不脱离于本发明的主旨和范围的前提下，进行各种变更和变形。因此，为了公开本发明的范围而添加了下附的权利要求。
本申请以2017年1月13日提出的日本国专利申请特愿2017－004566为基础并主张优先权，将其记载内容全部援引于此。

Claims (15)

1.一种手术辅助装置，其使用插入到体腔中的第2手术工具来对插入到所述体腔且被机械性地驱动的第1手术工具的姿势进行控制，其特征在于，所述手术辅助装置具有：
切换单元，其对为了进行治疗而使用所述第2手术工具的第1模式和为了控制所述第1手术工具而使用所述第2手术工具的第2模式进行切换；
测量单元，其对所述第2手术工具的轴向所述体腔插入的插入角度和插入深度进行测量；以及
运算单元，其为了控制所述第1手术工具的姿势，根据所述测量单元的测量结果来决定被控制点的目标位置，所述被控制点是作为手术人员的控制对象、且是确定所述第1手术工具的姿势的点，
所述运算单元根据从所述第2模式的开始时刻起测量到的所述插入角度和所述插入深度的变化量来决定所述被控制点的目标位置。
2.根据权利要求1所述的手术辅助装置，其特征在于，
在所述第1手术工具具有所述被控制点、和被固定以使位置不发生变化的固定点的情况下，所述运算单元在固定了所述固定点的位置的情况下，根据从所述第2模式的开始时刻起测量到的所述插入角度和所述插入深度的变化量，来决定所述被控制点的目标位置。
3.根据权利要求1所述的手术辅助装置，其特征在于，
在所述第1手术工具具有作为不同的所述被控制点的第1被控制点和第2被控制点的情况下，所述运算单元在固定了所述第1被控制点的位置的情况下，根据从所述第2模式的开始时刻起测量到的所述插入角度和所述插入深度的变化量，来决定所述第2被控制点的目标位置。
4.根据权利要求3所述的手术辅助装置，其特征在于，
所述运算单元在控制对象从所述第2被控制点被变更为所述第1被控制点的情况下，重新设定所述第2模式的开始时刻。
5.根据权利要求1至4中的任意一项所述的手术辅助装置，其特征在于，
所述运算单元以从设置于固定的规定位置的控制基准点到所述被控制点的方向和距离为基准，使从所述控制基准点起的所述方向以及距离变化从所述第2模式的开始时刻起测量到的所述插入角度和所述插入深度的变化量，来决定所述被控制点的目标位置。
6.根据权利要求5所述的手术辅助装置，其特征在于，
所述运算单元将所述控制基准点设置在与所述第2手术工具的旋转中心相同的位置。
7.根据权利要求5所述的手术辅助装置，其特征在于，
所述运算单元将所述控制基准点设置在与所述第1手术工具的旋转中心相同的位置。
8.根据权利要求5所述的手术辅助装置，其特征在于，
所述第1手术工具具有镜筒和位于使来自所述镜筒的外部的光射入到所述镜筒内的位置处的光学部件，
所述运算单元将所述控制基准点设置在与所述光学部件的光轴大致相同的直线上。
9.根据权利要求8所述的手术辅助装置，其特征在于，
所述运算单元根据所述第1手术工具的多个姿势求出与所述光学部件的光轴大致相同的直线，在所述第1手术工具的所述多个姿势下，所述体腔内的规定的被摄体经由所述光学部件被拍摄成不同的大小。
10.根据权利要求1至9中的任意一项所述的手术辅助装置，其特征在于，
所述手术辅助装置还具有距离取得单元，该距离取得单元取得用于规定所述第1手术工具的姿势的坐标系中的至少2个点的距离，
所述运算单元还至少使用将所述第2手术工具的末端设于所述2个点的位置的情况下的、所述插入角度以及所述插入深度的变化量和所述距离，来确定用于规定所述第1手术工具的姿势的坐标系和用于规定所述第2手术工具的姿势的坐标系之间的关系。
11.根据权利要求1至10中的任意一项所述的手术辅助装置，其特征在于，
所述手术辅助装置还具有参数取得单元，该参数取得单元取得为了机械性地驱动所述第1手术工具而设定的1个以上的参数，
所述运算单元还根据测量到的所述插入角度和所述插入深度的变化量使取得的所述参数的值变化。
12.一种手术辅助装置，其使用插入到体腔中的第2手术工具来对插入到所述体腔且被机械性地驱动的第1手术工具的姿势进行控制，其特征在于，所述手术辅助装置具有：
取得单元，其取得被控制点的位置，所述被控制点是作为手术人员的控制对象、且是确定所述第1手术工具的姿势的点；
测量单元，其测量所述第2手术工具的轴向所述体腔插入的插入角度和插入深度；以及
运算单元，其为了控制所述第1手术工具的姿势，根据所述测量单元的测量结果来决定所述被控制点的目标位置，
所述运算单元根据从使用所述第2手术工具开始进行所述第1手术工具的控制的基准时刻起的所述插入角度和所述插入深度的变化量，来决定所述被控制点的目标位置。
13.一种手术辅助装置的控制方法，使用插入到体腔中的第2手术工具来对插入到所述体腔且被机械性地驱动的第1手术工具的姿势进行控制，其特征在于，所述控制方法具有如下步骤：
切换步骤，切换单元对为了进行治疗而使用所述第2手术工具的第1模式和为了控制所述第1手术工具而使用所述第2手术工具的第2模式进行切换；
测量步骤，测量单元对所述第2手术工具的轴向所述体腔插入的插入角度和插入深度进行测量；以及
运算步骤，运算单元为了控制所述第1手术工具的姿势，根据所述测量单元的测量结果来决定被控制点的目标位置，该被控制点是作为手术人员的控制对象、且是确定所述第1手术工具的姿势的点，
在所述运算步骤中，根据从所述第2模式的开始时刻起测量到的所述插入角度和所述插入深度的变化量来决定所述被控制点的目标位置。
14.一种程序，其使计算机作为权利要求1至12中的任意一项所记载的手术辅助装置的各单元而发挥功能。
15.一种手术辅助系统，其包含手术辅助装置和医疗器械驱动装置，其特征在于，
所述手术辅助装置使用插入到体腔中的第2手术工具来对插入到所述体腔且被机械性地驱动的第1手术工具的姿势进行控制，
所述手术辅助装置具有：
切换单元，其对为了进行治疗而使用所述第2手术工具的第1模式和为了控制所述第1手术工具而使用所述第2手术工具的第2模式进行切换；
测量单元，其对所述第2手术工具的轴向所述体腔插入的插入角度和插入深度进行测量；以及
运算单元，其为了控制所述第1手术工具的姿势，根据所述测量单元的测量结果来决定被控制点的目标位置，所述被控制点是作为手术人员的控制对象、且是确定所述第1手术工具的姿势的点，
所述运算单元根据从所述第2模式的开始时刻起测量到的所述插入角度和所述插入深度的变化量来决定所述被控制点的目标位置，
所述医疗器械驱动装置具有驱动单元，该驱动单元对所述第1手术工具的姿势进行控制，以使所述第1手术工具的所述被控制点的位置成为由所述手术辅助装置的所述运算单元决定的所述被控制点的目标位置。
CN201780082918.7A 2017-01-13 2017-06-02 手术辅助装置、记录介质、以及手术辅助系统 Active CN110225720B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-004566 2017-01-13
JP2017004566 2017-01-13
PCT/JP2017/020699 WO2018131188A1 (ja) 2017-01-13 2017-06-02 手術支援装置、その制御方法、プログラム並びに手術支援システム

Publications (2)

Publication Number Publication Date
CN110225720A true CN110225720A (zh) 2019-09-10
CN110225720B CN110225720B (zh) 2022-12-16

Family

ID=62840073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780082918.7A Active CN110225720B (zh) 2017-01-13 2017-06-02 手术辅助装置、记录介质、以及手术辅助系统

Country Status (6)

Country Link
US (1) US11406460B2 (zh)
EP (1) EP3569180B1 (zh)
JP (2) JP7022400B2 (zh)
KR (2) KR102222124B1 (zh)
CN (1) CN110225720B (zh)
WO (1) WO2018131188A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111012289A (zh) * 2019-12-24 2020-04-17 西安申兆光电科技有限公司 一种弯曲形状检测装置、检测方法以及内窥镜系统
CN113547515A (zh) * 2021-07-16 2021-10-26 华中科技大学 一种基于超声伺服手术机器人的坐标标定方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140005640A1 (en) 2012-06-28 2014-01-02 Ethicon Endo-Surgery, Inc. Surgical end effector jaw and electrode configurations
WO2020070883A1 (ja) * 2018-10-05 2020-04-09 オリンパス株式会社 内視鏡システム
JP6469304B1 (ja) 2018-10-23 2019-02-13 株式会社Ａ−Ｔｒａｃｔｉｏｎ 手術支援装置、その制御方法及びプログラム
US11376082B2 (en) 2019-06-27 2022-07-05 Cilag Gmbh International Robotic surgical system with local sensing of functional parameters based on measurements of multiple physical inputs
US11607278B2 (en) 2019-06-27 2023-03-21 Cilag Gmbh International Cooperative robotic surgical systems
US11723729B2 (en) 2019-06-27 2023-08-15 Cilag Gmbh International Robotic surgical assembly coupling safety mechanisms
US11612445B2 (en) * 2019-06-27 2023-03-28 Cilag Gmbh International Cooperative operation of robotic arms
US11413102B2 (en) 2019-06-27 2022-08-16 Cilag Gmbh International Multi-access port for surgical robotic systems
US11547468B2 (en) 2019-06-27 2023-01-10 Cilag Gmbh International Robotic surgical system with safety and cooperative sensing control
US11399906B2 (en) 2019-06-27 2022-08-02 Cilag Gmbh International Robotic surgical system for controlling close operation of end-effectors
KR102585785B1 (ko) * 2021-05-31 2023-10-13 한국기계연구원 절대거리 측정 기반 다변측정시스템 및 이를 이용한 다변측정방법
US11974829B2 (en) 2021-06-30 2024-05-07 Cilag Gmbh International Link-driven articulation device for a surgical device
US11931026B2 (en) 2021-06-30 2024-03-19 Cilag Gmbh International Staple cartridge replacement
CN114504385A (zh) * 2022-01-18 2022-05-17 上海术航机器人有限公司 手术机器人末端姿态调整方法、系统、设备和介质
DE102022118328A1 (de) 2022-07-21 2024-02-01 Karl Storz Se & Co. Kg Steuervorrichtung und System

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003127076A (ja) * 1993-12-28 2003-05-08 Olympus Optical Co Ltd 医療器具
EP1854420A1 (en) * 2006-05-11 2007-11-14 Olympus Medical Systems Corp. Treatment system and trocar
CN104203142A (zh) * 2012-03-29 2014-12-10 松下健康医疗器械株式会社 手术辅助装置以及手术辅助程序
CN104284637A (zh) * 2012-05-18 2015-01-14 奥林巴斯株式会社 手术辅助装置
CN104349742A (zh) * 2012-06-01 2015-02-11 直观外科手术操作公司 硬件受限的远程中心机器人操纵器的冗余轴线和自由度
WO2015119012A1 (ja) * 2014-02-07 2015-08-13 オリンパス株式会社 手術システムおよび手術システムの作動方法
CN205411945U (zh) * 2015-11-10 2016-08-03 康健 皮肤激光治疗辅助机器人

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3532660B2 (ja) * 1995-06-09 2004-05-31 オリンパス株式会社 体腔内観察装置
US20080125794A1 (en) * 1998-02-24 2008-05-29 Hansen Medical, Inc. Surgical instrument
DE10025285A1 (de) * 2000-05-22 2001-12-06 Siemens Ag Vollautomatische, robotergestützte Kameraführung unter Verwendung von Positionssensoren für laparoskopische Eingriffe
JP4656700B2 (ja) * 2000-07-11 2011-03-23 オリンパス株式会社 内視鏡外科手術システム
KR101258912B1 (ko) * 2005-06-06 2013-04-30 인튜어티브 서지컬 인코포레이티드 복강경의 초음파 로보트 수술 시스템
US8560047B2 (en) * 2006-06-16 2013-10-15 Board Of Regents Of The University Of Nebraska Method and apparatus for computer aided surgery
EP2194890A1 (en) * 2007-09-13 2010-06-16 Transcorp, Inc. Transcorporeal spinal decompression and repair system and related method
JP5014941B2 (ja) * 2007-10-02 2012-08-29 オリンパスメディカルシステムズ株式会社 内視鏡形状解析装置
JP5380348B2 (ja) * 2010-03-31 2014-01-08 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
US9595207B2 (en) * 2010-05-26 2017-03-14 Health Research, Inc. Method and system for minimally-invasive surgery training using tracking data
JP6120715B2 (ja) * 2013-07-26 2017-04-26 オリンパス株式会社 医療システム
JP6278737B2 (ja) * 2014-02-26 2018-02-14 オリンパス株式会社 医療用システムの作動方法
JP2016002445A (ja) * 2014-06-18 2016-01-12 株式会社システム・ジェーピー 手術器具位置姿勢計測装置
US10314463B2 (en) * 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
WO2016130946A1 (en) * 2015-02-13 2016-08-18 Think Surgical, Inc. Laser gauge for robotic calibration and monitoring
US11020144B2 (en) * 2015-07-21 2021-06-01 3Dintegrated Aps Minimally invasive surgery system
US11246670B2 (en) * 2016-08-16 2022-02-15 Cilag Gmbh International Modular surgical robotic tool
US10993760B2 (en) * 2016-08-16 2021-05-04 Ethicon, Llc Modular surgical robotic tool
US10973585B2 (en) * 2016-09-21 2021-04-13 Alcon Inc. Systems and methods for tracking the orientation of surgical tools
JP6213646B2 (ja) 2016-09-30 2017-10-18 株式会社Ｊｖｃケンウッド 報知機器、及び、報知方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003127076A (ja) * 1993-12-28 2003-05-08 Olympus Optical Co Ltd 医療器具
EP1854420A1 (en) * 2006-05-11 2007-11-14 Olympus Medical Systems Corp. Treatment system and trocar
CN104203142A (zh) * 2012-03-29 2014-12-10 松下健康医疗器械株式会社 手术辅助装置以及手术辅助程序
CN104284637A (zh) * 2012-05-18 2015-01-14 奥林巴斯株式会社 手术辅助装置
CN104349742A (zh) * 2012-06-01 2015-02-11 直观外科手术操作公司 硬件受限的远程中心机器人操纵器的冗余轴线和自由度
WO2015119012A1 (ja) * 2014-02-07 2015-08-13 オリンパス株式会社 手術システムおよび手術システムの作動方法
CN205411945U (zh) * 2015-11-10 2016-08-03 康健 皮肤激光治疗辅助机器人

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111012289A (zh) * 2019-12-24 2020-04-17 西安申兆光电科技有限公司 一种弯曲形状检测装置、检测方法以及内窥镜系统
CN113547515A (zh) * 2021-07-16 2021-10-26 华中科技大学 一种基于超声伺服手术机器人的坐标标定方法
CN113547515B (zh) * 2021-07-16 2022-07-12 华中科技大学 一种基于超声伺服手术机器人的坐标标定方法

Also Published As

Publication number Publication date
JP7022400B2 (ja) 2022-02-18
EP3569180B1 (en) 2024-07-31
JPWO2018131188A1 (ja) 2019-11-07
WO2018131188A1 (ja) 2018-07-19
US20190328469A1 (en) 2019-10-31
KR102345763B1 (ko) 2022-01-03
EP3569180A1 (en) 2019-11-20
US11406460B2 (en) 2022-08-09
JP2022023201A (ja) 2022-02-07
JP7229319B2 (ja) 2023-02-27
KR102222124B1 (ko) 2021-03-03
KR20210024212A (ko) 2021-03-04
KR20190099280A (ko) 2019-08-26
EP3569180A4 (en) 2020-01-08
CN110225720B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
CN110225720A (zh) 手术辅助装置及其控制方法、程序、以及手术辅助系统
US20220125524A1 (en) Feedforward continuous positioning control of end-effectors
US9050727B2 (en) Master operation input device and master-slave manipulator
CN105939648A (zh) 针对经食道超声心动描记探头的无传感器的力控制
CN104394792B (zh) 手术支援装置
JP2020506436A5 (zh)
JP2010214128A (ja) 処置具システム及びマニピュレータシステム
JP2009131374A (ja) 処置具システムおよびマニピュレータシステム
JP6149175B1 (ja) 手術支援装置、その制御方法、プログラム並びに手術支援システム
JP2020526271A (ja) 腹腔鏡アダプタ、心エコー検査プローブ、及び、アダプタをプローブに結合するための方法
CN109069214A (zh) 外科手术系统的控制方法以及外科手术系统
KR101284087B1 (ko) 시각센서를 이용한 수술용 로봇, 그 수술용 로봇의 위치 및 각도 분석방법, 그 수술용 로봇의 제어방법, 그 수술용 로봇의 위치 및 각도 분석시스템 및 그 수술용 로봇의 제어 시스템
JP6388686B2 (ja) 手術支援装置、その制御方法、プログラム並びに手術支援システム
Vitrani et al. Robust ultrasound-based visual servoing for beating heart intracardiac surgery
Zhang et al. Preliminary study on magnetic tracking based navigation for wire-driven flexible robot
Luo et al. Surgeon's third hand: An assistive robot endoscopic system with intuitive maneuverability for laparoscopic surgery
JP6685052B2 (ja) 推定装置、推定方法およびプログラム
JP7153335B2 (ja) 手術支援装置
Vitrani et al. A robust ultrasound-based visual servoing approach for automatic guidance of a surgical instrument with in vivo experiments
Rivas-Blanco et al. Force-position control for a miniature camera robotic system for single-site surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant