CN105773629A - 用于使多轴操纵器与输入设备对准的方法 - Google Patents

用于使多轴操纵器与输入设备对准的方法 Download PDF

Info

Publication number
CN105773629A
CN105773629A CN201610022435.5A CN201610022435A CN105773629A CN 105773629 A CN105773629 A CN 105773629A CN 201610022435 A CN201610022435 A CN 201610022435A CN 105773629 A CN105773629 A CN 105773629A
Authority
CN
China
Prior art keywords
manipulator
input equipment
motion
described manipulator
transformation matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610022435.5A
Other languages
English (en)
Other versions
CN105773629B (zh
Inventor
S·罗美尔
C·冯蒂森豪森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Roboter GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Roboter GmbH filed Critical KUKA Roboter GmbH
Publication of CN105773629A publication Critical patent/CN105773629A/zh
Application granted granted Critical
Publication of CN105773629B publication Critical patent/CN105773629B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • B25J3/04—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements involving servo mechanisms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/427—Teaching successive positions by tracking the position of a joystick or handle to control the positioning servo of the tool head, master-slave control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • B25J13/025—Hand grip control means comprising haptic means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/084—Tactile sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/1625—Truss-manipulator for snake-like motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36442—Automatically teaching, teach by showing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40391—Human to robot skill transfer

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Biophysics (AREA)
  • Manipulator (AREA)
  • General Physics & Mathematics (AREA)

Abstract

本发明提供了一种用于将多轴的操纵器与用于控制所述操纵器的输入设备对准的方法，具有以下步骤：利用所述输入设备实施一个或多个参考运动，利用所述操纵器实施一个或多个参考运动，检测所实施的参考运动，基于所检测到的参考运动计算变换矩阵，以及将计算出的变换矩阵应用于所述输入设备的运动与所述操纵器的对准。

Description

用于使多轴操纵器与输入设备对准的方法
技术领域
本发明一般地涉及一种用于使多轴操纵器与输入设备对准的方法，并且特别是涉及输入设备的参考坐标系相对于利用该输入设备来操作的操纵器的坐标系的简化的对准。
背景技术
操纵器，特别是关节臂机器人，被应用于不同的工作过程，例如工业领域中的装配或制造。此外，操纵器也应用于医学领域，特别是外科领域，用于实施手术和在手术中提供支持、特别是在需要工具特别精确的处理的作业中。
在此，操纵器可以运动地或在固定的地点使用。在此，优选地操纵器是三维运动的关节臂机器人，其由多个旋转关节和/或滑移关节构造而成。通常，旋转或滑移关节与臂节肢连接，并且每个旋转或滑移关节通过关节轴来表现。机器人系统包括一个或多个操纵器、控制装置和输入设备。
公知在外科学或干预放射学中的机器人系统，在这些机器人系统中输入设备固定在操作台上。输入设备的相对取向是确定的，并且无法改变。这使得通过医生来使用变得困难，因为运动自由度和接近病人变得困难。
此外公知系统，其中柔性的导管由机器人向前推动并控制。在该系统中，输入设备在空间上与机器人分离。输入设备总是相对于器械的尖取向，在此器械被安置在机器人臂的端部上。
最后，公知机器人系统，其中输入设备被安装为在空间上与操纵器的工作场所分离，所谓的遥控操纵系统。输入设备固定在操作台上，在此输入设备相对于在屏幕上示出的、得到摄像头支持的(例如内窥镜的)的图像显示来取向，该图像显示相对于机器人系统的一个或多个操纵器的取向是确定的。
美国专利申请US2011/0118753A1、US2012/0143353A1和US2014/0277740A1例如公开了在医疗应用中用于控制操纵器的系统。美国专利申请US/2009/0132088A1以及出版物DE3223896A1和DE102004020099A1公开了在工业应用中用于控制操纵器的系统。
上述所有系统的相同点在于，输入设备在空间上与操纵器分离，或者输入设备相对于待操作的操纵器的取向被预先设定。这样的缺点在于，输入设备的取向在使用期间(例如在手术中)无法轻易的改变。虽然可以考虑改变输入设备的位置，但由此也使得输入设备相对于操纵器的位置改变，从而不再能够直观地实施对机器人系统的控制。例如，输入设备通常与待操作的操纵器这样对准，使得例如操纵杆的向前运动会导致操纵器沿同一方向的相应的向前运动。如果将输入设备旋转例如90°，则无法再给出对于操作者而言直观上简单的耦接。
上述系统的另一缺点在于，无法或者仅困难地实现同时使用手动的器械或工具和机器人引导的器械或工具，因为输入设备例如不在操纵器的工作场所(特别是手术台)的附近，或者输入设备的定向不能匹配安装地点。
此外，上述系统的缺点还在于，不设有用于重力补偿的或用于敏感的手动引导的模式。
发明内容
鉴于上述系统，本发明的目的在于提出一种方法和一种系统，其使得多轴操纵器与输入设备简单地对准。在此，能够实现，机器人系统的操作者特别是在工作过程(例如手术)期间，在手术中改变输入设备的位置或定向，而不必放弃尽可能直观的控制。
该目的和其他目的通过根据本发明的对象得以解决。
本发明包括一种用于多轴操纵器与固定在对象上的输入设备对准的方法，以及特别是输入设备的参考坐标系相对于利用该输入设备来操作的操纵器的坐标系(特别是工具坐标系)的取向。优选地，多轴操纵器是关节臂机器人。在此，输入设备用于操纵器的控制。例如，当操作者改变输入设备的位置或定向，以便例如更好地接近操纵器的工作区域(例如在机器人支持的手术中更好地接近病人)时，输入设备和操纵器的对准是需要的且有利的。通过输入设备和操纵器的该(重新)对准，可以根据操作者的需求来调整操作。由此有利地，可以实现操纵器的简单且直观的操作。
在根据本发明的方法中，利用输入设备执行一个或多个参考运动。在此，输入设备(例如空间控制器，对触摸敏感的表面、例如触摸板或触摸显示器)沿特定的方向运动，以便例如重新校准输入设备的X和Y取向。
在另一步骤中，通过用手直接引导操纵器来利用操纵器执行一个或多个相应的参考运动。在此，操纵器沿特定的方向运动，并且优选使得操纵器的参考运动相应于利用输入设备实施的参考运动。即，优选操作者将操纵器的相应的参考运动执行为，使得操作者实现操纵器和输入设备的对于操作者所期望的对准。在此，通过操作者利用操纵器和输入设备来执行相应的参考运动，优选地操作者限定操纵器和输入设备的参考坐标系(R-KOS)。参考运动由机器人控制器来检测。
在此优选地，由操作者执行的参考运动适于，能够计算两个参考坐标系的取向。对于不需要例如工具的绝对定位的应用，仅限定两个参考坐标系的定向是足够的。在该情况下，坐标原点(KOU)的限定不是强制必需的。
通过坐标原点的可选的预先设定，可以完全地限定参考坐标系。完全的限定可以有利地与图像给予的方法结合，例如以便在操纵器的工作空间中映射患者图像或患者模型。
优选地，参考坐标系(以及可选地坐标原点)可以通过如下的输入被限定：
a)借助三个点，在此可选地，这些点中的一个可以被限定为坐标原点；
b)借助两个轴，在此可选地，可以附加地预先设定坐标原点，通过：
i.沿着两个基本上正交的、此外可以任意地在空间中取向的直线运动；
ii.基本上L形的运动，即由两个正交的线段组成的曲线线条；
iii.两个面轴在此由两个圆形的运动分别确定与运动正交的轴，在此替代地，面轴还可以通过两个利用操纵器或输入设备执行的旋转来确定；或者
iv.一个点和两个方向或两个点和两个方向；
c)平面的撑开，在此可选地，可以附加地预先设定坐标原点，通过：
i.基本上L形的运动；
ii.基本上圆形的运动；或者
iii.通常的、基本上平的运动。
所执行的参考运动例如由控制装置来检测，也就是说，既检测利用输入设备执行的参考运动，也检测利用操纵器执行的参考运动。优选是操纵器的检测所执行的参考运动的控制装置。
优选地，运动分别利用集成在操纵器或输入设备中的位置传感装置来检测，并且优选地为了进一步处理而被传输至控制装置并在该处被至少临时地存储以用于进一步处理。但是，对运动的检测也可以通过位于操纵器和输入设备的工作空间周围的、外部的导航系统来实施。在此，例如待检测的标记安置在操纵器上或输入设备上，并由外部的导航系统例如光学地检测。
在另一步骤中，基于所检测到的参考运动计算变换矩阵。变换矩阵包含基于参考运动而算出的值，这些值用于输入设备的坐标系与操纵器的坐标系对准。在此，输入设备的和操纵器的或安置在操纵器上的工具的坐标系彼此协调一致。优选地，基于一个或多个算法来计算变换矩阵，所述算法被存储在控制装置中。
在计算变换矩阵之后，优选地操作者例如在显示器上光学地或声学地获得控制装置的反馈。
在另一步骤中，所计算的变换矩阵被应用于输入设备的运动与操纵器的对准。为此，优选地输入设备的运动借助变换矩阵被映射到操纵器上。在对准之后，可以又直观地通过输入设备控制操纵器。
本发明提供了操纵器的改进的、更直观的并且更灵活的操作的优点。此外，该方法还允许操作者能够使输入设备的参考坐标系以更简单的方式相对于操纵器的(工具)坐标系取向，以及由此能够进行操纵器的灵活而快速的、根据操作者的匹配。
优选地，在检测参考运动的步骤与计算变换矩阵之间，通过控制装置计算用于检测到的参考运动的平衡几何图形(Ausgleichsgeometrie)。为此，对于参考运动的在总点云(Gesamt-Punktewolke)中检测到的点，就各个直线和/或平面识别出并存储相应的部分点云。随后，使直线或平面适应到部分点云中。这通常利用平差计算实现，通常根据最小误差平方的方法。例如，平衡几何图形是直线，该直线基于(非强制直线的)参考运动来计算。因此，平衡几何图形的计算可以是必需的，因为例如操纵器的由操作者执行的参考运动通常与理论上的理想几何图形相比具有偏差，例如当操作者在执行操纵器的参考运动中直接地用手引导该操纵器时。
进一步优选地，在计算平衡几何图形之后，借助平衡几何图形的数据进行有效性检验在此，由平衡几何图形代表的数据被检验有效性。除了对完整性和一致性的检验之外，有效性检验特别是可以包括对平衡几何图形的正交性和/或参考运动(线)的笔直性或参考运动(面)的平坦性的检验。对于参考运动(线)的笔直性或参考运动(面)的平坦性的评价，可以使用质量标准，该质量标准基于(测量的)部分点云与(计算的)平衡几何图形的比较，例如基于测量点与计算的几何图形的平均或最大偏差。对于所有上述有效性检验的检验步骤，在控制装置中均存储相应的边界值，这些边界值可以可选地被特定于应用地限定。
此外，优选地操纵器具有一个或多个带有用于检测力和/或转矩的设施的轴。这些设施可以包括例如一个或多个传感器，所述传感器优选设置于操纵器的一个或多个关节中。这些一个或多个传感器也可以例如设置在末端执行器上、操纵器基座上或在沿着操纵器的其他部位上。用于检测力和/或转矩的设施还可以基于对优选在操纵器的驱动器中的电流值的测量。在一示例中，在末端执行器上设有多轴的力/转矩传感器，而不在关节中设置其他的力/转矩传感器。
优选地，还可在操纵器上设有用于识别用户交互的设施，例如触摸敏感的传感器。
此外，优选地借助操纵器的工具坐标系来控制操纵器。
优选地，利用操纵器执行一个或多个相应的参考运动的步骤包括用手直接地引导操纵器。为此，由操作者抓住或握住操纵器，并随后用手直接地引导操纵器，即，不是间接地通过指令键等来引导操纵器。用手直接引导操纵器的优点在于，操作者可以简单地抓住操纵器并能够相应于其想法地运动，由此操纵器准确地完成操作者对其预先设定的事情。这特别是有利的，因为这使得操作者能够简单地、并且无较大麻烦地(例如在工作过程期间)，将输入设备最优并直观地与操纵器对准。这导致减轻了操作者的负担，因为免除了操作者为了输入设备的最优取向而对设备和类似物的繁琐输入，并且无需关于机器人系统的功能性有深入的技术知识。此外，根据本发明的方法适用于，利用带有设置于其上的传感器、特别是集成的力矩传感器的操纵器来实施，因为这些传感器允许以简单的方式用手直接引导操纵器。优选地，利用操纵器执行一个或多个相应的参考运动的步骤，因此包括操纵器在用于主动的挠性调节、特别是重力补偿的运行模式下运行。
优选地，操纵器配设有一个或多个工具，使得操纵器使这些工具能够运动。特别地，这些工具可以是医疗器械，在此医疗器械包括内窥镜、超声波头、用于开放或微创外科的器械、穿刺管(Punktionskanülen)或活组织检查针(Biopsienadeln)。在另一实施方式中，这些工具特别地也可以是工业上使用的处理工具，例如用于接合、粘合、焊接、开槽、钻孔、拧紧等的处理工具。
优选地，输入设备包括触觉的手控制器、操纵杆、3D运动控制器、电容触摸板，和/或用于触发操纵器和/或工具的特殊功能和/或预先编程的运动顺序的多个开关。
优选地，输入设备例如可松脱地安置在铰接的保持臂上。由此，可以使输入设备灵活地运动至新的位置，并且当需要时，也可以从其当前的安置地点松脱并安置在其他的地点。优选地，保持臂的关节优选具有用于检测保持臂的关节姿势的传感装置。由此，控制装置可以在每个时间点确定，输入设备位于什么姿势。这些测量值随后可以用于仅在工作过程开始时根据上述根据本发明的方法来确定变换矩阵。在由操作者对保持臂从初始的姿势进行调节时，借助所测量的位置值自动更新控制装置中的变换矩阵。可选地，操作者在变换矩阵成功的更新之后从控制装置(例如通过信号灯在显示器上视觉地和/或听觉地)获得反馈。
优选地，同时或顺序地检测输入设备的一个或多个参考运动，和操纵器的相应的一个或多个参考运动。为了记录参考运动，控制装置例如被构造为，由操作者执行的操纵器和输入装置的参考运动被同时地检测。在该情况下这意味着，操作者利用操纵器和输入设备同时执行所需要的运动(一个或多个参考运动)。例如，操作者用左手利用操纵器执行运动，并用右手利用输入设备执行运动(或者反之)。替代地，结果相同地，可实现操作者依次(顺序地)利用操纵器和输入设备执行所有所需要的运动。这意味着，操作者首先实施输入设备的运动，随后实施操纵器的运动(或者反之)。
在另一示例中结果相同地可实现，根据操作者是在输入设备还是在操纵器上开始，操作者首先执行或者输入设备上的或者操纵器上的全部的参考运动，随后分别执行另一设备(操纵器或输入设备)上的全部的相应的参考运动。
此外，优选设置一个或多个外部的操作元件、特别是与控制装置连接的脚踏开关，用于在运行模式之间切换或者用于触发工具的动作。所述运行模式例如包括能够被激活用于执行输入设备与多轴操纵器对准的对准模式。
优选地，设置外部的显示器，其被设置为用于显示相机图像(例如内窥镜图像)和/或外部的给图系统和/或导航系统的记录。
根据本发明，还提出一种机器人系统、特别是一种模块化的机器人系统，其包括控制装置、操纵器和输入设备。优选地，控制装置被设置为，通过其检测输入设备的被执行的参考运动和操纵器的相应的参考运动、基于所检测到的参考运动计算变换矩阵并且将计算的变换矩阵应用于输入设备的运动与操纵器的对准，能够使得操纵器对准输入设备。
此外，根据本发明，还提出一种在对人手术或在工业过程期间对上述方法的应用。
操纵器与输入设备的(重新)对准可以例如通过选择对准模式来开始。该对准模式可以或者直接在操纵器或机器人控制器接通或复位之后激活，或者可以通过用户输入或程序顺序被激活。
优选地，由操作者执行的参考运动可以用于确定对输入设备与操纵器之间的运动尺度(Bewegungsskalierung)的(基本的)预先设定。为此，可以或者使用检测到的参考运动，或者检测单独的运动。对于尺度起决定作用地，是在两种情况下，输入设备和操纵器的用于参考运动的运动空间的比例。
优选地，本发明提出一种用于将多轴的操纵器与用于控制所述操纵器的输入设备对准的方法，具有以下步骤：
a)利用所述输入设备实施一个或多个参考运动；
b)利用所述操纵器实施一个或多个参考运动；
c)检测所实施的参考运动；
d)基于检测到的参考运动计算变换矩阵；以及
e)将计算出的变换矩阵应用于所述输入设备的运动与所述操纵器的对准。
优选地，利用所述操纵器实施一个或多个参考运动的步骤，包括用手直接引导所述操纵器并且包括所述操纵器在用于主动的挠性调节的运行模式下运行。
优选地，同时或顺序地检测所述操纵器和所述输入设备的参考运动。
优选地，本发明提出一种机器人系统，特别是模块化的机器人系统，包括控制装置、操纵器和输入设备，
其中，所述控制装置被设置为允许所述操纵器与所述输入设备对准，通过：
检测所实施的所述输入设备的和所述操纵器的参考运动；
基于所检测到的参考运动计算变换矩阵；以及
将计算出的变换矩阵应用于所述输入设备的运动与所述操纵器的对准。
附图说明
下面参照附图详细说明本发明。其中，
图1示出了一种模块化的机器人系统。
根据本发明的方法特别地适用于在模块化机器人系统中使用，例如在图1中所示出的。
具体实施方式
患者1躺在检查台或手术台2上。操纵器3与所配属的控制装置4一起集成到可行驶的车5中。在操纵器3的远端部安置有医疗器械6，使得该医疗器械能够通过操纵器3来运动。此外，在车5上还安置有输入设备7，该输入设备与控制装置4连接，由此操作者能够控制操纵器3的运动。操作者可以在其工作环境中利用铰接的保持臂8使输入设备7人体工程学地取向。在车上刚性或铰接地安置有显示器10，该显示器可选地可以是触摸敏感的(例如触摸屏)，用于显示运行参数和/或系统状态。
机器人系统被医疗人员或操作者安放在台2旁，使得在操纵器3的高可操纵性同时以医疗器械6到达患者1上的干预或检查地点，并且，患者1对于操作者12和可选地附加的医疗人员是足够可接近的。在实施干预、手术或检查之前，输入设备7由操作者在对其而言舒适的位置借助保持臂8来取向或运动。在此，输入设备7可从保持臂8可选地松脱，并固定在其他的对象上，例如台2上。这种安置可能性在图1中由输入设备7’示出。
由于输入设备事先已位于相对于操纵器的特定取向上，并且操作者现在例如借助保持臂8调节了输入设备7，所以操作者现在不再能够绝对地直观地使用机器人系统，因为输入设备7和操纵器3不再最优地彼此对准。为了对准输入设备7和操纵器3，操作者首先激活用于输入设备7和操纵器3的坐标系对准的模式(对准模式)。该模式或者直接在机器人系统或控制装置接通或复位(恢复)之后激活，或者通过用户输入或程序顺序被激活。后者例如借助操作元件10、显示器11(如果是触摸敏感的)或其它的集成在车5中的操作元件实现。通过对准模式的激活，操纵器3在用于主动的挠性调节、特别是重力补偿的运行模式中被运行，使得操作者12能够使该操纵器自由地运动。
操作者首先利用输入设备7执行参考运动，随后利用操纵器3执行相应的参考运动。在执行参考运动之后，控制装置4检测这些参考运动，由此计算出变换矩阵并将该变换矩阵应用于输入设备7和操纵器3的对准。由此，操作者以非常简单且直观的方式，实现了对其而言最优的输入设备7和操纵器3的(重新)对准，这使其能够实现在手术期间直观地应用机器人系统。此外，操作者还能够实现同时使用机器人系统和手动操作的器械，因为操作者与机器人系统均位于患者旁边。

Claims (15)

1.一种用于将多轴的操纵器(3)与固定在对象上的、用于直观地控制所述操纵器(3)的输入设备(7)对准的方法，具有以下步骤：
a)利用所述输入设备(7)实施一个或多个参考运动；
b)通过用手直接引导所述操纵器来利用所述操纵器(3)实施一个或多个相应的参考运动；
c)检测所实施的参考运动；
d)基于检测到的参考运动计算变换矩阵；以及
e)将计算出的变换矩阵应用于所述输入设备(7)的运动与所述操纵器(3)的对准。
2.根据权利要求1所述的方法，其中，在步骤c)与步骤d)之间，通过控制装置(4)计算用于所检测到的参考运动的平衡几何图形；以及
其中，在计算所述平衡几何图形之后，借助所述平衡几何图形的数据进行有效性检验。
3.根据前述权利要求中任一项所述的方法，其中，所述操纵器(3)具有一个或多个带有用于检测力和转矩的设施、特别是传感器的轴。
4.根据权利要求1或2所述的方法，其中，所述操纵器(3)具有一个或多个带有用于检测用户交互的设施的轴。
5.根据前述权利要求中任一项所述的方法，其中，所述操纵器(3)具有工具坐标系并借助其工具坐标系被控制。
6.根据前述权利要求中任一项所述的方法，其中，通过用手直接引导所述操纵器(3)来利用所述操纵器(3)实施一个或多个相应的参考运动的步骤，包括所述操纵器(3)在用于主动的挠性调节的运行模式下运行。
7.根据前述权利要求中任一项所述的方法，其中，所述操纵器(3)配设有至少一个工具、特别是医疗器械(6)，使得所述工具能够被所述操纵器(3)运动。
8.根据权利要求7所述的方法，其中，所述至少一个工具是用于接合、粘合、焊接、开槽、钻孔或拧紧的工业上使用的处理工具。
9.根据前述权利要求中任一项所述的方法，其中，所述输入设备(7)包括下列之一：触觉的手控制器、操纵杆、3D运动控制器、电容触摸板，用于触发所述操纵器(3)的特殊功能或预先编程的运动顺序的开关、无接触的传感器，例如动能相机或跳跃装置。
10.根据前述权利要求中任一项所述的方法，其中，所述输入设备(7)优选能松脱地安置在铰接的保持臂(8)上；以及
其中，所述保持臂(8)的关节具有传感装置，用于检测所述保持臂(8)的关节姿势。
11.根据权利要求1至9中任一项所述的方法，其中，所述输入设备(7)优选能松脱地安置在铰接的保持臂(8)上；以及
其中，利用外部的导航系统检测所述保持臂(8)和/或所述输入设备(7)的位置。
12.根据前述权利要求中任一项所述的方法，其中，同时或顺序地检测所述输入设备(7)的一个或多个参考运动和所述操纵器(3)相应的一个或多个参考运动。
13.根据前述权利要求中任一项所述的方法，其中，设置一个或多个外部的操作元件(9)、特别是与所述控制装置(4)连接的脚踏开关，用于：
在运行模式之间切换或用于触发所述工具的动作；以及
其中，设置外部的显示器(11)，用于：
显示摄像系统、特别是内窥摄像机和/或外部的给图系统和/或导航系统的记录。
14.一种机器人系统，特别是模块化的机器人系统，包括控制装置(4)、操纵器(3)和输入设备(7)，
其中，所述控制装置(4)被设置为允许所述操纵器(3)与所述输入设备(7)对准，通过：
检测所实施的所述输入设备(7)的参考运动和所述操纵器(3)的相应的参考运动；
基于所检测到的参考运动计算变换矩阵；以及
将计算出的变换矩阵应用于所述输入设备(7)的运动与所述操纵器(3)的对准。
15.一种在对人手术或在工业过程期间对根据权利要求1至13中任一项所述的方法的应用。
CN201610022435.5A 2015-01-14 2016-01-14 用于使多轴操纵器与输入设备对准的方法 Expired - Fee Related CN105773629B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015200428.7A DE102015200428B3 (de) 2015-01-14 2015-01-14 Verfahren zur Ausrichtung eines mehrachsigen Manipulators mit einem Eingabegerät
DE102015200428.7 2015-01-14

Publications (2)

Publication Number Publication Date
CN105773629A true CN105773629A (zh) 2016-07-20
CN105773629B CN105773629B (zh) 2017-06-06

Family

ID=55027426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610022435.5A Expired - Fee Related CN105773629B (zh) 2015-01-14 2016-01-14 用于使多轴操纵器与输入设备对准的方法

Country Status (5)

Country Link
US (1) US9731415B2 (zh)
EP (1) EP3045140A1 (zh)
KR (1) KR101635339B1 (zh)
CN (1) CN105773629B (zh)
DE (1) DE102015200428B3 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769773A (zh) * 2017-11-16 2020-02-07 直观外科手术操作公司 用于遥控操作的主/从配准和控制

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8814921B2 (en) 2008-03-06 2014-08-26 Aquabeam Llc Tissue ablation and cautery with optical energy carried in fluid stream
US9232959B2 (en) 2007-01-02 2016-01-12 Aquabeam, Llc Multi fluid tissue resection methods and devices
US20120191079A1 (en) 2011-01-20 2012-07-26 Hansen Medical, Inc. System and method for endoluminal and translumenal therapy
CN104203078B (zh) 2012-02-29 2018-04-20 普罗赛普特生物机器人公司 自动化图像引导的组织切除和处理
US10231867B2 (en) 2013-01-18 2019-03-19 Auris Health, Inc. Method, apparatus and system for a water jet
US10744035B2 (en) 2013-06-11 2020-08-18 Auris Health, Inc. Methods for robotic assisted cataract surgery
US10426661B2 (en) 2013-08-13 2019-10-01 Auris Health, Inc. Method and apparatus for laser assisted cataract surgery
EP3242774B1 (en) * 2015-01-09 2019-03-13 Titan Medical Inc. Alignment difference safety in a master-slave robotic system
DE102015202327A1 (de) * 2015-02-10 2016-08-11 Kuka Roboter Gmbh Diagnose- und/oder Therapieeinrichtung
US20160287279A1 (en) 2015-04-01 2016-10-06 Auris Surgical Robotics, Inc. Microsurgical tool for robotic applications
US9949749B2 (en) 2015-10-30 2018-04-24 Auris Surgical Robotics, Inc. Object capture with a basket
US9955986B2 (en) 2015-10-30 2018-05-01 Auris Surgical Robotics, Inc. Basket apparatus
US10231793B2 (en) 2015-10-30 2019-03-19 Auris Health, Inc. Object removal through a percutaneous suction tube
AU2018244318B2 (en) 2017-03-28 2023-11-16 Auris Health, Inc. Shaft actuating handle
US10285574B2 (en) 2017-04-07 2019-05-14 Auris Health, Inc. Superelastic medical instrument
JP7314052B2 (ja) * 2017-04-07 2023-07-25 オーリス ヘルス インコーポレイテッド 患者イントロデューサのアライメント
JP6891741B2 (ja) * 2017-09-04 2021-06-18 トヨタ自動車株式会社 マスタスレーブロボットの動作終了方法
US10856942B2 (en) * 2018-03-02 2020-12-08 Ethicon Llc System and method for closed-loop surgical tool homing
EP3813714A4 (en) 2018-06-07 2022-02-09 Auris Health, Inc. HIGH FORCE INSTRUMENT ROBOTIC MEDICAL SYSTEMS
WO2020005854A1 (en) 2018-06-28 2020-01-02 Auris Health, Inc. Medical systems incorporating pulley sharing
CN112566584A (zh) 2018-08-15 2021-03-26 奥瑞斯健康公司 用于组织烧灼的医疗器械
CN112566567A (zh) 2018-08-17 2021-03-26 奥瑞斯健康公司 双极医疗器械
US11864849B2 (en) 2018-09-26 2024-01-09 Auris Health, Inc. Systems and instruments for suction and irrigation
WO2020076447A1 (en) 2018-10-08 2020-04-16 Auris Health, Inc. Systems and instruments for tissue sealing
WO2020131529A1 (en) 2018-12-20 2020-06-25 Auris Health, Inc. Shielding for wristed instruments
EP3883492A4 (en) 2019-01-25 2022-11-30 Auris Health, Inc. VESSEL SEALING DEVICE HAVING HEATING AND COOLING CAPABILITIES
DE102019001402B3 (de) 2019-02-27 2020-06-18 Mrc Systems Gmbh Hand- oder fremdgehaltenes robotisches System zur räumlichen Führung eines Endeffektors
CN113613566A (zh) 2019-03-25 2021-11-05 奥瑞斯健康公司 用于医疗缝合的系统和方法
WO2020263629A1 (en) 2019-06-27 2020-12-30 Auris Health, Inc. Systems and methods for a medical clip applier
EP3989863A4 (en) 2019-06-28 2023-10-11 Auris Health, Inc. MEDICAL INSTRUMENTS WITH WRISTS WITH HYBRID DIVERSION SURFACES
US11896330B2 (en) 2019-08-15 2024-02-13 Auris Health, Inc. Robotic medical system having multiple medical instruments
US10959792B1 (en) 2019-09-26 2021-03-30 Auris Health, Inc. Systems and methods for collision detection and avoidance
WO2021064536A1 (en) 2019-09-30 2021-04-08 Auris Health, Inc. Medical instrument with capstan
US11737835B2 (en) 2019-10-29 2023-08-29 Auris Health, Inc. Braid-reinforced insulation sheath
US11950872B2 (en) 2019-12-31 2024-04-09 Auris Health, Inc. Dynamic pulley system
EP4084724A4 (en) 2019-12-31 2023-12-27 Auris Health, Inc. ADVANCED BASKET TRAINING MODE
US11801603B2 (en) * 2020-05-12 2023-10-31 Soremartec S.A. Operating device
CN111515956B (zh) * 2020-05-13 2021-09-03 中科新松有限公司 杆件及关节柔性的机器人运动学标定方法
CN115802975A (zh) 2020-06-29 2023-03-14 奥瑞斯健康公司 用于检测连杆与外部对象之间的接触的系统和方法
CN115734765A (zh) 2020-06-30 2023-03-03 奥瑞斯健康公司 具有碰撞接近度指示器的机器人医疗系统
US11357586B2 (en) 2020-06-30 2022-06-14 Auris Health, Inc. Systems and methods for saturated robotic movement
US12016523B2 (en) * 2021-08-31 2024-06-25 Karl Storz Imaging, Inc. Medical imaging scope with customizable programmable commands

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6364888B1 (en) * 1996-09-09 2002-04-02 Intuitive Surgical, Inc. Alignment of master and slave in a minimally invasive surgical apparatus
US20050251110A1 (en) * 2004-05-04 2005-11-10 Intuitive Surgical, Inc. Tool grip calibration for robotic surgery
CN1985773A (zh) * 2005-12-22 2007-06-27 天津市华志计算机应用技术有限公司 基于光学跟踪闭环控制脑外科机器人系统及实现方法
CN101227870A (zh) * 2005-05-19 2008-07-23 直观外科手术公司 用于外科手术及其它应用的软件中心和高度可配置的机器人系统
CN102470015A (zh) * 2009-06-30 2012-05-23 直观外科手术操作公司 遥控微创手术器械的主导件对齐性的渐进
CN102687559A (zh) * 2009-11-19 2012-09-19 高通股份有限公司 用于支持基于多种无线电协议的数据流的方法与设备
WO2013063522A2 (en) * 2011-10-26 2013-05-02 Reid Robert Cyrus Surgical instrument motor pack latch
WO2014139023A1 (en) * 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3223896C2 (de) * 1982-06-26 1984-07-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V., 8000 München Verfahren und Vorrichtung zum Erfassen von Steuerungsdaten für bahngesteuerte Industrieroboter
US5021969A (en) * 1988-03-17 1991-06-04 Kabushiki Kaisha Toshiba Manipulator operating apparatus
JPH06344283A (ja) * 1993-06-03 1994-12-20 Bridgestone Corp マニピュレータ装置
JPH10249786A (ja) * 1997-03-14 1998-09-22 Yaskawa Electric Corp マニピュレータの制御装置および操作支援装置
JP3215086B2 (ja) * 1998-07-09 2001-10-02 ファナック株式会社 ロボット制御装置
JP2004094399A (ja) * 2002-08-29 2004-03-25 Mitsubishi Heavy Ind Ltd 多関節マニピュレータの制御方法及びその制御プログラム、並びにその制御システム
JP3934524B2 (ja) * 2002-10-09 2007-06-20 株式会社日立製作所 手術用マニピュレータ
US7010390B2 (en) * 2003-07-17 2006-03-07 Kuka Roboter Gmbh Method and system for controlling robots
DE102004020099A1 (de) * 2004-04-24 2005-11-17 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Beeinflussen eines mehrachsigen Handhabungsgeräts
US7266425B2 (en) * 2004-09-30 2007-09-04 Rockwell Automation Technologies, Inc. Systems and methods that facilitate motion control through coordinate system transformations
US8029516B2 (en) * 2006-06-13 2011-10-04 Intuitive Surgical Operations, Inc. Bracing of bundled medical devices for single port entry, robotically assisted medical procedures
US20090132088A1 (en) * 2007-04-24 2009-05-21 Tairob Ltd. Transfer of knowledge from a human skilled worker to an expert machine - the learning process
EP2194434B1 (en) * 2008-12-05 2012-05-30 COMAU SpA Robot system
US8918207B2 (en) 2009-03-09 2014-12-23 Intuitive Surgical Operations, Inc. Operator input device for a robotic surgical system
US20100312391A1 (en) * 2009-06-05 2010-12-09 Abb Research Ltd. Calibration Of A Lead-Through Teaching Device For An Industrial Robot
US8543240B2 (en) * 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system
EP2617530B1 (en) * 2010-11-30 2015-11-18 Olympus Corporation Master operation input device and master-slave manipulator
DE102010063222B4 (de) * 2010-12-16 2019-02-14 Robert Bosch Gmbh Einrichtung und Verfahren zur Programmierung einer Handhabungsvorrichtung sowie Handhabungsvorrichtung
JP5936914B2 (ja) * 2011-08-04 2016-06-22 オリンパス株式会社 操作入力装置およびこれを備えるマニピュレータシステム
JP2014129782A (ja) 2012-12-28 2014-07-10 Mitsubishi Heavy Ind Ltd ラジアルピストン式油圧機械および風力発電装置
US10086509B2 (en) * 2013-03-14 2018-10-02 Elytra Technologies Llc Device and method for controlled motion of a tool
DE102014216514B3 (de) * 2014-08-20 2015-09-10 Kuka Roboter Gmbh Verfahren zum Programmieren eines Industrieroboters und zugehöriger Industrieroboter

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6364888B1 (en) * 1996-09-09 2002-04-02 Intuitive Surgical, Inc. Alignment of master and slave in a minimally invasive surgical apparatus
US20050251110A1 (en) * 2004-05-04 2005-11-10 Intuitive Surgical, Inc. Tool grip calibration for robotic surgery
CN101227870A (zh) * 2005-05-19 2008-07-23 直观外科手术公司 用于外科手术及其它应用的软件中心和高度可配置的机器人系统
CN1985773A (zh) * 2005-12-22 2007-06-27 天津市华志计算机应用技术有限公司 基于光学跟踪闭环控制脑外科机器人系统及实现方法
CN102470015A (zh) * 2009-06-30 2012-05-23 直观外科手术操作公司 遥控微创手术器械的主导件对齐性的渐进
CN102687559A (zh) * 2009-11-19 2012-09-19 高通股份有限公司 用于支持基于多种无线电协议的数据流的方法与设备
WO2013063522A2 (en) * 2011-10-26 2013-05-02 Reid Robert Cyrus Surgical instrument motor pack latch
WO2014139023A1 (en) * 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769773A (zh) * 2017-11-16 2020-02-07 直观外科手术操作公司 用于遥控操作的主/从配准和控制

Also Published As

Publication number Publication date
CN105773629B (zh) 2017-06-06
DE102015200428B3 (de) 2016-03-17
EP3045140A1 (de) 2016-07-20
US20160199984A1 (en) 2016-07-14
US9731415B2 (en) 2017-08-15
KR101635339B1 (ko) 2016-06-30

Similar Documents

Publication Publication Date Title
CN105773629A (zh) 用于使多轴操纵器与输入设备对准的方法
US20210386413A1 (en) Systems and methods for tracking robotically controlled medical instruments
JP6619748B2 (ja) 遠隔手術台位置合わせのための方法及び装置
KR102542190B1 (ko) 영상 안내 수술에서의 정합 보상의 시스템 및 방법
US10993777B2 (en) Method and apparatus for controlling a surgical mechatronic assistance system by means of a holding arm for medical purposes
CN109512516B (zh) 机器人接口定位确定系统及方法
CN107072730A (zh) 表征运动约束
JP2018524186A (ja) ロボット環境の特徴付け
US20110190790A1 (en) Method For Operating A Medical Robot, Medical Robot, And Medical Work Place
WO2009085616A1 (en) Medical robotic system with functionality to determine and display a distance indicated by movement of a tool robotically manipulated by an operator
US10800034B2 (en) Method for tracking a hand-guided robot, hand-guided robot, computer program, and electronically readable storage medium
CN107427326A (zh) 用于在手动关节定位期间提供反馈的系统和方法
US11185373B2 (en) Method for recovering a registration of a bone
US20150134113A1 (en) Method for operating a robot
CN113795215A (zh) 用于磁性感测和与套管针对接的系统和方法
CN115297798A (zh) 使用机器学习用于将外科机器人臂对接到套管针的套管针姿势估计
JP2021171657A (ja) 手術中の支援されたナビゲーションのための拡張現実ヘッドセットのカメラによって追跡された参照アレイを備えた手術器具の位置合わせ
US20230126611A1 (en) Information processing apparatus, information processing system, and information processing method
KR20200075534A (ko) 수술 로봇 장치와 수술 로봇 장치의 구동 방법
US20190175293A1 (en) Image guidance for a decoupled kinematic control of a remote-center-of-motion
CN115300110A (zh) 内窥镜手术控制系统
JP2022549347A (ja) 異常なセンサ信号の存在下で可撓性デバイスを制御するための方法及びシステム
EP3829826B1 (en) Systems and methods for controlling a robotic manipulator or associated tool
KR20180125316A (ko) 능동 조향 카테터를 제어하기 위한 햅틱 마스터 장치 및 시스템
JP2010082187A (ja) 手術マニピュレータシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170606

Termination date: 20210114