CN111278350B - 定位外科手术机器人系统的摄像头以捕获患者体腔内的图像 - Google Patents

定位外科手术机器人系统的摄像头以捕获患者体腔内的图像 Download PDF

Info

Publication number
CN111278350B
CN111278350B CN201880070158.2A CN201880070158A CN111278350B CN 111278350 B CN111278350 B CN 111278350B CN 201880070158 A CN201880070158 A CN 201880070158A CN 111278350 B CN111278350 B CN 111278350B
Authority
CN
China
Prior art keywords
controller
tool
camera
body cavity
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880070158.2A
Other languages
English (en)
Other versions
CN111278350A (zh
Inventor
J·克拉利基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Titan Medical Inc
Original Assignee
Titan Medical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Titan Medical Inc filed Critical Titan Medical Inc
Publication of CN111278350A publication Critical patent/CN111278350A/zh
Application granted granted Critical
Publication of CN111278350B publication Critical patent/CN111278350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/02Hand grip control means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/04Foot-operated control means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/0019End effectors other than grippers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/0028Gripping heads and other end effectors with movable, e.g. pivoting gripping jaw surfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/0052Gripping heads and other end effectors multiple gripper units or multiple end effectors
    • B25J15/0066Gripping heads and other end effectors multiple gripper units or multiple end effectors with different types of end effectors, e.g. gripper and welding gun
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/1605Simulation of manipulator lay-out, design, modelling of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/71Manipulators operated by drive cable mechanisms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Endoscopes (AREA)

Abstract

公开了一种用于定位外科手术机器人系统的摄像头以在医疗过程期间捕获患者体腔内的图像的方法和设备。在一些实施例中,该方法涉及:在执行该医疗过程的外科手术机器人系统的控制器处接收位置信息,该位置信息定义至少一个工具相对于体腔参考系的位置;以及响应于在该控制器处接收到对准命令信号,使该控制器产生定位信号,这些定位信号可操作以使该摄像头被定位在该体腔参考系内,以捕获该至少一个工具的图像从而显示给该外科手术机器人系统的操作者。

Description

定位外科手术机器人系统的摄像头以捕获患者体腔内的图像
背景技术
1.技术领域
本公开涉及外科手术机器人系统,并且更具体地涉及定位摄像头以在医疗过程期间捕获患者体腔内的图像。
2.相关技术说明
在研究性医疗过程和外科手术过程(诸如腹腔镜手术)期间使用小型化摄像头,以在患者的体腔内产生该过程的部位的图像。摄像头通常具有仅捕获患者的体腔的一部分的视场,并且可以具有用于使摄像头取向以改变视场内的体腔的部分的定位机构。
发明内容
根据一个公开的方面,提供了一种用于定位摄像头以在医疗过程期间捕获患者的体腔内的图像的方法。该方法涉及:在执行医疗过程的外科手术系统的控制器处接收位置信息,该位置信息定义至少一个工具相对于体腔参考系的位置;以及响应于在该控制器处接收到对准命令信号,使该控制器产生定位信号,这些定位信号可操作以使该摄像头被定位在该体腔参考系内,以捕获该至少一个工具的图像从而显示给该外科手术系统的操作者。
该至少一个工具在该体腔内的移动可以是由移动信号引起的,这些移动信号是由该控制器基于运动学计算产生的,并且接收位置信息可能涉及使用该运动学计算的结果来确定该至少一个工具的位置。
该方法可以涉及在该控制器处接收位置信号,这些位置信号指示该至少一个工具在该体腔参考系内的实际位置。
使该控制器产生定位信号可以涉及使该控制器产生以下定位信号,这些定位信号可操作以使该摄像头被定位成使得该摄像头的视场被布置为使与该至少一个工具相关联的参考点在这些被捕获图像内居中。
该参考点可以涉及在该至少一个工具上的、靠近该至少一个工具的远端的点。
接收位置信息可以涉及接收以下位置信息,该位置信息定义多个工具相对于体腔参考系的位置,并且该参考点可以包括被布置在该多个工具的相应远端中间的点。
该方法可以涉及接收操作者输入的在该参考点与该摄像头视场的中心之间的期望偏移量,并且使该控制器产生定位信号可以涉及使该控制器产生以下定位信号,这些定位信号可操作以使该摄像头被定位成使得该摄像头的视场被布置为在这些被捕获图像内与该参考点偏移达该期望的偏移量。
该方法可以进一步涉及:当在该控制器处正接收该对准命令信号时,并且响应于接收到来自输入装置的操作者输入,使该控制器继续产生用于使该至少一个工具移动的移动信号,同时产生可操作以使该摄像头在该体腔参考系内跟随该至少一个工具的摄像头定位信号,该输入装置被配置为生成用于控制该至少一个工具移动的输入信号。
接收该对准命令信号可以涉及使该控制器判定摄像头对准控件是否已经被该操作者激活。
该摄像头对准控件可以涉及手指致动开关和脚致动开关中的一个或多个。
接收该对准命令信号可以涉及使该控制器判定是否发生以下各项中的至少一项:在输入装置处已经接收到该至少一个工具的移动模式,该输入装置被配置为生成用于控制该至少一个工具移动的输入信号;以及已经从输入装置接收到被布置在该至少一个工具的远侧尖端处的末端执行器的移动模式,该输入装置被配置为生成用于控制该末端执行器的移动的输入信号。
接收该对准命令信号可以涉及使该控制器判定是否发生以下各项中的至少一项:与该至少一个工具相关联的参考点被布置在该被捕获图像内的定义中心区域之外;以及与多个工具中的当前有效工具相关联的参考点被布置在该被捕获图像内的定义中心区域之外。
根据另一个公开方面,提供了一种用于在由外科手术系统执行的医疗过程期间定位摄像头以捕获患者体腔内的图像的设备。该设备包括控制器,该控制器被可操作地配置为接收位置信息,该位置信息定义至少一个工具相对于体腔参考系的位置。该控制器被配置为响应于接收到对准命令信号而产生定位信号,这些定位信号可操作以使该摄像头被定位在该体腔参考系内,以捕获该至少一个工具的图像从而显示给该外科手术系统的操作者。
该至少一个工具在该体腔内的移动可以由移动信号引起,这些移动信号是由该控制器基于运动学计算产生的,并且该控制器可以被配置为通过使用该运动学计算的结果来接收位置信息以确定该至少一个工具的位置。
该控制器可以被配置为接收位置信号,这些位置信号指示该至少一个工具在该体腔参考系内的实际位置。
该控制器可以被配置为产生定位信号,这些定位信号可操作以使该摄像头被定位成使得该摄像头的视场被布置为使得与该至少一个工具相关联的参考点在这些被捕获图像内居中。
该参考点可以包括在该至少一个工具上的、靠近该至少一个工具的远端的点。
该控制器可以被配置为接收位置信息,该位置信息定义多个工具相对于体腔参考系的位置,并且该参考点可以包括被布置在该多个工具的相应远端中间的点。
该控制器可以被配置为接收操作者输入的在该参考点与该摄像头的视场的中心之间的期望偏移量,并且该控制器可以进一步被配置为使该摄像头被定位成使得该摄像头的视场被布置为在这些被捕获图像内与该参考点偏移达该期望的偏移量。
当在该控制器处正接收该对准命令信号时并且当接收到来自输入装置的操作者输入时,该控制器可以被配置为继续产生用于使该至少一个工具移动的移动信号,同时产生可操作以使该摄像头在该体腔参考系内跟随该至少一个工具的摄像头定位信号,该输入装置被配置为生成用于控制该至少一个工具移动的输入信号。
可以响应于确定摄像头对准控件已经被该操作者激活而产生该对准命令信号。
该摄像头对准控件可以包括手指致动开关和脚致动开关中的一个或多个。
可以响应于该控制器判定是否发生以下各项中的至少一项来产生该对准命令信号:在输入装置处已经接收到该至少一个工具的移动模式,该输入装置被配置为生成用于控制该至少一个工具移动的输入信号;以及已经从输入装置接收到被布置在该至少一个工具的远侧尖端处的末端执行器的移动模式,该输入装置被配置为生成用于控制该末端执行器的移动的输入信号。
当发生以下各项中的至少一项时,该对准命令信号可以由该控制器产生:与该至少一个工具相关联的参考点被布置在该被捕获图像内的定义中心区域之外;以及与多个工具中的当前有效工具相关联的参考点被布置在该被捕获图像内的定义中心区域之外。
对于本领域的普通技术人员来说,在结合附图回顾以下对特定所公开实施例的描述之后,其他方面和特征将变得明显。
附图说明
在展示了所公开实施例的附图中:
图1是根据一些实施例的机器人外科手术系统的透视图;
图2是根据一些实施例的图1中所示的机器人外科手术系统的驱动单元的透视图;
图3是根据一些实施例的在图1的机器人外科手术系统中使用的器械的透视图;
图4是根据一些实施例的图1中所示的机器人外科手术系统的处理器电路元件的框图;
图5是根据一些实施例的图1中所示的机器人外科手术系统的右输入装置的透视图;
图6是根据一些实施例的图1中所示的机器人外科手术系统的右侧工具的透视图;
图7是根据一些实施例的过程流程图,该过程流程图描绘了用于指引图4所示的处理器电路元件来控制图1所示的机器人外科手术系统的操作的代码块;
图8是根据一些实施例的处于弯曲姿势的右侧工具的侧视透视图;
图9是根据一些实施例的左侧工具和右侧工具的后透视图;以及
图10是根据一些实施例的图1中所示的机器人外科手术系统的摄像头和多个相连的连接结构的透视图。
具体实施方式
参考图1,机器人外科手术系统总体上以100示出。根据一些实施例,系统100包括工作站102和器械推车104。器械推车104包括安装在可移动驱动单元108上的至少一个器械106,该可移动驱动单元容纳用于操纵该器械的器械驱动器。工作站102包括由外科医生使用的输入装置110,用于经由器械驱动器来控制器械106以对患者进行外科手术。例如,可以使用可从瑞士的Force Dimension公司获得的触觉界面来实施输入装置110。
器械106和驱动单元108在图2中更详细地示出。参考图2,在一些实施例中,器械106包括插入管202,该插入管通过切口插入患者腹部或其他体腔的壁中以提供进入体腔内的外科手术工作空间的通路。一旦插入外科手术工作空间中,就如图2中的插入物206中所示部署器械106上的摄像头222。在这个实施例中,器械106容纳具有操纵器210和末端执行器212的右侧工具208,以及具有操纵器216和末端执行器218的左侧工具214。右侧工具208和左侧工具214由相关联的工具驱动器(未示出)驱动。
在所示的实施例中,末端执行器212是一对钳子,其具有由相关联的工具驱动器控制以操纵组织的相对的可移动夹爪220,而末端执行器218是由相关联的工具驱动器控制的也用于操纵组织的一对弯曲的解剖钳子。器械106还包括部署在铰接臂224上的摄像头222,该铰接臂能够使摄像头平移、升降和倾斜。在这个实施例中,摄像头222包括一对间隔开的图像传感器226和228,用于产生外科手术工作空间的立体视图。在通过切口插入之前,摄像头222初始地与插入管202成一直线定位,然后如206处所示部署。在安装和通过插入管插入之前,工具208和214也初始地与插入管202成一直线定位,然后如206处所示部署。
在图3中更详细地示出了未安装工具208和214的器械106。参考图3,在一些实施例中,摄像头222安装在从插入管202的远端302延伸的多个相连的连接结构300的远端。插入管202从驱动接口304向外延伸,该驱动接口被可移除地接纳在驱动单元108(图2所示)上。该多个相连的连接结构300包括:经由第一转动关节350连接到插入管202的远端302的平移连接结构306、经由第二转动关节352连接到平移连接结构的升降连接结构308、以及经由第三转动关节354连接到升降连接结构的倾斜连接结构310(即,摄像头222的壳体)。第一转动关节350将平移连接结构306约束为在箭头312所指示的方向上左右运动。第二转动关节322将升降连接结构308约束为在箭头316所指示的方向上背离纵向轴线314移动。第三转动关节324将倾斜连接结构310约束为使摄像头222相对于纵向轴线142在箭头318所指示的方向上前后倾斜地移动。在其他实施例中,可以以其他方式布置该多个相连的连接结构300,并且可以省略这些连接结构中的一个或多个。
该多个相连的连接结构300的移动由容纳在驱动单元108(图2所示)内的驱动器(未示出)致动,从而使驱动接口304致动器械106相应地平移、升降和倾斜移动以定位摄像头222。驱动接口304和驱动单元108在2017年4月4日提交的标题为“CAMERAPOSITIONINGMETHOD AND APPARATUS FOR CAPTURING IMAGES DURING A MEDICAL PROCEDURE[用于在医疗过程中捕获图像的摄像头定位方法和设备]”的共同拥有的PCT专利申请PCT/CA2017/000078中进行了更详细的描述,该专利申请通过引用以其全文结合于此。
返回参考图1,输入装置110包括用于控制右器械208的右输入装置116和用于控制左工具214的左输入装置118。右输入装置116包括右手控制器112,并且左输入装置118包括左手控制器114,这些手控制器机械地耦接到相应的输入装置。
工作站102还包括工作站处理器电路120,其与输入装置116和118以及手控制器112和114通信,以用于接收来自外科医生的输入。器械推车104还包括用于控制器械106的器械处理器电路130。工作站处理器电路120和器械处理器电路130充当用于控制系统100的操作的控制器。在这个实施例中,器械处理器电路130经由接口电缆132与工作站处理器电路120通信,以用于在工作站处理器电路120与器械处理器电路130之间传输信号。在其他实施例中,工作站处理器电路120与处理器电路130之间的通信可以是无线的或经由计算机网络的,并且工作站102甚至可以位于远离器械推车104处。
工作站102还包括与工作站处理器电路120通信的显示器122,用于显示外科手术工作空间的实时图像和/或其他图形描绘。在这个实施例中,其中摄像头222包括一对间隔开的图像传感器226和228中,显示器122被配置为提供外科手术工作空间的单独的2D立体视图,该2D立体视图当通过由外科医生佩戴合适的立体眼镜来观看时提供了3D深度效果。
工作站102还包括脚踏开关134,该脚踏开关可由外科医生致动以将使能信号提供给工作站处理器电路120。工作站102还包括多个脚踏开关136,这些脚踏开关可以由外科医生的右脚致动并且向工作站处理器电路120提供输入信号以控制器械106。
响应于由外科医生在与左输入装置和右输入装置相关联的输入装置工作空间内移动手控制器112和114,由右输入装置116和左输入装置118生成输入信号。与工具208和214相关联的操纵器210和216响应于这些输入信号在空间上将相应工具208和214的末端执行器212和218定位在外科手术工作空间中。
系统100的处理器电路元件的框图在图4中示出。参考图4,在一些实施例中,工作站处理器电路120包括微处理器250。工作站处理器电路120还包括工作站存储器252、USB接口254,输入端/输出端256和运动控制接口258,所有这些都与微处理器250通信。输入端/输出端256包括用于从脚踏开关134接收使能信号的输入端和用于产生用于驱动显示器122的显示信号的输出端。
在这个实施例中,输入装置110使用USB协议进行通信,并且USB接口254响应于手控制器112和114的移动而接收由输入装置产生的输入信号。微处理器250基于输入装置工作空间与外科手术工作空间之间的当前映射来处理输入信号,并使运动控制接口258传输控制信号,该控制信号经由接口电缆132被传送至器械处理器电路130。该映射可以包括缩放因子,该缩放因子对输入装置工作空间中的移动进行缩放以产生外科手术工作空间中经缩放的移动。例如,输入装置工作空间中100mm的平移可以按缩放因子0.5进行缩放,以产生外科手术工作空间中50mm的移动,从而实现精细移动。
工作站处理器电路120在输入端/输出端256处接收来自脚踏开关134和多个脚踏开关136的脚踏开关信号。工作站存储器252包括当前缓冲器320和先前缓冲器340,该先前缓冲器包括用于存储与控制信号相关联的值的多个存储装置,如本文稍后所述。
器械处理器电路130包括微处理器280、存储器282、通信接口284和驱动控制接口286,所有这些都与微处理器通信。微处理器280在通信接口284处接收输入信号。微处理器280处理控制信号并使驱动控制接口286产生用于移动工具208和214的驱动信号。
工作站处理器电路120因此充当用于接收用户输入的主子系统,而器械处理器电路130以及工具208和214在响应用户输入时充当从子系统。
右输入装置116在图5中更详细地示出。为了简单起见,仅右输入装置116将被进一步描述,应当理解,左输入装置118以相同的方式操作。在一些实施例中,输入装置116被支撑在底座400上,并且包括臂402、404和406。右手控制器112安装于臂402至406上,以允许绕笛卡尔参考系的正交轴线x1、y1和z1定位和旋转。笛卡尔参考系的原点在手控制器112的主体上的某一点处,并且该原点的位置定义手控制器位置408(即,在原点处)。在这个实施例中,手控制器112被安装在万向支架410上。臂402至406限制了手控制器112的移动,并且因此将手控制器位置408限制为在半球形输入装置工作空间内。在一个实施例中,输入装置116还可以被配置为生成触觉力,用于通过臂402至406向手控制器112、和万向支架410提供触觉反馈。
输入装置116具有传感器(未示出)并且产生表示手控制器在工作空间中的位置和手控制器相对于输入装置笛卡尔参考系xr,yr,zr的旋转取向的信号,这些传感器感测各个臂402至406的位置以及手控制器112绕x1、y1和z1轴线中的每个轴线的旋转。在这个实施例中,位置和取向信号作为输入信号经由USB连接418被传输到工作站处理器电路120的USB接口254。
在这个实施例中,万向支架410具有从支架向下延伸的销412,并且底座400包括用于接纳销的校准开口414。当销412被接纳在开口414中时,输入装置116位于相对于输入装置笛卡尔参考系xr,yr,zr定义的校准位置。输入装置参考系的xr-zr平面平行于底座400且yr轴线垂直于底座。zr轴线平行于底座400,并且与穿过输入装置116中心的轴线416重合。
输入装置116产生表示手控制器112的当前位置和取向的当前手控制器信号和当前手控制器取向信号。信号可以由当前手控制器位置矢量和当前手控制器旋转矩阵表示。当前手控制器位置矢量由下式给出:
其中,x1,y1和z1表示手控制器位置408相对于输入装置参考系xr,yr,zr的坐标(即坐标系x1,y1,z1的原点)。当前手控制器旋转矩阵由下式给出:
其中,矩阵的列表示手控制器参考系x1,y1,z1相对于输入装置参考系xr,yr,zr的轴线。矩阵RMCURR因此定义了手控制器112相对于xr,yr和zr固定主参考系的当前旋转取向。当前手控制器位置矢量和当前手柄旋转矩阵RMCURR作为当前手控制器位置和当前手控制器取向信号经由USB连接418被传输到工作站处理器电路120的USB接口254。工作站处理器电路120将表示当前手柄位置矢量/>的三个值存储在存储装置322中并且将表示当前手控制器旋转矩阵RMCURR的九个值存储在工作站存储器252的当前缓冲器320的存储装置324中。
右侧工具208在图6中更详细地示出。参考图6,在一些实施例中,操纵器210被配置为通过响应于由工具处理器电路130的驱动控制接口286产生的驱动信号来激活驱动单元108中的各驱动器从而将末端执行器212定位在外科手术工作空间内。驱动信号由驱动控制接口286响应于在通信接口284处从工作站处理器电路120接收到的控制信号而产生,并且是基于存储在工作站存储器252中的当前缓冲器320的存储装置322和324中的当前手控制器位置矢量和当前手控制器旋转矩阵RMCURR
工具208包括多个相同的“椎骨件(vertebra)”550,如在2013年12月20日提交的标题为“ARTICULATED TOOL POSITIONER AND SYSTEM EMPLOYING SAME[铰接式工具定位器和采用该定位器的系统]”的共同拥有的PCT专利申请PCT/CA2013/001076中所述,该专利申请通过引用以其全文结合在此。当穿过椎骨件的控制线延伸或缩回而引起操纵器210移动时,椎骨件550可操作以相对于彼此移动。相对于具有轴线xv、yv和zv的固定从参考系定义末端执行器212的位置和取向,这些轴线在被称为固定从参考位置652的点处相交。固定从参考位置552位于工具208的纵向轴线554上,并且包含在垂直于纵向轴线的平面中且包含插入管202的远侧边缘。在一个实施例中,固定从参考系充当体腔参考系。
在所示的实施例中,末端执行器212的夹爪220在末端执行器工作空间内定位和取向。夹爪220的尖端可以被指定为末端执行器位置560,该末端执行器位置被定义为末端执行器笛卡尔参考系x2,y2,z2的原点。相对于从参考位置552来定义末端执行器位置560,并且末端执行器可以相对于固定的从参考系xv,yv,zv来定位和取向,以引起操纵器210和/或末端执行器212的移动。
当前手控制器位置信号和当前手控制器取向信号RMCURR使工具208的末端执行器212移动到新的末端执行器位置和期望的新末端执行器取向,并由新的末端执行器位置矢量/>表示:
其中,x2,y2和z2表示末端执行器工作空间内末端执行器位置560相对于xv,yv,zv固定从参考系的坐标,以及由3×3末端执行器旋转矩阵REENEW表示:
其中,REENEW矩阵的列表示写入到固定从参考系xv,yv和zv中的末端执行器参考系x2,y2和z2的轴线。REENEW因此定义了末端执行器工作空间中的末端执行器212相对于xv,yv和zv固定从参考系的新取向。矢量的和旋转矩阵REENEW的值如本文后面所述计算,并分别存储在工作站存储器252的当前缓冲器320的存储装置330和332中。
当系统100初始启动时,工作站处理器电路120将主底座位置矢量设置为等于当前手控制器矢量/>并且使可定义的主底座旋转矩阵RMBASE定义一个取向,该取向与由与当前手控制器旋转相关联的手控制器旋转矩阵RMCURR定义的当前取向相同。因此,在启动时执行以下操作:
对于右工具208的示例,由图5所示的轴线x1、y1和z1表示的手控制器112参考系和由轴线xmb、ymb和zmb(也在图5中示出)表示的可定义的主底座参考系因此在系统100启动时重合。返回参考图4,工作站处理器电路120将表示可定义的主底座位置矢量的值以及表示可定义的主底座旋转矩阵RMBASE的值存储在工作站存储器252的当前缓冲器320的存储装置326和328中。
在系统100启动时,新的末端执行器位置矢量和新的末端执行器旋转矩阵REENEW没有先前存储的值,并且在一个实施例中,这些值被设置为原始配置值。可以定义原始配置,该原始配置为工具208产生大致笔直的操纵器210(如图6所示),并且针对原始配置的和REENEW的值可以在初始化时进行预配置。在系统100启动时,工作站处理器电路120还使可定义的末端执行器底座位置矢量/>和可定义的末端执行器底座旋转矩阵REEBASE被设置为/>和REENEW的原始配置值。此外,在工作站处理器电路120的先前缓冲器340(在图4中示出)的存储装置346和348中存储的针对/>和REEPREV的值也被设置为和REENEW的原始配置值。在其他实施例中,原始配置可以定义配置变量以针对原始配置产生不同弯曲的或既有笔直又有弯曲的工具定位装置姿势。因此,在启动时执行以下操作:
REEBASE=REENEW=REEPREV
因此,在系统100启动时,图6所示的由轴线x2、y2和z2表示的末端执行器参考系与由轴线xsb、ysb和zsb表示的可定义的从底座参考系重合。返回参考图4,工作站处理器电路120将表示可定义的从底座位置矢量的值xsb、ysb和zsb存储在存储装置334中,并且将表示可定义的从底座旋转矩阵RMBASE的值存储在工作站存储器252的当前缓冲器320的存储装置336中。
参考图7,在一些实施例中,在600处大体上示出了流程图,该流程图描绘了用于指引工作站处理器电路120执行用于移动器械106的过程的代码块。在600处大体上示出了描绘用于指引工作站处理器电路120执行底座设置过程的代码块的流程图,并且在650处大体上示出了描绘用于指引工作站处理器电路120执行用于定位摄像头222以捕获患者体腔内的图像的过程的代码块的流程图。在实施例中示出的过程600、630和650由微处理器250同时并行地执行。这些框通常表示指引微处理器250执行各种功能的代码。例如,可以以任何合适的程序语言(诸如C、C++、C#、Java、OpenGL和/或汇编代码)来编写用于实施每个块的实际代码。
移动过程600从框602处开始,框602指引微处理器250判定由脚踏开关134产生的使能信号是否处于有效状态。如果在框602处,确定脚踏开关134当前被释放,则使能信号将处于有效状态,并且微处理器被指引至框604,框604指引微处理器250读取针对来自工作站存储器252的当前缓冲器320的和RMCURR的新值,这些新值表示当前手控制器位置矢量/>和当前手控制器矩阵RMCURR。然后,框606指引微处理器250计算表示期望的末端执行器位置560和期望的末端执行器取向的、相对于固定从参考位置552和从底座取向(在图6中示出的)的新的末端执行器位置信号/>和新的末端执行器取向信号REENEW。框606还指引微处理器250将表示新的末端执行器位置矢量/>的值存储在存储装置330中,并且将表示期望的末端执行器取向矩阵REENEW的值存储在工作站存储器252的当前缓冲器320的存储装置332中。
根据以下关系式计算新的末端执行器位置信号和新的末端执行器取向信号REENEW
REENEW=REEBASERMBASE -1RMCURR 等式1b
其中:
是新的末端执行器位置矢量,并且是相对于从底座参考位置来定义的,该新的末端执行器位置矢量表示末端执行器212在末端执行器工作空间中的新的期望位置;
A是标量值,该标量值表示手控制器112(主)与工具208(从)之间的平移运动的缩放因子;
是存储在当前缓冲器320的存储装置322中的手控制器位置矢量的当前表示,该手控制器位置矢量是相对于固定主参考系xr,yr和zr定义的;
是针对手控制器112的最后保存的位置矢量/>该最后保存的位置矢量在使能信号从无效状态到有效状态的最后转变时、或者基于系统初始化或者通过操作者对控制接口的操作而被移位;
是针对末端执行器212的最后保存的位置矢量/>该最后保存的位置矢量在使能信号从无效状态到有效状态的最后转变时或基于系统初始化而被移位;
REENEW是表示末端执行器212的当前取向的新的末端执行器取向矩阵,并且是相对于固定从参考位置552定义的;
REEBASE是针对末端执行器212的最后保存的旋转矩阵REENEW,该最后保存的旋转矩阵在使能信号从无效状态到有效状态的最后转变时被移位;
RMBASE -1是旋转矩阵RMBASE的逆矩阵,RMBASE是在使能信号从无效状态到有效状态的最后转变时保存的手控制器112的最后保存的旋转矩阵RMCURR;并且
RMCURR是当前获取的旋转矩阵,其表示手控制器112相对于固定主参考系xr,yr和zr的取向。
然后,框608指引微处理器250判定使能信号是否已经转变为无效状态。如果在框608处使能信号尚未转变为无效状态,则框610指引微处理器250基于针对和REENEW的新计算出的值来使运动控制接口258传输控制信号。当在器械处理器电路130的通信接口284处接收到控制信号时,微处理器280使驱动信号产生,以使末端执行器212采取由手控制器112的当前位置和当前取向确定的位置和取向。
然后,框612指引微处理器250将存储在当前缓冲器320的存储装置322和324中的当前位置矢量和当前旋转矩阵RMCURR复制到工作站存储器252的先前缓冲器340的存储装置342/>和344(RMPREV)中。框612还指引微处理器250将新计算出的末端执行器位置矢量/>和新计算出的末端执行器旋转矩阵REENEW复制到先前缓冲器340的存储装置346和348中。通过将新计算出的末端执行器位置矢量/>和新计算出的末端执行器旋转矩阵REENEW存储为先前计算出的末端执行器位置矢量/>和先前计算出的末端执行器旋转矩阵REEPREV,随后获取的新末端执行器位置矢量/>和随后获取的新末端执行器旋转矩阵REENEW可以从由输入装置116提供的下一个接收到的手控制器位置矢量/>和下一个接收到的手控制器旋转矩阵RMCURR中计算出来。
如果在框608处,使能信号已经转变为无效状态,则微处理器250被指引至框614处。框614指引微处理器250基于工作站存储器252的先前缓冲器340的相应存储装置346和348中的、先前计算出的和REEPREV的值使运动控制接口258传输控制信号。因此,运动控制接口258传输的控制信号是从最后保存的/>和REENEW值中得出的。器械处理器电路130接收控制信号并在驱动控制接口286处产生驱动信号,这些驱动信号禁止工具208的进一步移动。
如果在框602处确定脚踏开关134当前被踩下,则使能信号将处于无效状态,并且微处理器被指引至框616以启动底座设置过程630。每当脚踏开关134产生的使能信号从有效状态转变为无效状态时,异步地执行底座设置过程630(框616和618)。在底座设置过程630期间,将这些驱动信号维持在某些值处,这些值是在框608处使能信号转变为无效时生效的。在框616处,指引微处理器250判定使能信号是否已经转变回为处于有效状态。当使能信号保持无效时(即,当踩下脚踏开关134时),由运动控制接口258传输的控制信号仅基于先前计算出的末端执行器位置和先前计算出的取向信号和REEPREV,这些先前计算出的信号是在使能信号转变为无效之前生效的。如果在框616处使能信号保持在无效状态,则微处理器250被指引至重复框616,因此在使能信号保持在无效状态时有效地暂停该过程。在踩下脚踏开关134时,外科医生可以因此将手控制器112移动到新的位置,以相对于外科手术工作空间重新定位输入装置工作空间。
当在框616处使能信号从无效状态转变为有效状态时,微处理器250被指引至框618。框618指引微处理器250分别为手控制器112和末端执行器212设置新的底座位置和取向。框618指引微处理器250使当前手控制器位置矢量和手控制器旋转矩阵RMCURR的当前值被存储在当前缓冲器320工作站存储器252的位置326和328中,作为主底座位置矢量和主底座旋转矩阵RMBASE的新值。框618还指引微处理器250使末端执行器位置信号和末端执行器取向信号REENEW的当前值被存储在当前缓冲器320的存储装置334和336中,作为可定义的末端执行器底座位置矢量/>和可定义的从底座旋转矩阵RMBASE。在执行框618之后,微处理器250被指引回到过程600的框604,其指引微处理器允许工具208的进一步移动。因此,由运动控制接口258传输的控制信号使器械处理器电路130在驱动控制接口286处产生驱动信号,这些驱动信号引起工具208的进一步移动。
底座设置过程630因此允许在输入装置116的手控制器112被移动到新位置时通过踩下脚踏开关134来固定工具208。当释放脚踏开关134时,工具208的控制在手控制器112的新位置处恢复。从而可以在工具保持固定的同时根据需要将手控制器112重新定位,从而为外科医生提供更大的工作空间并防止可能对患者造成伤害的意外移动。
摄像头对准过程650开始于框620,其指引微处理器250判定是否已经接收到对准命令信号。对准命令信号可以由输入装置116和118、手控制器112和114、脚踏开关136、或者从工作站102处的外科医生接收到的其他输入中的任何一个生成。当操作者已经激活摄像头对准控制时,可以生成对准命令信号。例如,在一个实施例中,可以响应于操作者的手指在手控制器112和114中的任一个上对输入按钮的致动来生成对准命令信号,并且在从输入装置110接收到的输入信号中检测到对准命令信号。可替代地,对准命令信号可以由诸如触摸屏之类的辅助输入装置生成,或者通过致动一个或多个脚踏开关136而生成,并且在输入端/输出端256处接收到的脚踏开关信号中被检测到。在使用触摸屏的实施例中,可以显示手术部位的图像,其中用户可以触摸该区域,而通过生成对准命令信号来对准摄像头。在其他实施例中,可以响应于诸如手控制器112和114的特定移动的预定义或用户定义的输入来生成对准命令信号。如果未接收到对准命令信号,则将微处理器250指引到重复框620,并且因此有效地暂停过程650,以等待用于转变为有效状态的对准命令信号。
在其他实施例中,可以通过使工作站处理器电路120判定是否已经接收到一个或多个工具208和214的移动模式来产生对准命令信号。例如,可以以预定模式移动手控制器112和114,或者可以使末端执行器212和218朝向彼此移动以进行触摸,或者可以定义一些其他移动模式以致使生成对准命令信号。响应于检测到移动模式,工作站处理器电路120可以使对准命令信号处于有效状态,直到检测到另一种定义的移动模式为止。
在又一个实施例中,当工作站处理器电路120确定与工具208或214相关联的参考点位于所捕获图像内的定义中心区域之外时,可以将对准命令信号设置为有效状态。参考点可以与工具208或214中的任何一个相关联,或者可以与当前有效工具相关联。
如果微处理器250接收到对准命令信号,则框620指引微处理器接收定义工具208和214中的任一个或两个的位置的位置信息。位置信息是通过同时执行过程600的框606来提供的,并且可以从所计算出的末端执行器位置矢量和所计算出的末端执行器旋转矩阵REENEW在图4所示的工作站处理器电路120的当前缓冲器320的存储装置330和332中的存储值中取得。在这个实施例中,工具208和/或214在体腔内的移动是由器械处理器电路130基于对输入装置110产生的输入的运动学计算产生的移动信号引起的,因此运动学计算的结果用于确定工具的位置。在其他实施例中,系统100可以包括定位系统(未示出),该定位系统生成表示工具208和214中的任一个或两个的实际位置的位置信号,并且这些位置信号可以在工作站处理器电路120处被接收并用于确定工具的位置。
然后,过程650在框624处继续,其指引微处理器250产生可操作用于使摄像头222被定位在体腔参考系(即xv,yv,zv)内以捕获图像的摄像头定位信号。对于图3所示的器械106,生成定位信号以控制该多个相连的连接结构300中的每一个,从而移动摄像头222以定位成使得摄像头的视场被布置为捕获体腔的一部分相对于一个或多个工具208和214的位置的图像。例如,在一个实施例中,可以移动摄像头222以使与工具相关联的参考点在被捕获图像内居中。参考点可以是工具上靠近远端的点,诸如末端执行器212或218之一、或工具208的夹爪220、或任何其他参考点。可替代地,可以针对工具208和214中的每一个接收位置信息,并且参考点可以是布置在工具的相应远端之间的点。在一些实施例中,可以接收或以其他方式确定操作者输入的在参考点与摄像头的视场的中心之间的期望偏移量,并且可以产生定位信号以使摄像头222被定位成使得视场被布置为在这些被捕获图像内与该参考点偏移达该期望的偏移量。
然后,框624将微处理器250指引回至框620,以判定对准命令信号是否仍处于有效状态。作为示例,如果响应于脚踏开关134或136之一的致动而产生对准命令信号,并且脚踏开关仍正在被踩下,则重复框622和框624。因此,如果工具位置已经改变,则框622使微处理器250取得新位置,并且框624生成更新的摄像头定位信号以用于定位摄像头222。因此,框622和框624使工作站处理器电路120产生摄像头定位信号,在对准命令信号为有效时,该摄像头定位信号将使摄像头在体腔参考系(即,xv,yv,zv)内跟随工具208。
如果在框620处,对准命令信号未被接收或不再处于有效状态,则摄像头222保持在与最后在框556处生成的摄像头定位信号相对应的位置。过程650与由微处理器250执行的其他过程同时运行,并且可以在系统100的操作期间以固定的时间间隔重复进行。例如,在一个实施例中,过程500可以每秒执行几次,使得在正在生成对准命令信号时摄像头222的移动足够平滑以防止在显示器122上显示的图像中有图像抖动。
分别在框606和框614处产生的末端执行器位置矢量或/>和末端执行器取向矩阵REENEW或REEPREV提供了相对于固定从参考位置652的期望位置末端执行器尖端660(在图6中示出)。在图4中示出的实施例中,工作站处理器电路120的微处理器250使运动控制接口258传输运动控制信号,该运动控制信号定义了定位操纵器210所需的姿势以使末端执行器212定位和取向在所期望的末端执行器位置和取向中。因此,基于操纵器210和末端执行器212的运动学配置来生成运动控制信号,以将末端执行器位置660放置在期望的位置和取向处。
进一步参考图8和图9描述了由器械处理器电路130生成运动控制信号。根据一些实施例,在图8中从侧面透视图并且在图9中从后透视图示出了处于弯曲姿势的右侧工具208。在图9中还示出了处于与上述原始配置相对应的笔直姿势的左侧工具214。参考图8和图9,工具208的操纵器210具有被称为s段700的第一铰接段和被称为远侧段702的第二铰接段。每个段包括多个椎骨件550。s段700从距插入管202一定距离(称为插入距离q插入)处开始,该插入距离是固定从参考位置652与第一位置704之间的距离,该固定从参考位置被定义在固定从底座参考系xv、yv和zv的原点处,该第一位置在第一位置参考系x3,y3和z3的原点处。插入距离q插入表示操纵器210的不可弯曲部分,该不可弯曲部分从插入管202的末端延伸出。在示出的实施例中,插入距离q插入可以是大约10mm至20mm,而在其他实施例中,插入距离可以更长或更短,例如从0mm至100mm变化。
s段700从第一位置704延伸至第三位置706,该第三位置被定义为具有轴线x5、y5和z5的第三参考系的原点,并且当推拉s段700内部的控制线(未示出)时,s段700能够采用平滑的s形状。s段700在第二位置708处具有中间点,该中间点被定义为具有轴线x4、y4和z4的第二位置参考系的原点。s段700的长度为L1,在图9中针对左侧工具操纵器216最佳地示出。在所示的实施例中,长度L1可以为大约65mm。
远侧段702从第三位置706延伸至第四位置710,该第四位置被定义为具有轴线x6、y6和z6的第四参考系的原点。远侧段702的长度为L2,在图9中针对左侧工具操纵器216最佳地示出。在示出的实施例中,长度L2可以为大约30mm。
每个末端执行器212和218还具有末端执行器长度,在示出的实施例中,该末端执行器长度是从第四位置710延伸至末端执行器尖端位置660的夹具长度L3,该末端执行器尖端位置被定义为轴线x2、y2和z2的原点。夹具长度L3在图9中再次针对左侧工具操纵器216最佳地示出并且在一个实施例中可以是大约25mm。从参考位置652、第一位置704、第二位置708、第三位置706、第四位置710和末端执行器位置660可以统称为工具参考位置。
如在PCT/CA2013/001076中所描述的,通过推拉操纵器210和216内部的控制线,操纵器的s段700可以弯曲成各种程度的s形状,从图8中示出的笔直状态到图8和图9中示出的针对右侧工具208的局部s形状到完全s形状。s段700是分段式的,因为它在第二位置708的相对侧面上具有第一部分712和第二部分714。参考图8,第一部分712和第二部分714位于第一弯曲平面中,该第一弯曲平面包含第一位置704、第二位置708和第三位置706。第一弯曲平面与固定从参考系xv,yv和zv的xv-zv平面成角度δ。第一部分712和第二部分714在第一弯曲平面中弯曲成相反但相等的角度θ,使得无论角度θ还是弯曲平面角度δ,第三位置706的z5轴线始终平行于与固定从参考位置652的zv轴线相同的方向且在该方向上对准。因此,通过推拉操纵器210内的控制线,第三位置706可以被放置在围绕第一位置704的圆柱状体积内的空间中的多个离散位置中的任何一个位置处。该圆柱状体积可以被称为s段工作空间。
此外,远侧段702位于第二弯曲平面中,该第二弯曲平面包含第三位置706和第四位置710。第二弯曲平面与固定从参考系xv,yv和zv的xv-zv平面成角度δ。远侧段702在第二弯曲平面内以角度θ弯曲。因此,通过推拉操纵器210内的控制线,第四位置710可以被放置在围绕第四位置710的空间中的另一个体积内。该体积可以被称为远侧工作空间。s段工作空间和远侧工作空间的组合可以被称为定位装置工作空间,因为这表示由操纵器210影响的工具208的全部可能的移动。左侧工具214可以类似地由操纵器216定位。
在示出的实施例中,第四位置710与末端执行器位置660之间的距离是远侧段702的可移动部分与末端执行器212的夹具220的尖端之间的距离,即在图9中示出的夹具长度L3的长度。通常,第四位置710与末端执行器位置660之间的夹具的部分将是不可弯曲的。
在示出的实施例中,末端执行器212包括可移动的夹爪220,该夹爪可在末端执行器参考系的x2-y2平面内绕z2轴线旋转,旋转角度由相对于正x2轴线的角度γ表示。最后,夹爪220可以处于从完全闭合到完全打开的不同程度的打开度(如由该爪的铰接关节所限制的)。打开度的不同程度可以定义为“G”。因此,总而言之,运动控制信号是基于操纵器210和末端执行器212的运动学配置生成的,该运动学配置由以下配置变量定义:
q插入表示从从参考位置652到第一位置704的距离,该从参考位置由轴线xv、yv和zv定义,该第一位置由轴线x3、y3和z3定义,操纵器210的s段700从该第一位置处开始;
δ表示第一弯曲平面,在该第一弯曲平面中,s段700相对于固定从参考系的xv-yv平面弯曲;
θ表示s段700的第一部分712和第二部分714在第一弯曲平面中弯曲的角度;
δ表示第二弯曲平面,在该第二弯曲平面中,远侧段702相对于固定从参考系的xv-yv平面弯曲;
θ表示远侧段702在第二弯曲平面中弯曲的角度;
γ表示末端执行器212绕轴线z2的旋转;并且
G:表示末端执行器212的夹爪220的打开程度(这是一个被计算出的数值,该数值与由在手控制器112上的致动器(未示出)产生的信号成正比、指示操作者通过握住致动器以致动夹爪220闭合而施加的压力量)。
为了计算配置变量,首先将想到的是末端执行器旋转矩阵REENEW为3×3矩阵:
其中,REENEW的最后一列是相对于固定从参考系xv、yv和zv写入的末端执行器参考系的z轴线。可以根据以下关系式来计算与远侧段702相关联的值θ、δ和γ:
δ=-atan2(z2y,z2x)。 等式3
如果
γ=atan2(-y2z,x2z)-δ+π 等式4a
否则
γ=atan2(y2z,-x2z)-δ 等式4b
然后可以根据从固定从参考位置652到第三位置706的矢量来写该第三位置。相似地,矢量/>可以被定义为从第三位置706到第四位置710并且矢量/>可以被定义为从第四位置710到末端执行器位置660。然后,这些值可以用于通过从末端执行器位置矢量中减去矢量/>和/>来计算第三位置706相对于固定从参考位置652的位置:
其中:
其中,是x方向上的单位矢量、j是y方向上的单位矢量、并且/>是z方向上的单位矢量。
从固定从参考位置652到第三位置706的矢量然后可以用于找到针对s段700的配置变量δ和θ。通过求解以下针对δ的两个等式来计算角度δ
取等式8b和等式8a的比率得出:
其中,和/>分别是x方向上和y方向上的单位矢量。针对θ的闭合形式解无法找到,并且因此必须使用等式8a或等式8b中的任一等式的数值等式解找到θ。例如,可以采用牛顿-拉夫森(Newton-Raphson)方法,该方法相继迭代地近似实值函数的更好的根。牛顿-拉夫森方法可以使用以下等式实施:
其中是x方向上的单位矢量。等式Eqn 10是以f(θ)=0的形式重写的等式8a。牛顿-拉夫森方法趋于非常迅速地收敛,因为在0<θ<π的范围内,该函数具有较大的曲率半径并且没有局部固定点。遵循牛顿-拉夫森方法,可以使用以下关系式迭代地进行θ的连续改进估计,以满足等式Eqn 10:
最后,在确定θ时,可以使用以下等式找到q插入
其中,是z方向上的单位矢量,并且/>是矢量/>和单位矢量/>的点积。
为末端执行器位置和在过程602的框606处的取向信号和REENEW或在过程630的框614处的取向信号/>和REEPREV计算上面的配置变量。配置变量通常定义将末端执行器212定位在末端执行器工作空间中的期望位置和取向上所需的操纵器210的姿势。针对右侧工具208和左侧工具212各自的每个末端执行器212和218产生配置变量。因此,产生两组配置变量(分别称为左配置变量和右配置变量),并且通过运动控制接口258将其传输至器械处理器电路130,并且由微处理器280用来生成驱动控制信号以用于在外科手术工作空间中在空间上定位工具208的操纵器210和末端执行器212。
如上所述计算出的并且存储在工作站存储器252的当前缓冲器320的存储装置330和332中的矢量和旋转矩阵REENEW的值定义了外科手术工作空间内工具208的末端执行器212相对于固定从参考系xv,yv,zv(在图6中示出的)的位置(x,y,z)。这些值提供用于通过致动在图3中示出的多个相连的连接结构300来对摄像头222进行取向的靶标,以使摄像头222朝末端执行器212的位置取向。参考图10,在一些实施例中,摄像头222和多个相连的连接结构300被示出,其中每个连接结构306、308和310均具有被布置在相应的转动关节350、352和354处的相应坐标系O0、O1和O2和在摄像头222的面处的坐标系O3。摄像头222的位置和取向(系O3)可以相对于底座系O0表达为:
T03=A011)A122)A233) 等式13
变换矩阵T03是从插入管202的远端302到摄像头222的变换矩阵,其中:
并且其中:
o0,x0,y0,z0 转动关节350的坐标系;
o1,x1,y1,z1 转动关节352的坐标系;
o2,x2,y2,z2转动关节354的坐标系;
o3,x3,y3,z3摄像头222的坐标系;
a1 从z0到z1的垂直距离(平移连接结构306的长度);
a2 从z1到z2的垂直距离(连接升降连接结构308的长度);
a3 从z2到z3的垂直距离(摄像头倾斜连接结构310的长度);
si sinθi(i=1,2,3);
ci cosθi(i=1,2,3);
s23 sin(θ23);
c23 cos(θ23);
θ1 平移连接结构306的角位移;
θ2 升降连接结构308的角位移;
θ3 倾斜连接结构310的角位移;
Ai-1,I 从系oi到系oi-1的坐标变换矩阵
To3 从摄像头222系O3到底座系O0的坐标变换。
在一个实施例中,定义了取向矢量380,该取向矢量指向外且垂直于摄像头222的前面382。取向矢量380因此与倾斜连接结构310对准,并提供摄像头222的当前取向的指示。一组轴线384表示位置信息,该位置信息定义工具相对于体腔参考系的位置,并且用作目标位置以用于对与摄像头222相关联的矢量380进行取向。在图10中,所期望的新取向由矢量386表示,该矢量提供了用于对准摄像头222的倾斜连接结构310的靶标。差分矢量388可以被计算并且被用作等式13的变换的输入以计算各个转动关节350、352和354中的每一个用来移动连接结构306、308和310以对摄像头222进行取向所需的移动,该差分矢量指示运动学系统所需的移动以使摄像头222的前面382指向靶标轴线组384。
尽管已经描述和展示了特定实施例,但是这样的实施例应被认为仅是对本公开的说明,而不是对根据所附权利要求解释的本公开的限制。

Claims (24)

1.一种在外科手术机器人系统中的控制器,该控制器被配置以执行用于定位摄像头以在医疗过程期间捕获患者体腔内的图像的方法,该方法包括:
在执行该医疗过程的该外科手术机器人系统的该控制器处接收至少一个工具的位置信息,该位置信息定义了该至少一个工具相对于体腔参考系的位置;
在该控制器处接收对准命令信号,该对准命令信号被配置为使该控制器基于该至少一个工具的位置信息移动该摄像头;以及
响应于在该控制器处接收到该对准命令信号,在该体腔参考系内定位该摄像头以将该摄像头的视场对准该至少一个工具的位置,以使该摄像头捕获该至少一个工具的图像从而显示给该外科手术机器人系统的操作者。
2.如权利要求1所述的控制器,其中,该至少一个工具在该体腔内的移动是由移动信号引起的,这些移动信号是由该控制器基于运动学计算产生的,并且其中,接收位置信息包括使用该运动学计算的结果来确定该至少一个工具的位置。
3.如权利要求1所述的控制器,该方法进一步包括在该控制器处接收位置信号,这些位置信号指示该至少一个工具在该体腔参考系内的实际位置。
4.如权利要求1所述的控制器,其中,使该控制器产生定位信号包括使该控制器产生以下定位信号,这些定位信号可操作以使该摄像头被定位成使得该摄像头的视场被布置为使与该至少一个工具相关联的参考点在这些捕获的图像内居中。
5.如权利要求4所述的控制器,其中,该参考点包括在该至少一个工具上的、靠近该至少一个工具的远端的点。
6.如权利要求4所述的控制器,其中,接收位置信息包括接收定义多个工具相对于体腔参考系的位置的位置信息,并且其中,该参考点包括被布置在该多个工具的相应远端中间的点。
7.如权利要求5所述的控制器,该方法进一步包括:接收操作者输入的在该参考点与该摄像头的视场的中心之间的期望偏移量,并且其中,使该控制器产生定位信号包括使该控制器产生以下定位信号,这些定位信号可操作以使该摄像头被定位成使得该摄像头的视场被布置为在这些被捕获图像内与该参考点偏移达该期望的偏移量。
8.如权利要求1至7中任一项所述的控制器,该方法进一步包括:当在该控制器处正接收该对准命令信号时,并且响应于接收到来自输入装置的操作者输入,使该控制器继续产生用于使该至少一个工具移动的移动信号,同时产生可操作以使该摄像头在该体腔参考系内跟随该至少一个工具的摄像头定位信号,该输入装置被配置为生成用于控制该至少一个工具移动的输入信号。
9.如权利要求1至7中任一项所述的控制器,其中,接收该对准命令信号包括使该控制器判定摄像头对准控件是否已经被该操作者激活。
10.如权利要求9所述的控制器,其中,该摄像头对准控件包括手指致动开关和脚致动开关中的一个或多个。
11.如权利要求1至7中任一项所述的控制器,其中,接收该对准命令信号包括使该控制器判定是否发生以下各项中的至少一项:
该至少一个工具的移动模式已经在输入装置处被接收,该输入装置被配置为生成用于控制该至少一个工具移动的输入信号;以及
已经从输入装置接收到被布置在该至少一个工具的远侧尖端处的末端执行器的移动模式,该输入装置被配置为生成用于控制该末端执行器的移动的输入信号。
12.如权利要求1至7中任一项所述的控制器,其中,接收该对准命令信号包括使该控制器判定是否发生以下各项中的至少一项:
与该至少一个工具相关联的参考点被布置在该被捕获图像内的定义中心区域之外;以及
与多个工具中的当前有效工具相关联的参考点被布置在该被捕获图像内的定义中心区域之外。
13.一种用于在由外科手术机器人系统执行的医疗过程期间定位摄像头以捕获患者体腔内的图像的设备,该设备包括:
控制器,该控制器被配置为接收至少一个工具的位置信息,该位置信息定义该至少一个工具相对于体腔参考系的位置;
该控制器进一步被配置为接收对准命令信号,该对准命令信号被配置为使该控制器基于该至少一个工具的位置信息移动该摄像头;并且
该控制器进一步被配置为,响应于接收到该对准命令信号,在该体腔参考系内定位该摄像头以将该摄像头的视场对准该至少一个工具的位置,以使该摄像头捕获该至少一个工具的图像从而显示给该外科手术机器人系统的操作者。
14.如权利要求13所述的设备,其中,该至少一个工具在该体腔内的移动是由移动信号引起的,这些移动信号是由该控制器基于运动学计算产生的,并且其中,该控制器被配置为通过使用该运动学计算的结果来接收位置信息以确定该至少一个工具的位置。
15.如权利要求13所述的设备,其中,该控制器被配置为接收位置信号,这些位置信号指示该至少一个工具在该体腔参考系内的实际位置。
16.如权利要求13所述的设备,其中,该控制器被配置为产生定位信号,这些定位信号可操作以使该摄像头被定位成使得该摄像头的视场被布置为使与该至少一个工具相关联的参考点在这些被捕获图像内居中。
17.如权利要求16所述的设备,其中,该参考点包括在该至少一个工具上的、靠近该至少一个工具的远端的点。
18.如权利要求16所述的设备,其中,该控制器被配置为接收位置信息,该位置信息定义多个工具相对于体腔参考系的位置,并且其中,该参考点包括被布置在该多个工具的相应远端中间的点。
19.如权利要求17所述的设备,其中,该控制器可以被配置为接收操作者输入的在该参考点与该摄像头的视场的中心之间的期望偏移量,并且该控制器可以进一步被配置为使该摄像头被定位成使得该摄像头的视场被布置为在这些被捕获图像内与该参考点偏移达该期望的偏移量。
20.如权利要求13至19中任一项所述的设备,其中,在该控制器处正接收该对准命令信号时,并且在接收来自输入装置的操作者输入时,该控制器被配置为继续产生用于使该至少一个工具移动的移动信号,同时产生可操作以使该摄像头在该体腔参考系内跟随该至少一个工具的摄像头定位信号,该输入装置被配置为生成用于控制该至少一个工具移动的输入信号。
21.如权利要求13至19中任一项所述的设备,其中,响应于确定摄像头对准控件是否已经由该操作者激活,产生该对准命令信号。
22.如权利要求21所述的设备,其中,该摄像头对准控件包括手指致动开关和脚致动开关中的一个或多个。
23.如权利要求13至19中任一项所述的设备,其中,响应于该控制器判定是否发生以下各项中的至少一项,产生该对准命令信号:
该至少一个工具的移动模式已经在输入装置处被接收,该输入装置被配置为生成用于控制该至少一个工具移动的输入信号;以及
已经从输入装置接收到被布置在该至少一个工具的远侧尖端处的末端执行器的移动模式,该输入装置被配置为生成用于控制该末端执行器的移动的输入信号。
24.如权利要求13至19中任一项所述的设备,其中,当发生以下各项中的至少一项时,由该控制器产生该对准命令信号:
与该至少一个工具相关联的参考点被布置在该被捕获图像内的定义中心区域之外;以及
与多个工具中的当前有效工具相关联的参考点被布置在该被捕获图像内的定义中心区域之外。
CN201880070158.2A 2017-08-25 2018-08-07 定位外科手术机器人系统的摄像头以捕获患者体腔内的图像 Active CN111278350B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/686,571 2017-08-25
US15/686,571 US10772703B2 (en) 2017-08-25 2017-08-25 Methods and apparatuses for positioning a camera of a surgical robotic system to capture images inside a body cavity of a patient during a medical procedure
PCT/US2018/045646 WO2019040278A1 (en) 2017-08-25 2018-08-07 POSITIONING A CAMERA OF A SURGICAL ROBOTIC SYSTEM TO CAPTURE IMAGES INSIDE A PATIENT'S BODY CAVITY

Publications (2)

Publication Number Publication Date
CN111278350A CN111278350A (zh) 2020-06-12
CN111278350B true CN111278350B (zh) 2023-07-28

Family

ID=65434666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880070158.2A Active CN111278350B (zh) 2017-08-25 2018-08-07 定位外科手术机器人系统的摄像头以捕获患者体腔内的图像

Country Status (3)

Country Link
US (2) US10772703B2 (zh)
CN (1) CN111278350B (zh)
WO (1) WO2019040278A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9259289B2 (en) * 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Estimation of a position and orientation of a frame used in controlling movement of a tool
US10772703B2 (en) 2017-08-25 2020-09-15 Titan Medical Inc. Methods and apparatuses for positioning a camera of a surgical robotic system to capture images inside a body cavity of a patient during a medical procedure
US20200154094A1 (en) * 2018-11-09 2020-05-14 Titan Medical Inc. Stereoscopic imaging apparatus for use in confined spaces
JP2020141833A (ja) 2019-03-06 2020-09-10 川崎重工業株式会社 外科手術システムの制御方法および外科手術システム
US10939970B2 (en) 2019-05-22 2021-03-09 Titan Medical Inc. Robotic surgery system
CN113040911B (zh) * 2019-12-27 2022-08-19 重庆海扶医疗科技股份有限公司 一种手术系统、手术系统控制及手术系统的控制方法
CN113041521B (zh) * 2019-12-27 2022-07-08 重庆海扶医疗科技股份有限公司 用于操控聚焦超声手术器械的操控系统及手术系统
US11771517B2 (en) * 2021-03-12 2023-10-03 Medos International Sarl Camera position indication systems and methods
WO2023272375A1 (en) * 2021-06-20 2023-01-05 Titan Medical Inc. Method for controlling an articulating instrument
WO2024073094A1 (en) * 2022-09-30 2024-04-04 Vicarious Surgical Inc. Hand controllers, systems, and control methods for surgical robotic systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5820545A (en) * 1995-08-14 1998-10-13 Deutsche Forschungsanstalt Fur Luft-Und Raumfahrt E.V. Method of tracking a surgical instrument with a mono or stereo laparoscope
CN102258399A (zh) * 2011-04-28 2011-11-30 上海交通大学 超声测距与光学定位耦合的无创实时跟踪器
CN102458294A (zh) * 2009-06-16 2012-05-16 直观外科手术操作公司 用于微创外科手术的虚拟测量工具
CN104271046A (zh) * 2012-03-07 2015-01-07 齐特奥股份有限公司 用于跟踪和引导传感器和仪器的方法和系统

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963792B1 (en) * 1992-01-21 2005-11-08 Sri International Surgical method
US5657429A (en) * 1992-08-10 1997-08-12 Computer Motion, Inc. Automated endoscope system optimal positioning
US8600551B2 (en) * 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
US6659939B2 (en) * 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
JP4382894B2 (ja) * 1998-12-04 2009-12-16 オリンパス株式会社 視野移動内視鏡システム
US6424885B1 (en) 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
DE10004264C2 (de) 2000-02-01 2002-06-13 Storz Karl Gmbh & Co Kg Vorrichtung zur intrakorporalen, minimal-invasiven Behandlung eines Patienten
DE10025285A1 (de) 2000-05-22 2001-12-06 Siemens Ag Vollautomatische, robotergestützte Kameraführung unter Verwendung von Positionssensoren für laparoskopische Eingriffe
EP2384715B1 (en) 2004-03-05 2015-07-08 Hansen Medical, Inc. Robotic catheter system
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US8147503B2 (en) 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
US8971597B2 (en) * 2005-05-16 2015-03-03 Intuitive Surgical Operations, Inc. Efficient vision and kinematic data fusion for robotic surgical instruments and other applications
US20070265495A1 (en) * 2005-12-15 2007-11-15 Medivision, Inc. Method and apparatus for field of view tracking
US8792688B2 (en) 2007-03-01 2014-07-29 Titan Medical Inc. Methods, systems and devices for three dimensional input and control methods and systems based thereon
US8620473B2 (en) * 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9089256B2 (en) * 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
EP2217132B1 (en) * 2007-11-02 2013-05-15 The Trustees of Columbia University in the City of New York Insertable surgical imaging device
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US8423186B2 (en) * 2009-06-30 2013-04-16 Intuitive Surgical Operations, Inc. Ratcheting for master alignment of a teleoperated minimally-invasive surgical instrument
US9492927B2 (en) * 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
EP2491337A4 (en) * 2009-10-20 2017-03-22 Imris Inc. Imaging system using markers
US8935003B2 (en) * 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
US9439556B2 (en) 2010-12-10 2016-09-13 Wayne State University Intelligent autonomous camera control for robotics with medical, military, and space applications
US9480539B2 (en) * 2011-11-03 2016-11-01 James Ortlieb Viewing system and viewing method for assisting user in carrying out surgery by identifying a target image
KR102105142B1 (ko) 2012-02-15 2020-04-27 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 입력 장치의 오퍼레이터가 볼 수 있는 디스플레이 영역으로 기구가 진입할 때 기구의 제어를 입력 장치로 전환하는 방법
WO2014146085A1 (en) * 2013-03-15 2014-09-18 Intuitive Surgical Operations, Inc. Software configurable manipulator degrees of freedom
WO2015135057A1 (en) 2014-03-14 2015-09-17 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
US9592095B2 (en) * 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
ES2639100T3 (es) * 2013-06-19 2017-10-25 Titan Medical Inc. Posicionador de herramienta articulado y sistema que emplea el mismo
WO2015031777A1 (en) 2013-08-29 2015-03-05 Wayne State University Camera control system and method
CA2946595A1 (en) * 2014-05-05 2015-11-12 Vicarious Surgical Inc. Virtual reality surgical device
EP3242774B1 (en) * 2015-01-09 2019-03-13 Titan Medical Inc. Alignment difference safety in a master-slave robotic system
CN113081009B (zh) * 2015-04-15 2024-08-02 莫比乌斯成像公司 集成式医学成像与外科手术机器人系统
WO2017173524A1 (en) * 2016-04-07 2017-10-12 Titan Medical Inc. Camera positioning method and apparatus for capturing images during a medical procedure
US10772703B2 (en) 2017-08-25 2020-09-15 Titan Medical Inc. Methods and apparatuses for positioning a camera of a surgical robotic system to capture images inside a body cavity of a patient during a medical procedure

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5820545A (en) * 1995-08-14 1998-10-13 Deutsche Forschungsanstalt Fur Luft-Und Raumfahrt E.V. Method of tracking a surgical instrument with a mono or stereo laparoscope
CN102458294A (zh) * 2009-06-16 2012-05-16 直观外科手术操作公司 用于微创外科手术的虚拟测量工具
CN102258399A (zh) * 2011-04-28 2011-11-30 上海交通大学 超声测距与光学定位耦合的无创实时跟踪器
CN104271046A (zh) * 2012-03-07 2015-01-07 齐特奥股份有限公司 用于跟踪和引导传感器和仪器的方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
The Roles of Endoscope in Aneurysmal Surgery;Hideyuki YOSHIOKA等;Neurologia medico-chirurgica;第55卷(第6期);全文 *
机械臂定位外科手术辅助导航系统;郝颖明;王洪光;朱枫;赵明扬;曲艳丽;隋春平;;仪器仪表学报(第06期);全文 *

Also Published As

Publication number Publication date
US10772703B2 (en) 2020-09-15
CN111278350A (zh) 2020-06-12
US11998402B2 (en) 2024-06-04
US20210045839A1 (en) 2021-02-18
US20190060029A1 (en) 2019-02-28
WO2019040278A1 (en) 2019-02-28

Similar Documents

Publication Publication Date Title
CN111278350B (zh) 定位外科手术机器人系统的摄像头以捕获患者体腔内的图像
JP6765021B2 (ja) ロボット手術システムのためのグラフィカルユーザインタフェース
JP6615931B2 (ja) 手術器具の近位制御のためのシステム及び方法
JP3540362B2 (ja) 手術用マニピュレータの制御システム及びその制御方法
CN113456238A (zh) 器械碰撞检测与反馈
KR20140110685A (ko) 싱글 포트 수술 로봇의 제어 방법
KR20220136456A (ko) 컴퓨터 보조 원격조작 시스템에서의 2차 기구 제어
WO2020179815A1 (ja) 外科手術システムの制御方法および外科手術システム
US20220226062A1 (en) Service life management for an instrument of a robotic surgery system
JP2021166581A (ja) 手術支援ロボットおよび手術支援ロボットの位置決め方法
JP2006312079A (ja) 医療用マニピュレータ
US20230064265A1 (en) Moveable display system
WO2023023186A1 (en) Techniques for following commands of an input device using a constrained proxy
JPH08215205A (ja) 医療用マニピュレータ
US20220296323A1 (en) Moveable display unit on track
JP7265916B2 (ja) 外科手術システム及び外科手術システムの制御方法
CN114145781A (zh) 一种经腔道超声检查系统
JP2021151469A (ja) 連続体ロボットを制御するための方法及び装置
US20220401088A1 (en) Method for controlling an articulating instrument

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant