CN112006777B - 基于表面跟踪的打钉手术机器人系统及控制方法 - Google Patents

基于表面跟踪的打钉手术机器人系统及控制方法 Download PDF

Info

Publication number
CN112006777B
CN112006777B CN202010756597.8A CN202010756597A CN112006777B CN 112006777 B CN112006777 B CN 112006777B CN 202010756597 A CN202010756597 A CN 202010756597A CN 112006777 B CN112006777 B CN 112006777B
Authority
CN
China
Prior art keywords
surgical instrument
surgical
mechanical arm
nailing
scanning device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010756597.8A
Other languages
English (en)
Other versions
CN112006777A (zh
Inventor
祝世杰
郑钢铁
赵喆
潘勇卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010756597.8A priority Critical patent/CN112006777B/zh
Priority to US17/039,881 priority patent/US11751951B2/en
Publication of CN112006777A publication Critical patent/CN112006777A/zh
Application granted granted Critical
Publication of CN112006777B publication Critical patent/CN112006777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/1604—Chisels; Rongeurs; Punches; Stamps
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/1613—Component parts
    • A61B17/1615—Drill bits, i.e. rotating tools extending from a handpiece to contact the worked material
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/164—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans intramedullary
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/1662—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans for particular parts of the body
    • A61B17/1671—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans for particular parts of the body for the spine
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1703—Guides or aligning means for drills, mills, pins or wires using imaging means, e.g. by X-rays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1739—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body
    • A61B17/1757—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body for the spine
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]

Abstract

本发明公开了一种基于表面跟踪的打钉手术机器人系统及控制方法，其中，该系统包括：机械臂、手术器械、表面扫描装置和工作站，其中，机械臂具有平动自由度和旋转自由度，用于移动手术器械；手术器械安装在机械臂前端，用于对手术目标进行钻孔打钉；表面扫描装置，用于获取手术区域物体的表面三维几何信息和颜色信息；工作站通过数据线分别与机械臂和表面扫描装置连接，用于对表面三维几何信息和颜色信息进行处理，得到手术目标和手术器械的相对位姿，对钻孔打钉路径进行规划以及控制机械臂运动。该系统直接根据表面图像进行控制无需额外光学标志，设备简单，操作流程简洁，且可根据术中实时反馈的图像信息进行反馈调整，具有较高打钉精度。

Description

基于表面跟踪的打钉手术机器人系统及控制方法
技术领域
本发明涉及手术机器人技术领域，特别涉及一种基于表面跟踪的打钉手术机器人系统及控制方法。
背景技术
精确钻孔是椎弓根螺钉植入等骨科手术中常见的手术步骤。钻孔的精度，包括入钉点的位置和钻孔的方向，都直接影响到手术的最终效果，而不正确的钻孔操作将可能造成对患者的致命伤害。为了提高钻孔操作的精度，机器人和计算机技术近年来逐步应用于临床手术，目前市场上也有众多的手术导航或手术机器人的商用产品可供医生选择。
目前大多数用于钻孔打钉操作的手术导航系统或者手术机器人系统都是基于光学定位技术。这些系统中，目标骨骼和手术器械上安装了光学标志，光学定位相机可以通过跟踪这些光学标志的状态来间接得获得目标骨骼和手术器械额位姿，从而为机器人系统或者医生提供导航信息。
尽管现有的导航方式借助光学定位技术可以达到相当高的定位精度，但是其缺点也是明显的。首先，光学标志的安装和配准显著增加了操作复杂度和手术时长。其次，手术目标和手术器械的位姿是通过光学标志建立的复杂坐标变换链间接地获得的，而官光学标志的定位误差和配准误差，甚至术中光学标志的以外移动都会导致最终精度的下降，且这些精度的损失常常难以自动地被系统察觉到。此外，光学标志的安装还会带来额外的创伤。
基于表面扫描的跟踪技术是克服上述光学标志定位方案缺点的潜在解决方法。借助表面扫描技术，目标的姿态和位置可以通过扫描数据和目标先验几何信息之间的配准来直接确定，而不用借助额外的光学标志。该技术已经被大量用于手术机器人和手术导航系统，特别是神经外科和颌面外科的应用。但目前这些系统对表面扫描技术的应用仍然局限在初始配准上，后续的手术导航仍然依赖于光学标志定位。由于没有完全跳出光学标志定位的方案，这些系统并不能完全克服流程复杂，定位误差难以感知以及标志安装增加患者创伤的缺点。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于表面跟踪的打钉手术机器人系统。
本发明的另一个目的在于在基于表面跟踪的打钉手术机器人系统基础上提出一种打钉控制方法。
为达到上述目的，本发明一方面实施例提出了基于表面跟踪的打钉手术机器人系统，包括：机械臂、手术器械、表面扫描装置和工作站，其中，所述机械臂具有至少三个平动自由度和两个旋转自由度，用于移动所述手术器械；所述手术器械安装在所述机械臂前端，用于对手术目标进行钻孔打钉；所述表面扫描装置，用于获取手术区域物体的表面三维几何信息和颜色信息；所述工作站通过数据线分别与所述机械臂和所述表面扫描装置连接，用于对所述表面三维几何信息和所述颜色信息进行处理，得到手术目标和手术器械的相对位姿，对钻孔打钉路径进行规划以及控制所述机械臂运动。
本发明实施例的基于表面跟踪的打钉手术机器人系统，通过表面扫描的方法直接获得手术对象和手术器械表面的三维图像，以此实时跟踪手术对象和手术器械的相对位姿关系并反馈机器人运动，无需额外光学标志，设备简单，操作流程简洁，且可根据术中实施反馈的图像信息进行反馈调整，具有较高打钉精度。
另外，根据本发明上述实施例的基于表面跟踪的打钉手术机器人系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述手术器械为钻孔导向器或电钻。
进一步地，在本发明的一个实施例中，所述手术器械的前端为圆柱形，其上有周向分布的槽、脊、喇叭形或锥形的末端。
为达到上述目的，本发明另一方面实施例在基于表面跟踪的打钉手术机器人系统的基础上提出一种打钉控制方法，包括以下步骤：S1，预先获取术前三维图像信息，并根据所述术前三维图像信息规划打钉路径；S2，从所述术前三维图像信息中分割出手术目标的表面几何模型，并对所述表面几何模型进行预处理；S3，将所述表面扫面装置放置在预设位置，并调整所述机械臂的位置，使所述手术目标和所述手术器械在所述表面扫描装置的视野内；S4，利用所述表面扫描装置采集手术区域表面数据并传送至所述工作站，通过所述工作站的图形界面手动选取最新采集扫描数据中手术目标所在区域的轮廓；S5，利用奇异值分解法对机械臂基坐标系和表面扫描装置坐标系之间的姿态变换关系进行标定；S6，根据所述表面扫描装置最新扫描数据所述工作站解算目标打钉路径和手术器械间的位置和方向，计算出所述机械臂的运动量并控制所述机械臂运动，运动完成后再次采集手术区域的表面扫描数据；S7，迭代执行步骤S6直至所述目标打钉路径和所述手术器械间的对准误差小于预设的阈值，进行打钉钻孔操作。
本发明实施例的打钉控制方法，通过表面扫描的方法直接获得手术对象和手术器械表面的三维图像，以此实时跟踪手术对象和手术器械的相对位姿关系并反馈机器人运动，无需额外光学标志，设备简单，操作流程简洁，且可根据术中实施反馈的图像信息进行反馈调整，具有较高打钉精度。
另外，根据本发明上述实施例的打钉控制方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述步骤S1中，预先利用CT或MR设备获取所述术前三维图像采集。
进一步地，在本发明的一个实施例中，所述预处理包括但不限于对所述表面几何模型进行数据下采样、降噪及手术时非显露区域的去除。
进一步地，在本发明的一个实施例中，所述步骤S5包括以下步骤：记录所述表面扫描装置追踪到的手术器械的初始时的位置和方向，并根据机器人运动学方法计算出初始时机械臂坐标系中手术器械的位置和方向；移动所述机械臂使所述手术器械指向与初始时不同的方向，记录所述表面扫描装置追踪到的手术器械当前的位置和方向，并根据所述机器人运动学方法计算出当前机械臂坐标系中手术器械的位置和方向；利用所述奇异值分解方法处理所述初始时机械臂坐标系中手术器械的位置和方向和所述当前机械臂坐标系中手术器械的位置和方向，以求解所述表面扫描装置坐标系和所述机械臂坐标系之间的姿态变换关系。
进一步地，在本发明的一个实施例中，所述步骤S6中，根据所述表面扫描装置的最新扫描数据所述工作站解算目标打钉路径的位置和方向，包括以下步骤：根据所述步骤S4中选取的手术目标所在区域，从所述最新扫描数据中将所选区域对应部分的表面数据分割出来；将分割出来的表面数据和预处理过的表面几何模型进行配准，以得到术前手术目标三维图像坐标系和表面扫描装置坐标系之间的第一位姿变换关系；根据所述第一位姿变换关系和所述术前手术目标三维图像坐标系中定义的目标手术路径的位置和方向，计算出所述表面扫描装置坐标系中目标手术路径的位置和方向。
进一步地，在本发明的一个实施例中，所述步骤S6中，根据所述表面扫描装置的最新扫描数据所述工作站解算手术器械的位置和方向，包含以下步骤：根据所述手术器械的特殊颜色，通过自适应二值化和形态学运算操作处理所述最新扫描数据，将所述手术器械对应的表面数据分割出来；对分割出来的表面数据和所述手术器械的数模进行配准，以得到手术器械数模坐标系和表面扫描装置坐标系之间的第二位姿变换关系；根据所述第二位姿变换关系以及手术器械数模坐标系中手术器械的位置和方向，计算出所述表面扫描装置坐标系中手术器械的位置和方向。
进一步地，在本发明的一个实施例中，所述步骤S7中，打钉钻孔操作包括手动模式和自动模式，其中，当所述手术器械为导向器，执行所述手动模式，操作者在所述导向器引导下完成手动钻孔；当所述手术器械为电钻，执行所述自动模式，所述机械臂把持所述电钻进行自动钻孔，钻孔深度和速度通过所述工作站上的图形界面调整。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于表面跟踪的打钉手术机器人系统结构示意图；
图2为根据本发明一个实施例的一种安装于机械臂前端的电钻的示意图；
图3为根据本发明一个实施例的一种安装于机械臂前端的导向器的示意图；
图4为根据本发明一个实施例的一种导向器上一种特殊几何特征的示意图；
图5为根据本发明一个实施例的一种导向器上另一种特殊几何特征的示意图；
图6为根据本发明一个实施例的基于表面跟踪的打钉手术机器人系统的打钉控制方法的流程图；
图7为根据本发明一个实施例的基于表面跟踪的打钉手术机器人系统的打钉控制方法的简化执行流程图；
图8为根据本发明一个实施例的从机械臂坐标系到表面扫描设备坐标系的姿态变换矩阵的计算流程图。
附图标记为：10-基于表面跟踪的打钉手术机器人系统及控制方法、100-机械臂、110-电钻、111-具有特殊几何形状的钻头、112-钻头上的特殊几何特征、113-导向器、114-第一种导向器前端的特殊几何特征、115-第二种导向器前端的特殊几何特征、116-第三种导向器前端的特殊几何特征、200-手术器械、300-表面扫描装置、310-表面扫描装置视野区域、400-工作站、410-图形界面，500-手术目标、600-数据线。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于表面跟踪的打钉手术机器人系统及控制方法，首先将参照附图描述根据本发明实施例提出的基于表面跟踪的打钉手术机器人系统。
图1是本发明一个实施例的基于表面跟踪的打钉手术机器人系统的结构示意图。
如图1所示，该系统10包括：机械臂100、手术器械200、表面扫描装置300和工作站400。
其中，机械臂100具有至少三个平动自由度和至少两个转动自由度。手术器械200安装在机械臂100前端，用于对手术目标进行钻孔打钉，可以理解的是，手术器械200为导向器或电钻，前端为圆柱形，其上有周向分布的槽、脊、喇叭形或锥形的末端，其几何形状经过特殊设计从而可以被鲁棒且精确地被表面扫描装置跟踪。表面扫描装置300可以获取手术区域中手术目标和手术器械200的表面三维几何信息和颜色信息，包括但不限于TOF相机、结构光相机、激光扫描仪等，它用于同时跟踪手术器械110和手术目标500的位置和姿态。工作站400通过数据线600分别和机械臂100以及表面扫描装置300相连，用于打钉路径规划、目标位姿解算、跟踪误差可视化以及机械臂的运动控制。
下面结合附图2-5的具体示例对本发明提出的基于表面跟踪的打钉手术机器人系统进一步说明。
如图2所示，安装于机械臂100前端的手术工具是电钻110。如图3所示，安装于机械臂100前端的手术工具为导向器113。导向器和电钻前端的钻头的形状被重新设计，以被表面扫描装置更鲁棒且准确地跟踪。导向器113或电钻110的钻头111的本体形状为圆柱形，其沿轴向方向没有可区分的几何特征，为了跟踪沿轴向的运动，需要对导向器和钻头进行的外形进行处理。图2展示了一种处理过的钻头。在该例子中，钻头上套上了一个3D打印的套管。为了获得更好的扫描效果，套管表面喷涂了绿色哑光涂层。为了使钻头112沿轴向上具有明显的几何特征，111的端部便设计成112处的喇叭形。为了同样的目的，图3-5展示了一些不同的手段，包括图3中导向器113的圆锥形末端114、图4中导向器113上的环形凹槽115以及图5中导向器上的环形脊116。图3-5中的喇叭形端部112、圆柱形端部114、环形凹槽115以及环形脊116可以单独出现，也可以组合使用，本领域技术人员可根据实际情况进行选择，在此不做具体限定。
根据本发明实施例提出的基于表面跟踪的打钉手术机器人系统，通过表面扫描的方法直接获得手术对象和手术器械表面的三维图像，以此实时跟踪手术对象和手术器械的相对位姿关系并反馈机器人运动，无需额外光学标志，设备简单，操作流程简洁，且可根据术中实施反馈的图像信息进行反馈调整，具有较高打钉精度。
其次参照附图描述根据本发明实施例提出的基于表面跟踪的打钉手术机器人系统的打钉控制方法。
图6是本发明一个实施例的基于表面跟踪的打钉手术机器人系统的打钉控制方法流程图。
如图6所示，该基于表面跟踪的打钉手术机器人系统的打钉控制方法包括以下步骤：
在步骤S1中，预先获取术前三维图像信息，并根据术前三维图像信息规划打钉路径。其中，预先利用CT或MR设备获取术前三维图像采集，但不限于CT和MR设备。
也就是说，通过CT或MR等成像方式，获取手术部位的术前三维图像信息并在其上规划打钉路径。
在步骤S2中，从术前三维图像信息中分割出手术目标的表面几何模型，并对表面几何模型进行预处理。
进一步地，在本发明的一个实施例中，预处理包括但不限于对表面几何模型进行数据下采样、降噪及手术时非显露区域的去除。
也就是说，在上一步获得的三维图像中提取手术目标的表面几何信息，并对其进行预处理。
在步骤S3中，将表面扫面装置放置在预设位置，并调整机械臂的位置，使手术目标和手术器械在表面扫描装置的视野内。
也就是说，表面扫描装置放置到合适的位置，并调整机械臂的位置，使得手术对象和手术器械在表面扫描装置的视场中。
在步骤S4中，利用表面扫描装置采集手术区域表面数据并传送至工作站，通过工作站的图形界面手动选取最新采集扫描数据中手术目标所在区域的轮廓。
也就是说，使用表面扫描装置采集手术区域表面数据并传送到工作站中，然后在工作站的图形界面上，手动选取最新采集扫描数据中手术目标所在区域的轮廓。
在步骤S5中，利用奇异值分解法对机械臂基坐标系和表面扫描装置坐标系之间的姿态变换关系进行标定。
进一步地，在本发明的一个实施例中，步骤S5包括以下步骤：
记录表面扫描装置追踪到的手术器械的初始时的位置和方向，并根据机器人运动学方法计算出初始时机械臂坐标系中手术器械的位置和方向；
移动机械臂使手术器械指向与初始时不同的方向，记录表面扫描装置追踪到的手术器械当前的位置和方向，并根据机器人运动学方法计算出当前机械臂坐标系中手术器械的位置和方向；
利用奇异值分解方法处理初始时机械臂坐标系中手术器械的位置和方向和当前机械臂坐标系中手术器械的位置和方向，以求解表面扫描装置坐标系和机械臂坐标系之间的姿态变换关系。
在步骤S6中，根据表面扫描装置最新扫描数据工作站解算目标打钉路径和手术器械间的位置和方向，计算出机械臂的运动量并控制机械臂运动，运动完成后再次采集手术区域的表面扫描数据。
进一步地，在本发明的一个实施例中，步骤S6中，根据表面扫描装置的最新扫描数据工作站解算目标打钉路径的位置和方向，包括以下步骤：
根据步骤S4中选取的手术目标所在区域，从最新扫描数据中将所选区域对应部分的表面数据分割出来；
将分割出来的表面数据和预处理过的表面几何模型进行配准，以得到术前手术目标三维图像坐标系和表面扫描装置坐标系之间的第一位姿变换关系；
根据第一位姿变换关系和术前手术目标三维图像坐标系中定义的目标手术路径的位置和方向，计算出表面扫描装置坐标系中目标手术路径的位置和方向。
进一步地，在本发明的一个实施例中，步骤S6中，根据表面扫描装置的最新扫描数据工作站解算手术器械的位置和方向，包含以下步骤：
根据手术器械的特殊颜色，通过自适应二值化和形态学运算操作处理最新扫描数据，将手术器械对应的表面数据分割出来；
对分割出来的表面数据和手术器械的数模进行配准，以得手术器械数模坐标系和表面扫描装置坐标系之间的第二位姿变换关系；
根据第二位姿变换关系以及手术器械数模坐标系中手术器械的位置和方向，计算出表面扫描装置坐标系中手术器械的位置和方向。
也就是说，工作站根据最新的扫描数据解算目标打钉路径和手术器械间的位置和方向，计算出机械臂运动量并控制机械臂运动，运动完成后再次采集手术区域的表面扫描数据。
在步骤S7中，迭代执行步骤S6直至目标打钉路径和手术器械间的对准误差小于预设的阈值，进行打钉钻孔操作。
也就是说，重复步骤S6直至目标打钉路径和手术器械之间的对准误差小于预设的阈值，进行打钉钻孔操作。手动模式下，机械臂前端手术器械为导向器，医生在导向器引导下完成手动钻孔；自动模式下，机械臂前端手术器械为电钻，机械臂把持电钻进行自动钻孔，钻孔深度和速度通过工作站上的图形界面调整。
如图7所示，下面结合具体示例对本发明实施例提出的打钉控制方法进一步说明。
步骤一，采集手术目标的术前三维图像。三维图像采集设备包括但不限于CT和MR设备；
步骤二，在步骤一采集的术前三维图像中规划打钉路径。手术路径定义在术前三维图像坐标系Cimage中，通过入钉点位置和打钉路径方向表示；
步骤三，从步骤一采集的术前三维图像中提取出手术目标的表面几何信息，包括但不限于点云、三角面片和网格。上述几何信息随后被进行了预处理，包括但不限于数据下采样、降噪以及手术时非显露区域的去除；
步骤四，将表面扫描设备300放置于合适位置使得手术目标500在表面扫描设备的视野310中清晰可见。然后调整机械臂的位置式手术器械200也位于表面扫描设备300的视野310中；
步骤五，标定得到从机械臂坐标系Crobot到表面扫描设备坐标系Cscan的姿态变换矩阵
Figure BDA0002611774820000081
进一步地，如图8所示，在步骤五中从机械臂坐标系Crobot到表面扫描设备坐标系Cscan的姿态变换矩阵
Figure BDA0002611774820000082
的计算流程。
进一步地，步骤五包括：
首先，初始状态下分别获取手术器械在机械臂坐标系Crobot和表面扫描装置坐标系Cscan中的方向，分别记为
Figure BDA0002611774820000083
和
Figure BDA0002611774820000084
然后，移动机械臂，使手术器械指向不同于初始状态的另一个方向，获取此时手术器械在机械臂坐标系Crobot和表面扫描装置坐标系Cscan中的方向，分别记为
Figure BDA0002611774820000085
和
Figure BDA0002611774820000086
上述步骤中，
Figure BDA0002611774820000087
和
Figure BDA0002611774820000088
通过表面扫描装置跟踪得到，
Figure BDA0002611774820000089
和
Figure BDA00026117748200000810
通过机器人运动学方法得到。
最后，机械臂坐标系Crobot到表面扫描设备坐标系Cscan的姿态变换矩阵
Figure BDA00026117748200000811
通过求解如下极值问题得到。
Figure BDA00026117748200000812
上述极值问题可通过奇异值分解方法求解。
步骤六，操作者在最新的扫描图像上标记手术目标的大致区域。如前述实施例所言，本系统所采用的表面扫描装置可以同时获取表面的三维几何信息和色彩及信息，而色彩信息和结合信息之间具有确定的对应关系。操作者在手术区域的彩色图像上进行手术目标的标记，而标记结果又通过这种对应关系映射到表面的结合信息中，从而将标记区域从扫描到的原始几何信息中分割出来。一个具体的例子是，如采集的几何信息为三维点云，而点云的每个点不仅具有三维坐标，还具有颜色信息，同时点云的颜色信息也可以转换成扫描区域的平面彩色图像。操作者对手术目标的标记在该平面彩色图像上进行，标记结果又映射到三维点云上，标记的手术目标对应的这部分点云从而从原始点云中被分割出来。
步骤七，工作站根据最新的扫描数据解算目标打钉路径和手术器械间的位置和方向，计算出机械臂运动量并控制机械臂运动，运动完成后再次采集手术区域的表面扫描数据；该步骤将一直重复，直至标打钉路径和手术器械之间的对准误差小于预设的阈值；
其中，步骤七中表面扫描装置通过如下方式对手术路径的位置和方向进行跟踪。在步骤一的术前三维图像坐标系Cimage中，将入钉点位置和打钉路径方向分别记为
Figure BDA0002611774820000091
和
Figure BDA0002611774820000092
在步骤五的表面扫描设备坐标系Cscan中，将入钉点位置和打钉路径方向分别记为
Figure BDA0002611774820000093
和
Figure BDA0002611774820000094
通过将步骤六中分割出来的手术目标的表面几何信息和步骤三中预处理后的手术目标表面几何信息进行配准(表面配准算法为成熟技术，这里不做具体叙述)，可以得到术前三维影像坐标系Cimage到表面扫描设备坐标系Cscan之间的位姿变换关系，并表示为姿态变换矩阵
Figure BDA0002611774820000095
和位移向量
Figure BDA0002611774820000096
从而表面扫描设备坐标系Cscan中打钉路径的入钉点位置
Figure BDA0002611774820000097
和打钉路径方向
Figure BDA0002611774820000098
可以通过如下计算得倒
Figure BDA0002611774820000099
Figure BDA00026117748200000910
进一步地，在步骤七中表面扫描装置通过如下方式对手术器械的位置和方向进行跟踪。在手术器械计算机辅助设计模型(以下简称为数模)坐标系Cmodel中，将手术器械末端端点位置和轴线方向分别记为
Figure BDA00026117748200000911
和
Figure BDA00026117748200000912
在1500的表面扫描设备坐标系Cscan中，将入钉点位置和打钉路径方向分别记为
Figure BDA00026117748200000913
和
Figure BDA00026117748200000914
通过将手术器械数模的表面几何信息和扫描数据中分割出来的手术器械表面几何信息(该分割过程后面详细介绍)进行配准，可以得到手术器械数模坐标系Cmodel到表面扫描设备坐标系Cscan之间的位姿变换关系，并表示为姿态变换矩阵
Figure BDA00026117748200000915
和位移向量
Figure BDA00026117748200000916
从而表面扫描设备坐标系Cscan中手术器械末端端点位置
Figure BDA00026117748200000917
和轴线方向分
Figure BDA00026117748200000918
可以通过如下计算得倒
Figure BDA0002611774820000101
Figure BDA0002611774820000102
在上述实施例中，从原始扫描数据中分割出手术器械表面几何信息的一种实施方法过程如下。首先对扫描数据对应的平面彩色图像进行HSV颜色空间分析，根据H颜色通道对图像进行自适应二值化，并对自适应二值化的结果图像进行形态学分析，进行空隙填充和噪点区域的去除，得到手术器械在图像中对应的像素点。然后，将结果图像中的像素点映射到表面几何信息中，即得到了分割出来的手术器械的表面几何信息。
进一步地，在本发明的实施例中，步骤七中从机械臂运动量根据手术器械和打钉路径之间的相对位置关系确定，该相对位置关系可以用平动量
Figure BDA0002611774820000103
和转动量
Figure BDA0002611774820000104
表示，其中
Figure BDA0002611774820000105
Figure BDA0002611774820000106
进一步地，可以定义出手术器械对准打钉路径的平动误差etrans和转动误差erot，其中
Figure BDA0002611774820000107
Figure BDA0002611774820000108
最后，机械臂的运动量在机械臂坐标系Crobot中可以表示为
Figure BDA0002611774820000109
Figure BDA00026117748200001010
其中，
Figure BDA00026117748200001011
在步骤五中获得，drobot表示机械臂的平移量，rrobot表示转动量。rrobot的方向代表旋转轴的方向，rrobot的模长代表机械臂需要沿该转轴方向转动的角度。
步骤八，进行打钉的钻孔操作。有手动和自动两种模式可供选择。手动模式下，机械臂前端手术器械为导向器113，医生在导向器引导下完成手动钻孔；自动模式下，机械臂前端手术器械为电钻110，机械臂把持电钻进行自动钻孔，钻孔深度和速度通过工作站400上的图形界面410调整。
本发明实施例提出的基于表面跟踪的打钉手术机器人系统的打钉控制方法具有以下优点：
(1)使用方法更加简便。由于不依赖于光学标志进行定位，所提出的系统具有更简单的硬件组成，同时也省去了标志安装和配准的流程。对于表面跟踪算法而言，采用的改进的跟踪策略以及特殊设计的手术器械提高了跟踪的自动化程度。
(2)具有较好的安全性。基于表面几何信息的目标位姿跟踪方法可以将跟踪误差通过表面的配准误差进行可视化，在跟踪精度降低时容易被系统和操作者察觉。
(3)具有较好的定位精度。手术目标和手术器械通过同一个表面扫描设备直接进行跟踪，而机械臂根据跟踪到的手术目标和手术器械之间的相对位置关系进行反馈控制，换言之最终定位精度只取决于表面跟踪的精度。相比之下，基于光学标志定位的系统通过复杂的坐标变换链进行定位，在各个环节中都有可能出现误差并积累到最终结果上。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (2)

1.一种基于表面跟踪的打钉手术机器人系统，其特征在于，包括：机械臂、手术器械、表面扫描装置和工作站，其中，
所述机械臂具有至少三个平动自由度和两个旋转自由度，用于移动所述手术器械；
所述手术器械安装在所述机械臂前端，用于对手术目标进行钻孔打钉，所述手术器械为钻孔导向器或电钻，其中，导向器和电钻前端的钻头的本体形状为圆柱形，其沿轴向方向没有可区分的几何特征，为了跟踪沿轴向的运动，需要对导向器和钻头进行的外形进行处理；
所述表面扫描装置，用于获取手术区域物体的表面三维几何信息和颜色信息；以及
所述工作站通过数据线分别与所述机械臂和所述表面扫描装置连接，用于对所述表面三维几何信息和所述颜色信息进行处理，得到手术目标和手术器械的相对位姿，对钻孔打钉路径进行规划以及控制所述机械臂运动；
其中，对所述表面三维几何信息和所述颜色信息进行处理，得到手术目标和手术器械的相对位姿，包括：
记录所述表面扫描装置追踪到的手术器械的初始时的位置和方向，并根据机器人运动学方法计算出初始时机械臂坐标系中手术器械的位置和方向；
移动所述机械臂使所述手术器械指向与初始时不同的方向，记录所述表面扫描装置追踪到的手术器械当前的位置和方向，并根据所述机器人运动学方法计算出当前机械臂坐标系中手术器械的位置和方向；
利用奇异值分解方法处理所述初始时机械臂坐标系中手术器械的位置和方向和所述当前机械臂坐标系中手术器械的位置和方向，以求解所述表面扫描装置坐标系和所述机械臂坐标系之间的姿态变换关系。
2.根据权利要求1所述的基于表面跟踪的打钉手术机器人系统，其特征在于，所述手术器械的前端为圆柱形，其上有周向分布的槽、脊、喇叭形或锥形的末端。
CN202010756597.8A 2020-07-31 2020-07-31 基于表面跟踪的打钉手术机器人系统及控制方法 Active CN112006777B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010756597.8A CN112006777B (zh) 2020-07-31 2020-07-31 基于表面跟踪的打钉手术机器人系统及控制方法
US17/039,881 US11751951B2 (en) 2020-07-31 2020-09-30 Surface tracking-based surgical robot system for drilling operation and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010756597.8A CN112006777B (zh) 2020-07-31 2020-07-31 基于表面跟踪的打钉手术机器人系统及控制方法

Publications (2)

Publication Number Publication Date
CN112006777A CN112006777A (zh) 2020-12-01
CN112006777B true CN112006777B (zh) 2022-03-29

Family

ID=73499794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010756597.8A Active CN112006777B (zh) 2020-07-31 2020-07-31 基于表面跟踪的打钉手术机器人系统及控制方法

Country Status (2)

Country Link
US (1) US11751951B2 (zh)
CN (1) CN112006777B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112869856B (zh) * 2021-02-08 2022-04-01 清华大学 二维图像引导的髓内针远端锁定机器人系统及其锁定方法
CN115120348A (zh) * 2021-03-24 2022-09-30 上海微创医疗机器人（集团）股份有限公司 一种计算机可读存储介质、电子设备及手术机器人系统
CN113331948B (zh) * 2021-05-28 2022-12-09 浙江德尚韵兴医疗科技有限公司 一种介入手术机器人系统、标定装置及标定方法
CN113476142B (zh) * 2021-06-30 2023-03-31 上海微创医疗机器人（集团）股份有限公司 手术器械夹持力自适应控制系统及控制方法和手术机器人
CN113432561B (zh) * 2021-08-02 2023-10-13 思看科技(杭州)股份有限公司 数据处理方法和三维扫描系统
CN113616338B (zh) * 2021-09-15 2023-10-20 上海微创医疗机器人（集团）股份有限公司 计算机可读存储介质、对准方法及系统、手术机器人系统
CN113855249B (zh) * 2021-12-02 2022-02-22 极限人工智能有限公司 一种机器控制方法、装置、手术机器人及可读存储介质
CN114176787B (zh) * 2022-02-15 2022-05-17 江苏省人民医院（南京医科大学第一附属医院） 一种基于手术机器人有效工作空间的控制方法
CN116473681B (zh) * 2023-03-28 2024-02-20 北京维卓致远医疗科技发展有限责任公司 手术机器人的控制系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110236674A (zh) * 2019-05-09 2019-09-17 苏州大学 一种基于结构光扫描的肝脏手术导航方法及系统
CN110325141A (zh) * 2017-02-21 2019-10-11 株式会社高永科技 影像整合装置及影像整合方法
CN110709026A (zh) * 2017-03-31 2020-01-17 皇家飞利浦有限公司 力感测表面扫描系统、设备、控制器和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001064124A1 (en) * 2000-03-01 2001-09-07 Surgical Navigation Technologies, Inc. Multiple cannula image guided tool for image guided procedures
CA2489584C (en) 2002-06-17 2011-02-15 Mazor Surgical Technologies Ltd. Robot for use with orthopaedic inserts
US8394114B2 (en) 2003-09-26 2013-03-12 Medtronic, Inc. Surgical connection apparatus and methods
WO2010064234A2 (en) 2008-12-01 2010-06-10 Mazor Surgical Technologies Ltd. Robot guided oblique spinal stabilization
WO2011134083A1 (en) * 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
US9498231B2 (en) 2011-06-27 2016-11-22 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US9060794B2 (en) 2011-10-18 2015-06-23 Mako Surgical Corp. System and method for robotic surgery
EP4218647A1 (en) * 2012-08-08 2023-08-02 Ortoma AB System for computer assisted surgery
WO2014106262A1 (en) 2012-12-31 2014-07-03 Mako Surgical Corp. System for image-based robotic surgery
US10217277B2 (en) 2015-12-04 2019-02-26 Autodesk, Inc. Keypoint-based point-pair-feature for scalable automatic global registration of large RGB-D scans
IL243384A (en) * 2015-12-28 2017-05-29 Schneider Ron A method and system for determining the position and orientation of an instrument's tip relative to eye tissue
CN209392096U (zh) * 2018-08-30 2019-09-17 上海霖晏医疗科技有限公司 一种手术导航系统
CN110141363B (zh) * 2019-06-17 2021-01-05 苏州大学 一种基于结构光扫描的脊柱多阶段配准系统
US11576685B2 (en) * 2019-10-25 2023-02-14 Medtronic Ps Medical, Inc. Drill guide assembly and method
CN111297479B (zh) * 2019-10-30 2021-07-16 清华大学 一种打钉机器人系统及其打钉控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110325141A (zh) * 2017-02-21 2019-10-11 株式会社高永科技 影像整合装置及影像整合方法
CN110709026A (zh) * 2017-03-31 2020-01-17 皇家飞利浦有限公司 力感测表面扫描系统、设备、控制器和方法
CN110236674A (zh) * 2019-05-09 2019-09-17 苏州大学 一种基于结构光扫描的肝脏手术导航方法及系统

Also Published As

Publication number Publication date
CN112006777A (zh) 2020-12-01
US20220031398A1 (en) 2022-02-03
US11751951B2 (en) 2023-09-12

Similar Documents

Publication Publication Date Title
CN112006777B (zh) 基于表面跟踪的打钉手术机器人系统及控制方法
EP3254621B1 (en) 3d image special calibrator, surgical localizing system and method
CN110051436B (zh) 自动化协同工作组件及其在手术器械中的应用
CN109567942B (zh) 采用人工智能技术的颅颌面外科手术机器人辅助系统
US6198794B1 (en) Apparatus and method for planning a stereotactic surgical procedure using coordinated fluoroscopy
US6738657B1 (en) Customized surgical fixture
CN112155732B (zh) 可读存储介质、骨建模配准系统及骨科手术系统
US8548779B2 (en) Method for determining a position for and positioning a detection device of a navigation system
CN112618017B (zh) 导航手术系统、计算机可读存储介质及电子设备
CN108324369A (zh) 基于面的术中配准方法及神经导航设备
CN112932667A (zh) 一种三维图像专用定位标尺、手术导航系统及其定位方法
CN113855287B (zh) 一种带评估种植精度的口腔种植手术机器人及控制方法
USRE40176E1 (en) Apparatus and method for planning a stereotactic surgical procedure using coordinated fluoroscopy
CN112006776A (zh) 一种手术导航系统及手术导航系统的配准方法
CN112618018A (zh) 导航手术系统及其注册方法、计算机可读存储介质
CN114224489B (zh) 用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法
CN110772320A (zh) 一种配准方法、配准装置及计算机可读存储介质
CN117122414A (zh) 一种主动跟踪式手术导航系统
WO2022166182A1 (zh) 二维图像引导的髓内针远端锁定机器人系统及其锁定方法
US20210259711A1 (en) 2d-image guided robotic distal locking system
CN110772319A (zh) 一种配准方法、配准装置及计算机可读存储介质
KR20000011134A (ko) 정위 수술 방법 및 장치
Lu et al. Spatial mapping method of craniosynostosis surgical robot based on point cloud registration
CN117122413A (zh) 用于骨科手术机器人的基于oct成像的定位导航方法
US20230020760A1 (en) Registration and/or tracking of a patient's bone employing a patient specific bone jig

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant