CN110111880B - 柔性针的基于障碍分级的人工势场路径规划方法及装置 - Google Patents

柔性针的基于障碍分级的人工势场路径规划方法及装置 Download PDF

Info

Publication number
CN110111880B
CN110111880B CN201910324443.9A CN201910324443A CN110111880B CN 110111880 B CN110111880 B CN 110111880B CN 201910324443 A CN201910324443 A CN 201910324443A CN 110111880 B CN110111880 B CN 110111880B
Authority
CN
China
Prior art keywords
point
path
potential energy
needle
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910324443.9A
Other languages
English (en)
Other versions
CN110111880A (zh
Inventor
张辉
祁智
曹跃东
陈小宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Fitcare Electronics Co ltd
Beihang University
Original Assignee
Shenzhen Fitcare Electronics Co ltd
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Fitcare Electronics Co ltd, Beihang University filed Critical Shenzhen Fitcare Electronics Co ltd
Priority to CN201910324443.9A priority Critical patent/CN110111880B/zh
Publication of CN110111880A publication Critical patent/CN110111880A/zh
Priority to US16/854,583 priority patent/US11571258B2/en
Application granted granted Critical
Publication of CN110111880B publication Critical patent/CN110111880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/11Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00367Details of actuation of instruments, e.g. relations between pushing buttons, or the like, and activation of the tool, working tip, or the like
    • A61B2017/00398Details of actuation of instruments, e.g. relations between pushing buttons, or the like, and activation of the tool, working tip, or the like using powered actuators, e.g. stepper motors, solenoids
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Robotics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Urology & Nephrology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Surgical Instruments (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供了一种柔性针的基于障碍分级的人工势场路径规划方法及装置,以解决现有技术中柔性针的规划路径不确定及运动不确定性问题。本发明装置包括图像传感系统、控制系统、执行系统和上位机,基于该装置本发明方法包括:图像传感系统获得柔性针穿刺环境的实时图像,从图像中识别出目标点及障碍物,并对障碍物分级,基于人工势场计算当前环境中每个位置点的势能;控制系统根据柔性针路径规划的曲率约束及优化指标,进行静态路径规划,获取初始路径和入针点,然后根据实时采集的穿刺环境图像,对路径上的位置点进行修正,发送控制指令给执行系统,控制柔性针运动。本发明可规划出更多的可行路径,并且路径规划实时性更好。

Description

柔性针的基于障碍分级的人工势场路径规划方法及装置
技术领域
本发明涉及软组织穿刺手术领域,特别涉及一种使用机器人自动穿刺手术的柔性针的路径规划方法及装置。
背景技术
穿刺手术作为一种典型的微创技术,广泛应用活组织检查,药物注射,局部麻醉,近距离放射治疗,热消融术等治疗方法中,并在许多疾病的诊断与治疗中取得了良好的效果,由于其创伤小、恢复快、痛苦少的优点,在医学研究与应用中获得了广泛的关注。近年来通过与图像、传感等技术的配合,穿刺手术得到了长足的进步。
目前,传统的穿刺手术大多根据经验丰富的医生来主导实施的,通过医学检测设备所提供的穿刺器械与人体组织信息,结合医疗人员的经验与精湛的技术完成整个手术要求。但由于设备性能限制,患者体内环境条件复杂,医疗人员体力、经验等因素的制约,穿刺手术通常会出现一些误差,导致穿刺精度低、往复穿刺导致患者较大痛苦等问题。
针对上述问题,国内外研究人员展开了许多有意义的研究:一方面,由于人体内环境复杂,软组织器官中如重要脏器、神经、血管等分布不规则,传统的刚性穿刺针穿刺轨迹接近于直线,有时无法在不损伤重要组织的情况下抵达穿刺目标。有学者在此问题上提出柔性穿刺针,通过针尖斜角与组织的相互作用可实现针体路径的变化,通过改变针体形状,进而实现避开主要组织器官,达到目标穿刺位置。另一方面,针对传统穿刺术医疗人员体力、手术技术差异等主观问题,提出了穿刺医疗机器人系统,通过引入闭环控制系统,提高穿刺精度,将医生的主要精力放在观察与判断病情上,同时准确快速的穿刺手术也可以降低病人痛苦、减少并发症出现概率。通过自动控制系统对柔性针的准确控制,结合医疗人员的丰富经验可大大提高穿刺手术的应用范围与手术效率。
柔性针路径规划是穿刺医疗机器人系统控制的基础,目前已有的规划方法大多只引进了传统路径规划方法,虽然可以实现几何上的路径可达,但通常没有考虑柔性针的运动特性、人体环境的差异性以及系统实时性的要求,因此具有不同方面的局限性。同时由于人体内部不同组织重要程度不同,部分组织完全不能受损,而有的组织可进行有限的损伤,这样传统的障碍模型可能会导致最优解的丢失甚至无解,影响穿刺治疗,而仅仅通过统一的优化指标也无法了解各优化指标影响因子对路径的实际影响大小。例如:快速扩展随机搜索树等方法,具有求解不稳定性及偏离最优解的问题,对于同一环境,每次规划出来的路径都会不同,这将会造成较大的不确定性;此外由于针-组织作用机理复杂,运动不确定性较大,因此这一特性将对跟踪控制提出更高的要求,对系统的稳定控制造成较大的困难。
发明内容
本发明的目的是针对现有技术中柔性针的规划路径不确定及运动不确定性,提出一种结合柔性针特性的基于障碍分级的人工势场路径规划方法及装置。本发明在基于软组织环境下的柔性针穿刺机器人的路径规划中,建立一种基于软组织特性的势能函数,并提出一种考虑柔性针运动学特性的优化因子,提高所规划路径的可跟踪性能。
本发明提供的一种柔性针的基于障碍分级的人工势场路径规划装置,包括图像传感系统、控制系统、执行系统和上位机;图像传感系统包括传感器和图像处理系统;控制系统包括轨迹规划模块和跟踪控制模块;执行系统包括执行机构驱动器和执行机构;所述的执行机构中包括控制柔性针旋转运动和直线进给运动的电机。
所述的传感器用于实时获取柔性针的位置及穿刺环境图像数据,并传输给图像处理系统。所述的图像处理系统从图像中识别出目标点及障碍物,并根据预存的参数库获得障碍物的分级因子,还基于穿刺精度要求划分图像节点,每个节点对应当前柔性针穿刺环境中的一个位置点,获得当前环境中每个位置点的势能。所述的控制系统安装在嵌入式控制系统中。轨迹规划模块根据柔性针路径规划的曲率约束及优化指标,基于当前环境中每个位置点的势能,进行静态路径规划,获取静态路径S和入针点a。跟踪控制模块基于静态路径规划确定的入针点a,根据图像处理系统实时识别出当前环境中的障碍物,对路径S上位置点的坐标修正,发送控制指令给执行机构驱动器。所述的执行机构驱动器根据控制指令驱动执行机构进而驱动柔性针运动。所述的上位机用于监控与调试所述装置中的各系统。
基于上述装置,本发明提供的一种用于柔性针的基于障碍分级的人工势场路径规划方法,包括如下步骤:
步骤一、传感器获得柔性针穿刺环境的实时图像;
步骤二、图像处理系统从图像中识别出目标点b及障碍物,并根据预存的参数库获得障碍物的分级因子;图像处理系统基于穿刺精度要求划分图像节点,每个节点对应当前柔性针穿刺环境中的一个位置点,获得当前环境中每个位置点的势能;
步骤三、轨迹规划模块根据柔性针路径规划的曲率约束及优化指标,基于当前环境中每个位置点的势能,进行静态路径规划,获取静态路径S和入针点a;
柔性针路径规划的曲率约束为:柔性针形变曲率K<Km
柔性针路径规划的优化指标J=J1+J2+J3
其中,Km为最大曲率约束;J1为曲率优化因子,J1=∫K(s)2ds,s代表路径长度,K(s)是曲率关于路径长度变化的函数;J2为曲率变化率优化因子,
Figure BDA0002035844440000021
J3为路径长度优化因子,J3=∫s2ds;
步骤四、传感器实时获取柔性针穿刺环境的图像,图像处理系统识别出当前环境中的障碍物,跟踪控制模块基于静态路径规划确定的入针点a,根据图像处理系统实时的图像处理结果实施路径规划,直至到达目标点b;
步骤五、跟踪控制模块根据所规划的路径上的位置点坐标,发送控制指令给执行机构驱动器,执行机构驱动器根据控制指令驱动执行机构,进而驱动柔性针运动。
本发明所提供的人工势场路径规划装置及方法的优点在于:本发明的人工势场路径规划装置及方法优化了现有技术中柔性针的规划路径不确定及运动不确定性的问题。通过综合考虑穿刺环境的障碍特征及柔性针的运动状态进行路径规划,首先将障碍物分级参数引入到人工势能路径规划中,提高了可行路径的求解范围,能规划出更多的穿刺路径,降低柔性针实施的难度,并且人工势场法计算较为简单,有助于提高路径规划的实时性。在规划阶段中考虑被控针穿刺路径特性,建立对应的路径优化指标,一方面可以提高所规划路径的可行性,另一方面有利于提高柔性针的跟踪控制精度。
附图说明
图1为本发明的柔性针穿刺系统的组成示意图;
图2为本发明的路径规划方法的流程示意图;
图3为本发明柔性针穿刺运动学原理图;
图4为本发明的路径规划方法中对路径静态预规划的流程图;
图5为本发明的路径规划方法中对路径动态跟踪规划的流程图。
具体实施方式
下面将结合附图和实例对本发明作进一步的详细说明。
本发明结合柔性针特性基于障碍分级的人工势场,提供了一种柔性针的路径规划方法及装置,通过人工势场法,设定不同组织的势能函数,实现障碍的差异化,便于获取合理的路径。人工势场法在环境及相关参数不变的情况下一方面可以得到稳定的路径,另一方面考虑到柔性针动力学特性及穿刺手术的要求,设定了基于柔性针运动学特性的优化指标函数,在规划阶段考虑了柔性针的运动学特性,有利于跟踪控制的实现。所设定的优化函数中引入了考虑路径曲率的指标,这样可以规划出可实现的柔性针路径。
如图1所示,本发明的柔性针穿刺系统,包括上位机、图像传感系统、控制系统、执行系统和柔性针。图像传感系统包括传感器和图像处理系统。传感器安装在体外支架上,用于获得柔性针当前的位置及穿刺环境图像数据,并传输给图像处理系统。图像处理系统安装在工控机或者计算机上,用于对获得的图像进行处理,识别目标和障碍物,根据预存的参数库获得障碍物的分级因子,基于穿刺精度要求划分图像节点,每个节点对应当前柔性针穿刺环境中的一个位置点,获得当前环境中每个位置点的势能。控制系统安装在嵌入式控制系统或计算机上,包括轨迹规划和跟踪控制两个模块。控制系统从图像处理系统获得所识别的目标位置、障碍物位置及障碍物分级参数,轨迹规划模块对柔性针进行静态路径规划,跟踪控制模块对柔性针进行动态跟踪控制。
执行系统包括执行机构驱动器和执行机构。执行机构主要包括旋转电机和进给电机,旋转电机用来控制柔性针的旋转运动,进给电机控制柔性针的直线行进运动。执行机构驱动器根据控制系统发来的参考信号进行功率放大,驱动对应的执行电机控制柔性针运动,执行机构反馈信息给执行机构驱动器。上位机上设置有IO接口,用于与其他各系统进行连接,并实现监控与调试各系统。
本发明的柔性针的基于障碍分级的人工势场路径规划方法,一方面采用了障碍物分级的思想,另一方面提出了结合柔性针体物理特性的路径规划优化指标,整体流程如图2所示,下面说明各步骤。
步骤一:由传感器,如超声波传感器等,获取穿刺目标环境的图像数据,并传输给图像处理系统。
本发明实施例中,传感器的探头固定在软组织外部,可实时获得穿刺环境的图像。
图像处理系统将对传感器采集的图像信息进行预处理,获得的目标环境数据。本发明先对整体环境进行预处理,获得穿刺环境的整体感知,然后再进行实时穿刺,匹配实际环境与预处理环境。
步骤二:根据步骤一中采集到的图像,图像处理系统对采集的图像进行预处理,根据人工智能技术对图像中的软组织器官进行识别与匹配,并根据各软组织特征进行障碍物的分类与明确的边界划分。
传感器获得柔性针穿刺环境的实时图像,图像处理系统采用人工智能技术对图像进行识别,获得柔性针所穿刺的软组织环境,识别出软组织器官中重要器官组织及靶点位置b,器官组织即障碍物,靶点位置b即目标点,调取预先存储的障碍物分级因子的参数库,获得各障碍物分级因子r。图像处理系统将获得的图像根据穿刺控制精度需求进行图像分割,划分出图像节点,每个图像节点对应环境中的一个位置点。具体地,对图像进行栅格化,获得各位置节点。最后,基于传统的人工势场路径规划方法,结合障碍物分级因子参数,获得当前柔性针穿刺环境中各位置点的势能大小。柔性针将根据各点的势能来选取路径。
本发明预先由经验丰富的专家根据各脏器重要程度及恢复能力,对各器官组织所代表的障碍物进行分级,并建立相应的参数库,即不同等级障碍物对应的参数,表示为障碍物分级因子r。本发明将基于该参数对引力及斥力势能增益系数进行调整,r值越大,表征该障碍所代表的组织越重要,则斥力势能增益系数越大,该组织所造成斥力越大;同理对于引力势能增益系数来说,r值越小,该组织可穿刺性越好,对应引力越大,最后作用到穿刺针上,可实现对目标路径进行调节目的。
人工势场法采用环境中各点在虚拟力场受力的思想实现的。障碍物对环境各点产生斥力,目标点对环境各点产生引力,引力和斥力的合力作为加速力,来计算最佳位置。引力场随环境各点位置与目标点的距离增加而递增,且方向指向目标点;斥力场在障碍物所在位置有一极大值,并随环境各点位置与障碍物距离的增大而单调减小,方向指向远离障碍物方向。
对于当前柔性针穿刺环境中某个位置点X,当针尖位于该位置X时,根据下面过程来计算X点的总体势能值。
引力场势能函数如下:
Figure BDA0002035844440000051
引力函数如下:
Fatt(X)=-▽Uatt(X)=-katt(r)|X-Xg| (2)
斥力场势能函数如下:
Figure BDA0002035844440000052
斥力函数如下:
Figure BDA0002035844440000053
其中,Xg为目标点位置,Xob为障碍物位置;Uatt(X)为在位置X的引力势能,Unp(X)为在位置X的斥力势能;Fatt(X)为在位置X受到的引力,Fnp(X)为在位置X受到的斥力;r为障碍物分级因子;katt(r)为引力势能增益系数,knp(r)为斥力势能增益系数,两个增益系数都是r的函数;ρo为障碍物斥力作用范围最大值。▽为哈密顿算子。X-Xob表示位置X与障碍物之间的距离;X-Xg表示位置X与目标点之间的距离;
Figure BDA0002035844440000054
表示求偏导数。
环境中每个位置点周围的障碍物可能不同,对应的障碍物等级因子r可能不相同,当障碍物不可穿过或者该组织可穿但组织特性复杂不利于穿刺针穿过时,该点的引力势能增益系数对应一个较低的值,katt(r)=εr,表征该点引力势能较小,其中ε为引力尺度因子,是基于上述特性及量纲需求所得的系数;同时斥力势能增益系数对应一个较高的值,knp(r)=ηr,其中η为斥力尺度因子,是基于上述特性及量纲需求所得的系数,表征该点斥力势能较高。反之,当障碍物可部分穿过,或组织特性较稳定,易于穿刺,则引力势能增益系数katt(r)对应一个较高的值,斥力势能增益系数knp(r)对应一个较低的值。本发明实施例中,对于每个障碍物等级因子r都预先由专家设置相应的ε和η值,保证上面引力场随环境各点位置与目标点的距离增加而递增,且方向指向目标点;斥力场在障碍物所在位置有一极大值,并随环境各点位置与障碍物距离的增大而单调减小,方向指向远离障碍物方向。
总体势能U(X)表示如下:
U(X)=Uatt(X)+Unp(X) (5)
引力势能与斥力势能之和为针尖所在位置的总体势能,根据势能函数,计算软组织环境中各点总体势能,选取总体势能较小的位置点作为目标路径上的点。由于在势能函数计算中考虑了障碍物影响分级因子r,因此不同障碍物将会有不同的引力斥力势能,进而实现基于障碍物分级因子参数的路径规划。
步骤三:建立基于柔性针穿刺运动学性能的优化指标,然后结合环境中各点的势能函数来获得入针点,进行静态路径规划。
柔性针穿刺运动学原理如图3所示,柔性针穿刺运动由旋转电机提供的针体旋转运动和进给电机提供的直线进给运动组成。当柔性针进入软组织后,由于针尖部位有一固定角度斜角,当针体以速度V进给时,通过软组织与针尖的相互作用将会产生导致柔性针形变的法向力F,柔性针形变产生转动半径R,通过研究发现,该形变曲率Km=1/R只与柔性针的固有特性有关,与进给速度等因素无关。图3中,W为柔性针旋转角速度,旋转电机转速为0,最大占空比为0,最大占空比是旋转电机转速最大的时候执行机构驱动器所给占空比。
基于以上原理有Minhas等人(参考文件:Minhas D S,Engh J A,Fenske M M,etal.Modeling of needle steering via duty-cycled spinning.[J].2007)提出通过控制柔性针旋转角速度W与进给速度V,可实现柔性针形变曲率K由0至Km的连续变化,进而实现跟踪控制,但这对所规划的路径提出了新的要求。基于柔性针的物理特性,在轨迹规划时提出了相应的优化指标如下:
由于穿刺针直径较细、刚度较小,旋转角速度较高时由于惯性及自身重力等因素不容易被控制,因此曲率应该越小越好,因此曲率优化因子J1为:
J1=∫K(s)2ds (6)
其中,s代表路径长度,K(s)是曲率关于路径长度变化的函数,d为微分运算符号。
由于旋转过程中柔性针持续与周围软组织相互作用,当曲率变化较大时,针尖状态不稳定,因此曲率的变化率也应该越小越好,因此曲率变化率优化因子J2为:
Figure BDA0002035844440000061
其中,
Figure BDA0002035844440000062
为曲率函数的一阶导数。
在不损害软组织的情况下,穿刺距离越短越好,因此路径长度优化因子J3为:
J3=∫s2ds (8)
考虑到柔性针物理特性,因此所规划路径最大曲率约束为Km,则有:
K<Km (9)
由以上条件可得出柔性针路径规划曲率约束及优化指标J如下:
J=J1+J2+J3 (10)
K<Km
如图4所示,图像处理系统根据上面公式(1)~(5)计算在图3所示的柔性针所在的惯性坐标系下、当前t时刻的环境中各位置点的总体势能U(x,y,t),x、y分别为位置点的横坐标和纵坐标。轨迹规划模块在得到靶点位置b、各障碍物位置及分级因子r等环境识别结果以及各位置点的总体势能后,计算入针点a,进行静态路径规划,本实施例包括如下步骤3.1~3.7。
步骤3.1,以靶点b为起始点,设靶点b为路径中的第一个点P(0),将P(0)作为当前点P(i)。
步骤3.2,以当前点P(i)为中心,选取周围点中总体势能最小的点作为路径中的下一个点P(i+1),并记录点P(i+1)的总体势能U(i+1,t)。
步骤3.3,连接已得到的点P(0)、P(1)…P(n),其中n+1为当前获得的所有位置点个数,n为正整数,计算所连接的曲线的曲率K及路径长度s,判断曲率K是否满足公式(9)所示的规划路径最大曲率约束,若不满足,设当前点P(n)为P(i),进入步骤3.4执行,如果满足,进入步骤3.6执行。
步骤3.4,退回上一个点P(i-1),将点P(i-1)作为当前点P(i)。
步骤3.5,按照点P(i)周围位置点的总体势能由小到大的顺序,逐渐选择P(i)周围势能较大的点,直至满足公式(9)的约束为止,若无满足约束的位置点,则继续转步骤3.4执行,若找到满足约束的位置点,将找到的点作为当前点P(i),继续执行步骤3.6。
步骤3.6,判断点P(i)是否达到入针点边界,若否,则继续转步骤3.2,进行下一个位置点的寻找,若到达入针点的边界,则路径规划完成。
步骤3.7,在寻找点P(i)周围势能最小点的过程中,同一中心点P(i)可能会找到具有相同势能的位置点的情况,此时可能会同时出现多条符合要求的路径,此时采用优化指标J来进行评价路径,计算每条路径的J值,选取J值最小的路径作为最终静态路径S,并记录入针点a。
其中a所在边界为开放边界,因此采用逆推法,由确定的目标靶点b到起点a。
步骤四:跟踪控制模块基于静态规划路径结果确定实际手术入针点a,并根据动态图像处理结果实施路径规划,直至到达靶点位置b,具体过程如图5所示,包括如下步骤4.1~4.5。入针点是静态规划部分确定的,动态规划过程中不可变。
步骤4.1、根据静态路径规划结果,获得入针点a和初始路径S,由传感器和图像处理系统获取当前环境中各障碍物边界。
步骤4.2、计算路径S上各位置点P(0)、P(1)…P(n)与各障碍物边界的相对位置,判断路径S上是否有位置点与障碍物边界之间的距离变化为0。
步骤4.3、若路径S上障碍物间距离为0的情况发生,则需要重新进行静态路径规划,此时,起点为针尖当前位置,终点为靶点位置b,若有可行路径则继续穿刺;若无可行解则需退出柔性针,并采取相关措施,保证穿刺环境的稳定性。
步骤4.4、若路径S上无障碍物间距离为0的情况发生,则计算路径各点P(i)与对应横坐标上的障碍物相对位置,根据纵坐标相对位置变化,相应改变P(i)的纵坐标位置。
步骤4.5、若针尖未到达靶点位置b,则需要在下一时刻重新检查障碍物间距离,并进行路径S的相应坐标修正,若到达靶点位置b,则动态路径规划完成,柔性针入针路径规划完成。
步骤五、路径跟踪模块根据调整的路径位置坐标,计算对应执行机构中被控电机,包括旋转电机与进给电机的具体控制命令,将该控制命令给到底层执行机构驱动器,进而驱动旋转电机与进给电机,驱动柔性针运动。

Claims (5)

1.一种柔性针的基于障碍分级的人工势场路径规划装置,包括:图像传感系统、控制系统、执行系统和上位机;图像传感系统包括传感器和图像处理系统;控制系统包括轨迹规划模块和跟踪控制模块;执行系统包括执行机构驱动器和执行机构;所述的执行机构中包括控制柔性针旋转运动和直线进给运动的电机;
所述的传感器用于实时获取柔性针的位置及穿刺环境图像数据,并传输给图像处理系统;
所述的图像处理系统从图像中识别出目标点及障碍物,并根据预存的参数库获得障碍物的分级因子,还基于穿刺精度要求划分图像节点,每个节点对应当前柔性针穿刺环境中的一个位置点,获得当前环境中每个位置点的势能;
所述的执行机构驱动器根据控制指令驱动执行机构进而驱动柔性针运动;
所述的上位机用于监控与调试所述路径规划装置中的各系统;
其特征在于:
所述的图像处理系统中,预存的参数库中记录各器官组织所代表的障碍物的分级因子r,r值越大,表征该障碍所代表的组织越重要,r值越小,代表该障碍所代表的组织可穿刺性越好;所述图像处理系统在计算每个位置点的势能时,引入引力势能增益系数katt(r)和斥力势能增益系数knp(r),其中,katt(r)=εr,knp(r)=ηr,ε为引力尺度因子,η为引力尺度因子,ε和η的值预先由专家设置;
所述的控制系统安装在嵌入式控制系统中;轨迹规划模块根据柔性针路径规划的曲率约束及优化指标,基于当前环境中每个位置点的势能,进行静态路径规划,获取静态路径S和入针点a;跟踪控制模块基于静态路径规划确定的入针点a,根据图像处理系统实时识别出当前环境中的障碍物,对路径S上位置点的坐标修正,发送控制指令给执行机构驱动器;
所述的轨迹规划模块,所依据的柔性针路径规划的曲率约束为:柔性针形变曲率K<Km;所依据的优化指标J=J1+J2+J3
其中,Km为最大曲率约束;J1为曲率优化因子,J1=∫K(s)2ds,s代表路径长度,K(s)是曲率关于路径长度变化的函数;J2为曲率变化率优化因子,
Figure FDA0003182261880000011
J3为路径长度优化因子,J3=∫s2ds;
所述的轨迹规划模块在静态路径规划时,以目标点b为路径中的起始点,选取周围点中总体势能最小的点作为路径中的下一个点,对所连接的曲线进行柔性针路径规划的曲率约束判断;当规划得到多条路径时,根据优化指标J对每条路径进行评价,选取J值最小的路径作为最终的静态路径S,并记录入针点a;
所述的跟踪控制模块在获得当前环境中的障碍物后,进行如下过程:
计算路径S上各位置点P(i)与各障碍物边界的相对位置,判断是否有位置点与障碍物边界之间的距离变化为0,若有,则以当前针尖位置为起点,重新进行静态路径规划;否则,计算路径S上各位置点P(i)与对应横坐标上的障碍物相对位置,根据纵坐标相对位置变化,改变P(i)的纵坐标位置;
若针尖未到达目标点b,则继续在下一时刻根据图像处理系统识别的障碍物,继续上面过程,进行路径S上位置点的坐标修正;若针尖到达目标点b,则动态路径规划完成。
2.根据权利要求1所述的装置,其特征在于,所述的图像处理系统,获取当前环境中每个位置点的势能,具体是获取位置点的总体势能,对于位置点X,总体势能U(X)为:
U(X)=Uatt(X)+Unp(X)
其中,Uatt(X)为在位置X的引力势能,Unp(X)为在位置X的斥力势能,分别如下:
Figure FDA0003182261880000021
Figure FDA0003182261880000022
其中,Xg为目标点位置,Xob为障碍物位置,r为障碍物分级因子;ρo为障碍物斥力作用范围最大值;katt(r)为引力势能增益系数,knp(r)为斥力势能增益系数,两个增益系数都是r的函数,r值越大,表征障碍物所代表的组织越重要,则斥力势能增益系数knp(r)越大,反之,r值越小,则引力势能增益系数knp(r)越大。
3.一种柔性针的基于障碍分级的人工势场路径规划方法,其特征在于,包括如下步骤:
步骤一、传感器获得柔性针穿刺环境的实时图像;
步骤二、图像处理系统从图像中识别出目标点b及障碍物,并根据预存的参数库获得障碍物的分级因子;图像处理系统基于穿刺精度要求划分图像节点,每个节点对应当前柔性针穿刺环境中的一个位置点,获得当前环境中每个位置点的势能;
预存的参数库中记录各器官组织所代表的障碍物的分级因子r,r值越大,表征该障碍所代表的组织越重要,r值越小,代表该障碍所代表的组织可穿刺性越好;
图像处理系统计算每个位置点的势能时,引入引力势能增益系数katt(r)和斥力势能增益系数knp(r),katt(r)=εr,knp(r)=ηr;ε为引力尺度因子,η为引力尺度因子;当在得到障碍物的分级因子r后,从预设的数据表中得到ε和η值;
步骤三、轨迹规划模块根据柔性针路径规划的曲率约束及优化指标,基于当前环境中每个位置点的势能,进行静态路径规划,获取静态路径S和入针点a;
柔性针路径规划的曲率约束为:柔性针形变曲率K<Km
柔性针路径规划的优化指标J=J1+J2+J3
其中,Km为最大曲率约束;J1为曲率优化因子,J1=∫K(s)2ds,s代表路径长度,K(s)是曲率关于路径长度变化的函数;J2为曲率变化率优化因子,
Figure FDA0003182261880000023
J3为路径长度优化因子,J3=∫s2ds;
静态路径规划时以目标点b为路径中的起始点,选取周围点中总体势能最小的点作为路径中的下一个点,对所连接的曲线进行柔性针路径规划的曲率约束判断;当规划得到多条路径时,根据优化指标J对每条路径进行评价,选取J值最小的路径作为最终的静态路径S,并记录入针点a;
步骤四、传感器实时获取柔性针穿刺环境的图像,图像处理系统识别出当前环境中的障碍物,跟踪控制模块基于静态路径规划确定的入针点a,根据图像处理系统实时的图像处理结果实施路径规划,直至到达目标点b;
所述跟踪控制模块在获得当前环境中的障碍物后,进行如下过程:
计算路径S上各位置点P(i)与各障碍物边界的相对位置,判断是否有位置点与障碍物边界之间的距离变化为0,若有,则以当前针尖位置为起点,重新执行步骤三进行静态路径规划;否则,计算路径S上各位置点P(i)与对应横坐标上的障碍物相对位置,根据纵坐标相对位置变化,改变P(i)的纵坐标位置;
若针尖未到达目标点b,则继续在下一时刻根据图像处理系统识别的障碍物,继续上面过程,进行路径S上位置点的坐标修正;若针尖到达目标点b,则动态路径规划完成;
步骤五、跟踪控制模块根据所规划的路径上的位置点坐标,发送控制指令给执行机构驱动器,执行机构驱动器根据控制指令驱动执行机构,进而驱动柔性针运动。
4.根据权利要求3所述的方法,其特征在于,所述的步骤二中,对于位置点X,根据下面公式来计算总体势能值:
U(X)=Uatt(X)+Unp(X)
其中,U(X)表示总体势能;Uatt(X)为在位置X的引力势能,Unp(X)为在位置X的斥力势能,分别如下:
Figure FDA0003182261880000031
Figure FDA0003182261880000032
其中,Xg为目标点位置,Xob为障碍物位置,r为障碍物分级因子;ρo为障碍物斥力作用范围最大值;katt(r)为引力势能增益系数,knp(r)为斥力势能增益系数,两个增益系数都是r的函数,r值越大,表征障碍物所代表的组织越重要,则斥力势能增益系数knp(r)越大,反之,r值越小,则引力势能增益系数knp(r)越大。
5.根据权利要求3所述的方法,其特征在于,所述的步骤三中,进行静态路径规划的过程包括:
步骤3.1,以目标点b为路径中的起始点P(0),将P(0)作为当前点P(i);
步骤3.2,以当前点P(i)为中心,选取周围点中总体势能最小的点作为路径中的下一个点P(i+1),并记录点P(i+1)的总体势能;
步骤3.3,连接已得到的点P(0)、P(1)…P(n),其中n+1为当前获得的所有位置点个数,n为正整数,计算所连接的曲线的曲率K及路径长度s;判断曲率K是否满足路径规划的最大曲率约束:K<Km,若不满足,设当前点P(n)为P(i),进入步骤3.4执行,如果满足,进入步骤3.6执行;
步骤3.4,退回上一个点P(i-1),将点P(i-1)作为当前点P(i);
步骤3.5,按照点P(i)周围位置点的总体势能由小到大的顺序,逐渐选择P(i)周围势能较大的点,直至满足路径规划的最大曲率约束,若无满足约束的位置点,继续转步骤3.4执行,若找到满足约束的位置点,将找到的点作为当前点P(i),继续执行步骤3.6;
步骤3.6,判断点P(i)是否达到入针点边界,若否,继续转步骤3.2执行,若到达入针点的边界,完成路径规划;
当规划得到多条路径时,根据优化指标J对每条路径进行评价,选取J值最小的路径作为最终的静态路径S,并记录入针点a。
CN201910324443.9A 2019-04-22 2019-04-22 柔性针的基于障碍分级的人工势场路径规划方法及装置 Active CN110111880B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910324443.9A CN110111880B (zh) 2019-04-22 2019-04-22 柔性针的基于障碍分级的人工势场路径规划方法及装置
US16/854,583 US11571258B2 (en) 2019-04-22 2020-04-21 Path planning method with artificial potential field based on obstacle classification and medical system for steering flexible needle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910324443.9A CN110111880B (zh) 2019-04-22 2019-04-22 柔性针的基于障碍分级的人工势场路径规划方法及装置

Publications (2)

Publication Number Publication Date
CN110111880A CN110111880A (zh) 2019-08-09
CN110111880B true CN110111880B (zh) 2021-09-28

Family

ID=67486124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910324443.9A Active CN110111880B (zh) 2019-04-22 2019-04-22 柔性针的基于障碍分级的人工势场路径规划方法及装置

Country Status (2)

Country Link
US (1) US11571258B2 (zh)
CN (1) CN110111880B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114929144A (zh) * 2020-01-09 2022-08-19 佳能美国公司 利用弯曲仪器路径的增强型规划和可视化及其弯曲仪器
TWI756647B (zh) * 2020-03-18 2022-03-01 財團法人船舶暨海洋產業研發中心 基於人工勢場法的船舶避碰方法及系統
CN111584061B (zh) * 2020-04-30 2022-05-03 北京航空航天大学 基于无模型自适应算法的多爪针自动穿刺控制装置及控制方法
US20210401500A1 (en) * 2020-06-29 2021-12-30 Biosense Webster (Israel) Ltd. Efficient automatic finding of minimal ear-nose-throat (ent) path for probe
CN113960996A (zh) * 2020-07-20 2022-01-21 华为技术有限公司 行驶装置的避障路径的规划方法和装置
CN112344938B (zh) * 2020-10-31 2022-07-19 安徽中科源起科技有限公司 基于指向和势场参数的空间环境路径生成及规划方法
CN112168309B (zh) * 2020-11-10 2022-05-27 哈尔滨理工大学 一种基于双机械手爪的柔性针穿刺机构
CN112603543A (zh) * 2020-12-07 2021-04-06 南京凌华微电子科技有限公司 一种机器人骨科手术提高锯骨精度及安全的方法
CN115192195A (zh) * 2021-03-24 2022-10-18 上海微创医疗机器人(集团)股份有限公司 计算机可读存储介质、电子设备及手术机器人系统
CN113459087B (zh) * 2021-05-28 2022-07-05 北京精密机电控制设备研究所 一种基于最小势能算法的可限制偏角的路径规划方法
US20230045275A1 (en) * 2021-08-05 2023-02-09 GE Precision Healthcare LLC Methods and system for guided device insertion during medical imaging
CN113934213B (zh) * 2021-10-21 2023-08-29 扬州大学 基于多特征活动桩优化迭代的预弯柔性探针路径规划方法
CN114224448B (zh) * 2021-12-21 2023-11-10 武汉大学 穿刺路径规划装置、设备和计算机可读存储介质
CN114384919B (zh) * 2022-01-17 2023-06-27 北京格睿能源科技有限公司 基于大型障碍物形态信息的车辆避障路径规划方法及系统
CN115469665B (zh) * 2022-09-16 2023-07-04 广东工业大学 一种适应于动态环境的智能轮椅目标跟踪控制方法和系统
CN115480591B (zh) * 2022-10-20 2023-09-12 广东电网有限责任公司云浮供电局 一种配电网设备环境巡检无人机安全避障方法
CN116048091B (zh) * 2023-02-09 2023-09-15 武汉溯野科技有限公司 一种考虑位姿估计不确定性的机器人轨迹规划方法和装置
CN116784975A (zh) * 2023-04-26 2023-09-22 安徽医科大学 基于改进Bi-RRT算法的柔性穿刺针路径规划方法
CN116725640B (zh) * 2023-06-20 2024-02-27 山东卓业医疗科技有限公司 一种身体穿刺打印模板的构建方法
CN116691667A (zh) * 2023-07-24 2023-09-05 中国第一汽车股份有限公司 车辆的行驶轨迹规划方法、装置、车辆和存储介质
CN116983086B (zh) * 2023-09-26 2024-01-09 北京长木谷医疗科技股份有限公司 一种自主关节置换手术机器人导航定位系统
CN117237242B (zh) * 2023-11-16 2024-02-27 深圳爱递医药科技有限公司 基于结构光数据的口腔颌面外科术后护理系统
CN117387631B (zh) * 2023-12-12 2024-03-22 青岛科技大学 一种机器人的路径规划方法、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10245110B2 (en) * 2014-03-04 2019-04-02 Xact Robotics Ltd. Dynamic planning method for needle insertion
US11911111B2 (en) * 2018-08-24 2024-02-27 University Of Hawaii Autonomous system and method for planning, tracking, and controlling the operation of steerable surgical devices

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
图像导向手术刺穿针路径规划的研究;梁东;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180615;第22-45页 *
机器人辅助柔性针软组织穿刺系统研究;李霞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20710315;第19-34页 *

Also Published As

Publication number Publication date
US20200330159A1 (en) 2020-10-22
CN110111880A (zh) 2019-08-09
US11571258B2 (en) 2023-02-07

Similar Documents

Publication Publication Date Title
CN110111880B (zh) 柔性针的基于障碍分级的人工势场路径规划方法及装置
US11931123B2 (en) Robotic port placement guide and method of use
CN111067622B (zh) 一种面向肺部经皮穿刺的呼吸运动补偿方法
US10803662B2 (en) Methods, systems, and computer readable media for transoral lung access
JP2023508521A (ja) 解剖学的特徴の識別及び標的化
WO2022148336A1 (zh) 手术机器人及其引导手术臂移动的方法、控制装置
Tercero et al. Autonomous catheter insertion system using magnetic motion capture sensor for endovascular surgery
CN107049497A (zh) 穿刺导航机器人系统
US20140316434A1 (en) Systems and methods for robot-assisted transurethral exploration and intervention
JP2009511155A (ja) 3d器具経路計画立案、シミュレーションおよび制御システム
WO2021217842A1 (zh) 基于无模型自适应算法的多爪针自动穿刺控制装置及控制方法
CN113413214B (zh) 一种基于混合现实的引导的手术机器人力反馈方法和装置
CN115192195A (zh) 计算机可读存储介质、电子设备及手术机器人系统
CN110262230A (zh) 一种基于mpc算法的柔性针穿刺路径跟踪控制方法
CN109875659B (zh) 基于大脑情感学习智能控制算法的柔性针平面穿刺控制装置及方法
CN117323019A (zh) 一种用于泌尿系穿刺手术的三操作臂机器人系统
Bauzano et al. A minimally invasive surgery robotic assistant for HALS–SILS techniques
CN115770108A (zh) 双机械臂超声引导自动穿刺手术机器人及方法
CN115005978A (zh) 计算机可读存储介质、电子设备、路径规划及机器人系统
CN115005979A (zh) 计算机可读存储介质、电子设备及手术机器人系统
CN115429432A (zh) 可读存储介质、手术机器人系统和调整系统
CN114848152A (zh) 计算机可读存储介质、电子设备及手术机器人系统
CN114569252B (zh) 手术机器人主从映射比例控制系统及方法
Guo et al. A training system for vascular interventional surgeons based on local path planning
Jiang et al. Correction Control of Needle Deflection Based on Kernel Extreme Learning Machine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant