CN115005979A - 计算机可读存储介质、电子设备及手术机器人系统 - Google Patents

计算机可读存储介质、电子设备及手术机器人系统 Download PDF

Info

Publication number
CN115005979A
CN115005979A CN202210576207.8A CN202210576207A CN115005979A CN 115005979 A CN115005979 A CN 115005979A CN 202210576207 A CN202210576207 A CN 202210576207A CN 115005979 A CN115005979 A CN 115005979A
Authority
CN
China
Prior art keywords
surgical instrument
image information
surgical
storage medium
readable storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210576207.8A
Other languages
English (en)
Inventor
王家寅
李自汉
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Microport Medbot Group Co Ltd
Original Assignee
Shanghai Microport Medbot Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Microport Medbot Group Co Ltd filed Critical Shanghai Microport Medbot Group Co Ltd
Priority to CN202210576207.8A priority Critical patent/CN115005979A/zh
Publication of CN115005979A publication Critical patent/CN115005979A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Gynecology & Obstetrics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Urology & Nephrology (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种计算机可读存储介质、电子设备及手术机器人系统，所述计算机可读存储介质上存储有程序，当所述程序被执行时，执行如下步骤：根据手术区域的第一图像信息建立所述手术区域的三维模型；获取所述手术区域的局部区域的第二图像信息；根据所述三维模型、所述第二图像信息、手术器械的初始位姿及目标位姿规划所述手术器械的运动路径。所述计算机可读存储介质应用于通过手术机器人系统进行的手术操作，其结合手术区域的第一图像信息及内窥镜采集的实时的第二图像信息来规划手术器械的运动路径，减少了对施术者的经验和操作水平的依赖程度，提高手术的可控性和安全性。

Description

计算机可读存储介质、电子设备及手术机器人系统
技术领域
本发明涉及医疗器械技术领域，具体涉及一种计算机可读存储介质、电子设备及手术机器人系统。
背景技术
利用内窥镜手术机器人进行手术中，施术者对内窥镜反馈的影像进行判断，并操作手术机器人执行手术操作。由于内窥镜的视角有限，因此，在手术操作中，施术者需要不断地调整内窥镜的方位以扩大画面视角，并根据印象和经验来决策如何操作手术器械。
也就是说，现有技术中，在利用手术机器人及内窥镜进行的手术中，手术操作的进行极大地依赖于施术者的个人经验和操作状态，导致手术的安全性不足。
发明内容
本发明的目的在于提供一种计算机可读存储介质、电子设备及手术机器人系统，旨在降低利用手术机器人及图像获取装置所进行的手术对施术者个人经验的依赖，提高手术安全性。
为实现上述目的，本发明提供了一种计算机可读存储介质，其上存储有程序，当所述程序被执行时，执行如下步骤：
根据手术区域的第一图像信息建立所述手术区域的三维模型；
获取所述手术区域的局部区域的第二图像信息；
根据所述三维模型、所述第二图像信息、手术器械的初始位姿及目标位姿规划所述手术器械的运动路径。
可选地，所述根据所述三维模型、所述第二图像信息、手术器械的初始位姿及目标位姿规划所述手术器械的运动路径的步骤包括：
根据所述三维模型、所述手术器械的初始位姿及所述目标位姿规划所述手术器械的全局运动路径；
确定所述三维模型中与所述第二图像信息相匹配的目标环境；
根据所述第二图像信息、所述目标环境及所述目标环境的周边环境对所述全局运动路径的位于所述目标环境内的部分进行修正，以得到目标运动路径。
可选地，所述全局运动路径包括所述手术器械在所述初始位姿和所述目标位姿之间的全部的预期位姿。
可选地，所述第二图像信息中显示所述手术器械及组织；
所述根据所述第二图像信息、所述目标环境及所述目标环境的周边环境对所述全局运动路径的位于所述目标环境内的部分进行修正的步骤包括：
根据所述第二图像信息获取所述手术器械与所述组织的相对位置关系；
根据所述手术器械与所述组织的相对位置关系、所述目标环境及所述目标环境的周边环境判断所述手术器械是否能够按照所述目标环境内的所有的所述预期位姿运动，若否，则对所述目标环境内的至少部分所述预期位姿进行修正。
可选地，所述预期位姿包括预期位置和预期姿态；对所述目标环境内的至少部分所述预期位姿进行修正包括：对所述目标环境内的至少部分所述预期位置和/或至少部分所述预期姿态进行修正。
可选地，所述程序还执行如下步骤：
根据所述运动路径规划所述手术器械的运动轨迹。
可选地，通过手术机器人系统的工具臂带动所述手术器械按照所述运动轨迹运动；
规划所述手术器械的运动轨迹时，还以所述工具臂的工作空间、工具臂的动力学、所述机器人的传动链性能中的至少一者作为约束条件。
可选地，所述手术器械连接于手术机器人系统的工具臂的末端；所述程序还执行如下步骤：
控制所述工具臂运动，以带动所述手术器械沿所述运动路径运动。
可选地，所述程序还执行如下步骤：
将所述运动路径发送至显示装置进行显示。
可选地，所述程序规划两条以上的所述运动路径；所述程序还执行如下步骤：产生提示信息，提示执行介入操作，以进行路径选择。
为实现上述目的，本发明还提供了一种电子设备，包括处理器和如前所述的计算机可读存储介质，所述处理器用于执行所述计算机可读存储介质上所存储的程序。
为实现上述目的，本发明还提供了一种手术机器人系统，包括：
图像臂，所述图像臂的末端连接图像获取装置，所述图像获取装置用于采集手术区域的局部区域的第二图像信息；以及，
控制单元，与所述图像获取装置通信连接，以接收所述第二图像信息，所述控制单元还被配置用于执行如前所述的计算机可读存储介质上所存储的程序。
可选地，所述手术机器人系统还包括工具臂，所述工具臂的末端连接手术器械；所述工具臂与所述控制单元通信连接，且所述工具臂在所述控制单元的控制下运动以带动所述手术器械沿所述运动路径运动。
与现有技术相比，本发明的计算机可读存储介质、电子设备及手术机器人系统具有如下优点：
前述的计算机可读存储介质上存储有程序，当所述程序被执行时，执行如下步骤：根据手术区域的第一图像信息建立所述手术区域的三维模型；获取所述手术区域的局部区域的第二图像信息；根据所述三维模型、所述第二图像信息、手术器械的初始位姿及目标位姿规划所述手术器械的运动路径。这里所述第二图像信息可由伸入手术区域的图像获取装置例如内窥镜采集。当所述计算机可读存储介质应用于通过手术机器人系统进行的手术操作时，可以结合手术区域的第一图像信息及内窥镜采集的实时的第二图像信息来规划手术器械的运动路径，而不是在内窥镜提供的手术视野的基础上结合施术者的经验和操作水平来决策如何操作手术器械，减少了对施术者的经验和操作水平的依赖程度，提高手术的可控性和安全性。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明根据一实施例所提供的手术机器人系统的应用场景示意图；
图2是本发明根据一实施例所提供的手术机器人系统的医生端控制装置的示意图；
图3是本发明根据一实施例所提供的手术机器人系统的固定式图像显示装置的示意图；
图4是本发明根据一实施例所提供的手术机器人系统的手术操作装置的示意图；
图5是本发明根据一实施例所提供的手术机器人系统上所连接的手术器械的结构示意图；
图6是图5所示的手术机器人系统上所连接的手术器械的A处放大示意图；
图7是本发明根据一实施例所提供的手术机器人系统的控制单元规划手术器械的运动路径的整体流程图；
图8是本发明根据一实施例所提供的手术机器人系统的控制单元所使用的第一图像信息的获取方式示意图；
图9是本发明根据一实施例所提供的手术机器人系统所使用的第二图像信息的获取方式示意图；
图10是本发明根据一实施例所提供的手术机器人系统的控制单元获取手术区域、病症位置并进行全局运动路径规划的示意图；
图11是本发明根据一实施例所提供的手术机器人系统的控制单元采用RRT算法进行路径规划的流程图；
图12是本发明根据一实施例所提供的手术机器人系统的控制单元采用RRT算法进行路径规划时的示意图；
图13是本发明根据一实施例所提供的手术机器人系统的控制单元对全局运动路径的位于所述目标环境内的部分进行修正的流程图；
图14是本发明根据一实施例所提供的手术机器人系统的控制单元规划手术器械的运动轨迹的示意图；
图15是本发明根据一实施例所提供的手术机器人系统的手术器械沿规划的目标路径运动的示意图，图示中控制单元规划一条目标路径；
图16是本发明根据一实施例所提供的手术机器人系统的控制单元规划的目标路径的示意图，图示中显示两条目标路径，且手术器械将沿时间最短的目标路径运动；
图17是本发明根据一实施例所提供的手术机器人系统的控制单元规划的目标模具的示意图，图示中显示两条目标路径，且手术器械将沿最安全的目标路径运动；
图18是本发明根据一实施例所提供的手术机器人系统与施术者的交互方式示意图；
图19是本发明根据一实施例所提供的手术机器人系统在使用过程中指引手术器械运动的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，以下说明内容的各个实施例分别具有一或多个技术特征，然此并不意味着使用本发明者必需同时实施任一实施例中的所有技术特征，或仅能分开实施不同实施例中的一部或全部技术特征。换句话说，在实施为可能的前提下，本领域技术人员可依据本发明的公开内容，并视设计规范或实作需求，选择性地实施任一实施例中部分或全部的技术特征，或者选择性地实施多个实施例中部分或全部的技术特征的组合，借此增加本发明实施时的弹性。
如在本说明书中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，复数形式“多个”包括两个以上的对象，除非内容另外明确指出外。如在本说明书中所使用的，术语“或”通常是以包括“和/或”的含义而进行使用的，除非内容另外明确指出外，以及术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。可以是机械连接，也可以是电连接。可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
为使本发明的目的、优点和特征更加清楚，以下结合附图对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。附图中相同或相似的附图标记代表相同或相似的部件。
图1示出了手术机器人系统的应用场景示意图，图2、图3及图4分别示出了所述手术机器人系统的部分部件的示意图。如图1至图4所示，所述手术机器人系统包括控制端和执行端，所述控制端包括医生端控制装置10。所述执行端包括患者端控制装置20、手术操作装置30、显示装置40等设备。其中，所述患者端控制装置20可以与所述手术操作装置30集成于一体。所述手术操作装置上挂载有图像臂31和工具臂32。所述图像臂31用于挂载第一图像获取装置，所述第一图像获取装置用于获取患者体内的图像信息(例如后文中述及的第二图像信息)，所述第一图像获取装置例如是内窥镜50。所述工具臂32用于挂载手术器械60，所述手术器械60用于伸入患者体内的手术区域以执行手术操作。本发明实施例对所述手术器械60的具体种类没有特别限制，其可以是如图5及图6所示的夹钳组件，也可以是其他的手术器械。所述医生端控制装置10可包括沉浸式显示装置11，所述沉浸式显示装置11以及所述显示装置40均可以与所述内窥镜50通信连接，以接收并显示所述内窥镜50所采集的图像信息(例如所述第二图像信息)。另外，所述医生端控制装置10上还设有主操作手(图中未示出)，所述主操作手与所述工具臂32及所述手术器械60之间具有预定的映射关系，以使得所述工具臂32及所述手术器械60可以跟随所述主操作手运动。
所述手术机器人系统还包括一控制单元(图中未示出)，利用所述手术机器人系统及所述内窥镜50相配合以执行手术操作时，所述控制单元被配置用于执行一手术器械的路径规划方法，以对所述手术器械60在手术区域内的运动进行指引。本发明实施例对所述控制单元的具体设置方式不作限定，所述控制单元可整体设置在所述患者端控制装置20处，或整体设置在医生端控制装置10处、或一部分设置在所述患者端控制装置20，另一部分设置在所述医生端控制装置10处，或完全独立于所述医生端控制装置10及所述患者端控制装置20，只要其能够实现相应的功能即可。
如图7所示，所述手术器械的路径规划方法包括如下步骤：
步骤S10：根据手术区域的第一图像信息建立所述手术区域的三维模型。
步骤S20：获取所述手术区域的局部区域的第二图像信息。
以及，步骤S30：根据所述三维模型、所述第二图像信息、所述手术器械60的初始位姿及目标位姿规划所述手术器械60的运动路径。
之后，可以控制所述手术器械60可以沿所述运动路径运动。
其中，所述手术区域根据具体的手术来确定，例如在腹腔镜手术中，所述手术区域即是指腹腔，在胸腔镜手术中，所述手术区域即是胸腔，后文中以腹腔镜手术为例，也即所述手术区域为腹腔为例进行说明。所述第一图像信息可以是在术前通过第二图像获取装置70获取的医学影像，所述第二图像获取装置70例如是CT(如图8所示)、MRI、B超等任一种合适的设备。所述第二图像信息一般是由插入手术区域的所述内窥镜50在术中获取(如图9所示)。
本发明实施例中，通过术前的所述手术区域的第一图像信息以及在术中采集的实时的第二图像信息来规划手术器械60的运动路径，而不是在所述内窥镜50所提供的手术视野的基础上结合施术者的经验和操作水平来决策如何操作手术器械60，减少了对施术者的经验和操作水平的依赖程度，提高手术的可控性和安全性。
接下去，本文对所述手术器械的路径规划方法的各个步骤进行详细说明。
请参考图10，所述步骤S10中通过AI图像识别技术对所述第一图像信息进行图像识别，进而建立所述三维模型。具体可用的AI图像识别技术包括但不限于神经网络算法、KNN算法(K临近算法)等。在一个具体的实施例中，可采用KNN算法执行所述步骤S10。在建立所述三维模型的过程中，可先执行步骤S11：通过图像分类的方式找到所述手术区域，然后执行步骤S12：通过目标检测的方式确定病灶位置，并据此建立所述三维模型。本领域技术人员知晓，利用KNN算法进行图像识别时，需要确定训练样本、待分类样本、样本距离和K值，并根据识别正确率来调整K值，所述识别正确率是指进行图像识别时对手术区域内物体识别的正确概率。对于本领域技术人员来说，确定训练样本、待分类样本、样本距离及K值，且根据识别正确率来调整K值均为可以习知的内容，此处不作详细介绍。另外，本实施例中，所述样本距离优选为欧式距离，也即，图像识别时的基本图像特征的样本A[a0,a1,a2,…an]和样本B[b0,b1,b2,…bn]之间的距离d(A,B)满足：
Figure BDA0003660482030000111
需要说明的是，术前获取的所述第一图像信息可以预存于所述控制单元中，或通过有线或无线的方式传输至所述控制单元，或通过施术者手动输入至所述控制单元。
如前所述，所述步骤S20中的所述第二图像信息由所述内窥镜50采集。所述内窥镜50的画面视角有限，因此在执行手术的过程中，施术者需要根据实际情况多次调整所述内窥镜50的方位以采集不同的局部区域的第二图像信息以供施术者观察患者体内的情况。所述第二图像信息中可显示腹腔内的部分组织，还可以显示用于执行手术的所述手术器械60。
请继续参考图7，所述步骤S30包括步骤S31：根据所述三维模型、所述手术器械60的初始位姿和目标位姿规划所述手术器械60的全局运动路径。
所述手术器械60的初始位姿和目标位姿可根据实际实际情况确定。可以理解，位姿包括位置和姿态，因此所述初始位姿即包括初始位置和初始姿态，所述目标位姿包括目标位置和目标姿态。在一些具体的实施例中，所述初始位置例如是患者体表的孔位所在的位置，所述初始姿态可以是指所述手术器械60不碰触组织的状态。所述目标位置例如是病灶所在的位置，所述目标姿态可以是指所述手术器械60不碰触组织及病灶的姿态。此外，所述全局运动路径应当在约束空间内，所述约束空间是指手术区域所在的空间，于本实施例中即为腹腔。
请再参考图10，所述全局运动路径采用AI路径规划法进行规划，可选的规划方法包括但不限于图搜索法、RRT算法(快速扩展随机树算法)、人工势场法、BUG算法等。在一个非限制性的实施例中采用了RRT算法规划所述全局运动路径，其流程图如图11所示，包括如下步骤：
步骤S311：确定所述手术器械60的起始位姿点Xinit，并将其加入搜索树100(如图12所示)以作为搜索的初始值。可以理解，该起始位姿点Xinit可以是随机值。
步骤S312：在自由空间生成随机采样点Xrand。所述自由空间是指所述工具臂32的运动空间。
步骤S313：从所述搜索树100中找出距离所述采样点Xrand最近的节点Xnwar。
步骤S314：计算所述采样点Xrand和所述节点Xnear间的距离Dis。
步骤S315：判断所述采样点Xrand和所述节点Xnear间的距离Dis是否大于步长u，若是，则执行步骤S316及步骤S317，若否，则执行步骤S319。本步骤中，所述距离Dis可以是欧式距离也可以是曼哈顿距离，当其为曼哈顿距离时，计算方法为：DisManhattan＝|x1-x2|+|y1-y2|+|z1-z2|，其中(x1,y1,z1)是所述采样点Xrand的坐标，(x2,y2,z2)是所述节点Xnear的坐标。所述步长u可以是固定值，也可以根据实际需要改变，本发明实施例对此不作限定。
步骤S316：从所述节点Xnear向所述采样点Xrand移动步长u得到新的节点Xnew。
步骤S317：判断所述节点Xnew与所述节点Xnear之间是否存在直线通路，若是，则执行步骤S318，若否，则返回步骤S313，开始下一循环。
步骤S318：将所述节点Xnew加入搜索树100。所述节点Xnew的父节点为Xnear。
步骤S319：在所述节点Xrand生成新的节点Xnew，该新的节点可用于下一循环的计算，下一循环从所述步骤S313开始。
所述全局运动路径是基于术前的医学影像所得到的三维模型来规划的，从理论上说，当实际手术时，若所述手术区域在术中能够与术前保持一致，则所述手术器械60可以沿所述全局运动路径运动以抵达所述目标位姿，且在整个运动过程中不碰触组织和病灶。但在实际中，往往因各种因素例如摆位、气腹的建立、甚至患者的呼吸等导致所述手术环境与术前发生变化，这就造成当所述手术器械60沿所述全局运动路径运动时极可能会碰触组织和/或病灶。有鉴于此，所述步骤S30还包括步骤S32，所述步骤S32为：根据所述第二图像信息对所述全局运动路径进行修正。通过执行所述步骤S32，以根据所述手术区域在术中的实际情况对所述全局运动路径进行修正，避免所述手术器械60在运动过程中碰触组织和/或病灶。
可选地，步骤S32具体包括：首先通过配准或其他任意合适的方式确定所述三维模型中与所述第二图像信息相匹配的目标环境，然后根据所述第二图像信息、所述目标环境及所述目标环境的周边环境对所述全局运动路径的位于所述目标环境内的部分进行修正，以得到目标运动路径(也即所述目标运动路径是修正后的全局运动路径)。
可以理解，所述目标环境中的组织模型实际上就是所述第二图像信息中所显示的组织的模型的至少一部分。如此，在确定了所述目标环境之后，就可以确定所述全局运动路径在所述第二图像信息所显示的组织处的局部路径。
还可以理解，所述全局路径实际上是由所述手术器械60在所述初始位姿与所述目标位姿之间的所有的预期位姿点组成。在对所述全局路径进行修正时，可以采用任一种合适的AI路径规划法例如RRT算法进行。
如图13所示，所述的“根据所述第二图像信息、所述目标环境及所述目标环境的周边环境对所述全局运动路径的位于所述目标环境内的部分进行修正”具体包括：
步骤S321：根据所述第二图像信息获取所述手术器械60与所述组织的相对位置关系。
步骤S322：根据所述手术器械60与所述组织的相对位置关、所述目标环境、以及所述目标环境的周边环境判断所述手术器械60是否能够按照所述目标环境内的所有的所述预期位姿运动，若否，则执行步骤S323，若是，则判定在所述目标环境内，所述全局运动路径作为可执行的所述目标运动路径。也就是说，当判定所述手术器械60能够按照所述目标环境内的所有的所述预期位姿运动时，对所述全局运动路径的修正量为零。本步骤中，若所述手术器械60沿所述目标环境中的所有的所述预期位姿运动时，所述手术器械60不会触碰组织，则认为所述手术器械能够按照所述目标环境内的所有所述预期位姿运动。反之，则认为所述手术器械60不能按照所述目标环境内的所有所述预期位姿运动。
步骤S323：对所述目标环境内的至少部分所述预期位姿进行修正，以得到所述目标运动路径。所述预期位姿包括预期位置和预期姿态，本步骤中，对至少部分所述预期位姿进行修正包括对至少部分所述预期位置和/或至少部分所述预期姿态进行修正。
请继续参考图13，在一个示范性的实施例中，所述步骤S322包括步骤S3221和步骤S3222，所述步骤S323包括步骤S3231和步骤S3232，其中，所述步骤S3221为：判断所述手术器械60是否能够抵达所述目标环境中的所有所述预期位置。所述步骤S3222为：判断所述手术器械60在任一个所述预期位置是否能够处于相应的所述预期姿态。所述步骤S3231为：对至少部分所述预期位置进行修正。所述步骤S3232为：对至少部分所述预期姿态进行修正。可以理解，当所述步骤S3221的判断结果为“是”时，则所述步骤S3231不执行，当所述步骤S3221的判断结果为“否”时，则执行所述步骤S3231，并再次执行所述步骤S3221。同理，当所述步骤S3222的判断结果为“是”时，所述步骤S3232不执行，当所述步骤S3222的判断结果为“否”时，则执行所述步骤S3232，并再次执行所述步骤S3222。所述步骤S3221、所述步骤S3222、所述步骤S3231、以及所述步骤S3222的执行顺序根据需要设定。例如，请继续参考图13，在一个典型性的实现方式中，首先执行所述步骤S3221，其判断结果若为“否”，则接着执行步骤S3231，然后再次执行所述步骤S3221，直至所述步骤S3221的判断结果为“是”。接下去执行所述步骤S3222，其判断结果若为“是”，则判定得到可执行的所述目标运动路径，且不执行所述步骤S3232，若所述步骤S3222的判断结果为“否”，则接着执行所述步骤S3232，之后再次执行所述步骤S3222，直至所述步骤S3222的判断结果为“是”。
进一步地，请继续参考图7并结合图14，在获取所述目标运动路径之后，所述手术器械的路径规划方法还可以包括步骤S40：根据所述目标运动路径规划所述手术器械60的运动轨迹，即对所述目标运动路径加以时间约束，得到所述手术器械60沿所述目标运动路径运动时，所述手术器械60的位姿随时间的变化关系。在所述手术机器人系统中，所述手术器械60被所述工具臂32带动而运动，在获取所述手术器械60的运动轨迹之后，便可以根据机械臂逆运动学解算所述工具臂32的各个关节的速度、加速度及位置随时间的变化关系，也即得到所述工具臂32的速度信息、加速度信息及位置信息。这样一来，通过控制所述工具臂32按照所述速度信息、所述加速度信息及所述位置信息运动，就可以控制所述手术器械60按照所述运动轨迹运动。
由于所述手术器械60的运动实际上是通过所述工具臂32的运动来实现的，因此，在对所述手术器械60进行运动轨迹规划时，需要考虑所述工具臂32的相关性能，例如，所述工具臂32的工作空间、所述机器人传动链性能、所述工具臂32的动力学等。换句话来说，在对所述手术器械60进行轨迹规划时，除了以时间作为约束条件以外，还可以以所述工具臂32的工作空间、所述机器人传动链性能、以及所述工具臂32的动力学中的至少一者作为约束条件。通过所述工具臂32的工作空间约束，可以得到所述手术器械60的运动时的极限位置，以实现对所述手术器械60运动的位置约束。通过所述机械臂传动链性能约束，可以得到所述手术器械60运动时的最大速度，以实现对所述手术器械60的速度约束。通过所述工具臂32的动力学约束，可以得到所述手术器械60运动时最大力矩，以实现对所述手术器械60的力矩约束。结合所述手术器械60的位置约束、速度约束及力矩约束，可以得到所述手术器械60的加速度约束。
此外，在一些情况下，如图15所示，所述控制单元仅规划一条所述运动路径(具体可以是所述目标运动路径)，相应地，所述控制单元也仅规划一个运动轨迹。如此，可控制所述工具臂32运动，以带动所述手术器械60沿该运动轨迹运动。在另一些情况下，所述控制单元规划了两条以上的所述运动路径，如图16及图17所示，图中示出两条所述目标运动路径，分别为时间最短的路径和最安全的路径，在此，如图7所示，所手术器械的路径规划方法还包括步骤S50，所述步骤S50为：产生提示信息，提示执行介入操作，以进行路径选择。根据实际需要，施术者可以选择时间最短的路径(如图16所示)，以使得所述手术器械60在后续的操作中沿着所述时间最短的路径运动，缩短手术时间。或者，施术者可以选择最安全路径(如图17所示)，以使得所述手术器械60在后续的操作中沿着所述最安全路径运动，进一步提高手术操作的可靠性和安全性。这里，所述最安全路径是指该目标路径上的任一点到任一个组织的边界的距离d大于或等于安全距离dsafe，该安全距离可以由施术者人为设定。所述步骤S50可以在所述步骤S30之后，以及所述步骤S40之前执行，以使得所述控制单元仅需要对选定的所述目标运动路径进行轨迹规划，而无需对多条所述目标运动路径进行轨迹规划，降低对所述控制单元的性能要求。当然，在替代性的实施例中，所述步骤S50也可以在所述步骤S40之后执行。
进一步地，本发明实施例中，如图7所示，所述手术器械的路径规划方法还包括步骤S60：将所述运动路径(具体可以是所述目标运动路径)发送至显示装置进行显示，这里所述的显示装置例如是所述显示装置40和所述沉浸式显示装置11中的至少一者。
通过上文中对所述手术器械的路径规划方法的介绍可知，利用所述手术机器人系统执行手术操作时，还涉及施术者与手术机器人系统之间的人机交互。以图1所示的手术机器人系统(该手术机器人系统为主从映射手术机器人系统)为例，如图18所示，所述医生端控制装置10、显示装置40及所述手术操作装置30可以构成交互单元，其中，所述医生端控制台10可以接收施术者发出的指令，例如路径选择的指令(当所述控制单元规划了两条所述运动路径时)、各种功能性操作指令、手术可能发生危险时的急停指令等。所述显示装置40用于进行各种视觉提示，例如通过图像显示的方式提示规划了两条所述运动路径，以及提示进行路径选择。所述手术操作装置30根据施术者所发出的指令执行相应操作，同时所述手术操作装置30上还可以设置语音提醒模块，以进行语音提醒。
另外，请参考图19，在所述手术机器人系统中，所述医生端控制装置10包括处理模块12，所述处理模块12中预设了所述主操作手与所述工具臂32的各个关节之间映射关系。通过所述手术器械60的运动轨迹规划得到所述工具臂32运动时的位置、速度及加速度随时间的变化关系之后，还需要结合所述主从映射关系对所述主操作手的运动进行规划，以使得当所述主操作手动作时，能够使得所述工具臂32的各个关节的关节控制器动作，进而使得所述手术器械60随所述主操作手的动作而按照所述运动轨迹运动。
需要说明的是，前文中以主从映射机器人系统为例对所述手术器械的路径规划方法进行说明，但在替代性的实施例中，所述手术机器人系统也可以是非主从映射机器人。在此，所述控制单元可以被配置为直接控制所述工具臂32运动，以带动所述手术器械60按照所述运动轨迹运动。
进一步地，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，当所述程序被执行时，执行如前所述的手术器械的路径规划方法中的各个步骤。
再进一步地，本发明实施例还提供了一种电子设备，所述电子设备包括处理器和前述的计算机可读存储介质，所述处理器用于执行所述计算机可读存储介质上所存储的程序。
虽然本发明披露如上，但并不局限于此。本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种计算机可读存储介质，其特征在于，其上存储有程序，当所述程序被执行时，执行如下步骤：
根据手术区域的第一图像信息建立所述手术区域的三维模型；
获取所述手术区域的局部区域的第二图像信息；
根据所述三维模型、所述第二图像信息、手术器械的初始位姿及目标位姿规划所述手术器械的运动路径。
2.根据权利要求1所述的计算机可读存储介质，其特征在于，所述根据所述三维模型、所述第二图像信息、手术器械的初始位姿及目标位姿规划所述手术器械的运动路径的步骤包括：
根据所述三维模型、所述手术器械的初始位姿及所述目标位姿规划所述手术器械的全局运动路径；
确定所述三维模型中与所述第二图像信息相匹配的目标环境；
根据所述第二图像信息、所述目标环境及所述目标环境的周边环境对所述全局运动路径的位于所述目标环境内的部分进行修正，以得到目标运动路径。
3.根据权利要求2所述的计算机可读存储介质，其特征在于，所述全局运动路径包括所述手术器械在所述初始位姿和所述目标位姿之间的全部的预期位姿。
4.根据权利要求3所述的计算机可读存储介质，其特征在于，所述第二图像信息中显示所述手术器械及组织；
所述根据所述第二图像信息、所述目标环境及所述目标环境的周边环境对所述全局运动路径的位于所述目标环境内的部分进行修正的步骤包括：
根据所述第二图像信息获取所述手术器械与所述组织的相对位置关系；
根据所述手术器械与所述组织的相对位置关系、所述目标环境及所述目标环境的周边环境判断所述手术器械是否能够按照所述目标环境内的所有的所述预期位姿运动，若否，则对所述目标环境内的至少部分所述预期位姿进行修正。
5.根据权利要求4所述的计算机可读存储介质，其特征在于，所述预期位姿包括预期位置和预期姿态；对所述目标环境内的至少部分所述预期位姿进行修正包括：对所述目标环境内的至少部分所述预期位置和/或至少部分所述预期姿态进行修正。
6.根据权利要求1所述的计算机可读存储介质，其特征在于，所述程序还执行如下步骤：
根据所述运动路径规划所述手术器械的运动轨迹。
7.根据权利要求6所述的计算机可读存储介质，其特征在于，通过手术机器人系统的工具臂带动所述手术器械按照所述运动轨迹运动；
规划所述手术器械的运动轨迹时，还以所述工具臂的工作空间、工具臂的动力学、所述机器人的传动链性能中的至少一者作为约束条件。
8.根据权利要求1所述的计算机可读存储介质，其特征在于，所述手术器械连接于手术机器人系统的工具臂的末端；所述程序还执行如下步骤：
控制所述工具臂运动，以带动所述手术器械沿所述运动路径运动。
9.根据权利要求1所述的计算机可读存储介质，其特征在于，所述程序还执行如下步骤：
将所述运动路径发送至显示装置进行显示。
10.根据权利要求1所述的计算机可读存储介质，其特征在于，所述程序规划两条以上的所述运动路径；所述程序还执行如下步骤：产生提示信息，提示执行介入操作，以进行路径选择。
11.一种电子设备，其特征在于，包括处理器和如权利要求1-10中任一项所述的计算机可读存储介质，所述处理器用于执行所述计算机可读存储介质上所存储的程序。
12.一种手术机器人系统，其特征在于，包括：
图像臂，所述图像臂的末端连接图像获取装置，所述图像获取装置用于采集手术区域的局部区域的第二图像信息；以及，
控制单元，与所述图像获取装置通信连接，以接收所述第二图像信息，所述控制单元还被配置用于执行如权利要求1-10中任一项所述的计算机可读存储介质上所存储的程序。
13.根据权利要求12所述的手术机器人系统，其特征在于，所述手术机器人系统还包括工具臂，所述工具臂的末端连接手术器械；所述工具臂与所述控制单元通信连接，且所述工具臂在所述控制单元的控制下运动以带动所述手术器械沿所述运动路径运动。
CN202210576207.8A 2022-05-24 2022-05-24 计算机可读存储介质、电子设备及手术机器人系统 Pending CN115005979A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210576207.8A CN115005979A (zh) 2022-05-24 2022-05-24 计算机可读存储介质、电子设备及手术机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210576207.8A CN115005979A (zh) 2022-05-24 2022-05-24 计算机可读存储介质、电子设备及手术机器人系统

Publications (1)

Publication Number Publication Date
CN115005979A true CN115005979A (zh) 2022-09-06

Family

ID=83070013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210576207.8A Pending CN115005979A (zh) 2022-05-24 2022-05-24 计算机可读存储介质、电子设备及手术机器人系统

Country Status (1)

Country Link
CN (1) CN115005979A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024125291A1 (zh) * 2022-12-12 2024-06-20 上海术之道机器人有限公司 控制医疗介入设备的装置、方法、程序单元及可读介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024125291A1 (zh) * 2022-12-12 2024-06-20 上海术之道机器人有限公司 控制医疗介入设备的装置、方法、程序单元及可读介质

Similar Documents

Publication Publication Date Title
US10660716B2 (en) Systems and methods for rendering onscreen identification of instruments in a teleoperational medical system
US20230215007A1 (en) Systems and methods for using registered fluoroscopic images in image-guided surgery
US20230157776A1 (en) Systems and methods for constraining a virtual reality surgical system
CN108433809B (zh) 用于在手术过程期间设置并检索参考点的设备
KR20220123076A (ko) 경피 접근을 위한 정렬 기법
JP7469120B2 (ja) ロボット手術支援システム、ロボット手術支援システムの作動方法、及びプログラム
KR20230003408A (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별을 위한 시스템 및 방법
WO2021146339A1 (en) Systems and methods for autonomous suturing
CN112384339B (zh) 用于主机/工具配准和控制以进行直观运动的系统和方法
US20240325098A1 (en) Systems and methods for controlling tool with articulatable distal portion
JP4458492B2 (ja) 手術支援ロボットの動作制御システム及び位置検出装置
CN114533263B (zh) 机械臂碰撞提示方法、可读存储介质、手术机器人及系统
CN112602157A (zh) 用于仿真医疗程序的混合仿真模型
WO2022199650A1 (zh) 计算机可读存储介质、电子设备及手术机器人系统
WO2022166929A1 (zh) 计算机可读存储介质、电子设备及手术机器人系统
CN115005979A (zh) 计算机可读存储介质、电子设备及手术机器人系统
US20200246084A1 (en) Systems and methods for rendering alerts in a display of a teleoperational system
CN115005978A (zh) 计算机可读存储介质、电子设备、路径规划及机器人系统
US20220323157A1 (en) System and method related to registration for a medical procedure
KR20120052573A (ko) 수술용 로봇 시스템 및 수술용 로봇 시스템의 제어방법
US20240070875A1 (en) Systems and methods for tracking objects crossing body wallfor operations associated with a computer-assisted system
US20230210627A1 (en) Three-dimensional instrument pose estimation
US20240029858A1 (en) Systems and methods for generating and evaluating a medical procedure
US20100082043A1 (en) Surgical manipulator system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination