CN116763401A - 一种穿刺路径规划系统、方法及手术机器人 - Google Patents
一种穿刺路径规划系统、方法及手术机器人 Download PDFInfo
- Publication number
- CN116763401A CN116763401A CN202210241912.2A CN202210241912A CN116763401A CN 116763401 A CN116763401 A CN 116763401A CN 202210241912 A CN202210241912 A CN 202210241912A CN 116763401 A CN116763401 A CN 116763401A
- Authority
- CN
- China
- Prior art keywords
- target
- path
- candidate
- point
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003780 insertion Methods 0.000 claims description 34
- 230000037431 insertion Effects 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 description 69
- 230000008569 process Effects 0.000 description 23
- 230000035515 penetration Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 210000001519 tissue Anatomy 0.000 description 10
- 210000000056 organ Anatomy 0.000 description 7
- 230000003902 lesion Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000004497 NIR spectroscopy Methods 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 210000003734 kidney Anatomy 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012014 optical coherence tomography Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 208000001647 Renal Insufficiency Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000002767 hepatic artery Anatomy 0.000 description 1
- 210000002989 hepatic vein Anatomy 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002608 intravascular ultrasound Methods 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 201000006370 kidney failure Diseases 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000013188 needle biopsy Methods 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
- A61B2017/3413—Needle locating or guiding means guided by ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Pathology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本说明书实施例提供一种穿刺路径规划系统、方法及手术机器人,该系统包括:显示设备,显示穿刺路径,显示手动方式、自动方式、半自动方式中的至少一个选项;以及控制系统,所述控制系统包括一个或多个处理器和存储器,所述存储器包括适于致使所述一个或多个处理器执行包括以下步骤的操作的编程指令:获取目标对象的目标图像;基于目标图像确定靶点;基于用户与靶点相关的操作,确定参考路径,其中,参考路径的起点为开放式;基于参考路径确定目标路径。
Description
技术领域
本说明书涉及医疗技术领域,特别涉及一种穿刺路径规划系统、方法及手术机器人。
背景技术
在现有的机器人穿刺规划中,通常需要用户手动设置靶点和入针点,主要依赖于用户的经验。这种规划方式可能存在一定偏差,进而导致后续过程中存在一定风险。且这种纯手动方式存在不方便、不准确及效率低等问题。因此,有必要提供一种穿刺路径规划方法及系统,以提高路径规划的准确性和便捷性,同时提高规划效率。
发明内容
本说明书实施例之一提供一种穿刺路径规划系统,包括:显示设备,显示穿刺路径,显示手动方式、自动方式、半自动方式中的至少一个选项;以及控制系统,所述控制系统包括一个或多个处理器和存储器,所述存储器包括适于致使所述一个或多个处理器执行包括以下步骤的操作的编程指令:获取目标对象的目标图像;基于目标图像确定靶点;基于用户与靶点相关的操作,确定参考路径,其中,参考路径的起点为开放式;基于参考路径确定目标路径。
本说明书实施例之一提供一种穿刺路径规划方法,所述方法包括:获取目标对象的目标图像;基于所述目标图像确定靶点;基于用户与所述靶点相关的操作,确定参考路径,其中,所述参考路径的起点为开放式;基于所述参考路径确定目标路径。
本说明书实施例之一提供一种手术机器人,包括:显示设备,显示穿刺路径,显示手动方式、自动方式、半自动方式中的至少一个选项;机械臂,执行所述穿刺路径;以及控制系统,所述控制系统包括一个或多个处理器和存储器,所述存储器包括适于致使所述一个或多个处理器执行包括以下步骤的操作的编程指令:获取目标对象的目标图像;基于所述目标图像确定靶点;基于用户与所述靶点相关的操作,确定参考路径,其中,所述参考路径的终点为开放式;基于所述参考路径确定目标路径。
本说明书实施例之一提供一种穿刺路径规划装置,其特征在于,所述装置包括:至少一个存储介质,存储计算机指令;至少一个处理器,执行所述计算机指令,以实现如前所述的穿刺路径规划方法。
本说明书实施例之一提供一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取所述计算机指令时,所述计算机执行如前所述的穿刺路径规划方法。
在现有的机器人穿刺规划中,通常需要用户手动设置靶点和入针点,在设置好靶点和入针点后,医生会逐层翻看影像图像以判断穿刺路径与重要组织的相交情况。当路径与危险组织较为接近或者直接相交时,需手动重新确认靶点和入针点,该过程往往反复多次,消耗较多的术前规划时间,且总体上依赖于用户经验,在准确性和效率方便存在问题。此外,在确定入针点的位置时,用户需要尽量将入针点绘制在皮肤附近,这种手动操作本身容易导致误差或偏差,且由于手动绘制过程中无法精确得到入针点的位置,用户通常需要经过多次调整,整个过程繁杂且耗时,且无法保证准确性。
基于此,本说明书实施例提出了高效准确便捷的穿刺路径规划方法和系统,基于用户的拖拽操作绘制终点开放式的线段或射线,进而系统自动确定入针点,使用户操作更灵活,同时减少用户交互次数,提高效率;在路径规划过程中实时提供各种提示,提高规划效率;还通过皮靶距、路径角度及路径与危险组织间的距离等多维度的监控和判断,提高路径规划的准确性和安全性。
附图说明
本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的示例性穿刺路径规划系统的应用场景示意图;
图2是根据本说明书一些实施例所示的示例性穿刺路径规划方法的流程图;
图3是根据本说明书一些实施例所示的示例性穿刺路径规划方法的流程图;
图4是根据本说明书一些实施例所示的示例性提供第一提示的示意图;
图5是根据本说明书一些实施例所示的示例性拖拽操作的示意图;
图6是根据本说明书一些实施例所示的示例性确定候选进针点的示意图;
图7是根据本说明书一些实施例所示的示例性提供第二提示的示意图;
图8是根据本说明书一些实施例所示的示例性提供第三提示的示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是根据本说明书一些实施例所示的示例性穿刺路径规划系统的应用场景示意图。在一些实施例中,如图1所示,穿刺路径规划系统100可以至少包括医疗设备110、处理设备120、终端设备130、机械臂140、存储设备150和网络160。
医疗设备110可以对检测区域或扫描区域内的目标对象进行扫描,得到该目标对象的扫描数据。在一些实施例中,目标对象可以包括生物对象和/或非生物对象。例如,目标对象可以是有生命或无生命的有机和/或无机物质。
在一些实施例中,医疗设备110可以包括单模态扫描仪和/或多模态扫描仪。单模态扫描仪可以包括例如超声波扫描仪、X射线扫描仪、计算机断层扫描(CT)扫描仪、核磁共振成像(MRI)扫描仪、超声检查仪、正电子发射计算机断层扫描(PET)扫描仪、光学相干断层扫描(OCT)扫描仪、超声(US)扫描仪、血管内超声(IVUS)扫描仪、近红外光谱(NIRS)扫描仪、远红外(FIR)扫描仪等或其任意组合。多模态扫描仪可以包括例如X射线成像-核磁共振成像(X射线-MRI)扫描仪、正电子发射断层扫描-X射线成像(PET-X射线)扫描仪、单光子发射计算机断层扫描-核磁共振成像(SPECT-MRI)扫描仪、正电子发射断层扫描-计算机断层摄影(PET-CT)扫描仪、数字减影血管造影-核磁共振成像(DSA-MRI)扫描仪等或其任意组合。上述医疗设备的相关描述仅用于说明目的,而无意限制本说明书的范围。
处理设备120可以处理从医疗设备110、终端设备130、机械臂140、存储设备150和/或穿刺路径规划系统100的其他组件获取的数据和/或信息。例如,处理设备120可以从医疗设备110中获取目标对象的目标图像(例如,断层扫描图像、PET扫描图像等),并对其进行分析处理。又例如,处理设备120可以基于目标图像确定靶点,基于用户与靶点相关的操作,确定参考路径,并基于参考路径确定目标路径。
在一些实施例中,处理设备120可以是单一服务器或服务器组。服务器组可以是集中式的或分布式的。在一些实施例中,处理设备120可以是本地或远程的。例如,处理设备120可以通过网络160从医疗设备110、终端设备130、机械臂140和/或存储设备150访问信息和/或数据。又例如,处理设备120可以直接连接到医疗设备110、终端设备130、机械臂140和/或存储设备150以访问信息和/或数据。在一些实施例中,处理设备120可以在云平台上实现。例如,云平台可以包括私有云、公共云、混合云、社区云、分布式云、云间云、多云等或其任意组合。
在一些实施例中,处理设备120和医疗设备110可以集成为一体。在一些实施例中,处理设备120和医疗设备110可以直接或间接相连接,联合作用实现本说明书所述的方法和/或功能。
在一些实施例中,处理设备120可以包括输入装置和/或输出装置。通过输入装置和/或输出装置,可以实现与用户的交互(例如,显示目标图像、规划穿刺路径、调整穿刺路径等)。在一些实施例中,输入装置和/或输出装置可以包括显示屏、键盘、鼠标、麦克风等或其任意组合。
终端设备130可以与医疗设备110、处理设备120、机械臂140和/或存储设备150通信和/或连接。在一些实施例中,可以通过终端设备130实现与用户的交互。在一些实施例中,终端设备130可以包括移动设备131、平板电脑132、笔记本电脑133等或其任意组合。在一些实施例中,终端设备130(或其全部或部分功能)可以集成在处理设备120中。
机械臂140可以模仿人类手臂的功能,并实现自动控制。在一些实施例中,机械臂140可以包括彼此连接的多关节结构,能够在平面或三维空间运动。在一些实施例中,机械臂140可以包括控制器、机械主体、感应器等。在一些实施例中,控制器可以设置机械主体的动作参数(例如,轨迹、方向、角度、速度、力度等);机械主体可以精确地执行上述动作参数;感应器可以探测或感受外界的信号、物理条件(例如,光、热、湿度)或化学组成(例如,烟雾),并将探知的信息传递给控制器。在一些实施例中,机械臂140可以包括刚性机械臂、柔性机械臂、气动助力机械臂、软索助力机械臂、线性机械臂、水平多关节机械臂、关节多轴机械臂等或其任意组合。上述机械臂的相关描述仅用于说明目的,而无意限制本说明书的范围。
在一些实施例中,穿刺器械(例如,光纤针、静脉留置针、注射针、穿刺针、活检针等)可以安装在机械臂140上,并通过机械臂执行穿刺过程。
在一些实施例中,处理设备120和机械臂140可以集成为一体。在一些实施例中,处理设备120和机械臂140可以直接或间接相连接,联合作用实现本说明书所述的方法和/或功能。在一些实施例中,医疗设备110、处理设备120和机械臂140可以集成为一体。在一些实施例中,医疗设备110、处理设备120和机械臂140可以直接或间接相连接,联合作用实现本说明书所述的方法和/或功能。
存储设备150可以存储数据、指令和/或任何其他信息。在一些实施例中,存储设备150可以存储从医疗设备110、处理设备120、终端设备130和/或机械臂140获取的数据(例如,目标图像、参考路径、目标路径、用户指令等)。在一些实施例中,存储设备150可以存储处理设备120用来执行或使用以完成本说明书中描述的示例性方法的数据和/或指令。
在一些实施例中,存储设备150可以包括一个或多个存储组件,每个存储组件可以是一个独立的设备,也可以是其他设备的一部分。在一些实施例中,存储设备150可包括随机存取存储器(RAM)、只读存储器(ROM)、大容量存储器、可移动存储器、易失性读写存储器等或其任意组合。在一些实施例中,存储设备150可在云平台上实现。在一些实施例中,存储设备150可以是医疗设备110、处理设备120和/或终端设备130的一部分。
网络160可以包括能够促进信息和/或数据交换的任何合适的网络。在一些实施例中,穿刺路径规划系统100的至少一个组件(例如,医疗设备110、处理设备120、终端设备130、机械臂140、存储设备150)可以通过网络160与穿刺路径规划系统100中至少一个其他组件交换信息和/或数据。例如,处理设备120可以通过网络160从医疗设备110获取目标对象的目标图像。
应当注意,上述关于穿刺路径规划系统100的描述仅仅是为了说明的目的而提供,并不意图限制本说明书的范围。对于本领域的普通技术人员来说,可以根据本说明书的描述,做出多种修改或变化。例如,穿刺路径规划系统100可以在其它设备上实现类似或不同的功能。然而,这些变化和修改不会背离本说明书的范围。应当理解,穿刺路径规划系统100可以利用各种方式来实现。例如,通过硬件、软件或者软件和硬件的结合来实现。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用例如由各种类型的处理器所执行的软件实现,还可以由上述硬件电路和软件的结合(例如,固件)来实现。
图2是根据本说明书一些实施例所示的示例性穿刺路径规划方法的流程图。在一些实施例中,流程200可以由处理设备120。例如,流程200可以以程序或指令的形式存储在存储设备(例如,存储设备150、处理设备120的存储单元)中,当处理器执行程序或指令时,可以实现流程200。在一些实施例中,流程200可以利用以下未描述的一个或以上附加操作,和/或不通过以下所讨论的一个或以上操作完成。另外,如图2所示的操作的顺序并非限制性的。
步骤210,获取目标对象的目标图像。在一些实施例中,步骤210可以由处理设备120执行。
目标对象可以包括扫描过程中涉及的生物对象和/或非生物对象的整体或部位。例如,目标对象可以是有生命或无生命的有机和/或无机物质,如头部、耳鼻、口腔、颈部、胸部、腹部、肝胆胰脾、肾脏、脊柱等。
在一些实施例中,目标对象的目标图像可以是对目标对象进行扫描得到的图像,例如,断层扫描图像、PET扫描图像等。在一些实施例中,目标对象的目标图像可以从医疗设备110、存储设备140、处理设备120的存储单元等获取。
在一些实施例中,可以通过融合目标对象的当前图像和参考图像以确定目标图像。
当前图像可以是反映目标对象最新特征的图像。例如,当前图像可以是即将进行穿刺时(例如,目标对象已位于穿刺设备且完成定位时)采集的图像、准备进行穿刺时采集的图像、穿刺前一定时间段内(例如,前1小时、前两小时、前5小时、前一天、前两天、前一周等)采集的图像等。
参考图像可以是目标对象的历史图像(例如,首诊图像)。在一些实施例中,参考图像可以包括在不同条件下(例如,成像设备不同、成像参数不同等)采集的多幅图像,从而可以体现目标对象的多维度或多角度的参考信息。例如,参考图像A中器官A的清晰度或对比度较高,参考图像B中器官B的清晰度或对比度较高,以此类推。在一些实施例中,参考图像可以包括多期相图像(例如,在不同时刻或不同相位条件下采集的图像),从而可以体现目标对象在多期相下的参考信息。例如,参考图像可以包括多期相肝脏图像,不同期相下可以分割出不同的特征(例如,肝动脉、肝静脉等)。
在一些实施例中,参考图像和当前图像可以通过不同的成像设备采集。在一些实施例中,参考图像和当前图像的图像参数(例如,精度、对比度、灰度、梯度等)可以不同。例如,参考图像的精度可以高于当前图像。
在一些实施例中,处理设备120可以通过多种方法对当前图像和/或参考图像进行处理,以分割出各项组织或器官,例如,肺外血管、肺内血管、皮肤、骨骼、脏器、待穿刺组织等。例如,处理设备120可以通过主动轮廓分割算法进行预分割,获得皮肤体表的轮廓。又例如,处理设备120可以基于循环神经网络对目标图像进行组织分割,得到病灶区域轮廓及其他组织轮廓,并进行分类(例如,待处理病灶或待检测区域(也可以统称为“靶区”)、可穿区、危险区等)。在一些实施例中,可以根据不同患者的个体情况,设置不同的分类标准。例如,将肾功能低下患者的肾脏设为危险区。
在一些实施例中,在进行组织或器官分割前,处理设备120还可以对当前图像和/或参考图像进行预处理。例如,处理设备120可以对多期相参考图像进行图像配准处理。
在一些实施例中,处理设备120可以基于多种融合方法融合当前图像和参考图像,以确定目标图像。在一些实施例中,融合方法可以包括主分量变换融合法、乘积变换融合法、小波变换融合法、拉普拉斯变换融合法等或其任意组合。
通过融合当前图像和参考图像,可以使得所确定的目标图像的质量更高,更能综合体现目标对象的多维度信息,且其中各个组织或器官均能以较优的方式体现,有助于提高后续穿刺路径规划的准确性。
在一些实施例中,目标图像和/或已分割的各个组织或器官可以通过显示界面(例如,处理设备120和/或终端设备130的显示界面)展示。
步骤220,基于目标图像确定靶点。在一些实施例中,步骤220可以由处理设备120执行。
靶点(T点)指与靶区相关的位置点。在一些实施例中,靶点可以是穿刺器械(例如,活检针)穿透皮肤到达的体内位置、微创手术发生的位置等。在一些实施例中,靶点可以是待处理病灶或待检测区域的中心点或接近中心位置的点。在一些实施例中,靶点可以是待处理病灶或待检测区域内的任意位置点。在一些实施例中,靶点可以是待处理病灶或待检测区域内满足预设条件的位置点,例如,灰度值最大的点、灰度值最小的点、灰度值大于灰度阈值的点、灰度值小于灰度阈值的点等。
在一些实施例中,处理设备120可以基于目标图像自动确定靶点。例如,处理设备120可以自动将可以将待处理病灶或待检测区域的中心作为靶点。又例如,处理设备120可以自动判断预设条件并确定相应的位置点作为靶点。
在一些实施例中,处理设备120可以基于用户操作确定靶点。在一些实施例中,用户操作可以包括点击(例如,鼠标点击、感应笔点击、触摸屏点触等)操作、感应操作(例如,手势感应、声音感应等)、用户指令(例如,代码指令、语音指令等)等或其任意组合。
在一些实施例中,处理设备120可以基于用户操作,确定候选靶点。例如,用户可以通过显示界面点击(例如,鼠标点击)目标图像中的位置点。相应地,基于用户的点击操作,处理设备120可以将用户点击的位置确定为候选靶点。
在一些实施例中,处理设备120可以进一步判断候选靶点是否满足第一预设条件。在一些实施例中,第一预设条件可以包括靶点处于靶区内、靶点位于靶区中心点、靶点没有位于血管内等或其任意组合。
响应于候选靶点不满足第一预设条件,处理设备120可以提供第一提示。在一些实施例中,第一提示可以以文字、符号、图片、音频、视频等方式提供。例如,如图4所示,在显示界面提示“T点未处于靶区内!”。进一步地,处理设备120可以重新执行上述过程直到确定满足第一预设条件的靶点。
响应于候选靶点满足第一预设条件,处理设备120可以将候选靶点确定为最终可用靶点。
步骤230,基于用户与靶点相关的操作,确定参考路径。在一些实施例中,步骤230可以由处理设备120执行。
在一些实施例中,处理设备120可以以半自动方式,确定参考路径。在一些实施例中,参考路径的终点可以为开放式。“开放式”可以指对终点没有限制,可以是目标图像内的任意位置点。
在一些实施例中,用户与靶点相关的操作可以包括以靶点为起点的拖拽操作。在一些实施例中,拖拽操作形成的线段或射线即为参考路径。在一些实施例中,拖拽方向可以是任意方向。在一些实施例中,拖拽长度可以是目标图像内的任意长度。相应地,拖拽操作的终点可以是目标图像内的任意位置点。例如,如图5所示,510、520、530、540和550分别表示不同拖拽方向或不同拖拽长度所形成的不同的参考路径。
在一些实施例中,处理设备120可以在拖拽操作过程中同步显示参考路径。例如,在用户拖拽过程中,显示界面上可以同步显示拖拽操作形成的线段或射线。例如,如图5所示,图中“+”号表示当前光标位置点(即用户拖拽操作的实时终点),此时显示界面上同步显示了对应的参考路径550。
在一些实施例中,处理设备120可以通过其他方式确定参考路径。例如,手动方式。在一些实施例中,用户可以分别在显示界面设置参考路径的起点和终点。相应地,处理设备120可以将二者间的连线确定为参考路径。
又例如,处理设备120还可以自动方式确定参考路径,以及目标路径。
首先,根据靶区的轮廓自动确定靶点,例如,自动计算靶点坐标。
随后,在皮肤表面自动确定至少一个候选进针点,对于至少一个候选进针点中的每一个,将所述候选进针点与所述靶点相连,构成候选路径,确定候选路径与危险区的距离。即将各个候选进针点和靶点进行相连,形成N条候选路径;依次计算出每条候选路径与各个危险区的距离。
最后,基于候选路径的深度、候选路径的角度、候选路径与危险区的距离,确定目标路径。例如,综合判断候选路径的深度是否满足皮靶距的限制、角度是否在预设范围内与候选路径与危险区的距离是否低于预设的安全距离等,确定最终的目标路径。
步骤240,基于参考路径确定目标路径。在一些实施例中,步骤240可以由处理设备120执行。
在一些实施例中,处理设备120可以基于参考路径自动确定候选进针点,候选进针点位于皮肤交界。在一些实施例中,处理设备120可以将参考路径(或其延长线)与皮肤的交界点作为候选进针点。例如,如图6所示,处理设备120分别基于参考路径510、520、530、540和550,确定相应的候选进针点610、620、630、640和650。
结合上文所述,参考路径是用户的拖拽操作形成的线段或射线,且拖拽过程中同步显示参考路径。相应地,基于参考路径自动确定候选进针点可以理解为在用户的拖拽操作结束时(例如,用户拖拽操作松手的瞬间)自动确定线段或射线与皮肤的交界点。
在一些实施例中,处理设备120可以基于靶点和候选进针点,确定候选路径。例如,将候选进针点和靶点连接而成的线段作为候选路径。进一步地,处理设备120可以基于候选路径确定目标路径。
在一些实施例中,处理设备120可以确定候选进针点和靶点间的距离(后文简称“皮靶距离”)和/或角度,并判断距离和/或角度是否满足第二预设条件。角度可以指靶点T和进针点E形成的TE向量与横断位Y轴正方向的夹角。在一些实施例中,角度可以是正角度、负角度、锐角、钝角等情况。例如,一、四象限的TE向量角度为正值,二、三象限的针道角度为负值,一、二象限的针道角度为锐角,三、四象限的针道角度为钝角。第二预设条件可以包括皮靶距离的预设范围、角度的预设范围等或其任意组合。例如,皮靶距离的预设范围为2cm-12cm,角度的预设范围为10度-80度。在一些实施例中,第二预设条件可以根据经验或需求设定。例如,不同类型的靶区、不同的目标对象等可以对应不同的第二预设条件。在一些实施例中,第二预设条件可以由用户设定,例如,用户输入穿刺器械(例如,活检针)的长度、皮靶距离的预设范围等。
响应于距离或角度中的至少一个不满足第二预设条件,处理设备120可以提供第二提示。在一些实施例中,第二提示可以以文字、符号、图片、音频、视频等方式提供。例如,如图7所示,当皮靶距离过大,与穿刺器械长度不符,无法进行穿刺时,在显示界面显示“长度大于最大阈值,无法执行穿刺”。进一步地,处理设备120可以重新执行上述过程直到确定满足第二预设条件的候选路径。
响应于距离和角度均满足第二预设条件,在一些实施例中,处理设备120还可以进一步判断候选路径是否满足第三预设条件。在一些实施例中,第三预设条件可以包括候选路径与危险区的距离(后文简称“危险距离”)大于距离阈值。例如,危险距离大于2mm。在一些实施例中,第三预设条件可以根据经验或需求设定。例如,不同类型的危险区、不同的目标对象、不同的应用场景等可以对应不同的第三预设条件。示例的,针对DBS手术,危险距离为1mm;对于SEEG手术,危险距离为1.6mm;对于穿刺活检系统危险距离为2mm。
响应于候选路径不满足第三预设条件,处理设备120可以提供第三提示。在一些实施例中,第三提示可以以文字、符号、图片、音频、视频等方式提供。例如,如图8所示,提示“针道1与骨骼组织发生干涉,请调整路径”。进一步地,处理设备120可以重新执行上述过程直到确定满足第三预设条件的候选路径。
响应于候选路径满足第三预设条件,处理设备120可以进一步基于候选路径确定目标路径。
在一些实施例中,处理设备120可以从同时满足第二预设条件和第三预设条件的候选路径中随机选择其中一条确定目标路径。在一些实施例中,处理设备120可以基于筛选条件,从同时满足第二预设条件和第三预设条件的候选路径中选择满足筛选条件的候选路径作为目标路径。在一些实施例中,筛选条件可以包括安全距离大于第一阈值(或安全距离最大)、皮靶距小于第二阈值(或皮靶距最小)、角度大于第三阈值(或角度最大)等或其任意组合。
在一些实施例中,处理设备120还可以基于用户的反馈,调整目标路径。例如,用户(例如,医生)可以根据经验微调目标路径的角度、微调进针点的位置等。
应当注意的是,上述有关流程200的描述仅仅是为了示例和说明,而不限定本说明书的适用范围。对于本领域技术人员来说,在本说明书的指导下可以对流程200进行各种修正和改变。然而,这些修正和改变仍在本说明书的范围之内。例如,在流程200中,获取目标对象的目标图像的同时,可以获取目标对象的病史等。又例如,基于第二预设条件的判断步骤和第三预设条件的判断步骤的执行顺序并非限制性的,例如,可以同时执行,可以先执行基于第二预设条件的判断步骤,再执行基于第三预设条件的判断步骤,或者先执行基于第三预设条件的判断步骤,再执行基于第二预设条件的判断步骤。再例如,穿刺路径规划系统100可以在显示界面(例如,终端设备130的显示界面)提供手动方式、自动方式、半自动方式等选项供用户选择。
图3是根据本说明书一些实施例所示的示例性穿刺路径规划方法的流程图。在一些实施例中,流程300可以由处理设备120执行。例如,流程300可以以程序或指令的形式存储在存储设备(例如,存储设备150、处理设备120的存储单元)中,当处理器执行程序或指令时,可以实现流程300。在一些实施例中,流程300可以利用以下未描述的一个或以上附加操作,和/或不通过以下所讨论的一个或以上操作完成。另外,如图3所示的操作的顺序并非限制性的。
步骤302,获取目标对象的参考图像。
步骤304,对目标对象的参考图像进行图像分割。例如,基于图像分割算法,分割并分别标识出靶区、可穿区和/或危险区。
步骤306,获取目标对象的当前图像。
步骤308,融合当前图像和参考图像以确定目标图像。
步骤310,在目标图像中确定靶点,并基于用户与靶点的相关操作,绘制参考路径。例如,用户以靶点为起点,执行拖拽操作,拖拽操作过程中,同步显示参考路径。在一些实施例中,还可以判断初始确定的候选靶点是否满足靶点条件(例如,前文所述的第一预设条件)以确定最终的靶点。
步骤312,自动确定候选进针点。例如,自动将拖拽操作所形成的参考路径与皮肤的交界点作为候选进针点。获取候选进针点和靶点构成的候选路径。执行步骤314和步骤318,在一些实施例中,步骤314和步骤318可以并行或串行,本说明书对此不作限制。
步骤314,判断该候选路径是否满足安全距离条件(例如,上文所述的第三预设条件)。
步骤316,若该候选路径不满足安全距离条件,可以提示调整靶点或提示重新绘制参考路径。
步骤318,判断该候选路径是否满足皮靶距条件和/或角度条件(例如,上文所述的第二预设条件)。
若候选路径满足安全距离条件,并且该候选路径满足皮靶距条件和/或角度条件,将该候选路径作为目标路径。
步骤320,若该候选路径不满足第二预设条件,可以提示调整靶点或提示重新绘制参考路径。
本说明书一些实施例中,(1)基于用户的拖拽操作绘制终点开放式的线段或射线,进而系统自动确定入针点,使用户操作更灵活,同时减少用户交互次数,提高效率;(2)在路径规划过程中实时提供各种提示,提高规划效率;(3)通过皮靶距、路径角度及路径与危险组织间的距离等多维度的监控和判断,提高路径规划的准确性和安全性。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (13)
1.一种穿刺路径规划系统,其特征在于,所述系统包括:
显示设备,显示穿刺路径,显示手动方式、自动方式、半自动方式中的至少一个选项;以及
控制系统,所述控制系统包括一个或多个处理器和存储器,所述存储器包括适于致使所述一个或多个处理器执行包括以下步骤的操作的编程指令:
获取目标对象的目标图像;
基于所述目标图像确定靶点;
基于用户与所述靶点相关的操作,确定参考路径,其中,所述参考路径的终点为开放式;
基于所述参考路径确定目标路径。
2.如权利要求1所述的系统,其特征在于,所述获取目标对象的目标图像包括:
获取所述目标对象的当前图像;
获取所述目标对象的参考图像;
通过融合所述当前图像和所述参考图像,确定所述目标图像。
3.如权利要求1所述的系统,其特征在于,所述基于所述目标图像确定靶点包括:
基于用户操作,确定候选靶点;
判断所述候选靶点是否满足第一预设条件;
响应于所述候选靶点不满足所述第一预设条件,提供第一提示。
4.如权利要求1所述的系统,其特征在于,所述与所述靶点相关的操作包括以所述靶点为起点的拖拽操作。
5.如权利要求4所述的系统,其特征在于,所述拖拽操作过程中同步显示所述参考路径。
6.如权利要求1所述的系统,其特征在于,所述基于所述参考路径确定目标路径包括:
基于所述参考路径自动确定候选进针点,所述候选进针点位于所述目标图像中的皮肤表面区域;
基于所述靶点和所述候选进针点,确定候选路径;
基于所述候选路径确定所述目标路径。
7.如权利要求6所述的系统,其特征在于,所述操作还包括:
确定所述候选进针点和所述靶点间的距离和/或角度;
判断所述距离和/或所述角度是否满足第二预设条件;
响应于所述距离或所述角度中的至少一个不满足所述第二预设条件,提供第二提示。
8.如权利要求6所述的系统,其特征在于,所述操作还包括:
判断所述候选路径是否满足第三预设条件,所述第三预设条件包括所述候选路径与危险区的距离大于阈值;
响应于所述候选路径不满足所述第三预设条件,提供第三提示。
9.如权利要求1所述的系统,其特征在于,所述操作还包括:
根据靶区的轮廓自动确定靶点;
在皮肤表面自动确定至少一个候选进针点;
对于所述至少一个候选进针点中的每一个,
将所述候选进针点与所述靶点相连,构成候选路径;
确定所述候选路径与危险区的距离;
基于所述候选路径的深度、所述候选路径的角度、所述候选路径与危险区的距离,确定目标路径。
10.一种穿刺路径规划方法,其特征在于,所述方法包括:
获取目标对象的目标图像;
基于所述目标图像确定靶点;
基于用户与所述靶点相关的操作,确定参考路径,其中,所述参考路径的终点为开放式;
基于所述参考路径确定目标路径。
11.一种手术机器人,包括:
显示设备,显示穿刺路径,显示手动方式、自动方式、半自动方式中的至少一个选项;
机械臂,执行所述穿刺路径;以及
控制系统,所述控制系统包括一个或多个处理器和存储器,所述存储器包括适于致使所述一个或多个处理器执行包括以下步骤的操作的编程指令:
获取目标对象的目标图像;
基于所述目标图像确定靶点;
基于用户与所述靶点相关的操作,确定参考路径,其中,所述参考路径的终点为开放式;
基于所述参考路径确定目标路径。
12.一种穿刺路径规划装置,其特征在于,所述装置包括:
至少一个存储介质,存储计算机指令;
至少一个处理器,执行包括以下步骤的操作的所述计算机指令:
获取目标对象的目标图像;
基于所述目标图像确定靶点;
基于用户与所述靶点相关的操作,确定参考路径,其中,所述参考路径的终点为开放式;
基于所述参考路径确定目标路径。
13.一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取所述计算机指令时,所述计算机执行包括以下步骤的操作的所述计算机指令:
获取目标对象的目标图像;
基于所述目标图像确定靶点;
基于用户与所述靶点相关的操作,确定参考路径,其中,所述参考路径的终点为开放式;
基于所述参考路径确定目标路径。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210241912.2A CN116763401A (zh) | 2022-03-11 | 2022-03-11 | 一种穿刺路径规划系统、方法及手术机器人 |
PCT/CN2023/080956 WO2023169578A1 (zh) | 2022-03-11 | 2023-03-11 | 一种用于介入手术的图像处理方法、系统和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210241912.2A CN116763401A (zh) | 2022-03-11 | 2022-03-11 | 一种穿刺路径规划系统、方法及手术机器人 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116763401A true CN116763401A (zh) | 2023-09-19 |
Family
ID=88012160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210241912.2A Pending CN116763401A (zh) | 2022-03-11 | 2022-03-11 | 一种穿刺路径规划系统、方法及手术机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116763401A (zh) |
-
2022
- 2022-03-11 CN CN202210241912.2A patent/CN116763401A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102014355B1 (ko) | 수술도구의 위치 정보 산출 방법 및 장치 | |
CN107809955B (zh) | 经由感兴趣界标的自动检测在x射线成像中进行实时准直和roi过滤器定位 | |
JP6453857B2 (ja) | 超音波画像の3d取得のためのシステムおよび方法 | |
JP6724187B2 (ja) | タッチレス高度画像処理及び視覚化 | |
JP2022507622A (ja) | 拡張現実ディスプレイでの光学コードの使用 | |
US10290098B2 (en) | System for real-time organ segmentation and tool navigation during tool insertion in interventional therapy and method of operation thereof | |
CN107980148B (zh) | 对图像进行融合以考虑运动补偿的系统和方法 | |
US10022199B2 (en) | Registration correction based on shift detection in image data | |
EP3206747B1 (en) | System for real-time organ segmentation and tool navigation during tool insertion in interventional therapy and method of opeperation thereof | |
KR101862360B1 (ko) | 수술결과에 대한 피드백 제공방법 및 프로그램 | |
KR101862359B1 (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
US20150223901A1 (en) | Method and system for displaying a timing signal for surgical instrument insertion in surgical procedures | |
KR20190080705A (ko) | 수술결과에 대한 피드백 제공방법 및 프로그램 | |
KR20190080706A (ko) | 수술보조 영상 표시방법, 프로그램 및 수술보조 영상 표시장치 | |
CN113876420B (zh) | 用于规划手术路径的路径规划方法、系统、设备和介质 | |
Zhou et al. | Needle detection and localisation for robot‐assisted subretinal injection using deep learning | |
KR20190088419A (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
US20240050172A1 (en) | Surgical pathway processing system, method, device, and storage medium | |
KR101940706B1 (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
KR101864411B1 (ko) | 수술보조 영상 표시방법 및 프로그램 | |
US12026837B2 (en) | Adapting an augmented and/or virtual reality | |
CN116763401A (zh) | 一种穿刺路径规划系统、方法及手术机器人 | |
CN116919584A (zh) | 一种穿刺路径规划方法、系统、装置及存储介质 | |
CN117045318A (zh) | 一种穿刺手术引导系统、方法及手术机器人 | |
CN118634033A (zh) | 引导介入手术的方法、系统和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |