CN115775611B - 一种穿刺手术规划系统 - Google Patents
一种穿刺手术规划系统 Download PDFInfo
- Publication number
- CN115775611B CN115775611B CN202310102262.8A CN202310102262A CN115775611B CN 115775611 B CN115775611 B CN 115775611B CN 202310102262 A CN202310102262 A CN 202310102262A CN 115775611 B CN115775611 B CN 115775611B
- Authority
- CN
- China
- Prior art keywords
- space
- points
- point
- developing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009466 transformation Effects 0.000 claims abstract description 60
- 238000003780 insertion Methods 0.000 claims abstract description 38
- 230000037431 insertion Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000007246 mechanism Effects 0.000 claims description 19
- 239000012636 effector Substances 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 12
- 101100119135 Mus musculus Esrrb gene Proteins 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 4
- 238000001356 surgical procedure Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000012800 visualization Methods 0.000 claims 1
- 238000006073 displacement reaction Methods 0.000 abstract description 6
- 230000029058 respiratory gaseous exchange Effects 0.000 abstract description 5
- 230000009897 systematic effect Effects 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 10
- 238000002679 ablation Methods 0.000 description 7
- 210000005036 nerve Anatomy 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000005311 nuclear magnetism Effects 0.000 description 2
- 239000008188 pellet Substances 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000011298 ablation treatment Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002695 general anesthesia Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供了一种穿刺手术规划系统,包括:影像处理模块接收连续的影像序列图像;配准模块根据各个显影点在机器人空间初始位姿下的坐标点集计算得到机器人空间到手术空间的坐标变换关系;第一自校验模块根据未参与配准的显影点在机器人空间位置坐标与其在机器人空间初始位姿下的坐标之间的差异对坐标变换关系进行校验;有效空间约束模块用于穿刺针路径规划的约束条件;标记模块根据约束条件在图像空间中标记病灶点和入针点,并规划穿刺路径;第二自校验模块根据实际进针路径与规划穿刺路径之间的偏差对规划穿刺路径进行校验。本发明对其空间位置配准过程的系统误差和因患者呼吸或位移等造成的路径偏差,有可靠的和可量化的自校验能力。
Description
技术领域
本发明属于医疗自动化技术领域,涉及一种穿刺手术规划系统,适用于肝胆外科或神经外科等,在核磁或CT影像引导下的、经皮穿刺的消融治疗或活检取样等微创介入手术领域。
背景技术
肝脏等部位的恶性肿瘤或脑神经功能性疾病等是严重威胁人类健康和生活质量的重大疾病,而基于微波或射频的热消融技术作为有效的微创介入治疗手段之一,近年来已广泛应用于临床。其中,实现对消融针高精度穿刺的路径规划和执行,是最为重要的要求以及保证治疗效果的关键。
在临床实践中,基于核磁、CT、超声等医学影像引导医生手动穿刺是高精度穿刺的常用术式,其中,消融手术的规划主要是由医生通过逐层浏览患者的断层扫描影像,依据对患者肿瘤大小、位置、形态的粗略估算,并避开主要的血管、神经、骨骼或其它重要组织,在头脑中进行手术路径规划。这种人工手术路径规划方法耗时耗力,严重依赖医生穿刺经验和专业技能,导致其临床应用受限。
近年来,机器人辅助的穿刺消融介入手术渐渐进入临床,其能从视觉、听觉和触觉上为医生进行手术操作提供支持,可在微创手术领域实现对手术器械的精确控制,有效提高穿刺手术的精准度和效率,降低对术者经验的过度依赖。
但是现有的机器人辅助穿刺技术往往无法避免其系统坐标误差和因患者呼吸或位移等造成的手术过程中穿刺路径偏差,严重影响手术效果。
因此,如何提供一种具有自校验能力的穿刺手术规划系统是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提出了一种穿刺手术规划系统,解决现有技术中的技术问题。
为了实现上述目的,本发明采用如下技术方案:
本发明公开了一种穿刺手术规划系统,机器人的末端执行机构上设有穿刺针和具有N个显影点的显影装置,N>3,所述系统包括:影像处理模块、配准模块、第一自校验模块、有效空间约束模块、标记模块和第二自校验模块;其中
所述影像处理模块接收连续的影像序列图像,所述图像中的像素点在图像空间具有三维坐标,建立图像空间到手术空间的坐标变换关系T_img_mri;
所述配准模块在图像空间中标记所述显影装置在所述图像空间中成像的显影点的点集,根据各个显影点在机器人空间初始位姿下的坐标点集计算得到机器人空间到手术空间的坐标变换关系T_rob_mri;
所述第一自校验模块根据M个显影点配准得到的坐标变换关系T_rob_mri,M<N,以及N-M个未参与配准的显影点在图像空间中成像的位置,计算N-M个未参与配准的显影点在机器人空间位置坐标,根据所述N-M个未参与配准的显影点在机器人空间位置坐标与其在机器人空间初始位姿下的坐标之间的差异对坐标变换关系T_rob_mri进行校验;
有效空间约束模块用于生成图像空间中的点云,作为穿刺针路径规划的约束条件;
标记模块根据所述约束条件在图像空间中标记病灶点和入针点,结合坐标变换关系T_img_mri和坐标变换关系T_rob_mri规划穿刺路径;
第二自校验模块对末端执行机构初次移动到规划的入针点位置后,再次获取显影点新坐标和病灶点新坐标,并计算穿刺过程中的实际进针路径,根据实际进针路径与规划穿刺路径之间的偏差对所述规划穿刺路径进行校验。
优选的,N个显影点之间在末端执行机构上的相对位置固定,且其中任意三点不共线。
优选的,影像序列图像包括参数集1和参数集2:
参数集1[像素宽度、像素高度、总层数],其中第一幅图像左上角位置默认为原点坐标(0,0,0),法向量默认为(0,0,1),构成了直角坐标系下的图像空间,每幅图像中的每个像素点在此空间内都有一个三维坐标;
参数集2[第一幅图像左上角在手术空间的原点位置、图像平面在手术空间中的法向量、像素间距、图像层间距],用于建立图像空间到手术空间的坐标变换关系T_img_mri,得到每个像素点在手术空间中的坐标。
优选的,所述配准模块执行如下步骤:
在图像空间中通过选择若干个清晰度大于设定值的显影装置的成像点,标记其球心位置,形成图像空间中候选显影点的点集{P_img-sel},确定点集{P_img-sel}的长度sizeof({P_img-sel});
已知各个显影点在显影装置上初始位姿下的坐标,它以机器人空间下的点集{P_rob}来表示,所述配准模块根据sizeof({P_img-sel})将{P_rob}分为若干子集,所述子集是长度为sizeof({P_img-sel})的全排列,将其中每一个子集与{P_img-sel}之间做线性变换,确定与{P_img-sel}拟合度满足设定阈值的拟合子集;
在所述拟合子集中取满足预设条件的子集对应的坐标变换关系,作为机器人空间到手术空间的变换T_rob_mri,即为配准结果。
优选的,所述第一自校验模块对坐标变换关系T_rob_mri进行校验的具体步骤包括:
计算所述N-M个未参与配准的显影点在机器人空间位置坐标,即:INV(T_rob_mri)×[{P_img-rest}×T_img_mri]),其中,INV(T_rob_mri)指从机器人空间到手术空间的逆变换关系,×表示对点集的坐标施加相应空间变换;
根据计算出的所述N-M个未参与配准的显影点在机器人空间位置坐标,和所述N-M个未参与配准的显影点在机器人空间初始位姿下的坐标之间的误差,确定所述配准模块是否重新执行配准操作。
优选的,所述点云包括下面任意一种或多种的组合:
点云1:所述穿刺针在所述末端执行机构的带动下在机器人坐标空间内所有可达的位置坐标,通过坐标变换T_rob_mri×INV(T_img_mri)叠加呈现到图像空间;
点云2:可直线到达已标记所述病灶点的所述末端执行机构在机器人坐标空间内的所有末端姿态位置坐标,通过坐标变换T_rob_mri×INV(T_img_mri)叠加呈现到图像空间;
点云3:距离皮肤表面给定距离之内的图像空间内的空间范围;
点云4:通过组织分割和三维重建方法构造的图像空间内需要规避区域三维模型的外边缘。
优选的,所述第二自校验模块根据实际进针路径与规划穿刺路径之间的偏差对所述规划穿刺路径进行动态校验的步骤包括:
末端执行机构初次移动到规划的入针点位置后,再次扫描实时影像;
在所述影像上标记全部可见的显影点坐标{P_real},以及同一个病灶点的新坐标V_tp_2;
取所述M个显影点,记为{P_cal_0},根据末端执行机构移动到规划的入针点位置,计算出理论显影点的位置,并施加坐标变换T_rob_mri,记为{P_cal_t};
按就近匹配的原则,在{P_real}中筛选出与{P_cal_t}空间位置之间的距离满足设定范围的子集,然后计算偏差,记为err1;
根据末端执行机构上显影点与穿刺针相对位置关系,以及{P_real},计算出模拟的实际进针路径,计算其与规划路径之间的夹角,记为theta;
原标记的病灶位置V_tp到模拟的实际进针路径的最短直线距离,记为err2;及
原标记的病灶位置V_tp到病灶点新坐标V_tp_2之间的直线距离,记为delta;
err1、theta、err2、delta若小于预设的阈值,则继续输出规划路径;若大于预设的阈值,则重新规划路径。
优选的,还包括执行模块,完成路径规划后,所述执行模块接收移动到入针点、前进、后退、复位的控制指令,并控制末端执行机构的移动,完成穿刺动作。
优选的,还包括存储模块,用于保存接收到的影像序列图像、坐标点、计算的中间结果以及预设的数值和阈值。
本发明还提供了一种服务器,用于控制所述的穿刺手术规划系统,所述服务器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的步骤:
根据M个显影点配准得到的坐标变换关系T_rob_mri,M<N,以及N-M个未参与配准的显影点在图像空间中成像的位置,计算N-M个未参与配准的显影点在机器人空间位置坐标,根据所述N-M个未参与配准的显影点在机器人空间位置坐标与其在机器人空间初始位姿下的坐标之间的差异对坐标变换关系T_rob_mri进行校验;
对末端执行机构初次移动到规划的入针点位置后,再次获取显影点新坐标和病灶点新坐标,并计算穿刺过程中的实际进针路径,根据实际进针路径与规划穿刺路径之间的偏差对所述规划穿刺路径进行校验。
本发明提供了一种非瞬时性计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现所述服务器存储的执行步骤。
经由上述的技术方案可知,与现有技术相比,本发明的有益效果包括:
本发明提供支持穿刺手术规划系统,适用于磁共振或CT引导下的穿刺手术,尤其是配合手术机器人使用时,对其空间位置配准过程的系统误差和因患者呼吸或位移等造成的路径偏差,有可靠的和可量化的自校验能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图;
图1为本发明一种实施例提供的穿刺手术规划系统的框图;
图2为本发明一种实施例提供的显影装置的结构示意图;
图3为本发明一种实施例提供的标记模块规划穿刺路径的流程图;
图4为本发明一种实施例提供的第二自校验模块的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例第一方面提供了一种穿刺手术规划系统,机器人的末端执行机构上设有穿刺针和具有N个显影点的显影装置,N>3,系统包括:影像处理模块、配准模块、第一自校验模块、有效空间约束模块、标记模块和第二自校验模块;影像处理模块接收连续的影像序列图像,图像中的像素点在图像空间具有三维坐标,建立图像空间到手术空间的坐标变换关系T_img_mri;配准模块在图像空间中标记显影装置在图像空间中成像的显影点的点集,根据各个显影点在机器人空间初始位姿下的坐标点集计算得到机器人空间到手术空间的坐标变换关系T_rob_mri;第一自校验模块根据M个显影点配准得到的坐标变换关系T_rob_mri,M<N,以及N-M个未参与配准的显影点在图像空间中成像的位置,计算N-M个未参与配准的显影点在机器人空间位置坐标,根据N-M个未参与配准的显影点在机器人空间位置坐标与其在机器人空间初始位姿下的坐标之间的差异对坐标变换关系T_rob_mri进行校验;有效空间约束模块用于生成图像空间中的点云,作为穿刺针路径规划的约束条件;标记模块根据约束条件在图像空间中标记病灶点和入针点,结合坐标变换关系T_img_mri和坐标变换关系T_rob_mri规划穿刺路径;第二自校验模块对末端执行机构初次移动到规划的入针点位置后,再次获取显影点新坐标和病灶点新坐标,并计算穿刺过程中的实际进针路径,根据实际进针路径与规划穿刺路径之间的偏差对规划穿刺路径进行校验。
本实施例中,显影装置为设置在机器人末端执行机构上的一些标记点,MRI扫描时会同时扫描人体和显影装置,用于机器人、人体、MRI设备之间的坐标系配准。
如图2所示,显影装置1上设有6个显影点10,显影点10可以由若干个独立的含有特定液体(例如油、水或显影剂等)的小球组成(也可以是其它的构型,例如线段、交叉、网格等),显影点10设置于显影装置1上的显影点放置槽11。显影装置固定于机械臂的末端执行机构上。显影装置1组成部分的一个要求是其中任意三点不共线,其连线非对称,且显影点之间的连接结构为刚性结构,即显影点之间相对位置不变。
在一个实施例中,影像处理模块从外部设备接收连续的核磁影像序列或CT影像序列,外部设备包括:磁共振成像仪、PACS影像库、本地磁盘存储等。
在一个实施例中,影像序列图像包括参数集1和参数集2:
影像序列有关联的参数集1:[像素宽度、像素高度、总层数],其中第一幅图像左上角位置默认为原点坐标(0,0,0),法向量默认为(0,0,1),构成了直角坐标系下的图像空间(S_img),每幅图像中的每个像素点在此空间内都有一个确定的x、y、z三维坐标(以像素为单位);
影像序列有关联的参数集2:[第一幅图像左上角在手术空间的原点位置、图像平面在手术空间中的法向量、像素间距、图像层间距],根据此参数集,可建立图像空间到手术空间(S_mri)的坐标变换关系(T_img_mri),得到每个像素点在手术空间中的坐标(以mm为单位)。手术空间坐标系即在核磁成像设备下的空间坐标系。
本实施例中,影像处理模块还根据上述信息,对影像序列在三维空间中进行重构,例如,原始图像扫描时的方向为横断位,则可生成其它两个体位(即冠状位和矢状位)的影像序列,以及立体影像,分别加载到不同的2D或3D视图中。
本实施例中,在和用户的交互中,该模块可将屏幕上的每个兴趣点(例如各种标记点,或光标指向的焦点位置等)通过坐标变换关系T_img_mri,将其在手术空间中的物理坐标位置呈现出来,反之亦然,即将手术空间中的物理坐标通过坐标变换呈现在屏幕上,以标记点示出。
在一个实施例中,配准模块执行如下步骤:
显影装置以机器人空间(S_rob)下的点集{P_rob}来表示,在图像空间中通过用户人工或机器选择若干个最清晰的点,标记其球心位置,形成图像空间中候选显影点的点集{P_img-sel},确定点集{P_img-sel}的长度sizeof({P_img-sel}),例如总显影点个数为6,选择3个清晰的显影点,则sizeof({P_img-sel})=3。
已知各个显影点在显影装置上初始位姿下的坐标,它以机器人空间下的点集{P_rob}来表示,所述配准模块根据sizeof({P_img-sel})将{P_rob}分为若干子集,所述子集是长度为sizeof({P_img-sel})的全排列。例如,6个显影点构成的点集,6个显影点中以排列组合的方式选择3个显影点形成120个子集,每个子集的长度均为3。
将其中每一个子集与{P_img-sel}之间做线性变换,确定与{P_img-sel}拟合度满足设定阈值的拟合子集;线性变换的目的是让子集的空间布局与点集{P_img-sel}的空间布局最为接近,即变换为拟合度最高的空间布局状态下的坐标,线性变换包括空间旋转等操作。
在所述拟合子集中取满足预设条件的子集对应的坐标变换关系,作为机器人空间到手术空间的变换T_rob_mri,即为配准结果。
在一个实施例中,由于显影装置(例如小球,其它构型同理)具有一定的体积,在核磁图像中可能会跨层,也可能会有局部的模糊或变形,使得用户标记的显影点坐标与理想的位置之间可能会有一定的偏差,使得最终的配准转换关系也存在一定的偏差,这会影响末端执行机构穿刺的精度。
为衡量该配准偏差的大小,本系统采用自校验的方法来评估。第一自校验模块对坐标变换关系T_rob_mri进行校验的具体步骤包括:
N选取大于或等于5的整数。计算N-M个未参与配准的显影点在机器人空间位置坐标,即:INV(T_rob_mri)×[{P_img-rest}×T_img_mri]),其中,INV为逆变换函数,INV(T_rob_mri)是指从机器人空间到手术空间的逆变换关系,也可以记为T_mri_rob(即从手术空间到机器人空间的变换)。{P_img-rest}表示“剩余的”N-M个未参与配准的显影点集合,其坐标是以图像空间为参照系的(因为是在扫描图像上对其位置进行的标记)。×表示对点集的坐标施加相应空间变换;
根据计算出的N-M个未参与配准的显影点在机器人空间位置坐标,和N-M个未参与配准的显影点在机器人空间初始位姿下的坐标之间的误差,记为epsilon;
如果epsilon大于预设的阈值threshold,则重新配准。
本实施例中,选取5个显影点。MRI扫描时,可以同时扫描到人体和5个显影点,显示在MRI图像中,可以获取到这些点在MRI图像空间中的位置。选取其中3个显影点,用这三个点的坐标信息,将MRI坐标系和机器人坐标系进行配准,得到坐标变换关系T_rob_mri。配准即MRI影像中的位置信息和机器人的位置信息可以对应上。
[{P_img-rest}×T_img_mri]就是把剩余2个未参与配准的显影点坐标从图像空间变换到手术空间中;再经“INV(T_rob_mri)”就进一步把其坐标变换到了机器人空间下。
由于这2个显影点在显影装置上的(机器人空间下的)物理坐标在出厂时是已知的,通过比较出厂坐标,以及对配准后相应显影点坐标反向计算出的位置之间的差异,即可衡量配准精度。
出厂设定坐标指的是N个显影点在机器人上的位置是固定的,它们在机器人坐标系中有自己固定的位置。
而此时,根据这2个点在MRI图像中的位置,通过上述公式可以重新计算出它们在机器人坐标系的位置。而这个计算出的位置,和这2个点在机器人上实际位置的差异,可以用于验证机器人和MRI之间的配准是否准确。
在一个实施例中,可在N个显影点中取多组不同的M个点进行组合(即:C(N,M)),然后用每一种组合做配准(剩余N-M个点做校验),并用以上方法计算各自的误差,取其最大值作为epsilon。
如果epsilon大于某个预设的阈值threshold,则认为该配准的偏差过于显著(通常是由于图像中的显影点变形或手工标记位置偏差等引起的),需要重新扫描标记并配准,否则可继续进行后续流程。
在一个实施例中,穿刺针(包括消融针)从皮肤表面的入针点穿刺行进到病灶点的过程中,必须避开途经的肋骨、大血管、神经等,同时还要兼顾手术机器人末端执行机构(或穿刺针)的可达范围等。这些前提均作为穿刺路径规划时应符合的约束条件;所选的穿刺路径,均应位于符合这些约束条件的空间中才能保证穿刺路径的有效性和安全性。
有效空间约束模块负责生成“点云”,作为路径规划中应符合的约束条件,供标记模块使用。点云包括下面任意一种或多种的组合:
点云1:穿刺针在末端执行机构的带动下在机器人坐标空间内所有可达的位置坐标,通过坐标变换T_rob_mri×INV(T_img_mri)叠加呈现到图像空间,即机械臂末端执行机构操作穿刺针可以覆盖的病灶范围。
点云2:可直线到达已标记病灶点的末端执行机构在机器人坐标空间内的所有末端姿态位置坐标,通过坐标变换T_rob_mri×INV(T_img_mri)叠加呈现到图像空间。即为了直线到达该病灶点,机械臂的末端执行机构可以处于的位置的范围。
点云2和点云1是一种相对的关系。前者是病灶固定,机械臂末端运动范围为点云;后者是机械臂末端固定,覆盖的病灶范围为点云。
点云3:距离皮肤表面给定距离(例如<=0.5cm)之内的空间范围;该范围可由人工在各个视图中手工圈定,或是利用边缘检测算法自动生成。
点云4:通过组织分割和三维重建方法构造的图像空间内需要规避区域(如肋骨、大血管、神经等)三维模型的外边缘。
在一个实施例中,标记模块用来在图像空间中标记病灶点和入针点,规划合适的穿刺路径。如图3所示步骤如下:
通过逐层浏览各个2D或3D视图,确定待穿刺的病灶点,该病灶点需位于点云1的空间内(如无法满足,需要调整机械臂安装位置或患者体位或更长型号的穿刺针,并重新执行扫描和配准等步骤)。标注其坐标位置,记为V_tp;
在给定V_tp的前提下,加载与之关联的点云2(实时生成),并与点云3取交集;
在交集空间内,尝试标记若干个穿刺入针点V_ep’。对于每次尝试的候选点,都用一个直径与穿刺针型号相匹配的细长圆柱体(进针候选路径)连接;
该候选进针路径不能与点云4的外轮廓及其内部的空间有任何重叠;
此外,还需检查候选进针路径是否符合允许的穿刺倾角范围等其它术式要求。
选择若干个穿刺入针点V_ep’中满足以上约束条件的点V_ep,记录该V_ep作为最终选定的穿刺入针点,它与V_tp之间的连线,即为规划好的穿刺路径。
在一个实施例中,在执行消融针的穿刺过程中,尤其是对于肝癌穿刺手术来说,针体进入肝实质之前,患者体位保持稳定很重要,但有时会因呼吸或是移动(尤其在非全麻状态下)使得待穿刺部位产生位移,与规划路径不一致,影响穿刺精度,如果位移过大,甚至会产生额外风险。因此需要对此状态进行实时的评估。
另一方面,在核磁引导的穿刺手术场景下,由于针体未进入患者体内前,是无法在图像上看到的,只能根据(可见的)显影点与针体在机械臂末端安装的相对位置来估算其理论上的物理位置。但由于显影点在扫描图像上的清晰度、轮廓畸变大小、配准点标注的准确性等因素,使得上述估算存在一定的系统误差。
综合以上因素,需要对穿刺过程中的规划路径、实际进针路径、目标病灶最新位置之间的一致程度进行动态评估,衡量偏差是否在可动态调整的幅度之内。
第二自校验模块用来动态评估上述偏差,如图4所示,其根据实际进针路径与规划穿刺路径之间的偏差对规划穿刺路径进行动态校验的步骤包括:
在机械臂初次移动(到规划的入针点位置)后,再次扫描实时影像;
在图像上标记全部可见的显影点坐标{P_real},以及同一个病灶的新位置V_tp_2;
取配准矩阵计算时所采用的显影点子集(个数为N-M),该显影点子集初始位姿下的坐标记为{P_cal_0},经过移动后的末端执行机构的姿态相对于初始位姿整体形成一个变换关系。
由于显影装置(包括显影点)相对于末端执行机构的机器人空间下的坐标位置是确定的,根据执行模块指引的已知的机械臂移动的路径和移动到的目标位置,结合上述变换关系,计算出移动后上述显影点在机器人空间下的理论位置,并施加坐标变换T_rob_mri,记为{P_cal_t};
按就近匹配的原则,在{P_real}中筛选出与{P_cal_t}空间位置最为接近的子集(个数也为N-2),然后计算它们之间的整体偏差(例如欧式距离取平均),记为err1;
根据机械臂末端执行机构上显影点与消融针相对位置关系,以及{P_real},计算出实际进针路径(因为暂时在核磁影像上不可见,也可称为模拟进针路径),计算它与规划路径(矢量)之间的夹角,记为theta;
原标记的病灶位置V_tp到模拟进针路径(延长线)上的最短(垂直)距离,记为err2;
原标记的病灶位置V_tp到该病灶新的位置V_tp_2之间的直线距离,记为delta。
以上4个偏差量:err1、theta、err2、delta,分别与预设的阈值比较,或是综合在一起(例如加权求和)与预设的阈值比较;如果是小于,说明当前穿刺方向可以直接到达病灶或仅经过微调即可到达病灶;反之如果是大于,说明当前穿刺方向由于位移或其它因素,使得很难仅靠微调(而不对途经的器官组织造成额外损伤)到达病灶,此时就需要退针、调节位姿或再次规划路径后再进行穿刺。
本实施例的二次校验能够校准机械臂移动后的末端执行机构自身的理论偏差,以及患者呼吸起伏幅度导致的病灶点位移偏差和规划路径的偏差,最终使上述偏差处于本实施例所述穿刺手术规划系统规划路径的允许误差范围内。
在一个实施例中,还包括执行模块,完成路径规划后,执行模块接收移动到入针点、前进、后退、复位的控制指令,并控制末端执行机构的移动,完成穿刺动作。在发送指令的同时,也会将每个动作起止点在手术空间内的坐标值和配准矩阵T_rob_mri等发送给机械臂,由其自行转换到机器人空间坐标,以及各个关节的运动方向、角度、距离等参数。
在一个实施例中,还包括存储模块,与其它模块共同工作,用于保存接收到的影像序列图像、坐标点、计算的中间结果以及预设的数值和阈值。
本实施第二方面提供了一种服务器,用于控制实施例第一方面的穿刺手术规划系统,服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的步骤:
根据M个显影点配准得到的坐标变换关系T_rob_mri,M<N,以及N-M个未参与配准的显影点在图像空间中成像的位置,计算N-M个未参与配准的显影点在机器人空间位置坐标,根据N-M个未参与配准的显影点在机器人空间位置坐标与其在机器人空间初始位姿下的坐标之间的差异对坐标变换关系T_rob_mri进行校验;
对末端执行机构初次移动到规划的入针点位置后,再次获取显影点新坐标和病灶点新坐标,并计算穿刺过程中的实际进针路径,根据实际进针路径与规划穿刺路径之间的偏差对规划穿刺路径进行校验。
本实施第三方面提供了一种非瞬时性计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现实施例第二方面的步骤。
以上对本发明所提供的穿刺手术规划系统进行了详细介绍,本实施例中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本实施例中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本实施例所示的这些实施例,而是要符合与本实施例所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种穿刺手术规划系统,其特征在于,机器人的末端执行机构上设有穿刺针和具有N个显影点的显影装置,N>3,所述系统包括:影像处理模块、配准模块、第一自校验模块、有效空间约束模块、标记模块和第二自校验模块;其中
所述影像处理模块接收连续的影像序列图像,所述图像中的像素点在图像空间具有三维坐标,建立图像空间到手术空间的坐标变换关系T_img_mri;
所述配准模块在图像空间中标记所述显影装置在所述图像空间中成像的显影点的点集,根据各个显影点在机器人空间初始位姿下的坐标点集计算得到机器人空间到手术空间的坐标变换关系T_rob_mri;
所述第一自校验模块根据M个显影点配准得到的坐标变换关系T_rob_mri,M<N,以及N-M个未参与配准的显影点在图像空间中成像的位置,计算N-M个未参与配准的显影点在机器人空间位置坐标,根据所述N-M个未参与配准的显影点在机器人空间位置坐标与其在机器人空间初始位姿下的坐标之间的差异对坐标变换关系T_rob_mri进行校验;
有效空间约束模块用于生成图像空间中的点云,作为穿刺针路径规划的约束条件;
标记模块根据所述约束条件在图像空间中标记病灶点和入针点,结合坐标变换关系T_img_mri和坐标变换关系T_rob_mri规划穿刺路径;
第二自校验模块对末端执行机构初次移动到规划的入针点位置后,再次获取显影点新坐标和病灶点新坐标,并计算穿刺过程中的实际进针路径,根据实际进针路径与规划穿刺路径之间的偏差对所述规划穿刺路径进行校验。
2.根据权利要求1所述的穿刺手术规划系统,其特征在于,N个显影点之间在末端执行机构上的相对位置固定,且其中任意三点不共线。
3.根据权利要求1所述的穿刺手术规划系统,其特征在于,影像序列图像包括参数集1和参数集2:
参数集1[像素宽度、像素高度、总层数],其中第一幅图像左上角位置默认为原点坐标(0,0,0),法向量默认为(0,0,1),构成了直角坐标系下的图像空间,每幅图像中的每个像素点在此空间内都有一个三维坐标;
参数集2[第一幅图像左上角在手术空间的原点位置、图像平面在手术空间中的法向量、像素间距、图像层间距],用于建立图像空间到手术空间的坐标变换关系T_img_mri,得到每个像素点在手术空间中的坐标。
4.根据权利要求1所述的穿刺手术规划系统,其特征在于,所述配准模块执行如下步骤:
在图像空间中通过选择若干个清晰度大于设定值的显影装置的成像点,标记其球心位置,形成图像空间中候选显影点的点集{P_img-sel},确定点集{P_img-sel}的长度sizeof({P_img-sel});
已知各个显影点在显影装置上初始位姿下的坐标,它以机器人空间下的点集{P_rob}来表示,所述配准模块根据sizeof({P_img-sel})将{P_rob}分为若干子集,所述子集是长度为sizeof({P_img-sel})的全排列,将其中每一个子集与{P_img-sel}之间做线性变换,确定与{P_img-sel}拟合度满足设定阈值的拟合子集;
在所述拟合子集中取满足预设条件的子集对应的坐标变换关系,作为机器人空间到手术空间的变换T_rob_mri,即为配准结果。
5.根据权利要求4所述的穿刺手术规划系统,其特征在于,所述第一自校验模块对坐标变换关系T_rob_mri进行校验的具体步骤包括:
计算所述N-M个未参与配准的显影点在机器人空间位置坐标,即:INV(T_rob_mri)×[{P_img-rest}×T_img_mri],其中,INV(T_rob_mri)指从机器人空间到手术空间的逆变换关系,×表示对点集的坐标施加相应空间变换,{P_img-rest}表示N-M个未参与配准的显影点集合;
根据计算出的所述N-M个未参与配准的显影点在机器人空间位置坐标,和所述N-M个未参与配准的显影点在机器人空间初始位姿下的坐标之间的误差,确定所述配准模块是否重新执行配准操作。
6.根据权利要求1所述的穿刺手术规划系统,其特征在于,所述点云包括下面任意一种或多种的组合:
点云1:所述穿刺针在所述末端执行机构的带动下在机器人坐标空间内所有可达的位置坐标,通过坐标变换T_rob_mri×INV(T_img_mri)叠加呈现到图像空间;
点云2:可直线到达已标记所述病灶点的所述末端执行机构在机器人坐标空间内的所有末端姿态位置坐标,通过坐标变换T_rob_mri×INV(T_img_mri)叠加呈现到图像空间;
点云3:距离皮肤表面给定距离之内的图像空间内的空间范围;
点云4:通过组织分割和三维重建方法构造的图像空间内需要规避区域三维模型的外边缘。
7.根据权利要求1所述的穿刺手术规划系统,其特征在于,所述第二自校验模块根据实际进针路径与规划穿刺路径之间的偏差对所述规划穿刺路径进行动态校验的步骤包括:
末端执行机构初次移动到规划的入针点位置后,再次扫描实时影像;
在所述影像上标记全部可见的显影点坐标{P_real},以及同一个病灶点的新坐标V_tp_2;
取所述M个显影点,记为{P_cal_0},根据末端执行机构移动到规划的入针点位置,计算出理论显影点的位置,并施加坐标变换T_rob_mri,记为{P_cal_t};
按就近匹配的原则,在{P_real}中筛选出与{P_cal_t}空间位置之间的距离满足设定范围的子集,然后计算偏差,记为err1;
根据末端执行机构上显影点与穿刺针相对位置关系,以及{P_real},计算出模拟的实际进针路径,计算其与规划路径之间的夹角,记为theta;
原标记的病灶位置V_tp到模拟的实际进针路径的最短直线距离,记为err2;
原标记的病灶位置V_tp到病灶点新坐标V_tp_2之间的直线距离,记为delta;
err1、theta、err2、delta若均小于预设的阈值,则继续输出规划路径;若其中任一个大于预设的阈值,则重新规划路径。
8.根据权利要求1所述的穿刺手术规划系统,其特征在于,还包括执行模块,完成路径规划后,所述执行模块接收移动到入针点、前进、后退、复位的控制指令,并控制末端执行机构的移动,完成穿刺动作。
9.一种服务器,其特征在于,用于控制权利要求1-8中任一项所述的穿刺手术规划系统,所述服务器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的步骤:
根据M个显影点配准得到的坐标变换关系T_rob_mri,M<N,以及N-M个未参与配准的显影点在图像空间中成像的位置,计算N-M个未参与配准的显影点在机器人空间位置坐标,根据所述N-M个未参与配准的显影点在机器人空间位置坐标与其在机器人空间初始位姿下的坐标之间的差异对坐标变换关系T_rob_mri进行校验;
对末端执行机构初次移动到规划的入针点位置后,再次获取显影点新坐标和病灶点新坐标,并计算穿刺过程中的实际进针路径,根据实际进针路径与规划穿刺路径之间的偏差对所述规划穿刺路径进行校验。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310102262.8A CN115775611B (zh) | 2023-02-13 | 2023-02-13 | 一种穿刺手术规划系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310102262.8A CN115775611B (zh) | 2023-02-13 | 2023-02-13 | 一种穿刺手术规划系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115775611A CN115775611A (zh) | 2023-03-10 |
CN115775611B true CN115775611B (zh) | 2023-06-09 |
Family
ID=85393609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310102262.8A Active CN115775611B (zh) | 2023-02-13 | 2023-02-13 | 一种穿刺手术规划系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115775611B (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112220557B (zh) * | 2019-06-30 | 2022-06-21 | 苏州理禾医疗技术有限公司 | 用于颅脑穿刺的手术导航及机器臂装置及定位方法 |
CN110464459B (zh) * | 2019-07-10 | 2022-04-15 | 丽水市中心医院 | 基于ct-mri融合的介入计划导航系统及其导航方法 |
CN111110351B (zh) * | 2020-01-10 | 2021-04-30 | 北京天智航医疗科技股份有限公司 | 用于检测关节置换手术机器人系统精度的组件和方法 |
CN112006779B (zh) * | 2020-09-27 | 2024-05-03 | 安徽埃克索医疗机器人有限公司 | 一种手术导航系统精度检测方法 |
CN112155729B (zh) * | 2020-10-15 | 2021-11-23 | 中国科学院合肥物质科学研究院 | 手术穿刺路径智能自动化规划方法及系统和医疗系统 |
CN113393506B (zh) * | 2021-06-25 | 2022-12-27 | 浙江商汤科技开发有限公司 | 图像配准方法及相关装置、设备 |
CN114404041B (zh) * | 2022-01-19 | 2023-11-14 | 上海精劢医疗科技有限公司 | C型臂成像参数校准系统及方法 |
-
2023
- 2023-02-13 CN CN202310102262.8A patent/CN115775611B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115775611A (zh) | 2023-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11202652B2 (en) | Registration and motion compensation for patient-mounted needle guide | |
US20240277420A1 (en) | Systems and methods for guiding tissue resection | |
TWI615126B (zh) | 影像增強真實度之方法與應用該方法在可穿戴式眼鏡之手術導引 | |
US6259943B1 (en) | Frameless to frame-based registration system | |
CN103040525B (zh) | 一种多模医学影像手术导航方法及系统 | |
US8781186B2 (en) | System and method for abdominal surface matching using pseudo-features | |
CN102784003B (zh) | 一种基于结构光扫描的椎弓根内固定手术导航系统 | |
US20190365475A1 (en) | Systems and methods for guiding tissue resection | |
JP2002186603A (ja) | 対象物の案内のための座標変換法 | |
JP2008126075A (ja) | Ctレジストレーション及びフィードバックの視覚的検証のためのシステム及び方法 | |
US10588702B2 (en) | System and methods for updating patient registration during surface trace acquisition | |
Zeng et al. | A surgical robot with augmented reality visualization for stereoelectroencephalography electrode implantation | |
CN114652443A (zh) | 超声手术导航系统及方法、存储介质及设备 | |
Cash et al. | Incorporation of a laser range scanner into an image-guided surgical system | |
BR102018076393A2 (pt) | Mapas faciais codificados por cores com distância entre os ossos do ouvido, nariz e garganta | |
CN114404039B (zh) | 三维模型的组织漂移校正方法、装置、电子设备及存储介质 | |
CN113229937A (zh) | 一种利用实时结构光技术实现手术导航的方法和系统 | |
CN115775611B (zh) | 一种穿刺手术规划系统 | |
EP1653853B1 (en) | Using magnetic resonance images for locating anatomical targets | |
CN116942129A (zh) | 基于slam的混合现实体内病灶体表定位方法及系统 | |
CN112107366B (zh) | 一种混合现实超声导航系统 | |
EP4329580A1 (en) | Method and device for generating an uncertainty map for guided percutaneous procedures | |
RU2790761C1 (ru) | Интерактивный медицинский фантом для отработки навыков проведения функциональных стереотаксических вмешательств | |
CN112076401B (zh) | 高强度聚焦超声治疗系统 | |
CN217014241U (zh) | 定位设备和定位系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |