CN116077155A - 基于光学追踪设备和机械臂的穿刺方法及相关装置 - Google Patents
基于光学追踪设备和机械臂的穿刺方法及相关装置 Download PDFInfo
- Publication number
- CN116077155A CN116077155A CN202310359467.4A CN202310359467A CN116077155A CN 116077155 A CN116077155 A CN 116077155A CN 202310359467 A CN202310359467 A CN 202310359467A CN 116077155 A CN116077155 A CN 116077155A
- Authority
- CN
- China
- Prior art keywords
- puncture
- needle
- point
- ultrasonic
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000003287 optical effect Effects 0.000 title claims abstract description 61
- 239000000523 sample Substances 0.000 claims abstract description 87
- 210000000056 organ Anatomy 0.000 claims abstract description 53
- 239000013598 vector Substances 0.000 claims description 66
- 238000002604 ultrasonography Methods 0.000 claims description 61
- 238000003780 insertion Methods 0.000 claims description 20
- 230000037431 insertion Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013519 translation Methods 0.000 claims description 12
- 238000002591 computed tomography Methods 0.000 claims description 7
- DMSMPAJRVJJAGA-UHFFFAOYSA-N benzo[d]isothiazol-3-one Chemical compound C1=CC=C2C(=O)NSC2=C1 DMSMPAJRVJJAGA-UHFFFAOYSA-N 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000035515 penetration Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 210000003734 kidney Anatomy 0.000 description 3
- 239000004575 stone Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 208000000913 Kidney Calculi Diseases 0.000 description 2
- 206010029148 Nephrolithiasis Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010018364 Glomerulonephritis Diseases 0.000 description 1
- 206010029164 Nephrotic syndrome Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003721 gunpowder Substances 0.000 description 1
- 238000013188 needle biopsy Methods 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
- A61B2017/3405—Needle locating or guiding means using mechanical guide means
- A61B2017/3409—Needle locating or guiding means using mechanical guide means including needle or instrument drives
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
- A61B2017/3413—Needle locating or guiding means guided by ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/305—Details of wrist mechanisms at distal ends of robotic arms
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Robotics (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请实施例提供了基于光学追踪设备和机械臂的穿刺方法及相关装置,该方法包括:在使用超声探头扫描到目标靶点的情况下,基于超声探头的位置确定穿刺路径;该目标靶点是根据重建的目标器官确定的;向机械臂发送控制指令,该控制指令用于根据M个标记物控制机械臂移动;在虚拟手术针的针尖位置与目标靶点重合,且虚拟手术针的针体方向与穿刺路径重合的情况下,生成第一提示信息,该第一提示信息用于提示:在穿刺针安装到穿刺导轨的情况下,沿着穿刺导轨进行穿刺;该虚拟手术针是基于穿刺针的实体结构以及穿刺针与机械臂之间的位置关系重建得到的。通过本申请提供的方法可以减少穿刺过程花费的时长,且提高穿刺精度。
Description
技术领域
本申请实施例涉及计算机技术领域,具体涉及基于光学追踪设备和机械臂的穿刺方法及相关装置。
背景技术
随着计算机科学技术的不断发展,医学技术也随之迎来了重大突破。目前,许多手术场景都需要进行穿刺,以获取病灶组织进行诊断或治疗等。例如,在经皮肾镜碎石手术中,需要以肾部结石为目标靶点进行穿刺,然后进行碎石操作,以达到治疗肾结石的目的。
目前,穿刺手术依赖医生等操作者的经验,穿刺过程耗时长,且穿刺精度低。
发明内容
本申请实施例提供了一种基于光学追踪设备和机械臂的穿刺方法及相关装置,通过本申请提供的方法可以减少穿刺过程花费的时长,且提高穿刺精度。
第一方面,本申请实施例提供了一种基于光学追踪设备和机械臂的穿刺方法,应用于手术导航系统中的电子设备,上述手术导航系统包括上述电子设备、光学追踪设备、超声设备以及机械臂;上述机械臂与穿刺导引器固定连接,上述穿刺导引器与穿刺导轨固定连接,上述穿刺导轨用于夹持穿刺针;上述穿刺导引器上设置有M个标记物,上述穿刺针上设置有N个标记物,上述超声设备的超声探头上设置有K个标记物,上述M、上述K均为大于或等于3的整数,上述N大于或等于1的整数;上述光学追踪设备通过追踪上述M个标记物对上述穿刺导引器进行定位、通过追踪上述K个标记物对上述超声探头进行定位以及通过追踪上述N个标记物对上述穿刺针进行定位;包括:
在使用上述超声探头扫描到目标靶点的情况下,基于上述超声探头的位置确定穿刺路径;上述目标靶点是根据重建的目标器官确定的;
向上述机械臂发送控制指令,上述控制指令用于根据上述M个标记物控制上述机械臂移动;
在虚拟手术针的针尖位置与上述目标靶点重合,且上述虚拟手术针的针体方向与上述穿刺路径重合的情况下,生成第一提示信息,上述第一提示信息用于提示:在上述穿刺针安装到上述穿刺导轨的情况下,沿着上述穿刺导轨进行穿刺;上述虚拟手术针是基于上述穿刺针的实体结构以及上述穿刺针与上述机械臂之间的位置关系重建得到的。
结合第一方面,在一种可能的实现方式中,上述在使用上述超声探头扫描到目标靶点的情况下,基于上述超声探头的位置确定穿刺路径之前,上述方法还包括:
获取上述目标器官的计算机断层扫描(computed tomography,CT)轮廓,上述CT轮廓是根据CT设备采集的CT图像得到的;
确定超声坐标系下的第一参考方向转换到世界坐标系下的第一方向向量、上述超声坐标系下的第二参考方向转换到上述世界坐标系下的第二方向向量以及上述超声坐标系下的第三参考方向转换到上述世界坐标系下的第三方向向量;上述第一参考方向、上述第二参考方向以及上述第三参考方向是上述超声设备对应的空间和上述CT轮廓对应的空间共有的;上述超声坐标系为上述超声设备对应的坐标系;
确定CT坐标系下的上述第一参考方向转换到上述世界坐标系下的第四方向向量、上述CT坐标系下的上述第二参考方向转换到上述世界坐标系下的第五方向向量以及上述CT坐标系下的上述第三参考方向转换到上述世界坐标系下的第六方向向量,上述CT坐标系为CT设备对应的坐标系;
基于上述第一方向向量与上述第四方向向量之间的第一夹角和第一位置偏移、上述第二方向向量与上述第五方向向量之间的第二夹角和第二位置偏移以及上述第三方向向量与上述第六方向向量之间的第三夹角和第三位置偏移确定旋转平移矩阵;
基于上述旋转平移矩阵对上述CT轮廓进行变换,得到变换后的CT轮廓;
获取上述目标器官的超声轮廓,上述超声轮廓是根据上述超声探头采集的多张超声图像得到的,每张上述超声图像对应有不同的空间位置信息,上述空间位置信息是根据上述K个标记物确定的;
基于上述变换后的CT轮廓和上述超声轮廓进行配准,得到上述重建的目标器官。
结合第一方面,在一种可能的实现方式中,上述在使用上述超声探头扫描到目标靶点的情况下,基于上述超声探头的位置确定穿刺路径,包括:
在使用上述超声探头扫描到上述目标靶点的情况下,确定上述超声探头上的参考点为进针点,上述参考点位于上述超声探头的扫描面与上述超声探头相交的线段上;
基于上述目标靶点和上述进针点生成上述穿刺路径。
结合第一方面,在一种可能的实现方式中,上述方法还包括:
确定参考平面,上述参考平面与上述穿刺路径之间的夹角大于或等于第一阈值,且与上述穿刺路径相交于第一交点;
显示上述参考平面和上述第一交点;
确定上述穿刺导轨的第一端在上述参考平面上的第一投影点,以及,确定上述穿刺导轨的第二端在上述参考平面上的第二投影点;
上述在虚拟手术针的针尖位置与上述目标靶点重合,且上述虚拟手术针的针体与上述穿刺路径重合的情况下,生成第一提示信息,包括:
在上述虚拟手术针的针尖位置与上述目标靶点重合,且上述第一投影点、上述第二投影点和上述第一交点位于同一直线的情况下,生成上述第一提示信息。
结合第一方面,在一种可能的实现方式中,上述方法还包括:
显示上述第一投影点、上述第二投影点以及以下任一项或多项:
上述目标靶点到上述穿刺导轨所在直线的距离、上述进针点到上述穿刺导轨所在直线的距离、上述穿刺导轨所在直线与上述穿刺路径之间的夹角。
结合第一方面,在一种可能的实现方式中,上述方法还包括:
在将穿刺针安装到上述穿刺导轨上,沿着上述穿刺导轨进行穿刺的过程中,基于上述N个标记物实时确定上述穿刺针的针尖在光学坐标系下的针尖位置,上述光学坐标系为上述光学追踪设备对应的坐标系;
显示第一距离和第二距离,上述第一距离为上述穿刺针的针尖位置与上述进针点之间的距离,上述第二距离为上述穿刺针的针尖位置与上述目标靶点之间的距离;
在上述穿刺针的针尖位置与上述目标靶点重合的情况下,生成第二提示信息,上述提示信息用于提示穿刺针到达上述目标靶点。
第二方面,本申请实施例提供了一种基于光学追踪设备和机械臂的穿刺装置,包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的单元。
第三方面,本申请实施例提供了一种手术导航系统,系统包括电子设备、光学追踪设备、超声设备以及机械臂;上述机械臂与穿刺导引器固定连接,上述穿刺导引器与穿刺导轨固定连接,上述穿刺导轨用于夹持穿刺针;上述穿刺导引器上设置有M个标记物,上述穿刺针上设置有N个标记物,上述超声设备的超声探头上设置有K个标记物,上述M、上述K均为大于或等于3的整数, 上述N大于或等于1的整数;
上述光学追踪设备,用于通过追踪上述M个标记物对上述穿刺导引器进行定位,以及用于通过追踪上述N个标记物对上述穿刺针进行定位,以及用于通过追踪上述K个标记物对上述超声探头进行定位;
上述电子设备,用于在使用上述超声探头扫描到目标靶点的情况下,基于上述超声探头的位置确定穿刺路径;上述目标靶点是根据重建的目标器官确定的;
上述电子设备,还用于向上述机械臂发送控制指令,上述控制指令用于根据上述M个标记物控制上述机械臂移动;
上述机械臂,用于根据上述控制指令移动;
上述电子设备,还用于在虚拟手术针的针尖位置与上述目标靶点重合,且上述虚拟手术针的针体方向与上述穿刺路径重合的情况下,生成第一提示信息,上述第一提示信息用于提示:在上述穿刺针安装到上述穿刺导轨的情况下,沿着上述穿刺导轨进行穿刺;上述虚拟手术针是基于上述穿刺针的实体结构以及上述穿刺针与上述机械臂之间的位置关系重建得到的。
第四方面,本申请实施例公开了一种电子设备,包括:处理器和存储器,其中,该存储器中存储有计算机程序,该处理器调用该存储器中存储的计算机程序,用于执行如第一方面或者第一方面的任意一种可能的实施方式中的方法。
第五方面,本申请还提供了另一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如第一方面或者第一方面的任意一种可能的实施方式中的方法。
第六方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当该计算机程序在一个或多个处理器上运行时,使得如第一方面或者第一方面的任意一种可能的实施方式中的方法被执行。
第七方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品包括程序指令,该程序指令当被处理器执行时使该处理器执行如第一方面或者第一方面的任意一种可能的实施方式中的方法。
本申请实施例中,在使用超声探头扫描到目标靶点的情况下,基于超声探头的位置确定穿刺路径;目标靶点是根据重建的目标器官确定的;向机械臂发送控制指令,控制指令用于根据M个标记物控制机械臂移动;在虚拟手术针的针尖位置与目标靶点重合,且虚拟手术针的针体方向与穿刺路径重合的情况下,生成第一提示信息,第一提示信息用于提示:在穿刺针安装到穿刺导轨的情况下,沿着穿刺导轨进行穿刺;虚拟手术针是基于穿刺针的实体结构以及穿刺针与机械臂之间的位置关系重建得到的。本实施例中,通过超声设备的扫描过程确定的穿刺路径相比于直接在重建模型上确定的穿刺路径更加准确,使得穿刺精度更高;然后电子设备通过控制指令控制机械臂移动,在虚拟手术针的针尖位置与所述目标靶点重合,且虚拟手术针的针体方向与穿刺路径重合的情况下,生成第一提示信息提示穿刺,可以简化穿刺路径的寻找过程,从而减少穿刺过程花费的时长。
附图说明
图1是本申请实施例提供的一种手术导航系统的示意图;
图2是本申请实施例提供的一种基于光学追踪设备和机械臂的穿刺方法的示意图;
图3是本申请实施例提供的一种利用超声探头进行超声扫描的示意图;
图4是本申请实施例提供的一种电子设备的结构示意图;
图5是本申请实施例提供的另一种电子设备的结构示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。本申请的说明书、权利要求书及附图中的术语“第一”和“第二”等是用于区别不同对象,而不是用于描述特定顺序。
需要说明的是,本申请的说明书、权利要求书及附图中的术语“第一”、“第二”、“第三”以及“第四”等是用于区别不同对象,而不是用于描述特定顺序。还应理解,本申请实施例中,步骤前的编号是为了便于理解和描述方案而作出的,而不应该理解为对步骤执行顺序的限定。
随着计算机技术的不断发展,医学技术也随之迎来了重大突破。针对患者身体内部的病灶,常常需要进行穿刺以获取病灶组织进行诊断或治疗等。示例性地,经皮肾镜碎石手术中,需要以结石为目标靶点进行穿刺,然后对结石进行碎石后取出碎石以达到治疗的目的;又示例性地,在治疗或诊断肾部其他疾病的过程中也可能需要进行穿刺活检,比如肾小球肾炎、肾病综合征等。
目前,穿刺手术中的穿刺路径可以从重建的三维模型中确定,示例性地,可以在穿刺手术之前对目标器官进行重建,然后从重建的目标器官上确定进针点和目标靶点,进而规划出穿刺路径。可以理解,患者在穿刺手术中虽然处于麻药状态,但是患者的呼吸作用以及心跳作用依旧会导致体内的器官组织发生变化(比如位移),如果任然采用手术之前规划的穿刺路径进行穿刺将出现误差,导致穿刺过程耗时长,且穿刺精度低。
基于上述问题,本申请实施例提供了基于光学追踪设备和机械臂的穿刺方法及相关装置,通过本申请可以通过本申请提供的方法可以减少穿刺过程花费的时长,且提高穿刺精度。
本申请实施例提供的方法可以由手术导航系统中的电子设备执行,其中,上述电子设备可以是任意一种可执行本申请方法实施例所公开的技术方案的电子设备,电子设备可以是平板电脑、掌上电脑、笔记本电脑等,还可以是终端设备、服务器或者多个服务器组成的服务器集群等,在此不做限定。可选地,本申请方法实施例还可以通过处理器执行计算机程序代码的方式实现。
为便于理解,接下来先介绍本申请实施例提供的手术导航系统。示例性地,请参阅图1,图1是本申请实施例提供的一种手术导航系统的示意图。如图1所示,手术导航系统包括电子设备101、光学追踪设备102,超声设备103以及机械臂104。
本申请实施例中,光学追踪设备102可以理解为用于测量标记物的空间位置信息(比如空间坐标)的设备。示例性地,光学追踪设备102可以包括第一传感器1021和第二传感器1022。第一传感器1021可以包括第一红外发光二极管以及第一红外接收器,第二传感器1022可以包括第二红外发光二极管以及第二红外接收器。在对追踪范围内的标记物进行定位时,第一红外发光二极管和第二红外发光二极管可以产生红外光线,并照射到标记物上,标记物表面的反光涂层将红外光线反射回第一红外接收器和第二红外接收器上,光学追踪设备102利用红外光线对标记物进行定位。
本申请实施例中,机械臂104与穿刺导引器105固定连接,穿刺导引器105与穿刺导轨106固定连接,穿刺导轨106用于夹持穿刺针107。示例性地,机械臂104可以包括基座1041、关节部件1042和法兰1043,机械臂104可以通过法兰1043与穿刺导引器105固定连接。
穿刺导引器105上设置有M个标记物,穿刺针107上设置有N个标记物,上述M为大于或等于3的整数,上述N为大于或等于1的整数。可以理解的是,在三维空间中,3个点可以确定一个平面,基于上述M个标记物对应的M个坐标可以确定至少一个平面,结合穿刺导引器105的设计图可以确定出穿刺导引器105上各个位置在光学追踪设备102下的空间位置信息。本申请实施例中,穿刺针107用于在机械臂104就位后,沿着穿刺导轨106推进进行穿刺,因此,穿刺针107在穿刺过程中的方向是确定的(可以认为是穿刺导轨106的方向,也可以认为是穿刺路径的方向),在此基础上,只需要1个坐标就可以确定出穿刺针107上各个位置在光学追踪设备102下的空间位置信息,因此,上述N为大于或等于1的数。还应理解,穿刺针107上的标记物数量越少,穿刺针107的整体重量越轻,越方便操作者进行操作。
示例性地,如图1所示,穿刺导引器105可以与示踪器固定连接,示踪器上设置有4个标记物;穿刺针107可以通过锁紧结构与结构体固定连接,该结构体上设置有4个标记物。可以理解的是,在穿刺手术中,上述M个标记物和上述N个标记物均在光学追踪设备102的追踪范围内,使得光学追踪设备102通过追踪M个标记物对穿刺导引器105进行定位,通过追踪N个标记物对穿刺针107进行定位。
本申请实施例中,超声设备103可以理解为利用超声波束对待扫描对象进行扫描,然后接收上述超声波束的反射信号,对上述反射信号进行处理以获得上述待扫描对象体内目标器官的图象的设备。示例性地,超声设备103可以包括超声探头1031、第一通信单元、第一处理器和第一电源。其中,第一电源可以为超声设备103供电,第一通信单元可以用于超声设备103与电子设备101通信,第一处理器可以用于对超声探头1031采集到的数据进行处理以得到超声图像。
如图1所示,医生等操作者可以使用超声探头1031在患者108体表进行移动,以进行目标器官的超声扫描。超声探头1031上设置有K个标记物,其中,K为大于或等于3的整数。以理解的是,在三维空间中,3个点可以确定一个平面,基于上述K个标记物对应的K个坐标可以确定至少一个平面,结合超声探头1031的设计图可以确定出超声探头1031上各个位置在光学追踪设备102下的空间位置信息。示例性地,超声探头1031通过锁紧结构与结构体固定连接,如图1所示,该结构体上设置有4个标记物。可以理解的是,在穿刺手术中,上述K个标记物在光学追踪设备102的追踪范围内,使得光学追踪设备102通过追踪K个标记物对超声探头1031进行定位。
在一些实施例中,电子设备101可以包括第二通信单元、第二处理器和第二电源。其中,第二电源可以为电子设备101供电,第二通信单元用于电子设备101与机械臂104通信,和/或,用于电子设备101与光学追踪设备102通信。示例性地,电子设备101通过第二通信单元与机械臂104通信时,可以向机械臂发送控制指令,控制指令用于根据所述M个标记物控制机械臂移动;又示例性地,电子设备101通过第二通信单元与光学追踪设备102通信时,电子设备可以通过获取上述M个标记物的坐标确定穿刺导引器105的位置信息,也可以获取上述N个标记物确定穿刺针107的位置信息,还可以获取上述K个标记物确定超声设备103的位置信息等。
第二处理器用于在使用所述超声设备扫描到目标靶点的情况下,基于所述超声设备的位置确定穿刺路径;还用于生成控制指令,该控制指令用于根据M个标记物控制机械臂移动;以及还用于在虚拟手术针的针尖位置与目标靶点重合,且虚拟手术针的针体方向与穿刺路径重合的情况下,生成第二提示信息,第二提示信息用于提示:在穿刺针安装到穿刺导轨的情况下,沿着穿刺导轨进行穿刺;虚拟手术针是基于穿刺针的实体结构以及穿刺针与机械臂之间的位置关系重建得到的。
机械臂104可以包括第三通信单元、第三处理器和第三电源。其中,第三电源为机械臂104供电,第三通信单元用于机械臂104与电子设备101通信,第三处理器用于执行电子设备101发送的控制指令。
基于图1所示的手术导航系统,本申请实施例提供了基于光学追踪设备和机械臂的穿刺方法,为便于理解,示例性地,请参阅图2,图2是本申请实施例提供的一种基于光学追踪设备和机械臂的穿刺方法的示意图,上述方法可以应用于图1所示的手术导航系统中的电子设备,如图2所示,上述方法包括:
201:在使用超声探头扫描到目标靶点的情况下,基于超声探头的位置确定穿刺路径;目标靶点是根据重建的目标器官确定的。
可以理解的是,在患者准备就绪后,手术操作者可以手持超声探头在患者体表进行移动,以实现超声扫描。本申请实施例中,目标器官可以理解为目标靶点所在的器官,且该器官可以进行超声扫描和计算机断层扫描(computed tomography,CT)。示例性地,在目标靶点为结石的情况下,目标器官可以是肾脏、脾脏等。
为便于理解,请参阅图3,图3是本申请实施例提供的一种利用超声探头进行超声扫描的示意图。如图3所示,在超声探头301的位置固定的情况下,超声探头301的扫描范围可以理解为一个扫描面,例如图3所示的扫描面302。因此,为了完整地扫描目标器官,需要慢慢移动超声探头301,以便于不同位置发射的扫描面可以尽可能覆盖到整个目标器官。
本申请实施例中,在进行穿刺手术之前,可以先对目标器官进行三维重建,比如可以对目标器官的CT图像进行三维重建,然后从重建的目标器官中确定目标靶点,其中,目标靶点可以根据病灶确定,比如可以是病灶的中心等,本申请对此不作限定。在一些实施例中,可以基于CT图像和超声图像进行目标器官的重建,因此,上述步骤201,基于超声探头的位置确定穿刺路径之前,图1所示的方法还包括:
(11)获取目标器官的CT轮廓,该CT轮廓是根据CT设备采集的CT图像得到的。
本步骤中,目标器官的CT轮廓可以理解为利用CT图像重建出的三维轮廓。示例性地,可以对目标器官进行CT扫描,得到目标器官的CT图像,然后利用分割算法从CT图像中分割出目标器官的CT轮廓。
(12)确定超声坐标系下的第一参考方向转换到世界坐标系下的第一方向向量、超声坐标系下的第二参考方向转换到世界坐标系下的第二方向向量以及超声坐标系下的第三参考方向转换到世界坐标系下的第三方向向量;第一参考方向、第二参考方向以及第三参考方向是超声设备对应的空间和CT轮廓对应的空间共有的;超声坐标系为超声设备对应的坐标系。
本申请实施例中,可以将第一参考方向、第二参考方向以及第三参考方向统称为参考方向。其中,参考方向在超声设备对应的空间和CT轮廓对应的空间是共有的,可以理解为,参考方向可以在超声设备对应的空间中确定出方向向量,也可以在CT轮廓对应的空间中确定出方向向量。
示例性地,参考方向可以根据患者确定。可以理解的是,超声图像和CT图像都是基于患者采集的,即使采集超声图像与采集CT图像的时间、空间信息等不同,但是目标器官与实施对象之间的相对关系是确定的。比如,采集CT图像时,CT图像的空间坐标信息与患者的方位之间的相对关系是确定的;采集超声图像时,超声图像的空间坐标信息与患者的方位之间的相对关系也是确定的。因此,参考方向可以是根据实施对象确定的方向,比如可以是患者的脚指向头的方向(简称头方向)、背部垂直向外的(简称背部垂直方向)、患者的身体指向患者左边的方向(简称左方向),还可以是患者的头指向脚的方向(简称脚方向)、还可以是患者的身体指向患者右边的方向(简称右方向)等。
超声坐标系到世界坐标系之间的转换是基于光学追踪设备进行的,本申请实施例中,超声设备上设置有K个光学标记物,K个光学标记物与光学追踪设备之间的转换矩阵可以通过K个光学标记物的坐标得到,因此,在确定参考方向在超声坐标系的方向向量后,通过上述转换矩阵可以得到参考方向从超声坐标系转换到世界坐标系后的方向向量。
以第一参考方向为头方向,第二参考方向向量为背部垂直方向为例,在使用超声设备沿着患者背部脊椎的方向对患者肾部进行扫描时,超声坐标系的X方向与头方向相同、超声坐标系的Y方向与背部垂直方向相同。由此,在上述转换矩阵采用式(3)表示的情况下,可以得到世界坐标系下,头方向(第一参考方向)的方向向量为,背部垂直方向(第二参考方向)的方向向量为。类似地,在第三参考方向为左方向的情况下,左方向与头方向和背部最值方向满足右手法则,因此,左方向的方向向量为。
可选地,在第一参考方向、第二参考方向以及第三参考方向相互垂直的情况下,计算量小,效率高。
(13)确定CT坐标系下的第一参考方向转换到世界坐标系下的第四方向向量、CT坐标系下的第二参考方向转换到世界坐标系下的第五方向向量以及CT坐标系下的第三参考方向转换到世界坐标系下的第六方向向量,CT坐标系为CT设备对应的坐标系。
可以理解,CT设备采集图像后自动转换到世界坐标系。由于采集CT图像时患者位置特殊,例如是患者的头部先进入CT设备,因此,对患者进行CT扫描得到CT图像的X方向为左方向,CT图像的Y方向为背部垂直方向,CT图像的Z方向为头方向。由此,可以得到头方向的方向向量为(0,0,1)。同理,可以得到背部垂直方向的方向向量为(0,1,0),左方向的方向向量为(1,0,0)。
可以理解,上述采用头方向、背部垂直方向以及左方向仅仅是示例,实际情况下也可以采用其他方向以确定旋转矩阵,本申请对此不作限定。
(14)基于第一方向向量与第四方向向量之间的第一夹角和第一位置偏移、第二方向向量与第五方向向量之间的第二夹角和第二位置偏移以及第三方向向量与第六方向向量之间的第三夹角和第三位置偏移确定旋转平移矩阵。
从上述步骤(12)和步骤(13)可以理解,在患者的位姿未发生变化的情况下,患者的头方向、背部垂直方向以及左方向在现实世界中本身是一定的。但是,由于设备采用的坐标系不同,导致将超声轮廓和CT轮廓放在同一世界坐标系下后,患者的头方向、背部垂直方向以及左方向分别对应的方向向量不同,即轮廓的位姿不同。
本申请实施例中,旋转平移矩阵可以理解为包括旋转分量和平移分量的矩阵。在计算旋转平移矩阵时,可以先确定旋转分量,示例性地,可以先选定一个参考方向进行矫正,然后再对剩下的两个参考方向进行矫正。例如,在第一参考方向为头方向,第二参考方向向量为背部垂直方向,第三参考方向为左方向的情况下,可以先基于第一夹角矫正头方向,然后基于第二夹角和第三夹角计算出旋转平移矩阵的旋转分量。
本申请实施例中,方向向量之间的位置偏移用于表征方向向量之间的相对位置关系。以第一参考方向为例,经过不同变换,世界坐标系下的第一方向向量和第四方向向量可能处于不同的位置,上述第一位置偏移可以理解为第一方向向量和第四方向向量上绝对位置相同的两个点之间的位置偏移,比如方向向量的起点,或者方向向量的终点等。基于上述第一位置偏移可以确定出第一参考方向下的平移量,结合第二位置偏移和第三位置偏移可以确定出完整的平移分量。可以理解,经过旋转分量的变换可以让超声轮廓和CT轮廓的姿态相同,在此基础上,结合平移分量的变换可以让超声轮廓和CT轮廓的位置相同。
(15)基于旋转平移矩阵对所述CT轮廓进行变换,得到变换后的CT轮廓。
(16)获取目标器官的超声轮廓,超声轮廓是根据超声设备采集的多张超声图像得到的,每张超声图像对应有不同的空间位置信息,空间位置信息是根据K个标记物确定的。
本申请实施例中,超声探头上设置有K个标记物,由于K个标记物与超声探头的扫描面之间的相对位置关系是确定的,因此,将超声探头移动到不同的位置进行超声扫描时,光学追踪设备可以对通过追踪K个标记物确定出不同超声图像对应的空间位置信息。基于每张超声图像对应的空间位置信息以及分割算法,可以重建出目标器官的超声轮廓。
(17)基于变换后的CT轮廓和超声轮廓进行配准,得到重建的目标器官。
可以理解的是,超声图像是超声设备采集到的,CT图像是CT设备采集到的,最终对两个超声轮廓和CT轮廓进行配准时需要在世界坐标系下进行。其中,CT设备采集图像后自动转换到世界坐标系,转换到世界坐标系下的CT图像空间位置方向可以是任意的。超声设备采集的是二维超声图像,需要光学追踪设备的识别将二维超声图像转换到世界坐标系,因此,转换后的超声图像的三维空间位置与光学追踪设备的位置相关。但是实际情况下光学追踪设备的位置一般是随机的,比如根据手术室环境或根据用户的习惯摆放,将导致世界坐标系中的超声轮廓也是任意的,因此,超声轮廓和CT轮廓在方位(比如位置、角度)上差异较大,进而导致配准效率低。本实施例先通过参考方向对CT轮廓进行变换,使得CT轮廓和超声轮廓之间的位姿差异减小,从而提高配准效率。
以上步骤(11)-步骤(17)介绍了基于参考方向对目标器官进行变换,得到变换后的CT轮廓后再与目标器官的超声轮廓进行配准,得到重建的目标器官。可以理解,重建的CT轮廓包括目标器官的详细信息,重建的超声轮廓可以反映目标器官的实时状态,将CT轮廓与超声轮廓配准得到的目标器官更加直观精准,比如可以更加准确地得到目标器官内部组织情况,那么,从中确定的目标靶点也更加精确。示例性地,电子设备可以包括显示屏,显示屏可以用于显示重建的目标器官,电子设备还可以包括输入设备,医生等操作者可以基于显示屏显示的目标器官选择目标靶点,并显示出目标靶点的空间位置关系。其中,上述输入设备可以是键盘、鼠标、触控屏等,本申请对此不作限定。
本申请实施例中,穿刺路径可以理解为包括目标靶点和进针点的虚拟路径。在基于重建的目标器官确定出目标靶点后,本申请实施中,基于超声探头的位置确定出完整的穿刺路径。示例性地,医生可以使用超声探头在患者皮肤表面缓慢移动以对目标器官进行扫描,在超声探头的扫描面上包括目标靶点的情况下,可以认为超声探头扫描到目标靶点。此时,固定超声探头不动,电子设备获取光学追踪设备记录到的K个标记物的坐标,基于K个标记物与超声探头之间的相对位置关系从超声探头上确定出进针点的坐标,基于进针点的坐标和目标靶点的坐标即可确定出穿刺路径。其中,进针点可以有多种选取方式,只要在超声探头的扫描面上即可,可以理解,超声探头的扫描面可以扫描到目标靶点,那么从超声探头的扫描面上确定的进针点也可以穿刺到目标靶点。
在一些实施例中,上述步骤201,在使用超声探头扫描到目标靶点的情况下,基于超声探头的位置确定穿刺路径,包括:
2011:在使用超声探头扫描到目标靶点的情况下,确定超声探头上的参考点为进针点,参考点位于超声探头的扫描面与超声探头相交的线段上。
2012:基于目标靶点和进针点生成穿刺路径。
本实施例中,参考点位于超声探头的扫描面与超声探头相交的线段上,为便于理解,复用图3,如图3所示,扫描面302与超声探头301相交的线段可以理解为线段AC,上述参考点可以是线段AC上的任一点,比如可以是点A、点B或者点C。
本实施例中,将超声探头的扫描面与超声探头相交的线段上的参考点作为进针点,进针点的坐标确定过程简单,且进针点贴近患者皮肤,相比于设定在其他空间位置上更加准确直观,方便作标记。
202:向机械臂发送控制指令,控制指令用于根据M个标记物控制机械臂移动。
203:在虚拟手术针的针尖位置与目标靶点重合,且虚拟手术针的针体方向与穿刺路径重合的情况下,生成第一提示信息,第一提示信息用于提示:在穿刺针安装到穿刺导轨的情况下,沿着穿刺导轨进行穿刺;虚拟手术针是基于穿刺针的实体结构以及穿刺针与机械臂之间的位置关系重建得到的。
本申请实施例中,在机械臂移动到指定位置之前,穿刺导轨上未夹持有穿刺针,在机械臂移动到指定位置之后,医生等操作者才在穿刺导轨上安装穿刺针。但是,可以理解的是,机械臂以及机械臂上的穿刺导引器和穿刺导轨是固定连接的,穿刺针本身的结构也是固定的,电子设备可以根据机械臂与穿刺针之间的连接关系以及穿刺针本身的实体结构得到模拟手术针。本申请实施例中,穿刺针可以理解为现实空间中存在的实体针,模拟手术针可以理解为对穿刺针进行模拟得到的非实体针。
电子设备可以基于模拟手术针进行路径规划,以便于机械臂到达指定位置。可以理解,电子设备可以计算出虚拟手术针的针尖位置(或者可以理解为针尖坐标),还可以确定出虚拟手术针的针体方向,电子设备通过控制指令控制机械臂移动,在虚拟手术针的针尖位置与目标靶点重合,且虚拟手术针的针体方向与穿刺路径重合的情况下,可以认为机械臂到达指定位置。
示例性地,根据患者位置将机械臂调整至准备姿态,并在机械臂的末端安装穿刺导引器,且穿刺导引器上的M个标记物在光学追踪设备的追踪范围内,此时相当于机械臂完成了初始化。然后,电子设备计算出合适的运动路径使得穿刺针导引器能准确到达规划穿刺路径,计算得到运动路径后通过机械臂控制命令使得机械臂按规划运动路径进行运动,最终使得穿刺针导引器到位。
示例性地,第一提示信息可以是文字提示信息,和/或,声音提示信息等,文字提示信息可以在显示屏上进行显示,声音提示信息可以通过音频输出设备输出,本申请对此不作限定。
本申请实施例中,在使用超声探头扫描到目标靶点的情况下,基于超声探头的位置确定穿刺路径;目标靶点是根据重建的目标器官确定的;向机械臂发送控制指令,控制指令用于根据M个标记物控制机械臂移动;在虚拟手术针的针尖位置与目标靶点重合,且虚拟手术针的针体方向与穿刺路径重合的情况下,生成第一提示信息,第一提示信息用于提示:在穿刺针安装到穿刺导轨的情况下,沿着穿刺导轨进行穿刺;虚拟手术针是基于穿刺针的实体结构以及穿刺针与机械臂之间的位置关系重建得到的。本实施例中,通过超声探头的扫描过程确定的穿刺路径相比于直接在重建模型上确定的穿刺路径更加准确,使得穿刺精度更高;然后电子设备通过控制指令控制机械臂移动,在虚拟手术针的针尖位置与所述目标靶点重合,且虚拟手术针的针体方向与穿刺路径重合的情况下,生成第一提示信息提示穿刺,可以简化穿刺路径的寻找过程,从而减少穿刺过程花费的时长。并且,操作者沿着穿刺导轨推进穿刺针即可完成穿刺,穿刺导轨可以保证穿刺过程中针不发生弯曲,操作简单,进一步节约穿刺时长。
在一些实施例中,图1所示的方法还包括:
(18)确定参考平面,所述参考平面与穿刺路径之间的夹角大于或等于第一阈值,且与穿刺路径相交于第一交点;
(19)显示参考平面和第一交点;
(20)确定穿刺导轨的第一端在参考平面上的第一投影点,以及,确定穿刺导轨的第二端在参考平面上的第二投影点;
上述步骤203,在虚拟手术针的针尖位置与该目标靶点重合,且该虚拟手术针的针体方向与该穿刺路径重合的情况下,生成第一提示信息,包括:
(21)在虚拟手术针的针尖位置与目标靶点重合,且第一投影点、第二投影点和第一交点位于同一直线的情况下,生成第一提示信息。
本实施例中,参考平面与穿刺路径之间的夹角可以理解为参考平面与穿刺路径所在的直线之间的夹角。换句话说,在穿刺路径已经确定的情况下,参考平面可以是与穿刺路径所在直线之间的夹角大于或等于第一阈值的任一平面。直线与平面之间的夹角范围为0°至90°,第一阈值示例性地可以是大于或等于85°,且小于或等于90°的任一值,具体可以根据实际情况设定。
可以理解,在穿刺路径确定后,符合条件的参考平面可以有多个,因此,不同位置的参考平面可以对应不同的第一交点;可选地,上述第一交点可以为目标靶点,上述参考平面可以是与穿刺路径垂直且包括目标靶点的平面。可以理解,虽然参考平面和第一交点可以有不同的位置,但是,在穿刺手术过程中,参考平面和第一交点是固定的,比如第一交点固定为目标靶点,参考平面可固定为与穿刺路径垂直且包括目标靶点的平面。
示例性地,电子设备可以包括显示屏,显示屏用于显示参考平面和第一交点。可选地,在显示参考平面时,可以通过显示辅助线来显示参考平面。比如可以以第一交点为圆心,在参考平面上绘制多个同心圆,通过多个同心圆的显示表达出参考平面的空间感。
在确定出参考平面后,电子设备可以确定出穿刺导轨两个端点在参考平面上的投影点,即上述第一投影点和上述第二投影点。由于穿刺导轨用于夹持穿刺针,穿刺导轨两端的投影点与第一交点位于同一直线上时,可以认为虚拟手术针的整体方向与穿刺路径重合。
在一些实施例中,电子设备还可以对辅助信息进行显示,上述方法还包括:
(22)显示第一投影点、第二投影点以及以下任一项或多项:
目标靶点到穿刺导轨所在直线的距离、进针点到穿刺导轨所在直线的距离、穿刺导轨所在直线与穿刺路径之间的夹角。
可以理解,通过上述辅助信息的显示,可以直观地反映出虚拟手术针与穿刺路径之间的相对位置关系。如果机械臂移动完毕后与实际的穿刺路径之间仍有误差,医生等操作者可以根据辅助信息对机械臂进行微调,辅助信息可以让手术操作者更加有方向感,可以更快速地对准穿刺路径。
在另一些实施例中,上述方法还包括:
(23)在将穿刺针安装到穿刺导轨上,沿着穿刺导轨进行穿刺的过程中,基于N个标记物实时确定穿刺针的针尖在光学坐标系下的针尖位置,光学坐标系为光学追踪设备对应的坐标系;
(24)显示第一距离和第二距离,第一距离为穿刺针的针尖位置与进针点之间的距离,第二距离为穿刺针的针尖位置与目标靶点之间的距离;
(25)在穿刺针的针尖位置与目标靶点重合的情况下,生成第二提示信息,所述提示信息用于提示穿刺针到达所述目标靶点。
可以理解,在将穿刺针夹持到穿刺导轨上后,穿刺针上设置的N个标记物在光学追踪设备的追踪范围内,光学追踪设备可以通过N个标记物的坐标以及N个标记物与穿刺针的针尖之间的相对位置关系确定出穿刺针的针尖在光学坐标系下的针尖位置。
本实施例中,通过第一距离和第二距离的显示,可以实时反映穿刺针的进针深度。在穿刺针的针尖位置与目标靶点重合的情况下,可以认为穿刺针的穿刺完成。示例性地,第二提示信息可以是文字提示信息,和/或,声音提示信息等,文字提示信息可以在显示屏上进行显示,声音提示信息可以通过音频输出设备输出,本申请对此不作限定。
以上详细阐述了本申请实施例提供的方法,下面介绍本申请实施例提供的装置。
请参阅图4,图4是本申请实施例提供的一种电子设备的结构示意图,如图4所示的电子设备40应用于手术导航系统,上述手术导航系统包括上述电子设备40、光学追踪设备、超声设备以及机械臂;上述机械臂与穿刺导引器固定连接,上述穿刺导引器与穿刺导轨固定连接,上述穿刺导轨用于夹持穿刺针;上述穿刺导引器上设置有M个标记物,上述穿刺针上设置有N个标记物,上述超声设备的超声探头上设置有K个标记物,上述M、上述K均为大于或等于3的整数,上述N为大于或等于1的整数,上述光学追踪设备通过追踪标记物对上述超声探头、上述机械臂以及上述穿刺针进行定位;电子设备40包括确定单元401、通信单元402以及生成单元403,可选地,电子设备40还可以包括获取单元404、旋转单元405、配准单元406以及显示单元407,其中,各个单元的描述如下:
确定单元401,用于在使用上述超声探头扫描到目标靶点的情况下,基于上述超声探头的位置确定穿刺路径;上述目标靶点是根据重建的目标器官确定的;
通信单元402,用于向上述机械臂发送控制指令,上述控制指令用于根据上述M个标记物控制上述机械臂移动;
生成单元403,用于在虚拟手术针的针尖位置与上述目标靶点重合,且上述虚拟手术针的针体方向与上述穿刺路径重合的情况下,生成第一提示信息,上述第一提示信息用于提示:在上述穿刺针安装到上述穿刺导轨的情况下,沿着上述穿刺导轨进行穿刺;上述虚拟手术针是基于上述穿刺针的实体结构以及上述穿刺针与上述机械臂之间的位置关系重建得到的。
在一种可能的实现方式中,电子设备40还包括获取单元404,用于获取上述目标器官的CT轮廓,上述CT轮廓是根据CT设备采集的CT图像得到的;
确定单元401,还用于确定超声坐标系下的第一参考方向转换到世界坐标系下的第一方向向量、上述超声坐标系下的第二参考方向转换到上述世界坐标系下的第二方向向量以及上述超声坐标系下的第三参考方向转换到上述世界坐标系下的第三方向向量;上述第一参考方向、上述第二参考方向以及上述第三参考方向是上述超声设备对应的空间和上述CT轮廓对应的空间共有的;上述超声坐标系为上述超声设备对应的坐标系;
确定单元401,还用于确定CT坐标系下的上述第一参考方向转换到上述世界坐标系下的第四方向向量、上述CT坐标系下的上述第二参考方向转换到上述世界坐标系下的第五方向向量以及上述CT坐标系下的上述第三参考方向转换到上述世界坐标系下的第六方向向量,上述CT坐标系为CT设备对应的坐标系;
确定单元401,还用于基于上述第一方向向量与上述第四方向向量之间的第一夹角和第一位置偏移、上述第二方向向量与上述第五方向向量之间的第二夹角和第二位置偏移以及上述第三方向向量与上述第六方向向量之间的第三夹角和第二位置偏移确定旋转平移矩阵;
电子设备40还包括旋转单元405,用于基于上述旋转平移矩阵对上述CT轮廓进行变换,得到变换后的CT轮廓;
获取单元404,还用于获取上述目标器官的超声轮廓,上述超声轮廓是根据上述超声设备采集的多张超声图像得到的,每张上述超声图像对应有不同的空间位置信息,上述空间位置信息是根据上述K个标记物确定的;
电子设备40还包括配准单元406,用于基于上述变换后的CT轮廓和上述超声轮廓进行配准,得到上述重建的目标器官。
在一种可能的实现方式中,确定单元401,还用于在使用上述超声设备扫描到上述目标靶点的情况下,确定上述超声探头上的参考点为进针点,上述参考点位于上述超声探头的扫描面与上述超声设备相交的线段上;
生成单元403,还用于基于上述目标靶点和上述进针点生成上述穿刺路径。
在一种可能的实现方式中,确定单元401,还用于确定参考平面,上述参考平面与上述穿刺路径之间的夹角大于或等于第一阈值,且与上述穿刺路径相交于第一交点;
电子设备40还包括显示单元407,用于显示上述参考平面和上述第一交点;
确定单元401,还用于确定上述穿刺导轨的第一端在上述参考平面上的第一投影点,以及,确定上述穿刺导轨的第二端在上述参考平面上的第二投影点;
生成单元403,还用于在上述虚拟手术针的针尖位置与上述目标靶点重合,且上述第一投影点、上述第二投影点和上述第一交点位于同一直线的情况下,生成上述第一提示信息。
在一种可能的实现方式中,显示单元407,还用于显示上述第一投影点、上述第二投影点以及以下任一项或多项:
上述目标靶点到上述穿刺导轨所在直线的距离、上述进针点到上述穿刺导轨所在直线的距离、上述穿刺导轨所在直线与上述穿刺路径之间的夹角。
在一种可能的实现方式中,确定单元401,还用于在将穿刺针安装到上述穿刺导轨上,沿着上述穿刺导轨进行穿刺的过程中,基于上述N个标记物实时确定上述穿刺针的针尖在光学坐标系下的针尖位置,上述光学坐标系为上述光学追踪设备对应的坐标系;
显示单元407,还用于显示第一距离和第二距离,上述第一距离为上述穿刺针的针尖位置与上述进针点之间的距离,上述第二距离为上述穿刺针的针尖位置与上述目标靶点之间的距离;
生成单元403,还用于在上述穿刺针的针尖位置与上述目标靶点重合的情况下,生成第二提示信息,上述提示信息用于提示穿刺针到达上述目标靶点。
请参阅图5,图5是本申请实施例提供的另一种电子设备的结构示意图。如图5所示的电子设备50包括存储器501、处理器502。可选地,该电子设备50还可以包含通信接口503以及总线504;进一步可选地,该电子设备50还可以包括显示屏505。其中,存储器501、处理器502、通信接口503以及显示屏505通过总线504实现彼此之间的通信连接。
其中,存储器501用于提供存储空间,存储空间中可以存储操作系统和计算机程序等数据。存储器501包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmable readonly memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM)。
处理器502是进行算术运算和逻辑运算的模块,可以是中央处理器(centralprocessing unit,CPU)、显卡处理器(graphics processing unit,GPU)或微处理器(microprocessor unit,MPU)等处理模块中的一种或者多种的组合。另外,存储器501中存储有计算机程序,处理器502可以调用存储器501中存储的计算机程序以执行相应的方法。
显示屏505用于实现电子设备50的显示功能。示例性地,显示屏505可用于显示上述参考平面(以及相关辅助线)、上述第一投影点、上述第二投影点,还可以用于显示穿刺路径等。
本申请实施例中,如图5所示的电子设备50在执行上述方法时,处理器502可以控制显示屏505的显示功能,也可以控制通信接口503的数据通信功能。
示例性地,在一些实施例中,处理器502,用于在使用上述超声设备扫描到目标靶点的情况下,基于上述超声设备的位置确定穿刺路径;
处理器502,还用于控制向上述机械臂发送控制指令;
处理器502,还用于在虚拟手术针的针尖位置与上述目标靶点重合,且上述虚拟手术针的针体方向与上述穿刺路径重合的情况下,生成第一提示信息。
在另一实施例中,处理器502可以用于实现电子设备40中确定单元401、生成单元403、获取单元404、旋转单元405以及配准单元406的功能。显示屏505可以被处理器502控制,用于实现电子设备40中显示单元407的功能。可选地,电子设备40中获取单元404获取的数据也可以通过通信接口503获取得到。
本申请还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机代码,当计算机代码在计算机上运行时,使得计算机执行上述实施例的方法。
本申请还提供一种计算机程序产品,该计算机程序产品包括计算机代码或计算机程序,当该计算机代码或计算机程序在计算机上运行时,使得上述实施例中的方法被执行。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以上述权利要求的保护范围为准。
Claims (10)
1.一种基于光学追踪设备和机械臂的穿刺方法,其特征在于,所述方法应用于手术导航系统中的电子设备,所述手术导航系统包括所述电子设备、光学追踪设备、超声设备以及机械臂;所述机械臂与穿刺导引器固定连接,所述穿刺导引器与穿刺导轨固定连接,所述穿刺导轨用于夹持穿刺针;所述穿刺导引器上设置有M个标记物,所述穿刺针上设置有N个标记物,所述超声设备的超声探头上设置有K个标记物,所述M、所述K均为大于或等于3的整数,所述N大于或等于1的整数;所述光学追踪设备通过追踪所述M个标记物对所述穿刺导引器进行定位、通过追踪所述K个标记物对所述超声探头进行定位以及通过追踪所述N个标记物对所述穿刺针进行定位;所述方法包括:
在使用所述超声探头扫描到目标靶点的情况下,基于所述超声探头的位置确定穿刺路径;所述目标靶点是根据重建的目标器官确定的;
向所述机械臂发送控制指令,所述控制指令用于根据所述M个标记物控制所述机械臂移动;
在虚拟手术针的针尖位置与所述目标靶点重合,且所述虚拟手术针的针体方向与所述穿刺路径重合的情况下,生成第一提示信息,所述第一提示信息用于提示:在所述穿刺针安装到所述穿刺导轨的情况下,沿着所述穿刺导轨进行穿刺;所述虚拟手术针是基于所述穿刺针的实体结构以及所述穿刺针与所述机械臂之间的位置关系重建得到的。
2.根据权利要求1所述的方法,其特征在于,所述在使用所述超声探头扫描到目标靶点的情况下,基于所述超声探头的位置确定穿刺路径之前,所述方法还包括:
获取所述目标器官的计算机断层扫描CT轮廓,所述CT轮廓是根据CT设备采集的CT图像得到的;
确定超声坐标系下的第一参考方向转换到世界坐标系下的第一方向向量、所述超声坐标系下的第二参考方向转换到所述世界坐标系下的第二方向向量以及所述超声坐标系下的第三参考方向转换到所述世界坐标系下的第三方向向量;所述第一参考方向、所述第二参考方向以及所述第三参考方向是所述超声设备对应的空间和所述CT轮廓对应的空间共有的;所述超声坐标系为所述超声设备对应的坐标系;
确定CT坐标系下的所述第一参考方向转换到所述世界坐标系下的第四方向向量、所述CT坐标系下的所述第二参考方向转换到所述世界坐标系下的第五方向向量以及所述CT坐标系下的所述第三参考方向转换到所述世界坐标系下的第六方向向量,所述CT坐标系为CT设备对应的坐标系;
基于所述第一方向向量与所述第四方向向量之间的第一夹角和第一位置偏移、所述第二方向向量与所述第五方向向量之间的第二夹角和第二位置偏移以及所述第三方向向量与所述第六方向向量之间的第三夹角和第三位置偏移确定旋转平移矩阵;
基于所述旋转平移矩阵对所述CT轮廓进行变换,得到变换后的CT轮廓;
获取所述目标器官的超声轮廓,所述超声轮廓是根据所述超声设备采集的多张超声图像得到的,每张所述超声图像对应有不同的空间位置信息,所述空间位置信息是根据所述K个标记物确定的;
基于所述变换后的CT轮廓和所述超声轮廓进行配准,得到所述重建的目标器官。
3.根据权利要求1或2所述的方法,其特征在于,所述在使用所述超声探头扫描到目标靶点的情况下,基于所述超声探头的位置确定穿刺路径,包括:
在使用所述超声探头扫描到所述目标靶点的情况下,确定所述超声探头上的参考点为进针点,所述参考点位于所述超声探头的扫描面与所述超声探头相交的线段上;
基于所述目标靶点和所述进针点生成所述穿刺路径。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
确定参考平面,所述参考平面与所述穿刺路径之间的夹角大于或等于第一阈值,且与所述穿刺路径相交于第一交点;
显示所述参考平面和所述第一交点;
确定所述穿刺导轨的第一端在所述参考平面上的第一投影点,以及,确定所述穿刺导轨的第二端在所述参考平面上的第二投影点;
所述在虚拟手术针的针尖位置与所述目标靶点重合,且所述虚拟手术针的针体与所述穿刺路径重合的情况下,生成第一提示信息,包括:
在所述虚拟手术针的针尖位置与所述目标靶点重合,且所述第一投影点、所述第二投影点和所述第一交点位于同一直线的情况下,生成所述第一提示信息。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
显示所述第一投影点、所述第二投影点以及以下任一项或多项:
所述目标靶点到所述穿刺导轨所在直线的距离、所述进针点到所述穿刺导轨所在直线的距离、所述穿刺导轨所在直线与所述穿刺路径之间的夹角。
6.根据权利要求4或5所述的方法,其特征在于,所述方法还包括:
在将穿刺针安装到所述穿刺导轨上,沿着所述穿刺导轨进行穿刺的过程中,基于所述N个标记物实时确定所述穿刺针的针尖在光学坐标系下的针尖位置,所述光学坐标系为所述光学追踪设备对应的坐标系;
显示第一距离和第二距离,所述第一距离为所述穿刺针的针尖位置与所述进针点之间的距离,所述第二距离为所述穿刺针的针尖位置与所述目标靶点之间的距离;
在所述穿刺针的针尖位置与所述目标靶点重合的情况下,生成第二提示信息,所述提示信息用于提示穿刺针到达所述目标靶点。
7.一种手术导航系统,其特征在于,所述系统包括电子设备、光学追踪设备、超声设备以及机械臂;所述机械臂与穿刺导引器固定连接,所述穿刺导引器与穿刺导轨固定连接,所述穿刺导轨用于夹持穿刺针;所述穿刺导引器上设置有M个标记物,所述穿刺针上设置有N个标记物,所述超声设备的超声探头上设置有K个标记物,所述M、所述K均为大于或等于3的整数,所述N为大于或等于1的整数;
所述光学追踪设备,用于通过追踪所述M个标记物对所述穿刺导引器进行定位,以及用于通过追踪所述K个标记物对所述超声探头进行定位,以及用于通过追踪所述N个标记物对所述穿刺针进行定位;
所述电子设备,用于在使用所述超声探头扫描到目标靶点的情况下,基于所述超声探头的位置确定穿刺路径;所述目标靶点是根据重建的目标器官确定的;
所述电子设备,还用于向所述机械臂发送控制指令,所述控制指令用于根据所述M个标记物控制所述机械臂移动;
所述机械臂,用于根据所述控制指令移动;
所述电子设备,还用于在虚拟手术针的针尖位置与所述目标靶点重合,且所述虚拟手术针的针体方向与所述穿刺路径重合的情况下,生成第一提示信息,所述第一提示信息用于提示:在所述穿刺针安装到所述穿刺导轨的情况下,沿着所述穿刺导轨进行穿刺;所述虚拟手术针是基于所述穿刺针的实体结构以及所述穿刺针与所述机械臂之间的位置关系重建得到的。
8.一种基于光学追踪设备和机械臂的穿刺装置,其特征在于,包括用于执行如权利要求1-6中任一项所述方法的单元。
9.一种电子设备,其特征在于,包括:处理器和存储器,其中,所述存储器中存储有计算机程序,所述处理器调用所述存储器中存储的计算机程序,用于执行如权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在一个或多个处理器上运行时,使得如权利要求1-6中任一项所述的方法被执行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310359467.4A CN116077155B (zh) | 2023-04-06 | 2023-04-06 | 基于光学追踪设备和机械臂的手术导航方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310359467.4A CN116077155B (zh) | 2023-04-06 | 2023-04-06 | 基于光学追踪设备和机械臂的手术导航方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116077155A true CN116077155A (zh) | 2023-05-09 |
CN116077155B CN116077155B (zh) | 2023-06-27 |
Family
ID=86204821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310359467.4A Active CN116077155B (zh) | 2023-04-06 | 2023-04-06 | 基于光学追踪设备和机械臂的手术导航方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116077155B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116370088A (zh) * | 2023-05-17 | 2023-07-04 | 深圳惟德精准医疗科技有限公司 | 机械臂的运动控制方法及相关装置 |
CN116473644A (zh) * | 2023-06-21 | 2023-07-25 | 深圳惟德精准医疗科技有限公司 | 进针深度的检测方法及相关产品 |
CN116983057A (zh) * | 2023-09-25 | 2023-11-03 | 中南大学 | 一种可实时多重配准的数字孪生图像穿刺引导系统 |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002112998A (ja) * | 2000-10-05 | 2002-04-16 | Toshiba Medical System Co Ltd | 超音波穿刺支援装置 |
US20100298704A1 (en) * | 2009-05-20 | 2010-11-25 | Laurent Pelissier | Freehand ultrasound imaging systems and methods providing position quality feedback |
US20110130659A1 (en) * | 2007-08-24 | 2011-06-02 | Endocontrol | Imaging System for Following a Surgical Tool in an Operation Field |
CN203425001U (zh) * | 2013-08-06 | 2014-02-12 | 深圳市经方医疗器械有限公司 | 一种穿刺架 |
CN105232120A (zh) * | 2015-10-22 | 2016-01-13 | 张旭 | 一种超声引导平面内穿刺引导装置 |
US20160008082A1 (en) * | 2014-07-10 | 2016-01-14 | Canon Kabushiki Kaisha | Puncture planning apparatus and puncture system |
CN105796161A (zh) * | 2016-03-02 | 2016-07-27 | 赛诺威盛科技(北京)有限公司 | 一种ct介入治疗中进行穿刺导航的方法及穿刺导航装置 |
US20170000567A1 (en) * | 2013-12-23 | 2017-01-05 | The Asan Foundation | Method for generating insertion trajectory of surgical needle |
CN110313979A (zh) * | 2019-07-03 | 2019-10-11 | 中南大学湘雅医院 | 一种超声平面内穿刺定位装置 |
CN110353774A (zh) * | 2018-12-15 | 2019-10-22 | 深圳铭杰医疗科技有限公司 | 辅助穿刺机器人及其控制方法、计算机设备、存储介质 |
CN111513850A (zh) * | 2020-04-30 | 2020-08-11 | 京东方科技集团股份有限公司 | 引导装置、穿刺针调整方法、存储介质及电子设备 |
CN113288370A (zh) * | 2021-06-21 | 2021-08-24 | 清华大学深圳国际研究生院 | 一种术中穿刺针弯曲检测系统及其检测方法 |
WO2021196633A1 (zh) * | 2020-03-30 | 2021-10-07 | 中国科学院深圳先进技术研究院 | 一种穿刺手术机器人系统 |
CN113487656A (zh) * | 2021-07-26 | 2021-10-08 | 推想医疗科技股份有限公司 | 图像配准方法及装置,训练方法及装置,控制方法及装置 |
WO2022141153A1 (zh) * | 2020-12-30 | 2022-07-07 | 诺创智能医疗科技(杭州)有限公司 | 超声定位穿刺系统和存储介质 |
CN115054332A (zh) * | 2022-06-17 | 2022-09-16 | 南京医科大学 | 一种超声引导机器人辅助穿刺装置及其使用方法 |
CN115105175A (zh) * | 2022-06-30 | 2022-09-27 | 上海睿刀医疗科技有限公司 | 穿刺导航系统、方法、设备与存储介质以及穿刺装置 |
CN115500940A (zh) * | 2022-08-19 | 2022-12-23 | 深圳惟德精准医疗科技有限公司 | 手术针的定位显示方法及相关装置 |
CN115526919A (zh) * | 2022-08-19 | 2022-12-27 | 深圳惟德精准医疗科技有限公司 | 图像配准方法及相关装置 |
-
2023
- 2023-04-06 CN CN202310359467.4A patent/CN116077155B/zh active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002112998A (ja) * | 2000-10-05 | 2002-04-16 | Toshiba Medical System Co Ltd | 超音波穿刺支援装置 |
US20110130659A1 (en) * | 2007-08-24 | 2011-06-02 | Endocontrol | Imaging System for Following a Surgical Tool in an Operation Field |
US20100298704A1 (en) * | 2009-05-20 | 2010-11-25 | Laurent Pelissier | Freehand ultrasound imaging systems and methods providing position quality feedback |
CN203425001U (zh) * | 2013-08-06 | 2014-02-12 | 深圳市经方医疗器械有限公司 | 一种穿刺架 |
US20170000567A1 (en) * | 2013-12-23 | 2017-01-05 | The Asan Foundation | Method for generating insertion trajectory of surgical needle |
US20160008082A1 (en) * | 2014-07-10 | 2016-01-14 | Canon Kabushiki Kaisha | Puncture planning apparatus and puncture system |
CN105232120A (zh) * | 2015-10-22 | 2016-01-13 | 张旭 | 一种超声引导平面内穿刺引导装置 |
CN105796161A (zh) * | 2016-03-02 | 2016-07-27 | 赛诺威盛科技(北京)有限公司 | 一种ct介入治疗中进行穿刺导航的方法及穿刺导航装置 |
CN110353774A (zh) * | 2018-12-15 | 2019-10-22 | 深圳铭杰医疗科技有限公司 | 辅助穿刺机器人及其控制方法、计算机设备、存储介质 |
CN110313979A (zh) * | 2019-07-03 | 2019-10-11 | 中南大学湘雅医院 | 一种超声平面内穿刺定位装置 |
WO2021196633A1 (zh) * | 2020-03-30 | 2021-10-07 | 中国科学院深圳先进技术研究院 | 一种穿刺手术机器人系统 |
CN111513850A (zh) * | 2020-04-30 | 2020-08-11 | 京东方科技集团股份有限公司 | 引导装置、穿刺针调整方法、存储介质及电子设备 |
WO2022141153A1 (zh) * | 2020-12-30 | 2022-07-07 | 诺创智能医疗科技(杭州)有限公司 | 超声定位穿刺系统和存储介质 |
CN113288370A (zh) * | 2021-06-21 | 2021-08-24 | 清华大学深圳国际研究生院 | 一种术中穿刺针弯曲检测系统及其检测方法 |
CN113487656A (zh) * | 2021-07-26 | 2021-10-08 | 推想医疗科技股份有限公司 | 图像配准方法及装置,训练方法及装置,控制方法及装置 |
CN115054332A (zh) * | 2022-06-17 | 2022-09-16 | 南京医科大学 | 一种超声引导机器人辅助穿刺装置及其使用方法 |
CN115105175A (zh) * | 2022-06-30 | 2022-09-27 | 上海睿刀医疗科技有限公司 | 穿刺导航系统、方法、设备与存储介质以及穿刺装置 |
CN115500940A (zh) * | 2022-08-19 | 2022-12-23 | 深圳惟德精准医疗科技有限公司 | 手术针的定位显示方法及相关装置 |
CN115526919A (zh) * | 2022-08-19 | 2022-12-27 | 深圳惟德精准医疗科技有限公司 | 图像配准方法及相关装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116370088A (zh) * | 2023-05-17 | 2023-07-04 | 深圳惟德精准医疗科技有限公司 | 机械臂的运动控制方法及相关装置 |
CN116370088B (zh) * | 2023-05-17 | 2023-08-11 | 深圳惟德精准医疗科技有限公司 | 机械臂的运动控制方法及相关装置 |
CN116473644A (zh) * | 2023-06-21 | 2023-07-25 | 深圳惟德精准医疗科技有限公司 | 进针深度的检测方法及相关产品 |
CN116473644B (zh) * | 2023-06-21 | 2023-08-29 | 深圳惟德精准医疗科技有限公司 | 进针深度的检测方法及相关产品 |
CN116983057A (zh) * | 2023-09-25 | 2023-11-03 | 中南大学 | 一种可实时多重配准的数字孪生图像穿刺引导系统 |
CN116983057B (zh) * | 2023-09-25 | 2024-01-23 | 中南大学 | 一种可实时多重配准的数字孪生图像穿刺引导系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116077155B (zh) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116077155B (zh) | 基于光学追踪设备和机械臂的手术导航方法及相关装置 | |
CN109152615B (zh) | 在机器人手术过程期间识别和跟踪物理对象的系统和方法 | |
CN108472096B (zh) | 用于在由虚拟对象限定的目标部位处对患者执行手术的系统和方法 | |
EP2931159B1 (en) | Registration and navigation using a three-dimensional tracking sensor | |
US5765561A (en) | Video-based surgical targeting system | |
JP2022507622A (ja) | 拡張現実ディスプレイでの光学コードの使用 | |
EP3081184A1 (en) | System and method for fused image based navigation with late marker placement | |
KR20190080703A (ko) | 수술도구의 최적진입위치 산출시스템, 방법 및 프로그램 | |
CN111655160A (zh) | 超声图像数据的三维成像和建模 | |
US20090024030A1 (en) | Methods and systems for guiding the acquisition of ultrasound images | |
JP2008126075A (ja) | Ctレジストレーション及びフィードバックの視覚的検証のためのシステム及び方法 | |
JP2010200894A (ja) | 手術支援システム及び手術ロボットシステム | |
CN111870344B (zh) | 术前导航方法、系统及终端设备 | |
US20240164848A1 (en) | System and Method for Registration Between Coordinate Systems and Navigation | |
US20200360089A1 (en) | Method for generating surgical simulation information and program | |
CN115500940B (zh) | 手术针的定位显示方法及相关装置 | |
KR20190080706A (ko) | 수술보조 영상 표시방법, 프로그램 및 수술보조 영상 표시장치 | |
CN116370088B (zh) | 机械臂的运动控制方法及相关装置 | |
CN115526919A (zh) | 图像配准方法及相关装置 | |
WO2024067753A1 (zh) | 一种配准方法、配准系统、导航信息确定方法和导航系统 | |
CN109745074A (zh) | 一种三维超声成像的系统及方法 | |
JP2021153773A (ja) | ロボット手術支援装置、手術支援ロボット、ロボット手術支援方法、及びプログラム | |
CN209826968U (zh) | 一种手术机器人系统 | |
CN117425448A (zh) | 用于实时引导经皮干预治疗的配备超声探头的机器人 | |
CN113648073A (zh) | 对增强现实和/或虚拟现实的调整 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |