CN113856067A - 一种多模态数据融合的放疗位置确定方法及辅助机器人系统 - Google Patents
一种多模态数据融合的放疗位置确定方法及辅助机器人系统 Download PDFInfo
- Publication number
- CN113856067A CN113856067A CN202111052474.7A CN202111052474A CN113856067A CN 113856067 A CN113856067 A CN 113856067A CN 202111052474 A CN202111052474 A CN 202111052474A CN 113856067 A CN113856067 A CN 113856067A
- Authority
- CN
- China
- Prior art keywords
- dimensional model
- dimensional
- radiotherapy
- patient
- mechanical arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000001959 radiotherapy Methods 0.000 title claims abstract description 47
- 230000004927 fusion Effects 0.000 title claims abstract description 16
- 239000002245 particle Substances 0.000 claims abstract description 38
- 238000003780 insertion Methods 0.000 claims abstract description 15
- 230000037431 insertion Effects 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 claims abstract description 14
- 238000002513 implantation Methods 0.000 claims abstract description 9
- 210000001015 abdomen Anatomy 0.000 claims description 24
- 239000002344 surface layer Substances 0.000 claims description 24
- 206010028980 Neoplasm Diseases 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 13
- 229910000831 Steel Inorganic materials 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 12
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 12
- 239000010959 steel Substances 0.000 claims description 12
- 238000002591 computed tomography Methods 0.000 claims description 10
- 230000003187 abdominal effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 210000002615 epidermis Anatomy 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 206010008342 Cervix carcinoma Diseases 0.000 description 6
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 6
- 201000010881 cervical cancer Diseases 0.000 description 6
- 239000010410 layer Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000002054 transplantation Methods 0.000 description 2
- 206010073306 Exposure to radiation Diseases 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/103—Treatment planning systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1048—Monitoring, verifying, controlling systems and methods
- A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1048—Monitoring, verifying, controlling systems and methods
- A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
- A61N2005/1059—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using cameras imaging the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1048—Monitoring, verifying, controlling systems and methods
- A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
- A61N2005/1061—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an x-ray imaging system having a separate imaging source
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Radiation-Therapy Devices (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及医学图像处理领域和规划算法技术领域，更具体地，涉及一种多模态数据融合的放疗位置确定方法及辅助机器人系统。对术前和术中的影像和超声数据进行融合来重构一个实时三维模型，以便判断目前手术的进展情况；同时构建了一个术前粒子植入规划方法，在尽可能保证疗效的同时实现针数最小化，并按照术前规划的路径自主进行插植放疗。本发明能够实时地显示手术环境对应的3D模型，不仅能够知道病灶和医疗器械的实时位置情况，还可以根据实际情况对已形成的路径方案进行适当调整，帮助医生更好地完成插植放疗手术。
Description
技术领域
本发明涉及医学图像处理领域和规划算法技术领域，更具体地，涉及一种多模态数据融合的放疗位置确定方法及辅助机器人系统。
背景技术
现有的宫颈癌插植放疗主要还是依靠医生手动操作，通过术前的规划系统进行穿刺路径规划后，在导航的情况下，手动将粒子植入患者体内，并进行术后剂量的验证。但是一方面有受到辐射的风险，另一方面手术疗效和效率也跟医生的经验有很大的关系。
宫颈癌与肝癌等其他癌症最大的区别在于其手术环境异常狭窄给手术带来的挑战，而目前的手术方式基本还是没有实时情况反馈的人工操作，其精准性和稳定性很难得到保证，同时虽然有术前规划系统，但规划系统通常只是考虑疗效，没有将插植的针数作为一个重要因素进行考虑，没有想办法减轻患者的疼痛。而放射性粒子的植入情况都是要等手术完成后再进行CT扫描后获得，对医生的经验和能力有很高的要求，约束了这种治疗方式的推广和使用。
发明内容
本发明为克服上述现有技术中的缺陷，提供一种多模态数据融合的放疗位置确定方法及辅助机器人系统，通过建立的实时三维模型，可实时观看病灶及插植情况，为医生操作减轻了负担。
为解决上述技术问题，本发明采用的技术方案是：一种多模态数据融合的放疗位置确定方法，其中，包括以下步骤：
S1.利用术前的CT影像构建原始三维模型，并通过手术室内设置的摄像头，获取患者此时的体表三维图像，并通过识别体表上预先放置的特殊标签，通过配准算法将两个三维图像进行融合，从而得到目前手术室内患者病灶处附近的基础三维模型；
S2.在步骤S1所形成的三维图像的基础上，通过结合摄像头、内窥镜、超声仪器三者的图像信息，来确定目前医疗器械所在的位置，并实时更新到基础三维图像中；此外，通过将陀螺仪放置在腹部，来获取腹部由于呼吸所产生的形变并分析规律，从而近似估算病灶由于身体因素所产生的位置偏移，腹部呼吸所产生的变化以及病灶位置大致的变化也同步更新到三维模型中，并显示出来；
S3.根据所要求的剂量和所选择的粒子种类，根据步骤S2所提供的肿瘤及其附近的三维模型，进行插植放疗手术方案规划和对应的插植路径规划；
S4.根据所选择插植放疗方案，将对应的靶点位置也即机械臂针头所需到达的位置，转化为机械臂所需要执行的移动步骤，一步步执行插植放疗操作，每插植完一针，需要估算因已植入的粒子而导致下一针靶点位置的偏移程度，再进行插植，根据实时的三维模型图像，了解插植手术的进展情况和粒子植入的准确度。
本发明提出了基于多模态数据融合的放疗位置确定方法，对术前和术中的影像和超声数据进行融合来重构一个实时三维模型，以便判断目前手术的进展情况；同时构建了一个术前粒子植入规划方法，在尽可能保证疗效的同时实现针数最小化，并按照术前规划的路径自主进行插植放疗。本发明能够实时地显示手术环境对应的3D模型，不仅能够知道病灶和医疗器械的实时位置情况，还可以根据实际情况对已形成的路径方案进行适当调整，帮助医生更好地完成插植放疗手术。
进一步的，所述的步骤S1具体包括：
S11.在患者胸腹部处放置钢丝作为标记后，对患者进行CT扫描，获取原始三维模型；在尽可能保持姿态不变的情况下将患者送入手术室；
S12.以放置钢丝的位置为中线，放置用于识别的二维码，并通过垂直放置的双目摄像头对患者表皮的三维图像进行采集，从而获得带有标记二维码的表层三维图像；
S13.通过标记物的匹配，将表层三维图像与原始三维模型中的表层进行融合，以原始三维模型为基础，利用目前的表层三维图像对原来的图像进行适当的覆盖或调整，从而得到基础三维模型。
进一步的，所述的步骤S2具体包括：
S21.根据步骤S1获得基础三维模型图像，通过双目摄像头、机械臂上自带的内窥镜和超声设备对场景内的仪器进行定位，并建立对应的三维模型补充到基础三维模型中，完成器械的初始定位；
S22.在手术过程中，利用双目摄像头、机械臂上自带的内窥镜和超声设备所采集到的图像进行融合，结合机械臂所执行的指令，判断机械臂尤其是针尖目前所在的位置，并实时更新到三维模型中；
S23.在手术过程中，利用放置在腹部的陀螺仪偏转的情况，估算患者体内肿瘤由于生理因素所产生的波动情况，并实时更新到三维模型中，以便可以实时判断靶点位置的波动情况。
进一步的，在所述的步骤S3中，根据粒子的活度的不同，对粒子放置的位置进行规划，使得既满足剂量的要求又能够减少所需的插植针数。
本发明还提供一种多模态数据融合的宫颈癌插植放疗的辅助机器人系统，包括：
配准模块：用于利用术前的CT影像作为原始三维模型，并通过手术室内设置的摄像头，获取患者此时的体表三维图像，并通过识别体表上预先放置的特殊标签，通过配准的算法将两个三维图像进行融合，从而得到目前手术室内患者病灶处附近的基础三维模型；
重构模块：用于在配准模块所形成的三维图像的基础上，通过结合摄像头、内窥镜、超声仪器三者的图像信息，来确定目前医疗器械所在的位置，并实时更新到基础三维图像中；此外，通过将陀螺仪放置在腹部，来获取腹部由于呼吸所产生的形变并分析规律，从而近似估算病灶由于身体因素所产生的位置偏移，腹部呼吸所产生的变化以及病灶位置大致的变化也同步更新到三维模型中，并显示出来；
规划模块：用于根据所要求的剂量和所选择的粒子种类，根据步骤S2所提供的肿瘤及其附近的三维模型，进行插植放疗手术方案规划和对应的插植路径规划；
执行模块：用于根据所选择插植放疗方案，将对应的靶点位置也即机械臂针头所需到达的位置，转化为机械臂所需要执行的移动步骤，一步步执行插植放疗操作，每插植完一针，需要估算因已植入的粒子而导致下一针靶点位置的偏移程度，再进行插植，根据实时的三维模型图像，了解插植手术的进展情况和粒子植入的准确度。
本发明提供的辅助机器人系统具有重要的商业价值，对底层实现的机器人系统并没有严格的要求，可以在多种机器人系统上使用。目前针对术前对医生进行预辅助的相关诊查手段有很多，但是能够在术中通过图像感知为医生提供实时的提示和辅助的手段却寥寥无几，本发明不仅能够为医生提供手术中实时的操作提示和辅助，也能通过术前的规划尽可能减少患者的病痛，并在医生的控制下完成宫颈癌插植放疗的手术，因此本发明具有重要意义。
进一步的，所述的配准模块包括：
原始三维模型获取单元：用于在患者胸腹部处放置钢丝作为标记后，对患者进行CT扫描，获取原始三维模型；并在尽可能保持姿态不变的情况下将患者送入手术室；
表层三维图像获取单元：用于以放置钢丝的位置为中线，放置用于识别的二维码，并通过垂直放置的双目摄像头对患者表皮的三维图像进行采集，从而获得带有标记二维码的表层三维图像；
基础三维模型获取单元：用于通过标记物的匹配，将表层三维图像与原始三维模型中的表层进行融合，以原始三维模型为基础，利用目前的表层三维图像对原来的图像进行适当的覆盖或调整，从而得到基础三维模型。
进一步的，所述的重构模块包括：
器械初始定位单元：用于根据配准模块获得基础三维模型图像，通过双目摄像头、机械臂上自带的内窥镜和超声设备对场景内的仪器进行定位，并建立对应的三维模型补充到基础三维模型中，完成器械的初始定位；
机械臂位置更新单元：用于在手术过程中，利用双目摄像头、机械臂上自带的内窥镜和超声设备所采集到的图像进行融合，结合机械臂所执行的指令，判断机械臂尤其是针尖目前所在的位置，并实时更新到三维模型中，以便查看；
肿瘤位置更新单元：用于在手术过程中，利用放置在腹部的陀螺仪偏转的情况，估算患者体内肿瘤由于生理因素所产生的波动情况，并实时更新到三维模型中，以便实时判断靶点位置的波动情况。
进一步的，在所述的规划模块中，根据粒子的活度的不同，对粒子放置的位置进行规划，使得既满足剂量的要求又能够减少所需的插植针数。
本发明还提供一种计算机设备，包括存储器和处理器，所述的存储器存储有计算机程序，所述的处理器执行所述的计算机程序时实现以上所述的方法的步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时实现以上所述方法的步骤。
与现有技术相比，有益效果是：本发明提供的一种多模态数据融合的放疗位置确定方法及辅助机器人系统，对术前和术中的影像和超声数据进行融合来重构一个实时三维模型，以便判断目前手术的进展情况；同时构建了一个术前粒子植入规划方法，在尽可能保证疗效的同时实现针数最小化，并按照术前规划的路径自主进行插植放疗。本发明能够实时地显示手术环境对应的3D模型，不仅能够知道病灶和医疗器械的实时位置情况，还可以根据实际情况对已形成的路径方案进行适当调整，帮助医生更好地完成插植放疗手术；另外，本发明底层所需要使用的硬件没有很强的局限性，可以采用各种配件进行搭建整体，并通过实验对参数进行调整以便达到更好的效果，适应性强。
附图说明
图1是本发明方法流程示意图。
图2是本发明系统结构示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。
如图1所示，一种多模态数据融合的放疗位置确定方法，其中，包括以下步骤：
S1.利用术前的CT影像构建原始三维模型，并通过手术室内设置的摄像头，获取患者此时的体表三维图像，并通过识别体表上预先放置的特殊标签，通过配准算法将两个三维图像进行融合，从而得到目前手术室内患者病灶处附近的基础三维模型；
S2.在步骤S1所形成的三维图像的基础上，通过结合摄像头、内窥镜、超声仪器三者的图像信息，来确定目前医疗器械所在的位置，并实时更新到基础三维图像中；此外，通过将陀螺仪放置在腹部，来获取腹部由于呼吸所产生的形变并分析规律，从而近似估算病灶由于身体因素所产生的位置偏移，腹部呼吸所产生的变化以及病灶位置大致的变化也同步更新到三维模型中，并显示出来，辅助医生进行手术；
S3.根据所要求的剂量和所选择的粒子种类，根据步骤S2所提供的肿瘤及其附近的三维模型，进行插植放疗手术方案规划和对应的插植路径规划；由于即使是同一种类的粒子，其活度也不完全相同，根据粒子的活度不同，对粒子放置的位置进行规划，使得既满足剂量的要求又尽可能减少所需的插植针数，从而既减轻病人疼痛，又通过减少针数减少手术的复杂性。本发明设计规划多个插植方案，并将每个方案对应的路径都显示出来，供医生选择。
S4.根据所选择插植放疗方案，在医生的监督控制下将对应的靶点位置也即机械臂针头所需到达的位置，转化为机械臂所需要执行的移动步骤，一步步执行插植放疗操作，每插植完一针，需要估算因已植入的粒子而导致下一针靶点位置的偏移程度，再进行插植，医生根据实时的三维模型图像，了解插植手术的进展情况和粒子植入的准确度。
本发明提出了基于多模态数据融合的放疗位置确定方法，对术前和术中的影像和超声数据进行融合来重构一个实时三维模型，以便判断目前手术的进展情况；同时构建了一个术前粒子植入规划方法，在尽可能保证疗效的同时实现针数最小化，并按照术前规划的路径自主进行插植放疗。本发明能够实时地显示手术环境对应的3D模型，不仅能够知道病灶和医疗器械的实时位置情况，还可以根据实际情况对已形成的路径方案进行适当调整，帮助医生更好地完成插植放疗手术。
进一步的，所述的步骤S1具体包括：
S11.在患者胸腹部处放置钢丝作为标记后，对患者进行CT扫描，获取原始三维模型；在尽可能保持姿态不变的情况下将患者送入手术室；
S12.以放置钢丝的位置为中线，放置用于识别的二维码，并通过垂直放置的双目摄像头对患者表皮的三维图像进行采集，从而获得带有标记二维码的表层三维图像；
S13.通过标记物的匹配，将表层三维图像与原始三维模型中的表层进行融合，以原始三维模型为基础，利用目前的表层三维图像对原来的图像进行适当的覆盖或调整，从而得到基础三维模型。
进一步的，所述的步骤S2具体包括：
S21.根据步骤S1获得基础三维模型图像，通过双目摄像头、机械臂上自带的内窥镜和超声设备对场景内的仪器进行定位，并建立对应的三维模型补充到基础三维模型中，完成器械的初始定位；
S22.在手术过程中，利用双目摄像头、机械臂上自带的内窥镜和超声设备所采集到的图像进行融合，结合机械臂所执行的指令，判断机械臂尤其是针尖目前所在的位置，并实时更新到三维模型中，以便医生查看；
S23.在手术过程中，利用放置在腹部的陀螺仪偏转的情况，估算患者体内肿瘤由于生理因素所产生的波动情况，并实时更新到三维模型中，以便医生可以实时判断靶点位置的波动情况。
在另一个实施例中，还提供一种多模态数据融合的宫颈癌插植放疗的辅助机器人系统，包括：
配准模块：用于利用术前的CT影像作为原始三维模型，并通过手术室内设置的摄像头，获取患者此时的体表三维图像，并通过识别体表上预先放置的特殊标签，通过配准的算法将两个三维图像进行融合，从而得到目前手术室内患者病灶处附近的基础三维模型；
重构模块：用于在配准模块所形成的三维图像的基础上，通过结合摄像头、内窥镜、超声仪器三者的图像信息，来确定目前医疗器械所在的位置，并实时更新到基础三维图像中；此外，通过将陀螺仪放置在腹部，来获取腹部由于呼吸所产生的形变并分析规律，从而近似估算病灶由于身体因素所产生的位置偏移，腹部呼吸所产生的变化以及病灶位置大致的变化也同步更新到三维模型中，并显示出来，辅助进行手术；
规划模块：用于根据所要求的剂量和所选择的粒子种类，根据步骤S2所提供的肿瘤及其附近的三维模型，进行插植放疗手术方案规划和对应的插植路径规划；由于即使是同一种类的粒子，其活度也不完全相同，根据粒子的活度不同，对粒子放置的位置进行规划，使得既满足剂量的要求又尽可能减少所需的插植针数，从而既减轻病人疼痛，又通过减少针数减少手术的复杂性。该模块支持设计规划多个插植方案，并将每个方案对应的路径都显示出来，供医生选择。
执行模块：用于根据所选择插植放疗方案，将对应的靶点位置也即机械臂针头所需到达的位置，转化为机械臂所需要执行的移动步骤，一步步执行插植放疗操作，每插植完一针，需要估算因已植入的粒子而导致下一针靶点位置的偏移程度，再进行插植，根据实时的三维模型图像，了解插植手术的进展情况和粒子植入的准确度。
本发明提供的辅助机器人系统具有重要的商业价值，对底层实现的机器人系统并没有严格的要求，可以在多种机器人系统上使用。目前针对术前对医生进行预辅助的相关诊查手段有很多，但是能够在术中通过图像感知为医生提供实时的提示和辅助的手段却寥寥无几，本发明不仅能够为医生提供手术中实时的操作提示和辅助，也能通过术前的规划尽可能减少患者的病痛，并在医生的控制下完成宫颈癌插植放疗的手术，因此本发明具有重要意义。
进一步的，所述的配准模块包括：
原始三维模型获取单元：用于在患者胸腹部处放置钢丝作为标记后，对患者进行CT扫描，获取原始三维模型；并在尽可能保持姿态不变的情况下将患者送入手术室；
表层三维图像获取单元：用于以放置钢丝的位置为中线，放置用于识别的二维码，并通过垂直放置的双目摄像头对患者表皮的三维图像进行采集，从而获得带有标记二维码的表层三维图像；
基础三维模型获取单元：用于通过标记物的匹配，将表层三维图像与原始三维模型中的表层进行融合，以原始三维模型为基础，利用目前的表层三维图像对原来的图像进行适当的覆盖或调整，从而得到基础三维模型。
进一步的，所述的重构模块包括：
器械初始定位单元：用于根据配准模块获得基础三维模型图像，通过双目摄像头、机械臂上自带的内窥镜和超声设备对场景内的仪器进行定位，并建立对应的三维模型补充到基础三维模型中，完成器械的初始定位；
机械臂位置更新单元：用于在手术过程中，利用双目摄像头、机械臂上自带的内窥镜和超声设备所采集到的图像进行融合，结合机械臂所执行的指令，判断机械臂尤其是针尖目前所在的位置，并实时更新到三维模型中，以便医生查看；
肿瘤位置更新单元：用于在手术过程中，利用放置在腹部的陀螺仪偏转的情况，估算患者体内肿瘤由于生理因素所产生的波动情况，并实时更新到三维模型中，以便医生实时判断靶点位置的波动情况。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种多模态数据融合的放疗位置确定方法，其特征在于，包括以下步骤：
S1.利用术前的CT影像构建原始三维模型，并通过手术室内设置的摄像头，获取患者此时的体表三维图像，并通过识别体表上预先放置的特殊标签，通过配准算法将两个三维图像进行融合，从而得到目前手术室内患者病灶处附近的基础三维模型；
S2.在步骤S1所形成的三维图像的基础上，通过结合摄像头、内窥镜、超声仪器三者的图像信息，来确定目前医疗器械所在的位置，并实时更新到基础三维图像中；此外，通过将陀螺仪放置在腹部，来获取腹部由于呼吸所产生的形变并分析规律，从而近似估算病灶由于身体因素所产生的位置偏移，腹部呼吸所产生的变化以及病灶位置大致的变化也同步更新到三维模型中，并显示出来；
S3.根据所要求的剂量和所选择的粒子种类，根据步骤S2所提供的肿瘤及其附近的三维模型，进行插植放疗手术方案规划和对应的插植路径规划；
S4.根据所选择插植放疗方案，将对应的靶点位置即机械臂针头所需到达的位置，转化为机械臂所需要执行的移动步骤，每插植完一针，需要估算因已植入的粒子而导致下一针靶点位置的偏移程度，再进行插植。
2.根据权利要求1所述的多模态数据融合的放疗位置确定方法，其特征在于，所述的步骤S1具体包括：
S11.在患者胸腹部处放置钢丝作为标记后，对患者进行CT扫描，获取原始三维模型；
S12.以放置钢丝的位置为中线，放置用于识别的二维码，并通过垂直放置的双目摄像头对患者表皮的三维图像进行采集，从而获得带有标记二维码的表层三维图像；
S13.通过标记物的匹配，将表层三维图像与原始三维模型中的表层进行融合，以原始三维模型为基础，利用目前的表层三维图像对原来的图像进行适当的覆盖或调整，从而得到基础三维模型。
3.根据权利要求1所述的多模态数据融合的放疗位置确定方法，其特征在于，所述的步骤S2具体包括：
S21.根据步骤S1获得基础三维模型图像，通过双目摄像头、机械臂上自带的内窥镜和超声设备对场景内的仪器进行定位，并建立对应的三维模型补充到基础三维模型中，完成器械的初始定位；
S22.在插植过程中，利用双目摄像头、机械臂上自带的内窥镜和超声设备所采集到的图像进行融合，结合机械臂所执行的指令，判断机械臂尤其是针尖目前所在的位置，并实时更新到三维模型中；
S23.在插植过程中，利用放置在腹部的陀螺仪偏转的情况，估算患者体内肿瘤由于生理因素所产生的波动情况，并实时更新到三维模型中，以便实时判断靶点位置的波动情况。
4.根据权利要求1至3任一项所述的多模态数据融合的放疗位置确定方法，其特征在于，在所述的步骤S3中，根据粒子的活度的不同，对粒子放置的位置进行规划，使得既满足剂量的要求又能够减少所需的插植针数。
5.一种多模态数据融合的放疗位置确定的辅助机器人系统，其特征在于，包括：
配准模块：用于利用术前的CT影像作为原始三维模型，并通过手术室内设置的摄像头，获取患者此时的体表三维图像，并通过识别体表上预先放置的特殊标签，通过配准的算法将两个三维图像进行融合，从而得到目前手术室内患者病灶处附近的基础三维模型；
重构模块：用于在配准模块所形成的三维图像的基础上，通过结合摄像头、内窥镜、超声仪器三者的图像信息，来确定目前医疗器械所在的位置，并实时更新到基础三维图像中；此外，通过将陀螺仪放置在腹部，来获取腹部由于呼吸所产生的形变并分析规律，从而近似估算病灶由于身体因素所产生的位置偏移，腹部呼吸所产生的变化以及病灶位置大致的变化也同步更新到三维模型中，并显示出来；
规划模块：用于根据所要求的剂量和所选择的粒子种类，根据步骤S2所提供的肿瘤及其附近的三维模型，进行插植放疗手术方案规划和对应的插植路径规划；
执行模块：用于根据所选择插植放疗方案，将对应的靶点位置也即机械臂针头所需到达的位置，转化为机械臂所需要执行的移动步骤，每插植完一针，需要估算因已植入的粒子而导致下一针靶点位置的偏移程度，再进行插植。
6.根据权利要求5所述的多模态数据融合的放疗位置确定的辅助机器人系统，其特征在于，所述的配准模块包括：
原始三维模型获取单元：用于在患者胸腹部处放置钢丝作为标记后，对患者进行CT扫描，获取原始三维模型；并在尽可能保持姿态不变的情况下将患者送入手术室；
表层三维图像获取单元：用于以放置钢丝的位置为中线，放置用于识别的二维码，并通过垂直放置的双目摄像头对患者表皮的三维图像进行采集，从而获得带有标记二维码的表层三维图像；
基础三维模型获取单元：用于通过标记物的匹配，将表层三维图像与原始三维模型中的表层进行融合，以原始三维模型为基础，利用目前的表层三维图像对原来的图像进行适当的覆盖或调整，从而得到基础三维模型。
7.根据权利要求5所述的多模态数据融合的放疗位置确定的辅助机器人系统，其特征在于，所述的重构模块包括：
器械初始定位单元：用于根据配准模块获得基础三维模型图像，通过双目摄像头、机械臂上自带的内窥镜和超声设备对场景内的仪器进行定位，并建立对应的三维模型补充到基础三维模型中，完成器械的初始定位；
机械臂位置更新单元：用于在插植过程中，利用双目摄像头、机械臂上自带的内窥镜和超声设备所采集到的图像进行融合，结合机械臂所执行的指令，判断机械臂尤其是针尖目前所在的位置，并实时更新到三维模型中；
肿瘤位置更新单元：用于在插植过程中，利用放置在腹部的陀螺仪偏转的情况，估算患者体内肿瘤由于生理因素所产生的波动情况，并实时更新到三维模型中，以便实时判断靶点位置的波动情况。
8.根据权利要求5至7任一项所述的多模态数据融合的放疗位置确定的辅助机器人系统，其特征在于，在所述的规划模块中，根据粒子的活度的不同，对粒子放置的位置进行规划，使得既满足剂量的要求又能够减少所需的插植针数。
9.一种计算机设备，包括存储器和处理器，所述的存储器存储有计算机程序，其特征在于，所述的处理器执行所述的计算机程序时实现权利要求1至4任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述的计算机程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111052474.7A CN113856067A (zh) | 2021-09-08 | 2021-09-08 | 一种多模态数据融合的放疗位置确定方法及辅助机器人系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111052474.7A CN113856067A (zh) | 2021-09-08 | 2021-09-08 | 一种多模态数据融合的放疗位置确定方法及辅助机器人系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113856067A true CN113856067A (zh) | 2021-12-31 |
Family
ID=78994997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111052474.7A Pending CN113856067A (zh) | 2021-09-08 | 2021-09-08 | 一种多模态数据融合的放疗位置确定方法及辅助机器人系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113856067A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114533996A (zh) * | 2022-01-18 | 2022-05-27 | 中山大学附属第六医院 | 可调控阴道冲洗器及其冲洗方法、系统、计算机设备 |
| CN115375854A (zh) * | 2022-10-25 | 2022-11-22 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 融合液晶器件的超声影像设备图像处理方法及相关装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050004451A1 (en) * | 2002-04-26 | 2005-01-06 | Stefan Vilsmeier | Planning and navigation assistance using two-dimensionally adapted generic and detected patient data |
| CN103371870A (zh) * | 2013-07-16 | 2013-10-30 | 深圳先进技术研究院 | 一种基于多模影像的外科手术导航系统 |
| CN106073898A (zh) * | 2016-08-17 | 2016-11-09 | 北京柏惠维康医疗机器人科技有限公司 | 腹腔介入手术系统及方法 |
| CN106890025A (zh) * | 2017-03-03 | 2017-06-27 | 浙江大学 | 一种微创手术导航系统和导航方法 |
| CN112618026A (zh) * | 2020-12-15 | 2021-04-09 | 清华大学 | 远程手术数据融合交互显示系统及方法 |
| CN112971765A (zh) * | 2021-03-01 | 2021-06-18 | 中山大学附属第一医院 | 一种便携式呼吸运动实时监测装置及方法 |
| CN113057734A (zh) * | 2021-03-12 | 2021-07-02 | 上海微创医疗机器人（集团）股份有限公司 | 一种手术系统 |
-
2021
- 2021-09-08 CN CN202111052474.7A patent/CN113856067A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050004451A1 (en) * | 2002-04-26 | 2005-01-06 | Stefan Vilsmeier | Planning and navigation assistance using two-dimensionally adapted generic and detected patient data |
| CN103371870A (zh) * | 2013-07-16 | 2013-10-30 | 深圳先进技术研究院 | 一种基于多模影像的外科手术导航系统 |
| CN106073898A (zh) * | 2016-08-17 | 2016-11-09 | 北京柏惠维康医疗机器人科技有限公司 | 腹腔介入手术系统及方法 |
| CN106890025A (zh) * | 2017-03-03 | 2017-06-27 | 浙江大学 | 一种微创手术导航系统和导航方法 |
| CN112618026A (zh) * | 2020-12-15 | 2021-04-09 | 清华大学 | 远程手术数据融合交互显示系统及方法 |
| CN112971765A (zh) * | 2021-03-01 | 2021-06-18 | 中山大学附属第一医院 | 一种便携式呼吸运动实时监测装置及方法 |
| CN113057734A (zh) * | 2021-03-12 | 2021-07-02 | 上海微创医疗机器人（集团）股份有限公司 | 一种手术系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114533996A (zh) * | 2022-01-18 | 2022-05-27 | 中山大学附属第六医院 | 可调控阴道冲洗器及其冲洗方法、系统、计算机设备 |
| CN115375854A (zh) * | 2022-10-25 | 2022-11-22 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 融合液晶器件的超声影像设备图像处理方法及相关装置 |
| CN115375854B (zh) * | 2022-10-25 | 2022-12-20 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 融合液晶器件的超声影像设备图像处理方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7204663B2 (ja) | 慣性計測装置を使用して手術の正確度を向上させるためのシステム、装置、及び方法 | |
| CN110573105B (zh) | 用于对软组织进行微创医疗干预的机器人装置 | |
| US9597154B2 (en) | Method and apparatus for optimizing a computer assisted surgical procedure | |
| EP4159149A1 (en) | Surgical navigation system, computer for performing surgical navigation method, and storage medium | |
| CN109414295B (zh) | 基于图像的导航的方法和装置 | |
| CN109195527B (zh) | 用于与骨骼手术一起使用的设备及方法 | |
| US20220313190A1 (en) | System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target | |
| US6546279B1 (en) | Computer controlled guidance of a biopsy needle | |
| US10166078B2 (en) | System and method for mapping navigation space to patient space in a medical procedure | |
| US20170071672A1 (en) | Dynamic planning method for needle insertion | |
| JP2008526422A (ja) | 鍵穴脳神経外科用画像ガイドロボットシステム | |
| CN110680470B (zh) | 一种肿瘤自动穿刺机的激光引导定位装置 | |
| CN116019558B (zh) | 电磁导航穿刺机器人系统及其定位方法 | |
| CN113856067A (zh) | 一种多模态数据融合的放疗位置确定方法及辅助机器人系统 | |
| CN114727847A (zh) | 用于计算坐标系变换的系统和方法 | |
| Gao et al. | Fluoroscopy-guided robotic system for transforaminal lumbar epidural injections | |
| EP3398101A1 (en) | Adjustable registration frame | |
| Megali et al. | EndoCAS navigator platform: a common platform for computer and robotic assistance in minimally invasive surgery | |
| CN209826968U (zh) | 一种手术机器人系统 | |
| WO2020064924A1 (en) | Guidance in lung intervention procedures | |
| WO2023107384A1 (en) | Image guided robotic spine injection system | |
| CN114129263B (zh) | 手术机器人路径规划方法、系统、设备及存储介质 | |
| CN113940756B (zh) | 一种基于移动dr影像的手术导航系统 | |
| CN114689041B (zh) | 基于二维图像的磁导航定位系统、方法及相关设备 | |
| Williamson et al. | Image-guided microsurgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211231 |