CN113768527A - 基于ct与超声影像融合的实时三维重建方法、装置及介质 - Google Patents
基于ct与超声影像融合的实时三维重建方法、装置及介质 Download PDFInfo
- Publication number
- CN113768527A CN113768527A CN202110980118.5A CN202110980118A CN113768527A CN 113768527 A CN113768527 A CN 113768527A CN 202110980118 A CN202110980118 A CN 202110980118A CN 113768527 A CN113768527 A CN 113768527A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- coordinate system
- patient
- coordinate
- body surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000004927 fusion Effects 0.000 title claims abstract description 30
- 230000033001 locomotion Effects 0.000 claims abstract description 81
- 239000000523 sample Substances 0.000 claims abstract description 64
- 230000009466 transformation Effects 0.000 claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims abstract description 32
- 238000003780 insertion Methods 0.000 claims abstract description 10
- 230000037431 insertion Effects 0.000 claims abstract description 10
- 238000002604 ultrasonography Methods 0.000 claims description 19
- 238000002591 computed tomography Methods 0.000 claims description 14
- 230000001133 acceleration Effects 0.000 claims description 12
- 238000005507 spraying Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000007639 printing Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000003902 lesion Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 230000000241 respiratory effect Effects 0.000 claims description 2
- 239000003550 marker Substances 0.000 description 8
- 230000029058 respiratory gaseous exchange Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000003491 skin Anatomy 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 210000002615 epidermis Anatomy 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
- A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pulmonology (AREA)
- Theoretical Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于CT与超声影像融合的实时三维重建方法、装置及存储介质，该方法通过铅质二维码，获取CT三维模型坐标系与术中相机系统坐标系的第一变换矩阵；获取患者病灶区域、超声探头和穿刺针在术中相机系统坐标系下的坐标；然后获取患者病灶区域、超声探头和穿刺针在CT三维模型坐标系下的坐标；再通过坐标变换，确定患者术区超声影像在CT三维模型中的相应位置；最后根据体表运动模型得到进针点的体表运动数据，并实时更新到CT三维模型中。本发明能够实时、直观地反映出手术器械在患者体内的状态，保证手术的精确度与安全性；本发明三维重建精度更高，速度更快；本发明可广泛应用于CT与超声融合技术领域。
Description
技术领域
本发明涉及CT与超声融合技术领域，尤其是一种基于CT与超声影像融合的实时三维重建方法、装置及存储介质。
背景技术
在穿刺手术或粒子植入手术中，需要获得穿刺针在人体内的位置及姿态，以实时控制手术进程，确保穿刺的精准度。
目前的大部分相关手术中使用超声影像进行实时探测，但是超声影像分辨率低使得观测很不直观，对医生的手术经验要求很高。也有一部分技术提出了将CT与超声融合来实时监测进针状态，但是CT与超声影像的配准成为技术难点，并且这些技术没有考虑到病人呼吸造成的运动，导致三维重建精度降低。
比如，公开号为CN110537961A的专利文件公开了一种CT和超声影像融合的微创介入引导系统及方法，该方法包括：对患者进行CT扫描获得CT影像序列，对CT影像序列进行三维重建，获得患者身体的三维模型；获得患者的超声影像；通过磁场发生器得到患者、超声探头和穿刺针之间的位置关系。通过坐标变换，将磁场发生器坐标下患者、超声探头和穿刺针的位置关系转换为CT影像坐标下的，获取超声影像在三维模型中的截面位置。根据超声影像在三维模型中的截面位置切割三维模型，获得与超声影像对应的CT影像截面；同时显示超声影像及与超声影像对应的CT影像截面，并显示穿刺针在CT影像中的位置。
该专利文件公开的方法存在以下缺陷：
(1)使用磁场发生器进行坐标的获取、配准与转换，需要在地面安装标定板，在扫描床一侧安装磁场发生器，并且需要在超声探头、患者、穿刺针上安装六个自由度的传感器；繁琐的准备延长了术前准备时间，并且对手术空间有着较大要求，同时安装在扫描床侧边的磁场发生器占据了手术医生的操作空间；
(2)没有考虑病人呼吸造成的体表以及内部器官的运动，三维重建误差较大；
(3)磁场发生器强度的变化会影响坐标的配准精度，导致CT与超声融合效果较差；
(4)发出的电磁场虽然短时间内对人体健康并无大碍，但长此以往，外科手术医生难免会收到电磁辐射的影响。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于CT与超声影像融合的实时三维重建方法、装置及存储介质。
本发明所采取的技术方案是：
一方面，本发明实施例包括一种基于CT与超声影像融合的实时三维重建方法，包括：
获取CT三维模型；
使用超声探头获得患者术区超声影像；
通过铅质二维码，获取CT三维模型坐标系与术中相机系统坐标系的第一变换矩阵；
获取患者病灶区域、超声探头和穿刺针在所述术中相机系统坐标系下的坐标；
通过所述第一变换矩阵，获取患者病灶区域、超声探头和穿刺针在所述CT三维模型坐标系下的坐标；
将所述术中相机系统坐标系下患者病灶区域、超声探头和穿刺针的位置关系转换为CT影像坐标系下患者病灶区域、超声探头和穿刺针的位置关系，以确定所述患者术区超声影像在所述CT三维模型中的相应位置；
根据体表运动模型得到进针点的体表运动数据，并将所述进针点的体表运动数据实时更新到所述CT三维模型中。
进一步地，所述获取CT三维模型这一步骤，包括：
通过计算机断层扫描得到CT影像序列；
根据所述CT影像序列，通过三维重建得到CT三维模型。
进一步地，所述通过铅质二维码，获取CT三维模型坐标系与术中相机系统坐标系的第一变换矩阵这一步骤，包括：
在患者体表喷印或粘贴多个铅质二维码；
获取第一坐标组，所述第一坐标组为多个所述铅质二维码在术中相机系统坐标系下的坐标；
获取第二坐标组，所述第二坐标组为多个所述铅质二维码在CT三维模型坐标系下的坐标；
根据所述第一坐标组和所述第二坐标组，计算得到CT三维模型坐标系与术中相机系统坐标系的第一变换矩阵。
进一步地，所述获取患者病灶区域、超声探头和穿刺针在所述术中相机系统坐标系下的坐标这一步骤，包括：
根据机器臂每个关节的旋转角度分别计算超声探头和穿刺针在机械臂底座坐标系下的坐标；
通过铅质二维码，获取机械臂底座坐标系与术中相机系统坐标系的第二变换矩阵；
通过所述第二变换矩阵，获取超声探头和穿刺针在所述术中相机系统坐标系下的坐标；
在患者病灶区域喷印或粘贴铅质二维码，以获取患者病灶区域在所述术中相机系统坐标系下的坐标。
进一步地，超声探头搭载于机械臂底座的第一位置，穿刺针搭载于机械臂底座的第二位置，所述通过铅质二维码，获取机械臂底座坐标系与术中相机系统坐标系的第二变换矩阵这一步骤，包括：
获取第三坐标组，所述第三坐标组为超声探头和穿刺针在机械臂底座坐标系下的坐标；
在机械臂底座的第一位置喷印或粘贴第一铅质二维码；
在机械臂底座的第二位置喷印或粘贴第二铅质二维码；
获取第四坐标组，所述第四坐标组为所述第一铅质二维码和所述第二铅质二维码在术中相机系统坐标系下的坐标；
根据所述第三坐标组和所述第四坐标组，计算得到机械臂底座坐标系与术中相机系统坐标系的第二变换矩阵。
进一步地，根据体表运动模型得到进针点的体表运动数据通过以下公式执行：
dest＝M(m1,m2,m3,r1,r2,r3)；
式中，dest表示进针点的体表运动数据，M表示体表运动模型，m1、m2、m3表示置于患者体表的三个表皮运动监测器检测得到的3个体表数据，r1、r2、r3表示三个表皮运动监测器分别与进针点的距离。
进一步地，所述表皮运动监测器包括三轴加速度传感器、供电纽扣电源和数据传输单元；
所述三轴加速度传感器用于检测患者体表随着呼吸运动的起伏情况；
所述供电纽扣电源用于给所述三轴加速度传感器供电；
所述数据传输单元用于对所述三轴加速度传感器检测得到的数据进行传输。
另一方面，本发明实施例还包括一种基于CT与超声影像融合的实时三维重建装置，包括术前CT扫描与三维模型重建系统、机械臂控制系统、术中视觉定位系统、超声探头成像系统、穿刺执行系统、体表运动监测系统；
所述术前CT扫描与三维模型重建系统用于构建CT三维模型；
所述机械臂控制系统用于控制超声探头，以获取患者术区超声影像，和用于控制穿刺针，以执行穿刺任务。
所述术中视觉定位系统用于将机械臂控制系统坐标系与CT三维模型坐标系进行转换，以将超声探头和穿刺针的位置与所述CT三维模型进行配准；
所述超声探头成像系统用于获取术中穿刺针在患者体内的行进状态；
所述穿刺执行系统用于通过穿刺针执行穿刺任务；
所述体表运动监测系统用于根据体表运动模型得到进针点的体表运动数据，并将所述进针点的体表运动数据实时更新到所述CT三维模型中。
另一方面，本发明实施例还包括一种基于CT与超声影像融合的实时三维重建装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的基于CT与超声影像融合的实时三维重建方法。
另一方面，本发明实施例还包括计算机可读存储介质，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现所述的基于CT与超声影像融合的实时三维重建方法。
本发明的有益效果是：
(1)本发明通过获取CT三维模型；使用超声探头获得患者术区超声影像；通过铅质二维码，获取CT三维模型坐标系与术中相机系统坐标系的第一变换矩阵；获取患者病灶区域、超声探头和穿刺针在术中相机系统坐标系下的坐标；通过第一变换矩阵，获取患者病灶区域、超声探头和穿刺针在CT三维模型坐标系下的坐标；将术中相机系统坐标系下患者病灶区域、超声探头和穿刺针的位置关系转换为CT影像坐标系下患者病灶区域、超声探头和穿刺针的位置关系，以确定患者术区超声影像在CT三维模型中的相应位置；从而能够实时、直观地反映出手术器械在患者体内的状态，保证手术的精确度与安全性；进而使得医生能够直观监测术区表皮内部的状态，提高穿刺精度；
(2)本发明根据体表运动模型得到进针点的体表运动数据，并将进针点的体表运动数据实时更新到所述CT三维模型中；即本发明考虑到呼吸造成的患者体表运动对三维重建精度的影响，从而通过建立体表运动模型，能够实时得到进针点的体表运动数据，并实时更新到三维重建模型中；本发明三维重建精度更高，速度更快。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所述基于CT与超声影像融合的实时三维重建装置的结构示意图；
图2为本发明实施例所述基于CT与超声影像融合的实时三维重建方法的步骤流程图；
图3为本发明实施例所述铅质二维码旋转鲁棒性设计示例图；
图4为本发明实施例所述铅质二维码的示例图；
图5为本发明实施例所述铅质二维码旋转鲁棒性设计的另一示例图；
图6为本发明实施例所述CT与超声影像融合的实时三维重建装置的另一结构示意图。
具体实施方式
面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
下面结合附图，对本申请实施例作进一步阐述。
参照图1，本发明实施例提出一种基于CT与超声影像融合的实时三维重建装置，能够利用术前CT与术中实时超声影像，结合术中视觉定位系统对术区进行实时三维重建，使得医生能够直观监测术区表皮内部的状态，提高穿刺精度。该装置包括术前CT扫描与三维模型重建系统、机械臂控制系统、术中视觉定位系统、超声探头成像系统、穿刺执行系统、体表运动监测系统；其中，
术前CT扫描与三维模型重建系统用于构建CT三维模型；
机械臂控制系统用于控制超声探头，以获取患者术区超声影像，和用于控制穿刺针，以执行穿刺任务。
术中视觉定位系统用于将机械臂控制系统坐标系与CT三维模型坐标系进行转换，以将超声探头和穿刺针的位置与CT三维模型进行配准；
超声探头成像系统用于获取术中穿刺针在患者体内的行进状态；
穿刺执行系统用于通过穿刺针执行穿刺任务；
体表运动监测系统用于根据体表运动模型得到进针点的体表运动数据，并将进针点的体表运动数据实时更新到CT三维模型中。
具体地，本实施例中，术前CT扫描与三维模型重建系统通过CT扫描并通过三维重建获得患者指定区域的CT三维模型；
机械臂控制系统包括两个机械臂，两个机械臂分别固定在手术床两侧，一个用于操纵超声探头，实时获取超声图像；另一个用于操纵穿刺针，执行穿刺任务。机械臂为七轴机械臂，可以根据各轴的转动获取机械臂末端相对机械臂底座的位置；
超声探头成像系统搭载于机械臂上，用于在术中实时扫描术区患者体内的影像，以获取穿刺针在体内的行进状态；
穿刺执行系统也搭载于机械臂上，其上可放置用于穿刺活检、靶区消融等用途的多种穿刺针，从而执行多种穿刺任务；
术中视觉定位系统能够基于二维码标记将机械臂控制系统与CT三维模型坐标系进行转换，从而将搭载于机械臂上的超声探头以及穿刺针的位置与CT三维模型进行配准；
体表运动监测系统包括前期训练得到的体表运动模型以及放置于患者体表的至少三个表皮运动监测器。其中，体表运动模型是前期经过大量数据实验，通过表皮运动监测器建立得到：dest＝M(m1,m2,m3,r1,r2,r3)；其中，M表示训练得到的体表运动模型，dest表示模型输出，即进针点处的体表运动数据，m1、m2、m3表示置于患者体表的三个表皮运动监测器检测得到的3个体表数据，r1、r2、r3表示三个表皮运动监测器分别与进针点的距离。表皮运动监测器包括三轴加速度传感器、供电纽扣电源和数据传输单元。三轴加速度传感器可以检测患者体表的倾斜情况，即体表随着呼吸运动的起伏情况；供电纽扣电源用于给三轴加速度传感器供电；数据传输单元用于将三轴加速度传感器检测得到的数据实时传输给体表运动监测系统。
基于图1所示的三维重建装置，本发明实施例还提出一种基于CT与超声影像融合的实时三维重建方法，参照图2，该方法包括但不限于以下步骤：
S100.获取CT三维模型；
S200.使用超声探头获得患者术区超声影像；
S300.通过铅质二维码，获取CT三维模型坐标系与术中相机系统坐标系的第一变换矩阵；S400.获取患者病灶区域、超声探头和穿刺针在术中相机系统坐标系下的坐标；
S500.通过第一变换矩阵，获取患者病灶区域、超声探头和穿刺针在CT三维模型坐标系下的坐标；
S600.将术中相机系统坐标系下患者病灶区域、超声探头和穿刺针的位置关系转换为CT影像坐标系下患者病灶区域、超声探头和穿刺针的位置关系，以确定患者术区超声影像在CT三维模型中的相应位置；
S700.根据体表运动模型得到进针点的体表运动数据，并将进针点的体表运动数据实时更新到CT三维模型中。
本实施例中，步骤S100，也就是获取CT三维模型这一步骤，包括：
S101.通过计算机断层扫描得到CT影像序列；
S102.根据CT影像序列，通过三维重建得到CT三维模型。
本实施例中，通过术前CT扫描与三维模型重建系统构建得到CT三维模型，具体地，先通过计算机断层扫描得到CT影像序列，然后根据CT影像序列，通过三维重建得到CT三维模型。
本实施例中，步骤S300，也就是通过铅质二维码，获取CT三维模型坐标系与术中相机系统坐标系的第一变换矩阵这一步骤，包括：
S301.在患者体表喷印或粘贴多个铅质二维码；
S302.获取第一坐标组，第一坐标组为多个铅质二维码在术中相机系统坐标系下的坐标；
S303.获取第二坐标组，第二坐标组为多个铅质二维码在CT三维模型坐标系下的坐标；
S304.根据第一坐标组和第二坐标组，计算得到CT三维模型坐标系与术中相机系统坐标系的第一变换矩阵。
本实施例中，基于术中视觉定位系统，在扫描CT前在患者体表贴上3个铅质二维码，可以得到铅质二维码分别在CT三维模型坐标系与术中相机系统坐标系下的坐标，从而计算出术中相机系统坐标系到CT三维模型坐标系的变换矩阵。
其中，铅质二维码标记物由铅粉材质喷绘二维码或者在铅层上贴附二维码两种方式构成，铅质属于显影材料，铅质二维码极易具备标识性，通过二维码检测与编码系统可以得到唯一的标记ID，极易被计算机识别；参照图3，铅质二维码通过对正方形四个角中的三个角设置基准确定二维码的方向，以此确定三维影像模型和术中现实患者体位的旋转角差异，帮助计算机处理系统进行快速配准。
具体地，铅质二维码标记物中的铅质材料用来在CT图像上显影成像，从而进行配准注册；铅质二维码标记物中的二维码用来被术中相机视觉系统识别并提供标记物的唯一性信息；在术前三维成像系统扫描患者前，需在患者身上贴上至少三个铅质二维码标记物，如图4所示，用于配准注册。
铅质二维码要求被设计成具备某种指定特征的样式，具体而言：
(1)整个二维码被限制由6×6个黑白色四边形(quad)构成；每个四边形大小是0.5cm×0.5cm。每个四边形范围为49到100像素。这样的设计使得二维码既能够被相机清晰识别，又能够被快速检测与编码；
(2)二维码外围的四边形全部设置为黑色，次外围的左上、右上、左下三个位置的四边形为白色，而右下位置的四边形为黑色，如图5所示。这样的设计是为了使得铅质二维码标记物具备旋转鲁棒性，通过这种方式，相机能够很容易地识别二维码的方向，能够与术前三维建模型系统进行快速配准。
本实施例中，步骤S400，也就是获取患者病灶区域、超声探头和穿刺针在术中相机系统坐标系下的坐标这一步骤，包括：
S401.根据机器臂每个关节的旋转角度分别计算超声探头和穿刺针在机械臂底座坐标系下的坐标；
S402.通过铅质二维码，获取机械臂底座坐标系与术中相机系统坐标系的第二变换矩阵；
S403.通过第二变换矩阵，获取超声探头和穿刺针在术中相机系统坐标系下的坐标；
S404.在患者病灶区域喷印或粘贴铅质二维码，以获取患者病灶区域在术中相机系统坐标系下的坐标。
本实施例中，搭载超声探头和穿刺针的机械臂可以根据每个关节的旋转角度计算出末端超声探头和穿刺针在机械臂底座坐标系下的坐标；在搭建超声探头和穿刺针的机械臂底座上贴上铅质二维码标记物，通过相机捕获铅质二维码标记物的坐标，可获取机械臂底座坐标系与术中相机系统坐标系的变换矩阵；从而得到超声探头与穿刺针在术中相机系统坐标系下的坐标。
具体地，超声探头搭载于机械臂底座的第一位置，穿刺针搭载于机械臂底座的第二位置，步骤S402，也就是通过铅质二维码，获取机械臂底座坐标系与术中相机系统坐标系的第二变换矩阵这一步骤，包括：
S402-1.获取第三坐标组，第三坐标组为超声探头和穿刺针在机械臂底座坐标系下的坐标；
S402-2.在机械臂底座的第一位置喷印或粘贴第一铅质二维码；
S402-3.在机械臂底座的第二位置喷印或粘贴第二铅质二维码；
S402-4.获取第四坐标组，第四坐标组为第一铅质二维码和第二铅质二维码在术中相机系统坐标系下的坐标；
S402-5.根据第三坐标组和第四坐标组，计算得到机械臂底座坐标系与术中相机系统坐标系的第二变换矩阵。
本实施例中，在获取得到患者病灶区域、超声探头和穿刺针在所述术中相机系统坐标系下的坐标之后，进一步根据CT三维模型坐标系与术中相机系统坐标系的变换矩阵，可得到患者病灶区域、超声探头和穿刺针在所述CT三维模型坐标系下的坐标。
本实施例中，步骤S700中，考虑到呼吸造成的患者体表运动对三维重建精度的影响，从而通过建立体表运动模型，能够实时得到进针点的体表运动数据，并实时更新到三维重建模型中，使得三维重建精度更高，速度更快。
具体地，根据体表运动模型得到进针点的体表运动数据通过以下公式执行：
dest＝M(m1,m2,m3,r1,r2,r3)；
式中，dest表示进针点的体表运动数据，M表示体表运动模型，m1、m2、m3表示置于患者体表的三个表皮运动监测器检测得到的3个体表数据，r1、r2、r3表示三个表皮运动监测器分别与进针点的距离。
本发明实施例所述基于CT与超声影像融合的实时三维重建方法具有以下技术效果：
(1)本发明实施例通过获取CT三维模型；使用超声探头获得患者术区超声影像；通过铅质二维码，获取CT三维模型坐标系与术中相机系统坐标系的第一变换矩阵；获取患者病灶区域、超声探头和穿刺针在术中相机系统坐标系下的坐标；通过第一变换矩阵，获取患者病灶区域、超声探头和穿刺针在CT三维模型坐标系下的坐标；将术中相机系统坐标系下患者病灶区域、超声探头和穿刺针的位置关系转换为CT影像坐标系下患者病灶区域、超声探头和穿刺针的位置关系，以确定患者术区超声影像在CT三维模型中的相应位置；从而能够实时、直观地反映出手术器械在患者体内的状态，保证手术的精确度与安全性；进而使得医生能够直观监测术区表皮内部的状态，提高穿刺精度；
(2)本发明实施例根据体表运动模型得到进针点的体表运动数据，并将进针点的体表运动数据实时更新到所述CT三维模型中；即本发明考虑到呼吸造成的患者体表运动对三维重建精度的影响，从而通过建立体表运动模型，能够实时得到进针点的体表运动数据，并实时更新到三维重建模型中；本发明三维重建精度更高，速度更快。
参照图6，本发明实施例还提供了一种基于CT与超声影像融合的实时三维重建装置200，具体包括：
至少一个处理器210；
至少一个存储器220，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器210执行，使得所述至少一个处理器210实现如图2所示的方法。
其中，存储器220作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。存储器220可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器220可选包括相对于处理器210远程设置的远程存储器，这些远程存储器可以通过网络连接至处理器210。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
可以理解到，图6中示出的装置结构并不构成对装置200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图6所示的装置200中，处理器210可以调取存储器220中储存的程序，并执行但不限于图2所示实施例的步骤。
以上所描述的装置200实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现实施例的目的。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现如图2所示的方法。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图2所示的方法。
可以理解的是，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (10)
1.一种基于CT与超声影像融合的实时三维重建方法，其特征在于，包括：
获取CT三维模型；
使用超声探头获得患者术区超声影像；
通过铅质二维码，获取CT三维模型坐标系与术中相机系统坐标系的第一变换矩阵；
获取患者病灶区域、超声探头和穿刺针在所述术中相机系统坐标系下的坐标；
通过所述第一变换矩阵，获取患者病灶区域、超声探头和穿刺针在所述CT三维模型坐标系下的坐标；
将所述术中相机系统坐标系下患者病灶区域、超声探头和穿刺针的位置关系转换为CT影像坐标系下患者病灶区域、超声探头和穿刺针的位置关系，以确定所述患者术区超声影像在所述CT三维模型中的相应位置；
根据体表运动模型得到进针点的体表运动数据，并将所述进针点的体表运动数据实时更新到所述CT三维模型中。
2.根据权利要求1所述的一种基于CT与超声影像融合的实时三维重建方法，其特征在于，所述获取CT三维模型这一步骤，包括：
通过计算机断层扫描得到CT影像序列；
根据所述CT影像序列，通过三维重建得到CT三维模型。
3.根据权利要求1所述的一种基于CT与超声影像融合的实时三维重建方法，其特征在于，所述通过铅质二维码，获取CT三维模型坐标系与术中相机系统坐标系的第一变换矩阵这一步骤，包括：
在患者体表喷印或粘贴多个铅质二维码；
获取第一坐标组，所述第一坐标组为多个所述铅质二维码在术中相机系统坐标系下的坐标；
获取第二坐标组，所述第二坐标组为多个所述铅质二维码在CT三维模型坐标系下的坐标；
根据所述第一坐标组和所述第二坐标组，计算得到CT三维模型坐标系与术中相机系统坐标系的第一变换矩阵。
4.根据权利要求1所述的一种基于CT与超声影像融合的实时三维重建方法，其特征在于，所述获取患者病灶区域、超声探头和穿刺针在所述术中相机系统坐标系下的坐标这一步骤，包括：
根据机器臂每个关节的旋转角度分别计算超声探头和穿刺针在机械臂底座坐标系下的坐标；
通过铅质二维码，获取机械臂底座坐标系与术中相机系统坐标系的第二变换矩阵；
通过所述第二变换矩阵，获取超声探头和穿刺针在所述术中相机系统坐标系下的坐标；
在患者病灶区域喷印或粘贴铅质二维码，以获取患者病灶区域在所述术中相机系统坐标系下的坐标。
5.根据权利要求4所述的一种基于CT与超声影像融合的实时三维重建方法，其特征在于，超声探头搭载于机械臂底座的第一位置，穿刺针搭载于机械臂底座的第二位置，所述通过铅质二维码，获取机械臂底座坐标系与术中相机系统坐标系的第二变换矩阵这一步骤，包括：
获取第三坐标组，所述第三坐标组为超声探头和穿刺针在机械臂底座坐标系下的坐标；
在机械臂底座的第一位置喷印或粘贴第一铅质二维码；
在机械臂底座的第二位置喷印或粘贴第二铅质二维码；
获取第四坐标组，所述第四坐标组为所述第一铅质二维码和所述第二铅质二维码在术中相机系统坐标系下的坐标；
根据所述第三坐标组和所述第四坐标组，计算得到机械臂底座坐标系与术中相机系统坐标系的第二变换矩阵。
6.根据权利要求1所述的一种基于CT与超声影像融合的实时三维重建方法，其特征在于，根据体表运动模型得到进针点的体表运动数据通过以下公式执行：
dest＝M(m1，m2，m3，r1，r2，r3)；
式中，dest表示进针点的体表运动数据，M表示体表运动模型，m1、m2、m3表示置于患者体表的三个表皮运动监测器检测得到的3个体表数据，r1、r2、r3表示三个表皮运动监测器分别与进针点的距离。
7.根据权利要求6所述的一种基于CT与超声影像融合的实时三维重建方法，其特征在于，所述表皮运动监测器包括三轴加速度传感器、供电纽扣电源和数据传输单元；
所述三轴加速度传感器用于检测患者体表随着呼吸运动的起伏情况；
所述供电纽扣电源用于给所述三轴加速度传感器供电；
所述数据传输单元用于对所述三轴加速度传感器检测得到的数据进行传输。
8.一种基于CT与超声影像融合的实时三维重建装置，其特征在于，包括术前CT扫描与三维模型重建系统、机械臂控制系统、术中视觉定位系统、超声探头成像系统、穿刺执行系统、体表运动监测系统；
所述术前CT扫描与三维模型重建系统用于构建CT三维模型；
所述机械臂控制系统用于控制超声探头，以获取患者术区超声影像，和用于控制穿刺针，以执行穿刺任务。
所述术中视觉定位系统用于将机械臂控制系统坐标系与CT三维模型坐标系进行转换，以将超声探头和穿刺针的位置与所述CT三维模型进行配准；
所述超声探头成像系统用于获取术中穿刺针在患者体内的行进状态；
所述穿刺执行系统用于通过穿刺针执行穿刺任务；
所述体表运动监测系统用于根据体表运动模型得到进针点的体表运动数据，并将所述进针点的体表运动数据实时更新到所述CT三维模型中。
9.一种基于CT与超声影像融合的实时三维重建装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7任一项所述的方法。
10.计算机可读存储介质，其特征在于，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110980118.5A CN113768527B (zh) | 2021-08-25 | 2021-08-25 | 基于ct与超声影像融合的实时三维重建装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110980118.5A CN113768527B (zh) | 2021-08-25 | 2021-08-25 | 基于ct与超声影像融合的实时三维重建装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113768527A true CN113768527A (zh) | 2021-12-10 |
| CN113768527B CN113768527B (zh) | 2023-10-13 |
Family
ID=78839139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110980118.5A Active CN113768527B (zh) | 2021-08-25 | 2021-08-25 | 基于ct与超声影像融合的实时三维重建装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113768527B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115192925A (zh) * | 2022-08-02 | 2022-10-18 | 中国医学科学院北京协和医院 | 一种瘤床信息确定方法、装置、设备和介质 |
| CN115624385A (zh) * | 2022-09-19 | 2023-01-20 | 重庆生物智能制造研究院 | 术前空间配准方法及装置、计算机设备、存储介质 |
| CN115778545A (zh) * | 2022-12-22 | 2023-03-14 | 天津市鹰泰利安康医疗科技有限责任公司 | 一种消融定位方法及系统 |
| CN116993790A (zh) * | 2023-09-27 | 2023-11-03 | 深圳卡尔文科技有限公司 | 一种种植导航配准方法、系统和存储介质 |
| CN117147699A (zh) * | 2023-10-31 | 2023-12-01 | 江苏蓝格卫生护理用品有限公司 | 一种医用无纺布的检测方法及系统 |
| WO2023237074A1 (zh) * | 2022-06-09 | 2023-12-14 | 上海市胸科医院 | 基于超声定位的结节定位方法、装置和电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102319117A (zh) * | 2011-06-16 | 2012-01-18 | 上海交通大学医学院附属瑞金医院 | 基于磁导航融合实时超声信息的大血管内介入物植入系统 |
| JP5410629B1 (ja) * | 2013-05-14 | 2014-02-05 | 健司 三木 | 超音波診断システム、画像処理装置およびその制御方法と制御プログラム |
| US20170020489A1 (en) * | 2013-10-09 | 2017-01-26 | Shenzhen Mindray Bio-Medical Electronics Co., Ltd. | Ultrasound fusion imaging method and ultrasound fusion imaging navigation system |
| CN108272502A (zh) * | 2017-12-29 | 2018-07-13 | 战跃福 | 一种ct三维成像引导的消融针导向手术方法及系统 |
| CN110025379A (zh) * | 2019-05-07 | 2019-07-19 | 新博医疗技术有限公司 | 一种超声图像与ct图像融合实时导航系统及方法 |
| CN110537961A (zh) * | 2019-08-01 | 2019-12-06 | 中国人民解放军总医院 | 一种ct和超声影像融合的微创介入引导系统及方法 |
-
2021
- 2021-08-25 CN CN202110980118.5A patent/CN113768527B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102319117A (zh) * | 2011-06-16 | 2012-01-18 | 上海交通大学医学院附属瑞金医院 | 基于磁导航融合实时超声信息的大血管内介入物植入系统 |
| JP5410629B1 (ja) * | 2013-05-14 | 2014-02-05 | 健司 三木 | 超音波診断システム、画像処理装置およびその制御方法と制御プログラム |
| US20170020489A1 (en) * | 2013-10-09 | 2017-01-26 | Shenzhen Mindray Bio-Medical Electronics Co., Ltd. | Ultrasound fusion imaging method and ultrasound fusion imaging navigation system |
| CN108272502A (zh) * | 2017-12-29 | 2018-07-13 | 战跃福 | 一种ct三维成像引导的消融针导向手术方法及系统 |
| CN110025379A (zh) * | 2019-05-07 | 2019-07-19 | 新博医疗技术有限公司 | 一种超声图像与ct图像融合实时导航系统及方法 |
| CN110537961A (zh) * | 2019-08-01 | 2019-12-06 | 中国人民解放军总医院 | 一种ct和超声影像融合的微创介入引导系统及方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023237074A1 (zh) * | 2022-06-09 | 2023-12-14 | 上海市胸科医院 | 基于超声定位的结节定位方法、装置和电子设备 |
| CN115192925A (zh) * | 2022-08-02 | 2022-10-18 | 中国医学科学院北京协和医院 | 一种瘤床信息确定方法、装置、设备和介质 |
| CN115192925B (zh) * | 2022-08-02 | 2023-04-07 | 中国医学科学院北京协和医院 | 一种瘤床信息确定方法、装置、设备和介质 |
| CN115624385A (zh) * | 2022-09-19 | 2023-01-20 | 重庆生物智能制造研究院 | 术前空间配准方法及装置、计算机设备、存储介质 |
| CN115624385B (zh) * | 2022-09-19 | 2024-05-10 | 重庆生物智能制造研究院 | 术前空间配准方法及装置、计算机设备、存储介质 |
| CN115778545A (zh) * | 2022-12-22 | 2023-03-14 | 天津市鹰泰利安康医疗科技有限责任公司 | 一种消融定位方法及系统 |
| CN115778545B (zh) * | 2022-12-22 | 2023-11-14 | 天津市鹰泰利安康医疗科技有限责任公司 | 一种消融定位方法及系统 |
| CN116993790A (zh) * | 2023-09-27 | 2023-11-03 | 深圳卡尔文科技有限公司 | 一种种植导航配准方法、系统和存储介质 |
| CN116993790B (zh) * | 2023-09-27 | 2023-12-08 | 深圳卡尔文科技有限公司 | 一种种植导航配准方法、系统和存储介质 |
| CN117147699A (zh) * | 2023-10-31 | 2023-12-01 | 江苏蓝格卫生护理用品有限公司 | 一种医用无纺布的检测方法及系统 |
| CN117147699B (zh) * | 2023-10-31 | 2024-01-02 | 江苏蓝格卫生护理用品有限公司 | 一种医用无纺布的检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113768527B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113768527B (zh) | 基于ct与超声影像融合的实时三维重建装置及存储介质 | |
| CN109069217B (zh) | 图像引导外科手术中的姿势估计以及透视成像系统的校准的系统和方法 | |
| US8409098B2 (en) | Method and apparatus for collection of cardiac geometry based on optical or magnetic tracking | |
| US6996430B1 (en) | Method and system for displaying cross-sectional images of a body | |
| US7072707B2 (en) | Method and apparatus for collecting and processing physical space data for use while performing image-guided surgery | |
| EP2769689B1 (en) | Computer-implemented technique for calculating a position of a surgical device | |
| JP5146692B2 (ja) | 光学的位置測定ならびに剛性または半可撓性の針の標的への誘導のためのシステム | |
| US20060173269A1 (en) | Integrated skin-mounted multifunction device for use in image-guided surgery | |
| CN113347937A (zh) | 参照系的配准 | |
| JP2001061861A (ja) | 画像撮影手段を備えたシステムおよび医用ワークステーション | |
| JP2008126075A (ja) | Ｃｔレジストレーション及びフィードバックの視覚的検証のためのシステム及び方法 | |
| WO2022218389A1 (zh) | 超声与x光组合执行操作的方法、装置、系统及计算机可读存储介质 | |
| US20130322726A1 (en) | Methods, apparatuses, assemblies, circuits and systems for assessing, estimating and/or determining relative positions, alignments, orientations and angles of rotation of a portion of a bone and between two or more portions of a bone or bones | |
| JP2020536712A (ja) | 局所平面を用いた医用誘導システム及び方法 | |
| KR101758740B1 (ko) | 의료영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템 | |
| JP2023501053A (ja) | 医療ロボットを位置決めするためのナビゲーション方法 | |
| US20140123388A1 (en) | Automated initial setup positioning for speeding patient throughput | |
| JP2022517246A (ja) | 超音波像とｘ線像とを融合させるための実時間追跡 | |
| CN116744875A (zh) | 导航支持 | |
| WO2023129562A1 (en) | Systems and methods for pose estimation of imaging system | |
| US20230248441A1 (en) | Extended-reality visualization of endovascular navigation | |
| CN116509543A (zh) | 一种复合型手术导航装置、方法以及系统 | |
| WO2023161848A1 (en) | Three-dimensional reconstruction of an instrument and procedure site | |
| CN117425448A (zh) | 用于实时引导经皮干预治疗的配备超声探头的机器人 | |
| JP2021185987A (ja) | レジストレーション方法、レジストレーションプログラム及び穿刺システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |