CN112381750A - 一种超声波图像和ct/mri图像的多模态配准融合方法 - Google Patents
一种超声波图像和ct/mri图像的多模态配准融合方法 Download PDFInfo
- Publication number
- CN112381750A CN112381750A CN202011473513.6A CN202011473513A CN112381750A CN 112381750 A CN112381750 A CN 112381750A CN 202011473513 A CN202011473513 A CN 202011473513A CN 112381750 A CN112381750 A CN 112381750A
- Authority
- CN
- China
- Prior art keywords
- image
- ultrasonic
- mri
- mri image
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 11
- 239000000523 sample Substances 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 4
- 238000002604 ultrasonography Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提出一种超声波图像和CT/MRI图像的多模态配准融合方法，包括将磁场发射器置于手术台靠近患处的位置，并将其与计算机连接；将超声成像仪和计算机相连接；将黑色磁片固定在超声波探头上，通过对超声波探头的标定来确定电磁导航系统下黑色磁片和超声波探头的位置关系，从而在电磁导航系统下，实时的对超声波图像进行捕获和定位；将病人术前CT/MRI图像数据导入计算机，通过三维重建出三维模型；利用标定完毕的超声波探头扫描病人身体患处，在扫描的超声波图像上寻找特征点，在CT/MRI图像上选择相对应的特征点进行配准，得到CT/MRI图像和超声波图像的配准结果。上述方法通过将病人术前的CT/MRI图像和术中的超声波图像进行配准融合能得到清晰的患处位置信息。
Description
技术领域
本发明涉及多模态配准融合技术领域，尤其涉及一种超声波图像和CT/MRI图像的多模态配准融合方法。
背景技术
目前，CT/MRI图像在导航手术中被广泛应用，但是由于电离辐射问题，术中CT/MRI图像存在非实时性的缺点。超声波图像是另外一种被广泛使用的技术，其特点在于超声波图像具有实时性，设备方便使用，但是超声波图像的分辨率不足，无法精确描述病变区域的位置及其边界。
发明内容
为了解决现有技术中存在的问题，本申请提出了一种超声波图像和CT/MRI图像的多模态配准融合方法，以便通过将病人术前的CT/MRI图像和术中的超声波图像进行配准融合后得到清晰的患处位置信息，从而达到精准实时导航的目的。
为了实现上述目的，本申请提出了一种超声波图像和CT/MRI图像的多模态配准融合方法，包括以下步骤：
步骤1、将磁场发射器置于手术台靠近患处的位置，并将磁场发射器与计算机连接；
步骤2、将超声成像仪的视频图像输出端口和计算机上的视频图像采集卡相连接；
步骤3、将黑色磁片固定在超声波探头上，所述黑色磁片是电磁导航系统的方向传感器，通过对超声波探头的标定来确定电磁导航系统下黑色磁片和超声波探头的位置关系，从而在电磁导航系统下，实时的对超声波图像进行捕获和定位；
步骤4、将病人术前CT/MRI图像数据导入计算机，并通过三维重建出三维模型；
步骤5、利用步骤3中标定完毕的超声波探头扫描病人身体患处，并在扫描的超声波图像上寻找不少于三个特征点，在CT/MRI图像上选择相对应的特征点进行配准，得到CT/MRI图像和超声波图像的配准结果，此时在电磁导航系统中就能够得到超声波图像和CT/MRI图像融合后的图像。
在一些实施例中，在所述步骤5中，利用步骤3中标定完毕的超声波探头扫描病人身体患处，并在扫描的超声波图像上寻找不少于三个特征点，在CT/MRI图像上选择相对应的特征点，根据这两组点集来进行Landmark配准。
本申请的该方案的有益效果在于上述超声波图像和CT/MRI图像的多模态配准融合方法通过将病人术前的CT/MRI图像和术中的超声波图像进行配准融合后得到清晰的患处位置信息，从而达到精准实时导航的目的。电磁导航的精确性加上超声波图像的实时性以及CT/MRI图像的高质量为医生的临床治疗提供了可靠的保证。
具体实施方式
下面对本申请的具体实施方式作进一步的说明。
多种图像融合一直是医学领域研究的热点，不同的成像技术对人体同一解剖结构得到的形态信息和功能信息是互为差异和互为补充的。术前图像可提供软组织的精确形态及病理信息，术中超声波图像可提供实时的软组织形态信息，两者融合显示，能够对软组织形变进行有效跟踪，因此本申请提出了一种超声波图像和CT/MRI图像的多模态配准融合方法，我们选择CT/MRI图像和超声波图像结合主要是由于术前CT/MRI图像做前期诊断较为常见，且CT/MRI图像质量较高，而超声波图像具备实时性。
本申请所涉及的超声波图像和CT/MRI图像的多模态配准融合方法包括以下步骤：
步骤1、将磁场发射器置于手术台靠近患处的位置，并将磁场发射器与计算机连接。
步骤2、将超声成像仪的视频图像输出端口和计算机上的视频图像采集卡相连接。
步骤3、将黑色磁片固定在超声波探头上，所述黑色磁片是电磁导航系统的方向传感器，通过对超声波探头的标定来确定电磁导航系统下黑色磁片和超声波探头的位置关系，从而在电磁导航系统下，实时的对超声波图像进行捕获和定位。其中通过对超声波探头的标定是指通过标定技术能够得到超声波图像坐标系到黑色磁片坐标系的转换关系。
步骤4、将病人术前CT/MRI图像数据导入计算机，并通过三维重建出三维模型。
步骤5、利用步骤3中标定完毕的超声波探头扫描病人身体患处，并在扫描的超声波图像上寻找不少于三个特征点，在CT/MRI图像上选择相对应的特征点进行配准，例如Landmark配准，得到CT/MRI图像和超声波图像的配准结果，此时在电磁导航系统中就能够得到超声波图像和CT/MRI图像融合后的图像。
通过上述方法得到超声波图像和CT/MRI图像融合后的图像后，操作者根据计算机反馈的图像及数据进行手术，以及进行图像处理等操作来完成手术，这样便为医生的临床治疗提供了可靠的保证。
具体的，超声波图像和CT/MRI图像的多模态配准涉及多个坐标空间，包括超声波图像坐标系I、CT/MRI图像坐标系C，黑色磁片坐标系B。设在病人上有一特征点P，通过超声波扫描后在超声波图像坐标系下记为PI，在CT/MRI图像坐标系下该特征点记为Pc，则P点在超声波图像坐标系I和CT/MRI图像坐标系C中的转换关系为：Pc＝TBC*TIB*PI，其中TIB是指超声波图像坐标系到黑色磁片坐标系的转换关系，TBC是指黑色磁片坐标系到CT/MRI图像坐标系的转换关系。
通过标定技术可以得到超声波图像坐标系到黑色磁片坐标系的转换关系TIB，由于超声波图像具有实时成像性，利用标定完毕的超声波探头扫描病人，在扫描的超声波图像上选取病人身体的不少于三个特征点，在CT/MRI图像上选取对应的特征点，并根据这两组点集来进行Landmark配准从而得到CT/MRI图像和超声波图像的配准结果，配准完毕后可以把CT/MRI图像和超声波图像进行叠加从而得到更清晰的病灶位置信息。上述配准方法计算简单，运算速度快，能够满足术中对实时性的要求。
本申请所涉及的超声波图像和CT/MRI图像的多模态配准融合方法通过将病人术前的CT/MRI图像和术中的超声波图像进行配准融合后得到清晰的患处位置信息，从而达到精准实时导航的目的。电磁导航的精确性加上超声波图像的实时性以及CT/MRI图像的高质量为医生的临床治疗提供了可靠的保证。
Claims (2)
1.一种超声波图像和CT/MRI图像的多模态配准融合方法，其特征在于：包括以下步骤：
步骤1、将磁场发射器置于手术台靠近患处的位置，并将磁场发射器与计算机连接；
步骤2、将超声成像仪的视频图像输出端口和计算机上的视频图像采集卡相连接；
步骤3、将黑色磁片固定在超声波探头上，所述黑色磁片是电磁导航系统的方向传感器，通过对超声波探头的标定来确定电磁导航系统下黑色磁片和超声波探头的位置关系，从而在电磁导航系统下，实时的对超声波图像进行捕获和定位；
步骤4、将病人术前CT/MRI图像数据导入计算机，并通过三维重建出三维模型；
步骤5、利用步骤3中标定完毕的超声波探头扫描病人身体患处，并在扫描的超声波图像上寻找不少于三个特征点，在CT/MRI图像上选择相对应的特征点进行配准，得到CT/MRI图像和超声波图像的配准结果，此时在电磁导航系统中就能够得到超声波图像和CT/MRI图像融合后的图像。
2.根据权利要求1所述的超声波图像和CT/MRI图像的多模态配准融合方法，其特征在于：在所述步骤5中，利用步骤3中标定完毕的超声波探头扫描病人身体患处，并在扫描的超声波图像上寻找不少于三个特征点，在CT/MRI图像上选择相对应的特征点，根据这两组点集来进行Landmark配准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011473513.6A CN112381750A (zh) | 2020-12-15 | 2020-12-15 | 一种超声波图像和ct/mri图像的多模态配准融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011473513.6A CN112381750A (zh) | 2020-12-15 | 2020-12-15 | 一种超声波图像和ct/mri图像的多模态配准融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112381750A true CN112381750A (zh) | 2021-02-19 |
Family
ID=74590788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011473513.6A Pending CN112381750A (zh) | 2020-12-15 | 2020-12-15 | 一种超声波图像和ct/mri图像的多模态配准融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381750A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113450294A (zh) * | 2021-06-07 | 2021-09-28 | 刘星宇 | 多模态医学图像配准融合方法、装置及电子设备 |
| CN114587590A (zh) * | 2022-03-10 | 2022-06-07 | 上海涛影医疗科技有限公司 | 术中实时跟踪方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102319117A (zh) * | 2011-06-16 | 2012-01-18 | 上海交通大学医学院附属瑞金医院 | 基于磁导航融合实时超声信息的大血管内介入物植入系统 |
| CN104933672A (zh) * | 2015-02-26 | 2015-09-23 | 浙江德尚韵兴图像科技有限公司 | 基于快速凸优化算法配准三维ct与超声肝脏图像的方法 |
| CN106137249A (zh) * | 2015-05-15 | 2016-11-23 | 美国西门子医疗解决公司 | 在窄视场情况下进行配准用于多模态医学成像融合 |
| CN108420529A (zh) * | 2018-03-26 | 2018-08-21 | 上海交通大学 | 基于电磁定位技术和术中图像引导的手术导航仿真方法 |
| CN109662719A (zh) * | 2019-02-26 | 2019-04-23 | 北京医影随行科技有限公司 | 一种超声-ct多模态图像融合呼吸运动实时监测方法 |
-
2020
- 2020-12-15 CN CN202011473513.6A patent/CN112381750A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102319117A (zh) * | 2011-06-16 | 2012-01-18 | 上海交通大学医学院附属瑞金医院 | 基于磁导航融合实时超声信息的大血管内介入物植入系统 |
| CN104933672A (zh) * | 2015-02-26 | 2015-09-23 | 浙江德尚韵兴图像科技有限公司 | 基于快速凸优化算法配准三维ct与超声肝脏图像的方法 |
| CN106137249A (zh) * | 2015-05-15 | 2016-11-23 | 美国西门子医疗解决公司 | 在窄视场情况下进行配准用于多模态医学成像融合 |
| CN108420529A (zh) * | 2018-03-26 | 2018-08-21 | 上海交通大学 | 基于电磁定位技术和术中图像引导的手术导航仿真方法 |
| CN109662719A (zh) * | 2019-02-26 | 2019-04-23 | 北京医影随行科技有限公司 | 一种超声-ct多模态图像融合呼吸运动实时监测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113450294A (zh) * | 2021-06-07 | 2021-09-28 | 刘星宇 | 多模态医学图像配准融合方法、装置及电子设备 |
| CN114587590A (zh) * | 2022-03-10 | 2022-06-07 | 上海涛影医疗科技有限公司 | 术中实时跟踪方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110946654B (zh) | 一种基于多模影像融合的骨科手术导航系统 | |
| CN107028659B (zh) | 一种ct图像引导下的手术导航系统及导航方法 | |
| CN110537961B (zh) | 一种ct和超声影像融合的微创介入引导系统及方法 | |
| JP5627677B2 (ja) | 画像ガイド下前立腺癌針生検のためのシステムおよび方法 | |
| CN110547872B (zh) | 手术导航注册系统 | |
| US7664542B2 (en) | Registering intra-operative image data sets with pre-operative 3D image data sets on the basis of optical surface extraction | |
| CN112971982B (zh) | 基于肝内血管配准的手术导航系统 | |
| Huang et al. | Dynamic 2D ultrasound and 3D CT image registration of the beating heart | |
| Yang et al. | Automatic 3-D imaging and measurement of human spines with a robotic ultrasound system | |
| JP5580030B2 (ja) | 画像処理装置、および画像位置合せ方法 | |
| JP2002186603A (ja) | 対象物の案内のための座標変換法 | |
| CN107854177A (zh) | 一种基于光学定位配准的超声与ct/mr图像融合手术导航系统及其方法 | |
| CN109152566B (zh) | 校正超声融合成像系统中的探头引起的变形 | |
| CN110464462B (zh) | 腹部外科介入手术的图像导航配准系统及相关装置 | |
| JP2011502681A (ja) | 定量３ｄｃｅｕｓ分析のためのシステム及び方法 | |
| JP2010274044A (ja) | 手術支援装置、手術支援方法及び手術支援プログラム | |
| CN112381750A (zh) | 一种超声波图像和ct/mri图像的多模态配准融合方法 | |
| CN113229937A (zh) | 一种利用实时结构光技术实现手术导航的方法和系统 | |
| CN110072467A (zh) | 提供引导手术的图像的系统 | |
| CN115358995A (zh) | 基于多模态信息融合的全自动空间注册系统 | |
| Alam et al. | A review on extrinsic registration methods for medical images | |
| CN113786228B (zh) | 一种基于ar增强现实的辅助穿刺导航系统 | |
| CN111466952B (zh) | 一种超声内镜与ct三维图像实时转化方法和系统 | |
| Bernhardt et al. | Automatic detection of endoscope in intraoperative ct image: Application to ar guidance in laparoscopic surgery | |
| CN116580003A (zh) | 一种术前ct图像与术中超声图像的配准方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210219 |
|
| RJ01 | Rejection of invention patent application after publication |