CN116580033B - 一种基于图像块相似性匹配的多模态医学图像配准方法 - Google Patents
一种基于图像块相似性匹配的多模态医学图像配准方法 Download PDFInfo
- Publication number
- CN116580033B CN116580033B CN202310861591.0A CN202310861591A CN116580033B CN 116580033 B CN116580033 B CN 116580033B CN 202310861591 A CN202310861591 A CN 202310861591A CN 116580033 B CN116580033 B CN 116580033B
- Authority
- CN
- China
- Prior art keywords
- ultrasonic
- image
- similarity matching
- mri sequence
- ultrasonic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 210000000056 organ Anatomy 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000012216 screening Methods 0.000 claims abstract description 8
- 238000002604 ultrasonography Methods 0.000 claims description 6
- 239000000523 sample Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供一种基于图像块相似性匹配的多模态医学图像配准方法，包括获取病人某一器官组织的超声、CT/MRI序列图像；对CT/MRI数据做预处理；对超声图像进行筛选和预处理，获取超声图像中器官的有效分割区域；将S3获取的超声图像的有效分割区域与S2获取的预处理后的CT/MRI序列图像进行块的相似性匹配计算，为任一张超声图像匹配CT/MRI序列中的最佳对应切片。本发明通过对单张或多张超声图像进行筛选和预处理，可以最大限度为相似性匹配计算去除干扰；通过对优化的匹配方法，可以最大限度搜索到最佳的匹配参数。
Description
技术领域
本发明涉及图像配准领域，尤其涉及一种多模态医学图像配准方法。
背景技术
在做医学图像分析时，经常要将同一患者几幅图像放在一起分析，从而得到该患者的多方面的综合信息，提高医学诊断和治疗的水平。
对几幅不同模态的图像作定量分析，首先要解决这几幅图像的严格对齐问题，如果不能做到严格对齐，那么医生做手术时就无法了解超声模态切片在CT/MRI模态里的确切位置。
因此，亟需一种精度高的图像配准方法对不同模态的图像进行匹配，使超声图像与CT/MRI医学图像上的对应点达到空间上的一致。
发明内容
本发明目的是针对上述空间配准问题，提供一种配准精度高、计算速度快的基于图像块相似性匹配的多模态医学图像配准方法。
为了实现上述目的，本发明的技术方案是：
一种基于图像块相似性匹配的多模态医学图像配准方法，包括以下步骤：
S1、获取病人某一器官组织的超声、CT/MRI序列图像；
S2、对CT/MRI数据做预处理；
S3、对超声图像进行筛选和预处理，获取超声图像中器官的有效分割区域；
S4、将S3获取的超声图像的有效分割区域与S2获取的预处理后的CT/MRI序列图像进行块的相似性匹配计算，为任一张超声图像匹配CT/MRI序列中的最佳对应切片。
进一步地，所述步骤S2中预处理包括降噪和对比度调节。
进一步地，所述步骤S3中筛选包括：
对超声图像进行器官的兴趣区域提取，获取超声图像的mask区域；
若mask区域像素数为0，则为无效分割，去除该mask区域；
若mask区域像素数小于预设的阈值，则分割区域过小，去除该mask区域，获得有效分割区域。
进一步地，所述步骤S3中预处理为对筛选后超声图像的有效分割区域进行降噪和对比度调节。
进一步地，所述步骤S4包括：
S41、对于任一张超声图像的有效分割区域，提取超声3D空间坐标，获取对应的CT/MRI序列坐标系下的3D空间坐标，通过空间坐标插值法得到CT/MRI序列中对应的切片块；
S42、将超声图像块与CT/MRI序列中对应的切片块进行块的相似性匹配计算，选择相似性系数最大的切片作为最佳对应切片。
进一步地，所述超声3D空间坐标通过3D空间坐标传感器获取，该3D空间坐标传感器绑定在超声探头上。
进一步地，所述的相似性匹配计算公式为：
；
其中：X表示超声图像块，Y表示CT/MRI序列中对应的切片块；指期望条件(Y/X)的偏差，/>指变量Y的偏差。
进一步地，所述的相似性匹配计算在GPU上做并行运算。
本发明的有益效果是：
本发明的图像配准方法计算精度高，通过对单张或多张超声图像进行兴趣区域提取，以及平滑去噪等预处理；可以最大限度为相似性匹配计算去除干扰，能够最大限度搜索到最佳的匹配参数。
本发明的图像配准方法计算速度快，在GPU上进行并行运算，计算速度小于1秒。
本发明对图片进行相似性匹配，为任一张超声图像匹配CT/MRI序列中的最佳对应切片，配准的结果使两幅图像上具有诊断意义的点及手术感兴趣的点都达到匹配。
本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。
附图说明
通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
图1为本发明的流程图；
图2为原始超声器官区域和预处理过后超声器官区域的比对示意图；
图3为本发明实施例中，在图像块匹配误差值最小时，获得的最佳匹配配准图；
图4为配准前、后同一超声切片在CT下的切片比对示意图（竖向依次排列为超声切片、配准前CT切片、配准后CT切片)；
图5为配准后的超声-CT融合效果示意图。
实施方式
下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。
如图1至图4所示，本实施例公开了一种基于图像块相似性匹配的多模态医学图像配准方法，包括以下步骤：
S1、获取病人某一器官组织的超声、CT/MRI序列图像；
S2、对CT/MRI数据做预处理，包括降噪和对比度调节；
S3、对超声图像进行筛选和预处理，获取超声图像中器官的有效分割区域；
筛选包括：对超声图像进行器官的兴趣区域提取，获取超声图像的mask区域；若mask区域像素数为0，则为无效分割，去除该mask区域；若mask区域像素数小于预设的阈值，则分割区域过小，去除该mask区域，获得有效分割区域；预处理为对筛选后超声图像的有效分割区域进行降噪和对比度调节；如图2所示，为原始超声器官区域和预处理过后超声器官区域的比对示意图，通过预处理和筛选，提取了mask区域进行相似性匹配计算，而不是全图计算，可以最大限度为相似性匹配计算去除干扰；
S4、将S3获取的超声图像的有效分割区域与S2获取的预处理后的CT/MRI序列图像进行块的相似性匹配计算，为任一张超声图像匹配CT/MRI序列中的最佳对应切片，具体为：
S41、对于任一张超声图像的有效分割区域，提取超声3D空间坐标，获取对应的CT/MRI序列坐标系下的3D空间坐标，通过空间坐标插值法得到CT/MRI序列中对应的切片块；所述超声3D空间坐标通过3D空间坐标传感器获取，该3D空间坐标传感器绑定在超声探头上；
S42、将超声图像块与CT/MRI序列中对应的切片块进行块的相似性匹配计算，选择相似性系数最大的切片作为最佳对应切片，选择相似性系数最大的切片作为最佳对应切片，所述的相似性匹配计算在GPU上做并行运算；
；
其中：X表示超声图像块，Y表示CT/MRI序列中对应的切片块；指期望条件(Y/X)的偏差，/>指变量Y的偏差。
在本实施例中，通过对单张或多张超声图像有效分割区域即器官区域提取，在CT/MRI中寻找最佳匹配切片，解决了多模态医学图像配准难的问题。通过对输入超声采样图像及CT/MRI数据进行的一系列预处理操作以及改进的优化寻参搜索方法，提高了相似性匹配的计算精度，最终的配准误差在体膜上只有1-3个像素，如图2所示，同时本发明算法可以在GPU上并行运算，具备了较优的实时性，单机情况下小于0.5s。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。
Claims (4)
1.一种基于图像块相似性匹配的多模态医学图像配准方法，其特征在于：包括以下步骤：
S1、获取病人某一器官组织的超声、CT/MRI序列图像；
S2、对CT/MRI数据做预处理；
S3、对超声图像进行筛选和预处理，获取超声图像中器官的有效分割区域；
S4、将S3获取的超声图像的有效分割区域与S2获取的预处理后的CT/MRI序列图像进行块的相似性匹配计算，为任一张超声图像匹配CT/MRI序列中的最佳对应切片；
所述步骤S3中筛选包括：
对超声图像进行器官的兴趣区域提取，获取超声图像的分割掩模区域即mask区域；
若mask区域像素数为0，则为无效分割，去除该mask区域；
若mask区域像素数小于预设的阈值，则分割区域过小，去除该mask区域，获得有效分割区域；
所述步骤S3中预处理为对筛选后超声图像的有效分割区域进行降噪和对比度调节；
所述步骤S4包括：
S41、对于任一张超声图像的有效分割区域，提取超声3D空间坐标，获取对应的CT/MRI序列坐标系下的3D空间坐标，通过空间坐标插值法得到CT/MRI序列中对应的切片块；
S42、将超声图像块与CT/MRI序列中对应的切片块进行块的相似性匹配计算，选择相似性系数最大的切片作为最佳对应切片；
所述的相似性匹配计算公式为：
；
其中：X表示超声图像块，Y表示CT/MRI序列中对应的切片块；指期望条件(Y/X)的偏差，/>指变量Y的偏差。
2.如权利要求1所述的一种基于图像块相似性匹配的多模态医学图像配准方法，其特征在于：所述步骤S2中预处理包括降噪和对比度调节。
3.如权利要求1所述的一种基于图像块相似性匹配的多模态医学图像配准方法，其特征在于：所述超声3D空间坐标通过3D空间坐标传感器获取，该3D空间坐标传感器绑定在超声探头上。
4.如权利要求1所述的一种基于图像块相似性匹配的多模态医学图像配准方法，其特征在于：所述的相似性匹配计算在GPU上做并行运算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310861591.0A CN116580033B (zh) | 2023-07-14 | 2023-07-14 | 一种基于图像块相似性匹配的多模态医学图像配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310861591.0A CN116580033B (zh) | 2023-07-14 | 2023-07-14 | 一种基于图像块相似性匹配的多模态医学图像配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116580033A CN116580033A (zh) | 2023-08-11 |
| CN116580033B true CN116580033B (zh) | 2023-10-31 |
Family
ID=87534634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310861591.0A Active CN116580033B (zh) | 2023-07-14 | 2023-07-14 | 一种基于图像块相似性匹配的多模态医学图像配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116580033B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218419B (zh) * | 2023-09-12 | 2024-04-12 | 河北大学 | 一种胰胆肿瘤分型分级分期的评估系统和评估方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046644A (zh) * | 2015-07-06 | 2015-11-11 | 嘉恒医疗科技（上海）有限公司 | 基于线性相关性的超声与ct图像配准方法和系统 |
| CN107230223A (zh) * | 2017-06-09 | 2017-10-03 | 中国科学院苏州生物医学工程技术研究所 | 基于不连续运动的肝部三维多模态图像配准方法 |
| CN113450294A (zh) * | 2021-06-07 | 2021-09-28 | 刘星宇 | 多模态医学图像配准融合方法、装置及电子设备 |
| CN116363181A (zh) * | 2023-03-23 | 2023-06-30 | 桂林电子科技大学 | 一种基于特征的ct图像和超声图像肝脏配准方法 |
-
2023
- 2023-07-14 CN CN202310861591.0A patent/CN116580033B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046644A (zh) * | 2015-07-06 | 2015-11-11 | 嘉恒医疗科技（上海）有限公司 | 基于线性相关性的超声与ct图像配准方法和系统 |
| CN107230223A (zh) * | 2017-06-09 | 2017-10-03 | 中国科学院苏州生物医学工程技术研究所 | 基于不连续运动的肝部三维多模态图像配准方法 |
| CN113450294A (zh) * | 2021-06-07 | 2021-09-28 | 刘星宇 | 多模态医学图像配准融合方法、装置及电子设备 |
| WO2022257344A1 (zh) * | 2021-06-07 | 2022-12-15 | 刘星宇 | 图像配准融合方法及装置、模型训练方法及电子设备 |
| CN116363181A (zh) * | 2023-03-23 | 2023-06-30 | 桂林电子科技大学 | 一种基于特征的ct图像和超声图像肝脏配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116580033A (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11633169B2 (en) | Apparatus for AI-based automatic ultrasound diagnosis of liver steatosis and remote medical diagnosis method using the same | |
| CN104584074B (zh) | 在3d常规以及对比增强的超声图像中的耦合的分割 | |
| CN113781439B (zh) | 超声视频病灶分割方法及装置 | |
| JP2016531709A (ja) | 疾患を診断するための画像解析技術 | |
| CN109152566B (zh) | 校正超声融合成像系统中的探头引起的变形 | |
| WO2022088581A1 (zh) | 图像检测模型的训练方法及相关装置、设备、存储介质 | |
| JP6644795B2 (ja) | 解剖学的オブジェクトをセグメント化する超音波画像装置及び方法 | |
| EP3424017B1 (en) | Automatic detection of an artifact in patient image data | |
| CN116580033B (zh) | 一种基于图像块相似性匹配的多模态医学图像配准方法 | |
| JP2003153082A (ja) | 画像の位置合わせ装置および画像処理装置 | |
| CN112086197A (zh) | 基于超声医学的乳腺结节检测方法及系统 | |
| CN111292307A (zh) | 一种消化系统胆囊结石识别方法及定位方法 | |
| WO2021061947A1 (en) | System and method for analyzing medical images based on spatio-temporal data | |
| Hacihaliloglu et al. | Statistical shape model to 3D ultrasound registration for spine interventions using enhanced local phase features | |
| CN116309647B (zh) | 颅脑病灶图像分割模型构建方法、图像分割方法及设备 | |
| CN116109610A (zh) | 一种超声检查报告图像中乳腺肿瘤分割方法和系统 | |
| CN109816665B (zh) | 一种光学相干断层扫描图像的快速分割方法及装置 | |
| CN112102327A (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
| CN111640126B (zh) | 基于医学影像的人工智能诊断辅助方法 | |
| Noviana et al. | Axial segmentation of lungs CT scan images using canny method and morphological operation | |
| CN114187299A (zh) | 超声定位肿瘤影像的高效精准划分方法 | |
| Gomalavalli et al. | Boundary detection of renal using contour segmentation | |
| CN117831757B (zh) | 基于病理ct多模态先验知识引导的肺癌诊断方法及系统 | |
| Kaul et al. | Brain MRI analysis and segmentation using 2d-Unet architecture | |
| Nikam et al. | A Comprehensive Study of Medical Image Analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |