CN112348834A - 一种双模态成像信息联合建模及适应性分割方法 - Google Patents
一种双模态成像信息联合建模及适应性分割方法 Download PDFInfo
- Publication number
- CN112348834A CN112348834A CN202011276934.XA CN202011276934A CN112348834A CN 112348834 A CN112348834 A CN 112348834A CN 202011276934 A CN202011276934 A CN 202011276934A CN 112348834 A CN112348834 A CN 112348834A
- Authority
- CN
- China
- Prior art keywords
- imaging information
- information
- adaptive
- target
- modality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 65
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 32
- 230000011218 segmentation Effects 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000002902 bimodal effect Effects 0.000 title claims abstract description 21
- 238000005457 optimization Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012636 positron electron tomography Methods 0.000 description 13
- 206010028980 Neoplasm Diseases 0.000 description 9
- 238000013170 computed tomography imaging Methods 0.000 description 6
- 238000012879 PET imaging Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 208000037841 lung tumor Diseases 0.000 description 1
- 230000007102 metabolic function Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种双模态成像信息联合建模及适应性分割方法，该方法建立单一目标双模态成像信息的联合模型，以适应性融合多模态成像信息。通过模型的一致性收敛，以实现对目标的鲁棒、准确分割。考虑到两类模态成像信息对目标性状表征的互补性，连续适应性调节跨模态信息在收敛过程中的重要性，以实现目标位置信息和结构信息的综合辨识，完成鲁棒、准确的成像信息适应性分割。
Description
技术领域
本发明涉及多模态成像信息获取及处理方法，尤其涉及一种双模态成像信息联合建模及适应性分割方法。
背景技术
多模态成像技术是当今成像计算领域的主要发展方向之一。通过对单一目标采用两种及以上多种模态成像，能够形成单一目标互补性的成像信息，以综合表征目标多方面特征，为目标的准确辨识提供基础。特别是针对目标成像检测，多模态成像能够综合表征目标的位置和结构信息，为鲁棒、准确的目标分割提供完整的线索。大量的研究业已证明多模态成像信息联合建模及适应性分割方法显著优于传统单一模态成像检测计算方法，能够较为准确的发现目标并抑制背景噪声信息。
在多模态成像信息获取研究中，应用最为广泛的为医学成像领域，尤以PET-CT成像为最成功典型。PET是一种分子水平功能成像技术，能描述病变组织与正常组织代谢功能上的差异。PET成像能有效检测人体组织的早期病变，已成为癌症早期诊断和治疗的重要工具。精确分割PET图像中的肿瘤区域对癌症治疗非常重要，它能确保在放疗过程中将放射剂量最大程度地作用于癌症组织，同时减少对周围正常组织和重要器官的伤害。然而，由于部分容积效应的影响，PET图像中的肿瘤边缘是模糊的，且PET图像具有高噪声和强度不均匀的特点，精确分割PET图像中的肿瘤区域非常困难。CT是一种解剖成像技术，提供人体的组织结构信息，比PET成像的分辨率高，但对比度低，单一模态的图像很难精确的分割出肿瘤位置。因此，PET模态成像表征目标的位置，CT模态成像表征目标的解决。
发明内容
发明目的：为了解决现有技术存在的问题，本发明的目的是公开一种能够适应性融合双模态成像信息以实现对于目标的鲁棒、准确分割，在目标分割的效率及准确率上具有明显的性能优势的多模态成像信息联合建模及适应性分割方法。
技术方案：一种双模态成像信息联合建模及适应性分割方法，其特征在于，包括如下内容：
(1)获取目标的双模态成像信息，所述双模态成像信息包括目标的区域特征信息和结构特征信息，分别建立所述区域特征信息和结构特征信息的外部能量函数；
(2)采用适应性加权策略对所述区域特征信息和结构特征信息的外部能量函数进行融合，形成用于目标分割的能量函数；
(3)结合权重适应性优化及梯度下降策略对步骤(2)所得的能量函数进行优化，当能量函数达到收敛时，完成对目标的适应性分割。
具体的，步骤(1)中，定义区域特征信息为第一模态成像信息I1，定义结构特征信息为第二模态成像信息I2，采用如下公式建立区域特征信息的外部能量函数：
其中，
为水平集函数，I为第一模态成像信息I1和第二模态成像信息I2融合所得到的一幅图像，H(·)是Heaviside函数，g为边缘梯度函数，λ1、λ2为调节权重，m1、m2为第一模态成像信息I1显著性特征在水平集轮廓内、外的均值，定义如下：
其中，S(x，y)为第一模态成像信息I1基于全局对比度的显著性特征，(x，y)为显著性特征信息的空间坐标。
具体的，采用如下公式建立结构特征信息的外部能量函数：
其中，β1,β2为调节权重，n1，n2为第二模态成像信息I2在水平集轮廓内、外的均值，定义如下：
其中，(x′,y′)为第二模态成像信息I2的空间坐标。
具体的，步骤(2)中，采用如下公式对所述区域特征信息和结构特征信息的外部能量函数进行融合：
其中，θ1,θ2为区域特征信息、结构特征信息的外部能量函数的调节权重；
最终，用于目标分割的能量函数建模为：
其中，
为正则项，定义如下：
其中，
是长度正则项，
是距离正则项。
进一步的，步骤(3)中，所述梯度下降策略为：
其中，t为演化时间变量，
为正则项，用于控制水平集函数收敛的正则性。
进一步的，步骤(3)中，所述权重适应性优化对能量函数进行优化的过程为：逐渐降低第一模态成像信息I1的能量函数的权重，逐渐提高第二模态成像信息I2的能量函数的权重：
θ1←θ1-tγ
θ2←θ2+tγ
其中，γ为适应性调节步长，，当模型达到收敛时停止上述权重调制。
和现有技术相比，本发明的有益效果是：对于单一目标的双模态成像信息按照其成像机理的目标性状表征特性，分别发挥不同成像模态信息对目标位置和目标结构信息表征上的性能优势，实现目标空间位置及结构信息的准确辨识，形成鲁棒、准确的目标分割结果，在目标分割的效率及准确率上具有明显的性能优势。
附图说明
图1是本发明的一种双模态成像分隔流程图；
图2是本发明实施例的原始病人肺部肿瘤融合图像和PET图像；(a)为融合图像；(b)为PET图像；
图3是本发明实施例的PET图像显著性分析后得到的显著图；
图4是本发明实施例的最后的分割结果。
具体实施方式
下面结合说明书附图和具体实施例，进一步阐明本发明的技术方案。
以病人肺部肿瘤CT和PET双模态成像信息为实施例：
首先，选取肿瘤目标的PET图像(如图2(b)所示)，对其进行显著性分析，得到显著性特征S(x,y)。
对第一模态PET成像信息构造能量函数：
其中，
为水平集函数，I为PET-CT成像信息I1、I2融合所得到的一幅图像(如图2(a)所示)，H(·)是Heaviside函数，g为边缘梯度函数，λ1、λ2为调节权重，m1、m2为PET成像数据I1显著性特征在水平集轮廓内、外的均值，定义如下：
其中，S(x，y)为PET成像信息I1的显著性特征，(x，y)为显著性特征信息的空间坐标；图3是PET图像显著性分析后得到的显著图。
以CT成像信息表征目标的结构特征，构造第二模态成像信息能量函数：
其中，β1,β2为调节权重，n1，n2为CT成像信息I2在水平集轮廓内、外的均值，定义如下：
其中，I2为CT成像信息，(x′,y′)为CT成像信息I2的空间坐标。
步骤二：对PET、CT双模态能量函数进行适应性加权融合并形成用于目标分割的能量函数：
其中，θ1,θ2为双模态特征能量项的调节权重。
最终，用于目标分割的能量函数建模为：
其中，
为正则项，定义如下：
其中，
是长度正则项，
是距离正则项，使得在演化过程中，水平集函数接近符号距离函数，提高水平集方法的效率和稳定性。
至此，得到了本发明提出的双模态成像信息能量函数。
步骤三：结合权重适应性优化及梯度下降策略对能量函数进行优化。
梯度下降优化为：
其中，t为演化时间变量，
为正则项，用于控制水平集函数收敛的正则性。
权重适应性优化为对于双外部能量项的适应性融合权重的适应性更新过程为：逐渐降低第一模态成像信息能量函数权重，逐渐提高第二模态成像信息能量函数的权重：
θ1←θ1-tγ
θ2←θ2+tγ
其中，γ为适应性调节步长，预设长度0<γ<0.3，当模型达到收敛时停止上述权重调制。
在梯度下降过程中，以外部能量项为主指导水平集模型演化过程中，像素被分别聚类到目标和背景两个不同的区域，梯度算子g结合基于区域的信息共同进行边界定位，但目标物体的边缘在演化过程中没有被精确定位，并且边缘可能出现一些奇异点和不规则形状。
在梯度下降过程中，以正则项为主指导水平集模型演化过程中，对目标物体边缘轮廓进行平滑处理，消除奇异点并提高边缘定位的精确度。
至此，完成了能量函数适应性演化过程，实现了肿瘤图像分割，分割结果见图4。
Claims (7)
1.一种双模态成像信息联合建模及适应性分割方法，其特征在于，包括如下内容：
(1)获取目标的双模态成像信息，所述双模态成像信息包括目标的区域特征信息和结构特征信息，分别建立所述区域特征信息和结构特征信息的外部能量函数；
(2)采用适应性加权策略对所述区域特征信息和结构特征信息的外部能量函数进行融合，形成用于目标分割的能量函数；
(3)结合权重适应性优化及梯度下降优化对步骤(2)所得的能量函数进行优化，当能量函数达到收敛时，完成对目标的适应性分割。
2.根据权利要求1所述的双模态成像信息联合建模及适应性分割方法，其特征在于，步骤(1)中，定义区域特征信息为第一模态成像信息I1，定义结构特征信息为第二模态成像信息I2，采用如下公式建立区域特征信息的外部能量函数：
其中，
为水平集函数，I为第一模态成像信息I1和第二模态成像信息I2融合所得到的一幅图像，H(·)是Heaviside函数，g为边缘梯度函数，λ1、λ2为调节权重，m1、m2为第一模态成像信息I1显著性特征在水平集轮廓内、外的均值，定义如下：
其中，S(x，y)为第一模态成像信息I1基于全局对比度的显著性特征，(x，y)为显著性特征信息的空间坐标。
3.根据权利要求1所述的双模态成像信息联合建模及适应性分割方法，其特征在于，采用如下公式建立结构特征信息的外部能量函数：
其中，β1,β2为调节权重，n1，n2为第二模态成像信息I2在水平集轮廓内、外的均值，定义如下：
其中，(x′,y′)为第二模态成像信息I2的空间坐标。
4.根据权利要求3所述的双模态成像信息联合建模及适应性分割方法，其特征在于，步骤(2)中，采用如下公式对所述区域特征信息和结构特征信息的外部能量函数进行融合：
其中，θ1,θ2分别为区域特征信息、结构特征信息的外部能量函数的调节权重；
最终，用于目标分割的能量函数建模为：
其中，
为正则项。
5.根据权利要求4所述的双模态成像信息联合建模及适应性分割方法，其特征在于，所述正则项
定义如下：
其中，
是长度正则项，
是距离正则项。
6.根据权利要求4所述的双模态成像信息联合建模及适应性分割方法，其特征在于，步骤(3)中，所述梯度下降优化为：
其中，t为演化时间变量，
为正则项，用于控制水平集函数收敛的正则性。
7.根据权利要求4所述的双模态成像信息联合建模及适应性分割方法，其特征在于，步骤(3)中，所述权重适应性优化的过程为：
逐渐降低第一模态成像信息I1的能量函数的权重，逐渐提高第二模态成像信息I2的能量函数的权重：
θ1←θ1-tγ
θ2←θ2+tγ
其中，γ为适应性调节步长，当模型达到收敛时停止上述权重调制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011276934.XA CN112348834B (zh) | 2020-11-16 | 2020-11-16 | 一种双模态成像信息联合建模及适应性分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011276934.XA CN112348834B (zh) | 2020-11-16 | 2020-11-16 | 一种双模态成像信息联合建模及适应性分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112348834A true CN112348834A (zh) | 2021-02-09 |
| CN112348834B CN112348834B (zh) | 2022-08-30 |
Family
ID=74363975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011276934.XA Active CN112348834B (zh) | 2020-11-16 | 2020-11-16 | 一种双模态成像信息联合建模及适应性分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112348834B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102426699A (zh) * | 2011-11-04 | 2012-04-25 | 西安电子科技大学 | 基于边缘和区域信息的水平集sar图像分割方法 |
| US20120230568A1 (en) * | 2011-03-09 | 2012-09-13 | Siemens Aktiengesellschaft | Method and System for Model-Based Fusion of Multi-Modal Volumetric Images |
| CN106056611A (zh) * | 2016-06-03 | 2016-10-26 | 上海交通大学 | 基于区域信息和边缘信息的水平集图像分割方法及其系统 |
| CN106504245A (zh) * | 2016-10-28 | 2017-03-15 | 东北大学 | 一种多模态脑影像损伤性病变组织图像分割方法 |
| CN109712152A (zh) * | 2018-12-25 | 2019-05-03 | 辽宁师范大学 | 基于矢量值活动轮廓模型的多模态医学图像分割方法 |
-
2020
- 2020-11-16 CN CN202011276934.XA patent/CN112348834B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120230568A1 (en) * | 2011-03-09 | 2012-09-13 | Siemens Aktiengesellschaft | Method and System for Model-Based Fusion of Multi-Modal Volumetric Images |
| CN102426699A (zh) * | 2011-11-04 | 2012-04-25 | 西安电子科技大学 | 基于边缘和区域信息的水平集sar图像分割方法 |
| CN106056611A (zh) * | 2016-06-03 | 2016-10-26 | 上海交通大学 | 基于区域信息和边缘信息的水平集图像分割方法及其系统 |
| CN106504245A (zh) * | 2016-10-28 | 2017-03-15 | 东北大学 | 一种多模态脑影像损伤性病变组织图像分割方法 |
| CN109712152A (zh) * | 2018-12-25 | 2019-05-03 | 辽宁师范大学 | 基于矢量值活动轮廓模型的多模态医学图像分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112348834B (zh) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106920234B (zh) | 一种复合式自动放疗计划的方法 | |
| CN107230206B (zh) | 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法 | |
| Vandemeulebroucke et al. | Automated segmentation of a motion mask to preserve sliding motion in deformable registration of thoracic CT | |
| US8682074B2 (en) | Method for checking the segmentation of a structure in image data | |
| Mansoor et al. | Deep learning guided partitioned shape model for anterior visual pathway segmentation | |
| CN107507195B (zh) | 基于超图模型的pet-ct多模态鼻咽癌图像分割方法 | |
| CN105389811A (zh) | 一种基于多级阈值分割的多模态医学图像处理方法 | |
| Ibragimov et al. | Segmentation of tongue muscles from super-resolution magnetic resonance images | |
| KR101258814B1 (ko) | 동적조영증강 유방 ｍｒ 영상에서 조직별 밝기값 보정 및 종양 강성 제약을 적용한 비강체 정합 방법 및 시스템 | |
| CN108596894A (zh) | 一种用于多参数磁共振影像的前列腺自动分区方法 | |
| CN107507189A (zh) | 基于随机森林与统计模型的小鼠ct图像肾脏分割方法 | |
| CN105793893A (zh) | 解剖结构的基于模型的分割 | |
| CN115830016B (zh) | 医学图像配准模型训练方法及设备 | |
| CN112184720B (zh) | 一种ct图像的内直肌和视神经分割方法及系统 | |
| CN108460813A (zh) | 一种靶区勾画方法和装置 | |
| CN108898578B (zh) | 一种医疗图像的处理方法、装置及计算机存储介质 | |
| JP2023516227A (ja) | Ｓｐｅｃｔの３次元再構成画像の左心室自動分割方法 | |
| Duan et al. | Unsupervised learning for deformable registration of thoracic CT and cone‐beam CT based on multiscale features matching with spatially adaptive weighting | |
| Gao et al. | Learning distance transform for boundary detection and deformable segmentation in ct prostate images | |
| CN103345741A (zh) | 一种非刚性多模医学图像精确配准方法 | |
| Zhang et al. | Multi-atlas based adaptive active contour model with application to organs at risk segmentation in brain mr images | |
| CN110288581A (zh) | 一种基于保持形状凸性水平集模型的分割方法 | |
| CN113222979A (zh) | 一种基于多图谱的颅底卵圆孔自动分割方法 | |
| CN110533667B (zh) | 基于图像金字塔融合的肺部肿瘤ct影像3d分割方法 | |
| CN112348834B (zh) | 一种双模态成像信息联合建模及适应性分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |