CN112348834B - 一种双模态成像信息联合建模及适应性分割方法 - Google Patents

一种双模态成像信息联合建模及适应性分割方法 Download PDF

Info

Publication number
CN112348834B
CN112348834B CN202011276934.XA CN202011276934A CN112348834B CN 112348834 B CN112348834 B CN 112348834B CN 202011276934 A CN202011276934 A CN 202011276934A CN 112348834 B CN112348834 B CN 112348834B
Authority
CN
China
Prior art keywords
imaging information
information
target
modality
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011276934.XA
Other languages
English (en)
Other versions
CN112348834A (zh
Inventor
陈哲
邱楠
石小涛
邢坦
王慧斌
谭均军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
China Three Gorges University CTGU
Original Assignee
Hohai University HHU
China Three Gorges University CTGU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU, China Three Gorges University CTGU filed Critical Hohai University HHU
Priority to CN202011276934.XA priority Critical patent/CN112348834B/zh
Publication of CN112348834A publication Critical patent/CN112348834A/zh
Application granted granted Critical
Publication of CN112348834B publication Critical patent/CN112348834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种双模态成像信息联合建模及适应性分割方法，该方法建立单一目标双模态成像信息的联合模型，以适应性融合多模态成像信息。通过模型的一致性收敛，以实现对目标的鲁棒、准确分割。考虑到两类模态成像信息对目标性状表征的互补性，连续适应性调节跨模态信息在收敛过程中的重要性，以实现目标位置信息和结构信息的综合辨识，完成鲁棒、准确的成像信息适应性分割。

Description

一种双模态成像信息联合建模及适应性分割方法
技术领域
本发明涉及多模态成像信息获取及处理方法，尤其涉及一种双模态成像信息联合建模及适应性分割方法。
背景技术
多模态成像技术是当今成像计算领域的主要发展方向之一。通过对单一目标采用两种及以上多种模态成像，能够形成单一目标互补性的成像信息，以综合表征目标多方面特征，为目标的准确辨识提供基础。特别是针对目标成像检测，多模态成像能够综合表征目标的位置和结构信息，为鲁棒、准确的目标分割提供完整的线索。大量的研究业已证明多模态成像信息联合建模及适应性分割方法显著优于传统单一模态成像检测计算方法，能够较为准确的发现目标并抑制背景噪声信息。
在多模态成像信息获取研究中，应用最为广泛的为医学成像领域，尤以 PET-CT成像为最成功典型。PET是一种分子水平功能成像技术，能描述病变组织与正常组织代谢功能上的差异。PET成像能有效检测人体组织的早期病变，已成为癌症早期诊断和治疗的重要工具。精确分割PET图像中的肿瘤区域对癌症治疗非常重要，它能确保在放疗过程中将放射剂量最大程度地作用于癌症组织，同时减少对周围正常组织和重要器官的伤害。然而，由于部分容积效应的影响， PET图像中的肿瘤边缘是模糊的，且PET图像具有高噪声和强度不均匀的特点，精确分割PET图像中的肿瘤区域非常困难。CT是一种解剖成像技术，提供人体的组织结构信息，比PET成像的分辨率高，但对比度低，单一模态的图像很难精确的分割出肿瘤位置。因此，PET模态成像表征目标的位置，CT模态成像表征目标的解决。
发明内容
发明目的：为了解决现有技术存在的问题，本发明的目的是公开一种能够适应性融合双模态成像信息以实现对于目标的鲁棒、准确分割，在目标分割的效率及准确率上具有明显的性能优势的多模态成像信息联合建模及适应性分割方法。
技术方案：一种双模态成像信息联合建模及适应性分割方法，其特征在于，包括如下内容：
(1)获取目标的双模态成像信息，所述双模态成像信息包括目标的区域特征信息和结构特征信息，分别建立所述区域特征信息和结构特征信息的外部能量函数；
(2)采用适应性加权策略对所述区域特征信息和结构特征信息的外部能量函数进行融合，形成用于目标分割的能量函数；
(3)结合权重适应性优化及梯度下降策略对步骤(2)所得的能量函数进行优化，当能量函数达到收敛时，完成对目标的适应性分割。
具体的，步骤(1)中，定义区域特征信息为第一模态成像信息I1，定义结构特征信息为第二模态成像信息I2，采用如下公式建立区域特征信息的外部能量函数：
Figure BDA0002779383190000021
其中，
Figure BDA0002779383190000022
为水平集函数，I为第一模态成像信息I1和第二模态成像信息I2融合所得到的一幅图像，H(·)是Heaviside函数，g为边缘梯度函数，λ1、λ2为调节权重，m1、m2为第一模态成像信息I1显著性特征在水平集轮廓内、外的均值，定义如下：
Figure BDA0002779383190000023
Figure BDA0002779383190000024
其中，S(x，y)为第一模态成像信息I1基于全局对比度的显著性特征，(x，y) 为显著性特征信息的空间坐标。
具体的，采用如下公式建立结构特征信息的外部能量函数：
Figure BDA0002779383190000025
其中，β1,β2为调节权重，n1，n2为第二模态成像信息I2在水平集轮廓内、外的均值，定义如下：
Figure BDA0002779383190000026
Figure BDA0002779383190000031
其中，(x′,y′)为第二模态成像信息I2的空间坐标。
具体的，步骤(2)中，采用如下公式对所述区域特征信息和结构特征信息的外部能量函数进行融合：
Figure BDA0002779383190000032
其中，θ1,θ2为区域特征信息、结构特征信息的外部能量函数的调节权重；
最终，用于目标分割的能量函数建模为：
Figure BDA0002779383190000033
其中，
Figure BDA0002779383190000034
为正则项，定义如下：
Figure BDA0002779383190000035
Figure BDA0002779383190000036
Figure BDA0002779383190000037
其中，
Figure BDA0002779383190000038
是长度正则项，
Figure BDA0002779383190000039
是距离正则项。
进一步的，步骤(3)中，所述梯度下降策略为：
Figure BDA00027793831900000310
其中，t为演化时间变量，
Figure BDA00027793831900000311
为正则项，用于控制水平集函数收敛的正则性。
进一步的，步骤(3)中，所述权重适应性优化对能量函数进行优化的过程为：逐渐降低第一模态成像信息I1的能量函数的权重，逐渐提高第二模态成像信息I2的能量函数的权重：
θ1←θ1-tγ
θ2←θ2+tγ
其中，γ为适应性调节步长，，当模型达到收敛时停止上述权重调制。
和现有技术相比，本发明的有益效果是：对于单一目标的双模态成像信息按照其成像机理的目标性状表征特性，分别发挥不同成像模态信息对目标位置和目标结构信息表征上的性能优势，实现目标空间位置及结构信息的准确辨识，形成鲁棒、准确的目标分割结果，在目标分割的效率及准确率上具有明显的性能优势。
附图说明
图1是本发明的一种双模态成像分隔流程图；
图2是本发明实施例的原始病人肺部肿瘤融合图像和PET图像；(a)为融合图像；(b)为PET图像；
图3是本发明实施例的PET图像显著性分析后得到的显著图；
图4是本发明实施例的最后的分割结果。
具体实施方式
下面结合说明书附图和具体实施例，进一步阐明本发明的技术方案。
以病人肺部肿瘤CT和PET双模态成像信息为实施例：
首先，选取肿瘤目标的PET图像(如图2中的 (b)所示)，对其进行显著性分析，得到显著性特征S(x,y)。
对第一模态PET成像信息构造能量函数：
Figure BDA0002779383190000041
其中，
Figure BDA0002779383190000042
为水平集函数，I为PET-CT成像信息I1、I2融合所得到的一幅图像(如图2中的 (a)所示)，H(·)是Heaviside函数，g为边缘梯度函数，λ1、λ2为调节权重， m1、m2为PET成像数据I1显著性特征在水平集轮廓内、外的均值，定义如下：
Figure BDA0002779383190000043
Figure BDA0002779383190000044
其中，S(x，y)为PET成像信息I1的显著性特征，(x，y)为显著性特征信息的空间坐标；图3是PET图像显著性分析后得到的显著图。
以CT成像信息表征目标的结构特征，构造第二模态成像信息能量函数：
Figure BDA0002779383190000045
其中，β1,β2为调节权重，n1，n2为CT成像信息I2在水平集轮廓内、外的均值，定义如下：
Figure BDA0002779383190000051
Figure BDA0002779383190000052
其中，I2为CT成像信息，(x′,y′)为CT成像信息I2的空间坐标。
步骤二：对PET、CT双模态能量函数进行适应性加权融合并形成用于目标分割的能量函数：
Figure BDA0002779383190000053
其中，θ1,θ2为双模态特征能量项的调节权重。
最终，用于目标分割的能量函数建模为：
Figure BDA0002779383190000054
其中，
Figure BDA0002779383190000055
为正则项，定义如下：
Figure BDA0002779383190000056
Figure BDA0002779383190000057
Figure BDA0002779383190000058
其中，
Figure BDA0002779383190000059
是长度正则项，
Figure BDA00027793831900000510
是距离正则项，使得在演化过程中，水平集函数接近符号距离函数，提高水平集方法的效率和稳定性。
至此，得到了本发明提出的双模态成像信息能量函数。
步骤三：结合权重适应性优化及梯度下降策略对能量函数进行优化。
梯度下降优化为：
Figure BDA00027793831900000511
其中，t为演化时间变量，
Figure BDA00027793831900000512
为正则项，用于控制水平集函数收敛的正则性。
权重适应性优化为对于双外部能量项的适应性融合权重的适应性更新过程为：逐渐降低第一模态成像信息能量函数权重，逐渐提高第二模态成像信息能量函数的权重：
θ1←θ1-tγ
θ2←θ2+tγ
其中，γ为适应性调节步长，预设长度0<γ<0.3，当模型达到收敛时停止上述权重调制。
在梯度下降过程中，以外部能量项为主指导水平集模型演化过程中，像素被分别聚类到目标和背景两个不同的区域，梯度算子g结合基于区域的信息共同进行边界定位，但目标物体的边缘在演化过程中没有被精确定位，并且边缘可能出现一些奇异点和不规则形状。
在梯度下降过程中，以正则项为主指导水平集模型演化过程中，对目标物体边缘轮廓进行平滑处理，消除奇异点并提高边缘定位的精确度。
至此，完成了能量函数适应性演化过程，实现了肿瘤图像分割，分割结果见图4。

Claims (5)

1.一种双模态成像信息联合建模及适应性分割方法，其特征在于，包括如下内容：
(1)获取目标的双模态成像信息，所述双模态成像信息包括目标的区域特征信息和结构特征信息，分别建立所述区域特征信息和结构特征信息的外部能量函数；定义区域特征信息为第一模态成像信息I1，定义结构特征信息为第二模态成像信息I2，采用如下公式建立区域特征信息的外部能量函数：
Figure FDA0003690122180000011
其中，
Figure FDA0003690122180000012
为水平集函数，I为第一模态成像信息I1和第二模态成像信息I2融合所得到的一幅图像，H(·)是Heaviside函数，g为边缘梯度函数，λ1、λ2为调节权重，m1、m2为第一模态成像信息I1显著性特征在水平集轮廓内、外的均值，定义如下：
Figure FDA0003690122180000013
Figure FDA0003690122180000014
其中，S(x，y)为第一模态成像信息I1基于全局对比度的显著性特征，(x，y)为显著性特征信息的空间坐标；
采用如下公式建立结构特征信息的外部能量函数：
Figure FDA0003690122180000015
其中，β1，β2为调节权重，n1，n2为第二模态成像信息I2在水平集轮廓内、外的均值，定义如下：
Figure FDA0003690122180000016
Figure FDA0003690122180000017
其中，(x′，y′)为第二模态成像信息I2的空间坐标；
(2)采用适应性加权策略对所述区域特征信息和结构特征信息的外部能量函数进行融合，形成用于目标分割的能量函数；
(3)结合权重适应性优化及梯度下降优化对步骤(2)所得的能量函数进行优化，当能量函数达到收敛时，完成对目标的适应性分割。
2.根据权利要求1所述的双模态成像信息联合建模及适应性分割方法，其特征在于，步骤(2)中，采用如下公式对所述区域特征信息和结构特征信息的外部能量函数进行融合：
Figure FDA0003690122180000021
其中，θ1，θ2分别为区域特征信息、结构特征信息的外部能量函数的调节权重；
最终，用于目标分割的能量函数建模为：
Figure FDA0003690122180000022
其中，
Figure FDA0003690122180000023
为正则项。
3.根据权利要求2所述的双模态成像信息联合建模及适应性分割方法，其特征在于，所述正则项
Figure FDA0003690122180000024
定义如下：
Figure FDA0003690122180000025
Figure FDA0003690122180000026
Figure FDA0003690122180000027
其中，
Figure FDA0003690122180000028
是长度正则项，
Figure FDA0003690122180000029
是距离正则项。
4.根据权利要求2所述的双模态成像信息联合建模及适应性分割方法，其特征在于，步骤(3)中，所述梯度下降优化为：
Figure FDA00036901221800000210
其中，t为演化时间变量，
Figure FDA00036901221800000211
为正则项，用于控制水平集函数收敛的正则性。
5.根据权利要求2所述的双模态成像信息联合建模及适应性分割方法，其特征在于，步骤(3)中，所述权重适应性优化的过程为：
逐渐降低第一模态成像信息I1的能量函数的权重，逐渐提高第二模态成像信息I2的能量函数的权重：
θ1←θ1-tγ
θ2←θ2+tγ
其中，γ为适应性调节步长，当模型达到收敛时停止上述权重调制。
CN202011276934.XA 2020-11-16 2020-11-16 一种双模态成像信息联合建模及适应性分割方法 Active CN112348834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011276934.XA CN112348834B (zh) 2020-11-16 2020-11-16 一种双模态成像信息联合建模及适应性分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011276934.XA CN112348834B (zh) 2020-11-16 2020-11-16 一种双模态成像信息联合建模及适应性分割方法

Publications (2)

Publication Number Publication Date
CN112348834A CN112348834A (zh) 2021-02-09
CN112348834B true CN112348834B (zh) 2022-08-30

Family

ID=74363975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011276934.XA Active CN112348834B (zh) 2020-11-16 2020-11-16 一种双模态成像信息联合建模及适应性分割方法

Country Status (1)

Country Link
CN (1) CN112348834B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426699A (zh) * 2011-11-04 2012-04-25 西安电子科技大学 基于边缘和区域信息的水平集sar图像分割方法
CN106056611A (zh) * 2016-06-03 2016-10-26 上海交通大学 基于区域信息和边缘信息的水平集图像分割方法及其系统
CN106504245A (zh) * 2016-10-28 2017-03-15 东北大学 一种多模态脑影像损伤性病变组织图像分割方法
CN109712152A (zh) * 2018-12-25 2019-05-03 辽宁师范大学 基于矢量值活动轮廓模型的多模态医学图像分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9824302B2 (en) * 2011-03-09 2017-11-21 Siemens Healthcare Gmbh Method and system for model-based fusion of multi-modal volumetric images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426699A (zh) * 2011-11-04 2012-04-25 西安电子科技大学 基于边缘和区域信息的水平集sar图像分割方法
CN106056611A (zh) * 2016-06-03 2016-10-26 上海交通大学 基于区域信息和边缘信息的水平集图像分割方法及其系统
CN106504245A (zh) * 2016-10-28 2017-03-15 东北大学 一种多模态脑影像损伤性病变组织图像分割方法
CN109712152A (zh) * 2018-12-25 2019-05-03 辽宁师范大学 基于矢量值活动轮廓模型的多模态医学图像分割方法

Also Published As

Publication number Publication date
CN112348834A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN107230206B (zh) 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法
CN106920234B (zh) 一种复合式自动放疗计划的方法
US8682074B2 (en) Method for checking the segmentation of a structure in image data
Vandemeulebroucke et al. Automated segmentation of a motion mask to preserve sliding motion in deformable registration of thoracic CT
CN107072595B (zh) 基于多模态成像的自适应重计划
Wang et al. Towards personalized statistical deformable model and hybrid point matching for robust MR-TRUS registration
Yan et al. PSP net-based automatic segmentation network model for prostate magnetic resonance imaging
Zhu et al. Automatic segmentation of the left atrium from MR images via variational region growing with a moments-based shape prior
Ibragimov et al. Segmentation of tongue muscles from super-resolution magnetic resonance images
KR101258814B1 (ko) 동적조영증강 유방 ｍｒ 영상에서 조직별 밝기값 보정 및 종양 강성 제약을 적용한 비강체 정합 방법 및 시스템
CN109753997B (zh) 一种ct图像中的肝脏肿瘤自动精确鲁棒分割方法
CN108596894A (zh) 一种用于多参数磁共振影像的前列腺自动分区方法
CN107507189A (zh) 基于随机森林与统计模型的小鼠ct图像肾脏分割方法
CN105793893A (zh) 解剖结构的基于模型的分割
CN115830016B (zh) 医学图像配准模型训练方法及设备
CN108898578B (zh) 一种医疗图像的处理方法、装置及计算机存储介质
Gao et al. Learning distance transform for boundary detection and deformable segmentation in ct prostate images
Duan et al. Unsupervised learning for deformable registration of thoracic CT and cone‐beam CT based on multiscale features matching with spatially adaptive weighting
CN110288581A (zh) 一种基于保持形状凸性水平集模型的分割方法
Zhang et al. Multi-atlas based adaptive active contour model with application to organs at risk segmentation in brain MR images
Zhao et al. Local metric learning in 2D/3D deformable registration with application in the abdomen
CN113222979A (zh) 一种基于多图谱的颅底卵圆孔自动分割方法
CN112348834B (zh) 一种双模态成像信息联合建模及适应性分割方法
CN110533667B (zh) 基于图像金字塔融合的肺部肿瘤ct影像3d分割方法
CN113298754B (zh) 一种前列腺组织轮廓线控制点的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant