CN107292858B - 一种基于低秩分解和稀疏表示的多模态医学图像融合方法 - Google Patents

一种基于低秩分解和稀疏表示的多模态医学图像融合方法 Download PDF

Info

Publication number
CN107292858B
CN107292858B CN201710363457.2A CN201710363457A CN107292858B CN 107292858 B CN107292858 B CN 107292858B CN 201710363457 A CN201710363457 A CN 201710363457A CN 107292858 B CN107292858 B CN 107292858B
Authority
CN
China
Prior art keywords
sparse
image
low
rank
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710363457.2A
Other languages
English (en)
Other versions
CN107292858A (zh
Inventor
李华锋
邓志华
余正涛
王红斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
YUNNAN UNITED VISUAL TECHNOLOGY Co.,Ltd.
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201710363457.2A priority Critical patent/CN107292858B/zh
Publication of CN107292858A publication Critical patent/CN107292858A/zh
Application granted granted Critical
Publication of CN107292858B publication Critical patent/CN107292858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于低秩分解和稀疏表示的多模态医学图像融合方法,先将待融合的两幅不同多模态医学图像,进行低秩分解分别得到低秩部分图像和稀疏部分图像;利用KSVD算法对选用的非医学图像集训练低秩字典,利用KSVD算法对选用的非医学图像集进行低秩分解后得到的稀疏部分图像集训练稀疏字典;利用稀疏表示方法对低秩部分图像和稀疏部分图像进行稀疏重构,分别得到低秩重构图像和稀疏重构图像;利用稀疏表示方法对低秩重构图像和稀疏重构图像进行稀疏融合,得到融合图像;计算两幅不同多模态医学图像与稀疏重构图像、低秩重构图像之间的差值;将差值加入到融合图像中,得到最终稀疏融合图像。本发明在主观和客观评价指标上都优于传统的融合方法。

Description

一种基于低秩分解和稀疏表示的多模态医学图像融合方法
技术领域
本发明涉及一种基于低秩分解和稀疏表示的多模态医学图像融合方法,属于图像处理领域。
背景技术
在图像处理领域,图像融合是一项很有发展前景的研究。图像融合技术通过综合同一场景的多传感器图像或者不同场景的同一传感器图像的有用信息来合成一幅融合图像。而合成的融合图像具有前者所有的特征信息,更适合用于后期的处理和研究。一个高效的融合方法可以根据实际需求处理多通道信息。这些优势使得图像融合在很多领域里都特别受欢迎。尤其,在医学影像学为临床提供了超声图像、X射线、电子计算机体层扫描(CT)、磁共振成像(MRI)、数字减影成像(DSA)、正电子发射体层扫描(PET)、单光子发射断层成像(SPECT)等多种模态影像信息。不同的医学影像可以提供人体相关脏器和组织的不同信息,如CT和MRI提供解剖结构信息,而PET和SPECT提供功能信息在实际临床应用中,单一模态图像往往不能提供医生所需要的足够信息,通常需要将不同模态图像融合在一起,得到更丰富的信息以便了解病变组织或器官的综合信息,从而做出准确的诊断或制订出合适的治疗方案。例如,CT利用各种组织器官对X射线吸收系数的不同和计算机断层技术对人体进行成像,它对于骨、软组织和血管的组合成像效果很好,而对软组织则近乎无能为力。MRI利用水质子信息成像,对软组织和血管的显像灵敏度比CT高得多,但对骨组织则几乎不显像。由此可见不同成像技术对人体同一解剖结构所得到的形态和功能信息是互为差异、互为补充的。因此对不同影像信息进行适当的集成便成为临床医生诊断和治疗疾病的尤其重要。
随着图像融合研究的不断深入,很多的研究者提出了很多的图像融合方法。传统的图像融合方法有:线性加权法,它是一种最简单的图像融合方法,它直接对多幅原图像的对应像素点进行加权叠加。IIPF法(高通滤波法),它用高通滤波器算子提取出高分辨率图像的细节信息,然后采用像数相加的方法,将提取出的细节信息叠加到低分辨率图像上,实现低分辨率图像和高分辨率图像之间的数据融合。PCA(主成分分析)法,首先对图像进行主分量变换,由相关矩阵求特征值和特征向量求得各主分量,通过这种融合,可以尽可能地保留全色图像的细节信息,然后对融合后的图像进行反变换,得到包含丰富细节信息的融合图像。IIIS变换法,它是遥感图像融合中比较常用到的一种方法,它将多光谱的TM图像数据变换到IIIS空间,得到3个独立的分量。它首先将SPOT图像数据经过适当的伸缩,以保证它的均值和方差变换到和I分量一致,然后用伸缩后的数据替换I分量,得到II分量,再分别对II和S进行反差扩展,得到III和SI,最后将II,III和SI变换回RGB空间,得到融合图像。和以上四类算法相比,其余四种融合方法功能比较单一。
发明内容
本发明提供了一种基于低秩分解和稀疏表示的多模态医学图像融合方法,以用于对医学图像进行融合,以获得更好融合质量图像。
本发明的技术方案是:一种基于低秩分解和稀疏表示的多模态医学图像融合方法,所述方法的具体步骤如下:
Step1、将待融合的两幅不同多模态医学图像A、B,使用矩阵低秩分解理论进行低秩分解分别得到低秩部分图像A1、B1和稀疏部分图像A2、B2
Step2、利用K-均值的奇异值分解算法对选用的非医学图像集训练低秩字典,利用K-均值的奇异值分解算法对选用的非医学图像集进行低秩分解后得到的稀疏部分图像集训练稀疏字典;
Step3、利用稀疏表示方法对低秩部分图像A1、B1和稀疏部分图像A2、B2进行稀疏重构,分别得到低秩重构图像A1B1和稀疏重构图像A2B2
Step4、利用稀疏表示方法对低秩重构图像A1B1和稀疏重构图像A2B2进行稀疏融合,得到融合图像AB;
Step5、根据公式A+B-A1B1-A2B2计算两幅不同多模态医学图像与稀疏重构图像、低秩重构图像之间的差值;
Step6、将步骤Step5得到的差值加入到步骤Step4得到的融合图像中,得到最终稀疏融合图像。
所述稀疏表示方法中的稀疏系数矩阵采用正交匹配追踪算法进行求解。
本发明的有益效果是:利用矩阵低秩分解分解源图像成两部分图像:低秩和稀疏部分图像,利用稀疏表示理论提升图像融合质量的目的。考虑到一般图像的内部结构信息包含一定的噪音信息,那么我们就将源图像分解成两个矩阵相加,一个是低秩的(它内部有一定的结构信息,造成各行或列间是线性相关的),另外一个是稀疏的(含有噪音),将图像内部包含不同信息进行有效的分离开。图像稀疏表示理论的目的就是在给定的超完备字典中用尽可能少的原子来表示信号,可以获得信号更为简洁的表示方式,从而使我们更容易地获取信号中所蕴含的信息,更方便进一步对图像进行进一步加工处理。应用本发明可以有效地综合多模态源图像的丰富细节信息,对噪声具有很好的健壮性并且本发明在主观和客观评价指标上都优于传统的融合方法。
附图说明
图1是本发明方法流程图;
图2是本发明实施例1多模态医学CT图像;
图3是本发明实施例1多模态医学MRI图像;
图4是本发明实施例低秩字典的训练样本集;
图5是本发明实施例稀疏字典的训练样本集;
图6是本发明实施例1融合图像;
图7是本发明实施例2多模态医学MRI图像;
图8是本发明实施例2多模态医学PET图像;
图9是本发明实施例2融合图像;
图10为ASR方法的融合图像;
图11为Kim方法的融合图像;
图12为SR方法的融合图像。
具体实施方式
实施例1:一种基于低秩分解和稀疏表示的多模态医学图像融合方法,所述方法的具体步骤如下:
Step1、将待融合的两幅像素大小为256×256的CT和MRI图像(如图2、3所示),使用矩阵低秩分解理论进行低秩分解分别得到低秩部分图像和稀疏部分图像(即CT图像分解后得到一幅低秩部分图像A1和一幅稀疏部分图像A2,MRI图像分解后得到一幅低秩部分图像B1和一幅稀疏部分图像B2);
Step2、利用K-均值的奇异值分解算法对选用的非医学图像集(如图4所示)训练低秩字典,利用K-均值的奇异值分解算法对选用的非医学图像集进行低秩分解后得到的稀疏部分图像集(如图5所示)训练稀疏字典;
Step3、利用稀疏表示方法对低秩部分图像A1、B1和稀疏部分图像A2、B2进行稀疏重构,分别得到低秩重构图像A1B1和稀疏重构图像A2B2(利用稀疏表示方法对低秩部分图像A1、B1进行稀疏重构,得到低秩重构图像A1B1;利用稀疏表示方法对稀疏部分图像A2、B2进行稀疏重构,得到稀疏重构图像A2B2;即两幅低秩部分图像进行重构得到一幅低秩重构图像,两幅稀疏部分图像进行重构得到一幅稀疏重构图像);
Step4、利用稀疏表示方法对低秩重构图像A1B1和稀疏重构图像A2B2进行稀疏融合,得到融合图像AB;
Step5、根据公式A+B-A1B1-A2B2计算两幅不同多模态医学图像与稀疏重构图像、低秩重构图像之间的差值;
Step6、将步骤Step5得到的差值加入到步骤Step4得到的融合图像中,得到最终稀疏融合图像(如图6所示)。
实施例2:一种基于低秩分解和稀疏表示的多模态医学图像融合方法,所述方法的具体步骤如下:
Step1、将待融合的两幅像素大小为256×256的MRI和PET图像(如图7、8所示),使用矩阵低秩分解理论进行低秩分解分别得到低秩部分图像和稀疏部分图像;
Step2、利用K-均值的奇异值分解算法对选用的非医学图像集(如图4所示)训练低秩字典,利用K-均值的奇异值分解算法对选用的非医学图像集进行低秩分解后得到的稀疏部分图像集(如图5所示)训练稀疏字典;
Step3、利用稀疏表示方法对低秩部分图像A1、B1和稀疏部分图像A2、B2进行稀疏重构,分别得到低秩重构图像A1B1和稀疏重构图像A2B2
Step4、利用稀疏表示方法对低秩重构图像A1B1和稀疏重构图像A2B2进行稀疏融合,得到融合图像AB;
Step5、根据公式A+B-A1B1-A2B2计算两幅不同多模态医学图像与稀疏重构图像、低秩重构图像之间的差值;
Step6、将步骤Step5得到的差值加入到步骤Step4得到的融合图像中,得到最终稀疏融合图像(如图9所示)。
图10—图12分别为在最近比较新颖的ASR、Kim和SR方法下的融合结果(图10左为ASR方法下针对实施例1中待融合图像融合后的结果,图10右为ASR方法下针对实施例2中待融合图像融合后的结果,Kim和SR方法结果同图10解释),图6为本发明提出方法下的融合结果。在做融合图像实验时,低秩分解不同的平衡参数值得到的融合结果不一样,以上图像结果都是选择平衡参数值为0.089条件下得到的最终融合结果,同时在最后做误差补偿时我们在做实验时分别考虑过三种误差融合规则:最大值、绝对值、直接融合。我们最终从实验结果中选择最大值融合规则作为最终融合效果。
为更好评价不同方法下的融合效果,本发明分别从主观和客观角度上来评价融合效果。从人眼视觉上可以看出,Kim、ASR、SR和本发明提出方法相比,Kim、ASR和SR方法的融合图像对比度上较低;除了本发明提出方法的融合图像完整保留细节特征之外,其他方法下的融合效果都或多或少丢失了本该特有的细节特征。
主观视觉评价主要是依靠人的视觉系统与对其融合目的的感知直接对融合图像进行评价。而客观指标评价是一种根据图像像素值来对图像质量进行定量分析的评价,它在一定程度上可弥补了主观因素的干扰。这里我们采用互信息MI、边缘信息度量算子QAB/F和视觉信息保真度VIF三个客观评价指标对不同方法下的融合效果进行评价。其中MI可评价源图像有多少信息量保留到了融合图像,边缘信息度量算子QAB/F衡量融合图像中包含了多少源图像的边缘信息,VIF则可通过计算源图像和融合图像之间的共享信息评价融合性能。不同融合方法的客观评价数据如表1所示,三个评价指标的数值越大说明融合效果越好并在表中用粗体标注。表1数据表明本发明方法在客观评价上具有较高的指标值,这从客观上也证明了本发明方法是有效的。
表1:不同融合方法的客观评价数据
Figure DEST_PATH_IMAGE002
上面结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (2)

1.一种基于低秩分解和稀疏表示的多模态医学图像融合方法,其特征在于:所述方法的具体步骤如下:
Step1、将待融合的两幅不同多模态医学图像A、B,使用矩阵低秩分解理论进行低秩分解分别得到低秩部分图像A1、B1和稀疏部分图像A2、B2
Step2、利用K-均值的奇异值分解算法对选用的非医学图像集训练低秩字典,利用K-均值的奇异值分解算法对选用的非医学图像集进行低秩分解后得到的稀疏部分图像集训练稀疏字典;
Step3、利用稀疏表示方法对低秩部分图像A1、B1和步骤2训练得到的低秩字典进行稀疏重构,利用稀疏表示方法对稀疏部分图像A2、B2和步骤2训练得到的稀疏字典进行重构进行稀疏重构,分别得到低秩重构图像A1B1和稀疏重构图像A2B2
Step4、利用稀疏表示方法对低秩重构图像A1B1和稀疏重构图像A2B2进行稀疏融合,得到融合图像AB;
Step5、根据公式A+B-A1B1-A2B2计算两幅不同多模态医学图像与稀疏重构图像、低秩重构图像之间的差值;
Step6、将步骤Step5得到的差值加入到步骤Step4得到的融合图像中,得到最终稀疏融合图像。
2.根据权利要求1所述的基于低秩分解和稀疏表示的多模态医学图像融合方法,其特征在于:所述稀疏表示方法中的稀疏系数矩阵采用正交匹配追踪算法进行求解。
CN201710363457.2A 2017-05-22 2017-05-22 一种基于低秩分解和稀疏表示的多模态医学图像融合方法 Active CN107292858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710363457.2A CN107292858B (zh) 2017-05-22 2017-05-22 一种基于低秩分解和稀疏表示的多模态医学图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710363457.2A CN107292858B (zh) 2017-05-22 2017-05-22 一种基于低秩分解和稀疏表示的多模态医学图像融合方法

Publications (2)

Publication Number Publication Date
CN107292858A CN107292858A (zh) 2017-10-24
CN107292858B true CN107292858B (zh) 2020-07-10

Family

ID=60094497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710363457.2A Active CN107292858B (zh) 2017-05-22 2017-05-22 一种基于低秩分解和稀疏表示的多模态医学图像融合方法

Country Status (1)

Country Link
CN (1) CN107292858B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197629B (zh) * 2017-12-30 2021-12-31 北京工业大学 一种基于标签相关性约束张量分解的多模态医学影像特征提取方法
CN109410157B (zh) * 2018-06-19 2022-02-08 昆明理工大学 基于低秩稀疏分解和pcnn的图像融合方法
CN109949307B (zh) * 2019-02-27 2024-01-12 昆明理工大学 一种基于主成分分析的图像分割的方法
CN112200758B (zh) * 2020-10-13 2022-08-19 南京邮电大学 一种基于双重张量低秩模型的多模态三维医学图像融合方法
CN112329604B (zh) * 2020-11-03 2022-09-20 浙江大学 一种基于多维度低秩分解的多模态情感分析方法
CN113066036B (zh) * 2021-03-18 2022-06-03 中北大学 一种基于模糊熵和稀疏表示的x射线图像融合方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722892A (zh) * 2012-06-13 2012-10-10 西安电子科技大学 基于低秩矩阵分解的sar图像变化检测方法
CN104182954A (zh) * 2014-08-27 2014-12-03 中国科学技术大学 一种实时的多模态医学图像融合方法
CN105678723A (zh) * 2015-12-29 2016-06-15 内蒙古科技大学 基于稀疏分解和差分图像的多聚焦图像融合方法
CN105825477A (zh) * 2015-01-06 2016-08-03 南京理工大学 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607401B2 (en) * 2013-05-08 2017-03-28 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722892A (zh) * 2012-06-13 2012-10-10 西安电子科技大学 基于低秩矩阵分解的sar图像变化检测方法
CN104182954A (zh) * 2014-08-27 2014-12-03 中国科学技术大学 一种实时的多模态医学图像融合方法
CN105825477A (zh) * 2015-01-06 2016-08-03 南京理工大学 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法
CN105678723A (zh) * 2015-12-29 2016-06-15 内蒙古科技大学 基于稀疏分解和差分图像的多聚焦图像融合方法

Also Published As

Publication number Publication date
CN107292858A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN107292858B (zh) 一种基于低秩分解和稀疏表示的多模态医学图像融合方法
Dar et al. Image synthesis in multi-contrast MRI with conditional generative adversarial networks
You et al. CT super-resolution GAN constrained by the identical, residual, and cycle learning ensemble (GAN-CIRCLE)
Zhou et al. Deep learning methods for medical image fusion: A review
Iqbal et al. Generative adversarial networks and its applications in the biomedical image segmentation: a comprehensive survey
Liu et al. Recent advances in sparse representation based medical image fusion
WO2022121100A1 (zh) 一种基于darts网络的多模态医学图像融合方法
EP2790575A1 (en) Method and apparatus for the assessment of medical images
CN109934887A (zh) 一种基于改进的脉冲耦合神经网络的医学图像融合方法
CN111598964B (zh) 一种基于空间自适应网络的定量磁化率图像重建方法
Rajalingam et al. Review of multimodality medical image fusion using combined transform techniques for clinical application
Yang et al. Registration of pathological images
CN106504221B (zh) 基于四元数小波变换上下文结构的医学图像融合方法
Lévêque et al. Comparative study of the methodologies used for subjective medical image quality assessment
Swathi et al. Survey on multimodal medical image fusion techniques
WO2023000244A1 (zh) 一种图像处理方法、系统及其应用
Zhang et al. Unified multi-modal image synthesis for missing modality imputation
Das et al. Multimodal classification on PET/CT image fusion for lung cancer: a comprehensive survey
Wang et al. MSE-Fusion: Weakly supervised medical image fusion with modal synthesis and enhancement
Sharif et al. Two-Stage Deep Denoising With Self-guided Noise Attention for Multimodal Medical Images
Xie et al. MACTFusion: Lightweight Cross Transformer for Adaptive Multimodal Medical Image Fusion
Gholizadeh-Ansari et al. Low-dose CT denoising using edge detection layer and perceptual loss
Shinde et al. Analysisof Biomedical Image Using Wavelet Transform
Zhang et al. Medical image fusion based a densely connected convolutional networks
CN115731444A (zh) 一种基于人工智能和超像素分割的医学影像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210218

Address after: 650000 room 1701, 17th floor, block a, science and Technology Information Innovation Incubation Center, Chenggong District, Kunming City, Yunnan Province

Patentee after: YUNNAN UNITED VISUAL TECHNOLOGY Co.,Ltd.

Address before: 650093 No. 253, Xuefu Road, Wuhua District, Yunnan, Kunming

Patentee before: Kunming University of Science and Technology