CN106709896A - 一种医学图像融合方法 - Google Patents
一种医学图像融合方法 Download PDFInfo
- Publication number
- CN106709896A CN106709896A CN201611173999.5A CN201611173999A CN106709896A CN 106709896 A CN106709896 A CN 106709896A CN 201611173999 A CN201611173999 A CN 201611173999A CN 106709896 A CN106709896 A CN 106709896A
- Authority
- CN
- China
- Prior art keywords
- low
- fusion
- rank
- image
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 238000002603 single-photon emission computed tomography Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011430 maximum method Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及一种医学图像融合方法，属图像处理领域。本发明的方法基于NSCT多尺度分解和低秩表示方法，经过图像预处理、图像配准、图像多尺度分解、低秩表示融合等步骤实现。理论与实践证明，本发明妥善的解决了图像融合中的轮廓不清晰，细节信息丢失等问题。采用本文发明的方法后，不仅可以高效完成医学图像的融合，而不丢失重要的图像的融合信息，因此可以获得高质量的医学图像融合图像，满足临床医生的诊断阅读需求。
Description
技术领域
本发明涉及医学图像领域，具体涉及基于低秩表示和多尺度分解的医学图像融合。
背景技术
近年来，随着计算机技术、工业技术以及医学的快速发展，医学影像学为临床医学诊断提供的图像模态越来越多样化。由于成像原理的不同，多模态医学图像使得不同模态的医学影像具备不同的特点和优势，因此将不同特点和优势的图像想融合减少临床诊断的错误率。因此如何提高融合的质量是目前医学融合领域的难点。
根据被融合图像成像方式不同，可分为同类方式融合和交互方式融合。图像融合的方式为单模融合、多模融合、模板融合，医学图像分为解剖图像和功能图像。而单模融合是指相同成像方式的图像融合。多模融合是指将形态成像和功能成像技术所获得的图像进行融合，即不同成像方式所获得图像间的融合；模板融合是指利用从健康人的研究中建立一系列模板为标准，将病人的图像与模板图像的融合。如SPECT与MR图像融合，PET与CT图像融合等。现有的基于图像特征的融合方法几乎都是从变换域上的图像编码和压缩技术延伸来的，有Laplacian金字塔法、Gaussian金字塔法、比率低通金字塔法、多分辨率形态滤波法和小波变换法等。现阶段，我国张鑫等提出的Contourlet变换系数加权的医学图像融合，该方法首先是将源图像进过Contourlet变换分解获得不同尺度对个方向下的分解系数。然后再对该系数进行分析来确定融合规则。这个算法可以增加多模态医学图像互补信息，并能够较好地提高医学图像融合的清晰度。Li提出一种单纯形变权的MRI和SPECT的融合方法，是基于GIHS空间，通过非下采样轮廓变换(NSCT)与变权相结合来避免了在MRI和SPECT领域的传统的透明技术的不足。还有一些学者提出了其他的融合方法，例如徐志平于2014提出通过局部极大值的方法来进行融合，该方法保存了图像的细节部分而且极大的提高了融合的质量和效率。SabalanDaneshvar于2014年提出了通过视觉模型和IHS空间的MRI和PET的医学图像融合方法，IHS算法和RIM融合技术能够保存更多的空间特征以及更有效的信息。Kavitha C.T等人提出基于混合智能的医学图像融合该方法是将原始图像即PET或者SPECT通过蚁群算法进行边缘检测盒加强，经过这些步骤后，再进过s-PCNN的方法进行处理最后根据融合规则得到最后的同和结果。
归纳起来，上述现有的技术只是在考虑在多尺度分解的基础上进行图像融合，但是没有考虑到分频之后系数进行最大限度的进行的利用，融合结果图不能细节信息丢失等问题。
发明内容
本发明的目的在于如何提高MRI和PET医学图像融合的质量，在低秩表示和多尺度分解的基础上提出了MRI和PET医学图像融合。此方法具有良好的融合效果，对Dicom文件的融合具有更加优异成果，程序具有时间短，能和多种多尺度分解的方法相结合进行融合来客服低秩表示融合方法和基于多尺度分解的图像融合的缺点，具有更好的鲁棒性。
本发明采用的技术方案如下：该方法分为初始和融合两个阶段，在这两个阶段分别是预处理阶段和融合阶段。预处理阶段是对图像先进行配准然后将配准后的图像进行归一化的处理。融合阶段则是对预处理后的图像进行基于低秩表示的融合算法进行融合得到最终的融合的结果图。
具体是依序采用如下步骤：首先对MRI和PET源图像分别记为A，B分别进行归一化处理，得到的结果从RGB空间变换到IHS空间得到强度分量IA，IB和各自的色度和饱和度；得到的IA，IB分量通过多尺度分解，对低频系数使用低秩表示来分成一个稀疏误差项(EA，EB)和一个低秩部分(ZA，ZB)；然后分别对稀疏误差项EA，EB和低秩部分(ZA，ZB)采用1泛数选大法和系数绝对值最大法进行融合得到新的稀疏误差项(EF)和新的低秩部分(ZF)，将这两项重构成新的低频融合系数。高频系数则采用系数绝对值选大法进行融合。对新的分量IF和PET图像的色度和饱和度通过反IHS变换得到最终的融合结果图。
本发明提出了一种基于低秩表示的医学图像融合方法。该方法是将RGB颜色空间变换到IHS空间是为了更加满足人眼的需求，然后再通过低秩表示的算法来表示特征，Z是反应了图像的主要特征，E是表示了图像的一些辨识特征和显著特征。其有益效果是：
1、本发明与传统的医学图像融合方法相比，由于低秩模型能够保证了图像的特征信息，因此保证了图像更多的细节信息。
2、本发明低秩表示方法能和多尺度分解(如：LP，Conturlet，NSCT)相结合来客服多尺度的固有的缺点。
3、本发明不仅保持了图像更多的细节信息而且运行时间也相比其他方法较好。
附图说明
下面结合附图和具体实施方式对本发明进一步详细说明。
图1是本发明所述基于低秩表示和多尺度分解MRI和PET的医学图像融合方法流程示意图。
图2是本发明基于低秩表示的低频融合流程示意图。
图3是本发明的融合结果，(a)，(b)为MRI和PET的融合结果图，(c)-(h)分别为GIHS，WT，HPF，NSCT，NSCT_PCNN，GAUSSIAN融合方法的融合结果图，(i)为本文提出的算法的融合结果图。
具体实施方式
以下结合附图对发明的实施做出进一步说明。
图1为本发明提出的基于低秩表示的医学图像融合算法流程。首先将配准后的源图像MRI和PET图像进行归一化后得到初始图像。
第一步：根据IHS颜色模型，然后将源图像进行多尺度分解
Setp1：将RGB空间转换到IHS空间。
Setp2：把强度通过多尺度进行多尺度分解为高频系数和低频系数。
Setp3：高频频带每层通过系数绝对值选大法进行融合。
Setp4：与此同时低频部分通过低秩表示进行融合得到Lfusion。
Step5：将高频融合系数和低频融合系数通过多尺度反变换得到新的融合图像的强度
Step 6：强IHS空间转换为RGB空间得到最终的融合结果图
低频部分的融合算法流程如下：
稀疏项(E)和低秩项(Z)计算：
Step1：将LA，LB分别通过不重复的原则按4*4窗口进行选取。
Step2：选取的区域通过列优先的原则进行排列得到新的向量XA，XB本发明的模型算法如下：
s.t.X＝Z+E
Step1：模型本身是NP难题，所以求解之前需要对其进行松弛变换，变换如下
s.t.X＝Z+E
Step2：构造拉格朗日函数：
Step3：固定其他变量，然后分别对Z，E求其最小化，再更新Y更新算法如下：
初始化：
Z＝0，E＝0，Y＝0，μ＝10-6，ρ＝1.1，ε＝10-8，ε2＝10-2
循环下面步骤直到收敛
1.固定其他项更新Z
2.固定其他项更新E
3.固定其他项更新Y
Yk+1＝Yk+μk(X-Zk+1-Ek+1)4.更新μ
5.判断收敛
||X-Z-E||∞＜ε2
Step4：稀疏项(E)和低秩项(Z)的融合算法：
稀疏项(E)采用绝对值1泛数进行融合：
低秩项采系数S型权重函数进行融合
W(ZA(i，j))＝f(ZA(i，j))
W(ZB(i，j))＝f(ZB(i，j))
Zfusion＝W(ZA)*ZA+W(ZB)*ZB
Step5：通过低秩模型重构得到新的低频系数。
Step6：将IHS空间通过逆变换到RGB空间得到融合结果。
本发明通过结合多尺度和低秩表示的融合方法不仅克服了多尺度分解和低秩表示的固有缺点，同时也提高了图像融合效率以及融合的准确度。最后将本发明的结果图和传统的NSCT，NSCT_PCNN，Contourlet等方法相比保持了更多的纹理信息以及边缘部分更加的清晰以及具有较好的鲁棒性的同时时间消耗更少。除了上述的优点，本文的方法可以和不同多尺度分解方法(例如LP，CONTOURLET，NSCT，DWT等)相结合，能改善与其相结合的多尺度分解融合方法的缺点，且通过实验验证，本文的方法结合NSCT的多尺度分解方法具有更优的性能。
Claims (2)
1.基于NSCT和低秩表示的医学图像融合方法，其特征在于：所述多尺度分解后的低频信息来获取低秩原矩阵(X)；针对低秩表示的针对图像的细节信息，低秩表示模型得到的稀疏项保证了图像的一些辨识特征和显著特征而低秩部分则反映了分解图像的主要特征，故使用低秩模型对低频系数进行融合。
所述低秩表示的具体步骤为：
1)将LA，LB分别通过不重复的原则按4*4窗口进行选取。
2)选取的区域通过列优先的原则进行排列得到新的向量XA，XB。
2.根据权利2中要求所述的低秩表示模型的图像融合方法步骤为：
1)本发明的模型算法如下：
s.t.X＝Z+E
因为模型本身是NP难题，所以求解之前需要对其进行松弛变换，变换如下
s.t.X＝Z+E
然后通过构造拉格朗日函数来进行求解，具体就是固定其他变量，然后分别对Z，E求其最小化，再更新Y。
分解后的稀疏项(E)和低秩项(Z)分别采用不同的融合方法进行融合。
2)稀疏项(E)采用绝对值1泛数进行融合：
3)低秩项采系数S型权重函数进行融合。
W(ZA(i，j))＝f(ZA(i，j))
W(ZB(i，j))＝f(ZB(i，j))
Zfusion＝W(ZA)*ZA+W(ZB)*ZB
低秩模型算法重构使得稀疏项融合系数和低秩部分融合系数得到低频融合系数，最终再通过低秩的重构函数进行构造得到融合结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611173999.5A CN106709896A (zh) | 2016-12-08 | 2016-12-08 | 一种医学图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611173999.5A CN106709896A (zh) | 2016-12-08 | 2016-12-08 | 一种医学图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106709896A true CN106709896A (zh) | 2017-05-24 |
Family
ID=58939198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611173999.5A Pending CN106709896A (zh) | 2016-12-08 | 2016-12-08 | 一种医学图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106709896A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451951A (zh) * | 2017-07-13 | 2017-12-08 | 南京师范大学 | 一种结合低秩表示和图像融合的高光谱图像降维方法 |
| CN112200758A (zh) * | 2020-10-13 | 2021-01-08 | 南京邮电大学 | 一种基于双重张量低秩模型的多模态三维医学图像融合方法 |
| CN112801926A (zh) * | 2021-01-15 | 2021-05-14 | 北京理工大学 | 基于泊松方程和互信息分解的多模态医学图像融合方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6897802B1 (en) * | 2003-11-10 | 2005-05-24 | Raytheon Company | Fusion of shape and multiscale features for unknown target rejection |
| CN101540045A (zh) * | 2009-03-25 | 2009-09-23 | 湖南大学 | 基于同步正交匹配追踪的多源图像融合方法 |
| CN102968781A (zh) * | 2012-12-11 | 2013-03-13 | 西北工业大学 | 基于nsct和稀疏表示的图像融合方法 |
| CN103985105A (zh) * | 2014-02-20 | 2014-08-13 | 江南大学 | 基于统计建模的Contourlet域多模态医学图像融合方法 |
| CN104299216A (zh) * | 2014-10-22 | 2015-01-21 | 北京航空航天大学 | 基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法 |
-
2016
- 2016-12-08 CN CN201611173999.5A patent/CN106709896A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6897802B1 (en) * | 2003-11-10 | 2005-05-24 | Raytheon Company | Fusion of shape and multiscale features for unknown target rejection |
| CN101540045A (zh) * | 2009-03-25 | 2009-09-23 | 湖南大学 | 基于同步正交匹配追踪的多源图像融合方法 |
| CN102968781A (zh) * | 2012-12-11 | 2013-03-13 | 西北工业大学 | 基于nsct和稀疏表示的图像融合方法 |
| CN103985105A (zh) * | 2014-02-20 | 2014-08-13 | 江南大学 | 基于统计建模的Contourlet域多模态医学图像融合方法 |
| CN104299216A (zh) * | 2014-10-22 | 2015-01-21 | 北京航空航天大学 | 基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李美丽: "《像素级图像融合算法与应用》", 31 August 2016, 西安电子科技大学出版社 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451951A (zh) * | 2017-07-13 | 2017-12-08 | 南京师范大学 | 一种结合低秩表示和图像融合的高光谱图像降维方法 |
| CN112200758A (zh) * | 2020-10-13 | 2021-01-08 | 南京邮电大学 | 一种基于双重张量低秩模型的多模态三维医学图像融合方法 |
| CN112200758B (zh) * | 2020-10-13 | 2022-08-19 | 南京邮电大学 | 一种基于双重张量低秩模型的多模态三维医学图像融合方法 |
| CN112801926A (zh) * | 2021-01-15 | 2021-05-14 | 北京理工大学 | 基于泊松方程和互信息分解的多模态医学图像融合方法 |
| CN112801926B (zh) * | 2021-01-15 | 2022-09-02 | 北京理工大学 | 基于泊松方程和互信息分解的多模态医学图像融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Faragallah et al. | A comprehensive survey analysis for present solutions of medical image fusion and future directions | |
| Yang et al. | Multimodal sensor medical image fusion based on type-2 fuzzy logic in NSCT domain | |
| Tang et al. | MATR: Multimodal medical image fusion via multiscale adaptive transformer | |
| Armanious et al. | MedGAN: Medical image translation using GANs | |
| CN107977926B (zh) | 一种改进神经网络的pet/mri异机脑部影像信息融合方法 | |
| CN104282007B (zh) | 基于非采样的轮廓波变换自适应的医学图像融合方法 | |
| CN110444277B (zh) | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 | |
| CN103985105B (zh) | 基于统计建模的Contourlet域多模态医学图像融合方法 | |
| Liu et al. | Recent advances in sparse representation based medical image fusion | |
| CN107292858B (zh) | 一种基于低秩分解和稀疏表示的多模态医学图像融合方法 | |
| Kang et al. | Fusion of brain PET and MRI images using tissue-aware conditional generative adversarial network with joint loss | |
| CN106709896A (zh) | 一种医学图像融合方法 | |
| CN105825491A (zh) | 一种基于混合模型的图像融合方法 | |
| Aishwarya et al. | A novel multimodal medical image fusion using sparse representation and modified spatial frequency | |
| Nair et al. | Multi-layer, multi-modal medical image intelligent fusion | |
| CN115457359A (zh) | 基于自适应对抗生成网络的pet-mri图像融合方法 | |
| Jung et al. | Inferring PET from MRI with pix2pix | |
| Zhang et al. | Transformer-based end-to-end anatomical and functional image fusion | |
| CN108898568A (zh) | 图像合成方法与装置 | |
| Swathi et al. | Survey on multimodal medical image fusion techniques | |
| Tavse et al. | A systematic literature review on applications of GAN-synthesized images for brain MRI | |
| Wen et al. | Msgfusion: Medical semantic guided two-branch network for multimodal brain image fusion | |
| Chen et al. | Multi-level difference information replenishment for medical image fusion | |
| Venkatesan et al. | A review on multimodal medical image fusion towards future research | |
| CN109035137A (zh) | 一种基于最优传输理论的多模态医学图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170524 |
|
| RJ01 | Rejection of invention patent application after publication |