CN104182954A - 一种实时的多模态医学图像融合方法 - Google Patents
一种实时的多模态医学图像融合方法 Download PDFInfo
- Publication number
- CN104182954A CN104182954A CN201410427772.3A CN201410427772A CN104182954A CN 104182954 A CN104182954 A CN 104182954A CN 201410427772 A CN201410427772 A CN 201410427772A CN 104182954 A CN104182954 A CN 104182954A
- Authority
- CN
- China
- Prior art keywords
- low frequency
- source images
- alpha
- image
- frequency component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 89
- 230000004927 fusion Effects 0.000 claims abstract description 45
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000003759 clinical diagnosis Methods 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 230000007547 defect Effects 0.000 abstract 1
- 238000005267 amalgamation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- LGMLJQFQKXPRGA-VPVMAENOSA-K gadopentetate dimeglumine Chemical compound [Gd+3].CNC[C@H](O)[C@@H](O)[C@H](O)[C@H](O)CO.CNC[C@H](O)[C@@H](O)[C@H](O)[C@H](O)CO.OC(=O)CN(CC([O-])=O)CCN(CC([O-])=O)CCN(CC(O)=O)CC([O-])=O LGMLJQFQKXPRGA-VPVMAENOSA-K 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种实时的多模态医学图像融合方法,该方法包括:对已配准的若干幅医学源图像进行拉普拉斯金字塔分解得到每一幅源图像对应的低频和高频分量;基于稀疏表示的方法对所有源图像的低频分量进行融合处理,基于系数绝对值的方式对所有源图像的高频分量进行融合处理;将融合后的低频分量与高频分量进行拉普拉斯金字塔重建得到多模态医学融合图像。本发明方法很好地弥补了传统基于拉普拉斯金字塔变换和稀疏表示方法各自的不足,可以获得明显优于传统方法的结果。同时,本发明方法计算效率高,实时性好,在医学临床诊断等场合具有很大的应用价值。
Description
技术领域
本发明涉及医学图像处理领域,尤其涉及一种实时的多模态医学图像融合方法。
背景技术
随着生物医学工程和计算机科学技术的快速发展,CT(计算机X线断层扫描)、MRI(核磁共振成像)、PET(正电子发射断层成像)、SPECT(单光子发射计算机断层成像)等不同模态的医学影像已经广泛应用于临床诊断中。但是,在临床应用中,单一模态的医学图像往往不能为医生提供全面的医学信息。例如,CT图像具有高的空间分辨率,可以清晰地定位刚性的骨骼和移植物体,但对软组织的成像对比度较低,无法清晰地显示病灶本身;而MRI图像对软组织、血管、器官等解剖结构可以提供高对比度的成像,但是空间分辨率往往低于CT图像,缺乏刚性的骨骼结构作为病灶的定位参照。
临床上,为方便医生做出准确的诊断进而制定出合适的治疗方案,不同模态图像所包含的互补信息往往希望被综合在一起而生成一幅单一的合成图像。多模态医学图像融合技术为解决上述问题提供了一种有效的途径,它是指综合多种医学成像技术的优势,提取不同模态医学图像的互补信息,生成一幅比任何单一模态图像包含更多有效医学信息的合成图像,以方便对疾病的诊断和治疗。近年来,随着图像融合技术的快速发展,科研人员提出了各种各样的医学图像融合算法。不过,目前医学图像融合仍然主要处于学术界的研究阶段,尚没有广泛应用于临床实践中,其中一个主要原因是缺乏同时能满足简单、有效、快速等特点的方法,无法满足临床应用的需求。因此,研发出具有以上优秀特性(简单、有效和快速)的医学图像融合方法对于现代医学临床诊断具有十分重要的意义。
目前,多尺度变换理论在图像融合研究中得到了非常广泛的应用,数以百计的基于金字塔、小波变换以及多尺度几何变换的图像融合方法在近三十年的时间里先后被国内外学者提出,有力地推动了图像融合领域的发展。基于多尺度变换的融合方法一般包含以下三个步骤:首先,将两幅或多幅输入图像(源图像)进行多尺度分解,得到相应的低频分量和高频分量;然后,在低频域和高频域分别设计融合规则,计算得到融合系数;最后,对融合系数进行多尺度重构(逆变换)得到输出图像(融合图像)。传统上,低频域往往采用直接取平均的融合规则,而高频域采用系数取极大值的方式进行融合。但是,基于多尺度变换的方法用于医学图像融合有一个不可忽视的缺点。对于不同的医学成像技术,其关注的身体结构、组织、器官不同,得到的图像在同一区域亮度上往往有很大的差异,如果直接采用取平均的方式进行低频融合,由于图像的绝大部分能量保存在低频域中,将会导致融合图像对比度的降低,影响融合结果的质量。
稀疏表示理论是由自然信号的统计特性提出,并且符合人类视觉系统的处理机制,它的基本假设是一个信号可以由一个原子库(字典)中少数几个原子线性表示。稀疏表示理论及应用是近年来信号处理领域的一个研究热点,已经在多种图像处理问题中得到了成功的应用。2010年,稀疏表示理论被应用到图像融合领域,可参考文献:B.Yangand S.Li,“Multifocus image fusion and restoration with sparse representation”,IEEETransactions on Instrumentation and Measurement,Vol.59,No.4,pp.884-892,2010。在融合相同类型传感器采集到的图像时,这种直接在空域对图像进行分块稀疏表示的方法一般可以取得很好的效果,但是当输入是不同模态的图像时,考虑到噪声等因素的影响,这种方法容易在融合图像中引入空间不连续性,降低融合质量。同时,有研究表明用于稀疏表示的字典不能包含太多的原子,否则会导致结果不稳定,可参考文献:M.Elad and I.Yavneh,“A plurality of sparse representations is better than the sparsestone alone”,IEEE Transactions on Information Theory,Vol.55,No.10,pp.4701-4714,2009,但原子个数不足又会限制字典的表达能力,使稀疏重建产生误差,进而导致融合图像中的一些细节被模糊。
发明内容
本发明的目的是提供一种实时的多模态医学图像融合方法,可以实时有效地实现多模态医学图像的融合。
本发明的目的是通过以下技术方案实现的:
一种实时的多模态医学图像融合方法,该方法包括:
对已配准的若干幅医学源图像进行拉普拉斯金字塔分解得到每一幅源图像对应的低频和高频分量;
基于稀疏表示的方法对所有源图像的低频分量进行融合处理,基于系数绝对值的方式对所有源图像的高频分量进行融合处理;
将融合后的低频分量与高频分量进行拉普拉斯金字塔重建得到多模态医学融合图像。
由上述本发明提供的技术方案可以看出,该方法是以拉普拉斯金字塔变换为框架,将图像的低频分量与高频分量分离,并将稀疏表示的融合方式用于低频分量的融合。相对于传统基于多尺度变换(如拉普拉斯金字塔变换)和空域稀疏表示的方法,本发明方法具有以下几个优势:
第一,相对于传统的多尺度变换框架下低频分量取平均的融合方式,本发明采用基于稀疏表示的方法对低频分量进行融合,有效防止了图像能量在融合过程中丢失的问题,提高了融合图像的对比度;
第二,相对于传统的基于空域稀疏表示的方法,本发明利用拉普拉斯金字塔分解实现图像低频和高频分量的分离,一方面,稀疏表示只作用于低频分量,可以减少高频噪声对稀疏重建结果的影响,消除直接在空域进行稀疏表示可能造成的空间不连续性,另一方面,采用取绝对值的融合方式来提取高频细节信息,可以有效地避免传统稀疏表示方法因字典表达能力不足而导致的细节模糊问题;
第三,由于拉普拉斯金字塔分解后的图像低频分量的空间尺寸远小于原始图像,本发明的计算效率远高于传统的基于空域稀疏表示的方法,虽略低于传统基于拉普拉斯金字塔变换的方法,但足以满足实际系统的实时性要求,具有较高的实际应用价值。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种实时的多模态医学图像融合方法的流程图;
图2为本发明实施例提供的一种利用K-SVD算法训练得到的字典的示意图;
图3为本发明实施例提供的一种实时的多模态医学图像融合方法中在线处理阶段的示意图;
图4是本发明方法与相关对比方法对一组CT和MRI图像进行融合的结果比较示意图;
图5是本发明方法与相关对比方法对一组Gd-DTPA-MR和T2-MR图像进行融合的结果比较示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
实施例
图1为本发明实施例提供的一种实时的多模态医学图像融合方法的流程图。如图1所示,该方法主要包括如下步骤:
步骤11、对已配准的若干幅医学源图像进行拉普拉斯金字塔分解得到每一幅源图像对应的低频和高频分量。
一幅图像的拉普拉斯金字塔由其高斯金字塔获得;具体的:设源图像为G0,对其先进行高斯模糊并在两倍下采样得到图像G1;当循环处理N次后,得到一个N+1层金字塔,表示为{G0,G1,...,GN},其中,源图像G0为最底层,GN为最高层;定义高斯模糊下采样的算子为Down,则有:
Gi=Down(Gi-1),i=1,2,...,N;
在得到高斯金字塔之后,拉普拉斯金字塔{LP0,LP1,...,LPN}用下式计算得到:
其中,算子Up表示插值上采样;可以看出,拉普拉斯金字塔的最高层即为高斯金字塔的最高层,而其他每一层为同一层高斯金字塔与上一层高斯金字塔的插值上采样图之差。对于拉普拉斯金字塔分解,所述拉普拉斯金字塔的最高层LPN为源图像G0的低频分量,其他层则组成了源图像G0的高频分量。
步骤12、基于稀疏表示的方法对所有源图像的低频分量进行融合处理,基于系数绝对值的方式对所有源图像的高频分量进行融合处理。
在基于稀疏表示的方法对所有源图像的低频分量进行融合处理之前还需要训练得到字典。示例性的,可采用目前流行的K-SVD算法(一种经典的字典训练算法)从大量自然图像块中训练得到字典。如图2所示,为一个利用K-SVD算法训练得到的字典实例,字典共包含256个原子,每个原子维数是64(8×8的图像块展开成列向量)。本发明实施例中,可从50幅自然图像中随机采样得到100000个8×8大小的图像块用于字典训练,K-SVD算法的迭代次数设为180次,稀疏重构误差设为0.01,以上参数设置在绝大多数情况下都可以取得很好的效果。需要指出的是,所有训练图像块在用于训练前需要归一化自身均值为0,以保证训练得到字典的所有原子均值也为0,这样字典就只包含结构信息。因此,只需在处理医学图像时首先将图像块的灰度均值归一化为0,就可以用自然图像训练得到的字典来进行稀疏表示。本发明方法采用目前流行的K-SVD算法从大量自然图像块中训练得到字典。
另一方面,本发明实施例中,所述若干幅医学源图像通常为两幅或两幅以上的源图像,不失一般性,如图3所示,下面介绍源图像是两幅时的情况,源图像多于两幅的情况可以直接推广得到。
本发明实施例中,令IA和IB表示两幅配准好的源图像,分别进行拉普拉斯金字塔分解可以得到相应的低频和高频分量。为使后面叙述简洁易懂,这里用LA和LB分别表示IA和IB的低频分量,而用HA和HB分别统一表示IA和IB的高频分量。
1、基于稀疏表示的方法对上述低频分量进行融合处理。
本步骤主要包含如下几个处理过程:
S1、采用滑窗技术从低频分量LA和LB中提取重叠的图像块。具体操作是,从低频分量LA和LB的左上角到右下角移动一个大小为的滑窗(与字典D中原子的尺寸相同),取出相应位置的图像块保存,然后移动滑窗,重复下去。设每次移动的步长是s个像素,LA和LB的大小均为H×W,则从LA和LB中提取出图像块的个数均为:
式中,符号表示向上取整。令和分别表示从LA和LB中取出的图像块。
S2、将步骤S1中获得的每一图像块和分别展开成列向量和再归一化使其所有元素的均值为0,即:
式中,1表示一个所有元素均为1的n×1向量,和分别是和的均值。
S3、利用离线学习阶段得到的字典D分别对和进行稀疏分解,得到稀疏表示系数和
本发明实施例中,采用OMP(正交匹配追踪)算法,求解如下稀疏表示优化问题:
其中,ε表示稀疏重构的允许误差,||·||0为向量的零范数,即向量中非零元素的个数。
S4、采用比较L1范数的方式对和进行融合,得到融合后的稀疏系数:
从而获得低频分量LA和LB中第i个位置图像块列向量的融合结果:
式中, 表示为融合向量的均值。
S5、对S1中和中的所有图像块(即所有位置的图像快)重复进行上述S2到S4的操作,得到所有的融合向量建立一个大小为H×W的空图像LF用于保存低频分量LA和LB的融合结果。对每一个融合结果将其变形为大小的图像块,再放入LF的相应位置,从而完成所有源图像低频分量的融合,获得融合后的低频分量LF,融合后的低频分量图像块表示为与之对应的向量表示为由于图像块与块之间有重叠,最终LF中每个像素的值要除以该位置的累加次数。
2、采用基于系数绝对值的方式对上述高频分量进行融合处理。
高频系数包含了图像的细节信息,系数的绝对值越大往往表明对应位置包含更加丰富的细节信息。因此,高频系数绝对值可以用于测量活跃程度。为了减少噪声的影响,对于给定一个像素点,本发明实施例中,计算其3×3邻域内所有系数绝对值的和作为该点的活跃程度测量值。令HF统一表示HA和HB融合后的高频分量,采用选取极大值的方式进行融合,即有:
步骤13、将融合后的低频分量与高频分量进行拉普拉斯金字塔重建得到多模态医学融合图像。
在得到融合后的低频和高频分量后,通过拉普拉斯金字塔重建,即可得到最终的融合图像。设{LP0′,LP1′,...,LPN′}为融合得到的拉普拉斯金字塔各层,从最高层LPN′开始自顶向下,按下式递推,则得到图像的高斯金字塔:
上式中,当i=0时,G0′表示高斯金字塔的最底层图像IF,该图像IF则为多模态医学融合图像。
本发明实施例提出的方法是以拉普拉斯金字塔变换为框架,将图像的低频分量与高频分量分离,并将稀疏表示的融合方式用于低频分量的融合。相对于传统基于多尺度变换(如拉普拉斯金字塔变换)和空域稀疏表示的方法,本发明方法具有以下几个优势:
第一,相对于传统的多尺度变换框架下低频分量取平均的融合方式,本发明采用基于稀疏表示的方法对低频分量进行融合,有效防止了图像能量在融合过程中丢失的问题,提高了融合图像的对比度;
第二,相对于传统的基于空域稀疏表示的方法,本发明利用拉普拉斯金字塔分解实现图像低频和高频分量的分离,一方面,稀疏表示只作用于低频分量,可以减少高频噪声对稀疏重建结果的影响,消除直接在空域进行稀疏表示可能造成的空间不连续性,另一方面,采用取绝对值的融合方式来提取高频细节信息,可以有效地避免传统稀疏表示方法因字典表达能力不足而导致的细节模糊问题;
第三,由于拉普拉斯金字塔分解后的图像低频分量的空间尺寸远小于原始图像,本发明的计算效率远高于传统的基于空域稀疏表示的方法,虽略低于传统基于拉普拉斯金字塔变换的方法,但足以满足实际系统的实时性要求,具有较高的实际应用价值。
为体现本发明所提供的方法的有效性,这里用传统的基于多尺度变换的方法和空域稀疏表示的方法进行比较。相关参数设置如下,一方面,本发明方法和传统的基于多尺度变换的方法都对源图像进行4层分解,即得到的金字塔共有5层。传统的基于多尺度变换的方法低频分量采用直接取平均的方法进行融合,高频分量采用和本发明方法完全一致的方式进行融合;另一方面,本发明方法和传统空域稀疏表示的方法,图像块的大小都取为8×8,使用相同的包含256个原子的字典,OMP算法(正交匹配跟踪算法)中允许误差均设为0.1。此外,为了体现滑窗步长对最终结果的影响,对于本发明方法与基于稀疏表示的方法,步长均依次设为1、2和4。为叙述方便,以下用LP表示传统的基于多尺度变换的方法,用SR-1、SR-2和SR-4分别表示步长为1、2和4时的传统的空域稀疏表示的方法,用LP-SR-1、LP-SR-2和LP-SR-4分别表示步长为1、2和4时的本发明方法。
基于以上设置,附图4和附图5给出了本发明方法与传统方法的融合两组源图像的结果显示。其中,附图4中的源图像(a)和(b)分别是CT和MRI图像,附图5中的源图像(a)和(b)分别是Gd-DTPA-MR图像(钆喷酸葡胺增强的MR图像)和T2-MR图像(T2增强的MR图像),图像的大小均为256×256,图4(c)-(i)和图5(c)-(i)分别给出了两组源图像用上述各方法融合得到的结果。一方面,比较LP方法和本发明方法的结果,可以清楚看出LP法得到融合图像的对比度明显要低很多。另一方面,比较SR方法和本发明方法的结果,可以看出SR方法虽然可以获得高的对比度,但是很多细节被模糊了,信息提取地不充分,如图4(d)中的外围骨骼区域(CT源图像中的信息)相对于图4(g)显得很不连续。同时,SR方法的融合结果在有些区域出现了严重的空间不连续性,如图5(b)中的白色区域在图5(d)-(f)中都存在这种情况,严重影响视觉效果。此外,当滑窗步长设为4时,SR方法出现明显的块效应现象,大大降低了融合质量。本发明提供的LP-SR法可以同时从源图像中获得高的对比度和足够的细节信息,且在步长增加到4时,仍可以保持较高的融合质量。
表1列出了本发明方法在不同步长下融合上述两组源图像的平均计算时间。实验平台是普通个人电脑,CPU主频3.0GHz,内存4GB,编程语言是C++。可以看出,当步长设为2时,计算时间为0.036秒,已经足以达到实时性要求,且此时融合效果相对于步长为1时基本没有视觉差别。因此,本发明算法具有较高的实际应用价值。需要指出的是,上述实例中用到的参数设置(4层分解,图像块大小为8×8,步长为2)对于融合256×256的医学图像一般都可以获得理想的效果,当输入图像的尺寸变大或变小时,只需将拉普拉斯金字塔的分解层数进行相应调整即可,算法的实时性仍能够得到保证。
表1本发明方法在不同步长时的计算时间比较
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,上述实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (6)
1.一种实时的多模态医学图像融合方法,其特征在于,该方法包括:
对已配准的若干幅医学源图像进行拉普拉斯金字塔分解得到每一幅源图像对应的低频和高频分量;
基于稀疏表示的方法对所有源图像的低频分量进行融合处理,基于系数绝对值的方式对所有源图像的高频分量进行融合处理;
将融合后的低频分量与高频分量进行拉普拉斯金字塔重建得到多模态医学融合图像。
2.根据权利要求1所述的方法,其特征在于,所述对已配准的若干幅医学源图像进行拉普拉斯金字塔分解得到每一幅源图像对应的低频和高频分量包括:
设源图像为G0,对其先进行高斯模糊并在两倍下采样得到图像G1;
当循环处理N次后,得到一个N+1层金字塔,表示为{G0,G1,...,GN},其中,源图像G0为最底层,GN为最高层;
定义高斯模糊下采样的算子为Down,则有:
Gi=Down(Gi-1),i=1,2,...,N;
在得到高斯金字塔之后,拉普拉斯金字塔{LP0,LP1,...,LPN}用下式计算得到:
其中,算子Up表示插值上采样;
所述拉普拉斯金字塔的最高层LPN为源图像G0的低频分量,其他层则组成了源图像G0的高频分量。
3.根据权利要求1所述的方法,其特征在于,该方法还包括:
利用自然图像训练得到用于医学图像稀疏表示的字典D。
4.根据权利要求3所述的方法,其特征在于,所述基于稀疏表示的方法对所有源图像的低频分量进行融合处理包括:
设对源图像IA和IB的低频分量LA和LB进行融合,则首先采用滑窗技术从低频分量LA和LB中提取重叠的图像块;具体的:对于低频分量LA和LB,均从左上角到右下角移动一个大小为的滑窗,其中,为字典D中原子的尺寸;取出相应位置的图像块保存,再移动滑窗,每次移动的步长为s个像素,直至提取完毕;若源图像IA和IB的大小为H×W,则每一源图像的低频分量中提取的图像块个数T表示为:
其中,符号表示向上取整;
设和分别表示从低频分量LA和LB中取出的图像块;
将低频分量LA和LB中第i个位置的图像块和分别展开成列向量和再归一化使其所有元素的均值为0,处理过程表示为:
其中,1表示一个所有元素均为1的n×1向量,和分别是和的均值;
利用字典D分别对和进行稀疏分解,得到稀疏表示系数和处理过程表示为:
其中,ε表示稀疏重构的允许误差,||·||0为向量的零范数;
采用比较L1范数的方式对和进行融合,得到融合后的稀疏系数:
从而获得低频分量LA和LB中第i个位置图像块列向量的融合结果:
其中, 表示融合向量的均值;
对低频分量LA和LB中所有位置的图像块的列向量进行融合,获得融合向量
建立一个大小为H×W的空图像LF,对每一个融合结果将其变形为大小的图像块,再放入空图像LF的相应位置,从而完成所有源图像低频分量的融合。
5.根据权利要求1或4所述的方法,其特征在于,所述基于系数绝对值的方式对所有源图像的高频分量进行融合处理包括:
对于给定一个像素点(i,j),计算其3×3邻域内所有高频分量绝对值的和作为该像素点的活跃程度测量值,并采用选取极大值的方式进行融合,则有:
其中,HA和HB分别对应为源图像IA和IB的高频分量。
6.根据权利要求1或2所述的方法,其特征在于,将融合后的低频分量与高频分量进行拉普拉斯金字塔重建得到多模态医学融合图像包括:
设{LP0′,LP1′,...,LPN′}为融合得到的拉普拉斯金字塔各层,从最高层LPN′开始自顶向下,按下式递推,则得到图像的高斯金字塔:
上式中,当i=0时,G0′表示高斯金字塔的最底层图像IF,该图像IF则为多模态医学融合图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410427772.3A CN104182954B (zh) | 2014-08-27 | 2014-08-27 | 一种实时的多模态医学图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410427772.3A CN104182954B (zh) | 2014-08-27 | 2014-08-27 | 一种实时的多模态医学图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104182954A true CN104182954A (zh) | 2014-12-03 |
CN104182954B CN104182954B (zh) | 2017-04-19 |
Family
ID=51963973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410427772.3A Expired - Fee Related CN104182954B (zh) | 2014-08-27 | 2014-08-27 | 一种实时的多模态医学图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104182954B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106683066A (zh) * | 2017-01-13 | 2017-05-17 | 西华大学 | 一种基于联合稀疏模型的图像融合方法 |
CN107016395A (zh) * | 2017-03-18 | 2017-08-04 | 复旦大学 | 基于稀疏表示体系的原发性脑部淋巴瘤和胶质母细胞瘤的鉴别方法 |
CN107194912A (zh) * | 2017-04-20 | 2017-09-22 | 中北大学 | 基于稀疏表示的改进耦合字典学习的脑部ct/mr图像融合方法 |
CN107292858A (zh) * | 2017-05-22 | 2017-10-24 | 昆明理工大学 | 一种基于低秩分解和稀疏表示的多模态医学图像融合方法 |
CN109410219A (zh) * | 2018-10-09 | 2019-03-01 | 山东大学 | 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质 |
CN109493306A (zh) * | 2018-10-11 | 2019-03-19 | 南昌航空大学 | 一种多模医学图像融合方法 |
CN109559292A (zh) * | 2018-11-22 | 2019-04-02 | 西北工业大学 | 基于卷积稀疏表示的多模态图像融合方法 |
CN110288558A (zh) * | 2019-06-26 | 2019-09-27 | 纳米视觉(成都)科技有限公司 | 一种超景深图像融合方法及终端 |
CN110415184A (zh) * | 2019-06-28 | 2019-11-05 | 南开大学 | 一种基于正交元空间的多模态图像增强方法 |
WO2019211307A1 (en) * | 2018-04-30 | 2019-11-07 | Elekta Ab | Modality-agnostic method for medical image representation |
WO2019229758A1 (en) * | 2018-05-31 | 2019-12-05 | Yeda Research And Development Co. Ltd. | Local transform-based data fusion for high resolution dynamic mri |
CN111429392A (zh) * | 2020-04-13 | 2020-07-17 | 四川警察学院 | 基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法 |
CN112507997A (zh) * | 2021-02-08 | 2021-03-16 | 之江实验室 | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 |
CN114283910A (zh) * | 2022-03-04 | 2022-04-05 | 广州科犁医学研究有限公司 | 基于多渠道信息的临床数据采集分析系统 |
CN117853856A (zh) * | 2024-01-09 | 2024-04-09 | 中国矿业大学 | 一种基于多模态图像融合的微光夜视场景理解方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103559696B (zh) * | 2013-09-29 | 2016-04-13 | 南京邮电大学 | 一种基于压缩感知的图像融合方法 |
-
2014
- 2014-08-27 CN CN201410427772.3A patent/CN104182954B/zh not_active Expired - Fee Related
Non-Patent Citations (3)
Title |
---|
YU LIU ET AL.: "Multi-focus Image Fusion Based on Sparse Representation with Adaptive Sparse Domain Selection", 《2013 SEVENTH INTERNATIONAL CONFERENCE ON IMAGE AND GRAPHICS》 * |
王珺 等: "基于非下采样Contourlet 变换和稀疏表示的红外与可见光图像融合方法", 《兵工学报》 * |
马先喜 等: "基于PCA的拉普拉斯金字塔变换融合算法研究", 《计算机工程与应用》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106683066A (zh) * | 2017-01-13 | 2017-05-17 | 西华大学 | 一种基于联合稀疏模型的图像融合方法 |
CN107016395A (zh) * | 2017-03-18 | 2017-08-04 | 复旦大学 | 基于稀疏表示体系的原发性脑部淋巴瘤和胶质母细胞瘤的鉴别方法 |
CN107016395B (zh) * | 2017-03-18 | 2021-02-26 | 复旦大学 | 稀疏表示的原发性脑部淋巴瘤和胶质母细胞瘤的鉴别系统 |
CN107194912A (zh) * | 2017-04-20 | 2017-09-22 | 中北大学 | 基于稀疏表示的改进耦合字典学习的脑部ct/mr图像融合方法 |
CN107194912B (zh) * | 2017-04-20 | 2020-12-29 | 中北大学 | 基于稀疏表示的改进耦合字典学习的脑部ct/mr图像融合方法 |
CN107292858A (zh) * | 2017-05-22 | 2017-10-24 | 昆明理工大学 | 一种基于低秩分解和稀疏表示的多模态医学图像融合方法 |
CN107292858B (zh) * | 2017-05-22 | 2020-07-10 | 昆明理工大学 | 一种基于低秩分解和稀疏表示的多模态医学图像融合方法 |
WO2019211307A1 (en) * | 2018-04-30 | 2019-11-07 | Elekta Ab | Modality-agnostic method for medical image representation |
US10762398B2 (en) | 2018-04-30 | 2020-09-01 | Elekta Ab | Modality-agnostic method for medical image representation |
WO2019229758A1 (en) * | 2018-05-31 | 2019-12-05 | Yeda Research And Development Co. Ltd. | Local transform-based data fusion for high resolution dynamic mri |
CN109410219A (zh) * | 2018-10-09 | 2019-03-01 | 山东大学 | 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质 |
CN109410219B (zh) * | 2018-10-09 | 2021-09-03 | 山东大学 | 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质 |
CN109493306A (zh) * | 2018-10-11 | 2019-03-19 | 南昌航空大学 | 一种多模医学图像融合方法 |
CN109559292A (zh) * | 2018-11-22 | 2019-04-02 | 西北工业大学 | 基于卷积稀疏表示的多模态图像融合方法 |
CN110288558A (zh) * | 2019-06-26 | 2019-09-27 | 纳米视觉(成都)科技有限公司 | 一种超景深图像融合方法及终端 |
CN110288558B (zh) * | 2019-06-26 | 2021-08-31 | 福州鑫图光电有限公司 | 一种超景深图像融合方法及终端 |
CN110415184A (zh) * | 2019-06-28 | 2019-11-05 | 南开大学 | 一种基于正交元空间的多模态图像增强方法 |
CN110415184B (zh) * | 2019-06-28 | 2022-12-20 | 南开大学 | 一种基于正交元空间的多模态图像增强方法 |
CN111429392A (zh) * | 2020-04-13 | 2020-07-17 | 四川警察学院 | 基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法 |
CN112507997A (zh) * | 2021-02-08 | 2021-03-16 | 之江实验室 | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 |
CN114283910A (zh) * | 2022-03-04 | 2022-04-05 | 广州科犁医学研究有限公司 | 基于多渠道信息的临床数据采集分析系统 |
CN117853856A (zh) * | 2024-01-09 | 2024-04-09 | 中国矿业大学 | 一种基于多模态图像融合的微光夜视场景理解方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104182954B (zh) | 2017-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104182954A (zh) | 一种实时的多模态医学图像融合方法 | |
CN108416821B (zh) | 一种深度神经网络的ct图像超分辨重建方法 | |
JP4885138B2 (ja) | 一連の画像における動き修正のための方法およびシステム | |
CN110751651B (zh) | 基于多尺度迁移学习的mri胰腺图像分割方法 | |
CN105303547A (zh) | 一种基于网格匹配的Demons算法的多期CT图像配准方法 | |
Du et al. | Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network | |
Huang et al. | Stu-net: Scalable and transferable medical image segmentation models empowered by large-scale supervised pre-training | |
CN105654425A (zh) | 一种应用于医学x光图像的单幅图像超分辨率重建方法 | |
Jin et al. | Object recognition in medical images via anatomy-guided deep learning | |
Wu et al. | Reconstructing 3D lung shape from a single 2D image during the deaeration deformation process using model-based data augmentation | |
Forsberg et al. | Model-based registration for assessment of spinal deformities in idiopathic scoliosis | |
Yang et al. | Deep learning in medical image super resolution: a review | |
Fu et al. | HMRNet: High and multi-resolution network with bidirectional feature calibration for brain structure segmentation in radiotherapy | |
Wu et al. | Image synthesis in contrast MRI based on super resolution reconstruction with multi-refinement cycle-consistent generative adversarial networks | |
Chang et al. | A generative adversarial network (GAN)-based technique for synthesizing realistic respiratory motion in the extended cardiac-torso (XCAT) phantoms | |
Xiao et al. | Deep learning-based lung image registration: A review | |
CN111105475A (zh) | 一种基于正交角度x光的骨骼三维重建方法 | |
Hu et al. | Multi-rigid image segmentation and registration for the analysis of joint motion from three-dimensional magnetic resonance imaging | |
Barba-J et al. | Segmentation and optical flow estimation in cardiac CT sequences based on a spatiotemporal PDM with a correction scheme and the Hermite transform | |
Zhu et al. | Transformers and their application to medical image processing: A review | |
Fourcade et al. | Deformable image registration with deep network priors: a study on longitudinal PET images | |
WO2022163513A1 (ja) | 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置 | |
Zhang et al. | BCSwinReg: A cross-modal attention network for CBCT-to-CT multimodal image registration | |
Lu et al. | Prior information-based high-resolution tomography image reconstruction from a single digitally reconstructed radiograph | |
Yang et al. | Medical image fusion method based on lifting wavelet transform and dual-channel PCNN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170419 |