CN105469364B - 一种联合小波变换域和空间域的医学图像融合方法 - Google Patents
一种联合小波变换域和空间域的医学图像融合方法 Download PDFInfo
- Publication number
- CN105469364B CN105469364B CN201510703487.4A CN201510703487A CN105469364B CN 105469364 B CN105469364 B CN 105469364B CN 201510703487 A CN201510703487 A CN 201510703487A CN 105469364 B CN105469364 B CN 105469364B
- Authority
- CN
- China
- Prior art keywords
- image
- wavelet
- channel
- domain
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 title claims abstract description 9
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 19
- 238000006243 chemical reaction Methods 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 7
- 238000007500 overflow downdraw method Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 abstract description 5
- 239000000284 extract Substances 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 abstract 1
- 238000002156 mixing Methods 0.000 abstract 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 19
- 238000002600 positron emission tomography Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000004060 metabolic process Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开一种联合小波变换域和空间域的医学图像融合方法,先将PET图像的RGB颜色空间转换为HSI颜色空间,然后提取HSI颜色空间中各个通道的功能信息;再将PET图像中提取的亮度通道的小波分解系数和MRI图像的小波分解系数进行融合,再进行小波逆变换,首次得到在小波变换域中融合后的亮度通道;再次提取融合后亮度通道中的功能信息,并与带有解剖信息的MRI图像在空间域中进行融合,第二次得到在空间域中融合后的亮度通道,最后将新的HSI颜色空间转换成RGB颜色空间,获得最终的融合图像。此种图像融合方法可在单幅图像中融合PET的功能信息和MRI的解剖信息,同时保证图像清晰,边缘干净。
Description
技术领域
本发明属于图像处理技术领域,涉及医学图像的融合方法,尤其涉及一种对MRI图像和PET图像进行融合的方法。
背景技术
现有的医学图像可分为两大类:解剖图像和功能图像。解剖图像的特点是能够在高分辨率的条件下,对人体的内部器官或者组织的结构做出很好的展示,但无法分辨反映出新陈代谢的信息,包括核磁共振成像(Magnetic Resonance Imaging,MRI)、计算机X射线断层造影成像(Computerized Tomography,CT)和B超等;功能图像包括正电子发射型断层成像(Positron Emission Tomography,PET)和单光子发射型计算机断层成像(SinglePhoton Emission Computed Tomography,SPECT)等,这类医学图像可以有效提取人体内关于新陈代谢的信息,其最大的缺点是分辨率不足,可参见高上凯著医学成像系统[M].清华大学出版社,2011:1-4,第11-24页。图像融合的目的就是能从多幅源图像中获得更多的信息,如Di Guo,Jingwen Yan,Xiaobo Qu.High quality multi-focus image fusion usingself-similarity and depth information,Optics Communications,338:138-144,2015.;屈小波,闫敬文,杨贵德.改进拉普拉斯能量和的尖锐频率局部化Contourlet域多聚焦图像融合方法.光学精密工程,17(5):1203-1212,2009.;以及Xiaobo Qu,Jingwen Yan,Hongzhi Xiao,Ziqian Zhu.Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transformdomain.Acta Automatica Sinica,vol.34,no.12,pp.1508-1514,2008.。医学图像融合就是以不同模态的医学图像间相关联性为基础进行对照匹配,再利用医学图像间存在的差异进行互相补充,完整呈现目标部位的全部信息,以此作为病患就医的重要依据,参见Singh,R.;Srivastava,R.;Prakash,O.;Khare,A.Mixed scheme based multimodal medicalimage fusion using Daubechies Complex Wavelet Transform,in 2012InternationalConference on Informatics,Electronics&Vision(ICIEV),pp.304-309,18-19May 2012.以及张鑫,陈伟斌.Contourlet变换系数加权的医学图像融合,中国图象图形学报,19(1):133-140,2014.。
发明内容
本发明的目的,在于提供一种联合小波变换域和空间域的医学图像融合方法,其可在单幅图像中融合PET的功能信息和MRI的解剖信息,同时保证图像清晰,边缘干净。
为了达成上述目的,本发明的解决方案是:
一种联合小波变换域和空间域的医学图像融合方法,包括如下步骤:
步骤1,将PET图像的RGB颜色空间中的红、绿、蓝三个颜色通道转换为HSI颜色空间中的色调、饱和度和亮度三个通道,分别用H、S、I表示;
步骤2,初始化一个与亮度通道I维度相同的二值映射模板M,并设定一个正实数的阈值δ,当亮度通道I中的像素值大于阈值δ时,二值映射模板M对应位置的像素值置为1,否则二值映射模板M对应位置的像素值为0;
步骤3,将HSI颜色空间中的色调、饱和度和亮度三个通道分别和二值映射模板M进行矩阵的阿达马乘积,获取第二色调、第二饱和度和第二亮度通道,分别用字母表示,如下式:
其中,⊙表示阿达马乘积算符;
步骤4,用字母F表示MRI图像,分别对第二亮度通道和MRI图像进行多级小波分解,每个小波分解系数包含多个高频子带和一个低频子带;
步骤5,取两个图像小波分解后低频子带小波系数的平均值作为融合的低频子带的小波系数,取两个图像小波分解后高频子带中像素的绝对值较大的部分作为融合的高频子带的小波系数;再对融合后的子带进行小波逆变换,得到在小波变换域中融合后的第三亮度通道;
步骤6,对第三亮度通道和二值映射模板M进行矩阵的阿达马乘积:筛选出第三亮度通道中具有功能信息的图像I1;
步骤7,根据下式对二值映射模板M进行二值反转,得到反转的二值映射模板M*:
其中,m和n分别表示像素的水平和垂直位置;再对MRI图像F和反转的二值映射模板M*进行矩阵的阿达马乘积:I2=F⊙M*,筛选出MRI图像中具有解剖信息的图像I2;
步骤8,将具有功能信息的图像I1和具有解剖信息的图像I2相加:IF=I1+I2,得到在空间域中融合后的第四亮度通道IF;
步骤9,将第四亮度通道IF、第二色调通道以及第二饱和度通道从HSI颜色空间转换到RGB颜色空间,获得最终融合后的彩色图像。
上述步骤1中,根据下式进行转换:
其中,R、G、B分别表示红、绿、蓝颜色通道。
上述步骤2中,阈值δ的取值是0.12。
上述步骤9中,根据下式进行转换:
其中,分别表示最终融合后的彩色图像的红、绿、蓝颜色通道。
采用上述方案后,本发明通过先将PET图像的RGB颜色空间转换为HSI颜色空间,然后根据一个阈值生成二值映射模板并获取HSI颜色空间中的新通道;再将PET图像中提取的亮度通道的小波分解系数和MRI图像的小波分解系数按设定好的规则进行融合,再进行小波逆变换,首次得到在小波变换域中融合后的亮度通道;再次提取融合后亮度通道中的功能信息,并与带有解剖信息的MRI图像在空间域中进行融合,第二次得到在空间域中融合后的亮度通道,最后将新的HSI颜色空间转换成RGB颜色空间,获得最终的融合图像。用这种方法融合后的图像同时保留了PET的功能信息和MRI的解剖信息,并且图像清晰,边缘干净。
附图说明
图1是颅脑原始的PET图像;
图2是颅脑原始的MRI图像;
图3是采用本发明将图1和图2融合后的图像;
图4是本发明的流程图。
具体实施方式
以下将结合附图,对本发明的技术方案进行详细说明。
本发明提供一种联合小波变换域和空间域的医学图像融合方法,将图1所示的颅脑的维度为256×256×3的PET图像和图2所示维度为256×256的MRI图像进行融合,得到图3所示图像,其中,MRI图像灰度图,只包含亮度通道,PET图像是彩色图,包含红、绿、蓝三个颜色通道;结合图4,所述方法包括如下步骤:
步骤1,转换颜色空间:将PET图像的RGB颜色空间中的红、绿、蓝三个颜色通道转换为HSI颜色空间中的色调、饱和度和亮度三个通道,这三个通道分别用H、S、I表示,转换公式如下:
其中,R、G、B分别表示红、绿、蓝颜色通道,v1和v2都是仅为计算方便而设置的中间变量,数学上满足v1=S×cos H和v2=S×sin H。
步骤2,生成二值映射模板:初始化一个与亮度通道I维度相同的二值映射模板M,该模板的维度为256×256,并设定一个正实数的阈值δ=0.12,根据式(4),当亮度通道I中像素坐标为(m,n)的像素值大于阈值δ时,二值映射模板M对应位置的像素值置为1,否则二值映射模板M对应位置的像素值为0;其中,m和n分别表示像素的水平和垂直位置。
步骤3,获取HSI颜色空间中的新通道:按照式(5),将HSI颜色空间中的三个通道分别和二值映射模板M进行矩阵的阿达马乘积,获取三个新通道,记为第二色调、第二饱和度和第二亮度通道,分别用字母表示。
其中,⊙表示阿达马乘积算符,对于任意两个维度大小相同的矩阵A和B,它们的阿达马乘积定义为(A⊙B)ij=aijbij,aij和bij分别是矩阵A和B的第i行第j列的元素。
步骤4,对图像进行小波分解:用字母F表示MRI图像,分别对第二亮度通道和MRI图像进行多级小波分解,每个小波分解系数包含多个高频子带和一个低频子带,在本实施例中,进行了3级的Daubechies小波分解,每个小波分解系数包含9个高频子带和1个低频子带。
步骤5,按规则融合图像小波域的子带:取PET和MRI两个图像小波分解后低频子带小波系数的平均值作为融合的低频子带的小波系数,取两个图像小波分解后高频子带中像素的绝对值较大的部分作为融合的高频子带的小波系数;再对融合后的子带进行小波逆变换,首次得到在小波变换域中融合后的亮度通道,这个新的亮度通道记为第三亮度通道
步骤6,筛选图像中的功能信息:对步骤5中融合到的第三亮度通道和二值映射模板M进行矩阵的阿达马乘积,筛选出第三亮度通道中具有功能信息的图像I1,即
步骤7,筛选MRI图像中的解剖信息:按照式(6),对二值映射模板M进行二值反转,得到反转的二值映射模板M*;再对MRI图像F和反转的二值映射模板M*进行矩阵的阿达马乘积,筛选出MRI图像中具有解剖信息的图像I2,即I2=F⊙M*。
步骤8,融合图像信息:将具有功能信息的图像I1和具有解剖信息的图像I2相加,第二次得到在空间域中融合后的亮度通道IF,记为第四亮度通道,即IF=I1+I2。
步骤9,获取最终的融合图像:参照式(7)-(9),将第二次融合后的第四亮度通道IF、第二色调通道以及第二饱和度通道从HSI颜色空间转换到RGB颜色空间,获得最终融合后的彩色图像:
其中,分别表示最终融合后的彩色图像的红、绿、蓝颜色通道,和都是仅为计算方便而设置的中间变量。
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。
Claims (4)
1.一种联合小波变换域和空间域的医学图像融合方法,其特征在于包括如下步骤:
步骤1,将PET图像的RGB颜色空间中的红、绿、蓝三个颜色通道转换为HSI颜色空间中的色调、饱和度和亮度三个通道,分别用H、S、I表示;
步骤2,初始化一个与亮度通道I维度相同的二值映射模板M,并设定一个正实数的阈值δ,当亮度通道I中的像素值大于阈值δ时,二值映射模板M对应位置的像素值置为1,否则二值映射模板M对应位置的像素值为0;
步骤3,将HSI颜色空间中的色调、饱和度和亮度三个通道分别和二值映射模板M进行矩阵的阿达马乘积,获取第二色调、第二饱和度和第二亮度通道,分别用字母表示,如下式:
其中,⊙表示阿达马乘积算符;
步骤4,用字母F表示MRI图像,分别对第二亮度通道和MRI图像进行多级小波分解,每个小波分解系数包含多个高频子带和一个低频子带;
步骤5,取两个图像小波分解后低频子带小波系数的平均值作为融合的低频子带的小波系数,取两个图像小波分解后高频子带中像素的绝对值较大的部分作为融合的高频子带的小波系数;再对融合后的子带进行小波逆变换,得到在小波变换域中融合后的第三亮度通道
步骤6,对第三亮度通道和二值映射模板M进行矩阵的阿达马乘积:筛选出第三亮度通道中具有功能信息的图像I1;
步骤7,根据下式对二值映射模板M进行二值反转,得到反转的二值映射模板M*:
其中,m和n分别表示像素的水平和垂直位置;再对MRI图像F和反转的二值映射模板M*进行矩阵的阿达马乘积:I2=F⊙M*,筛选出MRI图像中具有解剖信息的图像I2;
步骤8,将具有功能信息的图像I1和具有解剖信息的图像I2相加:IF=I1+I2,得到在空间域中融合后的第四亮度通道IF;
步骤9,将第四亮度通道IF、第二色调通道以及第二饱和度通道从HSI颜色空间转换到RGB颜色空间,获得最终融合后的彩色图像。
2.如权利要求1所述的一种联合小波变换域和空间域的医学图像融合方法,其特征在于:所述步骤1中,根据下式进行转换:
其中,R、G、B分别表示红、绿、蓝颜色通道。
3.如权利要求1所述的一种联合小波变换域和空间域的医学图像融合方法,其特征在于:所述步骤2中,阈值δ的取值是0.12。
4.如权利要求1所述的一种联合小波变换域和空间域的医学图像融合方法,其特征在于:所述步骤9中,根据下式进行转换:
其中,分别表示最终融合后的彩色图像的红、绿、蓝颜色通道。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510703487.4A CN105469364B (zh) | 2015-10-26 | 2015-10-26 | 一种联合小波变换域和空间域的医学图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510703487.4A CN105469364B (zh) | 2015-10-26 | 2015-10-26 | 一种联合小波变换域和空间域的医学图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105469364A CN105469364A (zh) | 2016-04-06 |
CN105469364B true CN105469364B (zh) | 2018-09-28 |
Family
ID=55607025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510703487.4A Active CN105469364B (zh) | 2015-10-26 | 2015-10-26 | 一种联合小波变换域和空间域的医学图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105469364B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107527359B (zh) * | 2017-08-07 | 2020-04-10 | 东软医疗系统股份有限公司 | 一种pet图像重建方法及pet成像设备 |
CN109191368B (zh) * | 2018-08-03 | 2023-04-14 | 深圳市销邦科技股份有限公司 | 一种实现全景图拼接融合的方法、系统设备及存储介质 |
CN110600124B (zh) * | 2019-09-10 | 2023-04-07 | 赵志宇 | 一种灰度图像融合的诊断监控综合医疗系统及其融合方法 |
CN110575178B (zh) * | 2019-09-10 | 2022-05-10 | 北京择天众康科技有限公司 | 一种运动状态判断的诊断监控综合医疗系统及其判断方法 |
CN110796630B (zh) * | 2019-10-29 | 2022-08-30 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN117649410A (zh) * | 2024-01-29 | 2024-03-05 | 遂宁市中心医院 | 一种医学影像处理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1303432C (zh) * | 2003-06-05 | 2007-03-07 | 上海交通大学 | 遥感影像像素与特征联合最优融合方法 |
CN1282131C (zh) * | 2003-07-24 | 2006-10-25 | 上海交通大学 | 基于不可分离小波框架的图像融合方法 |
CN1581230A (zh) * | 2004-05-20 | 2005-02-16 | 上海交通大学 | 基于影像局部光谱特性的遥感影像融合方法 |
CN1303571C (zh) * | 2004-09-02 | 2007-03-07 | 上海交通大学 | 基于模糊积分的图像优化融合方法 |
CN102446351A (zh) * | 2010-10-15 | 2012-05-09 | 江南大学 | 一种多光谱与高分辨率全色图像融合方法研究 |
US8755597B1 (en) * | 2011-02-24 | 2014-06-17 | Exelis, Inc. | Smart fusion of visible and infrared image data |
CN103400121A (zh) * | 2013-08-06 | 2013-11-20 | 河海大学 | 基于彩色二值化图像的车牌定位方法 |
CN103679661B (zh) * | 2013-12-25 | 2016-09-28 | 北京师范大学 | 一种基于显著性分析的自适应遥感图像融合方法 |
-
2015
- 2015-10-26 CN CN201510703487.4A patent/CN105469364B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN105469364A (zh) | 2016-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105469364B (zh) | 一种联合小波变换域和空间域的医学图像融合方法 | |
Bhavana et al. | Multi-modality medical image fusion using discrete wavelet transform | |
Yang et al. | Multimodality medical image fusion based on multiscale geometric analysis of contourlet transform | |
CN109325931A (zh) | 基于生成对抗网络和超分辨率网络的多模态图像融合方法 | |
Mishra et al. | MRI and CT image fusion based on wavelet transform | |
CN106056564B (zh) | 基于联合稀疏模型的边缘清晰图像融合方法 | |
CN107292858B (zh) | 一种基于低秩分解和稀疏表示的多模态医学图像融合方法 | |
Bhavana et al. | Fusion of MRI and PET images using DWT and adaptive histogram equalization | |
Arif et al. | Maximizing information of multimodality brain image fusion using curvelet transform with genetic algorithm | |
Bai et al. | Penrose demosaicking | |
Indira et al. | Analysis on image fusion techniques for medical applications | |
Das et al. | Multimodal classification on PET/CT image fusion for lung cancer: a comprehensive survey | |
Hsia et al. | A 3D endoscopic imaging system with content-adaptive filtering and hierarchical similarity analysis | |
Trivedi et al. | Hybrid Model for Infrared and Visible Image Fusion | |
CN107067387A (zh) | 基于3d复数剪切波变换域广义统计相关模型的医学图像融合方法 | |
Nobariyan et al. | A new MRI and PET image fusion algorithm based on pulse coupled neural network | |
Nair et al. | Optimal wavelet-based multi-modal medical image fusion with quantitative analysis for colour images using different colour models | |
Ganasala et al. | Functional and anatomical image fusion based on texture energy measures in NSST domain | |
Taxak et al. | High PSNR based image fusion by weighted average brovery transform method | |
CN115222637A (zh) | 一种基于全局优化模型的多模态医学图像融合方法 | |
Al-Azzawi et al. | An efficient medical image fusion method using contourlet transform based on PCM | |
Cao et al. | Medical image fusion based on GPU accelerated nonsubsampled shearlet transform and 2D principal component analysis | |
Rajan et al. | Veterinary Image Enhancement using DWTDCT and Singular Value Decomposition | |
Shaohai et al. | Block-matching based multimodal medical image fusion via PCNN with SML | |
Greeshma et al. | Super-resolution using deep networks for chest X-ray images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |