CN106611408A - 一种图像融合方法 - Google Patents
一种图像融合方法 Download PDFInfo
- Publication number
- CN106611408A CN106611408A CN201610946506.0A CN201610946506A CN106611408A CN 106611408 A CN106611408 A CN 106611408A CN 201610946506 A CN201610946506 A CN 201610946506A CN 106611408 A CN106611408 A CN 106611408A
- Authority
- CN
- China
- Prior art keywords
- fusion
- image
- frequency coefficient
- high frequency
- done
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 10
- 238000007906 compression Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 210000003462 vein Anatomy 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000001802 infusion Methods 0.000 abstract 1
- 230000009466 transformation Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像融合方法，首先将源图像经过双树复小波变换分解后得到低频系数及高频系数，对于低频系数，提出了自适应加权融合法，对于数据量较大的高频系数，提出了压缩采样‑脉冲耦合神经网络融合法，最后对融合系数进行双树复小波变换逆变换，该融合方法能够有效、准确地选择融合系数，能够在多聚焦图像融合、医学图像融合上达到较好的客观指标和视觉效果，还可以适用于其他类型图像，红外和可见光图像融合、遥感图像融合等。
Description
技术领域
本发明属于图像处理领域，尤其涉及一种图像融合方法。
背景技术
图像融合是图像处理领域中的经典问题，把来自各个传感器关于同一目标的多幅源图像整合成一幅质量更高的图像。小波变换能够实现对图像的多尺度分解且具有时频域局部化特性，可较好地提取并保留对视觉起关键作用的细节信息，因而成为较常用的图像融合方法，但由于传统的小波变换方向选择性十分有限，不能实现对图像的轮廓和边缘细节的最佳稀疏表示；另外由于其不具备平移不变性，使得对信号的微小平移都非常敏感，从而影响图像融合的效果。
Contourlet变换不仅保留了小波变换的多尺度特性，而且可以在不同尺度不同方向上以稀疏的形式表达图像，在图像融合中取得了良好的效果，但使用CT分解图像过程中有下采样操作，不具备平移不变性，会使融合图像在边缘处出现伪吉布斯现象。
发明内容
为了解决上述问题，本发明提供一种图像融合算法，首先将源图像经过双树复小波变换分解后得到低频系数及高频系数，对于低频系数，提出了自适应加权融合法，对于数据量较大的高频系数，提出了压缩采样-脉冲耦合神经网络融合法，最后对融合系数进行双树复小波变换逆变换，得到融合图像；该方法可以有效地提高图像融合的计算效率和质量。
本发明一种图像融合方法是按照以下步骤操作：
步骤1：对图像A和图像B做双树复小波变换，得到低频系数和高频系数；
步骤2：对低频系数和高频系数做滤波处理；
步骤3：对低频系数做自适应加权融合；
步骤4：对高频系数做压缩采样-脉冲耦合神经网络融合；
步骤5：对融合后的低频系数组和高频系数组做双树复小波变换，得到融合的图片C。
所述步骤3中的自适应加权融合是按照以下步骤操作：
步骤3-1：分别计算图像A和图像B低频3×3区域能量；
步骤3-2：分别计算图像A和图像B低频5×5区域平均梯度；
步骤3-3：计算加权系数μ；
步骤3-4：计算低频融合系数LC。
所述步骤4中的压缩采样-脉冲耦合神经网络融合是按照以下步骤操作：
步骤4-1：对高频系数HA和HB分别压缩采样，得到采样系数yA和yB；
步骤4-2：对测量采样系数yA和yB进行融合，得到融合系数yF；
步骤4-3：利用正交匹配追踪方法对yC进行重建,进而得到高频融合系数HC。
本发明具有的有益效果：本发明提出一种图像融合防范，可以在不同尺度多个方向上描述图像，能捕获源图像更丰富的边缘细节及纹理信息，根据高频、频系数择不同的融合方法，低频系数采用应加权融合方法；对于数据量较大的高频系数采用了压缩采样-脉冲耦合神经网络融合，该融合方法能够有效、准确地选择融合系数，能够在多聚焦图像融合、医学图像融合上达到较好的客观指标和视觉效果，还可以适用于其他类型图像，红外和可见光图像融合、遥感图像融合等。
具体实施方式
以下所示实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。
本发明一种图像融合方法是按照以下步骤操作：
步骤1：对图像A和图像B做双树复小波变换，得到低频系数LA、LB和高频系数HA、HB；
步骤2：对低频系数和高频系数做滤波处理，；
步骤3：对低频系数做自适应加权融合；
步骤3-1：分别计算LA、LB低频3×3区域能量，计算公式如(1)；
其中，Q为A或者B，表示图像A或者图像B，LQ(i，j)表示在处低频系数；
步骤3-2：分别计算图像A和图像B低频5×5区域平均梯度，计算公式如(2)；
其中，Q为A或者B，表示图像A或者图像B，△LQX(i,j)、△LQY(i,j)分别为LQ(i，j)在X，Y方向上的一阶差分；
步骤3-3：计算加权系数μ，计算公式如(3)；
其中，EA为图像A的3×3区域能量，EB为图像B的3×3区域能量，GA为图像A的5×5区域平均梯度，GB为图像B的5×5区域平均梯度；
步骤3-4：计算低频融合系数LC，公式(4)；
当EA(i,j)>EB(i,j)且GA(i,j)>GB(i,j)，LC＝LA；
当EA(i,j)＜EB(i,j)且GA(i,j)＜GB(i,j)，LC＝LB；
其它情况，LC＝μLA+(1-μ)LB。
步骤4：对高频系数做压缩采样-脉冲耦合神经网络融合；
步骤4-1：对高频系数HA和HB分别压缩采样，得到采样系数yA和yB；
yA＝ΦHA
yB＝ΦHB
其中，Φ为M×N(M<N)的测量矩阵，HA、HB分别是图像A、图像B的高频系数；
步骤4-2：对测量采样系数yA和yB进行融合，得到融合系数yC
当TA≥TB，yC＝yA；
当TA＜TB，yC＝yB；
其中：Q为A或者B，表示图像A或者图像B，α为时间系数，β为连接强度。
步骤4-3：利用正交匹配追踪方法对yC进行重建,进而得到高频融合系数HC。
步骤5：对融合后的低频系数组和高频系数组做双树复小波变换，得到融合的图片C。
本发明所举实施方式或者实施例对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所举实施方式或者实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种图像融合方法，其特征在于：按照以下步骤操作：
步骤1：对图像A和图像B做双树复小波变换，得到低频系数和高频系数；
步骤2：对低频系数和高频系数做滤波处理；
步骤3：对低频系数做自适应加权融合；
步骤4：对高频系数做压缩采样-脉冲耦合神经网络融合；
步骤5：对融合后的低频系数组和高频系数组做双树复小波变换，得到融合的图片C。
2.根据权利要求1所述的一种图像融合方法，其特征在于：所述步骤3中的自适应加权融合是按照以下步骤操作：
步骤3-1：分别计算图像A和图像B低频3×3区域能量；
步骤3-2：分别计算图像A和图像B低频5×5区域平均梯度；
步骤3-3：计算加权系数μ；
步骤3-4：计算低频融合系数LC。
3.根据权利要求1所述的一种图像融合方法，其特征在于：所述步骤4中的压缩采样-脉冲耦合神经网络融合是按照以下步骤操作：
步骤4-1：对高频系数HA和HB分别压缩采样，得到采样系数yA和yB；
步骤4-2：对测量采样系数yA和yB进行融合，得到融合系数yF；
步骤4-3：利用正交匹配追踪方法对yC进行重建,进而得到高频融合系数HC。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610946506.0A CN106611408A (zh) | 2016-10-26 | 2016-10-26 | 一种图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610946506.0A CN106611408A (zh) | 2016-10-26 | 2016-10-26 | 一种图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106611408A true CN106611408A (zh) | 2017-05-03 |
Family
ID=58615439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610946506.0A Pending CN106611408A (zh) | 2016-10-26 | 2016-10-26 | 一种图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106611408A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830793A (zh) * | 2018-05-29 | 2018-11-16 | 太原理工大学 | 一种高分辨率遥感图像辐射重建方法 |
| CN110706189A (zh) * | 2019-09-26 | 2020-01-17 | 陕西师范大学 | 一种基于复小波变换的ssim图像融合算法 |
| WO2020124355A1 (zh) * | 2018-12-18 | 2020-06-25 | 深圳市大疆创新科技有限公司 | 图像处理方法、图像处理装置和无人机 |
| CN112785538A (zh) * | 2021-01-30 | 2021-05-11 | 西安电子科技大学 | 一种多方向边缘特征激励的ct和mri图像融合方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1932882A (zh) * | 2006-10-19 | 2007-03-21 | 上海交通大学 | 基于目标检测的红外与可见光序列图像特征级融合方法 |
| CN102005037A (zh) * | 2010-11-12 | 2011-04-06 | 湖南大学 | 结合多尺度双边滤波与方向滤波的多模图像融合方法 |
| CN103455990A (zh) * | 2013-03-04 | 2013-12-18 | 深圳信息职业技术学院 | 结合视觉注意机制和pcnn的图像融合方法 |
| CN104899847A (zh) * | 2015-06-19 | 2015-09-09 | 宁夏医科大学 | 一种提高图像评价结果可信度的两模态医学图像融合方法 |
-
2016
- 2016-10-26 CN CN201610946506.0A patent/CN106611408A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1932882A (zh) * | 2006-10-19 | 2007-03-21 | 上海交通大学 | 基于目标检测的红外与可见光序列图像特征级融合方法 |
| CN102005037A (zh) * | 2010-11-12 | 2011-04-06 | 湖南大学 | 结合多尺度双边滤波与方向滤波的多模图像融合方法 |
| CN103455990A (zh) * | 2013-03-04 | 2013-12-18 | 深圳信息职业技术学院 | 结合视觉注意机制和pcnn的图像融合方法 |
| CN104899847A (zh) * | 2015-06-19 | 2015-09-09 | 宁夏医科大学 | 一种提高图像评价结果可信度的两模态医学图像融合方法 |
Non-Patent Citations (1)
| Title |
|---|
| 殷明等: "结合NSDTCT和压缩感知PCNN的图像融合算法", 《计算机辅助设计与图形学学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830793A (zh) * | 2018-05-29 | 2018-11-16 | 太原理工大学 | 一种高分辨率遥感图像辐射重建方法 |
| CN108830793B (zh) * | 2018-05-29 | 2022-02-22 | 太原理工大学 | 一种高分辨率遥感图像辐射重建方法 |
| WO2020124355A1 (zh) * | 2018-12-18 | 2020-06-25 | 深圳市大疆创新科技有限公司 | 图像处理方法、图像处理装置和无人机 |
| CN110706189A (zh) * | 2019-09-26 | 2020-01-17 | 陕西师范大学 | 一种基于复小波变换的ssim图像融合算法 |
| CN112785538A (zh) * | 2021-01-30 | 2021-05-11 | 西安电子科技大学 | 一种多方向边缘特征激励的ct和mri图像融合方法 |
| CN112785538B (zh) * | 2021-01-30 | 2023-04-07 | 西安电子科技大学 | 一种多方向边缘特征激励的ct和mri图像融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104809734B (zh) | 一种基于引导滤波的红外图像与可见光图像融合的方法 | |
| CN106204449B (zh) | 一种基于对称深度网络的单幅图像超分辨率重建方法 | |
| Yang et al. | Multimodal sensor medical image fusion based on type-2 fuzzy logic in NSCT domain | |
| Krishn et al. | Medical image fusion using combination of PCA and wavelet analysis | |
| Kong et al. | Fusion technique for grey-scale visible light and infrared images based on non-subsampled contourlet transform and intensity–hue–saturation transform | |
| CN104182954B (zh) | 一种实时的多模态医学图像融合方法 | |
| CN106611408A (zh) | 一种图像融合方法 | |
| CN104835130A (zh) | 一种多曝光图像融合方法 | |
| CN105976346B (zh) | 基于鲁棒主成分稀疏分解的红外与可见光图像融合方法 | |
| CN104574316B (zh) | 一种数字化x线成像系统 | |
| CN103854267A (zh) | 一种基于变分与分数阶微分的图像融合与超分辨率实现方法 | |
| Rajalingam et al. | A novel approach for multimodal medical image fusion using hybrid fusion algorithms for disease analysis | |
| Bhateja et al. | Medical image fusion in wavelet and ridgelet domains: a comparative evaluation | |
| Krishn et al. | PCA based medical image fusion in ridgelet domain | |
| Bhateja et al. | An improved medical image fusion approach using PCA and complex wavelets | |
| CN111815550B (zh) | 一种基于灰度共生矩阵的红外与可见光图像融合方法 | |
| CN104268833A (zh) | 基于平移不变剪切波变换的图像融合新方法 | |
| CN109670522A (zh) | 一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法 | |
| CN108648174A (zh) | 一种基于自动对焦技术的多层图像融合方法及系统 | |
| CN112669249A (zh) | 结合改进nsct变换和深度学习的红外与可见光图像融合方法 | |
| CN106296583B (zh) | 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法 | |
| CN110070516A (zh) | 一种面向医学能谱ct的图像融合方法 | |
| CN104899848A (zh) | 一种基于黎曼度量的自适应多策略图像融合方法 | |
| Gao et al. | Infrared and visible image fusion using dual-tree complex wavelet transform and convolutional sparse representation | |
| CN116630964A (zh) | 一种基于离散小波注意力网络的食品图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170503 |
|
| WD01 | Invention patent application deemed withdrawn after publication |