CN109389573A - 基于四叉树分解的多聚焦图像融合的方法 - Google Patents
基于四叉树分解的多聚焦图像融合的方法 Download PDFInfo
- Publication number
- CN109389573A CN109389573A CN201811153104.0A CN201811153104A CN109389573A CN 109389573 A CN109389573 A CN 109389573A CN 201811153104 A CN201811153104 A CN 201811153104A CN 109389573 A CN109389573 A CN 109389573A
- Authority
- CN
- China
- Prior art keywords
- image
- focus
- fusion
- region
- source images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 23
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000010586 diagram Methods 0.000 claims abstract description 14
- 238000002156 mixing Methods 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 238000007500 overflow downdraw method Methods 0.000 abstract description 4
- 230000000052 comparative effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于四叉树分解的多聚焦图像融合的方法。首先对源图像进行四叉树分解，得到源图像的最优块，然后对分解后的每一块进行聚焦区域检测，得到初始的聚焦融合决策图，最后根据决策图得到最终的融合图像。该发明能够在一定程度上克服传统的融合方法容易出现的图像模糊和细节丢失的缺点，对多聚焦图像融合的发展起到了一定的推动作用。
Description
技术领域
本发明涉及的是一种图像处理领域的技术，具体是基于四叉树分解的多聚焦图像融合的方法。
背景技术
多聚焦图像融合是将同一场景，不同聚焦区域的图像融合成一幅包含完整信息的图像，目的是让融合后的图像在视觉上更加清晰，提高分辨率，减少模糊性以便于识别，并且很大程度上减少图像的冗余信息。
图像融合算法研究可以分为三个层次，像素级图像融合，特征级图像融合，决策级图像融合，目前研究最多的是基于像素级的图像融合，本发明研究的是基于像素级的图像融合，基于像素级的图像融合又可以分成两大类，基于空间域的图像融合，基于变换域的图像融合。
基于空间域的融合算法是直接在空间域上对图像的像素或者区域按照一定的融合规则进行融合，基于空间域的融合算法易于实现，且时间复杂度低，最简单基于空间域融合算法是直接对源图像的像素进行加权平均法，但是得到的融合图像对比度低。
基于变换域的多聚焦图像融合有一个统一的框架，首先对源图像进行多尺度分解，将源图像分解成低频和高频部分，然后对高频和低频部分分别运用融合规则得到融合后的低频和高频部分，最后对融合后的高频部分和低频部分进行重构得到融合图像。基于变换域的图像融合算法的分解过程复杂，时间花费大，空间占用较大，融合过程容易造成信息丢失等缺点。
发明内容
本发明的目的旨在解决所述技术缺陷。为此本发明的目的在于提出了一种基于四叉树分解的多聚焦图像融合的方法。首先对源图像进行四叉树分解，得到源图像的最优块，然后对分解后的每一块进行聚焦区域检测，得到初始的聚焦融合决策图，最后根据决策图得到最终的融合图像。
本发明是通过以下技术方案实现的：
本发明涉及一种基于四叉树分解的多聚焦图像融合方法，包括以下步骤：
步骤S1，对两幅源图像A,B分别进行四叉树分解。
步骤S2，采用基于像素的区域一致性标准对四叉树分解后的每一部分进行聚焦区域检测。
步骤S3，根据融合规则得到初步聚焦区域决策图。
步骤S4，对初步聚焦区域决策图进行重构得到最终聚焦区域决策图。
步骤S5，根据最终决策图重建得到融合图像。
与现有技术相比，本发明在评价图像融合算法的四项指标相关系数，即平均梯度(AG)、空间频率(SF)、互信息(MI)分别高于其他经典算法17％，32％，23％以上。
附图说明
图1为本发明示意图；
图2为四叉树分解图
图3为聚焦程度图
图4为本方法与其他五种融合方法的比较效果图
具体实施方式
如图1所示，本实施例包括以下步骤：
第一步：对两幅源图像A,B分别进行四叉树分解
第二步：采用基于像素的焦点度量对四叉树分解的每一部分进行聚焦区域检测。本发明采用图像梯度能量(EOG)来度量图像区域的像素的相似性。梯度能量的计算公式为：区域中梯度能量的差值小于T时则不再进行分解，本发明中阈值T＝0.5。为了防止无限分解下去当分的块的面积小于1/m*n时也不对其进行分解。
第三步：四叉树分解得到两幅图像的特征向量后，通过对比得到二值判决图，即初始决策矩阵H。计算公式为其中分别表示源图像A,B经过四叉树分解后得到的当前像素(x,y)的EOG值，当H(x,y)＝1时，表示源图像A当前位置(x,y)为聚焦点，反之源图像B在当前位置(x,y)为聚焦点。
第四步：对初始决策矩阵H进行形态学处理，其处理方法为：假设图像的尺寸为M×N，那么我们定义比(M×N)/50小的区域定义为小区域，应用小区域滤波器可以有效的填补聚焦区域的孤立的小区域。最后得到最终决策图H′(x,y)。
第五步：根据最终决策图H′(x,y)，对源图像A、B进行融合，得到最终的融合图像。
综上所述，图4是本方法与其他五种融合方法的比较效果。我们可以看出使用奇异值分解，小波变换，PCA融合后得到的图像会出现明显得模糊和伪影现象。可以看出，使用奇异值分解，小波变换，pca将具有大量残差，使用LP-PCNN和NSCT-PCNN的方法获得的融合图像将具有少量残差。使用本发明的方法能在不引入伪影的情况下，更多的提取出图像的聚焦区域。得到的融合图像效果要优于其他的方法。
表1中列出了使用每种融合方法获得的融合图像的评估指标和运行时间。在本实验中，本发明在AG指标上比PCA，WT和SVD算法高出11％以上，在MI指标上比PCA，WT和SVD算法高出32％以上，在SF指标上比PCA，WT和SVD算法高出23％以上，我们可以看到使用lp-pcnn和nsct-pcnn的方法各项指标上略逊于本发明，且他们的算法运行时间过长，远大于本发明的运行时间。
表1客观评价指标比较
Claims (5)
1.基于四叉树分解的多聚焦图像融合的方法，其特征是，首先对源图像进行四叉树分解，得到源图像的最优块，然后对分解后的每一块进行聚焦区域检测，得到初始的聚焦融合决策图，最后根据决策图得到最终的融合图像。
2.根据权利要求1所述的多聚焦图像融合方法，其特征是，首先将图像进行四叉树分解，当矩阵元素满足区域一致性标准时，则不再对该区域进行四叉树分解，然后对每一部分进行聚焦检测，最后对初步融合后的图像进行形态学处理。具体包括以下步骤：
1)对两幅源图像A,B分别进行四叉树分解。
2)采用基于像素的区域一致性标准对四叉树分解后的每一部分进行聚焦区域检测，
3)根据融合规则得到初步聚焦区域决策图。
4)对初步聚焦区域决策图进行重构得到最终聚焦区域决策图。
5)根据最终决策图重建得到融合图像。
3.根据权利要求1或2所述的多聚焦图像融合方法，其特征是，所述的区域一致性标准是采用图像梯度能量(EOG)来度量图像区域的像素的相似性，当区域中梯度能量的差值小于T时则不再进行分解，本发明中阈值T＝0.5。为了防止无限分解下去当分的块的面积小于1/m*n时也不对其进行分解。梯度能量(EOG)的计算公式如下：
4.根据权利要求1或2所述的多聚焦图像融合方法，其特征是，所述的融合规则检测图像的聚焦点的方法是其中 分别表示源图像A,B经过四叉树分解后得到的当前像素(x,y)的EOG值，当H(x,y)＝1时，表示源图像A当前位置(x,y)为聚焦点，反之源图像B在当前位置(x,y)为聚焦点。
5.根据权利要求3或4所述的多聚焦图像融合方法，其特征是，所述的梯度能量EOG不能够检测全部的聚焦点，可能在聚焦区域内存在着面积小的孤立的小区域，如果直接融合会影响融合的质量，为了解决这个问题我们使用小区域滤波器来填补聚焦区域内的小区域。假设图像的尺寸为M×N，那么我们定义比(M×N)/50小的区域定义为小区域，应用小区域滤波器可以有效的填补聚焦区域的孤立的小区域。最后得到最终决策图H′(x,y)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811153104.0A CN109389573A (zh) | 2018-09-30 | 2018-09-30 | 基于四叉树分解的多聚焦图像融合的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811153104.0A CN109389573A (zh) | 2018-09-30 | 2018-09-30 | 基于四叉树分解的多聚焦图像融合的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109389573A true CN109389573A (zh) | 2019-02-26 |
Family
ID=65418937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811153104.0A Pending CN109389573A (zh) | 2018-09-30 | 2018-09-30 | 基于四叉树分解的多聚焦图像融合的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109389573A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127375A (zh) * | 2019-12-03 | 2020-05-08 | 重庆邮电大学 | 一种结合dsift和自适应图像分块的多聚焦图像融合方法 |
| CN111353526A (zh) * | 2020-02-19 | 2020-06-30 | 上海小萌科技有限公司 | 一种图像匹配方法、装置以及相关设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103455991A (zh) * | 2013-08-22 | 2013-12-18 | 西北大学 | 一种多聚焦图像融合方法 |
| CN103729836A (zh) * | 2014-01-27 | 2014-04-16 | 中北大学 | 基于多尺度变换和可能性理论的多波段图像融合方法 |
| CN103985108A (zh) * | 2014-06-03 | 2014-08-13 | 北京航空航天大学 | 一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法 |
| CN106961574A (zh) * | 2017-02-23 | 2017-07-18 | 武汉大学深圳研究院 | 融合图像在认知无线多媒体传感网络中的传输方法 |
-
2018
- 2018-09-30 CN CN201811153104.0A patent/CN109389573A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103455991A (zh) * | 2013-08-22 | 2013-12-18 | 西北大学 | 一种多聚焦图像融合方法 |
| CN103729836A (zh) * | 2014-01-27 | 2014-04-16 | 中北大学 | 基于多尺度变换和可能性理论的多波段图像融合方法 |
| CN103985108A (zh) * | 2014-06-03 | 2014-08-13 | 北京航空航天大学 | 一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法 |
| CN106961574A (zh) * | 2017-02-23 | 2017-07-18 | 武汉大学深圳研究院 | 融合图像在认知无线多媒体传感网络中的传输方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127375A (zh) * | 2019-12-03 | 2020-05-08 | 重庆邮电大学 | 一种结合dsift和自适应图像分块的多聚焦图像融合方法 |
| CN111353526A (zh) * | 2020-02-19 | 2020-06-30 | 上海小萌科技有限公司 | 一种图像匹配方法、装置以及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bashir et al. | A comprehensive review of deep learning-based single image super-resolution | |
| Tang et al. | Pixel convolutional neural network for multi-focus image fusion | |
| CN102972038B (zh) | 图像处理装置、图像处理方法、程序、集成电路 | |
| Szabó et al. | Unsupervised generative 3d shape learning from natural images | |
| CN108596975B (zh) | 一种针对弱纹理区域的立体匹配算法 | |
| Zhao et al. | Pyramid global context network for image dehazing | |
| CN105678723B (zh) | 基于稀疏分解和差分图像的多聚焦图像融合方法 | |
| CN107369148A (zh) | 基于改进sml与导向滤波的多聚焦图像融合方法 | |
| CN105913407B (zh) | 一种基于差值图对多聚焦度图像融合优化的方法 | |
| CN106339998A (zh) | 基于对比度金字塔变换的多聚焦图像融合方法 | |
| CN103208102A (zh) | 一种基于稀疏表示的遥感图像融合方法 | |
| CN110349132A (zh) | 一种基于光场相机深度信息提取的织物瑕疵检测方法 | |
| CN104205826A (zh) | 用于重建高密度三维图像的设备和方法 | |
| CN109493283A (zh) | 一种高动态范围图像鬼影消除的方法 | |
| CN104504672B (zh) | 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法 | |
| Cong et al. | Discrete haze level dehazing network | |
| Wang et al. | FusionGRAM: An infrared and visible image fusion framework based on gradient residual and attention mechanism | |
| CN109389573A (zh) | 基于四叉树分解的多聚焦图像融合的方法 | |
| Susladkar et al. | ClarifyNet: A high-pass and low-pass filtering based CNN for single image dehazing | |
| Yang et al. | Infrared and visible image fusion based on infrared background suppression | |
| CN110390657A (zh) | 一种图像融合方法 | |
| Northam et al. | Stereoscopic 3D image stylization | |
| CN109767414A (zh) | 一种基于灰度中位数参照的多聚焦图像融合方法 | |
| CN110211216B (zh) | 一种基于体绘制不透明度加权的三维图像空域融合方法 | |
| Ju et al. | Colour fringe detection and correction in YCbCr colour space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190226 |
|
| WD01 | Invention patent application deemed withdrawn after publication |