CN108171679A - 一种图像融合方法、系统及设备 - Google Patents

一种图像融合方法、系统及设备 Download PDF

Info

Publication number
CN108171679A
CN108171679A CN201711445573.5A CN201711445573A CN108171679A CN 108171679 A CN108171679 A CN 108171679A CN 201711445573 A CN201711445573 A CN 201711445573A CN 108171679 A CN108171679 A CN 108171679A
Authority
CN
China
Prior art keywords
width
tomographic image
image
basic tomographic
weight map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711445573.5A
Other languages
English (en)
Other versions
CN108171679B (zh
Inventor
翟全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Jun Zheng Science And Technology Ltd
Original Assignee
Hefei Jun Zheng Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Jun Zheng Science And Technology Ltd filed Critical Hefei Jun Zheng Science And Technology Ltd
Priority to CN201711445573.5A priority Critical patent/CN108171679B/zh
Publication of CN108171679A publication Critical patent/CN108171679A/zh
Application granted granted Critical
Publication of CN108171679B publication Critical patent/CN108171679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种图像融合方法、系统及设备，属于图像处理技术领域，包括：对N幅源图像分别进行平滑滤波处理，得到与N幅源图像对应的基本层图像；将N幅源图像分别与对应的基本层图像做差，得到对应的细节层图像；分别根据N幅基本层图像，构建与N幅基本层图像对应的权重图；对N幅基本层图像及其对应的权重图分别进行金字塔分解并加权平均，得到分解后每幅基本层图像的融合结果；对分解后每幅基本层图像的融合结果进行重构，得到N幅源图像的融合图。本发明可在降低算法复杂度的同时确保融合得到的图像不会出现光晕现象。

Description

一种图像融合方法、系统及设备
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像融合方法、系统及设备。
背景技术
图像融合是一种将两幅或多幅来自相同或不同类型的传感器的同一场景的图像进行信息融合，得到一幅合成图像的技术。
目前，金字塔是运用最广泛的图像融合方法之一，采用金字塔分解式对图像进行融合的实现过程为：首先根据对比度因子、饱和度因子以及曝光度因子等三个权重因子建立权重图；然后对多帧源图像和权重图进行金字塔式分解，并将分解图进行加权平均；最后对融合后的金字塔式的图像进行重构。
但是，金字塔的图像融合方法存在的缺陷在于：一是，采用金字塔图像融合方法时一般需要分解的层数在5层以上才能达到较好的融合效果，这使得算法的复杂度、运算量均较大。二是，由于权重图是根据权重因子构建的，会在融合处理之后出现的与源图像中的亮暗关系翻转的现象以及亮区边缘出现的明显暗的区域即出现光晕现象，严重的影响融合图像效果。
发明内容
本发明的目的在于提供一种图像融合方法、系统及设备，以降低金字塔图像融合的复杂度和运算量。
为实现以上目的，第一方面，本发明提供一种图像融合方法，包括如下步骤：
对N幅源图像分别进行平滑滤波处理，得到与N幅源图像对应的基本层图像；
将N幅源图像分别与对应的基本层图像做差，得到对应的细节层图像；
分别根据N幅基本层图像，构建与N幅基本层图像对应的权重图；
对N幅基本层图像及其对应的权重图分别进行金字塔分解并加权平均，得到分解后每幅基本层图像的融合结果；
对分解后每幅基本层图像的融合结果进行重构，得到N幅源图像的融合图。
其中，对N幅源图像分别进行平滑滤波处理，得到与N幅源图像对应的基本层图像，具体包括：
采用线性平滑滤波器遍历每幅源图像中每个像素点，对每个像素点的灰度值进行平滑滤波处理，得到每个像素点经平滑滤波处理后的值；
根据N幅源图像中每个像素点经平滑滤波处理后的值，得到与N幅源图像对应的基本层图像。
其中，分别根据N幅基本层图像，构建与N幅基本层图像对应的权重图，具体包括：
对所述N幅基本层图像分别进行归一化处理，得到对应的N幅归一化后的基本层图像；
根据每幅归一化后基本层图像中每个点的灰度值，计算出每个点对应的权重值并得到归一化后每幅基本图像对应的权重图。
其中，对N幅基本层图像及其对应的权重图分别进行金字塔分解并加权平均，得到分解后每层图像的融合结果，具体包括：
对N幅基本层图像及其对应的权重图分别进行金字塔分解，得到对应的分解图；
根据每幅基本层图像的分解图、每幅权重图的分解图以及每幅细节层图像进行加权平均，得到分解后每层图像的融合结果。
其中，对N幅基本层图像及其对应的权重图分别进行金字塔分解，得到对应的分解图，具体包括：
将所述N幅基本层图像及对应的权重图作为待处理图像，并对每幅待处理图像按照隔行隔列进行降采样，得到一层分解图像；
对每幅一层分解图像分别进行所述平滑滤波处理，得到与每幅一层分解图像对应的基本层图像；
对每幅一层分解图像对应的基本层图像按照隔行隔列进行降采样，得到二层分解图像。
其中，所述根据每幅基本层图像的分解图、每幅权重图的分解图以及每幅细节层图像进行加权平均，得到分解后每层分解图像融合结果，具体包括：
对所述每幅基本层图像对应的一层分解图像和该一层分解图像对应的基本层图像进行做差，得到每幅基本层图像所对应一层分解图像的细节层图像；
对所述每幅权重图的二次分解图像、每幅基本层图像的二次分解图像进行加权平均，得到二层分解层融合结果；
对所述每幅基本层图像所对应一层分解图像的细节层图像和每幅权重图的基本层图像进行加权平均，得到一层细节层融合结果；
对所述每幅权重图和每幅源图像对应的细节层图像进行加权平均，得到零层细节层融合结果。
其中，所述对分解后每层图像的融合结果进行重构，得到N幅源图像的融合图，具体包括：
对所述二层分解层融合结果进行降采样的逆处理，并根据一层细节层融合结果，得到一层重构图像；
对一层重构图像进行降采样的逆处理，并根据所述零层细节层融合记过，得到N幅源图像的融合图。
第二方面，本发明提供一种图像融合系统，包括：平滑滤波处理模块、做差模块、权重图构建模块、融合模块以及重构模块；
平滑滤波处理模块用于对N幅源图像分别进行平滑滤波处理，得到与N幅源图像对应的基本层图像，并将基本层图像传输至做差模块；
做差模块用于将将N幅源图像分别与对应的基本层图像做差，得到对应的细节层图像，并将细节层图像传输至权重图构建模块；
权重图构建模块用于分别根据N幅基本层图像，构建与N幅基本层图像对应的权重图，并将权重图传输至融合模块；
融合模块用于对N幅基本层图像及其对应的权重图分别进行金字塔分解并加权平均，得到分解后每幅基本层图像的融合结果，并将融合结果传输至重构模块；
重构模块用于对分解后每幅基本层图像的融合结果进行重构，得到N幅源图像的融合图。
其中，权重图构建模块包括归一化处理单元和权重图构建单元；
归一化处理单元用于对所述N幅基本层图像分别进行归一化处理，得到对应的N幅归一化后的基本层图像，并将对应的N幅归一化后的基本层图像传输至权重图构建单元；
权重图构建单元用于根据每幅归一化后基本层图像中每个点的灰度值及每点的权重值，计算与每幅归一化后基本层图像对应的权重图。
其中，所述融合模块包括金字塔分解单元和加权平均单元；
金字塔分解单元用于对N幅基本层图像及其对应的权重图分别进行金字塔分解，得到对应的分解图，并将对应的分解图传输至加权平均单元；
加权平均单元用于根据每幅基本层图像的分解图、每幅权重图及其对应的分解图以及每幅细节层图像进行加权平均，得到分解后每层图像的融合结果。
第三方面，提供一种图像融合设备，包括处理器、存储器以及存储在所述存储器中的多条指令，所述多条指令由处理器加载并执行：
对N幅源图像分别进行平滑滤波处理，得到与N幅源图像对应的基本层图像；
将N幅源图像分别与对应的基本层图像做差，得到对应的细节层图像；
分别根据N幅基本层图像，构建与N幅基本层图像对应的权重图；
对N幅基本层图像及其对应的权重图分别进行金字塔分解并加权平均，得到分解后每幅基本层图像的融合结果；
对分解后每幅基本层图像的融合结果进行重构，得到N幅源图像的融合图。
与现有技术相比，本发明存在以下技术效果：现有技术中进行更多层次金字塔分解的目的是在多尺度上获得更多的细节信息，以及通过更多次的分层，不同层次上进行融合来逐渐的减轻光晕现象。而本方案中通过对源图像进行平滑滤波处理，得到的基本层图像能更好的反映图像的亮度信息，对减少光晕现象有一定作用，通过构建权重图，在融合中会大大降低出现的光晕，也是允许金字塔分层降低的条件。
另外，通过源图像做差得到的细节层图像包含源图像中更多细节信息，保证即便进行较少次数的金字塔分层也可获取到更多的细节信息。在处理相同图像时，本方案进行2次金字塔分层即可现有方案进行5层金字塔分层达到的视觉效果。与现有技术相比，本方案金字塔层数少，计算量低，仅需相对较少时间，即可达到较好的融合结果。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1是一种图像融合方法的流程示意图；
图2是对两幅源图像进行融合的过程示意图；
图3是一种图像融合系统的结构示意图；
图4是待融合的源图像；
图5是采用现有技术对图4中的源图像进行融合的结果示意图；
图6是采用本发明技术方案对图4中的源图像进行融合的结果示意图。
具体实施方式
为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。
如图1所示，本实施例公开了一种图像融合方法，包括如下步骤：
S101、对N幅源图像分别进行平滑滤波处理，得到与N幅源图像对应的基本层图像；
进一步地，选用线性平滑滤波器hm对N幅源图像Sk进行平滑滤波处理，1≤k≤N，平滑滤波处理公式为：Bij,k＝hm*Sij,k，其中，*代表卷积，hm为m阶方阵的滤波模板，Sij,k为第k幅源图像中位置为(i,j)像素点的灰度值，Bij,k为第k幅源图像中位置为(i,j)的像素点经过平滑滤波后得到的值，通过采用线性平滑滤波器遍历源图像中的各个像素点，便得到平滑滤波后的N幅基本层图像Bk，1≤k≤N。本实施例中对源图像进行平滑滤波处理，可保证使用较少层数的金字塔分解就能得到更多的源图像细节信息。
S102、将N幅源图像分别与对应的基本层图像做差，得到对应的细节层图像；
进一步地，通过公式Dk＝Sk-Bk将N幅源图像分别与对应的基本层图像做差，得到对应的N幅细节层图像Dk。通过源图像做差得到的细节层图像，保留了参与融合的源图像的细节信息，基本层图像保留的是辐照度信息，其主要反映了灰度的变化趋势，在重构时细节层图像可以提供准确的细节信息，使得融合结果能保证将细节损失降到最低。
S103、分别根据N幅基本层图像，构建与N幅基本层图像对应的权重图；
进一步地，权重图构建的规则为：
(1)将N幅基本层图像Bk分别进行归一化处理，得到N幅归一化后的基本层图像bk，归一化公式为：bk＝Bk÷(Imax-Imin)，式中：Imax、Imin分别是基本层图像的灰度最大值、最小值。
(2)根据公式wij,k＝a×bij,k-a×bij,k×bij,k+c，计算第k幅归一化的基本层图像中位置在(i,j)处的权重值wij,k，其中，bij,k为第k幅归一化后的基本层图像中位置在(i,j)的像素点的灰度值，a、c为可变常数。需要说明的是，如果某一个像素点的灰度值越是接近灰度值中值，则其被赋予的权重值越大。
(3)根据每幅归一化的基本层图像中每个像素点的权重值，得到与该幅归一化的基本层图像对应的权重图Wk。
需要说明的是，图像融合是否产生光晕(或者说产生光晕的大小)主要是和权重图的建立有关，如果多帧待融合图像即源图像某一邻近区域的点的权重选取不得当，就会导致该区域和源图像中的亮暗情况发生不同甚至反转，这就导致了光晕现象的产生。而本方案权重图的建立是和基本层图像归一化后的灰度值相关联的，一般参与融合的源图像的场景都是很相近的(只是曝光时间不同，每幅图的灰度值整体的变化趋势很相近)，所以根据灰度值进行权重图的建立，会大大降低出现权重选取不当的几率，因此得到的融合结果只是有可能出现较轻的光晕现象或者不出现光晕现象。
S104、对N幅基本层图像及其对应的权重图分别进行金字塔分解并加权平均，得到分解后每幅基本层图像的融合结果；
进一步地，重构图的计算过程为：
(1)对N幅基本层图像及其对应的权重图分别进行金字塔分解，得到对应的分解图，具体包括如下步骤：
将所述N幅基本层图像及对应的权重图作为待处理图像，并对每幅待处理图像按照隔行隔列进行降采样，得到一层分解图像；
对每幅一层分解图像分别进行所述平滑滤波处理，得到与每幅一层分解图像对应的基本层图像；
对每幅一层分解图像对应的基本层图像按照隔行隔列进行降采样，得到二层分解图像。
需要说明的是，本实施例中述及的隔行隔列降采样包括将待处理图像进行奇数行奇数列、偶数行偶数列、偶数行奇数列或者奇数行偶数列等采样方式。
(2)根据每幅基本层图像的分解图、每幅权重图的分解图以及每幅细节层图像进行加权平均，得到分解后每层图像的融合结果，具体包括如下步骤：
对所述每幅基本层图像对应的一层分解图像和该一层分解图像对应的基本层图像进行做差，得到每幅基本层图像所对应一层分解图像的细节层图像；
根据所述每幅权重图的二次分解图像、每幅基本层图像的二次分解图像，得到二层分解层融合结果FB2；
根据所述每幅基本层图像所对应一层分解图像的细节层图像和每幅权重图的基本层图像，得到一层细节层融合结果FD1；
根据所述每幅权重图和每幅源图像对应的细节层图像，得到0层细节层融合结果FD0。
S105、对分解后每幅基本层图像的融合结果进行重构，得到N幅源图像的融合图，其具体为：
将上述每层基本层图像的融合结果加上对应层细节层图像的融合结果，即可得到融合图F0，具体的：
根据第1层基本层的融合结果和对应细节层的融合结果得到第1层的重构结果F1；
根据第1层重构结果进行降采样逆变换，得到第1层的重构结果放大图FB0，然后与第0层细节层融合结果进行重构得到融合图F0。
如图2所示，下面以两幅源图像进行融合为例，对本方案融合过程进行说明如下：
(1)计算基本层图像：
对源图像S1、S2分别用户线性平滑滤波器hm处理，得到源图像S1对应的基本层图像B1、源图像S2对应的基本层图像B2。
(2)计算细节层图像：
通过公式S1-B1＝D1，得到源图像S1对应的细节层图像D1；通过公式S2-B2＝D2，得到源图像S2对应的细节层图像D2。
(3)构建权重图：
首先，将基本层图像B1进行归一化处理：b1＝B1÷(Imax-Imin)，得到归一化处理后的基本层图像b1；其次，根据基本层图像b1中位置在像素点(i，j)处的灰度值、可变常数a1、c1计算基本层图像b1中位置在像素点(i，j)处的权重值wij,1：wij,1＝a1×bij,1-a1×bij,1×bij,1+c1；最后，根据基本层图像b1中每个像素点的权重值，构建该基本层图像B1的权重图W1。
同权重图W1的构建过程相同，根据基本层图像B2构建其对应的权重图W2。
(4)对基本层图像B1、B2和权重图W1、W2进行2层金字塔分解：
对基本层图像B1进行隔行隔列降采样得到一层分解图像S12，采用线性平滑滤波器hm对进行处理得到其基本层图像B12，对B12进行隔行隔列降采样得到S13，对S12和B12进行做差处理得到与S12对应的细节层图像D12。
对基本层图像B2进行隔行隔列降采样得到一层分解图像S22，采用线性平滑滤波器hm对进行处理得到其基本层图像B22，对B22进行隔行隔列降采样得到S23，对S22和B22进行做差处理得到与S22对应的细节层图像D22。
对权重图W1进行隔行隔列降采样得到一层分解图像W11，采用线性平滑滤波器hm对进行处理得到其基本层图像W12，对W12进行隔行隔列降采样得到W13。
对权重图W2进行隔行隔列降采样得到一层分解图像W21，采用线性平滑滤波器hm对进行处理得到其基本层图像W22，对W22进行隔行隔列降采样得到W23。
(5)对各层基本层图像、细节层图像以及相应的权重图进行加权平均：
根据公式：FB2＝W13·×S13+W23·×S23，计算得到第二层基本层融合结果FB2；
根据公式：FD1＝W12·×D12+W22·×D22，计算得到第一层细节层图像的融合结果FD1；
根据公式：FD0＝W1·×D1+W2·×D2，计算得到第零层细节层图像的融合结果FD0。
其中，“·×”表示点对应相乘。每两幅图像进行融合的的公式具体为：
式中：IMGn(i,j)表示S13、S23、D12、D22、D1或D2中第n个像素点，Wn(i,j)表示W13、W23、W12、W22、W1或W2中第n个像素点的权重值。
(6)对分解后每层图像的融合结果进行重构，得到N幅源图像的融合图：
将FB2进行降采样的逆处理，即将FB2中的各行各列进行复制得到FB1，将FB1加上FD1得到F1；对F1进行降采样的逆处理得到FB0，将FB0加上FD0得到F0即两幅源图像S1、S2的融合结果。
如图3所示，本实施例公开了一种图像融合系统，包括平滑滤波处理模块10、做差模块20、权重图构建模块30、融合模块40以及重构模块50；
平滑滤波处理模块10用于对N幅源图像分别进行平滑滤波处理，得到与N幅源图像对应的基本层图像，并将基本层图像传输至做差模块20；
做差模块20用于将将N幅源图像分别与对应的基本层图像做差，得到对应的细节层图像，并将细节层图像传输至权重图构建模块30；
权重图构建模块30用于分别根据N幅基本层图像，构建与N幅基本层图像对应的权重图，并将权重图传输至融合模块40；
融合模块40用于对N幅基本层图像及其对应的权重图分别进行金字塔分解并加权平均，得到分解后每幅基本层图像的融合结果，并将融合结果传输至重构模块50；
重构模块50用于对分解后每幅基本层图像的融合结果进行重构，得到N幅源图像的融合图。
进一步地，权重图构建模块30包括归一化处理单元和权重图构建单元；
归一化处理单元用于对所述N幅基本层图像分别进行归一化处理，得到对应的N幅归一化后的基本层图像，并将对应的N幅归一化后的基本层图像传输至权重图构建单元；
权重图构建单元用于根据每幅归一化后基本层图像中每个点的灰度值及每点的权重值，计算与每幅归一化后基本层图像对应的权重图。
进一步地，融合模块40包括金字塔分解单元和加权平均单元；
金字塔分解单元具体用于：
将所述N幅基本层图像及对应的权重图作为待处理图像，并对每幅待处理图像按照隔行隔列进行降采样，得到一层分解图像；
对每幅一层分解图像分别进行所述平滑滤波处理，得到与每幅一层分解图像对应的基本层图像；
对每幅一层分解图像对应的基本层图像按照隔行隔列进行降采样，得到二层分解图像。
加权平均单元具体用于：
对所述每幅基本层图像对应的一层分解图像和该一层分解图像对应的基本层图像进行做差，得到每幅基本层图像所对应一层分解图像的细节层图像；
根据所述每幅权重图的二次分解图像、每幅基本层图像的二次分解图像，得到二层分解层融合结果；
根据所述每幅基本层图像所对应一层分解图像的细节层图像和每幅权重图的基本层图像，得到一层细节层融合结果；
根据所述每幅权重图和每幅源图像对应的细节层图像，得到0层细节层融合结果。
进一步地，重构模块50具体用于：
对所述二层分解层融合结果进行降采样的逆处理，并根据一层细节层融合结果，得到一层重构图像；
对一层重构图像进行降采样的逆处理，并根据所述0层细节层融合记过，得到N幅源图像的融合图。
进一步地，本实施例还公开了一种图像融合设备，包括处理器、存储器以及存储在所述存储器中的多条指令，所述多条指令由处理器加载并执行上述方法中各流程。
应当理解的是，本实施例中的图像融合系统及设备对应于上述图像融合方法，图像融合系统中各模块的上述和其它操作和/或功能分别实现上述图1至图2中各方法的相应流程，图像融合设备执行上述方法中各步骤，为了简洁，此处不再赘述。
还需要说明的是，如图4-图6所示，本发明公开的一种图像融合方法、系统及设备具有的技术效果如下：
(1)算法复杂度方面：应用本发明方案对图4中的源图像进行处理仅需进行2层金字塔的分层，即可达到现有技术中进行5层金字塔分层达到的图像融合效果，大大降低了算法代码的运算时间。采用本方案和传统基于金字塔的融合方案对两幅图像分别融合，得到结果如表1所示：
表1
方差 梯度均值 时间
源图像1 63.3710 8.2994 /
源图像2 118.0526 13.2832 /
金字塔融合算法 123.7234 15.1822 25.85s
本方法 123.5703 16.7853 5.32s
其中，表1所示为本方案和基于金字塔的融合方案(分解层数为5层时)的数据对比：本方案在方差数据上略小于金字塔融合算法，在梯度均值数据上稍大于金字塔融合算法，方差和梯度均值是反映图像对比度的重要参数，因此可见本方案在对比度上与金字塔融合算法(5层)结果比较相近。另外，时间参数可以反映算法的计算量以及复杂度，时间越短则算法越简单、复杂度越低、硬件实现过程中消耗的资源越少，由上面数据可以看出处理1080P的相同图片，本方案的MATLAB代码运算时间大大降低。
(2)处理得到的融合图像的视觉效果方面：分别采用现有技术和本发明方案对图4中的源图像进行处理的结果如图5、图6所示。从图5可以看出，现有方案的处理图左边的天花板右边的天花板存在明显的过度不均匀，窗帘上有多块暗斑、暗块出现(亮暗反转、过度不均匀)，左边的整面墙灰度值都较低，与源图像的亮暗过渡趋势发生了较大不同。而如图6所示，本方案处理结果则大大减轻了上述出现的问题。
因此，现有技术中的融合过程如需达到较好的视觉效果，即需进行较多层数的金字塔分解，提高算法复杂度，无法兼具算法复杂度小、视觉效果好的功能。而本发明技术方案则可在降低算法复杂度的同时确保融合得到的图像不会出现光晕现象，增强视觉效果。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像融合方法，其特征在于，包括：
对N幅源图像分别进行平滑滤波处理，得到与N幅源图像对应的基本层图像；
将N幅源图像分别与对应的基本层图像做差，得到对应的细节层图像；
分别根据N幅基本层图像，构建与N幅基本层图像对应的权重图；
对N幅基本层图像及其对应的权重图分别进行金字塔分解并加权平均，得到分解后每幅基本层图像的融合结果；
对分解后每幅基本层图像的融合结果进行重构，得到N幅源图像的融合图。
2.如权利要求1所述的图像融合方法，其特征在于，所述对N幅源图像分别进行平滑滤波处理，得到与N幅源图像对应的基本层图像，具体包括：
采用线性平滑滤波器遍历每幅源图像中每个像素点，对每个像素点的灰度值进行平滑滤波处理，得到每个像素点经平滑滤波处理后的值；
根据N幅源图像中每个像素点经平滑滤波处理后的值，得到与N幅源图像对应的基本层图像。
3.如权利要求1所述的图像融合方法，其特征在于，所述分别根据N幅基本层图像，构建与N幅基本层图像对应的权重图，具体包括：
对所述N幅基本层图像分别进行归一化处理，得到对应的N幅归一化后的基本层图像；
根据每幅归一化后基本层图像中每个点的灰度值，计算出每个点对应的权重值并得到归一化后每幅基本图像对应的权重图。
4.如权利要求1所述的图像融合方法，其特征在于，所述对N幅基本层图像及其对应的权重图分别进行金字塔分解并加权平均，得到分解后每层图像的融合结果，具体包括：
对N幅基本层图像及其对应的权重图分别进行金字塔分解，得到对应的分解图；
根据每幅基本层图像的分解图、每幅权重图的分解图以及每幅细节层图像进行加权平均，得到分解后每层图像的融合结果。
5.如权利要求4所述的图像融合方法，其特征在于，所述对N幅基本层图像及其对应的权重图分别进行金字塔分解，得到对应的分解图，具体包括：
将所述N幅基本层图像及对应的权重图作为待处理图像，并对每幅待处理图像按照隔行隔列进行降采样，得到一层分解图像；
对每幅一层分解图像分别进行所述平滑滤波处理，得到与每幅一层分解图像对应的基本层图像；
对每幅一层分解图像对应的基本层图像按照隔行隔列进行降采样，得到二层分解图像。
6.如权利要求5所述的图像融合方法，其特征在于，所述根据每幅基本层图像的分解图、每幅权重图的分解图以及每幅细节层图像进行加权平均，得到分解后每层分解图像融合结果，具体包括：
对所述每幅基本层图像对应的一层分解图像和该一层分解图像对应的基本层图像进行做差，得到每幅基本层图像所对应一层分解图像的细节层图像；
对所述每幅权重图的二次分解图像、每幅基本层图像的二次分解图像进行加权平均，得到二层分解层融合结果；
对所述每幅基本层图像所对应一层分解图像的细节层图像和每幅权重图的基本层图像进行加权平均，得到一层细节层融合结果；
对所述每幅权重图和每幅源图像对应的细节层图像进行加权平均，得到零层细节层融合结果。
7.如权利要求6所述的图像融合方法，其特征在于，所述对分解后每层图像的融合结果进行重构，得到N幅源图像的融合图，具体包括：
对所述二层分解层融合结果进行降采样的逆处理，并根据所述一层细节层融合结果，得到一层重构图像；
对一层重构图像进行降采样的逆处理，并根据所述零层细节层融合结果，得到N幅源图像的融合图。
8.一种图像融合系统，其特征在于，包括：平滑滤波处理模块、做差模块、权重图构建模块、融合模块以及重构模块；
平滑滤波处理模块用于对N幅源图像分别进行平滑滤波处理，得到与N幅源图像对应的基本层图像，并将基本层图像传输至做差模块；
做差模块用于将将N幅源图像分别与对应的基本层图像做差，得到对应的细节层图像，并将细节层图像传输至权重图构建模块；
权重图构建模块用于分别根据N幅基本层图像，构建与N幅基本层图像对应的权重图，并将权重图传输至融合模块；
融合模块用于对N幅基本层图像及其对应的权重图分别进行金字塔分解并加权平均，得到分解后每幅基本层图像的融合结果，并将融合结果传输至重构模块；
重构模块用于对分解后每幅基本层图像的融合结果进行重构，得到N幅源图像的融合图。
9.如权利要求8所述的图像融合系统，其特征在于，所述权重图构建模块包括归一化处理单元和权重图构建单元；
归一化处理单元用于对所述N幅基本层图像分别进行归一化处理，得到对应的N幅归一化后的基本层图像，并将对应的N幅归一化后的基本层图像传输至权重图构建单元；
权重图构建单元用于根据每幅归一化后基本层图像中每个点的灰度值及每点的权重值，计算与每幅归一化后基本层图像对应的权重图。
10.一种图像融合设备，其特征在于，包括：处理器、存储器以及存储在所述存储器中的多条指令，所述多条指令由处理器加载并执行：
对N幅源图像分别进行平滑滤波处理，得到与N幅源图像对应的基本层图像；
将N幅源图像分别与对应的基本层图像做差，得到对应的细节层图像；
分别根据N幅基本层图像，构建与N幅基本层图像对应的权重图；
对N幅基本层图像及其对应的权重图分别进行金字塔分解并加权平均，得到分解后每幅基本层图像的融合结果；
对分解后每幅基本层图像的融合结果进行重构，得到N幅源图像的融合图。
CN201711445573.5A 2017-12-27 2017-12-27 一种图像融合方法、系统及设备 Active CN108171679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711445573.5A CN108171679B (zh) 2017-12-27 2017-12-27 一种图像融合方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711445573.5A CN108171679B (zh) 2017-12-27 2017-12-27 一种图像融合方法、系统及设备

Publications (2)

Publication Number Publication Date
CN108171679A true CN108171679A (zh) 2018-06-15
CN108171679B CN108171679B (zh) 2022-07-22

Family

ID=62518546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711445573.5A Active CN108171679B (zh) 2017-12-27 2017-12-27 一种图像融合方法、系统及设备

Country Status (1)

Country Link
CN (1) CN108171679B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876740A (zh) * 2018-06-21 2018-11-23 重庆邮电大学 一种基于鬼影去除的多曝光配准方法
CN110956592A (zh) * 2019-11-14 2020-04-03 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129676A (zh) * 2010-01-19 2011-07-20 中国科学院空间科学与应用研究中心 一种基于二维经验模态分解的显微图像融合方法
CN102509299A (zh) * 2011-11-17 2012-06-20 西安电子科技大学 基于视觉注意机制的图像显著区域检测方法
CN102622730A (zh) * 2012-03-09 2012-08-01 武汉理工大学 基于非降采样Laplacian金字塔和BEMD的遥感图像融合处理方法
CN103247036A (zh) * 2012-02-10 2013-08-14 株式会社理光 多曝光图像融合方法和装置
US20140314335A1 (en) * 2009-04-17 2014-10-23 General Instrument Corporation System for reducing noise in video processing
CN104200472A (zh) * 2014-08-30 2014-12-10 西安电子科技大学 基于非局部小波信息的遥感图像变化检测方法
CN104268847A (zh) * 2014-09-23 2015-01-07 西安电子科技大学 一种基于交互非局部均值滤波的红外与可见光图像融合方法
CN104616273A (zh) * 2015-01-26 2015-05-13 电子科技大学 一种基于拉普拉斯金字塔分解的多曝光图像融合方法
CN105279746A (zh) * 2014-05-30 2016-01-27 西安电子科技大学 一种基于双边滤波的多曝光图像融合方法
US20160080626A1 (en) * 2014-09-16 2016-03-17 Google Technology Holdings LLC Computational Camera Using Fusion of Image Sensors
CN106127695A (zh) * 2016-06-03 2016-11-16 西安电子科技大学 基于多尺度回插的脉冲噪声处理方法
US20160371567A1 (en) * 2015-06-17 2016-12-22 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for estimating blur
CN106897986A (zh) * 2017-01-23 2017-06-27 浙江大学 一种基于多尺度分析的可见光图像与远红外图像融合方法
CN107203985A (zh) * 2017-05-18 2017-09-26 北京联合大学 一种端到端深度学习框架下的多曝光图像融合方法
CN107220956A (zh) * 2017-04-18 2017-09-29 天津大学 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140314335A1 (en) * 2009-04-17 2014-10-23 General Instrument Corporation System for reducing noise in video processing
CN102129676A (zh) * 2010-01-19 2011-07-20 中国科学院空间科学与应用研究中心 一种基于二维经验模态分解的显微图像融合方法
CN102509299A (zh) * 2011-11-17 2012-06-20 西安电子科技大学 基于视觉注意机制的图像显著区域检测方法
CN103247036A (zh) * 2012-02-10 2013-08-14 株式会社理光 多曝光图像融合方法和装置
CN102622730A (zh) * 2012-03-09 2012-08-01 武汉理工大学 基于非降采样Laplacian金字塔和BEMD的遥感图像融合处理方法
CN105279746A (zh) * 2014-05-30 2016-01-27 西安电子科技大学 一种基于双边滤波的多曝光图像融合方法
CN104200472A (zh) * 2014-08-30 2014-12-10 西安电子科技大学 基于非局部小波信息的遥感图像变化检测方法
US20160080626A1 (en) * 2014-09-16 2016-03-17 Google Technology Holdings LLC Computational Camera Using Fusion of Image Sensors
CN104268847A (zh) * 2014-09-23 2015-01-07 西安电子科技大学 一种基于交互非局部均值滤波的红外与可见光图像融合方法
CN104616273A (zh) * 2015-01-26 2015-05-13 电子科技大学 一种基于拉普拉斯金字塔分解的多曝光图像融合方法
US20160371567A1 (en) * 2015-06-17 2016-12-22 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for estimating blur
CN106127695A (zh) * 2016-06-03 2016-11-16 西安电子科技大学 基于多尺度回插的脉冲噪声处理方法
CN106897986A (zh) * 2017-01-23 2017-06-27 浙江大学 一种基于多尺度分析的可见光图像与远红外图像融合方法
CN107220956A (zh) * 2017-04-18 2017-09-29 天津大学 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法
CN107203985A (zh) * 2017-05-18 2017-09-26 北京联合大学 一种端到端深度学习框架下的多曝光图像融合方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
SHUTAO LI 等: "Image Fusion With Guided Filtering", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
SHUTAO LI 等: "Image Fusion With Guided Filtering", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 22, no. 7, 30 January 2013 (2013-01-30), pages 2864 - 2875, XP011510936, DOI: 10.1109/TIP.2013.2244222 *
李郁峰: "像素级多传感器图像融合方法研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *
李郁峰: "像素级多传感器图像融合方法研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》, no. 10, 15 October 2014 (2014-10-15), pages 138 - 85 *
祁艳杰: "复杂结构件的X射线序列图像融合技术研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *
祁艳杰: "复杂结构件的X射线序列图像融合技术研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》, no. 07, 15 July 2015 (2015-07-15), pages 138 - 102 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876740A (zh) * 2018-06-21 2018-11-23 重庆邮电大学 一种基于鬼影去除的多曝光配准方法
CN108876740B (zh) * 2018-06-21 2022-04-12 重庆邮电大学 一种基于鬼影去除的多曝光配准方法
CN110956592A (zh) * 2019-11-14 2020-04-03 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN108171679B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
Zhang et al. Residual non-local attention networks for image restoration
Kim et al. Representative color transform for image enhancement
Wang et al. Local color distributions prior for image enhancement
Bertalmio et al. Simultaneous structure and texture image inpainting
CN108648163A (zh) 一种人脸图像的增强方法及计算设备
CN104639800B (zh) 一种用于图像降噪的方法及终端
WO2003094736A1 (en) Ct image reconstruction method
CN108171679A (zh) 一种图像融合方法、系统及设备
CN109064423A (zh) 一种基于非对称循环生成对抗损失的智能修图方法
Que et al. Exposure measurement and fusion via adaptive multiscale edge-preserving smoothing
CN102063712A (zh) 基于子带结构的多曝光图像融合方法
CN110517198A (zh) 用于ldct图像去噪的高频敏感gan网络
CN110211082A (zh) 一种图像融合方法、装置、电子设备及存储介质
Versaci et al. Fuzzy geometrical approach based on unit hyper-cubes for image contrast enhancement
CN110400359A (zh) 图像伪影的消除方法、装置、设备及存储介质
Su et al. A deep learning method for eliminating head motion artifacts in computed tomography
JPWO2013132934A1 (ja) Ｃｔ画像生成装置及び方法、ｃｔ画像生成システム
CN103745496B (zh) 基于二维图像为交互界面的转换函数的直接体绘制方法
Rigaud et al. Approximate inverse and Sobolev estimates for the attenuated Radon transform
Debattista Application‐Specific Tone Mapping Via Genetic Programming
CN106157252B (zh) 一种图像处理方法和图像处理装置
CN103020998A (zh) 一种基于边缘保持全分模型的色调映射方法
CN113487475B (zh) 交互式图像编辑方法、系统、可读存储介质及电子设备
CN105847771A (zh) 一种图像处理方法及电子设备
An et al. Self-supervised dual-domain balanced dropblock-network for low-dose CT denoising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant