CN105654448B - 一种基于双边滤波及权值重建的图像融合方法及系统 - Google Patents
一种基于双边滤波及权值重建的图像融合方法及系统 Download PDFInfo
- Publication number
- CN105654448B CN105654448B CN201610188232.3A CN201610188232A CN105654448B CN 105654448 B CN105654448 B CN 105654448B CN 201610188232 A CN201610188232 A CN 201610188232A CN 105654448 B CN105654448 B CN 105654448B
- Authority
- CN
- China
- Prior art keywords
- image
- tomographic image
- source images
- weight
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 120
- 230000002146 bilateral effect Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000002156 mixing Methods 0.000 claims abstract description 53
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 229910000673 Indium arsenide Inorganic materials 0.000 claims description 6
- RPQDHPTXJYYUPQ-UHFFFAOYSA-N indium arsenide Chemical compound [In]#[As] RPQDHPTXJYYUPQ-UHFFFAOYSA-N 0.000 claims description 6
- 230000002068 genetic effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 7
- 230000003247 decreasing effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 27
- 230000000694 effects Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- PXUQTDZNOHRWLI-OXUVVOBNSA-O malvidin 3-O-beta-D-glucoside Chemical compound COC1=C(O)C(OC)=CC(C=2C(=CC=3C(O)=CC(O)=CC=3[O+]=2)O[C@H]2[C@@H]([C@@H](O)[C@H](O)[C@@H](CO)O2)O)=C1 PXUQTDZNOHRWLI-OXUVVOBNSA-O 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000000574 ganglionic effect Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及图像处理技术领域,提供了一种基于双边滤波及权值重建的图像融合方法及系统,该方法包括:利用高斯滤波以及双边滤波将图像分为基本层,中间层与细节层三层;分别对基本层与细节层做双边滤波、权重处理,得到融合的基本层与细节层,将融合的基本层和细节层叠加得到最终的融合图像通过以上技术手段,使得融合图像更好的保留了原图像的重要信息,使得融合图像更加的自然,不仅很好的保留了图像的边缘细节,而且也减少了图像的失真。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于双边滤波及权值重建的图像融合方法及系统。
背景技术
图像融合在图像处理和特征提取以及目标识别等计算机视觉应用中是一项很重要的技术。通过图像融合将同一场景的两幅或者多幅图像合成一幅新的图像。融合后的新图像能够整合各个图像的互补优势,提供场景更加全面、可靠的的图像信息,从而有利于对场景和目标的识别和定位,同时也有利于人类和机器感知。一个良好的图像融合系统应该具备以下两种特性,第一点:具有良好的边缘保持效果;第二点:失真小;目前出现了很多图像融合的软件工具,其主要用到的图像融合方法主要分为基于变换域的方法与空间域的方法。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
基于空间域的方法主要依据图像像素的空间特征信息对图像进行融合处理。由于单像素无法表示图像空间特征信息,一般采用分块的方法。这种方法对于区域细节丰富的图像有较好的处理效果。但是对平坦区域的处理容易造成误判,分块的大小也难以选择,并且会使图像边缘出现不连续的小块,产生严重的块效应。
基于变换域的方法是将图像进行某种变换,然后进行融合处理。基于金字塔变换的多聚焦图像融合方法是一种经典的图像融合方法,能够得到不错的融合效果,但是处理过程复杂并且容易丢失图像细节信息。小波变换由于其良好的时域和频域局部特性以及多分辨特性在图像融合领域也有广泛应用,但其有限的方向分解性并不能很好的提取出图像特征,不能很好地保护边缘细节,造成融合图像模糊。
基于引导滤波的多尺度分解图像融合方法,这种方法不仅能够解决融合图像的块效应,而且很好的保护不同源图像的细节。但是由于没有考虑到图像的空间一致性使得融合图像亮度跟颜色的失真。
发明内容
本发明实施例提供一种基于双边滤波及权值重建的图像融合方法及系统,利用双边滤波的边缘保持特性对图像的权重层进行重建,得到基本层与细节层适合的权重层,进行加权融合,可使融合后的图像体现源图像中的空间细节特征,具有良好的边缘保持特性,失真小,且能为融合图像提供更加丰富的信息。
一方面,本发明实施例提供了一种基于双边滤波及权值重建的图像融合方法,包括以下步骤:
将第n幅源图像In进行高斯滤波,得到基本层图像Bn;
将所述源图像In本身作为双边滤波的引导图像对该源图像In进行双边滤波,得到中间层图像En;
根据所述基本层图像Bn以及所述中间层图像En得到细节层图像Dn;
提取所述源图像In的显著层图像Sn;
通过对所述显著层图像Sn进行显著映射,得到所述源图像In的权重层图像Pn;
将所述源图像In作为引导图像,所述权重层图像Pn作为输入图像进行双边滤波,分别得到基本层图像Bn的权重改进层图像Wn B与细节层图像Dn的权重改进层图像Wn D;
将所述基本层图像Bn以及所述细节层图像Dn分别与其权重改进层图像进行图像的加权平均得到基本层融合图像以及细节层融合图像并将该基本层融合图像以及细节层融合图像叠加,得到最终的融合图像F。
优选的,所述根据所述基本层图像Bn以及所述中间层图像En得到细节层图像Dn具体为:
Dn=En-Bn。
优选的,所述提取所述源图像In的显著层图像Sn包括:
将所述源图像In通过拉普拉斯高通滤波器进行高通滤波,得到其高通图像Hn;
对高通图像Hn的绝对值进行高斯低通滤波得到所述源图像的显著层:
Sn=|Hn|*g(rg,σg);
其中,g(rg,σg)为高斯低通滤波的滤波函数。
优选的,所述显著映射包括:
其中,N表示源图像的个数,为第n幅源图像中第k个像素点的显著水平;表示第n幅源图像的权重图像中第k个像素点的权重值。
优选的,所述将所述基本层图像Bn以及所述细节层图像Dn分别与其权重改进层图像进行图像的加权平均,具体通过以下两式进行:
所述将所述基本层融合图像以及细节层融合图像通过下式进行叠加:
另一方面,本发明实施例提供了一种基于双边滤波及权值重建的图像融合系统,包括以下单元:
高斯滤波单元,用于将第n幅源图像In进行高斯滤波,得到基本层图像Bn;
第一双边滤波单元,用于将所述源图像In本身作为双边滤波的引导图像对该源图像In进行双边滤波,得到中间层图像En;
细节层生成单元,用于根据所述基本层图像Bn以及所述中间层图像En得到细节层图像Dn;
显著层提取单元,用于提取所述源图像In的显著层图像Sn;
显著映射单元,用于通过对所述显著层图像Sn进行显著映射,得到所述源图像In的权重层图像Pn;
第二双边滤波单元,用于将所述源图像In作为引导图像,所述权重层图像Pn作为输入图像进行双边滤波,分别得到基本层图像Bn的权重改进层图像Wn B与细节层图像Dn的权重改进层图像Wn D;
图像融合单元,用于将所述基本层图像Bn以及所述细节层图像Dn分别与其权重改进层图像进行图像的加权平均得到基本层融合图像以及细节层融合图像并将该基本层融合图像以及细节层融合图像叠加,得到最终的融合图像F。
优选的,所述细节层生成单元通过下式生成细节层图像Dn:
Dn=En-Bn。
优选的,所述显著层提取单元包括:
高通滤波子单元,用于将所述源图像In通过拉普拉斯高通滤波器进行高通滤波,得到其高通图像Hn;
低通滤波子单元,用于对高通图像Hn的绝对值进行高斯低通滤波得到所述源图像的显著层:
Sn=|Hn|*g(rg,σg);
其中,g(rg,σg)为高斯低通滤波的滤波函数。
优选的,所述显著映射单元通过下式进行显著映射:
其中,N表示源图像的个数,为第n幅源图像中第k个像素点的显著水平;表示第n幅源图像的权重图像中第k个像素点的权重值。
优选的,所述图像融合单元包括加权平均子单元以及叠加子单元;
所述加权平均子单元用于通过以下两式将所述基本层图像Bn以及所述细节层图像Dn分别与其权重改进层图像进行图像的加权平均:
所述叠加子单元用于通过下式将所述基本层融合图像以及细节层融合图像叠加:
上述技术方案具有如下有益效果:首先,利用高斯滤波以及双边滤波将图像分为基本层,中间层与细节层三层表示;然后,分别对基本层与细节层做双边滤波、权重处理,最后得到融合的基本层与细节层,叠加得到最终的融合图像;通过以上技术手段,使得融合图像更好的保留了原图像的重要信息,使得融合图像更加的自然,不仅很好的保留了图像的边缘细节,而且也减少了图像的失真。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一,一种基于双边滤波及权值重建的图像融合方法的流程示意图;
图2是本发明实施例一,双边滤波参数优化过程的流程示意图;
图3是本发明实施例二,一种基于双边滤波及权值重建的图像融合系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明一种基于双边滤波及权值重建的图像融合方法的流程示意图;如图所示,本实施例包括以下步骤:
步骤101,将第n幅源图像In进行高斯滤波,得到基本层图像Bn;
步骤102,将所述源图像In本身作为双边滤波的引导图像对该源图像In进行双边滤波,得到中间层图像En;
步骤103,根据所述基本层图像Bn以及所述中间层图像En得到细节层图像Dn;
步骤104,提取所述源图像In的显著层图像Sn;
步骤105,通过对所述显著层图像Sn进行显著映射,得到所述源图像In的权重层图像Pn;
步骤106,将所述源图像In作为引导图像,所述权重层图像Pn作为输入图像进行双边滤波,分别得到基本层图像Bn的权重改进层图像Wn B与细节层图像Dn的权重改进层图像Wn D;
步骤107,将所述基本层图像Bn以及所述细节层图像Dn分别与其权重改进层图像进行图像的加权平均得到基本层融合图像以及细节层融合图像并将该基本层融合图像以及细节层融合图像叠加,得到最终的融合图像F。
其中:
步骤101中,高斯滤波后的基本层图像为:
Bn=In*g(rg,σg),其中,g(rg,σg)表示高斯滤波的滤波函数。
上式表示将In进行高斯滤波。
步骤102中,双边滤波可表示为:
En=BFr,ε,σ(In,In)。
如上式所示,该源图像In同时作为引导图像和输入图像。其中,r,ε,δ为双边滤波参数。
双边滤波方法进行图像滤波的方法,具有很好的边缘保持,减少图像噪声的优点,如式(1),(2)所示。式中f(x)表示滤波后x点的像素值,x表示要滤波点的像素位置,y表示滤波点x的邻域像素值得位置,D(y,x)表示滤波点和其邻域像素点的差值,Iy表示y点的像素值,Ix表示x点的像素值,Ω表示滤波窗口,由滤波半径r决定。如式(3)所示,滤波函数g成为双边滤波器的核函数,多采用高斯函数的形式,式中σ是高斯核的设计参数,σ可以改变图像滤波的程度。从(1)式中可以看到,双边滤波采用了两个高斯核函数,不同高斯核函数采用不同的设计参数σ,分别用σh与σi表示。其中空间域高斯核函数g(||y-x||,σh)表示像素点y和像素点x之间的距离对当前滤波点x的影响,像素点y和像素点x之间的距离越大,其对当前滤波点x的影响就越小,即像素点y在对当前滤波点x滤波中所占的权重就越小。像素域高斯核函数g(D(y,x),σi)反映了像素点y与当前滤波像素点x之间的相似程度对x的影响,当像素点y和像素点x的像素值之差越小时即为二者相似程度很高,则像素点y对当前滤波点x滤波中所占的权重就会提高。因此在双边滤波中,当前滤波像素点x的滤波效果取决于其与相邻像素点y的距离以及相似度的综合影响,在对图像滤波时能够有效的保护图像的边缘细节。
D(y,x)=Iy-Ix (2)
步骤103中,根据所述基本层图像Bn以及所述中间层图像En通过以下公式得到细节层图像Dn:
Dn=En-Bn。
通过高斯滤波得到的基本层图像Bn含有大量源图像的轮廓信息;而将源图像作为双边滤波的引导图像对源图像进行双边滤波后得到的中间层图像En含有大量源图像的轮廓信息之外,还包括边缘细节信息,同时去除了源图像中的噪点。该中间层图像En中含有的大量源图像的轮廓信息与基本层Bn中包含的轮廓信息相同,即,中间层图像En相当于轮廓信息Bn以及边缘细节的组合,因此通过以上公式即可去除中间层图像En中的源图像轮廓信息Bn,最终得到的细节层图像Dn不仅包括保持很好的边缘细节信息,且不含噪点,很好的改善了融合后图像的块效应以及失真问题。
步骤104中,提取显著层图像的过程如下:
将所述源图像In通过拉普拉斯高通滤波器进行高通滤波,得到其高通图像Hn;
对高通图像Hn的绝对值进行高斯低通滤波得到所述源图像的显著层:
Sn=|Hn|*g(rg,σg);
其中,g(rg,σg)为高斯低通滤波的滤波函数,本实施例优选的,滤波窗口大小为(2rg+1)(2rg+1)。可选的,本实施例中rg与σg可均设为5。
步骤105中,显著映射的过程如下:
其中,N表示源图像的个数,为第n幅源图像中第k个像素点的显著水平;
表示第n幅源图像的权重图像中第k个像素点的权重值。
步骤106中,双边滤波的过程分别为:
其中,r1,ε1,δ1以及r2,ε2,δ2为双边滤波参数。
最后将N个权重归一化再相加得到每个像素的权重。
在图像中,位置i的像素点k的局部方差很小就意味着该点处于图像的平缓区域即轮廓区,如果该点的局部方差很大则表示该点在图像中的边缘区。如果图像中的一些像素点具有相似的颜色和亮度则认为它们具有相似的权重,符合空间连续性的原理。此外,基本层图像空间较为平滑,因此它对应的权重层空间也要平滑,否则就会产生人工痕迹造成失真。对比之下,如果权重过于平滑则细节就会消失,因此锐利以及边缘对齐的权重适合细节层的融合。因此,滤波半径更大,模糊度更强得到的权重层适合基本层图像的融合,滤波半径小,模糊度小得到的权重适合细节层图像的融合。
综上,优选的,r1,ε1,δ1以及r2,ε2,δ2采用不同的参数,以得到合适的融合权重。
步骤107中,通过以下两式加权平均:
叠加可表示如下:
本实施例优选的,在步骤106中,还包括:
利用遗传算法进行寻优来修正参数r1,ε1,δ1以及r2,ε2,δ2,如图2所示,为该参数优化过程的流程示意图,包括以下步骤:
步骤201,编码产生初始群体;
步骤202,计算适应度值;
步骤203,判断该适应度值是否满足终止条件;
若是,则进入步骤204:终止进化,存储最优解;
若否,则进入步骤205:继续进化;
步骤206:产生双边滤波参数的后代GA;
步骤207:选择双边滤波参数的配置,返回步骤202。
其中,收敛的条件设为:达到最大允许迭代次数或者收敛容许误差小于给定阈值时终止,具体参数设置如表1所示:
参数/遗传算子 | 参数值 |
GA种群数量 | 20 |
GA交叉率 | 0.85 |
GA变异率 | 0.01 |
精英数量 | 5 |
最大容许迭代次数 | 500 |
适应度函数参数 | (0.5,0.1,5) |
表1
随着迭代次数的增加,每次产生的子代其适应度在不断提高,双边滤波的参数(r,ε,δ)向着使得融合图像质量最优化的方向进化,迭代结束后即可得到使得融合效果最好的双边滤波器参数。
本实施例可以达到以下技术效果:
利用高斯滤波以及双边滤波将图像分为基本层,中间层与细节层三层;分别对基本层与细节层做双边滤波、权重处理,得到融合的基本层与细节层,将融合的基本层和细节层叠加得到最终的融合图像通过以上技术手段,使得融合图像更好的保留了原图像的重要信息,使得融合图像更加的自然,不仅很好的保留了图像的边缘细节,而且也减少了图像的失真。
本发明实施例提供了一种基于双边滤波及权值重建的图像融合系统,图3为本实施例的系统结构框图,如图所示,包括以下单元:
高斯滤波单元301,用于将第n幅源图像In进行高斯滤波,得到基本层图像Bn;
第一双边滤波单元302,用于将所述源图像In本身作为双边滤波的引导图像对该源图像In进行双边滤波,得到中间层图像En;
细节层生成单元303,用于根据所述基本层图像Bn以及所述中间层图像En得到细节层图像Dn;
显著层提取单元304,用于提取所述源图像In的显著层图像Sn;
显著映射单元305,用于通过对所述显著层图像Sn进行显著映射,得到所述源图像In的权重层图像Pn;
第二双边滤波单元306,用于将所述源图像In作为引导图像,所述权重层图像Pn作为输入图像进行双边滤波,分别得到基本层图像Bn的权重改进层图像Wn B与细节层图像Dn的权重改进层图像Wn D;
图像融合单元307,用于将所述基本层图像Bn以及所述细节层图像Dn分别与其权重改进层图像进行图像的加权平均得到基本层融合图像以及细节层融合图像并将该基本层融合图像以及细节层融合图像叠加,得到最终的融合图像F。
优选的,所述高斯滤波单元301,用于通过下式进行高斯滤波,得到基本层图像Bn:
Bn=In*g(rg,σg),其中,g(rg,σg)表示高斯滤波的滤波函数。
上式表示将In进行高斯滤波。
优选的,所述第一双边滤波单元302通过下式进行双边滤波:
En=BFr,ε,σ(In,In)。
如上式所示,该源图像In同时作为引导图像和输入图像。其中,r,ε,δ为双边滤波参数。
双边滤波方法进行图像滤波的方法,具有很好的边缘保持,减少图像噪声的优点,如式(1),(2)所示。式中f(x)表示滤波后x点的像素值,x表示要滤波点的像素位置,y表示滤波点x的邻域像素值得位置,D(y,x)表示滤波点和其邻域像素点的差值,Iy表示y点的像素值,Ix表示x点的像素值,Ω表示滤波窗口,由滤波半径r决定。如式(3)所示,滤波函数g成为双边滤波器的核函数,多采用高斯函数的形式,式中σ是高斯核的设计参数,σ可以改变图像滤波的程度。从(1)式中可以看到,双边滤波采用了两个高斯核函数,不同高斯核函数采用不同的设计参数σ,分别用σh与σi表示。其中空间域高斯核函数g(||y-x||,σh)表示像素点y和像素点x之间的距离对当前滤波点x的影响,像素点y和像素点x之间的距离越大,其对当前滤波点x的影响就越小,即像素点y在对当前滤波点x滤波中所占的权重就越小。像素域高斯核函数g(D(y,x),σi)反映了像素点y与当前滤波像素点x之间的相似程度对x的影响,当像素点y和像素点x的像素值之差越小时即为二者相似程度很高,则像素点y对当前滤波点x滤波中所占的权重就会提高。因此在双边滤波中,当前滤波像素点x的滤波效果取决于其与相邻像素点y的距离以及相似度的综合影响,在对图像滤波时能够有效的保护图像的边缘细节。
D(y,x)=Iy-Ix (2)
优选的,所述细节层生成单元303通过下式生成细节层图像Dn:
Dn=En-Bn。
通过高斯滤波得到的基本层图像Bn含有大量源图像的轮廓信息;而将源图像作为双边滤波的引导图像对源图像进行双边滤波后得到的中间层图像En含有大量源图像的轮廓信息之外,还包括边缘细节信息,同时去除了源图像中的噪点。该中间层图像En中含有的大量源图像的轮廓信息与基本层Bn中包含的轮廓信息相同,即,中间层图像En相当于轮廓信息Bn以及边缘细节的组合,因此通过以上公式即可去除中间层图像En中的源图像轮廓信息Bn,最终得到的细节层图像Dn不仅包括保持很好的边缘细节信息,且不含噪点,很好的改善了融合后图像的块效应以及失真问题。
优选的,所述显著层提取单元304包括:
高通滤波子单元3041,用于将所述源图像In通过拉普拉斯高通滤波器进行高通滤波,得到其高通图像Hn;
低通滤波子单元3042,用于对高通图像Hn的绝对值进行高斯低通滤波得到所述源图像的显著层:
Sn=|Hn|*g(rg,σg);
其中,g(rg,σg)为高斯低通滤波的滤波函数。本实施例优选的,滤波窗口大小为(2rg+1)(2rg+1)。可选的,本实施例中rg与σg可均设为5。
优选的,所述显著映射单元305通过下式进行显著映射:
其中,N表示源图像的个数,为第n幅源图像中第k个像素点的显著水平;表示第n幅源图像的权重图像中第k个像素点的权重值。
优选的,所述第二双边滤波单元通过以下两式进行双边滤波:
其中,r1,ε1,δ1以及r2,ε2,δ2为双边滤波参数。
最后将N个权重归一化再相加得到每个像素的权重。
在图像中,位置i的像素点k的局部方差很小就意味着该点处于图像的平缓区域即轮廓区,如果该点的局部方差很大则表示该点在图像中的边缘区。如果图像中的一些像素点具有相似的颜色和亮度则认为它们具有相似的权重,符合空间连续性的原理。此外,基本层图像空间较为平滑,因此它对应的权重层空间也要平滑,否则就会产生人工痕迹造成失真。对比之下,如果权重过于平滑则细节就会消失,因此锐利以及边缘对齐的权重适合细节层的融合。因此,滤波半径更大,模糊度更强得到的权重层适合基本层图像的融合,滤波半径小,模糊度小得到的权重适合细节层图像的融合。
综上,优选的,r1,ε1,δ1以及r2,ε2,δ2采用不同的参数,以得到合适的融合权重。
优选的,所述图像融合单元307包括加权平均子单元3071以及叠加子单元3072;
所述加权平均子单元3071用于通过以下两式将所述基本层图像Bn以及所述细节层图像Dn分别与其权重改进层图像进行图像的加权平均:
所述叠加子单元3072用于通过下式将所述基本层融合图像以及细节层融合图像叠加:
本实施例可以达到以下技术效果:
利用高斯滤波以及双边滤波将图像分为基本层,中间层与细节层三层;分别对基本层与细节层做双边滤波、权重处理,得到融合的基本层与细节层,将融合的基本层和细节层叠加得到最终的融合图像通过以上技术手段,使得融合图像更好的保留了原图像的重要信息,使得融合图像更加的自然,不仅很好的保留了图像的边缘细节,而且也减少了图像的失真。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block),单元,和步骤可以通过电子硬件、电脑软件,或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability),上述的各种说明性部件(illustrative components),单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块,或单元都可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列或其它可编程逻辑装置,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于用户终端中。可选地,处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中,本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现,这些功能可以存储与电脑可读的媒介上,或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如,这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置,或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外,任何连接都可以被适当地定义为电脑可读媒介,例如,如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘,磁盘通常以磁性复制数据,而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于双边滤波及权值重建的图像融合方法,其特征在于,包括:
将第n幅源图像In进行高斯滤波,得到基本层图像Bn;
将所述源图像In本身作为双边滤波的引导图像对该源图像In进行双边滤波,得到中间层图像En;
根据所述基本层图像Bn以及所述中间层图像En得到细节层图像Dn;
提取所述源图像In的显著层图像Sn;
通过对所述显著层图像Sn进行显著映射,得到所述源图像In的权重层图像Pn;
将所述源图像In作为引导图像,所述权重层图像Pn作为输入图像进行双边滤波,双边滤波的过程分别为:
其中,r1,ε1,δ1以及r2,ε2,δ2为通过遗传算法得到的最优双边滤波参数,分别得到基本层图像Bn的权重改进层图像与细节层图像Dn的权重改进层图像
将所述基本层图像Bn以及所述细节层图像Dn分别与其权重改进层图像进行图像的加权平均得到基本层融合图像以及细节层融合图像并将该基本层融合图像以及细节层融合图像叠加,得到最终的融合图像F。
2.根据权利要求1所述的方法,其特征在于,所述根据所述基本层图像Bn以及所述中间层图像En得到细节层图像Dn具体为:
Dn=En-Bn。
3.根据权利要求1所述的方法,其特征在于,所述提取所述源图像In的显著层图像Sn包括:
将所述源图像In通过拉普拉斯高通滤波器进行高通滤波,得到其高通图像Hn;
对高通图像Hn的绝对值进行高斯低通滤波得到所述源图像的显著层:
Sn=|Hn|*g(rg,σg);
其中,g(rg,σg)为高斯低通滤波的滤波函数。
4.根据权利要求1所述的方法,其特征在于,所述显著映射包括:
其中,N表示源图像的个数,为第n幅源图像中第k个像素点的显著水平;表示第n幅源图像的权重图像中第k个像素点的权重值。
5.根据权利要求1所述的方法,其特征在于,所述将所述基本层图像Bn以及所述细节层图像Dn分别与其权重改进层图像进行图像的加权平均,具体通过以下两式进行:
所述将所述基本层融合图像以及细节层融合图像通过下式进行叠加:
6.一种基于双边滤波及权值重建的图像融合系统,其特征在于,包括:
高斯滤波单元,用于将第n幅源图像In进行高斯滤波,得到基本层图像Bn;
第一双边滤波单元,用于将所述源图像In本身作为双边滤波的引导图像对该源图像In进行双边滤波,得到中间层图像En;
细节层生成单元,用于根据所述基本层图像Bn以及所述中间层图像En得到细节层图像Dn;
显著层提取单元,用于提取所述源图像In的显著层图像Sn;
显著映射单元,用于通过对所述显著层图像Sn进行显著映射,得到所述源图像In的权重层图像Pn;
第二双边滤波单元,用于将所述源图像In作为引导图像,所述权重层图像Pn作为输入图像进行双边滤波,双边滤波的过程分别为:
其中,r1,ε1,δ1以及r2,ε2,δ2为通过遗传算法得到的最优双边滤波参数,分别得到基本层图像Bn的权重改进层图像与细节层图像Dn的权重改进层图像
图像融合单元,用于将所述基本层图像Bn以及所述细节层图像Dn分别与其权重改进层图像进行图像的加权平均得到基本层融合图像以及细节层融合图像并将该基本层融合图像以及细节层融合图像叠加,得到最终的融合图像F。
7.根据权利要求6所述的系统,其特征在于,所述细节层生成单元通过下式生成细节层图像Dn:
Dn=En-Bn。
8.根据权利要求6所述的系统,其特征在于,所述显著层提取单元包括:
高通滤波子单元,用于将所述源图像In通过拉普拉斯高通滤波器进行高通滤波,得到其高通图像Hn;
低通滤波子单元,用于对高通图像Hn的绝对值进行高斯低通滤波得到所述源图像的显著层:
Sn=|Hn|*g(rg,σg);
其中,g(rg,σg)为高斯低通滤波的滤波函数。
9.根据权利要求6所述的系统,其特征在于,所述显著映射单元通过下式进行显著映射:
其中,N表示源图像的个数,为第n幅源图像中第k个像素点的显著水平;表示第n幅源图像的权重图像中第k个像素点的权重值。
10.根据权利要求6所述的系统,其特征在于,所述图像融合单元包括加权平均子单元以及叠加子单元;
所述加权平均子单元用于通过以下两式将所述基本层图像Bn以及所述细节层图像Dn分别与其权重改进层图像进行图像的加权平均:
所述叠加子单元用于通过下式将所述基本层融合图像以及细节层融合图像叠加:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610188232.3A CN105654448B (zh) | 2016-03-29 | 2016-03-29 | 一种基于双边滤波及权值重建的图像融合方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610188232.3A CN105654448B (zh) | 2016-03-29 | 2016-03-29 | 一种基于双边滤波及权值重建的图像融合方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105654448A CN105654448A (zh) | 2016-06-08 |
CN105654448B true CN105654448B (zh) | 2018-11-27 |
Family
ID=56496492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610188232.3A Active CN105654448B (zh) | 2016-03-29 | 2016-03-29 | 一种基于双边滤波及权值重建的图像融合方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105654448B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105913408B (zh) * | 2016-04-12 | 2019-03-01 | 湘潭大学 | 一种基于双边滤波器的多聚焦图像融合方法 |
US10931974B2 (en) * | 2016-10-14 | 2021-02-23 | Mediatek Inc. | Method and apparatus of smoothing filter for ringing artefact removal |
CN106780420B (zh) * | 2016-12-08 | 2019-05-24 | 无锡赛默斐视科技有限公司 | 基于图像引导滤波器的彩色图像融合算法 |
CN106683129B (zh) * | 2016-12-13 | 2020-02-21 | 中山大学 | 一种基于双边核回归的相对约减纹理分解方法及其装置 |
CN107369148B (zh) * | 2017-09-20 | 2019-09-10 | 湖北工业大学 | 基于改进sml与导向滤波的多聚焦图像融合方法 |
CN107909560A (zh) * | 2017-09-22 | 2018-04-13 | 洛阳师范学院 | 一种基于SiR的多聚焦图像融合方法及系统 |
CN108230282A (zh) * | 2017-11-24 | 2018-06-29 | 洛阳师范学院 | 一种基于agf的多聚焦图像融合方法及系统 |
CN108399612B (zh) * | 2018-02-06 | 2022-04-05 | 江苏宇特光电科技股份有限公司 | 基于双边滤波金字塔的三光图像智能融合方法 |
CN108573478B (zh) * | 2018-04-16 | 2019-12-20 | 北京华捷艾米科技有限公司 | 中值滤波方法及装置 |
CN108876740B (zh) * | 2018-06-21 | 2022-04-12 | 重庆邮电大学 | 一种基于鬼影去除的多曝光配准方法 |
CN110930311B (zh) * | 2018-09-19 | 2023-04-25 | 杭州萤石软件有限公司 | 一种提高红外图像与可见光图像融合的信噪比方法与装置 |
WO2020097836A1 (zh) * | 2018-11-15 | 2020-05-22 | 深圳市欢太科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
KR102592605B1 (ko) * | 2018-12-06 | 2023-10-24 | 삼성전자주식회사 | 이미지 신호 처리기, 이미지 신호 처리기의 동작 방법, 및 이미지 신호 처리기를 포함하는 전자 장치 |
CN109816781B (zh) * | 2019-02-01 | 2020-07-24 | 武汉大学 | 一种基于图像细节和结构增强的多视图立体几何方法 |
CN110415202B (zh) * | 2019-07-31 | 2022-04-12 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置、电子设备及存储介质 |
CN110648302B (zh) * | 2019-10-08 | 2022-04-12 | 太原科技大学 | 基于边缘增强引导滤波的光场全聚焦图像融合方法 |
CN110910380B (zh) * | 2019-11-29 | 2022-09-20 | 绿盟科技集团股份有限公司 | 一种合成图片的检测方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104036481A (zh) * | 2014-06-26 | 2014-09-10 | 武汉大学 | 一种基于深度信息提取的多聚焦图像融合方法 |
CN104200452A (zh) * | 2014-09-05 | 2014-12-10 | 西安电子科技大学 | 基于谱图小波变换的红外与可见光图像融合方法及其装置 |
CN105279746A (zh) * | 2014-05-30 | 2016-01-27 | 西安电子科技大学 | 一种基于双边滤波的多曝光图像融合方法 |
-
2016
- 2016-03-29 CN CN201610188232.3A patent/CN105654448B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105279746A (zh) * | 2014-05-30 | 2016-01-27 | 西安电子科技大学 | 一种基于双边滤波的多曝光图像融合方法 |
CN104036481A (zh) * | 2014-06-26 | 2014-09-10 | 武汉大学 | 一种基于深度信息提取的多聚焦图像融合方法 |
CN104200452A (zh) * | 2014-09-05 | 2014-12-10 | 西安电子科技大学 | 基于谱图小波变换的红外与可见光图像融合方法及其装置 |
Non-Patent Citations (2)
Title |
---|
Image fusion with guided filtering;Shutao Li等;《IEEE Transactions on Image Processing》;20130731;第22卷(第7期);第2865-2867页 * |
基于双边滤波的多尺度图像融合;吴川;《计算机工程与应用》;20140701;第51卷(第1期);第33页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105654448A (zh) | 2016-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105654448B (zh) | 一种基于双边滤波及权值重建的图像融合方法及系统 | |
US10540576B1 (en) | Panoramic camera systems | |
Lutio et al. | Guided super-resolution as pixel-to-pixel transformation | |
Zhang et al. | Underwater image enhancement via weighted wavelet visual perception fusion | |
Zheng et al. | Learning frequency domain priors for image demoireing | |
Getreuer | Total variation inpainting using split Bregman | |
CN105913408B (zh) | 一种基于双边滤波器的多聚焦图像融合方法 | |
CN107958444A (zh) | 一种基于深度学习的人脸超分辨率重建方法 | |
Xie et al. | Single depth image super resolution and denoising via coupled dictionary learning with local constraints and shock filtering | |
CN109064422A (zh) | 一种基于融合对抗网络的水下图像复原方法 | |
CN110443775B (zh) | 基于卷积神经网络的离散小波变换域多聚焦图像融合方法 | |
CN108961383A (zh) | 三维重建方法及装置 | |
WO2021102704A1 (zh) | 图像处理方法和装置 | |
CN113920014A (zh) | 一种基于神经网络化的联合三边滤波器用于深度图超分辨率重建方法 | |
CN111383187B (zh) | 一种图像处理方法、装置及智能终端 | |
Dąbała et al. | Manipulating refractive and reflective binocular disparity | |
CN114926352B (zh) | 一种图像去反射方法、系统、装置及存储介质 | |
Song et al. | A Novel Fusion Framework Based on Adaptive PCNN in NSCT Domain for Whole‐Body PET and CT Images | |
Ye et al. | Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid Representation and Normal Prior Enhancement | |
Platkevič et al. | Fluidymation: Stylizing Animations Using Natural Dynamics of Artistic Media | |
CN105787890A (zh) | 自适应等距模板迭代均值滤波的图像去噪方法 | |
Kim et al. | Single image–based 3D tree and growth models reconstruction | |
CN118154447B (zh) | 基于引导频率损失函数的图像恢复方法及系统 | |
Lu | Learning to Enhance RGB and Depth Images with Guidance | |
CN116894793B (zh) | 一种用于增强图像质量的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |