CN107977950B - 基于多尺度指导滤波的快速有效视频图像融合方法 - Google Patents
基于多尺度指导滤波的快速有效视频图像融合方法 Download PDFInfo
- Publication number
- CN107977950B CN107977950B CN201711272467.1A CN201711272467A CN107977950B CN 107977950 B CN107977950 B CN 107977950B CN 201711272467 A CN201711272467 A CN 201711272467A CN 107977950 B CN107977950 B CN 107977950B
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- images
- layer
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 21
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000012417 linear regression Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 10
- 238000013441 quality evaluation Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种基于多尺度指导滤波的快速有效视频图像融合方法,通过将输入的两幅图像互为指导进行多尺度分解,分别得到反映图像亮度和对比度的基础层,以及反映图像的大部分视觉信息的细节层,然后利用基础层和细节层各自的融合规则分别进行融合,最后经二尺度图像重构得到融合图像。本发明与指导滤波(Guided Filtering‑GF)算法和基于图像统计的医学图像融合方法(GFS)相比,本发明融合效果好且运算速度更快。
Description
技术领域
本发明涉及的是一种图像处理技术,具体是一种用于医学、遥感、视频监控等领域和多曝光、多聚焦融合分支中的灰度/彩色图像或图像序列的基于多尺度指导滤波的快速有效视频图像融合方法。
背景技术
图像融合指将多源信道所采集到的关于同一目标的图像数据,经过计算机技术处理,最大限度地提取各自信道中的有利信息,最后综合成高质量的图像。最常见的是将可见光与红外图像进行融合。可见光传感器在较好的照明条件下,能捕捉到目标细节和颜色丰富的图像,而夜间效果则会大大降低,这无法满足全天时、全天候观测的要求;红外或者热相机的原理是基于目标场景的温度变化,所以它们能够提供在低能见度下的信息,但存在细节反映能力差、无颜色信息等缺点。将两者融合,能够弥补单一传感器的缺陷,从而提供全天候、全天时的高质量目标图像。
发明内容
本发明针对现有指导滤波融合技术存在的融合效果相对较差,运算速度相对较慢的不足,提出一种基于多尺度指导滤波的快速有效视频图像融合方法(Multi-scaleGuided Fusion-MGF)。与指导滤波(Guided Filtering-GF)算法和基于图像统计的医学图像融合方法(Guided image Filter and image Statistics-GFS)相比,本发明融合效果好且运算速度更快。
本发明是通过以下技术方案实现的:
本发明通过将输入的两幅图像互为指导进行多尺度分解,分别得到反映图像亮度和对比度的基础层,以及反映图像的大部分视觉信息的细节层,然后利用基础层和细节层各自的融合规则分别进行融合,最后经二尺度图像重构得到融合图像。
所述的互为指导,是指两幅图像,一幅作为输入图像,另一幅作为指导图像,通过指导滤波得到第一个滤波输出后,输入图像和指导图像互换,指导滤波后得到第二个滤波输出。其中,指导滤波具体为:在以像素k为中心的窗口ωk中,滤波输出q由指导图像I经过线性变换得到:其中:ak,bk为ωk中保持不变的线性系数。为确定其值,需要使滤波输出q与输入图像p的相差最小,则利用代价函数:使其值最小。其中:ε为正则化系数,防止ak变得过大。利用线性回归方法得到:其中:μk和分别为I在ωk的均值与方差,|ω为ωk中的像素个数。为p在ωk中的均值。
所述的输入图像和指导图像不限制为同一幅图像;在本发明中,将已经配准好的两幅多源图像I1(x,y)和I2(x,y)作为源图像,其中I1(x,y)=I2(x,y)或I1(x,y)≠I2(x,y)。
所述的多尺度分解是指:根据指导滤波器的滤波半径r和指导滤波平滑参数ε,将任一图像分解为若干级的基础层和细节层。具体为:
第1级基础层b1和细节层d1分别为:b1=GF(b0,G0,r1,ε1)、d1=b0-b1,其中:I和G0分别是输入图像和指导图像,r1和ε1分别为指导滤波器GF(·)的滤波半径和滤波平滑参数,I假定是在第0级的基础层,即b0=I。
第2级基础层和细节层分别为:b2=GF(b1,G1,r2,ε2)、d2=b1-b2。以此类推至第n级的基础层和细节层分别为:bn=GF(bn-1,Gn-1,rn,εn)、dn=bn-1-bn。
所述的互为指导进行多尺度分解,具体为:k=1,...,n,其中:分别是两幅源图像在k级的基础层,由上一级的基础层决定。分别代表两幅源图像I1和I2。在每一级中,一幅图像的基础层作为另一幅图像的指导图像并且进行边缘保护平滑处理。对应地,细节层分别从上一级的基础层中减去当前级的基础层得到:作为提取基础层的结果,细节层能够在每个级别上提供源图像的重要信息。
所述的二尺度图像重构是指:利用融合基础层BF和融合细节层DF的线性组合合成融合图像:F=BF+DF。
优选地,当所述图像为RGB彩色图像时,通过分别对R、G、B三个单独的颜色通道实施所述方法,再把三通道结果相加得到最终的彩色融合图像。
本发明涉及一种实现上述方法的系统,包括:输入模块、多尺度分解模块、融合模块、重构模块和输出模块。其中:输入模块与多尺度分解模块相连,传输两幅源图像信息;多尺度分解模块与融合模块相连,传输分解后的基础层和细节层信息;融合模块与重构模块相连,传输融合基础层和融合细节层信息;重构模块与输出模块相连,传输重构后的融合图像信息。
技术效果
与现有指导滤波融合技术相比,本发明在多领域、多分支的图像/图像序列融合中,效果最佳且耗时最短。
附图说明
图1为本发明涉及的源图像I的多尺度指导滤波图像分解流程;
图2为本发明涉及的多尺度指导滤波图像融合框架;
图3为本发明算法流程中基于战场图像的MGF各步骤结果图;
图4为用于实验的图像和图像序列示意图;
图中:(a)多曝光(8组),(b)医学(8组),(c)遥感(10组),(d)多聚焦(11组),(e)可见光/红外(13组),(f)视频((f1),(f2)可见光/红外第1,7,14,21,27,32帧);
图5为不同融合算法应用于多曝光桌椅图像的融合结果示意图;
图中:(a)欠曝光,(b)过曝光,(c)GFF融合图像,(d)GFS融合图像,(e)MGF融合图像,(f)-(j)为(a)-(e)的红框放大图像;
图6为不同融合算法应用于多聚焦花朵图像的融合结果示意图;
图中:(a)前景聚焦图像,(b)背景聚焦图像,(c)GFF融合图像,(d)GFS融合图像,(e)MGF融合图像,(f)-(j)为(a)-(e)的红框放大图像;
图7为不同融合算法应用于医学脑部图像的融合结果示意图;
图中:(a)CT图像,(b)MRI聚焦图像,(c)GFF融合图像,(d)GFS融合图像,(e)MGF融合图像,(f)-(j)为(a)-(e)的红框放大图像;
图8为不同融合算法应用于遥感图像的融合结果示意图;
图中:(a)源图像1,(b)源图像2,(c)GFF融合图像,(d)GFS融合图像,(e)MGF融合图像,(f)-(j)为(a)-(e)的红框放大图像;
图9为不同融合算法应用于可见光/红外火焰图像的融合结果示意图;
图中:(a)红外图像,(b)可见光图像,(c)GFF融合图像,(d)GFS融合图像,(e)MGF融合图像,(f)-(j)为(a)-(e)的红框放大图像;
图10为MGF与GFF、GFS方法运行时间的对比;
图11为不同融合算法应用于视频图像序列的融合结果示意图;
图中:(a)可见光图像,(b)红外图像,(c)GFF融合图像,(d)GFS融合图像,(e)MGF融合图像(取视频第1,7,14,21,27,32帧)。
图12为本发明实现系统示意图。
具体实施方式
如图1所示,多尺度指导图像分解共有n级,通过选择每层的指导图像G、滤波器半径r和正则化参数ε来对输入I进行滤波。最终I的重构图像由第n级基础层和n个细节层融合得到。
如图2所示,本实施例的输入为两幅已经配准好的图像I1和I2。输入图像如图3中第一行所示的可见光和红外战场图像。在多尺度指导图像分解中两者互为指导图像进行滤波。同时,I1和I2也是各自的第0级基础层图像,即
将第k级基础层与第k-1级基础层相减,能够得到第k级细节层,如图3中的第四、五行所示。
第k级显著图由第k级的细节图取绝对值得到,如图3中的第六、七行所示。
第k级权重图由第k级显著图归一化得到,如图3中的第八、九行所示。
根据不同融合规则,得到基础层融合图像和细节层融合图像,如图3中第十行左、中两图所示。最后根据重构法则得到融合图像,如图3中的第十行右图所示。
本实施例实验所使用的图像和图像序列如图4所示,包含50组图像和2个视频,分别为多曝光(8组),医学(8组),遥感(10组),多聚集(11组),视频监控(13组可见光/红外)和战场视频(2组)。
本实施例实验所用的软件为MATLAB(2016b),计算机硬件配置为Intel Core i7-670HQ CPU 2.60Ghz。
本实施例实验参数r=9,ε=103,k=4。
本实施例应用于多曝光图像的融合结果以及与GFF、GFS方法的对比,如图5所示。从放大部分可以看出:MGF能够在单幅图像中产生正确的曝光区域并且不存在伪影和失真。
本实施例应用于多聚焦图像的融合结果以及与GFF、GFS方法的对比,如图6所示。从放大部分可以看出:MGF能够产生更好的聚焦场景。
本实施例应用于医学图像的融合结果以及与GFF、GFS方法的对比,如图7所示。从放大部分可以看出:MGF方法能够结合MRI和CT信息于单幅图像中。相比于其他方法,其有着更多细节和更少伪影。
本实施例应用于遥感图像的融合结果以及与GFF、GFS方法的对比,如图8所示。从放大部分可以看出,MGF可以很好地结合两幅多光谱图像中的互补细节于一幅图像中。
本实施例应用于视频监控图像的融合结果以及与GFF、GFS方法的对比,如图9所示。从放大部分可以看出,MGF融合图像中的火焰和树木信息较其他方法更加清楚。
本实施例与GFF、GFS方法融合质量的定量评价对比,如表1-表5所示。所采用的评价指标分别为平均梯度(AG),融合对称(FS),相关系数(CC),空间频率(SF),通用质量指标(Q0)和视觉信息保真度(VIF)。其中,AG测量融合图像的清晰度,FS量化融合图像对于源图像的对称程度,CC反映融合图像与源图像的相关性,SF来测量融合图像中区域的整体活动水平,Q0从三个因素反映融合图像的失真程度:相关性、亮度和对比度,VIF权衡了源图像信息输送到融合图像中的程度。上述6个度量的值越大,表示融合效果越好。从表中可以看出:所提出的MGF算法性能优于其余方法。
图10展示了MGF与GFF、GFS运算时间的对比。运行时间是指从提供输入到得到输出结果,算法所花费的时间。本实施例统计时间的准则为,计算一类图像的融合运算时间,再取平均数。从图中可以看出:MGF所花费的时间最少,运算速度均快于其余方法。
本实施例应用于视频图像的融合结果以及与GFF、GFS方法的对比,如图11所示。从图中可以看出,GFF方法无法将可见光信息整合到融合图像中。例如,树木,围栏和战场的信息在融合图像中丢失。GFS融合结果存在伪影并且丢失了原图像的信息。MGF能够结合战场环境和人物信息并存在更少伪影。
表1不同算法应用于多聚焦图像的融合质量评价
表2不同算法应用于多曝光图像的融合质量评价
表3不同算法应用于医学图像的融合质量评价
表4不同算法应用于遥感图像的融合质量评价
表5不同算法应用于可见光/红外图像的融合质量评价
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整。本发明的保护范围以权利要求书为准且不由上述具体实施所限,在其范围内的各个实现方案均受本发明之约束。
Claims (8)
1.一种基于多尺度指导滤波的快速有效视频图像融合方法,其特征在于,通过将输入的两幅图像互为指导进行多尺度分解,分别得到反映图像亮度和对比度的基础层,以及反映图像的大部分视觉信息的细节层,然后利用基础层和细节层各自的融合规则分别进行融合,最后经二尺度图像重构得到融合图像;
所述的互为指导进行多尺度分解,具体为:两幅源图像在k级的基础层 其中:分别上一级的基础层,当k=1时,分别代表两幅源图像I1和I2,在每一级中,一幅图像的基础层作为另一幅图像的指导图像并且进行边缘保护平滑处理;用于在每个级别上提供源图像的重要信息细节层
2.根据权利要求1所述的方法,其特征是,所述的互为指导是指:两幅图像,一幅作为输入图像,另一幅作为指导图像,通过指导滤波得到第一个滤波输出后,输入图像和指导图像互换,指导滤波后得到第二个滤波输出。
4.根据权利要求1或2所述的方法,其特征是,将已经配准好的两幅多源图像I1(x,y)和I2(x,y)作为源图像,I1(x,y)=I2(x,y)或I1(x,y)≠I2(x,y)。
6.根据权利要求1所述的方法,其特征是,所述的二尺度图像重构,利用融合基础层BF和融合细节层DF的线性组合合成融合图像:F=BF+DF。
7.根据权利要求1所述的方法,其特征是,当所述图像为彩色图像时,通过分别对R、G、B三个单独的颜色通道实施所述方法,再把三通道结果相加得到最终彩色融合图像。
8.一种实现权利要求1~7中任一所述方法的系统,其特征在于,包括:输入模块、多尺度分解模块、融合模块、重构模块和输出模块,其中:输入模块与多尺度分解模块相连,传输两幅源图像信息;多尺度分解模块与融合模块相连,传输分解后的基础层和细节层信息;融合模块与重构模块相连,传输融合基础层和融合细节层信息;重构模块与输出模块相连,传输重构后的融合图像信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711272467.1A CN107977950B (zh) | 2017-12-06 | 2017-12-06 | 基于多尺度指导滤波的快速有效视频图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711272467.1A CN107977950B (zh) | 2017-12-06 | 2017-12-06 | 基于多尺度指导滤波的快速有效视频图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107977950A CN107977950A (zh) | 2018-05-01 |
CN107977950B true CN107977950B (zh) | 2021-06-04 |
Family
ID=62009105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711272467.1A Active CN107977950B (zh) | 2017-12-06 | 2017-12-06 | 基于多尺度指导滤波的快速有效视频图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107977950B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109509164B (zh) * | 2018-09-28 | 2023-03-28 | 洛阳师范学院 | 一种基于gdgf的多传感器图像融合方法及系统 |
CN109614976B (zh) * | 2018-11-02 | 2022-11-01 | 中国航空工业集团公司洛阳电光设备研究所 | 一种基于Gabor特征的异源图像融合方法 |
CN113344838A (zh) * | 2021-07-08 | 2021-09-03 | 烟台艾睿光电科技有限公司 | 图像融合方法、装置、电子设备及可读存储介质 |
CN113793318B (zh) * | 2021-09-13 | 2023-04-07 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种多区域复杂损伤缺陷特征综合分析方法 |
CN117058624B (zh) * | 2023-10-11 | 2023-12-22 | 深圳市金众工程检验检测有限公司 | 一种应用于建筑工地的工程检测方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102682439A (zh) * | 2012-01-15 | 2012-09-19 | 河南科技大学 | 基于多向经验模式分解的医学图像融合方法 |
CN104809734A (zh) * | 2015-05-11 | 2015-07-29 | 中国人民解放军总装备部军械技术研究所 | 一种基于引导滤波的红外图像与可见光图像融合的方法 |
CN106815827A (zh) * | 2017-01-18 | 2017-06-09 | 聚龙智瞳科技有限公司 | 基于Bayer格式的图像融合方法及图像融合装置 |
CN107248150A (zh) * | 2017-07-31 | 2017-10-13 | 杭州电子科技大学 | 一种基于导向滤波显著区域提取的多尺度图像融合方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102218832B1 (ko) * | 2014-12-16 | 2021-02-24 | 삼성전자주식회사 | 컬러 프린지를 제거하기 위한 이미지 처리 장치 |
-
2017
- 2017-12-06 CN CN201711272467.1A patent/CN107977950B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102682439A (zh) * | 2012-01-15 | 2012-09-19 | 河南科技大学 | 基于多向经验模式分解的医学图像融合方法 |
CN104809734A (zh) * | 2015-05-11 | 2015-07-29 | 中国人民解放军总装备部军械技术研究所 | 一种基于引导滤波的红外图像与可见光图像融合的方法 |
CN106815827A (zh) * | 2017-01-18 | 2017-06-09 | 聚龙智瞳科技有限公司 | 基于Bayer格式的图像融合方法及图像融合装置 |
CN107248150A (zh) * | 2017-07-31 | 2017-10-13 | 杭州电子科技大学 | 一种基于导向滤波显著区域提取的多尺度图像融合方法 |
Non-Patent Citations (2)
Title |
---|
Zero and infinity images in multi-scale image fusion;M. Hossny et al.;《2009 16th IEEE International Conference on Image Processing (ICIP)》;20100217;第2181-2184页 * |
基于指导滤波的绝缘子红外与可见光图像融合研究;蔡银萍;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315;I138-4968 * |
Also Published As
Publication number | Publication date |
---|---|
CN107977950A (zh) | 2018-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107977950B (zh) | 基于多尺度指导滤波的快速有效视频图像融合方法 | |
Bavirisetti et al. | Multi-scale guided image and video fusion: A fast and efficient approach | |
Lu et al. | Multi-scale adversarial network for underwater image restoration | |
Jung et al. | Unsupervised deep image fusion with structure tensor representations | |
Liu et al. | End-to-end single image fog removal using enhanced cycle consistent adversarial networks | |
Li et al. | Infrared and visible image fusion using latent low-rank representation | |
US11830222B2 (en) | Bi-level optimization-based infrared and visible light fusion method | |
Ma et al. | Perceptual evaluation of single image dehazing algorithms | |
Jian et al. | Multi-scale image fusion through rolling guidance filter | |
CN104751432B (zh) | 一种基于图像重构的可见光与红外图像融合方法 | |
CN110660088A (zh) | 一种图像处理的方法和设备 | |
CN112419212A (zh) | 一种基于侧窗引导滤波的红外与可见光图像融合方法 | |
Wang et al. | Joint iterative color correction and dehazing for underwater image enhancement | |
Ren et al. | Infrared and visible image fusion based on edge-preserving guided filter and infrared feature decomposition | |
CN114041162A (zh) | 用于增强数字输入信号的信号处理装置和方法 | |
CN109493309A (zh) | 一种保持显著性信息的红外与可见光图像变分融合方法 | |
EP2790153A2 (en) | Environment evaluation apparatus, method and program | |
CN114187214A (zh) | 一种红外与可见光图像融合系统及方法 | |
Wu et al. | Learn to recover visible color for video surveillance in a day | |
Li et al. | Adaptive weighted multiscale retinex for underwater image enhancement | |
CN116740419A (zh) | 一种基于图调控网络的目标检测方法 | |
Haq et al. | Automated multi-sensor color video fusion for nighttime video surveillance | |
CN114372962A (zh) | 基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统 | |
Shihabudeen et al. | Deep learning L2 norm fusion for infrared & visible images | |
CN116883303A (zh) | 基于特征差分补偿与融合的红外与可见光图像融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |