CN107680070A - 一种基于原始图像内容的分层权重图像融合方法 - Google Patents

一种基于原始图像内容的分层权重图像融合方法 Download PDF

Info

Publication number
CN107680070A
CN107680070A CN201710830558.6A CN201710830558A CN107680070A CN 107680070 A CN107680070 A CN 107680070A CN 201710830558 A CN201710830558 A CN 201710830558A CN 107680070 A CN107680070 A CN 107680070A
Authority
CN
China
Prior art keywords
image
layer
image block
complementation
source images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710830558.6A
Other languages
English (en)
Other versions
CN107680070B (zh
Inventor
孙彬
胡凯
杨琪
邓桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201710830558.6A priority Critical patent/CN107680070B/zh
Publication of CN107680070A publication Critical patent/CN107680070A/zh
Application granted granted Critical
Publication of CN107680070B publication Critical patent/CN107680070B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration by non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于原始图像内容的分层权重图像融合方法。本发明基于原始图像内容与融合图像是预先配准的性质进行分层,得到源图像的冗余层与互补层,避免了训练稀疏字典带来的信息损失,同时获得了更小的时间复杂度;再对冗余层与互补层进行融合处理。在融合图像重构时,通过调节互补层在结果中的表现权重实现对融合效果的控制。由于互补层与冗余层在本发明的融合过程中互不干扰,互补信息能够在最终结果中得到直接体现,使得本发明最后取得的融合结果有近似于图像增强的效果,本发明该权重控制方法能够使本发明提出的方法更加适应人类视觉观察与机器处理的实际需要。本发明可用于图像处理、计算机视觉、医学图像处理、卫星遥感与军事等领域。

Description

一种基于原始图像内容的分层权重图像融合方法
技术领域
本发明属于图像处理技术领域,特别涉及图像的融合处理。
背景技术
由于成像传感器本身的性能限制,单个传感器单次成像难以全面描述目标场景信息,而采用单个传感器多次成像或多个传感器同时成像的方式虽然能够获得目标场景信息较为全面的描述,但其产生的多张源图像不利于人的观察和机器的处理。图像融合技术将多张包含不同信息的源图像综合成为一张融合图像,这张融合图像继承了源图像之间冗余信息的同时尽量保留了互补信息,能够更加全面地描述目标场景信息,从而有效地增加对象的信息量、提高图像信息的利用率、提高系统的精度和鲁棒性、降低系统的不确定性、扩大系统的应用范围。图像融合已经广泛地应用于医学、监控、遥感和军事等领域,并且在海事、交通和智能机器人等领域有着较好的前景。
基于分层的图像融合方法根据一定的原则将源图像信息分解为包含不同信息的多个图层,以便于区分不同信息的特性,进而设计一定的融合规则,实现对应各层的比较和融合。基于分层的融合方法主要包含三个部分:图像分层模式,对应各层融合规则,融合图像重构。
基于分层的融合方法的主流分层模式有两种:基质-细节分层模式,冗余-互补分层模式。
基质-细节分层模式依据图像信息变化的剧烈程度,将图像分为主要包含平坦信息的基质层与主要包含变化信息的细节层。通常情况下,该模式下的算法会在每张源图像中获得一个基质层,根据阈值设置或迭代次数的不同,获得若干个细节层。以高斯金字塔(LP,Laplacian Pyramid)分解为代表的金字塔分解方法,以双树复小波变换(DTCWT,Dual-Tree Complex Wavelet Transform)为代表的小波分解方法,以非下采样轮廓波变换(NSCT,None-Sampled Contourlet Transform)为代表的几何多分辨率分解方法,以及滤波器分解方法和低秩分解方法,都是该模式下比较有代表性的算法。这些方法通过检测图像中不同相位和幅度的梯度信息,将这些梯度信息从源图像中剥离出来形成细节层,余下的部分就是基质层。基质-细节分层模式缺陷在于其任意层中互补信息和冗余信息都是混杂存在的,使得信息难以被正确地辨识和选择,导致融合结果不能够很好完整地保留或继承源图像信息。
冗余-互补分层模式依据图像源之间信息是否冗余,将图像分为主要包含冗余信息的冗余层与主要包含互补信息的互补层。联合稀疏表示(JSR,Joint SparseRepresentation),鲁棒相关和独立分量分析(RCICA,Roubust Correlated andIndividual Component Analysis)是近年来比较具有代表性的基于冗余-互补模式分层的融合算法。它们首先通过稀疏字典学习算法获得源图像的特征,然后分析该字典原子在源图像重构过程中的使用情况,进而将字典原子标记为冗余原子或互补原子,从而利用对应的原子重建出一个统一的冗余层和各个源的互补层。这样的方法主要缺陷在于稀疏字典原子之间本身具备相关性并且在重构中会出现一定的重构误差,因此,其对冗余信息和互补信息的区分度并不能达到理想情况,因此会出现一定程度的信息损失。除此之外,由于每张源图像的冗余信息含量可能不同,直接生成一个统一的冗余层,难以体现出各源中冗余信息含量的差异,不能真实体现源图像信息分布特性。
对应各层融合规则中,根据分层模式的不同,采用的方法也比较不同。
在基质-细节分层模式下,根据基质层和细节层的信息特点不同,通常采取不同的融合规则。基质层由于主要包含平坦信息而不具备太多的复杂特征,因此,基质层通常采用比较简单的融合规则,例如:平均。细节层通常采用显著度-匹配度模型,信息越重要则显著度越高,不同源的信息越相似则匹配度越高,最后依照这两类指标来确定具体的融合规则。这样融合的缺陷在于基质层必然存在信息的损失,而细节层由于混杂着冗余和互补的信息,显著-匹配度模型精度难以达到理想状况。
在冗余-互补分层模式下,现有方法通常只有一个共同的冗余层,因此融合规则只用在互补层进行定义。由于现有方法主要采用稀疏表达的方式对互补层进行重构,这种方法通常在字典训练环节会花费大量时间,此外,互补层融合规则一般是基于稀疏系数L1范数最大或者取平均。取平均的融合规则会使融合后的图像的对比度下降,还会有比较严重的平滑现象;L1范数最大的融合规则是根据L1范数大的那个图像块被选中作为融合图像中对应的图像块,而L1范数较小的对应的整个图像块就被抛弃了,而L1范数较小的那个图像块中也会有一些很显著的信息需要保留,而这样的融合规则会使在融合图像中并没有得到这一部分的信息,使融合图像的信息损失较大、细节不够丰富。另外,由于互补的信息可能并不兼容,这样的方式可能使得好不容易分离的信息重新交织在一起,最终得到一个杂乱的表现。
融合后图层重构方面,为了避免最终融合图像中出现各个源图中不存在的人工分量,绝大部分方法直接按照分解的逆过程将各个图层重新组合在一起。这样的方法避免了出现人工分量,但是也缺乏对图像中不同信息表达进行控制的潜力,不能够根据需求来着重显示某些成分。
发明内容
本发明的发明目的在于:针对上述存在的问题,本发明提出了一种基于原始图像内容的分层权重图像融合方法。首先在分层方式上,有别于现有的分层方式,本发明基于原始图像内容与融合图像是预先配准的性质进行分层,避免了训练稀疏字典带来的信息损失,同时获得了更小的时间复杂度;由于对每张图像生成独立的冗余层和互补层,允许在后续的处理中能够更为精准地估计实际冗余信息与控制最终融合图像的表现;融合规则方面,本发明提出了一种对等层之间利用双树复小波方法融合的框架,相较于基质-细节分解,此时图像中信息已经分层从而不会产生信息混杂的缺陷,双树复小波方法能够很好地度量对等信息的重要和丰富程度,能够更好地保留不同源对等层信息。此外,本发明还设置了一种新的显著度阈值控制方式:通过基于源图的局部均方根值(RMS,Root Mean Square)控制不同源互补层在融合互补层中的表达,使得重要互补信息保留得更加完善,体现地更为清晰,并有能力控制不同源互补信息在最终结果中的表现程度;在融合图像重构上,本发明设置了一种基于冗余层与互补层全局亮度的权重控制方法,通过调节互补层在结果中的表现权重实现对融合效果的控制。由于互补层与冗余层在本发明的融合过程中互不干扰,互补信息能够在最终结果中得到直接体现,使得本发明最后取得的融合结果有近似于图像增强的效果,本发明该权重控制方法能够使本发明提出的方法更加适应人类视觉观察与机器处理的实际需要。
本发明的基于原始图像内容的分层权重图像融合方法,包括下列步骤:
步骤S1:对源图像x1和x2的进行冗余-互补分层处理:
步骤S101:对源图像x1和x2进行图像预处理(包括配准,图像尺寸归一化等)后,基于n×n的滑动窗口,分别预处理后的源图像进行滑窗处理,分别得到t个大小为n×n的图像块W1 i其中i为图像块区分符。优选的滑窗步长为1。
再分别对图像块W1 i进行向量化处理,得到列向量例如对图像块中的像素按照先从左到右,后从上到下的顺序进行向量化一列其中每一列的编号i和图像块的编号i一一对应。
该步骤的目的在于将整幅图像内容划分为区域内容,便于对图像内容进行比较和度量。并将以矩阵形式保存的数据转换为一维向量形式,降低编程难度,加快代码执行速度。
步骤S102:计算之间的每个对应像素点的比值以及中的最小值从而计算与对方在不损失幅度和梯度信息的前提下的冗余表示
该步骤的目的在于求出两个对应编号图像块的W1 i之间的每个像素点在幅度上的比值,单个像素点比值体现了像素之间的幅度关系,而一列像素点的比值关系的排列又说明了图像块之间梯度变化的关系。由于图像是预先配准的,因此只有对应编号图像块W1 i是对于实际场景中同一位置的描述,在它们之间求比值关系才有意义。随后求出每个图像块的冗余部分。用表达是一种在任意像素点幅度不超过进而导致幅度信息损失的前提下,使得在均方根意义上最为相似。这种均方根相似的成分实质上就是中含有的与冗余的成分。
步骤S103:按照滑窗操作的逆操作,将每一个冗余向量重构成为冗余图像块W1 i,C并将冗余图像块W1 i,C分别重构成为源图像x1和x2的冗余层
步骤S104:源图像x1和x2减去各自的冗余层得到互补层
步骤S2:对冗余层、互补层分别进行融合处理:
步骤S201:基于n×n的滑动窗口,对互补层图像分别进行滑窗处理,分别得到t个大小为n×n的互补图像块W1 i,I再分别对互补图像块W1 i,I进行向量化处理,得到列向量例如把每个块中的像素按照先从左到右,后从上到下的顺序排为一列其中每一列的编号i和图像块的编号i一一对应。
步骤S202:由源图像x1和x2中同一图像位置的图像块构成一对源图像块,分别计算每一对源图像块的显著度比值(如基于均方根值比值、边缘强度比值和平均梯度比值等获取显著度比值),通过显著度阈值控制,对互补层的向量化图像块进行重构,获得调整后的互补层图像块
优选的,以每一对源图像块的均方根值比值计算对每对源图像的向量化图像块内部进行均方归一化,得到均方归一化以后的向量化图像块并计算的均方根值,将其记录为然后根据得到
在得到每对源图像块的显著度比值后,根据高低阈值Thigh和Tlow的设置,决定对应互补图像块中只保留其中一个,还是两者均保留,保留结果记为
该步骤目的在于互补图像块有时候表现完全相反,不能够兼容或强行融合在一起导致杂乱的时候,保留相对重要的互补图像块。通过设置Thigh和Tlow的值,也可以控制不同图像互补图像块是否易于被表达,进而实现根据需求调节最终表达结果的目的。
步骤S203:按照滑窗操作的逆操作,将调整后的互补层图像块重构为新的差异层即权重差异层
步骤S204:将冗余层进行图像融合,获得融合后的冗余层
将权重差异层进行图像融合,获得融合后的权重互补层
优选的融合方式为基于双树复小波方法的图像融合。
该步骤的目的是利用每个源的对应层,利用双树复小波方法计算出融合图像的对应层。由于对应层本身保存的是源图像之间冗余或互补的成分,因此其既包含着平坦的基质成分,也包含着变化剧烈的细节成分,双树复小波算法本身能够较好地处理基质和细节信息,因此能取得优秀的融合结果。
从而通过设置对应权重方法控制在最终融合图像中的显示比例,得到更符合于人类视觉和机器处理的最终融合结果。
步骤S3:基于预置的全局权重系数θ(θ∈[0,+∞)),将乘上全局权重系数θ获得权重融合差异层全局权重系数θ即可以通过计算之间的关系、源图像x1和x2之间的关系,来获得一个与源图像在视觉上最一致的结果。也可以根据精度需求等设置θ,从而达到对互补信息的强调或淡化。
最后,将直接相加,得到最终的融合图像xF
综上所述,由于采用了上述技术方案,本法明的有益效果是:
(1)本发明采用直接利用源图像区域内容的分层方案,对每一幅源图像生成各自的冗余层与互补层。使得本发明运算速度较快并在分层精度上有提高,能够避免冗余信息与互补信息在融合过程中互相干扰,因此本发明更加适合工程应用,并获得更好的融合结果。
(2)本发明基于双树复小波方法进行融合并基于均方根值进行显著度度量的分层融合规则。双树复小波方法使得本发明能够在分层融合中更好地保留各个源的信息,均方根值显著度度量与相应阈值设定,可以根据实际需求按比例保留某些源中的显著信息。
(3)本发明利用全局权重系数控制互补信息在最终融合结果中的表达。使得本发明有能力控制冗余信息和互补信息的表达比例,最终融合图像适应人类视觉观察与机器处理的实际需要。
附图说明
图1是本发明的处理流程图。
图2是待融合的原始图像,其中(2-a)(2-b)为红外-可见光融合场景图像,(2-c)(2-d)为多聚焦场景融合图像。
图3是基于本发明的源图像冗余-互补分层结果,其中(3-a1)、(3-a2)分别为(2-a)图像的互补层与冗余层,(3-b1)、(3-b2)分别为(2-b)图像的互补层与冗余层,(3-c1)、(3-c2)分别为(2-c)图像的互补层与冗余层,(3-d1)、(3-d2)分别为(2-d)图像的互补层与冗余层。
图4是基于本发明融合规则的最终融合结果示意图,其中(4-a1)-(4-a5)、(4-b1)-(4-b5)分别为采用权重控制方式(1)、(2)下红外-可见光融合场景源图像(2-a)(2-b)在不同阈值设置下的最终融合图像,(4-c1)-(4-c5)和(4-d1)-(4-d5)分别为采用权重控制方式(1)、(2)下多聚焦融合场景源图像(2-c)(2-d)在不同阈值设置下的最终融合图像。
图5是基于本发明重构规则的最终融合结果示意图,其中(5-a1)-(5-a5)是红外-可见光融合场景下不同权重值设置下的最终融合图像,(5-b1)-(5-b5)是多聚焦融合场景下不同权重值设置下的最终融合图像。
图6是本发明结果与对比方法的比较结果图,其中(6-a1)-(6-a5)是红外-可见光融合场景下的最终融合图像,(6-b1)-(6-b5)是多聚焦融合场景下的最终融合图像。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合实施方式和附图,对本发明作进一步地详细描述。
参见图1,本发明的具体实施步骤如下:
步骤1:对预先配准、相同尺寸N×M的源图像x1和x2分别进行滑窗处理,分别得到t个大小为n×n的局部图像块W1 i其中局部图像块的编号i={1,2,3…t},t=(N·M)2。把每个图像块W1 i中的像素按照先从左到右,后从上到下的顺序向量化为一列其中每一列的编号i和图像块的编号i一一对应。
上述滑窗处理设置为:滑动步长为1,滑窗为尺寸n×n的方窗,方向为先从左到右,后从上到下,超出边界部分采用循环补齐。
在具体实施过程中,如图2所示,源图像(2-a)(2-b)差异较大,从较小的尺度上就可以明显观察到(2-a)(2-b)中的不同,因此选用滑窗为3×3的方窗;源图像(2-c)(2-d)差异较大,从较大的尺度才能观察到(2-c)(2-d)中的不同,因此选用滑窗为16×16的方窗。源图像(2-a)(2-b)尺寸为320×240,其图像块数量t为76800;源图像(2-c)(2-d)尺寸为250×250,其图像块数量t为62500;根据滑窗尺寸的选择,源图像(2-a)(2-b)单个向量化后的图像块尺寸为9×1,源图像(2-c)(2-d)单个向量化后的图像块尺寸为256×1。
步骤2:计算之间的每个对应像素点的比值以及中的最小值计算与对方在不损失幅度和梯度信息的前提下的冗余表示
具体实施过程中,对应像素点比值求法如下:
其中表示第1幅图x1的第i个图像块W1 i向量化后从上至下第j个像素,求比值算法由下标代表图像编号,比值求法由前者求后者。求法与求法同理,差别仅在于除数和被除数位置的调换。
步骤3:按照步骤1中操作的逆操作,将每一个冗余向量重构成为冗余图像块W1 i,C进一步的,将冗余图像块W1 i,C分别重构成为源图像x1和x2的冗余层
步骤4:源图像x1和x2减去分别自己的冗余层得到互补层
针对源图像对(2-a)(2-b)与(2-c)(2-d),它们的互补层与冗余层分层图像如图3所示。
步骤5:对每个源图像的向量化图像块内部进行均方归一化,得到均方归一化以后的向量化图像块并计算每个的均方根值,并将其记录为V1 i
在本发明具体实施中,均方根值计算公式为:
V1i和计算方法相同,差别仅在于公式中图像块来源。
步骤6:对尺寸N×M的互补层图像分别进行滑窗处理,分别得到t个大小为n×n的局部图像块W1 i,I其中局部图像块的编号i={1,2,3…t},t=(N·M)2。把每个互补图像块W1 i,I中的像素按照先从左到右,后从上到下的顺序排为一列其中每一列的编号i和图像块的编号i一一对应。
上述滑窗处理设置为:滑动步长为1,滑窗为尺寸n×n的方窗,方向为先从左到右,后从上到下,超出边界部分采用循环补齐。
具体实施过程中,由于互补层图像与源图像尺寸相同,实施方法也相同,因此其滑窗尺寸n×n、图像块数量t和向量化后的图像块尺寸均与源图像保持一致。
步骤7:计算每一个原始图像块的显著度比值通过显著度阈值控制,对互补层向量化图像块进行重构,获得调整后的互补层
本具体实施方式中,以均方根值比值作为每一个原始图像块的显著度比值:
根据预置的高低阈值Thigh和Tlow,若说明中信息含量远高于对方,因此,只需要保留其对应的冗余层向量其中一个。若信息含量相差不大,因此,同时保留冗余层向量以待进一步的融合操作。
传统方法显著度阈值控制方式为:虽然能够较好地直接体现出显著源的信息,但是由于损失了另一个非显著源的所有信息,通常会在图像上产生亮暗变化剧烈的斑驳现象,导致斑驳处细节信息不容易观察。
基于本发明的分层特点,本发明提出了一种新的显著度阈值控制方式:在该方式下,能够保留非显著源的亮度信息,使得这种斑驳的现象得到改善,作为代价显著源信息的对比度会一定程度上受到影响。其中代表一个与尺寸相同的,所有元素值全为1的向量。实质上,由于尺寸相同,指的是完全一样的两个向量。
在具体实现时,显著度阈值控制方式即可以采用传统的,也可以是本发明提出的。
图4展示了在源图像对(2-a)(2-b)与(2-c)(2-d)融合中,分别采用传统和本发明提出的新的显著度阈值控制方式并且阈值Thigh和Tlow设定不同的条件下,获得的多个视觉效果不同的融合结果。
步骤8:依据步骤6中操作的逆操作,将步骤7中获得的权重图像块重构为新的差异层
步骤9:将权重差异层利用双树复小波算法进行融合,获得融合后的权重互补层将冗余层利用双树复小波算法进行融合,获得融合后的冗余层
具体实施过程中,双树复小波分层数量为4层。
步骤10:将乘上全局权重系数θ获得权重融合差异层
该权重系数可以利用计算源图像x1和x2之间的最小欧式距离,来获得一个与源图像在视觉上亮度最一致的结果,记该权重系数为θa。在θa下,观察者会觉得融合后的图像与源图像的亮度保持得最一致,这一点在多聚焦图像融合更为明显。
由于本发明将冗余信息和互补信息进行了区分,而冗余信息和互补信息在不同的应用中可能有不同的作用。根据本发明面对的应用不同,亦可以人为设置θ,从而达到对互补信息的强调或弱化,进而使得融合结果在后续应用中取得更好的效果。
说明书附图图5展示了在源图像对(2-a)(2-b)与(2-c)(2-d)融合中,采用不同全局权重系数θ的情况下,获得的多个视觉效果不同的融合结果。全局权重系数θ∈[0,+∞),当θ<θa时,互补信息在融合结果中的表达被弱化,与之相反时,互补信息在融合结果中的表达获得了增强。值得注意的是,虽然θ∈[0,+∞),但全局权重系数θ偏离θa越多,则图像出现越多的失真现象。
步骤11:将直接相加,得到最终的融合图像xF
仿真结果及其比较:
图3展现了本发明分层算法获得的冗余层图像与互补层图像,可以明显的发现,本方法中冗余层较好体现了在源中与另一源冗余的部分。源图像与冗余层图像做差,成功地从图像中剥离出了两幅图比较互补的部分。
图4展示了本发明在通过控制不同源的互补信息表达,使得能够选择性地保留某些信息,同时在视觉效果上得到了提升,能够在图像中得到更好的效果。通过对实验结果的比较,虽然传统显著度阈值控制方式能够更好地符合源图的对比度信息,但是过于斑驳,而本发明的显著度阈值控制方式使得细节显示更加完整清晰。其中,图(4-a1)-(4-a5),(4-c1)-(4-c5)采用传统显著度阈值控制方式;(4-b1)-(4-b5),(4-d1)-(4-d5)采用本发明提出的显著度阈值控制方式,且阈值从k1~k5(k∈{a,b,c,d})依次为:Thigh=Tlow=0、Thigh=Tlow=∞、Thigh=Tlow=1、和Thigh=2/Tlow=0.5。
图5展示了本发明在通过控制互补信息与冗余信息表达的比例,使得最终融合结果能够较好地符合人眼视觉和后续机器处理。且显著度阈值控制方式为本发明提出的方式。其中(5-a1)-(5-a5)权重系数θ分别为最一致值1.13,0.2,0.6,1,1.4,(b1)-(b5)权重系数θ分别为最一致值0.51,0.2,0.6,1,1.4。其中,红外可见光场景最适宜值约在1.13左右,此时幅度信息和梯度信息可辨识度最高,并且没有出现较大的失真。多聚焦图像场景最适宜值约在0.51左右,此时图像总体幅度信息与源图像最为一致,梯度信息可辨识度未受到损害,符合人眼视觉观察。
说明书附图图6中,将本发明最优结果与前述分层算法中的双树复小波变化(DTCWT)、非下采样轮廓波变换(NSCT)和联合稀疏表示(JSR)等三个算法的结果进行了对比,主观视觉上可以明显发觉本发明融合效果在结构清晰度、重要信息继承上优于这些算法。本发明在红外与可见光融合场景上,保留了大量其他方法没有保留的内容,例如:左上方花台右侧的圆型栏杆,左侧交通灯的连接杆,以及(6-a2)中明显保留的左侧交通灯下面的交通线。与此同时,在最左侧人手握的手机、中间酒吧凳子以及行人背包等细节信息上,本发明极好的融合了两源图像互补的部分,使得视觉效果更加突出。本发明在多聚焦融合场景上,突出了钟表内的纹理和指针,使得图像变得更加清晰,同时通过权重控制,使得视觉效果保持了与源图像相一致,没有在使图像清晰的过程中出现人工分量的痕迹。
为了使得本发明融合效果与其他方法有着更为精确的比较,在表1中,利用结构相似性指标(SSIM,Structure Similarity Index Measure),信息熵(Entropy),空间频率(SF,Space Frequency)和视觉保真度(VIF,visual information fidelity)来对各个结果进行了评价,结果如表一所示。
表1.本发明与对比方法融合结果客观评价
表1中,权重控制(1)方案表示传统的显著度阈值控制方式,权重控制(2)方案表示本发明提出的新的显著度阈值控制方式。从表1中可以发现,除了结构相似度指标外,本发明在其余指标上全面超过其他方法。这是因为本方法将源图像中互补信息和冗余信息的分开进行处理,以一定程度的结构相似度作为代价,使得存留的结构更为丰富,结构的表现更为清晰,融合图像中包含更多有效信息量。
在运算速度上,对于一个尺寸为250×250,完成从步骤1至步骤11,平均耗时约为13.37s。实验计算机CPU型号为:Intel(R)Core(TM)i7-3630QM CPU@2.40GHz。
以上所述,仅为本发明的具体实施方式,本说明书中所公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换;所公开的所有特征、或所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以任何方式组合。

Claims (5)

1.一种基于原始图像内容的分层权重图像融合方法,其特征在于,包括下列步骤:
步骤S1:对源图像x1和x2的进行冗余-互补分层处理:
步骤S101:对源图像x1和x2进行图像预处理后,基于n×n的滑动窗口,对预处理后的源图像进行滑窗处理,分别得到t个大小为n×n的图像块W1 i其中i为图像块区分符,其中图像预处理包括:图像配准、图像尺寸归一化;
再分别对图像块W1 i进行向量化处理,得到列向量
步骤S102:计算之间的每个对应像素点的比值以及中的最小值
根据公式计算图像块的冗余向量
步骤S103:按照滑窗操作的逆操作,将每一个冗余向量重构成为冗余图像块W1 i,C并将冗余图像块W1 i,C分别重构成为源图像x1和x2的冗余层
步骤S104:源图像x1和x2减去各自的冗余层得到互补层
步骤S2:对冗余层、互补层分别进行融合处理:
步骤S201:基于n×n的滑动窗口,对互补层图像分别进行滑窗处理,分别得到t个大小为n×n的互补图像块W1 i,I再分别对互补图像块W1 i,I进行向量化处理,得到列向量
步骤S202:由源图像x1和x2中同一图像位置的图像块构成一对源图像块,分别计算每一对源图像块的显著度比值通过显著度阈值控制,对互补层的向量化图像块进行调整,获得调整后的互补层图像块
步骤S203:按照滑窗操作的逆操作,将调整后的互补层图像块重构为新的差异层
步骤S204:将冗余层进行图像融合,获得融合后的冗余层
将新的差异层进行图像融合,获得融合后的权重互补层
步骤S3:基于预置的全局权重系数θ,将乘上全局权重系数θ获得权重融合差异层再将相加,得到最终的融合图像xF
2.如权利要求1所述的方法,其特征在于,步骤S202中,计算显著度比值为:
对每对源图像的向量化图像块内部进行均方归一化,得到均方归一化以后的向量化图像块并计算的均方根值,将其记录为V1 i
然后根据得到
3.如权利要求1所述的方法,其特征在于,步骤S202中,调整后的互补层图像块具体为:
其中,Thigh、Tlow表示预置的高低阈值,表示与尺寸相同且所有元素值全为1的向量。
4.如权利要求1、2或3所述的方法,其特征在于,步骤S204中,图像融合的优选方式为:基于双树复小波方法的图像融合。
5.如权利要求1、2或3所述的方法,其特征在于,滑窗步长设置为1。
CN201710830558.6A 2017-09-15 2017-09-15 一种基于原始图像内容的分层权重图像融合方法 Active CN107680070B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710830558.6A CN107680070B (zh) 2017-09-15 2017-09-15 一种基于原始图像内容的分层权重图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710830558.6A CN107680070B (zh) 2017-09-15 2017-09-15 一种基于原始图像内容的分层权重图像融合方法

Publications (2)

Publication Number Publication Date
CN107680070A true CN107680070A (zh) 2018-02-09
CN107680070B CN107680070B (zh) 2020-08-11

Family

ID=61136898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710830558.6A Active CN107680070B (zh) 2017-09-15 2017-09-15 一种基于原始图像内容的分层权重图像融合方法

Country Status (1)

Country Link
CN (1) CN107680070B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446910A (zh) * 2018-09-17 2019-03-08 中国人民解放军空军工程大学 一种通信辐射源信号分类识别方法
CN109816609A (zh) * 2019-01-31 2019-05-28 领航基因科技(杭州)有限公司 一种基于傅里叶变换的数字pcr图像还原方法及其应用
CN109934794A (zh) * 2019-02-20 2019-06-25 常熟理工学院 一种基于显著稀疏表示和邻域信息的多聚焦图像融合方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663724A (zh) * 2012-03-03 2012-09-12 西安电子科技大学 基于自适应差异图的遥感图像变化检测方法
CN105913408A (zh) * 2016-04-12 2016-08-31 湘潭大学 一种基于双边滤波器的多聚焦图像融合方法
CN106023122A (zh) * 2016-05-05 2016-10-12 江南大学 基于多通道分解的图像融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663724A (zh) * 2012-03-03 2012-09-12 西安电子科技大学 基于自适应差异图的遥感图像变化检测方法
CN105913408A (zh) * 2016-04-12 2016-08-31 湘潭大学 一种基于双边滤波器的多聚焦图像融合方法
CN106023122A (zh) * 2016-05-05 2016-10-12 江南大学 基于多通道分解的图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘羽: "像素级多源图像融合方法研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446910A (zh) * 2018-09-17 2019-03-08 中国人民解放军空军工程大学 一种通信辐射源信号分类识别方法
CN109446910B (zh) * 2018-09-17 2021-12-07 中国人民解放军空军工程大学 一种通信辐射源信号分类识别方法
CN109816609A (zh) * 2019-01-31 2019-05-28 领航基因科技(杭州)有限公司 一种基于傅里叶变换的数字pcr图像还原方法及其应用
CN109934794A (zh) * 2019-02-20 2019-06-25 常熟理工学院 一种基于显著稀疏表示和邻域信息的多聚焦图像融合方法
CN109934794B (zh) * 2019-02-20 2020-10-27 常熟理工学院 一种基于显著稀疏表示和邻域信息的多聚焦图像融合方法

Also Published As

Publication number Publication date
CN107680070B (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN109815893B (zh) 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法
CN107977629A (zh) 一种基于特征分离对抗网络的人脸图像衰老合成方法
CN101339670B (zh) 一种计算机辅助的三维颅面复原方法
CN107169974A (zh) 一种基于多监督全卷积神经网络的图像分割方法
CN109345494B (zh) 基于潜在低秩表示和结构张量的图像融合方法及装置
CN108932536A (zh) 基于深度神经网络的人脸姿态重建方法
CN108399611A (zh) 基于梯度正则化的多聚焦图像融合方法
Zhao et al. Medical image fusion method based on dense block and deep convolutional generative adversarial network
CN103971329A (zh) 一种基于遗传优化细胞神经网络的多源图像融合方法
CN107680070A (zh) 一种基于原始图像内容的分层权重图像融合方法
CN108665414A (zh) 自然场景图片生成方法
CN111062340A (zh) 一种基于虚拟姿态样本合成的异常步态行为识别方法
CN110458802A (zh) 基于投影权值归一化的立体图像质量评价方法
Memisevic et al. Stereopsis via deep learning
CN106897986A (zh) 一种基于多尺度分析的可见光图像与远红外图像融合方法
CN109410157A (zh) 基于低秩稀疏分解和pcnn的图像融合方法
Yang et al. A novel fusion technique for CT and MRI medical image based on NSST
DE102022123434A1 (de) Gemeinsame Schätzung von Herzfrequenz und Atemfrequenz unter Verwendung neuronaler Netze
CN107481224A (zh) 基于线粒体结构的图像配准方法及装置、存储介质及设备
Wang et al. Transform domain based medical image super-resolution via deep multi-scale network
CN112488971A (zh) 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法
Qi et al. Age estimation from MR images via 3D convolutional neural network and densely connect
CN112288645A (zh) 一种颅骨面貌复原模型构建方法及复原方法与系统
CN117094925A (zh) 一种基于点代理增强和逐层上采样的猪体点云补全方法
Pan et al. Fused 3D Transparent Visualization for Large-Scale Cultural Heritage Using Deep Learning-Based Monocular Reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant