CN103049893A - 一种图像融合质量评价的方法及装置 - Google Patents

一种图像融合质量评价的方法及装置 Download PDF

Info

Publication number
CN103049893A
CN103049893A CN2011103128732A CN201110312873A CN103049893A CN 103049893 A CN103049893 A CN 103049893A CN 2011103128732 A CN2011103128732 A CN 2011103128732A CN 201110312873 A CN201110312873 A CN 201110312873A CN 103049893 A CN103049893 A CN 103049893A
Authority
CN
China
Prior art keywords
source images
variance
images
vision
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103128732A
Other languages
English (en)
Other versions
CN103049893B (zh
Inventor
任仙怡
胡涛
陆芸婷
陈三风
梁永生
张基宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Information Technology
Original Assignee
Shenzhen Institute of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Information Technology filed Critical Shenzhen Institute of Information Technology
Priority to CN201110312873.2A priority Critical patent/CN103049893B/zh
Publication of CN103049893A publication Critical patent/CN103049893A/zh
Application granted granted Critical
Publication of CN103049893B publication Critical patent/CN103049893B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明适用于图像融合技术领域,提供了一种图像融合质量评价的方法及装置,所述方法包括:获取各源图像及所述源图像的融合图像;对各源图像采用模糊聚类方法进行分割得到分割图像,并将各分割图像合并为一个总的分割图;获取各源图像的视觉方差显著图;根据视觉方差显著图计算权值图,并根据视觉方差显著图和总的分割图计算源图像和融合图像各区域的显著系数;根据总的分割图、权值图和显著系数,计算各个区域上融合图像与源图像的加权结构相似度;将所有区域的加权结构相似度求和得到该融合图像质量的评价指标。本发明的评价指标与现有的EFQI指标和传统的客观评价指标相比,能更好的反映图像融合的质量,与主观评价具有更高的一致性。

Description

一种图像融合质量评价的方法及装置
技术领域
本发明属于图像处理中的图像融合技术领域,尤其涉及一种图像融合质量评价的方法及装置。
背景技术
图像融合是指将两幅或者两幅以上的源图像组合成一幅包含各源图像显著信息的复合图像,从而获得对某一场景或者目标更全面、清晰的描述。图像融合技术以其突出的探测优越性,广泛的应用于遥感、计算机视觉、医学军事目标探测和识别等方面,图像融合算法也进入了较为成熟的阶段。然而,与图像融合算法本身的成熟度相比,对图像融合质量的评价还存在较大的缺陷。
目前,对图像融合质量的评价主要包括主观评价和客观评价,主观评价主要依靠观察者的主观感觉,评价的结论会随着观察者的兴趣以及应用领域和场合的要求不同而不同。而客观评价主要是通过定义一些数学公式,建立起与图像质量含义相关的数学模型,然后对待评价图像进行运算,将得到数字量作为评价指标。客观评价方法具有成本低、易于实现等优点,但现有的客观评价方法最大问题在于没有充分考虑人类视觉系统的特点,使得判断结果往往与主观判断存在出入。
现有的主流图像融合质量评价方法是Gemma Piella提出的基于结构相似度的加权评价方法,该方法分别计算融合图像与源图像、融合图像的边缘图像与源图像的边缘图像的结构相似度,并以两者乘积作为评价指标,即基于边缘信息的融合质量评价指标(edge-dependent fusion quality index,EFQI)。EFQI不仅把结构相似度引入图像融合质量评价方法中,而且充分考虑了人眼对边缘信息敏感的特性,使得EFQI比传统评价指标更能准确地反映融合图像的质量。
然而,EFQI也存在以下问题:首先,在EFQI中是以方差、梯度或熵作为特征来提取图像的显著区域并给显著区域赋予更大的权值来提取评价指标。多聚焦图像和医学图像中纹理细节比较多,而且显著信息恰恰集中在纹理细节比较多的区域,因此对这些区域赋予更大的权值是合理的。但红外图像中的边缘纹理等细节信息相对较少,均匀灰度区域信息相对的比较多。红外图像中的显著区域往往是在灰度平坦的高温亮区域,这些区域在EFQI中反而会受到抑制,因此现有的EFQI在红外与可见光图像融合质量评价表现不佳。其次,EFQI评价指标中是计算固定大小的矩形窗口上融合图像与源图像之间的加权结构相似度,没有充分考虑人类视觉系统的特点,而且容易受图像模糊和噪声的影响。
发明内容
本发明实施例提供一种图像融合质量评价的方法,旨在解决现有的主流图像融合质量评价方法存在的上述问题。
本发明实施例是这样实现的,一种图像融合质量评价的方法,所述方法包括:
获取各源图像以及所述源图像的融合图像;
对各源图像采用模糊聚类方法进行分割得到分割图像,并将各源图像的分割图像合并为一个总的分割图;
获取各源图像的视觉显著图和方差显著图,将所述视觉显著图和方差显著图合并为视觉方差显著图;
根据所述视觉方差显著图计算权值图,并根据所述视觉方差显著图和总的分割图计算所述源图像和融合图像各区域的显著系数;
根据所述总的分割图、权值图和显著系数,计算各个区域上融合图像与源图像的加权结构相似度;
将所有区域的加权结构相似度求和得到该融合图像质量的评价指标。
本发明实施例还提供一种图像融合质量评价的装置,所述装置包括:
图像获取单元,用于获取各源图像以及所述源图像的融合图像;
图像分割单元,用于对各源图像采用模糊聚类方法进行分割得到分割图像,并将各源图像的分割图像合并为一个总的分割图;
显著图获取单元,用于获取各源图像的视觉显著图和方差显著图,将所述视觉显著图和方差显著图合并为视觉方差显著图;
第一计算单元,用于根据所述视觉方差显著图计算权值图,并根据所述视觉方差显著图和总的分割图计算所述源图像和融合图像各区域的显著系数;
第二计算单元,用于根据所述总的分割图、权值图和显著系数,计算各个区域上融合图像与源图像的加权结构相似度;
指标获取单元,用于将所有区域的加权结构相似度求和得到该融合图像质量的评价指标。
从上述技术方案中可以看出,本发明实施例在图像融合质量评价指标中引入视觉注意机制,即各源图像的视觉显著图,从而赋予人眼敏感区域以更大的权值,并在结构相似度的计算中舍弃了固定窗口计算而采用区域计算方法使得评价指标更符合人类视觉特性并能避免图像模糊和噪声的影响。另外,通过仿真实验验证,本发明的图像融合质量评价指标与现有的EFQI指标和传统的客观图像融合质量评价指标相比,与主观评价具有更高的一致性,能更好地反映图像融合的质量。
附图说明
图1是本发明实施例一提供的图像融合质量评价方法的实现流程图;
图2是本发明实施例一提供的总显著图计算模型的原理流程图;
图3是本发明实施例一提供的红外和可见光图像及融合图像;
图4是本发明实施例一提供的各源图像的分割图像及合并的总的分割图;
图5是本发明实施例一提供的红外和可见光图像的方差视觉显著图;
图6是本发明实施例二提供的的图像融合质量评价装置的组成结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了更好的理解本发明实施例,下面分别对结构相似度和EFQI评价指标进行介绍。
结构相似度
给定两幅大小同为M×N的图像A和F,F可以表示为源图像A的融合图像,
Figure BDA0000098864260000041
为A和F像素的均值,
Figure BDA0000098864260000042
和σAF分别为源图像A、融合图像F的方差以及A和F之间的协方差,即
σ A 2 = 1 MN - 1 Σ m = 1 M Σ n = 1 N ( A ( m , n ) - A ‾ ) 2
σ AF = 1 MN - 1 Σ m = 1 M Σ n = 1 N ( A ( m , n ) - A ‾ ) ( F ( m , n ) - F ‾ ) . - - - ( 1 )
并定义
Q 0 ( A , F ) = σ AF σ A σ F · 2 A ‾ F ‾ A ‾ 2 + F ‾ 2 · 2 σ A σ F σ A 2 + σ F 2 - - - ( 2 )
Q0(A,F)即为图像A和F之间的结构相似度指标,取值范围在-1到1之间。乘积的第一部分为两图像的相似系数,第二部分为亮度扭曲度,第三部分为对比度扭曲度。
EFQI评价指标
此指标定义为:QF(A,B,F)=QW(A,B,F)1-α·QW(A′,B′,F′)α(3)
其中A′、B′和F′分别为源图像和融合图像的边缘梯度图像,α为边缘梯度信息的所占权重,QW是加权融合质量指标,定义为:
Q W ( A , B , F ) = Σ w ∈ W c ( w ) ( λ A ( w ) Q 0 ( A , F | w ) + λ B ( w ) Q 0 ( B , F | w ) ) - - - ( 4 )
其中λA(w)、λB(w)分别为两输入图像的方差显著图在固定大小窗口w处的权值系数。取值在0到1之间,表示图像A相对于图像B在窗口W处的相对重要性,λA(w)值越大,将给予图像A更大的权值。典型的计算方法如式(5)所示,式中s(A|w)表示图像A在窗口W处的局部显著性,可以体现A在窗口W处的显著程度,可以通过计算局部的对比度、方差或熵来得到。
λ A ( w ) = s ( A | w ) s ( A | w ) + s ( B | w ) , λB(w)=1-λA(w)       (5)
c(w)为窗口在所有窗口中的显著性系数,计算方法为:
c ( w ) = C ( w ) Σ w ′ ∈ W C ( w ′ ) - - - ( 6 )
其中C(w)为一个窗口的显著性系数。可以通过计算图像A和图像B在该窗口处的显著性之和或极大值来计算。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例一:
图1示出了本发明实施例一提供的图像融合质量评价方法的实现流程,该方法过程详述如下:
在步骤S101中,获取各源图像以及所述源图像的融合图像;
在步骤S102中,对各源图像采用模糊聚类方法进行分割得到分割图像,并将各源图像的分割图像合并为一个总的分割图;
在步骤S103中,获取各源图像的视觉显著图和方差显著图,将所述视觉显著图和方差显著图合并为视觉方差显著图;
在步骤S104中,根据所述视觉方差显著图计算权值图,并根据所述视觉方差显著图和总的分割图计算所述源图像和融合图像各区域的显著系数;
在步骤S105中,根据所述总的分割图、权值图和显著系数,计算各个区域上融合图像与源图像的加权结构相似度;
在步骤S106中,将所有区域的加权结构相似度求和得到该融合图像质量的评价指标。
在本实施例中,各源图像的分割图像的合并原则是:只有在所述源图像的分割图像属于同一连通区域的像素时,在总的分割图中合并为于同一区域,分割图像不属于同一连通区域的像素在总的分割图中不属于同一区域。例如:将源图像A分割为区域1和区域2,源图像B分割为区域3和区域4,然后将分割后的源图像合并为一个总的分割图,该总的分割图包括区域1、区域2、区域3和区域4。其中,分割图像合并的具体过程可以采用现有技术实现,在此不再赘述。本实施例还包括通过合并得到的总的分割图作为区域划分方法提取融合图像和各源图像中每一个区域的图像。
人类在观察和理解图像时往往会不自觉地对其中某些区域产生兴趣,这些区域被称为“感兴趣区域”(Region Of Interest,ROI)。实验发现,融合图像的视觉质量往往取决于ROI区域图像的质量,而不感兴趣区域图像的降质则不易被人眼察觉。因此若融合图像评价指标能对图像中不同区域赋于不同的权值从而突出ROI区域上融合图像与原始图像的结构一致性,必能使指标评价结果与主观评价结果更为一致。
本实施例通过现有的视觉注意机制模型生成视觉显著图,提取源图像的多类特征(如亮度、纹理、朝向和密度等),形成各个通道上的视觉显著图,并将所述视觉显著图进行合并得到总的视觉显著图,具体如图2所示。
视觉注意机制模型提取到的视觉显著图体现了人眼对宏观上的区域的敏感程度,因此可以看作是宏观上的显著性。而局部方差则体现了微观区域中细节的丰富程度,可以看作是微观上的显著性。本实施例结合方差显著图和视觉显著图一起提取待融合图像的视觉方差显著图,它可以从宏观和微观两个方面体现图像中各个区域的显著性,提取到的权值系数将能够更加准确地反映源图像之间及各个区域间的相对重要性。所述视觉方差显著图的计算方法如下:
Figure BDA0000098864260000061
其中,a为源图像,sg(a)为源图像的视觉显著图,sl(a)为源图像的方差显著图,
Figure BDA0000098864260000071
Tsg(a)分别为预先设置的第一、第二阈值,所述阈值可根据图像处理系统的性能等来设定。
相比EFQI指标中以固定大小窗口计算加权结构相似度,本实施例采用有明确物理意义的区域计算融合图像与各源图像在区域上的结构相似度,使得评价指标更符合人类视觉特性并且能避免图像模糊和噪声的影响。
本实施例在结合视觉注意机制与区域结构相似度的融合图像质量评价指标后,将式(4)更改为式(8),式(3)更改为式(9)。其中,式(8)、式(9)如下所示:
Q R ( A , B , F ) = Σ r ∈ R c ( r ) ( λ A ( r ) Q 0 ( A , F | r ) + λ B ( r ) Q 0 ( B , F | r ) ) - - - ( 8 )
QER(A,B,F)=QR(A,B,F)1-α·QR(A,B,R)α(9)
其中A、B为源图像,F为A、B源图像的融合图像,λA(r)、λB(r)分别为源图像A、B的视觉方差显著图在区域r的加权参数,c(r)为区域r的显著性系数,Q0(A,F|r)、Q0(B,F|r)分别为源图像A、B和融合图像F在区域r的结构相似度。
其中,式(8)和式(4)的区别主要体现在两个方面:
1)以图像分割得到的区域代替式(4)中的固定大小窗口来计算融合图像与源图像之间的加权结构相似度。
2)式(8)中的加权参数是根据式(7)中各源图像的视觉显著图、方差显著图和视觉方差显著图确定。
本发明实施例还给出了计算机基于一定仿真条件下的仿真结果图,以体现出本发明实施例的技术方案获得的有益效果。
本发明实施例首先对多对红外与可见光图像利用十种不同的融合算法进行融合,然后对融合图像进行主观评价,再利用包括本发明图像融合质量评价指标在内的多个不同客观评价指标对融合图像进行评价,并对各个客观评价指标与主观评价的一致性进行分析。
本发明实施例选取其中一组图像的结果进行展示。红外和可见光源图像以及现有的各种融合算法融合得到的图像,如图3所示。其中图3a、图3b为源图像,图3c、图3d、图3e、图3f、图3g、图3h、图3i、图3j、图3k、图3l分别为采用拉普拉斯金字塔算法、DWT算法、比率金字塔算法、均值算法、PCA算法、形态学金字塔算法、对比金字塔算法、FSD金字塔算法、梯度金字塔算法和SIDWT算法所得到的融合图像。
主观评价
实验组织20位观察者(由11名从事图像处理技术研究的专业人员和9名非专业人员组成,平均年龄25岁)对融合结果图像进行主观评价。实验采用五级评分制对融合结果图像进行评价,评分范围设定为“1~5”,“1”表示最差,“5”表示最好,“2~4”为中间过渡过程。评分分值与评价主体的主观感受对应如表1所示。由于有20个观察员进行评价,因此每一幅融合结果图像都可以得到一个20维的主观评分向量和一个主观评价的平均分。
表1评分分值与主观感受对应
Figure BDA0000098864260000081
20位观察者对融合图像进行主观评价的平均分如表2所示:
表2不同融合算法得到的融合图像质量的主观评价结果
Figure BDA0000098864260000091
客观指标评价
采用传统的评价指标(偏差度、平均梯度、熵、互信息、EFQI)以及本发明实施例提出的评价指标对不同的融合算法得到的融合图像进行评价,评价结果如表3所示。
表3不同融合算法得到的融合图像质量的客观评价结果
Figure BDA0000098864260000092
在计算本发明实施例提出的评价指标时,采用模糊聚类方法对源图像进行3类图像分割,再将两幅分割图像进行合并。原图像分割为三类,合并后图像像素被分为九类。各源图像分割结果图像及最终合并的结果图像如图4所示。
图5分别是根据视觉注意机制和局部方差得到的可见光和红外源图像视觉方差显著图。这两张图用来指导权值系数c(r)、λA(r)、λB(r)的计算。
主客观评价一致性分析
对于十种算法所得到的融合图像,每种评价指标以及主观性评价得到的都是一个向量,评价两个向量之间的关系的最直接的方法就是相关性分析。计算两个向量X,Y之间的相关系数的公式为:
R = Σ ( X - X ‾ ) ( Y - Y ‾ ) Σ ( X - X ‾ ) 2 Σ ( Y - Y ‾ ) 2 - - - ( 10 )
其中,
Figure BDA0000098864260000102
分别为向量X,Y的均值。相关系数的值越大,说明两个向量的一致性更好。
根据公式(10)计算各个评价指标与主观评价结果的相关系数,各评价方法与主观评价结果相关系数如表4所示。
表4评价方法与主观评价结果相关系数
Figure BDA0000098864260000103
由表4可见,传统评价方法与主观评价相关系数较低,甚至出现了负相关。擅长评价红外与可见光融合图像质量的互信息与EFQI评价效果相当,而本发明的评价指标与主观评价的一致性明显高于其它评价方法。
从视觉效果来看,虽然互信息在评价红外与可见光融合质量有一定优势,但它过高评价了形态学金字塔算法融合图像质量,对比度金字塔、FSD金字塔和梯度金字塔算法融合质量比比率金字塔算法融合质量差,这与主观评价结果不符,而本发明评价指标评价结果与主观评价结果保持一致。从PCA算法融合结果图像可以看到,融合图像中几乎没有融入红外源图像的信息,红外源图像中的人在融合图像中几乎不可见,融合图像质量较差,而EFQI评价指标却错误地指出PCA算法比能融入红外源图像的比率金字塔算法融合效果好,这与主观评价把PCA算法评为最差算法的结果不一致,而本发明评价指标能正确地指出PCA算法融合效果差于其它9种算法;形态学金字塔算法融合图像出现了团块现象,本发明评价指标与主观评分都把此算法的融合质量列在了倒数第二的位置;比率金字塔算法易受噪声的影响,融合质量不佳,均值算法出现了模糊的现象融合效果也不好,本发明评价指标把它们列在倒数第三和第四的位置,与主观评价基本一致,较好地克服了图像模糊和噪声带来的评价不准确的问题。因此从视觉效果上也可以看出本发明评价指标所做的评价与主观评价结果更为一致。
实施例二:
图6示出了本发明实施例二提供的图像融合质量评价装置的组成结构,为了便于说明,仅示出了与本发明实施例相关的部分。
该图像融合质量评价装置可以是运行于各应用系统内的软件单元、硬件单元或者软硬件相结合的单元。
该图像融合质量评价装置包括图像获取单元61、图像分割单元62、显著图获取单元63、第一计算单元64、第二计算单元65以及指标获取单元66,其具体功能如下:
图像获取单元61,用于获取各源图像以及所述源图像的融合图像;
图像分割单元62,用于对各源图像采用模糊聚类方法进行分割得到分割图像,并将各源图像的分割图像合并为一个总的分割图;
显著图获取单元63,用于获取各源图像的视觉显著图和方差显著图,将所述视觉显著图和方差显著图合并为视觉方差显著图;
第一计算单元64,用于根据所述视觉方差显著图计算权值图,并根据所述视觉方差显著图和总的分割图计算所述源图像和融合图像各区域的显著系数;
第二计算单元65,用于根据所述总的分割图、权值图和显著系数,计算各个区域上融合图像与源图像的加权结构相似度;
指标获取单元66,用于将所有区域的加权结构相似度求和得到该融合图像质量的评价指标。
在本实施例中,所述融合图像质量的评价指标为 Q R ( A , B , F ) = Σ r ∈ R c ( r ) ( λ A ( r ) Q 0 ( A , F | r ) + λ B ( r ) Q 0 ( B , F | r ) ) , 其中A、B为源图像,F为A、B源图像的融合图像,λA(r)、λB(r)分别为源图像A、B的视觉方差显著图在区域r的加权参数,c(r)为区域r的显著性系数,Q0(A,F|r)、Q0(B,F|r)分别为源图像A、B和融合图像F在区域r的结构相似度。
所述加权参数通过所述源图像的视觉显著图、方差显著图和视觉方差显著图确定,所述视觉方差显著图的计算方法如下:
其中,a为源图像,sg(a)为源图像的视觉显著图,sl(a)为源图像的方差显著图,
Figure BDA0000098864260000123
Tsg(a)分别为预先设置的第一、第二阈值。
所述结构相似度的计算公式为: Q 0 ( A , F ) = σ AF σ A σ F · 2 A ‾ F ‾ A ‾ 2 + F ‾ 2 · 2 σ A σ F σ A 2 + σ F 2 , 其中
Figure BDA0000098864260000125
Figure BDA0000098864260000126
和σAF分别为源图像A、融合图像F的方差以及A和F之间的协方差,
Figure BDA0000098864260000127
为A和F像素的均值。
所述分割图像的合并原则为在所述源图像的分割图像属于同一连通区域的像素时,在总的分割图中合并为同一区域。
所述源图像和融合图像的各区域根据所述总的分割图划分获得。
本实施例提供的图像融合质量评价装置可以使用在前述对应的图像融合质量评价方法中,详情参见上述图像融合质量评价方法实施例一的相关描述,在此不再赘述。
综上所述,本发明实施例提供的图像融合质量评价方法充分考虑了人类视觉感兴趣区域和人眼对区域信息敏感的特性,使用方差显著图与视觉显著图相结合的加权方法对图像中的显著区域赋予更大的权值,并采用更符合人类视觉特性的区域计算方法求取融合结果图像和源图像在各区域上的结构相似度以评价融合质量。通过本发明实施例的图像融合质量评价方法评价十种不同融合算法的融合图像,并与主观评价结果进行相关性分析,分析结果表明本发明实施例提供的图像融合质量评价方法相比传统的评价指标能更有效地反映融合图像质量,与主观评价结果一致性更高。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像融合质量评价的方法,其特征在于,所述方法包括:
获取各源图像以及所述源图像的融合图像;
对各源图像采用模糊聚类方法进行分割得到分割图像,并将各源图像的分割图像合并为一个总的分割图;
获取各源图像的视觉显著图和方差显著图,将所述视觉显著图和方差显著图合并为视觉方差显著图;
根据所述视觉方差显著图计算权值图,并根据所述视觉方差显著图和总的分割图计算所述源图像和融合图像各区域的显著系数;
根据所述总的分割图、权值图和显著系数,计算各个区域上融合图像与源图像的加权结构相似度;
将所有区域的加权结构相似度求和得到该融合图像质量的评价指标。
2.如权利要求1所述的方法,其特征在于,所述融合图像质量的评价指标为 Q R ( A , B , F ) = Σ r ∈ R c ( r ) ( λ A ( r ) Q 0 ( A , F | r ) + λ B ( r ) Q 0 ( B , F | r ) ) , 其中A、B为源图像,F为A、B源图像的融合图像,λA(r)、λB(r)分别为源图像A、B的视觉方差显著图在区域r的加权参数,c(r)为区域r的显著性系数,Q0(A,F|r)、Q0(B,F|r)分别为源图像A、B和融合图像F在区域r的结构相似度。
3.如权利要求2所述的方法,其特征在于,所述加权参数通过所述源图像的视觉显著图、方差显著图和视觉方差显著图确定,所述视觉方差显著图的计算方法如下:
Figure FDA0000098864250000012
其中,a为源图像,sg(a)为源图像的视觉显著图,sl(a)为源图像的方差显著图,
Figure FDA0000098864250000013
Tsg(a)分别为预先设置的第一、第二阈值。
4.如权利要求1所述的方法,其特征在于,所述分割图像的合并原则为在所述源图像的分割图像属于同一连通区域的像素时,在总的分割图中合并为同一区域。
5.如权利要求1所述的方法,其特征在于,所述源图像和融合图像的各区域根据所述总的分割图划分获得。
6.图像融合质量评价的,其特征在于,所述装置包括:
图像获取单元,用于获取各源图像以及所述源图像的融合图像;
图像分割单元,用于对各源图像采用模糊聚类方法进行分割得到分割图像,并将各源图像的分割图像合并为一个总的分割图;
显著图获取单元,用于获取各源图像的视觉显著图和方差显著图,将所述视觉显著图和方差显著图合并为视觉方差显著图;
第一计算单元,用于根据所述视觉显方差显著图计算权值图,并根据所述视觉方差显著图和总的分割图计算所述源图像和融合图像各区域的显著系数;
第二计算单元,用于根据所述总的分割图、权值图和显著系数,计算各个区域上融合图像与源图像的加权结构相似度;
指标获取单元,用于将所有区域的加权结构相似度求和得到该融合图像质量的评价指标。
7.如权利要求6所述的装置,其特征在于,所述融合图像质量的评价指标为 Q R ( A , B , F ) = Σ r ∈ R c ( r ) ( λ A ( r ) Q 0 ( A , F | r ) + λ B ( r ) Q 0 ( B , F | r ) ) , 其中A、B为源图像,F为A、B源图像的融合图像,λA(r)、λB(r)分别为源图像A、B的视觉方差显著图在区域r的加权参数,c(r)为区域r的显著性系数,Q0(A,F|r)、Q0(B,F|r)分别为源图像A、B和融合图像F在区域r的结构相似度。
8.如权利要求7所述的装置,其特征在于,所述加权参数通过所述源图像的视觉显著图、方差显著图和视觉方差显著图确定,所述视觉方差显著图的计算方法如下:
Figure FDA0000098864250000022
其中,a为源图像,sg(a)为源图像的视觉显著图,sl(a)为源图像的方差显著图,Tsg(a)分别为预先设置的第一、第二阈值。
9.如权利要求7所述的装置,其特征在于,所述分割图像的合并原则为在所述源图像的分割图像属于同一连通区域的像素时,在总的分割图中合并为同一区域。
10.如权利要求6所述的装置,其特征在于,所述源图像和融合图像的各区域根据所述总的分割图划分获得。
CN201110312873.2A 2011-10-14 2011-10-14 一种图像融合质量评价的方法及装置 Expired - Fee Related CN103049893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110312873.2A CN103049893B (zh) 2011-10-14 2011-10-14 一种图像融合质量评价的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110312873.2A CN103049893B (zh) 2011-10-14 2011-10-14 一种图像融合质量评价的方法及装置

Publications (2)

Publication Number Publication Date
CN103049893A true CN103049893A (zh) 2013-04-17
CN103049893B CN103049893B (zh) 2015-12-16

Family

ID=48062523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110312873.2A Expired - Fee Related CN103049893B (zh) 2011-10-14 2011-10-14 一种图像融合质量评价的方法及装置

Country Status (1)

Country Link
CN (1) CN103049893B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424385A (zh) * 2013-08-22 2015-03-18 上海联影医疗科技有限公司 一种医学影像的评价方法和装置
CN105046277A (zh) * 2015-07-15 2015-11-11 华南农业大学 特征显著性在图像质量评价中的鲁棒机理研究方法
CN106713741A (zh) * 2016-11-16 2017-05-24 深圳六滴科技有限公司 全景视频的质量诊断方法及装置
CN104123717B (zh) * 2013-04-26 2017-08-04 欧姆龙株式会社 图像处理装置、图像处理方法、程序以及记录介质
CN107784651A (zh) * 2017-10-31 2018-03-09 中国矿业大学 一种基于模糊检测加权的模糊图像质量评价方法
CN108122231A (zh) * 2018-01-10 2018-06-05 山东华软金盾软件股份有限公司 监控视频下基于roi拉普拉斯算法的图像质量评价方法
WO2019057067A1 (zh) * 2017-09-20 2019-03-28 众安信息技术服务有限公司 图像质量评估方法及装置
CN109949270A (zh) * 2019-01-28 2019-06-28 西北工业大学 基于区域卷积网络的多光谱和全色图像融合空间质量评价方法
CN110738628A (zh) * 2019-10-15 2020-01-31 湖北工业大学 一种基于wiml比较图的自适应焦点检测多聚焦图像融合方法
WO2020107717A1 (zh) * 2018-11-30 2020-06-04 长沙理工大学 视觉显著性区域检测方法及装置
CN111507969A (zh) * 2020-04-20 2020-08-07 北京英迈琪科技有限公司 一种图像融合质量检测方法及装置
CN113077408A (zh) * 2021-03-29 2021-07-06 维沃移动通信有限公司 融合系数的确定方法、装置、电子设备及存储介质
CN113920115A (zh) * 2021-12-13 2022-01-11 北京中新绿景科技有限公司 一种视频图像质量测评方法及测评系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840573A (zh) * 2010-04-12 2010-09-22 李珊珊 一种像素级图像融合质量评估方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840573A (zh) * 2010-04-12 2010-09-22 李珊珊 一种像素级图像融合质量评估方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIANYI REN等: "Novel Quality Measures for Image Fusion Based on Structural Similarity and Visual Attention Mechanism", 《MULTIMEDIA TECHNOLOGY (ICMT), 2010 INTERNATIONAL CONFERENCE ON》, 31 October 2010 (2010-10-31), pages 1 - 5, XP031797477 *
XIAOQING LUO等: "New metric of image fusion based on region similarity", 《OPTICAL ENGINEERING》, vol. 49, no. 4, 30 April 2010 (2010-04-30) *
刘秀坚等: "图像融合质量主客观评价相关性分析", 《深圳信息职业技术学院学报》, vol. 9, no. 1, 31 March 2011 (2011-03-31), pages 23 - 30 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123717B (zh) * 2013-04-26 2017-08-04 欧姆龙株式会社 图像处理装置、图像处理方法、程序以及记录介质
CN104424385A (zh) * 2013-08-22 2015-03-18 上海联影医疗科技有限公司 一种医学影像的评价方法和装置
CN104424385B (zh) * 2013-08-22 2018-08-31 武汉联影医疗科技有限公司 一种医学影像的评价方法和装置
CN105046277A (zh) * 2015-07-15 2015-11-11 华南农业大学 特征显著性在图像质量评价中的鲁棒机理研究方法
CN105046277B (zh) * 2015-07-15 2019-06-14 华南农业大学 特征显著性在图像质量评价中的鲁棒机理研究方法
CN106713741A (zh) * 2016-11-16 2017-05-24 深圳六滴科技有限公司 全景视频的质量诊断方法及装置
WO2019057067A1 (zh) * 2017-09-20 2019-03-28 众安信息技术服务有限公司 图像质量评估方法及装置
CN107784651A (zh) * 2017-10-31 2018-03-09 中国矿业大学 一种基于模糊检测加权的模糊图像质量评价方法
CN108122231A (zh) * 2018-01-10 2018-06-05 山东华软金盾软件股份有限公司 监控视频下基于roi拉普拉斯算法的图像质量评价方法
CN108122231B (zh) * 2018-01-10 2021-09-24 山东华软金盾软件股份有限公司 监控视频下基于roi拉普拉斯算法的图像质量评价方法
WO2020107717A1 (zh) * 2018-11-30 2020-06-04 长沙理工大学 视觉显著性区域检测方法及装置
CN109949270A (zh) * 2019-01-28 2019-06-28 西北工业大学 基于区域卷积网络的多光谱和全色图像融合空间质量评价方法
CN110738628A (zh) * 2019-10-15 2020-01-31 湖北工业大学 一种基于wiml比较图的自适应焦点检测多聚焦图像融合方法
CN110738628B (zh) * 2019-10-15 2023-09-05 湖北工业大学 一种基于wiml比较图的自适应焦点检测多聚焦图像融合方法
CN111507969A (zh) * 2020-04-20 2020-08-07 北京英迈琪科技有限公司 一种图像融合质量检测方法及装置
CN113077408A (zh) * 2021-03-29 2021-07-06 维沃移动通信有限公司 融合系数的确定方法、装置、电子设备及存储介质
CN113920115A (zh) * 2021-12-13 2022-01-11 北京中新绿景科技有限公司 一种视频图像质量测评方法及测评系统
CN113920115B (zh) * 2021-12-13 2022-03-04 北京中新绿景科技有限公司 一种视频图像质量测评方法及测评系统

Also Published As

Publication number Publication date
CN103049893B (zh) 2015-12-16

Similar Documents

Publication Publication Date Title
CN103049893B (zh) 一种图像融合质量评价的方法及装置
Zhu et al. A fast single image haze removal algorithm using color attenuation prior
CN101976444B (zh) 一种基于像素类型的结构类似性图像质量客观评价方法
CN103996195B (zh) 一种图像显著性检测方法
CN110033446A (zh) 基于孪生网络的增强图像质量评价方法
CN106462771A (zh) 一种3d图像的显著性检测方法
Coburn et al. A multiscale texture analysis procedure for improved forest stand classification
Rahebi et al. Retinal blood vessel segmentation with neural network by using gray-level co-occurrence matrix-based features
CN103096122B (zh) 基于感兴趣区域内运动特征的立体视觉舒适度评价方法
CN107564022B (zh) 基于贝叶斯融合的视频显著性检测方法
CN102422324B (zh) 年龄估计设备和方法
CN102169576A (zh) 一种图像拼接算法定量评价方法
CN102073995B (zh) 基于纹理金字塔与正则化局部回归的色彩恒常方法
CN110378232B (zh) 改进的ssd双网络的考场考生位置快速检测方法
Bortsova et al. Deep learning from label proportions for emphysema quantification
CN107610110A (zh) 一种全局和局部特征相结合的跨尺度图像质量评价方法
Yeganeh et al. Objective assessment of tone mapping algorithms
CN103905815B (zh) 基于高阶奇异值分解的视频融合性能评价方法
CN104838422A (zh) 图像处理设备及方法
CN101840573A (zh) 一种像素级图像融合质量评估方法
CN108846416A (zh) 显著图像的提取处理方法及系统
CN102013095A (zh) 基于分布变换的多传感器图像融合方法
CN102509119B (zh) 一种基于分类器的图像场景分层与对象遮挡处理方法
CN107341449A (zh) 一种基于云块特征变化的静止气象卫星降水估算方法
CN109754390A (zh) 一种基于混合视觉特征的无参考图像质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151216

Termination date: 20161014

CF01 Termination of patent right due to non-payment of annual fee