CN103049893B - 一种图像融合质量评价的方法及装置 - Google Patents

一种图像融合质量评价的方法及装置 Download PDF

Info

Publication number
CN103049893B
CN103049893B CN201110312873.2A CN201110312873A CN103049893B CN 103049893 B CN103049893 B CN 103049893B CN 201110312873 A CN201110312873 A CN 201110312873A CN 103049893 B CN103049893 B CN 103049893B
Authority
CN
China
Prior art keywords
mrow
image
source image
msub
saliency map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110312873.2A
Other languages
English (en)
Other versions
CN103049893A (zh
Inventor
任仙怡
胡涛
陆芸婷
陈三风
梁永生
张基宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Information Technology
Original Assignee
Shenzhen Institute of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Information Technology filed Critical Shenzhen Institute of Information Technology
Priority to CN201110312873.2A priority Critical patent/CN103049893B/zh
Publication of CN103049893A publication Critical patent/CN103049893A/zh
Application granted granted Critical
Publication of CN103049893B publication Critical patent/CN103049893B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明适用于图像融合技术领域,提供了一种图像融合质量评价的方法及装置,所述方法包括:获取各源图像及所述源图像的融合图像;对各源图像采用模糊聚类方法进行分割得到分割图像,并将各分割图像合并为一个总的分割图;获取各源图像的视觉方差显著图;根据视觉方差显著图计算权值图,并根据视觉方差显著图和总的分割图计算源图像和融合图像各区域的显著系数;根据总的分割图、权值图和显著系数,计算各个区域上融合图像与源图像的加权结构相似度;将所有区域的加权结构相似度求和得到该融合图像质量的评价指标。本发明的评价指标与现有的EFQI指标和传统的客观评价指标相比,能更好的反映图像融合的质量,与主观评价具有更高的一致性。

Description

一种图像融合质量评价的方法及装置
技术领域
本发明属于图像处理中的图像融合技术领域,尤其涉及一种图像融合质量评价的方法及装置。
背景技术
图像融合是指将两幅或者两幅以上的源图像组合成一幅包含各源图像显著信息的复合图像,从而获得对某一场景或者目标更全面、清晰的描述。图像融合技术以其突出的探测优越性,广泛的应用于遥感、计算机视觉、医学军事目标探测和识别等方面,图像融合算法也进入了较为成熟的阶段。然而,与图像融合算法本身的成熟度相比,对图像融合质量的评价还存在较大的缺陷。
目前,对图像融合质量的评价主要包括主观评价和客观评价,主观评价主要依靠观察者的主观感觉,评价的结论会随着观察者的兴趣以及应用领域和场合的要求不同而不同。而客观评价主要是通过定义一些数学公式,建立起与图像质量含义相关的数学模型,然后对待评价图像进行运算,将得到数字量作为评价指标。客观评价方法具有成本低、易于实现等优点,但现有的客观评价方法最大问题在于没有充分考虑人类视觉系统的特点,使得判断结果往往与主观判断存在出入。
现有的主流图像融合质量评价方法是GemmaPiella提出的基于结构相似度的加权评价方法,该方法分别计算融合图像与源图像、融合图像的边缘图像与源图像的边缘图像的结构相似度,并以两者乘积作为评价指标,即基于边缘信息的融合质量评价指标(edge-dependentfusionqualityindex,EFQI)。EFQI不仅把结构相似度引入图像融合质量评价方法中,而且充分考虑了人眼对边缘信息敏感的特性,使得EFQI比传统评价指标更能准确地反映融合图像的质量。
然而,EFQI也存在以下问题:首先,在EFQI中是以方差、梯度或熵作为特征来提取图像的显著区域并给显著区域赋予更大的权值来提取评价指标。多聚焦图像和医学图像中纹理细节比较多,而且显著信息恰恰集中在纹理细节比较多的区域,因此对这些区域赋予更大的权值是合理的。但红外图像中的边缘纹理等细节信息相对较少,均匀灰度区域信息相对的比较多。红外图像中的显著区域往往是在灰度平坦的高温亮区域,这些区域在EFQI中反而会受到抑制,因此现有的EFQI在红外与可见光图像融合质量评价表现不佳。其次,EFQI评价指标中是计算固定大小的矩形窗口上融合图像与源图像之间的加权结构相似度,没有充分考虑人类视觉系统的特点,而且容易受图像模糊和噪声的影响。
发明内容
本发明实施例提供一种图像融合质量评价的方法,旨在解决现有的主流图像融合质量评价方法存在的上述问题。
本发明实施例是这样实现的,一种图像融合质量评价的方法,所述方法包括:
获取各源图像以及所述源图像的融合图像;
对各源图像采用模糊聚类方法进行分割得到分割图像,并将各源图像的分割图像合并为一个总的分割图;
获取各源图像的视觉显著图和方差显著图,将所述视觉显著图和方差显著图合并为视觉方差显著图;
根据所述视觉方差显著图计算权值图,并根据所述视觉方差显著图和总的分割图计算所述源图像和融合图像各区域的显著系数;
根据所述总的分割图、权值图和显著系数,计算各个区域上融合图像与源图像的加权结构相似度;
将所有区域的加权结构相似度求和得到该融合图像质量的评价指标。
本发明实施例还提供一种图像融合质量评价的装置,所述装置包括:
图像获取单元,用于获取各源图像以及所述源图像的融合图像;
图像分割单元,用于对各源图像采用模糊聚类方法进行分割得到分割图像,并将各源图像的分割图像合并为一个总的分割图;
显著图获取单元,用于获取各源图像的视觉显著图和方差显著图,将所述视觉显著图和方差显著图合并为视觉方差显著图;
第一计算单元,用于根据所述视觉方差显著图计算权值图,并根据所述视觉方差显著图和总的分割图计算所述源图像和融合图像各区域的显著系数;
第二计算单元,用于根据所述总的分割图、权值图和显著系数,计算各个区域上融合图像与源图像的加权结构相似度;
指标获取单元,用于将所有区域的加权结构相似度求和得到该融合图像质量的评价指标。
从上述技术方案中可以看出,本发明实施例在图像融合质量评价指标中引入视觉注意机制,即各源图像的视觉显著图,从而赋予人眼敏感区域以更大的权值,并在结构相似度的计算中舍弃了固定窗口计算而采用区域计算方法使得评价指标更符合人类视觉特性并能避免图像模糊和噪声的影响。另外,通过仿真实验验证,本发明的图像融合质量评价指标与现有的EFQI指标和传统的客观图像融合质量评价指标相比,与主观评价具有更高的一致性,能更好地反映图像融合的质量。
附图说明
图1是本发明实施例一提供的图像融合质量评价方法的实现流程图;
图2是本发明实施例一提供的总显著图计算模型的原理流程图;
图3是本发明实施例一提供的红外和可见光图像及融合图像;
图4是本发明实施例一提供的各源图像的分割图像及合并的总的分割图;
图5是本发明实施例一提供的红外和可见光图像的方差视觉显著图;
图6是本发明实施例二提供的的图像融合质量评价装置的组成结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了更好的理解本发明实施例,下面分别对结构相似度和EFQI评价指标进行介绍。
结构相似度
给定两幅大小同为M×N的图像A和F,F可以表示为源图像A的融合图像,为A和F像素的均值,和σAF分别为源图像A、融合图像F的方差以及A和F之间的协方差,即
σ A 2 = 1 MN - 1 Σ m = 1 M Σ n = 1 N ( A ( m , n ) - A ‾ ) 2
σ AF = 1 MN - 1 Σ m = 1 M Σ n = 1 N ( A ( m , n ) - A ‾ ) ( F ( m , n ) - F ‾ ) . - - - ( 1 )
并定义
Q 0 ( A , F ) = σ AF σ A σ F · 2 A ‾ F ‾ A ‾ 2 + F ‾ 2 · 2 σ A σ F σ A 2 + σ F 2 - - - ( 2 )
Q0(A,F)即为图像A和F之间的结构相似度指标,取值范围在-1到1之间。乘积的第一部分为两图像的相似系数,第二部分为亮度扭曲度,第三部分为对比度扭曲度。
EFQI评价指标
此指标定义为:QF(A,B,F)=QW(A,B,F)1-α·QW(A′,B′,F′)α(3)
其中A′、B′和F′分别为源图像和融合图像的边缘梯度图像,α为边缘梯度信息的所占权重,QW是加权融合质量指标,定义为:
Q W ( A , B , F ) = Σ w ∈ W c ( w ) ( λ A ( w ) Q 0 ( A , F | w ) + λ B ( w ) Q 0 ( B , F | w ) ) - - - ( 4 )
其中λA(w)、λB(w)分别为两输入图像的方差显著图在固定大小窗口w处的权值系数。取值在0到1之间,表示图像A相对于图像B在窗口W处的相对重要性,λA(w)值越大,将给予图像A更大的权值。典型的计算方法如式(5)所示,式中s(A|w)表示图像A在窗口W处的局部显著性,可以体现A在窗口W处的显著程度,可以通过计算局部的对比度、方差或熵来得到。
λ A ( w ) = s ( A | w ) s ( A | w ) + s ( B | w ) , λB(w)=1-λA(w)(5)
c(w)为窗口在所有窗口中的显著性系数,计算方法为:
c ( w ) = C ( w ) Σ w ′ ∈ W C ( w ′ ) - - - ( 6 )
其中C(w)为一个窗口的显著性系数。可以通过计算图像A和图像B在该窗口处的显著性之和或极大值来计算。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例一:
图1示出了本发明实施例一提供的图像融合质量评价方法的实现流程,该方法过程详述如下:
在步骤S101中,获取各源图像以及所述源图像的融合图像;
在步骤S102中,对各源图像采用模糊聚类方法进行分割得到分割图像,并将各源图像的分割图像合并为一个总的分割图;
在步骤S103中,获取各源图像的视觉显著图和方差显著图,将所述视觉显著图和方差显著图合并为视觉方差显著图;
在步骤S104中,根据所述视觉方差显著图计算权值图,并根据所述视觉方差显著图和总的分割图计算所述源图像和融合图像各区域的显著系数;
在步骤S105中,根据所述总的分割图、权值图和显著系数,计算各个区域上融合图像与源图像的加权结构相似度;
在步骤S106中,将所有区域的加权结构相似度求和得到该融合图像质量的评价指标。
在本实施例中,各源图像的分割图像的合并原则是:只有在所述源图像的分割图像属于同一连通区域的像素时,在总的分割图中合并为于同一区域,分割图像不属于同一连通区域的像素在总的分割图中不属于同一区域。例如:将源图像A分割为区域1和区域2,源图像B分割为区域3和区域4,然后将分割后的源图像合并为一个总的分割图,该总的分割图包括区域1、区域2、区域3和区域4。其中,分割图像合并的具体过程可以采用现有技术实现,在此不再赘述。本实施例还包括通过合并得到的总的分割图作为区域划分方法提取融合图像和各源图像中每一个区域的图像。
人类在观察和理解图像时往往会不自觉地对其中某些区域产生兴趣,这些区域被称为“感兴趣区域”(RegionOfInterest,ROI)。实验发现,融合图像的视觉质量往往取决于ROI区域图像的质量,而不感兴趣区域图像的降质则不易被人眼察觉。因此若融合图像评价指标能对图像中不同区域赋于不同的权值从而突出ROI区域上融合图像与原始图像的结构一致性,必能使指标评价结果与主观评价结果更为一致。
本实施例通过现有的视觉注意机制模型生成视觉显著图,提取源图像的多类特征(如亮度、纹理、朝向和密度等),形成各个通道上的视觉显著图,并将所述视觉显著图进行合并得到总的视觉显著图,具体如图2所示。
视觉注意机制模型提取到的视觉显著图体现了人眼对宏观上的区域的敏感程度,因此可以看作是宏观上的显著性。而局部方差则体现了微观区域中细节的丰富程度,可以看作是微观上的显著性。本实施例结合方差显著图和视觉显著图一起提取待融合图像的视觉方差显著图,它可以从宏观和微观两个方面体现图像中各个区域的显著性,提取到的权值系数将能够更加准确地反映源图像之间及各个区域间的相对重要性。所述视觉方差显著图的计算方法如下:
其中,a为源图像,sg(a)为源图像的视觉显著图,sl(a)为源图像的方差显著图,Tsg(a)分别为预先设置的第一、第二阈值,所述阈值可根据图像处理系统的性能等来设定。
相比EFQI指标中以固定大小窗口计算加权结构相似度,本实施例采用有明确物理意义的区域计算融合图像与各源图像在区域上的结构相似度,使得评价指标更符合人类视觉特性并且能避免图像模糊和噪声的影响。
本实施例在结合视觉注意机制与区域结构相似度的融合图像质量评价指标后,将式(4)更改为式(8),式(3)更改为式(9)。其中,式(8)、式(9)如下所示:
Q R ( A , B , F ) = Σ r ∈ R c ( r ) ( λ A ( r ) Q 0 ( A , F | r ) + λ B ( r ) Q 0 ( B , F | r ) ) - - - ( 8 )
QER(A,B,F)=QR(A,B,F)1-α·QR(A,B,R)α(9)
其中A、B为源图像,F为A、B源图像的融合图像,λA(r)、λB(r)分别为源图像A、B的视觉方差显著图在区域r的加权参数,c(r)为区域r的显著性系数,Q0(A,F|r)、Q0(B,F|r)分别为源图像A、B和融合图像F在区域r的结构相似度。
其中,式(8)和式(4)的区别主要体现在两个方面:
1)以图像分割得到的区域代替式(4)中的固定大小窗口来计算融合图像与源图像之间的加权结构相似度。
2)式(8)中的加权参数是根据式(7)中各源图像的视觉显著图、方差显著图和视觉方差显著图确定。
本发明实施例还给出了计算机基于一定仿真条件下的仿真结果图,以体现出本发明实施例的技术方案获得的有益效果。
本发明实施例首先对多对红外与可见光图像利用十种不同的融合算法进行融合,然后对融合图像进行主观评价,再利用包括本发明图像融合质量评价指标在内的多个不同客观评价指标对融合图像进行评价,并对各个客观评价指标与主观评价的一致性进行分析。
本发明实施例选取其中一组图像的结果进行展示。红外和可见光源图像以及现有的各种融合算法融合得到的图像,如图3所示。其中图3a、图3b为源图像,图3c、图3d、图3e、图3f、图3g、图3h、图3i、图3j、图3k、图3l分别为采用拉普拉斯金字塔算法、DWT算法、比率金字塔算法、均值算法、PCA算法、形态学金字塔算法、对比金字塔算法、FSD金字塔算法、梯度金字塔算法和SIDWT算法所得到的融合图像。
主观评价
实验组织20位观察者(由11名从事图像处理技术研究的专业人员和9名非专业人员组成,平均年龄25岁)对融合结果图像进行主观评价。实验采用五级评分制对融合结果图像进行评价,评分范围设定为“1~5”,“1”表示最差,“5”表示最好,“2~4”为中间过渡过程。评分分值与评价主体的主观感受对应如表1所示。由于有20个观察员进行评价,因此每一幅融合结果图像都可以得到一个20维的主观评分向量和一个主观评价的平均分。
表1评分分值与主观感受对应
20位观察者对融合图像进行主观评价的平均分如表2所示:
表2不同融合算法得到的融合图像质量的主观评价结果
客观指标评价
采用传统的评价指标(偏差度、平均梯度、熵、互信息、EFQI)以及本发明实施例提出的评价指标对不同的融合算法得到的融合图像进行评价,评价结果如表3所示。
表3不同融合算法得到的融合图像质量的客观评价结果
在计算本发明实施例提出的评价指标时,采用模糊聚类方法对源图像进行3类图像分割,再将两幅分割图像进行合并。原图像分割为三类,合并后图像像素被分为九类。各源图像分割结果图像及最终合并的结果图像如图4所示。
图5分别是根据视觉注意机制和局部方差得到的可见光和红外源图像视觉方差显著图。这两张图用来指导权值系数c(r)、λA(r)、λB(r)的计算。
主客观评价一致性分析
对于十种算法所得到的融合图像,每种评价指标以及主观性评价得到的都是一个向量,评价两个向量之间的关系的最直接的方法就是相关性分析。计算两个向量X,Y之间的相关系数的公式为:
R = Σ ( X - X ‾ ) ( Y - Y ‾ ) Σ ( X - X ‾ ) 2 Σ ( Y - Y ‾ ) 2 - - - ( 10 )
其中,分别为向量X,Y的均值。相关系数的值越大,说明两个向量的一致性更好。
根据公式(10)计算各个评价指标与主观评价结果的相关系数,各评价方法与主观评价结果相关系数如表4所示。
表4评价方法与主观评价结果相关系数
由表4可见,传统评价方法与主观评价相关系数较低,甚至出现了负相关。擅长评价红外与可见光融合图像质量的互信息与EFQI评价效果相当,而本发明的评价指标与主观评价的一致性明显高于其它评价方法。
从视觉效果来看,虽然互信息在评价红外与可见光融合质量有一定优势,但它过高评价了形态学金字塔算法融合图像质量,对比度金字塔、FSD金字塔和梯度金字塔算法融合质量比比率金字塔算法融合质量差,这与主观评价结果不符,而本发明评价指标评价结果与主观评价结果保持一致。从PCA算法融合结果图像可以看到,融合图像中几乎没有融入红外源图像的信息,红外源图像中的人在融合图像中几乎不可见,融合图像质量较差,而EFQI评价指标却错误地指出PCA算法比能融入红外源图像的比率金字塔算法融合效果好,这与主观评价把PCA算法评为最差算法的结果不一致,而本发明评价指标能正确地指出PCA算法融合效果差于其它9种算法;形态学金字塔算法融合图像出现了团块现象,本发明评价指标与主观评分都把此算法的融合质量列在了倒数第二的位置;比率金字塔算法易受噪声的影响,融合质量不佳,均值算法出现了模糊的现象融合效果也不好,本发明评价指标把它们列在倒数第三和第四的位置,与主观评价基本一致,较好地克服了图像模糊和噪声带来的评价不准确的问题。因此从视觉效果上也可以看出本发明评价指标所做的评价与主观评价结果更为一致。
实施例二:
图6示出了本发明实施例二提供的图像融合质量评价装置的组成结构,为了便于说明,仅示出了与本发明实施例相关的部分。
该图像融合质量评价装置可以是运行于各应用系统内的软件单元、硬件单元或者软硬件相结合的单元。
该图像融合质量评价装置包括图像获取单元61、图像分割单元62、显著图获取单元63、第一计算单元64、第二计算单元65以及指标获取单元66,其具体功能如下:
图像获取单元61,用于获取各源图像以及所述源图像的融合图像;
图像分割单元62,用于对各源图像采用模糊聚类方法进行分割得到分割图像,并将各源图像的分割图像合并为一个总的分割图;
显著图获取单元63,用于获取各源图像的视觉显著图和方差显著图,将所述视觉显著图和方差显著图合并为视觉方差显著图;
第一计算单元64,用于根据所述视觉方差显著图计算权值图,并根据所述视觉方差显著图和总的分割图计算所述源图像和融合图像各区域的显著系数;
第二计算单元65,用于根据所述总的分割图、权值图和显著系数,计算各个区域上融合图像与源图像的加权结构相似度;
指标获取单元66,用于将所有区域的加权结构相似度求和得到该融合图像质量的评价指标。
在本实施例中,所述融合图像质量的评价指标为 Q R ( A , B , F ) = Σ r ∈ R c ( r ) ( λ A ( r ) Q 0 ( A , F | r ) + λ B ( r ) Q 0 ( B , F | r ) ) , 其中A、B为源图像,F为A、B源图像的融合图像,λA(r)、λB(r)分别为源图像A、B的视觉方差显著图在区域r的加权参数,c(r)为区域r的显著性系数,Q0(A,F|r)、Q0(B,F|r)分别为源图像A、B和融合图像F在区域r的结构相似度。
所述加权参数通过所述源图像的视觉显著图、方差显著图和视觉方差显著图确定,所述视觉方差显著图的计算方法如下:
其中,a为源图像,sg(a)为源图像的视觉显著图,sl(a)为源图像的方差显著图,Tsg(a)分别为预先设置的第一、第二阈值。
所述结构相似度的计算公式为: Q 0 ( A , F ) = σ AF σ A σ F · 2 A ‾ F ‾ A ‾ 2 + F ‾ 2 · 2 σ A σ F σ A 2 + σ F 2 , 其中 和σAF分别为源图像A、融合图像F的方差以及A和F之间的协方差, 为A和F像素的均值。
所述分割图像的合并原则为在所述源图像的分割图像属于同一连通区域的像素时,在总的分割图中合并为同一区域。
所述源图像和融合图像的各区域根据所述总的分割图划分获得。
本实施例提供的图像融合质量评价装置可以使用在前述对应的图像融合质量评价方法中,详情参见上述图像融合质量评价方法实施例一的相关描述,在此不再赘述。
综上所述,本发明实施例提供的图像融合质量评价方法充分考虑了人类视觉感兴趣区域和人眼对区域信息敏感的特性,使用方差显著图与视觉显著图相结合的加权方法对图像中的显著区域赋予更大的权值,并采用更符合人类视觉特性的区域计算方法求取融合结果图像和源图像在各区域上的结构相似度以评价融合质量。通过本发明实施例的图像融合质量评价方法评价十种不同融合算法的融合图像,并与主观评价结果进行相关性分析,分析结果表明本发明实施例提供的图像融合质量评价方法相比传统的评价指标能更有效地反映融合图像质量,与主观评价结果一致性更高。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种图像融合质量评价的方法,其特征在于,所述方法包括:
获取各源图像以及所述源图像的融合图像;
对各源图像采用模糊聚类方法进行分割得到分割图像,并将各源图像的分割图像合并为一个总的分割图,各源图像的分割图像的合并原则是:在所述源图像的分割图像属于同一连通区域的像素时,在总的分割图中合并为于同一区域,分割图像不属于同一连通区域的像素在总的分割图中不属于同一区域;
获取各源图像的视觉显著图和方差显著图,将所述视觉显著图和方差显著图合并为视觉方差显著图;
根据所述视觉方差显著图计算权值图,并根据所述视觉方差显著图和总的分割图计算所述源图像和融合图像各区域的显著性系数;
根据所述总的分割图、权值图和显著性系数,计算各个区域上融合图像与源图像的加权结构相似度;
将所有区域的加权结构相似度求和得到融合图像质量的评价指标,其中,所述融合图像质量的评价指标为 Q R ( A , B , F ) = Σ r ∈ R c ( r ) ( λ A ( r ) Q 0 ( A , F | r ) + λ B ( r ) Q 0 ( B , F | r ) ) , 其中A、B为源图像,F为A、B源图像的融合图像,λA(r)、λB(r)分别为源图像A、B的视觉方差显著图在区域r的加权参数,c(r)为区域r的显著性系数,Q0(A,F|r)Q0(B,F|r)分别为源图像A、B和融合图像F在区域r的结构相似度。
2.如权利要求1所述的方法,其特征在于,所述加权参数通过所述源图像的视觉显著图、方差显著图和视觉方差显著图确定,所述视觉方差显著图的计算方法如下:
其中,a为源图像,sg(a)为源图像的视觉显著图,sl(a)为源图像的方差显著图,Tsl(a)、Tsg(a)分别为预先设置的第一、第二阈值。
3.如权利要求1所述的方法,其特征在于,所述源图像和融合图像的各区域根据所述总的分割图划分获得。
4.一种图像融合质量评价的装置,其特征在于,所述装置包括:
图像获取单元,用于获取各源图像以及所述源图像的融合图像;
图像分割单元,用于对各源图像采用模糊聚类方法进行分割得到分割图像,并将各源图像的分割图像合并为一个总的分割图,各源图像的分割图像的合并原则是:在所述源图像的分割图像属于同一连通区域的像素时,在总的分割图中合并为于同一区域,分割图像不属于同一连通区域的像素在总的分割图中不属于同一区域;
显著图获取单元,用于获取各源图像的视觉显著图和方差显著图,将所述视觉显著图和方差显著图合并为视觉方差显著图;
第一计算单元,用于根据所述视觉方差显著图计算权值图,并根据所述视觉方差显著图和总的分割图计算所述源图像和融合图像各区域的显著性系数;
第二计算单元,用于根据所述总的分割图、权值图和显著性系数,计算各个区域上融合图像与源图像的加权结构相似度;
指标获取单元,用于将所有区域的加权结构相似度求和得到融合图像质量的评价指标,其中,所述融合图像质量的评价指标为 Q R ( A , B , F ) = Σ r ∈ R c ( r ) ( λ A ( r ) Q 0 ( A , F | r ) + λ B ( r ) Q 0 ( B , F | r ) ) , 其中A、B为源图像,F为A、B源图像的融合图像,λA(r)、λB(r)分别为源图像A、B的视觉方差显著图在区域r的加权参数,c(r)为区域r的显著性系数,Q0(A,F|r)、Q0(B,F|r)分别为源图像A、B和融合图像F在区域r的结构相似度。
5.如权利要求4所述的装置,其特征在于,所述加权参数通过所述源图像的视觉显著图、方差显著图和视觉方差显著图确定,所述视觉方差显著图的计算方法如下:
其中,a为源图像,sg(a)为源图像的视觉显著图,sl(a)为源图像的方差显著图,Tsg(a)分别为预先设置的第一、第二阈值。
6.如权利要求4所述的装置,其特征在于,所述源图像和融合图像的各区域根据所述总的分割图划分获得。
CN201110312873.2A 2011-10-14 2011-10-14 一种图像融合质量评价的方法及装置 Expired - Fee Related CN103049893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110312873.2A CN103049893B (zh) 2011-10-14 2011-10-14 一种图像融合质量评价的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110312873.2A CN103049893B (zh) 2011-10-14 2011-10-14 一种图像融合质量评价的方法及装置

Publications (2)

Publication Number Publication Date
CN103049893A CN103049893A (zh) 2013-04-17
CN103049893B true CN103049893B (zh) 2015-12-16

Family

ID=48062523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110312873.2A Expired - Fee Related CN103049893B (zh) 2011-10-14 2011-10-14 一种图像融合质量评价的方法及装置

Country Status (1)

Country Link
CN (1) CN103049893B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6135283B2 (ja) * 2013-04-26 2017-05-31 オムロン株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN104424385B (zh) * 2013-08-22 2018-08-31 武汉联影医疗科技有限公司 一种医学影像的评价方法和装置
CN105046277B (zh) * 2015-07-15 2019-06-14 华南农业大学 特征显著性在图像质量评价中的鲁棒机理研究方法
CN106713741B (zh) * 2016-11-16 2020-09-25 深圳六滴科技有限公司 全景视频的质量诊断方法及装置
CN107481238A (zh) * 2017-09-20 2017-12-15 众安信息技术服务有限公司 图像质量评估方法及装置
CN107784651B (zh) * 2017-10-31 2021-03-02 中国矿业大学 一种基于模糊检测加权的模糊图像质量评价方法
CN108122231B (zh) * 2018-01-10 2021-09-24 山东华软金盾软件股份有限公司 监控视频下基于roi拉普拉斯算法的图像质量评价方法
CN109543701A (zh) * 2018-11-30 2019-03-29 长沙理工大学 视觉显著性区域检测方法及装置
CN109949270A (zh) * 2019-01-28 2019-06-28 西北工业大学 基于区域卷积网络的多光谱和全色图像融合空间质量评价方法
CN110738628B (zh) * 2019-10-15 2023-09-05 湖北工业大学 一种基于wiml比较图的自适应焦点检测多聚焦图像融合方法
CN111507969B (zh) * 2020-04-20 2021-09-17 深圳市车宝信息科技有限公司 一种图像融合质量检测方法及装置
CN113077408B (zh) * 2021-03-29 2024-05-24 维沃移动通信有限公司 融合系数的确定方法、装置、电子设备及存储介质
CN113920115B (zh) * 2021-12-13 2022-03-04 北京中新绿景科技有限公司 一种视频图像质量测评方法及测评系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840573A (zh) * 2010-04-12 2010-09-22 李珊珊 一种像素级图像融合质量评估方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840573A (zh) * 2010-04-12 2010-09-22 李珊珊 一种像素级图像融合质量评估方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
New metric of image fusion based on region similarity;Xiaoqing Luo等;《Optical Engineering》;20100430;第49卷(第4期);047006-1 - 047006-13 *
Novel Quality Measures for Image Fusion Based on Structural Similarity and Visual Attention Mechanism;Xianyi Ren等;《Multimedia Technology (ICMT), 2010 International Conference on》;20101031;1-5 *
图像融合质量主客观评价相关性分析;刘秀坚等;《深圳信息职业技术学院学报》;20110331;第9卷(第1期);23-30 *

Also Published As

Publication number Publication date
CN103049893A (zh) 2013-04-17

Similar Documents

Publication Publication Date Title
CN103049893B (zh) 一种图像融合质量评价的方法及装置
CN110399929B (zh) 眼底图像分类方法、装置以及计算机可读存储介质
CN106570486B (zh) 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法
CN103996195B (zh) 一种图像显著性检测方法
CN102999901B (zh) 基于深度传感器的在线视频分割后的处理方法及系统
CN104143079B (zh) 人脸属性识别的方法和系统
CN106462771A (zh) 一种3d图像的显著性检测方法
CN102422324B (zh) 年龄估计设备和方法
CN103096122B (zh) 基于感兴趣区域内运动特征的立体视觉舒适度评价方法
CN102169576A (zh) 一种图像拼接算法定量评价方法
CN104680510A (zh) Radar视差图优化方法、立体匹配视差图优化方法及系统
CN104036481B (zh) 一种基于深度信息提取的多聚焦图像融合方法
CN102567734B (zh) 基于比值的视网膜细小血管分割方法
Osmanlıoğlu et al. Connectomic consistency: a systematic stability analysis of structural and functional connectivity
Li et al. Speckle noise removal based on structural convolutional neural networks with feature fusion for medical image
CN101271465A (zh) 一种基于信息瓶颈理论的镜头聚类方法
Ananth et al. Enhancing Segmentation Approaches from GC-GGC to Fuzzy KC-Means
CN104637060A (zh) 一种基于邻域主成分分析-拉普拉斯的图像分割方法
El Jurdi et al. How precise are performance estimates for typical medical image segmentation tasks?
CN116703837B (zh) 一种基于mri图像的肩袖损伤智能识别方法及装置
CN110251076B (zh) 融合视觉注意力基于对比度的显著性检测方法及装置
CN111325282A (zh) 适应多机型的乳腺x射线影像识别方法和装置
CN110647870A (zh) 一种基于滑动窗计算静息态fMRI数据近似熵的方法
CN106709921B (zh) 一种基于空间Dirichlet混合模型的彩色图像分割方法
Ortiz-Jaramillo et al. Computing contrast ratio in images using local content information

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151216

Termination date: 20161014

CF01 Termination of patent right due to non-payment of annual fee