CN110889817A - 图像融合质量评价方法及装置 - Google Patents

图像融合质量评价方法及装置 Download PDF

Info

Publication number
CN110889817A
CN110889817A CN201911137076.8A CN201911137076A CN110889817A CN 110889817 A CN110889817 A CN 110889817A CN 201911137076 A CN201911137076 A CN 201911137076A CN 110889817 A CN110889817 A CN 110889817A
Authority
CN
China
Prior art keywords
edge
image
interference
fusion
target feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911137076.8A
Other languages
English (en)
Other versions
CN110889817B (zh
Inventor
郭明
李彪
翁璐
吴飞
王盛凹
王沫涵
黄璜
黄桂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naval University of Engineering PLA
Original Assignee
Naval University of Engineering PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naval University of Engineering PLA filed Critical Naval University of Engineering PLA
Priority to CN201911137076.8A priority Critical patent/CN110889817B/zh
Publication of CN110889817A publication Critical patent/CN110889817A/zh
Application granted granted Critical
Publication of CN110889817B publication Critical patent/CN110889817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种图像融合质量评价方法及装置,所述方法包括:获取源图像及融合图像中的目标特征,并计算目标特征的保全度;将融合图像中目标特征的边缘与源图像中目标特征的边缘进行对比,根据对比结果计算目标特征的边缘质量;获取融合图像的干扰边缘以及源图像的干扰边缘,并根据融合图像的干扰边缘和源图像的干扰边缘计算干扰边缘抑制率,干扰边缘为图像中非目标特征的边缘;获取预设的权重分配方法,根据权重分配方法分配权重,并根据保全度及权重、边缘质量及权重、干扰边缘抑制率及权重计算融合图像的评价结果。采用本方法能够多方面的对融合图像质量进行综合评价,提高了评价结果的准确性。

Description

图像融合质量评价方法及装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像融合质量评价方法及装置。
背景技术
在互联网时代,图像成为信息的主要载体。因此,图像编辑成为一种越来越重要的技术。在图像编辑的技术里,图像融合是一种广泛被使用的技术,在对象插入、图像拼接中有重要的应用,图像融合能有效提取出不同传感器图像之间的互补信息,扩大传感范围,提高系统的可靠性和图像信息的利用效率,同时方便后续的计算机处理与人为决策。
近些年来,图像融合技术得到了广泛深入的研究,出现了许多不同的图像融合算法。这些算法在不同的场景中都有具体的应用。图像融合后,必须对图像融合算法进行性能评价,这对确定融合算法的优点和比较不同融合算法的结果来说是十分重要的。近年来,虽然图像融合算法层出不穷,图像融合性能评价问题却未得到很好地解决。
在图像处理技术中,图像质量评价一直得到了深入的研究。传统的图像质量评价方法主要分为两大类:有参考的图像质量评价方法和无参考的图像质量评价方法。有参考的图像质量评价方法指的是提供了基准图像,通过生成的图像和基准图像的比较得出评价结果的图像评价方法。在图像融合中,由于无法得到融合后的基准图像,因此有参考的图像质量融合方法不适用于图像融合质量评价。无参考的图像质量评价方法指的是不需要提供基准图像的方法。然而,传统的无参考的图像质量评价方法主要考虑图像本身的噪声、细节的解析力以及结构的保持程度等细节,这些方法没有专门针对图像融合质量进行分析,因此也不适用于图像融合的评价。因此,目前需要一种专门针对图像融合质量,对图像融合质量进行准确评价的方法。
发明内容
针对现有技术中存在的问题,本发明实施例提供一种能够对融合图像进行准确的质量评价的图像融合质量评价方法。
本发明实施例提供一种图像融合质量评价方法,包括:
获取源图像及融合图像中的目标特征,并计算所述目标特征的保全度;
将所述融合图像中目标特征的边缘与源图像中目标特征的边缘进行对比,根据对比结果计算所述目标特征的边缘质量;
获取所述融合图像的干扰边缘以及所述源图像的干扰边缘,并根据所述融合图像的干扰边缘和所述源图像的干扰边缘计算干扰边缘抑制率,所述干扰边缘为图像中非目标特征的边缘;
获取预设的权重分配方法,根据所述权重分配方法分配所述保全度、边缘质量、干扰边缘抑制率的权重,并根据所述保全度及所述保全度的权重、所述边缘质量及所述边缘质量的权重、所述干扰边缘抑制率及所述干扰边缘抑制率的权重计算所述融合图像的评价结果。
在其中一个实施例中,所述方法还包括:
检测所述源图像及所述融合图像的图像类型;
根据所述图像类型确定对应的所述目标特征的度量标准;
根据所述度量标准获取所述源图像中目标特征的度量值及所述融合图像中目标特征的度量值;
根据所述源图像中目标特征的度量值及所述融合图像中目标特征的度量值计算所述目标特征的保全度。
在其中一个实施例中,所述方法还包括:
根据所述对比结果计算所述目标特征的边缘保全度及所述目标特征的边缘保全效率;
根据所述边缘保全度及所述边缘保全效率计算所述目标特征的边缘质量。
在其中一个实施例中,所述方法还包括:
获取所述源图像中目标特征的边缘的像素点数量及所述融合图像中目标特征的边缘的像素点数量;
根据所述源图像中目标特征的边缘的像素点数量及所述融合图像中目标特征的边缘的像素点数量计算所述目标特征的边缘保全度。
在其中一个实施例中,所述方法还包括:
对所述融合图像进行边缘检测和二值化处理,得到二值边缘检测图像;
提取所述二值边缘检测图像中包含所述目标特征的边缘的二值边缘检测子图像;
获取所述二值边缘检测子图像中所述目标特征的边缘的像素点数量以及所述二值边缘检测子图像中的边缘的像素点数量;
根据所述二值边缘检测子图像中所述目标特征的边缘的像素点数量以及所述二值边缘检测子图像中的边缘的像素点数量计算所述目标特征的边缘保全效率。
在其中一个实施例中,所述方法还包括:
获取所述融合图像的干扰边缘的像素点数量以及所述源图像的干扰边缘的像素点数量;
根据所述融合图像的干扰边缘的像素点数量以及所述源图像的干扰边缘的像素点数量计算得到图像融合前后所述干扰边缘减少的像素点数量;
计算所述图像融合前后所述干扰边缘减少的像素点数量与所述源图像的干扰边缘的像素点数量的比值得到所述干扰边缘抑制率。
在其中一个实施例中,所述方法还包括:
检测所述目标特征的类型;
当所述目标特征的类型为不包含形状特征的目标时,为所述保全度和干扰边缘抑制率分配预设的高权重,为所述边缘质量分配预设的低权重;
当所述目标特征的类型为包含形状特征的目标时,为所述边缘质量分配所述高权重,为所述保全度和干扰边缘抑制率分配所述低权重。
本发明实施例提供一种图像融合质量评价装置,包括:
第一获取模块,用于获取源图像及融合图像中的目标特征,并计算所述目标特征的保全度;
对比模块,用于将所述融合图像中目标特征的边缘与源图像中目标特征的边缘进行对比,根据对比结果计算所述目标特征的边缘质量;
第二获取模块,用于获取所述融合图像的干扰边缘以及所述源图像的干扰边缘,并根据所述融合图像的干扰边缘和所述源图像的干扰边缘计算干扰边缘抑制率,所述干扰边缘为图像中非目标特征的边缘;
权重分配模块,用于获取预设的权重分配方法,根据所述权重分配方法分配所述保全度、边缘质量、干扰边缘抑制率的权重,并根据所述保全度及所述保全度的权重、所述边缘质量及所述边缘质量的权重、所述干扰边缘抑制率及所述干扰边缘抑制率的权重计算所述融合图像的评价结果。
本发明实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述图像融合质量评价方法的步骤。
本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述图像融合质量评价方法的步骤。
本发明实施例提供的图像融合质量评价方法及装置,通过获取或者对比的方法,得到源图像与融合图像的目标特征、目标特征的边缘和干扰边缘特征,并根据权重分配方法为目标特征、目标特征的边缘和干扰边缘分配计算融合图像评价的权重,根据目标特征、目标特征的边缘和干扰边缘及其权重计算融合图像评价,提供了一种能够多方面的对融合图像质量进行综合评价的方法,提高了评价结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中图像融合质量评价方法的流程图;
图2为本发明实施例中图像融合质量评价装置的结构图;
图3为本发明实施例中电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的图像融合质量评价方法的流程示意图,如图1所示,本发明实施例提供了一种图像融合质量评价方法,包括:
步骤S101,获取源图像及融合图像中的目标特征,并计算所述目标特征的保全度。
具体地,目标特征为图像融合的主题,其重要程度远大于图像中的其他部分,也是质量评价的主要依据对象,比如:对飞机的图片进行图像融合,则目标特征为飞机。获取融合前的源图像与融合后的融合图像的目标特征,保全度即指目标特征在融合图像中保留下来的程度,比如可以根据进行图像融合前后像素点的多少和面积的大小,计算目标特征的保全度。
步骤S102,将所述融合图像中目标特征的边缘与源图像中目标特征的边缘进行对比,根据对比结果计算所述目标特征的边缘质量。
具体地,目标特征的边缘指目标特征与背景交接的图像,比如正在飞行的飞机的图片中,目标特征的边缘可以指飞机与天空交接的像素点构成的图像,服务器将融合图像中目标特征的边缘与源图像中目标特征的边缘进行对比,可以得到像融合前后边缘像素点的多少、面积的大小等特征,根据对比结果得到的特征计算目标特征的边缘质量。
步骤S103,获取所述融合图像的干扰边缘以及所述源图像的干扰边缘,并根据所述融合图像的干扰边缘和所述源图像的干扰边缘计算干扰边缘抑制率,所述干扰边缘为图像中非目标特征的边缘。
具体地,图像中的干扰可以包括噪声、非目标背景等因素,干扰边缘则可以为图像中目标特征边缘之外的其他边缘图像,获取图像融合前后的干扰边缘,将图像融合前后的干扰边缘进行对比,比如图像融合前后边缘的像素点数量的减少的值,可以计算干扰边缘抑制率,干扰边缘抑制率能够体现图像融合抑制干扰能力,其值越大,图像融合的干扰抑制能力就越强,目标的质量也就越好;反之,其值越小,图像融合的干扰抑制能力就越弱,则目标的质量越差。
步骤S104,获取预设的权重分配方法,根据所述权重分配方法分配所述保全度、边缘质量、干扰边缘抑制率的权重,并根据所述保全度及所述保全度的权重、所述边缘质量及所述边缘质量的权重、所述干扰边缘抑制率及所述干扰边缘抑制率的权重计算所述融合图像的评价结果。
具体地,权重分配方法指的是对融合图像质量评价的3个方面:保全度、边缘质量、干扰边缘抑制率的权重,权重分配方法可以与图像的类型有关,也可以与预设的客户要求有关,比如客户要求更看重对目标特征的保留,则将保全度对应的权重相对应的提高等,得到3个方面对应的权重后,分别根据3个方面对应的计算结果以及对应的权重计算融合图像的评价结果。
本发明实施例提供的一种图像融合质量评价方法及装置,通过获取或者对比的方法,得到源图像与融合图像的目标特征、目标特征的边缘和干扰边缘特征,并根据权重分配方法为目标特征、目标特征的边缘和干扰边缘分配计算融合图像评价的权重,根据目标特征、目标特征的边缘和干扰边缘及其权重计算融合图像评价,提供了一种能够多方面的对融合图像质量进行综合评价的方法,提高了评价结果的准确性。
在上述实施例的基础上,所述图像融合质量评价方法,还包括:
检测所述源图像及所述融合图像的图像类型;
根据所述图像类型确定对应的所述目标特征的度量标准;
根据所述度量标准获取所述源图像中目标特征的度量值及所述融合图像中目标特征的度量值;
根据所述源图像中目标特征的度量值及所述融合图像中目标特征的度量值计算所述目标特征的保全度。
在本发明实施例中,通过源图像中目标特征的度量值及融合图像中目标特征的度量值计算目标特征的保全度的具体计算方法,可以比如以下公式:
Figure BDA0002279865100000071
其中,
Figure BDA0002279865100000072
为包含特殊特征的源图像中对特殊特征的度量;
Figure BDA0002279865100000073
为融合图像中对特殊特征的度量;RC为目标特殊特征保全度,min(·)表示取较小值为归一化操作,因此有RC∈[0,1]。另外,图像的类型可以为红外图像、可见光图像等,比如当图像类型为红外图像时,目标特征的度量标准可以为图像的灰度值,对应的度量值可以为像素灰度均值等,当图像类型为可见光图像时,目标特征的度量标准可以为具体的像素对比度等。
另外,当图像类型为红外图像时,具体地根据度量值的计算目标特征的保全度可以比如以下步骤:
(1)对配准后的红外图像进行分割,得到红外图像中的目标高亮区域ΩC
(2)计算ΩC内红外图像的像素灰度均值
Figure BDA0002279865100000074
(3)将ΩC映射到融合图像中,计算相应区域内融合图像的像素灰度均值
Figure BDA0002279865100000075
(4)计算目标特殊特征保全度
Figure BDA0002279865100000076
本发明实施例通过各种图像类型对应的度量值计算目标特征的保全度,使保全度的计算更加准确,并且保全度能够体现图像融合优越性,是融合图像中的集中表现,其值越大,融合图像中的目标就越能体现出参与融合的各传感器在目标识别方面的优势。
在上述实施例的基础上,所述图像融合质量评价方法中,还包括:
根据所述对比结果计算所述目标特征的边缘保全度及所述目标特征的边缘保全效率;
根据所述边缘保全度及所述边缘保全效率计算所述目标特征的边缘质量。
本发明实施例中,目标特征的边缘保全度为源图像中目标的边缘在融合图像中保留下来的比率,描述了融合图像对源图像中目标边缘提取的完整度,是对目标边缘质量的重要描述,另外,在融合图像内,边缘点越多,目标特征的边缘保全度可能越大,极限情况下,当图像内所有点都为检测出的边缘点时,目标特征的边缘保全度取可以取最大值1。此时的目标特征的边缘保全度与融合图像目标特征的边缘的实际质量发生了背离,因为目标边缘取到最大值的可能性很低,极有可能检测出的边缘点为非目标特征的边缘点,因此,仅仅依靠目标边缘保全度并不能全面的表现目标边缘的质量,必须对其进行修正,则获取目标特征的边缘保全效率,目标特征的边缘保全效率为描述目标特征的的边缘与总的边缘点的关系,通过边缘保全度及边缘保全效率即可计算目标特征的边缘质量。
本发明实施例中通过边缘保全度及边缘保全效率能够更准确的计算目标特征的边缘质量。
在上述实施例的基础上,所述图像融合质量评价方法中,还包括:
获取所述源图像中目标特征的边缘的像素点数量及所述融合图像中目标特征的边缘的像素点数量;
根据所述源图像中目标特征的边缘的像素点数量及所述融合图像中目标特征的边缘的像素点数量计算所述目标特征的边缘保全度。
本发明实施例中,根据源图像中目标特征的边缘(目标边缘)的像素点数量及融合图像中目标特征的边缘的像素点数量计算目标特征的边缘保全度的具体计算方法,可以比如以下公式,
Figure BDA0002279865100000081
其中,
Figure BDA0002279865100000082
表示源图像A中目标特征的边缘像素点数量;
Figure BDA0002279865100000083
表示融合图像中,保留下来的源图像A中目标特征的边缘像素点数量,显然有
Figure BDA0002279865100000084
其中,对于目标特征的边缘保全度
Figure BDA0002279865100000085
的具体计算方法,可以为:
(1)对融合图像F和源图像A分别进行边缘检测,得到二值化的边缘检测图像DF和DA,并在目标区域提取出包含目标边缘的子图像
Figure BDA0002279865100000091
Figure BDA0002279865100000092
(2)去除子图像
Figure BDA0002279865100000093
内明显不属于目标边缘的像素得到源图像A的纯目标区域边缘图像
Figure BDA0002279865100000094
并统计
Figure BDA0002279865100000095
中边缘像素数量
Figure BDA0002279865100000096
(3)将
Figure BDA0002279865100000097
Figure BDA0002279865100000098
进行逻辑“与”操作,并统计结果图像中的边缘像素数量
Figure BDA0002279865100000099
(4)按照上述边缘保全度的计算公式计算融合图像F相对于源图像A的目标边缘保全度
Figure BDA00022798651000000910
另外,边缘保全度的计算还可以包括:参与融合的源图像为A和B,则融合图像F的目标边缘保全度
Figure BDA00022798651000000911
可用下式计算:
Figure BDA00022798651000000912
上述公式中,取
Figure BDA00022798651000000913
Figure BDA00022798651000000914
中的最小值作为整个融合图像的目标边缘保全度,主要是为了强调任意源图像中的目标边缘信息对于目标识别来说都是很重要的。同时,取最小值可以较好地防止当融合图像中对某一幅源图像目标的边缘保留较好,而对另一幅源图像目标的边缘保留很差时,融合图像的目标边缘保全度还较高的不合理情况。
本发明实施例通过像素数量计算目标边缘保全度,并且将多张源图像时的边缘保留情况计算在内,使得目标边缘保全度的计算结果更加准确。
在上述实施例的基础上,所述图像融合质量评价方法,还包括:
对所述融合图像进行边缘检测和二值化处理,得到二值边缘检测图像;
提取所述二值边缘检测图像中包含所述目标特征的边缘的二值边缘检测子图像;
获取所述二值边缘检测子图像中所述目标特征的边缘的像素点数量以及所述二值边缘检测子图像中的边缘的像素点数量;
根据所述二值边缘检测子图像中所述目标特征的边缘的像素点数量以及所述二值边缘检测子图像中的边缘的像素点数量计算所述目标特征的边缘保全效率。
本发明实施例中,二值边缘检测图像可以为融合图像进行边缘检测和二值化处理得到的用于凸显边缘的二值图像,二值边缘检测图像通常用255和0两种灰度将边缘与非边缘区分开,使边缘像素更加清楚,然后获取其中的边缘子图像,检测边缘子图像的属于目标特征的边缘的像素点数量以及子图像中的边缘像素点(包括目标特征边缘的像素点以及非目标边缘的像素点),通过两者的像素点数量可以计算目标特征的边缘保全效率,具体计算方法,可以为:
Figure BDA0002279865100000101
其中,
Figure BDA0002279865100000102
为目标特征的边缘保全效率,在融合图像的边缘子图像
Figure BDA0002279865100000103
内,通过目标边缘的像素点数量
Figure BDA0002279865100000104
Figure BDA0002279865100000105
内总的检测出的边缘像素点数量
Figure BDA0002279865100000106
之比计算边缘保全效率
Figure BDA0002279865100000107
其中,边缘保全效率
Figure BDA0002279865100000108
越高,其目标边缘的质量也越好。
Figure BDA0002279865100000109
的计算方法为:
(1)初始化
Figure BDA00022798651000001010
(2)对于
Figure BDA00022798651000001011
内位置为(i,j)的边缘像素,若任意源图像相应位置处为目标边缘点,则认为
Figure BDA00022798651000001012
内位置为(i,j)的像素为有效边缘,相应的
Figure BDA00022798651000001013
加1,即:
Figure BDA00022798651000001014
其中,
Figure BDA00022798651000001015
(k=1,2,...,n)表示第k个源图像的纯目标区域边缘图像(其求法与前文
Figure BDA00022798651000001016
的求法一致),
Figure BDA00022798651000001017
为逻辑“或”操作算子。
(3)遍历
Figure BDA00022798651000001018
内所有像素,得到最终的
Figure BDA00022798651000001019
本发明实施例通过像素数量计算边缘保全效率,得到准确的边缘保全效率后能够结合边缘保全度计算目标边缘质量。
在上述实施例的基础上,所述图像融合质量评价方法,还包括:
获取所述融合图像的干扰边缘的像素点数量以及所述源图像的干扰边缘的像素点数量;
根据所述融合图像的干扰边缘的像素点数量以及所述源图像的干扰边缘的像素点数量计算得到图像融合前后所述干扰边缘减少的像素点数量;
计算所述图像融合前后所述干扰边缘减少的像素点数量与所述源图像的干扰边缘的像素点数量的比值得到所述干扰边缘抑制率。
本发明实施例中,获取图像融合前后的干扰边缘,将图像融合前后的干扰边缘进行对比,可以得到图像在融合过程中减少的边缘数量(可以为像素点数量),然后根据减少的边缘数量与融合前后的边缘数量的比对,可以计算干扰边缘抑制率,具体的计算方法,可以如下:设源图像A的边缘检测图像为DA,定义图像A的干扰边缘为DA中的非目标边缘,记为
Figure BDA0002279865100000111
干扰边缘抑制率是表征融合图像对源图像中干扰抑制程度的定量指标,其定义为图像融合后干扰边缘减少的像素数与源图像干扰边缘像素数的比值,即:
式0:
Figure BDA0002279865100000112
其中,
Figure BDA0002279865100000113
Figure BDA0002279865100000114
分别表示融合图像和源图像的干扰边缘像素数,且有:
式1:
Figure BDA0002279865100000115
式2:
Figure BDA0002279865100000116
上述式1中,
Figure BDA0002279865100000117
表示融合图像的边缘检测图像中的边缘像素数量,
Figure BDA0002279865100000118
表示融合图像的边缘检测图像中,属于目标边缘的像素数量,其计算方法在目标边缘效率的定义中已经说明,此处不复述。
Figure BDA0002279865100000119
表示源图像的边缘检测图像中,总的边缘像素数量,
Figure BDA00022798651000001110
表示源图像边缘检测图像中的目标边缘像素数量。
Figure BDA00022798651000001111
可按照下式计算:
Figure BDA00022798651000001112
其中,Count(·)表示统计边缘像素数量算子,
Figure BDA00022798651000001113
(k=1,2,...,n)表示第k个源图像的边缘检测图像,
Figure BDA00022798651000001114
表示对n个边缘检测图像进行逻辑“或”操作得到的图像。
类似的,
Figure BDA00022798651000001115
的计算方法如下:
Figure BDA00022798651000001116
其中,
Figure BDA00022798651000001117
表示表示第k个源图像的纯目标区域边缘图像。
从式0可看出,
Figure BDA00022798651000001118
当融合图像边缘检测图像中仅保留了目标的边缘时,
Figure BDA00022798651000001119
图像融合具有最佳的干扰抑制性能;当图像融合引入了新噪声时,
Figure BDA00022798651000001120
图像融合不具有干扰抑制性能,为将指标归一化,当
Figure BDA00022798651000001121
时,规定
Figure BDA00022798651000001122
即干扰边缘抑制率的计算式为:
Figure BDA00022798651000001123
此时,
Figure BDA0002279865100000121
本发明实施例通过干扰边缘计算干扰边缘抑制率,干扰边缘抑制率能够反映图像融合抑制干扰的能力,能够从一方面体现融合图像的质量。
在上述实施例的基础上,所述图像融合质量评价方法,还包括:
检测所述目标特征的类型;
当所述目标特征的类型为不包含形状特征的目标时,为所述保全度和干扰边缘抑制率分配预设的高权重,为所述边缘质量分配预设的低权重;
当所述目标特征的类型为包含形状特征的目标时,为所述边缘质量分配所述高权重,为所述保全度和干扰边缘抑制率分配所述低权重。
本发明实施例中,服务器可以检测目标特征的类型,目标特性的类型可以为不包含形状特征的弱小目标,在对弱小目标的图像融合中,图像融合的主要目的是目标检测,目标特殊特征仅有少数的几个点,而且目标特征往往淹没在大片的干扰之中。此时,目标特殊特征保全度和干扰边缘抑制率相比于目标边缘质量来说,对描述融合图像的目标质量具有更加重要的作用。所以对保全度、干扰边缘抑制率分配预设的高权重,对边缘质量分配预设的低权重,目标特性的类型也可以为具有一定形状的扩展目标,此时图像融合的主要目的是目标识别,特殊特征不再是几个特征点,而是一片特征区域,在融合图像中,即使特殊特征减弱,但依然能够对目标识别起到重要作用。因此,特殊特征保全度的重要性不如在弱小目标图像融合中那么明显。在扩展目标图像融合中,更加重要的应该是目标边缘的质量,所以为边缘质量分配高权重,为保全度、干扰边缘抑制率分配低权重。
另外,结合上述保全度、边缘质量、干扰边缘抑制率的计算方法,在根据上述保全度、边缘质量、干扰边缘抑制率及权重计算图像融合质量时,可以通过如下公式:
Figure BDA0002279865100000122
其中,w1、w2、w3分别对应保全度、边缘质量、干扰边缘抑制率的权重系数,且w1+w2+w3=1。
另外,在一般情况下,可认为目标特殊的保全度、边缘质量和干扰边缘抑制率三者对融合图像目标质量具有相同的重要性,因此,权重系数可取w1=w2=w3=1/3。实际处理中,为让评估更有针对性,对不同类型的图像,比如上述的不包含形状特征的弱小目标以及包含形状特征的目标时,权重系数的选择往往可以更具灵活性。
本发明实施例通过目标特征的类型为保全度、边缘质量、干扰边缘抑制率分配权重,使的最后的评价结果更有针对性,更加准确。
图2为本发明实施例提供的一种的图像融合质量评价装置,包括:第一获取模块201、对比模块202、第二获取模块203和权重分配模块204,其中:
第一获取模块,用于获取源图像及融合图像中的目标特征,并计算目标特征的保全度。
对比模块,用于将融合图像中目标特征的边缘与源图像中目标特征的边缘进行对比,根据对比结果计算目标特征的边缘质量。
第二获取模块,用于获取融合图像的干扰边缘以及源图像的干扰边缘,并根据融合图像的干扰边缘和源图像的干扰边缘计算干扰边缘抑制率,干扰边缘为图像中非目标特征的边缘。
权重分配模块,用于获取预设的权重分配方法,根据权重分配方法分配保全度、边缘质量、干扰边缘抑制率的权重,并根据保全度及保全度的权重、边缘质量及边缘质量的权重、干扰边缘抑制率及干扰边缘抑制率的权重计算融合图像的评价结果。
在一个实施例中,装置还可以包括:
检测模块,用于检测源图像及融合图像的图像类型。
标准确定模块,用于根据图像类型确定对应的目标特征的度量标准。
第三获取模块,用于根据度量标准获取源图像中目标特征的度量值及融合图像中目标特征的度量值。
计算模块,用于根据源图像中目标特征的度量值及融合图像中目标特征的度量值计算目标特征的保全度。
在一个实施例中,装置还可以包括:
第二计算模块,用于根据对比结果计算目标特征的边缘保全度及目标特征的边缘保全效率。
第三计算模块,用于根据边缘保全度及边缘保全效率计算目标特征的边缘质量。
在一个实施例中,装置还可以包括:
第四获取模块,用于获取源图像中目标特征的边缘的像素点数量及融合图像中目标特征的边缘的像素点数量。
第四计算模块,用于根据源图像中目标特征的边缘的像素点数量及融合图像中目标特征的边缘的像素点数量计算目标特征的边缘保全度。
在一个实施例中,装置还可以包括:
二值模块,用于对融合图像进行边缘检测和二值化处理,得到二值边缘检测图像。
提取模块,用于提取二值边缘检测图像中包含目标特征的边缘的二值边缘检测子图像。
第五获取模块,用于获取二值边缘检测子图像中目标特征的边缘的像素点数量以及二值边缘检测子图像中的边缘的像素点数量。
第五计算模块,用于根据二值边缘检测子图像中目标特征的边缘的像素点数量以及二值边缘检测子图像中的边缘的像素点数量计算目标特征的边缘保全效率。
在一个实施例中,装置还可以包括:
第六获取模块,用于获取融合图像的干扰边缘的像素点数量以及源图像的干扰边缘的像素点数量。
第六计算模块,用于根据融合图像的干扰边缘的像素点数量以及源图像的干扰边缘的像素点数量计算得到图像融合前后干扰边缘减少的像素点数量。
第七计算模块,用于计算图像融合前后干扰边缘减少的像素点数量与源图像的干扰边缘的像素点数量的比值得到干扰边缘抑制率。
在一个实施例中,装置还可以包括:
第二检测模块,用于检测目标特征的类型。
第二权重分配模块,用于当目标特征的类型为不包含形状特征的目标时,为保全度和干扰边缘抑制率分配预设的高权重,为边缘质量分配预设的低权重。
第三权重分配模块,用于当目标特征的类型为包含形状特征的目标时,为边缘质量分配所述高权重,为保全度和干扰边缘抑制率分配低权重。
关于图像融合质量评价装置的具体限定可以参见上文中对于板卡软件升级方法的限定,在此不再赘述。上述图像融合质量评价装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图3示例了一种电子设备的实体结构示意图,如图3所示,该电子设备可以包括:处理器(processor)301、存储器(memory)302、通信接口(Communications Interface)303和通信总线304,其中,处理器301,存储器302,通信接口303通过通信总线304完成相互间的通信。处理器301可以调用存储器302中的逻辑指令,以执行如下方法:获取源图像及融合图像中的目标特征,并计算所述目标特征的保全度;将所述融合图像中目标特征的边缘与源图像中目标特征的边缘进行对比,根据对比结果计算所述目标特征的边缘质量;获取所述融合图像的干扰边缘以及所述源图像的干扰边缘,并根据所述融合图像的干扰边缘和所述源图像的干扰边缘计算干扰边缘抑制率,所述干扰边缘为图像中非目标特征的边缘;获取预设的权重分配方法,根据所述权重分配方法分配所述保全度、边缘质量、干扰边缘抑制率的权重,并根据所述保全度及所述保全度的权重、所述边缘质量及所述边缘质量的权重、所述干扰边缘抑制率及所述干扰边缘抑制率的权重计算所述融合图像的评价结果。
此外,上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法,例如包括:获取源图像及融合图像中的目标特征,并计算所述目标特征的保全度;将所述融合图像中目标特征的边缘与源图像中目标特征的边缘进行对比,根据对比结果计算所述目标特征的边缘质量;获取所述融合图像的干扰边缘以及所述源图像的干扰边缘,并根据所述融合图像的干扰边缘和所述源图像的干扰边缘计算干扰边缘抑制率,所述干扰边缘为图像中非目标特征的边缘;获取预设的权重分配方法,根据所述权重分配方法分配所述保全度、边缘质量、干扰边缘抑制率的权重,并根据所述保全度及所述保全度的权重、所述边缘质量及所述边缘质量的权重、所述干扰边缘抑制率及所述干扰边缘抑制率的权重计算所述融合图像的评价结果。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像融合质量评价方法,其特征在于,包括:
获取源图像及融合图像中的目标特征,并计算所述目标特征的保全度;
将所述融合图像中目标特征的边缘与源图像中目标特征的边缘进行对比,根据对比结果计算所述目标特征的边缘质量;
获取所述融合图像的干扰边缘以及所述源图像的干扰边缘,并根据所述融合图像的干扰边缘和所述源图像的干扰边缘计算干扰边缘抑制率,所述干扰边缘为图像中非目标特征的边缘;
获取预设的权重分配方法,根据所述权重分配方法分配所述保全度、边缘质量、干扰边缘抑制率的权重,并根据所述保全度及所述保全度的权重、所述边缘质量及所述边缘质量的权重、所述干扰边缘抑制率及所述干扰边缘抑制率的权重计算所述融合图像的评价结果。
2.根据权利要求1所述的图像融合质量评价方法,其特征在于,所述计算所述目标特征的保全度,包括:
检测所述源图像及所述融合图像的图像类型;
根据所述图像类型确定对应的所述目标特征的度量标准;
根据所述度量标准获取所述源图像中目标特征的度量值及所述融合图像中目标特征的度量值;
根据所述源图像中目标特征的度量值及所述融合图像中目标特征的度量值计算所述目标特征的保全度。
3.根据权利要求1所述的图像融合质量评价方法,其特征在于,根据对比结果计算所述目标特征的边缘质量,包括:
根据所述对比结果计算所述目标特征的边缘保全度及所述目标特征的边缘保全效率;
根据所述边缘保全度及所述边缘保全效率计算所述目标特征的边缘质量。
4.根据权利要求3所述的图像融合质量评价方法,其特征在于,所述方法还包括:
获取所述源图像中目标特征的边缘的像素点数量及所述融合图像中目标特征的边缘的像素点数量;
根据所述源图像中目标特征的边缘的像素点数量及所述融合图像中目标特征的边缘的像素点数量计算所述目标特征的边缘保全度。
5.根据权利要求3所述的图像融合质量评价方法,其特征在于,所述方法还包括:
对所述融合图像进行边缘检测和二值化处理,得到二值边缘检测图像;
提取所述二值边缘检测图像中包含所述目标特征的边缘的二值边缘检测子图像;
获取所述二值边缘检测子图像中所述目标特征的边缘的像素点数量以及所述二值边缘检测子图像中的边缘的像素点数量;
根据所述二值边缘检测子图像中所述目标特征的边缘的像素点数量以及所述二值边缘检测子图像中的边缘的像素点数量计算所述目标特征的边缘保全效率。
6.根据权利要求1所述的图像融合质量评价方法,其特征在于,所述根据所述融合图像的干扰边缘和所述源图像的干扰边缘计算干扰边缘抑制率,包括:
获取所述融合图像的干扰边缘的像素点数量以及所述源图像的干扰边缘的像素点数量;
根据所述融合图像的干扰边缘的像素点数量以及所述源图像的干扰边缘的像素点数量计算得到图像融合前后所述干扰边缘减少的像素点数量;
计算所述图像融合前后所述干扰边缘减少的像素点数量与所述源图像的干扰边缘的像素点数量的比值得到所述干扰边缘抑制率。
7.根据权利要求1所述的图像融合质量评价方法,其特征在于,所述权重分配方法,包括:
检测所述目标特征的类型;
当所述目标特征的类型为不包含形状特征的目标时,为所述保全度和干扰边缘抑制率分配预设的高权重,为所述边缘质量分配预设的低权重;
当所述目标特征的类型为包含形状特征的目标时,为所述边缘质量分配所述高权重,为所述保全度和干扰边缘抑制率分配所述低权重。
8.一种图像融合质量评价装置,其特征在于,所述装置包括:
第一获取模块,用于获取源图像及融合图像中的目标特征,并计算所述目标特征的保全度;
对比模块,用于将所述融合图像中目标特征的边缘与源图像中目标特征的边缘进行对比,根据对比结果计算所述目标特征的边缘质量;
第二获取模块,用于获取所述融合图像的干扰边缘以及所述源图像的干扰边缘,并根据所述融合图像的干扰边缘和所述源图像的干扰边缘计算干扰边缘抑制率,所述干扰边缘为图像中非目标特征的边缘;
权重分配模块,用于获取预设的权重分配方法,根据所述权重分配方法分配所述保全度、边缘质量、干扰边缘抑制率的权重,并根据所述保全度及所述保全度的权重、所述边缘质量及所述边缘质量的权重、所述干扰边缘抑制率及所述干扰边缘抑制率的权重计算所述融合图像的评价结果。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述图像融合质量评价方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述图像融合质量评价方法的步骤。
CN201911137076.8A 2019-11-19 2019-11-19 图像融合质量评价方法及装置 Active CN110889817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911137076.8A CN110889817B (zh) 2019-11-19 2019-11-19 图像融合质量评价方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911137076.8A CN110889817B (zh) 2019-11-19 2019-11-19 图像融合质量评价方法及装置

Publications (2)

Publication Number Publication Date
CN110889817A true CN110889817A (zh) 2020-03-17
CN110889817B CN110889817B (zh) 2022-04-26

Family

ID=69748038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911137076.8A Active CN110889817B (zh) 2019-11-19 2019-11-19 图像融合质量评价方法及装置

Country Status (1)

Country Link
CN (1) CN110889817B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798406A (zh) * 2020-03-26 2020-10-20 北京京东尚科信息技术有限公司 一种图片质量评价方法和系统
CN112213320A (zh) * 2020-11-03 2021-01-12 广东银炜食品机械有限公司 一种基于机器视觉的饼干检测装置及饼干检测方法
CN112561878A (zh) * 2020-12-15 2021-03-26 黑龙江大学 基于加权融合的手指静脉图像质量评价方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1545064A (zh) * 2003-11-27 2004-11-10 上海交通大学 红外与可见光图像融合方法
US20120269441A1 (en) * 2011-04-19 2012-10-25 Xerox Corporation Image quality assessment
CN107240096A (zh) * 2017-06-01 2017-10-10 陕西学前师范学院 一种红外与可见光图像融合质量评价方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1545064A (zh) * 2003-11-27 2004-11-10 上海交通大学 红外与可见光图像融合方法
US20120269441A1 (en) * 2011-04-19 2012-10-25 Xerox Corporation Image quality assessment
CN107240096A (zh) * 2017-06-01 2017-10-10 陕西学前师范学院 一种红外与可见光图像融合质量评价方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CONGLI LI ET AL.: "《A new image fusion quality assessment method based on Contourlet and SSIM》", 《IEEE XPLORE》 *
刘松涛 等: "面向目标识别的图像融合效果评价方法", 《激光与红外》 *
段玉波 等: "一种新的图像边缘检测客观评价方法", 《自动化技术与应用》 *
赵飞翔 等: "交互信息加权的红外与可见光图像融合评价方法", 《电子设计工程》 *
高绍姝 等: "图像融合质量客观评价方法", 《应用光学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798406A (zh) * 2020-03-26 2020-10-20 北京京东尚科信息技术有限公司 一种图片质量评价方法和系统
CN112213320A (zh) * 2020-11-03 2021-01-12 广东银炜食品机械有限公司 一种基于机器视觉的饼干检测装置及饼干检测方法
CN112561878A (zh) * 2020-12-15 2021-03-26 黑龙江大学 基于加权融合的手指静脉图像质量评价方法

Also Published As

Publication number Publication date
CN110889817B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN110889817B (zh) 图像融合质量评价方法及装置
EP3132418B1 (en) Non local image denoising
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN111340749B (zh) 图像质量的检测方法、装置、设备及存储介质
CN110796615A (zh) 一种图像去噪方法、装置以及存储介质
US9373053B2 (en) Image processor with edge selection functionality
CN110390643A (zh) 一种车牌增强方法、装置及电子设备
CN109903265B (zh) 一种图像变化区域侦测阀值设定方法、系统及其电子装置
WO2024016632A1 (zh) 亮点定位方法、亮点定位装置、电子设备及存储介质
CN111476812A (zh) 地图分割方法、装置、位姿估计方法和设备终端
CN116129195A (zh) 图像质量评价装置、方法、电子设备和存储介质
CN113569708A (zh) 活体识别方法、装置、电子设备以及存储介质
CN110766657A (zh) 一种激光干扰图像质量评价方法
CN113538263A (zh) 基于改进DeblurGAN模型的去运动模糊方法、介质及设备
CN110708568A (zh) 一种视频内容突变检测方法及装置
CN113706472A (zh) 公路路面病害检测方法、装置、设备及存储介质
Liu et al. Splicing forgery exposure in digital image by detecting noise discrepancies
KR101129220B1 (ko) 레인지 영상의 노이즈 제거장치 및 방법
Srikakulapu et al. Depth estimation from single image using defocus and texture cues
CN112889061B (zh) 人脸图像质量评估方法、装置、设备及存储介质
Matsushita et al. A probabilistic intensity similarity measure based on noise distributions
CN113628192B (zh) 图像模糊检测方法、装置、设备、存储介质及程序产品
CN111951254B (zh) 基于边缘引导加权平均的源相机识别方法及系统
CN105678704B (zh) 一种基于视觉感知的非局部中值盲降噪方法
CN113554685A (zh) 遥感卫星运动目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant