CN112651945A - 一种基于多特征的多曝光图像感知质量评价方法 - Google Patents

一种基于多特征的多曝光图像感知质量评价方法 Download PDF

Info

Publication number
CN112651945A
CN112651945A CN202011598703.0A CN202011598703A CN112651945A CN 112651945 A CN112651945 A CN 112651945A CN 202011598703 A CN202011598703 A CN 202011598703A CN 112651945 A CN112651945 A CN 112651945A
Authority
CN
China
Prior art keywords
image
exposure
dsift
saturation
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011598703.0A
Other languages
English (en)
Inventor
崔跃利
张石清
陈�光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taizhou University
Original Assignee
Taizhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taizhou University filed Critical Taizhou University
Priority to CN202011598703.0A priority Critical patent/CN112651945A/zh
Publication of CN112651945A publication Critical patent/CN112651945A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多特征的多曝光图像感知质量评价方法，涉及多曝光图像质量评价技术领域，包括以下步骤：预先通过颜色空间转换，获取融合图像的色度分量与具有最严重衰减的色度之间的L1范数来度量图像的全局颜色退化，通过引导滤波器构造具有融合图像强边缘信息的失真图像序列，并计算DSIFT相似性来衡量图像的局部边缘失真区域，加入DSIFT饱和度来消除细节增强带来的影响，并以多尺度的方式来获取从细尺度到粗尺度上的特征，通过高斯曝光函数来评估融合图像的局部曝光特性和全局曝光特性，并将获取特征信息用随机森林进行聚合来预测融合图像质量。本发明实现能够较好地预测融合图像的感知质量，与人类感知有更好的相关性，应用范围广。

Description

一种基于多特征的多曝光图像感知质量评价方法
技术领域
本发明涉及多曝光图像质量评价技术领域，具体来说，涉及一种基于多 特征的多曝光图像感知质量评价方法。
背景技术
自然场景通常具有10-5-108cd/m2的亮度范围，而现有的图像采集设备能 够获取的亮度动态范围十分有限，因此无法完全保留现实场景中的细节信 息。MEF作为一种有效的质量增强技术，正逐渐成为成像领域的研究热点。 该技术是通过合并多幅不同曝光的LDR图像来生成一幅感知上更具吸引力的 图像。与传统的高动态范围成像(High DynamicRange Imaging,HDRI)技术不 同的是，MEF无需通过曝光时间求解相机响应曲线来获得HDR图像，也无 需进行色调映射等操作，直接产生一幅能在普通显示设备上观看的LDR图 像，显得十分简便。
目前，已经提出了很多MEF算法，且各种方法之间的差异性主要体现在 融合权重的求解过程上。最简单的局部能量加权和全局能量加权算法是通过 衡量源图像之间的局部能量和全局能量来获取权重。不同的边缘保留滤波 器，例如双边滤波器、递归滤波器和引导滤波器，都在MEF中很好地解决了 空间一致性问题，但这些MEF方法都呈现出不一致的融合性能。为了进一步 改进不同MEF方法中的缺陷，开发专门针对多曝光图像融合的IQA模型变 得至关重要。一般的图像质量评价方法分为全参考(Full-Reference,FR)、半参 考(Reduced-Reference,RR)和无参考(No-Reference,NR)三大类。然而，由于 MEF的特殊性，制定有效的感知IQA将具有较大的挑战，因为MEF-IQA并 不属于传统意义上的FR。值得考虑的是，MEF-IQA可以看做一种具有多幅 参考图像的FR-IQA，因为人们可以从不同曝光的源图像序列中获取真实参考 图像信息。因此，开发有效的MEF-IQA模型的主要挑战是如何从曝光不足 或过度曝光的图像序列中获取与人类视觉系统(Human Visual System,HVS)相关的真实参考信息。为了更好地开展MEF感知质量评价方面的研究，除此之 外，基于结构相似性原理，他还提出一种衡量小尺度结构一致性和大尺度亮 度一致性的感知MEF-IQA模型。然而，已有的MEF-IQA模型未考虑融合图 像细节增强和局部区域曝光不足带来的影响，因为细节增强算法可能会有助 于产生感知上更吸引人的结果，但也会在某些特定的图像中出现不必要的伪 影，而融合图像的局部区域曝光不足不仅会造成图像的信息丢失，还会出现 一些不自然的黑影。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于多特征的多曝光图像感知 质量评价方法，以克服现有相关技术所存在的上述技术问题。
本发明的技术方案是这样实现的：
一种基于多特征的多曝光图像感知质量评价方法，包括以下步骤：
步骤S1，预先通过颜色空间转换，获取融合图像的色度分量与具有最 严重衰减的色度之间的L1范数来度量图像的全局颜色退化，并加入颜色 饱和度相似性来消除色彩过饱和时的影响；
步骤S2，通过引导滤波器构造具有融合图像强边缘信息的失真图像序 列，并计算DSIFT相似性来衡量图像的局部边缘失真区域，
步骤S3，加入DSIFT饱和度来消除细节增强带来的影响，并以多尺 度的方式来获取从细尺度到粗尺度上的特征；
步骤S4，通过高斯曝光函数来评估融合图像的局部曝光特性和全局曝 光特性，并将获取特征信息用随机森林进行聚合来预测融合图像质量。
进一步的，步骤所述获取特征信息，包括全局颜色失真度量
Figure RE-GDA0002973379150000021
和
Figure RE-GDA0002973379150000031
局部颜色饱和度相似性
Figure RE-GDA0002973379150000032
三个尺度下的DSIFT相似性
Figure RE-GDA0002973379150000033
和DSIFT饱和度
Figure RE-GDA0002973379150000034
局部曝光相似性
Figure RE-GDA0002973379150000035
和全局曝光度量
Figure RE-GDA0002973379150000036
进一步的，步骤所述预先通过颜色空间转换，获取融合图像的色度分 量与具有最严重衰减的色度之间的L1范数来度量图像的全局颜色退化， 并加入颜色饱和度相似性来消除色彩过饱和时的影响，包括以下步骤：
通过计算RGB三通道内的标准偏差来衡量饱和度：
Figure BDA0002870647030000031
其中，CSA为颜色饱和度，μ为R、G、B三通道的均值。然后根据源 图像序列计算最大颜色饱和度图来作为参考图像，因为最大颜色饱和度图 能够从源图像序列中提取出最佳的色彩信息，其最大饱和度图CSAmax计算如 下：
CSAmax＝max(CSA1,CSA2,...,CSAk) (5)
其中，CSAk为第k幅源图像的饱和度图，max(·)为“选择最大”操作 符；
通过计算最大饱和度图CSAmax与融合图像的饱和度图CSAfused之间的相似 性来评估局部色彩失真，从而消除色彩过饱和时带来的影响，其局部饱和 度相似性
Figure BDA0002870647030000032
定义如下：
Figure BDA0002870647030000033
其中，mean(·)是均值操作符，C1是控制分母不为0的常量为0.00005。
进一步的，步骤所述通过引导滤波器构造具有融合图像强边缘信息的 失真图像序列，并计算DSIFT相似性来衡量图像的局部边缘失真区域， 包括以下步骤：
基于每个像素点对
Figure BDA0002870647030000034
和
Figure BDA0002870647030000035
提取DSIFT特征；
获取
Figure BDA0002870647030000036
和
Figure BDA0002870647030000037
之间的DSIFT特征相似性来度量局部边缘失真；
标定曝光函数进行加权，表示为：
Figure BDA0002870647030000038
Figure BDA0002870647030000039
其中，
Figure BDA00028706470300000310
是第k幅高斯曝光权重图，K是源图像序列数量，DsiftSIM是加权得到的DSIFT相似性图；
用引导滤波器产生参考源序列
Figure BDA00028706470300000311
和失真源序列
Figure BDA00028706470300000312
滤波过程， 表示为：
Figure BDA00028706470300000313
Figure BDA00028706470300000314
其中，
Figure BDA0002870647030000041
和
Figure BDA0002870647030000042
分别为参考源序列图像和失真源序列图像，guild(·)为 引导滤波操作符，rl和εl分别为滤波半径和正则化参数；
基于每个像素点对
Figure BDA0002870647030000043
和
Figure BDA0002870647030000044
提取DSIFT特征，其中每个特征描述符 的维度M为32维，表示为：
Figure BDA0002870647030000045
Figure BDA0002870647030000046
其中，
Figure BDA0002870647030000047
和
Figure BDA0002870647030000048
分别是第k幅参考图像和失真图像的 DSIFT特征描述符，M是特征维度，DSIFT(·)是计算DSIFT特征的操作符。
获取
Figure BDA0002870647030000049
和
Figure BDA00028706470300000410
之间的DSIFT饱和度来度量细节增强；
采用高斯曝光函数进行加权，表示为：
Figure BDA00028706470300000411
Figure BDA00028706470300000412
其中，σl控制高斯曲线的平坦程度，
Figure BDA00028706470300000413
是第k幅高斯曝光权重 图，K是源图像序列数量，DsiftSA是加权得到的DSIFT饱和度图。
进一步的，还包括以下步骤：
首先将原始的多曝光序列图像和MEF图像作为尺度1；
迭代地对尺度为n-1的图像应用低通滤波器，并以因子2对滤波后的 图像进行下采样，从而得到尺度为n的输出图像；
基于式(16)和(22)在不同尺度上获取DSIFT相似性和DSIFT饱和度特 征，记为
Figure BDA00028706470300000414
和
Figure BDA00028706470300000415
进一步的，步骤所述通过高斯曝光函数来评估融合图像的局部曝光特 性和全局曝光特性，并将获取特征信息用随机森林进行聚合来预测融合图 像质量，包括：
选取每幅源图像中曝光最好的区域作为良好曝光参考图像
Figure BDA00028706470300000416
表示 为：
Figure BDA00028706470300000417
其中，max(·)为“选择最大”操作符；
通过获取曝光参考图像
Figure BDA00028706470300000418
与融合图像Yf之间的相似性来评估局部曝 光特性
Figure BDA00028706470300000419
表示为：
Figure BDA00028706470300000420
其中，mean(·)是均值操作符，C4是控制分母不为0的常量为0.00005；
通过衡量平均亮度值与0.5之间的距离来度量融合图像的全局曝光情 况，表示为：
Figure BDA0002870647030000051
其中，
Figure BDA0002870647030000052
是融合图像Yf的平均亮度值，sglobal控制高斯曲线的平坦程度 为0.2，
Figure BDA0002870647030000053
是融合图像的全局曝光度量。
本发明的有益效果：
本发明基于多特征的多曝光图像感知质量评价方法，通过预先通过颜 色空间转换，获取融合图像的色度分量与具有最严重衰减的色度之间的 L1范数来度量图像的全局颜色退化，并加入颜色饱和度相似性来消除色 彩过饱和时的影响，将引导滤波器构造具有融合图像强边缘信息的失真图 像序列，并计算DSIFT相似性来衡量图像的局部边缘失真区域，加入 DSIFT饱和度来消除细节增强带来的影响，并以多尺度的方式来获取从细 尺度到粗尺度上的特征，通过高斯曝光函数来评估融合图像的局部曝光特 性和全局曝光特性，并将获取特征信息用随机森林进行聚合来预测融合图 像质量，实现能够较好地预测融合图像的感知质量，与人类感知有更好的 相关性，应用范围广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅 仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性 劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于多特征的多曝光图像感知质量评 价方法的流程示意图一；
图2是根据本发明实施例的一种基于多特征的多曝光图像感知质量评 价方法的流程示意图二；
图3是根据本发明实施例的一种基于多特征的多曝光图像感知质量评 价方法的融合图像示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的 所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种基于多特征的多曝光图像感知质量 评价方法。
如图1-图3所示，根据本发明实施例的基于多特征的多曝光图像感知 质量评价方法，包括以下步骤：
预先通过颜色空间转换，获取融合图像的色度分量与具有最严重衰减 的色度之间的L1范数来度量图像的全局颜色退化，并加入颜色饱和度相 似性来消除色彩过饱和时的影响；
通过引导滤波器构造具有融合图像强边缘信息的失真图像序列，并计 算DSIFT相似性来衡量图像的局部边缘失真区域；
加入DSIFT饱和度来消除细节增强带来的影响，并以多尺度的方式来 获取从细尺度到粗尺度上的特征；
通过高斯曝光函数来评估融合图像的局部曝光特性和全局曝光特性， 并将获取特征信息用随机森林进行聚合来预测融合图像质量。
另外，具体的，其采取全局和局部度量方式来评估融合图像的色彩信 息。首先，将MEF图像的RGB颜色空间转换为人类视觉特性的YCbCr空 间，表示为：
Figure BDA0002870647030000061
其中，Yf为融合图像的亮度信息，Cbf和Crf为色度信息，且式(1)的逆过程 表示如下：
Rf＝Yf+1.402(Crf-128)
Gf＝Yf-0.344(Cbf-128)-0.714(Crf-128)
Bf＝Yf+1.772(Cbf-128) (2)
由式(2)可知，当Cbf、Crf分量越接近128时，图像的视觉效果越接近灰 度图像。根据这一特性，本文利用Cbf、Crf分量与128之间的L1范数来近似 衡量融合图像的全局色彩失真，定义如下：
Figure BDA0002870647030000071
Figure BDA0002870647030000072
其中，N为融合图像Yf中的像素个数，||·||1为L1范数操作符，
Figure BDA0002870647030000073
和
Figure BDA0002870647030000074
分别为Cbf和Crf的全局色彩失真度量。当Cbf和Crf值越偏离128时，
Figure BDA0002870647030000075
和
Figure BDA0002870647030000076
值越大，融合图像的色彩越丰富，但是当融合图像的色彩过于饱和时， 该全局度量就会失去作用。
由于颜色饱和度能够准确描述HVS对颜色信息的自然反应，高饱和度的 像素一般具有鲜艳的颜色，而饱和度较低的像素通常颜色暗淡，因此，采用 颜色饱和度来评估MEF图像的局部颜色失真。通过计算RGB三通道内的标 准偏差来衡量饱和度：
Figure BDA0002870647030000077
其中，CSA为颜色饱和度，μ为R、G、B三通道的均值。然后根据源图像序 列计算最大颜色饱和度图来作为参考图像，因为最大颜色饱和度图能够从源 图像序列中提取出最佳的色彩信息。最大饱和度图CSAmax计算如下：
CSAmax＝max(CSA1,CSA2,...,CSAk) (5)
其中，CSAk为第k幅源图像的饱和度图，max(·)为“选择最大”操作符。
最后，通过计算最大饱和度图CSAmax与融合图像的饱和度图CSAfused之间的 相似性来评估局部色彩失真，从而消除色彩过饱和时带来的影响。局部饱和 度相似性
Figure BDA0002870647030000078
定义如下：
Figure BDA0002870647030000079
其中，mean(·)是均值操作符，C1是控制分母不为0的常量，设置为 0.00005。
另外，本发明利用DSIFT特征来评估融合图像中的边缘失真现象，而边 缘失真问题主要体现在细节丢失、伪边缘和细节增强三方面。
具体的，其引导滤波器作为一种边缘保留滤波器，已经在细节增强、 HDR压缩等众多计算机视觉应用中取得了较好的效果。它根据局部线性模型 的特性，假设滤波输出图像Q与引导图像G在一个二维窗口内满足线性关系， 定义如下：
Figure BDA0002870647030000081
其中，i和j是像素索引，wj是以像素j为中心，大小为(2r+1)×(2r+1)的局 部窗口，aj和bj是在窗口wj内的线性系数，可以通过最小化滤波输出图像Q和 输入图像P之间的差异来求取，定义如下：
Figure BDA0002870647030000082
其中，ε是正则化参数，而线性系数aj和bj可以通过最小二乘法求解得 到。
Figure BDA0002870647030000083
Figure BDA0002870647030000084
其中，μj和
Figure BDA0002870647030000085
分别是引导图像G在窗口wj内的均值和方差，
Figure BDA0002870647030000086
是输入图 像P在窗口wj内的均值，|w|是在窗口wj内的像素总数。由于一个像素点i会同 时被多个窗口所包含，所以式(7)中的输出Qi将会变化。为了解决这个问题， 将所有包含像素点i的输出函数值作平均，从而得到最终的滤波输出。
Figure BDA0002870647030000087
其中，
Figure BDA0002870647030000088
和
Figure BDA0002870647030000089
是包含像素点i的所有窗口wj内的平均系数。
具体的，当引导图像G与输入图像P一致时，引导滤波的边缘保持效果主 要与正则化参数ε相关。当ε＞0，且窗口中心j在像素强度变化较小的区域 时，即
Figure BDA00028706470300000810
时，有
Figure BDA00028706470300000811
此时，相当于滤波半径为r的均值滤波；而当 窗口中心j在像素强度变化较大的区域时，即
Figure BDA00028706470300000812
时，有aj≈1,bj≈0，此时， 滤波输出Qi≈Gi，相当于保留了引导图像的强边缘信息。而ε的取值界定了像 素强度变化大小的区域，若ε很小时,满足
Figure BDA00028706470300000813
的区域十分少，即需要作半径 为r的均值滤波操作的区域很少，此时，大多数像素点j满足
Figure BDA00028706470300000814
即滤波 输出Qi几乎保留了引导图像Gi中的所有信息；相反，若ε较大时，大多数像素 点j满足
Figure BDA00028706470300000815
只有少数像素点j在像素强度变化极大的区域上时才满足
Figure BDA00028706470300000816
因此，滤波输出Qi只能保留引导图像Gi中的强度极大的边缘信息。
当引导图像G与输入图像P不一致时，引导滤波器相当于结构转移滤波 器，即滤波输出Q会保留引导图像G的强边缘信息。根据这一特性，本文将多 曝光源序列图像Yk作为引导滤波器的输入，将融合图像Yf作为引导图像，从 而构造出一组保留融合图像强边缘信息的多曝光失真源序列图像
Figure BDA00028706470300000817
同 时，为了消除滤波带来的影响，将多曝光源序列Yk同时作为输入图像和引导 图像，从而生成一组滤波后的多曝光参考源序列图像
Figure BDA00028706470300000818
定义如下：
Figure BDA0002870647030000091
Figure BDA0002870647030000092
其中，
Figure BDA0002870647030000093
和
Figure BDA0002870647030000094
分别为构造的多曝光参考源序列图像和失真源序列图 像，guild(·)为引导滤波操作符，rs和εs分别为滤波半径和正则化参数，由于 DSIFT相似性是估计融合图像的局部边缘失真区域，即
Figure BDA0002870647030000095
和
Figure BDA0002870647030000096
需要保留 引导图像几乎所有的信息，因此选择相对较小的rs和εs，分别设置为11和10-6。
然后，基于每个像素点对
Figure BDA0002870647030000097
和
Figure BDA0002870647030000098
提取DSIFT特征，同时为了减少内 存的消耗，本文将滑动块的大小设置为2×2，因此每个特征描述符的维度M 为32维。
Figure BDA0002870647030000099
Figure BDA00028706470300000910
其中，
Figure BDA00028706470300000911
和
Figure BDA00028706470300000912
分别为第k幅参考图像和失真图像的DSIFT 特征描述符，M是特征维度，DSIFT(·)为计算DSIFT特征的操作符。
接着，计算
Figure BDA00028706470300000913
和
Figure BDA00028706470300000914
之间的DSIFT特征相似性来度量局部边缘失真， 定义如下：
Figure BDA00028706470300000915
其中，
Figure BDA00028706470300000916
为第k幅DSIFT特征相似性图，C2是控制分母不为0的正 常数，设置为0.00005。
又由于
Figure BDA00028706470300000917
是表征第k幅参考图像和失真图像在不同方向上的特征相似 性，且融合图像的边缘失真区域也反映在不同方向的特征相似性图上，因此 可以采用简单的均值操作来得到第k幅最终的DSIFT相似性图
Figure BDA00028706470300000918
定义如 下：
Figure BDA00028706470300000919
其中，m是第k幅DSIFT相似性图上的维度索引。
最后，由于每幅DSIFT相似性图都由不同曝光的参考图像和失真图像计 算得到，因此需要考虑不同曝光区域的权重分配问题，进行对曝光函数进行 加权，定义如下：
Figure BDA00028706470300000920
Figure BDA00028706470300000921
其中，
Figure BDA00028706470300000922
是采用7×7的均值滤波器平滑源图像序列Yk得到的图像，根据空 间一致性原则，DSIFT相似性图是由较小平滑的参考源序列和失真源序列计 算得到，则对应的加权函数也应在空间上有较小平滑。σs控制高斯曲线的平 坦程度，设置为0.12，
Figure BDA00028706470300000923
是第k幅高斯曝光权重图，K是源图像序列数 量，DsiftSIM是加权得到的DSIFT相似性图，反映了融合图像中的边缘失真区 域。
具体的，首先用引导滤波器产生参考源序列
Figure BDA0002870647030000101
和失真源序列
Figure BDA0002870647030000102
滤波过程定义如下：
Figure BDA0002870647030000103
Figure BDA0002870647030000104
其中，
Figure BDA0002870647030000105
和
Figure BDA0002870647030000106
分别为参考源序列图像和失真源序列图像，guild(·)为引 导滤波操作符，rl和εl分别为滤波半径和正则化参数。如果rl和εl取值较小， 则滤波输出
Figure BDA0002870647030000107
和
Figure BDA0002870647030000108
就会保留引导图像中几乎所有的信息。又由于该伪影 不一定都存在于像素强度变化极大的区域，为了降低其对DSIFT饱和度的影 响，本文选用较大的滤波半径和正则化参数，分别设置为21和0.3，则滤波 输出
Figure BDA0002870647030000109
和
Figure BDA00028706470300001010
只会保留引导图像中像素强度变化极大的区域，使DSIFT饱 和度在边缘伪影和细节增强之间取得平衡。
其中，
Figure BDA00028706470300001011
和
Figure BDA00028706470300001012
分别为构造的多曝光参考源序列图像和失真源序列图 像，guild(·)为引导滤波操作符，rs和εs分别为滤波半径和正则化参数，由于 DSIFT相似性是估计融合图像的局部边缘失真区域，即
Figure BDA00028706470300001013
和
Figure BDA00028706470300001015
需要保留 引导图像几乎所有的信息，因此选择相对较小的rs和εs，分别设置为11和10-6。
然后，基于每个像素点对
Figure BDA00028706470300001016
和
Figure BDA00028706470300001017
提取DSIFT特征，其中每个特征描 述符的维度M为32维。
Figure BDA00028706470300001018
Figure BDA00028706470300001019
其中，
Figure BDA00028706470300001020
和
Figure BDA00028706470300001021
分别是第k幅参考图像和失真图像的DSIFT 特征描述符，M是特征维度，DSIFT(·)是计算DSIFT特征的操作符。
接着，计算
Figure BDA00028706470300001022
和
Figure BDA00028706470300001023
之间的DSIFT饱和度来度量细节增强，定义如 下：
Figure BDA00028706470300001024
其中，
Figure BDA00028706470300001025
是第k幅DSIFT饱和度图，atan(·)是逆正切函数，当
Figure BDA00028706470300001026
的值大于
Figure BDA00028706470300001027
时，饱和度大于1。C3是控制分母不为0的常 量，设置为0.00005。
由于
Figure BDA00028706470300001028
是表征第k幅参考图像和失真图像在不同方向上的DSIFT饱 和度，因此也采用简单的均值操作来得到第k幅最终的DSIFT饱和度图
Figure BDA00028706470300001029
，定义如下：
Figure BDA00028706470300001030
其中，m是第k幅DSIFT饱和度图上的维度索引。
最后，采用高斯曝光函数进行加权，定义如下：
Figure BDA0002870647030000111
Figure BDA0002870647030000112
其中，
Figure BDA0002870647030000113
是采用15×15的均值滤波器平滑源图像序列Yk得到的图像，根据 空间一致性原则，DSIFT饱和度图是由较大平滑的参考源序列和失真源序列 计算得到，则对应的加权函数应在空间上有较大平滑。σl控制高斯曲线的平 坦程度，设置为0.2，
Figure BDA0002870647030000114
是第k幅高斯曝光权重图，K是源图像序列数 量，DsiftSA是加权得到的DSIFT饱和度图，可以消除细节增强带来的影响。
首先将原始的多曝光序列图像和MEF图像作为尺度1，然后迭代地对尺 度为n-1的图像应用低通滤波器，并以因子2对滤波后的图像进行下采样，从 而得到尺度为n的输出图像，最后根据式(16)和(22)在不同尺度上获取DSIFT 相似性和DSIFT饱和度特征，记为
Figure BDA0002870647030000115
和
Figure BDA0002870647030000116
另外，具体的，其利用局部曝光度量来评估融合图像中的亮度不一致的 现象，当像素强度接近0或1时，该像素点处于欠曝光或过曝光状态，因此 通过衡量像素强度与0.5之间的距离来度量该像素点的曝光情况，定义如 下：
Figure BDA0002870647030000117
其中，Yk是第k幅多曝光源序列图像，slogal控制高斯曲线的平坦程度，设 置为0.2，
Figure BDA0002870647030000118
是第k幅多曝光源序列图像的局部曝光特征图。然后分别选取 每幅源图像中曝光最好的区域作为良好曝光参考图像
Figure BDA0002870647030000119
定义如下：
Figure BDA00028706470300001110
其中，max(·)为“选择最大”操作符。通过计算良好曝光参考图像
Figure BDA00028706470300001111
与 融合图像Yf之间的相似性来评估局部曝光特性
Figure BDA00028706470300001112
定义如下：
Figure BDA00028706470300001113
其中，mean(·)是均值操作符，C4是控制分母不为0的常量，为0.00005。 通过在局部曝光度量基础上，根据融合图像的平均亮度加入了全局曝光度 量。与局部曝光度量类似，当融合图像的平均亮度值接近0或1时，该融合 图像处于欠曝光或过曝光状态，因此可以通过衡量平均亮度值与0.5之间的 距离来度量融合图像的全局曝光情况，定义如下：
Figure BDA00028706470300001114
其中，
Figure BDA00028706470300001115
是融合图像Yf的平均亮度值，sglobal控制高斯曲线的平坦程度， 文中设置为0.2，
Figure BDA00028706470300001116
是融合图像的全局曝光度量。
此外，具体的，其随机森林是一种多功能的机器学习算法，能够执行回 归和分类的任务。在分类问题中，随机森林将生成很多决策树，然后基于每 棵树的分类结果进行投票表决，其输出结果将会是票数最多的分类选项；而 在回归问题中，随机森林的输出将会是所有决策树预测值的均值。由于随机 森林的预测准确率较高，不易出现过拟合现象，因此本发明利用随机森林进 行多特征的融合。本发明一共提取了11个特征，包括全局颜色失真度量
Figure BDA0002870647030000121
和
Figure BDA0002870647030000122
局部颜色饱和度相似性
Figure BDA0002870647030000123
三个尺度下的DSIFT相似性
Figure BDA0002870647030000124
和DSIFT饱和度
Figure BDA0002870647030000125
局部曝光相似性
Figure BDA0002870647030000126
和全局曝光度量
Figure BDA0002870647030000127
将这11个特 征和数据库中的主观评分作为随机森林的输入，分别进行训练和测试，从而 得到融合图像的预测质量。
此外，在一个实施例中，为了验证所提出MEF-IQA模型的有效性，在 Waterloo IVC提供的公共MEF数据库上进行测试。它由17个多曝光图像序 列和8种MEF算法产生的融合图像组成，并且包含每幅融合图像所对应的平 均意见分数(Mean Opinion Scores,MOS)，MOS范围为1-10，其中1表示最差 的质量，10表示最好的质量。图3为数据库中的Balloons序列和对应的8幅 融合图像，可以看出，不同的融合算法引起的视觉感知大不相同。图3(d)有大范围的颜色失真，图3(e)和(h)具有较低的平均亮度，图3(f)和(g)的局部区 域有一些不自然的黑影，图3(i)出现了大范围的伪影和边缘失真，图3(b)和 (c)都具有较好的主观感知，但图3(c)具有更加丰富的细节信息。因此，利用 多特征来评估MEF图像的方式更具有鲁棒性。
具体的，根据VQEG给出的图像质量评价模型参考标准，选取Pearson 线性相关系数(Pearson linear correlation coefficient,PLCC)、Spearman秩相关 系数(Spearmanrank-order correlation coefficient,SROCC)和均方根误差(Root Mean Square Error,RMSE)三个指标来评估方法的性能。PLCC反映了主观评 价与客观评价之间的相关性，其绝对值越接近于1表明预测精度越高； SROCC反映了主观评价与客观评价之间的一致性，其绝对值越接近于1表明 单调性越好；而RMSE反映了数据的离散程度，其值越小，说明方法越准确。
另外，在使用随机森林进行特征聚合时，输入是模型产生的11维特征， 理想输出是MOS值。在训练过程中，随机选取数据库中80％的融合图像作 为训练集，剩余20％的融合图像作为测试集，同时为了验证所提出模型的准 确性，重复上述过程1000次，并取中间值作为最终的性能指标。
具体的，进行性能比较：为了评估所提出MEF-IQA模型的性能，同时分别 定义全局颜色失真度量
Figure BDA0002870647030000131
和
Figure BDA0002870647030000132
为f1:f2、局部颜色饱和度相似性
Figure BDA0002870647030000133
为f3、 三个尺度下的DSIFT相似性
Figure BDA0002870647030000134
为f4:f6、DSIFT饱和度
Figure BDA0002870647030000135
为f7:f9、局部 曝光相似性
Figure BDA0002870647030000136
和全局曝光度量
Figure BDA0002870647030000137
为f10:f11，性能比较结果如表一所示。可 以看出，f1:f3的性能指标均高于f1:f2，表明颜色饱和度相似性能够较好地消 除色彩过饱和带来的影响；f4:f9的性能指标远远高于f1:f3，表明HVS对亮 度失真的敏感程度强于对色彩失真的敏感程度，而f4:f9的性能指标又均高于 f4:f6和f7:f9，表明MEF-IQA不仅要考虑细节丢失、伪边缘等不好的视觉现 象，还要衡量细节增强带来的影响，因为细节增强通常会产生更好的视觉感 知；当在f4:f9基础上加入颜色度量时，f1:f9的性能指标均高于f4:f9，表明 颜色信息对于MEF图像的质量评估不可忽视，因为理想的MEF图像通常具 有十分鲜艳的色彩，f10:f11的性能指标相比于f10有较小的提升，表明图像的 全局平均亮度对于MEF图像的质量有一定的影响；当在f1:f9基础上加入曝 光度量时，f1:f11的性能指标相比于f1:f9又有较大的提升，表明HVS对融合 图像的局部亮度不一致和全局平均亮度十分敏感。基于上述分析，根据融合 图像的特性利用多特征来评价MEF图像具有较好的鲁棒性。与现有的两种 MEF-IQA模型相比，本发明提出的模型与人类感知有更好的一致性。
表1不同特征及MEF-IQA模型的性能比较
Figure BDA0002870647030000138
Figure BDA0002870647030000141
综上所述，借助于本发明的上述技术方案，提出一种结合颜色、DSIFT 和良好曝光度等多个特征的方法。首先，通过全局色彩失真度量和局部饱和 度相似性来评估融合图像的颜色失真；其次，利用引导滤波器的结构转移特 性来构造具有融合图像强边缘信息的失真图像序列，并计算DSIFT相似性和 DSIFT饱和度来评估融合图像的边缘失真；最后，通过局部曝光度量来评估 融合图像的亮度不一致，并利用图像的平均亮度来衡量全局曝光特性。实验 结果表明，所提出模型相比于其它两种MEF-IQA模型更为有效。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本 发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在 本发明的保护范围之内。

Claims (6)

1.一种基于多特征的多曝光图像感知质量评价方法，其特征在于，包括以下步骤：
预先通过颜色空间转换，获取融合图像的色度分量与具有最严重衰减的色度之间的L1范数来度量图像的全局颜色退化，并加入颜色饱和度相似性来消除色彩过饱和时的影响；
通过引导滤波器构造具有融合图像强边缘信息的失真图像序列，并计算DSIFT相似性来衡量图像的局部边缘失真区域；
加入DSIFT饱和度来消除细节增强带来的影响，并以多尺度的方式来获取从细尺度到粗尺度上的特征；
通过高斯曝光函数来评估融合图像的局部曝光特性和全局曝光特性，并将获取特征信息用随机森林进行聚合来预测融合图像质量。
2.根据权利要求1所述的基于多特征的多曝光图像感知质量评价方法，其特征在于，步骤所述获取特征信息，包括全局颜色失真度量
Figure RE-FDA0002973379140000011
和
Figure RE-FDA0002973379140000012
局部颜色饱和度相似性
Figure RE-FDA0002973379140000013
三个尺度下的DSIFT相似性
Figure RE-FDA0002973379140000014
和DSIFT饱和度
Figure RE-FDA0002973379140000015
局部曝光相似性
Figure RE-FDA0002973379140000016
和全局曝光度量
Figure RE-FDA0002973379140000017
3.根据权利要求2所述的基于多特征的多曝光图像感知质量评价方法，其特征在于，步骤所述预先通过颜色空间转换，获取融合图像的色度分量与具有最严重衰减的色度之间的L1范数来度量图像的全局颜色退化，并加入颜色饱和度相似性来消除色彩过饱和时的影响，包括以下步骤：
通过计算RGB三通道内的标准偏差来衡量饱和度：
Figure FDA0002870647020000018
其中，CSA为颜色饱和度，μ为R、G、B三通道的均值。然后根据源图像序列计算最大颜色饱和度图来作为参考图像，因为最大颜色饱和度图能够从源图像序列中提取出最佳的色彩信息，其最大饱和度图CSAmax计算如下：
CSAmax＝max(CSA1,CSA2,...,CSAk) (5)
其中，CSAk为第k幅源图像的饱和度图，max(·)为“选择最大”操作符；
通过计算最大饱和度图CSAmax与融合图像的饱和度图CSAfused之间的相似性来评估局部色彩失真，从而消除色彩过饱和时带来的影响，其局部饱和度相似性
Figure FDA0002870647020000021
定义如下：
Figure FDA0002870647020000022
其中，mean(·)是均值操作符，C1是控制分母不为0的常量为0.00005。
4.根据权利要求3所述的基于多特征的多曝光图像感知质量评价方法，其特征在于，步骤所述通过引导滤波器构造具有融合图像强边缘信息的失真图像序列，并计算DSIFT相似性来衡量图像的局部边缘失真区域，包括以下步骤：
基于每个像素点对
Figure FDA0002870647020000023
和
Figure FDA0002870647020000024
提取DSIFT特征；
获取
Figure FDA0002870647020000025
和
Figure FDA0002870647020000026
之间的DSIFT特征相似性来度量局部边缘失真；
标定曝光函数进行加权，表示为：
Figure FDA0002870647020000027
Figure FDA0002870647020000028
其中，
Figure FDA0002870647020000029
是第k幅高斯曝光权重图，K是源图像序列数量，DsiftSIM是加权得到的DSIFT相似性图；
用引导滤波器产生参考源序列
Figure FDA00028706470200000210
和失真源序列
Figure FDA00028706470200000211
滤波过程，表示为：
Figure FDA00028706470200000212
Figure FDA00028706470200000213
其中，
Figure FDA00028706470200000214
和
Figure FDA00028706470200000215
分别为参考源序列图像和失真源序列图像，guild(·)为引导滤波操作符，rl和εl分别为滤波半径和正则化参数；
基于每个像素点对
Figure FDA00028706470200000216
和
Figure FDA00028706470200000217
提取DSIFT特征，其中每个特征描述符的维度M为32维，表示为：
Figure FDA00028706470200000218
Figure FDA00028706470200000219
其中，
Figure FDA00028706470200000220
和
Figure FDA00028706470200000221
分别是第k幅参考图像和失真图像的DSIFT特征描述符，M是特征维度，DSIFT(·)是计算DSIFT特征的操作符。
获取
Figure FDA00028706470200000222
和
Figure FDA00028706470200000223
之间的DSIFT饱和度来度量细节增强；
采用高斯曝光函数进行加权，表示为：
Figure FDA0002870647020000031
Figure FDA0002870647020000032
其中，σl控制高斯曲线的平坦程度，
Figure FDA0002870647020000033
是第k幅高斯曝光权重图，K是源图像序列数量，DsiftSA是加权得到的DSIFT饱和度图。
5.根据权利要求4所述的基于多特征的多曝光图像感知质量评价方法，其特征在于，还包括以下步骤：
首先将原始的多曝光序列图像和MEF图像作为尺度1；
迭代地对尺度为n-1的图像应用低通滤波器，并以因子2对滤波后的图像进行下采样，从而得到尺度为n的输出图像；
基于式(16)和(22)在不同尺度上获取DSIFT相似性和DSIFT饱和度特征，记为
Figure FDA0002870647020000034
和
Figure FDA0002870647020000035
6.根据权利要求1所述的基于多特征的多曝光图像感知质量评价方法，其特征在于，步骤所述通过高斯曝光函数来评估融合图像的局部曝光特性和全局曝光特性，并将获取特征信息用随机森林进行聚合来预测融合图像质量，包括：
选取每幅源图像中曝光最好的区域作为良好曝光参考图像
Figure FDA0002870647020000036
表示为：
Figure FDA0002870647020000037
其中，max(·)为“选择最大”操作符；
通过获取曝光参考图像
Figure FDA0002870647020000038
与融合图像Yf之间的相似性来评估局部曝光特性
Figure FDA0002870647020000039
表示为：
Figure FDA00028706470200000310
其中，mean(·)是均值操作符，C4是控制分母不为0的常量为0.00005；
通过衡量平均亮度值与0.5之间的距离来度量融合图像的全局曝光情况，表示为：
Figure FDA00028706470200000311
其中，
Figure FDA00028706470200000312
是融合图像Yf的平均亮度值，sglobal控制高斯曲线的平坦程度为0.2，
Figure FDA00028706470200000313
是融合图像的全局曝光度量。
CN202011598703.0A 2020-12-29 2020-12-29 一种基于多特征的多曝光图像感知质量评价方法 Withdrawn CN112651945A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011598703.0A CN112651945A (zh) 2020-12-29 2020-12-29 一种基于多特征的多曝光图像感知质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011598703.0A CN112651945A (zh) 2020-12-29 2020-12-29 一种基于多特征的多曝光图像感知质量评价方法

Publications (1)

Publication Number Publication Date
CN112651945A true CN112651945A (zh) 2021-04-13

Family

ID=75363958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011598703.0A Withdrawn CN112651945A (zh) 2020-12-29 2020-12-29 一种基于多特征的多曝光图像感知质量评价方法

Country Status (1)

Country Link
CN (1) CN112651945A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409247A (zh) * 2021-04-15 2021-09-17 宁波大学 一种多曝光融合图像质量评价方法
CN114463318A (zh) * 2022-02-14 2022-05-10 宁波大学科学技术学院 一种多曝光融合图像的视觉质量评估方法
CN114638793A (zh) * 2022-04-19 2022-06-17 深圳闪回科技有限公司 一种屏幕老化程度检测方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409247A (zh) * 2021-04-15 2021-09-17 宁波大学 一种多曝光融合图像质量评价方法
CN113409247B (zh) * 2021-04-15 2022-07-15 宁波大学 一种多曝光融合图像质量评价方法
CN114463318A (zh) * 2022-02-14 2022-05-10 宁波大学科学技术学院 一种多曝光融合图像的视觉质量评估方法
CN114638793A (zh) * 2022-04-19 2022-06-17 深圳闪回科技有限公司 一种屏幕老化程度检测方法及装置

Similar Documents

Publication Publication Date Title
Ren et al. LECARM: Low-light image enhancement using the camera response model
CN110046673B (zh) 基于多特征融合的无参考色调映射图像质量评价方法
US20100172579A1 (en) Distinguishing Between Faces and Non-Faces
JP2004165932A (ja) 光源推定装置、光源推定方法、撮像装置および画像処理方法
El Khoury et al. Color and sharpness assessment of single image dehazing
CN107862659A (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
US8559714B2 (en) Post processing for improved generation of intrinsic images
Steffens et al. Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing
CN113822830A (zh) 基于深度感知增强的多曝光图像融合方法
Wang et al. Low-light image enhancement based on virtual exposure
van Zwanenberg et al. Edge detection techniques for quantifying spatial imaging system performance and image quality
CN112651945A (zh) 一种基于多特征的多曝光图像感知质量评价方法
Singh et al. Weighted least squares based detail enhanced exposure fusion
CN115439384A (zh) 一种无鬼影多曝光图像融合方法、装置
CN114862698B (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
CN110910347B (zh) 一种基于图像分割的色调映射图像无参考质量评价方法
Kong et al. No-reference image quality assessment for image auto-denoising
Mahmoudpour et al. A multi-attribute blind quality evaluator for tone-mapped images
CN117830134A (zh) 基于混合滤波分解和图像融合的红外图像增强方法及系统
Fry et al. Bridging the gap between imaging performance and image quality measures
US8553979B2 (en) Post processing for improved generation of intrinsic images
Teutsch et al. An evaluation of objective image quality assessment for thermal infrared video tone mapping
Goossens et al. Reconstruction of high dynamic range images with poisson noise modeling and integrated denoising
Yu et al. Image enhancement algorithm based on image spatial domain segmentation
Anitha et al. Quality assessment of resultant images after processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210413