CN108401154B - 一种图像曝光度无参考质量评价方法 - Google Patents

一种图像曝光度无参考质量评价方法 Download PDF

Info

Publication number
CN108401154B
CN108401154B CN201810516492.8A CN201810516492A CN108401154B CN 108401154 B CN108401154 B CN 108401154B CN 201810516492 A CN201810516492 A CN 201810516492A CN 108401154 B CN108401154 B CN 108401154B
Authority
CN
China
Prior art keywords
image
exposure
images
different
expo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810516492.8A
Other languages
English (en)
Other versions
CN108401154A (zh
Inventor
张�林
张荔郡
刘潇
沈莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201810516492.8A priority Critical patent/CN108401154B/zh
Publication of CN108401154A publication Critical patent/CN108401154A/zh
Application granted granted Critical
Publication of CN108401154B publication Critical patent/CN108401154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种图像曝光度无参考评价方法:首先建立图像曝光度数据集,数据集中的图像具有不同的曝光等级与相应的曝光度人工评分;其中,基于曝光适宜的高质量图像生成的具有不同曝光等级的合成图像,作为训练集合训练合适的回归神经网络,得到图像曝光度评价模型;对于实地采集的真实图像即测试图像,输入图像曝光度评价模型即可得到测试图像的曝光度客观评价分数。其可较好地克服现有评价方法泛化能力弱的问题,满足实际应用对图像曝光度无参考质量评价的要求,可广泛应用于图像压缩、图像存储、图像通信、图像检测等领域。

Description

一种图像曝光度无参考质量评价方法
技术领域
本发明属于图像处理技术领域,涉及图像质量的评测。
背景技术
曝光是在摄影过程中允许落在摄影介质上的总通光量,而曝光不当往往会降低采集图像的质量,这里的曝光失真被理解为由于曝光不当引起的整体质量下降。在许多工业领域中,一种能够准确地评价图像曝光等级的方法是非常需要的,例如:几乎所有的现代数码相机都能在“自动曝光”模式下工作,当用户使用这种模式拍摄图像时,相机将通过特定的自动曝光算法自动调整相关的硬件参数(如光圈、快门速度、电子增益等)使图像具有适当的曝光水平。显然,为了验证自动曝光算法的性能,一种能够精确评价获得图像的曝光等级的方法是必不可少的。另一个常见的例子是视频监控。对于视频监控来说,照明条件超出了相机的适应能力是很常见的,因此,对采集到的视频的曝光等级进行连续监测以确定其质量是十分必要的。
目前,常用的确定图像曝光等级的方法是完全基于摄影师经验,这种方法具有准确、有效等优点,但只能测试有限数量的图像样本,且费时费力,在需要实时检测曝光等级的系统中无法实现。因此,有必要建立一种能够客观地、自动地评价图像曝光等级的方法。
实际上,在图像曝光度无参考质量评价领域中,相关算法十分稀少,且均基于一个共同的经验假设,即图像的直方图在某种程度上可以反映图像的曝光等级。在这个假设中,曝光适宜的图像的直方图横跨整个亮度范围,分布较为平滑,而曝光过度与曝光不足的图像的直方图则会分别向亮部和暗部的一边偏移,曝光失真程度越大,偏移越明显。基于这一假设的代表方法有:“M.Liu,P.Yuan,and R.S.Turner,``Automatic analysis andadjustment of digital images with exposure problems,”US Patent,Sep.2004.”即“曝光图像的自动化分析与校正”:此专利首先提取了图像直方图的三个属性,即中心、质心、以及有效宽度,再通过预先设定的规则确定图像的曝光等级;“M.Rychagov andS.Efimov,``Image processing device to determine image quality and methodthereof,”US Patent,Feb.2007.”即“用于确定图像质量的图像处理装置及其方法”:此专利通过比较图像直方图的均值与预先设定的阈值确定图像的曝光等级;“P.Romaniak,L.Janowski,M.Leszczuk,and Z.Papir,``A no reference metric for the qualityassessment of videos affected by exposure distortion,”in Proc.IEEEInt.Conf.Multimedia.Expo.,Jul.2011.”即“曝光度失真视频质量无参考度量算法”此算法首先对图像分块并计算各块的亮度均值,选取均值最大的三个块计算平均亮度作为上界,选取均值最小的三个块计算平均亮度作为下界,那么图像的曝光等级则为上界与下界的均值。尽管这些方法在一定程度上可以反映图像的曝光等级,但由于它们均基于图像直方图假设,因此有一个共同的缺陷——易受图像内容的影响,当图像内容严重影响到图像直方图的分布时,基于图像直方图假设的算法将不再有效。换言之,目前图像曝光度的无参考质量评价方法研究难点在于设计一种具有场景一致性的算法。
发明内容
本发明的目的在于提供一种基于神经网络的图像曝光度无参考评价方法,其解决了传统图像曝光度度量领域标准数据集缺乏、度量算法易受图像内容影响的缺点,满足实际应用对图像曝光度无参考质量评价方法的要求。
为达到上述目的,本发明的解决方案是:
一种图像曝光度无参考质量评价方法,包括以下步骤:
(一)建立图像曝光度数据集,数据集中包含具有不同曝光等级的图像,及其相应的曝光度人工评分,以作为神经网络训练与测试集合:
(a)在N_Place种不同的拍摄场景下,对每一个拍摄场景采集N_Expo张具有不同曝光等级的图像,采集得到N_Real(即N_Place与N_Expo的乘积)张具有不同曝光等级的真实图像,其中N_Place种场景具有高场景多样性,涵盖不同的拍摄对象(人物、植物、动物、人造物等)、不同的时间节点(早晨、中午、下午、晚上等)、不同的光照条件、以及不同的拍摄距离;
(b)从网络上收集M_Origin张曝光度适宜的高质量图像,选取其中M_Select张作为源图像,设定M_Expo种曝光等级,通过合成图像生成模型得到M_Syn(即M_Select与M_Expo的乘积张具有不同曝光等级的合成图像,其中M_Select张源图像具有高场景多样性,涵盖四种常见图像内容类型,即人物、植物、动物、人造物;
(c)在单刺激法的实验设置下,通过人工主观评价,对N_Real张具有不同曝光等级的真实图像、M_Syn张具有不同曝光等级的合成图像进行曝光度评价,再通过评分后处理得到最终的图像曝光度人工评分;
(二)训练通用神经网络得到图像曝光度评分模型:
(I)选择高效的神经网络模型(GoogLeNet、ResNet、DenseNet、ShuffleNet)改写成为回归模型,记为IEMNN,其中“NN”代指具体的网络模型,改写后的模型损失函数为:
Figure BDA0001673337290000031
其中W为网络权重,λ为正则项参数,Ij与sj分别为第j个训练图像及其曝光度评分,‖W‖F返回W的Frobenius范数,N为训练图像集合的个数;
(II)使用M_Syn张合成图像及其曝光度评分作为训练图像集合,得到图像曝光度评价模型;
(三)对于任意测试图像,输入图像曝光度评价模型,即可得到最终图像曝光度客观评价分数;使用N_Real张真实图像及其曝光度评分作为测试图像集合,即可验证图像曝光度评价模型的有效性。
步骤(一)中,(1)在N_Place个场景下采集N_Expo张具有不同曝光等级图像,最终得到N_Real即N_Place×N_Expo张具有不同曝光等级的真实图像的步骤如下:
(1-1)选择具有曝光等级调节功能的拍照设备作为采集设备,设计具有高场景多样性的采集方案,其中采集场景数N_Place≥200;
(1-2)在N_Place个不同场景下,采用以下3种不同策略,对每个场景选取相同的N_Expo种曝光策略设置用以采集N_Expo张具有不同曝光等级的图像,其中N_Expo≥3,以至少包括一种曝光适宜情况、一种曝光过度情况和一种曝光不足情况:
(1-2-1)通过扩大或缩小光圈,控制固定时间片段内采集设备的通光量,光圈越大通光量越大,图像曝光过度的可能性越大;
(1-2-2)通过改变光信号模型即感光度,控制采集设备对光线的感知程度,感光度越高光线越亮,图像曝光过度的可能性越大;
(1-2-3)通过改变曝光时间,控制采集设备通光的时间片段长短,曝光时间越长通光量越大,图像曝光过度的可能性越大;
步骤(一)中,(2)通过合成图像生成模型得到M_Syn张具有不同曝光等级的合成图像的步骤如下:
(2-1)由P_Coll名志愿者分别从网络上收集I_Coll张高质量图像,涵盖四种常见图像内容类型,即人物、植物、动物、以及人造物,其中P_Coll≥4,I_Coll≥1000;
(2-2)由P_Select名志愿者对这M_Origin(即P_Coll与I_Coll的乘积)张高质量图像进行曝光等级检查,保留其中得到P_Agree名及以上志愿者鉴定为曝光适宜的高质量图像,最终得到M_Select张曝光适宜的高质量图像,其中P_Select≥5,P_Agree≥70%×P_Select(即70%与P_Select的乘积,以下同),M_Select≥70%×M_Origin;
(2-3)以M_Select张曝光适宜的高质量图像作为源图像,将其从RGB三颜色通道转换到HSV色彩空间记为I,Iv和Is分别为I的亮度通道与饱和度通道;
(2-4)调整源图像亮度通道Iv,以得到具有不同曝光等级的合成图像
Figure BDA0001673337290000041
的亮度通道
Figure BDA0001673337290000042
Figure BDA0001673337290000043
其中x指代图像的空间位置,θ是可控参数,当用于生成曝光过度图像时,θ取正值,当用于生成曝光不足图像时,θ取负值;
(2-5)根据图像饱和度与图像曝光等级间的非对称逻辑函数关系,调整源图像饱和度通道Is,以得到具有不同曝光等级的合成图像
Figure BDA0001673337290000044
的饱和度通道
Figure BDA0001673337290000045
Figure BDA0001673337290000046
其中Eout(x)为具有不同曝光等级的合成图像
Figure BDA0001673337290000047
在其空间位置x的曝光等级,可以通过偏移量eps改变Ein(x)得到,其中Ein(x)为源图像I在其空间位置x的曝光等级:
Eout(x)=Ein(x)+eps
根据图像曝光等级与图像饱和度间的逆非对称逻辑函数关系,Ein(x)可通过源图像饱和度通道得到Is
Figure BDA0001673337290000048
即可得到,具有不同曝光等级的合成图像
Figure BDA0001673337290000049
的饱和度通道
Figure BDA00016733372900000410
与源图像饱和度通道Is的关系为:
Figure BDA0001673337290000051
其中a为-3.2,c为0.4;
(2-6)通过调节参数θ与eps的成对取值,每张曝光适宜的高质量源图像都可以通过相同的M_Expo种参数θ与eps的成对取值生成M_Expo张具有不同曝光等级的合成图像,其中不同曝光等级的合成图像包括源图像本身,其中M_Expo=N_Expo,最终生成M_Syn(即M_Select×M_Expo)张具有不同曝光等级的合成图像。
步骤(一)中,(3)对N_Real张具有不同曝光等级的真实图像、M_Syn张具有不同曝光等级的合成图像进行曝光度人工评分的步骤如下:
(3-1)设置统一的人工评价实验环境,其中包括:
(3-1-1)实验在内部光线充足的办公室环境下进行;
(3-1-2)通用的Microsoft Windows工作站环境,评分基于一般的Matlab软件界面;
(3-1-3)显示器为一般的液晶显示器,分辨率至少为1920×1080;
(3-1-4)评价人员座位距离显示器大约2~2.5个屏幕高度;
(3-2)实验正式开始前,向每位评价人员简短地介绍实验的目的及流程,并进行简单的培训,向每位评价人员展示具有不同曝光等级的图片及其曝光度评分示例,这些示例图片不会出现在实验过程中;
(3-3)实验正式开始后,每位评价人员可对显示屏中展示的图片进行曝光等级选择,共Op_Expo个选项,,分别对应N_Real张真实图像与M_Syn张合成图像的曝光等级数N_Expo与M_Expo,其中Op_Expo=N_Expo=M_Expo;
(3-4)每张图像将会由P_Eval名评价人员予以曝光度人工评分,其中P_Eval≥10。
步骤(一)中,(4)通过评分后处理得到最终的图像曝光度人工评分的步骤如下:
(4-1)消除不同评价人员主观评价标准不同的影响:
Figure BDA0001673337290000052
其中dij指代第i名评价人员对第j张图像Ij的评分,
Figure BDA0001673337290000053
与σi分别为该名评价人员对所有图像评价的平均评分与评分标准差,zij即为该名评价人员对第j张图像Ij的归一化后评分;
(4-2)筛选出每张图像有严重偏见的主观评分:
Figure BDA0001673337290000061
其中
Figure BDA0001673337290000062
与σj分别为第j张图像Ij的平均得分与得分标准差,T是常量阈值。
(4-3)每张图像最终评分即为剩余主观评分的均值:
Figure BDA0001673337290000063
其中Nj为第j张图像Ij有效的主观评分;
(4-4)将sj线性归一化至以0为均值的数值范围。
步骤(二)中,(5)使用M_Syn张合成图像训练得到图像曝光度评价模型的步骤如下:
(5-1)搭建统一神经网络框架Caffe;
(5-2)采用微调策略,使用在ImageNet数据集上预先训练好的模型进行IEMNN参数初始化;
(5-3)为GoogLeNet、ResNet、DenseNet、ShuffleNet设定不同的IEMNN训练参数,主要包括学习率、求解器种类、批量大小、权重衰减;
(5-4)使用M_Syn张合成图像及其曝光度评分训练得到最终图像曝光度评价模型。
由于采用上述方案,本发明的有益效果是:
本发明所示的一种基于神经网络的图像曝光度无参考质量评价方法,
(1)在N_Place种场景下采集N_Real张具有不同曝光等级的真实图像集合;
(2)以M_Select张曝光适宜的高质量图像为源图像,通过曝光度合成算法生成M_Syn张具有不同曝光等级的合成图像集合;
(3)在单刺激法的实验设置下,通过人工主观评价,对上述图像进行曝光等级评价,再通过评分后处理得到最终的图像曝光度人工评分;
(4)使用M_Syn张合成图像及其曝光度评分训练神经网络得到图像曝光度评价模型;
(5)对于任意测试图像,输入图像曝光度评价模型,即可得到最终图像曝光度客观评价分数。
通过上述5个步骤的配合,即本发明所示的一种基于神经网络的图像曝光度无参考质量评价方法,该方法建立了首个图像曝光度标准数据集,填补了该领域数据集的缺乏,同时采用神经网络作为回归手段,并较好地克服了现有评价方法易受图像内容影响的问题;该方法的预测准确性也较高,可以满足实际应用对图像曝光度无参考质量评价方法的要求,可广泛应用于图像压缩、图像存储、图像通信、图像检测等领域。
附图说明
图1是图像曝光度数据集真实图像示例。
图2是图像曝光度数据集合成图像示例。
图3是对图像曝光度数据集进行人工评分的实验室环境图像。
图4是本发明基于神经网络的图像曝光度无参考质量评价通用框架示意图。
具体实施方式
本发明所示的基于神经网络的图像曝光度无参考质量评价方法:首先建立图像曝光度数据集,其中包括具有不同曝光等级的真实图像,以及从曝光适宜的高质量图像中生成的合成图像;通过人工主观评价,对上述图像进行曝光等级评价,再通过评分后处理得到最终的图像曝光度人工评分;使用具有不同曝光等级的合成图像及其曝光度评分作为训练集合,训练神经网络得到图像曝光度评价模型;对于任意测试图像,输入图像曝光度评价模型,即可得到最终图像曝光度客观评价分数。
以下详细描述每一步骤的细节:
(一)图像曝光度数据集的建立。
图像曝光度数据集应包含具有不同曝光等级的图像及其曝光度人工评分,其中应包括实地采集的真实图像集合,以验证算法有效性;合成算法生成的合成图像集合,以替代繁重的真实图像采集过程,达到数据扩充的目的;以及对所有图像进行统一标准下的曝光度人工评分。
因此图像曝光度数据集的建立可分为三个部分:
(1)真实图像的采集
在500种不同的拍摄场景下,对每一个拍摄场景采集7张具有不同曝光等级的图像,采集得到3,500即500×7张具有不同曝光等级的真实图像,其中500种场景具有高场景多样性,涵盖不同的拍摄对象(人物、植物、动物、人造物等)、不同的时间节点(早晨、中午、下午、晚上等)、不同的光照条件、以及不同的拍摄距离,7种曝光等级包括极度曝光不足、曝光不足、轻度曝光不足、曝光适宜、轻度曝光过度、曝光过度、极度曝光过度。对于真实图像而言,7种曝光等级是通过设定7种曝光度调节方案,相同地作用在每一个场景上得到的。图1给出了一组具有不同曝光等级的真实图像示例。
具体采集步骤为:
(1-1)选择iPhone7Plus作为采集设备,设计具有高场景多样性的采集方案;
(1-2)在500个不同场景下,采用以下3种不同策略,对每个场景选取相同的7种曝光策略设置用以采集7张具有不同曝光等级的图像:
(1-2-1)通过扩大或缩小光圈,控制固定时间片段内采集设备的通光量,光圈越大通光量越大,图像曝光过度的可能性越大;
(1-2-2)通过改变光信号模型即感光度,控制采集设备对光线的感知程度,感光度越高光线越亮,图像曝光过度的可能性越大;
(1-2-3)通过改变曝光时间,控制采集设备通光的时间片段长短,曝光时间越长通光量越大,图像曝光过度的可能性越大;
(2)合成图像的生成
从网络上收集4000张曝光度适宜的高质量图像,选取其中3000张作为源图像,设定7种曝光等级,通过合成图像生成模型得到21,000即3000×7张具有不同曝光等级的合成图像,其中3000张源图像具有高场景多样性,涵盖四种常见图像内容类型,即人物、植物、动物、人造物,7种曝光等级包括极度曝光不足、曝光不足、轻度曝光不足、曝光适宜、轻度曝光过度、曝光过度、极度曝光过度。对于合成图像而言,7种曝光等级是通过设定7种成对参数,相同地作用在每一个源图像上得到的。
图2给出了一组具有不同曝光等级的合成图像示例,其中第一列为曝光适宜的高质量源图像,其余为通过合成算法生成的合成图像。
具体合成步骤为:
(2-1)由4名志愿者分别从网络上收集1000张高质量图像,涵盖四种常见图像内容类型,即人物、植物、动物、以及人造物;
(2-2)由7名志愿者对这4000张高质量图像进行曝光等级检查,保留其中得到5名及以上志愿者鉴定为曝光适宜的高质量图像,最终得到3000张曝光适宜的高质量图像;
(2-3)以3000张曝光适宜的高质量图像作为源图像,将其从RGB三颜色通道转换到HSV色彩空间记为I,Iv和Is分别为I的亮度通道与饱和度通道;
(2-4)调整源图像亮度通道Iv,以得到具有不同曝光等级的合成图像
Figure BDA0001673337290000091
的亮度通道
Figure BDA0001673337290000092
Figure BDA0001673337290000093
其中x指代图像的空间位置,θ是可控参数,当用于生成曝光过度图像时,θ取正值,当用于生成曝光不足图像时,θ取负值;
(2-5)根据图像饱和度与图像曝光等级间的非对称逻辑函数关系,调整源图像饱和度通道Is,以得到具有不同曝光等级的合成图像
Figure BDA0001673337290000094
的饱和度通道
Figure BDA0001673337290000095
Figure BDA0001673337290000096
其中Eout(x)为具有不同曝光等级的合成图像
Figure BDA0001673337290000097
在其空间位置x的曝光等级,可以通过偏移量eps改变Ein(x)得到,其中Ein(x)为源图像I在其空间位置x的曝光等级:
Eout(x)=Ein(x)+eps
根据图像曝光等级与图像饱和度间的逆非对称逻辑函数关系,Ein(x)可通过源图像饱和度通道得到Is
Figure BDA0001673337290000098
即可得到,具有不同曝光等级的合成图像
Figure BDA0001673337290000099
的饱和度通道
Figure BDA00016733372900000910
与源图像饱和度通道Is的关系为:
Figure BDA00016733372900000911
其中a为-3.2,c为0.4;
(2-6)通过调节参数θ与eps的成对取值,每张曝光适宜的高质量源图像都可以通过相同的7种参数θ与eps的成对取值生成7张(包括源图像)具有不同曝光等级的合成图像,曝光等级包括极度曝光不足、曝光不足、轻度曝光不足、曝光适宜、轻度曝光过度、曝光过度、极度曝光过度,最终生成21,000张具有不同曝光等级的合成图像。
(3)曝光度人工评分
在单刺激法的实验设置下,通过人工主观评价,对3,500张具有不同曝光等级的真实图像、21,000张具有不同曝光等级的合成图像进行曝光度评价,再通过评分后处理得到最终的图像曝光度人工评分。图3为人工评分实验室设置。
其中人工评分实验设置如下:
(3-1)设置统一的人工评价实验环境,其中包括:
(3-1-1)实验在内部光线充足的办公室环境下进行;
(3-1-2)Asus Microsoft Windows工作站环境,评分基于图3中的Matlab软件界面;
(3-1-3)显示器为液晶显示器,分辨率为1920×1080;
(3-1-4)评价人员座位距离显示器大约2~2.5个屏幕高度;
(3-2)实验正式开始前,向每位评价人员简短地介绍实验的目的及流程,并进行简单的培训,向每位评价人员展示具有不同曝光等级的图片及其曝光度评分示例,这些示例图片不会出现在实验过程中;
(3-3)实验正式开始后,每位评价人员可对显示屏中展示的图片进行曝光等级选择,共7个选项,包括极度曝光不足、曝光不足、轻度曝光不足、曝光适宜、轻度曝光过度、曝光过度、极度曝光过度,它们分别对应-3~3分,即-3分为极度曝光不足,0分为曝光适宜,3分为极度曝光过度;
(3-4)每张图像将会由20名评价人员予以曝光度人工评分。
人工评分后处理步骤如下:
(4-1)消除不同评价人员主观评价标准不同的影响:
Figure BDA0001673337290000101
其中dij指代第i名评价人员对第j张图像Ij的评分,
Figure BDA0001673337290000102
与σi分别为该名评价人员对所有图像评价的平均评分与评分标准差,zij即为该名评价人员对第j张图像Ij的归一化后评分;
(4-2)筛选出每张图像有严重偏见的主观评分:
Figure BDA0001673337290000103
其中
Figure BDA0001673337290000104
与σj分别为第j张图像Ij的平均得分与得分标准差,T是常量阈值。
(4-3)每张图像最终评分即为剩余主观评分的均值:
Figure BDA0001673337290000111
其中Nj为第j张图像Ij有效的主观评分;
(4-4)将sj线性归一化至范围-3~3。
(二)训练通用神经网络得到图像曝光度评分模型。
选择高效的神经网络模型(GoogLeNet、ResNet、DenseNet、ShuffleNet)改写成为回归模型,记为IEMNN,其中“NN”代指具体的网络模型,图4展示了IEMNN的网络通用框架,改写后的模型损失函数为:
Figure BDA0001673337290000112
其中W为网络权重,λ为正则项参数,Ij与sj分别为第j个训练图像及其曝光度评分,‖W‖F返回W的Frobenius范数,N为训练图像集合的个数。再使用21,000张合成图像及其曝光度评分作为训练图像集合,即得到图像曝光度评价模型。
其中训练过程细节包括:
(5-1)搭建统一神经网络框架Caffe;
(5-2)采用微调策略,使用在ImageNet数据集上预先训练好的模型进行IEMNN参数初始化;
(5-3)为GoogLeNet、ResNet、DenseNet、ShuffleNet设定不同的IEMNN训练参数,主要包括学习率、求解器种类、批量大小、权重衰减,如表1所示:
表1IEMNN关键超参数的设置
Figure BDA0001673337290000113
(5-4)使用21,000张合成图像及其曝光度评分训练得到最终图像曝光度评价模型;
(三)对于任意测试图像,输入图像曝光度评价模型,即可得到最终图像曝光度客观评价分数;使用3,500张真实图像及其曝光度评分作为测试图像集合,即可验证图像曝光度评价模型的有效性。
以下通过具体实验对本发明进一步说明:
实验条件与评分标准:本实验在图像曝光度数据集上进行,使用Spearman等级次序相关系数(SRCC)、肯德尔秩次相关系数(KRCC)、皮尔森线性相关系数(PLCC)以及均方根误差(RMSE)用于评价方法的准确性。其中,SRCC(KRCC、PLCC)的取值范围是0~1,越接近1,代表准确性越高,而RMSE指标数值越低,代表准确性越高。挑选的比较方法共两种类别:现有的图像曝光度无参考质量评价算法与通用的无参考质量评价算法。
实验1:与现有图像曝光度无参考质量评价算法的对比实验。对比的方法包括:[1]“M.Liu,P.Yuan,and R.S.Turner,``Automatic analysis and adjustment of digitalimages with exposure problems,”US Patent,Sep.2004.”即“曝光图像的自动化分析与校正”,[2]“M.Rychagov and S.Efimov,``Image processing device to determineimage quality and method thereof,”US Patent,Feb.2007.”即“用于确定图像质量的图像处理装置及其方法”,[3]“P.Romaniak,L.Janowski,M.Leszczuk,and Z.Papir,``A noreference metric for the quality assessment of videos affected by exposuredistortion,”in Proc.IEEE Int.Conf.Multimedia.Expo.,Jul.2011.”即“曝光度失真视频质量无参考度量算法”,以及四种具体形式的IEMNN。在这个实验中,所有的方法均在图像曝光度数据集的真实图像上进行测试;对于基于训练的方法,选取70%的合成图像作为训练,30%作为验证集合。实验结果如表2所示,从表2可以看出:本发明提出的基于神经网络的图像曝光度无参考质量评价算法明显优于其他现有方法。
表2图像曝光度无参考质量评价算法性能比较
Figure BDA0001673337290000121
实验2:与通用的图像无参考质量评价算法的对比实验。由于现有的图像曝光度无参考质量评价算法数量有限,因此本发明与通用的无参考质量评价算法进行了类似的对比实验。对比的方法包括10种领域内具有代表性的算法,它们是BRISQUE、SSEQ、OG-IQA、NOREQI、CS-BIQA、NIQE、QAC、IL-NIQE、LPSI、TCLT。实验结果如表3所示,从表3可以看出:通用的图像无参考质量评价算法不足以解决面向图像曝光度这一特定失真类型的质量评价问题,而本发明提出的基于神经网络的图像曝光度无参考质量评价算法更具有针对性与有效性。
表2本发明算法与通用图像无参考质量评价算法的性能比较
Figure BDA0001673337290000131
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,本领域技术人员根据本发明的揭示,不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (10)

1.一种图像曝光度无参考质量评价方法,其特征在于,包括以下步骤:
(一)建立图像曝光度数据集,数据集中包含具有不同曝光等级的图像,及其相应的曝光度人工评分,以作为神经网络训练与测试集合:
(a)在N_Place种不同的拍摄场景下,对每一个拍摄场景采集N_Expo张具有不同曝光等级的图像,采集得到N_Real张具有不同曝光等级的真实图像;其中N_Real的数值为N_Place与N_Expo的乘积,即N_Real=N_Place×N_Expo;
(b)从网络上收集M_Origin张曝光度适宜的高质量图像,选取其中M_Select张作为源图像,设定M_Expo种曝光等级,通过合成图像生成模型得到M_Syn即M_Select×M_Expo张具有不同曝光等级的合成图像;
(c)在单刺激法的实验设置下,通过人工主观评价,对N_Real张具有不同曝光等级的真实图像、M_Syn张具有不同曝光等级的合成图像进行曝光度评价,再通过评分后处理得到最终的图像曝光度人工评分;
(二)训练通用神经网络得到图像曝光度评分模型:
(I)选择神经网络模型改写成为回归模型,记为IEMNN,其中“NN”代指具体的网络模型,改写后的模型的损失函数为:
Figure FDA0002529061630000011
其中W为网络权重,λ为正则项参数,Ij与sj分别为第j个训练图像及其曝光度评分,‖W‖F返回W的Frobenius范数,N为训练图像集合的个数;
(II)使用M_Syn张合成图像及其曝光度评分作为训练图像集合,得到图像曝光度评价模型;
(三)对于任意测试图像,输入图像曝光度评价模型,即可得到最终图像曝光度客观评价分数;使用N_Real张真实图像及其曝光度评分作为测试图像集合,即可验证图像曝光度评价模型的有效性。
2.根据权利要求1所述的图像曝光度无参考质量评价方法,其特征在于:
其中N_Place种场景具有高场景多样性,涵盖不同的拍摄对象、不同的时间节点、不同的光照条件以及不同的拍摄距离。
3.根据权利要求1所述的图像曝光度无参考质量评价方法,其特征在于:
其中M_Select张源图像具有高场景多样性,涵盖四种常见图像内容类型,即人物、植物、动物、人造物。
4.根据权利要求1所述的图像曝光度无参考质量评价方法,其特征在于:
所述神经网络模型包括GoogLeNet、ResNet、DenseNet或ShuffleNet。
5.根据权利要求1所述的图像曝光度无参考质量评价方法,其特征在于:
步骤(一)中,(1)在N_Place个场景下采集N_Expo张具有不同曝光等级图像,最终得到N_Real张具有不同曝光等级的真实图像的步骤如下:
(1-1)选择具有曝光等级调节功能的拍照设备作为采集设备,设计具有高场景多样性的采集方案,其中采集场景数N_Place≥200;
(1-2)在N_Place个不同场景下,采用不同策略,对每个场景选取N_Expo种曝光策略设置用以采集N_Expo张具有不同曝光等级的图像,其中N_Expo≥3以至少包括一种曝光适宜情况、一种曝光过度情况和一种曝光不足情况。
6.根据权利要求5所述的图像曝光度无参考质量评价方法,其特征在于,所述不同策略包括:
(1-2-1)通过扩大或缩小光圈,控制固定时间片段内采集设备的通光量,光圈越大通光量越大,图像曝光过度的可能性越大;
(1-2-2)通过改变光信号模型即感光度,控制采集设备对光线的感知程度,感光度越高光线越亮,图像曝光过度的可能性越大;
(1-2-3)通过改变曝光时间,控制采集设备通光的时间片段长短,曝光时间越长通光量越大,图像曝光过度的可能性越大。
7.根据权利要求1所述的图像曝光度无参考质量评价方法,其特征在于:
步骤(一)中,(2)通过合成图像生成模型得到M_Syn张具有不同曝光等级的合成图像的步骤如下:
(2-1)由P_Coll名志愿者分别从网络上收集I_Coll张高质量图像,涵盖四种常见图像内容类型,即人物、植物、动物、以及人造物,其中P_Coll≥4,I_Coll≥1000;
(2-2)由P_Select名志愿者对M_Origin即P_Coll×I_Coll张高质量图像进行曝光等级检查,保留其中得到的数量为P_Agree以上的志愿者鉴定为曝光适宜的高质量图像,最终得到M_Select张曝光适宜的高质量图像,其中P_Select≥5,P_Agree≥70%×P_Select,M_Select≥70%×M_Origin;
(2-3)以M_Select张曝光适宜的高质量图像作为源图像,将其从RGB三颜色通道转换到HSV色彩空间记为I,Iv和Is分别为I的亮度通道与饱和度通道;
(2-4)调整源图像亮度通道Iv,以得到具有不同曝光等级的合成图像
Figure FDA0002529061630000022
的亮度通道
Figure FDA0002529061630000023
Figure FDA0002529061630000021
其中x指代图像的空间位置,θ是可控参数,当用于生成曝光过度图像时,θ取正值,当用于生成曝光不足图像时,θ取负值;
(2-5)根据图像饱和度与图像曝光等级间的非对称逻辑函数关系,调整源图像饱和度通道Is,以得到具有不同曝光等级的合成图像
Figure FDA0002529061630000033
的饱和度通道
Figure FDA0002529061630000034
具有不同曝光等级的合成图像
Figure FDA0002529061630000035
的饱和度通道
Figure FDA0002529061630000036
与源图像饱和度通道Is的关系为:
Figure FDA0002529061630000031
其中a为-3.2,c为0.4;eps为偏移量;
(2-6)通过调节参数θ与eps的成对取值,每张曝光适宜的高质量源图像都通过相同的M_Expo种参数θ与eps的成对取值生成M_Expo张具有不同曝光等级的合成图像,其中不同曝光等级的合成图像包括源图像本身,其中M_Expo=N_Expo,最终生成M_Syn张具有不同曝光等级的合成图像。
8.根据权利要求1所述的图像曝光度无参考质量评价方法,其特征在于:
步骤(一)中,(3)对N_Real张具有不同曝光等级的真实图像、M_Syn张具有不同曝光等级的合成图像进行曝光度人工评分的步骤如下,
(3-1)设置统一的人工评价实验环境,其中包括:
(3-1-1)实验在内部光线充足的办公室环境下进行;
(3-1-2)通用的Microsoft Windows工作站环境,评分基于Matlab软件界面;
(3-1-3)显示器为液晶显示器,分辨率至少为1920×1080;
(3-1-4)评价人员座位距离显示器2~2.5个屏幕高度;
(3-2)实验正式开始前,向每位评价人员简短地介绍实验的目的及流程,并进行简单的培训,向每位评价人员展示具有不同曝光等级的图片及其曝光度评分示例,这些示例图片不会出现在实验过程中;
(3-3)实验正式开始后,每位评价人员对显示屏中展示的图片进行曝光等级选择,共Op_Expo个选项,分别对应N_Real张真实图像与M_Syn张合成图像的曝光等级数N_Expo与M_Expo,其中Op_Expo=N_Expo=M_Expo;
(3-4)每张图像将会由P_Eval名评价人员予以曝光度人工评分,其中P_Eval≥10。
9.根据权利要求1所述的图像曝光度无参考质量评价方法,其特征在于,
步骤(一)中,(4)通过评分后处理得到最终的图像曝光度人工评分的步骤如下:
(4-1)消除不同评价人员主观评价标准不同的影响:
Figure FDA0002529061630000032
其中dij指代第i名评价人员对第j张图像Ij的评分,
Figure FDA0002529061630000041
与σi分别为第i名评价人员对所有图像评价的平均评分与评分标准差,zij即为第i名评价人员对第j张图像Ij的归一化后评分;
(4-2)筛选出每张图像有严重偏见的主观评分:
Figure FDA0002529061630000042
其中
Figure FDA0002529061630000043
与σj分别为第j张图像Ij的平均得分与得分标准差,T是常量阈值;
(4-3)每张图像最终评分即为剩余主观评分的均值:
Figure FDA0002529061630000044
其中Nj为第j张图像Ij有效的主观评分;
(4-4)将sj线性归一化至以0为均值的数值范围。
10.根据权利要求1所述的图像曝光度无参考质量评价方法,其特征在于,
步骤(二)中,(5)使用M_Syn张合成图像训练得到图像曝光度评价模型的步骤如下:
(5-1)搭建统一神经网络框架Caffe;
(5-2)采用微调策略,使用在ImageNet数据集上预先训练好的模型进行IEMNN参数初始化;
(5-3)为GoogLeNet、ResNet、DenseNet、ShuffleNet设定不同的IEMNN训练参数,包括学习率、求解器种类、批量大小、权重衰减;
(5-4)使用M_Syn张合成图像及其曝光度评分训练得到最终图像曝光度评价模型。
CN201810516492.8A 2018-05-25 2018-05-25 一种图像曝光度无参考质量评价方法 Active CN108401154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810516492.8A CN108401154B (zh) 2018-05-25 2018-05-25 一种图像曝光度无参考质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810516492.8A CN108401154B (zh) 2018-05-25 2018-05-25 一种图像曝光度无参考质量评价方法

Publications (2)

Publication Number Publication Date
CN108401154A CN108401154A (zh) 2018-08-14
CN108401154B true CN108401154B (zh) 2020-08-14

Family

ID=63102635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810516492.8A Active CN108401154B (zh) 2018-05-25 2018-05-25 一种图像曝光度无参考质量评价方法

Country Status (1)

Country Link
CN (1) CN108401154B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299722A (zh) * 2018-08-16 2019-02-01 北京旷视科技有限公司 用于神经网络的特征图处理方法、装置和系统及存储介质
CN110032662A (zh) * 2019-05-16 2019-07-19 福州大学 基于改进的dice损失函数的视频图像失真效应模型构建方法
CN110728656A (zh) * 2019-09-06 2020-01-24 西安电子科技大学 基于元学习的无参考图像质量数据处理方法、智能终端
CN110519527A (zh) * 2019-09-19 2019-11-29 天津英田视讯科技有限公司 一种基于图像大数据的相机自动曝光参数生成方法
CN113379608A (zh) * 2020-03-10 2021-09-10 Tcl科技集团股份有限公司 一种图像处理方法、存储介质及终端设备
CN111753896A (zh) * 2020-06-16 2020-10-09 江西中科九峰智慧医疗科技有限公司 一种基于深度学习的胸片曝光问题分类方法及系统
CN111932532B (zh) * 2020-09-21 2021-01-08 安翰科技(武汉)股份有限公司 胶囊内窥镜无参考图像评价方法、电子设备及介质
CN113916445A (zh) * 2021-09-08 2022-01-11 广州航新航空科技股份有限公司 旋翼共锥度的测量方法、系统、装置及存储介质
WO2023249136A1 (ko) * 2022-06-22 2023-12-28 엘지전자 주식회사 디스플레이 장치 및 그의 화질 설정 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671405B1 (en) * 1999-12-14 2003-12-30 Eastman Kodak Company Method for automatic assessment of emphasis and appeal in consumer images
CN101764959A (zh) * 2008-12-25 2010-06-30 昆山锐芯微电子有限公司 图像拾取系统及图像处理方法
CN103458267B (zh) * 2013-09-04 2016-07-06 中国传媒大学 一种视频图像质量主观评价方法及系统
US9870609B2 (en) * 2016-06-03 2018-01-16 Conduent Business Services, Llc System and method for assessing usability of captured images
CN106651830A (zh) * 2016-09-28 2017-05-10 华南理工大学 一种基于并行卷积神经网络的图像质量测试方法
CN106886992A (zh) * 2017-01-24 2017-06-23 北京理工大学 一种基于饱和度的彩色多曝光融合图像的质量评价方法
CN107172418B (zh) * 2017-06-08 2019-01-04 宁波大学 一种基于曝光情况分析的色阶映射图像质量评价方法
CN107330455A (zh) * 2017-06-23 2017-11-07 云南大学 图像评价方法

Also Published As

Publication number Publication date
CN108401154A (zh) 2018-08-14

Similar Documents

Publication Publication Date Title
CN108401154B (zh) 一种图像曝光度无参考质量评价方法
TWI709091B (zh) 圖像處理方法和裝置
CN110046673B (zh) 基于多特征融合的无参考色调映射图像质量评价方法
Xu et al. Real-world noisy image denoising: A new benchmark
CN101242476B (zh) 图像颜色自动校正方法及数字摄像系统
CN105100632B (zh) 成像设备自动曝光的调整方法及装置、成像设备
CA2568633C (en) A system and a method for improving the captured images of digital still cameras
CN108875821A (zh) 分类模型的训练方法和装置、移动终端、可读存储介质
CN110099222A (zh) 一种拍摄设备的曝光调整方法、装置、存储介质及设备
CN105741328B (zh) 基于视觉感知的拍摄图像质量评价方法
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN107451969A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
WO2022000397A1 (zh) 低照度图像增强方法、装置及计算机设备
CN110163807B (zh) 一种基于期望亮通道的低照度图像增强方法
Pan et al. Multi-exposure high dynamic range imaging with informative content enhanced network
Guthier et al. Flicker reduction in tone mapped high dynamic range video
CN109379584A (zh) 一种复杂环境光应用条件下的相机系统及像质调节方法
CN111654643B (zh) 曝光参数确定方法、装置、无人机和计算机可读存储介质
CN110049240A (zh) 摄像头控制方法、装置、电子设备和计算机可读存储介质
CN114007020B (zh) 图像处理方法、装置、智能终端及计算机可读存储介质
CN103458194B (zh) 分析数码影像曝光程度的方法、装置和一种数字成像系统
CN114915778A (zh) 一种用于阅卷的摄像头测试方法及系统
CN108257117B (zh) 图像曝光度的评测方法及装置
CN111311509A (zh) 一种非正常曝光图像自适应校正方法
CN111127367A (zh) 人脸图像处理的方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant