CN108257117B - 图像曝光度的评测方法及装置 - Google Patents

图像曝光度的评测方法及装置 Download PDF

Info

Publication number
CN108257117B
CN108257117B CN201810002852.2A CN201810002852A CN108257117B CN 108257117 B CN108257117 B CN 108257117B CN 201810002852 A CN201810002852 A CN 201810002852A CN 108257117 B CN108257117 B CN 108257117B
Authority
CN
China
Prior art keywords
image
exposure
skewness
sample images
regression model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810002852.2A
Other languages
English (en)
Other versions
CN108257117A (zh
Inventor
胡文迪
李飞
张�林
张荔郡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201810002852.2A priority Critical patent/CN108257117B/zh
Publication of CN108257117A publication Critical patent/CN108257117A/zh
Application granted granted Critical
Publication of CN108257117B publication Critical patent/CN108257117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Abstract

本发明提供了一种图像曝光度的评测方法及装置,其中,上述方法包括:利用大量不同曝光度的图像,通过机器学习训练出回归模型,然后获取待检测图像的偏度特征,使用回归模型分析该偏度特征得到该图像的曝光度。采用上述方案,解决了相关技术中进行图像的曝光度检测不准确的问题,实现了迅速准确的确定图像的曝光度。

Description

图像曝光度的评测方法及装置
技术领域
本发明涉及通信领域,具体而言,涉及一种图像曝光度的评测方法及装置。
背景技术
在相关技术中,图像作为视觉信息的主要来源,蕴含了大量的有价值信息,然而,在图像的获取、存储、传输、显示等过程中不可避免地会引入一些干扰因素,这些损失的可见性对消费者体验有着极大的影响,因此,对图像质量的可靠评估,在接受承诺的服务质量和改善终端用户的体验质量方面扮演着重要角色。
近20年,图像质量评价(Image Quality Assessment,简称为IQA)领域研究受到了广泛的关注,预测图像质量的相关方法在各种图像处理中得到广泛应用,例如图像的压缩、传输、恢复、增强等等。
另外,人类视觉系统(Human Visual System,简称为HVS)是许多情况下感知信息的终极接收者,主观质量评估是衡量图像质量最可靠的方法,然而,主观质量评估成本高、复杂度高,在实时应用中无法灵活使用,因此,开发客观质量评价方案是必要的。
相关技术中,图像质量评价可以分为主观评价方法和客观评价方法,主观评价由观察者对图像质量进行主观评分,一般采用平均主观得分(Mean Opinion Score,简称为MOS)或平均主观得分差异(Differential Mean Opinion Score,简称为DMOS)(即人眼对无失真图像和有失真图像评价得分的差异)表示,但主观评价工作量大、耗时长,使用起来很不方便。
客观评价方法是由计算机根据一定算法计算得到图像的质量指标,根据评价时是否需要参考图像又可以分为全参考(Full-Reference,简称为FR)、半参考(部分参考)(Reduced-Reference,简称为RR)和无参考(No-Reference,简称为NR)等三类评价方法。
全参考方法在评价失真图像时,需要提供一个无失真的原始图像,经过对二者的比对,得到一个对失真图像的评价结果,随着研究的发展,这类方法的准确性越来越好,但其缺点是需要提供无失真的参考图像,这在实际应用中往往很难得到。
半参考方法也称为部分参考方法,它不需要将失真图像与原始图像相比较,而只需要将失真图像的某些特征与原始图像的相同特征进行比较,其相应的应用领域包括视频传输中的数字水印验证、利用副通道进行视频质量监控与码率控制等。
无参考方法也称为盲图像质量(Blind Image Quality,简称为BIQ)评价方法,则完全无需参考图像,根据失真图像的自身特征来估计图像的质量。有些方法是面向特定失真类型的,如针对模糊、噪声、块状效应的严重程度进行评价;有些方法先进行失真原因分类,再进行定量评价;而有些方法则试图同时评价不同失真类型的图像。无参考方法最具实用价值,有着非常广泛的应用范围,但正是由于没有参考图像,以及图像内容的千变万化,使得无参考图像质量评价相对更为困难。
针对相关技术中进行图像的曝光度检测不准确的问题,目前还没有有效的解决方案。
发明内容
本发明实施例提供了一种图像曝光度的评测方法及装置,以至少解决相关技术中进行图像的曝光度检测不准确的问题。
根据本发明的一个实施例,提供了一种图像曝光度的评测方法,包括:获取待检测图像的偏度特征;使用回归模型对所述偏度特征进行分析,依据所述偏度特征确定所述待检测图像的曝光度,其中,所述回归模型为使用多组样本图像通过机器学习训练出来的,所述多组样本图像包括曝光度不同的图像。
可选地,使用所述多组样本图像通过以下方式获取所述回归模型:以所述多组样本图像为样本,通过前馈神经网络获取所述回归模型。
可选地,以所述多组样本图像为样本,通过前馈神经网络获取所述回归模型,包括:获取多组样本图像中每张图像的曝光度数值或曝光度所属类型,其中,所述曝光度所属类型包括欠曝光度,曝光适宜,过曝光度;获取每张图像的偏度特征;以所述多组样本图像的曝光度数值或所属类型,以及偏度特征为样本,通过前馈神经网络获取所述回归模型。
可选地,通过以下方式获取图像的偏度特征:获取所述图像的整体偏度值;将所述待检测图像进行两次不同尺度的分块,获取多个分块的偏度值;级联所述整体偏度值和所述多个分块的偏度值获取多维特征向量,将所述多维特征向量作为所述图像的偏度特征。需要补充的是,本实施例中的方式去获取图像的偏度特征可以应用于待检测图像,也可以用于样本图像,即本可选实施例的意在记载获取一张图像的偏度特征的方式。
可选地,将所述待检测图像进行两次不同尺度的分块,获取多个分块的偏度值,级联所述整体偏度值和所述多个分块的偏度值获取多维特征向量,将所述多维特征向量作为所述图像的特征值,包括:将所述图像进行2*2分块,获取4个第一分块的偏度值;将所述图像进行4*4分块,获取16第二分块的偏度值;级联所述整体偏度值,4个第一分块的偏度值,以及16个第二分块的偏度值,获取21维特征向量,将所述21维特征向量作为所述图像的偏度特征。
可选地,在使用多组样本图像通过机器学习训练出所述回归模型之前,所述方法还包括:获取所述多组样本图像,其中,所述多组样本图像之间的图像方差集中在预设范围。
根据本发明的另一个实施例,还提供了一种图像曝光度的评测装置,包括:获取模块,用于获取待检测图像的偏度特征;确定模块,用于使用回归模型对所述偏度特征进行分析,依据所述偏度特征确定所述待检测图像的曝光度,其中,所述回归模型为使用多组样本图像通过机器学习训练出来的,所述多组样本图像包括曝光度不同的图像。
可选地,所述装置还包括:训练模块,用于通过以下方式获取所述回归模型:以所述多组样本图像为样本,通过前馈神经网络获取所述回归模型。
根据本发明的另一个实施例,还提供了一种存储介质,所述存储介质包括存储的程序,其中,所述程序运行时执行上述实施例任一项中所述的方法。
根据本发明的另一个实施例,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述实施例任一项中所述的方法。
通过本发明,利用大量不同曝光度的图像,通过机器学习训练出回归模型,然后获取待检测图像的偏度特征,使用回归模型分析该偏度特征得到该图像的曝光度。采用上述方案,解决了相关技术中进行图像的曝光度检测不准确的问题,实现了迅速准确的确定图像的曝光度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的图像曝光度的评测方法的流程图;
图2是根据本发明优选实施例的照片一的示意图;
图3是根据本发明优选实施例的照片二的示意图;
图4是根据本发明优选实施例的一般图像曝光度进行无参考客观质量评价的方法示意图;
图5是根据本发明优选实施例的照片三的示意图;
图6是根据本发明优选实施例的照片四的示意图;
图7是根据本发明优选实施例的照片五的示意图;
图8是根据本发明优选实施例的偏度统计量的示意图;
图9是根据本发明优选实施例的前馈神经网络结构的示意图;
图10是根据本发明优选实施例的“一般图像”曝光度数据集图像方差分布直方图。
具体实施方式
实施例一
在本实施例中提供了一种图像曝光度的评测方法,图1是根据本发明实施例的图像曝光度的评测方法的流程图,如图1所示,该流程包括如下步骤:
步骤S102,获取待检测图像的偏度特征;
步骤S104,使用回归模型对该偏度特征进行分析,依据该偏度特征确定该待检测图像的曝光度,其中,该回归模型为使用多组样本图像通过机器学习训练出来的,该多组样本图像包括曝光度不同的图像。
通过本发明,利用大量不同曝光度的图像,通过机器学习训练出回归模型,然后获取待检测图像的偏度特征,使用回归模型分析该偏度特征得到该图像的曝光度。采用上述方案,解决了相关技术中进行图像的曝光度检测不准确的问题,实现了迅速准确的确定图像的曝光度。
可选地,使用该多组样本图像通过以下方式获取该回归模型:以该多组样本图像为样本,通过前馈神经网络获取该回归模型。
可选地,以该多组样本图像为样本,通过前馈神经网络获取该回归模型,包括:获取多组样本图像中每张图像的曝光度数值或曝光度所属类型,其中,该曝光度所属类型包括欠曝光度,曝光适宜,过曝光度;获取每张图像的偏度特征;以该多组样本图像的曝光度数值或所属类型,以及偏度特征为样本,通过前馈神经网络获取该回归模型。
可选地,通过以下方式获取图像的偏度特征:获取该图像的整体偏度值;将该待检测图像进行两次不同尺度的分块,获取多个分块的偏度值;级联该整体偏度值和该多个分块的偏度值获取多维特征向量,将该多维特征向量作为该图像的偏度特征。
可选地,将该待检测图像进行两次不同尺度的分块,获取多个分块的偏度值,级联该整体偏度值和该多个分块的偏度值获取多维特征向量,将该多维特征向量作为该图像的特征值,包括:将该图像进行2*2分块,获取4个第一分块的偏度值;将该图像进行4*4分块,获取16个第二分块的偏度值;级联该整体偏度值,4个第一分块的偏度值,以及16个第二分块的偏度值,获取21维特征向量,将该21维特征向量作为该图像的偏度特征。
可选地,在使用多组样本图像通过机器学习训练出该回归模型之前,该方法还包括:获取该多组样本图像,其中,该多组样本图像之间的图像方差集中在预设范围。
下面结合本发明优选实施例进行详细说明。
在相关技术中,与本发明最为接近的技术领域应为无参考图像质量评价(NR-IQA)领域,该领域已有相当多的技术积累,无参考方法的图像质量评价方法通常采用以下两种方式:
1,基于支持向量机(回归)的方法
支持向量机(Support Vector Machine,简称为SVM)和支持向量回归(SupportVector Regression,简称SVR)以其突出的性能在机器学习中受到很大重视,在图像质量评价中应用广泛。这类方法先提取图像空间域或变换域特征,基于已知质量数据训练支持向量回归分析模型,由图像特征预测图像质量;有些算法则采用两步方案,先用SVM进行失真类型识别,进而对特定失真类型建立SVR回归分析模型,我们称之为SVM+SVR模型。
Moorthy和Bovik的盲图像质量指数(Blind Image Quality Index,简称为BIQI)分两步对图像进行评价,先采用小波分解系数经广义高斯分布(Generalized GaussianDistribution,简称为GGD)模型拟合得到的参数作为特征,由SVM分类得到当前图像属于每个类的概率,再采用SVR对各个退化类型计算图像质量指标值,最后根据概率加权得到总的质量评价指标。
基于失真辨识的图像真实性和完整性评价(Distortion Identification-BasedImage Verity and Integrity Evaluation,简称为DIIVINE)算法中,采用了更为复杂的88维特征,包括2尺度6方向的可控金字塔小波变换系数的24维子带尺度和方向统计特征、7维方向统计特征、12维跨尺度相关特征、30维空间相关特征、15维跨方向统计特征。
Mittal等的盲参考图像空域质量评价(Blind Image Spatial QualityEvaluator,简称为BRISQUE)算法也采用了SVM+SVR方式,先计算图像多尺度的去均值对比度归一化(Mean Subtracted Contrast Normalized,简称为MSCN)系数,再对这些系数及其沿不同方向的相关系数进行非对称广义高斯拟合,得到参数作为特征。
这类方法在无参考图像质量评价研究中取得了较好的效果,但不同特征对估计精度和计算复杂度有很大的影响,选择多尺度、多方向、综合空间和变换域特征有利于估计精度的提高。
2),基于概率模型的方法
这类方法首先建立图像特征与图像质量之间的统计概率模型,大多采用多变量高斯分布描述概率分布;对待评价图像,提取特征后根据概率模型计算最大后验概率的图像质量,或根据与概率模型的匹配程度(如特征间的距离)估计图像质量。
Saad等提出的DCT统计信息盲图像完整性指数(Blind Image Integrity NotatorUsing DCT Statistics,简称为BLIINDS)中,首先根据17×17子块的DCT变换系数估计图像对比度特征,再在两个尺度上计算DCT系数直方图的峰度值(Kurtosis)和各向异性熵最大值作为结构特征,最后以多变量高斯(或拉普拉斯)概率模型描述特征与人眼主观打分DMOS值之间的概率关系,通过后验概率最大化预测图像质量。
Mittal等提出的自然图像质量评价(Natural Image Quality Evaluator,简称为NIQE)算法中,无需利用人眼评分的失真图像进行训练,在计算其局部MSCN归一化图像后,根据局部活性选择部分图像块作为训练数据,以广义高斯模型拟合得到模型参数作为特征,采用多变量高斯模型描述这些特征,评价过程中利用待评价图像特征模型参数与预先建立的模型参数之间的距离来确定图像质量。
以及Zhang等提出的自然图像评价方法(IL-NIQE)中,在NIQE的基础上,采用了五种不同种类的特征,这些特征在NSS中都发挥着很大的作用,其中包括两种NSS特征,这两种特征来源于局部均值消去和对比度归一化参数的分布,以及成对的相邻MSCN参数的乘积的分布;另外,为了更有效地刻画结构上和捕捉对比度上的失真,采用了反映质量水平的梯度特征;为了提取出与质量相关的多尺度、多方向上的图像属性,从log-Gabor滤波器的响应中提取统计特征;而关于色彩上的质量信息,则使用图像在对数尺度下描述的对立色彩空间中的灰度分布的统计特征来刻画。
这些常规方法作为领域内较为成熟的方案都有着公开的实现代码与使用方法,它们在NR-IQA领域都有着相当的可用性与可比性,然而它们对本发明解决的问题不具有针对性,还存在一些如下的问题与缺陷:
上述提到的NR-IQA方法均为更接近人的评价方式的非特定失真的无参考图像质量评价,但本发明所力求解决的问题是针对图像曝光度进行质量评价,使用上述方法得到的评价结果很大程度不能特定反映图像的曝光程度。
在NR-IQA领域,也有些方法是面向特定失真类型的,如针对模糊、噪声、块状效应的严重程度进行评价,但却并不包括对图像曝光程度的度量,也就是说在针对曝光度的度量领域内并没有可参考的解决方案,而造成没有相关方法的具体原因有两点:
一,IQA领域的原意是对图像在获取、存储、传输、显示等过程中不可避免地产生的损失进行度量,而常见引入的失真类型并不包括曝光度,曝光度更多的是作为摄影技术的层面出现,因此并不在学术研究的研究范畴之内。
二,曝光度很大程度受到图像具体内容的影响,图2是根据本发明优选实施例的照片一的示意图,图3是根据本发明优选实施例的照片二的示意图,如图2、图3中所示:图2是曝光适宜的高调图像,直方图的峰值都集中在右侧,但这张照片并没有过曝,画面中拍摄的就是白色物体,而且有着丰富的细节;图3是曝光适宜的低调图像,直方图峰值位于左侧,这是因为它的背景是黑色的,而且在左端没有出现溢出的现象,所以它的曝光是正常的。即拍摄内容的特殊性会对曝光度判断产生极大的影响,因此并不是一个普适性可以解决的问题。
基于上述说明,与相关技术相比,本发明强调的内容如下:通过对摄影领域图像曝光程度判断的经验总结,对采集到的不同曝光度下的一般图像数据集,提取能够反映图像曝光程度的特征,采用前馈神经网络训练曝光度特征与评分间的回归模型,以评价测试图像曝光度。
本发明方案包括以下大步骤:
步骤一,将图像曝光度评测问题进行限定,只对无强光、弱光等突出光照影响,无大面积黑色或白色图像内容的“一般图像”进行曝光度评测,并制定图像筛选方案即“一般图像”预判方案;需要补充的是,该步骤一可以在步骤S102之前执行,即确定待检测图像可以为无强光,弱光等突出光照影响,无大面积黑色或白色图像内容的照片。
步骤二,建立一般图像曝光度数据集,利用业界标准的硬件设施,提出了无需人工评价、拥有曝光度客观标准的数据集建立方案,包括在多种常见场景下不同曝光程度的图像;相当于上述实施例中建立回归模型的步骤。
步骤三,对于每一张数据集图像,采用三种不同尺度的特征提取步骤,包括图像整体偏度信息,和两次不同尺度的图像分块偏度值,级联得到一个21维的特征向量用以反映图像曝光程度;需要补充的是,该步骤三相当于上述步骤S102的方案,以及与步骤S102相关的可选实施例。
步骤四,使用前馈神经网络将图像曝光度特征向量与曝光度评分匹配起来,利用训练出的回归模型即可进行一般图像曝光度评测。相当于上述可选实施例的步骤S104的方案。
下面是本发明优选实施例的具体实施例。
本发明具体实施例实施仅需基本的电脑软件应用环境,即Windows配置下的电脑即可。
注:本发明Matlab版本代码的使用需Matlab软件的安装。
本发明提出了一种对一般图像曝光度进行无参考客观质量评价的方案,图4是根据本发明优选实施例的一般图像曝光度进行无参考客观质量评价的方法示意图,如图4所示,该方法流程包括两个主要部分:一般图像曝光度数据集建立、回归模型建立,下面将逐一进行详细介绍。
一),一般图像曝光度数据集建立
本发明希望对一般图像曝光程度进行无参考客观度量,但与本发明最接近的现有技术NR-IQA领域的公开技术常规做法,并没有可参考的解决方案,同时也没有可用的公开数据集。因此,针对本发明的研究对象——无强光、弱光等突出光照影响,无大面积黑色或白色图像内容的“一般图像”,建立不同曝光程度的图像数据集是十分有必要的。
一般图像曝光度数据集的建立过程由两个子步骤构成:图像数据采集,与按曝光程度对图像进行分类。
1)图像数据采集。为了建立一般图像曝光度数据集,需要采集不同曝光程度的一般图像,并且满足无强光、弱光等突出光照影响、无大面积黑色或白色图像内容的要求,因此制定了如表1所示的采集方案,表1是根据本发明优选实施例的图像采集方案的表格,表2是根据本发明优选实施例的采集场景与示例表。
表1
Figure BDA0001537617250000111
表2
Figure BDA0001537617250000112
Figure BDA0001537617250000121
由上述两个表格可知,在上述图像数据采集中,共选取33个场景,均符合无大面积黑色或白色图像内容的要求;囊括远景、近景、微距等多种情况;每个场景采集3个角度的图像。具体场景如表2所示。而且,拍摄在Auto、曝光小于Auto、曝光大于Auto三种情况下的图像,帮助进行后续图像曝光度分类。
2),按曝光程度对图像分类
对于采集到的不同曝光程度的一般图像,根据1采集方案中区分的三种曝光情况,可以进行曝光程度的分类,表3是根据本发明优选实施例的图像曝光程度分类表,依据表3的方式,结合人工视觉判断,将图像分为欠曝、曝光适宜、过曝三种类别(Class),类标签(Label)分别为C1、C2、C3。
表3
Figure BDA0001537617250000131
至此,一般图像曝光度数据集建立完毕。进入本发明技术方案的算法流程阶段。
二,回归模型建立
本发明算法的主要目标即得到符合曝光度图像数据集的回归模型,使用前馈神经网络进行图像曝光度特征与评分的匹配。
1,)图像曝光度特征提取
为了建立起图像曝光程度与其某种特征间的匹配关系,首先需要提取能够反映图像曝光度的质量特征。
本发明从摄影领域的“如何判断照片曝光合适”调查发现,理想的直方图应该是从左侧起缓慢上升,在中间连续不断,并在某处出现峰值,靠右边又逐渐下降,如图5所示,图5是根据本发明优选实施例的照片三的示意图;
曝光不足时像素都集中在左侧,暗部细节缺失,亮部也十分灰暗,如图6所示,图6是根据本发明优选实施例的照片四的示意图;
曝光过度时峰值处于直方图的右侧,此时画面中的亮部溢出,丧失细节,暗部区域不足,如图7所示,图7是根据本发明优选实施例的照片五的示意图。
由上述内容可知三种曝光情况对应的图像特点如下:曝光适宜:图像灰度直方图从左侧起缓慢上升,在中间连续不断,并在某处出现峰值,靠右边又逐渐下降;欠曝:图像灰度直方图像素都集中在左侧,暗部细节缺失,亮部也十分灰暗;过曝:图像灰度直方图峰值处于直方图的右侧,此时画面中的亮部溢出,丧失细节,暗部区域不足。
即图像灰度直方图的分布可以反映图像曝光程度,因此本发明选取图像偏度统计量作为图像曝光度特征。
偏度描述总体中所有取值分布形态陡缓程度的统计量,其描述的是某总体取值分布的对称性。图8是根据本发明优选实施例的偏度统计量的示意图,如图8所示,这个统计量需要与正态分布相比较,偏度为0表示其数据分布形态与正态分布的偏斜程度相同;偏度大于0表示其数据分布形态与正态分布相比为正偏或右偏,即有一条长尾巴拖在右边,数据右端有较多的极端值;偏度小于0表示其数据分布形态与正态分布相比为负偏或左偏,即有一条长尾拖在左边,数据左端有较多的极端值。
由上图可见,图像曝光适宜的直方图偏度应为负偏态,欠曝与过曝的直方图偏度应分别小于或大于曝光适宜的情况。
偏度是样本的三阶标准化矩,公式如下:
Figure BDA0001537617250000141
其中,k2,k3分别表示二阶和三阶中心矩。
综上,对于每一张曝光度数据集中的图像,均计算其偏度作为表征其曝光度水平的图像特征;同时,为了不丢失图像像素位置上的相关信息,对于图像进行偏度特征提取时,采用三种不同尺度的提取方案,即除去图像整体偏度信息,还将其进行两次不同尺度的分块,对每一块进行偏度值的计算,最后级联得到一个21维的特征向量。具体的,上述两次不同尺度的分块可以是将所述图像进行2*2分块,获取4个第一分块的偏度值;以及将所述图像进行4*4分块,获取16个第二分块的偏度值。
2),前馈神经网络
本发明采用前馈神经网络得到图像21维偏度特征与曝光度评分(类别)的映射关系。
前馈神经网络(Feedforward Neural Network),简称前馈网络,是人工神经网络的一种。在此种神经网络中,各神经元从输入层开始,接收前一级输入,并输出到下一级,直至输出层,整个网络中无反馈,可用一个有向无环图表示。
前馈神经网络采用一种单向多层结构,其中每一层包含若干个神经元,同一层的神经元之间没有互相连接,层间信息的传送只沿一个方向进行。第一层称为输入层。最后一层为输出层.中间为隐含层,简称隐层,隐层可以是一层,也可以是多层。
本发明使用的前馈神经网络结构如图9所示,图9是根据本发明优选实施例的前馈神经网络结构的示意图,如图9所示,前馈神经网络结构包括一个隐含层,64个隐含层节点。
3),一般图像预判算法
除去算法主体部分,本发明在具体算法实现中加入了对训练和测试图像是否属于“一般图像”的预先判断,以提高用户使用观感,因此在利用一般图像曝光度数据集进行回归模型训练的基础上,本发明对建立的数据集,同时进行了图像方差统计量的计算,图10是根据本发明优选实施例的“一般图像”曝光度数据集图像方差分布直方图,如图10所示,可以看到,符合“一般图像”要求的图像方差集中在一个较小的范围内,因此可以通过设定方差阈值来判断测试图像是否满足条件,方差超过阈值的图像不在本发明曝光度度量算法的考虑范围之内。
需要补充的是,以本发明算法为基础的应用开发,可能需要提供算法输入和最终结果在界面上的显示。
需要补充的是,本发明针对一般图像曝光度的无参考质量评价问题提出了解决方案,建立回归模型的方法可以包括以下四个步骤:
步骤一,制定图像预判方案,预先判断数据集和测试图像是否属于本发明“一般图像”的范畴;需要补充的是,该步骤一给出了本实施例的回归模型的适用范围,当然,不局限于此。
步骤二,利用业界标准的硬件设施,提出了无需人工评价、拥有曝光度客观标准的数据集建立方案,建立一般图像曝光度数据集,包括多种常见场景下不同曝光度图像;
步骤三,提取能够反映图像曝光程度的特征向量,采用三种不同尺度的图像偏度信息;
步骤四,利用前馈神经网络将图像曝光度特征向量与曝光度评分匹配起来,得到可进行一般图像曝光度评测的回归模型。后续使用该回归模型进行图像的曝光度评测。
采用上述技术方案,实现了以下技术效果:
1),提出了一般图像曝光度的无参考质量评价方案
对于无参考图像质量评价(NR-IQA)领域尚未解决的一般图像曝光度度量问题,提出了基于图像多尺度偏度特征的解决方案,得到的回归模型在图像曝光度测试集上有着良好的表现。表4是根据本发明优选实施例的技术方案测试集度量结果表。
表4
Figure BDA0001537617250000161
度量指标SROCC(the Spearman rank-order correlation coefficient)和PLCC(Pearson linear correlation coefficient),均为图像质量评价领域常用指标,用于度量图像曝光度评估值与真实值间的相关程度,值越接近1表示越相关。
2),建立了一般图像曝光度数据集
为了解决图像质量评价领域无可用的相关公开数据集的问题,建立了本发明针对问题的一般图像曝光度数据集,作为前馈神经网络的训练测试样本,表5是根据本发明优选实施例的技术方案一般图像曝光度数据集表。
表5
Figure BDA0001537617250000171
需要补充的是,本发明中记载的方案,可能应用在所有需要对图像/照片进行相关评分的软硬件中,如:类似“美图秀秀”等照片处理软件;作为实时度量当前照片曝光情况的提示软件,嵌入数码相机;度量需要保证曝光度适宜的应用场合中图像的曝光程度,以做出相应提示。
同时,本发明可与图像质量评价领域中许多针对图像其他质量问题的算法结合,构成无参考评价图像质量的较为完整的软件系统。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例二
在本实施例中还提供了一种图像曝光度的评测装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
根据本发明的另一个实施例,还提供了一种图像曝光度的评测装置,包括:
获取模块,用于获取待检测图像的偏度特征;
确定模块,用于使用回归模型对所述偏度特征进行分析,依据所述偏度特征确定所述待检测图像的曝光度,其中,所述回归模型为使用多组样本图像通过机器学习训练出来的,所述多组样本图像包括曝光度不同的图像。
可选地,所述装置还包括:训练模块,用于通过以下方式获取所述回归模型:以所述多组样本图像为样本,通过前馈神经网络获取所述回归模型。
可选地,所述训练模块还用于:获取多组样本图像中每张图像的曝光度数值或曝光度所属类型,其中,所述曝光度所属类型包括欠曝光度,曝光适宜,过曝光度;获取每张图像的偏度特征;以所述多组样本图像的曝光度数值或所属类型,以及偏度特征为样本,通过前馈神经网络获取所述回归模型。
可选地,所述装置中通过以下方式获取图像的偏度特征:获取所述图像的整体偏度值;将所述待检测图像进行两次不同尺度的分块,获取多个分块的偏度值;级联所述整体偏度值和所述多个分块的偏度值获取多维特征向量,将所述多维特征向量作为所述图像的偏度特征。
可选地,将所述图像进行2*2分块,获取4个第一分块的偏度值;将所述图像进行4*4分块,获取16第二分块的偏度值;级联所述整体偏度值,4个第一分块的偏度值,以及16个第二分块的偏度值,获取21维特征向量,将所述21维特征向量作为所述图像的偏度特征。
可选地,在使用多组样本图像通过机器学习训练出所述回归模型之前,所述训练模块还用于获取所述多组样本图像,其中,所述多组样本图像之间的图像方差集中在预设范围。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例三
根据本发明的另一个实施例,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述实施例任一项中所述的方法。
实施例四
根据本发明的另一个实施例,还提供了一种存储介质,所述存储介质包括存储的程序,其中,所述程序运行时执行上述实施例任一项中所述的方法。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种图像曝光度的评测方法,其特征在于,包括:
获取待检测图像的偏度特征;
使用回归模型对所述偏度特征进行分析,依据所述偏度特征确定所述待检测图像的曝光度,其中,所述回归模型为使用多组样本图像通过机器学习训练出来的,所述多组样本图像包括曝光度不同的图像;
其中,所述回归模型为使用所述多组样本图像为样本,通过前馈神经网络获取到的,具体包括:
获取多组样本图像中每张图像的曝光度数值或曝光度所属类型,其中,所述曝光度所属类型包括欠曝光度,曝光适宜,过曝光度;
获取每张图像的偏度特征;
以所述多组样本图像的曝光度数值或所属类型,以及偏度特征为样本,通过前馈神经网络获取所述回归模型。
2.根据权利要求1所述的方法,其特征在于,通过以下方式获取图像的偏度特征:
获取所述图像的整体偏度值;
将所述待检测图像进行两次不同尺度的分块,获取多个分块的偏度值;
级联所述整体偏度值和所述多个分块的偏度值获取多维特征向量,将所述多维特征向量作为所述图像的偏度特征。
3.根据权利要求2所述的方法,其特征在于,将所述待检测图像进行两次不同尺度的分块,获取多个分块的偏度值,级联所述整体偏度值和所述多个分块的偏度值获取多维特征向量,将所述多维特征向量作为所述图像的特征值,包括:
将所述图像进行2*2分块,获取4个第一分块的偏度值;
将所述图像进行4*4分块,获取16个第二分块的偏度值;
级联所述整体偏度值,4个第一分块的偏度值,以及16个第二分块的偏度值,获取21维特征向量,将所述21维特征向量作为所述图像的偏度特征。
4.根据权利要求1所述的方法,其特征在于,在使用多组样本图像通过机器学习训练出所述回归模型之前,所述方法还包括:
获取所述多组样本图像,其中,所述多组样本图像之间的图像方差集中在预设范围。
5.一种图像曝光度的评测装置,其特征在于,包括:
获取模块,用于获取待检测图像的偏度特征;
确定模块,用于使用回归模型对所述偏度特征进行分析,依据所述偏度特征确定所述待检测图像的曝光度,其中,所述回归模型为使用多组样本图像通过机器学习训练出来的,所述多组样本图像包括曝光度不同的图像;
其中,所述回归模型为使用所述多组样本图像为样本,通过前馈神经网络获取到的,具体包括:
获取多组样本图像中每张图像的曝光度数值或曝光度所属类型,其中,所述曝光度所属类型包括欠曝光度,曝光适宜,过曝光度;
获取每张图像的偏度特征;
以所述多组样本图像的曝光度数值或所属类型,以及偏度特征为样本,通过前馈神经网络获取所述回归模型。
6.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至4任一项中所述的方法。
7.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行上述权利要求1至4任一项中所述的方法。
CN201810002852.2A 2018-01-02 2018-01-02 图像曝光度的评测方法及装置 Active CN108257117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810002852.2A CN108257117B (zh) 2018-01-02 2018-01-02 图像曝光度的评测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810002852.2A CN108257117B (zh) 2018-01-02 2018-01-02 图像曝光度的评测方法及装置

Publications (2)

Publication Number Publication Date
CN108257117A CN108257117A (zh) 2018-07-06
CN108257117B true CN108257117B (zh) 2022-06-28

Family

ID=62725931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810002852.2A Active CN108257117B (zh) 2018-01-02 2018-01-02 图像曝光度的评测方法及装置

Country Status (1)

Country Link
CN (1) CN108257117B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410203A (zh) * 2018-10-31 2019-03-01 广西科技大学鹿山学院 一种基于机器学习的图片画质检测方法
CN113487592B (zh) * 2021-07-22 2023-11-17 四川九洲电器集团有限责任公司 一种基于统计量的高光谱或多光谱图像过曝检测方法及系统
CN114040124B (zh) * 2021-11-28 2022-08-16 特斯联科技集团有限公司 森林草原巡视无人机的相机自适应曝光处理系统及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5637399B2 (ja) * 2009-11-16 2014-12-10 国立大学法人豊橋技術科学大学 真珠の評価方法及び評価装置
CN102609939B (zh) * 2012-01-16 2015-03-11 北京航空航天大学 一种tfds图像质量评价方法及系统
CN102629379B (zh) * 2012-03-02 2014-03-26 河海大学 一种基于视觉特性的图像质量评价方法
CN103686161B (zh) * 2012-09-19 2015-09-16 北京大学 视差图以及3d视频的质量评价方法和装置
CN104994306B (zh) * 2015-06-29 2019-05-03 厦门美图之家科技有限公司 一种基于脸部亮度自动调整曝光度的摄像方法和摄像装置
CN105208374B (zh) * 2015-08-24 2017-03-08 宁波大学 一种基于深度学习的无参考图像质量客观评价方法
CN105827993B (zh) * 2016-04-05 2019-05-21 福建联迪商用设备有限公司 调整图像曝光度的方法及系统
CN106127741B (zh) * 2016-06-17 2019-01-15 西安电子科技大学 基于改良自然场景统计模型的无参考图像质量评价方法

Also Published As

Publication number Publication date
CN108257117A (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
CN107133948B (zh) 基于多任务卷积神经网络的图像模糊与噪声评测方法
Hosu et al. KonIQ-10k: An ecologically valid database for deep learning of blind image quality assessment
CN108090902B (zh) 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法
Lin et al. KonIQ-10K: Towards an ecologically valid and large-scale IQA database
CN108269254B (zh) 图像质量评估方法和装置
US10445590B2 (en) Image processing apparatus and method and monitoring system
KR20180065889A (ko) 타겟의 검측 방법 및 장치
CN112153371B (zh) 图像质量检测方法、装置、存储介质及产品检测方法
CN111507426B (zh) 基于视觉融合特征的无参考图像质量分级评价方法及装置
CN108257117B (zh) 图像曝光度的评测方法及装置
CN110956615B (zh) 图像质量评估模型训练方法、装置、电子设备及存储介质
CN112367520B (zh) 基于人工智能的视频质量诊断系统
KR20180109658A (ko) 영상 처리 방법과 장치
CN105894507B (zh) 基于图像信息量自然场景统计特征的图像质量评价方法
CN111242911A (zh) 一种基于深度学习算法确定图像清晰度的方法及系统
CN108769543B (zh) 曝光时间的确定方法及装置
WO2021047453A1 (zh) 图像质量确定方法、装置及设备
Gaata et al. No-reference quality metric for watermarked images based on combining of objective metrics using neural network
Yang et al. EHNQ: Subjective and objective quality evaluation of enhanced night-time images
CN112651945A (zh) 一种基于多特征的多曝光图像感知质量评价方法
Fry et al. Bridging the gap between imaging performance and image quality measures
Gibson et al. A no-reference perceptual based contrast enhancement metric for ocean scenes in fog
CN115661618A (zh) 图像质量评估模型的训练方法、图像质量评估方法及装置
CN111354048B (zh) 一种面向相机获取图片的质量评价方法和装置
CN111539914B (zh) 一种手机照片质量比较评价方法、系统及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant