CN111192258A - 一种图像质量评估方法及装置 - Google Patents

一种图像质量评估方法及装置 Download PDF

Info

Publication number
CN111192258A
CN111192258A CN202010002727.9A CN202010002727A CN111192258A CN 111192258 A CN111192258 A CN 111192258A CN 202010002727 A CN202010002727 A CN 202010002727A CN 111192258 A CN111192258 A CN 111192258A
Authority
CN
China
Prior art keywords
image
distortion
training
quality evaluation
image set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010002727.9A
Other languages
English (en)
Inventor
王员根
区富炤
李进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202010002727.9A priority Critical patent/CN111192258A/zh
Publication of CN111192258A publication Critical patent/CN111192258A/zh
Priority to PCT/CN2020/115341 priority patent/WO2021135391A1/zh
Priority to JP2021541615A priority patent/JP2022519469A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种图像质量评估方法及装置，所述方法首先获取样本图像，继而根据形状参数及不同的失真等级调整样本图像的亮度分量，获得第一训练图像集；按预设的图像处理器对第一训练图像进行处理，获得第二训练图像集；将样本图像按预设失真类型及不同的失真等级进行图像处理，获得合成失真训练图像集；以训练图像集、训练图像集中各图像的失真等级以及样本图像的标准质量评价分数为输入，构建图像质量评估模型；获取待评估图像，将待评估图像输入图像质量评估模型中生成待评估图像的预测质量评价分数。通过实施本发明既能对由单一失真因素造成失真的图像进行质量分数评估，又能对由多种失真因素融合后造成失真的图像进行质量分数评估。

Description

一种图像质量评估方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像质量评估方法及装置。
背景技术
社交媒体交互的很大一部分包括分享图片。然而，图像在采集、后处理、传输和存储过程中总会或多或少地引入失真。因此，图像质量评估成为一个重要的研究课题。而在现实应用中，参考图像并不总是可获取的。例如，在社交平台上，用户分享图片，而他们的好友在没有任何参考的情况下浏览图片。这促进了无参考图像质量评估成为机器感知领域研究中最广泛和最深入的领域。通常图像遭受两种不同类型的失真。一种是由快衰落、白噪声、粉色高斯噪声、JPEG、JPEG2000、高斯模糊、全局对比度降低等由单一因素引起具有特定失真类型的合成失真。另一种是相机在捕捉、处理和存储过程中引入的真实失真。由于在拍摄过程中过度曝光、曝光不足、运动导致的模糊、低光噪声和压缩误差等多种失真因素融合而造成的真实失真，其没有特定的失真类型。
而现有的技术对图像进行质量评估，局限于对具有特定失真类型的图像即上述合成失真类型的图像进行评估，例如申请号为“CN201910364614.0”的“一种基于图像失真类型的图像质量评估的方法”，其先用离散余弦转换(DCT)把高维度图像的信息量在低维度图像上表示出来，提取出失真特征值。然后，利用支持向量机(SVM)，建立标签为1，2，3，4，...，n的SVM分类器模型，将失真类型分为n种，再将图像的失真特征值输入，通过决策函数对所选图像进行失真类型分类。最后，根据失真类型，在相应的回归评估模型中计算图像质量预测分数。该方法需要失真类型分类，而对于没有明确的失真类型定义的，由各种失真因素融合而成，所造成的真实失真并不适用，无法对由多种失真因素融合而造成真实失真的图像进行图像评估。
发明内容
本发明实施例提供一种图像质量评估方法及装置，既能对由单一失真因素造成的具有明确失真类型的失真图像进行质量分数评估，又能对由多种失真因素融合后造成的不具备明确失真类型的失真图像进行质量分数评估。
本发明一实施例提供一种图像质量评估方法，包括：
获取样本图像，继而按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集；其中，所述第一训练图像集中包含不同失真等级的图像；
按预设的图像处理器对所述第一训练图像集中的每一图像进行处理，获得第二训练图像集；其中，所述预设图像处理器包括以下任意一种或多种组合：运动滤波器、高斯低通滤波器、色差变换处理器和全局对比度衰退图像处理器；
将所述样本图像按预设失真类型及不同的失真等级，进行图像处理，获得合成失真训练图像集；其中，所述预设失真类型包括：高斯模糊、JPEG压缩失真、JPEG2000压缩失真、快速衰退失真或高斯白噪音；所述合成失真训练图像集包含不同失真等级的合成失真图像；
以一训练图像集、所述训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，通过神经网络构建图像质量评估模型；其中，所述训练图像集包括第二训练图像集或合成失真训练图像集；
获取待评估图像，并将所述待评估图像输入所述图像质量评估模型中，获得所述待评估图像的预测质量评价分数。
进一步的，在所述按预设的图像处理器对所述第一训练图像集中的每一图像进行处理，获得第二训练图像集之后，还包括：按预设的概率对所述第二训练图像集中的每一图像进行压缩处理。
进一步的，所述按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集，具体包括：
通过以下过度曝光处理函数调整所述样本图像的亮度分量：
Figure BDA0002354099980000031
其中，所述λ1，δ1，γ1和v1为形状参数、k为失真等级、L为亮度分量，i为亮度分量所对应的行坐标j为亮度分量所对应的纵坐标。
进一步的，所述按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集，具体包括：
通过以下欠曝光处理函数调整所述样本图像的亮度分量：
Figure BDA0002354099980000032
其中，所述λ2，δ2，γ2和v2为形状参数、k为失真等级、L为亮度分量。
进一步的，所述以一训练图像集、所述训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，通过神经网络构建图像质量评估模型，具体包括：
以一训练图像集、训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，输入神经网络中进行预训练，直至所述神经网络的总损失函数收敛；其中，在预训练时所述神径网络的总损失函数为：
Figure BDA0002354099980000033
其中，
Figure BDA0002354099980000037
为自适应排序损失函数，
Figure BDA0002354099980000034
Figure BDA0002354099980000035
为上界控制损失函数，
Figure BDA0002354099980000036
Figure BDA0002354099980000041
为下界控制损失函数，
Figure BDA0002354099980000042
训练图像集可表示为
Figure BDA0002354099980000043
Figure BDA0002354099980000044
为所述样本图像、y0为所述样本图像的标准质量评价分数、θ为网络参数，k为失真等级、
Figure BDA0002354099980000045
为动态变化补偿算子、τw为预设的质量分数上限、τb为预设的质量分数下限、n和m为降序图像列的索引号、λr为自适应排序损失函数的权重值、λb为上界控制损失函数的权重值、λw为下界控制损失函数的权重值；
将一组样本图像集输入所述初始图像质量评估模型中，进行微调训练，直至微调训练时对应的损失函数收敛，获得所述图像质量评估模型；其中，所述样本图像集中包括若干所述样本图像；所述微调训练时对应的损失函数为：
Figure BDA0002354099980000046
N为样本图像集中图像的数量、π为第二网络参数、Ii表示所述样本图像集中的样本图像,yi表示所述样图像中样本图像的标准质量评价分数。
在上述方法项实施例的基础上，本发明对应提供了装置项实施例；
本发明一实施例提供了一种图像评估装置，包括第一图像处理模块、第二图像处理模块、第三图像处理模块、图像质量评估模型构建模块以及图像评估模块；
所述第一图像处理模块，用于获取样本图像，继而按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集；其中，所述第一训练图像集中包含不同失真等级的图像；
所述第二图像处理模块，用于按预设的图像处理器对所述第一训练图像集中的每一图像进行处理，获得第二训练图像集；其中，所述预设图像处理器包括以下任意一种或多种组合：运动滤波器、高斯低通滤波器、色差变换处理器和全局对比度衰退图像处理器；
所述第三图像处理模块，用于将所述样本图像按预设失真类型及不同的失真等级，进行图像处理，获得合成失真训练图像集；其中，所述预设失真类型包括：高斯模糊、JPEG压缩失真、JPEG2000压缩失真、快速衰退失真或高斯白噪音；所述合成失真训练图像集包含不同失真等级的合成失真图像；
所述图像质量评估模型构建模块，用于以一训练图像集、所述训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，通过神经网络构建图像质量评估模型；其中，所述训练图像集包括第二训练图像集或合成失真训练图像集；
所述图像评估模块，用于获取待评估图像，并将所述待评估图像输入所述图像质量评估模型中，获得所述待评估图像的预测质量评价分数。
进一步的，还包括第四图像处理模块，所述第四图像处理模块，用于按预设的概率对所述第二训练图像集中的每一图像进行压缩处理。
通过实施本发明实施例具有如下有益效果：
本发明实施例提供了一种图像质量评估方法及装置，所述方法首先，调整样本图像的亮度分量来模拟图像的过度/欠曝光失真，获得第一训练图像集，通过预设的图像处理器对第一训练图像集的图像进行处理，将过度/欠曝光失真的失真因素与预设图像处理器对应的失真因素融合在一起，生成由多种失真因素融合所造成的真实失真图像集，即上述第二训练图像集，此外还通过预设的失真类型和失真等级对样本图像进行图像处理，这样生成由某种是特定的失真因素造成失真的合成失真图像集，即上述合成失真训练图像集，紧接着根据上述第二训练图像集或合成失真训练图像集，通过神经网络构建图像质量评估模型，最后将待评估图像输入到图像质量评估模型中，获得对应的预测质量评价分数。与现有技术相比，本发明实施例所提供的图像质量评估方法，能够实现对由单一的失真因素，所造成失真的，有特定失真类型的图像(即合成失真图像)进行质量评估，也能够实现对由多种失真因素融合所造成失真的，无特定失真类型的图像(即真实失真图像)的质量评估。
附图说明
图1是本发明一实施例提供的一种图像质量评估方法的流程示意图。
图2是本发明一实施例提供的一种图像质量评估方法的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明一实施例提供的一种图像质量评估方法包括：
步骤S101:获取样本图像，继而按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集；其中，所述第一训练图像集中包含不同失真等级的图像；
步骤S102:按预设的图像处理器对所述第一训练图像集中的每一图像进行处理，获得第二训练图像集；其中，所述预设图像处理器包括以下任意一种或多种组合：运动滤波器、高斯低通滤波器、色差变换处理器和全局对比度衰退图像处理器；
步骤S103:将所述样本图像按预设失真类型及不同的失真等级，进行图像处理，获得合成失真训练图像集；其中，所述预设失真类型包括：高斯模糊、JPEG压缩失真、JPEG2000压缩失真、快速衰退失真或高斯白噪音；所述合成失真训练图像集包含不同失真等级的合成失真图像；
步骤S104:以一训练图像集、所述训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，通过神经网络构建图像质量评估模型；其中，所述训练图像集包括第二训练图像集或合成失真训练图像集；
步骤S105:获取待评估图像，并将所述待评估图像输入所述图像质量评估模型中，获得所述待评估图像的预测质量评价分数。
对于步骤S101:首先获取一张样本图像，如果该样本图像为RGB图像则将其转换为HSV图像，然后提取HSV图像的亮度分量并进行调整，从而来模拟图像因过度/欠曝光失真造成的失真，具体包括以下两种调整方式：
在一个优选的实施例中，所述按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集，具体包括：
通过以下过度曝光处理函数调整所述样本图像的亮度分量：
Figure BDA0002354099980000071
其中，所述λ1，δ1，γ1和v1为形状参数、k为失真等级、L为亮度分量，i为亮度分量所对应的行坐标j为亮度分量所对应的纵坐标。一实施例用于模拟过度曝光失真。
在一个优选的实施例中，所述按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集，具体包括：
通过以下欠曝光处理函数调整所述样本图像的亮度分量：
Figure BDA0002354099980000072
其中，所述λ2，δ2，γ2和v2为形状参数、k为失真等级、L为亮度分量。这一实施例用来模拟欠曝光失真。
上述两种亮度分量调整方式根据实际情况需要进行选择，从而实现样本图像的模拟过度/欠曝光失真的模拟；最后，把更改了亮度分量的HSV图像转换回RGB三通道图像，生成第一训练图像集，第一训练图像集中包括了不同失真等级的图像，需要说明的是当失真等级为0时，即代表原样本图像。
对于步骤S102：首先对预设图像处理器进行说明：为了模拟样本图像因抖动，对焦错误，光晕和对比度失真等单一因素或多因素组合造成的图像失真，本发明通过采用不同的图像处理器进行组合，得到上述预设的图像处理器，然后对第一训练图像集的图像进行图像处理。优选的，预设的图像处理器包括以下任意一种或多种组合：运动滤波器、高斯低通滤波器、色差变换处理器和全局对比度衰退图像处理器；即上述预设的图像处理器可以是单独的一个图像处理器，也可以是几个图像处理器的组合；因此对这一实施例再进行进一步的描述。
首先我们使用一个图像处理器来处理It1：
Figure BDA0002354099980000081
表示上述第一训练图像集中的图像。l＝1,2,3,4分别代表运动滤波器、高斯低通滤波器、色差变换和全局对比度衰退图像处理器的索引号，把l的所有组合定义为一个集合Ω＝{{1},{2},{3},{4},{1,2},{1,3},…,{1,2,3,4}}.然后执行融合策略获得融合图像It2：
Figure BDA0002354099980000082
最终生成上述第二训练图像集，当只用一种图像处理器例如是运动滤波器进行处理时，则用来模拟样本图像，受过度/欠曝光失真因素以及图像抖动的因素，两种失真因素的融合所造成的失真。当用两种图像处理器的组合，例如是运动滤波器和全局对比度衰退处理器进行处理时，则用来模拟样本图像，受过度/欠曝光失真因素、图像抖动的因素以及对比度失真；三种失真因素的融合所造成的失真。通过这一实施例可以模拟出样本图像由于多种失真因素(至少两种)融合，而造成的真实失真的情况。
在一个优选的实施例中，还包括：按预设的概率对所述第二训练图像集中的每一图像进行压缩处理。在这一实施例中，优选的对第二训练图像集进行概率为1/2的JPEG压缩处理。模拟压缩失真的情形。
对于步骤S103,首先需要说明的是此步骤命名为步骤S103，并不代表该步骤是在步骤S101和步骤S102之后才执行的，其也可以在步骤S101之前执行。步骤的命名仅仅是为了表述的方便，不作为计算机执行顺序的限定。通过步骤S101和步骤S102完成了对样本图像进行真实失真(由多种失真因素融合所造成的失真，无明确的失真类型)的模拟，而步骤S103是为了对样本图像进行合成失真的(由单一失真因素所造成的失真，有明确的失真类型)模拟。这一步骤主要按预设的失真类型和失真等级进行图像处理即可。所述失真类型包括但不限于斯模糊、JPEG压缩失真、JPEG2000压缩失真、快速衰退失真或高斯白噪音，其中的一种，最终生成合成失真训练图像集。
对于步骤S104,一训练图像集、所述训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，以训练图像集中各图像的预测质量评价分数为输出，通过神经网络构建质量评估模型，具体构建方式如下：
以一训练图像集、训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，输入神经网络中进行预训练，直至所述神经网络的总损失函数收敛；其中，在预训练时所述神径网络的总损失函数为：
Figure BDA0002354099980000091
其中，
Figure BDA0002354099980000092
为自适应排序损失函数，
Figure BDA0002354099980000093
Figure BDA0002354099980000094
为上界控制损失函数，
Figure BDA0002354099980000095
Figure BDA0002354099980000096
为下界控制损失函数，
Figure BDA0002354099980000097
训练图像集可表示为
Figure BDA0002354099980000098
Figure BDA0002354099980000099
为所述样本图像、y0为所述样本图像的标准质量评价分数、θ为网络参数，k为失真等级、
Figure BDA00023540999800000910
为动态变化补偿算子、τw为预设的质量分数上限、τb为预设的质量分数下限、n和m为降序图像列的索引号、λr为自适应排序损失函数的权重值、λb为上界控制损失函数的权重值、λw为下界控制损失函数的权重值；
将一组样本图像集输入所述初始图像质量评估模型中，进行微调训练，直至微调训练时对应的损失函数收敛，获得所述图像质量评估模型；其中，所述样本图像集中包括若干所述样本图像；所述微调训练时对应的损失函数为：
Figure BDA0002354099980000101
N为样本图像集中图像的数量、π为第二网络参数、Ii表示所述样本图像集中的样本图像,yi表示所述样图像中样本图像的标准质量评价分数。传统的排序学习函数，由于排序间距是常数，上下界也没有限制，所以排序的输出结果容易失控。本发明这一实施例在预训练时，设置自适应排序损失函数和上、下界控制损失函数使得预训练的排序结果能更好的适应图像的标准质量评价分数。本文所提及的标准质量评价分数指的预设的用于参考的标准分数。当选取的训练图像集为上述第二训练图像时，则所构建的图像质量评估模型可以用于对真实失真的图像进行评估，若选取的训练图像集为上述合成失真训练图像集，则所构建的图像质量评估模型可以用于对合成失真的图像进行评估。
对于步骤S105,获取一待评估图像，将所述待评估图像输入所述图像质量评估模型中，即可获得所述待评估图像的预测质量评价分数，用户根据得出的预测质量评价分数对待评估图像进行评估。
在上述方法项实施例的基础上，本发明对应提供了一装置项实施例；
如图2所示，本发明另一实施例提供了一种图像质量评估装置，包括第一图像处理模块、第二图像处理模块、第三图像处理模块、图像质量评估模型构建模块以及图像评估模块；
所述第一图像处理模块，用于获取样本图像，继而按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集；其中，所述第一训练图像集中包含不同失真等级的图像；
所述第二图像处理模块，用于按预设的图像处理器对所述第一训练图像集中的每一图像进行处理，获得第二训练图像集；其中，所述预设图像处理器包括以下任意一种或多种组合：运动滤波器、高斯低通滤波器、色差变换处理器和全局对比度衰退图像处理器；
所述第三图像处理模块，用于将所述样本图像按预设失真类型及不同的失真等级，进行图像处理，获得合成失真训练图像集；其中，所述预设失真类型包括：高斯模糊、JPEG压缩失真、JPEG2000压缩失真、快速衰退失真或高斯白噪音；所述合成失真训练图像集包含不同失真等级的合成失真图像；
所述图像质量评估模型构建模块，用于以一训练图像集、所述训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，通过神经网络构建图像质量评估模型；其中，所述训练图像集包括第二训练图像集或合成失真训练图像集；
所述图像评估模块，用于获取待评估图像，并将所述待评估图像输入所述图像质量评估模型中，获得所述待评估图像的预测质量评价分数。
在一个优选的实施例中，还包括第四图像处理模块；所述第四图像处理模块，用于按预设的概率对所述第二训练图像集中的每一图像进行压缩处理。
可以理解的是，上述装置项实施例是与本发明方法项实施例相对应的，其可以实现本发明上述任意一项方法项实施例提供的图像质量评估方法。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。所述示意图仅仅是图像质量评估装置的示例，并不构成对图像质量评估装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
与现有技术相比，本发明实施例所提供的图像质量评估方法，能够实现对由单一的失真因素，所造成失真的，有特定失真类型的图像进行质量评估，也能够实现对由多种失真因素融合所造成失真的，无特定失真类型的图像的质量评估。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种图像质量评估方法，其特征在于，包括：
获取样本图像，继而按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集；其中，所述第一训练图像集中包含不同失真等级的图像；
按预设的图像处理器对所述第一训练图像集中的每一图像进行处理，获得第二训练图像集；其中，所述预设图像处理器包括以下任意一种或多种组合：运动滤波器、高斯低通滤波器、色差变换处理器和全局对比度衰退图像处理器；
将所述样本图像按预设失真类型及不同的失真等级，进行图像处理，获得合成失真训练图像集；其中，所述预设失真类型包括：高斯模糊、JPEG压缩失真、JPEG2000压缩失真、快速衰退失真或高斯白噪音；所述合成失真训练图像集包含不同失真等级的合成失真图像；
以一训练图像集、所述训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，通过神经网络构建图像质量评估模型；其中，所述训练图像集包括第二训练图像集或合成失真训练图像集；
获取待评估图像，并将所述待评估图像输入所述图像质量评估模型中，获得所述待评估图像的预测质量评价分数。
2.如权利要求1所述的图像质量评估方法，其特征在于，在所述按预设的图像处理器对所述第一训练图像集中的每一图像进行处理，获得第二训练图像集之后，还包括：按预设的概率对所述第二训练图像集中的每一图像进行压缩处理。
3.如权利要求1所述的图像质量评估方法，其特征在于，所述按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集，具体包括：
通过以下过度曝光处理函数调整所述样本图像的亮度分量：
Figure FDA0002354099970000021
其中，所述λ1，δ1，γ1和v1为形状参数、k为失真等级、L为亮度分量，i为亮度分量所对应的行坐标j为亮度分量所对应的纵坐标。
4.如权利要求1所述的图像质量评估方法，其特征在于，所述按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集，具体包括：
通过以下欠曝光处理函数调整所述样本图像的亮度分量：
Figure FDA0002354099970000022
其中，所述λ2，δ2，γ2和v2为形状参数、k为失真等级、L为亮度分量，i为亮度分量所对应的行坐标j为亮度分量所对应的纵坐标。
5.如权利要求1所述的图像质量评估方法，其特征在于，所述以一训练图像集、所述训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，通过神经网络构建图像质量评估模型，具体包括：
以一训练图像集、训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，输入神经网络中进行预训练，直至所述神经网络的总损失函数收敛；其中，在预训练时所述神径网络的总损失函数为：
Figure FDA0002354099970000023
其中，
Figure FDA0002354099970000031
为自适应排序损失函数，
Figure FDA0002354099970000032
Figure FDA0002354099970000033
为上界控制损失函数，
Figure FDA0002354099970000034
Figure FDA0002354099970000035
为下界控制损失函数，
Figure FDA0002354099970000036
训练图像集可表示为
Figure FDA0002354099970000037
Figure FDA0002354099970000038
为所述样本图像、y0为所述样本图像的标准质量评价分数、θ为网络参数，k为失真等级、
Figure FDA0002354099970000039
为动态变化补偿算子，φθ(·)表示为网络输出值、τw为预设的质量分数上限、τb为预设的质量分数下限、n和m为降序图像列的索引号、λr为所述自适应排序损失函数的权重值、λb为所述上界控制损失函数的权重值、λw为所述下界控制损失函数的权重值；
将一组样本图像集输入所述初始图像质量评估模型中，进行微调训练，直至微调训练时对应的损失函数收敛，获得所述图像质量评估模型；其中，所述样本图像集中包括若干所述样本图像；所述微调训练时对应的损失函数为：
Figure FDA00023540999700000310
N为所述样本图像集中图像的数量、π为第二网络参数、Ii表示所述样本图像集中的样本图像,yi表示所述样图像中样本图像的标准质量评价分数。
6.一种图像质量评估装置，其特征在于，包括第一图像处理模块、第二图像处理模块、第三图像处理模块、图像质量评估模型构建模块以及图像评估模块；
所述第一图像处理模块，用于获取样本图像，继而按预设的形状参数及不同的失真等级，调整所述样本图像的亮度分量，获得第一训练图像集；其中，所述第一训练图像集中包含不同失真等级的图像；
所述第二图像处理模块，用于按预设的图像处理器对所述第一训练图像集中的每一图像进行处理，获得第二训练图像集；其中，所述预设图像处理器包括以下任意一种或多种组合：运动滤波器、高斯低通滤波器、色差变换处理器和全局对比度衰退图像处理器；
所述第三图像处理模块，用于将所述样本图像按预设失真类型及不同的失真等级，进行图像处理，获得合成失真训练图像集；其中，所述预设失真类型包括：高斯模糊、JPEG压缩失真、JPEG2000压缩失真、快速衰退失真或高斯白噪音；所述合成失真训练图像集包含不同失真等级的合成失真图像；
所述图像质量评估模型构建模块，用于以一训练图像集、所述训练图像集中各图像的失真等级以及所述样本图像的标准质量评价分数为输入，通过神经网络构建图像质量评估模型；其中，所述训练图像集包括第二训练图像集或合成失真训练图像集；
所述图像评估模块，用于获取待评估图像，并将所述待评估图像输入所述图像质量评估模型中，获得所述待评估图像的预测质量评价分数。
7.如权利要求6所述的图像质量评估装置，其特征在于，还包括第四图像处理模块；所述第四图像处理模块，用于按预设的概率对所述第二训练图像集中的每一图像进行压缩处理。
CN202010002727.9A 2020-01-02 2020-01-02 一种图像质量评估方法及装置 Pending CN111192258A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010002727.9A CN111192258A (zh) 2020-01-02 2020-01-02 一种图像质量评估方法及装置
PCT/CN2020/115341 WO2021135391A1 (zh) 2020-01-02 2020-09-15 一种图像质量评估方法及装置
JP2021541615A JP2022519469A (ja) 2020-01-02 2020-09-15 画像品質評価方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010002727.9A CN111192258A (zh) 2020-01-02 2020-01-02 一种图像质量评估方法及装置

Publications (1)

Publication Number Publication Date
CN111192258A true CN111192258A (zh) 2020-05-22

Family

ID=70709675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010002727.9A Pending CN111192258A (zh) 2020-01-02 2020-01-02 一种图像质量评估方法及装置

Country Status (3)

Country Link
JP (1) JP2022519469A (zh)
CN (1) CN111192258A (zh)
WO (1) WO2021135391A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968040A (zh) * 2020-07-02 2020-11-20 北京大学深圳研究生院 图像的复原方法、系统及计算机可读存储介质
CN112116568A (zh) * 2020-09-10 2020-12-22 广东电网有限责任公司广州供电局 一种图像质量评价方法、装置及存储介质
CN112116589A (zh) * 2020-09-30 2020-12-22 腾讯科技（深圳）有限公司 虚拟形象的评测方法、装置、设备及计算机可读存储介质
CN112215833A (zh) * 2020-10-22 2021-01-12 江苏云从曦和人工智能有限公司 图像质量评估方法、装置以及计算机可读存储介质
CN112634268A (zh) * 2021-01-11 2021-04-09 北京霍因科技有限公司 一种视频质量评价方法、装置及电子设备
CN112801536A (zh) * 2021-02-20 2021-05-14 北京金山云网络技术有限公司 图像处理方法、装置和电子设备
CN112819758A (zh) * 2021-01-19 2021-05-18 武汉精测电子集团股份有限公司 训练数据集的生成方法及装置
CN112949623A (zh) * 2021-05-13 2021-06-11 北京世纪好未来教育科技有限公司 模型训练、图像质量评估方法及装置、电子设备、介质
WO2021135391A1 (zh) * 2020-01-02 2021-07-08 广州大学 一种图像质量评估方法及装置
CN114240872A (zh) * 2021-12-13 2022-03-25 中国平安财产保险股份有限公司 图片质量评估方法、装置、计算机设备及存储介质
CN116433194A (zh) * 2023-04-25 2023-07-14 中铁四局集团有限公司 一种铁路隧道钢构件加工集中区管理信息化平台

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505854B (zh) * 2021-07-29 2023-08-15 济南博观智能科技有限公司 一种人脸图像质量评价模型构建方法、装置、设备及介质
CN116703739A (zh) * 2022-02-25 2023-09-05 索尼集团公司 图像增强方法及设备
CN114821174B (zh) * 2022-04-24 2024-02-27 西北工业大学 一种基于内容感知的输电线路航拍图像数据清洗方法
CN114972124B (zh) * 2022-07-29 2022-10-28 自然资源部第三地理信息制图院 一种遥感图像亮度自适应均衡方法及系统
CN116563210B (zh) * 2023-03-21 2023-12-08 安徽中新云谷数字技术有限公司 一种虚拟现实图像质量评价方法及系统
CN117078659B (zh) * 2023-09-21 2024-01-26 中国矿业大学 基于主动学习的少样本无参考图像质量评价算法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633520A (zh) * 2017-09-28 2018-01-26 福建帝视信息科技有限公司 一种基于深度残差网络的超分辨率图像质量评估方法
CN109801256A (zh) * 2018-12-15 2019-05-24 华南理工大学 一种基于感兴趣区域和全局特征的图像美学质量评估方法
CN110378848A (zh) * 2019-07-08 2019-10-25 中南大学 一种基于衍生图融合策略的图像去雾方法
CN110570420A (zh) * 2019-09-16 2019-12-13 中山大学 一种无参考对比度失真图像质量评价方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104103063A (zh) * 2013-04-10 2014-10-15 江南大学 一种基于自动调焦原理无参考噪声图像质量评价方法
EP2808829A1 (en) * 2013-05-28 2014-12-03 Vrije Universiteit Brussel Method and apparatus for predicting the perceptual quality of a signal
CN103400367A (zh) * 2013-07-03 2013-11-20 河海大学常州校区 一种无参考型模糊图像质量评价方法
US9741107B2 (en) * 2015-06-05 2017-08-22 Sony Corporation Full reference image quality assessment based on convolutional neural network
US9734567B2 (en) * 2015-06-24 2017-08-15 Samsung Electronics Co., Ltd. Label-free non-reference image quality assessment via deep neural network
WO2018186991A1 (en) * 2017-04-04 2018-10-11 Board Of Regents, The University Of Texas System Assessing quality of images or videos using a two-stage quality assessment
CN107481238A (zh) * 2017-09-20 2017-12-15 众安信息技术服务有限公司 图像质量评估方法及装置
CN110047071A (zh) * 2019-04-26 2019-07-23 杭州智趣智能信息技术有限公司 一种图像质量评估方法、装置和介质
CN110211119B (zh) * 2019-06-04 2021-06-04 厦门美图之家科技有限公司 图像质量评估方法、装置、电子设备及可读存储介质
CN110570406A (zh) * 2019-08-27 2019-12-13 天津大学 从局部到全局特征回归无参考立体图像质量评价方法
CN111192258A (zh) * 2020-01-02 2020-05-22 广州大学 一种图像质量评估方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633520A (zh) * 2017-09-28 2018-01-26 福建帝视信息科技有限公司 一种基于深度残差网络的超分辨率图像质量评估方法
CN109801256A (zh) * 2018-12-15 2019-05-24 华南理工大学 一种基于感兴趣区域和全局特征的图像美学质量评估方法
CN110378848A (zh) * 2019-07-08 2019-10-25 中南大学 一种基于衍生图融合策略的图像去雾方法
CN110570420A (zh) * 2019-09-16 2019-12-13 中山大学 一种无参考对比度失真图像质量评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FU-ZHAO OU 等: "Controllable List-wise Ranking for Universal No-reference Image Quality Assessment", 《ARXIV》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021135391A1 (zh) * 2020-01-02 2021-07-08 广州大学 一种图像质量评估方法及装置
CN111968040A (zh) * 2020-07-02 2020-11-20 北京大学深圳研究生院 图像的复原方法、系统及计算机可读存储介质
CN112116568A (zh) * 2020-09-10 2020-12-22 广东电网有限责任公司广州供电局 一种图像质量评价方法、装置及存储介质
CN112116589A (zh) * 2020-09-30 2020-12-22 腾讯科技（深圳）有限公司 虚拟形象的评测方法、装置、设备及计算机可读存储介质
CN112116589B (zh) * 2020-09-30 2024-02-27 腾讯科技（深圳）有限公司 虚拟形象的评测方法、装置、设备及计算机可读存储介质
CN112215833A (zh) * 2020-10-22 2021-01-12 江苏云从曦和人工智能有限公司 图像质量评估方法、装置以及计算机可读存储介质
CN112634268A (zh) * 2021-01-11 2021-04-09 北京霍因科技有限公司 一种视频质量评价方法、装置及电子设备
CN112634268B (zh) * 2021-01-11 2024-01-05 北京霍因科技有限公司 一种视频质量评价方法、装置及电子设备
CN112819758A (zh) * 2021-01-19 2021-05-18 武汉精测电子集团股份有限公司 训练数据集的生成方法及装置
CN112801536A (zh) * 2021-02-20 2021-05-14 北京金山云网络技术有限公司 图像处理方法、装置和电子设备
CN112801536B (zh) * 2021-02-20 2024-04-30 北京金山云网络技术有限公司 图像处理方法、装置和电子设备
CN112949623A (zh) * 2021-05-13 2021-06-11 北京世纪好未来教育科技有限公司 模型训练、图像质量评估方法及装置、电子设备、介质
CN114240872A (zh) * 2021-12-13 2022-03-25 中国平安财产保险股份有限公司 图片质量评估方法、装置、计算机设备及存储介质
CN114240872B (zh) * 2021-12-13 2024-07-02 中国平安财产保险股份有限公司 图片质量评估方法、装置、计算机设备及存储介质
CN116433194A (zh) * 2023-04-25 2023-07-14 中铁四局集团有限公司 一种铁路隧道钢构件加工集中区管理信息化平台
CN116433194B (zh) * 2023-04-25 2023-10-03 中铁四局集团有限公司 一种铁路隧道钢构件加工集中区管理信息化系统

Also Published As

Publication number Publication date
WO2021135391A1 (zh) 2021-07-08
JP2022519469A (ja) 2022-03-24

Similar Documents

Publication Publication Date Title
CN111192258A (zh) 一种图像质量评估方法及装置
CN105187810B (zh) 一种基于人脸色彩特征的自动白平衡方法及电子媒体装置
CN112954312B (zh) 一种融合时空特征的无参考视频质量评估方法
CN109871845B (zh) 证件图像提取方法及终端设备
CN108428227A (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN108401154B (zh) 一种图像曝光度无参考质量评价方法
CN110728633A (zh) 多曝光度高动态范围反色调映射模型构建方法及装置
CN105809643B (zh) 一种基于自适应块通道拉伸的图像增强方法
Zuo et al. Screen content image quality assessment via convolutional neural network
CN108074241B (zh) 目标图像的质量评分方法、装置、终端及存储介质
CN108198177A (zh) 图像获取方法、装置、终端及存储介质
CN111047543A (zh) 图像增强方法、装置和存储介质
CN110807757A (zh) 基于人工智能的图像质量评估方法、装置及计算机设备
CN108364269A (zh) 一种基于强化学习框架的白盒照片后期处理方法
CN111724310B (zh) 图像修复模型的训练方法、图像修复方法及装置
CN111160102A (zh) 人脸防伪识别模型的训练方法、人脸防伪识别方法及装置
CN110278415A (zh) 一种网络摄像机视频质量提升方法
CN106815803A (zh) 图片的处理方法及装置
CN112200736A (zh) 基于强化学习的图像处理方法及模型训练方法、装置
CN113505854A (zh) 一种人脸图像质量评价模型构建方法、装置、设备及介质
CN112465726A (zh) 基于参考亮度指标指导的低照度可调节亮度增强方法
CN114663300A (zh) 基于dce的低照度图像增强方法、系统及相关设备
Zhu et al. A method for quality evaluation of multi-exposure fusion images with multi-scale gradient magnitude
CN116546304A (zh) 一种参数配置方法、装置、设备、存储介质及产品
CN113840134B (zh) 一种相机tuning方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200522