CN111612732A - 图像质量评估方法、装置、计算机设备及存储介质 - Google Patents

图像质量评估方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111612732A
CN111612732A CN202010253385.8A CN202010253385A CN111612732A CN 111612732 A CN111612732 A CN 111612732A CN 202010253385 A CN202010253385 A CN 202010253385A CN 111612732 A CN111612732 A CN 111612732A
Authority
CN
China
Prior art keywords
attention
feature
candidate
network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010253385.8A
Other languages
English (en)
Other versions
CN111612732B (zh
Inventor
黄惠
王静逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010253385.8A priority Critical patent/CN111612732B/zh
Publication of CN111612732A publication Critical patent/CN111612732A/zh
Application granted granted Critical
Publication of CN111612732B publication Critical patent/CN111612732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像质量评估方法、装置、计算机设备及存储介质，涉及图像处理技术领域，该图像质量评估方法包括将目标图像输入至级联的特征提取网络、特征映射网络和注意力预测网络中，通过所述特征提取网络提取所述目标图像的通用特征；通过所述特征映射网络将所述通用特征映射为多个候选注意力特征；通过所述注意力预测网络得到各所述候选注意力特征的质量预测结果和贡献预测结果；根据各所述候选注意力特征的质量预测结果和贡献预测结果确定所述目标图像的图像质量评估结果。

Description

图像质量评估方法、装置、计算机设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像质量评估方法、装置、计算机设备及存储介质。
背景技术
图像质量对从图像中所获取的信息的充分性和准确性起着决定性作用。然而，图像在压缩、处理、传输和显示等过程中难免会出现一定程度的图像失真。因此需要对图像的质量进行评估。
现有技术中，对图像质量进行评价的方法包括全参考图像质量评估，半参考质量评估和无参考质量评估，其中，无参考质量评估是指不依赖原图信息对待评估图像进行质量评估的方法。现有的无参考质量评估方法是根据人眼的主观视觉系统建立模型，并依赖于人工标注的图像对该模型进行训练，得到已经训练好的图像评估模型，利用训练好的图像评估模型对待评估的图像的特征进行质量评估。
然而，上述方法，对图像进行质量评估得到的评估结果的准确性不高。
发明内容
基于此，有必要针对上述图像质量评估结果准确性不高的问题，提供一种图像质量评估方法、装置、计算机设备及存储介质。
一种图像质量评估方法，该方法包括：
将目标图像输入至级联的特征提取网络、特征映射网络和注意力预测网络中，通过特征提取网络提取目标图像的通用特征；通过特征映射网络将通用特征映射为多个候选注意力特征；通过注意力预测网络得到各候选注意力特征的质量预测结果和贡献预测结果；
根据各候选注意力特征的质量预测结果和贡献预测结果确定目标图像的图像质量评估结果。
在本申请实施例中，根据各候选注意力特征的质量预测结果和贡献预测结果确定目标图像的图像质量评估结果，包括：
根据各候选注意力特征的质量预测结果和贡献预测结果选出多个注意力感知特征；
根据各候选注意力特征和各注意力感知特征确定目标图像的图像质量评估结果。
在本申请实施例中，根据各候选注意力特征的质量预测结果和贡献预测结果选出多个注意力感知特征，包括：
根据各候选注意力特征的质量预测结果和贡献预测结果得到各候选注意力特征的带权质量评估结果，带权质量评估结果用于指示各候选注意力特征的质量评估结果；
将带权质量评估结果大于阈值的候选注意力特征确定为注意力感知特征，得到多个注意力感知特征。
在本申请实施例中，根据各候选注意力特征和各注意力感知特征确定目标图像的图像质量评估结果，包括：
根据各候选注意力特征与各注意力感知特征之间交叠面积的比重，确定出各候选注意力特征的目标贡献；
根据各候选注意力特征的目标贡献和质量预测结果确定目标图像的图像质量评估结果。
在本申请实施例中，通过特征映射网络将通用特征映射为多个候选注意力特征，包括：
获取目标图像上的多个候选框的候选框信息，候选框信息包括候选框的尺寸和候选框在目标图像中的位置；
通过特征映射网络根据各候选框的候选框信息将通用特征映射为与各候选框一一对应的候选注意力特征。
在本申请实施例中，获取目标图像上的多个候选框的候选框信息之前，该方法还包括：
获取目标图像的尺寸；
根据目标图像的尺寸生成随机尺寸的多个目标框，获取各目标框的目标框信息，目标框信息包括目标框的尺寸和目标框在目标图像上的位置；
对多个目标框进行筛选，得到多个候选框。
在本申请实施例中，对特征提取网络、特征映射网络和注意力预测网络的训练过程包括：
获取目标训练集，目标训练集包括训练图像以及训练图像对应的平均主观得分；
将训练图像输入至级联的未经训练的初始特征提取网络，初始特征映射网络和初始注意力预测网络，得到初始注意力预测网络输出的各训练候选注意力特征的质量预测结果和贡献预测结果，并根据各训练候选注意力特征的质量预测结果和贡献预测结果得到各训练候选注意力特征的带权质量评估结果；根据各训练候选注意力特征的带权质量评估结果与训练图像对应的平均主观得分确定图像质量损失值；
将各训练候选注意力特征的带权质量评估结果输入至注意力感知网络，根据各带权质量评估结果和训练图像对应的平均主观得分的差值与评估阈值的关系确定多个训练注意力感知特征；并根据各训练候选注意力特征和各训练注意力感知特征的交叠面积比重，得到注意力感知网络输出的各训练候选注意力特征的目标贡献；根据各训练候选注意力特征的目标贡献和初始注意力预测网络输出的各训练候选注意力特征的贡献预测结果得到各训练候选注意力特征的贡献损失值；
根据图像质量损失值和各训练候选注意力特征的贡献损失值对初始特征提取网络、初始特征映射网络和初始注意力预测网络的参数进行调整，得到经过训练的特征提取网络、特征映射网络和注意力预测网络。
一种图像质量评估装置，该装置包括：
特征获取模块，用于将目标图像输入至级联的特征提取网络、特征映射网络和注意力预测网络中，通过特征提取网络提取目标图像的通用特征；通过特征映射网络将通用特征映射为多个候选注意力特征；通过注意力预测网络得到各候选注意力特征的质量预测结果和贡献预测结果；
评估模块，用于根据各候选注意力特征的质量预测结果和贡献预测结果确定目标图像的图像质量评估结果。
一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该计算机程序被该处理器执行时实现以下步骤：
将目标图像输入至级联的特征提取网络、特征映射网络和注意力预测网络中，通过特征提取网络提取目标图像的通用特征；通过特征映射网络将通用特征映射为多个候选注意力特征；通过注意力预测网络得到各候选注意力特征的质量预测结果和贡献预测结果；
根据各候选注意力特征的质量预测结果和贡献预测结果确定目标图像的图像质量评估结果。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：
将目标图像输入至级联的特征提取网络、特征映射网络和注意力预测网络中，通过特征提取网络提取目标图像的通用特征；通过特征映射网络将通用特征映射为多个候选注意力特征；通过注意力预测网络得到各候选注意力特征的质量预测结果和贡献预测结果；
根据各候选注意力特征的质量预测结果和贡献预测结果确定目标图像的图像质量评估结果。
本申请实施例提供的技术方案带来的有益效果至少包括：
上述图像质量评估方法、装置、计算机设备及存储介质，可以准确地对图像质量进行评估。该图像质量评估方法中，计算机设备可以获取目标图像，并将目标图像输入到级联的特征提取网络、特征映射网络和注意力预测网络中，从而通过特征提取网络提取目标图像的通用特征，通过特征映射网络将通用特征映射为多个候选注意力特征，通过注意力预测网络得到各候选注意力特征的质量预测结果和贡献预测结果，并根据各候选注意力特征的质量预测结果和贡献预测结果确定目标图像的图像质量评估结果。由于通常情况下，人们在看目标图像时，视觉注意力会被目标图像中的部分特征吸引，而目标图像中的其他特征对人们的视觉注意力的吸引力较小。因此，本申请实施例将通用特征映射为多个候选注意力特征，候选注意力特征是可能引起人们视觉注意的特征，通过可以引起人们视觉注意的候选注意力特征来对目标图像的图像质量进行评估，得到的图像质量评估结果与人们的视觉观察结果更接近，因此，图像质量评估结果的准确性更高。
附图说明
图1为本申请实施例提供的图像质量评估方法的实施环境的示意图；
图2为本申请实施例提供的一种图像质量评估方法的流程图；
图3为本申请实施例提供的一种特征映射网络的示意图；
图4为本申请实施例提供的一种注意力预测网络的示意图；
图5为本申请实施例提供的一种确定图像质量评估结果的方法的流程图；
图6为本申请实施例提供的一种获取注意力感知特征的方法的流程图；
图7为本申请实施例提供的另一种图像质量评估方法的流程图；
图8为本申请实施例提供的一种注意力感知特征的示意图；
图9为本申请实施例提供的一种确定候选注意力特征的方法的流程图；
图10为本申请实施例提供的一种网络训练方法的流程图；
图11为本申请实施例提供的一种图像质量评估装置的模块图；
图12为本申请实施例提供的一种计算机设备的模块图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人们在互联网上进行社交活动、电子商务活动时，常常需要接收或者发送图像，并通过图像传递信息。在接收或者发送图像的过程中涉及到了对图像进行压缩、传输、解压缩等技术操作。而这些技术操作均是以图像质量评估为基础进行的。
图像质量评估是指通过对图像进行特性分析研究，然后评估出图像优劣(图像失真程度)的行为。根据图像质量评估中所涉及到的原图像(又称参考图像)的信息量的不同，可以将图像质量评估划分为三类算法，分别是：全参考图像质量评估，半参考图像质量评估和无参考图像质量评估(又称盲参考质量评估)。其中，无参考图像质量评估是指不依赖原图像的信息对待评估图像进行质量评估的方法。
现有技术中，无参考图像质量评估方法一般是，利用已经公开的数据集形成图像样本，利用图像样本对深度学习网络进行训练，在训练的过程中，对于每个图像样本，将深度学习网络输出的图像质量评估结果与受试者对图像样本的真实评估结果进行对比，利用对比结果对深度学习网络进行修正，最终得到训练好的图像质量评估模型。然后利用图像质量评估模型对图像进行质量评估。
然而，现有技术中，是通过对图像整体进行特征学习从而对图像进行质量评估，而没有对图像中的重点区域进行学习，导致在特征学习的过程中会丢失重要信息，从而降低了图像质量评估结果的准确性。另一方面，深度学习网络虽然具有自适应学习参数，逼近目标函数的特点，但是由于目前已经公开的数据集中的图像样本的数量较少，因此，深度学习网络能够学习的数据量较少，导致最终得到的图像质量评估模型在对图像进行质量评估时，得到的图像质量评估结果的准确性较低。
本申请实施例提供一种图像质量评估方法，由于通常情况下，人们在看目标图像时，视觉注意力会被目标图像中的部分特征吸引，而目标图像中的其他特征对人们的视觉注意力的吸引力较小。因此，本申请实施例将通用特征映射为多个候选注意力特征，候选注意力特征是可能引起人们视觉注意的特征，通过可以引起人们视觉注意的候选注意力特征来对目标图像的图像质量进行评估，得到的图像质量评估结果与人们的视觉观察结果更接近，因此，图像质量评估结果的准确性更高。
下面，将对本申请实施例提供的图像质量评估方法所涉及到的实施环境进行简要说明。
图1为本申请实施例提供的图像质量评估方法所涉及到的一种实施环境的示意图，如图1所示，该实施环境可以包括服务器101和终端102，服务器101和终端102之间可以通过有线网络或无线网络进行通信。
其中，终端102可以为智能手机、平板电脑、可穿戴设备、MP3播放器(英文：MovingPicture Experts Group Audio Layer III，中文：动态影像专家压缩标准音频层面3)、MP4(英文：Moving Picture Experts Group Audio Layer IV，中文：动态影像专家压缩标准音频层面4)播放器、电子书阅读器或者车载设备等。服务器101可以为一台服务器，也可以为由多台服务器组成的服务器集群。
在图1所示的实施环境中，终端102可以将目标图像发送至服务器101。服务器101可以基于本申请实施例提供的图像质量评估方法，对该目标图像进行图像质量评估，并得到图像质量评估结果。可选的，服务器101可以将图像质量评估结果返回给终端102。
当然，在一些可能的实现方式中，本申请实施例提供的图像质量评估方法所涉及到的实施环境可以仅包括终端102。
在实施环境仅包括终端102的情况下，终端102在获取到目标图像之后，可以直接基于本申请实施例提供的图像质量评估方法，对该目标图像进行图像质量评估。
请参考图2，其示出了本申请实施例提供的一种图像质量评估方法的流程图，该图像质量评估方法可以应用于图1所示实施环境中的服务器或者终端中，本申请实施例仅以该图像质量评估方法应用于终端中为例进行说明，该图像质量评估方法应用于服务器时的技术过程与该图像质量评估方法应用于终端时的技术过程同理，本申请实施例对其不再赘述。如图2所示，该图像质量评估方法可以包括以下步骤：
步骤201，终端将目标图像输入至级联的特征提取网络、特征映射网络和注意力预测网络中，通过特征提取网络提取目标图像的通用特征；通过特征映射网络将通用特征映射为多个候选注意力特征；通过注意力预测网络得到各候选注意力特征的质量预测结果和贡献预测结果。
其中，目标图像为需要进行质量评估的图像。
通用特征是指特征提取网络对目标图像进行卷积运算之后得到的特征。通用特征可以用特征矩阵表示。候选注意力特征可以是指可能引起人们视觉注意的特征，注意力感知特征可以指候选注意力特征中对图像质量评估结果贡献较大的特征。
可选的，在本申请的一个实施例中，在将目标图像输入至级联的特征提取网络、特征映射网络和注意力预测网络中之前，可以先对目标图像进行预处理，例如，该预处理可以包括剪裁处理以及归一化处理等。
在本申请的一个可选的实施例中，特征提取网络为卷积神经网络，特征提取网络可以通过基本的卷积神经网络算法提取目标图像的通用卷积特征，该通用卷积特征即目标图像的通用特征。
在本申请的一个可选的实施例中，特征映射网络可以是ROI池化层(英文：Regionof interest pooling，中文：感兴趣区域池化)网络。本申请实施例中，终端通过特征映射网络将通用特征映射为多个候选注意力特征的过程可以包括以下内容：
终端可以按照预先设定好的固定大小的尺寸将目标图像划分为多个图像块，并可以获取每个图像块的尺寸和每个图像块在目标图像中的位置。
本申请实施例中，终端通过特征提取网络提取的通用特征包括多个特征元素，每个特征元素在通用特征中具有确定的位置和排列秩序。
如图3所示，其中，A表示目标图像，B表示目标图像上的图像块对应的图像框，C表示通用特征，D表示图像框B对应的候选注意力特征。对于每个图像块，终端可以根据这个图像块在目标图像中的位置和尺寸，确定出该图像块在通用特征中的对应区域。终端可以将处于该对应区域内的特征元素提取出来，并依然保持该些特征元素原有的排列秩序。终端可以将提取出来的这些特征元素组成的新组合作为该图像块对应的候选注意力特征。
本申请实施例中，可以通过上述方式得到多个候选注意力特征。
如上文所述，本申请实施例中，特征映射网络可以将通用特征映射为多个候选注意力特征，而不需要将划分得到的多个图像块直接输入深度学习网络中，由深度学习网络去学习每个图像块儿得到每个图像块对应的候选注意力特征，这样做可以在不损失性能的条件下减少深度学习网络的运算量，提高运算速度。
在本申请的一个可选的实施例中，图4示出了本申请实施例提供的基于自底向上的注意力预测网络的网络结构，其中，小方块表示各候选注意力特征，箭头表示数据流向；注意力预测网络包括两个分支，分别是质量预测网络和贡献预测网络。
质量预测网络包括全连接层，在质量预测网络中，每个候选注意力特征可以被基于每个候选注意力特征所包括的特征元素，通过全连接层的映射处理，得到该候选注意力特征相应的质量预测结果。
其中，质量预测网络为每个候选注意力特征输出的质量预测结果可以用数学表达式(1)表示：
Figure BDA0002436316250000091
其中，Ri表示第i个候选注意力特征，qk(Ri)∈R1×1表示每个候选注意力特征的质量预测结果，
Figure BDA0002436316250000092
表示全连接层的建模函数。
贡献预测网络包括级联的全连接层、激活层和损失层。每个候选注意力特征可以被基于每个候选注意力特征所包括的特征元素，全连接层的映射处理，激活层的过滤处理和损失层的映射处理，得到该候选注意力特征相应的贡献预测结果。其中，全连接层用于对每个候选注意力特征进行映射运算，激活层用于对导入的数据进行过滤，剔除一些错误信息，损失层也即softmax层，可以将输出的贡献预测结果映射到一个概率值中。每个候选注意力特征相应的贡献预测结果是指其对于整张目标图像的质量评估结果所做出的的贡献结果。
其中，贡献预测网络为每个候选注意力特征输出的贡献预测结果可以用数学表达式(2)表示：
Figure BDA0002436316250000101
其中，Ri表示第i个候选注意力特征，Wk(Ri)∈R1×1表示每个候选注意力特征的贡献预测结果，
Figure BDA0002436316250000102
表示全连接层的建模函数，max(：)表示激活层的建模函数。
可选的，本申请实施例中，注意力预测网络还可以包括降维卷积层，降维卷积层为一个1×1的卷积层，可以用于对注意力预测网络的输入候选注意力特征进行特征降维，从而减小网络的计算复杂度。
步骤202，终端根据各候选注意力特征的质量预测结果和贡献预测结果确定目标图像的图像质量评估结果。
在本申请的一个可选的实施例中，终端根据各候选注意力特征的质量预测结果和贡献预测结果确定目标图像的图像质量评估结果的过程可以包括以下内容：
对于每个候选注意力特征，终端可以将该候选注意力特征的质量预测结果和贡献预测结果相乘，得到该候选注意力特征的带权质量评估结果。候选注意力特征的带权质量评估结果可以表示如下：
qt(Ri)＝qk(Ri)·wk(Ri)
其中，qt(Ri)表示第i个候选注意力特征的质量预测结果和贡献预测结果的乘积。
然后将每个候选注意力特征的带权质量评估结果相加，得到目标图像的图像质量评估结果
Figure BDA0002436316250000111
目标图像的图像质量评估结果
Figure BDA0002436316250000112
可以表示如下：
Figure BDA0002436316250000113
本申请实施例将通用特征映射为多个候选注意力特征，候选注意力特征是可能引起人们视觉注意的特征，通过可以引起人们视觉注意的候选注意力特征来对目标图像的图像质量进行评估，得到的图像质量评估结果与人们的视觉观察结果更接近，因此，图像质量评估结果的准确性更高。
在本申请的一个可选的实施例中，如图5所示，终端根据各候选注意力特征的质量预测结果和贡献预测结果确定目标图像的图像质量评估结果的过程还可以包括以下内容：
步骤501，终端根据各候选注意力特征的质量预测结果和贡献预测结果选出多个注意力感知特征。
本申请实施例中，如图6所示，终端根据各候选注意力特征的质量预测结果和贡献预测结果选出多个注意力感知特征的过程包括：
步骤601，终端根据各候选注意力特征的质量预测结果和贡献预测结果得到各候选注意力特征的带权质量评估结果。
其中，带权质量评估结果用于指示各候选注意力特征的质量评估结果。
本实施例中，各候选注意力特征的带权质量评估结果为各候选注意力特征的质量预测结果和贡献预测结果的乘积。
qt(Ri)＝qk(Ri)·wk(Ri)
其中，qt(Ri)表示第i个候选注意力特征的质量预测结果和贡献预测结果的乘积。
步骤602，终端将带权质量评估结果大于阈值的候选注意力特征确定为注意力感知特征，得到多个注意力感知特征。
在本申请的一个可选的实施例中，终端可以获取结果阈值τ，并可以将带权质量评估结果qt(Ri)大于结果阈值τ的候选注意力特征确定为注意力感知特征。注意力感知特征表示目标图像中对视觉注意力起到重要影响的特征。
当一个候选注意力特征Ri被确定为注意力感知特征
Figure BDA0002436316250000114
时，即满足该候选注意力特征的带权质量评估结果大于结果阈值τ。该判断过程可以通过数学表达式(3)表示：
Figure BDA0002436316250000121
其中，
Figure BDA0002436316250000122
其中，
Figure BDA0002436316250000123
表示注意力感知特征。
本实施例中，通过各候选注意力特征的质量预测结果和贡献预测确定注意力感知特征，注意力感知特征为对评估整张图像所作的贡献比较大的特征，通过注意力感知特征可以对各候选注意力特征对评估整张图像的贡献进行修正，从而提高图像质量评估结果的准确性。
步骤502，终端根据各候选注意力特征和各注意力感知特征确定目标图像的图像质量评估结果。
本申请实施例中，如图7所示，终端根据各候选注意力特征和各注意力感知特征确定目标图像的图像质量评估结果的过程可以包括以下内容：
步骤701，终端根据各候选注意力特征与各注意力感知特征之间交叠面积的比重，确定出各候选注意力特征的目标贡献。
可选的，本申请实施例中，终端可以根据各候选注意力特征与各注意力感知特征之间相对关系确定确定出各候选注意力特征的目标贡献。
其中，根据步骤201中公开的内容可知，每个候选注意力特征在目标图像中均有对应的位置和尺寸。注意力感知特征是从候选注意力特征中筛选出来的，因此，注意力感知特征在目标图像中也具有对应的位置和尺寸。
本申请实施例中，可以获取每个候选注意力特征在目标图像中对应的图像块的位置和尺寸，并根据每个候选注意力特征在目标图像中对应的图像块得到每个候选注意力特征对应的图像框。
如图8所示，实线框表示候选注意力特征对应的图像框，虚线框表示注意力感知特征对应的图像框，阴影区域表示每个候选注意力特征对应的图像框与注意力感知特征对应的图像框的交叠区域。
终端可以根据各候选注意特征对应的图像框的位置和尺寸，以及各注意力感知特征对应的图像框的位置和尺寸得到该候选注意力特征对应的图像框与所有注意力感知特征对应的图像框的交叠区域的面积：
Figure BDA0002436316250000131
以及N个候选注意力特征分别对应的所有交叠面积之和：
Figure BDA0002436316250000132
终端可以获取任意一个候选注意力特征与注意力感知特征的重叠面积在所有交叠面积中所占的比重，将该比重作为该任意一个候选注意力特征的目标贡献。
例如：对于每个候选注意力特征，可以通过数学表达式(4)来计算候选注意力特征的目标贡献
Figure BDA0002436316250000133
其中，
Figure BDA0002436316250000134
为候选注意力特征Ri的目标贡献，r(Ri)表示候选注意力特征Ri对应的图像框的位置和尺寸，ra(Ra)表示注意力感知特征Ra对应的图像框的位置和尺寸，N为候选注意力特征的数量，M为注意力感知特征的数量。
步骤702，终端根据各候选注意力特征的目标贡献和质量预测结果确定目标图像的图像质量评估结果。
对于每个候选注意力特征，终端可以将候选注意力特征的质量预测结果和目标贡献相乘，得到每个候选注意力特征对应的乘积，然后将每个候选注意力特征对应的乘积相加，得到目标图像的图像质量评估结果，具体可以通过数学表达式(5)表示。
Figure BDA0002436316250000135
其中，
Figure BDA0002436316250000136
表示目标图像的图像质量评估结果，qk(Ri)表示候选注意力特征Ri的质量预测结果，
Figure BDA0002436316250000137
表示候选注意力特征Ri的目标贡献。
本申请实施例中，通过注意力感知网络从多个候选注意力特征中筛选出注意力感知特征，并基于注意力感知特征计算每个候选注意力特征的目标贡献，从而实现了对候选注意力特征的贡献预测结果的修正，然后根据候选注意力特征的质量预测结果和目标贡献得到目标图像的图像质量评估结果。
现有技术对目标图像的图像质量评估结果是基于整张图像的进行的质量评估，本实施例中，通过与各候选框一一对应的候选注意力特征实现了对目标图像上的图像区域进行质量评估和监督的目的，从而提高了图像质量评估结果的准确性。
在人类视觉系统中，能够吸引人视觉注意的，不仅包括图像中的具有连续分布的特征，例如亮度、饱和度、色度等，还包括图像中的语义特征，例如图像中的完整的帽子的轮廓，或者图像中的面部表情等，以及人类理论还未认识到的特征。这些特征在图像质量评估过程中起着至关重要的作用。而基于步骤201中的固定尺寸的图像划分方法，会肢解图像中的这些语义特征。导致特征提取网络提取图像特征的过程中容易出现遗漏一些特征的情况，这样会直接导致图像质量评估结果不准确。为了解决这个问题，在本申请的一个实施例中，如图9所示，步骤201中，通过特征映射网络将通用特征映射为多个候选注意力特征的过程还包括以下步骤：
步骤901，终端获取目标图像上的多个候选框的候选框信息。
其中，候选框为位于目标图像上的随机位置的框，候选框信息包括候选框的尺寸和候选框在目标图像中的位置。
可选的，本申请实施例中，终端根据目标图像的尺寸生成随机尺寸的多个候选框的过程包括以下步骤：
步骤A1，终端获取目标图像的尺寸。
目标图像的尺寸可以是指目标图像的像素尺寸，例如可以是1024×1024。
步骤A2，终端根据目标图像的尺寸生成随机尺寸的多个目标框，获取各目标框的目标框信息。
在本申请实施例中，终端根据目标图像的尺寸生成随机尺寸的目标框的过程可以包括以下内容：终端可以采用选择查找算法生成大量随机尺寸的目标框，并且每个目标框的尺寸小于等于目标图像的尺寸。其中，每个目标框在生成的过程中，其所对应的目标框的宽高以及该目标框在目标图像的图像坐标系中的坐标是确定的。
本申请实施例中，终端可以将每个目标框的宽高和其在目标图像的图像坐标系中的坐标组合起来形成该目标框的目标框信息。
本申请实施例中，在利用选择查找算法生成目标框的过程中，可以设定选择查找算法的关键参数，关键参数可以包括scale(中文：规模)，min_size(中文：最小尺寸)，以及高斯模糊参数σ，其中，scale和min_size可以确定目标框的最大尺寸和最小尺寸。高斯模糊参数σ表示在高斯去噪时内核的大小，这决定了获取的多个目标框所对应的图像块之间的平滑程度。本申请实施例中，可以通过修改高斯模糊参数σ来得到不同规模的目标框。
步骤A3，终端对多个目标框进行筛选，得到多个候选框。
根据步骤A2公开的内容，可以获得成千上万的目标框，然而直接将所有的目标框信息输入到特征映射网络中，会增加特征映射网络的计算复杂度。为此，需要对目标框进行筛选。例如舍弃一些重复生成的目标框，以及舍弃非常相似的目标框。
与此同时，本申请实施例中，对于每个目标框，可以计算目标框的长边与短边的比值。当目标框的长边与短边的比值大于等于尺寸阈值时，该目标框可能过于狭长而难以被人眼评估，因此将该目标框舍弃。而将目标框的长边与短边的比值小于尺寸阈值的目标框确定为候选框，得到多个候选框。
本申请的一个实施例中，目标框的目标框信息即候选框的候选框信息。
步骤902，终端通过特征映射网络根据各候选框的尺寸和各候选框在目标图像中的位置将通用特征映射为与各候选框一一对应的候选注意力特征。
终端可以获取每个候选框的尺寸和候选框在目标图像的图像坐标系中的位置，并通过特征映射网络确定出每个候选框在通用特征中的对应区域，终端可以将处于对应区域内的特征元素提取出来，并依然保持该些特征元素原有的排列秩序。终端将提取出来的特征元素组成的新组合作为该候选框对应的候选注意力特征。这样可以获得各个候选框一一对应的候选注意力特征。
本申请实施例中，由于目标框是随机尺寸的框，因此，目标框可以用于捕捉目标图像中的处于随机位置的语义对象，还可以捕捉处于随机尺寸的语义对象。这样终端通过特征映射网络的映射处理，得到的候选注意力特征中就可以包括完整的处于随机位置的语义对象和处于随机尺寸的语义对象，从而对能够根据完整的语义感知目标图像的特征，这样，可以提高图像质量评估结果的准确性。
在本申请的一个实施例中，如图10所示，终端对特征提取网络、特征映射网络和注意力预测网络的训练过程包括以下步骤：
步骤1001，获取目标训练集。
其中，目标训练集包括训练图像以及训练图像对应的真实质量评估结果。可选的，目标训练集可以从TID2013数据库中获取。其中，TID2013数据库中包括25幅参考图像，3000幅失真图像。失真类型24种，增加了包括：改变色彩饱和度、多重高斯噪声、舒适噪声、有损压缩、彩色图像量化、色差以及稀疏采样。该数据库的MOS(英文：Mean Opinion Score，中文：平均主观得分)值由971观察者给出524340个数据统计得到，MOS取值范围为[0,9]。由于该数据库失真种类多，数据库更为丰富，且是一种彩色失真数据库，因此越来越多的算法在对比试验中，包含了该数据库。
步骤1002，将训练图像输入至级联的未经训练的初始特征提取网络，初始特征映射网络和初始注意力预测网络，得到初始注意力预测网络输出的各训练候选注意力特征的质量预测结果和贡献预测结果，并根据各训练候选注意力特征的质量预测结果和贡献预测结果得到各训练候选注意力特征的带权质量评估结果；根据各训练候选注意力特征的带权质量评估结果与训练图像对应的平均主观得分确定图像质量损失值。
未经训练的初始特征提取网络与上文所述的训练好的特征提取网络的网络结构相同，只是参数不同。同样的初始特征映射网络与上文所述的训练好的特征映射网络的结构相同，只是参数不同。初始注意力预测网络与上文所述的训练好的注意力预测网络的结构相同，只是参数不同。
基于此，级联的未经训练的初始注意力预测网络通过对特征提取网络和特征映射网络得到的训练候选注意力特征进行处理，并输出各训练候选注意力特征的训练质量预测结果和训练贡献预测结果，并根据训练质量预测结果和训练贡献预测结果得到训练带权质量评估结果的过程，与上文中级联的注意力预测网络通过对特征提取网络和特征映射网络得到的训练候选注意力特征进行处理，并输出各训练候选注意力特征的训练质量预测结果和训练贡献预测结果，并根据训练质量预测结果和训练贡献预测结果得到训练带权质量评估结果的过程同理，本申请实施例在此不再赘述。
在训练的过程中，得到各训练候选注意力特征的训练带权质量评估结果之后，相加得到训练图像的训练质量评估结果。
可选的，在本申请实施例中，可以在训练过程引入级联的图像质量损失函数层，该级联的损失函数层与注意力预测网络级联，该级联的损失函数层用于根据训练图像的各训练候选注意力特征的质量预测结果和贡献预测结果得到训练图像的各训练候选注意力特征的带权质量评估结果，然后根据训练图像的各训练候选注意力特征的带权质量评估结果得到训练图像的质量评估结果。
损失函数层可以根据训练图像的质量评估结果与训练图像对应的平均主观得分的差值确定图像质量损失值，并将图像质量损失值反馈到注意力预测网络中，用于监督图像质量的训练评估结果。
需要指出的是，在本申请实施例中，级联的图像质量损失函数层只在训练过程中使用，在训练之后，可以移除该级联的图像质量损失函数层，只保留训练好的特征提取网络、特征映射网络和注意力预测网络。
步骤1003，将各训练候选注意力特征的带权质量评估结果输入至注意力感知网络，根据各带权质量评估结果和训练图像对应的平均主观得分的差值与评估阈值的关系确定多个训练注意力感知特征；并根据各训练候选注意力特征和各训练注意力感知特征的交叠面积比重，得到注意力感知网络输出的各训练候选注意力特征的目标贡献；根据各训练候选注意力特征的目标贡献和初始注意力预测网络输出的各训练候选注意力特征的贡献预测结果得到各训练候选注意力特征的贡献损失值。
本申请实施例中，可以将各训练候选注意力特征的带权质量评估结果输入至注意力感知网络，注意力感知网络可以用于计算各训练候选注意力特征的带权质量评估结果与训练图像对应的平均主观得分之间的差值是否小于设定阈值，当某一候选注意力特征的带权质量评估结果与训练图像对应的平均主观得分之间的差值小于设定阈值，那么将该候选注意力特征确定为训练注意力感知特征。注意力感知网络可以对每个训练候选注意力特征的带权质量评估结果按照上述方法计算，从而从多个训练候选注意力特征中确定出符合条件的多个训练训练注意力感知特征。
进一步的，注意力感知网络还可以计算出各训练候选注意力特征和各训练注意力感知特征的交叠面积比重，交叠面积比重的计算过程可以参考步骤701公开的内容。本申请实施例中，可以根据各训练候选注意力特征的交叠面积比重确定出各训练候选注意力特征的目标贡献。然后注意力感知网络根据各训练候选注意力特征的目标贡献以及在步骤1002中初始注意力预测网络输出的各训练候选注意力特征的贡献预测结果的差值得到各训练候选注意力特征的贡献损失值。
需要指出的是，在本申请实施例中，注意力感知网络只在训练过程中使用，在训练之后，可以移除该注意力感知网络，只保留训练好的特征提取网络、特征映射网络和注意力预测网络。
步骤904，根据图像质量损失值和各训练候选注意力特征的贡献损失值对初始特征提取网络、初始特征映射网络和初始注意力预测网络的参数进行调整，得到经过训练的特征提取网络、特征映射网络和注意力预测网络。
在经过多个阶段的学习和回归，所有候选注意力特征中被人眼所关注到的部分，不断地被网络学习和感知到，从而对最终的图像质量评估结果产生重要影响。
本申请实施例，通过候选注意力特征对图像进行质量预测，并且在训练的过程中引入了图像质量损失函数层和注意力感知网络，图像质量损失函数层用于对图像质量预测进行监督，注意力感知网络用于对各图像区域的贡献预测进行监督，从而在网络训练的过程中能够引导和控制网络的中间表示，这样，可以提高训练后的特征提取网络、特征映射网络、注意力预测网络和注意力感知网络的准确性，提高图像质量预测结果的准确性。
请参考图11，其示出了本申请实施例提供的一种图像质量评估装置的框图，该图像质量评估装置可以配置在图1所示实施环境中的终端或者服务器中。如图11所示，该图像质量评估装置可以包括特征获取模块1101和评估模块1102，其中：
特征获取模块1101，用于将目标图像输入至级联的特征提取网络、特征映射网络和注意力预测网络中，通过特征提取网络提取目标图像的通用特征；通过特征映射网络将通用特征映射为多个候选注意力特征；通过注意力预测网络得到各候选注意力特征的质量预测结果和贡献预测结果。评估模块1102，用于根据各候选注意力特征的质量预测结果和贡献预测结果确定目标图像的图像质量评估结果。
在本申请的一个实施例中，评估模块1102还用于根据各候选注意力特征的质量预测结果和贡献预测结果选出多个注意力感知特征；根据各候选注意力特征和各注意力感知特征确定目标图像的图像质量评估结果。
在本申请的一个实施例中，评估模块1102还用于根据各候选注意力特征的质量预测结果和贡献预测结果得到各候选注意力特征的带权质量评估结果，带权质量评估结果用于指示各候选注意力特征的质量评估结果；将带权质量评估结果大于阈值的候选注意力特征确定为注意力感知特征，得到多个注意力感知特征。
在本申请的一个实施例中，评估模块1102还用于根据各候选注意力特征与各注意力感知特征之间交叠面积的比重，确定出各候选注意力特征的目标贡献；根据各候选注意力特征的目标贡献和质量预测结果确定目标图像的图像质量评估结果。
在本申请的一个实施例中，特征获取模块1101还用于获取目标图像上的多个候选框的候选框信息，候选框信息包括候选框的尺寸和候选框在目标图像中的位置；通过特征映射网络根据各候选框的候选框信息将通用特征映射为与各候选框一一对应的候选注意力特征。
在本申请的一个实施例中，特征获取模块1101还用于获取目标图像的尺寸；根据目标图像的尺寸生成随机尺寸的多个目标框，获取各目标框的目标框信息，目标框信息包括目标框的尺寸和目标框在目标图像上的位置；对多个目标框进行筛选，得到多个候选框。
在本申请的一个实施例中，特征获取模块1101还用于获取目标训练集，目标训练集包括训练图像以及训练图像对应的平均主观得分；将训练图像输入至级联的未经训练的初始特征提取网络，初始特征映射网络和初始注意力预测网络，得到初始注意力预测网络输出的各训练候选注意力特征的质量预测结果和贡献预测结果，并根据各训练候选注意力特征的质量预测结果和贡献预测结果得到各训练候选注意力特征的带权质量评估结果；根据各训练候选注意力特征的带权质量评估结果与训练图像对应的平均主观得分确定图像质量损失值；将各训练候选注意力特征的带权质量评估结果输入至注意力感知网络，根据各带权质量评估结果和训练图像对应的平均主观得分的差值与评估阈值的关系确定多个训练注意力感知特征；并根据各训练候选注意力特征和各训练注意力感知特征的交叠面积比重，得到注意力感知网络输出的各训练候选注意力特征的目标贡献；根据各训练候选注意力特征的目标贡献和初始注意力预测网络输出的各训练候选注意力特征的贡献预测结果得到各训练候选注意力特征的贡献损失值；根据图像质量损失值和各训练候选注意力特征的贡献损失值对初始特征提取网络、初始特征映射网络和初始注意力预测网络的参数进行调整，得到经过训练的特征提取网络、特征映射网络和注意力预测网络。
关于图像质量评估装置的具体限定可以参见上文中对于图像质量评估方法的限定，在此不再赘述。上述图像质量评估装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在本申请的一个实施例中，提供了一种计算机设备，该计算机设备可以为终端或者服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器和存储器。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种图像质量评估方法。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本申请的一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
将目标图像输入至级联的特征提取网络、特征映射网络和注意力预测网络中，通过特征提取网络提取目标图像的通用特征；通过特征映射网络将通用特征映射为多个候选注意力特征；通过注意力预测网络得到各候选注意力特征的质量预测结果和贡献预测结果；根据各候选注意力特征的质量预测结果和贡献预测结果确定目标图像的图像质量评估结果。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：根据各候选注意力特征的质量预测结果和贡献预测结果选出多个注意力感知特征；根据各候选注意力特征和各注意力感知特征确定目标图像的图像质量评估结果。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：根据各候选注意力特征的质量预测结果和贡献预测结果得到各候选注意力特征的带权质量评估结果，带权质量评估结果用于指示各候选注意力特征的质量评估结果；将带权质量评估结果大于阈值的候选注意力特征确定为注意力感知特征，得到多个注意力感知特征。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：根据各候选注意力特征与各注意力感知特征之间交叠面积的比重，确定出各候选注意力特征的目标贡献；根据各候选注意力特征的目标贡献和质量预测结果确定目标图像的图像质量评估结果。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：获取目标图像上的多个候选框的候选框信息，候选框信息包括候选框的尺寸和候选框在目标图像中的位置；通过特征映射网络根据各候选框的候选框信息将通用特征映射为与各候选框一一对应的候选注意力特征。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：获取目标图像的尺寸；根据目标图像的尺寸生成随机尺寸的多个目标框，获取各目标框的目标框信息，目标框信息包括目标框的尺寸和目标框在目标图像上的位置；对多个目标框进行筛选，得到多个候选框。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：获取目标训练集，目标训练集包括训练图像以及训练图像对应的平均主观得分；将训练图像输入至级联的未经训练的初始特征提取网络，初始特征映射网络和初始注意力预测网络，得到初始注意力预测网络输出的各训练候选注意力特征的质量预测结果和贡献预测结果，并根据各训练候选注意力特征的质量预测结果和贡献预测结果得到各训练候选注意力特征的带权质量评估结果；根据各训练候选注意力特征的带权质量评估结果与训练图像对应的平均主观得分确定图像质量损失值；将各训练候选注意力特征的带权质量评估结果输入至注意力感知网络，根据各带权质量评估结果和训练图像对应的平均主观得分的差值与评估阈值的关系确定多个训练注意力感知特征；并根据各训练候选注意力特征和各训练注意力感知特征的交叠面积比重，得到注意力感知网络输出的各训练候选注意力特征的目标贡献；根据各训练候选注意力特征的目标贡献和初始注意力预测网络输出的各训练候选注意力特征的贡献预测结果得到各训练候选注意力特征的贡献损失值；根据图像质量损失值和各训练候选注意力特征的贡献损失值对初始特征提取网络、初始特征映射网络和初始注意力预测网络的参数进行调整，得到经过训练的特征提取网络、特征映射网络和注意力预测网络。
本申请实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在本申请的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
将目标图像输入至级联的特征提取网络、特征映射网络和注意力预测网络中，通过特征提取网络提取目标图像的通用特征；通过特征映射网络将通用特征映射为多个候选注意力特征；通过注意力预测网络得到各候选注意力特征的质量预测结果和贡献预测结果；根据各候选注意力特征的质量预测结果和贡献预测结果确定目标图像的图像质量评估结果。
在本申请的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：根据各候选注意力特征的质量预测结果和贡献预测结果选出多个注意力感知特征；根据各候选注意力特征和各注意力感知特征确定目标图像的图像质量评估结果。
在本申请的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：根据各候选注意力特征的质量预测结果和贡献预测结果得到各候选注意力特征的带权质量评估结果，带权质量评估结果用于指示各候选注意力特征的质量评估结果；将带权质量评估结果大于阈值的候选注意力特征确定为注意力感知特征，得到多个注意力感知特征。
在本申请的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：根据各候选注意力特征与各注意力感知特征之间交叠面积的比重，确定出各候选注意力特征的目标贡献；根据各候选注意力特征的目标贡献和质量预测结果确定目标图像的图像质量评估结果。
在本申请的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：获取目标图像上的多个候选框的候选框信息，候选框信息包括候选框的尺寸和候选框在目标图像中的位置；通过特征映射网络根据各候选框的候选框信息将通用特征映射为与各候选框一一对应的候选注意力特征。
在本申请的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：获取目标图像的尺寸；根据目标图像的尺寸生成随机尺寸的多个目标框，获取各目标框的目标框信息，目标框信息包括目标框的尺寸和目标框在目标图像上的位置；对多个目标框进行筛选，得到多个候选框。
在本申请的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：获取目标训练集，目标训练集包括训练图像以及训练图像对应的平均主观得分；将训练图像输入至级联的未经训练的初始特征提取网络，初始特征映射网络和初始注意力预测网络，得到初始注意力预测网络输出的各训练候选注意力特征的质量预测结果和贡献预测结果，并根据各训练候选注意力特征的质量预测结果和贡献预测结果得到各训练候选注意力特征的带权质量评估结果；根据各训练候选注意力特征的带权质量评估结果与训练图像对应的平均主观得分确定图像质量损失值；将各训练候选注意力特征的带权质量评估结果输入至注意力感知网络，根据各带权质量评估结果和训练图像对应的平均主观得分的差值与评估阈值的关系确定多个训练注意力感知特征；并根据各训练候选注意力特征和各训练注意力感知特征的交叠面积比重，得到注意力感知网络输出的各训练候选注意力特征的目标贡献；根据各训练候选注意力特征的目标贡献和初始注意力预测网络输出的各训练候选注意力特征的贡献预测结果得到各训练候选注意力特征的贡献损失值；根据图像质量损失值和各训练候选注意力特征的贡献损失值对初始特征提取网络、初始特征映射网络和初始注意力预测网络的参数进行调整，得到经过训练的特征提取网络、特征映射网络和注意力预测网络。
本申请实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像质量评估方法，其特征在于，所述方法包括：
将目标图像输入至级联的特征提取网络、特征映射网络和注意力预测网络中，通过所述特征提取网络提取所述目标图像的通用特征；通过所述特征映射网络将所述通用特征映射为多个候选注意力特征；通过所述注意力预测网络得到各所述候选注意力特征的质量预测结果和贡献预测结果；
根据各所述候选注意力特征的质量预测结果和贡献预测结果确定所述目标图像的图像质量评估结果。
2.根据权利要求1所述的方法，其特征在于，所述根据各所述候选注意力特征的质量预测结果和贡献预测结果确定所述目标图像的图像质量评估结果，包括：
根据各所述候选注意力特征的质量预测结果和贡献预测结果选出多个注意力感知特征；
根据各所述候选注意力特征和各所述注意力感知特征确定所述目标图像的图像质量评估结果。
3.根据权利要求2所述的方法，其特征在于，所述根据各所述候选注意力特征的质量预测结果和贡献预测结果选出多个注意力感知特征，包括：
根据各所述候选注意力特征的质量预测结果和贡献预测结果得到各所述候选注意力特征的带权质量评估结果，所述带权质量评估结果用于指示各所述候选注意力特征的质量评估结果；
将所述带权质量评估结果大于阈值的候选注意力特征确定为所述注意力感知特征，得到多个所述注意力感知特征。
4.根据权利要求3所述的方法，其特征在于，所述根据各所述候选注意力特征和各所述注意力感知特征确定所述目标图像的图像质量评估结果，包括：
根据各所述候选注意力特征与各所述注意力感知特征之间交叠面积的比重，确定出各所述候选注意力特征的目标贡献；
根据各所述候选注意力特征的目标贡献和质量预测结果确定所述目标图像的图像质量评估结果。
5.根据权利要求1所述的方法，其特征在于，所述通过所述特征映射网络将所述通用特征映射为多个候选注意力特征，包括：
获取所述目标图像上的多个候选框的候选框信息，所述候选框信息包括所述候选框的尺寸和所述候选框在所述目标图像中的位置；
通过所述特征映射网络根据各所述候选框的候选框信息将所述通用特征映射为与各所述候选框一一对应的所述候选注意力特征。
6.根据权利要求5所述的方法，其特征在于，所述获取所述目标图像上的多个候选框的候选框信息之前，所述方法还包括：
获取目标图像的尺寸；
根据所述目标图像的尺寸生成随机尺寸的多个目标框，获取各所述目标框的目标框信息，所述目标框信息包括所述目标框的尺寸和所述目标框在所述目标图像上的位置；
对所述多个目标框进行筛选，得到所述多个候选框。
7.根据权利要求1所述的方法，其特征在于，对所述特征提取网络、所述特征映射网络和所述注意力预测网络的训练过程包括：
获取目标训练集，所述目标训练集包括训练图像以及训练图像对应的平均主观得分；
将所述训练图像输入至级联的未经训练的初始特征提取网络，初始特征映射网络和初始注意力预测网络，得到所述初始注意力预测网络输出的各训练候选注意力特征的质量预测结果和贡献预测结果，并根据各所述训练候选注意力特征的质量预测结果和贡献预测结果得到各所述训练候选注意力特征的带权质量评估结果；根据各所述训练候选注意力特征的带权质量评估结果与训练图像对应的平均主观得分确定图像质量损失值；
将各所述训练候选注意力特征的带权质量评估结果输入至注意力感知网络，根据各所述带权质量评估结果和训练图像对应的平均主观得分的差值与评估阈值的关系确定多个训练注意力感知特征；并根据各所述训练候选注意力特征和各所述训练注意力感知特征的交叠面积比重，得到所述注意力感知网络输出的各所述训练候选注意力特征的目标贡献；根据各所述训练候选注意力特征的目标贡献和所述初始注意力预测网络输出的各所述训练候选注意力特征的贡献预测结果得到各所述训练候选注意力特征的贡献损失值；
根据所述图像质量损失值和各所述训练候选注意力特征的贡献损失值对所述初始特征提取网络、所述初始特征映射网络和所述初始注意力预测网络的参数进行调整，得到经过训练的所述特征提取网络、所述特征映射网络和所述注意力预测网络。
8.一种图像质量评估装置，其特征在于，所述装置包括：
特征获取模块，用于将目标图像输入至级联的特征提取网络、特征映射网络和注意力预测网络中，通过所述特征提取网络提取所述目标图像的通用特征；通过所述特征映射网络将所述通用特征映射为多个候选注意力特征；通过所述注意力预测网络得到各所述候选注意力特征的质量预测结果和贡献预测结果；
评估模块，用于根据各所述候选注意力特征的质量预测结果和贡献预测结果确定所述目标图像的图像质量评估结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010253385.8A 2020-04-02 2020-04-02 图像质量评估方法、装置、计算机设备及存储介质 Active CN111612732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010253385.8A CN111612732B (zh) 2020-04-02 2020-04-02 图像质量评估方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010253385.8A CN111612732B (zh) 2020-04-02 2020-04-02 图像质量评估方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111612732A true CN111612732A (zh) 2020-09-01
CN111612732B CN111612732B (zh) 2023-07-18

Family

ID=72201588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010253385.8A Active CN111612732B (zh) 2020-04-02 2020-04-02 图像质量评估方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111612732B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564778A (zh) * 2022-12-06 2023-01-03 深圳思谋信息科技有限公司 缺陷的检测方法、装置、电子设备及计算机可读存储介质
CN116524442A (zh) * 2023-07-04 2023-08-01 深圳大学 基于视角贡献加权的人群检测方法及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391709A (zh) * 2017-07-28 2017-11-24 深圳市唯特视科技有限公司 一种基于新型注意模型进行图像字幕生成的方法
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
US20190333198A1 (en) * 2018-04-25 2019-10-31 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
CN107391709A (zh) * 2017-07-28 2017-11-24 深圳市唯特视科技有限公司 一种基于新型注意模型进行图像字幕生成的方法
US20190333198A1 (en) * 2018-04-25 2019-10-31 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564778A (zh) * 2022-12-06 2023-01-03 深圳思谋信息科技有限公司 缺陷的检测方法、装置、电子设备及计算机可读存储介质
CN115564778B (zh) * 2022-12-06 2023-03-14 深圳思谋信息科技有限公司 缺陷的检测方法、装置、电子设备及计算机可读存储介质
CN116524442A (zh) * 2023-07-04 2023-08-01 深圳大学 基于视角贡献加权的人群检测方法及相关装置
CN116524442B (zh) * 2023-07-04 2024-05-17 深圳大学 基于视角贡献加权的人群检测方法及相关装置

Also Published As

Publication number Publication date
CN111612732B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN109754391B (zh) 一种图像质量评价方法、装置及电子设备
Venkatanath et al. Blind image quality evaluation using perception based features
US11409994B2 (en) Methods for image segmentation, computer devices, and storage mediums
CN107123122B (zh) 无参考图像质量评价方法及装置
CN108765425B (zh) 图像分割方法、装置、计算机设备和存储介质
CN111192292A (zh) 基于注意力机制与孪生网络的目标跟踪方法及相关设备
CN111368758B (zh) 一种人脸模糊度检测方法、装置、计算机设备及存储介质
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
US20230085605A1 (en) Face image processing method, apparatus, device, and storage medium
CN109784153A (zh) 情绪识别方法、装置、计算机设备及存储介质
CN113762138B (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
CN110781976B (zh) 训练图像的扩充方法、训练方法及相关装置
CN111489364A (zh) 基于轻量级全卷积神经网络的医学图像分割方法
CN112967174A (zh) 图像生成模型训练、图像生成方法、装置及存储介质
CN110807139A (zh) 图片识别方法、装置、计算机可读存储介质和计算机设备
CN113269149B (zh) 活体人脸图像的检测方法、装置、计算机设备及存储介质
CN110807757A (zh) 基于人工智能的图像质量评估方法、装置及计算机设备
CN111612732B (zh) 图像质量评估方法、装置、计算机设备及存储介质
CN111935479A (zh) 一种目标图像确定方法、装置、计算机设备及存储介质
CN110222752B (zh) 图像处理方法、系统、计算机设备、存储介质和芯片
CN111814534A (zh) 视觉任务的处理方法、装置和电子系统
Wang et al. Distortion recognition for image quality assessment with convolutional neural network
Morzelona Human visual system quality assessment in the images using the IQA model integrated with automated machine learning model
CN112330648B (zh) 基于半监督学习的无参考图像质量评价方法及装置
CN112950497A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant