CN115170552A - 一种图像质量评估方法、装置、设备及存储介质 - Google Patents

一种图像质量评估方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115170552A
CN115170552A CN202210923874.9A CN202210923874A CN115170552A CN 115170552 A CN115170552 A CN 115170552A CN 202210923874 A CN202210923874 A CN 202210923874A CN 115170552 A CN115170552 A CN 115170552A
Authority
CN
China
Prior art keywords
image
feature
features
quality evaluation
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210923874.9A
Other languages
English (en)
Inventor
朱丹
段然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202210923874.9A priority Critical patent/CN115170552A/zh
Publication of CN115170552A publication Critical patent/CN115170552A/zh
Priority to PCT/CN2023/110329 priority patent/WO2024027660A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像质量评估方法、装置、设备及存储介质。所述方法包括：获取待评估图像；将所述待评估图像输入图像质量评估网络，得到图像质量评估结果；所述图像质量评估网络用于：针对输入图像提取第一图像特征，针对所述第一图像特征进行移位操作，获取一个或多个第二图像特征，综合所述第一图像特征和所获取的第二图像特征，确定图像质量评估结果；所述第二图像特征与所述第一图像特征的尺寸相同，且所述第一图像特征与所述第二图像特征之间，存在不同位置的区域中特征取值相同。

Description

一种图像质量评估方法、装置、设备及存储介质
技术领域
本发明涉及计算机应用技术领域，尤其涉及一种图像质量评估方法、装置、设备及存储介质。
背景技术
目前在评估图像质量时，往往由人工进行评估。例如，人工针对图像的质量进行评分，进而通过评分确定图像质量。
其中，图像具体可以是视频帧，从而可以通过评估视频帧的质量，确定视频的质量。但是，这种人工评估的方式效率较低。
发明内容
本发明提供一种图像质量评估方法、装置、设备及存储介质，以解决相关技术中的不足。
根据本发明实施例的第一方面，提供一种图像质量评估方法，包括：
获取待评估图像；
将所述待评估图像输入图像质量评估网络，得到图像质量评估结果；
所述图像质量评估网络用于：针对输入图像提取第一图像特征，针对所述第一图像特征进行移位操作，获取一个或多个第二图像特征，综合所述第一图像特征和所获取的第二图像特征，确定图像质量评估结果；
所述第二图像特征与所述第一图像特征的尺寸相同，且所述第一图像特征与所述第二图像特征之间，存在不同位置的区域中特征取值相同。
可选地，所述综合所述第一图像特征和所获取的第二图像特征，确定图像质量评估结果，包括：
综合所述第一图像特征和所获取的第二图像特征，确定一个或多个图像属性评估结果；
根据所确定的图像属性评估结果，确定图像质量评估结果。
可选地，所述图像质量评估网络包括N个级联的预设模块；N≥2；对于第i个预设模块，1≤i≤N-1，其输出级联至第i+1个预设模块的输入；
所述预设模块用于，针对输入的图像特征进行移位操作，获取一个或多个第三图像特征，并综合所输入的图像特征和所获取的第三图像特征，进一步提取图像特征并输出；所述第三图像特征与所输入的图像特征尺寸相同，且所输入的图像特征与所述第三图像特征之间，存在不同位置的区域中特征取值相同；
所述针对所述第一图像特征进行移位操作，获取一个或多个第二图像特征，综合所述第一图像特征和所获取的第二图像特征，确定图像质量评估结果，包括：
将所述第一图像特征输入所述N个级联的预设模块中第1个预设模块，得到第N个预设模块输出的图像特征；
根据所述第N个预设模块输出的图像特征，确定图像质量评估结果。
可选地，所述针对所述第一图像特征进行移位操作，获取一个或多个第二图像特征，包括：
针对所述第一图像特征中预设区域的特征进行移位操作，得到一个或多个移位结果；
针对每个移位结果中的缺省部分填充预设取值，获取与所述第一图像特征尺寸相同的第二图像特征。
可选地，所述综合所述第一图像特征和所获取的第二图像特征，确定图像质量评估结果，包括：
综合所述第一图像特征和所获取的第二图像特征，进一步提取图像的空间特征信息，根据所提取的空间特征信息确定图像质量评估结果。
可选地，所述第一图像特征，包括以下至少一项：图像细节特征、图像噪声特征和图像全局特征。
可选地，所述针对输入图像提取第一图像特征，包括：
获取输入图像中的预设信息，并针对所述预设信息进一步提取图像特征；
将所提取的图像特征添加到第一图像特征中；
所述预设信息包括以下至少一项：原始图像、图像细节信息、图像噪声信息、图像亮度信息、图像饱和度信息和图像色调信息。
可选地，所述获取输入图像中的预设信息，包括：
对输入图像进行边缘滤波，提取图像细节信息；和/或
对输入图像进行引导滤波，得到去噪后的模糊图像，综合所述输入图像和所述模糊图像，提取图像噪声信息。
可选地，所述针对所述预设信息进一步提取图像特征，包括：
针对不同预设信息，利用不同的特征提取网络提取图像特征。
可选地，所述图像质量评估网络的训练集生成方法，包括：
获取未标注图像样本；
针对所述未标注图像样本，计算对应的图像属性值，并根据计算结果确定对应的图像质量评估标签。
根据本发明实施例的第二方面，提供一种图像质量评估装置，包括：
获取单元，用于获取待评估图像；
评估单元，用于将所述待评估图像输入图像质量评估网络，得到图像质量评估结果；
所述图像质量评估网络用于：针对输入图像提取第一图像特征，针对所述第一图像特征进行移位操作，获取一个或多个第二图像特征，综合所述第一图像特征和所获取的第二图像特征，确定图像质量评估结果；
所述第二图像特征与所述第一图像特征的尺寸相同，且所述第一图像特征与所述第二图像特征之间，存在不同位置的区域中特征取值相同。
可选地，所述图像质量评估网络用于：综合所述第一图像特征和所获取的第二图像特征，确定一个或多个图像属性评估结果；根据所确定的图像属性评估结果，确定图像质量评估结果。
可选地，所述图像质量评估网络包括N个级联的预设模块；N≥2；对于第i个预设模块，1≤i≤N-1，其输出级联至第i+1个预设模块的输入；
所述预设模块用于，针对输入的图像特征进行移位操作，获取一个或多个第三图像特征，并综合所输入的图像特征和所获取的第三图像特征，进一步提取图像特征并输出；所述第三图像特征与所输入的图像特征尺寸相同，且所输入的图像特征与所述第三图像特征之间，存在不同位置的区域中特征取值相同；
所述图像质量评估网络用于：将所述第一图像特征输入所述N个级联的预设模块中第1个预设模块，得到第N个预设模块输出的图像特征；根据所述第N个预设模块输出的图像特征，确定图像质量评估结果。
可选地，所述图像质量评估网络用于：针对所述第一图像特征中预设区域的特征进行移位操作，得到一个或多个移位结果；针对每个移位结果中的缺省部分填充预设取值，获取与所述第一图像特征尺寸相同的第二图像特征。
可选地，所述图像质量评估网络用于：综合所述第一图像特征和所获取的第二图像特征，进一步提取图像的空间特征信息，根据所提取的空间特征信息确定图像质量评估结果。
可选地，所述第一图像特征，包括以下至少一项：图像细节特征、图像噪声特征和图像全局特征。
可选地，所述图像质量评估网络用于：获取输入图像中的预设信息，并针对所述预设信息进一步提取图像特征；将所提取的图像特征添加到第一图像特征中；所述预设信息包括以下至少一项：原始图像、图像细节信息、图像噪声信息、图像亮度信息、图像饱和度信息和图像色调信息。
可选地，所述图像质量评估网络用于：
对输入图像进行边缘滤波，提取图像细节信息；和/或
对输入图像进行引导滤波，得到去噪后的模糊图像，综合所述输入图像和所述模糊图像，提取图像噪声信息。
可选额，所述图像质量评估网络用于：针对不同预设信息，利用不同的特征提取网络提取图像特征。
可选地，所述图像质量评估网络的训练集生成方法，包括：
获取未标注图像样本；
针对所述未标注图像样本，计算对应的图像属性值，并根据计算结果确定对应的图像质量评估标签。
根据本发明实施例的第三方面，提供一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一方法实施例。
根据本发明实施例的第四方面，提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序在由处理器执行时实现上述任一方法实施例。
根据上述实施例可知，可以通过利用预先训练的图像质量评估网络，自动针对输入的图像进行质量评估，提高质量评估的效率，降低人工成本。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据本发明实施例示出的一种图像质量评估方法的流程示意图；
图2是根据本发明实施例示出的一种图像质量评估网络的原理示意图；
图3是根据本发明实施例示出的一种边缘滤波特征提取方法的流程示意图；
图4是根据本发明实施例示出的一种引导滤波特征提取的流程示意图；
图5是根据本发明实施例示出的一种特征提取网络的结构示意图；
图6是根据本发明实施例示出的一种图像全局特征提取网络的原理示意图；
图7是根据本发明实施例示出的一种第一图像特征提取方法的原理示意图；
图8是根据本发明实施例示出的一种图像特征移位的原理示意图；
图9是根据本发明实施例示出的一种空间特征提取网络的结构示意图；
图10是根据本发明实施例示出的一种ShiftNet层的结构示意图；
图11是根据本发明实施例示出的一种回归网络的结构示意图；
图12是根据本发明实施例示出的一种图像质量评估网络的结构示意图；
图13是根据本发明实施例示出的一种图像质量评估装置的结构示意图；
图14是根据本发明实施例示出的一种配置本发明实施例方法的计算机设备硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
目前在评估图像质量时，往往由人工进行评估。例如，人工针对图像的质量进行评分，进而通过评分确定图像质量。
其中，图像具体可以是视频帧，从而可以通过评估视频帧的质量，确定视频的质量。但是，这种人工评估的方式效率较低。
为了解决上述问题，本发明实施例提供了一种图像质量评估方法。
在该方法中，可以通过预先训练的图像质量评估网络，针对输入的图像自动进行质量评估，相比于人工评估图像质量，可以提高质量评估的效率，降低人工成本。
进一步地，在本方法中，可以将图像中与图像质量相关的图像特征，引入到图像质量评估网络中进行预测，以提高图像质量评估的准确性。
例如，可以引入图像的噪声特征信息，通常图像的噪声越大，图像质量越低，通过引入图像的噪声特征信息，可以提高图像质量评估网络的准确性。
例如，可以引入图像的细节特征信息，通常图像的细节越多，图像的质量越高，通过引入图像的细节特征信息，可以提高图像质量评估网络的准确性。
如图1所示，图1是根据本发明实施例示出的一种图像质量评估方法的流程示意图。
其中，并不限定该方法流程的执行主体，可以是服务端，也可以是客户端。
该方法流程可以包括以下步骤。
S101：获取待评估图像。
S102：将待评估图像输入图像质量评估网络，得到图像质量评估结果。
其中，可以预先根据图像样本和对应的质量评估标签训练图像质量评估网络。
可选地，图像质量评估网络可以用于：针对输入图像提取第一图像特征，针对第一图像特征进行移位操作，得到一个或多个第二图像特征，综合第一图像特征和所获取的第二图像特征，确定图像质量评估结果。
其中，第二图像特征与第一图像特征的尺寸相同，且第一图像特征与第二图像特征之间，存在不同位置的区域中特征取值相同。
本方法流程，可以通过利用预先训练的图像质量评估网络，自动针对输入的图像进行质量评估，提高质量评估的效率，降低人工成本。
此外，上述方法流程中，可以通过将第一图像特征的移位结果用于质量评估，提高图像质量评估的全面性和准确性。
由于原图像经过移位得到的新图像，与原图像的质量相同或相近，因此，可以通过移位操作，得到多个与原图像质量相同或相近的新图像，从而可以利用这些新图像和原图像进行质量评估，从多个不同的角度进行质量评估，提高质量评估的全面性和准确性。
需要说明的是，在一种可选的实施例中，由于视频中包含若干视频帧图像，因此，视频质量也可以通过若干视频帧图像的质量反映。
可选地，可以将视频中的若干视频帧图像，利用上述方法流程进行质量评估，进而综合若干视频帧图像的质量评估结果，确定该视频的质量评估结果。
具体的，针对整个视频，可以将每一帧得到的质量评估结果进行平均，得到最终的整个视频的质量评估结果。
下面针对上述方法流程进行详细解释。
一、关于图像质量评估网络。
本方法流程并不限定图像质量评估网络的具体结构或模型算法。可选地，图像质量评估网络可以是图像卷积网络，也可以是深度学习模型。
本方法流程并不限定图像质量评估网络的训练方法。
可选地，可以采用图像样本和对应的质量评估标签训练图像质量评估网络。
针对图像样本对应的质量评估标签，本实施例并不限定具体的形式。
可选地，质量评估标签的形式可以是评分或质量等级等。
可选地，质量评估标签可以包括从多个不同角度进行质量评估的结果。
可选地，质量评估标签也可以是综合多个不同角度的质量评估结果确定的。具体可以是综合多个不同角度的质量评分，确定的一个最终质量评分。
其中，由于图像的属性对于图像质量的影响较大，质量评估标签具体可以包括以下至少一个角度：图像的模糊度、压缩块状度、噪声水平、亮度、对比度、色彩丰富度和曝光度等。具体地，质量评估标签可以包括多个角度的质量评分或质量等级。
在本实施例中，图像的属性可以从一定程度上影响图像的质量，因此，从多个不同角度进行质量评估，可以提高质量评估的全面性和准确性。
可选地，基于上述图像样本和质量评估标签，图像质量评估网络的输出可以包括多个角度的质量评估结果，也方便查看图像质量的好坏具体体现在哪些角度。
为了便于理解，如图2所示，为本发明实施例提供的一种图像质量评估网络的原理示意图。
其中，图像质量评估网络可以针对输入的单个图像，输出图像的模糊度、压缩块状度、噪声水平、亮度、对比度、色彩丰富度和曝光度七个角度的质量评估结果。
可选地，综合第一图像特征和所获取的第二图像特征，确定图像质量评估结果，可以包括：综合第一图像特征和所获取的第二图像特征，确定一个或多个图像属性评估结果；根据所确定的图像属性评估结果，确定图像质量评估结果。
其中，图像属性评估结果，可以包括以下至少一项图像属性的评估结果：图像的模糊度、压缩块状度、噪声水平、亮度、对比度、色彩丰富度和曝光度。
可选地，所确定的图像质量评估结果，可以包括一个或多个图像属性评估结果。
针对质量评估标签的标注，本方法流程并不限定图像样本对应的质量评估标签的标注方法。
具体可以采用人工标注的方式，提高质量评估标签的准确性，也可以直接由机器自动进行标注，也可以由机器和人工结合进行标注。
可选地，由于图像的质量可以与图像的多种属性有关联，例如，图像的模糊度、压缩块状度、噪声水平、亮度、对比度、色彩丰富度和曝光度等。
而这些属性的取值可以直接根据公式计算出来，因此，可以由机器自动计算出图像的各项属性值，进而可以根据计算出的图像属性值确定质量评估标签。
可选地，具体根据计算出的图像属性值确定质量评估标签，可以是基于预设的质量评估规则确定质量评估标签，也可以由人工查看计算出的图像属性，结合图像自身内容和实际的展示效果等情况，人工确定质量评估标签。
相比于人工直接查看图像并确定质量评估标签的方式，基于机器自动计算的图像属性，人工可以更方便准确地确定质量评估标签，并且可以提高确定质量评估标签的效率，降低人工成本，也提高质量评估标签的准确性。
本实施例并不限定预设的质量评估规则。可选地，预设的质量评估规则可以包括：图像质量与图像模糊度负相关，图像质量与噪声水平负相关。
可选地，质量评估标签可以是基于图像样本的图像属性值自动确定的，也可以是人工基于图像样本的图像属性值确定的。
因此，可选地，图像质量评估网络的训练集生成方法，可以包括：获取未标注图像样本；针对所获取的未标注图像样本，计算对应的图像属性值，并根据计算结果确定对应的图像质量评估标签。
可选地，具体可以是根据计算结果，人工确定图像质量评估标签，或者自动确定图像质量评估标签。
本实施例可以借助机器自动计算图像样本的图像属性值，帮助标注图像样本对应的图像质量评估标签，从而可以降低人工成本，提高训练效率，提高图像质量评估网络的训练效果。
在一种具体的实施例中，可以获取若干图像，之后可以通过调整图像属性，得到更多的图像样本。
具体可以是针对图像的亮度、对比度、色彩饱和度、高光、阴影、模糊度等属性进行不同程度的调整，得到更多的图像样本。
在针对图像样本进行标注时，可以手动标注，也可以自动标注，也可以将自动标注和手动标注相结合。
(1)手动标注：可以是人工针对图像质量进行评估。具体可以是人工针对图像的各个属性指标进行质量评估。
具体可以是针对7个指标(模糊度、块状度、噪声、亮度、对比度、色彩丰富度、曝光度)分别由人工进行质量评估。
当然，可以针对同一个图像样本，由不同人工多次进行质量评估，提高质量评估的准确性。
(2)自动标注。
由于图像属性可以通过公式进行计算，并进行数值映射。因此，可以实现针对图像质量的自动标注。
其中，图像的模糊度、块状度、噪声、亮度、对比度、色彩丰富度、曝光度可以通过公式进行计算，并进行数值映射，从而实现自动标注的目的。
具体地，下面解释如何利用公式计算图像的各个属性。
模糊度：利用公式Y＝0.2126R+0.7252G+0.0722B(BT.709数据)、Y＝0.2627R+0.678G+0.0593B(BT.2020数据)得到灰度图，之后使用Laplacian算子得到灰度图的边缘图e，利用公式
Figure BDA0003778803790000081
得到图像的模糊度。其中μ为e的均值，i,j为图像的像素坐标，N为所有像素个数之和。
符合标准的视频，将计算得到的模糊度数值映射为1，原始视频数值映射为0，其他视频自动化计算模糊度，得到的数值利用映射关系得到对应的标注数值。举例说明，例如标准视频模糊度计算结果为S1(映射为1)，原始视频模糊度计算结果为S2(映射为0)，则可以得到映射公式为：
Figure BDA0003778803790000082
其中X为计算出的模糊度，Y为映射的模糊度标注数值。
块状度：首先将RGB图像转为灰度图，之后将灰度图分为LxL块，L默认为8。计算每一小块最后一列于倒数第二列差值的绝对和(VIS),计算最后一列于下一块第一列像素差值的绝对和(VOS)，计算每一块最后一行于倒数第二行像素差值绝对和(HIS)，计算每一块最后一行和下一块第一行的像素差值绝对和(HOS)，最终块状度的计算公式为：
Figure BDA0003778803790000083
映射关系同上。
噪声：首先将RGB图像转换为灰度图，再对该灰度图进行引导滤波，得到滤波后的图像，原图和滤波图做差计算，得到残差图c，通过公式
Figure BDA0003778803790000084
得到图像的噪声水平。映射关系同上。
亮度：Y＝0.2126R+0.7252G+0.0722B(BT.709数据)、Y＝0.2627R+0.678G+0.0593B(BT.2020数据)，并求取Y的均值得到亮度水平。映射关系同上。
对比度：首先将RGB图像转换为灰度图，通过公式
Figure BDA0003778803790000085
得到图像的对比度信息，其中M，N为x的宽高尺寸，i，j为像素的坐标位置信息。映射关系同上。
色彩丰富度：通过以下公式进行计算：
RG＝|R-G|
YB＝|0.5*(R+G)-B|
Figure BDA0003778803790000086
Figure BDA0003778803790000087
color＝stdR+0.3*meanR
其中，color即为图像的色彩丰富度，映射关系同上。
曝光度：首先得到图像的灰度图Y，求取其均值meanY，并进行归一化得到
Figure BDA0003778803790000091
bit代表图像的位深，8bit视频除以255，10bit数据除以1023，曝光度计算公式为
Figure BDA0003778803790000092
映射关系同上。
(3)自动标注与人工标注相结合。
对于同一个图像所调整得到的多个图像样本，可以通过公式计算图像属性值并直接映射为图像质量评估结果。
但是对于不同内容的图像，难以直接利用图像属性值作为图像质量评估结果。
例如，对于夜间拍摄的图像一，和白天拍摄的图像二，图像二的亮度大于图像一的亮度。但是图像一的质量可能大于图像二的质量。
因此，可以针对计算得到的多个图像属性值，综合确定图像质量评估结果。
此外，也可以将计算得到的多个图像属性值提供给人工，方便人工根据图像属性值，综合确定图像质量评估结果，提高图像质量评估的准确性。
通过上述方法得到的图像质量标注结果，可以用于训练图像质量评估网络。
关于图像质量评估网络的结构，本方法流程并不具体限定。具体可以在后续进行解释。
二、针对第一图像特征。
本方法流程并不限定第一图像特征中的具体内容。
可选地，第一图像特征可以包括以下至少一项：图像噪声特征、图像细节特征、图像全局特征等等。
在本实施例中，可以通过第一图像特征中包括的一个或多个图像特征，提高图像质量评估的准确性。
本方法流程并不限定提取第一图像特征的方式。
可选地，可以直接针对输入的图像进行特征提取。具体可以是采用卷积网络。
由于第一图像特征中可以包括一种或多种特征信息，因此，可以分别采用不同的特征提取网络，针对输入图像进行特征提取，再将提取的特征添加到第一图像特征中。
为了便于提取具体的特征信息，可选地，可以先突出图像中相应的特征，再提取出相应的特征信息。
例如，可以针对图像进行处理，强化图像中的边缘信息，再进一步提取图像中的边缘特征信息，可以更好地提取边缘特征信息，从而提高图像质量评估的准确性。
因此，可选地，针对输入图像提取第一图像特征，可以包括：获取输入图像中的预设信息，并针对预设信息进一步提取图像特征；将所提取的图像特征添加到第一图像特征中。
可选地，预设信息可以包括以下至少一项：原始图像、图像细节信息、图像噪声信息、图像亮度信息、图像饱和度信息和图像色调信息。其中，图像细节信息可以包括图像边缘信息。
其中，图像细节信息可以用于凸显图像的细节，方便后续提取图像细节特征。图像噪声信息可以用于凸显图像的噪声，方便后续提取图像噪声特征。而原始图像、图像亮度信息、图像饱和度信息和图像色调信息都属于图像的全局特征，因此，可以用于从多个角度凸显图像的全局特征，方便后续提取图像全局特征。
可选地，为了提高图像特征的提取效果，可以针对不同的预设信息，分别使用不同的特征提取网络进行特征提取，减少训练和使用过程中，不同图像特征的提取过程之间的影响。
可选地，针对预设信息进一步提取图像特征，可以包括：针对不同预设信息，利用不同的特征提取网络提取图像特征。
针对图像细节信息，本方法流程并不限定获取方法。可选地，可以采用边缘滤波的方式提取图像细节信息。
因此，可选地，获取输入图像中的预设信息，可以包括：对输入图像进行边缘滤波，提取图像细节信息，
在一种具体的实施例中，可以针对输入图像进行边缘滤波，提取图像的边缘细节信息，有利于对图像的模糊度/清晰度进行更好的评判。
边缘滤波可以采用Sobel-x、Sobel-y、Laplacian算子进行计算得到边缘图像。如图3所示，为本发明实施例提供的一种边缘滤波特征提取方法的流程示意图。
其中，Sobel-x的滤波核可以为：
Figure BDA0003778803790000101
Sobel-y的滤波核可以为：
Figure BDA0003778803790000102
Laplacian的滤波核可以为：
Figure BDA0003778803790000103
针对图像噪声信息，本方法流程并不限定获取方法。可选地，可以采用引导滤波的方式提取图像噪声信息。
因此，可选地，获取输入图像中的预设信息，可以包括：对输入图像进行引导滤波，得到去噪后的模糊图像，综合所述输入图像和模糊图像，提取图像噪声信息。
在一种具体的实施例中，可以针对输入图像进行引导滤波，得到去噪后的模糊图像，通过和输入图像进行减操作，提取图像的噪声信息，有利于对图像的噪声水平进行更好的评判。
如图4所示，为本发明实施例提供的一种引导滤波特征提取的流程示意图。
具体可以是将输入图像经过引导滤波，得到去噪后的图像，再将输入图像减去去噪后的图像，得到噪声信息。
其中，引导滤波是一个线性移可变的滤波过程，包括引导图像I，输入图像p和输出图像q。其中引导图像I是需要根据具体应用事先设定的，也可以直接取为输入图像p。其中，引导图像I和输入图像p可以是同一图像。对于输出图像中第i个像素而言，其计算方法可表达为：
Figure BDA0003778803790000111
在该公式中，i和j为像素标签，Wij为滤波核函数，定义为：
Figure BDA0003778803790000112
在该公式中，wk为第k个核函数窗口，|w|为窗口内的像素个数，μk和
Figure BDA0003778803790000113
是引导图像I在窗口内的均值和方差，ε为平滑因子。
通过以上公式可以得出引导滤波后的平滑图像，输入图像减去平滑图像即可得到噪声信息。
本方法流程并不限定具体的特征提取网络的结构。
针对图像细节信息和图像噪声信息，可以分别使用不同的特征提取网络，提取出图像细节特征和图像噪声特征，作为第一图像特征的一部分。
可选地，细节提取网络可以用于提取图像的细节信息，有助于判断图像的模糊度；噪声提取网络可以用于提取图像的噪声信息，有助于判断图像的噪声水平。细节提取网络和噪声提取网络可以使用相同的模型架构。
如图5所示，为本发明实施例提供的一种特征提取网络的结构示意图。
特征提取网络中可以包括级联的卷积层、激活函数层、归一化层和多个残差网络。
其中，激活函数层具体可以是Relu层，归一化层具体可以是实例标准化(InstanceNormalization，IN)层。ResNet为残差网络，省略号中可以包括省略的多个ResNet网络。
可选地，用于提取图像全局特征的特征提取网络，或者其他用于提取图像特征的特征提取网络也可以使用图5中的网络结构。
针对图像全局特征，本方法流程并不限定图像全局特征的形式和提取方式。
可选地，可以获取输入图像中的以下至少一项：原始图像、图像亮度信息、图像饱和度信息和图像色调信息，针对所获取的信息进一步提取图像全局特征，将图像全局特征添加到第一图像特征中。
可选地，可以将原始图像、图像亮度信息、图像饱和度信息和图像色调信息组合，方便后续提取图像全局特征。
可选地，由于图像亮度信息、图像饱和度信息和图像色调信息都是从原始图像中提取的，为了方便将特征与特征组合，可以先针对原始图像提取特征，再将所提取的特征与图像亮度信息、图像饱和度信息和图像色调信息组合，方便后续进一步提取图像全局特征。
在一种具体的实施例中，可以使用全局特征提取网络提取图像的全局特征。
如图6所示，为本发明实施例提供的一种图像全局特征提取网络的原理示意图。
针对输入全局特征提取网络的图像，可以先提取出图像的图像亮度信息、图像饱和度信息和图像色调信息。
其中L为图像的亮度信息，S为图像的饱和度信息，H为图像的色调信息。
计算公式如下(输入图像为RGB)：
(1)亮度信息：
L＝0.2126R+0.7252G+0.0722B(BT.709数据)
L＝0.2627R+0.678G+0.0593B(BT.2020数据)
(2)饱和度信息：
S＝max(R,G,B)–min(R,G,B)
(3)色调信息：
H＝R–0.5G–0.5B
通过以上公式分别得到L、S、H，并且可以通过卷积层，针对输入图像提取特征，将所提取的特征和L、S和H进行组合，用于后续提取图像全局特征。
具体可以是通过特征提取网络的结构，提取图像全局特征。
由于亮度、饱和度、色调信息是图像的全局特征信息，加入到全局特征提取网络中，可以有助于全局特征提取网络更好的学习到图像的全局特征。
在一种可选的实施例中，在得到输入图像的图像细节特征、图像噪声特征和图像全局特征的情况下，可以将图像细节特征、图像噪声特征和图像全局特征进行堆叠组合，得到第一图像特征。
为了便于理解，如图7所示，为本发明实施例提供的一种第一图像特征提取方法的原理示意图。
其中，可以针对输入图像，分别获取图像噪声信息、图像细节信息、图像亮度信息、图像饱和度信息和图像色调信息。
然后针对图像噪声信息，利用噪声特征提取网络，提取出图像噪声特征。
针对图像细节信息，利用细节特征提取网络，提取出图像细节特征。
针对图像亮度信息、图像饱和度信息和图像色调信息，利用全局特征提取网络，提取出图像全局特征。
最后将图像噪声特征、图像细节特征和图像全局特征进行堆叠组合，得到第一图像特征。
三、第二图像特征。
在一种可选的实施例中，第二图像特征可以是针对第一图像特征进行移位操作得到的。
首先，基于第一图像特征，可以利用输入图像的多种特征进行质量评估，例如，图像细节特征，图像噪声特征，从而可以提高图像质量评估的准确性。
在第一图像特征的基础上，新增第二图像特征进行质量评估，也可以提高图像质量评估的准确性。
具体地，由于第二图像特征是针对第一图像特征进行移位操作得到的，第二图像特征中可以包括第一图像特征中的部分特征，但是位置并不相同。
因此，第二图像特征可以是不同位置角度的第一图像特征，新增第二图像特征用于质量评估，可以从多个角度确定图像特征，提高图像质量评估的全面性和准确性。
例如，对于原图像，在进行图像质量评估时，向下移动3行像素，或者向右移动3列像素，对于图像质量的影响较小。移位后的图像与原图像的质量相同或相近，从而可以用于从多个位置的角度对图像质量进行评估，提高图像质量评估的全面性和准确性。
同理，相对于提取的第一图像特征，通过移位操作得到的一个或多个第二图像特征，可以是不同位置角度的第一图像特征，所评估的图像质量相同或相近，从而可以从多个位置的角度对图像质量进行评估，提高图像质量评估的全面性和准确性。
可选地，第二图像特征与第一图像特征的尺寸可以相同，从而可以方便后续堆叠组合，用于确定图像质量评估结果，并且可以明确图像特征中的各个特征取值的位置关系。
可选地，第一图像特征与第二图像特征之间，存在不同位置的区域中特征取值相同。
其中，第一图像特征与第二图像特征之间，特征取值相同的区域，可以是第一图像特征通过移位操作所保留的区域。因此，该区域中的特征取值在第一图像特征中的位置，与移位后在第二图像特征中的位置不同，从而可以提供不同位置角度的第一图像特征(也就是第二图像特征)，方便后续提高图像质量评估的全面性和准确性。
针对移位操作，本方法流程并不限定具体的操作方式，并不限定移位操作的方向和移位距离，只要第一图像特征与第二图像特征之间，存在不同位置的区域中特征取值相同即可。
可选地，移位操作的方向可以是向左移动，也可以是向右移动，也可以是向左上移动，也可以是右下移动等等。
可选地，移位操作的移位距离可以是移动一个特征点，也可以是移动3个特征点。
可选地，为了方便提高图像质量评估的全面性和准确性，可以限制移位操作的移位距离，从而可以降低移位操作对于图像质量的影响。
可选地，可以限定移位操作的移位距离小于预设距离。具体可以是小于3个特征点，从而可以使得获取到的第二图像特征能够保留第一图像特征中的大部分特征取值，进而使得针对第二图像特征评估的图像质量与针对第一图像特征评估的图像质量相同或相近。
可选地，可以针对第一图像特征，进行不同的移位操作，得到不同的第二图像特征。
具体移位操作的不同，可以是移位方向不同，也可以是移位距离不同。
例如，可以针对第一图像特征，向左移动1个特征点，得到一个第二图像特征；可以针对第一图像特征，向左移动3个特征点，得到一个第二图像特征；可以针对第一图像特征，向右移动2个特征点，得到一个第二图像特征。
本实施例并不限定所获取的第二图像特征的数量。
可选地，随着第二图像特征的数量增多，可以获取到多个位置角度的第一图像特征，进而可以提高图像质量评估的全面性和准确性。
下面针对具体的移位操作进行解释。
由于针对第一图像特征进行移位操作，因此，在移位结果中，可以包括第一图像特征中的部分特征取值，并且这些特征取值在移位结果中的位置，与在第一图像特征中的位置不同。
并且，移位结果中还可以包括因为移位操作产生的缺省值。具体可以是将第一图像特征中的部分特征取值移位后，移位结果中存在部分特征的取值被移位，从而缺省对应的取值。
为了便于理解，如图8所示，为本发明实施例提供的一种图像特征移位的原理示意图。
其中，第一图像特征可以是白色矩形，而灰色矩形可以是第一图像特征移位后的位置。
第一图像特征可以向8个方向移动3个特征点，具体包括上下左右，以及左上，左下、右上和右下。可见，经过移位后，移位结果中存在缺省的部分。
其中，白色矩形内部的灰色区域，就是移位结果中第一图像特征的部分特征取值。白色矩形内部的白色区域，就是移位结果中的缺省部分。
针对这些缺省部分，本方法流程并不限定处理方式。
可选地，可以直接将包含缺省部分的移位结果，作为第二图像特征。因为具体使用第二图像特征时，重点需要针对第二图像特征中第一图像特征移位后的特征取值，确定在不同位置角度下的图像质量。
可选地，也可以针对移位结果中的缺省部分填充预设数值，作为第二图像特征，从而方便后续的计算。预设数值具体可以是0。
可选地，也可以针对移位结果中的缺省部分，采用图像修复算法或其他算法进行预测，作为第二图像特征。由于修复后的图像特征与原图像特征质量相同或相近，因此，也可以提高图像质量评估的全面性和准确性。
在一种可选的实施例中，针对第一图像特征进行移位操作，获取一个或多个第二图像特征，可以包括：针对第一图像特征中预设区域的特征进行移位操作，得到一个或多个移位结果；针对每个移位结果中的缺省部分填充预设取值，获取与第一图像特征尺寸相同的第二图像特征。
其中，不同移位操作对应的移位操作可以不同。
四、综合第一图像特征和第二图像特征，确定图像质量评估结果。
针对图像质量评估结果，本方法流程并不限定具体的形式。具体解释可以参见上述实施例。
可选地，图像质量评估结果可以包括一个或多个针对图像属性的质量评估结果，也可以是根据一个或多个针对图像属性的质量评估结果确定的。
例如，图像质量评估结果可以包括图像的模糊度、压缩块状度、噪声水平、亮度、对比度、色彩丰富度和曝光度七个角度的质量评估结果。
可选地，综合第一图像特征和所获取的第二图像特征，确定图像质量评估结果，可以包括：综合第一图像特征和所获取的第二图像特征，确定一个或多个图像属性评估结果；根据所确定的图像属性评估结果，确定图像质量评估结果。
在本实施例中，可以通过针对图像属性进行质量评估，从而方便分析图像质量与图像属性之间的关联。
并且，也可以从多个图像属性的角度进行质量评估，可以提高质量评估的全面性和准确性。
本方法流程并不限定确定图像质量评估结果的方式。
可选地，可以是直接针对第一图像特征和第二图像特征，预测图像质量评估结果。具体可以是通过全连接网络或者回归网络进行预测。
可选地，也可以进一步针对第一图像特征和所获取的第二图像特征，进一步提取图像特征，再针对所提取的图像特征预测图像质量评估结果。
可选地，可以是综合第一图像特征，以及多个不同位置角度的第一图像特征，进一步提取空间特征信息，从而可以利用图像的空间特征信息预测图像质量评估结果。
其中，空间特征信息具体可以是，综合多个不同位置角度的第一图像特征所提取的特征。由于引入了不同的位置角度，从而可以在模型训练的过程中，通过特征提取学习到图像的空间信息。
具体可以通过利用多个不同位置角度的图像特征的输入，与图像质量的输出进行模型训练。
由于多个不同位置角度的图像特征所对应的图像质量相同或相近，并且这些图像特征包含的内容相同或相近，因此，可以在模型训练的过程中，通过针对多个不同位置角度的图像特征进行特征提取的步骤，进一步提高特征的表征能力，更好地表征图像特征与图像质量之间的关联关系，提高模型训练的稳定性和效率。
因此，针对多个不同位置角度的第一图像特征所提取的空间图像特征，可以更好地表征第一图像特征与图像质量之间的关联关系，以提高图像质量评估的准确性。
因此，可选地，综合第一图像特征和所获取的第二图像特征，确定图像质量评估结果，可以包括：综合第一图像特征和所获取的第二图像特征，进一步提取
图像的空间特征信息，根据所提取的空间特征信息确定图像质量评估结果。
在一种可选的实施例中，针对第一图像特征，可以通过移位操作获取不同位置角度的第一图像特征。
可选地，可以直接针对第一图像特征和所获取的不同位置角度的第一图像特征，确定图像质量评估结果。
可选地，也可以针对第一图像特征和所获取的不同位置角度的第一图像特征，进一步提取特征，再针对所提取的特征串行连续执行多次相同的步骤，从而可以提高特征的提取效果。
可选地，图像质量评估网络包括N个级联的预设模块；N≥2；对于第i个预设模块，1≤i≤N-1，其输出级联至第i+1个预设模块的输入。
可选地，预设模块可以用于，针对输入的图像特征进行移位操作，获取一个或多个第三图像特征，并综合所输入的图像特征和所获取的第三图像特征，进一步提取图像特征并输出；所述第三图像特征与所输入的图像特征尺寸相同，且所输入的图像特征与所述第三图像特征之间，存在不同位置的区域中特征取值相同。
其中，并不限定预设模块所提取并输出的图像特征的形式，具体可以是空间特征信息。
可选地，在预设模块中，需要针对输入的图像特征进行扩展，得到一个或多个第三图像特征；并且后续存在多个级联的预设模块，为了方便减少预设模块的计算列，可以限定预设模块提取并输出的图像特征的大小。
具体可以是限定预设模块的输入图像特征，与输出图像特征尺寸大小相同。
可选地，具体可以是通过归一化对图像特征的大小进行调整，具体可以是通过批量标准化(Batch Normalization，BN)、实例标准化(Instance Normalization，IN)、特征标准化(Feature Normalization，FN)。
由于预设模块中，直接针对输入的图像特征进行了移位操作。
因此，可选地，针对第一图像特征进行移位操作，获取一个或多个第二图像特征，综合第一图像特征和所获取的第二图像特征，确定图像质量评估结果，可以包括：将第一图像特征输入N个级联的预设模块中第1个预设模块，得到第N个预设模块输出的图像特征；根据第N个预设模块输出的图像特征，确定图像质量评估结果。
本实施例中，可以通过串行的预设模块，针对第一图像特征进行多轮的移位操作和特征提取，从而提高特征的提取效果。
本实施例并不具体限定预设模块的结构。可选地，具体可以是ShiftNet的结构。
在一种具体的实施例中，针对第一图像特征，可以使用空间特征提取网络，综合第一图像特征中的图像细节信息、图像噪声信息、图像全局特征，并充分利用图像的空间特征，更好的进行图像的特征提取。
如图9所示，为本发明实施例提供的一种空间特征提取网络的结构示意图。
其中可以包括卷积层、激活函数层、归一化层、多个ShiftNet层和多个残差网络。省略号中可以包括省略的多个ShiftNet层和ResNet网络。
ShiftNet层中可以针对输入的图像特征进行移位操作和特征提取，残差网络可以进一步提取特征。
如图10所示，为本发明实施例提供的一种ShiftNet层的结构示意图。
其中可以包括移位层、卷积层、激活函数层和归一化层。
移位层可以用于针对输入的图像特征进行移位操作，得到多个不同位置角度的图像特征。
因此，在移位层的输入是通道数为F图像特征的情况下，移位层的输出可以是通道数为F*9的图像特征，其中可以针对图像特征进行8次移位操作，并将移位结果与输入的图像特征堆叠组合。
之后可以通过卷积层、激活函数层和归一化层进一步提取特征，其中的归一化层可以将通道数为F*9的图像特征，归一化为通道数为F的图像特征。
ShiftNet的主要作用是，特征信息向不同方向进行少量像素的移动，可以得到邻近行列间特征信息的连续性，有利于更好的提取图像的空间特征信息。
针对空间特征提取网络输出的空间特征信息，可以进一步利用回归网络进行图像质量评估结果的预测。
如图11所示，为本发明实施例提供的一种回归网络的结构示意图。
其中，回归网络可以包括多组级联的卷积层、激活函数层、池化层和归一化层，以及最后的池化层和全连接层。省略号中可以包括省略的多组级联的卷积层、激活函数层、池化层和归一化层。
回归网络中最后的池化层可以是全局最大池化层，之前的池化层具体可以是最大池化层。
回归网络的作用是将之前提取的图像特征信息进一步输出为图像质量评估结果。
其中，对于回归网络的结构，如果图像质量评估结果中包括多个图像属性角度的质量评估结果，可以确定回归网络中全连接层的输出数量。
如果需要更新图像质量评估结果中的图像属性角度的数量，可以直接更新回归网络中全连接层的输出数量。
为了便于理解，如图12所示，为本发明实施例提供的一种图像质量评估网络的结构示意图。
其中，可以包括输入层、信息提取层、细节特征提取网络、全局特征提取网络、噪声特征提取网络、空间特征提取网络和回归网络。
针对输入图像，可以由信息提取层提取出图像噪声信息、图像细节信息、图像亮度信息、图像饱和度信息和图像色调信息。
之后可以由细节特征提取网络、全局特征提取网络和噪声特征提取网络分别提取出输入图像的图像细节特征、图像全局特征和图像噪声特征。
进一步地，可以将输入图像的图像细节特征、图像全局特征和图像噪声特征综合输入到空间特征提取网络中，通过移位操作，输出空间特征信息。
之后可以由回归网络针对输入的空间特征信息，预测图像质量评估结果。
对应于上述方法实施例，本发明实施例还提供了一种对应的装置实施例。
如图13所示，为本发明实施例提供的一种图像质量评估装置的结构示意图。
其中可以包括以下单元。
获取单元201，用于获取待评估图像。
评估单元202，用于将待评估图像输入图像质量评估网络，得到图像质量评估结果。
图像质量评估网络用于：针对输入图像提取第一图像特征，针对第一图像特征进行移位操作，获取一个或多个第二图像特征，综合第一图像特征和所获取的第二图像特征，确定图像质量评估结果。
第二图像特征与第一图像特征的尺寸相同，且第一图像特征与第二图像特征之间，存在不同位置的区域中特征取值相同。
可选地，图像质量评估网络用于：综合第一图像特征和所获取的第二图像特征，确定一个或多个图像属性评估结果；根据所确定的图像属性评估结果，确定图像质量评估结果。
可选地，图像质量评估网络包括N个级联的预设模块；N≥2；对于第i个预设模块，1≤i≤N-1，其输出级联至第i+1个预设模块的输入。
预设模块用于，针对输入的图像特征进行移位操作，获取一个或多个第三图像特征，并综合所输入的图像特征和所获取的第三图像特征，进一步提取图像特征并输出；第三图像特征与所输入的图像特征尺寸相同，且所输入的图像特征与第三图像特征之间，存在不同位置的区域中特征取值相同。
图像质量评估网络用于：将第一图像特征输入N个级联的预设模块中第1个预设模块，得到第N个预设模块输出的图像特征；根据第N个预设模块输出的图像特征，确定图像质量评估结果。
可选地，图像质量评估网络用于：针对第一图像特征中预设区域的特征进行移位操作，得到一个或多个移位结果；针对每个移位结果中的缺省部分填充预设取值，获取与第一图像特征尺寸相同的第二图像特征。
可选地，图像质量评估网络用于：综合第一图像特征和所获取的第二图像特征，进一步提取图像的空间特征信息，根据所提取的空间特征信息确定图像质量评估结果。
可选地，第一图像特征，包括以下至少一项：图像细节特征、图像噪声特征和图像全局特征。
可选地，图像质量评估网络用于：获取输入图像中的预设信息，并针对预设信息进一步提取图像特征；将所提取的图像特征添加到第一图像特征中；预设信息包括以下至少一项：原始图像、图像细节信息、图像噪声信息、图像亮度信息、图像饱和度信息和图像色调信息。
可选地，图像质量评估网络用于：对输入图像进行边缘滤波，提取图像细节信息；和/或对输入图像进行引导滤波，得到去噪后的模糊图像，综合输入图像和模糊图像，提取图像噪声信息。
可选额，图像质量评估网络用于：针对不同预设信息，利用不同的特征提取网络提取图像特征。
可选地，图像质量评估网络的训练集生成方法，包括：获取未标注图像样本；针对未标注图像样本，计算对应的图像属性值，并根据计算结果确定对应的图像质量评估标签。
上述装置实施例的解释，可以参见上述方法实施例。
本发明实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现上述任一方法实施例。
本发明实施例还提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一方法实施例。
图14是根据本发明实施例示出的一种配置本发明实施例方法的计算机设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本发明实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本发明实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本发明实施例方案所必需的组件，而不必包含图中所示的全部组件。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一方法实施例。
本发明实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序在由处理器执行时实现上述任一方法实施例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例的技术方案本质上或者说做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本发明实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本发明实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明实施例的保护。
在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (13)

1.一种图像质量评估方法，其特征在于，包括：
获取待评估图像；
将所述待评估图像输入图像质量评估网络，得到图像质量评估结果；
所述图像质量评估网络用于：针对输入图像提取第一图像特征，针对所述第一图像特征进行移位操作，获取一个或多个第二图像特征，综合所述第一图像特征和所获取的第二图像特征，确定图像质量评估结果；
所述第二图像特征与所述第一图像特征的尺寸相同，且所述第一图像特征与所述第二图像特征之间，存在不同位置的区域中特征取值相同。
2.根据权利要求1所述方法，其特征在于，所述综合所述第一图像特征和所获取的第二图像特征，确定图像质量评估结果，包括：
综合所述第一图像特征和所获取的第二图像特征，确定一个或多个图像属性评估结果；
根据所确定的图像属性评估结果，确定图像质量评估结果。
3.根据权利要求1所述方法，其特征在于，所述图像质量评估网络包括N个级联的预设模块；N≥2；对于第i个预设模块，1≤i≤N-1，其输出级联至第i+1个预设模块的输入；
所述预设模块用于，针对输入的图像特征进行移位操作，获取一个或多个第三图像特征，并综合所输入的图像特征和所获取的第三图像特征，进一步提取图像特征并输出；所述第三图像特征与所输入的图像特征尺寸相同，且所输入的图像特征与所述第三图像特征之间，存在不同位置的区域中特征取值相同；
所述针对所述第一图像特征进行移位操作，获取一个或多个第二图像特征，综合所述第一图像特征和所获取的第二图像特征，确定图像质量评估结果，包括：
将所述第一图像特征输入所述N个级联的预设模块中第1个预设模块，得到第N个预设模块输出的图像特征；
根据所述第N个预设模块输出的图像特征，确定图像质量评估结果。
4.根据权利要求1所述方法，其特征在于，所述针对所述第一图像特征进行移位操作，获取一个或多个第二图像特征，包括：
针对所述第一图像特征中预设区域的特征进行移位操作，得到一个或多个移位结果；
针对每个移位结果中的缺省部分填充预设取值，获取与所述第一图像特征尺寸相同的第二图像特征。
5.根据权利要求1所述方法，其特征在于，所述综合所述第一图像特征和所获取的第二图像特征，确定图像质量评估结果，包括：
综合所述第一图像特征和所获取的第二图像特征，进一步提取图像的空间特征信息，根据所提取的空间特征信息确定图像质量评估结果。
6.根据权利要求1所述方法，其特征在于，所述第一图像特征，包括以下至少一项：图像细节特征、图像噪声特征和图像全局特征。
7.根据权利要求1所述方法，其特征在于，所述针对输入图像提取第一图像特征，包括：
获取输入图像中的预设信息，并针对所述预设信息进一步提取图像特征；
将所提取的图像特征添加到第一图像特征中；
所述预设信息包括以下至少一项：原始图像、图像细节信息、图像噪声信息、图像亮度信息、图像饱和度信息和图像色调信息。
8.根据权利要求7所述方法，其特征在于，所述获取输入图像中的预设信息，包括：
对输入图像进行边缘滤波，提取图像细节信息；和/或
对输入图像进行引导滤波，得到去噪后的模糊图像，综合所述输入图像和所述模糊图像，提取图像噪声信息。
9.根据权利要求7所述方法，其特征在于，所述针对所述预设信息进一步提取图像特征，包括：
针对不同预设信息，利用不同的特征提取网络提取图像特征。
10.根据权利要求1所述方法，其特征在于，所述图像质量评估网络的训练集生成方法，包括：
获取未标注图像样本；
针对所述未标注图像样本，计算对应的图像属性值，并根据计算结果确定对应的图像质量评估标签。
11.一种图像质量评估装置，其特征在于，包括：
获取单元，用于获取待评估图像；
评估单元，用于将所述待评估图像输入图像质量评估网络，得到图像质量评估结果；
所述图像质量评估网络用于：针对输入图像提取第一图像特征，针对所述第一图像特征进行移位操作，获取一个或多个第二图像特征，综合所述第一图像特征和所获取的第二图像特征，确定图像质量评估结果；
所述第二图像特征与所述第一图像特征的尺寸相同，且所述第一图像特征与所述第二图像特征之间，存在不同位置的区域中特征取值相同。
12.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至10中任一项所述方法。
13.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序在由处理器执行时实现权利要求1至10中任一项所述方法。
CN202210923874.9A 2022-08-02 2022-08-02 一种图像质量评估方法、装置、设备及存储介质 Pending CN115170552A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210923874.9A CN115170552A (zh) 2022-08-02 2022-08-02 一种图像质量评估方法、装置、设备及存储介质
PCT/CN2023/110329 WO2024027660A1 (zh) 2022-08-02 2023-07-31 一种图像质量评估方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210923874.9A CN115170552A (zh) 2022-08-02 2022-08-02 一种图像质量评估方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115170552A true CN115170552A (zh) 2022-10-11

Family

ID=83477146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210923874.9A Pending CN115170552A (zh) 2022-08-02 2022-08-02 一种图像质量评估方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN115170552A (zh)
WO (1) WO2024027660A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024027660A1 (zh) * 2022-08-02 2024-02-08 京东方科技集团股份有限公司 一种图像质量评估方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118096733A (zh) * 2024-04-22 2024-05-28 浙江宋氏实业有限公司 一种基于图像分析的包装纸箱质量评估方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4487805B2 (ja) * 2004-11-16 2010-06-23 セイコーエプソン株式会社 画像評価方法、画像評価装置、及び印刷装置
CN109255390B (zh) * 2018-09-30 2021-01-29 京东方科技集团股份有限公司 训练图像的预处理方法及模块、鉴别器、可读存储介质
CN112164102A (zh) * 2020-09-24 2021-01-01 北京三快在线科技有限公司 一种图像处理方法及装置
CN115170552A (zh) * 2022-08-02 2022-10-11 京东方科技集团股份有限公司 一种图像质量评估方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024027660A1 (zh) * 2022-08-02 2024-02-08 京东方科技集团股份有限公司 一种图像质量评估方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2024027660A1 (zh) 2024-02-08

Similar Documents

Publication Publication Date Title
CN115170552A (zh) 一种图像质量评估方法、装置、设备及存储介质
KR20170019359A (ko) 국부적 적응형 히스토그램 등화
CN117408890B (zh) 一种视频图像传输质量增强方法及系统
CN116503388B (zh) 缺陷检测方法、装置及存储介质
CN113658085B (zh) 图像处理方法及装置
CN114584700B (zh) 对焦标记方法、标记装置以及电子设备
CN114719966A (zh) 光源确定方法、装置、电子设备及存储介质
CN115880288B (zh) 电子元件焊接的检测方法、系统及计算机设备
CN111325717A (zh) 手机缺陷位置识别方法及设备
CN111915635A (zh) 支持自阅卷的试题解析信息生成方法及系统
CN113744256A (zh) 一种深度图空洞填充方法、装置、服务器及可读存储介质
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
CN114937050A (zh) 绿幕抠图方法、装置及电子设备
Nuutinen et al. A framework for measuring sharpness in natural images captured by digital cameras based on reference image and local areas
CN113628259A (zh) 图像的配准处理方法及装置
CN115063813B (zh) 针对文字失真的对齐模型的训练方法及训练装置
CN113689378B (zh) 试纸带精准定位的判定方法、装置、存储介质及终端
CN110853087B (zh) 一种视差估计方法、装置、存储介质及终端
CN116977190A (zh) 图像处理方法、装置、设备、存储介质及程序产品
CN113117341B (zh) 图片处理方法及装置、计算机可读存储介质、电子设备
CN117078655A (zh) 一种屏幕缺陷检测方法、装置、设备及存储介质
US20220092357A1 (en) Information processing apparatus, information processing method, and storage medium
CN116630847A (zh) 图像检测方法及装置
CN117392001A (zh) 一种图像去模糊方法及装置
CN114882436A (zh) 一种目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination