CN112950579A - 图像质量评价方法、装置和电子设备 - Google Patents

图像质量评价方法、装置和电子设备 Download PDF

Info

Publication number
CN112950579A
CN112950579A CN202110222548.0A CN202110222548A CN112950579A CN 112950579 A CN112950579 A CN 112950579A CN 202110222548 A CN202110222548 A CN 202110222548A CN 112950579 A CN112950579 A CN 112950579A
Authority
CN
China
Prior art keywords
quality evaluation
feature data
feature
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110222548.0A
Other languages
English (en)
Other versions
CN112950579B (zh
Inventor
鲁方波
汪贤
樊鸿飞
蔡媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202110222548.0A priority Critical patent/CN112950579B/zh
Priority claimed from CN202110222548.0A external-priority patent/CN112950579B/zh
Publication of CN112950579A publication Critical patent/CN112950579A/zh
Application granted granted Critical
Publication of CN112950579B publication Critical patent/CN112950579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像质量评价方法、装置和电子设备，将待评价图像分别输入至多种质量评价模型中的特征提取模块中，得到每种质量评价模型对应的特征数据；基于预设的特征选择参数，从每种质量评价模型对应的特征数据中确定目标特征数据；其中的预设的特征选择参数用于指示目标特征数据的所在维度；基于目标特征数据，确定待评价图像的质量评价结果。该方式使用多种质量评价模型中的特征提取模块，提取待评价图像的特征数据，以使特征数据包括多种质量评价模型所提取出的图像特征，利用特征选择参数可以将每种质量评价模型对应的特征数据中质量较好的特征数据确定为目标特征数据，提高了图像质量评价结果的准确率，同时提高了模型的泛化性。

Description

图像质量评价方法、装置和电子设备
技术领域
本发明涉及图像质量技术领域，尤其是涉及一种图像质量评价方法、装置和电子设备。
背景技术
在图像(包括视频或单张图片)的采集、编码、传输等过程中，通常会导致图像质量损失，低质量的图像会严重降低人眼视觉观感。相关技术中，无参考图像质量评估方法，通常基于人工提取的图像的特征数据进行建模，得到质量评价模型，或者基于大规模数据集训练深度神经网络，得到质量评价模型；但是，每种质量评价模型通常仅提取固定的图像特征，在特定图像场景或图像内容上具有较为准确的质量评价结果；如果更换图像场景或图像内容，模型的质量评价结果的准确性会明显变差，导致模型的泛化性和评价准确性较差。
发明内容
有鉴于此，本发明的目的在于提供一种图像质量评价方法、装置和电子设备，以提高图像质量评价结果的准确率，同时提高模型的泛化性和评价准确性。
第一方面，本发明实施例提供了一种图像质量评价方法，包括：将待评价图像分别输入至多种质量评价模型中的特征提取模块中，通过每种质量评价模型得到每种质量评价模型对应的特征数据；基于预设的特征选择参数，从每种质量评价模型对应的特征数据中确定目标特征数据；其中，特征选择参数用于指示目标特征数据的所在维度；基于目标特征数据，确定待评价图像的质量评价结果。
进一步的，每种质量评价模型不同；不同的质量评价模型对应的特征数据，表征的图像特征不同。
进一步的，基于预设的特征选择参数，从每种质量评价模型对应的特征数据中确定目标特征数据的步骤，包括：将每种质量评价模型对应的特征数据按照预设的顺序进行拼接处理，得到中间特征数据；中间特征数据为一维特征向量；根据特征选择参数，确定目标特征数据在一维特征向量中所在的目标维度；从一维特征向量中获取目标维度对应的目标特征数据。
进一步的，特征选择参数，具体通过下述方式确定：获取测试样本；测试样本包括测试图像的标注分数、以及测试图像的多组特征数据组合；不同组特征数据组合中特征数据的维度不同；针对每组特征数据组合，将该组特征数据组合输入至预先训练完成的测试模型，输出该组特征数据组合对应的测试分数；基于测试分数与标注分数，从多组特征数据组合中确定第一特征数据组合；将第一特征数据组合中特征数据的维度，确定为特征选择参数。
进一步的，基于测试分数与标注分数，从多组特征数据组合中确定第一特征数据组合的步骤，包括：针对每组特征数据组合，计算该组特征数据组合对应的测试分数和标注分数的相关值；将相关值最大的特征数据组合确定为第一特征数据组合。
进一步的，测试模型，具体通过下述方式训练得到：获取第一训练样本；第一训练样本包括第一训练图像的标注分数、以及第一训练图像的多组特征数据组合；不同组特征数据组合中特征数据的维度不同；针对每组特征数据组合，将该组特征数据组合输入至初始模型，输出该组特征数据组合对应的预测分数；根据预测分数和预设的第一损失函数，计算预测分数的第一损失值；根据预测分数和第一损失值，训练初始模型中的参数；继续执行获取第一训练样本的步骤，直至第一损失值收敛，得到测试模型。
进一步的，基于目标特征数据，确定待评价图像的质量评价结果的步骤，包括：将目标特征数据输入至预先训练完成的神经网络模型的结果预测模块中，输出待评价图像的质量评价结果。
第二方面，本发明实施例提供了一种图像质量评价装置，包括：输出模块，用于将待评价图像分别输入至多种质量评价模型中的特征提取模块中，通过每种质量评价模型得到每种质量评价模型对应的特征数据；确定模块，用于基于预设的特征选择参数，从每种质量评价模型对应的特征数据中确定目标特征数据；其中，特征选择参数用于指示目标特征数据的所在维度；结果模块，用于基于目标特征数据，确定待评价图像的质量评价结果。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现第一方面任一项的图像质量评价方法。
第四方面，本发明实施例提供了一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现第一方面任一项的图像质量评价方法。
本发明实施例带来了以下有益效果：
本发明提供了一种图像质量评价方法、装置和电子设备，将待评价图像分别输入至多种质量评价模型中的特征提取模块中，得到每种质量评价模型对应的特征数据；基于预设的特征选择参数，从每种质量评价模型对应的特征数据中确定目标特征数据；其中的预设的特征选择参数用于指示目标特征数据的所在维度；基于目标特征数据，确定待评价图像的质量评价结果。该方式使用多种质量评价模型中的特征提取模块，提取待评价图像的特征数据，利用特征选择参数可以将每种质量评价模型对应的特征数据中质量较好的特征数据确定为目标特征数据，基于该种目标特征数据能够得到较为准确的图像质量评价结果，提高了模型的泛化性和评价准确性。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像质量评价方法的流程图；
图2为本发明实施例提供的另一种图像质量评价方法的流程图；
图3为本发明实施例提供的另一种图像质量评价方法的流程图；
图4为本发明实施例提供的一种图像质量评价装置的结构示意图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前在图像(包括视频或单张图片)的采集、编码、传输等过程中，通常会导致图像质量损失，低质量的图像会严重降低人眼视觉观感。相关技术中，无参考图像质量评估方法主要分为两类：一类是传统方法确定的模型，比如NIQE(Natural Image QualityEvaluator，基于自然场景统计的无参考图像质量评价算法)，BRISQUE(Blind/Referenceless Image Spatial QUality Evaluator，无参考的空间域图像质量评估算法)等方法，主要是基于人工提取的图像的特征或者对图像特征数据进行建模处理，从而得到相应的质量评价模型。另一类是深度学习方法，相比传统方法，深度学习方法不需要人工提取特征，只需要构建一个大规模图像特征数据集，对应主观评分标注，训练深度神经网络。
上述方法中无论是传统方法还是深度学习方法，多采用单一模型提取的特征进行预测的方法，而不同算法提取的特征通常在某种假定条件下具有较好的表征性，而在其他数据集或其他条件下特征表征性不强。每种质量评价模型通常仅提取固定的图像特征，在特定图像场景或图像内容上具有较为准确的质量评价结果；如果更换图像场景或图像内容，模型的质量评价结果的准确性会明显变差，导致模型的泛化性和评价准确性较差。比如A模型在D1图像的数据集上表现较好，但在D2图像的数据集上表现不佳；B模型在D2图像的数据集上表现较好，但在D1图像的数据集上表现不佳。基于此，本发明实施例提供的一种图像质量评价方法、装置和电子设备，该技术可以于手机、笔记本、计算机、摄像机、照相机等设备。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像质量评价方法进行详细介绍，如图1所示，该方法包括如下步骤：
步骤S102，将待评价图像分别输入至多种质量评价模型中的特征提取模块中，通过每种质量评价模型得到每种质量评价模型对应的特征数据；
上述待评价图像包括视频或单张图片，比如，包含有文字、人物、物品、风景等对象的图片，也可以是一段时间的视频，还可以是视频帧图像等。上述待评价图像可以是原始图像，也可以是经过编码、压缩、传输处理的图像。上述质量评价模型可以通过不同的方法确定，具体可以通过基于图像特征数据驱动的需要进行模型训练的方法，比如通过深度学习方法确定的神经网络模型；还可以通过非图像特征数据驱动的方法，比如通过该方法确定NIQE。上述多种质量评价模型至少包括两个，具体数量可以根据实际需要进行设置；举例说明，可以通过NIQE，BRISQUE，FRIQUEE(Feature maps based Referenceless ImageQUality Evaluation Engine，基于特征图的无参考图像质量评估算法)，TLVQM(Two-Levelapproach for no-reference consumer Video Quality assessment，一种两种级别复杂度的无参考视频质量评估算法)，GM-LOG(Blind image quality assessment using jointstatistics of gradient magnitude and laplacian features，一种基于梯度强度和拉普拉斯特征的节理统计的无参考图像质量评估算法)，DeepVQA(Deep Video QualityAssessor:From spatio-temporal visual sensitivity to a convolutional neuralaggregation network，一种从时空视觉敏感性到卷积融合网络的视频质量评估算法)，MEON(End-to-end blind quality assessment Of compressed videos using deepNeural networks，一种针对压缩视频使用深层神经网络的无参考质量评估算法)，VSFA(Quality assessment of in-the-wild videos，一种针对自然场景的视频质量评估算法)中的多个方法得到对应的多种质量评价模型。具体而言，上述质量评价模型可以是现有技术中公知的评价效果较好的模型，也可以是提前训练完成的神经网络模型。
上述特征提取模块通常包括有卷积层，具体而言，将待评价图像分别输入至多种质量评价模型中的特征提取模块中，通过特征提取模块中的卷积层，从待评价图像中提取每种质量评价模型对应的特征数据；每种质量评价模型不同，不同的质量评价模型对应的特征数据都包括有该质量评价模型固定的图像特征，因此不同的质量评价模型对应的特征数据所表征的图像特征不同。每种质量评价模型对应的特征数据可以是多维数据也可以是一维数据。
步骤S104，基于预设的特征选择参数，从每种质量评价模型对应的特征数据中确定目标特征数据；其中，特征选择参数用于指示目标特征数据的所在维度；
由于每种质量评价模型针通常提取的是固定的图像特征，在特定图像场景或图像内容上具有较为准确的质量评价结果，因此，上述每种质量评价模型对应的特征数据之间具有待评价图像的多种图像特征。因此，可以基于预设的特征选择参数，从每种质量评价模型对应的特征数据中确定目标特征数据，比如可以通过预设选择方式，针对每种质量评价模型对应的特征数据，从该质量评价模型对应的特征数据中选择质量较好的或者较为重要的一维或者多维特征数据，将从每种质量评价模型对应的特征数据中确定的一维或者多维特征数据，确定为目标特征数据。上述目标特征数据可以为一维特征数据，也可以为多维特征数据。具体每一维数据都可以代表图像的一种特征，比如，第一维特征数据表示的是图像的颜色特征、第二维特征数据表示的是图像的亮度特征等。
具体的，上述预设的特征选择参数可以确定目标特征数据中每个维度的数据在每种质量评价模型对应的特征数据中的维度(也可以称为维数)，上述预设的特征选择参数可以为具体数值；比如，可以先通过重要性排序的方式，将每种质量评价模型对应的特征数据中每一维数据进行重要性排序，得到排序后的特征数据；通过预设的特征选择参数，利用特征选择算法从排序后的特征数据中确定目标维度的特征数据。其中，重要性排序，可以是重要性由大到小排序，也可以是重要性由小到大排序。
举例说明，如果预设的特征选择参数为100，每种质量评价模型对应的特征数据为一维特征向量，通过重要性由大到小的排序方式，将每种质量评价模型对应的特征数据中每一列向维度的数据进行排序，得到一个列向维度为1000维的一维特征向量；然后从列向维度为1000维的一维特征向量中，提取列向维度前100维的特征数据，将该列向维度前100维的特征数据，确定为目标特征数据。上述特征选择的目的在于选择一组最优特征并降低特征维度，从而降低测试时间。另外，上述特征选择算法包括但不限于随机森林、序列浮动前向选择算法。上述重要性排序的方式可以通过预先训练完成的模型进行特征的重要性排序，比如XGBoost(eXtreme Gradient Boosting，极端梯度提升)模型，也可以直接根据特征选择算法中的特征排序模块进行重要性排序。
步骤S106，基于目标特征数据，确定待评价图像的质量评价结果。
上述待评价图像的质量评价结果可以为具体的待评价图像的质量评价分数(比如100为质量最好，分数越低表示图像质量越差)，也可以为待评价图像的质量评价等级(比如高级、中级、低级等)。具体的，可以将目标特征数据，输入至预先训练完成的图像质量评价模型的质量评价结果预测模块中，输出待评价图像的质量评价结果。也可以直接通过现有的质量评价模型中的结果预测模块，确定待评价图像的质量评价结果。
本发明提供了一种图像质量评价方法，将待评价图像分别输入至多种质量评价模型中的特征提取模块中，得到每种质量评价模型对应的特征数据；基于预设的特征选择参数，从每种质量评价模型对应的特征数据中确定目标特征数据；其中的预设的特征选择参数用于指示目标特征数据的所在维度；基于目标特征数据，确定待评价图像的质量评价结果。该方式使用多种质量评价模型中的特征提取模块，提取待评价图像的特征数据，利用特征选择参数可以将每种质量评价模型对应的特征数据中质量较好的特征数据确定为目标特征数据，基于该种目标特征数据能够得到较为准确的图像质量评价结果，提高了模型的泛化性和评价准确性。
本实施例还提供了另一种图像质量评价方法，本实施例重点描述基于预设的特征选择参数，从每种质量评价模型对应的特征数据中确定目标特征数据的步骤的具体实现方式(通过步骤S204-S206实现)，如图2所示，该方法包括如下步骤：
步骤S202，将待评价图像分别输入至多种质量评价模型中的特征提取模块中，通过每种质量评价模型得到每种质量评价模型对应的特征数据；
步骤S204，将每种质量评价模型对应的特征数据按照预设的顺序进行拼接处理，得到中间特征数据；中间特征数据为一维特征向量；
上述预设的顺序可以是随机的排序，或者重要性排序；将每种质量评价模型对应的特征数据进行排序，然后将排序完成的每种质量评价模型对应的特征数据(一维特征向量)拼接在一起，组成融合后的一维特征向量。
步骤S206，根据特征选择参数，确定目标特征数据在一维特征向量中所在的目标维度；从一维特征向量中获取目标维度对应的目标特征数据；
上述特征选择参数用于指示目标特征数据在中间特征数据(一维特征向量)中所在的目标维度；实际实现时，可以直接根据特征选择参数指示的维度，从一维特征向量中获取目标维度对应的目标特征数据。
上述特征选择参数，具体通过下述方式确定：
步骤A1，获取测试样本；测试样本包括测试图像的标注分数、以及测试图像的多组特征数据组合；不同组特征数据组合中特征数据的维度不同；
上述测试样本可以包括多种，每种测试样本可以是从不同类型的测试图像中获取得到的；上述标注分数可以是标准的图像质量评价分数；上述多组特征数据组合可以从每种质量评价模型对应的特征数据中获取得到。
具体的，可以将测试图像分别输入至多种质量评价模型中的特征提取模块中，输出每种质量评价模型对应的特征数据；从每种质量评价模型对应的特征数据中选择多组特征数据组合，其中，每组特征数据组合中特征数据的维度不同。
举例说明，将测试图像分别输入至多种质量评价模型中的特征提取模块中，输出每种质量评价模型对应的特征数据，将每种质量评价模型对应的特征数据确定为一个特征数据集合；该特征数据集合可以为一维特征向量，也可以为多维特征数据；如果为一维特征向量，该特征数据集合维度可以设置为n；可以从特征数据集合中选择k维特征数据，其中，k为1至n的整数；最后得到n组特征数据组合，第一组特征数据组合中包括一维特征数据，具体为特征数据集合中的第一维特征数据；第二组特征数据组合中包括二维特征数据，具体为特征数据集合中的第一维和第二维特征数据；第k组特征数据组合中包括k维特征数据，具体为特征数据集合中的第一维到第k维之间的特征数据；最后得到n组特征数据组合。
步骤A2，针对每组特征数据组合，将该组特征数据组合输入至预先训练完成的测试模型，输出该组特征数据组合对应的测试分数；
上述测试模型可以是一种分类器，比如支持向量机(Support Vector Machine，简称SVM)模型；具体的，通过训练好的测试模型，对每组特征数据组合进行测试图像的质量进行评价，得到测试每组特征数据组合对应的测试分数；可以理解同一个测试图像对应有多个测试分数，具体有多少组特征数据组合，即得到相同数量的测试分数。
步骤A3，基于测试分数与标注分数，从多组特征数据组合中确定第一特征数据组合；
具体的，可以比较测试分数与标注分数，将与标注分数最接近的测试分数，确定为目标测试分数，将目标测试分数对应的特征数据组合，确定为第一特征数据组合。
实际实现时，为了提高准确性，还可以在确定了一个测试图像的第一特征数据组合后，继续确定多个测试图像的第一特征数据组合；还可以基于多个测试图像的得到的测试分数与多个测试图像对应的标注分组，确定第一特征数据组合。举例说明，如果有10个测试图像，每个测试图像有100组特征数据组合，每组特征数据组合对应有100个测试分数。可以理解，每组特征数据组合有10个测试分数；可以基于每组特征数据组合对应的10个测试分数与10个标注分数，从多组特征数据组合中确定第一特征数据组合。
步骤A4，将第一特征数据组合中特征数据的维度，确定为特征选择参数。
比如，第一特征数据组合中特征数据的维度为60，则确定特征选择参数为60；可以理解为，后续确定目标特征数据，需要从每种质量评价模型对应的特征数据中选取60维特征数据。
上述步骤A3中，基于测试分数与标注分数，从多组特征数据组合中确定第一特征数据组合的步骤，一种可能的实施方式：
针对每组特征数据组合，计算该组特征数据组合对应的测试分数和标注分数的相关值；将相关值最大的特征数据组合确定为第一特征数据组合。
上述相关值可以为斯皮尔曼秩相关系数(Spearman rankorder correlationcoefficient，SROCC)、肯德尔秩次相关系数(Kendallrank-order correlationcoefficient，KROCC)、或者皮尔森线性相关系数(Pearsonlinear correlationcoefficient，PLCC)；举例说明，如果是1个测试图像，该测试图像有100组特征数据组合，每组特征数据组合对应有一个测试分数，计算该测试分数与标注分数的相关值，将相关值最大的特征数据组合确定为第一特征数据组合。如果是10个测试图像，每个测试图像有100组特征数据组合，每组特征数据组合对应有10个测试分数，与10个测试图像对应，第一个测试分数为第一个测试图像的测试分数。可以理解，每组特征数据组合有10个测试分数，可以针对10个测试图像中，每组特征数据组合，计算该组特征数据组合对应的10个测试分数与10个标注分数的相关值，将相关值最大的特征数据组合确定为第一特征数据组合。
上述步骤A2中，测试模型，具体通过下述方式训练得到：
(1)获取第一训练样本；第一训练样本包括第一训练图像的标注分数、以及第一训练图像的多组特征数据组合；不同组特征数据组合中特征数据的维度不同；
上述第一训练样本与前述测试图像可以不相同。具体的获取过程与前述步骤A1相同，在此不再赘述。
(2)针对每组特征数据组合，将该组特征数据组合输入至初始模型，输出该组特征数据组合对应的预测分数；根据预测分数和预设的第一损失函数，计算预测分数的第一损失值；
(3)根据预测分数和第一损失值，训练初始模型中的参数；继续执行获取第一训练样本的步骤，直至第一损失值收敛，得到测试模型。
上述第一损失函数是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。损失函数用来表现预测分数与实际分数的差距程度，也就是预测分数和标注分数的差距，该差距用第一损失值表示。损失函数可以分为经验风险损失函数和结构风险损失函数，经验风险损失函数反映的是预测结果和实际结果之间的差别，结构风险损失函数则是经验风险损失函数加上正则项。其中，上述第一损失函数可以是均方误差损失函数、合页损失函数、交叉熵损失函数、指数损失函数、CTC loss函数等。
具体的，针对每组特征数据组合，将该组特征数据组合输入至初始模型，输出该组特征数据组合对应的预测分数；根据预测分数和预设的第一损失函数，计算预测分数的第一损失值；根据预测分数和第一损失值，训练初始模型中的参数；继续执行上述步骤(3)的步骤，直至将第一训练图像的多组特征数据组合训练完成；如果当前第一训练图像中多组特征数据组合训练完成，第一损失值不收敛，需要继续执行获取第一训练样本的步骤，选择其他训练图像进行训练，直至第一损失值收敛，得到测试模型。
步骤S208，基于目标特征数据，确定待评价图像的质量评价结果。
上述方式中，基于预设的特征选择参数，从每种质量评价模型对应的特征数据中确定目标特征数据；其中，特征选择参数用于指示目标特征数据的所在维度；可以将每种质量评价模型对应的特征数据中质量较好的特征数据确定为目标特征数据；另外，特征选择参数通过测试图像的多组特征数据组合，将每组特征数据组合输入至预先训练完成的测试模型，输出该组特征数据组合对应的测试分数；基于测试分数与标注分数，从多组特征数据组合中确定第一特征数据组合；将第一特征数据组合中特征数据的维度，确定为特征选择参数。该种方式可以使最后确定的目标特征数据中包含有多种质量评价模型的图像特征，可以有效结合不同模型的优势，融合不同质量评价模型提取的图像特征，从而可以显著提升模型的泛化性和精度。相比单一模型特征提取特征的方式，相关值提升了5％以上。
本实施例还提供了另一种图像质量评价方法，本实施例重点描述基于预设的特征选择参数，从每种质量评价模型对应的特征数据中确定目标特征数据的步骤之前的步骤的具体实现方式(通过步骤S304实现)，以及基于目标特征数据，确定待评价图像的质量评价结果的步骤的具体实现方式(通过步骤S308实现)，如图3所示，该方法包括如下步骤：
步骤S302，将待评价图像分别输入至多种质量评价模型中的特征提取模块中，输出每种质量评价模型对应的特征数据；
具体的，如果上述待评价图像是单帧图像，可以将每帧提取的特征数据进行时间维度上求平均得到一维特征向量；如果待评价图像是多帧时序图像，需要将最终提取的特征数据转换为一维特征向量。因此，对于每种质量评价模型中的特征提取模块，均可得到一维特征向量。
步骤S304，将每种质量评价模型对应的特征数据按照预设的顺序进行拼接处理，得到中间特征数据；中间特征数据为一维特征向量；
上述预设的顺序可以是随机的排序，或者按照重要性排序；可以将每种质量评价模型对应的特征数据进行排序，然后将排序完成的每种质量评价模型对应的特征数据(一维特征向量)拼接在一起，组成融合后的一维特征向量。
步骤S306，基于预设的特征选择参数，从中间特征数据中确定目标特征数据；其中，特征选择参数用于指示目标特征数据的所在维度；
对融合后的特征向量(即上述中间特征数据)进行特征选择，特征选择的目的在于通过特征选择算法选择一组最优特征并降低特征维度，从而降低模型训练和测试时间。上述特征选择算法包括但不限于随机森林、序列浮动前向选择算法。
步骤S308，将目标特征数据输入至预先训练完成的神经网络模型的结果预测模块中，输出待评价图像的质量评价结果。
上述预先训练完成的神经网络模型可以通过CNN(Convolutional NeuralNetworks，卷积神经网络)、RNN(Recurrent Neural Network，循环神经网络)和DNN(DeepNeural Network，深度神经网络)等网络实现。该神经网络模型的结果预测模块需要预先训练，然后将上述目标特征数据输入至该神经网络模型的结果预测模块中，输出待评价图像的质量评价结果，该结果可以是待评价图像的质量评价分数。
上述结果预测模块，具体通过下述方式训练得到：
步骤B1，获取第二训练样本；第二训练样本包括第二训练图像的标注分数、以及第二训练图像对应的目标特征数据；
上述第二训练样本包括第二训练图像对应的目标特征数据；该第二训练图像与前述的测试图像、第一训练图像、待评价图像不同。上述第二训练图像对应的目标特征数据具体通过前述步骤S302至步骤S308实现，在此不再赘述。
步骤B2，将目标特征数据输入至神经网络模型的结果预测模块中，输出第二训练图像的预测分数；
上述结果预测模块通常包括全连接层等；具体的，将目标特征数据输入至神经网络模型的结果预测模块中，通过结果预测模块中的运算，输出第二训练图像的预测分数，该预测分数与标注分数一般不同。
步骤B3，根据预测分数和预设的第二损失函数，计算预测分数的第二损失值；根据预测分数和第二损失值，通过反向传播算法更新结果预测模块中的参数；
上述第二损失函数与前述的第一损失函数意义相同，在此不再赘述；具体的上述第二损失函数可以是均方误差损失函数、合页损失函数、交叉熵损失函数、指数损失函数、CTC loss函数等。上述第二损失值与前述第一损失值意义相同，都是用于表示预测分数和标注分数的差距。上述反向传播算法负责根据输出的预测分数与标注分数的损失值更新结果预测模块中的所有参数值。
步骤B4，继续执行将目标特征数据输入至神经网络模型的结果预测模块中的步骤，直至第二损失值收敛，得到训练后的结果预测模块。
如果步骤B3计算出的第二损失值不收敛，则选择下一个训练图像进行模块训练，即执行获取第二训练样本的步骤；如果第二损失值收敛，则停止执行获取第二训练样本的步骤，将神经网络模型中的结果预测模量输出。损失值收敛，是指对于不同的训练样本，输出的损失值为固定值，或者十分接近于零的某一范围，且没有负数。除了损失值收敛之外，还可以将损失值满足预设的损失阈值作为标识识别模型的结束训练条件。
上述方式中，将每种质量评价模型对应的特征数据按照预设的顺序进行拼接处理，得到中间特征数据；中间特征数据为一维特征向量，基于预设的特征选择参数，从中间特征数据中确定目标特征数据；其中，特征选择参数用于指示目标特征数据的所在维度；对融合(拼接)后的特征向量进行特征选择，通过重要性排序的方式以及特征选择参数，选择中间特征数据中效果较好且具有表征性的图像特征，特征选择的目的在于选择一组最优特征并降低特征维度，从而降低模型训练和测试时间，可以有效结合不同质量评价模型的优势，融合不同算法以及不同质量评价模型提取的图像特征，从而显著提升了图像质量评价结果的准确性，同时提高模型的泛化性和评价准确性。
对应上述方法实施例，本发明实施例提供了一种图像质量评价装置，如图4所示，该装置包括：
输出模块41，用于将待评价图像分别输入至多种质量评价模型中的特征提取模块中，通过每种质量评价模型得到每种质量评价模型对应的特征数据；
确定模块42，用于基于预设的特征选择参数，从每种质量评价模型对应的特征数据中确定目标特征数据；其中，特征选择参数用于指示目标特征数据的所在维度；
结果模块43，用于基于目标特征数据，确定待评价图像的质量评价结果。
本发明提供了一种图像质量评价装置，将待评价图像分别输入至多种质量评价模型中的特征提取模块中，得到每种质量评价模型对应的特征数据；基于预设的特征选择参数，从每种质量评价模型对应的特征数据中确定目标特征数据；其中的预设的特征选择参数用于指示目标特征数据的所在维度；基于目标特征数据，确定待评价图像的质量评价结果。该方式使用多种质量评价模型中的特征提取模块，提取待评价图像的特征数据，利用特征选择参数可以将每种质量评价模型对应的特征数据中质量较好的特征数据确定为目标特征数据，基于该种目标特征数据能够得到较为准确的图像质量评价结果，提高了模型的泛化性和评价准确性。
进一步的，上述每种质量评价模型不同；不同的质量评价模型对应的特征数据，表征的图像特征不同。
进一步的，上述确定模块还用于：将每种质量评价模型对应的特征数据按照预设的顺序进行拼接处理，得到中间特征数据；中间特征数据为一维特征向量；根据特征选择参数，确定目标特征数据在一维特征向量中所在的目标维度；从一维特征向量中获取目标维度对应的目标特征数据。
进一步的，上述特征选择参数具体通过单元确定：获取单元，用于获取测试样本；测试样本包括测试图像的标注分数、以及测试图像的多组特征数据组合；不同组特征数据组合中特征数据的维度不同；输出单元，用于针对每组特征数据组合，将该组特征数据组合输入至预先训练完成的测试模型，输出该组特征数据组合对应的测试分数；组合确定单元，用于基于测试分数与标注分数，从多组特征数据组合中确定第一特征数据组合；参数确定单元，用于将第一特征数据组合中特征数据的维度，确定为特征选择参数。
进一步的，上述组合确定单元还用于：针对每组特征数据组合，计算该组特征数据组合对应的测试分数和标注分数的相关值；将相关值最大的特征数据组合确定为第一特征数据组合。
进一步的，上述测试模型，具体通过下述方式训练得到：获取第一训练样本；第一训练样本包括第一训练图像的标注分数、以及第一训练图像的多组特征数据组合；不同组特征数据组合中特征数据的维度不同；针对每组特征数据组合，将该组特征数据组合输入至初始模型，输出该组特征数据组合对应的预测分数；根据预测分数和预设的第一损失函数，计算预测分数的第一损失值；根据预测分数和第一损失值，训练初始模型中的参数；继续执行获取第一训练样本的步骤，直至第一损失值收敛，得到测试模型。
进一步的，上述确定模块还用于：将目标特征数据输入至预先训练完成的神经网络模型的结果预测模块中，输出待评价图像的质量评价结果。
本发明实施例提供的图像质量评价装置，与上述实施例提供的图像质量评价方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述图像质量评价方法。
参见图5所示，该电子设备包括处理器100和存储器101，该存储器101存储有能够被处理器100执行的机器可执行指令，该处理器100执行机器可执行指令以实现上述图像质量评价方法。
进一步地，图5所示的电子设备还包括总线102和通信接口103，处理器100、通信接口103和存储器101通过总线102连接。
其中，存储器101可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器100可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器100中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器100可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器101，处理器100读取存储器101中的信息，结合其硬件完成前述实施例的方法的步骤。
本实施例还提供一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述图像质量评价方法。
本发明实施例所提供的一种图像质量评价方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种图像质量评价方法，其特征在于，包括：
将待评价图像分别输入至多种质量评价模型中的特征提取模块中，通过每种所述质量评价模型得到每种所述质量评价模型对应的特征数据；
基于预设的特征选择参数，从每种所述质量评价模型对应的特征数据中确定目标特征数据；其中，所述特征选择参数用于指示所述目标特征数据的所在维度；
基于所述目标特征数据，确定所述待评价图像的质量评价结果。
2.根据权利要求1所述的方法，其特征在于，每种所述质量评价模型不同；不同的所述质量评价模型对应的特征数据，表征的图像特征不同。
3.根据权利要求1所述的方法，其特征在于，基于预设的特征选择参数，从每种所述质量评价模型对应的特征数据中确定目标特征数据的步骤，包括：
将每种所述质量评价模型对应的特征数据按照预设的顺序进行拼接处理，得到中间特征数据；所述中间特征数据为一维特征向量；
根据所述特征选择参数，确定所述目标特征数据在所述一维特征向量中所在的目标维度；
从所述一维特征向量中获取所述目标维度对应的目标特征数据。
4.根据权利要求1或3所述的方法，其特征在于，所述特征选择参数，具体通过下述方式确定：
获取测试样本；所述测试样本包括测试图像的标注分数、以及所述测试图像的多组特征数据组合；不同组所述特征数据组合中特征数据的维度不同；
针对每组所述特征数据组合，将该组特征数据组合输入至预先训练完成的测试模型，输出该组特征数据组合对应的测试分数；
基于所述测试分数与所述标注分数，从所述多组特征数据组合中确定第一特征数据组合；
将所述第一特征数据组合中特征数据的维度，确定为所述特征选择参数。
5.根据权利要求4所述的方法，其特征在于，基于所述测试分数与所述标注分数，从所述多组特征数据组合中确定第一特征数据组合的步骤，包括：
针对每组所述特征数据组合，计算该组特征数据组合对应的测试分数和所述标注分数的相关值；
将相关值最大的特征数据组合确定为第一特征数据组合。
6.根据权利要求4所述的方法，其特征在于，所述测试模型，具体通过下述方式训练得到：
获取第一训练样本；所述第一训练样本包括第一训练图像的标注分数、以及所述第一训练图像的多组特征数据组合；不同组所述特征数据组合中特征数据的维度不同；
针对每组所述特征数据组合，将该组特征数据组合输入至初始模型，输出该组特征数据组合对应的预测分数；根据所述预测分数和预设的第一损失函数，计算所述预测分数的第一损失值；
根据所述预测分数和所述第一损失值，训练所述初始模型中的参数；
继续执行获取第一训练样本的步骤，直至所述第一损失值收敛，得到所述测试模型。
7.根据权利要求1所述的方法，其特征在于，基于所述目标特征数据，确定所述待评价图像的质量评价结果的步骤，包括：
将所述目标特征数据输入至预先训练完成的神经网络模型的结果预测模块中，输出所述待评价图像的质量评价结果。
8.一种图像质量评价装置，其特征在于，包括：
输出模块，用于将待评价图像分别输入至多种质量评价模型中的特征提取模块中，通过每种所述质量评价模型得到每种所述质量评价模型对应的特征数据；
确定模块，用于基于预设的特征选择参数，从每种所述质量评价模型对应的特征数据中确定目标特征数据；其中，所述特征选择参数用于指示所述目标特征数据的所在维度；
结果模块，用于基于所述目标特征数据，确定所述待评价图像的质量评价结果。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至7任一项所述的图像质量评价方法。
10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1至7任一项所述的图像质量评价方法。
CN202110222548.0A 2021-02-26 图像质量评价方法、装置和电子设备 Active CN112950579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110222548.0A CN112950579B (zh) 2021-02-26 图像质量评价方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110222548.0A CN112950579B (zh) 2021-02-26 图像质量评价方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN112950579A true CN112950579A (zh) 2021-06-11
CN112950579B CN112950579B (zh) 2024-05-31

Family

ID=

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113707296A (zh) * 2021-08-25 2021-11-26 平安国际智慧城市科技股份有限公司 医疗方案数据处理方法、装置、设备及存储介质
CN113949863A (zh) * 2021-10-21 2022-01-18 上海复达兴智能技术有限公司 一种实时音视频通信的体验质量评价方法、系统及设备
CN114862819A (zh) * 2022-05-24 2022-08-05 深圳大学 基于非对称网络的图像质量评价方法、装置、设备及介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150379373A1 (en) * 2014-06-26 2015-12-31 Parmeet Singh Bhatia Automatic assessment of perceptual visual quality of different image sets
JP2017058929A (ja) * 2015-09-16 2017-03-23 日本電信電話株式会社 画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラム
US20180144214A1 (en) * 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
CN109285149A (zh) * 2018-09-04 2019-01-29 杭州比智科技有限公司 人脸图像质量的评估方法、装置及计算设备
CN109360197A (zh) * 2018-09-30 2019-02-19 北京达佳互联信息技术有限公司 图像的处理方法、装置、电子设备及存储介质
CN109522950A (zh) * 2018-11-09 2019-03-26 网易传媒科技（北京）有限公司 图像评分模型训练方法及装置和图像评分方法及装置
CN109544524A (zh) * 2018-11-15 2019-03-29 中共中央办公厅电子科技学院 一种基于注意力机制的多属性图像美学评价系统
CN109584203A (zh) * 2018-09-29 2019-04-05 天津大学 基于深度学习与语义信息的重定位图像质量评价方法
CN109685785A (zh) * 2018-12-20 2019-04-26 上海众源网络有限公司 一种图像质量评估方法、装置及电子设备
CN109919920A (zh) * 2019-02-25 2019-06-21 厦门大学 统一结构的全参考和无参考图像质量评价方法
CN111008971A (zh) * 2019-12-24 2020-04-14 天津工业大学 一种合影图像的美学质量评价方法及实时拍摄指导系统
WO2020080698A1 (ko) * 2018-10-19 2020-04-23 삼성전자 주식회사 영상의 주관적 품질을 평가하는 방법 및 장치
CN111062930A (zh) * 2019-12-20 2020-04-24 腾讯科技（深圳）有限公司 图像的选取方法、装置、存储介质和计算机设备
CN111210402A (zh) * 2019-12-03 2020-05-29 恒大智慧科技有限公司 人脸图像质量评分方法、装置、计算机设备及存储介质
CN111291895A (zh) * 2020-01-17 2020-06-16 支付宝(杭州)信息技术有限公司 组合特征评估模型的样本生成和训练方法及装置
CN111353533A (zh) * 2020-02-26 2020-06-30 南京理工大学 基于多任务学习的无参考图像质量评价方法及系统
CN111507288A (zh) * 2020-04-22 2020-08-07 上海眼控科技股份有限公司 图像检测方法、装置、计算机设备和存储介质
CN111666275A (zh) * 2020-06-10 2020-09-15 创新奇智(广州)科技有限公司 一种数据处理方法、装置、电子设备及存储介质
WO2020221278A1 (zh) * 2019-04-29 2020-11-05 北京金山云网络技术有限公司 视频分类方法及其模型的训练方法、装置和电子设备

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150379373A1 (en) * 2014-06-26 2015-12-31 Parmeet Singh Bhatia Automatic assessment of perceptual visual quality of different image sets
JP2017058929A (ja) * 2015-09-16 2017-03-23 日本電信電話株式会社 画像情報取得方法、画像評価方法、画像情報取得装置、画像評価装置及び画像処理プログラム
US20180144214A1 (en) * 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
CN109285149A (zh) * 2018-09-04 2019-01-29 杭州比智科技有限公司 人脸图像质量的评估方法、装置及计算设备
CN109584203A (zh) * 2018-09-29 2019-04-05 天津大学 基于深度学习与语义信息的重定位图像质量评价方法
CN109360197A (zh) * 2018-09-30 2019-02-19 北京达佳互联信息技术有限公司 图像的处理方法、装置、电子设备及存储介质
WO2020080698A1 (ko) * 2018-10-19 2020-04-23 삼성전자 주식회사 영상의 주관적 품질을 평가하는 방법 및 장치
CN109522950A (zh) * 2018-11-09 2019-03-26 网易传媒科技（北京）有限公司 图像评分模型训练方法及装置和图像评分方法及装置
CN109544524A (zh) * 2018-11-15 2019-03-29 中共中央办公厅电子科技学院 一种基于注意力机制的多属性图像美学评价系统
CN109685785A (zh) * 2018-12-20 2019-04-26 上海众源网络有限公司 一种图像质量评估方法、装置及电子设备
CN109919920A (zh) * 2019-02-25 2019-06-21 厦门大学 统一结构的全参考和无参考图像质量评价方法
WO2020221278A1 (zh) * 2019-04-29 2020-11-05 北京金山云网络技术有限公司 视频分类方法及其模型的训练方法、装置和电子设备
CN111210402A (zh) * 2019-12-03 2020-05-29 恒大智慧科技有限公司 人脸图像质量评分方法、装置、计算机设备及存储介质
CN111062930A (zh) * 2019-12-20 2020-04-24 腾讯科技（深圳）有限公司 图像的选取方法、装置、存储介质和计算机设备
CN111008971A (zh) * 2019-12-24 2020-04-14 天津工业大学 一种合影图像的美学质量评价方法及实时拍摄指导系统
CN111291895A (zh) * 2020-01-17 2020-06-16 支付宝(杭州)信息技术有限公司 组合特征评估模型的样本生成和训练方法及装置
CN111353533A (zh) * 2020-02-26 2020-06-30 南京理工大学 基于多任务学习的无参考图像质量评价方法及系统
CN111507288A (zh) * 2020-04-22 2020-08-07 上海眼控科技股份有限公司 图像检测方法、装置、计算机设备和存储介质
CN111666275A (zh) * 2020-06-10 2020-09-15 创新奇智(广州)科技有限公司 一种数据处理方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JINGCHAO CAO 等: "Content-oriented image quality assessment with multi-label SVM classifier", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》, 31 October 2019 (2019-10-31), pages 388 - 397 *
曾军英 等: "级联优化CNN的手指静脉图像质量评估", 《中国图象图形学报》, no. 6, 30 June 2019 (2019-06-30), pages 902 - 913 *
韩敬丹: "自然场景图像美学度评价的机器学习方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 12, 15 December 2018 (2018-12-15), pages 138 - 1385 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113707296A (zh) * 2021-08-25 2021-11-26 平安国际智慧城市科技股份有限公司 医疗方案数据处理方法、装置、设备及存储介质
CN113707296B (zh) * 2021-08-25 2024-04-02 深圳平安智慧医健科技有限公司 医疗方案数据处理方法、装置、设备及存储介质
CN113949863A (zh) * 2021-10-21 2022-01-18 上海复达兴智能技术有限公司 一种实时音视频通信的体验质量评价方法、系统及设备
CN114862819A (zh) * 2022-05-24 2022-08-05 深圳大学 基于非对称网络的图像质量评价方法、装置、设备及介质
CN114862819B (zh) * 2022-05-24 2023-02-03 深圳大学 基于非对称网络的图像质量评价方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US10152644B2 (en) Progressive vehicle searching method and device
CN110533097B (zh) 一种图像清晰度识别方法、装置、电子设备及存储介质
CN109960742B (zh) 局部信息的搜索方法及装置
CN110046550B (zh) 基于多层特征学习的行人属性识别系统及方法
CN112950581A (zh) 质量评估方法、装置和电子设备
Sun et al. Deep learning based full-reference and no-reference quality assessment models for compressed ugc videos
CN110263215B (zh) 一种视频情感定位方法及系统
CN113066065B (zh) 无参考图像质量检测方法、系统、终端及介质
CN111783712A (zh) 一种视频处理方法、装置、设备及介质
CN109859166A (zh) 一种基于多列卷积神经网络的无参3d图像质量评估方法
CN113743378B (zh) 一种基于视频的火情监测方法和装置
CN112801536B (zh) 图像处理方法、装置和电子设备
CN112950579B (zh) 图像质量评价方法、装置和电子设备
CN111435445A (zh) 字符识别模型的训练方法及装置、字符识别方法及装置
CN112950579A (zh) 图像质量评价方法、装置和电子设备
CN113177603B (zh) 分类模型的训练方法、视频分类方法及相关设备
CN111681748B (zh) 基于智能视觉感知的医疗行为动作规范性评价方法
CN110276744B (zh) 图像拼接质量的测评方法及装置
CN114782983A (zh) 基于改进特征金字塔和边界损失的道路场景行人检测方法
CN114863249A (zh) 基于运动特征和外观特征的视频目标检测及域适应方法
CN114155198A (zh) 一种去雾图像的质量评价方法和装置
CN112070060A (zh) 识别年龄的方法、年龄识别模型的训练方法和装置
CN112949571A (zh) 识别年龄的方法、年龄识别模型的训练方法和装置
CN112950580A (zh) 质量评价方法、质量评价模型的训练方法和装置
CN108920512B (zh) 一种基于游戏软件场景的推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant