CN111640099A - 一种确定图像质量的方法、装置、电子设备及存储介质 - Google Patents

一种确定图像质量的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111640099A
CN111640099A CN202010473809.1A CN202010473809A CN111640099A CN 111640099 A CN111640099 A CN 111640099A CN 202010473809 A CN202010473809 A CN 202010473809A CN 111640099 A CN111640099 A CN 111640099A
Authority
CN
China
Prior art keywords
model
image quality
sample
branch
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010473809.1A
Other languages
English (en)
Inventor
李雅文
贺沁雯
李果
樊鸿飞
蔡媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202010473809.1A priority Critical patent/CN111640099A/zh
Publication of CN111640099A publication Critical patent/CN111640099A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种确定图像质量的方法、装置、电子设备及存储介质，涉及图像质量评价技术领域，可以减少确定图像质量所消耗的人力成本。本发明实施例的方案包括：将待识别图像输入图像质量评价模型，然后获取图像质量评价模型输出的待识别图像的图像质量。其中，图像质量评价模型为经过多张样本图像训练后的神经网络模型，多张样本图像包括对原始图像进行不同失真程度和/或不同锐化程度处理后得到的图像。

Description

一种确定图像质量的方法、装置、电子设备及存储介质
技术领域
本发明涉及图像质量评价技术领域，特别是涉及一种确定图像质量的方法、装置、电子设备及存储介质。
背景技术
图像的质量对于从图像中获取的信息的准确性和充分性起着决定性作用，因此准确地衡量图像质量至关重要。
相关技术中，在构建训练样本时，通过人工为每一张样本图像标注平均主观得分(Mean Opinion Score，MOS)，再通过标注后的样本图像训练神经网络模型，最后利用训练后的神经网络模型预测图像的质量。
然而由于训练神经网络模型需要大量的样本图像，若每一张样本图像都通过人工标注的方式添加用于表示图像质量的标签，则人工的工作量较大，使得效率低。
发明内容
本发明实施例的目的在于提供一种确定图像质量的方法、装置、电子设备及存储介质，以实现减少确定图像质量所消耗的人力成本。具体技术方案如下：
第一方面，本发明实施例提供了一种确定图像质量的方法，所述方法包括：
将待识别图像输入图像质量评价模型；
获取所述图像质量评价模型输出的所述待识别图像的图像质量；
其中，所述图像质量评价模型为经过多张样本图像训练后的神经网络模型，所述多张样本图像包括对原始图像进行不同失真程度和/或不同锐化程度处理后得到的图像。
可选的，所述图像质量评价模型通过如下步骤训练获得：
通过第一样本训练集对孪生网络模型进行训练；
其中，所述第一样本训练集包括多张样本图像以及每张样本图像的图像质量排名标注；所述孪生网络模型包括第一分支模型和第二分支模型，所述第一分支模型和所述第二分支模型共享模型参数；不同图像处理方式采用不同的图像质量排名标注；所述处理方式包括失真处理和锐化处理；
利用第二样本训练集，对通过所述第一样本训练集训练得到的第一分支模型或第二分支模型进行训练，得到所述图像质量评价模型，所述第二样本训练集包括多张样本图像以及每张样本图像对应的图像质量得分。
可选的，所述通过第一样本训练集对孪生网络模型进行训练，包括：
将所述第一样本训练集中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型；
获取所述第一分支模型和所述第二分支模型分别输出的图像质量排名；
根据输入所述孪生网络模型的两张样本图像的图像质量排名标注，以及所述第一分支模型和所述第二分支模型分别输出的图像质量排名，计算损失函数值；
根据所述损失函数值，确定所述孪生网络模型是否收敛；
若所述孪生网络模型未收敛，则根据所述损失函数值，调整所述模型参数；
将剩余样本图像中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型，获取输出的图像质量排名，并基于图像质量排名标注和输出的图像质量排名计算损失函数值，直至基于所述损失函数值确定所述孪生网络模型收敛时，获得训练后的孪生网络模型。
可选的，所述失真处理包括多种失真类型的处理，所述锐化处理包括多种锐化类型的处理；
所述将所述第一样本训练集中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型，包括：
将所述第一样本训练集中，对同一张原始图像进行相同失真类型的失真处理得到的两张样本图像，分别输入所述第一分支模型和所述第二分支模型；或者，
将所述第一样本训练集中，对同一张原始图像进行相同锐化类型的锐化处理后得到的两张样本图像，分别输入所述第一分支模型和所述第二分支模型。
第二方面，本发明实施例提供了一种确定图像质量的方法，所述方法包括：
获取多张样本图像；所述多张样本图像包括对原始图像进行不同失真程度和/或不同锐化程度处理后得到的图像；
利用所述多张样本图像训练神经网络模型，得到图像质量评价模型，所述图像质量评价模型用于确定待识别图像的图像质量。
可选的，所述利用所述多张样本图像训练神经网络模型，得到图像质量评价模型，包括：
通过第一样本训练集对孪生网络模型进行训练；
其中，所述第一样本训练集包括多张样本图像以及每张样本图像的图像质量排名标注；所述孪生网络模型包括第一分支模型和第二分支模型，所述第一分支模型和所述第二分支模型共享模型参数；不同图像处理方式采用不同的图像质量排名标注；所述处理方式包括失真处理和锐化处理；
利用第二样本训练集，对通过所述第一样本训练集训练得到的第一分支模型或第二分支模型进行训练，得到所述图像质量评价模型，所述第二样本训练集包括多张样本图像以及每张样本图像对应的图像质量得分。
可选的，所述通过第一样本训练集对孪生网络模型进行训练，包括：
将所述第一样本训练集中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型；
获取所述第一分支模型和所述第二分支模型分别输出的图像质量排名；
根据输入所述孪生网络模型的两张样本图像的图像质量排名标注，以及所述第一分支模型和所述第二分支模型分别输出的图像质量排名，计算损失函数值；
根据所述损失函数值，确定所述孪生网络模型是否收敛；
若所述孪生网络模型未收敛，则根据所述损失函数值，调整所述模型参数；
将剩余样本图像中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型，获取输出的图像质量排名，并基于图像质量排名标注和输出的图像质量排名计算损失函数值，直至基于所述损失函数值确定所述孪生网络模型收敛时，获得训练后的孪生网络模型。
可选的，所述失真处理包括多种失真类型的处理，所述锐化处理包括多种锐化类型的处理；
所述将所述第一样本训练集中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型，包括：
将所述第一样本训练集中，对同一张原始图像进行相同失真类型的失真处理得到的两张样本图像，分别输入所述第一分支模型和所述第二分支模型；或者，
将所述第一样本训练集中，对同一张原始图像进行相同锐化类型的锐化处理后得到的两张样本图像，分别输入所述第一分支模型和所述第二分支模型。
第三方面，本发明实施例提供了一种确定图像质量的装置，所述装置包括：
输入模块，用于将待识别图像输入图像质量评价模型；
获取模块，用于获取所述图像质量评价模型输出的所述待识别图像的图像质量；
其中，所述图像质量评价模型为经过多张样本图像训练后的神经网络模型，所述多张样本图像包括对原始图像进行不同失真程度和/或不同锐化程度处理后得到的图像。
可选的，所述装置还包括训练模块，所述训练模块用于：
通过第一样本训练集对孪生网络模型进行训练；
其中，所述第一样本训练集包括多张样本图像以及每张样本图像的图像质量排名标注；所述孪生网络模型包括第一分支模型和第二分支模型，所述第一分支模型和所述第二分支模型共享模型参数；不同图像处理方式采用不同的图像质量排名标注；所述处理方式包括失真处理和锐化处理；
利用第二样本训练集，对通过所述第一样本训练集训练得到的第一分支模型或第二分支模型进行训练，得到所述图像质量评价模型，所述第二样本训练集包括多张样本图像以及每张样本图像对应的图像质量得分。
可选的，所述训练模块，具体用于：
将所述第一样本训练集中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型；
获取所述第一分支模型和所述第二分支模型分别输出的图像质量排名；
根据输入所述孪生网络模型的两张样本图像的图像质量排名标注，以及所述第一分支模型和所述第二分支模型分别输出的图像质量排名，计算损失函数值；
根据所述损失函数值，确定所述孪生网络模型是否收敛；
若所述孪生网络模型未收敛，则根据所述损失函数值，调整所述模型参数；
将剩余样本图像中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型，获取输出的图像质量排名，并基于图像质量排名标注和输出的图像质量排名计算损失函数值，直至基于所述损失函数值确定所述孪生网络模型收敛时，获得训练后的孪生网络模型。
可选的，所述失真处理包括多种失真类型的处理，所述锐化处理包括多种锐化类型的处理；
所述训练模块，具体用于：
将所述第一样本训练集中，对同一张原始图像进行相同失真类型的失真处理得到的两张样本图像，分别输入所述第一分支模型和所述第二分支模型；或者，
将所述第一样本训练集中，对同一张原始图像进行相同锐化类型的锐化处理后得到的两张样本图像，分别输入所述第一分支模型和所述第二分支模型。
第四方面，本发明实施例还提供了一种确定图像质量的装置，所述装置包括：
获取模块，用于获取多张样本图像；所述多张样本图像包括对原始图像进行不同失真程度和/或不同锐化程度处理后得到的图像；
训练模块，用于利用所述获取模块获取的所述多张样本图像训练神经网络模型，得到图像质量评价模型，所述图像质量评价模型用于确定待识别图像的图像质量。
可选的，所述训练模块，具体用于：
通过第一样本训练集对孪生网络模型进行训练；
其中，所述第一样本训练集包括多张样本图像以及每张样本图像的图像质量排名标注；所述孪生网络模型包括第一分支模型和第二分支模型，所述第一分支模型和所述第二分支模型共享模型参数；不同图像处理方式采用不同的图像质量排名标注；所述处理方式包括失真处理和锐化处理；
利用第二样本训练集，对通过所述第一样本训练集训练得到的第一分支模型或第二分支模型进行训练，得到所述图像质量评价模型，所述第二样本训练集包括多张样本图像以及每张样本图像对应的图像质量得分。
可选的，所述训练模块，具体用于：
将所述第一样本训练集中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型；
获取所述第一分支模型和所述第二分支模型分别输出的图像质量排名；
根据输入所述孪生网络模型的两张样本图像的图像质量排名标注，以及所述第一分支模型和所述第二分支模型分别输出的图像质量排名，计算损失函数值；
根据所述损失函数值，确定所述孪生网络模型是否收敛；
若所述孪生网络模型未收敛，则根据所述损失函数值，调整所述模型参数；
将剩余样本图像中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型，获取输出的图像质量排名，并基于图像质量排名标注和输出的图像质量排名计算损失函数值，直至基于所述损失函数值确定所述孪生网络模型收敛时，获得训练后的孪生网络模型。
可选的，所述失真处理包括多种失真类型的处理，所述锐化处理包括多种锐化类型的处理；
所述训练模块，具体用于：
将所述第一样本训练集中，对同一张原始图像进行相同失真类型的失真处理得到的两张样本图像，分别输入所述第一分支模型和所述第二分支模型；或者，
将所述第一样本训练集中，对同一张原始图像进行相同锐化类型的锐化处理后得到的两张样本图像，分别输入所述第一分支模型和所述第二分支模型。
第五方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一确定图像质量的方法的步骤。
第六方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一确定图像质量的方法的步骤。
第七方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一确定图像质量的方法。
本发明实施例的技术方案至少可以带来以下有益效果：本发明实施例利用了对原始图像进行不同失真程度和/或不同锐化程度处理后得到的样本图像，对神经网络模型进行训练，使得训练后得到的图像质量评价模型可以依据图像的失真程度以及图像的锐化程度，确定图像质量。由于对原始图像进行失真处理和锐化处理都是自动化处理，所以本发明实施例减少了确定图像质量所消耗的人力成本。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种确定图像质量的方法流程图；
图2为本发明实施例提供的一种训练孪生网络模型的方法流程图；
图3为本发明实施例提供的另一种确定图像质量的方法流程图；
图4为本发明实施例提供的一种确定图像质量的装置结构示意图；
图5为本发明实施例提供的另一种确定图像质量的装置结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了减少确定图像质量所消耗的人力成本，本发明实施例提供了一种确定图像质量的方法，应用于第一电子设备，其中第一电子设备可以是手机、平板电脑或者计算机等设备。参见图1，该方法包括如下步骤。
步骤101，将待识别图像输入图像质量评价模型。
其中，图像质量评价模型为经过多张样本图像训练后的神经网络模型，多张样本图像包括对原始图像进行不同失真程度和/或不同锐化程度处理后得到的图像。可选的，原始图像可以是高清图像。
在本发明实施例中，图像质量评价模型基于多张样本图像、每张样本图像的图像质量排名标注以及每张样本图像的图像质量得分训练而得。
可以理解的，失真程度和锐化程度可以包括0，对原始图像进行失真程度为0的失真处理，可以理解为不对原始图像进行失真处理，对原始图像进行锐化程度为0的锐化处理，可以理解为不对原始图像进行锐化处理。样本图像中可以包括原始图像，原始图像可以理解为进行失真程度为0且锐化程度为0的处理后得到的样本图像。
在本发明实施例中，可以对原始图像进行失真处理，或者对原始图像进行锐化处理，或者对原始图像既进行失真处理又进行锐化处理。
步骤102，获取图像质量评价模型输出的待识别图像的图像质量。
本发明实施例的技术方案至少可以带来以下有益效果：本发明实施例利用了对原始图像进行不同失真程度和/或不同锐化程度处理后得到的样本图像对神经网络模型进行训练，使得训练后得到的图像质量评价模型可以依据图像的失真程度以及图像的锐化程度，确定图像质量。由于对原始图像进行失真处理和锐化处理都是自动化处理，所以本发明实施例减少了确定图像质量所消耗的人力成本。
可选的，本发明实施例中的图像质量评价模型可以基于经过多张样本图像训练后的孪生网络模型中的其中一个分支模型得到。
其中，孪生网络模型包括第一分支模型和第二分支模型，第一分支模型和第二分支模型共享模型参数。第一分支模型和第二分支模型使用相同类型的神经网络，例如，第一分支模型和第二分支模型均为卷积神经网络(Convolutional Neural Networks，CNN)。
可以理解的，CNN是一种前馈神经网络，包括一个或多个卷积层以及全连接层，还可以包括关联权重层和池化层。
可选的，图像质量评价模型通过如下两个步骤训练获得。
步骤一，通过第一样本训练集对孪生网络模型进行训练。
其中，第一样本训练集包括多张样本图像以及每张样本图像的图像质量排名标注，不同图像处理方式采用不同的图像质量排名标注，处理方式包括失真处理和锐化处理。
在本发明实施例中，图像质量排名标注用于表示图像的失真程度和/或锐化程度在样本图像中的排名。
可选的，对一张原始图像经过不同失真程度处理后得到的多张样本图像，每张样本图像的图像质量排名标注表示样本图像的失真程度排名。例如，对原始图像进行失真程度分别为0～5的处理，得到样本图像A～F。其中，样本图像A-F所经过的失真程度依次递增。所以样本图像A所经过的失真程度为0，为原始图像，样本图像A的图像质量排名标注可以为[0]，表示失真程度排名为0。同理，样本图像B的图像质量排名标注为[1]，样本图像C的图像质量排名标注为[2]，样本图像D的图像质量排名标注为[3]，样本图像E的图像质量排名标注为[4]，样本图像F的图像质量排名标注为[5]。
对一张原始图像经过不同锐化程度处理后得到的多张样本图像，每张样本图像的图像质量排名标注表示样本图像的锐化程度排名。例如，对原始图像进行锐化程度分别为1～3的处理，得到样本图像a～c，其中，样本图像a～c所经过的锐化程度依次递增。所以样本图像a的图像质量排名标注可以为[1]，表示锐化程度排名为1。同理，样本图像b的图像质量排名标注可以为[2]，样本图像c的图像质量排名标注可以为[3]。
对一张原始图像经过不同失真程度以及不同锐化程度处理后得到的多张样本图像，每张样本图像的图像质量排名标注包括样本图像的锐化程度排名和失真程度排名。例如，对原始图像进行失真程度分别为1～3以及锐化程度分别为1～3的处理，得到样本图像1～9。样本图像的图像质量排名标注为[x,y]，其中，x表示样本图像的失真程度排名，y表示样本图像的锐化程度排名。所以样本图像1的图像质量排名标注为[1,1]，样本图像2的图像质量排名标注为[1,2]，样本图像3的图像质量排名标注为[1,3]，样本图像4的图像质量排名标注为[2,1]，样本图像5的图像质量排名标注为[2,2]，样本图像6的图像质量排名标注为[2,3]，样本图像7的图像质量排名标注为[3,1]，样本图像8的图像质量排名标注为[3,2]，样本图像9的图像质量排名标注为[3,3]。
可选的，本发明实施例中的第一样本训练集包括的原始图像可以来源于指定数据库。其中，指定数据库包括：滑铁卢(Waterloo)、数据集(Places_val)和数据集(DIV2K)。
可以理解的，本发明实施例可以从多种数据集中获取原始图像，泛化了样本图像，使得训练得到后的图像质量评价模型预测准确度更高。
步骤二，利用第二样本训练集，对通过第一样本训练集训练得到的第一分支模型或第二分支模型进行训练，得到图像质量评价模型。其中，第二样本训练集包括多张样本图像以及每张样本图像对应的图像质量得分。
可选的，第二样本训练集包括的样本图像可以与第一样本训练集包括的样本图像相同，或者，第二样本训练集包括的样本图像可以与第一样本训练集包括的样本图像不同。示例性的，第二样本训练集包括的样本图像可以从数据集(LIVE)中获取。但是，第二样本训练集的样本量小于第一样本训练集。
在本发明实施例中，第二样本训练集包括的每张样本图像的图像质量得分可以是人工标注的。
可选的，图像质量得分可以为预先标注的平均主观得分差异(Differential meanopinion score，DMOS)。
其中，DMOS指的是人眼对无失真图像和有失真图像评价得分的差异，或者人眼对无锐化图像和有锐化图像评价得分的差异，DMOS数值越小表示图像质量越高，DMOS数值越大表示图像质量越低。
本发明实施例的技术方案还可以带来以下有益效果：本发明实施例首先利用无需人工标注的第一样本训练集中大量的样本图像，对孪生网络模型进行训练，得到粗略的能够根据失真程度和锐化程度确定图像质量的模型。再利用第二样本训练集对粗略的模型进行微调，得到识别准确度更高的图像质量评价模型。由于微调时才会利用需要人工标注的样本图像，微调所利用的样本图像数量相对较少，大大减少了人工标记量，从而从整体上提高了获得图像质量评价模型的效率。
而且本发明实施例利用存在对应的图像质量得分的样本图像，训练孪生网络模型的其中一支分支模型，使得图像质量评价模型预测的图像质量得分与DMOS更相关。
可选的，参见图2，上述获得图像质量评价模型的步骤一中，通过第一样本训练集对孪生网络模型进行训练的方法，可以包括以下步骤。
步骤201、将第一样本训练集中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入第一分支模型和第二分支模型。
在本发明实施例中，同一张原始图像对应的两张经过同种处理方式处理过的样本图像中，可以包括原始图像。原始图像可以理解为经过失真程度为0和/或锐化程度为0的处理后得到的样本图像。
可选的，同一张原始图像对应的两张经过同种处理方式处理过的样本图像可以为：该原始图像对应的两张经过失真处理后得到的样本图像，或者该原始图像对应的两张经过锐化处理后得到的样本图像，或者该原始图像对应的两张经过失真处理以及锐化处理后得到的样本图像。
在本发明实施例中，输入分支模型的两张样本图像的失真程度相同且锐化程度不同，或者锐化程度相同且失真程度不同，或者锐化程度不同且失真程度不同。
例如，输入的样本图像1经过的失真程度为1且锐化程度为0，样本图像2经过的失真程度为1且锐化程度为1。或者，输入的样本图像3经过的失真程度为1且锐化程度为1，样本图像4经过的失真程度为2且锐化程度为1。
可选的，经过失真处理或者锐化处理后的图像可以对应有不同的标识，以防止将经过不同处理方式处理过的样本图像输入两个分支模型。
还可以将经过相同处理方式处理过的样本图像存在相同的文件夹中，将经过不同处理方式处理过的样本图像分别存在不同的文件夹中，在执行步骤201时，可以从同一个文件夹中获取两张样本图像，分别输入两个分支模型。
步骤202、获取第一分支模型和第二分支模型分别输出的图像质量排名。
步骤203、根据输入孪生网络模型的两张样本图像的图像质量排名标注，以及第一分支模型和第二分支模型分别输出的图像质量排名，计算损失函数值。
一种实施方式中，可以根据公式(1)计算损失函数值：
loss＝max(0，f(x2)-f(x1)+y1-y2} (1)
其中，x1为输入第一分支模型的样本图像，x2为输入第二分支模型的样本图像，f(x1)为第一分支模型输出的x1的图像质量排名，f(x2)为第二分支模型输出的x2的图像质量排名，y1为第一样本训练集中记录的x1的图像质量排名标注，y2为第一样本训练集中记录的x2的图像质量排名标注。
步骤204，根据损失函数值，确定孪生网络模型是否收敛。
一种实施方式中，可以判断当前计算的损失函数值与上一次计算的损失函数值之间的差值是否小于预设差值；若是，则确定孪生网络模型收敛；若不是，则确定孪生网络模型未收敛。
步骤205、若孪生网络模型未收敛，则根据损失函数值，调整模型参数。
步骤206、将剩余样本图像中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入第一分支模型和第二分支模型，获取输出的图像质量排名，并基于图像质量排名标注和输出的图像质量排名计算损失函数值，直至基于损失函数值确定孪生网络模型收敛时，获得训练后的孪生网络模型。
在本申请实施例中，在调整模型参数之后，可以基于调整模型参数后的孪生网络模型，返回步骤201，使用剩余样本图像对孪生网络模型进行训练，直至孪生网络模型收敛，获得训练后的孪生网络模型。
本发明实施例的技术方案还可以带来以下有益效果：由于确定图像的质量得分的难度较大，但区分两张图像的图像质量孰好孰坏却比较容易。基于此，本发明实施例利用第一样本训练集训练孪生网络模型，且第一样本训练集中的样本图像存在图像质量排名标注，使得孪生网络模型可以区分两张图像的图像质量高低。
而且由于第一样本训练集不需要人工标注，所以减少了对于孪生网络模型的训练所消耗的人力成本，从整体上提高了获得图像质量评价模型的效率。
在本发明实施例中，失真处理可以包括多种失真类型的处理。例如失真类型可以为：高斯模糊(Gaussian Blur，GB)、高斯噪声(Gaussian Noise，GN)、联合图像专家组(Joint Photographic Experts Group，JPEG)或者基于小波变换的图像压缩标准JPEG2000压缩产生的失真(JP2K)等。
由于不同失真类型的失真处理对图像质量的影响不同，难以比较经过不同失真类型的失真处理后的样本图像的图像质量排名，所以上述步骤201可以包括：将第一样本训练集中，对同一张原始图像进行相同失真类型的失真处理得到的两张样本图像，分别输入第一分支模型和第二分支模型。
同理，锐化处理可以包括多种锐化类型的处理。例如锐化类型可以为：高反差保留去色锐化、LAB色彩模式锐化或者图像工厂(Photoshop，PS)锐化滤镜搭配明度图层锐化等。
由于不同锐化类型的锐化处理对图像质量的影响不同，难以比较经过不同锐化类型的锐化处理后的样本图像的图像质量排名，所以上述步骤201可以包括：将第一样本训练集中，对同一张原始图像进行相同锐化类型的锐化处理后得到的两张样本图像，分别输入第一分支模型和第二分支模型。
可以理解的，对孪生网络模型的训练主要是为了调整模型参数，而模型参数包括的关于失真方面的参数和锐化方面的参数是相互独立的。因此在调整失真方面的参数时，只需要关注输入模型的两张样本图像为进行过相同失真类型处理的图像即可，而不用关注这两张样本图像的锐化类型是否相同；同理，在调整锐化方面的参数时，只需要关注输入模型的两张样本图像为进行过相同锐化类型处理的图像即可，而不用关注这两张样本图像的失真类型是否相同。
本发明实施例的技术方案还可以带来以下有益效果：由于本发明实施例中的样本图像包括对原始图像进行不同失真程度和/或不同锐化程度处理后得到的图像，使得本发明实施例中的图像质量评价模型既能够根据图像的失真程度，又能够根据图像的锐化程度，确定图像质量，提高了确定图像质量的准确度。
可选的，以利用第二样本训练集对第一分支模型进行训练为例，得到图像质量评价模型的步骤二包括如下步骤。
步骤一、将第二样本训练集中的样本图像输入第一分支模型。
步骤二、获取第一分支模型输出的样本图像的图像质量得分。
步骤三、根据第一分支模型输出的样本图像的图像质量得分以及输入的样本图像对应的图像质量得分，计算损失值。
一种实施方式中，可以利用公式(2)或者公式(3)计算损失值：
Figure BDA0002515132800000151
Figure BDA0002515132800000152
其中，loss′为损失值，n为输入第一分支模型的一批样本图像的数量，i为该批输入的第i张图像，yi为第二样本训练集中记录的xi对应的图像质量得分，f(xi)为第一分支模型输出的xi的图像质量得分。
步骤四、根据损失值，确定第一分支模型是否收敛。
一种实施方式中，可以判断当前计算的损失值与上一次计算的损失值之间的差值小于预设差值；若是，则确定第一分支模型收敛；若否，则确定第一分支模型未收敛。
步骤五、若第一分支模型未收敛，则根据损失值，调整第一分支模型的模型参数。
可以理解的，由于第一分支模型和第二分支模型共用模型参数，所以调整第一分支模型的模型参数，相当于也调整了第二分支模型的模型参数。
步骤六、将第二样本训练集中的下一批样本图像输入第一分支模型，获得第一分支模型输出的图像质量得分，并基于第一分支模型输出的样本图像的图像质量得分以及输入的样本图像对应的图像质量得分，计算损失值，直至基于损失值确定第一分支模型收敛时，获得图像质量评价模型。
可以理解的，第一分支模型收敛后，由于第一分支模型和第二分支模型共享模型参数，所以可以将两个分支模型的任一分支模型，作为图像质量评价模型。
本发明实施例的技术方案还可以带来以下有益效果：由于本发明实施例可以利用存在对应的图像质量得分的样本图像，训练孪生网络模型的其中一支分支模型，使得图像质量评价模型确定的图像质量得分更准确。
基于相同的发明构思，参见图3，本发明实施例还提供了一种确定图像质量的方法，应用于第二电子设备，其中第二电子设备可以是手机、平板电脑或者计算机等设备，第一电子设备和第二电子设备可以是同一个电子设备。该方法包括以下步骤。
步骤301，获取多张样本图像。
其中，多张样本图像包括对原始图像进行不同失真程度和/或不同锐化程度处理后得到的图像。
步骤302，利用多张样本图像训练神经网络模型，得到图像质量评价模型。其中，图像质量评价模型用于确定待识别图像的图像质量。
图像质量评价模型的具体生成过程参见第一电子设备侧的实施例，在此不再赘述。
本发明实施例的技术方案至少可以带来以下有益效果：本发明实施例利用了对原始图像进行不同失真程度和/或不同锐化程度处理后得到的样本图像对神经网络模型进行训练，使得训练后得到的图像质量评价模型可以依据图像的失真程度以及图像的锐化程度，确定图像质量。由于对原始图像进行失真处理和锐化处理都是自动化处理，所以本发明实施例减少了确定图像质量所消耗的人力成本。
在本发明实施例中，上述步骤301获取样本图像的方法，以及上述步骤302得到图像质量评价模型的方法可参考上文中的相关描述，此处不再赘述。
基于相同的发明构思，本发明实施例提供了一种确定图像质量的装置，参见图4，该装置包括：输入模块401和获取模块402；
输入模块401，用于将待识别图像输入图像质量评价模型；
获取模块402，用于获取图像质量评价模型输出的待识别图像的图像质量；
其中，图像质量评价模型为经过多张样本图像训练后的神经网络模型，多张样本图像包括对原始图像进行不同失真程度和/或不同锐化程度处理后得到的图像。
可选的，装置还包括训练模块403，训练模块403用于：
通过第一样本训练集对孪生网络模型进行训练；
其中，第一样本训练集包括多张样本图像以及每张样本图像的图像质量排名标注；孪生网络模型包括第一分支模型和第二分支模型，第一分支模型和第二分支模型共享模型参数；不同图像处理方式采用不同的图像质量排名标注；处理方式包括失真处理和锐化处理；
利用第二样本训练集，对通过第一样本训练集训练得到的第一分支模型或第二分支模型进行训练，得到图像质量评价模型，第二样本训练集包括多张样本图像以及每张样本图像对应的图像质量得分。
可选的，训练模块403，具体用于：
将第一样本训练集中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入第一分支模型和第二分支模型；
获取第一分支模型和第二分支模型分别输出的图像质量排名；
根据输入孪生网络模型的两张样本图像的图像质量排名标注，以及第一分支模型和第二分支模型分别输出的图像质量排名，计算损失函数值；
根据损失函数值，确定孪生网络模型是否收敛；
若孪生网络模型未收敛，则根据损失函数值，调整模型参数；
将剩余样本图像中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入第一分支模型和第二分支模型，获取输出的图像质量排名，并基于图像质量排名标注和输出的图像质量排名计算损失函数值，直至基于损失函数值确定孪生网络模型收敛时，获得训练后的孪生网络模型。
可选的，失真处理包括多种失真类型的处理，锐化处理包括多种锐化类型的处理；
训练模块403，具体用于：
将第一样本训练集中，对同一张原始图像进行相同失真类型的失真处理得到的两张样本图像，分别输入第一分支模型和第二分支模型；或者，
将第一样本训练集中，对同一张原始图像进行相同锐化类型的锐化处理后得到的两张样本图像，分别输入第一分支模型和第二分支模型。
基于相同的发明构思，本发明实施例还提供了一种确定图像质量的装置，参见图5，该装置包括：获取模块501和训练模块502；
获取模块501，用于获取多张样本图像；多张样本图像包括对原始图像进行不同失真程度和/或不同锐化程度处理后得到的图像；
训练模块502，用于利用获取模块501获取的多张样本图像训练神经网络模型，得到图像质量评价模型，图像质量评价模型用于确定待识别图像的图像质量。
可选的，训练模块502，具体用于：
通过第一样本训练集对孪生网络模型进行训练；
其中，第一样本训练集包括多张样本图像以及每张样本图像的图像质量排名标注；孪生网络模型包括第一分支模型和第二分支模型，第一分支模型和第二分支模型共享模型参数；不同图像处理方式采用不同的图像质量排名标注；处理方式包括失真处理和锐化处理；
利用第二样本训练集，对通过第一样本训练集训练得到的第一分支模型或第二分支模型进行训练，得到图像质量评价模型，第二样本训练集包括多张样本图像以及每张样本图像对应的图像质量得分。
可选的，训练模块502，具体用于：
将第一样本训练集中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入第一分支模型和第二分支模型；
获取第一分支模型和第二分支模型分别输出的图像质量排名；
根据输入孪生网络模型的两张样本图像的图像质量排名标注，以及第一分支模型和第二分支模型分别输出的图像质量排名，计算损失函数值；
根据损失函数值，确定孪生网络模型是否收敛；
若孪生网络模型未收敛，则根据损失函数值，调整模型参数；
将剩余样本图像中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入第一分支模型和第二分支模型，获取输出的图像质量排名，并基于图像质量排名标注和输出的图像质量排名计算损失函数值，直至基于损失函数值确定孪生网络模型收敛时，获得训练后的孪生网络模型。
可选的，失真处理包括多种失真类型的处理，锐化处理包括多种锐化类型的处理；
训练模块502，具体用于：
将第一样本训练集中，对同一张原始图像进行相同失真类型的失真处理得到的两张样本图像，分别输入第一分支模型和第二分支模型；或者，
将第一样本训练集中，对同一张原始图像进行相同锐化类型的锐化处理后得到的两张样本图像，分别输入第一分支模型和第二分支模型。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601和存储器603，其中，
存储器603，用于存储计算机程序；
处理器601，用于执行存储器上所存储的程序时，实现由第一电子设备或者第二电子设备处理的步骤。
电子设备还包括通信接口602和通信总线604；处理器601和存储器603通过通信总线604完成相互间的通信。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一确定图像质量的方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一确定图像质量的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (18)

1.一种确定图像质量的方法，其特征在于，所述方法包括：
将待识别图像输入图像质量评价模型；
获取所述图像质量评价模型输出的所述待识别图像的图像质量；
其中，所述图像质量评价模型为经过多张样本图像训练后的神经网络模型，所述多张样本图像包括对原始图像进行不同失真程度和/或不同锐化程度处理后得到的图像。
2.根据权利要求1所述的方法，其特征在于，所述图像质量评价模型通过如下步骤训练获得：
通过第一样本训练集对孪生网络模型进行训练；
其中，所述第一样本训练集包括多张样本图像以及每张样本图像的图像质量排名标注；所述孪生网络模型包括第一分支模型和第二分支模型，所述第一分支模型和所述第二分支模型共享模型参数；不同图像处理方式采用不同的图像质量排名标注；所述处理方式包括失真处理和锐化处理；
利用第二样本训练集，对通过所述第一样本训练集训练得到的第一分支模型或第二分支模型进行训练，得到所述图像质量评价模型，所述第二样本训练集包括多张样本图像以及每张样本图像对应的图像质量得分。
3.根据权利要求2所述的方法，其特征在于，所述通过第一样本训练集对孪生网络模型进行训练，包括：
将所述第一样本训练集中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型；
获取所述第一分支模型和所述第二分支模型分别输出的图像质量排名；
根据输入所述孪生网络模型的两张样本图像的图像质量排名标注，以及所述第一分支模型和所述第二分支模型分别输出的图像质量排名，计算损失函数值；
根据所述损失函数值，确定所述孪生网络模型是否收敛；
若所述孪生网络模型未收敛，则根据所述损失函数值，调整所述模型参数；
将剩余样本图像中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型，获取输出的图像质量排名，并基于图像质量排名标注和输出的图像质量排名计算损失函数值，直至基于所述损失函数值确定所述孪生网络模型收敛时，获得训练后的孪生网络模型。
4.根据权利要求3所述的方法，其特征在于，所述失真处理包括多种失真类型的处理，所述锐化处理包括多种锐化类型的处理；
所述将所述第一样本训练集中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型，包括：
将所述第一样本训练集中，对同一张原始图像进行相同失真类型的失真处理得到的两张样本图像，分别输入所述第一分支模型和所述第二分支模型；或者，
将所述第一样本训练集中，对同一张原始图像进行相同锐化类型的锐化处理后得到的两张样本图像，分别输入所述第一分支模型和所述第二分支模型。
5.一种确定图像质量的方法，其特征在于，所述方法包括：
获取多张样本图像；所述多张样本图像包括对原始图像进行不同失真程度和/或不同锐化程度处理后得到的图像；
利用所述多张样本图像训练神经网络模型，得到图像质量评价模型，所述图像质量评价模型用于确定待识别图像的图像质量。
6.根据权利要求5所述的方法，其特征在于，所述利用所述多张样本图像训练神经网络模型，得到图像质量评价模型，包括：
通过第一样本训练集对孪生网络模型进行训练；
其中，所述第一样本训练集包括多张样本图像以及每张样本图像的图像质量排名标注；所述孪生网络模型包括第一分支模型和第二分支模型，所述第一分支模型和所述第二分支模型共享模型参数；不同图像处理方式采用不同的图像质量排名标注；所述处理方式包括失真处理和锐化处理；
利用第二样本训练集，对通过所述第一样本训练集训练得到的第一分支模型或第二分支模型进行训练，得到所述图像质量评价模型，所述第二样本训练集包括多张样本图像以及每张样本图像对应的图像质量得分。
7.根据权利要求6所述的方法，其特征在于，所述通过第一样本训练集对孪生网络模型进行训练，包括：
将所述第一样本训练集中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型；
获取所述第一分支模型和所述第二分支模型分别输出的图像质量排名；
根据输入所述孪生网络模型的两张样本图像的图像质量排名标注，以及所述第一分支模型和所述第二分支模型分别输出的图像质量排名，计算损失函数值；
根据所述损失函数值，确定所述孪生网络模型是否收敛；
若所述孪生网络模型未收敛，则根据所述损失函数值，调整所述模型参数；
将剩余样本图像中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型，获取输出的图像质量排名，并基于图像质量排名标注和输出的图像质量排名计算损失函数值，直至基于所述损失函数值确定所述孪生网络模型收敛时，获得训练后的孪生网络模型。
8.根据权利要求7所述的方法，其特征在于，所述失真处理包括多种失真类型的处理，所述锐化处理包括多种锐化类型的处理；
所述将所述第一样本训练集中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型，包括：
将所述第一样本训练集中，对同一张原始图像进行相同失真类型的失真处理得到的两张样本图像，分别输入所述第一分支模型和所述第二分支模型；或者，
将所述第一样本训练集中，对同一张原始图像进行相同锐化类型的锐化处理后得到的两张样本图像，分别输入所述第一分支模型和所述第二分支模型。
9.一种确定图像质量的装置，其特征在于，所述装置包括：
输入模块，用于将待识别图像输入图像质量评价模型；
获取模块，用于获取所述图像质量评价模型输出的所述待识别图像的图像质量；
其中，所述图像质量评价模型为经过多张样本图像训练后的神经网络模型，所述多张样本图像包括对原始图像进行不同失真程度和/或不同锐化程度处理后得到的图像。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括训练模块，所述训练模块用于：
通过第一样本训练集对孪生网络模型进行训练；
其中，所述第一样本训练集包括多张样本图像以及每张样本图像的图像质量排名标注；所述孪生网络模型包括第一分支模型和第二分支模型，所述第一分支模型和所述第二分支模型共享模型参数；不同图像处理方式采用不同的图像质量排名标注；所述处理方式包括失真处理和锐化处理；
利用第二样本训练集，对通过所述第一样本训练集训练得到的第一分支模型或第二分支模型进行训练，得到所述图像质量评价模型，所述第二样本训练集包括多张样本图像以及每张样本图像对应的图像质量得分。
11.根据权利要求10所述的装置，其特征在于，所述训练模块，具体用于：
将所述第一样本训练集中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型；
获取所述第一分支模型和所述第二分支模型分别输出的图像质量排名；
根据输入所述孪生网络模型的两张样本图像的图像质量排名标注，以及所述第一分支模型和所述第二分支模型分别输出的图像质量排名，计算损失函数值；
根据所述损失函数值，确定所述孪生网络模型是否收敛；
若所述孪生网络模型未收敛，则根据所述损失函数值，调整所述模型参数；
将剩余样本图像中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型，获取输出的图像质量排名，并基于图像质量排名标注和输出的图像质量排名计算损失函数值，直至基于所述损失函数值确定所述孪生网络模型收敛时，获得训练后的孪生网络模型。
12.根据权利要求11所述的装置，其特征在于，所述失真处理包括多种失真类型的处理，所述锐化处理包括多种锐化类型的处理；
所述训练模块，具体用于：
将所述第一样本训练集中，对同一张原始图像进行相同失真类型的失真处理得到的两张样本图像，分别输入所述第一分支模型和所述第二分支模型；或者，
将所述第一样本训练集中，对同一张原始图像进行相同锐化类型的锐化处理后得到的两张样本图像，分别输入所述第一分支模型和所述第二分支模型。
13.一种确定图像质量的装置，其特征在于，所述装置包括：
获取模块，用于获取多张样本图像；所述多张样本图像包括对原始图像进行不同失真程度和/或不同锐化程度处理后得到的图像；
训练模块，用于利用所述获取模块获取的所述多张样本图像训练神经网络模型，得到图像质量评价模型，所述图像质量评价模型用于确定待识别图像的图像质量。
14.根据权利要求13所述的装置，其特征在于，所述训练模块，具体用于：
通过第一样本训练集对孪生网络模型进行训练；
其中，所述第一样本训练集包括多张样本图像以及每张样本图像的图像质量排名标注；所述孪生网络模型包括第一分支模型和第二分支模型，所述第一分支模型和所述第二分支模型共享模型参数；不同图像处理方式采用不同的图像质量排名标注；所述处理方式包括失真处理和锐化处理；
利用第二样本训练集，对通过所述第一样本训练集训练得到的第一分支模型或第二分支模型进行训练，得到所述图像质量评价模型，所述第二样本训练集包括多张样本图像以及每张样本图像对应的图像质量得分。
15.根据权利要求14所述的装置，其特征在于，所述训练模块，具体用于：
将所述第一样本训练集中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型；
获取所述第一分支模型和所述第二分支模型分别输出的图像质量排名；
根据输入所述孪生网络模型的两张样本图像的图像质量排名标注，以及所述第一分支模型和所述第二分支模型分别输出的图像质量排名，计算损失函数值；
根据所述损失函数值，确定所述孪生网络模型是否收敛；
若所述孪生网络模型未收敛，则根据所述损失函数值，调整所述模型参数；
将剩余样本图像中同一张原始图像对应的两张经过同种处理方式处理过的样本图像，分别输入所述第一分支模型和所述第二分支模型，获取输出的图像质量排名，并基于图像质量排名标注和输出的图像质量排名计算损失函数值，直至基于所述损失函数值确定所述孪生网络模型收敛时，获得训练后的孪生网络模型。
16.根据权利要求15所述的装置，其特征在于，所述失真处理包括多种失真类型的处理，所述锐化处理包括多种锐化类型的处理；
所述训练模块，具体用于：
将所述第一样本训练集中，对同一张原始图像进行相同失真类型的失真处理得到的两张样本图像，分别输入所述第一分支模型和所述第二分支模型；或者，
将所述第一样本训练集中，对同一张原始图像进行相同锐化类型的锐化处理后得到的两张样本图像，分别输入所述第一分支模型和所述第二分支模型。
17.一种电子设备，其特征在于，包括处理器和存储器，其中，
存储器，用于存储计算机程序；
处理器，用于执行存储器上所存储的程序时，实现权利要求1-4或者5-8任一所述的方法步骤。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4或者5-8任一所述的方法步骤。
CN202010473809.1A 2020-05-29 2020-05-29 一种确定图像质量的方法、装置、电子设备及存储介质 Pending CN111640099A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010473809.1A CN111640099A (zh) 2020-05-29 2020-05-29 一种确定图像质量的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010473809.1A CN111640099A (zh) 2020-05-29 2020-05-29 一种确定图像质量的方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111640099A true CN111640099A (zh) 2020-09-08

Family

ID=72332271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010473809.1A Pending CN111640099A (zh) 2020-05-29 2020-05-29 一种确定图像质量的方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111640099A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950567A (zh) * 2021-02-25 2021-06-11 北京金山云网络技术有限公司 质量评价方法、装置、电子设备及存储介质
CN113763348A (zh) * 2021-09-02 2021-12-07 北京格灵深瞳信息技术股份有限公司 图像质量确定方法、装置、电子设备及存储介质
CN114372974A (zh) * 2022-01-12 2022-04-19 北京字节跳动网络技术有限公司 图像检测方法、装置、设备及存储介质
CN116740777A (zh) * 2022-09-28 2023-09-12 荣耀终端有限公司 人脸质量检测模型的训练方法及其相关设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274361A1 (en) * 2010-05-10 2011-11-10 Board Of Regents, The University Of Texas System Determining quality of an image or video using a distortion classifier
WO2013080439A1 (ja) * 2011-11-28 2013-06-06 パナソニック株式会社 立体画像処理装置及び立体画像処理方法
US20180144214A1 (en) * 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
CN108269250A (zh) * 2017-12-27 2018-07-10 武汉烽火众智数字技术有限责任公司 基于卷积神经网络评估人脸图像质量的方法和装置
CN109344855A (zh) * 2018-08-10 2019-02-15 华南理工大学 一种基于排序引导回归的深度模型的人脸美丽评价方法
CN109522950A (zh) * 2018-11-09 2019-03-26 网易传媒科技（北京）有限公司 图像评分模型训练方法及装置和图像评分方法及装置
CN109727246A (zh) * 2019-01-26 2019-05-07 福州大学 一种基于孪生网络的对比学习图像质量评估方法
CN109754391A (zh) * 2018-12-18 2019-05-14 北京爱奇艺科技有限公司 一种图像质量评价方法、装置及电子设备
CN110033446A (zh) * 2019-04-10 2019-07-19 西安电子科技大学 基于孪生网络的增强图像质量评价方法
CN110782445A (zh) * 2019-10-25 2020-02-11 北京华捷艾米科技有限公司 无参考图像质量评价方法及系统
CN110807757A (zh) * 2019-08-14 2020-02-18 腾讯科技（深圳）有限公司 基于人工智能的图像质量评估方法、装置及计算机设备
WO2020037932A1 (zh) * 2018-08-20 2020-02-27 深圳云天励飞技术有限公司 一种图像质量评估方法、装置、电子设备及计算机可读存储介质
WO2020048271A1 (zh) * 2018-09-04 2020-03-12 阿里巴巴集团控股有限公司 基于gan网络的车损图像增强方法和装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274361A1 (en) * 2010-05-10 2011-11-10 Board Of Regents, The University Of Texas System Determining quality of an image or video using a distortion classifier
WO2013080439A1 (ja) * 2011-11-28 2013-06-06 パナソニック株式会社 立体画像処理装置及び立体画像処理方法
US20180144214A1 (en) * 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
CN108269250A (zh) * 2017-12-27 2018-07-10 武汉烽火众智数字技术有限责任公司 基于卷积神经网络评估人脸图像质量的方法和装置
CN109344855A (zh) * 2018-08-10 2019-02-15 华南理工大学 一种基于排序引导回归的深度模型的人脸美丽评价方法
WO2020037932A1 (zh) * 2018-08-20 2020-02-27 深圳云天励飞技术有限公司 一种图像质量评估方法、装置、电子设备及计算机可读存储介质
WO2020048271A1 (zh) * 2018-09-04 2020-03-12 阿里巴巴集团控股有限公司 基于gan网络的车损图像增强方法和装置
CN109522950A (zh) * 2018-11-09 2019-03-26 网易传媒科技（北京）有限公司 图像评分模型训练方法及装置和图像评分方法及装置
CN109754391A (zh) * 2018-12-18 2019-05-14 北京爱奇艺科技有限公司 一种图像质量评价方法、装置及电子设备
CN109727246A (zh) * 2019-01-26 2019-05-07 福州大学 一种基于孪生网络的对比学习图像质量评估方法
CN110033446A (zh) * 2019-04-10 2019-07-19 西安电子科技大学 基于孪生网络的增强图像质量评价方法
CN110807757A (zh) * 2019-08-14 2020-02-18 腾讯科技（深圳）有限公司 基于人工智能的图像质量评估方法、装置及计算机设备
CN110782445A (zh) * 2019-10-25 2020-02-11 北京华捷艾米科技有限公司 无参考图像质量评价方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIALEI LIU 等: "RankIQA: Learning from Rankings for No-Reference Image Quality Assessment", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), pages 1040 - 1049 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950567A (zh) * 2021-02-25 2021-06-11 北京金山云网络技术有限公司 质量评价方法、装置、电子设备及存储介质
CN113763348A (zh) * 2021-09-02 2021-12-07 北京格灵深瞳信息技术股份有限公司 图像质量确定方法、装置、电子设备及存储介质
CN114372974A (zh) * 2022-01-12 2022-04-19 北京字节跳动网络技术有限公司 图像检测方法、装置、设备及存储介质
CN114372974B (zh) * 2022-01-12 2024-03-08 抖音视界有限公司 图像检测方法、装置、设备及存储介质
CN116740777A (zh) * 2022-09-28 2023-09-12 荣耀终端有限公司 人脸质量检测模型的训练方法及其相关设备

Similar Documents

Publication Publication Date Title
CN111640099A (zh) 一种确定图像质量的方法、装置、电子设备及存储介质
US11587356B2 (en) Method and device for age estimation
JP2023523029A (ja) 画像認識モデル生成方法、装置、コンピュータ機器及び記憶媒体
CN109635939B (zh) 一种基于裁剪的卷积神经网络的确定方法及装置
EP3620982B1 (en) Sample processing method and device
CN111127435B (zh) 基于双流卷积神经网络的无参考图像质量评估方法
CN110264407B (zh) 图像超分辨模型训练及重建方法、装置、设备及存储介质
CN110717099A (zh) 一种推荐影片的方法及终端
CN109102885B (zh) 基于卷积神经网络与随机森林组合的白内障自动分级方法
Kim et al. Deep blind image quality assessment by employing FR-IQA
CN108805332B (zh) 一种特征评估方法和装置
CN112434717B (zh) 一种模型训练方法及装置
CN114677547B (zh) 一种基于自保持表征扩展的类增量学习的图像分类方法
CN113076487B (zh) 一种用户兴趣表征及内容推荐方法、装置和设备
CN113516025B (zh) 一种基于模型构建的高光谱图像处理方法、设备及介质
CN111737554A (zh) 评分模型训练方法、电子书评分方法及装置
CN113656738A (zh) 网站分类方法、装置、电子设备及可读存储介质
CN112950567A (zh) 质量评价方法、装置、电子设备及存储介质
CN111078945A (zh) 视频推送方法及装置
CN116051482B (zh) 一种基于多任务渐进学习的无参考图像质量评价方法
CN112183283A (zh) 一种基于图像的年龄估计方法、装置、设备及存储介质
CN114648646B (zh) 一种图像分类方法及装置
CN112417896B (zh) 一种领域数据获取方法、机器翻译方法及相关设备
CN116416456B (zh) 基于自蒸馏的图像分类方法、系统、存储介质和电子设备
WO2020143346A1 (zh) 排序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination