CN112614110B - 评估图像质量的方法、装置及终端设备 - Google Patents

评估图像质量的方法、装置及终端设备 Download PDF

Info

Publication number
CN112614110B
CN112614110B CN202011552230.0A CN202011552230A CN112614110B CN 112614110 B CN112614110 B CN 112614110B CN 202011552230 A CN202011552230 A CN 202011552230A CN 112614110 B CN112614110 B CN 112614110B
Authority
CN
China
Prior art keywords
image
neural network
quality
convolutional neural
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011552230.0A
Other languages
English (en)
Other versions
CN112614110A (zh
Inventor
尹康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN202011552230.0A priority Critical patent/CN112614110B/zh
Publication of CN112614110A publication Critical patent/CN112614110A/zh
Application granted granted Critical
Publication of CN112614110B publication Critical patent/CN112614110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本申请提供的一种图像质量评估方法，包括：获取待评估图像；将所述待评估图像输入至图像评估模型中，得到所述待评估图像对应的至少一个质量评估分值和所述待评估图像的语义信息；根据至少一个所述质量评估分值和所述语义信息确定所述待评估图像的质量评估结果。通过上述方法，可以提升图像质量评估的准确率。

Description

评估图像质量的方法、装置及终端设备
技术领域
本申请属于图像质量评估技术领域，尤其涉及评估图像质量的方法、评估图像质量的装置、终端设备及计算机可读存储介质。
背景技术
图像质量评估在许多场景都有广泛的应用需求，比如对图像进行质量评估可以从大量图像中筛选出高质量图像，和低质量图像。之后电子设备可以删除低质量图像，以减小硬件存储压力；或者，电子设备可以基于图像的质量评分可以从视频中提取中质量较好的图像。此外，还可以从大规模的数据中筛选出高质量的训练图像以用于神经网络模型的训练等。
发明内容
本申请实施例提供了评估图像质量的方法、评估图像质量的装置、终端设备及计算机可读存储介质，可以提升图像质量评估的准确率。
第一方面，本申请实施例提供了一种评估图像质量的方法，包括：
获取待评估图像；
将所述待评估图像输入至图像评估模型中，得到所述待评估图像对应的至少一个质量评估分值和所述待评估图像的语义信息；
根据至少一个所述质量评估分值和所述语义信息确定所述待评估图像的质量评估结果。
第二方面，本申请实施例提供了一种评估图像质量的装置，包括：
获取模块，用于获取待评估图像；
处理模块，用于将所述待评估图像输入至图像评估模型中，得到所述待评估图像对应的至少一个质量评估分值和所述待评估图像的语义信息；
确定模块，用于根据至少一个所述质量评估分值和所述语义信息确定所述待评估图像的质量评估结果。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器、显示器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，其特征在于，上述处理器执行上述计算机程序时实现如第一方面上述的评估图像质量的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如第一方面上述的评估图像质量的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中上述的评估图像质量的方法。
本申请实施例与现有技术相比存在的有益效果是：本申请实施例中，可以获取待评估图像，然后将所述待评估图像输入至图像评估模型中，得到所述待评估图像对应的至少一个质量评估分值和所述待评估图像的语义信息，从而获得用于描述所述待评估图像的初步的质量评估结果的质量评估分值，以及诸如所述待评估图像的场景信息、目标对象类别信息等语义信息，再根据至少一个所述质量评估分值和所述语义信息确定所述待评估图像的质量评估结果，从而可以根据所述语义信息对所述质量评估分值的评估偏差进行调整，能够针对不同语义的图像应用不同的图像质量评估标准来获得对应的质量评估结果，以提升图像质量评估的泛化性能，从而提升了图像质量评估的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种评估图像质量的方法的流程示意图；
图2是本申请一实施例提供的一种具体应用场景的示例性示意图；
图3是本申请一实施例提供的另一种评估图像质量的方法的流程示意图；
图4是本申请一实施例提供的卷积神经网络的一种示例性示意图；
图5是本申请一实施例提供的所述图像评估模型和所述分类器的一种示意性结构图；
图6是本申请一实施例提供的一种评估图像质量的装置的结构示意图；
图7是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
实施例一
随着手机等终端设备上的图像采集系统不断发展，各种应用场景中的图像数量也呈现指数级的增长。对可靠的图像质量评估的需求也日益增加。
目前的图像质量评估方式可以基于诸如卷积神经网络等深度学习技术来实现。而在实际应用中，各种待评估图像均通过预先训练得到的固定参数的一个卷积神经网络来确定质量评估分值，即所有的待评估图像均遵循该卷积神经网络中预选训练得到的一套固定的评分规则。然而在实际应用场景中，不同的待评估图像所对应的评分规则可能存在差异。
例如，在诸如人像类的图像中，一般可能会认为具有背景虚化效果的图像是质量较好的图像，而在诸如风景类的图像中，一般可能会希望整个图像都是清晰的图像，即整个图像都处于清晰状态时才认为是质量较好的图像。因此，目前的图像质量评估方式的质量评估准确率往往较低。
而本申请实施例可以通过图像评估模型得到所述待评估图像对应的至少一个质量评估分值和所述待评估图像的语义信息，从而获得用于描述所述待评估图像的初步的质量评估结果的质量评估分值，以及诸如所述待评估图像的场景信息、目标对象类别信息等语义信息，再根据至少一个所述质量评估分值和所述语义信息确定所述待评估图像的质量评估结果，从而可以根据所述语义信息对所述质量评估分值的评估偏差进行调整，能够针对不同语义的图像应用不同的图像质量评估标准来获得对应的质量评估结果，以提升图像质量评估的泛化性能，从而提升了图像质量评估的准确性。
具体地，图1示出了本申请实施例提供的一种评估图像质量的方法的流程图，该评估图像质量的方法可以应用于终端设备。所述终端设备可以具有图像评估功能。
本申请实施例对终端设备的具体类型不作任何限制。
示例性的，所述终端设备的类型可以为台式电脑、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等。
如图1所示，该评估图像质量的方法可以包括：
步骤S101，获取待评估图像。
本申请实施例中，示例性的，所述待评估图像可以是预先存储于所述终端设备中的本地图像，或者所述待评估图像也可以是与所述终端设备通信连接的其他终端传输至所述终端设备中的。所述待评估图像可以为通过指定摄像头采集得到的图像，也可以为从指定视频中提取的视频帧。所述待评估图像的具体来源和图像形式在此不做限制。
所述待评估图像的获取方式可以有多种。例如，可以为根据用户对终端设备的指定操作，从所述终端设备所显示的图像中确定用户选定的图像为所述待评估图像。或者，也可以是所述终端设备通过诸如图像识别等方法，从视频中提取得到相似度高于预设相似度的至少两个相似视频帧，再将任一所述相似视频帧作为所述待评估图像。所述待评估图像的具体获取方式在此不做限定。
所述待评估图像的具体图像形式可以有多种。在一些实施例中，所述待评估图像的图像格式可以为指定格式。例如，所述待评估图像中的像素点的像素值可以预先映射至指定取值范围。比如，可以将所述待评估图像所对应的原始图像的各个像素值除以127.5再减1后获得所述待评估图像，此时，所述待评估图像的像素值的取值范围被线性缩放到[-1，1]，从而减小数据规模，利于后续的图像处理。
步骤S102，将所述待评估图像输入至图像评估模型中，得到所述待评估图像对应的至少一个质量评估分值和所述待评估图像的语义信息。
本申请实施例中，所述图像评估模型具有评价待评估图像的质量分值和确定语义信息的功能。将所述待评估图像输入至图像评估模型中，可以通过所述图像评估模型可以对所述待评估图像进行处理，得到所述待评估图像对应的至少一个质量评估分值和所述待评估图像的语义信息。
其中，所述语义信息可以包括所述待评估图像的场景信息和/或目标对象类别信息等信息。所述语义信息的具体形式可以有多种，例如，所述语义信息可以包括类别标签和/或类别概率向量等。
所述质量评估分值可以用于指示初始评估得到的待评估图像的质量。所述质量评估分值的大小与所述待评估图像的质量之间的映射关系可以预先约定。例如，在一些示例中，所述质量评估分值越大，则说明对应的待评估图像的质量越好。当然，在另一些示例中，也可以是所述质量评估分值越小，则说明对应的待评估图像的质量越好。
在一种示例中，所述图像评估模型中可以包括特征提取结构、指定分类器和语义识别结构。在所述待评估图像输入所述图像评估模型之后，可以通过所述图像评估模型中的特征提取结构提取所述待评估图像的图像特征信息，然后可以将该图像特征信息分别输入指定分类器和语义识别结构，以获得指定分类器针对所述图像特征信息所输出的质量评估分值，并获得语义识别结构针对所述图像特征信息所输出的语义信息。
在另一种示例中，所述图像评估模型可以包括图像分类模型和至少一个质量评估模型。其中，所述图像分类模型用于确定输入至所述图像分类模型中的待评估图像的语义信息，所述质量评估模型用于得到所述待评估图像的一个所述质量评估分值。
示例性的，所述图像评估模型的部署方式也可以为以下方式中的一种：
1、所述图像评估模型可以为所述终端设备中预先配置的模型，例如，所述图像评估模型可以是手机等终端设备出厂时自带的模型，或者在所述终端设备中预先训练得到的模型。
相应的，所述将所述待评估图像输入至图像评估模型中，得到所述待评估图像对应的至少一个质量评估分值和所述待评估图像的语义信息，包括：
将待评估图像并行输入该至少一个质量评估模型以及图像分类模型中，以得到至少一个质量评估模型输出的待评估图像的质量评估分值，和图像分类模型输出的待评估图像的语义信息。
值得说明的是，至少一个质量评估模型中每个质量评估模型均为输出一个待评估图像的质量评估分值，从而得到至少一个质量评估分值。
2、所述图像评估模型也可以为在诸如云端服务器等与所述终端设备通信连接的第三方设备上预先配置的模型。此时，手机等终端设备可以在需要评估图像的质量分值且终端设备中不具有该图像评估模型时，向第三方设备请求获取所述图像评估模型，或者第三方设备主动向终端设备发送图像评估模型。
相应的，所述将所述待评估图像输入至图像评估模型中，得到所述待评估图像对应的至少一个质量评估分值和所述待评估图像的语义信息，包括：
将待评估图像发送给第三方设备，该第三方设备用于根据至少一个质量评估模型确定待评估图像的质量评估分值以及通过图像分类模型确定所述待评估图像的语义信息；
接收来自第三方设备发送的待评估图像的质量评估分值以及所述待评估图像的语义信息。
通过本示例，可以借助服务器等其他第三方的终端中部署的图像评估模型获得所述至少一个质量评估分值和所述待评估图像的语义信息，从而减轻诸如手机等处理性能较低的终端设备的数据处理压力。
所述图像评估模型的来源、部署方式以及参数配置方式可以根据实际应用场景需求来确定。
作为一种示例，本申请实施例中的图像评估模型可以包括至少一个图像分类模型和至少一个质量评估模型，其中，所述质量评估模型用于获得一个所述质量评估分值，所述图像分类模型用于确定所述待评估图像的语义信息。相应的，该步骤S102的具体实现可以参考下述S302和S302的描述。
步骤S103，根据至少一个所述质量评估分值和所述语义信息确定所述待评估图像的质量评估结果。
本申请实施例中，在获取到至少一个所述质量评估分值和所述语义信息之后，可以针对所述语义信息，调整对所述待评估图像的评估方式，即根据所述语义信息对所述质量评估分值的评估偏差进行调整，从而获得所述待评估图像的质量评估结果。
所述质量评估结果的具体形式在此不作限定。示例性的，所述质量评估结果可以为所述待评估图像的目标质量评估分值，或者也可以是所述待评估图像的质量等级(如高质量图像或者低质量图像)等形式。
获得所述待评估图像的质量评估结果的方式可以有多种。
在一种示例中，可以将至少一个所述质量评估分值和所述语义信息输入分类器中，以获得所述分类器输出的所述质量评估结果。其中，该分类器可以包括全连接层和/或sigmoid函数等，以用于融合所述质量评估分值和所述语义信息来进行图像的质量评估。
而在另一种示例中，所述语义信息可以包括类别概率向量。可以预先通过实验分别确定指定图像类别下所述质量评估模型的评估结果的偏差情况，从而确定各个指定图像类别所对应的评估分值补偿值。在获得所述待评估图像的类别概率向量之后，可以根据所述类别概率向量所指示的图像类别，确定所述待评估图像的评估分值补偿值，从而根据所述评估分值补偿值和所述质量评估分值，获得所述质量评估结果。
若预先确定人像类别的图像在质量评估分值处于[0.3，0.5]之间时的评估分值补偿值为0.2，而风景类别的图像在质量评估分值处于[0.3，0.5]之间时的评估分值补偿值为-0.1。
那么，若通过本申请实施例获得待评估图像的质量评估分值为0.4，并且获得所述待评估图像的类别概率向量，且该类别概率向量所指示的图像类别为人像类别，那么，所述待评估图像的质量评估结果可以为0.4+0.2＝0.6。
目前的图像质量评估方式通常是通过预先训练得到的固定参数的一个卷积神经网络来确定质量评估分值，即所有的待评估图像均遵循该卷积神经网络中预选训练得到的一套固定的评分规则。
例如，目前的图像质量评估方式中，针对背景存在虚化的图像，往往都会确认该背景存在虚化的图像的质量较差。然而在实际认知中，用户一般会认为对于人像模式，背景存在虚化的图像的质量往往较好，但对于风景模式，背景存在虚化的图像的质量。可见，目前的图像质量评估方式在实际进行图像质量评估时的准确性往往较差。
而通过本申请实施例，可以根据所述语义信息对所述质量评估分值的评估偏差进行调整。
例如，对于背景存在虚化的图像A和背景存在虚化的图像B，由于图像A和图像B中均存在模糊的部分，因此，目前的图像质量评估方式针对图像A和图像B输出的质量评估分值往往都会偏低，比如可能均为0.8。
而可以通过本申请实施例，还可以获得图像A的语义信息指示图像A的图像类别为人像，获得图像B的语义信息指示图像B的图像类别为风景。那么，根据图像A的语义信息和图像A的质量评估分值0.8所确定的图像A的图像评估结果可以指示图像A为高质量图像，根据图像B的语义信息和图像B的质量评估分值0.8所确定的图像B的图像评估结果可以指示图像B为低质量图像。
由于一般会认为具有背景虚化效果的人像类图像是质量较好的图像，但具有背景虚化效果的风景类图像为质量较差的图像，因此，相对于目前的图像质量评估方式，通过本申请实施例所得到的图像的质量评估结果更为准确。
因此，通过语义信息，可以对待评估图像的质量评估分值的评估偏差进行有效地调整，相对于目前的图像质量评估方式，显著提升图像质量评估时的准确性。
可见，通过本申请实施例，可以根据所述语义信息对所述质量评估分值的评估偏差进行调整，能够针对不同语义的图像应用不同的图像质量评估标准来获得对应的质量评估结果，以提升图像质量评估的泛化性能，从而提升了图像质量评估的准确性。
在一些实施例中，所述语义信息包括类别概率向量；
所述根据至少一个所述质量评估分值和所述语义信息确定所述待评估图像的质量评估结果，包括：
根据所述质量评估分值和所述类别概率向量确定第三特征向量，所述第三特征向量的维度为所述类别概率向量的维度与所述质量评估分值的维度之和；
根据所述第三特征向量得到质量评估结果。
上述实施例的具体可以参照实施例二中相关内容的表述，在此不再赘述。
通过本申请实施例，可以实现对图像的质量评估，从而识别出高质量图像以及低质量图像，能够为后续删除低质量图像提供参考，为大规模的图像数据存储提供便利。此外，还可以从训练数据集中区分高质量图像和低质量图像，以用于不同种类和功能的深度学习模型的训练，例如，可以识别得到高质量图像数据集以及低质量图像数据集，以用于训练图像去噪模型等。
如图2所示，为本申请实施例的一种具体应用场景。
在该示例性应用场景中，针对用户的手机相册中存储的大量用户图像，可以对该大量用户图像进行相似度检测，从而可以从中识别出多组相似图像，其中，一组相似图像中至少包括两个用户图像。
针对一组相似图像，可以通过本申请实施例分别获取到该组相似图像中的各个用户图像的质量评估结果，该质量评估结果可以为对应的用户图像的目标质量评估分值。然后，根据该组相似图像中的各个用户图像的质量评估结果，从该组相似图像的各个用户图像中识别出质量最佳用户图像，并在终端设备的显示界面对该组图像中的质量最佳用户图像进行标识。此时，用户方便地识别出该组图像中的质量最佳用户图像并保留，而删除该组图像中的其他用户图像，以节省终端设备的存储资源。
实施例二
在上述实施例的基础上，图3示出了本申请实施例提供的另一种评估图像质量的方法的流程图。
本申请实施例中，所述图像评估模型包括图像分类模型和至少一个质量评估模型，其中，所述质量评估模型用于获得一个所述质量评估分值，所述图像分类模型用于确定所述待评估图像的语义信息；
如图3所示，该评估图像质量的方法可以包括：
步骤S301，获取待评估图像。
步骤S302，通过至少一个质量评估模型确定待评估图像的至少一个质量评估分值；
所述质量评估模型的类型可以有多种。例如，所述质量评估模型可以为卷积神经网络模型，所述卷积神经网络模型的结构在此不做限定，示例性的，所述卷积神经网络模型可以包含卷积层、池化层、非线性激活层以及全连接层等中的至少一种。或者，所述质量评估模型也可以为基于相位一致性(Phase Congruency，PC)、图像梯度幅度(GradientMagnitude，GM)、多尺度的结构相似性(Multi-Scale Structural Similarity Index，MS-SSIM)和/或信息量加权的结构相似性(Information Content Weighted StructuralSimilarity Index,IW-SSIM)等信息的评估模型。
所述质量评估模型可以为所述终端设备中预先配置的模型，例如，所述质量评估模型可以是手机等终端设备出厂时自带的模型，或者在所述终端设备中预先训练得到的模型。或者，所述质量评估模型也可以为在诸如服务器等与所述终端设备通信连接的第三方终端上预先配置的模型。
所述质量评估模型的个数可以为一个或者至少两个。若所述质量评估模型的个数为至少两个，那么，可以相应地获得至少两个所述质量评估分值。
步骤S303，通过所述图像分类模型确定所述待评估图像的语义信息；
示例性的，所述图像分类模型可以为诸如基于小波变换的传统图像分类模型，也可以为诸如残差网络等卷积神经网络模型。所述图像分类模型可以用于对图像场景进行分类，也可以用于对图像中的目标物体的类别进行识别，该图像分类模型对图像的分类方式可以基于场景需求来确定。
所述图像分类模型可以为所述终端设备中预先配置的模型，例如，所述图像分类模型可以是手机等终端设备出厂时自带的模型，或者在所述终端设备中预先训练得到的模型。或者，所述图像分类模型也可以为在诸如服务器等与所述终端设备通信连接的第三方终端上预先配置的模型。
通过所述图像分类模型，可以获取到指示所述待评估图像的场景类别、目标对象类别等语义信息，该语义信息可以为类别概率向量的形式，以指示所述待评估图像的图像类别。通过识别得到所述语义信息，可以在后续根据图像的场景类别、目标对象类别等语义信息对图像进行针对性的质量评估。
在一些实施例中，至少一个所述质量评估模型和所述图像分类模型可以为并列结构，所述待评估图像可以并行地输入至少一个所述质量评估模型和所述图像分类模型中。
步骤S304，根据至少一个所述质量评估分值和所述语义信息确定所述待评估图像的质量评估结果。
步骤S301以及步骤S304分别与上述实施例中的步骤S101以及步骤S103相同，具体内容可参见上述实施例，在此不再赘述。
本申请实施例中，可以通过至少一个质量评估模型对所述待评估图像进行初步的质量评估。并且，可以通过图像分类模型，获取到能够所述待评估图像的场景类别、目标对象类别等语义信息，从而可以所述语义信息以及至少一个质量评估分值对初步的质量评估结果进行调整，从而能够针对不同类别的图像应用不同的图像质量评估标准来获得对应的目标质量评估分值，以提升图像质量评估的泛化性能，从而提升了图像质量评估的准确性。
在一些实施例中，所述质量评估模型为卷积神经网络模型；
所述通过至少一个质量评估模型确定待评估图像的至少一个质量评估分值，包括：
针对每一个所述卷积网络模型，将所述待评估图像输入所述卷积神经网络模型，获得所述卷积神经网络模型中的特征提取层针对所述待评估图像所输出的第一特征向量；
通过所述卷积神经网络模型中的自适应池化层将所述第一特征向量转化为预设维度的第二特征向量；
根据所述第二特征向量和所述卷积神经网络模型，获得所述待评估图像的一个质量评估分值。
所述特征提取层可以用于对输入所述卷积神经网络模型的待评估图像进行特征提取，从而将该待评估图像转换为特征向量的形式。示例性的，该特征提取层可以包括至少两个级联的卷积层。
所述自适应池化层(Adaptive Pooling)可以用于执行自适应最大池化处理或者自适应平均池化处理等操作。通过所述自适应池化层对输入数据进行处理后，所获得的输出向量为固定维度的向量。
所述根据所述第二特征向量和所述卷积神经网络模型，获得所述待评估图像的一个质量评估分值可以是将所述第二特征向量输入所述卷积神经网络模型中的指定层，获得该指定层输出的质量评估分值。
在一种实施例中，所述根据所述第二特征向量和所述卷积神经网络模型，获得所述待评估图像的一个质量评估分值，包括：
通过所述卷积神经网络模型中的第二分类器对所述第二特征向量进行处理，获得所述待评估图像的一个质量评估分值。
该第二分类器可以包括全连接层和/或sigmoid函数等，以通过该第二分类器中的全连接层，根据所述第二特征向量进行分类，并输出一个实数，然后通过sigmoid函数将输出的实数的取值范围限制在预设取值范围，例如，限制在[0,1]，从而获得一个所述质量评估分值。
其中，该sigmoid函数可以根据以下公式来表示：
sigmoid(x)＝1/(1+exp(-x))
目前，在传统的图像质量评估模型中，往往是通过诸如全连接层等指定数据处理层获得最终的质量评估分值，而全连接层等指定数据处理层要求输入数据的维度必须固定。但是在实际应用场景下，不同图像往往具有不同的尺寸，因此，在传统的图像质量评估中，会首先将输入图像统一归一化到预设尺寸，但是该将图像尺寸归一化至预设尺寸的操作会破坏原始图像的长宽比，造成原始图像中内容的形变与扭曲，导致在通过传统的图像质量评估模型对输入的图像进行特征提取时，也只能提取到扭曲的、不准确的特征信息，从而导致根据该不准确的特征信息所做的图像质量评估也会出现误差，大大影响图像质量评估结果的准确性。
与传统的图像质量评估模型相比，本申请实施例中，通过自适应池化层，可以使得无论所述待评估图像的尺寸如何变化，所获得的第一特征向量的尺寸如何变化，都可以转换得到预设维度的第二特征向量，从而满足后续的全连接层等指定数据处理层只能处理固定维度的输入数据来获得质量评估分值的要求。
例如，传统的图像质量评估模型会要求输入图像的像素尺寸均要归一化至256×256像素尺寸。此时，对于256×512像素尺寸的原始图像，在将256×512像素尺寸的原始图像该转换256×256像素尺寸的待评估图像时，会破坏原始图像的长宽比，造成尺寸转换后得到的256×256像素尺寸的待评估图像中内容的形变与扭曲，从而导致在通过传统的图像质量评估模型对待评估图像进行特征提取时，也只能提取到扭曲的、不准确的特征信息，导致根据该不准确的特征信息所做的图像质量评估也会出现误差。
而通过本申请实施例，可以将256×512像素尺寸的原始图像作为待评估图像输入所述卷积神经网络模型，从而避免了尺寸归一化操作对图像内容的扭曲，保留了原始图像中的空间结构信息，使得所述卷积神经网络模型中的特征提取层针对所述待评估图像所输出的第一特征向量为较为准确的特征向量，从而提升了该待评估图像的质量评估分值的准确性。
也即是说，本申请实施例中所述卷积神经网络的输入图像的尺寸无需统一至预设尺寸，从而无需对待评估图像等进行尺寸归一化操作(缩放、填充等)，可以更好地保留原始输入图片的空间结构信息，使得待评估图像不会因为尺寸变换操作而出现图像中内容的形变与扭曲，进而可以保证所提取得到的第一特征向量的准确性，从而提升图像质量评估结果的准确性。
如图4所示，为所述卷积神经网络的一种示例性示意图。
其中，所述待评估图像可以依次经过所述卷积神经网络模型中的特征提取层、自适应池化层以及第二分类器，获得所述待评估图像的一个质量评估分值。
在一些实施例中，所述语义信息包括类别概率向量；
所述根据至少一个所述质量评估分值和所述语义信息确定所述待评估图像的质量评估结果，包括：
根据所述质量评估分值和所述类别概率向量确定第三特征向量，所述第三特征向量的维度为所述类别概率向量的维度与所述质量评估分值的维度之和；
根据所述第三特征向量得到质量评估结果。
本申请实施例中，所述概率类别向量可以指示所述待评估图像的场景类别、目标对象类别等类别的概率信息。
示例性的，所述概率类别向量P可以为P＝{p1,p2,…,pn}，其中，pi为概率值，并且pi对应一种预设类别。
本申请实施例中，所述质量评估分值的维度可以认为是一维，或者，也可以根据所述质量评估分值的个数来确定为所述质量评估分值的维度。
例如，若所述质量评估分值的个数有3个，那么，可以计算该三个质量评估分值的平均评估值，然后根据该平均评估值和所述类别概率向量确定第三特征向量。或者也可以根据该三个质量评估分值生成一个三维的评估向量，然后根据该评估向量和所述类别概率向量确定第三特征向量。
根据所述质量评估分值和所述类别概率向量确定第三特征向量可以包括：
将所述质量评估分值和所述类别概率向量进行级联，获得所述第三特征向量。
示例性的，对于m个质量评估分值和一个N维的类别概率向量，可以将该m个质量评估分值和一个N维的类别概率向量级联得到一个(m+N)维的第三特征向量。
在一些实施例中，所述根据所述第三特征向量得到质量评估结果包括：
将所述第三特征向量输入分类器，获得所述分类器所输出的质量评估结果。
本申请实施例中，所述分类器可以包括全连接层和/或sigmoid函数等，以通过该分类器中的全连接层，根据所述第三特征向量获得质量分数，然后通过sigmoid函数将输出的质量分数的取值范围限制在预设取值范围，从而获得所述分类器所输出的质量评估结果。
如图5所示，为所述图像评估模型和所述分类器的一种示意性结构图。
其中，所述图像评估模型中所包括的质量评估模型的个数可以有一个或至少两个。而若所述图像评估模型中所包括的质量评估模型的个数为至少两个，如包括质量评估模型1、质量评估模型···质量评估模型m，则所述待评估图像可以并行地输入质量评估模型1、质量评估模型2···质量评估模型m以及所述图像分类模型，从而获得质量评估分值1、质量评估分值2···质量评估分值m和所述类别概率向量。
在获得该至少两个质量评估分值和所述类别概率向量之后，可以将该至少两个质量评估分值和所述类别概率向量进行级联，获得所述第三特征向量，然后将所述第三特征向量输入所述分类器，从而获得所述分类器所输出的质量评估结果。
在一些实施例中，所述质量评估模型为卷积神经网络模型；
在通过至少一个质量评估模型确定待评估图像的至少一个质量评估分值之前，还包括：
通过第一图像训练集，对参考卷积神经网络模型、参考图像分类模型以及参考分类器进行联合训练，并将联合训练后得到的参考卷积神经网络模型作为所述卷积神经网络模型，将联合训练后得到的参考图像分类模型作为所述图像分类模型，以及将联合训练后得到的参考分类器作为所述分类器。
本申请实施例中，可以通过所述第一图像训练集对所述参考卷积神经网络模型、参考图像分类模型以及参考分类器进行联合训练。其中，所述第一图像训练集中可以包括各个第一图像，以及各个第一图像所对应的质量标签和类别标签。其中，所述质量标签可以用于指示对应的第一图像的标准质量分值，而所述类别标签可以用于指示对应的第一图像的真实类别。
在一些实施例中，所述质量标签的取值范围可以为指定的质量标签取值范围，例如，对第一图像的标准质量分值线性缩放至[0，1]区间，以使得质量标签取值归一化，以便于后续的数据比对和处理。
在一些实施例中，所述类别标签可以为二值化的标签向量。可以通过one-hot等编码技术将原始的文本标签或者编码标签等转换得到该类别标签。其中，若类别的个数为H，则所述则标签向量为H维向量，各维取值为0或1，第i位取1表示对应的训练图像属于第i类，取0表示对应的第一图像不属于第i类。
可以理解的是，所述参考卷积神经网络模型的个数与所述卷积神经网络的个数相同，即若所述卷积神经网络的个数为两个，图像分类模型为一个，分类器的个数为一个，那么，在联合训练中，可以对两个参考卷积神经网络模型、一个参考图像分类模型以及一个参考分类器进行联合训练，从而在联合训练完成后，获得两个卷积神经网络模型、一个图像分类模型以及一个分类器。
在一些实施例中，所述通过第一图像训练集，对参考卷积神经网络模型、参考图像分类模型以及参考分类器进行联合训练，包括：
针对所述联合训练的每一次迭代过程，将所述第一图像训练集中针对本次迭代过程的第一训练图像分别输入所述参考卷积神经网络模型和所述参考图像分类模型，获得所述参考卷积神经网络模型针对所述第一训练图像所输出的第一质量评估分值，以及获得所述参考图像分类模型针对所述第一训练图像所输出的第一类别概率向量；
根据所述第一质量评估分值与所述第一类别概率向量确定第四特征向量；
通过所述参考分类器对所述第四特征向量进行处理，获得本次迭代过程所对应的第二质量评估分值；
根据所述第二质量评估分值确定所述联合训练是否完成。
本申请实施例中，若所述第二质量评估分值符合预设条件，则确定所述联合训练完成；
若所述第二质量评估分值不符合所述预设条件，则根据所述本次质量评估分值对所述卷积神经网络模型、所述图像分类模型以及所述分类器进行更新，以根据更新后的所述卷积神经网络模型、更新后的所述图像分类模型以及更新后的所述分类器执行所述联合训练的下一次迭代。
其中，所述预设条件指所述第二质量评估分值满足基于指定损失函数的第一损失条件或者所述联合训练达到预设的最大迭代次数。
所述指定损失函数的选取在此不做限定，示例性的，所述指定损失函数可以为基于均方误差的损失函数或者基于交叉熵的损失函数等等。
通过所述联合训练，可以提升所述参考卷积神经网络模型、参考图像分类模型以及参考分类器的性能，使得参考卷积神经网络模型、参考图像分类模型以及参考分类器之间的参数能够通过训练相互影响，从而更好地识别语义信息对质量评估偏差的影响，能够更好地根据语义信息对质量评估分值进行调整。
在一些实施例中，在通过第一图像训练集，对参考卷积神经网络模型、参考图像分类模型以及参考分类器进行联合训练之前，还包括：
根据第二图像训练集，对第一卷积神经网络模型进行训练，并将训练完成的第一卷积神经网络模型作为所述参考卷积神经网络模型；
根据第三图像训练集，对第一图像分类模型进行训练，并将训练完成的第一图像分类模型作为所述参考图像分类模型。
本申请实施例中，所述第二图像训练集中可以包括各个第二图像，以及各个第二图像所对应的质量标签。所述第三图像训练集中可以包括各个第三图像，以及各个第三图像所对应的类别标签。
示例性的，对所述第一卷积神经网络进行训练时，可以反向传播算法等来进行第一卷积神经网络的参数更新，并通过基于均方误差的损失函数来判断所述第一卷积神经网络模型是否训练完成。
其中，所述基于均方误差的损失函数Losss(x,y)可以通过以下公式来表示：
Losss(x,y)＝(x-y)2
其中，x为第一卷积神经网络模型的训练输出结果，y为对应的质量标签。
在对所述第一图像分类模型进行训练时，可以通过基于交叉熵的损失函数来判断所述第一图像分类模型是否训练完成。
其中，所述基于交叉熵的损失函数LossCE(L,Y)可以基于以下公式来表示：
Figure BDA0002857538370000191
其中，li为所述第三图像训练集中第i个第三图像的类别标签，yi为第一图像分类模型对第i个第三图像的预测类别。
所述参考卷积神经网络模型以及参考图像分类模型均为经过初步训练后得到的模型。
可见，本申请实施例中，可以先获得初始训练完成的参考卷积神经网络模型以及参考图像分类模型。此时，由于各个参考卷积神经网络模型以及参考图像分类模型分开进行初步训练，使得训练过程中的监督信息较少，对应的模型更容易收敛到局部最优，从而减小联合训练时的训练难度，并且可以提升获得的卷积神经网络模型、图像分类模型以及分类器的性能。
此外，通过本申请实施例进行联合训练时，需要第一图像训练集的图像同时有质量标签和类别标签，但是实际中由于各数据集一般都是针对特定任务专门建立的，同时拥有这两类标签的数据非常少。因此对各个参考卷积神经网络模型以及参考图像分类模型分开进行初步训练后再进行联合训练可以更方便地获取训练数据集，减小对联合训练的训练数据的需求。
在一些实施例中，所述根据第二图像训练集，对第一卷积神经网络模型进行训练，并将训练完成的第一卷积神经网络模型作为所述参考卷积神经网络模型，包括：
针对所述第一卷积神经网络模型的每一次迭代过程，将所述第二图像训练集中针对本次迭代过程的第二训练图像和第三训练图像分别输入所述第一卷积神经网络模型，获得所述第一卷积神经网络模型针对所述第二训练图像的第三质量评估分值，以及获得所述第一卷积神经网络模型针对所述第三训练图像的第四质量评估分值；
计算所述第三质量评估分值与所述第四质量评估分值之间的评估差值；
根据所述评估差值、所述第二训练图像的第一标准质量分值以及所述第三训练图像的第二标准质量分值，确定所述第一卷积神经网络模型的对比损失；
根据所述第三质量评估分值、所述第四质量评估分值、所述第二训练图像的第一标准质量分值以及所述第三训练图像的第二标准质量分值，确定所述第一卷积神经网络模型的评估损失；
根据所述评估损失和所述对比损失，确定针对所述第一卷积神经网络模型的本次迭代过程是否训练完成。
本申请实施例中，可以根据所述评估损失和所述比对损失，来确定针对所述第一卷积神经网络模型的本次迭代过程是否训练完成。
其中，所述比对损失可以为基于均方误差或者交叉熵等损失函数所得到的损失值。所述比对损失可以用于描述所述第三质量评估分值与所述第四质量评估分值之间的相对关系，与实际的第一标准质量分值与第二标准质量分值之间的真实相对关系是否相同。
在一些实施例中，所述评估差值的正负可以用于描述所述第三质量评估分值与所述第四质量评估分值之间大小排序和实际的第一标准质量分值与第二标准质量分值之间的大小排序是否相同，因此，通过所述评估差值不仅可以评估所述第三质量评估分值与所述第四质量评估分值之间的差值的绝对值是否准确，还可以评估所述第三质量评估分值与所述第四质量评估分值之间的大小排序是否准确。
例如，对于第二训练图像Ii以及第三训练图像Ij，第三质量评估分值为f(Ii)和第四质量评估分值f(Ij)。若第二训练图像Ii的第一标准质量分值大于第三训练图像Ij的第二标准质量分值，那么对比损失Loss如下式所示。
Loss＝max{0，margin+f(Ij)-f(Ii)}
其中，margin是预设的一个较小正数。
下面通过一个示例进行说明。
第二训练图像的第一标准质量分值是2，第一卷积神经网络对第二训练图像的第三质量评估分值可能在1.8～2.2之间；第三训练图像的第二标准质量分值是1.8，第一卷积神经网络对第三训练图像的第四质量评估分值可能在1.6～2之间。
实际应用中，很可能出现第三质量评估分值是1.8、第四质量评估分值是2的情况，这一评估结果破坏了第二训练图像和第三训练图像之间的相对图像质量的排序关系，此时可能会认为第三训练图像相对于第二训练图像是高质量图像。
而本申请实施例中，可以通过所述评估差值的正负来描述所述第三质量评估分值与所述第四质量评估分值之间大小排序和实际的第一标准质量分值与第二标准质量分值之间的大小排序是否相同，从而获得比对损失，以对图像之间的相对质量评估分值的排序进行约束，以提高训练速度，并且提高训练后的第一卷积神经网络模型的性能。
在一些实施例中，所述图像评估模型包括图像分类模型和至少两个卷积神经网络模型；
所述通过至少一个质量评估模型确定待评估图像的至少一个质量评估分值，包括：
针对每一个卷积神经网络模型，通过所述卷积神经网络模型确定所述待评估图像的初始质量评估分值；
根据所述卷积神经网络模型的预设权重和所述初始质量评估分值，计算所述卷积神经网络模型针对所述待评估图像的质量评估分值。
本申请实施例中，可以根据各个卷积神经网络模型的质量评估准确性等信息，确定所述卷积神经网络模型的预设权重，从而结合各个所述预设权重和各个所述初始质量评估分值，减小单个卷积神经网络的评估误差，提升质量评估分值的准确性。
在一些实施例中，所述根据第二图像训练集，对第一卷积神经网络模型进行训练，并将训练完成的第一卷积神经网络模型作为所述参考卷积神经网络模型，包括：
基于预设顺序，根据第二图像训练集依次对至少两个第一卷积神经网络模型进行训练，并将训练完成的每一个第一卷积神经网络模型作为一个所述参考卷积神经网络模型；
其中，针对每一个第一卷积神经网络模型进行训练的过程中，从所述第二图像训练集中随机获取N个第四训练图像以及所述N个第四训练图像所分别对应的当前图像权重，N为大于1的整数；
根据所述N个第四训练图像对所述第一卷积神经网络模型进行训练，并将训练完成的所述第一卷积神经网络模型作为一个所述参考卷积神经网络模型；
在获得训练完成的所述第一卷积神经网络模型之后，根据训练完成的所述第一卷积神经网络模型针对所述N个第四训练图像的输出结果和所述N个第四训练图像所分别对应的当前图像权重，确定训练完成的所述第一卷积神经网络模型所对应的质量评估模型的预设权重；
在确定训练完成的所述第一卷积神经网络模型所对应的质量评估模型的预设权重之后，根据所述输出结果，更新所述N个第四训练图像所分别对应的当前图像权重。
本申请实施例中，所述预设顺序可以是开发人员预先设定或者根据各个卷积神经网络模型的质量评估分值与所述类别概率向量的级联顺序等信息来确定。
所述第二图像训练集中的各个训练图像可以对应有图像权重，该图像权重的初始值可以在针对每一个第一卷积神经网络模型进行训练后进行调整。
例如，针对每一个第一卷积神经网络模型，可以在获得训练完成的所述第一卷积神经网络模型之后，在训练完成的所述第一卷积神经网络模型针对所述N个第四训练图像的输出结果中，区分质量评估误差较小的第四训练图像和质量评估误差较大的第四训练图像，然后提升质量评估误差较大的第四训练图像的当前图像权重，以在后续的第一卷积神经网络模型的训练中，可以对该质量评估误差较大的第四训练图像增加关注，并相应地调整模型参数。
本申请实施例中，所述训练完成的所述第一卷积神经网络模型所对应的质量评估模型的预设权重可以根据质量评估误差较大的第四训练图像的当前图像权重和/或质量评估误差较小的第四训练图像的当前图像权重，确定质量评估误差较大的第四训练图像的当前图像权重。
本申请实施例中，除第一个训练的第一卷积神经网络模型之外，其他第一卷积神经网络模型的训练可以对前期的其他第一卷积神经网络模型的训练的错误结果进行关注，并可以根据前期训练的错误结果进行参数调整和性能弥补，从而往往可以随着预设顺序的依次变化，不断提升训练得到的第一卷积神经网络模型的质量评估性能，并且，还可以根据各个训练得到的第一卷积神经网络模型的质量评估性能，获得对应的卷积神经网络模型的预设权重，从而在后续应用时，根据所述预设权重减小单个卷积神经网络的评估误差，提升质量评估分值的准确性。
结合图1～图3所示的实施例，本申请实施例提供的方法在得到质量评估结果之后，还可以包括：
终端设备删除质量评估结果低于预设值的待评估图像。
例如，终端设备如果确定图像A的质量评估结果低于预设值，可以先提示用户该图像A的质量评估结果低于预设值。然后在用户的指示下，删除该图像A。或者处理设备如果确定图像A的质量评估结果低于预设值，则自动删除该图像A。这样可以在图像A存储在终端设备处时减少终端设备的存储压力。
结合图1～图3所示的实施例，本申请实施例提供的方法在得到质量评估结果之后，如果该质量评估结果为目标质量评估分值，则本申请实施例提供的方法还可以包括：终端设备根据该目标质量评估分值，确定该待评估图像的质量等级。比如，如果目标质量评估分值大于阈值1，则确定该待评估图像的质量等级为高质量，即该待评估图像为高质量图像。如果目标质量评估分值小于或等于阈值2，则确定该待评估图像的质量等级为低质量，即该待评估图像为低质量图像。阈值1和阈值2可以相等也可以不相等，本申请实施例对此不做限定。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例三
对应于上文实施例上述的评估图像质量的方法，图6示出了本申请实施例提供的一种评估图像质量的装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图6，该评估图像质量的装置6包括：
获取模块601，用于获取待评估图像；
处理模块602，用于将所述待评估图像输入至图像评估模型中，得到所述待评估图像对应的至少一个质量评估分值和所述待评估图像的语义信息；
确定模块603，用于根据至少一个所述质量评估分值和所述语义信息确定所述待评估图像的质量评估结果。
可选的，所述图像评估模型包括图像分类模型和至少一个质量评估模型，其中，所述质量评估模型用于获得一个所述质量评估分值，所述图像分类模型用于确定所述待评估图像的语义信息；
所述处理模块602包括：
第一确定单元，用于通过至少一个质量评估模型确定待评估图像的至少一个质量评估分值；
第二确定单元，用于通过所述图像分类模型确定所述待评估图像的语义信息。
可选的，所述质量评估模型为卷积神经网络模型；
所述第一确定单元包括：
第一处理子单元，用于针对每一个所述卷积网络模型，将所述待评估图像输入所述卷积神经网络模型，获得所述卷积神经网络模型中的特征提取层针对所述待评估图像所输出的第一特征向量；
第二处理子单元，用于通过所述卷积神经网络模型中的自适应池化层将所述第一特征向量转化为预设维度的第二特征向量；
第三处理子单元，用于根据所述第二特征向量和所述卷积神经网络模型，获得所述待评估图像的一个质量评估分值。
可选的，所述语义信息包括类别概率向量；
所述确定模块603包括：
第三确定单元，用于根据所述第一质量评估分值和所述类别概率向量确定第三特征向量，所述第三特征向量的维度为所述类别概率向量的维度与所述第一质量评估分值的维度之和；
第一处理单元，用于根据所述第三特征向量得到质量评估结果。
可选的，所述第一处理单元具体用于：
将所述第三特征向量输入分类器，获得所述分类器所输出的质量评估结果。
可选的，所述质量评估模型为卷积神经网络模型；
所述评估图像质量的装置6还包括：
联合训练模块，用于通过第一图像训练集，对参考卷积神经网络模型、参考图像分类模型以及参考分类器进行联合训练，并将联合训练后得到的参考卷积神经网络模型作为所述卷积神经网络模型，将联合训练后得到的参考图像分类模型作为所述图像分类模型，以及将联合训练后得到的参考分类器作为所述分类器。
可选的，所述联合训练模块包括：
第二处理单元，用于针对所述联合训练的每一次迭代过程，将所述第一图像训练集中针对本次迭代过程的第一训练图像分别输入所述参考卷积神经网络模型和所述参考图像分类模型，获得所述参考卷积神经网络模型针对所述第一训练图像所输出的第一质量评估分值，以及获得所述参考图像分类模型针对所述第一训练图像所输出的第一类别概率向量；
第四确定单元，用于根据所述第一质量评估分值与所述第一类别概率向量确定第四特征向量；
第三处理单元，用于通过所述参考分类器对所述第四特征向量进行处理，获得本次迭代过程所对应的第二质量评估分值；
第四处理单元，用于根据所述第二质量评估分值确定所述联合训练是否完成。
可选的，所述评估图像质量的装置6还包括：
第一训练模块，用于根据第二图像训练集，对第一卷积神经网络模型进行训练，并将训练完成的第一卷积神经网络模型作为所述参考卷积神经网络模型；
第二训练模块，用于根据第三图像训练集，对第一图像分类模型进行训练，并将训练完成的第一图像分类模型作为所述参考图像分类模型。
可选的，所述第一训练模块包括：
第五处理单元，用于针对所述第一卷积神经网络模型的每一次迭代过程，将所述第二图像训练集中针对本次迭代过程的第二训练图像和第三训练图像分别输入所述第一卷积神经网络模型，获得所述第一卷积神经网络模型针对所述第二训练图像的第三质量评估分值，以及获得所述第一卷积神经网络模型针对所述第三训练图像的第四质量评估分值；
计算单元，用于计算所述第三质量评估分值与所述第四质量评估分值之间的评估差值；
第五确定单元，用于根据所述评估差值、所述第二训练图像的第一标准质量分值以及所述第三训练图像的第二标准质量分值，确定所述第一卷积神经网络模型的对比损失；
第六确定单元，用于根据所述第三质量评估分值、所述第四质量评估分值、所述第二训练图像的第一标准质量分值以及所述第三训练图像的第二标准质量分值，确定所述第一卷积神经网络模型的评估损失；
第七确定单元，用于根据所述评估损失和所述对比损失，确定针对所述第一卷积神经网络模型的本次迭代过程是否训练完成。
可选的，所述图像评估模型包括图像分类模型和至少两个卷积神经网络模型；
所述第一确定单元包括：
第一确定子单元，用于针对每一个卷积神经网络模型，通过所述卷积神经网络模型确定所述待评估图像的初始质量评估分值；
计算子单元，用于根据所述卷积神经网络模型的预设权重和所述初始质量评估分值，计算所述卷积神经网络模型针对所述待评估图像的质量评估分值。
可选的，所述第一训练模块包括：
训练单元，用于基于预设顺序，根据第二图像训练集依次对至少两个第一卷积神经网络模型进行训练，并将训练完成的每一个第一卷积神经网络模型作为一个所述参考卷积神经网络模型；
其中，针对每一个第一卷积神经网络模型进行训练的过程中，从所述第二图像训练集中随机获取N个第四训练图像以及所述N个第四训练图像所分别对应的当前图像权重，N为大于1的整数；
根据所述N个第四训练图像对所述第一卷积神经网络模型进行训练，并将训练完成的所述第一卷积神经网络模型作为一个所述参考卷积神经网络模型；
在获得训练完成的所述第一卷积神经网络模型之后，根据训练完成的所述第一卷积神经网络模型针对所述N个第四训练图像的输出结果和所述N个第四训练图像所分别对应的当前图像权重，确定训练完成的所述第一卷积神经网络模型所对应的质量评估模型的预设权重；
在确定训练完成的所述第一卷积神经网络模型所对应的质量评估模型的预设权重之后，根据所述输出结果，更新所述N个第四训练图像所分别对应的当前图像权重。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
实施例四
图7为本申请一实施例提供的终端设备的结构示意图。如图7所示，该实施例的终端设备7包括：至少一个处理器70(图7中仅示出一个)、存储器71以及存储在上述存储器71中并可在上述至少一个处理器70上运行的计算机程序72，上述处理器70执行上述计算机程序72时实现上述任意各个评估图像质量的方法实施例中的步骤。
上述终端设备7可以是服务器、手机、可穿戴设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、桌上型计算机、笔记本、台式电脑以及掌上电脑等计算设备。该终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的举例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入设备、输出设备、网络接入设备等。其中，上述输入设备可以包括键盘、触控板、指纹采集传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风、摄像头等，输出设备可以包括显示器、扬声器等。
上述处理器70可以是中央处理单元(Central Processing Unit，CPU)，该处理器70还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述存储器71在一些实施例中可以是上述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。上述存储器71在另一些实施例中也可以是上述终端设备7的外部存储设备，例如上述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，上述存储器71还可以既包括上述终端设备7的内部存储单元也包括外部存储设备。上述存储器71用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如上述计算机程序的程序代码等。上述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
另外，尽管未示出，上述终端设备7还可以包括网络连接模块，如蓝牙模块Wi-Fi模块、蜂窝网络模块等等，在此不再赘述。
本申请实施例中，上述处理器70执行上述计算机程序72以实现上述任意各个评估图像质量的方法实施例中的步骤时，可以获取待评估图像，然后将所述待评估图像输入至图像评估模型中，得到所述待评估图像对应的至少一个质量评估分值和所述待评估图像的语义信息，从而获得用于描述所述待评估图像的初步的质量评估结果的质量评估分值，以及诸如所述待评估图像的场景信息、目标对象类别信息等语义信息，再根据至少一个所述质量评估分值和所述语义信息确定所述待评估图像的质量评估结果，从而可以根据所述语义信息对所述质量评估分值的评估偏差进行调整，能够针对不同语义的图像应用不同的图像质量评估标准来获得对应的质量评估结果，以提升图像质量评估的泛化性能，从而提升了图像质量评估的准确性。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (13)

1.一种评估图像质量的方法，其特征在于，包括：
获取待评估图像；
将所述待评估图像输入至图像评估模型中，得到所述待评估图像对应的至少一个质量评估分值和所述待评估图像的语义信息；
根据至少一个所述质量评估分值和所述语义信息确定所述待评估图像的质量评估结果；
所述语义信息包括类别概率向量；
所述根据至少一个所述质量评估分值和所述语义信息确定所述待评估图像的质量评估结果，包括：
根据所述质量评估分值和所述类别概率向量确定第三特征向量，所述第三特征向量的维度为所述类别概率向量的维度与所述质量评估分值的维度之和；
根据所述第三特征向量得到质量评估结果。
2.如权利要求1所述的方法，其特征在于，所述图像评估模型包括图像分类模型和至少一个质量评估模型，其中，所述质量评估模型用于获得一个所述质量评估分值，所述图像分类模型用于确定所述待评估图像的语义信息；
所述将所述待评估图像输入至图像评估模型中，得到所述待评估图像对应的至少一个质量评估分值和所述待评估图像的语义信息，包括：
通过至少一个质量评估模型确定待评估图像的至少一个质量评估分值；
通过所述图像分类模型确定所述待评估图像的语义信息。
3.如权利要求2所述的方法，其特征在于，所述质量评估模型为卷积神经网络模型；
所述通过至少一个质量评估模型确定待评估图像的至少一个质量评估分值，包括：
针对每一个所述卷积网络模型，将所述待评估图像输入所述卷积神经网络模型，获得所述卷积神经网络模型中的特征提取层针对所述待评估图像所输出的第一特征向量；
通过所述卷积神经网络模型中的自适应池化层将所述第一特征向量转化为预设维度的第二特征向量；
根据所述第二特征向量和所述卷积神经网络模型，获得所述待评估图像的一个质量评估分值。
4.如权利要求1所述的方法，其特征在于，所述根据所述第三特征向量得到质量评估结果包括：
将所述第三特征向量输入分类器，获得所述分类器所输出的质量评估结果。
5.如权利要求4所述的方法，其特征在于，质量评估模型为卷积神经网络模型；
在通过至少一个质量评估模型确定待评估图像的至少一个质量评估分值之前，还包括：
通过第一图像训练集，对参考卷积神经网络模型、参考图像分类模型以及参考分类器进行联合训练，并将联合训练后得到的参考卷积神经网络模型作为所述卷积神经网络模型，将联合训练后得到的参考图像分类模型作为所述图像分类模型，以及将联合训练后得到的参考分类器作为所述分类器。
6.如权利要求5所述的方法，其特征在于，所述通过第一图像训练集，对参考卷积神经网络模型、参考图像分类模型以及参考分类器进行联合训练，包括：
针对所述联合训练的每一次迭代过程，将所述第一图像训练集中针对本次迭代过程的第一训练图像分别输入所述参考卷积神经网络模型和所述参考图像分类模型，获得所述参考卷积神经网络模型针对所述第一训练图像所输出的第一质量评估分值，以及获得所述参考图像分类模型针对所述第一训练图像所输出的第一类别概率向量；
根据所述第一质量评估分值与所述第一类别概率向量确定第四特征向量；
通过所述参考分类器对所述第四特征向量进行处理，获得本次迭代过程所对应的第二质量评估分值；
根据所述第二质量评估分值确定所述联合训练是否完成。
7.如权利要求5所述的方法，其特征在于，在通过第一图像训练集，对参考卷积神经网络模型、参考图像分类模型以及参考分类器进行联合训练之前，还包括：
根据第二图像训练集，对第一卷积神经网络模型进行训练，并将训练完成的第一卷积神经网络模型作为所述参考卷积神经网络模型；
根据第三图像训练集，对第一图像分类模型进行训练，并将训练完成的第一图像分类模型作为所述参考图像分类模型。
8.如权利要求7所述的方法，其特征在于，所述根据第二图像训练集，对第一卷积神经网络模型进行训练，并将训练完成的第一卷积神经网络模型作为所述参考卷积神经网络模型，包括：
针对所述第一卷积神经网络模型的每一次迭代过程，将所述第二图像训练集中针对本次迭代过程的第二训练图像和第三训练图像分别输入所述第一卷积神经网络模型，获得所述第一卷积神经网络模型针对所述第二训练图像的第三质量评估分值，以及获得所述第一卷积神经网络模型针对所述第三训练图像的第四质量评估分值；
计算所述第三质量评估分值与所述第四质量评估分值之间的评估差值；
根据所述评估差值、所述第二训练图像的第一标准质量分值以及所述第三训练图像的第二标准质量分值，确定所述第一卷积神经网络模型的对比损失；
根据所述第三质量评估分值、所述第四质量评估分值、所述第二训练图像的第一标准质量分值以及所述第三训练图像的第二标准质量分值，确定所述第一卷积神经网络模型的评估损失；
根据所述评估损失和所述对比损失，确定针对所述第一卷积神经网络模型的本次迭代过程是否训练完成。
9.如权利要求7所述的方法，其特征在于，所述图像评估模型包括图像分类模型和至少两个卷积神经网络模型；
所述通过至少一个质量评估模型确定待评估图像的至少一个质量评估分值，包括：
针对每一个卷积神经网络模型，通过所述卷积神经网络模型确定所述待评估图像的初始质量评估分值；
根据所述卷积神经网络模型的预设权重和所述初始质量评估分值，计算所述卷积神经网络模型针对所述待评估图像的质量评估分值。
10.如权利要求9所述的方法，其特征在于，所述根据第二图像训练集，对第一卷积神经网络模型进行训练，并将训练完成的第一卷积神经网络模型作为所述参考卷积神经网络模型，包括：
基于预设顺序，根据第二图像训练集依次对至少两个第一卷积神经网络模型进行训练，并将训练完成的每一个第一卷积神经网络模型作为一个所述参考卷积神经网络模型；
其中，针对每一个第一卷积神经网络模型进行训练的过程中，从所述第二图像训练集中随机获取N个第四训练图像以及所述N个第四训练图像所分别对应的当前图像权重，N为大于1的整数；
根据所述N个第四训练图像对所述第一卷积神经网络模型进行训练，并将训练完成的所述第一卷积神经网络模型作为一个所述参考卷积神经网络模型；
在获得训练完成的所述第一卷积神经网络模型之后，根据训练完成的所述第一卷积神经网络模型针对所述N个第四训练图像的输出结果和所述N个第四训练图像所分别对应的当前图像权重，确定训练完成的所述第一卷积神经网络模型所对应的质量评估模型的预设权重；
在确定训练完成的所述第一卷积神经网络模型所对应的质量评估模型的预设权重之后，根据所述输出结果，更新所述N个第四训练图像所分别对应的当前图像权重。
11.一种评估图像质量的装置，其特征在于，包括：
获取模块，用于获取待评估图像；
处理模块，用于将所述待评估图像输入至图像评估模型中，得到所述待评估图像对应的至少一个质量评估分值和所述待评估图像的语义信息；
确定模块，用于根据至少一个所述质量评估分值和所述语义信息确定所述待评估图像的质量评估结果；
所述语义信息包括类别概率向量；
所述根据至少一个所述质量评估分值和所述语义信息确定所述待评估图像的质量评估结果，包括：
根据所述质量评估分值和所述类别概率向量确定第三特征向量，所述第三特征向量的维度为所述类别概率向量的维度与所述质量评估分值的维度之和；
根据所述第三特征向量得到质量评估结果。
12.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述的方法。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的方法。
CN202011552230.0A 2020-12-24 2020-12-24 评估图像质量的方法、装置及终端设备 Active CN112614110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011552230.0A CN112614110B (zh) 2020-12-24 2020-12-24 评估图像质量的方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011552230.0A CN112614110B (zh) 2020-12-24 2020-12-24 评估图像质量的方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN112614110A CN112614110A (zh) 2021-04-06
CN112614110B true CN112614110B (zh) 2022-11-04

Family

ID=75244808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011552230.0A Active CN112614110B (zh) 2020-12-24 2020-12-24 评估图像质量的方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN112614110B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496485B (zh) * 2021-06-24 2022-12-02 北京市遥感信息研究所 卫星遥感图像质量评价方法及装置
CN113256620B (zh) * 2021-06-25 2021-09-28 南京思飞捷软件科技有限公司 基于差值卷积神经网络的车身焊接质量信息评判方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199541A (zh) * 2019-12-27 2020-05-26 Oppo广东移动通信有限公司 图像质量评价方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894025A (zh) * 2016-03-30 2016-08-24 中国科学院自动化研究所 基于多任务深度学习的自然图像美感质量评估方法
US10540589B2 (en) * 2017-10-24 2020-01-21 Deep North, Inc. Image quality assessment using similar scenes as reference
CN110839129A (zh) * 2018-08-17 2020-02-25 Oppo广东移动通信有限公司 图像处理方法、装置以及移动终端
CN110223292B (zh) * 2019-06-20 2022-01-25 厦门美图之家科技有限公司 图像评估方法、装置及计算机可读存储介质
CN110929806B (zh) * 2019-12-06 2023-07-21 深圳市雅阅科技有限公司 基于人工智能的图片处理方法、装置及电子设备
CN111753873A (zh) * 2020-05-12 2020-10-09 北京捷通华声科技股份有限公司 一种图像检测方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199541A (zh) * 2019-12-27 2020-05-26 Oppo广东移动通信有限公司 图像质量评价方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112614110A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN109146892B (zh) 一种基于美学的图像裁剪方法及装置
CN107330439B (zh) 一种图像中物体姿态的确定方法、客户端及服务器
CN110223292B (zh) 图像评估方法、装置及计算机可读存储介质
CN111950723A (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN112651438A (zh) 多类别图像的分类方法、装置、终端设备和存储介质
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
CN107944381B (zh) 人脸跟踪方法、装置、终端及存储介质
CN113379627B (zh) 图像增强模型的训练方法和对图像进行增强的方法
CN112308866A (zh) 图像处理方法、装置、电子设备及存储介质
WO2023124040A1 (zh) 一种人脸识别方法及装置
CN112651380A (zh) 人脸识别方法、人脸识别装置、终端设备及存储介质
CN112950640A (zh) 视频人像分割方法、装置、电子设备及存储介质
CN114612987A (zh) 一种表情识别方法及装置
CN111260655A (zh) 基于深度神经网络模型的图像生成方法与装置
CN114444565A (zh) 一种图像篡改检测方法、终端设备及存储介质
CN112287945A (zh) 碎屏确定方法、装置、计算机设备及计算机可读存储介质
CN116363641A (zh) 一种图像处理方法、装置及电子设备
CN110717405A (zh) 人脸特征点定位方法、装置、介质及电子设备
CN112084371B (zh) 一种电影多标签分类方法、装置、电子设备以及存储介质
CN114973293A (zh) 相似性判断方法、关键帧提取方法及装置、介质和设备
CN112214639A (zh) 视频筛选方法、视频筛选装置及终端设备
CN116758390B (zh) 一种图像数据处理方法、装置、计算机设备以及介质
CN113014916B (zh) 一种基于局部视频活动度的屏幕视频质量识别方法
WO2023241372A1 (zh) 相机内参标定方法及相关设备
CN116246323A (zh) 人脸识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant