CN110807757A - 基于人工智能的图像质量评估方法、装置及计算机设备 - Google Patents

Abstract

本发明公开了一种基于人工智能的图像质量评估方法、装置、计算机设备及存储介质，属于多媒体技术领域。本发明通过对第一图像进行降采样处理，得到多个第二图像，使得根据第一图像和多个第二图像，获取到的多个目标图像块同样可以反映出第一图像在不同尺度下的像素信息，提升了目标图像块的表达能力，并且质量评估模型基于多个样本图像组训练得到，每个样本图像组包括锐度互不相同的至少两张样本图像，因此质量评估模型所输出的各个目标图像块，在基于锐度评估出的图像质量分数上具有更高的准确度，从而提升了图像质量评估过程的智能性。

Description

基于人工智能的图像质量评估方法、装置及计算机设备

技术领域

本发明涉及多媒体技术领域，特别涉及一种基于人工智能的图像质量评估方法、装置、计算机设备及存储介质。

背景技术

随着多媒体技术的发展，在获取、压缩或传输图像的过程中往往会伴随着图像失真，为了节约图像质量评估的人力成本，因此，基于计算机设备的图像质量评估(imagequality assessment，IQA)变得尤为重要。

目前，计算机设备在进行图像质量评估时，可以使用SSIM(structuralsimilarity index，结构相似性)或者PSNR(peak signal to noise ratio，峰值信噪比)等客观指标来评价图像的质量分数。

在上述过程中，由于用户视觉与计算机视觉的视角不尽相同，导致对一些图像而言，虽然PSNR较高使得计算机设备评估出较高的质量分数，但是用户反而对这些图像评估出一个较低的质量分数，也即是说，计算机设备在进行图像质量评估的过程中准确度较低、智能性较差。

发明内容

本发明实施例提供了一种基于人工智能的图像质量评估方法、装置、计算机设备及存储介质，能够解决图像质量评估时准确度低、智能性差的问题。该技术方案如下：

一方面，提供了一种基于人工智能的图像质量评估方法，该方法包括：

对第一图像进行降采样处理，得到多个第二图像，所述多个第二图像的尺寸互不相同；

根据所述第一图像和所述多个第二图像，获取多个目标图像块；

将所述多个目标图像块输入质量评估模型，通过所述质量评估模型预测所述多个目标图像块的图像质量分数，所述质量评估模型基于多个样本图像组训练得到，每个样本图像组包括锐度互不相同的至少两张样本图像，一个样本图像组中各个样本图像对应于同一种子图像；

将所述多个目标图像块的图像质量分数的平均值确定为所述第一图像的图像质量分数。

在一种可能实施方式中，所述根据所述第一图像和所述多个第二图像，获取多个目标图像块包括：

对所述第一图像和所述多个第二图像进行裁剪处理，得到多个图像块，从所述多个图像块中确定所述多个目标图像块，其中，所述多个图像块的尺寸相同。

在一种可能实施方式中，所述从所述多个图像块中确定所述多个目标图像块包括：

获取与所述多个图像块对应的多个梯度特征块，基于所述多个梯度特征块，确定所述多个图像块的权重；

按照权重从大到小的顺序，对所述多个图像块进行排序，将排序位于前目标比例的图像块确定为候选图像块；

从所述候选图像块中，随机指定所述多个目标图像块。

在一种可能实施方式中，所述获取与所述多个图像块对应的多个梯度特征块包括：

对所述第一图像进行边缘特征提取，得到第一梯度特征图；

对所述多个第二图像进行边缘特征提取，得到多个第二梯度特征图；

按照所述多个图像块的裁剪方式，对所述第一梯度特征图以及所述多个第二梯度特征图进行裁剪处理，得到所述多个梯度特征块，其中，每个梯度特征块对应于一个图像块。

在一种可能实施方式中，所述基于所述多个梯度特征块，确定所述多个图像块的权重包括：

对每个图像块，将与所述图像块对应的梯度特征块中各个像素值相加所得的数值，确定为所述图像块的权重。

在一种可能实施方式中，所述质量评估模型为孪生卷积网络，所述通过所述质量评估模型预测所述多个目标图像块的图像质量分数包括：

通过所述孪生卷积网络，对所述多个目标图像块进行卷积处理，得到所述多个目标图像块的图像质量分数。

在一种可能实施方式中，所述方法还包括：

对视频中的每个图像帧，执行所述基于人工智能的图像质量评估操作，得到各个图像帧的图像质量分数，将所述各个图像帧的图像质量分数的平均值确定为所述视频的视频质量分数。

一方面，提供了一种质量评估模型的训练方法，所述方法包括：

基于多个种子图像，生成多个样本图像组，所述多个种子图像的图像质量分数高于第一目标阈值，每个样本图像组包括锐度互不相同的至少两张样本图像，一个样本图像组中各个样本图像对应于同一种子图像；

根据所述多个样本图像组，获取多个样本图像块组；

基于所述多个样本图像块组，对初始模型进行训练，得到所述质量评估模型。

在一种可能实施方式中，所述基于多个种子图像，生成多个样本图像组包括：

对每个种子图像，基于不同的处理强度，对所述种子图像分别进行至少两次锐度劣化处理，得到锐度互不相同的至少两张样本图像，将所述至少两张样本图像获取为一个样本图像组；

重复执行所述获取样本图像组的操作，直到达到目标次数，得到多个样本图像组。

在一种可能实施方式中，所述基于所述多个样本图像块组，对初始模型进行训练，得到所述质量评估模型包括：

将所述多个样本图像块组输入所述初始模型，通过所述初始模型预测所述多个样本图像块组的图像质量分数；

基于所述多个样本图像块组的图像质量分数，确定与所述多个样本图像块组对应的多个样本图像组的质量预测关系；

基于所述多个样本图像组的质量预测关系以及所述多个样本图像组的质量真实关系，获取所述多个样本图像组的损失函数值；

当所述损失函数值大于第二目标阈值时，基于反向传播算法对所述初始模型进行参数调整，迭代执行所述参数调整的步骤，直到满足停止训练条件。

在一种可能实施方式中，所述初始模型为初始孪生卷积网络，所述初始孪生卷积网络包括至少两个单支初始子网络，所述至少两个单支初始子网络之间共享权重，每个单支初始子网络用于处理一个样本图像块组中对应于同一样本图像的各个样本图像块。

在一种可能实施方式中，所述将所述多个样本图像块组输入所述初始模型，通过所述初始模型预测所述多个样本图像块组的图像质量分数包括：

对所述多个样本图像块组中任一样本图像块组，将对应于相同样本图像的各个样本图像块，输入所述初始孪生卷积网络中相同的单支初始子网络；

通过所述初始单支子网络，对所述各个样本图像块进行卷积处理，输出所述各个样本图像块的图像质量分数；

对每个样本图像的各个样本图像块，重复执行获取图像质量分数的步骤，得到所述多个样本图像块组的图像质量分数。

在一种可能实施方式中，所述基于所述多个样本图像块组的图像质量分数，确定与所述多个样本图像块组对应的多个样本图像组的质量预测关系包括：

对所述多个样本图像块组中任一样本图像块组，将对应于相同样本图像的各个样本图像块的图像质量分数的平均值，确定为所述样本图像的图像质量分数；对每个样本图像重复执行获取图像质量分数的步骤，得到各个样本图像的图像质量分数；

将各个样本图像的图像质量分数之间的大小关系，确定为所述样本图像块组所对应样本图像组的质量预测关系；对每个样本图像块组重复执行获取质量预测关系的步骤，得到所述多个样本图像组的质量预测关系。

一方面，提供了一种基于人工智能的图像质量评估装置，该装置包括：

降采样模块，用于对第一图像进行降采样处理，得到多个第二图像，所述多个第二图像的尺寸互不相同；

获取模块，用于根据所述第一图像和所述多个第二图像，获取多个目标图像块；

预测模块，用于将所述多个目标图像块输入质量评估模型，通过所述质量评估模型预测所述多个目标图像块的图像质量分数，所述质量评估模型基于多个样本图像组训练得到，每个样本图像组包括锐度互不相同的至少两张样本图像，一个样本图像组中各个样本图像对应于同一种子图像；

确定模块，用于将所述多个目标图像块的图像质量分数的平均值确定为所述第一图像的图像质量分数。

在一种可能实施方式中，所述获取模块包括：

裁剪确定单元，用于对所述第一图像和所述多个第二图像进行裁剪处理，得到多个图像块，从所述多个图像块中确定所述多个目标图像块，其中，所述多个图像块的尺寸相同。

在一种可能实施方式中，所述裁剪确定单元包括：

获取确定子单元，用于获取与所述多个图像块对应的多个梯度特征块，基于所述多个梯度特征块，确定所述多个图像块的权重；

排序确定子单元，用于按照权重从大到小的顺序，对所述多个图像块进行排序，将排序位于前目标比例的图像块确定为候选图像块；

指定子单元，用于从所述候选图像块中，随机指定所述多个目标图像块。

在一种可能实施方式中，所述获取确定子单元用于：

对所述第一图像进行边缘特征提取，得到第一梯度特征图；

对所述多个第二图像进行边缘特征提取，得到多个第二梯度特征图；

按照所述多个图像块的裁剪方式，对所述第一梯度特征图以及所述多个第二梯度特征图进行裁剪处理，得到所述多个梯度特征块，其中，每个梯度特征块对应于一个图像块。

在一种可能实施方式中，所述获取确定子单元用于：

对每个图像块，将与所述图像块对应的梯度特征块中各个像素值相加所得的数值，确定为所述图像块的权重。

在一种可能实施方式中，所述质量评估模型为孪生卷积网络，所述预测模块用于：

通过所述孪生卷积网络，对所述多个目标图像块进行卷积处理，得到所述多个目标图像块的图像质量分数。

在一种可能实施方式中，所述装置还包括：

对视频中的每个图像帧，执行所述基于人工智能的图像质量评估操作，得到各个图像帧的图像质量分数，将所述各个图像帧的图像质量分数的平均值确定为所述视频的视频质量分数。

一方面，提供了一种质量评估模型的训练装置，所述装置包括：

生成模块，用于基于多个种子图像，生成多个样本图像组，所述多个种子图像的图像质量分数高于第一目标阈值，每个样本图像组包括锐度互不相同的至少两张样本图像，一个样本图像组中各个样本图像对应于同一种子图像；

获取模块，用于根据所述多个样本图像组，获取多个样本图像块组；

训练模块，用于基于所述多个样本图像块组，对初始模型进行训练，得到所述质量评估模型。

在一种可能实施方式中，所述生成模块用于：

对每个种子图像，基于不同的处理强度，对所述种子图像分别进行至少两次锐度劣化处理，得到锐度互不相同的至少两张样本图像，将所述至少两张样本图像获取为一个样本图像组；

重复执行所述获取样本图像组的操作，直到达到目标次数，得到多个样本图像组。

在一种可能实施方式中，所述训练模块包括：

预测单元，用于将所述多个样本图像块组输入所述初始模型，通过所述初始模型预测所述多个样本图像块组的图像质量分数；

确定单元，用于基于所述多个样本图像块组的图像质量分数，确定与所述多个样本图像块组对应的多个样本图像组的质量预测关系；

获取单元，用于基于所述多个样本图像组的质量预测关系以及所述多个样本图像组的质量真实关系，获取所述多个样本图像组的损失函数值；

迭代单元，用于当所述损失函数值大于第二目标阈值时，基于反向传播算法对所述初始模型进行参数调整，迭代执行所述参数调整的步骤，直到满足停止训练条件。

在一种可能实施方式中，所述初始模型为初始孪生卷积网络，所述初始孪生卷积网络包括至少两个单支初始子网络，所述至少两个单支初始子网络之间共享权重，每个单支初始子网络用于处理一个样本图像块组中对应于同一样本图像的各个样本图像块。

在一种可能实施方式中，所述预测单元用于：

对所述多个样本图像块组中任一样本图像块组，将对应于相同样本图像的各个样本图像块，输入所述初始孪生卷积网络中相同的单支初始子网络；

通过所述初始单支子网络，对所述各个样本图像块进行卷积处理，输出所述各个样本图像块的图像质量分数；

对每个样本图像的各个样本图像块，重复执行获取图像质量分数的步骤，得到所述多个样本图像块组的图像质量分数。

在一种可能实施方式中，所述确定单元用于：

对所述多个样本图像块组中任一样本图像块组，将对应于相同样本图像的各个样本图像块的图像质量分数的平均值，确定为所述样本图像的图像质量分数；对每个样本图像重复执行获取图像质量分数的步骤，得到各个样本图像的图像质量分数；

将各个样本图像的图像质量分数之间的大小关系，确定为所述样本图像块组所对应样本图像组的质量预测关系；对每个样本图像块组重复执行获取质量预测关系的步骤，得到所述多个样本图像组的质量预测关系。

一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器加载并执行以实现如上述任一种可能实现方式的基于人工智能的图像质量评估方法或质量评估模型的训练方法所执行的操作。

一方面，提供了一种存储介质，该存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行以实现如上述任一种可能实现方式的基于人工智能的图像质量评估方法或质量评估模型的训练方法所执行的操作。

本发明实施例提供的技术方案带来的有益效果至少包括：

通过对第一图像进行降采样处理，得到多个第二图像，该多个第二图像能够展现出第一图像在不同尺度下的像素信息，从而根据该第一图像和该多个第二图像，获取多个目标图像块，使得各个目标图像块同样可以反映出第一图像在不同尺度下的像素信息，将该多个目标图像块输入质量评估模型，通过该质量评估模型预测该多个目标图像块的图像质量分数，进而将该多个目标图像块的图像质量分数的平均值确定为该第一图像的图像质量分数，由于提升了输入质量评估模型的目标图像块的表达能力，并且质量评估模型基于多个样本图像组训练得到，每个样本图像组包括锐度互不相同的至少两张样本图像，因此质量评估模型所输出的各个目标图像块，在基于锐度评估出的图像质量分数上具有更高的准确度，也就使得第一图像的图像质量分数具有更高的准确度，从而提升了图像质量评估过程的智能性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于人工智能的图像质量评估方法的实施环境示意图；

图2是本发明实施例提供的一种基于人工智能的图像质量评估方法的流程图；

图3是本发明实施例提供的一种孪生卷积网络的示意图；

图4是本发明实施例提供的多个锐化图像的对比图；

图5是本发明实施例提供的一种图像质量评估结果的趋势变化图；

图6是本发明实施例提供的一种基于人工智能的视频质量评估方法的流程图；

图7是本发明实施例提供的一种质量评估模型的训练方法的流程图；

图8是本发明实施例提供的一种基于人工智能的图像质量评估装置的结构示意图；

图9是本发明实施例提供的一种质量评估模型的训练装置的结构示意图；

图10是本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

人工智能(artificial intelligence，AI)是指利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能的技术，尝试控制机器去感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

具体地，计算机视觉(computer vision，CV)技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量，并进一步做图像处理，使计算机处理出更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。

计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本申请实施例提供的方案涉及人工智能领域中CV技术内的基于人工智能的图像质量评估方法，具体通过下述各个实施例进行说明。

图1是本发明实施例提供的一种基于人工智能的图像质量评估方法的实施环境示意图。参见图1，在该实施环境中可以包括终端101和服务器102。

其中，终端101可以用于提供原始图像，终端101上可以安装有应用客户端，用户在终端101上拍摄原始图像之后，可以点击应用客户端的编辑界面中的发布选项，使得终端101响应于用户对发布选项的触控操作，将该原始图像发送至服务器102。可选地，终端101还可以用于提供原始视频，通过与上述发送原始图像类似的过程，将原始视频发送至服务器102。

其中，服务器102可以用于提供图像处理服务，具体地，当服务器102接收到任一终端发送的原始图像后，由于在图像传输过程中伴随着图像失真等损失，因此，在一些因有损压缩导致图像清晰度降低的情况下，服务器102可以通过对原始图像进行锐化操作，以恢复原始图像的图像质量。

在上述过程中，在机器视觉的角度上看，锐化程度越高通常意味着图像质量越高，而从人眼视觉的角度上看，却并非锐化程度越高图像质量越高，因为过度的锐化操作，有时会放大原始图像中不真实的细节，使得过度锐化的图像在人眼视觉来看更为失真，也即是俗称的看上去比较“假”，此时，随着锐化程度的升高，用户主观评价出的图像质量反而会下降。

有鉴于此，服务器102可以在对原始图像进行不同程度的锐化操作之后，对锐化后的各个图像，分别应用本发明实施例提供的准确度、智能度更高的基于人工智能的图像质量评估方法，从而能够得到锐化后各个图像的图像质量分数，以便于确定出图像质量分数最高的锐化图像。进而按照用户在发布图像时选择的可见对象，向可见对象所对应的终端直接推送具有最高图像质量分数的图像，从而能够对用户上传的图像进行自动优化处理，以提升图像处理过程的智能性，也就大大优化了用户在发布图像过程中的体验。

示意性地，在一些场景中，由于视频中包括多个图像帧，因此当终端101向服务器102发送原始视频后，服务器102接收该原始视频，对原始视频中每个图像帧应用本发明实施例提供的基于人工智能的图像质量评估方法，可以得到每个图像帧的图像质量分数，对视频中各个图像帧的图像质量分数求平均值，将该平均值确定为视频的视频质量分数，从而实现了对视频进行客观质量评估。

进一步地，服务器102还可以对原始视频中各个图像帧也执行不同程度的锐化操作，并基于本发明实施例提供的基于人工智能的图像质量评估方法，确定出各个图像帧对应的图像质量分数最高的锐化图像，可以将上述各个图像质量分数最高的锐化图像确定为锐化视频的各个图像帧，从而实现对用户上传的视频进行自动优化处理，以提升视频处理过程的智能性，大大优化了用户在发布视频过程中的体验。

图2是本发明实施例提供的一种基于人工智能的图像质量评估方法的流程图。参见图2，以计算机设备为服务器为例进行说明，该实施例包括：

201、服务器对第一图像进行降采样处理，得到多个第二图像，该多个第二图像的尺寸互不相同。

其中，该第一图像可以任一内容的图像，例如，该第一图像可以是卡通图像、风景图像、人物图像、电影截图等，本发明实施例不对该第一图像所承载的内容进行具体限定。

在上述过程中，该第一图像可以是服务器从本地数据库中获取的，也可以是服务器从云端数据库中下载的，当然，服务器可以将终端发送的原始图像获取为第一图像，可选地，服务器还可以在接收终端发送的原始图像之后，对该原始图像进行锐化处理或平滑处理，得到第一图像，本发明实施例不对该第一图像的来源进行具体限定。

在一些实施例中，该第一图像还可以是视频中的任一图像帧，当然，该视频的来源也可以是本地数据库、云端数据库或者终端等，本发明实施例不对该视频的来源进行具体限定。

在上述过程中，服务器在获取第一图像后，可以对第一图像进行多尺度的降采样处理，从而得到多个第二图像。在上述过程中，多尺度的降采样处理是指基于不同的降采样系数，对第一图像进行多次降采样处理。

例如，对第一图像而言，可以以为相邻尺度之间的变换比例进行多尺度的降采样处理。也即是说，假设第二图像的数量为3，那么可以以

为降采样系数，将第一图像的尺寸缩小为原来的

倍，得到第二图像A，以2为降采样系数，将第一图像的尺寸缩小为原来的1/2倍，得到第二图像B，以

为降采样系数，将第一图像的尺寸缩小为原来的倍，得到第二图像C。

可以看出，在上述过程中，第一图像尺寸是第二图像A尺寸的

倍，第二图像A尺寸是第二图像B尺寸的

倍，第二图像B尺寸是第二图像C尺寸的

倍，第一图像、第二图像A、第二图像B和第二图像C之间呈现出类似“金字塔”一般递减的尺寸关系，因此，也第一图像和多尺度的降采样处理后所得的各个第二图像可以统称为“图像金字塔”。

需要说明的是，在进行降采样处理时，相邻尺度之间可以具有不同的变换比例，也即是说，本发明实施例不对各个尺度下的降采样系数进行具体限定。

202、服务器对该第一图像和该多个第二图像进行裁剪处理，得到多个图像块，其中，该多个图像块的尺寸相同。

在上述裁剪过程中，服务器可以使用预设尺寸的裁剪窗，按照固定的滑动步长，在该第一图像和该多个第二图像上进行滑动裁剪，得到多个图像块。其中，本发明实施例不对裁剪窗的尺寸和滑动步长进行具体限定，例如，裁剪窗的像素尺寸可以是224×224，滑动步长可以是32个像素。

在上述步骤202中，由于第一图像和多个第二图像具有不同的尺度，因此基于这种裁剪方式得到的各个图像块，不仅能够反映出第一图像本身的像素特征，而且还能够反映出各个尺度下第一图像的像素特征，使得各个图像块能够具有更佳的表达能力。

203、服务器获取与该多个图像块对应的多个梯度特征块，基于该多个梯度特征块，确定该多个图像块的权重。

在一些实施例中，在获取多个梯度特征块时，服务器可以执行下述步骤：对该第一图像进行边缘特征提取，得到第一梯度特征图；对该多个第二图像进行边缘特征提取，得到多个第二梯度特征图；按照该多个图像块的裁剪方式，对该第一梯度特征图以及该多个第二梯度特征图进行裁剪处理，得到该多个梯度特征块，其中，每个梯度特征块对应于一个图像块。

在上述获取梯度特征图的过程中，服务器可以基于Canny边缘检测(edgedetection)的方式来进行边缘特征提取，得到第一梯度特征图或多个第二梯度特征图。

以第一图像为例，服务器可以将第一图像转化为灰度图像，通过两个阈值参数对该灰度图像进行Canny边缘检测，从而输出二值化的第一梯度特征图，其中，本发明实施例不对Canny边缘检测的阈值参数进行具体限定，例如，上述两个阈值参数可以分别设置为threshold1＝100以及threshold2＝200。

在一些实施例中，服务器也可以基于laplacian(拉普拉斯算子)进行边缘检测，以得到第一梯度特征图或第二梯度特征图，当然，服务器还可以基于Sobel(索贝尔算子)进行边缘检测，以得到第一梯度特征图或第二梯度特征图。

可选地，在获取第一梯度特征图和获取第二梯度特征图时，可以采用不同的边缘检测方式，例如，基于Canny边缘检测获取第一梯度特征图，基于Sobel边缘检测获取多个第二梯度特征图，本发明实施例不对获取各个梯度特征图的方式进行具体限定。

上述对第一梯度特征图和多个第二梯度特征图的裁剪处理，需要采用和上述步骤202中对第一图像和多个第二图像同理的裁剪方式，也即是说，在裁剪梯度特征图时，需要采用与上述步骤202中相同的裁剪窗尺寸以及滑动步长，使得裁剪出的各个梯度特征块与各个图像块的位置是一一对应的。

在一些实施例中，服务器还可以直接对各个图像块进行边缘特征提取，从而直接得到与各个图像块对应的各个梯度特征块，从而简化了获取梯度特征块的流程。

进一步地，在获取梯度特征块之后，服务器可以通过下述方式确定权重：对每个图像块而言，服务器将与该图像块对应的梯度特征块中各个像素值相加所得的数值，确定为该图像块的权重。

例如，第j个图像块x_j对应于第j个梯度特征块m_j，假设梯度特征块m_j中任一像素值为p_j，则图像块x_j的权重w_j＝∑p_j，由于梯度特征块m_j是二值化的，因此权重越大，意味着梯度特征块m_j内所包含的梯度信息越多，也即是包含的边缘信息越丰富，因此可以根据权重大小来挑选图像块。

204、服务器按照权重从大到小的顺序，对该多个图像块进行排序，将排序位于前目标比例的图像块确定为候选图像块。

在上述过程中，服务器按照权重从大到小的顺序，对多个图像块进行降序排列，获取排序位于前目标比例的图像块，将上述前目标比例的图像块确定为候选图像块。其中，该目标比例可以是任一大于或等于0且小于或等于1的数值，例如，该目标比例可以是25％。

205、服务器从该候选图像块中，随机指定该多个目标图像块。

在上述过程中，服务器既通过基于权重的降序排列，保证了候选图像块中包含了较多的边缘信息，又通过在候选图形库中随机选取目标图像块，增加了目标图像块的随机性，有利于提升质量评估模型的泛化能力。

在上述步骤203-205中，服务器从该多个图像块中确定该多个目标图像块。在一些实施例中，服务器还可以在按照权重从大到小的顺序，对多个图像块进行排序之后，直接将排序位于前目标数量个的图像块确定为目标图像块，简化了确定目标图像块的流程。

在上述步骤202-205中，服务器根据第一图像和多个第二图像，获取多个目标图像块，其中，该多个目标图像块的尺寸相同，且该多个图像块来自于不同尺度下的第一图像，同时，该多个目标图像块还能够反映出较多的边缘信息。基于这样的目标图像块来评估第一图像的图像质量分数，能够大大提升图像质量评估的准确度。

206、服务器将该多个目标图像块输入质量评估模型，通过该质量评估模型预测该多个目标图像块的图像质量分数，该质量评估模型基于多个样本图像组训练得到，每个样本图像组包括锐度互不相同的至少两张样本图像，一个样本图像组中各个样本图像对应于同一种子图像。

在上述过程中，该质量评估模型可以是孪生卷积网络，此时，服务器将多个目标图像块输入孪生卷积网络后，可以通过该孪生卷积网络，对该多个目标图像块进行卷积处理，得到该多个目标图像块的图像质量分数。

上述孪生卷积网络，是指在训练过程中，使用样本图像组来进行训练，样本图像组中样本图像的个数小于或等于孪生卷积网络中单支网络的个数，每个单支网络用于处理来自于同一样本图像的样本图像块。

图3是本发明实施例提供的一种孪生卷积网络的示意图，如图3所示，以样本图像组中包括两张样本图像为例进行说明，此时孪生卷积网络中可以包括两个单支网络(分别为第一子网络和第二子网络)，服务器将样本图像组中一个样本图像的各个样本图像块输入第一子网络，将另一个样本图像的各个样本图像块输入第二子网络，第一子网络与第二子网络之间共享权重，其中，第一子网络和第二子网络可以均为CNN(convolutionalneural networks，卷积神经网络)，由于子网络间权重共享，因此可以形象地称为孪生卷积网络，在一些实施例中，第一子网络和第二子网络也可以是同一个子网络，仅在获取损失函数时进行区分计算。关于孪生卷积网络的训练过程将在下个实施例中进行详述，这里不做过多介绍。

例如，该孪生卷积网络中，各个子网络可以配置有如下参数：第一个卷积层中卷积核尺寸为3×3、输出特征图的通道数为32，在该第一个卷积层后，串接有13个可分离卷积层，每个可分离卷积层中卷积核尺寸也为3×3、输出特征图的通道数分别为[64,128,128,256,256,512,512,512,512,512,512,1024,1024]，在最后一个可分离卷积层之后，还串接有一个1024节点的全连接层。

可选地，在全连接层之后还可以串接一个激活层，该激活层可以用于对全连接层的输出特征图进行非线性处理，例如，该激活层中可以使用sigmoid、tanh或者ReLU等激活函数。比如，当使用sigmoid作为激活函数时，能够保证输出值的取值范围处于0到1之间，此时孪生卷积网络的输出值y与全连接层的输出特征图x_fc之间可以具有如下公式所示的函数关系：

y＝sigmoid(x_fc)

在一些实施例中，该质量评估模型也可以采用伪孪生卷积网络，伪孪生卷积网络与孪生卷积网络的结构类似，但是子网络之间在训练时并不会共享权重，这里不做赘述。

207、服务器将该多个目标图像块的图像质量分数的平均值确定为该第一图像的图像质量分数。

在上述过程中，服务器将任一目标图像块输入质量评估模型后，质量评估模型均会输出该目标图像块的图像质量分数，对每个目标图像块重复执行上述步骤，直到得到了所有目标图像块的图像质量分数，对上述多个目标图像块的图像质量分数求平均值，即可得到第一图像的图像质量分数。

在上述过程中，由于在裁剪图像块时，是对第一图像和多个第二图像进行裁剪，因此图像块中包括了多尺度下第一图像的像素信息，进一步地，从图像块中确定目标图像块时，既保证了权重排序位于前目标比例，而且还保证了一定的随机性，因此确定出的目标图像块能够更加全面、丰富地表征第一图像的边缘信息，使用目标图像块的图像质量分数的平均值作为第一图像的图像质量分数，能够使得第一图像的图像质量分数更加准确，也即是更加贴近人眼视觉的评判标准。

图4是本发明实施例提供的多个锐化图像的对比图，参见图4，锐化图像A、B、C所对应的锐化强度分别为0.1、1.6、2.8，可以看出，在人眼视觉的角度，锐化图像A的清晰度比锐化图像B的清晰度低，因此锐化图像B的质量分数大于锐化图像A，进一步地，虽然锐化图像C的清晰度比锐化图像B更高，然而过度锐化了人物的额头纹，使得锐化图像C从人眼视觉角度看上去失真程度较大，因此锐化图像B的质量分数也大于锐化图像C，三者之间锐化图像B的质量分数最高。

图5是本发明实施例提供的一种图像质量评估结果的趋势变化图，参见图5，基于相关技术来分析，如果基于PSNR等评价指标评价时，通常会为锐化图像C打出较高的质量分数，而在图5的变化趋势中可以看出，本发明实施例的质量评估模型所预测出的质量分数中，锐化强度1.6(对应于锐化图像B)的得分高于锐化强度0.1(对应于锐化图像A)和2.8(对应于锐化图像C)，是与人眼视觉的主观质量评价一致的。因此，本发明实施例提供的质量评估方法，能够大大提升机器对图像进行质量评估的准确性和智能性。

在一些实施例中，在对视频进行质量评估时，对视频中的每个图像帧，服务器均可以将该图像帧作为第一图像，执行上述步骤201-207所执行的基于人工智能的图像质量评估操作，得到各个图像帧的图像质量分数，将该各个图像帧的图像质量分数的平均值确定为该视频的视频质量分数，从而能够提供一种对视频进行质量评估的方法。

例如，图6是本发明实施例提供的一种基于人工智能的视频质量评估方法的流程图，参见图6，服务器在对视频解码之后，将音频与图像分离，可以得到多个图像帧，对该多个图像帧中任一图像帧而言，服务器可以获取该图像帧的Y通道(也即是灰度通道)图像，对上述图像帧的Y通道图像执行上述步骤201-205所执行的操作，获取到上述图像帧Y通道图像的N个目标图像块，将该N个目标图像块输入质量评估模型，可以得到N个目标图像块的图像质量分数的预测值，对N个目标图像块的预测值求平均值，得到上述图像帧Y通道图像的图像质量分数，由于图像帧的锐度评估与色度值没有关联性，因此Y通道图像的图像质量分数即可代表上述图像帧的图像质量分数，从而对每个图像帧重复执行上述过程，可以得到多个图像帧的图像质量分数，对上述多个图像帧的图像质量分数在时域上求平均值，即可得到上述视频的视频质量分数。

在上述过程中，将对任一图像帧求图像质量分数的过程，转化为对任一图像帧的Y通道图像求图像质量分数的过程，能够过滤掉与锐度无关的色度值，避免对于色度值的大量计算，从而大大简化了基于人工智能的图像质量评估过程的计算量。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

本发明实施例提供的方法，通过对第一图像进行降采样处理，得到多个第二图像，该多个第二图像能够展现出第一图像在不同尺度下的像素信息，从而根据该第一图像和该多个第二图像，获取多个目标图像块，使得各个目标图像块同样可以反映出第一图像在不同尺度下的像素信息，将该多个目标图像块输入质量评估模型，通过该质量评估模型预测该多个目标图像块的图像质量分数，进而将该多个目标图像块的图像质量分数的平均值确定为该第一图像的图像质量分数，由于提升了输入质量评估模型的目标图像块的表达能力，并且质量评估模型基于多个样本图像组训练得到，每个样本图像组包括锐度互不相同的至少两张样本图像，因此质量评估模型所输出的各个目标图像块，在基于锐度评估出的图像质量分数上具有更高的准确度，也就使得第一图像的图像质量分数具有更高的准确度，从而提升了图像质量评估过程的智能性。

进一步地，随着智能终端的普及和网络硬件的不断提升，在即将到来的5G(5-generation wireless telephone technology，第五代手机通信技术规格)千兆移动网络以及人工智能时代，视频通信、直播以及短视频等将会进入新的井喷期，因此本发明实施例提供的基于人工智能的图像质量评估方法，能够更加准确地拟合出人眼视觉对图像的主观评估分数，有利于提升用户的视觉体验。

进一步地，在一些应用场景中，将本发明实施例提供的基于人工智能的图像质量评估方法应用在视频预处理阶段，对视频进行适度的锐化增强，不仅能够提升视频的视觉质量，而且在视频质量分数的教导下，避免了出现过度锐化导致视频质量降低的问题，有效的评估出何种参数下的锐化处理是对视觉质量贡献最大的处理，从而辅助调节出视频预处理阶段中最优的锐化调整参数，大大提升了视频处理过程的智能性，有利于优化用户体验。

图7是本发明实施例提供的一种质量评估模型的训练方法的流程图，参见图7，服务器在执行上述实施例的基于人工智能的图像质量评估方法之前，还需要对初始模型进行训练，得到质量评估模型，下面将对训练过程进行详述：

701、服务器获取多个种子图像，该多个种子图像的图像质量分数高于第一目标阈值。

其中，该第一目标阈值可以是任一大于0的数值。

在上述过程中，服务器可以基于一些公开的图像数据集来选取种子图像，例如，该图像数据集可以是AVA(aesthetic visual analysis，美学视觉分析)数据集，，将用户对AVA数据集中各个图像的评分作为图像质量分数，从而可以选取用户评分高于该第一目标阈值的图像作为种子图像。

例如，AVA数据集中大多数图片来自于某个摄影平台，该摄影平台定期会发起一些指定了主题的摄影挑战活动，比如该主题可以是街景、户外肖像等，任一用户参与挑战活动，上传摄影图像后，其他用户可以对该摄影图像进行打分，服务器可以将平均分数高于6.0且平均标准差小于0.5的摄影图像获取为种子图像。

基于上述示例，可选地，服务器还可以根据挑战主题在种子图像中进行筛选，例如，保留出现频次较高的Architecture(建筑学)、Best of year(年度最佳)、CenteredComposition(中心构图)、Still Life(静物)、Macro(微距)、Shapes(图形)、Texture(纹理)等主题的种子图像，删去容易造成干扰的特殊主题的种子图像，比如该特殊主题可以为Over-Saturated(过饱和的)、Over-Sharpened(过锐化的)或Motion Blur(动态模糊)等。

702、服务器对每个种子图像，基于不同的处理强度，对该种子图像分别进行至少两次锐度劣化处理，得到锐度互不相同的至少两张样本图像，将该至少两张样本图像获取为一个样本图像组。

在上述过程中，可以假设每张种子图像都处于最佳的锐化程度，在那么在种子图像的基础上，不管是进行平滑处理还是进行锐化处理，都会损失种子图像的质量分数，也即是构成对种子图像的锐度劣化处理。

有鉴于此，在上述步骤702中锐度劣化处理的过程中，可以分为两种劣化方式，一种是基于平滑处理进行劣化，一种是基于锐化处理进行劣化。例如，对种子图像进行锐度劣化处理(也可以称为锐度调整操作)时，上述处理过程可以表示为h(x,Φ)，其中，h表示锐度劣化作用，x表示种子图像，Φ表示劣化处理强度(也即是锐度调整参数)。

可选地，基于平滑处理进行劣化时，平滑处理可以采用下述公式来表示：

h_b(x)＝x*k_g(N_b,σ_b)

其中，h_b(x)表示对种子图像x进行平滑(blur)形式的锐度劣化处理，k_g(N_b,σ_b)表示窗口大小为N_b、标准差为σ_b的高斯平滑窗，N_b代表平滑处理的强度调节参数(也即是平滑强度)，也即是说当基于平滑处理进行劣化时，劣化处理强度Φ等于平滑处理的强度调节参数N_b。

例如，σ_b可以设置为1.0，Φ＝N_b可以设置为[3,5,7,9,11,13,15]中的一个或多个，从而实现一系列渐变强度的平滑处理，Φ＝N_b越大，意味着对图像的模糊程度越高。

可选地，基于锐化处理进行劣化时，锐化处理可以采用下述公式来表示：

h_s(x)＝(1+α)·x-α·x*k_g(N_s,σ_s)

其中，h_s(x)表示对种子图像x进行锐化(sharp)形式的锐度劣化处理，k_g(N_s,σ_s)表示窗口大小为N_s、标准差为σ_s的高斯平滑窗，α代表锐化处理的强度调节参数(也即是锐化强度)，也即是说当基于锐化处理进行劣化时，劣化处理强度Φ等于锐化处理的强度调节参数α。

例如，N_s可以设置为7，σ_s可以设置为1.0，Φ＝α可以设置为[0.25,0.5,0.75,1,1.25,1.5,1.75,2,2.25,2.5,2.75,3,3.25,3.5,3.75,4]中的一个或多个，从而实现一些渐变强度的锐化处理，Φ＝α越大，意味着图像的锐化程度越高。

在上述基础上，对任一张种子图像x而言，假设进行两次锐度劣化处理，服务器可以对种子图像x进行处理强度为Φ_i的劣化操作，得到劣化图像x_i，对种子图像x进行处理强度为Φ_j的劣化操作，得到劣化图像x_j，劣化图像x_i和劣化图像x_j即可构成一个样本图像对，在上述过程中，当劣化处理次数为2，也即是样本图像组中仅包括2张样本图像时，该样本图像组即可以称为“样本图像对”，后文中所提的“样本图像对”均是指劣化处理次数为2时，由2张样本图像所构成的样本图像组，后文将不做赘述。

在上述基础上分析，如果Φ_i>Φ_j，相当于劣化图像x_i比劣化图像x_j经历了强度更高的劣化处理，因此，可以得到劣化图像x_i与劣化图像x_j之间的相对图像质量关系为：Q(x_i)≤Q(x_j)。也即是说，对任一种子图像进行平滑或锐化处理的强度越大，生成的劣化图像的质量则越低。

703、服务器对每个种子图像，重复执行上述步骤702中获取样本图像组的操作，直到达到目标次数，得到多个样本图像组。

在上述步骤702-703中，服务器基于多个种子图像，生成多个样本图像组，其中，该多个种子图像的图像质量分数高于第一目标阈值，每个样本图像组包括锐度互不相同的至少两张样本图像，一个样本图像组中各个样本图像对应于同一种子图像。由于每个样本图像组中包括样本图像之间锐度互不相同，因此，每个样本图像组中包括样本图像之间图像质量分数也互不相同。

在上述过程中，服务器通过对种子图像进行锐度劣化处理的方法，能够在不需要进行人工的标注的情况下，合成了至少两个已知相对图像质量关系的样本图像，后续基于这样的多个样本图像组进行模型训练，能够解决传统训练过程中对人工标注样本的过度依赖问题。

在一些实施例中，当样本图像组中仅包括2张样本图像时，该样本图像组即为样本图像对，此时，服务器还可以使用参数l来表示各个样本图像对的相对图像质量关系。例如，对种子图像x经过锐度调整后生成一个样本图像对[x_a,x_b]，与该样本图像对所对应的劣化处理强度为[Φ_a,Φ_b]，则相对图像质量关系可以采用下述公式表示：

其中，l＝1时表示x_a的主观质量评估分数不低于x_b的主观质量评估分数，l＝-1时表示x_a的主观质量评估分数低于x_b的主观质量评估分数。

704、根据该多个样本图像组，获取多个样本图像块组。

上述步骤704与上述步骤201-205类似，也即是说，对任一样本图像组中任一样本图像，执行下述操作：对样本图像进行降采样处理，得到多个第三图像，该多个第三图像的尺寸互不相同；对该样本图像和该多个第三图像进行裁剪处理，得到多个图像块；获取与该多个图像块对应的多个梯度特征块，基于该多个梯度特征块，确定该多个图像块的权重；按照权重从大到小的顺序，对该多个图像块进行排序，将排序位于前目标比例的图像块确定为候选图像块；从该候选图像块中，随机指定多个样本图像块。

在上述过程中，获取到了一个样本图像的多个样本图像块，对该样本图像所在的样本图像组中的其他样本图像，执行类似的操作可以得到该其他样本图像的多个样本图像块，其中，该其他样本图像是指样本图像组中除了该样本图像之外的任一样本图像，上述各个样本图像的各个样本图像块即可构成一个样本图像块组。进一步地，服务器对每个样本图像组重复执行上述操作，即可得到多个样本图像块组。

例如，样本图像对[x_a,x_b]在经过多尺度的裁剪和选取后，样本图像x_a对应于N个样本图像块x_a,1,x_a,2,...,x_a,N，样本图像x_b对应于N个样本图像块x_b,1,x_b,2,...,x_b,N，则与该样本图像对相应的样本图像块组可以表示为[x_a,1,x_a,2,...,x_a,N；x_b,1,x_b,2,...,x_b,N]。

705、服务器将该多个样本图像块组输入初始模型，通过该初始模型预测该多个样本图像块组的图像质量分数。

上述步骤705与上述步骤206类似，这里不做过多阐述。

在一些实施例中，初始模型可以为初始孪生卷积网络，该初始孪生卷积网络包括至少两个单支初始子网络，该至少两个单支初始子网络之间共享权重，每个单支初始子网络用于处理一个样本图像块组中对应于同一样本图像的各个样本图像块。

基于上述初始孪生卷积网络，在预测图像质量分数时，对该多个样本图像块组中任一样本图像块组，服务器可以将对应于相同样本图像的各个样本图像块，输入该初始孪生卷积网络中相同的单支初始子网络，通过该初始单支子网络，对该各个样本图像块进行卷积处理，输出该各个样本图像块的图像质量分数，对每个样本图像的各个样本图像块，重复执行获取图像质量分数的步骤，得到该多个样本图像块组的图像质量分数。

基于上述示例，服务器可以将样本图像x_a所对应的x_a,1,x_a,2,...,x_a,N输入到第一初始子网络中，通过第一初始子网络预测x_a,1,x_a,2,...,x_a,N的图像质量分数，将样本图像x_b所对应的x_b,1,x_b,2,...,x_b,N输入到第二初始子网络中，通过第二初始子网络预测x_b,1,x_b,2,...,x_b,N的图像质量分数。

706、服务器基于该多个样本图像块组的图像质量分数，确定与该多个样本图像块组对应的多个样本图像组的质量预测关系。

在上述过程中，对该多个样本图像块组中任一样本图像块组，服务器可以将对应于相同样本图像的各个样本图像块的图像质量分数的平均值，确定为该样本图像的图像质量分数，对每个样本图像重复执行获取图像质量分数的步骤，得到各个样本图像的图像质量分数。进一步地，服务器将各个样本图像的图像质量分数之间的大小关系，确定为该样本图像块组所对应样本图像组的质量预测关系，对每个样本图像块组重复执行获取质量预测关系的步骤，得到该多个样本图像组的质量预测关系。

基于上述示例，假设第一初始子网络预测出x_a,1,x_a,2,...,x_a,N的图像质量分数分别为y_a,1,y_a,2,...,y_a,N，第二初始子网络预测出x_b,1,x_b,2,...,x_b,N的图像质量分数分别为y_b,1,y_b,2,...,y_b,N，整个样本图像块组的预测值即表示为[y_a,1,y_a,2,...,y_a,N；y_b,1,y_b,2,...,y_b,N]，服务器分别对样本图像块组中每个分组求平均值，即可得到样本图像对[x_a,x_b]的预测值[y_a,y_b]，其中，y_a＝(y_a,1+y_a,2+...+y_a,N)/N，y_b＝(y_b,1+y_b,2+...+y_b,N)/N。在上述过程中，每个样本图像对的质量预测关系可以是指预测值y_a与y_b之间的大小关系。

707、服务器基于该多个样本图像组的质量预测关系以及该多个样本图像组的质量真实关系，获取该多个样本图像组的损失函数值。

在上述过程中，初始孪生卷积网络的损失函数L_rank的表达式如下式：

L_rank＝Σmax(0,ε-l·(y_a-y_b))

在上式中，ε表示margin参数，l可以表示样本图像对的质量真实关系(l的取值如上述步骤703中的公式所示)，(y_a-y_b)则可以表示样本图像对的质量预测关系，y_a和y_b的含义与上述步骤706中相同。

基于上述损失函数的表达式，对每个样本图像对，服务器可以基于该样本图像对的质量预测关系和质量真实关系，计算出该样本图像对的损失函数值，重复执行上述步骤，最终得到各个样本图像对的损失函数值，对各个样本图像对的损失函数值求和即可得到一次训练过程中多个样本图像对的损失函数值。

需要说明的是，上述过程是以样本图像组中包括两个样本图像为例进行说明，当样本图像组中包括三个或三个以上样本图像时，损失函数表达式中的l可以具有不同的赋值方式，从而使得l能够表示样本图像组的质量真实关系，例如，当样本图像组中包括三个样本图像时，样本图像之间具有6种大小关系，因此可以以l从0,1,2,3,4,5之间的六个整数的赋值来表示这6种大小关系，使得每种大小关系与一个赋值数字一一对应。

在一些实施例中，由于服务器还可以将原始图像对提供给用户，以供用户对原始图像对进行人工标注，从而得到携带标注值的样本图像对，因此，假设在针对样本图像对[x_a,x_b]具有标注值[mos_a,mos_b]的情况下，初始孪生卷积网络的损失函数L_r′_ank可以改写为下述公式所示的形式：

其中，λ表示排序损失(rank loss)所对应的权重系数。

708、当该损失函数值大于第二目标阈值时，服务器基于反向传播算法对该初始模型进行参数调整，迭代执行该参数调整的步骤，直到满足停止训练条件。

在上述过程中，可选地，该停止训练条件可以是损失函数值小于或等于第二目标阈值，或者，该停止训练条件还可以是迭代次数达到目标次数。其中，该第二目标阈值可以是任一大于或等于0且小于或等于1的数值。

在上述过程中，服务器在基于反向传播算法进行迭代训练时，可以采用如下训练参数：使用Adam优化算子，学习速率(learning rate)设置为0.001，权重衰减(weightdecay)设置为0.0001，margin参数ε设置为0.05，批量大小(batch)设置为16，各个样本图像块的像素尺寸统一设置为224×224，样本图像块组中每个分组的样本图像块数量设置为8，排序损失(rank loss)的权重系数λ设置为4.0。

在上述步骤705-708中，服务器基于该多个样本图像块组，对初始模型进行训练，得到该质量评估模型。由于在计算损失函数时，是根据样本图像对的预测值之间的大小关系与真实值之间的大小关系来确定排序损失的，因此上述模型训练方法体现出了一种基于排序学习的训练思想，另外，由于上述训练过程无需进行人工监督，因此，本发明实施例提供的训练过程也可以称为“自监督的排序学习训练过程”。

本发明实施例提供的方法，通过基于多个种子图像来生成多个样本图像组，能够得到无需进行人工标注的样本图像对，从而在基于样本图像组获取样本图像块组，并基于样本图像块组进行训练，得到质量评估模型的过程中，大大降低了模型训练时对于人工标注样本集的依赖性，降低了模型训练的人力成本。

进一步地，通过对样本图像对中各个样本图像进行多尺度的裁剪处理，并选取出包含较多边缘信息的候选图像块后，从候选图像块中随机指定样本图像块组，能够增加训练时采用的样本图像块组的表达能力，使得训练出的质量评估模型的准确度和智能度更高。

图8是本发明实施例提供的一种基于人工智能的图像质量评估装置的结构示意图，参见图8，该装置包括：

降采样模块801，用于对第一图像进行降采样处理，得到多个第二图像，该多个第二图像的尺寸互不相同；

获取模块802，用于根据该第一图像和该多个第二图像，获取多个目标图像块；

预测模块803，用于将该多个目标图像块输入质量评估模型，通过该质量评估模型预测该多个目标图像块的图像质量分数，该质量评估模型基于多个样本图像组训练得到，每个样本图像组包括锐度互不相同的至少两张样本图像，一个样本图像组中各个样本图像对应于同一种子图像；

确定模块804，用于将该多个目标图像块的图像质量分数的平均值确定为该第一图像的图像质量分数。

本发明实施例提供的装置，通过对第一图像进行降采样处理，得到多个第二图像，该多个第二图像能够展现出第一图像在不同尺度下的像素信息，从而根据该第一图像和该多个第二图像，获取多个目标图像块，使得各个目标图像块同样可以反映出第一图像在不同尺度下的像素信息，将该多个目标图像块输入质量评估模型，通过该质量评估模型预测该多个目标图像块的图像质量分数，进而将该多个目标图像块的图像质量分数的平均值确定为该第一图像的图像质量分数，由于提升了输入质量评估模型的目标图像块的表达能力，并且质量评估模型基于多个样本图像组训练得到，每个样本图像组包括锐度互不相同的至少两张样本图像，因此质量评估模型所输出的各个目标图像块，在基于锐度评估出的图像质量分数上具有更高的准确度，也就使得第一图像的图像质量分数具有更高的准确度，从而提升了图像质量评估过程的智能性。

在一种可能实施方式中，基于图8的装置组成，该获取模块802包括：

裁剪确定单元，用于对该第一图像和该多个第二图像进行裁剪处理，得到多个图像块，从该多个图像块中确定该多个目标图像块，其中，该多个图像块的尺寸相同。

在一种可能实施方式中，基于图8的装置组成，该裁剪确定单元包括：

获取确定子单元，用于获取与该多个图像块对应的多个梯度特征块，基于该多个梯度特征块，确定该多个图像块的权重；

排序确定子单元，用于按照权重从大到小的顺序，对该多个图像块进行排序，将排序位于前目标比例的图像块确定为候选图像块；

指定子单元，用于从该候选图像块中，随机指定该多个目标图像块。

在一种可能实施方式中，该获取确定子单元用于：

对该第一图像进行边缘特征提取，得到第一梯度特征图；

对该多个第二图像进行边缘特征提取，得到多个第二梯度特征图；

按照该多个图像块的裁剪方式，对该第一梯度特征图以及该多个第二梯度特征图进行裁剪处理，得到该多个梯度特征块，其中，每个梯度特征块对应于一个图像块。

在一种可能实施方式中，该获取确定子单元用于：

对每个图像块，将与该图像块对应的梯度特征块中各个像素值相加所得的数值，确定为该图像块的权重。

在一种可能实施方式中，该质量评估模型为孪生卷积网络，该预测模块803用于：

通过该孪生卷积网络，对该多个目标图像块进行卷积处理，得到该多个目标图像块的图像质量分数。

在一种可能实施方式中，基于图8的装置组成，该装置还包括：

对视频中的每个图像帧，执行该基于人工智能的图像质量评估操作，得到各个图像帧的图像质量分数，将该各个图像帧的图像质量分数的平均值确定为该视频的视频质量分数。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

需要说明的是：上述实施例提供的基于人工智能的图像质量评估装置在评估图像质量时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于人工智能的图像质量评估装置与基于人工智能的图像质量评估方法实施例属于同一构思，其具体实现过程详见基于人工智能的图像质量评估方法实施例，这里不再赘述。

图9是本发明实施例提供的一种质量评估模型的训练装置的结构示意图，参见图9，该装置包括：

生成模块901，用于基于多个种子图像，生成多个样本图像组，该多个种子图像的图像质量分数高于第一目标阈值，每个样本图像组包括锐度互不相同的至少两张样本图像，一个样本图像组中各个样本图像对应于同一种子图像；

获取模块902，用于根据该多个样本图像组，获取多个样本图像块组；

训练模块903，用于基于该多个样本图像块组，对初始模型进行训练，得到该质量评估模型。

本发明实施例提供的装置，通过基于多个种子图像来生成多个样本图像组，能够得到无需进行人工标注的样本图像对，从而在基于样本图像组获取样本图像块组，并基于样本图像块组进行训练，得到质量评估模型的过程中，大大降低了模型训练时对于人工标注样本集的依赖性，降低了模型训练的人力成本。

在一种可能实施方式中，该生成模块901用于：

对每个种子图像，基于不同的处理强度，对该种子图像分别进行至少两次锐度劣化处理，得到锐度互不相同的至少两张样本图像，将该至少两张样本图像获取为一个样本图像组；

重复执行该获取样本图像组的操作，直到达到目标次数，得到多个样本图像组。

在一种可能实施方式中，基于图9的装置组成，该训练模块903包括：

预测单元，用于将该多个样本图像块组输入该初始模型，通过该初始模型预测该多个样本图像块组的图像质量分数；

确定单元，用于基于该多个样本图像块组的图像质量分数，确定与该多个样本图像块组对应的多个样本图像组的质量预测关系；

获取单元，用于基于该多个样本图像组的质量预测关系以及该多个样本图像组的质量真实关系，获取该多个样本图像组的损失函数值；

迭代单元，用于当该损失函数值大于第二目标阈值时，基于反向传播算法对该初始模型进行参数调整，迭代执行该参数调整的步骤，直到满足停止训练条件。

在一种可能实施方式中，该初始模型为初始孪生卷积网络，该初始孪生卷积网络包括至少两个单支初始子网络，该至少两个单支初始子网络之间共享权重，每个单支初始子网络用于处理一个样本图像块组中对应于同一样本图像的各个样本图像块。

在一种可能实施方式中，该预测单元用于：

对该多个样本图像块组中任一样本图像块组，将对应于相同样本图像的各个样本图像块，输入该初始孪生卷积网络中相同的单支初始子网络；

通过该初始单支子网络，对该各个样本图像块进行卷积处理，输出该各个样本图像块的图像质量分数；

对每个样本图像的各个样本图像块，重复执行获取图像质量分数的步骤，得到该多个样本图像块组的图像质量分数。

在一种可能实施方式中，该确定单元用于：

对该多个样本图像块组中任一样本图像块组，将对应于相同样本图像的各个样本图像块的图像质量分数的平均值，确定为该样本图像的图像质量分数；对每个样本图像重复执行获取图像质量分数的步骤，得到各个样本图像的图像质量分数；

将各个样本图像的图像质量分数之间的大小关系，确定为该样本图像块组所对应样本图像组的质量预测关系；对每个样本图像块组重复执行获取质量预测关系的步骤，得到该多个样本图像组的质量预测关系。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

需要说明的是：上述实施例提供的质量评估模型的训练装置在训练质量评估模型时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的质量评估模型的训练装置与质量评估模型的训练方法实施例属于同一构思，其具体实现过程详见质量评估模型的训练方法实施例，这里不再赘述。

图10是本发明实施例提供的一种计算机设备的结构示意图，该计算机设备1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)1001和一个或一个以上的存储器1002，其中，该存储器1002中存储有至少一条程序代码，该至少一条程序代码由该处理器1001加载并执行以实现上述各个方法实施例提供的基于人工智能的图像质量评估方法或质量评估模型的训练方法。当然，该计算机设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条程序代码的存储器，上述至少一条程序代码可由终端中的处理器执行以完成上述实施例中基于人工智能的图像质量评估方法或质量评估模型的训练方法。例如，该计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种基于人工智能的图像质量评估方法，其特征在于，所述方法包括：

对第一图像进行降采样处理，得到多个第二图像，所述多个第二图像的尺寸互不相同；

根据所述第一图像和所述多个第二图像，获取多个目标图像块；

将所述多个目标图像块输入质量评估模型，通过所述质量评估模型预测所述多个目标图像块的图像质量分数，所述质量评估模型基于多个样本图像组训练得到，每个样本图像组包括锐度互不相同的至少两张样本图像，一个样本图像组中各个样本图像对应于同一种子图像；

将所述多个目标图像块的图像质量分数的平均值确定为所述第一图像的图像质量分数。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像和所述多个第二图像，获取多个目标图像块包括：

对所述第一图像和所述多个第二图像进行裁剪处理，得到多个图像块，从所述多个图像块中确定所述多个目标图像块，其中，所述多个图像块的尺寸相同。

3.根据权利要求2所述的方法，其特征在于，所述从所述多个图像块中确定所述多个目标图像块包括：

获取与所述多个图像块对应的多个梯度特征块，基于所述多个梯度特征块，确定所述多个图像块的权重；

按照权重从大到小的顺序，对所述多个图像块进行排序，将排序位于前目标比例的图像块确定为候选图像块；

从所述候选图像块中，随机指定所述多个目标图像块。

4.根据权利要求3所述的方法，其特征在于，所述获取与所述多个图像块对应的多个梯度特征块包括：

对所述第一图像进行边缘特征提取，得到第一梯度特征图；

对所述多个第二图像进行边缘特征提取，得到多个第二梯度特征图；

按照所述多个图像块的裁剪方式，对所述第一梯度特征图以及所述多个第二梯度特征图进行裁剪处理，得到所述多个梯度特征块，其中，每个梯度特征块对应于一个图像块。

5.根据权利要求1所述的方法，其特征在于，所述质量评估模型为孪生卷积网络，所述通过所述质量评估模型预测所述多个目标图像块的图像质量分数包括：

通过所述孪生卷积网络，对所述多个目标图像块进行卷积处理，得到所述多个目标图像块的图像质量分数。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对视频中的每个图像帧，执行所述基于人工智能的图像质量评估操作，得到各个图像帧的图像质量分数，将所述各个图像帧的图像质量分数的平均值确定为所述视频的视频质量分数。

7.一种质量评估模型的训练方法，其特征在于，所述方法包括：

基于多个种子图像，生成多个样本图像组，所述多个种子图像的图像质量分数高于第一目标阈值，每个样本图像组包括锐度互不相同的至少两张样本图像，一个样本图像组中各个样本图像对应于同一种子图像；

根据所述多个样本图像组，获取多个样本图像块组；

基于所述多个样本图像块组，对初始模型进行训练，得到所述质量评估模型。

8.根据权利要求7所述的方法，其特征在于，所述基于多个种子图像，生成多个样本图像组包括：

对每个种子图像，基于不同的处理强度，对所述种子图像分别进行至少两次锐度劣化处理，得到锐度互不相同的至少两张样本图像，将所述至少两张样本图像获取为一个样本图像组；

重复执行所述获取样本图像组的操作，直到达到目标次数，得到多个样本图像组。

9.根据权利要求7所述的方法，其特征在于，所述基于所述多个样本图像块组，对初始模型进行训练，得到所述质量评估模型包括：

将所述多个样本图像块组输入所述初始模型，通过所述初始模型预测所述多个样本图像块组的图像质量分数；

基于所述多个样本图像块组的图像质量分数，确定与所述多个样本图像块组对应的多个样本图像组的质量预测关系；

基于所述多个样本图像组的质量预测关系以及所述多个样本图像组的质量真实关系，获取所述多个样本图像组的损失函数值；

当所述损失函数值大于第二目标阈值时，基于反向传播算法对所述初始模型进行参数调整，迭代执行所述参数调整的步骤，直到满足停止训练条件。

10.根据权利要求9所述的方法，其特征在于，所述初始模型为初始孪生卷积网络，所述初始孪生卷积网络包括至少两个单支初始子网络，所述至少两个单支初始子网络之间共享权重，每个单支初始子网络用于处理一个样本图像块组中对应于同一样本图像的各个样本图像块。

11.根据权利要求10所述的方法，其特征在于，所述将所述多个样本图像块组输入所述初始模型，通过所述初始模型预测所述多个样本图像块组的图像质量分数包括：

对所述多个样本图像块组中任一样本图像块组，将对应于相同样本图像的各个样本图像块，输入所述初始孪生卷积网络中相同的单支初始子网络；

通过所述初始单支子网络，对所述各个样本图像块进行卷积处理，输出所述各个样本图像块的图像质量分数；

对每个样本图像的各个样本图像块，重复执行获取图像质量分数的步骤，得到所述多个样本图像块组的图像质量分数。

12.根据权利要求10所述的方法，其特征在于，所述基于所述多个样本图像块组的图像质量分数，确定与所述多个样本图像块组对应的多个样本图像组的质量预测关系包括：

对所述多个样本图像块组中任一样本图像块组，将对应于相同样本图像的各个样本图像块的图像质量分数的平均值，确定为所述样本图像的图像质量分数；对每个样本图像重复执行获取图像质量分数的步骤，得到各个样本图像的图像质量分数；

将各个样本图像的图像质量分数之间的大小关系，确定为所述样本图像块组所对应样本图像组的质量预测关系；对每个样本图像块组重复执行获取质量预测关系的步骤，得到所述多个样本图像组的质量预测关系。

13.一种基于人工智能的图像质量评估装置，其特征在于，所述装置包括：

降采样模块，用于对第一图像进行降采样处理，得到多个第二图像，所述多个第二图像的尺寸互不相同；

获取模块，用于根据所述第一图像和所述多个第二图像，获取多个目标图像块；

预测模块，用于将所述多个目标图像块输入质量评估模型，通过所述质量评估模型预测所述多个目标图像块的图像质量分数，所述质量评估模型基于多个样本图像组训练得到，每个样本图像组包括锐度互不相同的至少两张样本图像，一个样本图像组中各个样本图像对应于同一种子图像；

确定模块，用于将所述多个目标图像块的图像质量分数的平均值确定为所述第一图像的图像质量分数。

14.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求6任一项所述的基于人工智能的图像质量评估方法所执行的操作；或，

以实现如权利要求7至权利要求12任一项所述的质量评估模型的训练方法所执行的操作。

15.一种存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如权利要求1至权利要求6任一项所述的基于人工智能的图像质量评估方法所执行的操作；或，

以实现如权利要求7至权利要求12任一项所述的质量评估模型的训练方法所执行的操作。

Images