CN113538324A - 评估方法、模型训练方法、装置、介质及电子设备 - Google Patents

Abstract

本申请的实施例提供了一种评估方法、模型训练方法、装置、介质及电子设备。其中，图像质量的评估方法包括：获取需要评估质量的待处理图像；通过特征提取网络提取所述待处理图像的图像特征，所述特征提取网络包括顺次相连的多个特征提取单元，每个所述特征提取单元包括顺次相连的卷积块和空间注意力模块，所述空间注意力模块用于提取所述待处理图像在空间上的局部特征；基于所述图像特征，通过全连接层对所述图像特征进行映射处理，得到所述待处理图像的质量评分。本申请实施例的技术方案可以提高对图像质量评估的准确性。

Description

评估方法、模型训练方法、装置、介质及电子设备

技术领域

本申请涉及计算机及通信技术领域，具体而言，涉及一种评估方法、模型训练方法、装置、介质及电子设备。

背景技术

在图像的获取、处理、传输和记录的过程中，由于成像系统、处理方法、传输介质和记录设备等不完善，加之物体运动、噪声污染等原因，不可避免地带来某些图像失真和降质，这给人们认识客观世界、研究解决问题带来很大的困难。随着人工智能的发展，相关技术中提出了基于人工智能来实现对图像质量的评估，但是基于无参考的图像质量评估算法由于没有参考图像，使得图像的失真、降质等问题难以量化，这给质量评估带来了很大的挑战。

发明内容

本申请的实施例提供了一种评估方法、模型训练方法、装置、介质及电子设备，进而至少在一定程度上可以提高对图像质量评估的准确性。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种图像质量的评估方法，包括：获取需要评估质量的待处理图像；通过特征提取网络提取所述待处理图像的图像特征，所述特征提取网络包括顺次相连的多个特征提取单元，每个所述特征提取单元包括顺次相连的卷积块和空间注意力模块，所述空间注意力模块用于提取所述待处理图像在空间上的局部特征；基于所述图像特征，通过全连接层对所述图像特征进行映射处理，得到所述待处理图像的质量评分。

根据本申请实施例的一个方面，一种图像质量评估模型的训练方法，包括：获取包含有打分值的训练样本，所述打分值用于表征所述训练样本的图像质量；通过图像质量评估模型中包含的特征提取网络提取所述训练样本的图像特征，所述特征提取网络包括顺次相连的多个特征提取单元，每个所述特征提取单元包括顺次相连的卷积块和空间注意力模块，所述空间注意力模块用于提取所述训练样本在空间上的局部特征；基于所述训练样本的图像特征，通过所述图像质量评估模型中包含的全连接层对所述训练样本的图像特征进行映射处理，得到所述图像质量评估模型针对所述训练样本输出的预测评分；根据所述预测评分与所述训练样本的打分值之间的差异，调整所述图像质量评估模型的参数，以对所述图像质量评估模型进行训练。

根据本申请实施例的一个方面，提供了一种图像质量的评估装置，包括：第一获取单元，配置为获取需要评估质量的待处理图像；第一处理单元，配置为通过特征提取网络提取所述待处理图像的图像特征，所述特征提取网络包括顺次相连的多个特征提取单元，每个所述特征提取单元包括顺次相连的卷积块和空间注意力模块，所述空间注意力模块用于提取所述待处理图像在空间上的局部特征；第二处理单元，配置为基于所述图像特征，通过全连接层对所述图像特征进行映射处理，得到所述待处理图像的质量评分。

在本申请的一些实施例中，基于前述方案，所述空间注意力模块包括用于进行特征处理的主干分支和用于提取掩膜特征的掩膜分支；所述特征提取单元的处理过程，包括：将所述特征提取单元中卷积块的输出特征通过第一数量个残差单元进行处理之后分别输入至所述掩膜分支和所述主干分支；将所述掩膜分支输出的掩膜特征和所述主干分支的输出特征进行融合处理，得到融合结果；将所述融合结果通过第二数量个残差单元进行处理，得到所述空间注意力模块的输出特征。

在本申请的一些实施例中，基于前述方案，所述掩膜分支中包含有顺次相连的下采样单元、第三数量个残差单元、上采样单元、卷积单元和激活函数；其中，所述上采样单元用于将经过所述第三数量个残差单元处理后的特征图的大小恢复为输入到所述下采样单元的特征图的大小。

在本申请的一些实施例中，基于前述方案，所述下采样单元包括：顺次连接的第一下采样模块、第四数量个残差单元和第二下采样模块；所述上采样单元包括：顺次连接的第一上采样模块、第五数量个残差单元和第二上采样模块。

在本申请的一些实施例中，基于前述方案，所述主干分支中包含有顺次相连的第六数量个残差单元。

在本申请的一些实施例中，基于前述方案，所述特征提取单元将所述掩膜分支输出的掩膜特征和所述主干分支的输出特征进行融合处理，得到融合结果的过程，包括：计算所述掩膜特征与所述主干分支的输出特征之间的元素积；计算所述元素积与所述主干分支的输出特征之间的和值，将所述和值作为所述掩膜特征与所述主干分支的输出特征之间的融合结果。

在本申请的一些实施例中，基于前述方案，通过图像质量评估模型评估所述待处理图像的质量评分，所述图像质量评估模型包括所述特征提取网络和所述全连接层，所述全连接层连接至所述特征提取网络。

根据本申请实施例的一个方面，提供了一种图像质量评估模型的训练装置，包括：第二获取单元，配置为获取包含有打分值的训练样本，所述打分值用于表征所述训练样本的图像质量；第三处理单元，配置为通过图像质量评估模型中包含的特征提取网络提取所述训练样本的图像特征，所述特征提取网络包括顺次相连的多个特征提取单元，每个所述特征提取单元包括顺次相连的卷积块和空间注意力模块，所述空间注意力模块用于提取所述训练样本在空间上的局部特征；第四处理单元，配置为基于所述训练样本的图像特征，通过所述图像质量评估模型中包含的全连接层对所述训练样本的图像特征进行映射处理，得到所述图像质量评估模型针对所述训练样本输出的预测评分；第五处理单元，配置为根据所述预测评分与所述训练样本的打分值之间的差异，调整所述图像质量评估模型的参数，以对所述图像质量评估模型进行训练。

在本申请的一些实施例中，基于前述方案，所述第二获取单元配置为：提取预设的各个目标图像的轮廓图像；将所述各个目标图像划分为多个子图像，并确定各个子图像在所述轮廓图像中的对应区域；根据所述各个子图像在所述轮廓图像中的对应区域内所包含的像素点的像素值，从所述多个子图像中选择至少一个子图像作为训练样本，所述至少一个子图像的打分值与所述至少一个子图像所对应的目标图像的打分值相同。

在本申请的一些实施例中，基于前述方案，所述第二获取单元配置为：根据所述各个子图像在所述轮廓图像中的对应区域内所包含的像素点的像素值，统计所述各个子图像在所述轮廓图像中的对应区域内像素值大于第一设定像素值的目标像素点的个数；从所述多个子图像中选择所述目标像素点的个数大于或等于设定个数的子图像作为所述训练样本。

在本申请的一些实施例中，基于前述方案，所述第二获取单元还配置为：在从所述多个子图像中选择至少一个子图像作为训练样本之前，将所述轮廓图像中像素值小于或等于第二设定像素值的像素点的像素值置为第一数值，所述第二设定像素值小于或等于所述第一设定像素值。

在本申请的一些实施例中，基于前述方案，所述第二获取单元还配置为：在提取各个目标图像的轮廓图像之前，对所述各个目标图像进行高斯模糊处理。

在本申请的一些实施例中，基于前述方案，所述第二获取单元还配置为：获取包含有打分值的目标视频；截取所述目标视频中的图像帧作为所述目标图像，所述目标图像的打分值与所述目标视频的打分值相同。

根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的图像质量的评估方法，或实现如上述实施例中所述的图像质量评估模型的训练方法。

根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的图像质量的评估方法，或实现如上述实施例中所述的图像质量评估模型的训练方法。

根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施例中提供的图像质量的评估方法，或实现如上述实施例中所述的图像质量评估模型的训练方法。

在本申请的一些实施例所提供的技术方案中，通过由特征提取网络提取待处理图像的图像特征，而特征提取网络包括顺次相连的多个特征提取单元，每个特征提取单元包括顺次相连的卷积块和空间注意力模块，该空间注意力模块用于提取所述待处理图像在空间上的局部特征，然后通过全连接层对提取到的图像特征进行映射处理，得到待处理图像的质量评分，使得能够通过空间注意力模块来提升对图像失真区域、降质区域的关注度，进而能够提高对图像质量评估的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图；

图2示出视频编码装置和视频解码装置在流式传输系统中的放置方式示意图；

图3示出了一种对图像质量进行评估的方案的原理图；

图4示出了根据本申请的一个实施例的图像质量的评估方法的流程图；

图5示出了根据本申请的一个实施例的特征提取网络的结构图；

图6示出了根据本申请的一个实施例的空间注意力模块的结构图；

图7示出了根据本申请的一个实施例的对图像质量评估模型进行训练的流程图；

图8示出了根据本申请的一个实施例的图像质量评估模型的结构图；

图9示出了采用本申请实施例的技术方案对图像质量进行评估之后的评分值对比图；

图10示出了根据本申请的一个实施例的图像质量的评估装置的框图；

图11示出了根据本申请的一个实施例的图像质量评估模型的训练装置的框图；

图12示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

需要说明的是：在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

人工智能(Artificial Intelligence，简称AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision，简称CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本申请实施例提供的方案涉及人工智能的计算机视觉等技术，具体通过如下实施例进行说明：

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。

如图1所示，系统架构100包括多个终端装置，所述终端装置可通过例如网络150彼此通信。举例来说，系统架构100可以包括通过网络150互连的第一终端装置110和第二终端装置120。在图1的实施例中，第一终端装置110和第二终端装置120执行单向数据传输。

举例来说，第一终端装置110可对视频数据(例如由终端装置110采集的视频图片流)进行编码以通过网络150传输到第二终端装置120，已编码的视频数据以一个或多个已编码视频码流形式传输，第二终端装置120可从网络150接收已编码视频数据，对已编码视频数据进行解码以恢复视频数据，并根据恢复的视频数据显示视频图片。

在本申请的一个实施例中，系统架构100可以包括执行已编码视频数据的双向传输的第三终端装置130和第四终端装置140，所述双向传输比如可以发生在视频会议期间。对于双向数据传输，第三终端装置130和第四终端装置140中的每个终端装置可对视频数据(例如由终端装置采集的视频图片流)进行编码，以通过网络150传输到第三终端装置130和第四终端装置140中的另一终端装置。第三终端装置130和第四终端装置140中的每个终端装置还可接收由第三终端装置130和第四终端装置140中的另一终端装置传输的已编码视频数据，且可对已编码视频数据进行解码以恢复视频数据，并可根据恢复的视频数据在可访问的显示装置上显示视频图片，而恢复出的视频图片的质量影响了在显示装置上显示的效果，因此本申请的实施例中需要对视频图片的质量进行评估。

在图1的实施例中，第一终端装置110、第二终端装置120、第三终端装置130和第四终端装置140可为服务器、智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但本申请公开的原理可不限于此。本申请实施例中的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

本申请公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络150表示在第一终端装置110、第二终端装置120、第三终端装置130和第四终端装置140之间传送已编码视频数据的任何数目的网络，包括例如有线和/或无线通信网络。通信网络150可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本申请的目的，除非在下文中有所解释，否则网络150的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。

在本申请的一个实施例中，图2示出视频编码装置和视频解码装置在流式传输环境中的放置方式。本申请所公开主题可同等地适用于其它支持视频的应用，包括例如视频会议、数字TV(television，电视机)、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。

流式传输系统可包括采集子系统213，采集子系统213可包括数码相机等视频源201，视频源创建未压缩的视频图片流202。在实施例中，视频图片流202包括由数码相机拍摄的样本。相较于已编码的视频数据204(或已编码的视频码流204)，视频图片流202被描绘为粗线以强调高数据量的视频图片流，视频图片流202可由电子装置220处理，电子装置220包括耦接到视频源201的视频编码装置203。视频编码装置203可包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的所公开主题的各方面。相较于视频图片流202，已编码的视频数据204(或已编码的视频码流204)被描绘为细线以强调较低数据量的已编码的视频数据204(或已编码的视频码流204)，其可存储在流式传输服务器205上以供将来使用。一个或多个流式传输客户端子系统，例如图2中的客户端子系统206和客户端子系统208，可访问流式传输服务器205以检索已编码的视频数据204的副本207和副本209。客户端子系统206可包括例如电子装置230中的视频解码装置210。视频解码装置210对已编码的视频数据的传入副本207进行解码，且产生可在显示器212(例如显示屏)或另一呈现装置上呈现的输出视频图片流211。在一些流式传输系统中，可根据某些视频编码/压缩标准对已编码的视频数据204、视频数据207和视频数据209(例如视频码流)进行编码。该些标准的实施例包括ITU-T H.265。在实施例中，正在开发的视频编码标准非正式地称为下一代视频编码(Versatile Video Coding，VVC)，本申请可用于VVC标准的上下文中。

应注意，电子装置220和电子装置230可包括图中未示出的其它组件。举例来说，电子装置220可包括视频解码装置，且电子装置230还可包括视频编码装置。

为了对视频图片的质量进行评估，在一种技术方案中，如图3所示，先通过高斯模糊对图像进行不同程度的畸变，得到相对图像质量已知的图片，然后训练一个孪生(Siamese)神经网络，对这些图像按照质量进行排序，这种方式能够自动生成排好序的图像集，从而避免了繁重的人工标注工作。然后通过微调的方法将训练好的孪生神经网络中的信息迁移到一个常态网络中，该常态网络可以是CNN(Convolutional Neural Networks，卷积神经网络)网络，然后通过该常态网络来对数据集较小的失真图像(该失真图像已经包含了质量分数)进行图像质量评估，以通过对该常态网络进行训练及微调来实现对图像质量的评估。

然而图像质量评估是一个很宽泛的问题，因为导致图像失真的原因很多，算法难以面面俱到，而在图3所示的技术方案只是针对某一类型的噪声进行训练、处理，对实际图像容易出现泛化能力差的问题。同时，由于，并且孪生神经网络的计算复杂度较高，而且训练过程比较复杂。

基于此，本申请实施例提出来一种新的图像质量的评估方法，具体如图4所示，该图像质量的评估方法可以由具有计算处理功能的设备来执行，比如可以由服务器来执行。参照图4所示，该图像质量的评估方法至少包括步骤S410至步骤S430，详细介绍如下：

在步骤S410中，获取需要评估质量的待处理图像。

在本申请的一个实施例中，待处理图像可以是通过网络获取到的，比如基于图1或图2所示的系统架构接收到的图像。待处理图像也可以是通过图像采集设备采集到的图像，比如通过摄像头、视频监控设备等采集到的图像。待处理图像还可以是计算机生成或者合成的图像。

在步骤S420中，通过特征提取网络提取待处理图像的图像特征，该特征提取网络包括顺次相连的多个特征提取单元，每个特征提取单元包括顺次相连的卷积块和空间注意力模块，该空间注意力模块用于提取待处理图像在空间上的局部特征。

在本申请的一个实施例中，如图5所示，特征提取网络包括了顺次相连的多个特征提取单元501，即前一个特征提取单元的输出作为下一个特征提取单元的输入，每个特征提取单元包括顺次相连的卷积块5011和空间注意力模块5012，卷积块5011用于对特征进行卷积处理，空间注意力模块5012用于提取待处理图像在空间上的局部特征，进而可以提升对图像失真区域、降质区域的关注度，有利于提高对图像质量评估的准确性。

在本申请的一个实施例中，如图6所示，空间注意力模块包括用于进行特征处理的主干分支602和用于提取掩膜特征的掩膜分支603。空间注意力模块的处理过程主要包括：将特征提取单元中卷积块的输出特征作为空间注意力模块的输入特征x，输入特征x通过第一数量个残差单元(即图6中所示的601)进行处理之后分别输入至掩膜分支603和主干分支602，然后将掩膜分支603输出的掩膜特征和主干分支602的输出特征进行融合处理，得到融合结果，进而将融合结果通过第二数量个残差单元(即图6中所示的604)进行处理，得到空间注意力模块的输出特征y。

在本申请的一个实施例中，掩膜分支603中包含有顺次相连的下采样单元6031、第三数量个残差单元(即图6中所示的6032)、上采样单元6033、卷积单元6034和激活函数6035。其中，上采样单元6033用于将经过第三数量个残差单元处理后的特征图的大小恢复为输入到下采样单元6031的特征图的大小。

在本申请的一个实施例中，如图6所示，下采样单元6031包括：顺次连接的第一下采样模块、第四数量个残差单元和第二下采样模块。上采样单元6033包括：顺次连接的第一上采样模块、第五数量个残差单元和第二上采样模块。

在本申请的一个实施例中，如图6所示，主干分支602中包含有顺次相连的第六数量个残差单元。

在本申请的一个实施例中，如图6所示，在将掩膜分支603输出的掩膜特征M(x)和主干分支602的输出特征T(x)进行融合处理时，具体的融合过程可以是：计算掩膜特征M(x)与主干分支602的输出特征T(x)之间的元素积，然后计算该元素积与主干分支602的输出特征T(x)之间的和值，将和值作为掩膜特征与主干分支的输出特征之间的融合结果H(x)。

继续参照图4所示，在步骤S430中，基于待处理图像的图像特征，通过全连接层对该图像特征进行映射处理，得到待处理图像的质量评分。

在本申请的一个实施例中，如图5所示，特征提取网络的输出特征输入至全连接层502，然后通过全连接层502的映射处理得到待处理图像的质量评分。

在本申请的一个实施例中，可以通过一个包含上述特征提取网络和全连接层的图像质量评估模型来对待处理图像进行质量评估，其中，全连接层的输入连接至特征提取网络的输出。在这种情况下，还可以通过包含有打分值的目标图像对图像质量评估模型进行训练。

在本申请的一个实施例中，可以获取包含有打分值的目标视频，然后截取目标视频中的图像帧作为目标图像，该目标图像的打分值可以与目标视频的打分值相同。

在本申请的一个实施例中，如图7所示，通过包含有打分值的目标图像对图像质量评估模型进行训练的过程可以包括如下步骤S710至步骤S740，具体介绍如下：

在步骤S710中，提取各个目标图像的轮廓图像。

在本申请的一个实施例中，可以采用索贝尔算子进行边缘提取来得到目标图像的轮廓图像。而在提取各个目标图像的轮廓图像之前，还可以对各个目标图像进行高斯模糊处理。

在步骤S720中，将各个目标图像划分为多个子图像，并确定各个子图像在轮廓图像中的对应区域。

在本申请的一个实施例中，可以按照设定的尺寸将目标图像划分为多个子图像，可选地，这些子图像之间可以互不重叠。设定的尺寸可以根据模型的输入要求来进行选择，比如设定的尺寸可以是224×224的大小。由于轮廓图像与目标图像之间是存在对应关系的，因此可以在将目标图像划分为多个子图像之后，根据这种对应关系确定出各个子图像在轮廓图像中的对应区域。

在步骤S730中，根据各个子图像在轮廓图像中的对应区域内所包含的像素点的像素值，从多个子图像中选择至少一个子图像作为训练样本，该至少一个子图像的打分值与该至少一个子图像所对应的目标图像的打分值相同。

在本申请的一个实施例中，可以根据各个子图像在轮廓图像中的对应区域内所包含的像素点的像素值，统计各个子图像在轮廓图像中的对应区域内像素值大于第一设定像素值的目标像素点的个数，然后从多个子图像中选择目标像素点的个数大于或等于设定个数的子图像作为训练样本。这种方式可以保证选择到的训练样本具有更多有效的特征，进而可以提高对图像质量评估模型的训练效果。

在本申请的一个实施例中，在从多个子图像中选择至少一个子图像作为训练样本之前，可以将轮廓图像中像素值小于或等于第二设定像素值的像素点的像素值置为第一数值，第二设定像素值小于或等于第一设定像素值。该实施例的技术方案使得可以便于对像素值大于第一设定像素值的目标像素点的个数进行统计。可选地，第二设定像素值可以是0，第一设定像素值可以是非0的值。

在步骤S740中，通过训练样本对图像质量评估模型进行训练。

在本申请的一个实施例中，在对图像质量评估模型进行训练时，可以通过图像质量评估模型中包含的特征提取网络提取训练样本的图像特征，其中特征提取网络的结构如上述实施例中所述，其中的空间注意力模块用于提取训练样本在空间上的局部特征，然后基于训练样本的图像特征，通过图像质量评估模型中包含的全连接层对所述训练样本的图像特征进行映射处理，得到图像质量评估模型针对训练样本输出的预测评分，最后基于该预测评分与训练样本的打分值之间的差异，调整图像质量评估模型的参数，以实现对图像质量评估模型进行训练。

在本申请的一个实施例中，在对图像质量评估模型进行训练时，损失函数可以采用MSE(Mean Squared Error，均方误差)。具体地，

其中，ω_i表示大于0的常数，y_i表示图像质量评估模型针对第i个训练样本输出的预测评分，

表示第i个训练样本的打分值。当然，在本申请的其它实施例中，也可以选择其它损失函数，比如SSE(Sumof Squares for Error，和方差)、RMSE(Root Mean Squared Error，标准差)等。图像质量评估模型在训练过程中可以采用Adam优化器进行优化处理。

在通过图7所示实施例的技术方案对图像质量评估模型进行训练之后，可以通过该图像质量评估模型来实现对图像的质量评估处理。比如可以将待评估的图像输入该图像质量评估模型，然后得到图像质量评估模型针对该待评估的图像对应的评分值。

可选地，本申请实施例的技术方案可以应用到包括图像压缩、视频编解码、视频监控等的场合中，或者在一些具体应用中作为评估图像优劣(如图像失真程度)的模块。例如在远程会议和视频点播等系统受传输差错、网络延迟等不利因素影响的情况下，都需要在线实时监控图像质量，以便于服务提供商动态地调整信源定位策略，进而满足服务质量的要求。在视频云的视频处理中，需要对海量视频进行质量评估，方便分类处理。其中，图像的评估结果可以通过MOS(mean opinion score，平均主观得分)值来表征，值越大表示图像质量越好。

以下结合图8和图6，对本申请的一个实施例的具体处理过程进行详细阐述：

如图8所示，在本申请的一个实施例中，可以对输入的任意格式(比如png格式、bmp格式和jpg格式等)的图像进行图像质量评估，输入图像可以是RGB通道的图像。可选地，可以先对输入图像进行预处理，比如进行高斯模糊处理等，然后输入到卷积块中来提取特征。参照图8所示，在卷积块1之后加上空间注意力模块，空间注意力模块的输出作为卷积块2的输入，按照这种方式不断堆叠卷积块与空间注意力模块的组合，该实施例中以堆叠了4个卷积块与4个空间注意力模块的组合为例，然后在卷积块5之后通过一个全连接层来输出该输入图像的MOS值。当然，在本申请的其它实施例中，也可以在卷积块5之后再增加一个空间注意力模块，然后通过一个全连接层来输出该输入图像的MOS值。

在本申请的一个实施例中，可以基于MobileNet的网络结构来实现对图像质量的评估，以下以基于MobileNetV1的网络结构为例进行详细说明，其中，图像质量评估模型的结构如图8所示，在不同的卷积块之后增加空间注意力模块，不同的卷积块输出的特征图谱的尺寸可能是不相同的。如表1，当卷积块输出的特征图谱尺寸从112×112×64过度到56×56×64之前，增加一个空间注意力模块，空间注意力模块需要额外的卷积层进行辅助，具体的结构可以参照图6所示。在图8所示的结构中，卷积块由浅到深地提取图像的特征，而空间注意力模块则在不断的优化过程中强化了压缩失真比较明显的区域，进一步提升网络的预测能力。然后在MobileNetV1的第一个全连层进行降维，把维度从1024降为128，然后从128降为1，输出为图像的MOS值。其中，图像质量评估模型在训练时采用的损失函数可以是MSE，优化器可以采用Adam。或者优化器也可以采用SGD(Stochastic Gradient Descent，随机梯度下降)等其它方法进行替换。

表1

在本申请的一个实施例中，如图6所示，空间注意力模块分为两个分支：掩模分支603和主干分支602，输入特征x经过空间注意力模块后，其特征大小与通道数维持不变。主干分支602用来进行特征处理，可以改进成任何最先进的网络结构，输入特征x经过主干分支602之后输出是T(x)。主干分支602可以由t个残差单元组成，即图6中所示的602包含了t个残差单元。

掩模分支603可以使用类编码-解码结构，学习与T(x)同样大小的软加权掩模M(x)。类编码-解码结构模拟了快速前馈、反馈的注意力过程，输出的掩模特征M(x)被用于主干分支602的神经元控制门，掩膜分支的输出为M(x)。空间注意力模块中将主干分支602与掩膜分支603的输出进行融合得到H(x)＝(1+M(x))×T(x)，然后经过p个残差单元(即图6中所示的604包含了p个残差单元)得到最终的输出特征y。

在本申请的一个实施例中，掩膜分支603中的下采样单元6031包含的第四数量个残差单元的个数可以是r个，图6中所示的6032中包含的第三数量个残差单元的个数可以是2r个，上采样单元6033包含的第五数量个残差单元的个数也可以是r个。

可选地，在本申请的一个实施例中，3个超参数的设置可以为{p＝1,t＝2,r＝1}，或者根据实验结果进行调整。残差单元的设计可以采用卷积层的组合，例如{卷积核大小为1×1的卷积层,卷积核大小为3×3的卷积层,卷积核大小为1×1的卷积层}，其中卷积核大小为1×1的卷积层的通道数与输入特征x的通道数c保持一致，卷积核大小为3×3的卷积层的通道数可以为2c，即先升维后降维，当然也可以采用其它尺寸的卷积核大小，但是需要保持输出特征y与输入特征x的通道数一致。

在掩膜分支603中，输入特征x先经过max pooling的方法进行下采样，步长stride可以为2，然后经过r个残差单元后再次进行max pooling，总体特征图谱的大小缩小了4倍，然后经过2r个残差单元后进行一次2倍上采样，经过r个残差单元再次进行2倍上采样，恢复为原来的图谱大小。下采样的目的是获取更多的全局语义信息，而上采样恢复尺寸是为了生成与输入特征x同等大小的掩膜。图6中所示的6034中可以包含两个卷积层，这两个卷积层均可以使卷积核大小为1×1的卷积层，其作用是提升空间注意力模块的空间表达力，通道数根据实际情况进行调整，比如6034中的第一个卷积层的通道数可以为2c，第二个卷积层的通道数可以为c。激活函数6035可以采用sigmoid激活函数，然后输出归一化处理之后的M(x)。基于图6所示的空间注意力模块，当M(x)等于0时，掩膜分支603没有影响T(x)，当M(x)大于0时，强化了T(x)，从而在空间上增强了特征的表达力。

在对图像质量评估模型进行训练时，需要选择合适的训练样本。在本申请的一个实施例中，可以获取已经过主观打分的视频，然后提取视频帧作为训练样本。对于每帧图像I，先对图像I进行高斯模糊处理，然后采用索贝尔算子进行边缘提取得到轮廓图像M，并设置一个阈值m，对轮廓图像M的每个像素点分别进行判断，将像素值低于m的像素点的值置为0。由于mobilenetV1的输入图像尺寸要求为224×224，因此可以把图像I分为不重叠的子块，每个子块的大小为224×224。然后根据图像I每个子块在轮廓图像M上对应的位置，判断轮廓图像M上每个子块中非0像素点的个数，然后将非像素点的个数大于n(n为设定的一个阈值，比如可以设置为n＝5000)的子块挑选为训练集，同一个视频所有挑选出来的子块的mos值均与视频的mos值一样。进而可以通过挑选出的训练集来对图像质量评估模型进行训练。

本申请上述实施例中的具体数值仅为示例，在实施时可以根据实际情况进行调整。比如，空间注意力模块中的超参数可以根据实际情况进行设置，或者也可以调整残差单元的结构，并且主干分支602也可以采用其它网络模型进行替换，例如vggnet、Alexnet等。

通过本申请上述实施例的技术方案，可以对不同质量的图像预测出比较合理的分数，对于压缩噪声越大的图像，评分越低，比如对于图9中所示的两个图像，左边的图像质量较高，那么评分值较高；而右边的图像质量较小，因此评分值较低。在测试集上，测试视频为848个，每隔10帧取一帧(每个视频大概120-150帧)，实验结果如下：PLCC(Pearson linearcorrelation coefficient，皮尔森线性相关系数)为0.864，SROCC(Spearman rankordercorrelation coefficient，斯皮尔曼秩相关系数)为0.867。从这两个指标来看，在该数据集上本本申请实施例的技术方案进行无参考图像质量评估效果较优。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的图像质量的评估方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的图像质量的评估方法的实施例。

图10示出了根据本申请的一个实施例的图像质量的评估装置的框图，该图像质量的评估装置可以设置在具有计算处理功能的设备内，比如可以设置在服务器内。

参照图10所示，根据本申请的一个实施例的图像质量的评估装置1000，包括：获取单元1002、第一处理单元1004和第二处理单元1006。

其中，获取单元1002配置为获取需要评估质量的待处理图像；第一处理单元1004配置为通过特征提取网络提取所述待处理图像的图像特征，所述特征提取网络包括顺次相连的多个特征提取单元，每个所述特征提取单元包括顺次相连的卷积块和空间注意力模块，所述空间注意力模块用于提取所述待处理图像在空间上的局部特征；第二处理单元1006配置为基于所述图像特征，通过全连接层对所述图像特征进行映射处理，得到所述待处理图像的质量评分。

在本申请的一些实施例中，基于前述方案，所述空间注意力模块包括用于进行特征处理的主干分支和用于提取掩膜特征的掩膜分支；所述特征提取单元的处理过程，包括：将所述特征提取单元中卷积块的输出特征通过第一数量个残差单元进行处理之后分别输入至所述掩膜分支和所述主干分支；将所述掩膜分支输出的掩膜特征和所述主干分支的输出特征进行融合处理，得到融合结果；将所述融合结果通过第二数量个残差单元进行处理，得到所述空间注意力模块的输出特征。

在本申请的一些实施例中，基于前述方案，所述掩膜分支中包含有顺次相连的下采样单元、第三数量个残差单元、上采样单元、卷积单元和激活函数；其中，所述上采样单元用于将经过所述第三数量个残差单元处理后的特征图的大小恢复为输入到所述下采样单元的特征图的大小。

在本申请的一些实施例中，基于前述方案，所述下采样单元包括：顺次连接的第一下采样模块、第四数量个残差单元和第二下采样模块；所述上采样单元包括：顺次连接的第一上采样模块、第五数量个残差单元和第二上采样模块。

在本申请的一些实施例中，基于前述方案，所述主干分支中包含有顺次相连的第六数量个残差单元。

在本申请的一些实施例中，基于前述方案，所述特征提取单元将所述掩膜分支输出的掩膜特征和所述主干分支的输出特征进行融合处理，得到融合结果的过程，包括：计算所述掩膜特征与所述主干分支的输出特征之间的元素积；计算所述元素积与所述主干分支的输出特征之间的和值，将所述和值作为所述掩膜特征与所述主干分支的输出特征之间的融合结果。

在本申请的一些实施例中，基于前述方案，通过图像质量评估模型评估所述待处理图像的质量评分，所述图像质量评估模型包括所述特征提取网络和所述全连接层，所述全连接层连接至所述特征提取网络。

图11示出了根据本申请的一个实施例的图像质量评估模型的训练装置的框图，该图像质量评估模型的训练装置可以设置在具有计算处理功能的设备内，比如可以设置在服务器内。

参照图11所示，根据本申请的一个实施例的图像质量评估模型的训练装置1100，包括：第二获取单元1102、第三处理单元1104、第四处理单元1106和第五处理单元1108。

其中，第二获取单元1102配置为获取包含有打分值的训练样本，所述打分值用于表征所述训练样本的图像质量；第三处理单元1104配置为通过图像质量评估模型中包含的特征提取网络提取所述训练样本的图像特征，所述特征提取网络包括顺次相连的多个特征提取单元，每个所述特征提取单元包括顺次相连的卷积块和空间注意力模块，所述空间注意力模块用于提取所述训练样本在空间上的局部特征；第四处理单元1106配置为基于所述训练样本的图像特征，通过所述图像质量评估模型中包含的全连接层对所述训练样本的图像特征进行映射处理，得到所述图像质量评估模型针对所述训练样本输出的预测评分；第五处理单元1108配置为根据所述预测评分与所述训练样本的打分值之间的差异，调整所述图像质量评估模型的参数，以对所述图像质量评估模型进行训练。

在本申请的一些实施例中，基于前述方案，所述第二获取单元1102配置为：提取预设的各个目标图像的轮廓图像；将所述各个目标图像划分为多个子图像，并确定各个子图像在所述轮廓图像中的对应区域；根据所述各个子图像在所述轮廓图像中的对应区域内所包含的像素点的像素值，从所述多个子图像中选择至少一个子图像作为训练样本，所述至少一个子图像的打分值与所述至少一个子图像所对应的目标图像的打分值相同。

在本申请的一些实施例中，基于前述方案，所述第二获取单元1102配置为：根据所述各个子图像在所述轮廓图像中的对应区域内所包含的像素点的像素值，统计所述各个子图像在所述轮廓图像中的对应区域内像素值大于第一设定像素值的目标像素点的个数；从所述多个子图像中选择所述目标像素点的个数大于或等于设定个数的子图像作为所述训练样本。

在本申请的一些实施例中，基于前述方案，所述第二获取单元1102还配置为：在从所述多个子图像中选择至少一个子图像作为训练样本之前，将所述轮廓图像中像素值小于或等于第二设定像素值的像素点的像素值置为第一数值，所述第二设定像素值小于或等于所述第一设定像素值。

在本申请的一些实施例中，基于前述方案，所述第二获取单元1102还配置为：在提取各个目标图像的轮廓图像之前，对所述各个目标图像进行高斯模糊处理。

在本申请的一些实施例中，基于前述方案，所述第二获取单元1102还配置为：获取包含有打分值的目标视频；截取所述目标视频中的图像帧作为所述目标图像，所述目标图像的打分值与所述目标视频的打分值相同。

图12示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图12示出的电子设备的计算机系统1200仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图12所示，计算机系统1200包括中央处理单元(Central Processing Unit，CPU)1201，其可以根据存储在只读存储器(Read-Only Memory，ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(Random Access Memory，RAM)1203中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1203中，还存储有系统操作所需的各种程序和数据。CPU 1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(Input/Output，I/O)接口1205也连接至总线1204。

以下部件连接至I/O接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(CPU)1201执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种图像质量的评估方法，其特征在于，包括：

获取需要评估质量的待处理图像；

通过特征提取网络提取所述待处理图像的图像特征，所述特征提取网络包括顺次相连的多个特征提取单元，每个所述特征提取单元包括顺次相连的卷积块和空间注意力模块，所述空间注意力模块用于提取所述待处理图像在空间上的局部特征；

基于所述图像特征，通过全连接层对所述图像特征进行映射处理，得到所述待处理图像的质量评分。

2.根据权利要求1所述的图像质量的评估方法，其特征在于，所述空间注意力模块包括用于进行特征处理的主干分支和用于提取掩膜特征的掩膜分支；

所述特征提取单元的处理过程包括：

将所述特征提取单元中卷积块的输出特征通过第一数量个残差单元进行处理之后，分别输入至所述掩膜分支和所述主干分支；

将所述掩膜分支输出的掩膜特征和所述主干分支的输出特征进行融合处理，得到融合结果；

将所述融合结果通过第二数量个残差单元进行处理，得到所述空间注意力模块的输出特征。

3.根据权利要求2所述的图像质量的评估方法，其特征在于，所述掩膜分支中包含有顺次相连的下采样单元、第三数量个残差单元、上采样单元、卷积单元和激活函数；

其中，所述上采样单元用于将经过所述第三数量个残差单元处理后的特征图的大小恢复为输入到所述下采样单元的特征图的大小。

4.根据权利要求3所述的图像质量的评估方法，其特征在于，所述下采样单元包括：顺次连接的第一下采样模块、第四数量个残差单元和第二下采样模块；

所述上采样单元包括：顺次连接的第一上采样模块、第五数量个残差单元和第二上采样模块。

5.根据权利要求2所述的图像质量的评估方法，其特征在于，所述主干分支中包含有顺次相连的第六数量个残差单元。

6.根据权利要求2所述的图像质量的评估方法，其特征在于，将所述掩膜分支输出的掩膜特征和所述主干分支的输出特征进行融合处理，得到融合结果，包括：

计算所述掩膜特征与所述主干分支的输出特征之间的元素积；

计算所述元素积与所述主干分支的输出特征之间的和值，将所述和值作为所述掩膜特征与所述主干分支的输出特征之间的融合结果。

7.根据权利要求1至6中任一项所述的图像质量的评估方法，其特征在于，通过图像质量评估模型评估所述待处理图像的质量评分，所述图像质量评估模型包括所述特征提取网络和所述全连接层，所述全连接层连接至所述特征提取网络。

8.一种图像质量评估模型的训练方法，其特征在于，包括：

获取包含有打分值的训练样本，所述打分值用于表征所述训练样本的图像质量；

通过图像质量评估模型中包含的特征提取网络提取所述训练样本的图像特征，所述特征提取网络包括顺次相连的多个特征提取单元，每个所述特征提取单元包括顺次相连的卷积块和空间注意力模块，所述空间注意力模块用于提取所述训练样本在空间上的局部特征；

基于所述训练样本的图像特征，通过所述图像质量评估模型中包含的全连接层对所述训练样本的图像特征进行映射处理，得到所述图像质量评估模型针对所述训练样本输出的预测评分；

根据所述预测评分与所述训练样本的打分值之间的差异，调整所述图像质量评估模型的参数，以对所述图像质量评估模型进行训练。

9.根据权利要求8所述的图像质量评估模型的训练方法，其特征在于，获取包含有打分值的训练样本，包括：

提取预设的各个目标图像的轮廓图像；

将所述各个目标图像划分为多个子图像，并确定各个子图像在所述轮廓图像中的对应区域；

根据所述各个子图像在所述轮廓图像中的对应区域内所包含的像素点的像素值，从所述多个子图像中选择至少一个子图像作为训练样本，所述至少一个子图像的打分值与所述至少一个子图像所对应的目标图像的打分值相同。

10.根据权利要求9所述的图像质量评估模型的训练方法，其特征在于，根据所述各个子图像在所述轮廓图像中的对应区域内所包含的像素点的像素值，从所述多个子图像中选择至少一个子图像作为训练样本，包括：

根据所述各个子图像在所述轮廓图像中的对应区域内所包含的像素点的像素值，统计所述各个子图像在所述轮廓图像中的对应区域内像素值大于第一设定像素值的目标像素点的个数；

从所述多个子图像中选择所述目标像素点的个数大于或等于设定个数的子图像作为所述训练样本。

11.根据权利要求10所述的图像质量评估模型的训练方法，其特征在于，在从所述多个子图像中选择至少一个子图像作为训练样本之前，所述评估方法还包括：

将所述轮廓图像中像素值小于或等于第二设定像素值的像素点的像素值置为第一数值，所述第二设定像素值小于或等于所述第一设定像素值。

12.根据权利要求9所述的图像质量评估模型的训练方法，其特征在于，还包括：

获取包含有打分值的目标视频；

截取所述目标视频中的图像帧作为所述目标图像，所述目标图像的打分值与所述目标视频的打分值相同。

13.一种图像质量的评估装置，其特征在于，包括：

第一获取单元，配置为获取需要评估质量的待处理图像；

第一处理单元，配置为通过特征提取网络提取所述待处理图像的图像特征，所述特征提取网络包括顺次相连的多个特征提取单元，每个所述特征提取单元包括顺次相连的卷积块和空间注意力模块，所述空间注意力模块用于提取所述待处理图像在空间上的局部特征；

第二处理单元，配置为基于所述图像特征，通过全连接层对所述图像特征进行映射处理，得到所述待处理图像的质量评分。

14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像质量的评估方法，或实现如权利要求8至12中任一项所述的图像质量评估模型的训练方法。

15.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的图像质量的评估方法，或实现如权利要求8至12中任一项所述的图像质量评估模型的训练方法。

Images