CN115830028A - 图像评价方法、设备、系统及存储介质 - Google Patents

Abstract

本申请提供一种图像评价方法、设备、系统及存储介质，通过获取包括至少一个子图的目标图像，通过特征提取模块获取目标图像的第一特征图，再将第一特征图输入特征融合模块，获取包含全局和局部信息的第二特征图。第一特征图通过子图检测模块，获取用于指示图像中子图中心位置的第三特征图，以及用于指示图像中子图角点位置的第四特征图。第二特征图通过子图质量属性预测模块，获取用于指示图像中子图的预设质量属性的信息。最后将第三特征图、第四特征图以及第五特征图输入多质量属性解码模块，以获得对目标图像中各子图的评价信息，评价信息包括子图的整体质量得分，以及多个质量属性得分或类别，实现对多子图的复杂图像的多属性质量评价。

Description

图像评价方法、设备、系统及存储介质

技术领域

本申请涉及人工智能领域，尤其涉及一种图像评价方法、设备、系统及存储介质。

背景技术

图像质量评估是一种量化图像品质的方法，用来判定图像质量的高低，在图像压缩、视频编解码、视频监测等场景有着广泛的应用。根据原始参考图像的提供信息的多少，可以分为全参考、半参考和无参考图像质量评估方法。一般在实际应用中无法提供参考图像，因此无参考图像质量评估方法最有实用价值，也有着广泛的应用。同时，由于图像内容的千变万化并且无参考，也使得其成为热点研究对象。

基于深度学习技术的无参考图像质量评估，是目前的主流的评价方法，该方法通过对图像质量特征进行建模，可以获得图像质量评分，该评分通常是对图像整体质量的评分。

在一些场景中，例如卡证票据信息抽取场景，输入图像较为复杂，存在包含多个子区域的情况，例如图像中包括身份证正反面两个子区域。基于目前主流的评价方法是无法准确评价每个子区域的质量情况，且无法给出更细致的质量属性评价。

发明内容

本申请实施例提供一种图像评价方法、设备、系统及存储介质，实现对多子图的复杂图像的多属性质量评价。

本申请实施例的第一方面提供一种图像评价方法，该方法包括：

获取目标图像，目标图像中包括至少一个子图；

通过特征提取模块获取目标图像的第一特征图；

将第一特征图输入特征融合模块，获取第二特征图，第二特征图用于指示第一特征图的信息、目标图像的全局信息和局部信息；

将第一特征图输入子图检测模块，获取第三特征图，第三特征图用于指示目标图像中子图的位置信息；

将第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图，第四特征图用于指示目标图像的综合质量信息，第五特征图用于指示目标图像的预设质量属性的信息；

通过多质量属性解码模块对第三特征图、第四特征图和第五特征图进行解码，得到目标图像中至少一个子图的评价信息，评价信息包括子图的综合质量得分，以及预设质量属性的得分和/或类别。

一种可选的实施例中，特征融合模块包括全局信息提取模块、局部信息提取模块和短路链接模块；将第一特征图输入特征融合模块，获取第二特征图，包括：

将第一特征图分别输入到全局信息提取模块、局部信息提取模块和短路链接模块；

将全局信息提取模块、局部信息提取模块和短路链接模块的输出特征图沿着通道维度作拼接处理，获取第二特征图。

一种可选的实施例中，全局信息提取模块包括3层卷积神经网络层、1层池化层和1层扩展层，局部信息提取模块包括2层神经网络，短路链接模块用于透传第一特征图。

一种可选的实施例中，子图检测模块包括子图中心点检测模块和子图角点偏移量回归模块；将第一特征图输入子图检测模块，获取第三特征图，包括：

将第一特征图输入子图中心点检测模块，获取第六特征图，第六特征图用于指示目标图像中子图的中心点位置信息；

将第一特征图输入子图角点偏移量回归模块，获取第七特征图，第七特征图用于指示目标图像中子图角点相较于中心点的偏移量；

第三特征图包括第六特征图和第七特征图。

一种可选的实施例中，子图质量属性预测模块包括质量评价模块和质量属性预测模块；将第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图，包括：

将第二特征图输入质量评价模块，获取第四特征图；

将第二特征图输入质量属性预测模块，获取第五特征图。

一种可选的实施例中，质量属性预测模块包括复印件预测模块、翻拍预测模块、子图完整性评价模块的至少一项；

第五特征图用于指示目标图像中单位处理单元是否为复印件、是否为翻拍，以及单位处理单元的完整性得分。

一种可选的实施例中，通过多质量属性解码模块对第三特征图、第四特征图和第五特征图进行解码，得到目标图像中至少一个子图的评价信息，包括：

通过多质量属性解码模块对第三特征图和第四特征图进行解码，得到评价信息中目标图像中子图的综合质量得分；

通过多质量属性解码模块对第三特征图和第五特征图进行解码，得到评价信息中目标图像中子图的预设质量属性的得分和/或类别。

本申请实施例的第二方面提供一种图像评价方法，包括：

接收来自客户端的图像评价请求，图像评价请求包括目标图像，目标图像包括至少一个子图；

通过特征提取模块获取目标图像的第一特征图；

将第一特征图输入特征融合模块，获取第二特征图，第二特征图用于指示第一特征图的信息、目标图像的全局信息和局部信息；

将第一特征图输入子图检测模块，获取第三特征图，第三特征图用于指示目标图像中子图的位置信息；

将第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图，第四特征图用于指示目标图像的综合质量信息，第五特征图用于指示目标图像的预设质量属性的信息；

通过多质量属性解码模块对第三特征图、第四特征图和第五特征图进行解码，得到目标图像中至少一个子图的评价信息，评价信息包括子图的综合质量得分，以及预设质量属性的得分和/或类别。

向客户端返回图像评价响应，图像评价响应包括评价信息。

本申请实施例的第三方面提供一种图像处理方法，包括：

接收图像处理请求，图像处理请求包括多张图像，多张图像均包括至少一个子图；

将多张图像分别输入图像评价模型，获取多张图像的评价信息，评价信息包括对图像中子图的综合质量得分，以及预设质量属性的得分和/或分类；图像评价模型包括特征提取模块、特征融合模块、子图检测模块、子图质量属性预测模块以及多质量属性解码模块；

基于多张图像的评价信息，从多张目标图像中剔除子图的综合质量得分小于预设阈值，和/或，预设质量属性的得分小于预设得分的目标图像；

返回图像处理响应，图像处理响应包括剔除目标图像后的图像。

本申请实施例的第四方面提供一种图像评价设备，包括：

获取单元，用于获取目标图像，目标图像中包括至少一个子图；

处理单元，用于通过特征提取模块获取目标图像的第一特征图；

将第一特征图输入特征融合模块，获取第二特征图，第二特征图用于指示第一特征图的信息、目标图像的全局信息和局部信息；

将第一特征图输入子图检测模块，获取第三特征图，第三特征图用于指示目标图像中子图的位置信息；

将第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图，第四特征图用于指示目标图像的综合质量信息，第五特征图用于指示目标图像的预设质量属性的信息；

通过多质量属性解码模块对第三特征图、第四特征图和第五特征图进行解码，得到目标图像中至少一个子图的评价信息，评价信息包括子图的综合质量得分，以及预设质量属性的得分和/或类别。

本申请实施例的第五方面提供一种图像评价设备，包括：

接收单元，用于接收来自客户端的图像评价请求，图像评价请求包括目标图像，目标图像包括至少一个子图；

处理单元，用于通过特征提取模块获取目标图像的第一特征图；

将第一特征图输入特征融合模块，获取第二特征图，第二特征图用于指示第一特征图的信息、目标图像的全局信息和局部信息；

将第一特征图输入子图检测模块，获取第三特征图，第三特征图用于指示目标图像中子图的位置信息；

将第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图，第四特征图用于指示目标图像的综合质量信息，第五特征图用于指示目标图像的预设质量属性的信息；

通过多质量属性解码模块对第三特征图、第四特征图和第五特征图进行解码，得到目标图像中至少一个子图的评价信息，评价信息包括子图的综合质量得分，以及预设质量属性的得分和/或类别。

发送单元，用于向客户端返回图像评价响应，图像评价响应包括评价信息。

本申请实施例的第六方面提供一种图像处理设备，包括：

接收单元，用于接收图像处理请求，图像处理请求包括多张图像，多张图像均包括至少一个子图；

处理单元，用于将多张图像分别输入图像评价模型，获取多张图像的评价信息，评价信息包括对图像中子图的综合质量得分，以及预设质量属性的得分和/或分类；基于多张图像的评价信息，从多张目标图像中剔除子图的综合质量得分小于预设阈值，和/或，预设质量属性的得分小于预设得分的目标图像；图像评价模型包括特征提取模块、特征融合模块、子图检测模块、子图质量属性预测模块以及多质量属性解码模块；

发送单元，用于返回图像处理响应，图像处理响应包括剔除目标图像后的图像。

本申请实施例的第七方面提供一种图像评价系统，包括：端侧设备和云侧设备；

端侧设备用于向云侧设备发送图像评价请求，图像评价请求包括目标图像，目标图像包括至少一个子图；

云侧设备用于通过特征提取模块获取目标图像的第一特征图；

将第一特征图输入特征融合模块，获取第二特征图，第二特征图用于指示第一特征图的信息、目标图像的全局信息和局部信息；

将第一特征图输入子图检测模块，获取第三特征图，第三特征图用于指示目标图像中子图的位置信息；

将第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图，第四特征图用于指示目标图像的综合质量信息，第五特征图用于指示目标图像的预设质量属性的信息；

通过多质量属性解码模块对第三特征图、第四特征图和第五特征图进行解码，得到目标图像中至少一个子图的评价信息，评价信息包括子图的综合质量得分，以及预设质量属性的得分和/或类别。

向端侧设备返回图像评价响应，图像评价响应包括评价信息。

本申请实施例的第八方面提供一种电子设备，包括：存储器，处理器以及计算机程序；所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如本申请第一方面任一项所述的方法，或者如本申请第二方面所述的方法，或者如本申请第三方面所述的方法。

本申请实施例的第九方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如本申请第一方面任一项所述的方法，或者如本申请第二方面所述的方法，或者如本申请第三方面所述的方法。

本申请实施例的第十方面提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本申请第一方面任一项所述的方法，或者如本申请第二方面所述的方法，或者如本申请第三方面所述的方法。

本申请实施例的第十一方面提供一种芯片，芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行如本申请第一方面任一项所述的方法，或者如本申请第二方面所述的方法，或者如本申请第三方面所述的方法。

本申请实施例提供一种图像评价方法、设备、系统及存储介质，涉及人工智能领域，该方法包括：获取包括至少一个子图的目标图像后，通过特征提取模块获取目标图像的第一特征图，再将第一特征图输入特征融合模块，获取包含全局和局部信息的第二特征图。第一特征图通过子图检测模块，获取用于指示图像中子图中心位置的第三特征图，以及用于指示图像中子图角点位置的第四特征图。第二特征图通过子图质量属性预测模块，获取用于指示图像中子图的预设质量属性的信息。最后将第三特征图、第四特征图以及第五特征图输入多质量属性解码模块，以获得对目标图像中各子图的评价信息，评价信息包括子图的整体质量得分，以及多个质量属性得分或类别。上述方案可实现对多子图的复杂图像的多属性质量评价。

附图说明

图1为本申请实施例提供的图像评价方法的应用场景示意图；

图2为本申请实施例提供的一种图像评价方法的流程示意图；

图3为本申请实施例提供的一种特征融合模块的结构示意图；

图4为本申请实施例提供的子图检测模块的结构示意图；

图5为本申请实施例提供的子图质量属性预测模块的结构示意图；

图6为本申请实施例提供的一种图像评价方法的流程示意图；

图7为本申请实施例提供的一种图像评价方法的流程示意图；

图8为本申请实施例提供的一种图像评价设备的结构示意图；

图9为本申请实施例提供的一种图像评价设备的结构示意图；

图10为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于清楚描述本申请实施例的技术方案，在本申请实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一特征图、第二特征图、第三特征图等仅仅是为了区分不同的特征图，并不对其先后顺序进行限定，类似的描述还有：子图检测模块和子图质量属性预测模块。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

本申请实施例中，“至少一个”是指一个或多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（种/个）”或其类似表达，是指的这些项中的任意组合，包括单项（种/个）或复数项（种/个）的任意组合。例如，a，b或c中的至少一项（种/个），可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被理解为比其他实施例或设计方案更优选或更具优势。确定而言，使用“示例性的”或“例如”等词旨在以具体方式呈现相关概念。

下面首先对本申请实施例涉及到的术语进行简要说明。

第一，VGGNet：由牛津大学计算机视觉组(Visual Geometry Group， VGG) 提出，是一种卷积神经基础网络，主要包含VGG16和VGG19两种不同的结构，后者比前者具有更多的层数，适用于不同的场景。

第二，ResNet：残差神经网络（Residual Network，ResNet），该网络通过引入残差块使用了跳跃连接，缓解了神经网络中增加深度带来的梯度消失问题，并扩展网络深度，以提升网络效果。

第三，HRNet：高分辨率卷积神经网络（High-Resolution Network, HRNet），在运算全部过程中都可以保持高分辨表征。在整个过程中，并行地通过多分辨率融合不断地交换信息，从而产生丰富的高分辨率表征。

近年来，随着深度学习在计算机视觉任务上取得的巨大成功，基于深度学习的无参考图像质量评估方法成为主流。目前主流方案将无参考图像质量评估任务抽象为一个回归任务，即给定一张输入图像，通过特定的特征抽取网络，并将得到特征采用回归模型映射到质量分数。主流方案的技术核心在于如何构建鲁棒的特征抽取网络，使其模型可以应对多样的输入图像，方案主要是将图像内容信息与回归模型相结合，使其可以对内容变化丰富的图像输出较为准确的质量分数。

然而，目前主流的方法存在两个问题：1）不能进行区域级别的质量评分，由于光照、透视变化等质量恶化的参数在不同的区域不尽相同，因此目前主流方法输出的整体的质量分数无法准确地描述子图区域的质量情况；2）图像质量评分是一个综合的评价指标，该指标可解释性较差，也无法给出更加具体的质量属性结果，例如该图像是否翻拍、是否是复印件等。这些更加细致的质量属性在实际的应用场景中也具有实际的意义，也是质量分数可解释性的表示。

卡证票据在生活中广泛存在，随着数字智能时代的到来和光学字符识别（opticalcharacter recognition，OCR）技术的实用化，读光产品面对更加复杂多样化的卡证票据的结构化理解的任务。对卡证票据图像进行综合的质量评估，有助于用户对图像的质量有直观的认知，也是部分有审核需求的用户的诉求，例如，用户想通过完整性评分来过滤不完整的图像。

目前，现有的图像评价方案对于包含多个子区域的复杂图像，如卡证票据图像，无法准确评价每个子区域的质量情况，且目前对卡证的完整性评分、是否翻拍、是否是复印件等多属性的质量评价有较强的使用需求。因此，如何对多子图的复杂图像准确地进行多属性的质量评价，是目前亟待解决的一个问题。

基于上述分析，本申请实施例提出一种带有区域检测的多属性图像质量评价方法，该方法是一种基于深度学习的图像评价方法，设计了全局特征和子图特征相融合的特征提取方式，可以从海量数据中学习到有效的图像质量特征，保证评价方法的泛化性能。区别于主流的图像评价方法，该方法基于区域检测、多路处理模块，可以并行对输入图像中不同子图区域的质量进行评价，例如实现对至少一个子图的完整性评分、是否翻拍、是否是复印件等质量属性进行预测。此外，在区域检测基础上，子图完整性评分可以通过预测子图区域的完整区域来进行计算，使得该完整性评分有着较强的可解释性。

下面首先对本申请实施例提供的技术方案的应用场景进行简要介绍。

示例性的，图1为本申请实施例提供的图像评价方法的应用场景示意图。如图1所示，该场景包括客户端110和服务器120，客户端110通过通信网络与服务器120连接。

客户端110可以包括适合于接收图像数据、采集图像数据的任何一个或多个用户设备。在一些实施例中，客户端110可以包括任何合适类型的设备。例如，在一些实施例中，客户端110可以包括移动设备、平板计算机、膝上型计算机、台式计算机、可穿戴计算机、任何其他合适类型的用户设备，对此本申请实施例不作任何限制。在一些实施例中，客户端110向服务器120发送包括目标图像的图像评价请求，经服务器120处理后，客户端110接收服务器120返回的图像评价响应，图像评价响应包括对目标图像的评价信息。

服务器120可以是用于存储信息、数据、程序和/或任何其他合适类型的内容的任何适当的服务器。在一些实施例中，服务器120可以执行任何适当的功能。例如，在一些实施例中，服务器120接收来自客户端的图像评价请求，图像评价请求包括目标图像，服务器基于其上部署的多个处理模块，如特征提取模块、特征融合模块、多质量属性解码模块等，可用于对输入的目标图像的质量评价，例如输出目标图像的综合质量得分以及多个质量属性得分等评价信息。服务器120在得到对图像质量的评价信息后，可将评价信息发送至客户端110。

通信网络可以是一个或多个有线和/或无线网络的任何适当的组合。例如，通信网络能够包括以下各项中的任何一种或多种：互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字订户线路(DSL)网络、帧中继网络、异步转移模式(ATM)网络、虚拟专用网(VPN)和/或任何其它合适的通信网络。客户端110能够通过一个或多个通信链路连接到通信网络，该通信网络能够经由一个或多个通信链路被链接到服务器120。通信链路可以是适合于在客户端110和服务器120之间传送数据的任何通信链路，诸如网络链路、拨号链路、无线链路、硬连线链路、任何其它合适的通信链路或此类链路的任何合适的组合。

尽管将服务器120图示为一个设备，但是在一些实施例中，可以使用任何适当数量的设备来执行由服务器120执行的功能。例如，在一些实施例中，可以使用多个设备来实现由服务器120执行的功能。或者，可使用云服务实现服务器120的功能。

下面通过具体实施例对本申请提供的图像评价方案进行详细说明。需要说明的是，本申请实施例提供的技术方案可以包括以下内容中的部分或全部，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图2为本申请实施例提供的一种图像评价方法的流程示意图。该图像评价方法可应用于图1所示的服务器，或者其他执行装置，下面以服务器为例进行方案说明。

如图2所示，该方法包括以下步骤：

S201、获取目标图像，目标图像中包括至少一个子图。

示例性的，目标图像包括至少一个子图的区域，每个区域显示的内容可以是身份证正面信息或反面信息，也可以是出租车票、火车票、飞机票的票面信息，还可以是收据或票据的票面信息，对此本申请实施例不作任何限制。

S202、通过特征提取模块获取目标图像的第一特征图。

特征提取模块用于对图像特征的抽取，该模块可采用如VGGNet、ResNet、HRNet等特征提取网络。具体来说，将目标图像输入特征提取模块，获取特征提取模块输出的第一特征图。

S203、将第一特征图输入特征融合模块，获取第二特征图。

其中，第二特征图用于指示第一特征图的信息、目标图像的全局信息和局部信息。

需要说明的是，考虑到子图区域的质量属性预测可能依赖于图像的整体信息，例如检测子图区域是否为翻拍，判断翻拍依据子图区域本身可能较为困难，但是结合子图图像边缘的背景信息，则可以提升预测的准确率。

本实施例中，通过增设特征融合模块，将目标图像中的全局特征和子图特征进行特征融合，以期将图像中的全局信息融入质量属性预测中，提升图像质量评价的准确性。

全局特征是指图像的整体属性，常见的全局特征包括颜色特征、纹理特征和形状特征等，这个属性与空间位置信息无关。局部特征是与空间位置相关的信息，不同的位置会有不同的局部特征，局部特征包含了大量的细节信息，例如边缘、局部光照等信息。对于空间中任意位置，全局特征均是相同的，局部特征却各不相同。本实施例中，全局特征的抽取和局部特征的抽取都是通过卷积神经网络完成，通过对设计不同的网络结构，如上述的特征融合模块，自适应地提取出适合于最终任务的全局特征和局部特征。

示例性的，图3为本申请实施例提供的一种特征融合模块的结构示意图。如图3所示，特征融合模块包括全局信息提取模块、局部信息提取模块和短路链接模块。

其中，全局信息提取模块包括3层卷积神经网络层、1层池化层（MaxPool 层）和1层扩展层（Expend 层），如图3所示。卷积神经网络层包括卷积层（Conv层）和批量标准化层（Batch Normalization，BN层），主要用于特征的融合，池化层用于对局部特征进行聚合，随后经过扩展操作，得到与子图质量属性预测模块的输入等大小的全局特征图（即下文的第二特征图）。

具体来说，全局信息提取模块的输入为第一特征图，假设其尺度为“C×H×W”，其中 C 表示特征通道数，H 表示特征高度，W 表示特征宽度。经过1层卷积核为 3 × 3 的Conv层和BN层，得到“C×H×W”的特征图。该操作在图3中记为（3，C×H×W），其中 3 表示卷积核大小。进而，使用大卷积核的卷积层（“13，C/2×H×W”）进行局部特征融合和降维，输出特征图通道数降为输入的二分之一。再使用池化层对特征进行空间维度聚合，得到尺度为“C/2×1×1”的全局特征向量，最后扩展层将前述全局特征向量在空间维度进行扩展，得到“C/2×H×W”的全局特征图。

其中，局部信息提取模块包括2层卷积神经网络层，如图3所示，使用 “3，C×H×W”和“1，C/2×H×W”的Conv+BN，用于提取图像的局部特征。

其中，短路链接模块用于透传第一特征图。

作为一种示例，将第一特征图输入特征融合模块，获取第二特征图，包括：将第一特征图分别输入到全局信息提取模块、局部信息提取模块和短路链接模块；将全局信息提取模块、局部信息提取模块和短路链接模块的输出特征图沿着通道维度作拼接处理，获取第二特征图。基于该示例的实验表明，使用该特征融合模块，可提升图像质量属性预测的准确性，特别是整体质量分数、是否翻拍等依赖于全局特征的图像质量属性的预测。

需要说明的是，本实施例的特征融合模块可采用注意力机制、Transformer交互机制等，对此本申请实施例不作任何限制。

S204、将第一特征图输入子图检测模块，获取第三特征图，第三特征图用于指示目标图像中子图的位置信息。

本实施例中，子图检测模块主要用于检测目标图像中有几个子图，以及子图的位置信息。其中，子图的位置信息通常包括子图的中心点位置信息，以及子图角点相较于中心点的偏移量。

示例性的，图4为本申请实施例提供的子图检测模块的结构示意图。如图4所示，子图检测模块包括子图中心点检测模块和子图角点偏移量回归模块。基于图4所示子图检测模块，执行如下步骤以获取第三特征图：

S401、将第一特征图输入子图中心点检测模块，获取第六特征图，第六特征图用于指示目标图像中子图的中心点位置信息。

S402、将第一特征图输入子图角点偏移量回归模块，获取第七特征图，第七特征图用于指示目标图像中子图角点相较于中心点的偏移量。

本示例中，第三特征图包括两类特征图，分别为上述的第六特征图和第七特征图。

需要说明的是，子图中心点检测模块的输出通道数为1。

一种示例中，若目标图像的子图区域为任意四边形，子图角点包括左上、右上、坐下、右下四个点，相应的，子图的位置信息包括子图的中心点位置信息，以及子图的这四个点分别相较于中心点的偏移量。

本示例中，子图角点偏移量回归模块也可称为子图任意四边形坐标回归网络模块，该模块的输出通道数为8，8个通道的特征图依次表示左上、右上、坐下、右下四个点分别与中心点的差值。

需要说明的是，本实施例的子图检测模块可采用单阶段目标检测网络如YOLO、或者SSD目标检测算法，对此本申请实施例不作任何限制。

S205、将第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图。

本实施例中，子图质量属性预测模块主要用于预测目标图像中子图区域的质量，包括综合质量得分，多个质量属性得分和/或类别。其中，第四特征图用于指示目标图像的综合质量信息，第五特征图用于指示目标图像的预设质量属性的信息。

示例性的，图5为本申请实施例提供的子图质量属性预测模块的结构示意图。

在一种示例中，如图5的（a）所示，子图质量属性预测模块包括质量评价模块和质量属性预测模块。将第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图，包括：将第二特征图输入质量评价模块，获取第四特征图；将第二特征图输入质量属性预测模块，获取第五特征图。其中，质量属性预测模块可以包括一个或多个，可根据实际需求设置多个质量属性预测模块，多个质量属性预测模块的输出与具体预测任务相关。

可选的，质量属性预测模块包括以下至少一项：复印件预测模块，翻拍预测模块，子图完整性评价模块。一种情况，若质量属性预测模块包括复印件预测模块，第五特征图用于指示目标图像中单位处理单元是否为复印件。另一种情况，若质量属性预测模块包括翻拍预测模块，第五特征图用于指示目标图像中单位处理单元是否为翻拍。又一种情况，若质量属性预测模块包括子图完整性评价模块，第五特征图用于指示目标图像中单位处理单元的完整性得分。

基于上述可选示例，在一种具体示例中，如图5的（b）所示，子图质量属性预测模块包括质量评价模块、复印件预测模块、翻拍预测模块和子图完整性评价模块。基于图5的（b）所示子图质量属性预测模块，执行如下步骤以获取第四特征图和第五特征图：

S501、将第二特征图输入质量评价模块，获取第四特征图。

S502、将第二特征图输入复印件预测模块，获取第八特征图。

S503、将第二特征图输入翻拍预测模块，获取第九特征图。

S504、将第二特征图输入质量评分模块，获取第十特征图。

在本示例中，第五特征图包括三类特征图，分别为上述的第八特征图、第九特征图和第十特征图。其中，第八特征图用于指示目标图像中单位处理单元是否为复印件，第九特征图用于指示目标图像中单位处理单元是否为翻拍，第十特征图用于指示目标图像中单位处理单元的完整性得分。

可选的，在一些实施例中，质量属性预测模块还可以包括用于预测其他可能的质量属性的模块，例如预测是否有篡改、预测是否有水印等模块。在实际应用中，可根据需求设置需要预测的图像质量属性。

S206、通过多质量属性解码模块对第三特征图、第四特征图和第五特征图进行解码，得到目标图像中至少一个子图的评价信息。

本实施例中，目标图像的评价信息包括子图的综合质量得分，以及子图的预设质量属性的得分和/或类别。

在一种示例中，通过多质量属性解码模块对第三特征图和第四特征图进行解码，得到评价信息中目标图像中子图的综合质量得分。

示例性的，如图4所示，第三特征图包括第六特征图，第六特征图是子图中心点检测模块输出的特征图，多质量属性解码模块是基于第六特征图以及第四特征图，解析得到目标图像中子图的综合质量得分。

在一种示例中，通过多质量属性解码模块对第三特征图和第五特征图进行解码，得到评价信息中目标图像中子图的预设质量属性的得分和/或类别。

示例性的，结合图4和图5的（b），第三特征图包括第六特征图和第七特征图，第六特征图是子图中心点检测模块输出的特征图，第七特征图是子图角点偏移量回归模块输出的特征图。第五特征图包括第八特征图、第九特征图和第十特征图，第八特征图是复印件预测模块输出的特征图，第九特征图是翻拍预测模块输出的特征图，第十特征图是子图完整性评价模块输出的特征图。一种情况，多质量属性解码模块基于第六特征图以及第八特征图，解析得到目标图像中子图是否为复印件的分类结果。另一种情况，多质量属性解码模块基于第六特征图以及第九特征图，解析得到目标图像中子图是否为翻拍的分类结果。又一种情况，多质量属性解码模块基于第六特征图、第七特征图和第十特征图，解析得到目标图像中子图的完整性得分。

基于上述几个示例，需要说明的是，本申请示出的多质量属性解码模块是基于多路处理模块输出的特征图，分别对目标图像中各子图的质量属性进行预测，得到各子图的综合质量得分，以及各子图的预设质量属性的得分和/或类别。

需要说明的是，对上述子图质量属性预测模块的各模块的训练过程中，质量评价模块的训练数据的输出部分是基于多个预设质量属性检测模块（包括如复印件预测模块、翻拍预测模块和子图完整性评价模块）的训练数据的输出部分与各模块预设权重构建的。

本申请实施例示出的图像评价方法，获取包括至少一个子图的目标图像后，通过特征提取模块获取目标图像的第一特征图，再将第一特征图输入特征融合模块，获取包含全局和局部信息的第二特征图。第一特征图通过子图检测模块，获取用于指示图像中子图中心位置的第三特征图，以及用于指示图像中子图角点位置的第四特征图。第二特征图通过子图质量属性预测模块，获取用于指示图像中子图的预设质量属性的信息。最后将第三特征图、第四特征图以及第五特征图输入多质量属性解码模块，以获得对目标图像中各子图的评价信息，评价信息包括子图的整体质量得分，以及多个质量属性得分或类别。上述方案可实现对多子图的复杂图像的多属性质量评价，如检测子图是否为复印件、是否为翻拍、子图完整性、综合质量得分等。

基于上述实施例，下面通过一个具体图示说明服务器在接收到输入的目标图像后，如何通过多模块处理，输出目标图像的评价信息。

图6为本申请实施例提供的一种图像评价方法的流程示意图。如图6所示，服务器将目标图像输入特征提取模块，得到第一特征图。对于第一特征图，一路输入特征融合模块，得到第二特征图，另一路分别输入子图中心点检测模块和子图角点偏移量回归模块，分别得到通道数为1的特征图和通道数为8的特征图。对于第二特征图，分别输入如下模块：质量评价模块、复印件预测模块、翻拍预测模块和子图完整性评价模块，分别得到通道数为1的特征图、通道数为2的特征图、通道数为2的特征图和通道数为1的特征图。上述各类模块输出的特征图，经多质量属性解码模块解析，最终获得目标图像的评价信息，评价信息包括如目标图像中各子图的整体质量得分、各子图是否为复印件、各子图是否为翻拍、各子图的完整性得分等。上述方案可协助用户过滤到质量不合格的图像，如图像票面有残缺、票面不清晰等，可满足用户对图像质量评价的多样化需求。

对于图6的质量评价模块的分支，子图质量评价属于回归任务，输出通道数为1，值域为0至100，分数越高表示图像质量越好。训练过程中，该任务的真值是根据多个质量属性计算得到，需要人为标注多个质量属性，并为不同的质量属性分配不同的权重。预测过程中，可根据子图区域的中心点位置坐标和质量评价模块输出的特征图进行分数解码，获得子图综合质量得分。

对于图6的复印件预测模块/翻拍预测模块的分支，是否为复印件、是否为翻拍的预测任务属于分类任务，分类任务的输出通道数均为2，可记为第一通道和第二通道，示例性的，第一通道表示不是复印件，或者不是翻拍，第二通道表示是复印件，或者是翻拍。训练过程中，分类任务的真值可由标注人员直接标注获得，预测过程中，可根据子图区域的中心点位置坐标和对应的属性预测模块输出的特征图进行类别解码，获得分类的预测值。

对于图6的子图完整性评价模块的分支，子图完整性衡量的子图区域在图像内的程度，值域为0至100，分数越高表示子图在图像区域内的面积越大，即越完整。由于子图角点偏移量回归模块分支属于子图区域坐标框回归分支，通过计算预测框在图像内面积与预测框的整体面积可确定子图的完整性得分。该模块分支的输出指示了完整性得分，相比现有方案只能给出图像整体质量得分，有更高的准确性和可解释性，是本案优势之一。

在一些实施例中，还可以扩展更多图像质量属性的预测模块，如检测图像是否有篡改、是否有水印等。

综上，本申请实施例提出的图像评价方法，是基于区域检测的多种图像质量属性评价方法，对子图区域的质量属性的预测主要通过多任务学习的方法进行，且具有很强的扩展性，可以根据需求新增图像质量属性。应理解，图6是以是否为复印件、是否翻盘、子图质量评分、子图完整性评分为例进行阐述，不作为本申请方案的限制。

图7为本申请实施例提供的一种图像评价方法的流程示意图。如图7所示，本实施例的图像评价方法，涉及客户端与服务器之间的交互，可以包括以下步骤：

S701、客户端向服务器发送图像评价请求，图像评价请求包括目标图像，目标图像中包括至少一个子图。

本实施例中，客户端响应于用户的触发操作，向服务器发送图像评价请求。用户的触发操作包括用户上传目标图像的操作，以及触发图像评价的操作（例如用户在操作界面点击图像评价控件，或语音控制触发图像评价）。

S702、通过特征提取模块获取目标图像的第一特征图。

S703、将第一特征图输入特征融合模块，获取第二特征图。

其中，第二特征图用于指示第一特征图的信息、目标图像的全局信息和局部信息。

S704、将第一特征图输入子图检测模块，获取第三特征图。

其中，第三特征图用于指示目标图像中子图的位置信息。

S705、将第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图。

其中，第四特征图用于指示目标图像的综合质量信息，第五特征图用于指示目标图像的预设质量属性的信息。

S706、通过多质量属性解码模块对第三特征图、第四特征图和第五特征图进行解码，得到目标图像中至少一个子图的评价信息，评价信息包含目标图像中子图的综合质量得分，以及预设质量属性的得分和/或类别。

S707、向客户端返回图像评价响应，图像评价响应包括评价信息。

本实施例的步骤702至步骤706，可参照上文实施例的步骤202至步骤206。

本申请实施例提出的图像评价方案主要解决了主流质量评价方法无法对输入图像中至少一个子图区域质量进行精准评估的问题，也解决了主流质量评价方法不能对多个质量属性进行评估和解释性差的问题。通过引入目标检测方案，对输入图像的子图区域进行检测，并采用多任务学习的方法，同时预测了包含复印件检测、翻拍图像检测在内的多种质量属性和整体的质量评估分数，为整体质量评估分数提供了可解释性。同时，引入了一个全局信息和局部信息融合模块，解决了子图区域整体语义不足的问题，为是否翻拍等质量属性的判断提供了融合特征。该方案可以准确地对包含至少一个子图区域的整图，针对每个子图区域实现质量分数和质量属性的结果输出，可以满足复杂场景的卡证票据的质量评估任务。

基于上述图像评估方法，本申请实施例还提供一种图像处理方法，该方法可应用于云服务器，或者其他可执行装置，下面以云服务器为例进行方案说明。

本实施例的图像处理方法，可以包括以下步骤：

步骤1、接收来自客户端的图像处理请求，图像处理请求包括多张图像，多张图像均包括至少一个子图。

步骤2、将多张图像分别输入图像评价模型，获取多张图像的评价信息，评价信息包括对图像中子图的综合质量得分，以及预设质量属性的得分和/或分类。

本实施例中，图像评价模型包括特征提取模块、特征融合模块、子图检测模块、子图质量属性预测模块以及多质量属性解码模块，可参照图1或图6。

图像输入图像评价模型，经图像评价模型中各个模块的数据处理，可获取该图像中子图的综合质量得分以及预设质量属性的得分和/或分类。关于图像评价模型内的处理过程可参照上文实施例，此处不再展开。

步骤3、基于多张图像的评价信息，从多张目标图像中剔除子图的综合质量得分小于预设阈值，和/或，预设质量属性的得分小于预设得分的目标图像。

步骤4、向客户端返回图像处理响应，图像处理响应包括剔除目标图像后的图像。

本实施例示出的图像处理方法，用户只需要将待评价的图像上传服务器，就可以从服务器获取图像质量满足要求的目标图像，以辅助用户审核图像。相关场景如：企业财务人员上传待审核的图像，图像中包括卡证票据等子图，服务器基于图像评价模型将卡证票据残缺的图像剔除，可辅助用户人工审核，提升工作效率。

需要说明的是，在上述实施例及附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。

上文描述了本申请实施例提供的图像评价方法，下面将描述本申请实施例提供的图像评价设备。本申请实施例可以根据上述方法实施例对图像评价设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以使用硬件的形式实现，也可以使用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。下面以使用对应各个功能划分各个功能模块为例进行说明。

图8为本申请实施例提供的一种图像评价设备的结构示意图。如图8所示，本实施例的图像评价设备800，包括：获取单元801和处理单元802 。

获取单元801，用于获取目标图像，所述目标图像中包括至少一个子图；

处理单元802，用于通过特征提取模块获取所述目标图像的第一特征图；

将所述第一特征图输入特征融合模块，获取所述第二特征图，所述第二特征图用于指示所述第一特征图的信息、所述目标图像的全局信息和局部信息；

将所述第一特征图输入子图检测模块，获取第三特征图，所述第三特征图用于指示所述目标图像中子图的位置信息；

将所述第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图，所述第四特征图用于指示所述目标图像的综合质量信息，所述第五特征图用于指示所述目标图像的预设质量属性的信息；

通过多质量属性解码模块对所述第三特征图、所述第四特征图和所述第五特征图进行解码，得到所述目标图像中所述至少一个子图的评价信息，所述评价信息包括子图的综合质量得分，以及预设质量属性的得分和/或类别。

一种可选的实施例中，所述特征融合模块包括全局信息提取模块、局部信息提取模块和短路链接模块；处理单元802，用于：

将所述第一特征图分别输入到所述全局信息提取模块、所述局部信息提取模块和所述短路链接模块；

将所述全局信息提取模块、所述局部信息提取模块和所述短路链接模块的输出特征图沿着通道维度作拼接处理，获取所述第二特征图。

一种可选的实施例中，所述全局信息提取模块包括3层卷积神经网络层、1层池化层和1层扩展层，所述局部信息提取模块包括2层神经网络，所述短路链接模块用于透传所述第一特征图。

一种可选的实施例中，所述子图检测模块包括子图中心点检测模块和子图角点偏移量回归模块；处理单元802，用于：

将所述第一特征图输入所述子图中心点检测模块，获取第六特征图，所述第六特征图用于指示所述目标图像中子图的中心点位置信息；

将所述第一特征图输入所述子图角点偏移量回归模块，获取第七特征图，所述第七特征图用于指示所述目标图像中子图角点相较于中心点的偏移量；

所述第三特征图包括所述第六特征图和第七特征图。

一种可选的实施例中，所述子图质量属性预测模块包括质量评价模块和质量属性预测模块；处理单元802，用于：

将所述第二特征图输入所述质量评价模块，获取所述第四特征图；

将所述第二特征图输入所述质量属性预测模块，获取所述第五特征图。

一种可选的实施例中，所述质量属性预测模块包括复印件预测模块、翻拍预测模块、子图完整性评价模块的至少一项；

所述第五特征图用于指示所述目标图像中单位处理单元802是否为复印件、是否为翻拍，以及单位处理单元802的完整性得分。

一种可选的实施例中，处理单元802，用于：

通过所述多质量属性解码模块对所述第三特征图和所述第四特征图进行解码，得到所述评价信息中所述目标图像中子图的综合质量得分；

通过所述多质量属性解码模块对所述第三特征图和所述第五特征图进行解码，得到所述评价信息中目标图像中子图的预设质量属性的得分和/或类别。

本实施例提供的图像评价设备，可用于执行前述方法实施例中服务器的图像评价方法，其实现原理和技术效果类似，本实施例此处不再赘述。

图9为本申请实施例提供的一种图像评价设备的结构示意图。如图9所示，本实施例的图像评价设备900，包括：接收单元901，处理单元902和发送单元903。

接收单元901，用于接收来自客户端的图像评价请求，所述图像评价请求包括目标图像，所述目标图像包括至少一个子图；

处理单元902，用于通过特征提取模块获取所述目标图像的第一特征图；

将所述第一特征图输入特征融合模块，获取所述第二特征图，所述第二特征图用于指示所述第一特征图的信息、所述目标图像的全局信息和局部信息；

将所述第一特征图输入子图检测模块，获取第三特征图，所述第三特征图用于指示所述目标图像中子图的位置信息；

将所述第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图，所述第四特征图用于指示所述目标图像的综合质量信息，所述第五特征图用于指示所述目标图像的预设质量属性的信息；

通过多质量属性解码模块对所述第三特征图、所述第四特征图和所述第五特征图进行解码，得到所述目标图像中所述至少一个子图的评价信息，所述评价信息包括子图的综合质量得分，以及预设质量属性的得分和/或类别。

发送单元903，用于向所述客户端返回图像评价响应，所述图像评价响应包括所述评价信息。

本实施例提供的图像评价设备，可用于执行前述方法实施例中服务器的图像评价方法，其实现原理和技术效果类似，本实施例此处不再赘述。

本申请实施例还提供一种图像处理设备，该图像处理设备包括接收单元、处理单元和发送单元。

接收单元，用于接收图像处理请求，所述图像处理请求包括多张图像，所述多张图像均包括至少一个子图；

处理单元，用于将所述多张图像分别输入图像评价模型，获取所述多张图像的评价信息，所述评价信息包括对图像中子图的综合质量得分，以及预设质量属性的得分和/或分类； 基于所述多张图像的评价信息，从所述多张目标图像中剔除子图的综合质量得分小于预设阈值，和/或，预设质量属性的得分小于预设得分的目标图像；所述图像评价模型包括特征提取模块、特征融合模块、子图检测模块、子图质量属性预测模块以及多质量属性解码模块；

发送单元，用于返回图像处理响应，所述图像处理响应包括剔除所述目标图像后的图像。

本实施例提供的图像处理设备，可用于执行前述方法实施例中服务器的图像处理方法，其实现原理和技术效果类似，本实施例此处不再赘述。

图10为本申请实施例提供的一种电子设备的结构示意图。如图10所示，该电子设备包括：存储器1001和处理器1002。存储器1001，用于存储计算机程序，并可被配置为存储其它各种数据以支持在图像评价设备上的操作。处理器1002，与存储器1001耦合，用于执行存储器1001中的计算机程序，以实现前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

在一些实施例中，如图10所示，该电子设备还包括：防火墙1003、负载均衡器1004、通信组件1005、电源组件1006等其它组件。图10中仅示意性给出部分组件，并不意味着电子设备只包括图10所示组件。

本申请实施例提供一种图像评价系统，参照附图1，本实施例的图像评价系统包括：端侧设备（例如图1中的客户端110）和云侧设备（例如图1中的服务器120）。云侧设备上部署有神经网络翻译模型。

端侧设备用于向云侧设备发送图像评价请求，图像评价请求包括目标图像，目标图像包括至少一个子图；

云侧设备用于通过特征提取模块获取目标图像的第一特征图；

将第一特征图输入特征融合模块，获取第二特征图，第二特征图用于指示第一特征图的信息、目标图像的全局信息和局部信息；

将第一特征图输入子图检测模块，获取第三特征图，第三特征图用于指示目标图像中子图的位置信息；

将第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图，第四特征图用于指示目标图像的综合质量信息，第五特征图用于指示目标图像的预设质量属性的信息；

通过多质量属性解码模块对第三特征图、第四特征图和第五特征图进行解码，得到目标图像中至少一个子图的评价信息，评价信息包括子图的综合质量得分，以及预设质量属性的得分和/或类别。

向端侧设备返回图像评价响应，图像评价响应包括评价信息。

本实施例中，云侧设备可用于执行前述方法实施例中服务器的方法步骤，具体可参见上文实施例，此处不再赘述。

本申请实施例提供一种存储有计算机程序的计算机可读存储介质，当计算机程序/指令被处理器执行时，以使处理器实现如前述方法实施例的技术方案。

本申请实施例提供一种计算机程序产品，包括计算机程序/指令，当计算机程序/指令被处理器执行时，以使处理器实现如前述方法实施例中的技术方案。

本申请实施例提供一种芯片，包括：处理模块与通信接口，该处理模块能执行前述方法实施例中的技术方案。在一些实施例中，该芯片还包括存储模块（如，存储器），存储模块用于存储指令，处理模块用于执行存储模块存储的指令，并且对存储模块中存储的指令的执行使得处理模块执行前述方法实施例中的技术方案。

上述存储器可以是对象存储(Object Storage Service，OSS)。

上述存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。

上述通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，例如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。

上述电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、只读光盘CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种图像评价方法，其特征在于，包括：

获取目标图像，所述目标图像中包括至少一个子图；

通过特征提取模块获取所述目标图像的第一特征图；

将所述第一特征图输入特征融合模块，获取第二特征图，所述第二特征图用于指示所述第一特征图的信息、所述目标图像的全局信息和局部信息；

将所述第一特征图输入子图检测模块，获取第三特征图，所述第三特征图用于指示所述目标图像中子图的位置信息；

将所述第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图，所述第四特征图用于指示所述目标图像的综合质量信息，所述第五特征图用于指示所述目标图像的预设质量属性的信息；

通过多质量属性解码模块对所述第三特征图、所述第四特征图和所述第五特征图进行解码，得到所述目标图像中所述至少一个子图的评价信息，所述评价信息包括子图的综合质量得分，以及预设质量属性的得分和/或类别。

2.根据权利要求1所述的方法，其特征在于，所述特征融合模块包括全局信息提取模块、局部信息提取模块和短路链接模块；将所述第一特征图输入特征融合模块，获取所述第二特征图，包括：

将所述第一特征图分别输入到所述全局信息提取模块、所述局部信息提取模块和所述短路链接模块；

将所述全局信息提取模块、所述局部信息提取模块和所述短路链接模块的输出特征图沿着通道维度作拼接处理，获取所述第二特征图。

3.根据权利要求2所述的方法，其特征在于，所述全局信息提取模块包括3层卷积神经网络层、1层池化层和1层扩展层，所述局部信息提取模块包括2层神经网络，所述短路链接模块用于透传所述第一特征图。

4.根据权利要求1所述的方法，其特征在于，所述子图检测模块包括子图中心点检测模块和子图角点偏移量回归模块；将所述第一特征图输入子图检测模块，获取第三特征图，包括：

将所述第一特征图输入所述子图中心点检测模块，获取第六特征图，所述第六特征图用于指示所述目标图像中子图的中心点位置信息；

将所述第一特征图输入所述子图角点偏移量回归模块，获取第七特征图，所述第七特征图用于指示所述目标图像中子图角点相较于中心点的偏移量；

所述第三特征图包括所述第六特征图和第七特征图。

5.根据权利要求1所述的方法，其特征在于，所述子图质量属性预测模块包括质量评价模块和质量属性预测模块；将所述第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图，包括：

将所述第二特征图输入所述质量评价模块，获取所述第四特征图；

将所述第二特征图输入所述质量属性预测模块，获取所述第五特征图。

6.根据权利要求5所述的方法，其特征在于，所述质量属性预测模块包括复印件预测模块、翻拍预测模块、子图完整性评价模块的至少一项；

所述第五特征图用于指示所述目标图像中单位处理单元是否为复印件、是否为翻拍，以及单位处理单元的完整性得分。

7.根据权利要求1至6任一项所述的方法，其特征在于，通过多质量属性解码模块对所述第三特征图、所述第四特征图和所述第五特征图进行解码，得到所述目标图像中所述至少一个子图的评价信息，包括：

通过所述多质量属性解码模块对所述第三特征图和所述第四特征图进行解码，得到所述评价信息中所述目标图像中所述至少一个子图的综合质量得分；

通过所述多质量属性解码模块对所述第三特征图和所述第五特征图进行解码，得到所述评价信息中目标图像中所述至少一个子图的预设质量属性的得分和/或类别。

8.一种图像评价方法，其特征在于，包括：

接收来自客户端的图像评价请求，所述图像评价请求包括目标图像，所述目标图像包括至少一个子图；

通过特征提取模块获取所述目标图像的第一特征图；

将所述第一特征图输入特征融合模块，获取第二特征图，所述第二特征图用于指示所述第一特征图的信息、所述目标图像的全局信息和局部信息；

将所述第一特征图输入子图检测模块，获取第三特征图，所述第三特征图用于指示所述目标图像中子图的位置信息；

将所述第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图，所述第四特征图用于指示所述目标图像的综合质量信息，所述第五特征图用于指示所述目标图像的预设质量属性的信息；

通过多质量属性解码模块对所述第三特征图、所述第四特征图和所述第五特征图进行解码，得到所述目标图像中所述至少一个子图的评价信息，所述评价信息包括子图的综合质量得分，以及预设质量属性的得分和/或类别；

向所述客户端返回图像评价响应，所述图像评价响应包括所述评价信息。

9.一种图像处理方法，其特征在于，包括：

接收图像处理请求，所述图像处理请求包括多张图像，所述多张图像均包括至少一个子图；

将所述多张图像分别输入图像评价模型，获取所述多张图像的评价信息，所述评价信息包括对图像中子图的综合质量得分，以及预设质量属性的得分和/或分类；所述图像评价模型包括特征提取模块、特征融合模块、子图检测模块、子图质量属性预测模块以及多质量属性解码模块；

基于所述多张图像的评价信息，从所述多张目标图像中剔除子图的综合质量得分小于预设阈值，和/或，预设质量属性的得分小于预设得分的目标图像；

返回图像处理响应，所述图像处理响应包括剔除所述目标图像后的图像。

10.一种图像评价设备，其特征在于，包括：

获取单元，用于获取目标图像，所述目标图像中包括至少一个子图；

处理单元，用于通过特征提取模块获取所述目标图像的第一特征图；

将所述第一特征图输入特征融合模块，获取第二特征图，所述第二特征图用于指示所述第一特征图的信息、所述目标图像的全局信息和局部信息；

将所述第一特征图输入子图检测模块，获取第三特征图，所述第三特征图用于指示所述目标图像中子图的位置信息；

将所述第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图，所述第四特征图用于指示所述目标图像的综合质量信息，所述第五特征图用于指示所述目标图像的预设质量属性的信息；

通过多质量属性解码模块对所述第三特征图、所述第四特征图和所述第五特征图进行解码，得到所述目标图像中所述至少一个子图的评价信息，所述评价信息包括子图的综合质量得分，以及预设质量属性的得分和/或类别。

11.一种图像评价设备，其特征在于，包括：

接收单元，用于接收来自客户端的图像评价请求，所述图像评价请求包括目标图像，所述目标图像包括至少一个子图；

处理单元，用于通过特征提取模块获取所述目标图像的第一特征图；

将所述第一特征图输入特征融合模块，获取第二特征图，所述第二特征图用于指示所述第一特征图的信息、所述目标图像的全局信息和局部信息；

将所述第一特征图输入子图检测模块，获取第三特征图，所述第三特征图用于指示所述目标图像中子图的位置信息；

将所述第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图，所述第四特征图用于指示所述目标图像的综合质量信息，所述第五特征图用于指示所述目标图像的预设质量属性的信息；

通过多质量属性解码模块对所述第三特征图、所述第四特征图和所述第五特征图进行解码，得到所述目标图像中所述至少一个子图的评价信息，所述评价信息包括子图的综合质量得分，以及预设质量属性的得分和/或类别；

发送单元，用于向所述客户端返回图像评价响应，所述图像评价响应包括所述评价信息。

12.一种图像处理设备，其特征在于，包括：

接收单元，用于接收图像处理请求，所述图像处理请求包括多张图像，所述多张图像均包括至少一个子图；

处理单元，用于将所述多张图像分别输入图像评价模型，获取所述多张图像的评价信息，所述评价信息包括对图像中子图的综合质量得分，以及预设质量属性的得分和/或分类；基于所述多张图像的评价信息，从所述多张目标图像中剔除子图的综合质量得分小于预设阈值，和/或，预设质量属性的得分小于预设得分的目标图像；所述图像评价模型包括特征提取模块、特征融合模块、子图检测模块、子图质量属性预测模块以及多质量属性解码模块；

发送单元，用于返回图像处理响应，所述图像处理响应包括剔除所述目标图像后的图像。

13.一种图像评价系统，其特征在于，包括：端侧设备和云侧设备；

所述端侧设备用于向所述云侧设备发送图像评价请求，所述图像评价请求包括目标图像，所述目标图像包括至少一个子图；

所述云侧设备用于通过特征提取模块获取所述目标图像的第一特征图；

将所述第一特征图输入特征融合模块，获取第二特征图，所述第二特征图用于指示所述第一特征图的信息、所述目标图像的全局信息和局部信息；

将所述第一特征图输入子图检测模块，获取第三特征图，所述第三特征图用于指示所述目标图像中子图的位置信息；

将所述第二特征图输入子图质量属性预测模块，获取第四特征图和第五特征图，所述第四特征图用于指示所述目标图像的综合质量信息，所述第五特征图用于指示所述目标图像的预设质量属性的信息；

通过多质量属性解码模块对所述第三特征图、所述第四特征图和所述第五特征图进行解码，得到所述目标图像中所述至少一个子图的评价信息，所述评价信息包括子图的综合质量得分，以及预设质量属性的得分和/或类别；

向所述端侧设备返回图像评价响应，所述图像评价响应包括所述评价信息。

14.一种电子设备，其特征在于，包括：存储器，处理器以及计算机程序；所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1至9任一项所述的方法。

Images