CN117333495A - 图像检测方法、装置、设备及存储介质 - Google Patents

图像检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117333495A
CN117333495A CN202311637338.3A CN202311637338A CN117333495A CN 117333495 A CN117333495 A CN 117333495A CN 202311637338 A CN202311637338 A CN 202311637338A CN 117333495 A CN117333495 A CN 117333495A
Authority
CN
China
Prior art keywords
image
composite image
quality index
target material
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311637338.3A
Other languages
English (en)
Other versions
CN117333495B (zh
Inventor
畅青
陈彪
刘传宝
苑爱泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Koubei Network Technology Co Ltd
Original Assignee
Zhejiang Koubei Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Koubei Network Technology Co Ltd filed Critical Zhejiang Koubei Network Technology Co Ltd
Priority to CN202311637338.3A priority Critical patent/CN117333495B/zh
Publication of CN117333495A publication Critical patent/CN117333495A/zh
Application granted granted Critical
Publication of CN117333495B publication Critical patent/CN117333495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本公开提供一种图像检测方法、装置、计算机设备及存储介质，所述方法包括：响应于接收到由素材图像填充至模板图像中得到的合成图像，调用预设的至少一种用于检测所述合成图像存在未达标的质量指标的检测流程；其中，预设的检测流程包括如下一种或多种组合：用于检测所述合成图像中包含的目标素材未达标的素材质量指标的流程、用于检测所述合成图像中包含的目标素材与模板之间的构图关系未达标的构图质量指标的流程、用于检测所述合成图像的色彩信息未达标的色彩质量指标、用于检测所述合成图像的美学信息未达标的美学质量指标；响应于获取到任一未达标的质量指标，输出所述合成图像未达标的检测结果。

Description

图像检测方法、装置、设备及存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及图像检测方法、装置、设备及存储介质。
背景技术
合图图像是指通过将不同的元素、图像或素材进行合成，创造出具有创新、个性化和吸引力的图像。它是一种创意广告形式，通过将多个图像或元素组合在一起，以传达特定的信息、表达品牌形象或吸引目标受众的注意力。因此，创意广告对外投放对合成图像的质量有着较高的要求。如何快速地检测合成图像的质量，成为亟待解决的技术问题。
发明内容
为克服相关技术中存在的问题，本公开提供了图像检测方法、装置、设备及存储介质。
根据本说明书实施例的第一方面，提供一种图像检测方法，所述方法包括：
响应于接收到由素材图像填充至模板图像中得到的合成图像，调用预设的至少一种用于检测所述合成图像存在未达标的质量指标的检测流程；其中，预设的检测流程包括如下一种或多种组合：用于检测所述合成图像中包含的目标素材未达标的素材质量指标的流程、用于检测所述合成图像中包含的目标素材与模板之间的构图关系未达标的构图质量指标的流程、用于检测所述合成图像的色彩未达标的色彩质量指标、用于检测所述合成图像的美学未达标的美学质量指标；
响应于获取到任一未达标的质量指标，输出所述合成图像未达标的检测结果。
根据本说明书实施例的第二方面，提供一种图像检测装置，包括：
调用模块，用于响应于接收到由素材图像填充至模板图像中得到的合成图像，调用预设的至少一种用于检测所述合成图像存在未达标的质量指标的检测流程；其中，预设的检测流程包括如下一种或多种组合：用于检测所述合成图像中包含的目标素材未达标的素材质量指标的流程、用于检测所述合成图像中包含的目标素材与模板之间的构图关系未达标的构图质量指标的流程、用于检测所述合成图像的色彩未达标的色彩质量指标、用于检测所述合成图像的美学未达标的美学质量指标；
输出模块，用于获取到任一未达标的质量指标，输出所述合成图像未达标的检测结果。
根据本说明书实施例的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现前述第一方面所述方法实施例的步骤。
根据本说明书实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述第一方面所述方法实施例的步骤。
本说明书的实施例提供的技术方案可以包括以下有益效果：
本说明书实施例中，响应于接收到由素材图像填充至模板图像中而得到的合成图像，获取所述合成图像的如下一种或多种质量指标：表征所述合成图像中包含的素材与模板之间的构图关系的构图质量指标、识别所述合成图像的色彩信息后确定出的色彩质量指标、识别所述合成图像中包含的素材的内容信息后确定出的素材质量指标、识别所述合成图像的美学信息后确定出的美学质量指标；基于获取到的一种或多种质量指标，确定所述合成图像是否满足预设质量标准后输出确定结果。本实施例从构图、素材、基础维度和美学四个方向，构建了合成图像的质量指标，并可以构建相应的检测流程，能够自动实现对合成图像的客观准确的质量评价。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本公开的原理。
图1A是本说明书根据一示例性实施例示出的一种图像检测方法的流程图。
图1B是本说明书根据一示例性实施例示出的一种产生合成图像的示意图。
图1C是本说明书根据一示例性实施例示出的一种图像检测方法的应用场景图。
图2A是本说明书根据一示例性实施例示出的一种水印检测模型的训练示意图。
图2B是本说明书根据一示例性实施例示出的一种构图位置质量指标的获取示意图。
图2C是本说明书根据一示例性实施例示出的一种合成图像的示意图。
图2D是本说明书根据一示例性实施例示出的一种识别黑边的示意图。
图3是本说明书根据一示例性实施例示出的一种图像检测装置所在计算机设备的一种硬件结构图。
图4是本说明书根据一示例性实施例示出的一种图像检测装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本公开所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
在一些场景下，对所使用的图像具有一定的质量要求。例如，广告投放场景下会展示商品的广告图像，广告图像由包含商品的商品图像和模板图像构成，一些外投项目中，创意广告对外投放对合图数量和质量都有着极高的要求。随着竞争日益激烈，企业争相寻求创新和个性化的广告创意，以吸引目标受众的注意力。因此，需要大量的高质量创意合图来满足不断增长的需求。然而，传统的人工评审方式在面对如此庞大的创意合图数量时面临着巨大的挑战和压力。据估算，单人每天最多可以评测约3000张合图。仅仅依靠人工，无疑会对广告投放的工作效率产生负面影响。而且，多样的评估维度也使得人工评审变得更加复杂和困难。
基于此，本说明书实施例提供了一种图像检测方法的实施例，可以快速地对图像进行检测，确定图像的质量。接下来对本说明书实施例进行详细说明。
如图1A所示，图1A是本说明书根据一示例性实施例示出的一种图像检测方法的流程图，可以包括以下步骤：
在步骤102、响应于接收到由素材图像填充至模板图像中得到的合成图像，调用预设的至少一种用于检测所述合成图像存在未达标的质量指标的检测流程。
其中，预设的检测流程包括如下一种或多种组合：用于检测所述合成图像中包含的目标素材未达标的素材质量指标的流程、用于检测所述合成图像中包含的目标素材与模板之间的构图关系未达标的构图质量指标的流程、用于检测所述合成图像的色彩信息未达标的色彩质量指标、用于检测所述合成图像的美学信息未达标的美学质量指标。
在步骤104、响应于获取到任一质量指标，输出所述合成图像未达标的检测结果。
本实施例的图像检测方法可以运行计算机设备中，计算机设备包括但不限于服务器、云服务器、服务器集群、平板计算机、个人数字助理、膝上计算机、或者台式计算机等设备。在一些例子中，本实施例的图像检测方法可以应用于服务端中，用于对合成图像进行检测。
本实施例的合成图像是指由素材图像和模板图像合成的图像，如图1B所示，是本说明书根据一示例性实施例示出的一种产生合成图像的示意图，其中，素材图像可以是指用来提取特定元素或内容的原始图像，它们可以包括人物、物体、背景等各种视觉元素。模板图像则是合成图像的基础框架，它定义了最终合成图像的结构和布局。模板图像可能包含背景、轮廓、效果等，而素材图像则被嵌入到模板图像中，以扩展或改变模板图像的外观和内容。
在一些场景中，合成图像可以是用于展示商品的合成图像，例如，一些服务方可以预先准备存储有多个素材图像和多个模板图像的数据库，还可以配置用于自动生成合成图像的图像合成程序，该程序可以基于一些设定的规则，从数据库中选取素材图像和模板图像，并基于素材图像的内容和/或大小等对素材图像进行一些处理，例如提取素材图像中的素材内容、缩放或裁剪等处理后，填充至模板图像中。
可选的，素材图像可以是商品图像；商品图像的来源可以有很多，实际应用中可以根据需要进行配置。例如，以一些交易平台为例，如本地生活服务平台等，平台方在商户授权同意的情况下，可以获取到商户的店铺内的商品图像。如图1C所示，是本说明书根据一示例性实施例示出的一种应用场景示意图，包括有平台方、商户和用户。其中，平台方搭建有服务端，向用户提供有客户端，用户可通过客户端使用平台方提供的服务；与供用户使用的客户端不同，平台方还向店铺方提供有供商户方使用的客户端，商户方可通过该客户端使用平台方提供的商户服务，例如店铺管理服务，商户可以通过平台管理自己的线上店铺信息，包括店铺名称、地址、联系方式等；还可以包括商品展示服务，商户可以在平台上展示自己的商品，通过上传商品照片、添加描述和规格等信息，向用户展示商品特点和优势等等，实际应用中还可以包括订单管理服务或配送服务等等，本实施例对此不仅赘述。
在一些例子中，素材图像可以是菜品图像，这些菜品图像可以是商户对菜品拍摄的图像，素材图像的质量本身参差不齐，一些图像的拍摄质量可能较低，从而导致合成得到的合成图像质量也较低。因此需要对合成图像的质量进行检测，筛选高质量的合成图像。
为了解决这一问题，引入客观的图像质量评价是一种可行的解决方案，对图像质量进行客观评估和打分的过程。可以根据一系列的评估指标和标准，对图像的各个方面进行分析和评价，从而得出一个表示图像质量好坏的评价。
对于合成图像的质量评估，其首要问题就是确定评估的维度及标准，从而才能基于这些维度，构建相应的算法能力。素材、模板的多样性，其复杂性决定了评估维度的多样性。考虑到具体的应用场景需求，同时兼顾客观性和主观性的因素，本实施例提出了从构图、素材、美学、基础表现4个大的方向下确定了评估维度及相应的标准。作为例子，可以包括：
构图维度，可以包括：主体过小、主体不居中、商品图裁切不合理、主体遮挡；
基础维度，可以包括：清晰度低、光线暗淡、过度曝光、色彩搭配差；
素材维度，可以包括：有水印、风格问题、存在黑边、含文字或者品牌；
美学维度，可以包括：美学维度不达标。
可选的，可以利用人工智能和机器学习技术等进行自动评估和分类。通过训练模型，将大量的合图数据与其对应的质量评估标准进行关联，可以实现对合图质量的自动评估。这种方式不仅可以提高合图的评估效率，而且能够保证图像质量的一致性和准确性。
本实施例中，可以获取到任一质量指标，输出所述合成图像未达标的检测结果；也即是，确定存在任一未达标的质量指标，则合成图像未达标。在另一些例子中，响应于任一所述检测流程未输出所述合成图像存在未达标的质量指标的检测结果，输出所述合成图像达标的检测结果，也即是所有检测流程都未检测出未达标的质量指标，则合成图像达到质量标准。如此，本实施例可以获得高质量的合成图像。
可选的，考虑到素材图像中可能会包含水印，需要识别合成图像中素材是否包含水印，以确定合成图像的素材质量指标，基于此，本实施例的素材质量指标可以包含素材中是否包含水印的质量指标。可以采用水印检测模型对合成图像进行水印识别。
然而，与常见的检测目标不同，本实施例中合图场景中的水印判别具有较大的技术难度。由于水印文本多样，背景、模板干扰等问题，传统的通用OCR识别也难以很好地解决这一问题。合图场景下水印具有以下诸多特点：
水印样式多；素材图像来源于商户的商品图像，因此会存在大量未知类型的水印。
水印类别分布不平衡；即不同类别水印的占比差异极大。
主体多变；水印在图片中位置不固定且较小，主体存在裁切变形，并且会存在多个主体交叠。
背景复杂；由于主流水印大多采用透明或半透明方式，这使得水印标识极易受到复杂背景的干扰。
视觉显著性低；水印具有面积小、颜色浅、透明度高等特点。
模板干扰；本实施例的合成图像中包含了模板图像，而模板图像本身会包含文字等内容，在视觉上与水印有相似之处，容易造成模型误判。
数据量少；水印在合图图像中的占比较低，识别难度大。
基于此，在一些例子中，所述用于检测所述合成图像中包含的目标素材未达标的素材质量指标的流程，可以包括：
将所述合成图像输入至水印检测模型后，基于所述水印检测模型输出的所述合成图像中包含水印的检测结果，确定所述合成图像存在因包含水印导致的目标素材未达标的质量指标。
其中，所述水印检测模型是通过如下方式训练得到的：
采用已标注的第一训练数据集训练好预设的轻量检测模型后，将未标注的第二训练数据集中的各训练样本分别输入至开启dropout（随机失活）模式的轻量检测模型，以得到每个所述训练样本的多轮检测结果；
根据每个所述训练样本的多轮检测结果确定每个所述训练样本的标签，进一步利用带有标签的第二训练数据集训练模型参数大于所述轻量检测模型的水印检测模型。
本实施例中从模型训练策略入手以训练出准确度较高的水印检测模型。实际应用中，会面临已标注训练数据量较少的情况，而数据量较少会导致无法训练得到高质量的模型。因此，本实施例可以采用已标注的第一训练数据集训练好预设的轻量检测模型，此处的轻量检测模型可以是模型参数较少的模型，以应对当前第一训练数据集数据量较少的情况，使得在当前数据量较少的情况下能够产生更多高质量的训练样本，以训练得到一个具有一定准确度的模型。
轻量检测模型可以根据需要进行选择，例如可以是Mobilenet模型（一种轻量级卷积神经网络模型）等。其中，所述第一训练数据集的数量可以少于所述第二训练数据集的数量。
水印检测模型可以根据需要进行选择，例如可以ResNet-50（一种深度卷积神经网络模型）等模型。
在轻量检测模型采用第一训练数据集训练完成后，利用该轻量检测模型来自动构建更多的训练样本，在得到数据量较大的第二训练数据集后，训练模型参数较大的水印检测模型。
在机器学习领域中，Dropout是一种常用的正则化技术，它可以在训练过程中随机丢弃一些神经元，以此来减少模型的过拟合现象。具体来说，在每次迭代中，Dropout会以一定的概率p（例如为0.5等自定义数值）随机将某些神经元的输出置为0，从而使得这些神经元不参与当前迭代的计算。使用开启Dropout的train（训练）模式进行预测，可以看作是一种集成学习的方法。因为每次运行时，Dropout会随机丢弃一些神经元，从而导致模型的输出会有一定的变化，这样多次运行后记录下的预测结果可以看作是从不同的模型中进行集成得到的结果。
在一些例子中，可以预先获取已标注的第一训练数据集用于训练轻量模型；为了自动生成已标注的训练样本并训练出准确度较高的轻量检测模型，本实施例中，所述第一训练数据集中可以包含如下方式获取到的第一训练样本：
随机生成多个文本后，将每个所述文本以随机合并至预设的素材图像样本集合中的任一素材图像样本中；
将合并有文本的各个素材图像样本，与预设的模板图像样本集合中的任一模板图像样本合并，得到第一训练样本。
本实施例中从数据构建入手以训练出准确度较高的模型。本实施例通过上述方式来得到已标注的大量的训练样本。可选的，可以使用TextRecognitionDataGenerator（文本识别数据生成器，一个用于生成文本识别任务数据的工具或库）等生成随机颜色、随机角度、随机大小、随机字体、随机（或者指定）的文本，然后将生成的文本附加至已有的商品图片的随机（或者指定）位置之上，此处的文本就可以构成商品图片中的水印。可选的，还可以进行模板增强；例如可以将无水印的商品图像填充至模板图像中，得到无水印的训练图像作为无水印的训练样本，也可以将有水印的商品图像填充至模板图像中，得到有水印的训练图像作为有水印的训练样本，以使模型在训练过程中学会去忽略模版的干扰。训练过程可以采用数据增强，例如可以包括随机裁剪、翻转、cutout（遮挡法）或GridMask（网格增强）等增强方式。如此，可以解决真实场景下的一部分水印问题，虽然通过该方式生成的水印数据分布不能完全代替真实场景下的水印数据分布，但是通过上述构建的训练数据并对轻量检测模型进行训练，使得轻量检测模型可以将未标注的第二训练数据集中的一些图像中较简单的水印给准确识别出来，未能识别出来的复杂水印图像，则可以通过人工标注。
在一些例子中，所述根据每个所述训练样本的多轮检测结果确定每个所述训练样本的标签，可以包括：
计算每个所述训练样本的多轮检测结果的不确定性分数；
响应于所述训练样本的不确定性分数低于阈值，基于所述训练样本的多轮检测结果确定所述训练样本的标签；
响应于所述训练样本的不确定性分数大于或等于阈值，将所述训练样本输出给用户后，获取所述用户输入的所述训练样本的标签。
本实施例中，基于信息论中的确定性来确定需要标注的训练样本。确定性是指某件事情或某个事件发生的结果是确定的、可预测的。模型对输入的图像的检测结果是指图像中含有水印的概率，通过dropout模式可以得到多个不同网络结构的模型，这多个不同网络结构的模型可以对一个训练样本分别输出检测结果，可以基于多个检测结果确定不确定性分数。如果一个图像中包含水印的概率很高或很低，那么该图像的多个检测结果应该也会比较相似，因此确定性较高。反之亦然。基于此，本实施例可以计算每个训练样本的多轮检测结果的不确定性分数，还可以设定阈值，具体数值可以根据需要进行设置。高于阈值的表示不确定性很高，低于阈值的表示不确定性较低。
对于不确定性分数低的，可以利用训练样本的多轮检测结果确定所述训练样本的标注，例如计算多轮检测结果的平均值，基于平均值得到训练样本的标注。例如，平均值大于设定的第一水印概率阈值的，则训练样本的标注是包含水印，平均值小于设定的第二水印概率阈值的，则训练样本的标注是不包含水印。第一水印概率阈值和第二水印概率阈值均可以根据需要进行设置。
对于不确定性分数高的，由于模型难以确定是否包含水印，这些训练样本可以输出给用户，人工进行标注。如此，本实施例可以显著地降低人工标注，可以自动生成较多的高质量的训练样本。
在一些例子中，所述计算每个所述训练样本的多轮检测结果的不确定性分数，可以包括：
计算每个所述训练样本的多轮检测结果的熵值，基于所述熵值确定所述训练样本的不确定性分数。
本实施例中，不确定性分数可以采用熵值表示，熵越高表示不确定性越大。计算熵值可以采用如下公式表示：；
其中，H为熵值，n为训练样本的检测结果的轮次，1≤i≤n，pi为第i轮的检测结果（图像包含水印的概率）。
通过上述实施例，可以得到准确的多轮检测结果的不确定性分数。
如图2A所示，是本说明书根据一示例性实施例示出的一种水印检测模型的训练示意图，可以先采用少量训练数据训练轻量模型，然后获取大量未标注数据，对训练好的轻量模型开启dropout的train模式，对每个未标注训练样本进行预测，得到每个未标注训练样本的预测结果，计算每个未标注训练样本的熵值，并将熵值排序，选取熵值较高的一些未标注训练样本，例如大于预设阈值的一些未标注训练样本，之后输出给用户进行人工标注，得到人工标注的训练样本可以用以扩充训练集，而熵值较低的未标注训练样本，可以多轮预测结果自动确定这些未标注训练样本的标签。基于此扩充训练集，数量足够多后，可以用于训练参数较大的模型，最终得到水印检测模型。
在一些例子中，考虑到合成图像是由素材图像填充至模板图像生成的，模板图像包含用于填充素材的填充区域，而素材图像在填充的过程中可能经过多种处理，有可能导致素材图像在合成图像的构图效果较差。所述用于检测所述合成图像中包含的目标素材与模板之间的构图关系未达标的构图质量指标的流程，可以包括：
获取所述合成图像对应的模板图像，识别出所述模板图像中用于填充素材的填充区域后，确定所述填充区域的中心位置；
识别所述合成图像中包含的目标素材的中心位置，计算所述填充区域的中心位置和所述素材的中心位置之间的距离；
响应于计算出的距离大于预设距离阈值，确定所述合成图像存在因素材未居中导致的构图关系未达标的构图质量指标。
本实施例中，通过计算模板图像中填充区域的中心位置，与合成图像中素材的中心位置之间的偏差，来确定素材的构图位置质量指标。
其中，由于合成图像是模板图像和素材图像合成得到，可以获取模板图像和素材图像。如图2B所示，是本说明书根据一示例性实施例示出的构图位置质量指标的获取示意图；可以从模板图像中识别出用于填充素材的填充区域，识别的过程可以有多种方式，例如，模板图像可以是JSON（JavaScript Object Notation，一种数据交换格式）格式或SVG（Scalable Vector Graphics 可缩放矢量图形）格式等可读取代码的文件，可以从中识别出模板文件中的文本或图像等元素，例如图2B中模板图像中的“Logo”和“特惠价9.9元起”就是模板图像中包含的元素，除去这些元素之外的剩余部分，可以进一步确定出填充区域。在其他例子中，还可以对模板图像采用抠图或目标检测等技术，从模板图像中识别出图像包含的各个元素的位置后，除去这些元素之外的剩余部分，可以进一步确定出填充区域。例如，可以基于剩余部分识别出矩形，如图2B中的模板图像中的虚线框即填充区域，可以计算填充区域的中心位置，如图2B中示出的点O1即中心点，可以获取该中心点在模板图像中的像素位置，得到填充区域的中心位置。
通常是将素材图像经过处理填充至模板图像中得到合成图像，因此模板图像的大小即合成图像的大小。如果素材图像填充至模板图像中时，素材的中心位置与填充区域的中心位置偏差较大，会导致合成图像的质量较JSON格式差。如图1B中示出的合成图像中，菜品图像偏右，导致合成图像的视觉重心偏右，而合成图像的左侧和中心位置有较多的留白，因此合成图像的整体质量较差。
基于此，如图2B所示的，本实施例可以从合成图像中识别出目标素材，此处的识别可以采用抠图或目标检测等技术实现，从合成图像中识别出目标素材后，计算识别出的目标素材的中心位置，如图2B中示出的点O2即目标素材的中心点，可以获取该中心点在合成图像中的像素位置，得到目标素材的中心位置。
最后，计算所述填充区域的中心位置和所述素材的中心位置之间的距离，基于计算出的距离确定表征所述合成图像中包含的目标素材的构图位置质量指标。例如，如果计算出的距离大于预设距离阈值，可以得到合成图像中包含的目标素材的构图位置不居中的构图位置质量指标。
在另一些例子中，还可以确定目标素材的大小与填充区域的大小之间的差异，以确定目标素材基本占据填充区域；若目标素材较小，会使得填充区域有较多的留白，导致合成图像的整体质量较差。基于此，所述用于检测所述合成图像中包含的目标素材与模板之间的构图关系未达标的构图质量指标的流程，可以包括：
获取所述合成图像对应的模板图像，识别出所述模板图像中用于填充素材的填充区域后，确定所述填充区域的大小；
识别所述合成图像中包含的目标素材的大小；
响应于所述填充区域的大小与所述目标素材的大小之间的差异大于第一差异阈值，确定所述合成图像存在因素材过小导致的构图关系未达标的构图质量指标。
其中，获取模板图像中的填充区域和识别合成图像中的目标素材的过程可见前述实施例。可以计算填充区域的大小，例如可以获取填充区域的其中一对顶点在图像中的位置后，即可计算出填充区域的面积。对于从合成图像中识别出的目标素材，可以生成包围目标素材的包围框（可以是矩形等形状），基于包围框在合成图像中的位置信息可以计算出包围框的面积。
最后，计算所述填充区域的大小和目标素材的大小之间的差异，基于计算出的差异确定表征所述合成图像中包含的目标素材的构图大小质量指标。例如，如果计算出的差异的绝对值大于设定阈值，可以得到合成图像中包含的目标素材的主体较小的构图大小质量指标。
在另一些例子中，在将素材图像经过处理填充至模板图像中得到合成图像的过程中，素材图像可能还经过裁剪处理，因此，有可能将素材图像中包含的原始素材裁剪掉一部分，有可能导致合成图像中的目标素材不完整，最终导致图像质量较差。基于此，在一些例子中，所述用于检测所述合成图像中包含的目标素材与模板之间的构图关系未达标的构图质量指标的流程，可以包括：
获取所述合成图像对应的素材图像，识别所述素材图像中包含的原始素材以及识别所述合成图像中包含的目标素材；以及，
根据所述原始素材的关键点与所述合成图像的关键点之间的匹配关系，基于所述素材图像的空间对所述目标素材进行转换，比较转换后的目标素材的大小与所述原始素材的大小；响应于所述转换后的目标素材的大小与所述原始素材的大小之间的差异大于第二差异阈值，确定所述合成图像存在因素材裁切导致的构图关系未达标的构图质量指标；
和/或，
根据所述原始素材的关键点与所述合成图像的关键点之间的匹配关系，基于所述合成图像的空间对所述原始素材进行转换，比较转换后的原始素材的大小与所述目标素材的大小；响应于所述转换后的原始素材的大小与所述目标素材的大小之间的差异大于第三差异阈值，确定所述合成图像存在因素材被模板遮挡导致的构图关系未达标的构图质量指标。
本实施例中，考虑到合成图像中包含的目标素材可能是原始的素材图像经过各种变换（例如旋转、平移、裁剪或放缩等）得到的，基于此，对素材的裁切是否合理以及素材是否被模板遮挡进行检测。
本实施例中，可以采用SIFT（Scale-Invariant Feature Transform，尺度不变特征变换）等算法分别对素材图像和合成图像分别提取关键点；根据需要还可以提取描述符，描述符是指关键点周围的图像局部梯度信息。
可选的，可以采用FLANN（Fast Library for Approximate Nearest Neighbors，一种用于快速搜索近似最近邻的库）匹配器进行素材图像的关键点与合成图像的关键点的匹配，并对匹配的关键点进行筛选。其中，筛选的过程也可以通过FLANN库。
可选的，可以从素材图像中提取原始素材，例如，利用抠图等技术进行提取，可以得到素材图像中原始素材的mask（掩码）。可以对合成图像提取目标素材，例如，利用抠图等技术进行提取，可以得到合成图像中目标素材的mask（掩码）。还可以获取合成图像中用于填充素材的填充区域，例如可以从模板图像中识别出图像中的元素，得到各个元素的mask，模板图像中除了基于各个元素的mask之外其他位置即填充区域，基于的各个元素的mask反向计算出填充区域的mask。
主体被遮挡，是指原始素材填充至模板时，原始素材被模板遮挡，导致合成图像的视觉效果是主体被遮挡，即用户无法看到完整的主体。因此计算的是素材本身被模板所遮挡的比例。本实施例中，计算时可以需要先将从原始素材图像中进行抠图得到原始素材，然后再转换到合成图像空间下，如此可以求出如果没有模板的情况下合成图像中素材掩码原本的面积。同时对带有模板的合成图像通过抠图技术，抠图得到合成图像中显示的目标素材，计算出有模板干扰时，合成图像中真正显示出来的素材的掩码面积。将这两个面积进行比较，例如计算比值，就可以得到原始素材填充至模板时是否会被模板所遮挡，在有遮挡的情况下还可以得到被遮挡的比例，可以根据需要设置阈值，如果判定遮挡超过1/3等设定阈值，可以得到合成图像存在因素材被模板遮挡导致的构图关系未达标的构图质量指标。
主体裁切，是指原始素材填充至模板时，原始素材被裁切了一部分后填充至模板中，导致合成图像的视觉效果是主体不完整，即用户无法看到完整的主体。因此计算的是合成图像中素材，相对于合成之前原始素材的占比。因此，本实施例对合成图像进行抠图得到合成图像中包含的目标素材，然后转换到原始素材空间后，与原始素材的抠图掩码计算比值。如此就可以得到原始素材填充至模板时，原始素材是否会被裁切，在有裁切的情况下还可以得到裁切比例，可以根据需要设置阈值，如果判定裁切超过1/3等设定阈值，可以得到合成图像存在因素材被裁切导致的构图关系未达标的构图质量指标。
在一些例子中，如前述所分析的，一些素材图像的来源是商户提交的菜品图像，这些图像质量参差不齐，图像中的边界还有可能存在问题，例如存在黑边或白边等问题。例如，如图2C示出的合成图像，是素材图像中包含了黑边的图像，且素材本身的背景并非黑色，即图中的牛排背后的颜色并非黑色，但合成图像中填充的素材图像包含了黑边，基于此，本实施例中，所述用于检测所述合成图像中包含的目标素材未达标的素材质量指标的流程，可以包括：
获取所述合成图像中目标素材的边界颜色以及所述目标素材的背景颜色，响应于所述边界颜色和所述背景颜色不一致，确定所述合成图像存在因素材的边界颜色与背景颜色不一致导致的目标素材未达标的质量指标。
本实施例中，通过比较合成图像的边界区域的边界颜色与素材区域的背景颜色，以确定两者的颜色是否一致，如果不一致，则边界颜色可能存在问题，可以基于表征所述边界颜色与所述背景颜色是否一致的边界信息，确定素材质量指标。其中，此处的合成图像的边界区域，可以是指合成图像的四条边所在的边界区域，边界区域的大小可以根据实际需要进行配置，例如，可以从合成图像的每条边的所在的像素行开始往图像内部开始读取一定深度的区域作为边界区域。
在一些例子中，所述获取所述合成图像中目标素材的边界颜色以及所述目标素材的背景颜色，响应于所述边界颜色和所述背景颜色不一致，确定所述合成图像存在因素材的边界颜色与背景颜色不一致导致的目标素材未达标的质量指标，包括：
将所述合成图像进行至少一次切割得到至少两个子图像；
将所述合成图像和所述至少两个子图像中的每个图像作为图像集合，从所述图像集合中依次取出一张图像作为目标图像后，执行如下操作直至所有图像均被取出或者确定存在目标素材未达标的质量指标：获取所述目标图像的边界区域的颜色以及从所述目标图像进行抠图得到主体后识别主体所在背景的背景颜色，响应于所述边界区域的颜色与所述主体所在背景的背景颜色不一致，确定所述合成图像存在因素材的边界颜色与背景颜色不一致导致的目标素材未达标的质量指标。
本实施例中，考虑到合成图像中可能会填充至少两个素材图像，本实施例将合成图像进行切割，之后将合成图像和至少两个子图像中的每个图像作为图像集合，以此识别其中每个图像的边界区域颜色和主体所在背景的背景颜色，可以保证合成图像中的各个素材所在区域尽量保证识别到，提升识别的准确性。其中，切割方式可以根据实际需要进行配置，例如可以平均切割，切割的数量也可以根据需要进行配置。
在一些例子中，合成图像可以是指由一张或两张素材图像填充至模板图像中得到的合成图像，其中，考虑到不会填充较多数量的素材图像至模板图像中，通常是一个或两个等，可以垂直于所述合成图像的四条边中一对长边进行平均切割，得到两个子图像，因此，通过一次切割得到两个子图像，对合成图像和两个子图像进行识别，只要检测到其中有边界区域的颜色与主体所在背景的背景颜色不一致，即可确定存在目标素材未达标的质量指标。
其中，每个图像有4条边，可以对这4条边中每条边所在的边界区域进行颜色获取，从其中一条边所在的边界区域获取到颜色，判断获取的颜色与主体所在背景的背景颜色；只要其中一条边所在的边界区域的颜色与主体所在背景的背景颜色不一致，即可确定该条边所在的图像存在边界颜色问题，即可确定存在目标素材未达标的质量指标，即可退出识别流程。实际应用中可以根据需要实现用于上述流程的算法流程，本实施例对此不进行限定。
作为一个例子，图像集合中任意一个图像都包含4条边，各条边的处理逻辑均是一样的，处理过程可以包括：获取包含多条边的边集合，将所述边集合中每条边分别作为当前边并执行如下操作：从当前边所在的像素行开始，往图像内部的方向依次获取每一像素行包含的各像素点的像素值均值和像素值方差，直至当前像素行的像素值均值与第一像素行的像素值均值的差值大于第一阈值或像素行的像素值方差大于第二阈值时停止获取像素行；响应于停止获取像素行，将当前边所在的像素行直至停止获取的像素行之间的区域作为边界区域，获取所述边界区域的边界颜色；其中，所述包含多条边的边集合中的边，包括：所述合成图像的四条边，以及对所述合成图像进行切割得到的子图像的四条边。
如图2D所示，作为一个例子，考虑到合成图像中可能包含来自于多个素材图像的多个目标素材，例如，有可能包含了来自两个素材图像的两个目标素材，而每个素材图像中可能包含有黑边等边界颜色。本实施例中可以将合成图像按照长边从中间切割为两部分，得到两个子图像，结合合成图像，可以得到三张图像，每个图像有四条边，一共有12条边。可以依次遍历每一张图像的每一条边，获取边界颜色（border_color）， 根据相应阈值判断是否有黑边或白边；对于有黑边或的图像，可以采用抠图算法，抠出主体；根据主体mask，反向计算背景mask，并根据背景mask提取背景主色；如果背景主色不是黑色或白色，则忽略这种黑边或白边的情况，否则输出有黑边或白边。
如图2D所示，其中，输入图像可以包括三张图像（合成图像、对合成图像的长边进行平均切割得到的两张子图像）；
针对每张图像，分别执行如下流程：
步骤1、初始化cstart和cend；cstart=0，cend=0；
其中，可以选定当前图像的其中一条边开始进行识别；cstart是指当前图像的选定的边所在的边界的像素行。
步骤2、读取第cend像素行所包含的所有像素点，计算所有像素点的像素值均值mean和像素值方差。
步骤3、判断当前的第cend行的像素均值减去cstart像素行的像素均值之差是否小于第一阈值，且第cend行的像素值方差是否小于第二阈值；如果是，执行步骤4；否则执行步骤5；
其中，第一阈值和第二阈值可以根据实际需要进行配置，例如第一阈值可以是7.5，第二阈值可以是5等数值；
其中，“第cend行的像素均值减去cstart像素行的像素均值之差小于第一阈值”,用于判断从选定的边界所在的像素行开始，下一像素行是否出现颜色变化；“第cend像素行的像素值方差是否小于第二阈值”即说明该像素行的颜色是否出现波动，如果波动较大；如果大于第二阈值，说明该像素行整行的像素点的像素值有明显的变化，如果小于第一阈值，说明该像素行整行的像素点的像素值没有明显的变化。
步骤4、cend=cend+1后，返回执行步骤2。
步骤5、输出cstart行的mean值。其中，cstart行的mean值代表了该条边所在的边界区域的颜色。
步骤6、判断“cend-cstart”是否大于第三阈值；如果是执行步骤7，否则执行步骤8；
其中，第三阈值可以根据需要进行设置，例如可以是2，即最多从边界的第一行开始往内读取3行即可。
步骤7、判断cstar行的mean值是否属于黑色或白色；如果是，输出边界区域是黑色或白色的判断结果，否则执行步骤8；
其中，如果cstar行的mean值小于第四阈值，例如第四阈值是32等表征黑色的数值，则可确定从cstar行至cend行之间的边界区域是黑色；如果cstar行的mean值大于第五阈值，例如第五阈值是255等表征白色的数值，则可确定从cstar行至cend行之间的边界区域是白色。
步骤8、图像旋转90度，返回执行步骤1。此处通过将图像旋转90°，可以重新复用上述步骤1-8的计算过程。从而在需要的情况下对图像的各条边所在的边界区域的颜色进行识别。
通过上述实施例，基于输出的图像的边的边界区域是否是黑色或白色的输出结果，如果是黑色或白色的情况下，可以通过对合成图像进行抠图得到图像的主体，然后反向计算除了主体之外的区域，提取该区域的颜色，对比输出的边界区域的颜色与提取的区域的颜色，确定两者是否一致；若一致，则可以确定该合成图像中素材的背景与边界区域的颜色一致，合成图像未存在黑边或白边的情况；如果不一致，可以确定该合成图像中素材的背景与边界区域的颜色不一致，合成图像存在黑边或白边的情况。本实施例识别合成图像中素材是否存在黑白，还通过与主体颜色的比较，能防止对纯色图片（纯黑、纯白）图像的误判。
在一些例子中，素材质量指标还可以包括表示素材的清晰度的质量指标，可以采用清晰度识别模型，用于识别合成图像的清晰度，具体可以包括合成图像中素材的清晰度。清晰度识别模型可以根据需要进行构建，本实施例对此不进行限定。响应于清晰度识别模型输出的清晰度小于预设清晰度，可以确定合成图像存在因清晰度未达标导致的色彩信息未达标的色彩质量指标。
在一些例子中，色彩质量指标还可以包括表征合成图像的曝光程度的质量指标，可以采用曝光识别模型对合成图像的曝光程度进行识别，例如，识别合成图像是否过度曝光。曝光识别模型可以根据需要进行构建，本实施例对此不进行限定。响应于曝光识别模型输出的过度曝光的检测结果，可以确定合成图像存在因过度曝光导致的色彩信息未达标的色彩质量指标。
在一些例子中，色彩质量指标还可以包括表征合成图像的光线信息的质量指标，可以采用光线识别模型对合成图像的光线信息进行识别，例如，识别合成图像是否光线暗淡。光线识别模型可以根据需要进行构建，本实施例对此不进行限定。响应于光线识别模型输出的光线暗淡的检测结果，可以确定合成图像存在因光线暗淡导致的色彩信息未达标的色彩质量指标。
在一些例子中，识别所述合成图像的美学信息后确定出的美学质量指标，可以采用美学识别模型识别合成图像的美学是否达标。美学识别模型可以根据需要进行构建，本实施例对此不进行限定。响应于美学识别模型输出的美学不达标的检测结果，可以确定合成图像存在美学未达标的美学质量指标。
在一些例子中，可以通过如下方式实现美学质量指标的获取；
例如，可以使用计算机视觉中的目标检测算法，通过检测图像中物体的位置和大小，来判断图像是否符合黄金分割或对称构图等，从而得到表征是否符合黄金分割或对称构图等多种构图的美学质量指标；
可以使用图像处理技术，通过分析图像中像素的亮度、颜色等信息，来提取图像的光影特征。例如，通过计算图像中每个像素点周围的亮度差异值，来识别出图像中的阴影和高光，从而得到对应的美学质量。
可以使用图像处理技术，通过分析图像中的颜色分布、饱和度、色相等信息，来提取图像的色彩特征。例如，可以通过计算图像中不同颜色的占比和分布情况，来判断图像的美学质量指标。
可以使用计算机视觉中的边缘检测算法，如Canny算法等，通过检测图像中物体的轮廓和边缘，来判断图像的线条是否符合设定形状的线条的美学质量指标。
上述的曝光识别模型，光线识别模型，美学识别模型等均属于判别性模型，可选的，可以采用EfficientNet V2（一种改进的深度卷积神经网络模型）等模型构建得到。例如，对于上述任一模型，模型可以是将输入的图像经过若干个不同层级、以及不同尺度的卷积层后，通过全局平均池化网络，以及两个全连接层进行特征融合，最终与对应的类别标注计算交叉熵损失训练得到。
本实施例中，可以在较短的时间内对大量的合图进行快速评估，从而实现数倍甚至更高的合图投放效率。基于机器学习算法和模型的训练，创意质量分可以自动识别和分类不同质量水平的合图，并给出相应的评分或标签。这样，评审人员只需要对评分低于阈值的合图进行审核，而无需再逐个评估所有的合图。这种方式可以大大减轻评审人员的工作负担，提高评审的效率和准确性。
此外，创意质量分也可以提高合图质量的一致性和稳定性。由于人工评审存在主观因素的影响，不同的评审人员可能会对同一张合图有不同的评价结果。而创意质量分基于机器学习模型的评估是基于算法和数据的客观分析，可以消除主观因素的影响，从而实现合图质量的一致性和稳定性。
综上所述，创意合图质量分是智能外投合图全链路上的关键问题，旨在从视觉角度评判创意合图的优劣，在半自动化或全自动化替代人工审核过程。评估合图质量需要考虑到多个因素，如合图的清晰度、颜色饱和度、光影效果、整体美感等，需要利用机器学习和人工智能等技术，对这些因素进行综合评估，提高合图的质量和投放效率。从而使得商品和活动在各大平台上得到更好的展示和推广。
与前述图像检测方法的实施例相对应，本说明书还提供了图像检测装置及其所应用的计算机的实施例。
本说明书图像检测装置的实施例可以应用在计算机设备上，例如服务器或终端设备。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本说明书图像检测装置所在计算机设备的一种硬件结构图，除了图3所示的处理器310、内存330、网络接口320、以及非易失性存储器340之外，实施例中图像检测装置331所在的计算机设备，通常根据该计算机设备的实际功能，还可以包括其他硬件，对此不再赘述。
如图4所示，图4是本说明书根据一示例性实施例示出的一种图像检测装置的框图，所述装置包括：
调用模块41，用于响应于接收到由素材图像填充至模板图像中得到的合成图像，调用预设的至少一种用于检测所述合成图像存在未达标的质量指标的检测流程。
其中，预设的检测流程包括如下一种或多种组合：用于检测所述合成图像中包含的目标素材未达标的素材质量指标的流程、用于检测所述合成图像中包含的目标素材与模板之间的构图关系未达标的构图质量指标的流程、用于检测所述合成图像的色彩信息未达标的色彩质量指标、用于检测所述合成图像的美学信息未达标的美学质量指标。
输出模块42，用于获取到任一质量指标，输出所述合成图像未达标的检测结果。
在一些例子中，所述用于检测所述合成图像中包含的目标素材未达标的素材质量指标的流程，包括：
将所述合成图像输入至水印检测模型后，基于所述水印检测模型输出的所述合成图像中包含水印的检测结果，确定所述合成图像存在因包含水印导致的目标素材未达标的质量指标；其中，所述水印检测模型是通过如下方式训练得到的：
采用已标注的第一训练数据集训练好预设的轻量检测模型后，将未标注的第二训练数据集中的各训练样本分别输入至开启dropout模式的轻量检测模型，以得到每个所述训练样本的多轮检测结果；
根据每个所述训练样本的多轮检测结果确定每个所述训练样本的标签，进一步利用带有标签的第二训练数据集训练模型参数大于所述轻量检测模型的水印检测模型。
在一些例子中，所述根据每个所述训练样本的多轮检测结果确定每个所述训练样本的标签，包括：
计算每个所述训练样本的多轮检测结果的不确定性分数；
响应于所述训练样本的不确定性分数低于阈值，基于所述训练样本的多轮检测结果确定所述训练样本的标签；
响应于所述训练样本的不确定性分数大于或等于阈值，将所述训练样本输出给用户后，获取所述用户输入的所述训练样本的标签。
在一些例子中，所述计算每个所述训练样本的多轮检测结果的不确定性分数，包括：
计算每个所述训练样本的多轮检测结果的熵值，基于所述熵值确定所述训练样本的不确定性分数。
在一些例子中，所述第一训练数据集中包括如下方式获取到的第一训练样本：
随机生成多个文本后，将每个所述文本随机合并至预设的素材图像样本集合中的任一素材图像样本中；
将合并有文本的各个素材图像样本，与预设的模板图像样本集合中的任一模板图像样本合并，得到第一训练样本。
在一些例子中，所述用于检测所述合成图像中包含的目标素材与模板之间的构图关系未达标的构图质量指标的流程，包括：
获取所述合成图像对应的模板图像，识别出所述模板图像中用于填充素材的填充区域后，确定所述填充区域的中心位置；
识别所述合成图像中包含的目标素材的中心位置，计算所述填充区域的中心位置和所述素材的中心位置之间的距离；
响应于计算出的距离大于预设距离阈值，确定所述合成图像存在因素材未居中导致的构图关系未达标的构图质量指标。
在一些例子中，所述用于检测所述合成图像中包含的目标素材与模板之间的构图关系未达标的构图质量指标的流程，包括：
获取所述合成图像对应的模板图像，识别出所述模板图像中用于填充素材的填充区域后，确定所述填充区域的大小；
识别所述合成图像中包含的目标素材的大小；
响应于所述填充区域的大小与所述目标素材的大小之间的差异大于第一差异阈值，确定所述合成图像存在因素材过小导致的构图关系未达标的构图质量指标。
在一些例子中，所述用于检测所述合成图像中包含的目标素材与模板之间的构图关系未达标的构图质量指标的流程，包括：
获取所述合成图像对应的素材图像，识别所述素材图像中包含的原始素材以及识别所述合成图像中包含的目标素材；以及，
根据所述原始素材的关键点与所述合成图像的关键点之间的匹配关系，基于所述素材图像的空间对所述目标素材进行转换，比较转换后的目标素材的大小与所述原始素材的大小；响应于所述转换后的目标素材的大小与所述原始素材的大小之间的差异大于第二差异阈值，确定所述合成图像存在因素材裁切导致的构图关系未达标的构图质量指标；
和/或，
根据所述原始素材的关键点与所述合成图像的关键点之间的匹配关系，基于所述合成图像的空间对所述原始素材进行转换，比较转换后的原始素材的大小与所述目标素材的大小；响应于所述转换后的原始素材的大小与所述目标素材的大小之间的差异大于第三差异阈值，确定所述合成图像存在因素材被模板遮挡导致的构图关系未达标的构图质量指标。
在一些例子中，所述用于检测所述合成图像中包含的目标素材未达标的素材质量指标的流程，包括：
获取所述合成图像中目标素材的边界颜色以及所述目标素材的背景颜色，响应于所述边界颜色和所述背景颜色不一致，确定所述合成图像存在因素材的边界颜色与背景颜色不一致导致的目标素材未达标的质量指标。
在一些例子中，所述获取所述合成图像中目标素材的边界颜色以及所述目标素材的背景颜色，响应于所述边界颜色和所述背景颜色不一致，确定所述合成图像存在因素材的边界颜色与背景颜色不一致导致的目标素材未达标的质量指标，包括：
将所述合成图像进行至少一次切割得到至少两个子图像；
将所述合成图像和所述至少两个子图像中的每个图像作为图像集合，从所述图像集合中依次取出一张图像作为目标图像后，执行如下操作直至所有图像均被取出或者确定存在目标素材未达标的质量指标：获取所述目标图像的边界区域的颜色以及从所述目标图像进行抠图得到主体后识别主体所在背景的背景颜色，响应于所述边界区域的颜色与所述主体所在背景的背景颜色不一致，确定所述合成图像存在因素材的边界颜色与背景颜色不一致导致的目标素材未达标的质量指标。
在一些例子中，所述合成图像是指由一张或两张素材图像填充至模板图像中得到的合成图像；所述合成图像包括所述将所述合成图像进行至少一次切割得到至少两个子图像，包括：
垂直于所述合成图像的四条边中一对长边进行平均切割，得到两个子图像。
上述图像检测装置中各个模块的功能和作用的实现过程具体详见上述图像检测方法中对应步骤的实现过程，在此不再赘述。
相应的，本说明书实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现前述图像检测方法实施例的步骤。
相应的，本说明书实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现图像检测方法实施例的步骤。
相应的，本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现图像检测方法实施例的步骤。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，既可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述实施例可以应用于一个或者多个计算机设备中，所述计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，所述计算机设备的硬件包括但不限于微处理器、专用集成电路（Application Specific IntegratedCircuit，ASIC）、可编程门阵列（Field-Programmable Gate Array，FPGA）、数字处理器（Digital Signal Processor，DSP）、嵌入式设备等。
所述计算机设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理（Personal Digital Assistant，PDA）、游戏机、交互式网络电视（Internet Protocol Television，IPTV）、智能式穿戴式设备等。
所述计算机设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算（CloudComputing）的由大量主机或网络服务器构成的云。
所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络（Virtual Private Network，VPN）等。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该申请的保护范围内。
其中，“具体示例”、或“一些示例”等的描述意指结合所述实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (14)

1.一种图像检测方法，所述方法包括：
响应于接收到由素材图像填充至模板图像中得到的合成图像，调用预设的至少一种用于检测所述合成图像存在未达标的质量指标的检测流程；其中，预设的检测流程包括如下一种或多种组合：用于检测所述合成图像中包含的目标素材未达标的素材质量指标的流程、用于检测所述合成图像中包含的目标素材与模板之间的构图关系未达标的构图质量指标的流程、用于检测所述合成图像的色彩未达标的色彩质量指标、用于检测所述合成图像的美学未达标的美学质量指标；
响应于获取到任一未达标的质量指标，输出所述合成图像未达标的检测结果。
2.根据权利要求1所述的方法，所述用于检测所述合成图像中包含的目标素材未达标的素材质量指标的流程，包括：
将所述合成图像输入至水印检测模型后，基于所述水印检测模型输出的所述合成图像中包含水印的检测结果，确定所述合成图像存在因包含水印导致的目标素材未达标的质量指标；其中，所述水印检测模型是通过如下方式训练得到的：
采用已标注的第一训练数据集训练好预设的轻量检测模型后，将未标注的第二训练数据集中的各训练样本分别输入至开启dropout模式的轻量检测模型，以得到每个所述训练样本的多轮检测结果；
根据每个所述训练样本的多轮检测结果确定每个所述训练样本的标签，进一步利用带有标签的第二训练数据集训练模型参数大于所述轻量检测模型的水印检测模型。
3.根据权利要求2所述的方法，所述根据每个所述训练样本的多轮检测结果确定每个所述训练样本的标签，包括：
计算每个所述训练样本的多轮检测结果的不确定性分数；
响应于所述训练样本的不确定性分数低于阈值，基于所述训练样本的多轮检测结果确定所述训练样本的标签；
响应于所述训练样本的不确定性分数大于或等于阈值，将所述训练样本输出给用户后，获取所述用户输入的所述训练样本的标签。
4.根据权利要求3所述的方法，所述计算每个所述训练样本的多轮检测结果的不确定性分数，包括：
计算每个所述训练样本的多轮检测结果的熵值，基于所述熵值确定所述训练样本的不确定性分数。
5.根据权利要求2所述的方法，所述第一训练数据集中包括如下方式获取到的第一训练样本：
随机生成多个文本后，将每个所述文本随机合并至预设的素材图像样本集合中的任一素材图像样本中；
将合并有文本的各个素材图像样本，与预设的模板图像样本集合中的任一模板图像样本合并，得到第一训练样本。
6.根据权利要求1所述的方法，所述用于检测所述合成图像中包含的目标素材与模板之间的构图关系未达标的构图质量指标的流程，包括：
获取所述合成图像对应的模板图像，识别出所述模板图像中用于填充素材的填充区域后，确定所述填充区域的中心位置；
识别所述合成图像中包含的目标素材的中心位置，计算所述填充区域的中心位置和所述素材的中心位置之间的距离；
响应于计算出的距离大于预设距离阈值，确定所述合成图像存在因素材未居中导致的构图关系未达标的构图质量指标。
7.根据权利要求1所述的方法，所述用于检测所述合成图像中包含的目标素材与模板之间的构图关系未达标的构图质量指标的流程，包括：
获取所述合成图像对应的模板图像，识别出所述模板图像中用于填充素材的填充区域后，确定所述填充区域的大小；
识别所述合成图像中包含的目标素材的大小；
响应于所述填充区域的大小与所述目标素材的大小之间的差异大于第一差异阈值，确定所述合成图像存在因素材过小导致的构图关系未达标的构图质量指标。
8.根据权利要求1所述的方法，所述用于检测所述合成图像中包含的目标素材与模板之间的构图关系未达标的构图质量指标的流程，包括：
获取所述合成图像对应的素材图像，识别所述素材图像中包含的原始素材以及识别所述合成图像中包含的目标素材；以及，
根据所述原始素材的关键点与所述合成图像的关键点之间的匹配关系，基于所述素材图像的空间对所述目标素材进行转换，比较转换后的目标素材的大小与所述原始素材的大小；响应于所述转换后的目标素材的大小与所述原始素材的大小之间的差异大于第二差异阈值，确定所述合成图像存在因素材裁切导致的构图关系未达标的构图质量指标；
和/或，
根据所述原始素材的关键点与所述合成图像的关键点之间的匹配关系，基于所述合成图像的空间对所述原始素材进行转换，比较转换后的原始素材的大小与所述目标素材的大小；响应于所述转换后的原始素材的大小与所述目标素材的大小之间的差异大于第三差异阈值，确定所述合成图像存在因素材被模板遮挡导致的构图关系未达标的构图质量指标。
9.根据权利要求1所述的方法，所述用于检测所述合成图像中包含的目标素材未达标的素材质量指标的流程，包括：
获取所述合成图像中目标素材的边界颜色以及所述目标素材的背景颜色，响应于所述边界颜色和所述背景颜色不一致，确定所述合成图像存在因素材的边界颜色与背景颜色不一致导致的目标素材未达标的质量指标。
10.根据权利要求9所述的方法，所述获取所述合成图像中目标素材的边界颜色以及所述目标素材的背景颜色，响应于所述边界颜色和所述背景颜色不一致，确定所述合成图像存在因素材的边界颜色与背景颜色不一致导致的目标素材未达标的质量指标，包括：
将所述合成图像进行至少一次切割得到至少两个子图像；
将所述合成图像和所述至少两个子图像中的每个图像作为图像集合，从所述图像集合中依次取出一张图像作为目标图像后，执行如下操作直至所有图像均被取出或者确定存在目标素材未达标的质量指标：获取所述目标图像的边界区域的颜色以及从所述目标图像进行抠图得到主体后识别主体所在背景的背景颜色，响应于所述边界区域的颜色与所述主体所在背景的背景颜色不一致，确定所述合成图像存在因素材的边界颜色与背景颜色不一致导致的目标素材未达标的质量指标。
11.根据权利要求10所述的方法，所述合成图像是指由一张或两张素材图像填充至模板图像中得到的合成图像；所述合成图像包括所述将所述合成图像进行至少一次切割得到至少两个子图像，包括：
垂直于所述合成图像的四条边中一对长边进行平均切割，得到两个子图像。
12.一种图像检测装置，所述装置包括：
调用模块，用于接收到由素材图像填充至模板图像中得到的合成图像，调用预设的至少一种用于检测所述合成图像存在未达标的质量指标的检测流程；其中，预设的检测流程包括如下一种或多种组合：用于检测所述合成图像中包含的目标素材未达标的素材质量指标的流程、用于检测所述合成图像中包含的目标素材与模板之间的构图关系未达标的构图质量指标的流程、用于检测所述合成图像的色彩信息未达标的色彩质量指标、用于检测所述合成图像的美学信息未达标的美学质量指标；
输出模块，用于获取到任一未达标的质量指标，输出所述合成图像未达标的检测结果。
13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现权利要求1至11任一所述方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至11任一所述方法的步骤。
CN202311637338.3A 2023-12-01 2023-12-01 图像检测方法、装置、设备及存储介质 Active CN117333495B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311637338.3A CN117333495B (zh) 2023-12-01 2023-12-01 图像检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311637338.3A CN117333495B (zh) 2023-12-01 2023-12-01 图像检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117333495A true CN117333495A (zh) 2024-01-02
CN117333495B CN117333495B (zh) 2024-03-19

Family

ID=89283491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311637338.3A Active CN117333495B (zh) 2023-12-01 2023-12-01 图像检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117333495B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101577010A (zh) * 2009-06-11 2009-11-11 清华大学 基于图像库的图像合成质量自动评测方法
US20140016194A1 (en) * 2012-07-13 2014-01-16 E-Lon Optronics Co., Ltd. Image displaying sheet
CN104168417A (zh) * 2014-05-20 2014-11-26 腾讯科技（深圳）有限公司 图片处理方法及装置
US20180207937A1 (en) * 2015-07-28 2018-07-26 Konica Minolta, Inc. Image forming apparatus and quality determination method
CN109285105A (zh) * 2018-09-05 2019-01-29 北京字节跳动网络技术有限公司 水印检测方法、装置、计算机设备和存储介质
CN110245721A (zh) * 2019-06-25 2019-09-17 深圳市腾讯计算机系统有限公司 神经网络模型的训练方法、装置和电子设备
CN110730381A (zh) * 2019-07-12 2020-01-24 北京达佳互联信息技术有限公司 基于视频模板合成视频的方法、装置、终端及存储介质
CN111612681A (zh) * 2019-02-22 2020-09-01 阿里巴巴集团控股有限公司 数据获取方法、水印识别方法、水印去除方法及装置
CN111798360A (zh) * 2020-06-30 2020-10-20 百度在线网络技术（北京）有限公司 一种水印检测方法、装置、电子设备及存储介质
CN113920145A (zh) * 2021-12-08 2022-01-11 天津大学 一种投影系统投射图像质量评价计算方法
CN114419195A (zh) * 2021-12-01 2022-04-29 天津大学 一种基于关系嵌入的图像合成的方法、装置及存储介质
CN115035331A (zh) * 2022-05-07 2022-09-09 中国人民解放军国防科技大学 一种应用于小型无人机载平台的小样本目标检测方法及系统
CN115240197A (zh) * 2022-06-22 2022-10-25 科大讯飞股份有限公司 图像质量评价方法、装置、电子设备、扫描笔及存储介质
CN115511969A (zh) * 2022-11-22 2022-12-23 阿里巴巴（中国）有限公司 图像处理与数据渲染方法、设备及介质
CN116823700A (zh) * 2022-03-21 2023-09-29 北京沃东天骏信息技术有限公司 一种图像质量的确定方法和装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101577010A (zh) * 2009-06-11 2009-11-11 清华大学 基于图像库的图像合成质量自动评测方法
US20140016194A1 (en) * 2012-07-13 2014-01-16 E-Lon Optronics Co., Ltd. Image displaying sheet
CN104168417A (zh) * 2014-05-20 2014-11-26 腾讯科技（深圳）有限公司 图片处理方法及装置
US20180207937A1 (en) * 2015-07-28 2018-07-26 Konica Minolta, Inc. Image forming apparatus and quality determination method
CN109285105A (zh) * 2018-09-05 2019-01-29 北京字节跳动网络技术有限公司 水印检测方法、装置、计算机设备和存储介质
CN111612681A (zh) * 2019-02-22 2020-09-01 阿里巴巴集团控股有限公司 数据获取方法、水印识别方法、水印去除方法及装置
CN110245721A (zh) * 2019-06-25 2019-09-17 深圳市腾讯计算机系统有限公司 神经网络模型的训练方法、装置和电子设备
CN110730381A (zh) * 2019-07-12 2020-01-24 北京达佳互联信息技术有限公司 基于视频模板合成视频的方法、装置、终端及存储介质
CN111798360A (zh) * 2020-06-30 2020-10-20 百度在线网络技术（北京）有限公司 一种水印检测方法、装置、电子设备及存储介质
CN114419195A (zh) * 2021-12-01 2022-04-29 天津大学 一种基于关系嵌入的图像合成的方法、装置及存储介质
CN113920145A (zh) * 2021-12-08 2022-01-11 天津大学 一种投影系统投射图像质量评价计算方法
CN116823700A (zh) * 2022-03-21 2023-09-29 北京沃东天骏信息技术有限公司 一种图像质量的确定方法和装置
CN115035331A (zh) * 2022-05-07 2022-09-09 中国人民解放军国防科技大学 一种应用于小型无人机载平台的小样本目标检测方法及系统
CN115240197A (zh) * 2022-06-22 2022-10-25 科大讯飞股份有限公司 图像质量评价方法、装置、电子设备、扫描笔及存储介质
CN115511969A (zh) * 2022-11-22 2022-12-23 阿里巴巴（中国）有限公司 图像处理与数据渲染方法、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ADIT BHARDWAJ等: "Robust PCA-based solution to image composition using augmented Lagrange multiplier (ALM)", 《THE VISUAL COMPUTER》, vol. 32, pages 591, XP035876620, DOI: 10.1007/s00371-015-1075-1 *
韩艳茹等: "图像和视频的低多边形渲染", 《计算机应用》, vol. 41, no. 2, pages 504 - 510 *

Also Published As

Publication number Publication date
CN117333495B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
Matern et al. Exploiting visual artifacts to expose deepfakes and face manipulations
US10839573B2 (en) Apparatus, systems, and methods for integrating digital media content into other digital media content
KR102102161B1 (ko) 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
US10049308B1 (en) Synthesizing training data
Rematas et al. Novel views of objects from a single image
Guo et al. Paired regions for shadow detection and removal
CN101601287B (zh) 产生照片级真实感图像缩略图的设备和方法
CN106096542B (zh) 基于距离预测信息的图像视频场景识别方法
CN110678875A (zh) 用于引导用户拍摄自拍照的系统和方法
KR101611895B1 (ko) 감정 기반의 자동 문구 디자인 장치 및 그 방법
US20180357819A1 (en) Method for generating a set of annotated images
CN107430680A (zh) 多层皮肤检测和融合手势匹配
CN112990205B (zh) 手写字符样本的生成方法及装置、电子设备、存储介质
ur Rehman et al. DeepRPN-BIQA: Deep architectures with region proposal network for natural-scene and screen-content blind image quality assessment
US12008734B2 (en) Generating image masks from digital images via color density estimation and deep learning models
CN114730377A (zh) 鞋类认证设备及认证流程
CN110196917A (zh) 个性化logo版式定制方法、系统和存储介质
Jampour et al. Face inpainting based on high-level facial attributes
Hu et al. Instance segmentation based semantic matting for compositing applications
Chien et al. Detecting nonexistent pedestrians
CN117333495B (zh) 图像检测方法、装置、设备及存储介质
Gouiffès et al. Body color sets: A compact and reliable representation of images
CN111401415A (zh) 计算机视觉任务模型的训练方法、装置、设备和存储介质
CN113706636A (zh) 一种用于篡改图像识别的方法与装置
Nouri et al. Global visual saliency: Geometric and colorimetrie saliency fusion and its applications for 3D colored meshes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant