CN110738276A - 图像素材生成方法和装置及电子设备、计算机可读存储介质 - Google Patents

图像素材生成方法和装置及电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN110738276A
CN110738276A CN201911313817.3A CN201911313817A CN110738276A CN 110738276 A CN110738276 A CN 110738276A CN 201911313817 A CN201911313817 A CN 201911313817A CN 110738276 A CN110738276 A CN 110738276A
Authority
CN
China
Prior art keywords
image
network model
confrontation network
generating
target condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911313817.3A
Other languages
English (en)
Inventor
郑若冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yingpu Technology Co Ltd
Original Assignee
Beijing Yingpu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yingpu Technology Co Ltd filed Critical Beijing Yingpu Technology Co Ltd
Priority to CN201911313817.3A priority Critical patent/CN110738276A/zh
Publication of CN110738276A publication Critical patent/CN110738276A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像素材生成方法和装置及电子设备、计算机可读存储介质，其中，所述方法包括：根据图像素材内部的图像元素差异对所述图像素材进行语义分割处理，对每一类图像元素的像素分别设置相应的第一类别标签，获得元素图像；将所述元素图像作为训练样本，训练预设的第二目标条件生成式对抗网络模型，获得基于图像元素生成图像素材的第一目标条件生成式对抗网络模型；将实际图像元素组合输入到所述第一目标条件生成式对抗网络模型，生成与所述实际图像元素组合对应的目标图像素材。采用本发明所述的图像素材生成方法，能够基于图像元素的组合生成符合需要的高质量图像素材，提高了图像素材生成的精确度，可根据用户的需求进行定制。

Description

图像素材生成方法和装置及电子设备、计算机可读存储介质
技术领域
本发明实施例涉及人工智能技术领域，具体涉及一种图像素材生成方法和装置。另外，还涉及一种电子设备和存储介质。
背景技术
近年来，随着人工智能技术的快速发展，以及计算机硬件算力的增长，以人工智能技术为核心的图像处理系统应运而生。目前，以深度神经网络为代表的深度学习模型在目标检测、语义分割、物体追踪、动作识别等任务上都表现出优越的性能，在图像生成、视频生成等领域得到广泛应用。然而，随着当前版权管理日趋严格和图像素材获取成本的提升，各类媒体产品中使用的图像素材也受到了诸多限制。
为了解决上述问题，现有技术中国通常采用的技术手段是利用生成式对抗网络（GAN, Generative Adversarial Networks）为代表的深度生成模型以无监督的学习目标数据分布，从而产生图像素材数据。然而，上述方式虽然在一定程度上解决了图像素材生成问题，但是无法指导图像素材生成过程，不够灵活，导致生成的图像素材难以有效满足用户的实际使用需求。因此，如何准确获得更多高质量的图像素材是当前迫切需要解决的问题。
发明内容
为此，本发明实施例提供一种图像素材生成方法和装置，以解决现有技术中存在的图像素材生成过程精确度较低，无法有效满足用户实际使用需求的问题。
为了实现上述目的，本发明实施例提供如下技术方案：
根据本发明实施例提供的一种图像素材生成方法，包括：获得符合预设主题类型的图像素材；根据所述获得符合预设主题类型的图像素材内部的图像元素差异对所述图像素材进行语义分割处理，对每一类图像元素的像素分别设置相应的第一类别标签，获得与所述获得符合预设主题类型的图像素材对应的元素图像；将所述元素图像作为训练样本，训练预设的第二目标条件生成式对抗网络模型，获得基于图像元素生成图像素材的第一目标条件生成式对抗网络模型；其中，所述第一目标条件生成式对抗网络模型用于：根据给定的图像元素组合，获得与所述图像元素组合对应的图像素材；获得用户选择的实际图像元素组合，将所述实际图像元素组合输入到所述第一目标条件生成式对抗网络模型，生成与所述实际图像元素组合对应的目标图像素材。语义分割是计算机视觉中十分重要的领域，它是指像素级地识别图像，即标注出图像中每个像素所属的对象类别。因此，本发明的方法将符合预设主题类型的图像素材进行语义分割获得元素图像对第二目标条件生成式对抗网络模型进行训练得到第一目标条件生成式对抗网络模型。第一目标条件生成式对抗网络模型则能将输入的图像元素组合随机生成目标图像素材。其中图像元素是图像内部的人、车等具体对象，第一目标条件生成式对抗网络模型输入的图像元素组合是用户自行确定的对象组合，该图像元素组合中的像素都标注了所属的对象类别。
进一步的，所述获得符合预设主题类型的图像素材，具体包括：获得预设的图像数据集；根据所述图像数据集中的图像数据主题类型，分别设置相应的第二类别标签；根据所述第二类别标签对预设生成式对抗网络模型的生成器设置约束条件，获得第四条件生成式对抗网络模型；将图像数据集中的图像数据和所述第二类别标签作为所述第四目标条件生成式对抗网络模型的训练样本，训练所述第四条件生成式对抗网络模型，获得基于图像类别生成图像素材的第三目标条件生成式对抗网络模型；获得用户输入的类别标签和随机噪声，将所述类别标签和所述随机噪声输入所述第三目标条件生成式对抗网络模型，生成与所述类别标签对应的符合预设主题类型的图像素材。
进一步的，所述将所述元素图像作为训练样本，训练预设的第二目标条件生成式对抗网络模型，获得基于图像元素生成图像素材的第一目标条件生成式对抗网络模型，具体包括：将所述元素图像作为训练样本，输入到所述第二目标条件生成式对抗网络模型，获得图像素材识别结果，将所述图像素材识别结果与预设目标概率值进行比对，根据比对结果调整所述第二目标条件生成式对抗网络模型参数，获得基于图像元素生成图像素材的所述第一目标条件生成式对抗网络模型。
进一步的，所述根据所述图像数据集中的图像数据主题类型，分别设置相应的第二类别标签，具体包括：提取所述图像数据集中图像数据的特征信息；根据所述特征信息将所述图像数据集中的图像数据进行分类，获得对应不同图像数据主题类型的图像数据子集；分别针对所述图像数据子集设置相应的第二类别标签。
进一步的，所述图像素材识别结果是指所述第二目标条件生成式对抗网络模型根据所述元素图像生成的识别图像素材为所述符合预设主题类型的图像素材的概率值。
相应的，本申请还提供一种图像素材生成方法，包括：获得预设的图像数据集，根据所述图像数据集中的图像数据主题类型，分别设置相应的第二类别标签；根据所述第二类别标签对预设生成式对抗网络模型的生成器设置约束条件，获得第四条件生成式对抗网络模型；将图像数据集中的图像数据和所述第二类别标签作为所述第四目标条件生成式对抗网络模型的训练样本，训练所述第四目标条件生成式对抗网络模型，获得基于图像类别生成图像素材的第三目标条件生成式对抗网络模型；获得用户输入的类别标签和随机噪声，将所述类别标签和所述随机噪声输入所述第三目标条件生成式对抗网络模型，生成与所述类别标签对应的符合预设主题类型的图像素材。
相应的，本申请还提供一种图像素材生成装置，包括：
图像素材获得单元，用于获得符合预设主题类型的图像素材；
元素图像获得单元，用于根据所述符合预设主题类型的图像素材内部的图像元素差异对所述符合预设主题类型的图像素材进行语义分割处理，对每一类图像元素的像素分别设置相应的第一类别标签，获得与所述符合预设主题类型的图像素材对应的元素图像；
第一模型训练单元，用于将所述元素图像作为训练样本，训练预设的第二目标条件生成式对抗网络模型，获得基于图像元素生成图像素材的第一目标条件生成式对抗网络模型；其中，所述第一目标条件生成式对抗网络模型用于：根据给定的图像元素组合，获得与所述图像元素组合对应的图像素材；
目标图像素材生成单元，用于获得用户选择的实际图像元素组合，将所述实际图像元素组合输入到所述第一目标条件生成式对抗网络模型，生成与所述实际图像元素组合对应的目标图像素材。
进一步的，所述图像素材获得单元具体用于：获得预设的图像数据集；根据所述图像数据集中的图像数据主题类型，分别设置相应的第二类别标签；根据所述第二类别标签对预设生成式对抗网络模型的生成器设置约束条件，获得第四条件生成式对抗网络模型；将图像数据集中的图像数据和所述第二类别标签作为所述第四目标条件生成式对抗网络模型的训练样本，训练所述第四目标条件生成式对抗网络模型，获得基于图像类别生成图像素材的所述第三目标条件生成式对抗网络模型；获得用户输入的类别标签和随机噪声，将所述类别标签和所述随机噪声输入所述第三目标条件生成式对抗网络模型，生成与所述类别标签对应的符合预设主题类型的图像素材。
进一步的，所述第一模型训练单元具体用于：将所述元素图像作为训练样本，输入到所述第二目标条件生成式对抗网络模型，获得图像素材识别结果，将所述图像素材识别结果与预设目标概率值进行比对，根据比对结果调整所述第二目标条件生成式对抗网络模型参数，获得基于图像元素生成图像素材的所述第一目标条件生成式对抗网络模型。
进一步的，所述第二类别标签设置单元具体用于：提取所述图像数据集中图像数据的特征信息；根据所述特征信息将所述图像数据集中的图像数据进行分类，获得对应不同图像数据主题类型的图像数据子集；分别针对所述图像数据子集设置相应的第二类别标签。
进一步的，所述图像素材识别结果是指所述第二目标条件生成式对抗网络模型根据所述元素图像生成的识别图像素材为所述图像素材的概率值。
相应的，本申请还提供一种图像素材生成装置，包括：
第二类别标签设置单元，用于获得预设的图像数据集，根据所述图像数据集中的图像数据主题类型，分别设置相应的第二类别标签；
模型设置单元，用于根据所述第二类别标签对预设生成式对抗网络模型的生成器设置约束条件，获得第四条件生成式对抗网络模型；
第二模型训练单元，用于将图像数据集中的图像数据和所述第二类别标签作为所述第四目标条件生成式对抗网络模型的训练样本，训练所述第四目标条件生成式对抗网络模型，获得基于图像类别生成图像素材的第三目标条件生成式对抗网络模型；
图像素材生成单元，用于获得用户输入的类别标签和随机噪声，将所述类别标签和所述随机噪声输入所述第三目标条件生成式对抗网络模型，生成与所述类别标签对应的符合预设主题类型的图像素材。
相应的，本申请还提供一种电子设备，包括：处理器和存储器；其中，所述存储器，用于存储图像素材生成方法的程序，该电子设备通电并通过所述处理器运行该图像素材生成方法的程序后，执行上述任意一项所述的图像素材生成方法。
相应的，本申请还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被服务器执行如上任一项所述的图像素材生成方法。
采用本发明所述的图像素材生成方法，能够基于图像主题和图像元素的组合生成符合需要的高质量图像素材，提高了图像素材生成的精确度，可根据用户的需求进行定制，从而提高了用户的使用体验。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明实施例提供的第一种图像素材生成方法的流程图；
图2为本发明实施例提供的第一种图像素材生成装置的示意图；
图3为本发明实施例提供的一种电子设备的示意图；
图4为本发明实施例提供的第二种图像素材生成方法的流程图；
图5为本发明实施例提供的第二种图像素材生成装置的示意图；
图6为本发明实施例提供的基于主题类型生成图像素材的示意图；
图7为本发明实施例提供的基于图像元素生成图像素材的示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面根据本发明所述的图像素材生成方法，对其实施例进行详细描述。如图1所示，其为本发明实施例提供的第一种图像素材生成方法的流程图，具体实现过程包括以下步骤：
步骤S101：获得符合预设主题类型的图像素材。
如图6所示，在本发明实施例中，获得符合预设主题类型的图像素材方法可以为两种，一种是获得已存在的原始图像；另一种具体实现方式如下所述：首先，获得预设的图像数据集，根据所述图像数据集中的图像数据主题类型，分别设置对应唯一的第二类别标签（第二标签离散数值标签，为一张图像所对应的类别标签）；根据所述第二类别标签对预设生成式对抗网络模型的生成器设置约束条件，即：以第二类别标签为条件变量，获得第四目标条件生成式对抗网络模型。进一步将图像数据集中的图像数据和所述第二类别标签作为所述第四目标条件生成式对抗网络模型的训练样本，训练所述第四目标条件生成式对抗网络模型，获得基于图像类别生成图像素材的第三目标条件生成式对抗网络模型。最后，获得用户输入的类别标签和随机噪声，将所述类别标签和所述随机噪声输入所述第三目标条件生成式对抗网络模型，生成与所述类别标签对应的符合预设主题类型的图像素材。
若条件变量是类别标签，可以将本发明实施例中的条件生成式对抗网络模型（Conditional Generative Adversarial Networks；CGAN）作为把纯无监督的生成式对抗网络模型（Generative Adversarial Networks；GAN）变成有监督的生成式对抗网络模型模型的一种改进。需要说明的是，本发明所述的条件变量可以基于多种数据信息，比如类别标签数据信息等，但是不限于类别标签数据信息，其可来自不同模态（modality）的数据信息，在此不做具体限定。
所述的生成式对抗网络模型是一种深度学习模型，通过框架中的生成器（Generative Model）和判别器（Discriminative Model）互相博弈学习，即：生成器通过输入类别标签和随机噪声生成图像素材，将生成的图像素材输入判别器，由判别器对输入的图像素材进行判别，确定是来自图像数据集的图像素材还是由生成器产生的图像素材，基于上述过程反复迭代训练，最终获得有效的生成式对抗网络模型，从而可以根据输入的数据输出有效的图像素材。需要说明的是，所述随机噪声可以是指均匀噪声，也可以是高斯随机噪声，在此不做具体限定。
进一步的，所述的根据所述图像数据集中的图像数据主题类型，分别设置对应唯一的第二类别标签，具体实现过程包括：提取所述图像数据集中图像数据的特征信息，根据所述特征信息将所述图像数据集中的图像数据进行分类，获得对应不同图像数据主题类型的图像数据子集；分别针对所述图像数据子集设置相应的第二类别标签。其中，所述的第二类别标签用于标识所述图像数据集中的图像数据主题类型。
步骤S102：根据符合预设主题类型的所述图像素材内部的图像元素差异对所述图像素材进行语义分割处理，对每一类图像元素的像素分别设置相应的第一类别标签，获得与所述符合预设主题类型的图像素材对应的元素图像。
上述步骤S101中获得符合预设主题类型的图像素材后，在本步骤中可以对所述图像素材进行处理，获得与所述符合预设主题类型的图像素材对应的元素图像（元素图像是与原始图像相同大小的灰度图像）。
步骤S103：将所述元素图像作为训练样本，训练预设的第二目标条件生成式对抗网络模型，获得基于图像元素生成图像素材的第一目标条件生成式对抗网络模型；其中，所述第一目标条件生成式对抗网络模型用于：根据给定的图像元素组合，获得与所述图像元素组合对应的图像素材。
上述步骤S102中获得与所述图像素材对应的元素图像后，在本步骤中可以将所述元素图像作为训练样本进行训练，获得基于图像元素生成图像素材的第一目标条件生成式对抗网络模型。
如图7所示，在本发明实施例中，所述的将元素图像作为训练样本，训练预设的第二目标条件生成式对抗网络模型，获得基于图像元素生成图像素材的第一目标条件生成式对抗网络模型，具体实现方式可以包括：将步骤S102中获得的元素图像作为训练样本，输入到所述第二目标条件生成式对抗网络模型中，获得图像素材识别结果。将所述图像素材识别结果与预设目标概率值进行比对，根据比对结果调整所述第二目标条件生成式对抗网络模型参数，获得基于图像元素生成图像素材的所述第一目标条件生成式对抗网络模型。
其中，所述图像素材识别结果是指所述第二目标条件生成式对抗网络模型根据所述元素图像生成的识别图像素材为所述图像素材的概率值。
具体的，在第二目标条件生成式对抗网络模型中，生成器通过用户给定的图像元素生成图像素材，将生成的图像素材输入判别器，由判别器对输入的图像素材进行判别，确定所述图像素材是来自图像数据集的图像素材概率值大小，以及确定所述图像素材是由生成器产生的图像素材概率值大小，进一步将确定的概率值大小与预设的目标概率值进行比对，调整第二目标条件生成式对抗网络模型参数，基于上述过程反复迭代训练，最终获得能够基于图像元素生成符合要求的图像素材的所述第一目标条件生成式对抗网络模型。
其中，所述的第二目标条件生成式对抗网络模型是包含两个损失函数耦合且相反的深度神经网络，将图像数据集中的图像数据和所述第二类别标签作为所述条件生成式对抗网络模型的训练样本，输入到设置约束条件的所述条件生成式对抗网络模型经过多次反复迭代训练得到的，可基于图像主题类别生成图像素材的深度神经网络。
进一步的，所述的第一目标条件生成式对抗网络模型是包含两个损失函数耦合且相反的深度神经网络，将所述元素图像作为训练样本，输入到所述第二目标条件生成式对抗网络模型经过多次反复迭代训练得到的，可基于图像元素生成图像素材的深度神经网络。因此，基于该第一目标条件生成式对抗网络模型可进行多种类型的图像素材生成。需要说明的是，图7中所示的图像翻译模块即为本发明所述的第一目标条件生成式对抗网络模型。
步骤S104：获得用户选择的实际图像元素组合，将所述实际图像元素组合输入到所述第一目标条件生成式对抗网络模型，生成与所述实际图像元素组合对应的目标图像素材。
在上述步骤S103获得第一目标条件生成式对抗网络模型后，在本步骤中可以通过输入给定图像元素组合，进而生成与所述实际图像元素组合对应的目标图像素材。
在本发明实施例中，用户可利用预设的专用工具用来编辑元素图像，方便用户根据需求灵活的选取图像元素组合。最终，经过训练的第一目标条件生成式对抗网络模型可以根据用户定制的图像元素组合生成符合要求的图像素材，从而实现了基于元素的图像素材生成。
采用本发明所述的图像素材生成方法，能够基于图像主题和图像元素的组合生成符合需要的高质量图像素材，提高了图像素材生成的精确度，可根据用户的需求进行定制，从而提高了用户的使用体验。
与上述提供的第一种图像素材生成方法相对应，本发明还提供第一种图像素材生成装置。由于该装置的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述第一种图像素材生成装置的实施例仅是示意性的。请参考图2所示，其为本发明实施例提供的第一种图像素材生成装置的示意图。
本发明所述的第一种图像素材生成装置包括如下部分：
图像素材获得单元201，用于获得符合预设主题类型的图像素材。
在本发明实施例中，获得符合预设主题类型的图像素材的具体实现方式如下所述：首先，获得预设的图像数据集，根据所述图像数据集中的图像数据主题类型，分别设置对应唯一的第二类别标签；根据所述第二类别标签对预设生成式对抗网络模型的生成器设置约束条件，即：以第二类别标签为条件变量，获得条件生成式对抗网络模型。进一步将图像数据集中的图像数据和所述第二类别标签作为所述第四目标条件生成式对抗网络模型的训练样本，训练所述第四目标条件生成式对抗网络模型，获得基于图像类别生成图像素材的第三目标条件生成式对抗网络模型。最后，获得用户输入的类别标签和随机噪声，将所述类别标签和所述随机噪声输入所述第三目标条件生成式对抗网络模型，生成与所述类别标签对应的符合预设主题类型的图像素材。
若条件变量是类别标签，可以将本发明实施例中的条件生成式对抗网络模型（Conditional Generative Adversarial Networks；CGAN）作为把纯无监督的生成式对抗网络模型（Generative Adversarial Networks；GAN）变成有监督的生成式对抗网络模型模型的一种改进。需要说明的是，本发明所述的条件变量可以基于多种数据信息，比如类别标签数据信息等，但是不限于类别标签数据信息，其可来自不同模态（modality）的数据信息，在此不做具体限定。
所述的生成式对抗网络模型是一种深度学习模型，通过框架中的生成器（Generative Model）和判别器（Discriminative Model）互相博弈学习，即：生成器通过输入类别标签和随机噪声生成图像素材，将生成的图像素材输入判别器，由判别器对输入的图像素材进行判别，确定是来自图像数据集的图像素材还是由生成器产生的图像素材，基于上述过程反复迭代训练，最终获得有效的生成式对抗网络模型，从而可以根据输入的数据输出有效的图像素材。需要说明的是，所述随机噪声可以是指均匀噪声，也可以是高斯随机噪声，在此不做具体限定。
进一步的，所述的根据所述图像数据集中的图像数据主题类型，分别设置对应唯一的第二类别标签，具体实现过程包括：提取所述图像数据集中图像数据的特征信息，根据所述特征信息将所述图像数据集中的图像数据进行分类，获得对应不同图像数据主题类型的图像数据子集；分别针对所述图像数据子集设置相应的第二类别标签。其中，所述的第二类别标签用于标识所述图像数据集中的图像数据主题类型。
元素图像获得单元202，用于根据所述图像素材内部的图像元素差异对所述图像素材进行语义分割处理，并对每一类图像元素的像素分别设置相应的第一类别标签，获得与所述图像素材对应的元素图像。
第一模型训练单元203，用于将所述元素图像作为训练样本，训练预设的第二目标条件生成式对抗网络模型，获得基于图像元素生成图像素材的第一目标条件生成式对抗网络模型；其中，所述第一目标条件生成式对抗网络模型用于：根据给定的图像元素组合，获得与所述图像元素组合对应的图像素材。
在本发明实施例中，所述的将元素图像作为训练样本，训练预设的第二目标条件生成式对抗网络模型，获得基于图像元素生成图像素材的第一目标条件生成式对抗网络模型，具体实现方式可以包括：将元素图像获得单元202中获得的元素图像作为训练样本，输入到所述第二目标条件生成式对抗网络模型中，获得图像素材识别结果。将所述图像素材识别结果与预设目标概率值进行比对，根据比对结果调整所述第二目标条件生成式对抗网络模型参数，获得基于图像元素生成图像素材的所述第一目标条件生成式对抗网络模型。
其中，所述图像素材识别结果是指所述第二目标条件生成式对抗网络模型根据所述元素图像生成的识别图像素材为所述图像素材的概率值。
具体的，在第二目标条件生成式对抗网络模型中，生成器通过用户给定的图像元素生成图像素材，将生成的图像素材输入判别器，由判别器对输入的图像素材进行判别，确定所述图像素材是来自图像数据集的图像素材概率值大小，以及确定所述图像素材是由生成器产生的图像素材概率值大小，进一步将确定的概率值大小与预设的目标概率值进行比对，调整第二目标条件生成式对抗网络模型参数，基于上述过程反复迭代训练，最终获得能够基于图像元素生成符合要求的图像素材的所述第一目标条件生成式对抗网络模型。
其中，所述的第二目标条件生成式对抗网络模型是包含两个损失函数耦合且相反的深度神经网络，将图像数据集中的图像数据和所述第二类别标签作为所述条件生成式对抗网络模型的训练样本，输入到设置约束条件的所述条件生成式对抗网络模型经过多次反复迭代训练得到的，可基于图像主题类别生成图像素材的深度神经网络。
进一步的，所述的第一目标条件生成式对抗网络模型是包含两个损失函数耦合且相反的深度神经网络，将所述元素图像作为训练样本，输入到所述第二目标条件生成式对抗网络模型经过多次反复迭代训练得到的，可基于图像元素生成图像素材的深度神经网络。因此，基于该第一目标条件生成式对抗网络模型可进行多种类型的图像素材生成。
目标图像素材生成单元204，用于获得用户选择的实际图像元素组合，将所述实际图像元素组合输入到所述第一目标条件生成式对抗网络模型，生成与所述实际图像元素组合对应的目标图像素材。
在本发明实施例中，用户可利用预设的专用工具用来编辑元素图像，方便用户根据需求灵活的选取图像元素组合。最终，经过训练的第一目标条件生成式对抗网络模型可以根据用户定制的图像元素组合生成符合要求的图像素材，从而实现了基于元素的图像素材生成。
采用本发明所述的图像素材生成装置，能够基于图像主题和图像元素的组合生成符合需要的高质量图像素材，提高了图像素材生成的精确度，可根据用户的需求进行定制，从而提高了用户的使用体验。
与上述提供的第一种图像素材生成方法相对应，本发明还提供第二种图像素材生成方法和装置。由于该方法和装置的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述第二种图像素材生成方法和装置的实施例仅是示意性的。请参考图3和图4所示，其分别为本发明实施例提供的第二种图像素材生成方法和装置的示意图。
本发明所述的第二种图像素材生成方法包括如下步骤：
步骤S301：获得预设的图像数据集，根据所述图像数据集中的图像数据主题类型，分别设置相应的第二类别标签；
步骤S302：根据所述第二类别标签对预设生成式对抗网络模型的生成器设置约束条件，获得第四条件生成式对抗网络模型；
步骤S303：将图像数据集中的图像数据和所述第二类别标签作为所述第四目标条件生成式对抗网络模型的训练样本，训练所述第四目标条件生成式对抗网络模型，获得基于图像类别生成图像素材的第三目标条件生成式对抗网络模型；
步骤S304：获得用户输入的类别标签和随机噪声，将所述类别标签和所述随机噪声输入所述第三目标条件生成式对抗网络模型，生成与所述类别标签对应的符合预设主题类型的图像素材。
本发明所述的第二种图像素材生成装置包括如下部分：
类别标签设置单元401，用于获得预设的图像数据集，根据所述图像数据集中的图像数据主题类型，分别设置相应的第二类别标签；
模型设置单元402，用于根据所述第二类别标签对预设生成式对抗网络模型的生成器设置约束条件，获得第四条件生成式对抗网络模型；
第二模型训练单元403，用于将图像数据集中的图像数据和所述第二类别标签作为所述第四目标条件生成式对抗网络模型的训练样本，训练所述第四目标条件生成式对抗网络模型，获得基于图像类别生成图像素材的第三目标条件生成式对抗网络模型；
图像素材生成单元404，用于获得用户输入的类别标签和随机噪声，将所述类别标签和所述随机噪声输入所述第三目标条件生成式对抗网络模型，生成与所述类别标签对应的符合预设主题类型的图像素材。
采用本发明所述的第二种图像素材生成方法和装置，能够基于图像主题和图像元素的组合生成符合需要的高质量图像素材，提高了图像素材生成的精确度，可根据用户的需求进行定制，从而提高了用户的使用体验。
与上述提供的图像素材生成方法相对应，本发明还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的电子设备仅是示意性的。如图3所示，其为本发明实施例提供的一种电子设备的示意图。
该电子设备具体包括：处理器301和存储器302；其中，存储器302用于运行一个或多个程序指令，用于存储图像素材生成方法的程序，该服务器通电并通过所述处理器301运行该图像素材生成方法的程序后，执行上述任意一项所述的图像素材生成方法。本发明所述的电子设备可以是指服务器。
与上述提供的一种图像素材生成方法相对应，本发明还提供一种计算机存储介质。由于该计算机存储介质的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的计算机存储介质仅是示意性的。
所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被服务器执行上述所述的图像素材生成方法。
在本发明实施例中，处理器或处理器模块可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific Integrated Circuit，简称ASIC）、现场可编程门阵列（Field Programmable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。
易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data Rate SDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synch link DRAM，简称SLDRAM）和直接内存总线随机存取存储器（Direct Ram bus RAM，简称DRRAM）。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种图像素材生成方法，其特征在于，包括：
获得符合预设主题类型的图像素材；
根据所述符合预设主题类型的图像素材内部的图像元素差异对所述图像素材进行语义分割处理，对每一类图像元素的像素分别设置相应的第一类别标签，获得与所述符合预设主题类型的图像素材对应的元素图像；
将所述元素图像作为训练样本，训练预设的第二目标条件生成式对抗网络模型，获得基于图像元素生成图像素材的第一目标条件生成式对抗网络模型；其中，所述第一目标条件生成式对抗网络模型用于：根据给定的图像元素组合，获得与所述图像元素组合对应的图像素材；
获得用户选择的实际图像元素组合，将所述实际图像元素组合输入到所述第一目标条件生成式对抗网络模型，生成与所述实际图像元素组合对应的目标图像素材。
2.根据权利要求1所述的图像素材生成方法，其特征在于，所述获得符合预设主题类型的图像素材，具体包括：
获得预设的图像数据集；
根据所述图像数据集中的图像数据主题类型，分别设置相应的第二类别标签；
根据所述第二类别标签对预设生成式对抗网络模型的生成器设置约束条件，获得第四目标条件生成式对抗网络模型；
将图像数据集中的图像数据和所述第二类别标签作为所述第四目标条件生成式对抗网络模型的训练样本，训练所述第四目标条件生成式对抗网络模型，获得基于图像类别生成图像素材的第三目标条件生成式对抗网络模型；
获得用户输入的类别标签和随机噪声，将所述类别标签和所述随机噪声输入所述第三目标条件生成式对抗网络模型，生成与所述类别标签对应的符合预设主题类型的图像素材。
3.根据权利要求1所述的图像素材生成方法，其特征在于，所述将所述元素图像作为训练样本，训练预设的第二目标条件生成式对抗网络模型，获得基于图像元素生成图像素材的第一目标条件生成式对抗网络模型，具体包括：
将所述元素图像作为训练样本，输入到所述第二目标条件生成式对抗网络模型，获得图像素材识别结果，将所述图像素材识别结果与预设目标概率值进行比对，根据比对结果调整所述第二目标条件生成式对抗网络模型参数，获得基于图像元素生成图像素材的所述第一目标条件生成式对抗网络模型。
4.根据权利要求2所述的图像素材生成方法，其特征在于，所述根据所述图像数据集中的图像数据主题类型，分别设置相应的第二类别标签，具体包括：
提取所述图像数据集中图像数据的特征信息；
根据所述特征信息将所述图像数据集中的图像数据进行分类，获得对应不同图像数据主题类型的图像数据子集；
分别针对所述图像数据子集设置相应的第二类别标签。
5.根据权利要求3所述的图像素材生成方法，其特征在于，所述图像素材识别结果是指所述第二目标条件生成式对抗网络模型根据所述元素图像生成的识别图像素材为所述符合预设主题类型的图像素材的概率值。
6.一种图像素材生成方法，其特征在于，包括：
获得预设的图像数据集，根据所述图像数据集中的图像数据主题类型，分别设置相应的第二类别标签；
根据所述第二类别标签对预设生成式对抗网络模型的生成器设置约束条件，获得第四目标条件生成式对抗网络模型；
将所述图像数据集中的图像数据和所述第二类别标签作为所述第四目标条件生成式对抗网络模型的训练样本，训练所述第四目标条件生成式对抗网络模型，获得基于图像类别生成图像素材的第三目标条件生成式对抗网络模型；
获得用户输入的类别标签和随机噪声，将所述类别标签和所述随机噪声输入所述第三目标条件生成式对抗网络模型，生成与所述类别标签对应的符合预设主题类型的图像素材。
7.一种图像素材生成装置，其特征在于，包括：
图像素材获得单元，用于获得符合预设主题类型的图像素材；
元素图像获得单元，用于根据所述图像素材内部的图像元素差异对所述图像素材进行语义分割处理，对每一类图像元素的像素分别设置相应的第一类别标签，获得与所述图像素材对应的元素图像；
第一模型训练单元，用于将所述元素图像作为训练样本，训练预设的第二目标条件生成式对抗网络模型，获得基于图像元素生成图像素材的第一目标条件生成式对抗网络模型；其中，所述第一目标条件生成式对抗网络模型用于：根据给定的图像元素组合，获得与所述图像元素组合对应的图像素材；
目标图像素材生成单元，用于获得用户选择的实际图像元素组合，将所述实际图像元素组合输入到所述第一目标条件生成式对抗网络模型，生成与所述实际图像元素组合对应的目标图像素材。
8.一种图像素材生成装置，其特征在于，包括：
类别标签设置单元，用于获得预设的图像数据集，根据所述图像数据集中的图像数据主题类型，分别设置相应的第二类别标签；
模型设置单元，用于根据所述第二类别标签对预设生成式对抗网络模型的生成器设置约束条件，获得第四条件生成式对抗网络模型；
第二模型训练单元，用于将图像数据集中的图像数据和所述第二类别标签作为所述第四条件生成式对抗网络模型的训练样本，训练所述条件生成式对抗网络模型，获得基于图像类别生成图像素材的第三目标条件生成式对抗网络模型；
图像素材生成单元，用于获得用户输入的类别标签和随机噪声，将所述类别标签和所述随机噪声输入所述第三目标条件生成式对抗网络模型，生成与所述类别标签对应的符合预设主题类型的图像素材。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储图像素材生成方法的程序，该电子设备通电并通过所述处理器运行该图像素材生成方法的程序后，执行上述权利要求1-6任意一项所述的图像素材生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被服务器执行如权利要求1-6任一项所述的图像素材生成方法。
CN201911313817.3A 2019-12-19 2019-12-19 图像素材生成方法和装置及电子设备、计算机可读存储介质 Pending CN110738276A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911313817.3A CN110738276A (zh) 2019-12-19 2019-12-19 图像素材生成方法和装置及电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911313817.3A CN110738276A (zh) 2019-12-19 2019-12-19 图像素材生成方法和装置及电子设备、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110738276A true CN110738276A (zh) 2020-01-31

Family

ID=69274611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911313817.3A Pending CN110738276A (zh) 2019-12-19 2019-12-19 图像素材生成方法和装置及电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110738276A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036544A (zh) * 2020-07-31 2020-12-04 五八有限公司 一种图像生成方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN107273978A (zh) * 2017-05-25 2017-10-20 清华大学 一种三模型博弈的产生式对抗网络模型的建立方法及装置
CN108564126A (zh) * 2018-04-19 2018-09-21 郑州大学 一种融合语义控制的特定场景生成方法
CN108665414A (zh) * 2018-05-10 2018-10-16 上海交通大学 自然场景图片生成方法
US10452902B1 (en) * 2018-12-21 2019-10-22 Capital One Services, Llc Patent application image generation systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN107273978A (zh) * 2017-05-25 2017-10-20 清华大学 一种三模型博弈的产生式对抗网络模型的建立方法及装置
CN108564126A (zh) * 2018-04-19 2018-09-21 郑州大学 一种融合语义控制的特定场景生成方法
CN108665414A (zh) * 2018-05-10 2018-10-16 上海交通大学 自然场景图片生成方法
US10452902B1 (en) * 2018-12-21 2019-10-22 Capital One Services, Llc Patent application image generation systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036544A (zh) * 2020-07-31 2020-12-04 五八有限公司 一种图像生成方法及装置

Similar Documents

Publication Publication Date Title
US20230022387A1 (en) Method and apparatus for image segmentation model training and for image segmentation
CN101937513A (zh) 信息处理设备、信息处理方法和程序
US11854116B2 (en) Task-based image masking
EP3620982B1 (en) Sample processing method and device
CN112884147B (zh) 神经网络训练方法、图像处理方法、装置及电子设备
CN115810135A (zh) 样本分析的方法、电子设备、存储介质和程序产品
JP2017059090A (ja) 生成装置、生成方法、及び生成プログラム
US20220358658A1 (en) Semi Supervised Training from Coarse Labels of Image Segmentation
CN111340143A (zh) 一种获取对抗样本生成模型的方法和系统
CN116311279A (zh) 样本图像的生成、模型训练、字符识别方法、设备及介质
CN110598869A (zh) 基于序列模型的分类方法、装置、电子设备
CN116071601A (zh) 训练模型的方法、装置、设备和介质
CN110738276A (zh) 图像素材生成方法和装置及电子设备、计算机可读存储介质
CN108229650B (zh) 卷积处理方法、装置及电子设备
WO2022126917A1 (zh) 基于深度学习的人脸图像评估方法、装置、设备及介质
CN110880018B (zh) 一种卷积神经网络目标分类方法
CN113807407B (zh) 目标检测模型训练方法、模型性能检测方法及装置
KR20200134813A (ko) 기계 학습을 위한 이미지 처리 장치 및 방법
JP6214073B2 (ja) 生成装置、生成方法、及び生成プログラム
CN111767710B (zh) 印尼语的情感分类方法、装置、设备及介质
CN114519416A (zh) 模型蒸馏方法、装置及电子设备
CN114373097A (zh) 一种基于无监督的图像分类方法、终端设备及存储介质
CN113434721A (zh) 表情包分类方法、装置、计算机设备和存储介质
CN115147670A (zh) 一种对象处理方法及装置
CN112948617A (zh) 基于特定类原型的深度哈希网络图像检索方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200131

RJ01 Rejection of invention patent application after publication