CN112365557B - 图片生成方法、模型训练方法、装置和存储介质 - Google Patents

图片生成方法、模型训练方法、装置和存储介质 Download PDF

Info

Publication number
CN112365557B
CN112365557B CN202011268478.4A CN202011268478A CN112365557B CN 112365557 B CN112365557 B CN 112365557B CN 202011268478 A CN202011268478 A CN 202011268478A CN 112365557 B CN112365557 B CN 112365557B
Authority
CN
China
Prior art keywords
picture
generated
generator
target
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011268478.4A
Other languages
English (en)
Other versions
CN112365557A (zh
Inventor
毕文东
易津锋
周伯文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202011268478.4A priority Critical patent/CN112365557B/zh
Publication of CN112365557A publication Critical patent/CN112365557A/zh
Application granted granted Critical
Publication of CN112365557B publication Critical patent/CN112365557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/002Image coding using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/008Vector quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提出一种图片生成方法、模型训练方法、装置和存储介质,涉及图像处理技术领域。本公开的一种图片生成的模型训练方法,包括:将训练数据中的目标条件和随机向量输入机器学习模型,通过机器学习模型生成图片;通过条件解码器判别机器学习模型生成的图片是否满足目标条件,以便机器学习模型在生成的图片被判断为不满足目标条件的情况下调整参数。通过这样的方法,训练完成的装置能够基于约束条件和机器学习模型生成需要的图片,提高图片生成效率;且能够在训练过程中通过条件解码和判别对图片是否满足条件进行判断,保证生成的图片满足需求。

Description

图片生成方法、模型训练方法、装置和存储介质
技术领域
本公开涉及图像处理技术领域,特别是一种图片生成方法、模型训练方法、装置和存储介质。
背景技术
图片是介绍物品最直观的方式,用户可以通过图片来了解物品的外观,以及通过图片上的描述信息了解物品的详情。无论是在广告、实体店铺还是电商平台,都会用精心制作的图片或者海报来帮助顾客了解商品以及激发用户的购买欲。
相关技术中,制作物品的图片海报往往采用的方式为:先由人工对实体物品进行拍摄;然后将得到的物品图片进一步处理,通过修改图片中物品的尺寸、光泽及将图片上嵌入其他信息等方式,使得一张图片海报尽可能包含更多的信息。
发明内容
本公开的一个目的在于保证图片满足需求的同时提高物品图片生成的效率。
根据本公开的一些实施例的一个方面,提出一种图片生成的模型训练方法,包括:将包括目标条件和随机向量的训练数据输入机器学习模型,通过机器学习模型生成图片;通过条件解码器判别机器学习模型生成的图片是否满足目标条件,以便机器学习模型在生成的图片被判断为不满足目标条件的情况下调整参数。
在一些实施例中,目标条件中条件的项数大于1。
在一些实施例中,机器学习模型包括生成对抗网络、变分自编码或矢量量化变分自动编码。
在一些实施例中,通过机器学习模型生成图片包括:通过生成对抗网络的生成器生成图片;通过生成对抗网络的判别器判别生成器生成的图片是否属于目标类型,以便生成器在生成的图片被判断为不属于目标类型的情况下调整参数。
在一些实施例中,机器学习模型中包括多于一个生成对抗网络。每个生成对抗网络中包括一个生成器和一个判别器,不同生成器生成的图片的像素不同。
在一些实施例中,通过生成对抗网络的生成器生成图片,通过生成对抗网络的判别器判别生成器生成的图片是否属于目标类型包括:第一生成器根据输入的目标条件和随机向量生成满足第一像素要求的图片;第一判别器判别第一生成器生成的图片是否属于目标类型;第n生成器接收第n-1生成器生成的图片,生成符合第n像素的图片;第n判别器判别第n生成器生成的图片是否属于目标类型,直至n=N;N和n为大于1的正整数,N为机器学习模型中包括的生成对抗网络的数量;其中,第n像素高于第n-1像素。
在一些实施例中,判别生成器生成的图片是否满足目标条件包括:获取每个生成器生成的图片,提取各个图片满足的条件;判断每个图片满足的条件是否均符合目标条件中的每一项条件,以便图片对应的生成器在生成的图片被判断为不满足目标条件中全部条件的情况下调整参数。
根据本公开的一些实施例的一个方面,提出一种图片生成方法,包括:将目标条件和随机向量输入完成训练的机器学习模块,其中,机器学习模型为通过上文中提到的任意一种图片生成的模型训练方法训练生成;获取机器学习模型生成的图片,作为目标图片。
通过这样的方法,训练完成的装置能够基于约束条件和机器学习模型生成需要的图片,无需对物品进行图片拍摄,提高图片生成效率;且能够通过条件解码和判别对图片是否满足条件进行判断,从而保证生成的图片能够满足全部约束条件,保证生成的图片满足需求。
根据本公开的一些实施例的一个方面,提出一种图片生成训练装置,包括:机器学习运算单元,被配置为根据输入的训练数据中的目标条件和随机向量,通过机器学习模型生成图片;条件解码器,被配置为在训练过程中判别生成器生成的图片是否满足目标条件,以便机器学习运算单元在生成的图片被判断为不满足目标条件的情况下调整参数,直至完成训练。
在一些实施例中,目标条件中条件的项数大于1。
在一些实施例中,机器学习运算单元被配置为运行生成对抗网络模型、变分自编码或矢量量化变分自动编码。
在一些实施例中,机器学习运算单元包括:生成对抗网络的生成器,被配置为根据输入的目标条件和随机向量生成图片;生成对抗网络的判别器,被配置为在训练过程中判别生成器生成的图片是否属于目标类型,以便生成器在生成的图片被判断为不属于目标类型的情况下调整参数,直至完成训练。
在一些实施例中,机器学习运算单元中包括多于一个的生成对抗网络,不同生成对抗网络的生成器生成的图片的像素不同。
在一些实施例中,机器学习运算单元包括:第一生成对抗网络,包括:第一生成器,被配置为根据输入的目标条件和随机向量生成满足第一像素要求的图片;和第一判别器,被配置为在训练过程中判别第一生成器生成的图片是否属于目标类型,直至完成训练;第n生成对抗网络,包括:第n生成器,被配置为接收第n-1生成器生成的图片,生成符合第n像素的图片;和第n判别器,被配置为在训练过程中判别第n生成器生成的图片是否属于目标类型,直至n=N;N和n为大于1的正整数,N为机器学习运算单元中包括的生成对抗网络的数量;其中,第n像素高于第n-1像素。
在一些实施例中,条件解码器被配置为:接收每个生成器生成的图片,提取各个图片满足的条件;判断每个图片满足的条件是否均符合目标条件中的每一项条件,以便图片对应的生成器在生成的图片被判断为不满足目标条件中全部条件的情况下调整参数。
在一些实施例中,机器学习运算单元还被配置为在完成训练后,根据输入的目标条件和随机向量生成目标图片。
根据本公开的一些实施例的一个方面,提出一种图片生成装置,包括:存储器;以及耦接至存储器的处理器,处理器被配置为基于存储在存储器的指令执行上文中任意一种图片生成的模型训练方法和图片生成方法。
这样的装置能够基于约束条件和机器学习模型生成需要的图片,无需对物品进行图片拍摄,提高图片生成效率;且能够通过条件解码器对图片是否满足条件进行判断,从而保证生成的图片能够满足全部约束条件,保证生成的图片满足需求。
根据本公开的一些实施例的一个方面,提出一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现上文中任意一种图片生成的模型训练方法和图片生成方法的步骤。
通过执行这样的存储介质上的指令,能够基于约束条件和机器学习模型生成需要的图片,无需对物品进行图片拍摄,提高图片生成效率;且能够通过条件解码器对图片是否满足条件进行判断,从而保证生成的图片能够满足全部约束条件,保证生成的图片满足需求。
附图说明
此处所说明的附图用来提供对本公开的进一步理解,构成本公开的一部分,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。在附图中:
图1为本公开的图片生成的模型训练方法的一些实施例的示意图。
图2A为本公开的图片生成的模型训练方法的另一些实施例的示意图。
图2B为本公开的图片生成的模型训练方法中多个生成对抗网络的运行流程图。
图3为本公开的图片生成方法的一些实施例的流程图。
图4为本公开的图片生成训练装置的一些实施例的示意图。
图5为本公开的图片生成训练装置的另一些实施例的示意图。
图6为本公开的图片生成装置的一些实施例的示意图。
图7为本公开的图片生成装置的另一些实施例的示意图。
具体实施方式
下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
发明人发现,相关技术中的图片生成方法不仅费时费力,更重要的是需要先拥有实体物品后再对其进行拍摄,但是每当设计出一件新的产品,这件产品还没来得及生产的时候,就没有办法拍摄这一物品的图片,更没有办法得到这件物品的海报。另外,人工设计图片往往不可避免地带有主观色彩,设计出的图片风格可能并不是多数用户喜欢的,而图片往往是用户对一件商品的第一印象,这就可能产生负面影响。
相关技术中包括一些利用计算机视觉技术生成某种图片的技术生成图片的方法,例如:输入物品的图片以及对应的物品属性,该系统就会输出几种不同的物品海报,即在物品的图片上加入各种广告或文字,以突出更多图片中的信息。但是这样的方式同样需要先具备物品的照片,难以在具备物品照片之前执行图片海报生成的操作。
本公开的图片生成的模型训练方法的一些实施例的示意图在如图1所示。在图片生成装置的训练过程中:
在步骤101中,将包括目标条件和随机向量的训练数据输入机器学习模型,通过机器学习模型生成图片。在一些实施例中,机器学习模型包括生成对抗网络、变分自编码或矢量量化变分自动编码。
在步骤102中,判别机器学习模型生成的图片是否满足目标条件,以便机器学习模型在生成的图片被判断为不满足目标条件的情况下调整参数。在一些实施例中,可以先提取生成的图片的特征,确定生成的图片满足的条件,然后匹配满足的条件是否包括了全部目标条件。若包括了全部目标条件,则生成的图片符合要求;若未包括全部目标条件,则需要对生成器参数进行调整。
通过这样的方法,训练完成的装置能够基于约束条件和机器学习模型生成需要的图片,无需对物品进行图片拍摄,提高图片生成效率;且能够通过条件解码和判别对图片是否满足条件进行判断,从而保证生成的图片能够满足全部约束条件,保证生成的图片满足需求。
在一些实施例中,目标条件中条件的项数大于1,即生成的图片需要符合多个条件、属性。由于能够通过条件解码提取生成的图片的特征,以及判断生成的图片是否满足全部条件,进而对机器学习模型进行反馈调节,从而使训练完成的机器学习模型具备生成同时满足多个条件的图片的能力,提高生成图片的灵活度。
本公开的图片生成的模型训练方法的一些实施例的示意图在如图2A所示,机器学习模型具体为生成对抗网络,则在生成对抗网络的训练过程中:
在步骤201中,根据输入的训练数据中的目标条件和随机向量,通过生成器生成图片。在一些实施例中,目标条件中条件的项数大于1。
在步骤202中,通过判别器判别生成器生成的图片是否属于目标类型,以便生成器在生成的图片被判断为不属于目标类型的情况下调整参数。目标条件即为目标类型的图片需要满足的条件。在一些实施例中,可以先确定要生成的图片的目标类型,提取和归纳目标类型图片所具备的多条特征,确定目标条件。在一些实施例中,判别器以输入的样本真图片(确定的属于目标类型的图片)为参考,对生成器生成的图片进行判断,输出结果。生成对抗网络的生成器和判别器在训练过程中互相博弈,调整参数。
在步骤203中,判别生成器生成的图片是否满足目标条件,以便生成器在生成的图片被判断为不满足目标条件的情况下调整参数。在一些实施例中,在完成训练之后,将目标条件和随机向量输入完成训练的生成对抗网络的生成器,获取目标图片。
相关技术中存在利用VAE(Variational Auto-Encoder,变分自编码器)技术,或CGAN(Conditional Generative Adversarial Network,条件生成对抗网络)生成图片的技术,但往往生成的图片不能满足特定需求,或只能尽力满足一项特定需求,当改变某一个输入条件,生成的商品图片中会有多个条件发生改变,无法同时满足多个条件,从而难以满足用户的非单一需求。
通过上文实施例中的方法,训练完成的装置能够基于约束条件和生成对抗网络生成需要的图片,无需对物品进行图片拍摄,提高图片生成效率;且在训练过程中能够在判别器之外,通过额外的条件解码器对图片是否满足条件进行判断,保证在输入的条件比较复杂或者有多个条件组合在一起的时候,机器学习模型仍然能掌握条件信息,并生成同时满足多个条件的图片,保证生成的图片满足需求,提高了图片生成的成功率。
在一些实施例中,可以预先收集训练样本,进行几组训练,工作人员通过生成对抗网络中的判别器和条件解码器的输出结果判断生成器生成的图片是否能够满足需求。在一些实施例中,可以基于训练样本数量确定训练是否结束,如训练样本使用完即结束;也可以通过审核生成器生成的图片是否满足需求来判断是否完成训练,如当判别器判断结果为真的概率超过第一预定概率,且条件解码器判别生成的图片符合全部目标条件的概率超过第二预定概率,则完成训练。通过这样的方法,能够灵活确定训练的结束条件,提高可控性。
在一些实施例中,机器学习模型中可以包括多个生成对抗网络,每个生成对抗网络中包括一个生成器和一个判别器。不同生成器生成的图片的像素不同,由生成器和判别器构成的组合分层次的生成图片,首先生成低像素的图片,进而通过后续的组合提高像素,从而能够提升生成图片的质量。
本公开的图片生成的模型训练方法中多个生成对抗网络的运行流程图在如图2B所示。
在步骤211中,第一生成器根据输入的目标条件和随机向量生成满足第一像素(例如64*64)要求的图片,第一判别器基于符合第一像素的样本真图片判别第一生成器生成的图片是否属于目标类型。设定n=2。
在步骤212中,第n生成器接收第n-1生成器生成的图片,生成符合第n像素的图片;第n判别器判别第n生成器生成的图片是否属于目标类型,其中,第n像素高于第n-1像素。例如,第二生成器接收第一生成器生成的图片,生成符合第二像素(例如128*128)要求的图片,第二判别器基于符合第二像素的样本真图片判别第二生成器生成的图片是否属于目标类型;第三生成器接收第二生成器生成的图片,生成符合第三像素(例如256*256)要求的图片,第三判别器基于符合第三像素的样本真图片判别第三生成器生成的图片是否属于目标类型。
在步骤213中,判断n是否等于N,N和n为大于1的正整数,N为机器学习模型中包括的生成对抗网络的数量,例如,则N=3。
在步骤214中,将n修改为n+1。
在步骤215中,将每个生成器生成的图片发送给条件解码器。
在一些实施例中,条件解码器接收每个生成器生成的图片,提取各个图片满足的条件,进而判断每个图片满足的条件是否均符合目标条件中的每一项条件,以便图片对应的生成器在生成的图片被判断为不满足目标条件中全部条件的情况下调整参数。在一些实施例中,可以包括多个条件解码器,分别用于接收一个生成器生成的图片并判断是否满足目标条件中的全部条目。在一些实施例中,用于处理不同生成器生成的图片的条件解码器和判别器(如第n-1判别器和对应的条件解码器,与第n-1判别器与对应的条件解码器)之间,可以共享一部分模型参数,从而提高模型的训练速度和生成图片的质量。
通过这样的方法,能够分阶段生成图片,图片的像素逐渐提升,从而提升生成的图片的质量。在一些实施例中,可以根据效率要求和精度要求设置或调节由生成器和判别器构成的组合的数量,便于在图片质量和运算量之间达到平衡;另外,这样的方式能够提高供条件解码器提取条件的图片数量,提高条件解码器提取图片满足的条件的准确度,进一步提高图片的质量。
本公开的图片生成方法的一些实施例的流程图如图3所示。
在步骤301中,将目标条件和随机向量输入完成训练的机器学习模块。机器学习模型为通过上文中提到的任意一种图片生成的模型训练方法训练生成。
在步骤302中,获取机器学习模型生成的图片,作为目标图片。在一些实施例中,若机器学习模型为生成对抗网络,则获取其生成器生成的图片作为目标图片。
通过这样的方法,机器学习模型能够具备同时满足多个约束条件的能力,提高生成的图片对需求的满足程度,基于约束条件和机器学习模型生成需要的图片,无需对物品进行图片拍摄,提高图片生成效率和效果。
本公开的图片生成训练装置的一些实施例的示意图在如图4所示。
机器学习运算单元41能够根据输入的训练数据中的目标条件和随机向量,通过机器学习模型生成图片。在一些实施例中,目标条件中条件的项数大于1。在一些实施例中,机器学习运算单元能够运行生成对抗网络模型、变分自编码或矢量量化变分自动编码。
条件解码器42能够判别生成器生成的图片是否满足目标条件,以便生成器在生成的图片被判断为不满足目标条件的情况下调整参数。在一些实施例中,可以先提取生成的图片的特征,确定生成的图片满足的条件,然后匹配满足的条件是否包括了全部目标条件。若包括了全部目标条件,则生成的图片符合要求;若未包括全部目标条件,则需要对生成器参数进行调整。
这样的图片生成装置能够在训练完成后基于约束条件和生成对抗网络生成需要的图片,无需对物品进行图片拍摄,提高图片生成效率;且在训练过程中能够在判别器之外,通过额外的条件解码器对图片是否满足条件进行判断,保证在输入的条件比较复杂或者有多个条件组合在一起的时候,机器学习模型仍然能掌握条件信息,并生成同时满足多个条件的图片,保证生成的图片满足需求,提高了图片生成的成功率。
在一些实施例中,机器学习运算单元41包括生成对抗网络,机器学习运算单元41包括生成对抗网络的生成器和判别器。
生成器能够根据输入的训练数据中的目标条件和随机向量,通过生成器生成图片。在一些实施例中,目标条件中条件的项数大于1。在完成训练之后,将目标条件和随机向量输入完成训练的生成器,生成器411的输出结果即为目标图片。
判别器能够在训练过程中判别生成器生成的图片是否属于目标类型,以便生成器在生成的图片被判断为不属于目标类型的情况下调整参数。在一些实施例中,目标类型指符合全部目标条件的图片类型。在一些实施例中,判别器以输入的确定属于目标类型的图片样本(下文中称为样本真图片)为基准对生成器生成的图片进行判断,输出结果。生成器和判别器在训练过程中互相博弈,调整参数。
这样的图片生成训练装置能够基于生成对抗网络训练生成满足要求的图片,且生成器能够根据条件解码器的判别结果调整参数,进一步提高生成图片的准确性和可靠性。
本公开的图片生成训练装置的另一些实施例的示意图在如图5所示,机器学习运算单元中包括生成对抗网络的数量大于1,包括第一生成对抗网络(511,512)、第二生成对抗网络(521,522))……第N生成对抗网络(5N1,5N2)。
第一生成器511能够根据输入的目标条件和随机向量生成满足第一像素(例如64*64)要求的图片,第一判别器512能够基于符合第一像素的样本真图片判别第一生成器生成的图片是否属于目标类型。
第一生成器和第一判别器在训练过程中互相博弈,调整参数。
第二生成器521能够接收第一生成器生成的图片,生成符合第二像素(例如128*128)要求的图片,第二判别器522能够基于符合第二像素的样本真图片判别第二生成器生成的图片是否属于目标类型。
第二生成器和第二判别器在训练过程中互相博弈,调整参数。
第N生成器5N1能够接收第N-1生成器生成的图片,生成符合第N像素(例如256*256)要求的图片,第N判别器5N2能够基于符合第N像素的样本真图片判别第N生成器生成的图片是否属于目标类型。第N生成器和第N判别器在训练过程中互相博弈,调整参数。
在一些实施例中,每个生成器生成的图片均发送给条件解码器500。条件解码器500接收每个生成器生成的图片,提取各个图片满足的条件,进而判断每个图片满足的条件是否均符合目标条件中的每一项条件,以便图片对应的生成器在生成的图片被判断为不满足目标条件中全部条件的情况下调整参数。
这样的装置能够分阶段生成图片,图片的像素逐渐提升,从而提升生成的图片的质量。在一些实施例中,可以根据效率要求和精度要求设置或调节由生成器和判别器构成的组合的数量,便于在图片质量和运算量之间达到平衡;另外,这样的装置能够提高供条件解码器提取条件的图片数量,提高条件解码器提取图片满足的条件的准确度,进一步提高图片的质量。
使用这样的图片生成装置,以京东商城冰箱和洗衣机数据集为例,经过实验验证,生成图片的成功率在90%以上,且具有较高的质量,接近真实的家电图片,完全可以用来进一步制作商品详情页展示用的海报,从而在保证甚至提高海报质量的同时,降低了海报制作的成本,提高了制作效率。
本公开图片生成装置的一个实施例的结构示意图如图6所示。图片生成装置包括存储器601和处理器602。其中:存储器601可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储上文中图片生成方法的对应实施例中的指令。处理器602耦接至存储器601,可以作为一个或多个集成电路来实施,例如微处理器或微控制器。该处理器602用于执行存储器中存储的指令,能够提高图片生成效率且保证生成的图片满足需求。
在一个实施例中,还可以如图7所示,图片生成装置700包括存储器701和处理器702。处理器702通过BUS总线703耦合至存储器701。该图片生成装置700还可以通过存储接口704连接至外部存储装置705以便调用外部数据,还可以通过网络接口706连接至网络或者另外一台计算机系统(未标出)。此处不再进行详细介绍。
在该实施例中,通过存储器存储数据指令,再通过处理器处理上述指令,能够提高图片生成效率且保证生成的图片满足需求。
在另一个实施例中,一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现图片生成方法对应实施例中的方法的步骤。本领域内的技术人员应明白,本公开的实施例可提供为方法、装置、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
至此,已经详细描述了本公开。为了避免遮蔽本公开的构思,没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述,完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法以及装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
最后应当说明的是:以上实施例仅用以说明本公开的技术方案而非对其限制;尽管参照较佳实施例对本公开进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本公开的具体实施方式进行修改或者对部分技术特征进行等同替换;而不脱离本公开技术方案的精神,其均应涵盖在本公开请求保护的技术方案范围当中。

Claims (16)

1.一种图片生成的模型训练方法,包括:
将包括目标条件和随机向量的训练数据输入机器学习模型,通过所述机器学习模型生成图片,包括:通过生成对抗网络的生成器生成图片;通过生成对抗网络的判别器判别所述生成器生成的图片是否属于目标类型,以便所述生成器在生成的图片被判断为不属于目标类型的情况下调整参数;
通过条件解码器判别所述机器学习模型生成的图片是否满足所述目标条件,以便所述机器学习模型在生成的图片被判断为不满足所述目标条件的情况下调整参数。
2.根据权利要求1所述的方法,其中,所述目标条件中条件的项数大于1。
3.根据权利要求1所述的方法,其中,所述机器学习模型包括生成对抗网络、变分自编码或矢量量化变分自动编码。
4.根据权利要求1所述的方法,其中,所述机器学习模型中生成对抗网络的数量大于1,每个生成对抗网络中包括1个生成器和1个判别器,不同生成器生成的图片的像素不同。
5.根据权利要求4所述的方法,其中,所述通过生成对抗网络的生成器生成图片,通过生成对抗网络的判别器判别所述生成器生成的图片是否属于目标类型包括:
第一生成器根据输入的目标条件和随机向量生成满足第一像素要求的图片;
第一判别器判别所述第一生成器生成的图片是否属于目标类型;
第n生成器接收第n-1生成器生成的图片,生成符合第n像素的图片;
第n判别器判别所述第n生成器生成的图片是否属于目标类型,直至n=N;N和n为大于1的正整数,N为机器学习模型中包括的生成对抗网络的数量;
其中,第n像素高于第n-1像素。
6.根据权利要求4或5所述的方法,其中,所述判别所述生成器生成的图片是否满足所述目标条件包括:
获取每个生成器生成的图片,提取各个图片满足的条件;
判断每个图片满足的条件是否均符合所述目标条件中的每一项条件,以便图片对应的生成器在生成的图片被判断为不满足所述目标条件中全部条件的情况下调整参数。
7.一种图片生成方法,包括:将目标条件和随机向量输入完成训练的机器学习模型,其中,所述机器学习模型为通过权利要求1~6任意一项所述的图片生成的模型训练方法训练生成;
获取所述机器学习模型生成的图片,作为目标图片。
8.一种图片生成训练装置,包括:
机器学习运算单元,被配置为根据输入的训练数据中的目标条件和随机向量,通过机器学习模型生成图片,包括:生成对抗网络的生成器,被配置为根据输入的目标条件和随机向量生成图片;生成对抗网络的判别器,被配置为在训练过程中判别所述生成器生成的图片是否属于目标类型,以便所述生成器在生成的图片被判断为不属于目标类型的情况下调整参数,直至完成训练;
条件解码器,被配置为在训练过程中判别所述生成器生成的图片是否满足所述目标条件,以便所述机器学习运算单元在生成的图片被判断为不满足所述目标条件的情况下调整参数,直至完成训练。
9.根据权利要求8所述的装置,其中,所述目标条件中条件的项数大于1。
10.根据权利要求8所述的装置,其中,所述机器学习运算单元被配置为运行生成对抗网络模型、变分自编码或矢量量化变分自动编码。
11.根据权利要求8所述的装置,其中,所述机器学习运算单元中包括多于一个的生成对抗网络,不同生成对抗网络的生成器生成的图片的像素不同。
12.根据权利要求11所述的装置,其中,
所述机器学习运算单元包括:
第一生成对抗网络,包括:第一生成器,被配置为根据输入的目标条件和随机向量生成满足第一像素要求的图片;和第一判别器,被配置为在训练过程中判别所述第一生成器生成的图片是否属于目标类型,直至完成训练;
第n生成对抗网络,包括:第n生成器,被配置为接收第n-1生成器生成的图片,生成符合第n像素的图片;和第n判别器,被配置为在训练过程中判别所述第n生成器生成的图片是否属于目标类型,直至n=N;N和n为大于1的正整数,N为机器学习运算单元中包括的由生成器和判别器构成的组合的数量;
其中,第n像素高于第n-1像素。
13.根据权利要求11或12所述的装置,其中,
所述条件解码器被配置为:
接收每个生成器生成的图片,提取各个图片满足的条件;
判断每个图片满足的条件是否均符合所述目标条件中的每一项条件,以便图片对应的生成器在生成的图片被判断为不满足所述目标条件中全部条件的情况下调整参数。
14.根据权利要求8所述的装置,其中,所述机器学习运算单元还被配置为在完成训练后,根据输入的目标条件和随机向量生成目标图片。
15.一种图片生成装置,包括:
存储器;以及
耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至7任一项所述的方法。
16.一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现权利要求1至7任意一项所述的方法的步骤。
CN202011268478.4A 2020-11-13 2020-11-13 图片生成方法、模型训练方法、装置和存储介质 Active CN112365557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011268478.4A CN112365557B (zh) 2020-11-13 2020-11-13 图片生成方法、模型训练方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011268478.4A CN112365557B (zh) 2020-11-13 2020-11-13 图片生成方法、模型训练方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN112365557A CN112365557A (zh) 2021-02-12
CN112365557B true CN112365557B (zh) 2024-04-09

Family

ID=74515550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011268478.4A Active CN112365557B (zh) 2020-11-13 2020-11-13 图片生成方法、模型训练方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN112365557B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872276A (zh) * 2019-01-29 2019-06-11 北京字节跳动网络技术有限公司 用于生成图像超分辨率模型的方法和装置
CN110070587A (zh) * 2019-03-05 2019-07-30 浙江工商大学 一种基于条件级联对抗生成网络的行人图像生成方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN111582348A (zh) * 2020-04-29 2020-08-25 武汉轻工大学 条件生成式对抗网络的训练方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872276A (zh) * 2019-01-29 2019-06-11 北京字节跳动网络技术有限公司 用于生成图像超分辨率模型的方法和装置
CN110070587A (zh) * 2019-03-05 2019-07-30 浙江工商大学 一种基于条件级联对抗生成网络的行人图像生成方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN111582348A (zh) * 2020-04-29 2020-08-25 武汉轻工大学 条件生成式对抗网络的训练方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Han Zhang.StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks.《arXiv》.2017,参见第3节、图2. *

Also Published As

Publication number Publication date
CN112365557A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN109145784B (zh) 用于处理视频的方法和装置
US20210191690A1 (en) Virtual Reality Device Control Method And Apparatus, And Virtual Reality Device And System
CN108322788A (zh) 一种视频直播中的广告展示方法及装置
EP3779891A1 (en) Method and device for training neural network model, and method and device for generating time-lapse photography video
CN107423306B (zh) 一种图像检索方法及装置
CN109195025B (zh) 一种游戏广告制作方法及平台、存储介质
CN109902547A (zh) 动作识别方法和装置
CN114222076B (zh) 一种换脸视频生成方法、装置、设备以及存储介质
CN109636867B (zh) 图像处理方法、装置及电子设备
CN114677402A (zh) 海报文本布局、海报生成方法及相关装置
CN112365557B (zh) 图片生成方法、模型训练方法、装置和存储介质
CN113313065A (zh) 一种视频处理方法、装置、电子设备和可读存储介质
CN113297416A (zh) 视频数据存储方法、装置、电子设备和可读存储介质
CN109847360B (zh) 游戏道具的3d效果处理方法、装置、电子设备及介质
CN111383289A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN117014693A (zh) 视频处理方法、装置、设备以及存储介质
CN113095884B (zh) 一种基于用户反馈的电视会员用户推荐方法及系统
Tran et al. Predicting Media Memorability Using Deep Features with Attention and Recurrent Network.
CN115393177A (zh) 脸部图像处理方法及电子设备
CN115379290A (zh) 视频处理方法、装置、设备及存储介质
CN110996158B (zh) 一种虚拟物品的显示方法、装置、计算机设备和存储介质
CN111784787B (zh) 图像生成方法和装置
CN109729413B (zh) 一种发送弹幕的方法及终端
CN109325432B (zh) 一种三维对象的识别方法、设备及计算机可读储存介质
CN113762382B (zh) 模型的训练及场景识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant