CN110796594A - 一种图像生成方法、装置及设备 - Google Patents

一种图像生成方法、装置及设备 Download PDF

Info

Publication number
CN110796594A
CN110796594A CN201911033546.6A CN201911033546A CN110796594A CN 110796594 A CN110796594 A CN 110796594A CN 201911033546 A CN201911033546 A CN 201911033546A CN 110796594 A CN110796594 A CN 110796594A
Authority
CN
China
Prior art keywords
training
current
preset
image generation
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911033546.6A
Other languages
English (en)
Other versions
CN110796594B (zh
Inventor
杨震环
沈力
黄浩智
凌永根
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911033546.6A priority Critical patent/CN110796594B/zh
Publication of CN110796594A publication Critical patent/CN110796594A/zh
Application granted granted Critical
Publication of CN110796594B publication Critical patent/CN110796594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种图像生成方法、装置及设备；该方法包括：获取训练样本，并确定当前预设训练阶段；当前预设训练阶段为至少两个预设训练阶段中的任一预设训练阶段；确定当前预设训练阶段的待训练模型，得到当前待训练图像生成模型；设置当前预设训练阶段中至少两个预设部位分别对应的权重值，得到当前权重张量；利用训练样本和当前权重张量，持续对当前待训练图像生成模型进行训练，直到满足当前预设训练条件为止，得到当前目标图像生成模型；将当前目标图像生成模型作为下一预设训练阶段的待训练模型进行阶段训练，直到完成至少两个预设训练阶段的训练为止，得到目标图像生成模型。通过本发明实施例，能够提升图像生成效果。

Description

一种图像生成方法、装置及设备
技术领域
本发明涉及人工智能领域中的图像处理技术，尤其涉及一种图像生成方法、装置及设备。
背景技术
图像生成指对待生成图像进行补全或变换风格等处理，以得到目标图像的过程；比如，将一个人脸中缺失五官的待生成图像进行五官补全得到具有完整五官的目标图像的过程，又比如，将一个素描风格的待生成图像变换为真实风格的目标图像的过程。通过图像生成，提升了图像处理的多样性。
一般来说，进行图像生成时，通常利用训练好的图像生成模型对待生成图像进行图像生成，得到目标图像。然而，上述图像生成的过程中，由于图像生成模型在训练过程中，为了提升目标图像中一个特定部位的生成效果，通常对特定部位进行针对性训练，如此，导致目标图像中其他特定部位的生成效果降低；因此，图像生成效果差。
发明内容
本发明实施例提供一种图像生成方法、装置及设备，能够提升图像生成效果。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种图像生成方法，包括：
获取训练样本，并确定当前预设训练阶段；所述训练样本用于训练对待生成图像进行图像生成的模型，所述当前预设训练阶段为至少两个预设训练阶段中的任一预设训练阶段；
确定所述当前预设训练阶段的待训练模型，得到当前待训练图像生成模型；
设置所述当前预设训练阶段中至少两个预设部位分别对应的权重值，得到当前权重张量；
利用所述训练样本和所述当前权重张量，持续对所述当前待训练图像生成模型进行训练，直到满足当前预设训练条件为止，得到当前目标图像生成模型；
将所述当前目标图像生成模型作为下一预设训练阶段的待训练模型进行阶段训练，直到完成所述至少两个预设训练阶段的训练为止，得到目标图像生成模型；所述目标图像生成模型用于对所述待生成图像进行图像生成。
本发明实施例提供一种图像生成装置，包括：
阶段确定模块，用于获取训练样本，并确定当前预设训练阶段；所述训练样本用于训练对待生成图像进行图像生成的模型，所述当前预设训练阶段为至少两个预设训练阶段中的任一预设训练阶段；
模型确定模块，用于确定所述当前预设训练阶段的待训练模型，得到当前待训练图像生成模型；
权重设置模块，用于设置所述当前预设训练阶段中至少两个预设部位分别对应的权重值，得到当前权重张量；
模型训练模块，用于利用所述训练样本和所述当前权重张量，持续对所述当前待训练图像生成模型进行训练，直到满足当前预设训练条件为止，得到当前目标图像生成模型；
所述模型训练模块，还用于将所述当前目标图像生成模型作为下一预设训练阶段的待训练模型进行阶段训练，直到完成所述至少两个预设训练阶段的训练为止，得到目标图像生成模型；所述目标图像生成模型用于对所述待生成图像进行图像生成。
本发明实施例提供一种图像生成设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的图像生成方法。
本发明实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的图像生成方法。
本发明实施例具有以下有益效果：由于用于对待生成图像进行图像生成的目标图像生成模型，是通过至少两个预设训练阶段的训练得到的；并且，每个预设训练阶段中至少两个预设部位分别对应的权重值构成的权重张量不同，以及下一个预设训练阶段是以当前预设训练阶段的训练结果作为待训练模型进行的训练；因此，目标图像生成模型的训练过程中实现了对多个部位的针对性训练，从而利用目标图像生成模型对待生成图像进行图像生成时，能够保证生成的图像的质量，也就提升了图像生成效果。
附图说明
图1是本发明实施例提供的图像生成系统100的一个可选的架构示意图；
图2是本发明实施例提供的服务器200的结构示意图；
图3是本发明实施例提供的图像生成方法的一个可选的流程示意图；
图4是本发明实施例提供的图像生成方法的又一个可选的流程示意图；
图5是本发明实施例提供的图像生成方法的另一个可选的流程示意图；
图6是本发明实施例提供的图像生成方法的再一个可选的流程示意图；
图7是本发明实施例提供的一种示例性的至少两个预设训练阶段的训练示意图；
图8是本发明实施例提供的一种示例性的图像生成流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本发明实施例所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明实施例中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)人工智能(Artificial Intelligence，AI)，是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
2)人工神经网络，是一种模仿生物神经网络结构和功能的数学模型，本文中人工神经网络的示例性结构包括前馈(BP，Back Propagation)神经网络和循环神经网络(RNN，Recurrent Neural Networks)，前者采用可以误差反向传播算法进行训练，人工神经网络用于函数估计或近似，包括输入层、中间层和输出层，每个层由大量处理单元相互联结构成，每个节点使用激励函数对输入的数据进行处理并输出给其他节点，激励函数的示例性的类型包括阈值型、线性型和S生长曲线(Sigmoid)型等。
3)损失函数，又称代价函数，是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。
4)图像补全(Image Inpainting)，指根据图像自身或图像库信息来补全待修复图像的缺失区域，使得修复后的图像看起来非常自然，难以和未受损的图像区分开。
随着人工智能技术的研究和进步，人工智能技术在多个领域展开了研究和应用；例如，常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗和智能客服等；随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值；比如，还可以将人工智能应用在图像处理领域。
这里，需要说明的是，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
另外，人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
一般来说，针对图像生成模型的训练，通常只注重提高一个特定部位的生成效果，通过将该特定部位的训练差异的权重值提高，以提升该特定部位的损失函数值，进而保证了生成图像的该特定部位的生成效果。也就是说，上述模型训练过程中，是通过对一个特定部位进行单一的一次性加权实现的，而对一个特定部位进行单一的一次性加权，导致目标图像中除特定部位之外的其他特定部位不清晰或出现偏差等生成效果降低的情况，进而导致整个生成图像的质量下降；因此，图像生成效果差。
基于此，本发明实施例提供一种图像生成方法、装置及设备，能够提升图像生成效果；下面说明本发明实施例提供的图像生成设备的示例性应用，本发明实施例提供的图像生成设备可以实施为智能手机、平板电脑、笔记本电脑等各种类型的用户终端，也可以实施为服务器。下面，将说明图像生成设备实施为服务器时的示例性应用。
参见图1，图1是本发明实施例提供的图像生成系统100的一个可选的架构示意图，为实现支撑一个图像生成应用，终端400通过网络300连接服务器200(图像生成设备)，网络300可以是广域网或者局域网，又或者是二者的组合。另外，图像生成系统100中还包括数据库500，用于存储训练样本和训练好的目标图像生成模型。
终端400，用于通过网络300向服务器200发送待生成图像，并通过网络300接收服务器200发送的生成图像，以及通过图形界面410显示。
服务器200，用于从数据库500中获取训练样本，以根据训练样本训练目标图像生成模型，并将目标图像生成模型存储至数据库500中；还用于通过网络300接收终端400发送的待生成图像，并从数据库500中获得目标图像生成模型对待生成图像进行图像生成，得到生成图像，以及将生成图像通过网络300发送至终端400。
参见图2，图2是本发明实施例提供的服务器200的结构示意图，图2所示的终端200包括：至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。服务器200中的各个组件通过总线系统240耦合在一起。可理解，总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本发明实施例描述的存储器250旨在包括任意适合类型的存储器。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
在一些实施例中，存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块252，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证(Wi-Fi)、和通用串行总线(USB，Universal Serial Bus)等；
显示模块253，用于经由一个或多个与用户接口230相关联的输出装置231(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块254，用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本发明实施例提供的图像生成装置可以采用软件方式实现，图2示出了存储在存储器250中的图像生成装置255，其可以是程序和插件等形式的软件，包括以下软件模块：阶段确定模块2551、模型确定模块2552、权重设置模块2553、模型训练模块2554、部位确定模块2555、模型优化模块2556和模型应用模块2557，将在下文中说明各个模块的功能。
在另一些实施例中，本发明实施例提供的图像生成装置可以采用硬件方式实现，作为示例，本发明实施例提供的图像生成装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图像生成方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
下面，将结合本发明实施例提供的图像生成设备实施为服务器时的示例性应用，说明本发明实施例提供的图像生成方法。
参见图3，图3是本发明实施例提供的图像生成方法的一个可选的流程示意图，将结合图3示出的步骤进行说明。
S101、获取训练样本，并确定当前预设训练阶段；训练样本用于训练对待生成图像进行图像生成的模型，当前预设训练阶段为至少两个预设训练阶段中的任一预设训练阶段。
在本发明实施例中，当图像生成设备确定要训练用于对待生成图像进行图像生成的模型时，首先需确定训练该用于对待生成图像进行图像生成的模型的样本；当图像生成设备确定了训练该用于对待生成图像进行图像生成的模型的样本时，也就获得了训练样本。
接下来，当图像生成设备获得了训练样本之后，就开始利用训练样本进行模型的训练了。这里，由于模型的训练过程包含至少两个预设训练阶段，因此，这里，需先从至少两个预设训练阶段确定当前的训练阶段，即当前预设训练阶段。
需要说明的是，训练样本用于训练对待生成图像进行图像生成的模型。当前预设训练阶段为至少两个预设训练阶段中的任一预设训练阶段；也就是说，当前预设训练阶段可以为至少两个预设训练阶段中的初始预设训练阶段，还可以是至少两个预设训练阶段中的最后预设训练阶段，又可以是至少两个预设训练阶段中中间的预设训练阶段，本发明实施例对此不作具体限定。
S102、确定当前预设训练阶段的待训练模型，得到当前待训练图像生成模型。
在本发明实施例中，当图像生成设备获得了训练样本并确定了当前预设训练阶段之后，还需要确定当前预设训练阶段的训练对象，即当前预设训练阶段的待训练模型；而当确定了当前预设训练阶段的待训练模型，也就得到了当前待训练图像生成模型；也就是说，当前待训练图像生成模型指当前预设训练阶段的训练对象或待训练模型。
需要说明的是，如果当前预设训练阶段为至少两个预设训练阶段中的初始预设训练阶段，则当前待训练图像生成模型为初始搭建的模型；如果当前预设训练阶段为至少两个预设训练阶段中，除初始预设训练阶段外的任一预设训练阶段，则当前待训练图像生成模型，为当前预设训练阶段的前一预设训练阶段所得到的模型训练结果。另外，该当前待训练图像生成模型的模型结构可以是卷积神经网络模型或神经网络对抗模型等网络模型，本发明实施例对此不作具体限定。
S103、设置当前预设训练阶段中至少两个预设部位分别对应的权重值，得到当前权重张量。
需要说明的是，至少两个预设训练阶段中的每个预设训练阶段都是针对一个特定部位进行训练的，一个特定部位指至少两个预设部位中的一个预设部位；这里，至少两个预设训练阶段的数量小于等于至少两个预设部位的数量。
在本发明实施例中，在不同的预设训练阶段，针对至少两个预设部位中的每个预设部位，设置的权重值可能不同；所以，当前权重张量为当前预设训练阶段中，图像生成设备针对至少预设部位中的每个预设部位所设置的权重值构成的组合。
S104、利用训练样本和当前权重张量，持续对当前待训练图像生成模型进行训练，直到满足当前预设训练条件为止，得到当前目标图像生成模型。
在本发明实施例中，当图像生成设备获得了训练样本、当前权重张量和当前待训练图像生成模型之后，就能利用训练样本和当前权重张量，持续对当前待训练图像生成模型进行迭代训练了。由于图像生成设备针对当前预设训练阶段，预先设置对应的当前预设训练条件；因此，能够根据该当前预设训练条件判断当前预设训练阶段的训练是否完成，而当训练完成时，也就获得了与当前预设训练阶段对应的当前目标图像生成模型。
需要说明的是，当前预设训练条件表征当前预设训练阶段的训练截止条件，比如收敛平衡，又比如损失函数值小于预设阈值。
S105、将当前目标图像生成模型作为下一预设训练阶段的待训练模型进行阶段训练，直到完成至少两个预设训练阶段的训练为止，得到目标图像生成模型；目标图像生成模型用于对待生成图像进行图像生成。
在本发明实施例中，当图像生成设备获得了当前目标图像生成模型之后，也就完成了当前预设训练阶段的训练，接着进入当前预设训练阶段的下一预设训练阶段；这里，图像生成设备将当前预设训练阶段的当前目标图像生成模型作为下一预设训练阶段的训练对象，即下一预设训练阶段的待训练模型，对当前目标图像进行训练，直到完成下一预设训练阶段；如此，持续逐阶段进行训练，直到完成至少两个预设训练阶段中的最后预设训练阶段的训练时，也就确定完成了至少两个预设训练阶段的训练；此时，停止训练，并将最终的训练结果作为目标图像生成模型。
需要说明的是，目标图像生成模型为至少两个预设训练阶段中的最后预设训练阶段中的训练结果；并且，目标图像生成模型用于对待生成图像进行图像生成，比如，文字转图像(文本生成视频)、图像内容补全(人脸拼接)和图像风格变化(梵高风格滤镜)等。
可以理解的是，图像生成设备针对每个预设训练阶段对至少两个预设部位设置不同的权重张量，如此，实现了每个预设训练阶段针对性的对特定部位的训练；另外，由于当前预设训练阶段的训练结果为下一预设训练阶段的训练对象，如此，实现了对至少两个特定部位进行多次加权分别实现针对性训练的方案，使得在保证当前预设训练阶段对应的特定部位的生成质量上，提升了至少两个特定部位的生成质量，进而，目标图像生成模型针对整个生成图像的生成效果和生成质量均得到了提高。
进一步地，训练样本为待生成样本图像和标注图像的样本对；此时，本发明实施例中的S104可以通过S1041-S1043实现；也就是说，图像生成设备利用训练样本和当前权重张量，持续对当前待训练图像生成模型进行训练，直到满足当前预设训练条件为止，得到当前目标图像生成模型，包括S1041-S1043，下面将结合各步骤进行说明。
S1041、利用当前待训练图像生成模型，对待生成样本图像进行图像生成，得到样本生成图像。
需要说明的是，训练样本中包含两类图像，待生成样本图像和待生成样本图像对应的标注图像；其中，待生成样本图像指待进行图像生成的样本图像，标注图像为期望对待生成样本图像进行图像生成所得到的图像，又称真实图像。
在本发明实施例中，图像生成设备获得了当前待训练图像生成模型之后，将训练样本中的待生成样本图像输入至当前待训练图像生成模型进行图像生成，从当前待训练图像生成模型中输出的结果即样本生成图像。
S1042、根据样本生成图像、标注图像和当前权重张量，计算当前损失函数值。
在本发明实施例中，图像生成设备获得了样本生成图像之后，由于样本生成图像和标注图像的差异，在一定程度上衡量了当前待训练图像生成模型的图像生成效果，即至少两个预设部位的生成效果；因此，再基于至少两个预设部位分别对应的权重值即当前权重张量，就能够计算出当前待训练图像生成模型的损失函数值，即当前损失函数值。
S1043、利用当前损失函数值，持续对当前待训练模型进行训练，直到满足当前预设训练条件为止，得到当前目标图像生成模型。
在本发明实施例中，当图像生成设备获得了当前损失函数值之后，如果当前损失函数值不满足当前预设训练条件，则利用当前损失函数值对当前待训练模型进行迭代训练。也就是说，利用当前损失函数值调整当前待训练模型的参数，得到调整后的当前待训练模型；并利用调整后的当前待训练模型，对待生成样本图像进行图像生成，进而根据调整后的当前待训练模型的图像生成结果、标注图像和当前权重张量，计算调整后的当前待训练模型的损失函数值；当调整后的当前待训练模型的损失函数值不满足当前预设训练条件时，利用调整后的当前待训练模型的损失函数值继续调整调整后的当前待训练模型的参数，……，如此，迭代训练，直到计算出的损失函数值满足当前预设训练条件时，结束训练，并将最后一个训练过程中的模型作为当前预设训练阶段的最终训练模型，即当前目标图像生成模型。
需要说明的是，满足当前预设训练条件除了是基于损失函数值确定的之后，还可以是基于模型的收敛性确定的，又可以是基于其他训练截止条件的判断确定的，等等，本发明实施例对此不作具体限定。
更进一步地，本发明实施例中S1042可通过S10421-S10423实现；也就是说，图像生成设备根据样本生成图像、标注图像和当前权重张量，计算当前损失函数值，包括S10421-S10423，下面结合各步骤进行说明。
S10421、计算标注图像和样本生成图像的差异，得到当前训练差异。
在本发明实施例中，图像生成设备获得了标注图像和样本生成图像之后，由于样本生成图像为当前待训练模型的图像生成结果，标注图像为真实图像；因此，为了获得当前待训练模型的损失函数值，需先计算标注图像和样本生成图像的差异，比如，标注图像和样本生成图像的差值，或者，标注图像和样本生成图像的比值等，也就获得了当前训练差异。
S10422、利用当前权重张量，对当前训练差异进行加权组合，得到当前初始损失函数值。
在本发明实施例中，图像生成设备获得了当前训练差异之后，将当前训练差异与当前权重张量进行加权组合，所得到的加权组合结果即当前初始损失函数值。这里，当前权重张量和当前训练差异的形式一致。
S10423、确定当前初始损失函数值的数值大小，得到当前损失函数值。
在本发明实施例中，图像生成设备获得了当前初始损失函数值之后，为了确定当前初始损失函数值所表征的数值的大小(比如，对当前初始损失函数值进行范数的计算，或者，其他确定数值大小的处理方式)，也就得到了当前损失函数值。
进一步地，本发明实施例中S10421可以通过S104211-S104214实现；也就是说，图像生成设备利用当前权重张量，对当前训练差异进行加权组合，得到当前训练差异，包括S104211-S104214，下面结合各步骤分别进行说明。
S104211、从标注图像中，确定与至少两个预设部位对应的区域，得到至少两个标注预设部位。
在本发明实施例中，图像生成设备在获取当前初始损失函数值时，是以至少两个预设部位中的每个预设部位为单位进行的；因此，这里，图像生成设备在标注图像中确定与至少两个预设部位中每个预设部位对应的部位，也就获得了至少两个标注预设部位；并且，至少两个标注预设部位与至少两个预设部位一一对应。
S104212、从样本生成图像中，确定与至少两个预设部位对应的部位，得到至少两个生成预设部位。
在本发明实施例中，图像生成设备在样本生成图像中确定与至少两个预设部位中每个预设部位对应的部位，也就获得了至少两个生成预设部位；并且，至少两个生成预设部位与至少两个预设部位一一对应。
需要说明的是，S104211和S104212在执行顺序上不分先后顺序，可以同时执行，还可以先后执行，又可以交叉执行，等等，本发明实施例对此不作具体限定。
S104213、计算至少两个标注预设部位中每个标注预设部位，与至少两个生成预设部位中对应的目标预设部位的差异，得到至少两个子当前训练差异。
在本发明实施例中，由于至少两个标注预设部位与至少两个预设部位一一对应，至少两个生成预设部位与至少两个预设部位一一对应，因此，至少两个标注预设部位和至少两个生成预设部位一一对应。从而，当图像生成设备获得了至少两个标注预设部位和至少两个生成预设部位之后，针对至少两个标注预设部位中每个标注预设部位，都能够从至少两个生成预设部位中确定对应的目标预设部位；进而，能够计算至少两个标注预设部位中每个标注预设部位，与至少两个生成预设部位中对应的目标预设部位的差异；此时，也就获得了至少两个子当前训练差异；并且，至少两个子当前训练差异与至少两个预设部位一一对应。
S104214、将至少两个子当前训练差异作为当前训练差异。
在本发明实施例中，当图像生成设备获得了至少两个子当前训练差异之后，也就获得了当前训练差异，也就是说，当前训练差异由至少两个子当前训练差异组成；这里，图像设备基于当前权重张量的形式，将至少两个子当前训练差异组成当前训练差异。
相应地，本发明实施例中S10422可以通过S104221-S104222实现；也就是说，图像生成设备利用当前权重张量，对当前训练差异进行加权组合，得到当前初始损失函数值，包括S104221-S104222，下面将结合各步骤分别进行说明。
S104221、将当前训练差异中每个子当前训练差异，与当前权重张量中对应的权重值进行加权，得到至少两个当前子初始损失函数值。
在本发明实施例中，由于当前训练差异包括至少两个子当前训练差异，并且，至少两个子当前训练差异与至少两个预设部位一一对应，以及当前权重张量为至少两个预设部位中每个预设部位分别对应的权重值构成的组合；因此，当前训练差异中的各子当前训练差异与当前权重张量中的各权重值一一对应，从而，针对当前训练差异中每个子当前训练差异，都能够从当前权重张量中确定对应的权重值；进而，能够计算当前训练差异中每个子当前训练差异，与当前权重张量中对应的权重值的组合值，实现当前训练差异中每个子当前训练差异，与当前权重张量中对应的权重值的加权处理；此时，也就获得了初始当前子损失函数值。
S104222、将至少两个当前子初始损失函数值进行组合，得到当前初始损失函数值。
需要说明的是，图像生成设备获得了至少两个当前子初始损失函数值之后，将至少两个当前子初始损失函数值进行组合，比如，组合成矩阵形式或向量形式等，也就得到了当前初始损失函数值。
示例性地，当前损失函数值可通过式(1)获得，式(1)如下所示：
Figure BDA0002250815500000141
其中，k指至少两个预设训练阶段中的第k个预设训练阶段，即当前预设训练阶段；Lk指当前损失函数值；wk指当前权重张量；y指标注图像；x指待生成样本图像；F指当前待训练图像生成模型；F(x)指样本生成图像；y-F(x)指当前训练差异；
Figure BDA0002250815500000142
指当前初始损失函数值；指对当前初始损失函数值求范数，即确定当前初始损失函数值的数值大小。另外，指加权处理。
进一步地，参见图4，图4是本发明实施例提供的图像生成方法的又一个可选的流程示意图，如图4所示，本发明实施例中S105可以通过S1051-S1054实现；也就是说，图像生成设备将当前目标图像生成模型作为下一预设训练阶段的待训练模型进行阶段训练，直到完成至少两个预设训练阶段的训练为止，得到目标图像生成模型，包括S1051-S1054，下面将结合图4示出的步骤进行说明。
S1051、将当前目标图像生成模型作为下一预设训练阶段的待训练模型，得到下一阶段待训练图像生成模型。
需要说明的是，图像生成设备完成了当前预设训练阶段的训练之后，就进入至少两个预设训练阶段中，当前预设训练阶段的下一预设训练阶段继续进行迭代训练。此时，下一预设训练阶段的待训练模型为当前预设训练阶段的训练结果，即当前目标图像生成模型，从而，当前目标图像生成模型即下一阶段待训练图像生成模型。
S1052、设置下一预设训练阶段中至少两个预设部位分别对应的权重值，得到下一阶段权重张量。
在本发明实施例中，与当前预设训练阶段中针对性训练的特定部位不同，下一预设训练阶段是针对另一特定部位进行的针对性训练；因此，在下一预设训练阶段中，图像生成设备需要针对至少两个预设部位的每个预设部位重新设置权重值，从而得到与下一预设训练阶段对应的下一阶段权重张量。也就是说，下一阶段权重张量为下一预设训练阶段，图像生成设备针对至少预设部位中的每个预设部位所设置的权重值构成的组合；并且，当前权重张量和下一阶段权重张量不同。
需要说明的是，图像生成设备可以将当前目标图像生成模型的生成样本图像进行可视化，进而根据可视化的生成样本图像，确定下一阶段权重张量，实现实时地多部位的针对性训练，进一步提升目标图像生成模型的图像生成效果。
S1053、利用训练样本和下一阶段权重张量，持续对下一阶段待训练图像生成模型进行训练，直到满足下一阶段预设训练条件为止，得到下一阶段目标图像生成模型。
需要说明的是，在下一预设训练阶段中，当图像生成设备获得了下一阶段待训练图像生成模型、训练样本和下一阶段权重张量之后，就能利用训练样本和下一阶段权重张量，持续对下一阶段待训练图像生成模型进行迭代训练了。由于图像生成设备针对下一预设训练阶段，预先设置对应的下一阶段预设训练条件；因此，能够根据该下一阶段预设训练条件判断下一预设训练阶段的训练是否完成，而当训练完成时，也就获得了与下一预设训练阶段对应的下一阶段目标图像生成模型。
需要说明的是，下一阶段预设训练条件表征下一预设训练阶段的训练截止条件，比如收敛平衡，又比如损失函数值小于预设阈值；另外，下一阶段预设训练条件可以与当前预设训练条件相同，也可以不相同。
S1054、将下一阶段目标图像生成模型作为再下一预设训练阶段的待训练模型进行阶段训练，直到完成至少两个预设训练阶段的训练，得到目标图像生成模型。
在本发明实施例中，图像生成设备获得了下一阶段目标图像生成模型之后，也就完成了下一预设训练阶段的训练，如果下一预设训练阶段不为至少两个预设训练阶段中的最后预设训练阶段，则将下一阶段目标图像生成模型作为再下一预设训练阶段的待训练模型进行阶段训练，直到完成至少两个预设训练阶段的训练，得到目标图像生成模型；这里，再下一预设训练阶段指至少两个预设训练阶段中下一预设训练阶段的下一预设训练阶段。而如果下一预设训练阶段为至少两个预设训练阶段中的最后预设训练阶段，则此时也就完成了整个模型的训练，下一阶段目标图像生成模型即目标图像生成模型。
进一步地，本发明实施例中S101之前，还包括S106-S108；也就是说，图像生成设备获取训练样本之前，该图像生成方法还包括S106-S108，下面将结合各步骤分别进行说明。
S106、确定至少两个预设部位。
在本发明实施例中，图像生成设备根据图像生成的需求，能够确定至少两个预设部位。比如，当图像生成的需求为进行人脸补全时，可以确定眼睛、鼻子和嘴巴为至少两个预设部位；又比如，将待生成样本图像划分为至少两个预设部位。
S107、从至少两个预设部位中，确定至少两个目标预设部位。
在本发明实施例中，图像生成设备获得了至少两个预设部位之后，从至少两个预设部位中确定至少两个特定部位，也就获得了至少两个目标预设部位；也就是说，至少两个目标预设部位中的每个目标预设部位指一个针对性训练的特定部位。
示例性地，当至少两个预设部位为眼睛、鼻子和嘴巴时，由于眼睛和嘴巴的生成要求高，此时，图像生成设备则将眼睛和嘴巴作为至少两个目标预设部位；也可以将眼睛、鼻子和嘴巴作为至少两个目标预设部位。
S108、根据至少两个目标预设部位，确定至少两个训练阶段；至少两个预设训练阶段与至少两个目标预设部位一一对应。
需要说明的是，由于每个预设训练阶段用于对至少两个目标预设部位中的一个目标预设部位进行针对性训练，因此，存在与至少两个目标预设部位一一对应至少两个预设训练阶段。
相应地，本发明实施例中S103可通过S1031-S1033实现；也就是说，图像生成设备设置当前预设训练阶段中至少两个预设部位分别对应的权重值，得到当前权重张量，包括S1031-S1033，下面结合各步骤分别进行说明。
S1031、从至少两个目标预设部位中，确定与当前预设训练阶段对应的目标预设部位，得到当前目标预设部位。
在本发明实施例中，由于至少两个预设训练阶段与至少两个目标预设部位一一对应，因此，针对当前预设训练阶段，在至少两个目标预设部位中，存在着与当前预设训练阶段对应的目标预设部位，而该至少两个目标预设部位中与当前预设训练阶段对应的目标预设部位，即当前目标预设部位。
S1032、将当前目标预设部位的权重值，设置为第一权重值，并将至少两个预设部位中除当前目标预设部位之外的预设部位的权重值，设置为第二权重值；第一权重值大于第二权重值。
需要说明的是，由于当前预设训练阶段是对当前目标预设部位进行针对性训练的，因此，图像生成设备设置的当前目标预设部位的权重值，大于至少两个预设部位中除当前目标预设部位之外的预设部位的权重值。
S1033、将第一权重值和第二权重值组合为当前权重张量。
在本发明实施例中，当图像生成设备完成了对至少两个预设部位的权重值的设置之后，基于至少两个预设部位，对应的将第一权重值和第二权重值进行组合，也就得到了当前权重张量。
需要说明的是，本发明实施例中的当前权重张量、至少两个子当前训练差异和下一阶段权重张量的组合形式相同。
进一步地，参见图5，图5是本发明实施例提供的图像生成方法的另一个可选的流程示意图，如图5所示，本发明实施例S105之后，还包括S109-S110；也就是说，图像生成设备将当前目标图像生成模型作为下一预设训练阶段的待训练模型进行阶段训练，直到完成至少两个预设训练阶段的训练为止，得到目标图像生成模型之后，该图像生成方法还包括S109-S110，下面将结合图5示出的步骤进行说明。
S109、获取新的训练样本；新的训练样本用于对目标图像生成模型进行优化。
需要说明的是，当图像生成设备获得了目标图像生成模型时，还可以通过获取新的训练样本对目标图像生成模型进行优化，以提升目标图像生成模型的泛化能力。
S110、基于新的训练样本，优化目标图像生成模型，以利用优化后的目标图像生成模型进行图像生成。
在本发明实施例中，当图像生成设备获得了新的训练样本之后，能够基于新的训练样本优化目标图像生成模型，以利用优化后的目标图像生成模型进行图像生成。这里，优化过程与训练得到目标图像生成模型的过程类似，本发明实施例在此不再赘述。
可以理解的是，图像生成设备通过不断对目标图像生成模型进行优化，能够提升优化后的目标图像生成模型的泛化能力，进而采用优化后的目标图像生成模型实现图像生成时，能够进一步提升图像生成的效果。
进一步地，参见图6，图6是本发明实施例提供的图像生成方法的再一个可选的流程示意图，如图6所示，本发明实施例S105之后，还包括S111-S112；也就是说，图像生成设备将当前目标图像生成模型作为下一预设训练阶段的待训练模型进行阶段训练，直到完成至少两个预设训练阶段的训练为止，得到目标图像生成模型之后，该图像生成方法还包括S111-S112，下面将结合图6示出的步骤进行说明。
S111、当获取到待生成图像时，利用目标图像生成模型，对待生成图像进行图像生成，得到生成图像。
在本发明实施例中，图像生成设备确定了进行图像生成的待处理图像时，也就获得了待生成图像。此时，图像生成设备将待生成图像输入至目标图像生成模型进行图像生成，输出结果即生成图像。
需要说明的是，如果图像生成设备在获取到待生成图像时，已完成了对目标图像生成模型的优化，则利用优化后的目标图像生成模型对待生成图像进行图像生成来得到生成图像。另外，图像生成设备在利用目标图像生成模型进行图像生成之前，还包括将目标图像生成模型部署在本地的过程。
S112、通过显示设备显示生成图像。
在本发明实施例中，图像生成设备获得了生成图像之后，就能够通过显示设备进行生成图像的显示了，以根据显示的生成图像进行后续的处理。
需要说明的是，显示设备可以是图像生成设备的显示设备，还可以是与图像生成设备连接的其他设备，本发明实施例对此不作具体限定。只是当显示设备为其他设备时，图像生成设备需将生成图像发送至显示设备，以在显示设备上显示该生成图像。
下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。
参见图7，图7是本发明实施例提供的一种示例性的至少两个预设训练阶段的训练示意图，如图7所示，至少两个预设训练阶段包含第k阶段和第k+1阶段，当第k阶段为当前预设训练阶段时，下一预设训练阶段即第k+1阶段。并且，至少两个预设部位包括眼睛、鼻子、面部和嘴巴，第k阶段用于对眼睛进行针对性训练，第k+1阶段用于对嘴巴进行针对性训练，因此，眼睛和嘴巴即至少两个目标预设部位。
在第k阶段中，首先，将图像7-1(待生成样本图像)输入至生成器7-2(当前待训练图像生成模型)，也就得到了图像7-3(样本生成图像)；然后，计算图像7-3和图像7-4(标注图像)的差异，并将该差异与权重张量7-5(当前权重张量，比如设置为{2,1,1,1}，这里，1指第二权重值，2指第一权重值)组合；最后，根据组合结果迭代优化生成器7-2，最终也就得到了优化器7-5(当前目标图像生成模型)，也就完成了第k阶段的训练，此时，进入第k+1阶段。
在第k+1阶段中，将第k阶段的优化器7-5作为生成器，将图像7-1输入至优化器7-5(下一阶段待训练图像生成模型)，也就得到了图像7-6；然后，计算图像7-6和图像7-4(标注图像)的差异，并将该差异与权重张量7-7(下一阶段权重张量，比如设置为{1,1,1,2})组合；最后，根据组合结果迭代优化本阶段生成器即优化器7-5，最终也就得到了优化器7-8(下一阶段目标图像生成模型)，也就完成了第k+1阶段的训练；这里，假设第k+1阶段为至少两个预设训练阶段的最后预设训练阶段，则优化器7-8即目标图像生成模型。易知，目标图像生成模型能够同时保证眼睛和嘴巴的生成质量；另外，也可以将眼睛、鼻子、面部和嘴巴设置为四个预设训练阶段进行训练，此时，能够保证整张人脸的生成质量。
下面，继续说明本发明实施例在一个实际的应用场景中的示例性应用。
参见图8，图8是本发明实施例提供的一种示例性的图像生成流程示意图，如图8所示，服务器8-1(图像生成设备)将用于人脸拼接的图像生成模型8-2(目标图像生成模型)在本地部署，接收终端8-3发送的五官缺失图像8-4(待生成图像)，并将图像8-4输入至部署后的图像生成模型8-2，也就得到了拼接好的人脸图像8-5(生成图像)，完成了图像生成。
下面继续说明本发明实施例提供的图像生成装置255的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器250的图像生成装置255中的软件模块可以包括：
阶段确定模块2551，用于获取训练样本，并确定当前预设训练阶段；所述训练样本用于训练对待生成图像进行图像生成的模型，所述当前预设训练阶段为至少两个预设训练阶段中的任一预设训练阶段；
模型确定模块2552，用于确定所述当前预设训练阶段的待训练模型，得到当前待训练图像生成模型；
权重设置模块2553，用于设置所述当前预设训练阶段中至少两个预设部位分别对应的权重值，得到当前权重张量；
模型训练模块2554，用于利用所述训练样本和所述当前权重张量，持续对所述当前待训练图像生成模型进行训练，直到满足当前预设训练条件为止，得到当前目标图像生成模型；
所述模型训练模块2554，还用于将所述当前目标图像生成模型作为下一预设训练阶段的待训练模型进行阶段训练，直到完成所述至少两个预设训练阶段的训练为止，得到目标图像生成模型；所述目标图像生成模型用于对所述待生成图像进行图像生成。
进一步地，所述训练样本为待生成样本图像和标注图像的样本对，所述模型训练模块2554，还用于利用所述当前待训练图像生成模型，对所述待生成样本图像进行图像生成，得到样本生成图像；根据所述样本生成图像、所述标注图像和所述当前权重张量，计算当前损失函数值；利用所述当前损失函数值，持续对所述当前待训练模型进行训练，直到满足所述当前预设训练条件为止，得到所述当前目标图像生成模型。
进一步地，所述模型训练模块2554，还用于计算所述标注图像和所述样本生成图像的差异，得到当前训练差异；利用所述当前权重张量，对所述当前训练差异进行加权组合，得到当前初始损失函数值；确定所述当前初始损失函数值的数值大小，得到所述当前损失函数值。
进一步地，所述模型训练模块2554，还用于从所述标注图像中，确定与所述至少两个预设部位对应的部位，得到至少两个标注预设部位；从所述样本生成图像中，确定与所述至少两个预设部位对应的部位，得到至少两个生成预设部位；计算所述至少两个标注预设部位中每个标注预设部位，与所述至少两个生成预设部位中对应的目标预设部位的差异，得到至少两个子当前训练差异；将所述至少两个子当前训练差异作为所述当前训练差异。
相应地，所述模型训练模块2554，还用于将所述当前训练差异中每个子当前训练差异，与所述当前权重张量中对应的权重值进行加权，得到至少两个当前子初始损失函数值；将所述至少两个当前子初始损失函数值进行组合，得到所述当前初始损失函数值。
进一步地，所述模型训练模块2554，还用于将所述当前目标图像生成模型作为下一预设训练阶段的待训练模型，得到下一阶段待训练图像生成模型；设置所述下一预设训练阶段中所述至少两个预设部位分别对应的权重值，得到下一阶段权重张量；利用所述训练样本和所述下一阶段权重张量，持续对所述下一阶段待训练图像生成模型进行训练，直到满足下一阶段预设训练条件为止，得到下一阶段目标图像生成模型；将所述下一阶段目标图像生成模型作为再下一预设训练阶段的待训练模型进行阶段训练，直到完成所述至少两个预设训练阶段的训练，得到所述目标图像生成模型。
进一步地，所述图像生成装置255还包括部位确定模块2555，用于确定所述至少两个预设部位；从所述至少两个预设部位中，确定至少两个目标预设部位；根据所述至少两个目标预设部位，确定所述至少两个预设训练阶段；所述至少两个预设训练阶段与所述至少两个目标预设部位一一对应。
相应地，所述权重设置模块2553，还用于从所述至少两个目标预设部位中，确定与所述当前预设训练阶段对应的目标预设部位，得到当前目标预设部位；将所述当前目标预设部位的权重值，设置为第一权重值，并将所述至少两个目标预设部位中除所述当前目标预设部位之外的目标预设部位的权重值，设置为第二权重值；所述第一权重值大于所述第二权重值；将所述第一权重值和所述第二权重值组合为所述当前权重张量。
进一步地，所述图像生成装置255还包括模型优化模块2556，用于获取新的训练样本；所述新的训练样本用于对所述目标图像生成模型进行优化；基于所述新的训练样本，优化所述目标图像生成模型，以利用优化后的目标图像生成模型进行图像生成。
进一步地，所述图像生成装置255还包括模型应用模块2557，用于当获取到所述待生成图像时，利用所述目标图像生成模型，对所述待生成图像进行图像生成，得到生成图像；通过显示设备显示所述生成图像。
本发明实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的图像生成方法，例如，如图3示出的图像生成方法。
在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，在本发明实施例中，由于用于对待生成图像进行图像生成的目标图像生成模型，是通过至少两个预设训练阶段的训练得到的；并且，每个预设训练阶段中至少两个预设部位分别对应的权重值构成的权重张量不同，以及下一个预设训练阶段是以当前预设训练阶段的训练结果作为待训练模型进行的训练；因此，目标图像生成模型的训练过程中实现了对多个部位的针对性训练，从而利用目标图像生成模型对待生成图像进行图像生成时，能够保证生成的图像的质量，也就提升了图像生成效果。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (10)

1.一种图像生成方法，其特征在于，包括：
获取训练样本，并确定当前预设训练阶段；所述训练样本用于训练对待生成图像进行图像生成的模型，所述当前预设训练阶段为至少两个预设训练阶段中的任一预设训练阶段；
确定所述当前预设训练阶段的待训练模型，得到当前待训练图像生成模型；
设置所述当前预设训练阶段中至少两个预设部位分别对应的权重值，得到当前权重张量；
利用所述训练样本和所述当前权重张量，持续对所述当前待训练图像生成模型进行训练，直到满足当前预设训练条件为止，得到当前目标图像生成模型；
将所述当前目标图像生成模型作为下一预设训练阶段的待训练模型进行阶段训练，直到完成所述至少两个预设训练阶段的训练为止，得到目标图像生成模型；所述目标图像生成模型用于对所述待生成图像进行图像生成。
2.根据权利要求1所述的方法，其特征在于，所述训练样本为待生成样本图像和标注图像的样本对，所述利用所述训练样本和所述当前权重张量，持续对所述当前待训练图像生成模型进行训练，直到满足当前预设训练条件为止，得到当前目标图像生成模型，包括：
利用所述当前待训练图像生成模型，对所述待生成样本图像进行图像生成，得到样本生成图像；
根据所述样本生成图像、所述标注图像和所述当前权重张量，计算当前损失函数值；
利用所述当前损失函数值，持续对所述当前待训练模型进行训练，直到满足所述当前预设训练条件为止，得到所述当前目标图像生成模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述样本生成图像、所述标注图像和所述当前权重张量，计算当前损失函数值，包括：
计算所述标注图像和所述样本生成图像的差异，得到当前训练差异；
利用所述当前权重张量，对所述当前训练差异进行加权组合，得到当前初始损失函数值；
确定所述当前初始损失函数值的数值大小，得到所述当前损失函数值。
4.根据权利要求3所述的方法，其特征在于，所述计算所述标注图像和所述样本生成图像的差异，得到当前训练差异，包括：
从所述标注图像中，确定与所述至少两个预设部位对应的部位，得到至少两个标注预设部位；
从所述样本生成图像中，确定与所述至少两个预设部位对应的部位，得到至少两个生成预设部位；
计算所述至少两个标注预设部位中每个标注预设部位，与所述至少两个生成预设部位中对应的目标预设部位的差异，得到至少两个子当前训练差异；
将所述至少两个子当前训练差异作为所述当前训练差异；
相应地，所述利用所述当前权重张量，对所述当前训练差异进行加权组合，得到当前初始损失函数值，包括：
将所述当前训练差异中每个子当前训练差异，与所述当前权重张量中对应的权重值进行加权，得到至少两个当前子初始损失函数值；
将所述至少两个当前子初始损失函数值进行组合，得到所述当前初始损失函数值。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述将所述当前目标图像生成模型作为下一预设训练阶段的待训练模型进行阶段训练，直到完成所述至少两个预设训练阶段的训练为止，得到目标图像生成模型，包括：
将所述当前目标图像生成模型作为下一预设训练阶段的待训练模型，得到下一阶段待训练图像生成模型；
设置所述下一预设训练阶段中所述至少两个预设部位分别对应的权重值，得到下一阶段权重张量；
利用所述训练样本和所述下一阶段权重张量，持续对所述下一阶段待训练图像生成模型进行训练，直到满足下一阶段预设训练条件为止，得到下一阶段目标图像生成模型；
将所述下一阶段目标图像生成模型作为再下一预设训练阶段的待训练模型进行阶段训练，直到完成所述至少两个预设训练阶段的训练，得到所述目标图像生成模型。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述获取训练样本之前，所述方法还包括：
确定所述至少两个预设部位；
从所述至少两个预设部位中，确定至少两个目标预设部位；
根据所述至少两个目标预设部位，确定所述至少两个预设训练阶段；所述至少两个预设训练阶段与所述至少两个目标预设部位一一对应；
相应地，所述设置所述当前预设训练阶段中至少两个预设部位分别对应的权重值，得到当前权重张量，包括：
从所述至少两个目标预设部位中，确定与所述当前预设训练阶段对应的目标预设部位，得到当前目标预设部位；
将所述当前目标预设部位的权重值，设置为第一权重值，并将所述至少两个预设部位中除所述当前目标预设部位之外的预设部位的权重值，设置为第二权重值；所述第一权重值大于所述第二权重值；
将所述第一权重值和所述第二权重值组合为所述当前权重张量。
7.根据权利要求1所述的方法，其特征在于，所述将所述当前目标图像生成模型作为下一预设训练阶段的待训练模型进行阶段训练，直到完成所述至少两个预设训练阶段的训练为止，得到目标图像生成模型之后，所述方法还包括：
获取新的训练样本；所述新的训练样本用于对所述目标图像生成模型进行优化；
基于所述新的训练样本，优化所述目标图像生成模型，以利用优化后的目标图像生成模型进行图像生成。
8.根据权利要求1或7所述的方法，其特征在于，所述将所述当前目标图像生成模型作为下一预设训练阶段的待训练模型进行阶段训练，直到完成所述至少两个预设训练阶段的训练为止，得到目标图像生成模型之后，所述方法还包括：
当获取到所述待生成图像时，利用所述目标图像生成模型，对所述待生成图像进行图像生成，得到生成图像；
通过显示设备显示所述生成图像。
9.一种图像生成装置，其特征在于，包括：
阶段确定模块，用于获取训练样本，并确定当前预设训练阶段；所述训练样本用于训练对待生成图像进行图像生成的模型，所述当前预设训练阶段为至少两个预设训练阶段中的任一预设训练阶段；
模型确定模块，用于确定所述当前预设训练阶段的待训练模型，得到当前待训练图像生成模型；
权重设置模块，用于设置所述当前预设训练阶段中至少两个预设部位分别对应的权重值，得到当前权重张量；
模型训练模块，用于利用所述训练样本和所述当前权重张量，持续对所述当前待训练图像生成模型进行训练，直到满足当前预设训练条件为止，得到当前目标图像生成模型；
所述模型训练模块，还用于将所述当前目标图像生成模型作为下一预设训练阶段的待训练模型进行阶段训练，直到完成所述至少两个预设训练阶段的训练为止，得到目标图像生成模型；所述目标图像生成模型用于对所述待生成图像进行图像生成。
10.一种图像生成设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至8任一项所述的方法。
CN201911033546.6A 2019-10-28 2019-10-28 一种图像生成方法、装置及设备 Active CN110796594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911033546.6A CN110796594B (zh) 2019-10-28 2019-10-28 一种图像生成方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911033546.6A CN110796594B (zh) 2019-10-28 2019-10-28 一种图像生成方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110796594A true CN110796594A (zh) 2020-02-14
CN110796594B CN110796594B (zh) 2021-11-09

Family

ID=69441685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911033546.6A Active CN110796594B (zh) 2019-10-28 2019-10-28 一种图像生成方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110796594B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309382A (zh) * 2020-02-19 2020-06-19 深圳鲲云信息科技有限公司 基于神经网络的指令推送方法、系统、设备及存储介质
TWI815092B (zh) * 2020-03-11 2023-09-11 聯發科技股份有限公司 視頻處理電路及用於執行sr操作的方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078361A1 (en) * 2014-09-11 2016-03-17 Amazon Technologies, Inc. Optimized training of linear machine learning models
CN106548165A (zh) * 2016-11-28 2017-03-29 中通服公众信息产业股份有限公司 一种基于图像分块加权的卷积神经网络的人脸识别方法
CN106682696A (zh) * 2016-12-29 2017-05-17 华中科技大学 基于在线示例分类器精化的多示例检测网络及其训练方法
CN107133354A (zh) * 2017-05-25 2017-09-05 北京小米移动软件有限公司 图像描述信息的获取方法及装置
CN107464210A (zh) * 2017-07-06 2017-12-12 浙江工业大学 一种基于生成式对抗网络的图像风格迁移方法
US20180039826A1 (en) * 2016-08-02 2018-02-08 Toyota Jidosha Kabushiki Kaisha Direction discrimination device and direction discrimination method
CN109272031A (zh) * 2018-09-05 2019-01-25 宽凳（北京）科技有限公司 一种训练样本生成方法及装置、设备、介质
CN109636764A (zh) * 2018-11-01 2019-04-16 上海大学 一种基于深度学习与显著性检测的图像风格转移方法
CN109784421A (zh) * 2019-01-30 2019-05-21 北京朗镜科技有限责任公司 一种识别模型的构建方法及装置
CN110222220A (zh) * 2019-05-06 2019-09-10 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078361A1 (en) * 2014-09-11 2016-03-17 Amazon Technologies, Inc. Optimized training of linear machine learning models
US20180039826A1 (en) * 2016-08-02 2018-02-08 Toyota Jidosha Kabushiki Kaisha Direction discrimination device and direction discrimination method
CN106548165A (zh) * 2016-11-28 2017-03-29 中通服公众信息产业股份有限公司 一种基于图像分块加权的卷积神经网络的人脸识别方法
CN106682696A (zh) * 2016-12-29 2017-05-17 华中科技大学 基于在线示例分类器精化的多示例检测网络及其训练方法
CN107133354A (zh) * 2017-05-25 2017-09-05 北京小米移动软件有限公司 图像描述信息的获取方法及装置
CN107464210A (zh) * 2017-07-06 2017-12-12 浙江工业大学 一种基于生成式对抗网络的图像风格迁移方法
CN109272031A (zh) * 2018-09-05 2019-01-25 宽凳（北京）科技有限公司 一种训练样本生成方法及装置、设备、介质
CN109636764A (zh) * 2018-11-01 2019-04-16 上海大学 一种基于深度学习与显著性检测的图像风格转移方法
CN109784421A (zh) * 2019-01-30 2019-05-21 北京朗镜科技有限责任公司 一种识别模型的构建方法及装置
CN110222220A (zh) * 2019-05-06 2019-09-10 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUJUN LUAN: "Deep Photo Style Transfer", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
YUNJEY CHOI等: "StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation", 《IEEE 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309382A (zh) * 2020-02-19 2020-06-19 深圳鲲云信息科技有限公司 基于神经网络的指令推送方法、系统、设备及存储介质
CN111309382B (zh) * 2020-02-19 2023-03-03 深圳鲲云信息科技有限公司 基于神经网络的指令推送方法、系统、设备及存储介质
TWI815092B (zh) * 2020-03-11 2023-09-11 聯發科技股份有限公司 視頻處理電路及用於執行sr操作的方法
US11836893B2 (en) 2020-03-11 2023-12-05 Mediatek Inc. Online AI super resolution engine and operations

Also Published As

Publication number Publication date
CN110796594B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
JP7264376B2 (ja) 汎用学習済モデルの生成方法
US20200257891A1 (en) Face Reconstruction from a Learned Embedding
WO2021190597A1 (zh) 一种神经网络模型的处理方法以及相关设备
US11175895B2 (en) Code generation and simulation for graphical programming
CN115456160A (zh) 一种数据处理方法和数据处理设备
KR102190103B1 (ko) 인공 신경망의 상용화 서비스 제공 방법
CN112381707B (zh) 图像生成方法、装置、设备以及存储介质
CN110796594B (zh) 一种图像生成方法、装置及设备
CN111222046B (zh) 服务配置方法、用于服务配置的客户端、设备及电子设备
CN107766936A (zh) 人造神经网络、人造神经元及人造神经元的控制方法
US20110150301A1 (en) Face Identification Method and System Using Thereof
CN113240778A (zh) 虚拟形象的生成方法、装置、电子设备和存储介质
CN112116589B (zh) 虚拟形象的评测方法、装置、设备及计算机可读存储介质
CN110163269A (zh) 基于深度学习的模型生成方法、装置和计算机设备
US20220366244A1 (en) Modeling Human Behavior in Work Environment Using Neural Networks
CN112365359A (zh) 种植决策确定模型的训练方法、装置、设备以及存储介质
CN111507259B (zh) 脸部特征提取方法、装置、电子设备
US11687785B2 (en) Modification of neural network topology
CN113359982A (zh) 一种基于云平台的虚拟现实课件制作管理方法及系统
CN112101438B (zh) 一种左右眼分类方法、装置、服务器和存储介质
CN114049287A (zh) 面部模型融合方法、装置、设备及计算机可读存储介质
CN117437467A (zh) 模型训练方法、装置、电子设备及存储介质
CN103324472A (zh) 用于构造控制装置程序的研发装置和方法
CN116909655A (zh) 数据处理方法及装置
US20230215093A1 (en) Method and system for 3d modeling based on irregular-shaped sketch

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021904

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant