CN109816614A - 图像的合成方法、装置和存储介质 - Google Patents
图像的合成方法、装置和存储介质 Download PDFInfo
- Publication number
- CN109816614A CN109816614A CN201910153990.5A CN201910153990A CN109816614A CN 109816614 A CN109816614 A CN 109816614A CN 201910153990 A CN201910153990 A CN 201910153990A CN 109816614 A CN109816614 A CN 109816614A
- Authority
- CN
- China
- Prior art keywords
- geometry
- network
- image
- sample
- described image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种图像的合成方法，所述图像的合成方法包括以下步骤：在接收到图像合成指令时，获取所述图像合成指令对应的噪声向量；将所述噪声向量输入预设的几何结构生成网络，得到所述噪声向量对应的几何结构；将所述噪音向量对应的几何结构输入预设的图像生成网络，得到所述噪声向量对应的合成图像，所述几何结构生成网络和所述图像生成网络通过生成对抗网络模型训练得到。发明还公开了一种图像的合成装置和存储介质。由于合成图像是在几何结构信息的约束下生成，提高了合成图像在整体结构上的逼真度。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及图像的合成方法、装置和存储介质。
背景技术
合成图像在人机交互、虚拟现实、三维计算机动画和医疗检测等方面都有着广泛的应用，对于合成图像的质量要求也变得越来越高。
随着生成对抗网络(Generative Adversarial Networks，GAN)出现和发展，使得合成高质量的图像方面取得了显著的效果，GAN通过博弈的方法来训练图像生成网络和图像鉴别网络，使得图像生成网络和真伪鉴别网络的能力同步提高，生成的图像越来越逼真。然而，目前的生成对抗网络一般是通过噪声向量直接生成图像，得到的图像虽然细节逼真，但在整体结构上容易失真。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种图像的合成方法、装置和存储介质，旨在解决目前基于生成对抗网络合成图像一般是通过噪声向量直接生成图像，得到的图像在整体结构上容易失真的技术问题。
为实现上述目的，本发明提供一种图像的合成方法，所述图像的合成方法包括以下步骤：
在接收到图像合成指令时，获取所述图像合成指令对应的噪声向量；
将所述噪声向量输入预设的几何结构生成网络，得到所述噪声向量对应的几何结构；
将所述噪音向量对应的几何结构输入预设的图像生成网络，得到所述噪声向量对应的合成图像，所述几何结构生成网络和所述图像生成网络通过生成对抗网络模型训练得到。
优选地，所述图像的合成方法还包括：
基于卷积神经网络构建几何结构生成网络、几何结构鉴别网络、图像生成网络和图像鉴别网络；
获取训练样本集，所述训练样本集包括预设的噪声样本、真实图像样本和所述真实图像样本对应的真实几何结构样本；
基于所述训练样本集对所述几何结构生成网络、所述几何结构鉴别网络、所述图像生成网络和所述图像鉴别网络进行对抗训练。
优选地，所述获取训练样本集，所述训练样本集包括预设的噪声样本、真实图像样本和所述真实图像样本对应的真实几何结构样本的步骤之前，还包括：
在获取到真实图像样本时，利用几何结构提取算子对所述图像样本进行特征提取，得到所述图像样本对应的真实几何结构样本，其中，所述几何结构提取算子包括自动编码器和图像边缘检测算子中的一种。
优选地，所述基于所述训练样本集对所述几何结构生成网络、所述几何结构鉴别网络、所述图像生成网络和所述图像鉴别网络进行对抗训练的步骤包括：
将所述噪声样本输入所述结构生成网络中，得到所述噪声样本对应的生成几何结构样本；
利用所述生成几何结构样本和所述真实几何结构样本对所述几何结构生成网络和所述几何结构鉴别网络进行对抗训练，调整所述几何结构生成网络和所述几何结构鉴别网络的参数；
将所述生成几何结构样本输入所述图像生成网络，得到所述噪声样本对应的生成图像样本；
利用所述生成图像样本和所述真实图像样本对所述图像生成网络和所述图像鉴别网络进行对抗训练，调整所述图像生成网络和所述图像鉴别网络的参数。
优选地，所述利用所述生成几何结构样本和所述真实几何结构样本对所述几何结构生成网络和所述几何结构鉴别网络进行对抗训练，调整所述几何结构生成网络和所述几何结构鉴别网络的参数的步骤包括：
将所述生成几何结构样本和所述真实几何结构样本输入所述几何结构鉴别网络，获得所述生成几何结构样本和所述真实几何结构样本对应的真伪判别概率；
根据所述生成几何结构样本和所述真实几何结构样本对应的真伪判别概率对所述几何结构生成网络和所述几何结构判别网络的参数进行调整。
优选地，所述根据所述生成几何结构样本和所述真实几何结构样本对应的真伪判别概率对所述几何结构生成网络和所述几何结构判别网络的参数进行调整的步骤包括：
根据所述生成几何结构样本和所述真实样本对应的真伪判别概率计算所述几何结构生成函数和所述几何结构判别网络的损失函数值；
根据所述几何结构生成网络和所述几何结构鉴别网络的损失函数值对所述几何结构生成网络和所述几何结构鉴别网络的参数进行调整。
优选地，所述利用所述生成图像样本和所述真实图像样本对所述图像生成网络和所述图像鉴别网络进行对抗训练，调整所述图像生成网络和所述图像鉴别网络的参数的步骤包括：
将所述生成图像样本和所述真实图像样本输入所述图像鉴别网络，获得所述生成图像样本和所述真实图像样本对应的真伪判别概率；
根据所述生成图像样本和所述真实图像样本对应的真伪判别概率对所述图像生成网络和所述图像判别网络的参数进行调整。
优选地，所述根据所述生成图像样本和所述真实图像样本对应的真伪判别概率对所述图像生成网络和所述图像判别网络的参数进行调整的步骤包括：
所述生成图像样本和所述真实图像样本对应的真伪判别概率计算所述图像生成网络和所述图像判别网络的损失函数值；
根据所述图像生成函数和所述图像判别网络的损失函数值对所述图像生成网络和所述图像鉴别网络的配置参数进行调整。
此外，为实现上述目的，本发明还提供一种图像的合成装置，所述图像的合成装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像的合成程序，所述图像的合成程序被所述处理器执行时实现如上任一项所述的图像的合成方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有图像的合成程序，所述图像的合成程序被处理器执行时实现如上任一项所述的图像的合成方法的步骤。
本发明实施例提出的一种图像的合成方法、装置和存储介质，在接收到图像合成指令时，获取所述图像合成指令对应的噪声向量，然后将所述噪声向量输入预设的几何结构生成网络，得到所述噪声向量对应的几何结构，然后将所述噪音向量对应的几何结构输入预设的图像生成网络，得到所述噪声向量对应的合成图像，所述几何结构生成网络和所述图像生成网络通过生成对抗网络模型训练得到。由于合成图像是在几何结构信息的约束下生成，提高了合成图像在整体结构上的逼真度。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明图像的合成方法第一实施例的流程示意图；
图3为本发明图像的合成方法第二实施例的流程示意图；
图4为本发明图像的合成方法第三实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：
在接收到图像合成指令时，获取所述图像合成指令对应的噪声向量；
将所述噪声向量输入预设的几何结构生成网络，得到所述噪声向量对应的几何结构；
将所述噪音向量对应的几何结构输入预设的图像生成网络，得到所述噪声向量对应的合成图像，所述几何结构生成网络和所述图像生成网络通过生成对抗网络模型训练得到。
由于现有技术中，基于生成对抗网络合成图像一般是通过噪声向量直接生成图像，得到的图像在整体结构上容易失真。
本发明提供一种解决方案，使合成图像是在几何结构信息的约束下生成，在整体结构上的逼真度较高。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像的合成程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的图像的合成程序，并执行以下操作：
在接收到图像合成指令时，获取所述图像合成指令对应的噪声向量；
将所述噪声向量输入预设的几何结构生成网络，得到所述噪声向量对应的几何结构；
将所述噪音向量对应的几何结构输入预设的图像生成网络，得到所述噪声向量对应的合成图像，所述几何结构生成网络和所述图像生成网络通过生成对抗网络模型训练得到。
进一步地，处理器1001可以调用存储器1005中存储的图像的合成程序，还执行以下操作：
基于卷积神经网络构建几何结构生成网络、几何结构鉴别网络、图像生成网络和图像鉴别网络；
获取训练样本集，所述训练样本集包括预设的噪声样本、真实图像样本和所述真实图像样本对应的真实几何结构样本；
基于所述训练样本集对所述几何结构生成网络、所述几何结构鉴别网络、所述图像生成网络和所述图像鉴别网络进行对抗训练。
进一步地，处理器1001可以调用存储器1005中存储的图像的合成程序，还执行以下操作：
在获取到真实图像样本时，利用几何结构提取算子对所述图像样本进行特征提取，得到所述图像样本对应的真实几何结构样本，其中，所述几何结构提取算子包括自动编码器和图像边缘检测算子中的一种。
进一步地，处理器1001可以调用存储器1005中存储的图像的合成程序，还执行以下操作：
将所述噪声样本输入所述结构生成网络中，得到所述噪声样本对应的生成几何结构样本；
利用所述生成几何结构样本和所述真实几何结构样本对所述几何结构生成网络和所述几何结构鉴别网络进行对抗训练，调整所述几何结构生成网络和所述几何结构鉴别网络的参数；
将所述生成几何结构样本输入所述图像生成网络，得到所述噪声样本对应的生成图像样本；
利用所述生成图像样本和所述真实图像样本对所述图像生成网络和所述图像鉴别网络进行对抗训练，调整所述图像生成网络和所述图像鉴别网络的参数。
进一步地，处理器1001可以调用存储器1005中存储的图像的合成程序，还执行以下操作：
将所述生成几何结构样本和所述真实几何结构样本输入所述几何结构鉴别网络，获得所述生成几何结构样本和所述真实几何结构样本对应的真伪判别概率；
根据所述生成几何结构样本和所述真实几何结构样本对应的真伪判别概率对所述几何结构生成网络和所述几何结构判别网络的参数进行调整。
进一步地，处理器1001可以调用存储器1005中存储的图像的合成程序，还执行以下操作：
根据所述生成几何结构样本和所述真实样本对应的真伪判别概率计算所述几何结构生成函数和所述几何结构判别网络的损失函数值；
根据所述几何结构生成网络和所述几何结构鉴别网络的损失函数值对所述几何结构生成网络和所述几何结构鉴别网络的参数进行调整。
进一步地，处理器1001可以调用存储器1005中存储的图像的合成程序，还执行以下操作：
将所述生成图像样本和所述真实图像样本输入所述图像鉴别网络，获得所述生成图像样本和所述真实图像样本对应的真伪判别概率；
根据所述生成图像样本和所述真实图像样本对应的真伪判别概率对所述图像生成网络和所述图像判别网络的参数进行调整。
进一步地，处理器1001可以调用存储器1005中存储的图像的合成程序，还执行以下操作：
所述生成图像样本和所述真实图像样本对应的真伪判别概率计算所述图像生成网络和所述图像判别网络的损失函数值；
根据所述图像生成函数和所述图像判别网络的损失函数值对所述图像生成网络和所述图像鉴别网络的配置参数进行调整。
根据上述方案，在接收到图像合成指令时，获取所述图像合成指令对应的噪声向量，然后将所述噪声向量输入预设的几何结构生成网络，得到所述噪声向量对应的几何结构，然后将所述噪音向量对应的几何结构输入预设的图像生成网络，得到所述噪声向量对应的合成图像，所述几何结构生成网络和所述图像生成网络通过生成对抗网络模型训练得到。由于合成图像是在几何结构信息的约束下生成，提高了合成图像在整体结构上的逼真度。
参照图2，图2为本发明图像的合成方法第一实施例的流程示意图，所述图像的合成方法包括：
步骤S10，在接收到图像合成指令时，获取所述图像合成指令对应的噪声向量；
本发明提供的图像的合成方法主要用于图像处理领域，尤其用于图像的合成。本发明提供的图像的合成方法涉及的终端包括但不限于手机、平板电脑和电脑等，所述终端上预先加载有相关的应用系统或软件。
本实施例中，所述图像的合成方法相关的应用系统或软件中预先建立有几何结构生成网络和图像生成网络，并通过训练几何进行训练。在需要进行图像合成时，用户输入图像合成指令，并输入一个噪声向量。终端在接收到图像合成指令时，获取所述图像合成指令对应的噪声向量。
步骤S20，将所述噪声向量输入预设的几何结构生成网络，得到所述噪声向量对应的几何结构；
终端获取到噪声向量后，将所述噪声向量输入预设的几何结构生成网络，得到所述噪声向量对应的几何结构。其中，所述几何结构生成网络是一个神经网络，其输入是噪声向量，输出是几何结构空间的一个图像，该神经网络可采用各种图像生成人工神经网络，如基于卷积神经网的各种用来生成图像的变种模型。
步骤S30，将所述噪音向量对应的几何结构输入预设的图像生成网络，得到所述噪声向量对应的合成图像，所述几何结构生成网络和所述图像生成网络通过生成对抗网络模型训练得到。
得到所述噪声向量对应的几何结构后，终端将所述几何结构输入图像生成网络，图像生成网络根据所述几何结构和图像细节生成图像，从而得到所述噪声向量对应的合成图像。其中，图像生成网络是一个图像生成神经网，输入是几何结构空间上的数据，输出一个图像空间上的一个图像。该网络可采用基于卷积神经网为了生成图像进行改造的各种变种，如金字塔卷积神经网等，该网络一般由多个卷积层和池化层构成。
本实施例中，所述几何结构生成网络和所述图像生成网络可基于神经网络进行构建，并通过生成对抗网络模型进行训练。
本实施例提供的技术方案，在接收到图像合成指令时，获取所述图像合成指令对应的噪声向量，然后将所述噪声向量输入预设的几何结构生成网络，得到所述噪声向量对应的几何结构，然后将所述噪音向量对应的几何结构输入预设的图像生成网络，得到所述噪声向量对应的合成图像，所述几何结构生成网络和所述图像生成网络通过生成对抗网络模型训练得到。由于合成图像是在几何结构信息的约束下生成，提高了合成图像在整体结构上的逼真度。
进一步的，参照图3，参照图3，图3为本发明图像的合成方法第二实施例的流程示意图，基于第一实施例，所述图像的合成方法还包括：
步骤S40，基于卷积神经网络构建几何结构生成网络、几何结构鉴别网络、图像生成网络和图像鉴别网络；
步骤S50，获取训练样本集，所述训练样本集包括预设的噪声样本、真实图像样本和所述真实图像样本对应的真实几何结构样本；
步骤S60，基于所述训练样本集对所述几何结构生成网络、所述几何结构鉴别网络、所述图像生成网络和所述图像鉴别网络进行对抗训练。
本实施例涉及的实现基于几何结构先验的图像生成的模块包括四个子模块：几何结构生成网络、几何结构鉴别网络、图像生成网络和图像鉴别网络。四个子模块构成两组对抗，分别是几何结构生成网络和几何结构鉴别网络构成的在几何结构空间上的对抗，以及图像生成网络和图像鉴别网络构成的在图像空间上的对抗。几何结构生成网络是一个神经网络，其输入是噪声向量，输出是几何结构空间的一个图像。该神经网络可采用各种图像生成人工神经网络，如基于卷积神经网的各种用来生成图像的变种模型。几何结构鉴别网络是一个卷积神经网，输入是几何结构空间上的图像，输出是一个拟合函数。该网络一般有两部分构成，第一部分是一个多层卷积网，由多个卷积层和多个池化层构成，用来对输入的图像进行特征提取；第二部分由若干全连接层构成，最后一层输出的是一个一维标量值，其值介于0～1(包括端点)之间，用来度量输入的几何结构的真假(真实的训练数据还是神经网络合成的数据)置信度。图像生成网络是一个图像生成神经网，输入是几何结构空间上的数据，输出一个图像空间上的一个图像。该网络可采用基于卷积神经网为了生成图像进行改造的各种变种，如金字塔卷积神经网等，该网络一般由多个卷积层和池化层构成。图像真伪网络也是一个卷积神经网，输入是图像空间的一个数据，输出一个标量，其值介于0～1(包括端点)之间，用来判别输入图像的真假置信度。除了上述四个子模块外，还配置有两个优化函数，分别是在几何结构空间上博弈对抗学习的损失函数LOSS1；在图像空间上博弈对抗学习对应的损失函数LOSS2。分别如下：
LOSS1＝d1+g1
LOSS2＝d2+g2
公式中包含的因子分别为：
d1＝logD1(h xi)+log(1-D1(G1(zi)))
g1＝log(1-D1(G(zi)))
d2＝logD2(xi)+log(1-D2(G2(G1(zi))))
g2＝log(1-D2(G2(G1(zi))))
其中xi表示真实图像样本，h xi表示真实图像样本xi对应的真实几何结构样本，zi表示噪声向量，D1表示几何结构鉴别器(几何结构鉴别网络)，G1表示几何结构生成器(几何结构生成网络)，D2表示图像鉴别器(图像鉴别网络)，G2表示图像生成器(图像生成网络)。d1为几何结构鉴别网络的损失函数，g1为几何结构生成网络的损失函数，d2为图像生成网络的损失函数，g2为图像生成网络的损失函数。
进一步地，本实施例中，还设置有几何结构先验表示模块，用于实现真实图像的几何结构的抽取表示，该模块可以是一个图像压缩系统，例如自动编码器或是一个图像边缘检测算子。然后设定几何结构所在空间的维数N，通过该模块，针对训练集中的每个真实图像样本xi，进行特征提取，得到真实图像样本xi对应的真实几何结构样本h xi。这些真实几何结构样本的维数等于N，从而得到描述几何结构的训练集合H_X。
网络构建之后，即可通过对抗学习对四个子模块进行训练，得到训练后的子模块。具体地，获取到样本集后，基于所述训练样本集对所述几何结构生成网络、所述几何结构鉴别网络、所述图像生成网络和所述图像鉴别网络进行对抗训练。其中，所述训练样本集包括预设数量的噪声样本、真实图像样本和所述真实图像样本对应的真实几何结构样本。在进行对抗训练时，可预先设置对抗训练的次数，当训练次数达到预设次数时，模型训练结束，可人工检查训练结果例如损失函数值的变化情况，来对训练结果是否符合要求进行评估。当评估认为训练结果符合要求时，即可将当前的几何结构生成网络、几何结构鉴别网络、图像生成网络和图像鉴别网络确定为训练完成的几何结构生成网络、几何结构鉴别网络、图像生成网络和图像鉴别网络。当评估认为训练结果不符合要求时，可再次进行训练，直至满足要求为止。可以理解的是，训练完成的系统在使用过程中，可根据需要随时进行再次训练。
本实施例提供的技术方案，首先基于卷积神经网络构建几何结构生成网络、几何结构鉴别网络、图像生成网络和图像鉴别网络，然后获取训练样本集，所述训练样本集包括预设数量的噪声样本、真实图像样本和所述真实图像样本对应的真实几何结构样本，然后基于所述训练样本集对所述几何结构生成网络、所述几何结构鉴别网络、所述图像生成网络和所述图像鉴别网络进行对抗训练，从而提高几何结构生成网络生成几何结构的真实度和图像生成网络生成图像的真实度。
进一步的，参照图4，参照图4，图4为本发明图像的合成方法第三实施例的流程示意图，基于第二实施例，所述步骤S60的细化步骤包括：
步骤S61，将所述噪声样本输入所述结构生成网络中，得到所述噪声样本对应的生成几何结构样本；
步骤S62，利用所述生成几何结构样本和所述真实几何结构样本对所述几何结构生成网络和所述几何结构鉴别网络进行对抗训练，调整所述几何结构生成网络和所述几何结构鉴别网络的参数；
步骤S63，将所述生成几何结构样本输入所述图像生成网络，得到所述噪声样本对应的生成图像样本；
步骤S64，利用所述生成图像样本和所述真实图像样本对所述图像生成网络和所述图像鉴别网络进行对抗训练，调整所述图像生成网络和所述图像鉴别网络的参数。
几何结构空间的生成对抗网络由几何结构生成网络和几何结构鉴别网络组成，几何结构生成网络的作用是生成符合真实几何结构特征的几何结构，来欺骗判别网络，而鉴别网络的作用是鉴别几何结构是生成几何结构还是真实几何结构，通过训练集不断地进行对抗训练，从而不断优化几何结构生成网络和几何结构鉴别网络，最终使得鉴别网络无法识别出几何结构生成网络生成的几何结构的真假。
终端将所述噪声样本输入所述结构生成网络中，得到所述噪声样本对应的生成几何结构样本，然后利用所述生成几何结构样本和所述真实几何结构样本对所述几何结构生成网络和所述几何结构鉴别网络进行对抗训练，调整所述几何结构生成网络和所述几何结构鉴别网络的参数。参数的调节和通过训练过程中得到的真伪判别概率来实现，即终端将所述生成几何结构样本和所述真实几何结构样本输入所述几何结构鉴别网络，获得所述生成几何结构样本和所述真实几何结构样本对应的真伪判别概率，然后根据所述生成几何结构样本和所述真实几何结构样本对应的真伪判别概率对所述几何结构生成网络和所述几何结构判别网络的参数进行调整。进一步地，根据真伪判别概率调节几何结构生成器和几何结构鉴别器可具体按照下述方式实现：终端根据所述生成几何结构样本和所述真实样本对应的真伪判别概率计算所述几何结构生成函数和所述几何结构判别网络的损失函数值，然后根据所述几何结构生成网络和所述几何结构鉴别网络的损失函数值对所述几何结构生成网络和所述几何结构鉴别网络的参数进行调整。例如，可按照下述公式调整几何结构生成网络和几何结构鉴别网络的参数：
其中，hxi表示真实图像样本xi对应的真实几何结构样本，zi表示噪声向量，D1表示几何结构鉴别网络，G1表示几何结构生成网络，θD1表示几何结构鉴别网络的参数，θG1表示几何结构生成网络的参数，α为常数，表示求导，m表示样本数量。
图像空间的生成对抗网络由图像生成网络和图像鉴别网络组成，图像生成网络的作用是生成符合真实图像特征的图像，来欺骗图像判别网络，而图像鉴别网络的作用是鉴别图像是生成图像还是真实图像，通过训练集不断地进行对抗训练，从而不断图像生成网络和图像鉴别网络，最终使得鉴别网络无法识别出图像生成网络生成的图像的真假。
终端将所述生成几何结构样本输入所述图像网络中，得到所述噪声样本对应的生成图像样本，然后利用所述生成图像样本和所述真实图像样本对所述图像生成网络和所述图像鉴别网络进行对抗训练，调整所述图像生成网络和所述图像鉴别网络的参数。参数的调节和通过训练过程中得到的真伪判别概率来实现，即终端将所述生成图像样本和所述真实图像样本输入所述图像鉴别网络，获得所述生成图像样本和所述真实图像样本对应的真伪判别概率，然后根据所述生成图像样本和所述真实图像样本对应的真伪判别概率对所述图像生成网络和所述图像判别网络的参数进行调整。进一步地，根据真伪判别概率调节图像生成器和图像鉴别器可具体按照下述方式实现：终端根据所述生成图像样本和所述真实图像样本对应的真伪判别概率计算所述图像生成网络和所述图像判别网络的损失函数值，然后根据所述图像生成网络和所述图像鉴别网络的损失函数值对所述图像生成网络和所述图像鉴别网络的参数进行调整。例如，可按照下述公式调整图像生成网络和图像鉴别网络的参数：
其中，xi表示真实图像样本，zi表示噪声向量，D2表示图像鉴别网络，G2表示图像生成网络，θD2表示图像鉴别网络的参数，θG2表示图像生成网络的参数，α为常数，表示求导，m表示样本数量。
需要理解的是，上述四个神经网络(几何结构生成网络、几何结构鉴别网络、图像生成网络和图像鉴别网络)可同步训练，即可预先采样m个批次噪声样本{z1,z2,…,zm}，采样m个批次真实图像样本{x1,x2,…,xm}，及所述真实图像样本对应的真实几何结构样本{hx1,hx2,…,hxm}，然后设置遍历训练集合的次数(即迭代次数)M，终端即可按照上述方式对所述四个神经网络进行训练，其中样本个数m及遍历次数M可根据实际情况自行设置，在此不做具体限制。当训练过程中，遍历次数达到预设的迭代次数M时，结束训练，然后即可通过人工损失函数的值变化情况等，对练结果是否符合要求进行评估。
本实施例提供的技术方案，由几何结构生成网络和几何结构鉴别网络组成的几何结构空间的生成对抗网络以及由图像生成网络和图像鉴别网络组成的图像空间的生成对抗网络同时进行对抗训练，提升了网络模型的训练速度。
此外，为实现上述目的，本发明实施例还提供一种图像的合成装置，所述图像的合成装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像的合成程序，所述图像的合成程序被所述处理器执行时实现如上任一实施例所述的图像的合成方法的步骤。
此外，为实现上述目的，本发明实施例还提供一种存储介质，所述存储介质上存储有图像的合成程序，所述图像的合成程序被处理器执行时实现如上任一实施例所述的图像的合成方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种图像的合成方法，其特征在于，所述图像的合成方法包括以下步骤：
在接收到图像合成指令时，获取所述图像合成指令对应的噪声向量；
将所述噪声向量输入预设的几何结构生成网络，得到所述噪声向量对应的几何结构；
将所述噪音向量对应的几何结构输入预设的图像生成网络，得到所述噪声向量对应的合成图像，所述几何结构生成网络和所述图像生成网络通过生成对抗网络模型训练得到。
2.如权利要求1所述图像的合成方法，其特征在于，所述图像的合成方法还包括：
基于卷积神经网络构建几何结构生成网络、几何结构鉴别网络、图像生成网络和图像鉴别网络；
获取训练样本集，所述训练样本集包括预设的噪声样本、真实图像样本和所述真实图像样本对应的真实几何结构样本；
基于所述训练样本集对所述几何结构生成网络、所述几何结构鉴别网络、所述图像生成网络和所述图像鉴别网络进行对抗训练。
3.如权利要求2所述的图像的合成方法，其特征在于，所述获取训练样本集，所述训练样本集包括预设的噪声样本、真实图像样本和所述真实图像样本对应的真实几何结构样本的步骤之前，还包括：
在获取到真实图像样本时，利用几何结构提取算子对所述图像样本进行特征提取，得到所述图像样本对应的真实几何结构样本，其中，所述几何结构提取算子包括自动编码器和图像边缘检测算子中的一种。
4.如权利要求2-3任一项所述图像的合成方法，其特征在于，所述基于所述训练样本集对所述几何结构生成网络、所述几何结构鉴别网络、所述图像生成网络和所述图像鉴别网络进行对抗训练的步骤包括：
将所述噪声样本输入所述结构生成网络中，得到所述噪声样本对应的生成几何结构样本；
利用所述生成几何结构样本和所述真实几何结构样本对所述几何结构生成网络和所述几何结构鉴别网络进行对抗训练，调整所述几何结构生成网络和所述几何结构鉴别网络的参数；
将所述生成几何结构样本输入所述图像生成网络，得到所述噪声样本对应的生成图像样本；
利用所述生成图像样本和所述真实图像样本对所述图像生成网络和所述图像鉴别网络进行对抗训练，调整所述图像生成网络和所述图像鉴别网络的参数。
5.如权利要求4所述的图像的合成方法，其特征在于，所述利用所述生成几何结构样本和所述真实几何结构样本对所述几何结构生成网络和所述几何结构鉴别网络进行对抗训练，调整所述几何结构生成网络和所述几何结构鉴别网络的参数的步骤包括：
将所述生成几何结构样本和所述真实几何结构样本输入所述几何结构鉴别网络，获得所述生成几何结构样本和所述真实几何结构样本对应的真伪判别概率；
根据所述生成几何结构样本和所述真实几何结构样本对应的真伪判别概率对所述几何结构生成网络和所述几何结构判别网络的参数进行调整。
6.如权利要求5所述的图像的合成方法，其特征在于，所述根据所述生成几何结构样本和所述真实几何结构样本对应的真伪判别概率对所述几何结构生成网络和所述几何结构判别网络的参数进行调整的步骤包括：
根据所述生成几何结构样本和所述真实样本对应的真伪判别概率计算所述几何结构生成函数和所述几何结构判别网络的损失函数值；
根据所述几何结构生成网络和所述几何结构鉴别网络的损失函数值对所述几何结构生成网络和所述几何结构鉴别网络的参数进行调整。
7.如权利要求4所述的图像的合成方法，其特征在于，所述利用所述生成图像样本和所述真实图像样本对所述图像生成网络和所述图像鉴别网络进行对抗训练，调整所述图像生成网络和所述图像鉴别网络的参数的步骤包括：
将所述生成图像样本和所述真实图像样本输入所述图像鉴别网络，获得所述生成图像样本和所述真实图像样本对应的真伪判别概率；
根据所述生成图像样本和所述真实图像样本对应的真伪判别概率对所述图像生成网络和所述图像判别网络的参数进行调整。
8.如权利要求7所述的图像的合成方法，其特征在于，所述根据所述生成图像样本和所述真实图像样本对应的真伪判别概率对所述图像生成网络和所述图像判别网络的参数进行调整的步骤包括：
所述生成图像样本和所述真实图像样本对应的真伪判别概率计算所述图像生成网络和所述图像判别网络的损失函数值；
根据所述图像生成函数和所述图像判别网络的损失函数值对所述图像生成网络和所述图像鉴别网络的配置参数进行调整。
9.一种图像的合成装置，其特征在于，所述图像的合成装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像的合成程序，所述图像的合成程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像的合成方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有图像的合成程序，所述图像的合成程序被处理器执行时实现如权利要求1至8中任一项所述的图像的合成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910153990.5A CN109816614A (zh) | 2019-02-28 | 2019-02-28 | 图像的合成方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910153990.5A CN109816614A (zh) | 2019-02-28 | 2019-02-28 | 图像的合成方法、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109816614A true CN109816614A (zh) | 2019-05-28 |
Family
ID=66607862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910153990.5A Pending CN109816614A (zh) | 2019-02-28 | 2019-02-28 | 图像的合成方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109816614A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529978A (zh) * | 2020-12-07 | 2021-03-19 | 四川大学 | 一种人机交互式抽象画生成方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016406A (zh) * | 2017-02-24 | 2017-08-04 | 中国科学院合肥物质科学研究院 | 基于生成式对抗网络的病虫害图像生成方法 |
| CN107358626A (zh) * | 2017-07-17 | 2017-11-17 | 清华大学深圳研究生院 | 一种利用条件生成对抗网络计算视差的方法 |
| CN107909621A (zh) * | 2017-11-16 | 2018-04-13 | 深圳市唯特视科技有限公司 | 一种基于双生成对抗网络的医学图像合成方法 |
| CN108197525A (zh) * | 2017-11-20 | 2018-06-22 | 中国科学院自动化研究所 | 人脸图像生成方法及装置 |
| CN109190684A (zh) * | 2018-08-15 | 2019-01-11 | 西安电子科技大学 | 基于素描及结构生成对抗网络的sar图像样本生成方法 |
-
2019
- 2019-02-28 CN CN201910153990.5A patent/CN109816614A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016406A (zh) * | 2017-02-24 | 2017-08-04 | 中国科学院合肥物质科学研究院 | 基于生成式对抗网络的病虫害图像生成方法 |
| CN107358626A (zh) * | 2017-07-17 | 2017-11-17 | 清华大学深圳研究生院 | 一种利用条件生成对抗网络计算视差的方法 |
| CN107909621A (zh) * | 2017-11-16 | 2018-04-13 | 深圳市唯特视科技有限公司 | 一种基于双生成对抗网络的医学图像合成方法 |
| CN108197525A (zh) * | 2017-11-20 | 2018-06-22 | 中国科学院自动化研究所 | 人脸图像生成方法及装置 |
| CN109190684A (zh) * | 2018-08-15 | 2019-01-11 | 西安电子科技大学 | 基于素描及结构生成对抗网络的sar图像样本生成方法 |
Non-Patent Citations (1)
| Title |
|---|
| XIAOLONG WANG: "Generative Image Modeling Using Style and Structure Adversarial Networks", 《SPRINGER》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529978A (zh) * | 2020-12-07 | 2021-03-19 | 四川大学 | 一种人机交互式抽象画生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106910247A (zh) | 用于生成三维头像模型的方法和装置 | |
| JP7357706B2 (ja) | アバター生成装置およびコンピュータプログラム | |
| US11869524B2 (en) | Audio processing method and apparatus, computer device, and storage medium | |
| CN112669417B (zh) | 虚拟形象的生成方法、装置、存储介质及电子设备 | |
| CN108197618A (zh) | 用于生成人脸检测模型的方法和装置 | |
| CN111833236B (zh) | 产生模拟用户的三维脸部模型的方法及装置 | |
| CN110624244B (zh) | 游戏中脸部模型的编辑方法、装置和终端设备 | |
| CN109982124A (zh) | 用户场景智能分析方法、装置和存储介质 | |
| CN110458829A (zh) | 基于人工智能的图像质控方法、装置、设备及存储介质 | |
| CN112221145B (zh) | 游戏脸模生成方法及装置、存储介质及电子设备 | |
| CN107507153A (zh) | 图像去噪方法和装置 | |
| CN107910060A (zh) | 用于生成信息的方法和装置 | |
| CN112652041B (zh) | 虚拟形象的生成方法、装置、存储介质及电子设备 | |
| CN108388889A (zh) | 用于分析人脸图像的方法和装置 | |
| WO2020181706A1 (zh) | 植物种类的识别方法及装置 | |
| CN108170282A (zh) | 用于控制三维场景的方法和装置 | |
| CN109145783A (zh) | 用于生成信息的方法和装置 | |
| CN108510084A (zh) | 用于生成信息的方法和装置 | |
| CN109816614A (zh) | 图像的合成方法、装置和存储介质 | |
| CN108509041A (zh) | 用于执行操作的方法和装置 | |
| Polasek et al. | ICTree: Automatic perceptual metrics for tree models | |
| CN117271749A (zh) | 一种元宇宙场景非玩家角色的创建方法及计算机 | |
| CN112364478A (zh) | 基于虚拟现实的测试方法及相关装置 | |
| CN115914505A (zh) | 基于语音驱动数字人模型的视频生成方法及系统 | |
| CN113643417B (zh) | 图像调整方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190528 |