CN110175966A - 非配对图像生成方法、系统、服务器及存储介质 - Google Patents
非配对图像生成方法、系统、服务器及存储介质 Download PDFInfo
- Publication number
- CN110175966A CN110175966A CN201910464892.3A CN201910464892A CN110175966A CN 110175966 A CN110175966 A CN 110175966A CN 201910464892 A CN201910464892 A CN 201910464892A CN 110175966 A CN110175966 A CN 110175966A
- Authority
- CN
- China
- Prior art keywords
- image
- function
- loss function
- confrontation network
- segmented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000004519 manufacturing process Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 49
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 73
- 238000012545 processing Methods 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 20
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005291 magnetic effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000005267 amalgamation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种非配对图像生成方法、系统、服务器及存储介质，其中，方法包括：获取原始图像，并对原始图像进行实例分割，得到实例分割图像；将原始图像和所述实例分割图像进行图像融合；将融合后的图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据所图像生成模型的输出得到目标图像，其中，改进的生成式对抗网络为融入实例相关损失函数的生成式对抗网络。本发明实施例引入实例监督信息对图像生成过程进行监督，并在生成式对抗网络中引入实例相关损失函数，使得模型训练时增强实例/非实例区域图像生成过程的区分性，确保了训练好的图像生成模型能有效提高对非实例区域虚假影像干扰的抑制能力。
Description
技术领域
本发明实施例涉及图像技术领域，尤其涉及一种非配对图像生成方法、系统、服务器及存储介质。
背景技术
随着生成式对抗网络(Generative Adversarial Networks，GAN)的提出、发展和应用，近年来图像自动生成领域的技术得到了快速的发展，以pix2pix、CycleGAN、DualGAN、DiscoGAN等为代表的诸多方法表现出了较为出色的图像生成效果。从训练样本的配对约束角度，基于GAN的图像生成方法总体上可分为配对GAN图像生成方法(如pix2pix等)和非配对GAN图像生成方法(如CycleGAN、DualGAN、DiscoGAN等)。
在这些方法中，配对GAN图像生成方法因能引入监督信息来引导生成过程，所以获得了较好的图像生成结果，例如pix2pix在训练时，将输入图像作为条件信息和生成图像一并送入判别器进行判别，从而对图像生成过程起到了引导作用；而非配对GAN图像生成方法则因训练无需配对图像而节省了大量的样本标注、准备时间，随之降低了应用门槛而受到了广泛的关注，但是，由于非配对GAN图像生成方法缺乏不同映射域样本之间的一一对应关系，故难以直接用输入图像本身作为监督信息去对图像的生成过程进行有效的约束，仅能通过所定义的单个或多个LOSS函数来对生成结果进行约束，然而，这种相对于直接监督方式的较弱约束常常会导致在图像生成过程中出现一些不合理的现象，例如，在所关注实例以外的区域中生成了一些本不该有的虚假影像干扰，从而使得所生成图片的“真实性”降低，严重时甚至会导致生成失败，这种缺陷也极大地限制了该技术的进一步应用。
发明内容
本发明实施例提供了一种非配对图像生成方法、系统、服务器及存储介质，以解决利用现有非配对图像生成方法生成图像过程中对虚假影像干扰抑制能力差的技术问题。
第一方面，本发明实施例提供了一种非配对图像生成方法，包括：
获取原始图像，并对所述原始图像进行实例分割，得到实例分割图像；
将所述原始图像和所述实例分割图像进行图像融合；
将融合后的图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据所述图像生成模型的输出得到目标图像，其中，所述改进的生成式对抗网络为融入实例相关损失函数的生成式对抗网络。
第二方面，本发明实施例提供了一种非配对图像生成系统，包括：
实例分割模块，用于获取原始图像，并对所述原始图像进行实例分割，得到实例分割图像；
实例信息融合模块，用于将所述原始图像和所述实例分割图像进行图像融合；
图像生成模块，用于将融合后的图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据所述图像生成模型的输出得到目标图像，所述改进的生成式对抗网络为融入实例相关损失函数的生成式对抗网络。
第三方面，本发明实施例还提供了一种服务器，所述服务器包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的非配对图像生成方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的非配对图像生成方法。
本发明实施例提供的非配对图像生成方法、系统、服务器及存储介质，通过将对原始图像进行分割处理得到的实例分割图像，并将实例分割图像与原始图像融合，由此实现了自动准确的引入了实例监督信息对图像生成过程进行监督，同时将融合后的图像数据输入到基于融入实例相关损失函数的生成式对抗网络训练的图像生成模型中，得到目标图像，由于在生成式对抗网络中引入实例相关损失函数，使得模型训练时增强实例/非实例区域图像生成过程的区分性，确保了利用训练好的图像生成模型能有效提高对非实例区域虚假影像干扰的抑制能力。
附图说明
图1是本发明实施例一提供的一种非配对图像生成方法的流程示意图；
图2是本发明实施例二提供的一种图像生成模型训练方法的流程示意图；
图3是本发明实施例三提供的一种非配对图像生成系统的结构示意图；
图4是本发明实施例四提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种非配对图像生成方法的流程图，本实施例可适用于需要快速准确生成图像的情况，该方法可以由非配对图像生成系统执行，该系统可配置在服务器上。
如图1所示，本发明实施例中提供的非配对图像生成方法可以包括：
S101、获取原始图像，并对所述原始图像进行实例分割，得到实例分割图像。
其中，原始图片也即是待输入到图像生成模型的图像，对于获取到的原始图像，可采用Mask R-CNN(Mask Region-based Convolutional Neural Network)方法进行实例分割。在此需要说明的是，对原始图像进行实例分割还可以采用Fully ConvolutionalNetworks for Semantic Segmentation(FCN)、SegNet、DeconvNet、DeepLab、GrabCut或Conditional Random Field(CRF)中的任意一种实例分割方法进行实例分割。
而在通过实例分割方法获得实例分割图像时，可按照如下步骤进行：
S1.对所述原始图像进行实例分割处理，得到带有不同实例对象信息的分割图像。
具体的，对原始图像上存在的实例对象进行检测，并对各实例对象进行分类，确定实例对象是人，是车或是其他类别，再对每个实例对象进行像素级分割，即确定每个实例对象对应的像素为前景，其余像素为背景。示例性的，原始图片中包括篮球、桌子和人，则通过实例分割处理后的分割图像同时包括实例对象篮球、桌子和人。
S2.对所述分割图像进行实例筛选，保留预先指定的实例类别所对应的分割图像作为实例分割图像。
其中，预先指定的实例类别也即是用户关注的实例所属的类别，示例性的，若用户指定的实例对象类别为篮球，则对分割图像进行实例筛选，将实例对象为篮球的保留，并将其它所有实例对象处理为背景，由此得到最终的实例分割图像，其中，最终的实例分割图像为二值化图像，例如实例对象所在区域为白色，其余区域为黑色。其中得到的实例分割图像作为监督信息，用于在原始图像生成目标图像过程中进行指导。
S102、将所述原始图像和所述实例分割图像进行图像融合。
对于得到的实例分割图像(也即是监督信息)，通过将原始图像及其对应的实例分割图像进行图像融合，以便基于融合后的图像生成目标图像，由此实现了在图像生成过程中引入监督信息，提升生成图像的准确性。具体的，可通过平面融合的方式进行图像融合，其中，平面融合包括垂直拼接和水平拼接。优选的，可将原始图像和实例分割图像水平拼接，例如以原始图像在左，实例分割图像在右的方式拼接。
S103、将融合后的图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据所述图像生成模型的输出得到目标图像，其中，所述改进的生成式对抗网络为融入实例相关损失函数的生成式对抗网络。
其中，在构建完生成式对抗网络后，将预先构建的实例相关损失函数融入到生成式对抗网络中，具体的，可将实例相关损失函数与生成式对抗网络的原始损失函数进行求和，并将和值作为改进的生成式对抗网络的损失函数。对于得到的改进的生成式对抗网络，利用预先准备的训练样本进行训练。且在训练过程中，实例相关损失函数用于标识训练样本图像中用户关注的实例区域与非用户关注的区域在图像生成过程的区分性，也即是实例相关损失函数用于指导图像生成过程，以保证训练样本图像中的非用户关注的区域在生成后的结果图像中保持不变。如此，通过引入实例相关损失函数，使得训练完成后得到的图像生成模型具备较强的虚假影响抑制能力。
在利用该图像生成模型生成目标图片时，只需将S102中得到的融合后的图像输入到该图像生成模型中，即可得到目标图像，其中，目标图像中除了用户指定的实例对象外，其它非指定实例对象所在区域保持不变，由此解决了生成结果图片中时常出现的虚假影像干扰问题。
进一步的，对于得到的目标图像，还可对其进行输出展示，以便用户可以查看生成效果和准确性。
本发明实施例中，通过将对原始图像进行分割处理得到的实例分割图像，并将实例分割图像与原始图像融合，由此实现了自动准确的引入了实例监督信息对图像生成过程进行监督，同时将融合后的图像数据输入到基于融入实例相关损失函数的生成式对抗网络训练的图像生成模型中，得到目标图像。由于在生成式对抗网络中引入实例相关损失函数，使得模型训练时增强了实例/非实例区域图像生成效果之间的区分性，由此保证利用训练好的图像生成模型能有效提高图像生成时对非实例区域虚假影像干扰的抑制能力，提高了生成的目标图像的准确性。
实施例二
图2为本发明实施例二提供的一种图像生成模型训练方法的流程示意图。本实施例以上述实施例为基础进行优化，增加改进的生成式对抗网络组成和训练过程。如图2所示，本发明实施例中提供的图像生成模型训练方法可以包括：
S201、对训练样本图像进行实例分割，得到基于训练样本的实例分割图像。
S202、将训练样本图像和得到的实例分割图像进行融合。
在训练图像生成模型时，对输入的训练样本图像预先按照S201-S202分别进行实例分割操作和图像融合处理，得到融合后的训练样本，其中，通过实例分割后得到的基于训练样本的实例分割图像为二值化图像，例如实例区域为白色，其它区域为黑色。而具体的实例分割方法和融合方式参见上述实施例，在此不再赘述。
S203、构建的生成式对抗网络，并融入实例相关损失函数。
因为用于训练的是融合了实例分割图像(监督信息)的训练样本图像，因此，理论上构建的是条件GAN，进行描述如下：
定义图像生成的域映射为：
{Z,Y}→{X,Y}
具体的生成对抗训练使用如下公式进行描述：
其中，E表示期望函数，x∈X表示输出的图像数据；y∈Y表示监督信息数据(即融入的实例分割图像数据)；z∈Z表示输入的待生成图像数据；pdataX表示输出图像数据的分布，pdataZ表示输入图像数据的分布；G、D分别为生成式对抗网络中的生成器、判别器，其中，生成器主要用于学习真实图像分布从而让自身生成更加真实的图像。判别器则需要对生成器生成的图像进行真假判别；V表示值函数，min、max分别表示最大值函数、最小值函数，log表示对数函数；G(z│y)表示在监督信息y下生成器生成的图像，D(x│y)表示判别器判断输出的图像数据x是否为来自真实数据。
构建的实例相关损失函数为：
LossInstance＝Ez～pdataZ(z)[||G(z)*finverse(mask)-z*finverse(mask)||1]；
其中，LossInstance为实例相关损失函数，mask为基于训练样本的实例分割图像，G(z)表示生成器生成的图像，“*”表示矩阵点乘，“|| ||1”表示1-范数，finverse为取反色函数，作用是将黑白二值图像置反，例如以8位无符号整形图像为例，反色函数可以为：
finverse(i,j)＝(255-mask(i,j))/255
其中，i,j为图像中像素点的行坐标、列坐标。
因此，只需将实例相关损失函数LossInstance与生成式对抗网络的原始损失函数LossGAN-old求和，并将和值作为改进的生成式对抗网络的损失函数。其中，实例相关损失函数用于指导图像生成过程，即保证输入的待生成图像数据z和生成器生成的图像G(z)相比，除了用户关注的实例对象外，其它非用户关注的区域在生成后的图像中保持不变，由此可解决生成结果图片中时常出现的虚假影像干扰问题。
S204、基于融合后的训练样本，训练融入实例相关损失函数后的生成式对抗网络，得到图像生成模型。
基于融合后的训练样本进行训练，可采用但不限于CycleGAN、DualGAN、DiscoGAN等方法进行训练，优选的，可从用CycleGAN的基本框架进行训练。在训练过程中，可将融合后的训练样本图像同时作用于改进的生成式对抗网络的生成器和判别器，以进行训练。在此需要说明的是，整个训练过程无需输入配对图像，训练方便，而且引入监督信息，提高了生成结果准确性。
训练完成后，得到图像生成模型，该模型具有抑制虚假影像干扰的能力，后续才可用该模型进行图像生成。
本发明实施例在图像生成模型训练过程中，通过训练样本图片中引入实例分割图像，用以监督指导图像生成，同时在生成式对抗网络中融入实例相关损失函数，使得训练出的图像生成模型具有虚假影像抑制能力，提高该模型的生成图片结果准确性。
实施例三
图3是本发明实施例三提供的一种非配对图像生成系统的结构示意图。如图3所示，该系统包括：
实例分割模块301，用于获取原始图像，并对所述原始图像进行实例分割，得到实例分割图像；
实例信息融合模块302，用于将所述原始图像和所述实例分割图像进行图像融合；
图像生成模块303，用于将融合后的图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据所述图像生成模型的输出得到目标图像，所述改进的生成式对抗网络为融入实例相关损失函数的生成式对抗网络。
本发明实施例中，通过将对原始图像进行分割处理得到的实例分割图像，并将实例分割图像与原始图像融合，由此实现了自动准确的引入了实例监督信息对图像生成过程进行监督，同时将融合后的图像数据输入到基于融入实例相关损失函数的生成式对抗网络训练的图像生成模型中，得到目标图像，由于在生成式对抗网络中引入实例相关损失函数，增强了实例/非实例区域图像生成效果之间的区分性，有效的提升了生成图像过程中对虚假影像干扰抑制能力，提升了生成的目标图像的准确性。
在上述实施例的基础上，构建的生成式对抗网络可用如下公式描述：
其中，G、D分别为生成式对抗网络中的生成器、判别器，E表示期望函数，V表示值函数，min、max分别表示最大值函数、最小值函数，log表示对数函数；x表示输出的图像数据；y表示监督信息数据；z表示输入的待生成图像数据；pdataX表示输出图像数据的分布，pdataZ表示输入图像数据的分布
在上述实施例的基础上，实例相关损失函数为：
LossInstance＝Ez～pdataz(z)[||G(z)*finverse(mask)-z*finverse(mask)||1]；
其中，lossInstance为实例相关损失函数，mask为基于训练样本的实例分割图像，“*”表示矩阵点乘，“|| ||1”表示1-范数，finverse为取反色函数；
相应的，改进的生成式对抗网络的损失函数为所述实例相关损失函数与所述生成式对抗网络的原始损失函数的和。
在上述实施例的基础上，所述实例分割模块具体用于：
对所述原始图像进行实例分割处理，得到带有不同实例对象信息的分割图像；
对所述分割图像进行实例筛选，保留预先指定的实例类别所对应的分割图像作为实例分割图像。
在上述实施例的基础上，将所述实例信息融合模块具体用于：
将所述原始图像和所述实例分割图像水平拼接。
在上述实施例的基础上，所述系统还包括：
图像输出模块，用于对生成的所述目标图像进行输出展示。
本发明实施例所提供的非配对图像生成系统可执行本发明任意实施例所提供的非配对图像生成方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的服务器的结构示意图。图4示出了适于用来实现本发明实施方式的示例性服务器12的框图。图4显示的服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，服务器12以通用计算设备的形式表现。服务器12的组件可以包括但不限于：一个或者多个处理器16(例如GPU)，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该服务器12交互的设备通信，和/或与使得该服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的非配对图像生成方法，该方法包括：
获取原始图像，并对所述原始图像进行实例分割，得到实例分割图像；
将所述原始图像和所述实例分割图像进行图像融合；
将融合后的图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据所述图像生成模型的输出得到目标图像，其中，所述改进的生成式对抗网络为融入实例相关损失函数的生成式对抗网络。
实施例五
本发明实施例中提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行非配对图像生成方法，该方法包括：
获取原始图像，并对所述原始图像进行实例分割，得到实例分割图像；
将所述原始图像和所述实例分割图像进行图像融合；
将融合后的图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据所述图像生成模型的输出得到目标图像，其中，所述改进的生成式对抗网络为融入实例相关损失函数的生成式对抗网络。
当然，本发明实施例中所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例中所提供的非配对图像生成方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合，还可以是GPU作为存储介质。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (13)
1.一种非配对图像生成方法，其特征在于，所述方法包括：
获取原始图像，并对所述原始图像进行实例分割，得到实例分割图像；
将所述原始图像和所述实例分割图像进行图像融合；
将融合后的图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据所述图像生成模型的输出得到目标图像，其中，所述改进的生成式对抗网络为融入实例相关损失函数的生成式对抗网络。
2.根据权利要求1所述的方法，其特征在于，构建的生成式对抗网络可用如下公式描述：
其中，G、D分别为生成式对抗网络中的生成器、判别器，E表示期望函数，V表示值函数，min、max分别表示最大值函数、最小值函数，log表示对数函数；x表示输出的图像数据；y表示监督信息数据；z表示输入的待生成图像数据；pdataX表示输出图像数据的分布，pdataZ表示输入图像数据的分布。
3.根据权利要求1或2所述的方法，其特征在于，实例相关损失函数为：
LossInstance＝Ez～pdataz(z)[||G(z)*finverse(mask)-z*finverse(mask)||1]；
其中，LossInstance为实例相关损失函数，mask为基于训练样本的实例分割图像，“*”表示矩阵点乘，“|| ||1”表示1-范数，finverse为取反色函数；
相应的，改进的生成式对抗网络的损失函数为所述实例相关损失函数与所述生成式对抗网络的原始损失函数的和。
4.根据权利要求1所述的方法，其特征在于，对所述原始图像进行实例分割，得到实例分割图像，包括：
对所述原始图像进行实例分割处理，得到带有不同实例对象信息的分割图像；
对所述分割图像进行实例筛选，保留预先指定的实例类别所对应的分割图像作为实例分割图像。
5.根据权利要求1所述的方法，其特征在于，将所述原始图像和所述实例分割图像进行图像融合，包括：
将所述原始图像和所述实例分割图像水平拼接。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对生成的所述目标图像进行输出展示。
7.一种非配对图像生成系统，其特征在于，所述系统包括：
实例分割模块，用于获取原始图像，并对所述原始图像进行实例分割，得到实例分割图像；
实例信息融合模块，用于将所述原始图像和所述实例分割图像进行图像融合；
图像生成模块，用于将融合后的图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据所述图像生成模型的输出得到目标图像，所述改进的生成式对抗网络为融入实例相关损失函数的生成式对抗网络。
8.根据权利要求7所述的系统，其特征在于，构建的生成式对抗网络可用如下公式描述：
其中，G、D分别为生成式对抗网络中的生成器、判别器，E表示期望函数，V表示值函数，min、max分别表示最大值函数、最小值函数，log表示对数函数；x表示输出的图像数据；y表示监督信息数据；z表示输入的待生成图像数据；pdataX表示输出图像数据的分布，pdataZ表示输入图像数据的分布。
9.根据权利要求7或8所述的系统，其特征在于，实例相关损失函数为：
LossInstance＝Ez～pdataZ(z)[||G(z)*finverse(mask)-z*finverse(mask)||1]；
其中，LossInstance为实例相关损失函数，mask为基于训练样本的实例分割图像，“*”表示矩阵点乘，“|| ||1”表示1-范数，finverse为取反色函数；
相应的，改进的生成式对抗网络的损失函数为所述实例相关损失函数与所述生成式对抗网络的原始损失函数的和。
10.根据权利要求7所述的系统，其特征在于，所述实例分割模块具体用于：
对所述原始图像进行实例分割处理，得到带有不同实例对象信息的分割图像；
对所述分割图像进行实例筛选，保留预先指定的实例类别所对应的分割图像作为实例分割图像。
11.根据权利要求7所述的系统，其特征在于，将所述实例信息融合模块具体用于：
将所述原始图像和所述实例分割图像水平拼接。
12.一种服务器，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的非配对图像生成方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的非配对图像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910464892.3A CN110175966A (zh) | 2019-05-30 | 2019-05-30 | 非配对图像生成方法、系统、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910464892.3A CN110175966A (zh) | 2019-05-30 | 2019-05-30 | 非配对图像生成方法、系统、服务器及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110175966A true CN110175966A (zh) | 2019-08-27 |
Family
ID=67696868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910464892.3A Pending CN110175966A (zh) | 2019-05-30 | 2019-05-30 | 非配对图像生成方法、系统、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110175966A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675415A (zh) * | 2019-12-05 | 2020-01-10 | 北京同方软件有限公司 | 一种基于深度学习增强实例分割的道路积水区域检测方法 |
| CN112699885A (zh) * | 2020-12-21 | 2021-04-23 | 杭州反重力智能科技有限公司 | 一种基于对抗生成网络gan的语义分割训练数据增广方法和系统 |
| CN114092712A (zh) * | 2021-11-29 | 2022-02-25 | 北京字节跳动网络技术有限公司 | 图像生成方法、装置、可读介质和电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108665475A (zh) * | 2018-05-15 | 2018-10-16 | 北京市商汤科技开发有限公司 | 神经网络训练、图像处理方法、装置、存储介质和电子设备 |
| CN108875732A (zh) * | 2018-01-11 | 2018-11-23 | 北京旷视科技有限公司 | 模型训练与实例分割方法、装置和系统及存储介质 |
| CN109801337A (zh) * | 2019-01-21 | 2019-05-24 | 同济大学 | 一种基于实例分割网络和迭代优化的6d位姿估计方法 |
-
2019
- 2019-05-30 CN CN201910464892.3A patent/CN110175966A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108875732A (zh) * | 2018-01-11 | 2018-11-23 | 北京旷视科技有限公司 | 模型训练与实例分割方法、装置和系统及存储介质 |
| CN108665475A (zh) * | 2018-05-15 | 2018-10-16 | 北京市商汤科技开发有限公司 | 神经网络训练、图像处理方法、装置、存储介质和电子设备 |
| CN109801337A (zh) * | 2019-01-21 | 2019-05-24 | 同济大学 | 一种基于实例分割网络和迭代优化的6d位姿估计方法 |
Non-Patent Citations (2)
| Title |
|---|
| IAN J. GOODFELLOW: ""Generative Adversarial Networks"", 《ARXIV》 * |
| SANGWOO MO: ""InstaGAN: Instance-aware Image-to-Image Translation"", 《ICLR 2019》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675415A (zh) * | 2019-12-05 | 2020-01-10 | 北京同方软件有限公司 | 一种基于深度学习增强实例分割的道路积水区域检测方法 |
| CN110675415B (zh) * | 2019-12-05 | 2020-05-15 | 北京同方软件有限公司 | 一种基于深度学习增强实例分割的道路积水区域检测方法 |
| CN112699885A (zh) * | 2020-12-21 | 2021-04-23 | 杭州反重力智能科技有限公司 | 一种基于对抗生成网络gan的语义分割训练数据增广方法和系统 |
| CN114092712A (zh) * | 2021-11-29 | 2022-02-25 | 北京字节跳动网络技术有限公司 | 图像生成方法、装置、可读介质和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110189336B (zh) | 图像生成方法、系统、服务器及存储介质 | |
| CN111524106B (zh) | 颅骨骨折检测和模型训练方法、装置、设备和存储介质 | |
| JP7110502B2 (ja) | 深度を利用した映像背景減算法 | |
| WO2022001509A1 (zh) | 图像优化方法、装置、计算机存储介质以及电子设备 | |
| WO2022156640A1 (zh) | 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| CN110175966A (zh) | 非配对图像生成方法、系统、服务器及存储介质 | |
| US11068746B2 (en) | Image realism predictor | |
| EP4033458A2 (en) | Method and apparatus of face anti-spoofing, device, storage medium, and computer program product | |
| CN112967180B (zh) | 一种生成对抗网络的训练方法、图像风格转换方法和装置 | |
| CN110390327A (zh) | 前景提取方法、装置、计算机设备及存储介质 | |
| CN112562056A (zh) | 虚拟演播室中虚拟灯光的控制方法、装置、介质与设备 | |
| CN112270745A (zh) | 一种图像生成方法、装置、设备以及存储介质 | |
| CN113255516A (zh) | 活体检测方法、装置和电子设备 | |
| CN114972847A (zh) | 图像处理方法及装置 | |
| CN114298985B (zh) | 缺陷检测方法、装置、设备及存储介质 | |
| US20130182943A1 (en) | Systems and methods for depth map generation | |
| JP2023543964A (ja) | 画像処理方法、画像処理装置、電子機器、記憶媒体およびコンピュータプログラム | |
| CN113888566A (zh) | 目标轮廓曲线确定方法、装置、电子设备以及存储介质 | |
| CN109461203B (zh) | 手势三维图像生成方法、装置、计算机设备及存储介质 | |
| CN111669657A (zh) | 视频评论方法、装置、电子设备及存储介质 | |
| CN110310341A (zh) | 颜色算法中默认参数的生成方法、装置、设备和存储介质 | |
| CN114387315A (zh) | 图像处理模型训练、图像处理方法、装置、设备及介质 | |
| CN114627521A (zh) | 基于散斑图的人脸活体判定方法、系统、设备及存储介质 | |
| CN113117341B (zh) | 图片处理方法及装置、计算机可读存储介质、电子设备 | |
| CN112700845B (zh) | 数据处理方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190827 |
|
| RJ01 | Rejection of invention patent application after publication |