CN110189336B - 图像生成方法、系统、服务器及存储介质 - Google Patents
图像生成方法、系统、服务器及存储介质 Download PDFInfo
- Publication number
- CN110189336B CN110189336B CN201910464886.8A CN201910464886A CN110189336B CN 110189336 B CN110189336 B CN 110189336B CN 201910464886 A CN201910464886 A CN 201910464886A CN 110189336 B CN110189336 B CN 110189336B
- Authority
- CN
- China
- Prior art keywords
- image
- channel
- image data
- loss function
- supervision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 43
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 54
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000008676 import Effects 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 3
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像生成方法、系统、服务器及存储介质，方法包括：获取原始图像，并对原始图像进行分割处理，得到监督图像；将原始图像和监督图像进行图像融合，得到多通道图像数据；将多通道图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据图像生成模型的输出得到目标图像数据，改进的生成式对抗网络为融入非感兴趣区域三通道损失函数的生成式对抗网络；对目标图像数据进行复原处理，去除目标图像数据中所包括的监督图像通道数据，得到最终生成图像。由此通过深度融合得到多通道图像数据，使得生成式对抗网络的输入层尺寸以及数据量减少，同时训练的图像生成模型可有效对非感兴趣区域的噪声进行抑制。
Description
技术领域
本发明实施例涉及图像技术领域，尤其涉及一种图像生成方法、系统、服务器及存储介质。
背景技术
近年来，随着生成式对抗网络(Generative Adversarial Networks，GAN)的提出和发展，图像自动生成领域的技术也得到了快速的推进和应用，以pix2pix、CycleGAN、DualGAN、DiscoGAN、InstaGAN、Conditional GAN等为代表的诸多典型方法均展示出了较为出色的图像生成效果。
从是否需要监督信息的角度出发，GAN总体上可以分为有监督GAN(如pix2pix、InstaGAN、Conditional GAN等)和无监督GAN(如CycleGAN、DualGAN、DiscoGAN等)。其中，无监督GAN虽然使用方便，但其仅通过所定义的单个或多个LOSS函数来对生成结果进行约束，这种缺乏监督信息的固有不足也导致了图像生成质量往往不够理想(如虚假影像多、噪声多)。相比之下，有监督GAN得益于监督信息的嵌入，其图像生成过程有着先验知识的明确引导，故而图像生成的效果相对较好。进一步地，根据监督信息的嵌入部位不同，有监督GAN又可以细分，如pix2pix是将监督信息嵌入到判别器部位，而InstaGAN、Conditional GAN则是将监督信息同时嵌入到生成器部位和判别器部位，等等。
然而，有监督GAN在获得较好图像生成质量的同时，也会因引入监督信息(通常是图像)导致了处理数据量的增加，比如通常的做法是将原始图像和监督图像在平面上直接拼接融合后作为生成器或判别器的输入，这就直接导致了网络输入层尺寸加倍，随之也带来了内存消耗增加、系统实时性差等一系列性能问题，而且平面拼接并不能显式地体现输入图像与监督信息图像在像素坐标位置上的一一对应关系，以上这些问题都限制了该技术的进一步应用。
发明内容
本发明实施例提供了一种图像生成方法、系统、服务器及存储介质，以解决利用有监督图像生成方法生成图像过程中存在的因引入额外监督信息而导致处理数据量增加、不能体现输入图像与监督信息的像素坐标对应关系等技术问题。
第一方面，本发明实施例提供了一种图像生成方法，包括：
获取原始图像，并对所述原始图像进行分割处理，得到监督图像；
将所述原始图像和所述监督图像进行图像融合，得到多通道图像数据；
将所述多通道图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据所述图像生成模型的输出得到目标图像数据，其中所述改进的生成式对抗网络为融入非感兴趣区域三通道损失函数的生成式对抗网络；
对所述目标图像数据进行复原处理，去除所述目标图像数据中所包括的监督图像通道数据，得到最终生成图像。
第二方面，本发明实施例提供了一种图像生成系统，包括：
监督图像引入模块，用于获取原始图像，并对所述原始图像进行分割处理，得到监督图像；
复合通道生成模块，用于将所述原始图像和所述监督图像进行图像融合，得到多通道图像数据；
图像生成模块，用于将所述多通道图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据所述图像生成模型的输出得到目标图像数据，其中所述改进的生成式对抗网络为融入非感兴趣区域三通道损失函数的生成式对抗网络；
图像复原模块，用于对所述目标图像数据进行复原处理，去除所述目标图像数据中所包括的监督图像通道数据，得到最终生成图像。
第三方面，本发明实施例还提供了服务器，所述服务器包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的图像生成方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的图像生成方法。
本发明实施例提供的图像生成方法、系统、服务器及存储介质，通过将对原始图像进行分割处理得到的监督图像，并将监督图像与原始图像深度融合，由此可确定原始图像与监督图像在像素坐标位置上的对应关系，且通过深度融合减少了生成式对抗网络的输入层尺寸以及数据量，而且在生成式对抗网络中融入非感兴趣区域三通道损失函数，使得训练后得到的图像生成模型能够有效对非感兴趣区域里出现的噪声进行抑制。
附图说明
图1是本发明实施例一提供的一种图像生成方法的流程示意图；
图2是本发明实施例二提供的一种图像生成方法的流程示意图；
图3是本发明实施例三提供的一种图像生成系统的结构示意图；
图4是本发明实施例四提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种图像生成方法的流程图，本实施例可适用于自动图像生成的情况，该方法可以由图像生成系统执行，该系统可配置在服务器上。
如图1所示，本发明实施例中提供的图像生成方法可以包括：
S101、获取原始图像，并对所述原始图像进行分割处理，得到监督图像。
其中，原始图片也即是待输入到图像生成模型的图像，对于获取到的原始图像，可通过图像分割手段得到监督图像。示例性的，监督图像为实例分割图像，因此可采用MaskR-CNN(Mask Region-based Convolutional Neural Network)方法进行实例分割。在此需要说明的是，对原始图像进行实例分割还可以采用Fully Convolutional Networks forSemantic Segmentation(FCN)、SegNet、DeconvNet、DeepLab、GrabCut或ConditionalRandom Field(CRF)中的任意一种实例分割方法进行实例分割。
而在通过实例分割方法获得实例分割图像时，可按照如下步骤进行：
S1.对所述原始图像进行实例分割处理，得到带有不同实例对象信息的分割图像。
具体的，对原始图像上存在的实例对象进行检测，并对各实例对象进行分类，确定实例对象是人，是车或是其他类别，再对每个实例对象进行像素级分割，即确定每个实例对象对应的像素为前景，其余像素为背景。示例性的，原始图片中包括篮球、桌子和人，则通过实例分割处理后的分割图像同时包括实例对象篮球、桌子和人。
S2.对所述分割图像进行筛选，保留预先指定的实例类别所对应的分割图像作为实例分割图像，并将所述实例分割图像处理为单通道图像数据。
其中，预先指定的实例类别也即是用户关注的实例所属的类别，示例性的，若用户指定的实例对象类别为篮球，则对分割图像进行实例筛选，将实例对象为篮球的保留，并将其它所有实例对象处理为背景，由此得到最终的实例分割图像，其中实例分割图像为二值化图像，例如实例对象所在区域为黑色，其他区域为白色，然后再将得到的实例分割图像处理为单通道图像数据。其中得到的实例分割图像作为监督信息，用于在原始图像生成目标图像过程中进行指导。
S102、将所述原始图像和所述监督图像进行图像融合，得到多通道图像数据。
优选的，将原始图像和监督图像通过深度拼接的方式进行图像融合。示例性的，将三通道的原始图像数据和单通道的监督图像数据进行拼接，拼接后得到四通道的图像数据。由于监督图像与原始图像深度融合后，并不改变像素坐标，因此可确定原始图像与监督图像在像素坐标位置上的对应关系，且通过深度融合减少了生成式对抗网络的输入层尺寸，为构建生成式网络提供便利，而且监督图像为单一通道数据，使得输入图像生成模型的数据量降低。
S103、将所述多通道图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据所述图像生成模型的输出得到目标图像数据，其中所述改进的生成式对抗网络为融入非感兴趣区域三通道损失函数的生成式对抗网络。
其中，在构建完生成式对抗网络后，将预先构建的非感兴趣区域三通道损失函数融入到生成式对抗网络中。具体的，可将非感兴趣区域三通道损失函数与生成式对抗网络的原始损失函数进行求和，并将和值作为改进的生成式对抗网络的损失函数。对于得到的改进的生成式对抗网络，利用预先准备的训练样本图像进行训练。且在训练过程中，非感兴趣区域三通道损失函数指导图像生成时，可对非感兴趣区域(即非用户关注的实例对象所在的区域)里出现的干扰进行抑制。由此训练后得到的图像生成模型在生成图像时也具备了对非感兴趣区域存在的干扰进行抑制的能力。
在将多通道图像数据作为输入值，输入到训练好的图像生成模型中，根据图像生成模型的输出得到目标图像数据，其中，目标图像是包括监督图像的多通道数据。
S104、对所述目标图像数据进行复原处理，去除所述目标图像数据中所包括的监督图像通道数据，得到最终生成图像。
由于目标图像是包括监督图像的多通道数据，为避免监督图像的影响，需要将监督图像对应的单通道数据从目标图像中删除，得到最终生成图像。
进一步的，对于得到的最终生成图像，还可对其进行输出展示，以便用户可以查看生成效果和准确性。
本发明实施例中，通过将对原始图像进行分割处理得到的监督图像，并将监督图像与原始图像深度拼接，由此可确定原始图像与监督图像在像素坐标位置上的对应关系，且通过深度拼接减少了生成式对抗网络的输入层尺寸以及数据量，而且在生成式对抗网络中融入非感兴趣区域三通道损失函数，使得训练后得到的图像生成模型能够有效对非感兴趣区域里出现的噪声进行抑制，以此提高生成图片的准确性。
实施例二
图2为本发明实施例二提供的一种图像生成模型训练方法的流程示意图。本实施例以上述实施例为基础进行优化，如图2所示，本发明实施例中提供的图像生成模块训练方法可以包括：
S201、对训练样本图像进行分割处理，得到基于训练样本图像的监督图像。
S202、将训练样本图像及其对应的监督图像进行深度融合，得到多通道样本图像数据。
本实施例中，在对构建生成式对抗网络进行训练前，对训练样本图像进行分割处理，得到基于训练样本图像的监督图像，监督图像为二值化单通道图像，其中感兴趣区域(例如实例对象区域)为黑色，非感兴趣区域为白色。该监督图像为生成式对抗网络训练提供先验知识引导，并通过深度融合的方式与训练样本拼接，一起作为输入值。具体的，分割处理和融合过程可参见上述实施例，在此不再赘述。
S203、根据深度融合得到的多通道样本图像数据所要作用的对象，构建对应的生成式对抗网络。
深度融合得到的多通道图像数据可以输入到生成器或判别器中的任意一个，或者同时输入到所述生成器和所述判别器。由此可以灵活的构建生成式对抗网络。
A)深度融合得到的多通道图像数据同时作用于生成器和判别器。
定义图像生成的域映射为：
{Z,Y}→{X,Y}
对应的生成对抗网络训练使用如下公式进行描述：
B)深度融合得到的多通道图像数据仅作用于判别器。
定义图像生成的域映射为：
{Z}→{X,Y}
对应的生成对抗网络训练使用如下公式进行描述：
C)深度融合得到的多通道图像数据仅作用于生成器
定义图像生成的域映射为：
{Z,Y}→{X}
对应的生成对抗网络训练使用如下公式进行描述：
以上公式中，G、D分别为生成式对抗网络中的生成器、判别器，E表示期望函数，V表示值函数，min、max分别表示最大值函数、最小值函数，log表示对数函数；x∈X，表示输出的图像数据；y∈Y，表示监督信息数据；z∈Z，表示输入的待生成图像数据；pdataX表示输出图像数据的分布，pdataZ表示输入图像数据的分布。
针对上述三种生成式对抗网络，构建非感兴趣区域三通道损失函数，首先对得到的多通道图像数据进行通道分解，分别计算生成图像的单个通道在非感兴趣区域的损失函数，再通过加权求和确定最终的非感兴趣区域三通道损失函数。具体的，非感兴趣区域三通道损失函数如下：
其中，LossNROI为非感兴趣区域三通道损失函数，K为损失函数的重要性系数，wi表示通道加权系数，i代表图像通道，Input表示输入图像，Output表示GAN生成图像，mask为单通道监督图像，“*”表示矩阵点乘，“‖‖2”表示2-范数。
其中，通道加权系数的约束方法为：
优选的，可通过简易分配法或精确分配法对wi的设置：
简易分配法：对wi直接进行平均分配，即wi＝1/3；
精确分配法：wi也可参考RGB彩色图像转灰度图像公式进行精确分配，设R、G、B通道对应的i值分别为1、2、3，则有：
{w1，w2，w3}＝{0.299,0.587,0.114}
对计算得到的LossNROI，以加和的方式融合到上述任意一种构建的生成式对抗网络原始的损失函数中，并可通过设置不同的损失函数重要性系数K获得不同程度的影响效果，由此，完成对生成式对抗网络的改进。
S204、基于多通道样本图像数据，训练融入非感兴趣区域三通道损失函数后的生成式对抗网络，得到图像生成模型。
训练完成后，得到图像生成模型，该模型具有抑制非感兴趣区域存在的干扰的能力，后续可用该模型进行图像生成。
本发明实施例在图像生成模型训练过程中，通过对样本图像进行分割处理得到的监督图像，并将监督图像与样本图像深度拼接，使样本图像与监督图像在像素坐标位置上的一一对应，易于进行监督约束关系的学习，而且在生成式对抗网络中融入非感兴趣区域三通道损失函数，使得训练后得到的图像生成模型能够有效对非感兴趣区域里出现的噪声进行抑制。
实施例三
图3是本发明实施例三提供的一种图像生成系统的结构示意图。如图3所示，该系统包括：
监督图像引入模块301，用于获取原始图像，并对所述原始图像进行分割处理，得到监督图像；
复合通道生成模块302，用于将所述原始图像和所述监督图像进行图像融合，得到多通道图像数据；
图像生成模块303，用于将所述多通道图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据所述图像生成模型的输出得到目标图像数据，其中所述改进的生成式对抗网络为融入非感兴趣区域三通道损失函数的生成式对抗网络；
图像复原模块304，用于对所述目标图像数据进行复原处理，去除所述目标图像数据中所包括的监督图像通道数据，得到最终生成图像。
本发明实施例中，通过将对原始图像进行分割处理得到的监督图像，并将监督图像与原始图像深度融合，由此可确定原始图像与监督图像在像素坐标位置上的对应关系，且通过深度融合减少了生成式对抗网络的输入层尺寸以及数据量，而且在生成式对抗网络中融入非感兴趣区域三通道损失函数，使得训练后得到的图像生成模型能够有效对非感兴趣区域里出现的噪声进行抑制。
在上述实施例的基础上，非感兴趣区域三通道损失函数为：
其中，LossNRoI为非感兴趣区域三通道损失函数，K为损失函数重要性系数，wi表示通道加权系数，i代表图像通道，Input表示输入图像，Output表示生成式对抗网络生成图像，mask为单通道的监督图像，“*”表示矩阵点乘，“‖‖2”表示2-范数；
相应的，改进的生成式对抗网络的损失函数为所述非感兴趣区域三通道损失函数与所述生成式对抗网络的原始损失函数的和。
在上述实施例的基础上，改进的生成式对抗网络包括生成器和判别器；
相应的，改进的生成式对抗网络的训练过程包括：
将对训练样本图像进行分割处理后得到的监督图像和所述训练样本融合，并将得到的多通道图像数据输入到所述生成器或所述判别器中的任意一个，或者同时输入到所述生成器和所述判别器以进行训练。
在上述实施例的基础上，所述监督图像为实例分割图像；
相应的，监督图像引入模块具体用于：
对所述原始图像进行实例分割处理，得到带有不同实例对象信息的分割图像；
对所述分割图像进行筛选，保留预先指定的实例类别所对应的分割图像作为实例分割图像，并将所述实例分割图像处理为单通道图像数据。
在上述实施例的基础上，复合通道生成模块具体用于：
将将所述原始图像和所述监督图像进行深度拼接。
在上述实施例的基础上，所述系统还包括：
图像输出模块，用于对生成的所述最终生成图像进行输出展示。
本发明实施例所提供的图像生成系统可执行本发明任意实施例所提供的存图像生成方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的服务器的结构示意图。图4示出了适于用来实现本发明实施方式的示例性服务器12的框图。图4显示的服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，服务器12以通用计算设备的形式表现。服务器12的组件可以包括但不限于：一个或者多个处理器16(例如GPU)，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该服务器12交互的设备通信，和/或与使得该服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的图像生成方法，该方法包括：
获取原始图像，并对所述原始图像进行分割处理，得到监督图像；
将所述原始图像和所述监督图像进行图像融合，得到多通道图像数据；
将所述多通道图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据所述图像生成模型的输出得到目标图像数据，其中所述改进的生成式对抗网络为融入非感兴趣区域三通道损失函数的生成式对抗网络；
对所述目标图像数据进行复原处理，去除所述目标图像数据中所包括的监督图像通道数据，得到最终生成图像。
实施例五
本发明实施例中提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行图像生成方法，该方法包括：
获取原始图像，并对所述原始图像进行分割处理，得到监督图像；
将所述原始图像和所述监督图像进行图像融合，得到多通道图像数据；
将所述多通道图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据所述图像生成模型的输出得到目标图像数据，其中所述改进的生成式对抗网络为融入非感兴趣区域三通道损失函数的生成式对抗网络；
对所述目标图像数据进行复原处理，去除所述目标图像数据中所包括的监督图像通道数据，得到最终生成图像。
当然，本发明实施例中所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例中所提供的图像生成方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合，还可以是GPU作为存储介质。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种图像生成方法，其特征在于，所述方法包括：
获取原始图像，并对所述原始图像进行分割处理，得到监督图像；
将所述原始图像和所述监督图像进行图像融合，得到多通道图像数据；
将所述多通道图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据所述图像生成模型的输出得到目标图像数据，其中所述改进的生成式对抗网络为融入非感兴趣区域三通道损失函数的生成式对抗网络；
对所述目标图像数据进行复原处理，去除所述目标图像数据中所包括的监督图像通道数据，得到最终生成图像；
其中，将所述原始图像和所述监督图像进行图像融合，包括：
将所述原始图像和所述监督图像进行深度拼接；
非感兴趣区域三通道损失函数为：
其中，LossNROI为非感兴趣区域三通道损失函数，K为损失函数重要性系数，wi表示通道加权系数，i代表图像通道，Input表示输入图像，Output表示生成式对抗网络生成图像，mask为单通道的监督图像，“*”表示矩阵点乘，“‖‖2”表示2-范数；
相应的，改进的生成式对抗网络的损失函数为所述非感兴趣区域三通道损失函数与所述生成式对抗网络的原始损失函数的和。
2.根据权利要求1所述的方法，其特征在于，改进的生成式对抗网络包括生成器和判别器；
相应的，改进的生成式对抗网络的训练过程包括：
将对训练样本图像进行分割处理后得到的监督图像和所述训练样本融合，并将得到的多通道图像数据输入到所述生成器或所述判别器中的任意一个，或者同时输入到所述生成器和所述判别器以进行训练。
3.根据权利要求1所述的方法，其特征在于，所述监督图像为实例分割图像；
相应的，对所述原始图像进行分割处理，得到监督图像，包括：
对所述原始图像进行实例分割处理，得到带有不同实例对象信息的分割图像；
对所述分割图像进行筛选，保留预先指定的实例类别所对应的分割图像作为实例分割图像，并将所述实例分割图像处理为单通道图像数据。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对生成的所述最终生成图像进行输出展示。
5.一种图像生成系统，其特征在于，所述系统包括：
监督图像引入模块，用于获取原始图像，并对所述原始图像进行分割处理，得到监督图像；
复合通道生成模块，用于将所述原始图像和所述监督图像进行图像融合，得到多通道图像数据；
图像生成模块，用于将所述多通道图像数据作为输入值，输入到基于改进的生成式对抗网络训练的图像生成模型中，根据所述图像生成模型的输出得到目标图像数据，其中所述改进的生成式对抗网络为融入非感兴趣区域三通道损失函数的生成式对抗网络；
图像复原模块，用于对所述目标图像数据进行复原处理，去除所述目标图像数据中所包括的监督图像通道数据，得到最终生成图像；
其中，复合通道生成模块具体用于：
将将所述原始图像和所述监督图像进行深度拼接；
非感兴趣区域三通道损失函数为：
其中，LossNROI为非感兴趣区域三通道损失函数，K为损失函数重要性系数，wi表示通道加权系数，i代表图像通道，Input表示输入图像，Output表示生成式对抗网络生成图像，mask为单通道的监督图像，“*”表示矩阵点乘，“‖‖2”表示2-范数；
相应的，改进的生成式对抗网络的损失函数为所述非感兴趣区域三通道损失函数与所述生成式对抗网络的原始损失函数的和。
6.根据权利要求5所述的系统，其特征在于，改进的生成式对抗网络包括生成器和判别器；
相应的，改进的生成式对抗网络的训练过程包括：
将对训练样本图像进行分割处理后得到的监督图像和所述训练样本融合，并将得到的多通道图像数据输入到所述生成器或所述判别器中的任意一个，或者同时输入到所述生成器和所述判别器以进行训练。
7.根据权利要求5所述的系统，其特征在于，所述监督图像为实例分割图像；
相应的，监督图像引入模块具体用于：
对所述原始图像进行实例分割处理，得到带有不同实例对象信息的分割图像；
对所述分割图像进行筛选，保留预先指定的实例类别所对应的分割图像作为实例分割图像，并将所述实例分割图像处理为单通道图像数据。
8.一种服务器，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的图像生成方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的图像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910464886.8A CN110189336B (zh) | 2019-05-30 | 2019-05-30 | 图像生成方法、系统、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910464886.8A CN110189336B (zh) | 2019-05-30 | 2019-05-30 | 图像生成方法、系统、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110189336A CN110189336A (zh) | 2019-08-30 |
| CN110189336B true CN110189336B (zh) | 2020-05-01 |
Family
ID=67719050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910464886.8A Expired - Fee Related CN110189336B (zh) | 2019-05-30 | 2019-05-30 | 图像生成方法、系统、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110189336B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110555897B (zh) * | 2019-09-09 | 2022-12-16 | 上海联影医疗科技股份有限公司 | 一种图像生成的方法、装置、设备及存储介质 |
| US11710244B2 (en) * | 2019-11-04 | 2023-07-25 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for machine learning based physiological motion measurement |
| CN111161283B (zh) * | 2019-12-26 | 2023-08-04 | 可牛网络技术（北京）有限公司 | 一种处理图片资源的方法、装置及电子设备 |
| CN113537223A (zh) * | 2020-04-20 | 2021-10-22 | 北京沃东天骏信息技术有限公司 | 训练样本生成、模型训练和图像处理方法及装置 |
| CN111598863B (zh) * | 2020-05-13 | 2023-08-22 | 北京阿丘机器人科技有限公司 | 缺陷检测方法、装置、设备及可读存储介质 |
| CN111666994A (zh) * | 2020-05-28 | 2020-09-15 | 平安科技（深圳）有限公司 | 样本图像数据增强方法、装置、电子设备及存储介质 |
| CN113177525A (zh) * | 2021-05-27 | 2021-07-27 | 杭州有赞科技有限公司 | 一种ai电子秤系统和称量方法 |
| CN113658283B (zh) * | 2021-08-18 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN115620137A (zh) * | 2022-10-24 | 2023-01-17 | 贝壳找房(北京)科技有限公司 | 绿化区域的生成方法与生成系统 |
| CN117115453B (zh) * | 2023-10-20 | 2024-02-02 | 光轮智能(北京)科技有限公司 | 目标图像生成方法、装置及计算机可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537742A (zh) * | 2018-03-09 | 2018-09-14 | 天津大学 | 一种基于生成对抗网络的遥感图像全色锐化方法 |
| CN108986041A (zh) * | 2018-06-13 | 2018-12-11 | 浙江大华技术股份有限公司 | 一种图像恢复方法、装置、电子设备及可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10586310B2 (en) * | 2017-04-06 | 2020-03-10 | Pixar | Denoising Monte Carlo renderings using generative adversarial neural networks |
| CN109544457A (zh) * | 2018-12-04 | 2019-03-29 | 电子科技大学 | 基于致密链接神经网络的图像超分辨率方法、存储介质和终端 |
-
2019
- 2019-05-30 CN CN201910464886.8A patent/CN110189336B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537742A (zh) * | 2018-03-09 | 2018-09-14 | 天津大学 | 一种基于生成对抗网络的遥感图像全色锐化方法 |
| CN108986041A (zh) * | 2018-06-13 | 2018-12-11 | 浙江大华技术股份有限公司 | 一种图像恢复方法、装置、电子设备及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| InstaGAN: Instance-aware Image-to-Image Translation;Sangwoo Mo;《ICLR 2019》;20190102;第1-26页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110189336A (zh) | 2019-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110189336B (zh) | 图像生成方法、系统、服务器及存储介质 | |
| US20200134792A1 (en) | Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display | |
| CN111654746B (zh) | 视频的插帧方法、装置、电子设备和存储介质 | |
| CN110222694B (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| CN111382647B (zh) | 一种图片处理方法、装置、设备及存储介质 | |
| CN109285181A (zh) | 用于识别图像的方法和装置 | |
| EP4120181A2 (en) | Method and apparatus of fusing image, and method of training image fusion model | |
| CN112562056A (zh) | 虚拟演播室中虚拟灯光的控制方法、装置、介质与设备 | |
| CN111724396A (zh) | 图像分割方法及装置、计算机可读存储介质、电子设备 | |
| US20130182943A1 (en) | Systems and methods for depth map generation | |
| CN111078090A (zh) | 一种显示方法、装置、设备和存储介质 | |
| CN108665769B (zh) | 基于卷积神经网络的网络教学方法以及装置 | |
| CN107833185B (zh) | 图像去雾方法及装置、存储介质、电子设备 | |
| CN113177957B (zh) | 一种细胞图像的分割方法、装置、电子设备及存储介质 | |
| CN111815748B (zh) | 一种动画处理方法、装置、存储介质及电子设备 | |
| WO2020087434A1 (zh) | 一种人脸图像清晰度评价方法及装置 | |
| CN110310341B (zh) | 颜色算法中默认参数的生成方法、装置、设备和存储介质 | |
| CN109461203B (zh) | 手势三维图像生成方法、装置、计算机设备及存储介质 | |
| CN109857244B (zh) | 一种手势识别方法、装置、终端设备、存储介质及vr眼镜 | |
| CN114387315A (zh) | 图像处理模型训练、图像处理方法、装置、设备及介质 | |
| CN111914850B (zh) | 图片特征提取方法、装置、服务器和介质 | |
| CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
| CN112132000B (zh) | 一种活体检测方法、装置、计算机可读介质及电子设备 | |
| CN112243118B (zh) | 白平衡校正方法、装置、设备及存储介质 | |
| CN110175966A (zh) | 非配对图像生成方法、系统、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200501 |