CN108090521A - 一种生成式对抗网络模型的图像融合方法和判别器 - Google Patents

一种生成式对抗网络模型的图像融合方法和判别器 Download PDF

Info

Publication number
CN108090521A
CN108090521A CN201810031988.6A CN201810031988A CN108090521A CN 108090521 A CN108090521 A CN 108090521A CN 201810031988 A CN201810031988 A CN 201810031988A CN 108090521 A CN108090521 A CN 108090521A
Authority
CN
China
Prior art keywords
mrow
image
msub
convolution
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810031988.6A
Other languages
English (en)
Other versions
CN108090521B (zh
Inventor
朱湘军
李立军
李利苹
彭永坚
汪壮雄
周智恒
胥静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Video Star Intelligent Co ltd
GUANGZHOU VIDEO-STAR ELECTRONICS CO LTD
South China University of Technology SCUT
Original Assignee
Guangzhou Video-Star Intelligent Ltd By Share Ltd
Guangzhou Gvs Intelligent Technology Co Ltd
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Video-Star Intelligent Ltd By Share Ltd, Guangzhou Gvs Intelligent Technology Co Ltd, South China University of Technology SCUT filed Critical Guangzhou Video-Star Intelligent Ltd By Share Ltd
Priority to CN201810031988.6A priority Critical patent/CN108090521B/zh
Publication of CN108090521A publication Critical patent/CN108090521A/zh
Application granted granted Critical
Publication of CN108090521B publication Critical patent/CN108090521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种生成式对抗网络模型的图像融合方法和判别器，其中，该方法包括：S1：获取到生成器生成的图像；S2：对所述图像进行分解得到颜色通道；S3：在通过预置卷积核对所述颜色通道进行单层卷积得到特征图后，对所述特征图进行融合得到融合后的所述图像；S4：循环执行S2和S3直至卷积次数等于预置次数。本发明在每一层卷积结束之后，都对图像各个颜色通道的特征图进行融合，再进行后续训练。在这种情况下，整个网络的鲁棒性得到了进一步增强。本发明实施例提供了一种生成式对抗网络模型。

Description

一种生成式对抗网络模型的图像融合方法和判别器
技术领域
本发明涉及生成式对抗网络领域，尤其涉及一种生成式对抗网络模型的图像融合方法。
背景技术
生成式对抗网络(Generative Adversarial Network，GAN)是由Goodfellow在2014年提出的深度学习框架，它基于“博弈论”的思想，构造生成器(generator)和判别器(discriminator)两种模型，前者通过输入(0，1)的均匀噪声或高斯随机噪声生成图像，后者对输入的图像进行判别，确定是来自数据集的图像还是由生成器产生的图像。
在传统的网络模型中，判别器对生成器生成的图像进行多层卷积后，得到图像的特征图，再对特征图进行融合得到融合后的图像并将图像用于后续对整个模型的训练，这种训练过程会导致整个网络模型的泛化能力和鲁棒性低下。
发明内容
本发明实施例提供了一种生成式对抗网络模型的图像融合方法和判别器，解决了当前对生成式对抗网络训练过程存在缺陷，导致整个网络模型的泛化能力和鲁棒性低下的技术问题。
本发明实施例提供了一种生成式对抗网络模型的图像融合方法，包括
S1：获取到生成器生成的图像；
S2：对所述图像进行分解得到颜色通道；
S3：在通过预置卷积核对所述颜色通道进行单层卷积得到特征图后，对所述特征图进行融合得到融合后的所述图像；
S4：循环执行S2和S3直至卷积次数等于预置次数。
优选地，S4之后还包括：
S5：确定与最后一次卷积操作对应的所述图像为最终图像，根据所述最终图像生成损失函数，并将所述损失函数发送至所述生成器；
其中，所述损失函数为：
式中，D(x)为判别器对生成器生成的图像的判别结果，pr表示预置数据集图像的分布，pg表示最终图像的分布，λ为超参数，为梯度。
优选地，步骤S1具体为：
获取到生成器根据文本和噪声生成的图像。
优选地，所述文本为编码后的文本，所述噪声为随机噪声。
优选地，本发明实施例提供了一种生成式对抗网络模型的判别器，包括：
获取模块，用于获取到生成器生成的图像；
分解模块，用于对所述图像进行分解得到颜色通道；
卷积模块，用于在通过预置卷积核对所述颜色通道进行单层卷积得到特征图后，对所述特征图进行融合得到融合后的所述图像；
循环模块，用于循环触发分解模块和卷积模块直至卷积次数等于预置次数。
优选地，所述判别器还包括：
反馈模块，用于确定与最后一次卷积操作对应的所述图像为最终图像，根据所述最终图像生成损失函数，并将所述损失函数发送至所述生成器；
其中，所述损失函数为：
式中，D(x)为判别器对生成器生成的图像的判别结果，pr表示预置数据集图像的分布，pg表示最终图像的分布，λ为超参数，为梯度。
优选地，所述获取模块还用于获取到生成器根据文本和噪声生成的图像。
优选地，所述文本为编码后的文本，所述噪声为随机噪声。
优选地，本发明实施例还提供了一种生成式对抗网络模型，包括：生成器和如以上所述的判别器。
优选地，所述生成器和所述判别器由深度卷积神经网络构建。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例提供了一种生成式对抗网络模型的图像融合方法和判别器，其中，该方法包括：S1：获取到生成器生成的图像；S2：对所述图像进行分解得到颜色通道；S3：在通过预置卷积核对所述颜色通道进行单层卷积得到特征图后，对所述特征图进行融合得到融合后的所述图像；S4：循环执行S2和S3直至卷积次数等于预置次数。本发明在每一层卷积结束之后，都对图像各个颜色通道的特征图进行融合，再进行后续训练。在这种情况下，整个网络的鲁棒性得到了进一步增强。更进一步地，利用文本编码器与噪声相结合的方式，使得网络能够生成与文本内容相符合的图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种生成式对抗网络模型的图像融合方法的一个实施例的流程示意图；
图2为本发明实施例提供的一种生成式对抗网络模型的判别器的一个实施例的结构示意图。
具体实施方式
本发明实施例提供了一种生成式对抗网络模型的图像融合方法和判别器，解决了当前对生成式对抗网络训练过程存在缺陷，导致整个网络模型的泛化能力和鲁棒性低下的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明提供的一种生成式对抗网络模型的图像融合方法的一个实施例，包括：
101、获取到生成器根据文本和噪声生成的图像；
在本实施例中，生成器根据对其输入的文本和噪声生成相应的图像。预先通过对将要输入的文件进行编码操作，可以使整个生成式对抗网络能够生成符合文本描述内容的图像。在对文件进行编码操作后，将文件结合随机噪声输入生成器，该生成器将生成对应的图像，然后判别器可以获取到该图像并进行后续操作。需要说明的是，判别器获取该图像的方式可以是生成器向判别器发送的方式也可以是网络使用者向判别器输入该图像的方式，此处不做具体的限定。
102、对图像进行分解得到颜色通道；
判别器在获取到生成器生成的图像后，将该图像进行分解得到多个颜色通道。多个颜色通道指不同颜色通道，如红、黄、蓝三个颜色通道，实际一个图像远远不止三个颜色通道。
103、在通过预置卷积核对颜色通道进行单层卷积得到特征图后，对特征图进行融合得到融合后的图像；
判别器在得到颜色通道后，可以通过预置卷积核对颜色通道进行单层卷积得到特征图。需要说明的是，预置卷积核是通过预先构造的多个卷积核，不同的卷积核，代表着在学习的过程中，能够学习到不同的图像特征。不同的颜色通道使用不同卷积核，不同的卷积核体现在尺寸、数值上。
事实上，哪条通道对应哪种卷积核，并没有硬性规定，可根据实际情况决定，只要各个通道对应的卷积核是不同的即可。例如，红色通道对应3*3卷积核，黄色通道对应4*4卷积核，蓝色通道对应5*5卷积核等。
在生成式对抗网络的传统卷积方式中，对图像进行多层卷积后才进行融合，本发明的判别器在对图像每进行一层卷积后，则对得到的特征图进行融合，再对融合后的图像再次进行分解、单层卷积和融合，反复执行这些操作，在每层卷积并融合得到的图像均不同于上一次得到的图像，因为每一次卷积并融合后得到的图像的特征与上一次得到的图像的特征不同。
104、循环执行102和103直至卷积次数等于预置次数；
循环执行步骤102和步骤103直至卷积次数等于预先设定的次数，可以理解的是，该预置次数即为判别器中的卷积层数，可以在构造判别器时进行设定。
105、确定与最后一次卷积操作对应的图像为最终图像，根据最终图像生成损失函数，并将损失函数发送至生成器；
将与判别器最后一次卷积操作对应的图像确定为最终图像，需要说明的是，在判别器对生成器生成的图像进行分解前，会根据预置数据集图像对该图像进行判别，得到判别结果，然后才对该图像进行分解即步骤102。
判别器在确定最终图像后，根据判别结果、预置数据集图像的分布和最终图像的分布构造损失函数，并将该损失函数发送至生成器。损失函数的作用是衡量判别器对生成图像判断的能力。损失函数的值越小，说明在当前迭代中，判别器能够有较好的性能辨别生成器的生成图像，反之则说明判别器的性能较差。而生成器在获取到该损失函数后，可以根据损失函数更新自身的参数，以达到不断训练学习的效果。
其中，损失函数为：
式中，D(x)为判别器对生成器生成的图像的判别结果，pr表示预置数据集图像的分布，pg表示最终图像的分布，λ为超参数，为梯度。
在本实施例中，执行完一次步骤101至步骤105仅为对生成式对抗网络的一次训练，而网络训练需要多次反复进行，因此，在执行完一次训练后，还可以继续对生成器输入文本和噪声，即重新执行步骤101至步骤105直至训练得到理想的网络模型。需要说明的是，在每一次训练的过程中生成器生成的图像均被输出显示，网络使用者可以根据每次训练过程中生成器生成的图像判断图像是否满足要求，若满足要求，则输入训练终止指令。
本发明采用了通道融合的方法，在每一层卷积结束之后，都对图像各个通道的特征图进行融合，再进行后续训练。在这种情况下，整个网络的鲁棒性得到了进一步增强。
以上是对本发明提供的一种生成式对抗网络模型的图像融合方法进行的详细说明，下面将对本发明提供的一种生成式对抗网络模型的判别器的一个实施例进行说明，该实施例包括：
获取模块201，用于获取到生成器生成的图像；
分解模块202，用于对图像进行分解得到颜色通道；
卷积模块203，用于在通过预置卷积核对颜色通道进行单层卷积得到特征图后，对特征图进行融合得到融合后的图像；
循环模块204，用于循环触发分解模块202和卷积模块203直至卷积次数等于预置次数。
在本实施例中，判别器还包括：
反馈模块205，用于确定与最后一次卷积操作对应的图像为最终图像，根据最终图像生成损失函数，并将损失函数发送至生成器；
其中，损失函数为：
式中，D(x)为判别器对生成器生成的图像的判别结果，pr表示预置数据集图像的分布，pg表示最终图像的分布，λ为超参数，为梯度。
在本实施例中，获取模块201还用于获取到生成器根据文本和噪声生成的图像。
在本实施例中，文本为编码后的文本，噪声为随机噪声。
以上是对本发明提供的一种生成式对抗网络模型的判别器的结构和连接关系进行的详细说明，下面将对本发明提供的一种生成式对抗网络模型的一个实施例进行说明，在本实施例中，包括：生成器和如以上所述的判别器。
在本实施例中，生成器和判别器由深度卷积神经网络构建。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种生成式对抗网络模型的图像融合方法，其特征在于，包括：
S1：获取到生成器生成的图像；
S2：对所述图像进行分解得到颜色通道；
S3：在通过预置卷积核对所述颜色通道进行单层卷积得到特征图后，对所述特征图进行融合得到融合后的所述图像；
S4：循环执行S2和S3直至卷积次数等于预置次数。
2.根据权利要求1所述的生成式对抗网络模型的图像融合方法，其特征在于，S4之后还包括：
S5：确定与最后一次卷积操作对应的所述图像为最终图像，根据所述最终图像生成损失函数，并将所述损失函数发送至所述生成器；
其中，所述损失函数为：
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mi>D</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>p</mi> <mi>r</mi> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>p</mi> <mi>g</mi> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>&amp;lambda;E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>X</mi> </mrow> </msub> <msub> <mo>&amp;dtri;</mo> <mi>x</mi> </msub> </mrow>
式中，D(x)为判别器对生成器生成的图像的判别结果，pr表示预置数据集图像的分布，pg表示最终图像的分布，λ为超参数，为梯度。
3.根据权利要求1所述的生成式对抗网络模型的图像融合方法，其特征在于，步骤S1具体为：
获取到生成器根据文本和噪声生成的图像。
4.根据权利要求3所述的生成式对抗网络模型的图像融合方法，其特征在于，所述文本为编码后的文本，所述噪声为随机噪声。
5.一种生成式对抗网络模型的判别器，其特征在于，包括：
获取模块，用于获取到生成器生成的图像；
分解模块，用于对所述图像进行分解得到颜色通道；
卷积模块，用于在通过预置卷积核对所述颜色通道进行单层卷积得到特征图后，对所述特征图进行融合得到融合后的所述图像；
循环模块，用于循环触发分解模块和卷积模块直至卷积次数等于预置次数。
6.根据权利要求5所述的判别器，其特征在于，还包括：
反馈模块，用于确定与最后一次卷积操作对应的所述图像为最终图像，根据所述最终图像生成损失函数，并将所述损失函数发送至所述生成器；
其中，所述损失函数为：
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mi>D</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>p</mi> <mi>r</mi> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>p</mi> <mi>g</mi> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>&amp;lambda;E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>X</mi> </mrow> </msub> <msub> <mo>&amp;dtri;</mo> <mi>x</mi> </msub> </mrow>
式中，D(x)为判别器对生成器生成的图像的判别结果，pr表示预置数据集图像的分布，pg表示最终图像的分布，λ为超参数，为梯度。
7.根据权利要求6所述的判别器，其特征在于，所述获取模块还用于获取到生成器根据文本和噪声生成的图像。
8.根据权利要求7所述的判别器，其特征在于，所述文本为编码后的文本，所述噪声为随机噪声。
9.一种生成式对抗网络模型，其特征在于，包括：生成器和如权利要求5至8任意一项所述的判别器。
10.根据权利要求9所述的生成式对抗网络模型，其特征在于，所述生成器和所述判别器由深度卷积神经网络构建。
CN201810031988.6A 2018-01-12 2018-01-12 一种生成式对抗网络模型的图像融合方法和判别器 Active CN108090521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810031988.6A CN108090521B (zh) 2018-01-12 2018-01-12 一种生成式对抗网络模型的图像融合方法和判别器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810031988.6A CN108090521B (zh) 2018-01-12 2018-01-12 一种生成式对抗网络模型的图像融合方法和判别器

Publications (2)

Publication Number Publication Date
CN108090521A true CN108090521A (zh) 2018-05-29
CN108090521B CN108090521B (zh) 2022-04-08

Family

ID=62183178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810031988.6A Active CN108090521B (zh) 2018-01-12 2018-01-12 一种生成式对抗网络模型的图像融合方法和判别器

Country Status (1)

Country Link
CN (1) CN108090521B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986058A (zh) * 2018-06-22 2018-12-11 华东师范大学 明度一致性学习的图像融合方法
CN109063724A (zh) * 2018-06-12 2018-12-21 中国科学院深圳先进技术研究院 一种增强型生成式对抗网络以及目标样本识别方法
CN109118467A (zh) * 2018-08-31 2019-01-01 武汉大学 基于生成对抗网络的红外与可见光图像融合方法
CN109191409A (zh) * 2018-07-25 2019-01-11 北京市商汤科技开发有限公司 图像处理、网络训练方法、装置、电子设备和存储介质
CN109190620A (zh) * 2018-09-03 2019-01-11 苏州科达科技股份有限公司 车牌样本生成方法、系统、设备及存储介质
CN109344879A (zh) * 2018-09-07 2019-02-15 华南理工大学 一种基于文本-图像对抗网络模型的分解卷积方法
CN109902723A (zh) * 2019-01-31 2019-06-18 北京市商汤科技开发有限公司 图像处理方法及装置
CN110322423A (zh) * 2019-04-29 2019-10-11 天津大学 一种基于图像融合的多模态图像目标检测方法
CN110557572A (zh) * 2018-05-31 2019-12-10 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及卷积神经网络系统
CN110930469A (zh) * 2019-10-25 2020-03-27 北京大学 一种基于过渡空间映射的文本生成图像方法和系统
CN111260652A (zh) * 2020-01-09 2020-06-09 浙江传媒学院 一种基于mimo-gan的图像生成系统和方法
CN111754446A (zh) * 2020-06-22 2020-10-09 怀光智能科技（武汉）有限公司 一种基于生成对抗网络的图像融合方法、系统及存储介质
CN112288040A (zh) * 2020-01-10 2021-01-29 牧今科技 执行用于物体识别的图像分类的方法和系统
WO2021022685A1 (zh) * 2019-08-08 2021-02-11 合肥图鸭信息科技有限公司 一种神经网络训练方法、装置及终端设备
CN110322433B (zh) * 2019-05-27 2021-03-12 苏州佳赛特智能科技有限公司 一种面向外观缺陷视觉检测的数据集扩增方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778785A (zh) * 2016-12-23 2017-05-31 东软集团股份有限公司 构建图像特征提取模型的方法及图像识别的方法、装置
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN107273936A (zh) * 2017-07-07 2017-10-20 广东工业大学 一种gan图像处理方法及系统
CN107563510A (zh) * 2017-08-14 2018-01-09 华南理工大学 一种基于深度卷积神经网络的wgan模型方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778785A (zh) * 2016-12-23 2017-05-31 东软集团股份有限公司 构建图像特征提取模型的方法及图像识别的方法、装置
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN107273936A (zh) * 2017-07-07 2017-10-20 广东工业大学 一种gan图像处理方法及系统
CN107563510A (zh) * 2017-08-14 2018-01-09 华南理工大学 一种基于深度卷积神经网络的wgan模型方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SCOTT REED ET AL: "Generative Adversarial Text to Image Synthesis", 《ARXIV:1605.05396V2 [CS.NE] 5 JUN 2016》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557572B (zh) * 2018-05-31 2021-04-27 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及卷积神经网络系统
CN110557572A (zh) * 2018-05-31 2019-12-10 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及卷积神经网络系统
CN109063724A (zh) * 2018-06-12 2018-12-21 中国科学院深圳先进技术研究院 一种增强型生成式对抗网络以及目标样本识别方法
CN108986058A (zh) * 2018-06-22 2018-12-11 华东师范大学 明度一致性学习的图像融合方法
CN108986058B (zh) * 2018-06-22 2021-11-19 华东师范大学 明度一致性学习的图像融合方法
CN109191409A (zh) * 2018-07-25 2019-01-11 北京市商汤科技开发有限公司 图像处理、网络训练方法、装置、电子设备和存储介质
CN109118467A (zh) * 2018-08-31 2019-01-01 武汉大学 基于生成对抗网络的红外与可见光图像融合方法
CN109118467B (zh) * 2018-08-31 2021-11-16 武汉大学 基于生成对抗网络的红外与可见光图像融合方法
CN109190620A (zh) * 2018-09-03 2019-01-11 苏州科达科技股份有限公司 车牌样本生成方法、系统、设备及存储介质
CN109344879A (zh) * 2018-09-07 2019-02-15 华南理工大学 一种基于文本-图像对抗网络模型的分解卷积方法
CN109902723A (zh) * 2019-01-31 2019-06-18 北京市商汤科技开发有限公司 图像处理方法及装置
CN110322423A (zh) * 2019-04-29 2019-10-11 天津大学 一种基于图像融合的多模态图像目标检测方法
CN110322433B (zh) * 2019-05-27 2021-03-12 苏州佳赛特智能科技有限公司 一种面向外观缺陷视觉检测的数据集扩增方法
WO2021022685A1 (zh) * 2019-08-08 2021-02-11 合肥图鸭信息科技有限公司 一种神经网络训练方法、装置及终端设备
CN110930469A (zh) * 2019-10-25 2020-03-27 北京大学 一种基于过渡空间映射的文本生成图像方法和系统
CN110930469B (zh) * 2019-10-25 2021-11-16 北京大学 一种基于过渡空间映射的文本生成图像方法和系统
CN111260652A (zh) * 2020-01-09 2020-06-09 浙江传媒学院 一种基于mimo-gan的图像生成系统和方法
CN111260652B (zh) * 2020-01-09 2023-09-08 浙江传媒学院 一种基于mimo-gan的图像生成系统和方法
CN112288040A (zh) * 2020-01-10 2021-01-29 牧今科技 执行用于物体识别的图像分类的方法和系统
CN112288040B (zh) * 2020-01-10 2021-07-23 牧今科技 执行用于物体识别的图像分类的方法和系统
CN111754446A (zh) * 2020-06-22 2020-10-09 怀光智能科技（武汉）有限公司 一种基于生成对抗网络的图像融合方法、系统及存储介质

Also Published As

Publication number Publication date
CN108090521B (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
CN108090521A (zh) 一种生成式对抗网络模型的图像融合方法和判别器
CN114388064B (zh) 用于蛋白质表征学习的多模态信息融合方法、系统、终端及存储介质
CN109543745B (zh) 基于条件对抗自编码网络的特征学习方法及图像识别方法
KR102602112B1 (ko) 얼굴 이미지 생성을 위한 데이터 프로세싱 방법 및 디바이스, 및 매체
WO2024051445A9 (zh) 图像生成方法以及相关设备
CN108197700A (zh) 一种生成式对抗网络建模方法及装置
CN113111760B (zh) 基于通道注意力的轻量化图卷积人体骨架动作识别方法
WO2023072067A1 (zh) 人脸属性编辑模型的训练以及人脸属性编辑方法
CN107886169A (zh) 一种基于文本‑图像生成对抗网络模型的多尺度卷积核方法
CN117292020B (zh) 图像生成方法、装置、电子设备及存储介质
CN110516642A (zh) 一种轻量化人脸3d关键点检测方法及系统
CN108460720A (zh) 一种基于生成对抗网络模型改变图像风格的方法
CN113822790B (zh) 一种图像处理方法、装置、设备及计算机可读存储介质
CN111738435A (zh) 一种基于移动设备的在线稀疏训练方法及系统
CN107784678A (zh) 卡通人脸图像的生成方法、装置和终端
CN107943750A (zh) 一种基于wgan模型的分解卷积方法
CN109344879A (zh) 一种基于文本-图像对抗网络模型的分解卷积方法
CN112990123B (zh) 图像处理方法、装置、计算机设备和介质
CN115393181A (zh) 美漫风格的头像生成模型的训练、生成方法及电子设备
CN113590800A (zh) 图像生成模型的训练方法和设备以及图像生成方法和设备
CN113792215A (zh) 基于深度自编码器的差分隐私推荐方法及系统
Devaraj et al. From symbols to signals: symbolic variational autoencoders
CN115131802B (zh) 基于局部表征增强的图像描述方法装置、存储介质和终端
WO2024169276A9 (zh) 轨迹信息处理方法、装置、计算机设备和可读存储介质
CN116895038A (zh) 视频动作识别方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 510730 Room 601 of No.6 Workshop, No.9 Lanyu Fourth Street, Guangzhou Economic and Technological Development Zone, Guangdong Province

Applicant after: Guangzhou visual sound intelligent technology Co.,Ltd.

Applicant after: GUANGZHOU VIDEO-STAR INTELLIGENT CO.,LTD.

Applicant after: SOUTH CHINA University OF TECHNOLOGY

Address before: 510730 Room 601, plant 6, No. 9, Lanyu 4th Street, Guangzhou Economic and Technological Development Zone, Guangzhou, Guangdong Province

Applicant before: GUANGZHOU VIDEO-STAR ELECTRONICS Co.,Ltd.

Applicant before: GUANGZHOU VIDEO-STAR INTELLIGENT CO.,LTD.

Applicant before: SOUTH CHINA University OF TECHNOLOGY

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 510730 Room 601 of No.6 Workshop, No.9 Lanyu Fourth Street, Guangzhou Economic and Technological Development Zone, Guangdong Province

Patentee after: GUANGZHOU VIDEO-STAR ELECTRONICS Co.,Ltd.

Patentee after: GUANGZHOU VIDEO-STAR INTELLIGENT CO.,LTD.

Patentee after: SOUTH CHINA University OF TECHNOLOGY

Address before: 510730 Room 601 of No.6 Workshop, No.9 Lanyu Fourth Street, Guangzhou Economic and Technological Development Zone, Guangdong Province

Patentee before: Guangzhou visual sound intelligent technology Co.,Ltd.

Patentee before: GUANGZHOU VIDEO-STAR INTELLIGENT CO.,LTD.

Patentee before: SOUTH CHINA University OF TECHNOLOGY

CP01 Change in the name or title of a patent holder