CN111260652B - 一种基于mimo-gan的图像生成系统和方法 - Google Patents

一种基于mimo-gan的图像生成系统和方法 Download PDF

Info

Publication number
CN111260652B
CN111260652B CN202010035932.5A CN202010035932A CN111260652B CN 111260652 B CN111260652 B CN 111260652B CN 202010035932 A CN202010035932 A CN 202010035932A CN 111260652 B CN111260652 B CN 111260652B
Authority
CN
China
Prior art keywords
sub
mimo
modes
gan
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010035932.5A
Other languages
English (en)
Other versions
CN111260652A (zh
Inventor
钱晓岚
张宝军
王雪梅
卓荣庆
俞定国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Media and Communications
Original Assignee
Zhejiang University of Media and Communications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Media and Communications filed Critical Zhejiang University of Media and Communications
Priority to CN202010035932.5A priority Critical patent/CN111260652B/zh
Publication of CN111260652A publication Critical patent/CN111260652A/zh
Application granted granted Critical
Publication of CN111260652B publication Critical patent/CN111260652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radio Transmission System (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种MIMO‑GAN的图像生成方法和系统，该系统包括用于接受真实图像，将真实图像分解成多个真实图像的子模式的模式分解器；接受MINO‑GAN输出的多个子模式，将这些子模式进行融合生成完整的图像的模式合成器；多输入多输出的对抗生成网络模块，MIMO‑GAN模块。本申请通过模式分解器将真实图像分解成多个子模式，利用MIMO‑GAN中的生成器和多个判别器对抗博弈捕捉真实图像的完整的模态信息，通过反复训练MIMO‑GAN网络中的多个生成器和判别器，生成满足要求的生成器集合和判别器集合，最后通过模式合成器得到生成图像，避免了模式坍塌问题，增加了生成图像的多样性，提高了运算速度。

Description

一种基于MIMO-GAN的图像生成系统和方法
技术领域
本发明涉及图像生成领域，具体涉及一种基于MIMO-GAN的图像生成系统和方法。
背景技术
对抗生成网络(Generative Adversarial Network，简称GAN)是一种机器学习模型，是近年来人工智能领域的一个研究热点，被认为是无监督学习最具前景的方法之一。该模型最初由Goodfellow等人于2014年提出，启发自博弈论中的两人零和博弈。该模型由一个生成网络和一个判断网络组成，通过这两个网络不断的相互对抗和调整参数，最终达到生成和真实数据分布一样的样本。
虽然GAN在图像生成，视频检测等方面取得了极大的成功，迅速得到了学术界和产业界的关注；但同时该模型也以难以训练著称，特别是对于具有多个子模态的复杂图像，在传统GAN框架下的模型生成的图像往往集中在某一个子模态，缺乏多样性，该现象极大地阻碍了利用GAN模型生成图像的技术，成为了一个亟待解决的问题。
申请公布号为CN 110120038 A(申请号为201910376122.3)的中国发明专利申请公开了一种基于对抗生成网络的路面裂缝缺陷检测方法，包括如下步骤：S1、将图像数据X输入至生成器并生成与裂缝标签Y对应的赝品标签Y’；S2、将图像数据X和赝品标签Y’在通道上进行连接，传输至辨别器并输出第一结果G_n；S3、将图像数据X和裂缝标签Y在通道上进行连接，传输至辨别器并输出第二结果G_p；S4、训练辨别器判断G_p为真，G_n为假，并将判断假的部分反向传播调整生成器参数；S5、更换所述图像数据X并重复步骤S1-S4对生成器和辨别器重复训练，直到辨别器无法判别G_p为真，G_n为假；S6、训练完成后，固定生成器参数，将要检测的图片输入生成器，输出一个1280*1280*1的得分矩阵，然后通过阀值进行过滤，得出检测结果，能够更清楚的辨别裂缝病害。但是该技术方案在传统GAN框架下的模型生成的图像往往集中在某一个子模态，缺乏多样性，容易造成GAN模型的模式坍塌问题，会出现梯度消失现象，该现象极大地阻碍了利用GAN模型生成图像的技术。
发明内容
本发明提供了一种基于MIMO-GAN的图像生成系统和方法。
本发明利用无线通信中的多输入多输出(MIMO)系统的概念提出了一种具有多个生成器和多个判断器的多输入多输出的对抗生成网络框架，即multiple-input andmultipleoutput generative adversarial network，MIMO-GAN，并基于此提供了一种基于MIMO-GAN的图像生成系统和方法。该图像生成方法和系统能够有效解决GAN模型的模式坍塌问题，避免梯度消失现象。
其具体方案如下：
一种基于MIMO-GAN的图像生成系统，包括：
模式分解器，用于接收真实图像并将真实图像分解成多个真实图像的子模式；
MIMO-GAN模块，用于接收所述模式分解器输出的真实图像的子模式和输入信号，产生m个子模式和n个判断结果；
模式合成器，用于接收所述MIMO-GAN模块输出的m个子模式并将这些子模式进行融合生成完整的图像。
本发明中，通过模式分解器将真实图像分解成多个子模式，利用MIMO-GAN模块生成真实图像的完整的子模态图像，最后通过模式合成器得到输出图像。本发明通过模式分解器将真实图像分解成多个子模式，利用MIMO-GAN模块中的多个生成器和多个判别器对抗博弈捕捉真实图像的完整的模态信息。针对客户的需求，通过反复训练MIMO-GAN模块中的多个生成器和判别器，生成满足要求的生成器集合和判别器集合，最后通过模式合成器得到生成图像。
所述的MIMO-GAN模块包括：
m个生成器和n个判别器，所述的m个生成器与n个判别器生成对抗构成一个对抗生成网络；
所述的m个生成器与n个判别器通过矩阵生成对抗构成一个对抗生成网络；
所述的矩阵为m×n阶的矩阵，其中，m≥2，n≥2。
所述的MIMO-GAN中的生成器集合中的每一个生成器都是一个神经网络，能够将输入信号(譬如高斯噪声)转变成一个子模式；所述的MIMO-GAN中的判别器集合中的每一个判断器都是一个神经网络，这些判别器接受模式分解器输出的真实图像的子模式和与之相连的生成器产生的子模式，负责甄别这些输入的真伪。所述的MIMO-GAN中生成器和判别器之间的连接模式用一个H矩阵存储，假设MIMO-GAN有m个生成器和n个判别器，则H是一个m×n阶的矩阵，其中任一元素hij的值代表生成器i和判别器j的连接状态，hij可以取0到1的数，值的大小表示生成器i和判别器j的连接强度，hij取1代表连接最强，当hij取0时，说明生成器i和判别器j无连接，他们之间不会进行对抗博弈。
所述的模式分解器与所述MIMO-GAN模块的判别器连接。
所述的模式合成器与所述MIMO-GAN模块的生成器连接。
所述的MIMO-GAN模块由多个生成器组成的生成器集合和由多个判断器组成的判断器集合两部分构成；MIMO-GAN模块接受来自模式分解器的真实图像的子模式以及输入信号，通过判别器的对抗博弈，产生多个子模式输出。模式合成器，用于接受MIMO-GAN模块的生成器输出的m个子模式，将这些子模式进行融合生成完整的图像，得到最终的输出结果。
一种基于MIMO-GAN的图像生成方法，采用基于MIMO-GAN的图像生成系统，包括以下步骤：
步骤S1：将真实图像输入到模式分解器中进行模式分解，得到n个真实图像的子模式；
步骤S2：将输入信号分别输入到m个生成器中，得到m个生成的初始子模式；
步骤S3：固定MIMO-GAN模块中所有生成器的参数以及读入步骤S1中n个真实图像的子模式和读入步骤S2中m个生成的初始子模式，依次训练n个判别器，得到MIMO-GAN模块中所有判别器的参数；
步骤S4：固定步骤S3中得到的MIMO-GAN模块中所有判别器的参数以及读入步骤S1中n个真实图像的子模式和读入步骤S2中m个生成的初始子模式，依次训练m个生成器，得到m个生成的子模式；
步骤S5：固定MIMO-GAN模块中所有生成器的参数以及读入步骤S1中n个真实图像的子模式和读入步骤S4中m个生成的子模式，依次训练n个判别器，得到MIMO-GAN模块中所有判别器的参数；
步骤S6：固定步骤S5中得到的MIMO-GAN模块中所有判别器的参数以及读入步骤S1中n个真实图像的子模式和读入步骤S4中m个生成的子模式，依次训练m个生成器，得到m个新的生成的子模式；
步骤S7：将步骤S6中得到m个新的生成的子模式更新到步骤S5和S6中m个生成的子模式，循环步骤S5和S6，得到达到设计目标的每一个生成器生成的子模式，输入到模式合成器中，得到生成图像。
步骤S1中，所述的n的个数根据需要进行设定，一般根据特征提取的话，n可设定为4个；若按照奇异值分解方法，需根据输入信号的维度d确定其主成分的分量，n可设定为0.7d，例如输入信号的维度为10，则n可设定为7。
步骤S2中，m可根据实际需要进行设定，最小可设定1，最大不超过1.2n。
步骤S3中，依次训练n个判别器，该判别器的目标函数公式为：
式中，代表对后面整个公式对判别器Dj的参数求最大值，E代表求数学期望，第一个数学期望/>是根据其下标给出的真实图像数据x的分布Pdata(x)对函数log[Dj(xj)]求得的。第二个数学期望/>是根据其下标给出的输入信号z的分布Pz(z)对函数log[1-Dj(Gi(z))]求得的。Gi代表第i个生成网络，Gi(z)代表第i个生成网络产生的子模式i，Dj代表第j个判别网络，Dj(·)这一函数的取值是一个标量，只能取0或1，hij是矩阵H中的一个元素，取0到1间的一个数，表示Gi和Dj链接状态。/>是一个求和符号，代表对m个生成器都求和。
步骤S4中，依次训练m个生成器，该生成器的目标函数公式：
式中，代表对后面整个公式对就生成器Gi的参数求最小值，/>是一个求和符号，代表对n个判别器都求和，E代表求数学期望，第一个数学期望/>是根据其下标给出的真实图像数据x的分布Pdata(x)对函数log[Dj(xj)]求得的。第二个数学期望/>是根据其下标给出的输入信号z的分布Pz(z)对函数log[1-Dj(Gi(z))]求得的。Gi代表第i个生成网络，Gi(z)代表第i个生成网络产生的子模式i，Dj代表第j个判别网络，Dj(·)这一函数的取值是一个标量，只能取0或1，hij是矩阵H中的一个元素，取0到1间的一个数，表示Gi和Dj链接状态。
步骤S7中，将步骤S6中得到m个新的生成的子模式更新到步骤S5和S6中m个生成的子模式，循环步骤S5和S6，得到达到设计目标的每一个生成器生成的子模式，输入到模式合成器中，得到生成图像，具体包括：
步骤A：固定MIMO-GAN模块中所有生成器的参数以及读入步骤S1中n个真实图像的子模式和读入步骤S6得到m个新的生成的子模式，依次训练n个判别器，得到MIMO-GAN模块中所有判别器的参数；
步骤B：固定步骤A中得到的MIMO-GAN模块中所有判别器的参数以及读入步骤S1中n个真实图像的子模式和读入步骤S6得到m个新的生成的子模式，依次训练m个生成器，得到m个新的生成的子模式，若未达到设计目标，则返回步骤A，并用步骤B中的m个新的生成的子模式更新步骤A中的m个新的生成的子模式；若达到设计目标，则结束进入步骤C；
步骤C：将步骤B得到的达到设计目标的每一个生成器生成的子模式输入到模式合成器中，得到生成图像。
所述的设计目标为直到每一个判别器无法识别跟判别器对抗的生成器产生的子模式。
与现有技术相比，本发明的有益效果是：
与传统的对抗生成网络相比，本项目在结构上增加了一个模式分解器和模式合成器，设计了一个MIMO-GAN结构，将传统的由单个生成器和单个判别器组成的GAN变成一个由多个生成器和多个判断器组成的多输入输出结构的GAN；在流程上，首先将真实数据进行模式分解，然后进行对抗学习，最后进行模式合成得到生成图像；有效地解决了由于多个模态共存引起的训练不收敛、模式坍塌问题，增加了生成图像的多样性，提高了运算速度，使得本发明不仅能够适用于简单的单模式图像，也适用于复杂的多模式图像，甚至跨模式信号，譬如图像信号，语言信号、文字信号。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明实施例公开的一种基于MIMO-GAN的图像生成系统的结构示意图；
图2是本发明实施例公开的一种基于MIMO-GAN的图像生成系统中MIMO-GAN模块的结构示意图；
图3是本发明实施例公开的一种MIMO-GAN图像生成方法的运行模型图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明公开的一种MIMO-GAN的图像生成系统，包括：模式分解器，MIMO-GAN模块和模式合成器三个部分。
模式分解器，用于接受真实图像，将真实图像分解成n个真实图像的子模式；
MIMO-GAN模块，用于接受模式分解器输出的n个真实图像的子模式和输入信号，生成n个判断结果和m个子模式；
模式合成器，用于接受MINO-GAN输出的m个子模式，将这些子模式进行融合生成完整的图像。
为了描述方便，以下过程中的神经网络是由CNN卷积神经网络、全连接网络以及反卷积网络构成，本领域技术人员将理解的是，除了使用以上网络之外，根据本发明的实施方式的构造也能够应用于其他方法之上。
下面将MIMO-GAN的结构和产生图像的过程进行详细的说明。
如图2所示，MIMO-GAN模块包括：m个生成器和n个判别器，所述的m个生成器与n个判别器生成对抗构成一个对抗生成网络；m个生成器与n个判别器通过矩阵生成对抗构成一个对抗生成网络，矩阵为m×n阶的矩阵，其中，m≥2，n≥2。MIMO-GAN模块由两部分组成，一部分是生成器集合，另一部分是判断器集合。生成器集合由m个生成器网络组成，分别记为生成器G1，生成器G2，......，生成器Gm，可产生m个子模式，这m个子模式是由m个生成器将输入的信号z进行变换得到，这些信号的分布为Pz；判别器集合由n个判别器网络组成，分别记为判别器D1,判别器D2，......，判别器Dn。每一个判别器Di对应于模式分解器产生的真实图像的一个子模式xi。n的个数等于模式分解器分解出的模式数目。图2中判别器输出的结果用T/F表示，T表示判断结果是真的，F表示判断结果是假的。在训练中，T对应于判别器输出的结果为1，F对应于判别器输出的结果为0。生成器只能与判别器相连，生成器之间以及判别器之间没有连接，图2用直线的方式示意了生成器和判别器之间的连接模式。生成器和判别器之间的连接模式用矩阵H表示，对于图2所示的MIMO-GAN模块，有m个生成器和n个判别器，则H是一个m×n阶的矩阵，其中任一元素hij的值代表生成器i和判别器j的连接状态，hij可以取0到1的数，值的大小表示生成器i和判别器j的连接强度，hij最大取1，当hij取0时，说明生成器i和判别器j无连接，他们之间不会进行对抗博弈。
如图2所示，模式分解器由一个神经网络构成，将真实数据x进行模式分解为n个真实图像的子模式，x`,…,xn，真实数据x的分布为：Pdata。
如图3所示，基于MIMO-GAN产生图像的过程包括以上步骤：
步骤S1：将真实数据x进行模式分解，得到n个真实图像的子模式，x`,…,xn；
步骤S2：将输入信号z分别输入到m个生成器中，得到m个生成子模式(子模式1、2、3......m)；
步骤S3：固定生成网络G中所有的生成器，依次训练n个判别器，对于任一判别器Dj，该判别器的目标函数公式为：
式中，代表对后面整个公式对判别器Dj的参数求最大值，E代表求数学期望，第一个数学期望是根据其下标给出的真实图像数据x的分布Pdata(x)对函数log[Dj(xj)]求得的。第二个数学期望是根据其下标给出的输入信号z的分布Pz(z)对函数log[1-Dj(Gi(z))]求得的。Gi代表第i个生成网络，Gi(z)代表第i个生成网络产生的子模式i，Dj代表第j个判别网络，Dj(·)这一函数的取值是一个标量，只能取0或1，hij是矩阵H中的一个元素，取0到1间的一个数，表示Gi和Dj链接状态。/>是一个求和符号，代表对m个生成器都求和。
步骤S4：固定判别网络D中所有的判别器，依次训练m个生成器，对于任一生成器Gi，该生成器的目标函数公式：
式中，代表对后面整个公式对就生成器Gi的参数求最小值，/>是一个求和符号，代表对n个判别器都求和，E代表求数学期望，第一个数学期望是根据其下标给出的真实图像数据x的分布Pdata(x)对函数log[Dj(xj)]求得的。第二个数学期望是根据其下标给出的输入信号z的分布Pz(z)对函数log[1-Dj(Gi(z))]求得的。Gi代表第i个生成网络，Gi(z)代表第i个生成网络产生的子模式i，Dj代表第j个判别网络，Dj(·)这一函数的取值是一个标量，只能取0或1，hij是矩阵H中的一个元素，取0到1间的一个数，表示Gi和Dj链接状态。
步骤S5：重复步骤S3至S4，直到判别网络D中判别器无法识别生成网络G产生的图像；
步骤S6：将上一轮生成网络G每一个生成器生成的子模式输入到模式合成器中，得到生成图像。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (5)

1.一种基于MIMO-GAN的图像生成方法，其特征在于，采用基于MIMO-GAN的图像生成系统，包括：
模式分解器，用于接收真实图像并将真实图像分解成多个真实图像的子模式；
MIMO-GAN模块，用于接收所述模式分解器输出的真实图像的子模式和输入信号，产生m个子模式和n个判断结果；
模式合成器，用于接收所述MIMO-GAN模块输出的m个子模式并将这些子模式进行融合生成完整的图像；
所述的MIMO-GAN模块包括：
m个生成器和n个判别器，所述的m个生成器与n个判别器生成对抗构成一个对抗生成网络，所述的m个生成器与n个判别器通过矩阵生成对抗构成一个对抗生成网络；
所述方法包括以下步骤：
步骤S1：将真实图像输入到模式分解器中进行模式分解，得到n个真实图像的子模式；
步骤S2：将输入信号分别输入到m个生成器中，得到m个生成的初始子模式；
步骤S3：固定MIMO-GAN模块中所有生成器的参数以及读入步骤S1中n个真实图像的子模式和读入步骤S2中m个生成的初始子模式，依次训练n个判别器，得到MIMO-GAN模块中所有判别器的参数；
步骤S4：固定步骤S3中得到的MIMO-GAN模块中所有判别器的参数以及读入步骤S1中n个真实图像的子模式和读入步骤S2中m个生成的初始子模式，依次训练m个生成器，得到m个生成的子模式；
步骤S5：固定MIMO-GAN模块中所有生成器的参数以及读入步骤S1中n个真实图像的子模式和读入步骤S4中m个生成的子模式，依次训练n个判别器，得到MIMO-GAN模块中所有判别器的参数；
步骤S6：固定步骤S5中得到的MIMO-GAN模块中所有判别器的参数以及读入步骤S1中n个真实图像的子模式和读入步骤S4中m个生成的子模式，依次训练m个生成器，得到m个新的生成的子模式；
步骤S7：将步骤S6中得到m个新的生成的子模式更新到步骤S5和S6中m个生成的子模式，循环步骤S5和S6，得到达到设计目标的每一个生成器生成的子模式，输入到模式合成器中，得到生成图像。
2.根据权利要求1所述的基于MIMO-GAN的图像生成方法，其特征在于，所述的矩阵为m×n阶的矩阵，其中，m≥2，n≥2。
3.根据权利要求1所述的基于MIMO-GAN的图像生成方法，其特征在于，所述的模式分解器与所述MIMO-GAN模块的判别器连接。
4.根据权利要求1所述的基于MIMO-GAN的图像生成方法，其特征在于，所述的模式合成器与所述MIMO-GAN模块的生成器连接。
5.根据权利要求1所述的基于MIMO-GAN的图像生成方法，其特征在于，步骤S7中，将步骤S6中得到m个新的生成的子模式更新到步骤S5和S6中m个生成的子模式，循环步骤S5和S6，得到达到设计目标的每一个生成器生成的子模式，输入到模式合成器中，得到生成图像，具体包括：
步骤A：固定MIMO-GAN模块中所有生成器的参数以及读入步骤S1中n个真实图像的子模式和读入步骤S6得到m个新的生成的子模式，依次训练n个判别器，得到MIMO-GAN模块中所有判别器的参数；
步骤B：固定步骤A中得到的MIMO-GAN模块中所有判别器的参数以及读入步骤S1中n个真实图像的子模式和读入步骤S6得到m个新的生成的子模式，依次训练m个生成器，得到m个新的生成的子模式，若未达到设计目标，则返回步骤A，并用步骤B中的m个新的生成的子模式更新步骤A中的m个新的生成的子模式；若达到设计目标，则结束进入步骤C；
步骤C：将步骤B得到的达到设计目标的每一个生成器生成的子模式输入到模式合成器中，得到生成图像。
CN202010035932.5A 2020-01-09 2020-01-09 一种基于mimo-gan的图像生成系统和方法 Active CN111260652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010035932.5A CN111260652B (zh) 2020-01-09 2020-01-09 一种基于mimo-gan的图像生成系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010035932.5A CN111260652B (zh) 2020-01-09 2020-01-09 一种基于mimo-gan的图像生成系统和方法

Publications (2)

Publication Number Publication Date
CN111260652A CN111260652A (zh) 2020-06-09
CN111260652B true CN111260652B (zh) 2023-09-08

Family

ID=70950489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010035932.5A Active CN111260652B (zh) 2020-01-09 2020-01-09 一种基于mimo-gan的图像生成系统和方法

Country Status (1)

Country Link
CN (1) CN111260652B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052203B (zh) * 2021-02-09 2022-01-18 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种面向多种类数据的异常检测方法及装置
US20230086807A1 (en) * 2021-09-17 2023-03-23 Adobe Inc. Segmented differentiable optimization with multiple generators

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563995A (zh) * 2017-08-14 2018-01-09 华南理工大学 一种多判别器误差反传的对抗网络方法
CN108090521A (zh) * 2018-01-12 2018-05-29 广州视声智能科技有限公司 一种生成式对抗网络模型的图像融合方法和判别器
CN108665414A (zh) * 2018-05-10 2018-10-16 上海交通大学 自然场景图片生成方法
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN109902615A (zh) * 2019-02-25 2019-06-18 中国计量大学 一种基于对抗网络的多个年龄段图像生成方法
CN109978850A (zh) * 2019-03-21 2019-07-05 华南理工大学 一种多模态医学影像半监督深度学习分割系统
CN110010229A (zh) * 2019-04-09 2019-07-12 西南石油大学 一种基于生成对抗网络的超声影像模拟方法
CN110120038A (zh) * 2019-05-07 2019-08-13 重庆同济同枥信息技术有限公司 一种基于对抗生成网络的路面裂缝缺陷检测方法
CN110335324A (zh) * 2019-05-22 2019-10-15 湖南大学 一种基于rgb三通道多路合成的灰度图像着色方法及系统
CN110619347A (zh) * 2019-07-31 2019-12-27 广东工业大学 一种基于机器学习的图像生成方法及其方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474929B2 (en) * 2017-04-25 2019-11-12 Nec Corporation Cyclic generative adversarial network for unsupervised cross-domain image generation
US10346974B2 (en) * 2017-05-18 2019-07-09 Toshiba Medical Systems Corporation Apparatus and method for medical image processing
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
US11501438B2 (en) * 2018-04-26 2022-11-15 Elekta, Inc. Cone-beam CT image enhancement using generative adversarial networks
US11138731B2 (en) * 2018-05-30 2021-10-05 Siemens Healthcare Gmbh Methods for generating synthetic training data and for training deep learning algorithms for tumor lesion characterization, method and system for tumor lesion characterization, computer program and electronically readable storage medium

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563995A (zh) * 2017-08-14 2018-01-09 华南理工大学 一种多判别器误差反传的对抗网络方法
CN108090521A (zh) * 2018-01-12 2018-05-29 广州视声智能科技有限公司 一种生成式对抗网络模型的图像融合方法和判别器
CN108665414A (zh) * 2018-05-10 2018-10-16 上海交通大学 自然场景图片生成方法
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN109902615A (zh) * 2019-02-25 2019-06-18 中国计量大学 一种基于对抗网络的多个年龄段图像生成方法
CN109978850A (zh) * 2019-03-21 2019-07-05 华南理工大学 一种多模态医学影像半监督深度学习分割系统
CN110010229A (zh) * 2019-04-09 2019-07-12 西南石油大学 一种基于生成对抗网络的超声影像模拟方法
CN110120038A (zh) * 2019-05-07 2019-08-13 重庆同济同枥信息技术有限公司 一种基于对抗生成网络的路面裂缝缺陷检测方法
CN110335324A (zh) * 2019-05-22 2019-10-15 湖南大学 一种基于rgb三通道多路合成的灰度图像着色方法及系统
CN110619347A (zh) * 2019-07-31 2019-12-27 广东工业大学 一种基于机器学习的图像生成方法及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多尺度生成式对抗网络图像修复算法;李克文;张文韬;邵明文;李乐;;计算机科学与探索(第01期);全文 *

Also Published As

Publication number Publication date
CN111260652A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
Hu et al. A novel image steganography method via deep convolutional generative adversarial networks
Mao et al. Least squares generative adversarial networks
CN110110624B (zh) 一种基于DenseNet网络与帧差法特征输入的人体行为识别方法
CN111260652B (zh) 一种基于mimo-gan的图像生成系统和方法
Li et al. MMMNet: An end-to-end multi-task deep convolution neural network with multi-scale and multi-hierarchy fusion for blind image quality assessment
Lu et al. Binarized aggregated network with quantization: Flexible deep learning deployment for CSI feedback in massive MIMO systems
Idrissi et al. An unsupervised generative adversarial network based-host intrusion detection system for internet of things devices
Singh et al. Steganalysis of digital images using deep fractal network
CN110175248B (zh) 一种基于深度学习和哈希编码的人脸图像检索方法和装置
CN111210002B (zh) 一种基于生成对抗网络模型的多层学术网络社区发现方法、系统
CN111311702B (zh) 一种基于BlockGAN的图像生成和识别模块及方法
CN112801297A (zh) 一种基于条件变分自编码器的机器学习模型对抗性样本生成方法
CN115941112B (zh) 一种便携式隐蔽通信方法、计算机设备及存储介质
Rajani et al. Stacking with auxiliary features for visual question answering
CN113627543A (zh) 一种对抗攻击检测方法
CN113378949A (zh) 一种基于胶囊网络和混合注意力的双重生成对抗学习方法
CN111783890A (zh) 一种针对图像识别过程中的小像素对抗样本防御方法
Chandra et al. Adapting modularity during learning in cooperative co-evolutionary recurrent neural networks
CN115272774A (zh) 基于改进自适应差分进化算法的对抗样本攻击方法及系统
CN115908842A (zh) 变压器局部放电数据增强与识别方法
Deng et al. A multi-objective examples generation approach to fool the deep neural networks in the black-box scenario
Draves et al. Bias-variance tradeoffs in joint spectral embeddings
Yang et al. Unsupervised neural network for modulation format discrimination and identification
CN111091102B (zh) 一种视频分析装置、服务器、系统及保护身份隐私的方法
CN111767949A (zh) 一种基于特征和样本对抗共生的多任务学习方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant