CN112818646A - 基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法 - Google Patents
基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法 Download PDFInfo
- Publication number
- CN112818646A CN112818646A CN202110219192.5A CN202110219192A CN112818646A CN 112818646 A CN112818646 A CN 112818646A CN 202110219192 A CN202110219192 A CN 202110219192A CN 112818646 A CN112818646 A CN 112818646A
- Authority
- CN
- China
- Prior art keywords
- picture
- text
- discriminator
- generator
- sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 20
- 239000013598 vector Substances 0.000 claims description 38
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 13
- 230000002457 bidirectional effect Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 230000015654 memory Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 abstract 1
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提出了一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，通过生成器和判别器的对抗训练，使得生成器最终能够将给定的图片编辑为与文本描述相匹配的图片。主要包括以下步骤：获取文本与图片匹配的数据集、搭建基于生成对抗网络的生成对抗模型；通过梯度下降法迭代训练生成网络和判别网络。最终获得一个能够有效根据文本编辑已有图片的生成器。本发明通过生成器中的动态编辑模块以及动态卷积模块，将文本信息融合进图片解码过程中；通过对判别器的零中心匹配梯度惩罚，促使生成器生成的图片与给定的文本匹配；有效地解决了编辑的图片细节缺失，编辑后的图片与给定文本不匹配的问题。
Description
技术领域
本发明涉及根据文本编辑图像算法，具体涉及一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，属于模式识别领域。
背景技术
随着深度学习的发展，计算机视觉与机器学习方法的性能都取得很大的提高。并且深度学习模型已经在图像处理，自然语言处理以及图像生成领域取得了令人惊讶的成功。尤其是图像生成模型，在当前短视频社交软件平台，通过特效生成，风格迁移，使其得到了广泛的应用。基于生成对抗网络的模型，通过同时训练一个生成网络和一个判别网络，并让其互相进行对抗训练来使得生成网络最终可以生成非常真实的图片。尽管当前的生成对抗网络已经可以生成质量非常高的图片，但是在图像编辑任务上，依然有所欠缺，主要表现在当前的图像编辑任务，无法通过一种直接简洁的方式，使得一个模型实现多目标的编辑；所以通过一种方便，简洁的方式来控制编辑的内容成了当前图像编辑任务中非常重要的研究方向。而文本作为人类社会最常用的交流媒介，其直观性和简洁性远远超过其他媒介，这也使得当前人工智能时代涌现出很多基于文本的智能应用，例如人工智能客服，智能文本生成等。文本的直观简洁也为生成对抗网络的可控生成指出了一条方向，我们需要将文本与生成对抗网络连接在一起，在确保生成内容的多样性的同时，也要保证生成内容受文本的控制，从而提高生成对抗网络的生成内容可控性，便于生成对抗网络投入到实际应用中。基于文本编辑图像的的生成对抗网络需要做到两点：一是要确保编辑后图像的真实性，二是编辑后的图片与给定的文本相符。
发明内容
本发明的目的是：针对现有根据文本编辑图像技术存在的问题，提出一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法。
本发明主要采用以下技术方案：
一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，主要包括以下步骤：
步骤(1)：获取训练数据集，其中每个样本都由文本和图像对组成；
步骤(2)：搭建生成对抗网络模型，所述生成对抗网络模型由生成器和判别器组成，其中生成器包括编码器和图片解码器和语义解码器；
步骤(3)：文本编码器将文本编码为向量输入给步骤(2)所述生成器和判别器；
步骤(4)：训练判别器，在训练过程中，需要对三类数据做出判断，分别是真实的图片和匹配的句子，生成的图片和匹配的句子，以及真实的图片与不匹配的句子；；
步骤(5)：对判别器的零中心匹配梯度惩罚，促使生成的图片与给定的文本匹配；
步骤(6)：训练生成器，在训练过程中，提出了一个动态编辑模块来融合文本信息和图像特征；
步骤(7)：将训练好判别器和生成器的生成对抗网络模型用于根据文本编辑图像的任务。
进一步的，步骤(1)所述的数据集里，每一张图片对应一句或多句相应的文本描述，文本大致描述了图像中的对象与事件，每条文本的长度在5到40个单词之间。
进一步的，所述步骤(2)中，采用了一个由编码器和解码器的生成对抗网络，此网络在生成过程中，通过编码器降采样输入的图像，再通过解码器上采样编码的图像特征，文本信息在解码过程中融入到图像编码特征中。
进一步的，所述步骤(3)中，采用了一个已经预训练好的双向长短期记忆网络作为文本编码器，此网络在生成对抗网络的训练过程中不更新参数，输入文本经由双向长短期记忆网络编码为句子向量和单词向量，具体包括以下步骤：
31)首先，文本中每一个单词会转换成一个独热码，每一个单词对应一个独热码；
32)再将独热码输入给嵌入层，使得每一个单词对应一个单词向量；
33)将这些由单词向量组成的句子输入进双向长短期记忆网络，并将最后一个隐状态作为整个句子的句子向量，输入给生成器和判别器。
进一步的，所述步骤(4)中，真实的图片和匹配的句子作为正样本，判别器给予高分，而生成的图片和匹配的句子，以及真实的图片与不匹配的句子作为负样本，判别器给予低分；
采用铰链损失作为生成对抗网络的损失函数，为了控制正负样本的损失平衡，给两个负样本损失乘上1/2，判别器的损失函数表示为：
其中Pr是真实图像的分布，Pg是生成图像的分布，Pmis是与文本不匹配的图像的分布，x为输入图片，e为与输入图片x相匹配的句子向量，
为随机选取的句子向量，D为判别器，G为生成器，E为期望。
通过联合判别以上三种图片与文本搭配的情况，最终判别器不仅能够区分生成的图片和真实的图片，也能够判断图片是否与文本匹配，从而促进生成器生成真实且与给定文本匹配的图片。
进一步的，所述步骤(5)中提出了零中心匹配梯度惩罚来约束判别器，在训练过程中，选择在匹配的句子和真实的图片的输入上进行梯度惩罚，判别器在该数据点的梯度接近于零，使得在判别器的损失函数曲面中，该数据点周围的损失曲面光滑，便于生成器收敛到目标位置，零中心匹配梯度惩罚表示为：
其中Pr是真实图像的分布，e为与输入图片x相匹配的句子向量，x为输入图片，D为判别器，E为期望，
为梯度，k和p为超参数。
进一步的，所述步骤(6)包括以下步骤：
61)将给定的图片和目标文本输入给生成器，生成器中的编码器会对输入的图片进行降采样，并通过图片解码器和语义解码器将图片上采样至输入图片相同的尺寸；
62)语义解码器接受编码器的输出后，通过一系列插值和卷积操作来生成语义特征图，再将通道及空间维度的仿射变换参数输入给图片解码器中的动态编辑模块；
63)图片解码器中的动态编辑模块对解码过程中的图像特征进行通道以及空间维度的仿射变换，从而将文本特征融入到最终生成的图片中；
64)生成编辑过的图片后，输入给判别器判别，判别器给予生成的图片一个标量来表示生成的质量，使用判别器的输出作为生成器的损失函数，并进行反向传播，使用梯度优化来更新生成器的参数，生成器的损失函数如下：
其中Pg是生成图像的分布，x为输入图片，
为随机选取的句子向量，D为判别器，G为生成器，E为期望。
进一步的，所述步骤63)中通道维度的仿射变换参数是将句向量输入给两个两层全连接网络预测来的，空间维度的仿射变换参数是对语义解码器进行动态卷积预测来的；其中，动态卷积的卷积核参数是受句子向量控制的。
进一步的，在步骤(7)中，通过生成器与判别器之间的对抗训练，使用梯度下降优化法，使得最终得到的训练好的生成对抗网络模型能够根据文本编辑图像。
附图说明
图1.本发明的对抗网络模型图。
图2.动态编辑模块的架构示意图。
图3.动态卷积模块的架构示意图。
有益效果
本发明是一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，生成器由编码器和解码器组成，对应层的编码器和解码器之间，使用跳跃连接，来保留输入图片中更多的细节。并且使用动态编辑模块，以及动态卷积模块，对编码器编码后的图像特征进行通道以及空间维度的仿射变换，使得文本信息能够有效融合进生成的图像中；最后，该网络对判别器进行了零中心匹配梯度惩罚，使得判别器获得明确的优化方向，从而提高编辑后的图片与文本的匹配性；通过梯度下降优化算法，进行生成网络与判别网络之间的迭代对抗训练，使得最终的生成器可以根据文本编辑需要编辑的部分，并保持与文本无关的部分不变。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案做进一步的详细说明：
本发明提供一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，具体流程如图1所示。
步骤(1)：获取训练数据集，其中每个样本都由文本和图像对组成。采用两个广泛使用的基准多模态数据集，分别是CUB-200和COCO数据集，其中，CUB-200数据集是由200种鸟类的图片组成，总共11788张图片，每张图片对应十句文本描述，按照类别划分训练集与测试集，其中训练集包含150种鸟类图片，测试集包含50种鸟类图片；COCO数据集总共包含120k张日常生活图片，每张图片对应五句文本描述，划分出80k张图片作为训练集，40k张图片作为测试集。
步骤(2)：搭建生成对抗网络模型；生成对抗网络包括生成器和判别器，其中生成器包括编码器，图片解码器和语义解码器；具体作用如下：编码器将给定的图片进行下采样和卷积操作，一直到分辨率降为4*4为止，将降采样后的图像特征输入给图片解码器和语义解码器；
图片解码器经过插值层，卷积层，最终得到与输入分辨率相同尺寸的编辑后的图像，而图片解码器中的动态编辑模块对解码过程中的图像特征进行通道以及空间维度的仿射变换，从而将文本信息融入到最终编辑后的图像中。语义解码器接受编码器的输出后，通过一系列插值和卷积操作生成语义特征图；
再将通道及空间维度的仿射变换参数输入给图片解码器中的动态编辑模块。判别器由一系列残差网络组成，最终输出一个标量来衡量当前输入。
步骤(3)：文本编码器将文本编码为向量输入给生成器和判别器；采用的文本编码器类似于AttnGAN，使用一个双向长短期记忆网络(BiLSTM)作为文本编码器。
31)首先，文本中每一个单词会转换成一个独热码，每一个单词对应一个独热码，
32)再将独热码输入给嵌入层，使得每一个单词对应一个单词向量，
33)将这些由单词向量组成的句子输入进双向长短期记忆网络，并将最后一个隐状态作为整个句子的句向量，输入给生成器和判别器。
其中，BiLSTM的嵌入层维数设置为300，隐层神经元个数设置为128。
步骤(4)：训练判别器；判别器不仅应该给真实的图片高分，给生成的图片低分，还需要判断图片是否与文本匹配。
判别器在训练过程中，需要对三类数据做出判断，分别是真实的图片和匹配的句子，生成的图片和匹配的句子，以及真实的图片与不匹配的句子；真实的图片和匹配的句子作为正样本，判别器应该给予高分，而生成的图片和匹配的句子，以及真实的图片与不匹配的句子作为负样本，判别器应该给予低分。
采用铰链损失(Hinge loss)作为生成对抗网络的损失函数，为了控制正负样本的损失平衡，给两个负样本损失乘上1/2，判别器的损失函数可以表示为：
其中Pr是真实图像的分布，Pg是生成图像的分布，Pmis是与文本不匹配的图像的分布，x为输入图片，e为与输入图片x相匹配的句子向量，
为随机选取的句子向量，D为判别器，G为生成器，E为期望。通过联合判别以上三种图片与文本搭配的情况，最终判别器不仅可以区分生成的图片和真实的图片，也可以判断图片是否与文本匹配，从而促进生成器生成真实且与给定文本匹配的图片。
步骤(5)：对判别器的零中心匹配梯度惩罚，促使生成的图片与给定的文本匹配；由于对抗训练的不稳定性，判别器在判断正负样本的时候，梯度非常的不稳定，波动大，这使得生成对抗网络收敛变慢，甚至于不收敛，所以需要对判别网络的梯度进行控制。在训练过程中，判别器的输入是文本和图像，文本包括与输入图像匹配的句子以及与输入图像不匹配的句子，图像包括真实图片与生成的图片，在文本和图片各自有两种的情况下，判别器的文本与图片有三种搭配，包括真实的图片和匹配的句子，生成的图片和匹配的句子，以及真实的图片与不匹配的句子；选择在真实的图片和匹配的句子的输入上进行梯度惩罚，判别器在该数据点的梯度接近于零，使得在判别器的损失函数曲面中，该数据点周围的损失曲面光滑，便于生成器收敛到目标位置，零中心匹配梯度惩罚可以表示为：
其中Pr是真实图像的分布，e为与输入图片x相匹配的句子向量，x为输入图片，D为判别器，E为期望，
为梯度，k和p为超参数。
步骤(6)：训练生成器，当更新过判别器，使得判别器具有判别真实图片与生成图片的能力后，需要训练生成器，使其能够生成使判别器的无法区分的图片，具体操作是，
将给定的图片和目标文本输入给生成器，生成器中的编码器会对输入的图片进行下采样，并通过图像解码器和语义解码器将图片上采样至输入图片相同的尺寸，并由动态卷积模块来预测图像特征在通道及空间维度的仿射变换参数，从而将文本特征融入到最终生成的图片中。
生成编辑过的图片后，输入给判别器判别，判别器给予生成的图片一个标量来表示生成的质量，使用判别器的输出作为生成器的损失函数，并进行反向传播，使用梯度优化来更新生成器的参数，生成器的损失函数如下：
其中Pg是生成图像的分布，e为与输入图片x相匹配的句子向量，x为输入图片，
为随机选取的句子向量，D为判别器，G为生成器，E为期望。
为了提高生成器利用文本的效率，提出一个动态编辑模块来融合文本信息和图像特征，动态编辑模块通过对解码过程中的图像特征进行通道以及空间维度的仿射变换来将文本信息融入到图像特征中，通道维度的仿射参数是将句向量输入给两个两层全连接网络预测来的，空间维度的仿射参数是对语义解码器进行动态卷积预测来的，其中，动态卷积的卷积核参数是受句子向量控制的；通过动态编辑模块融合文本与图像特征，使得生成过程中的图像特征能够跟随文本变化，从而使得生成器能够将给定的图像编辑为符合文本描述的样子。
动态编辑模块的架构如图2所示，其主要包含卷积，通道仿射变化以及空间仿射变化，通过全连接层以及动态卷积模块预测通道以及空间维度的仿射参数；
动态卷积模块的架构如图3所示，其通过全连接网络预测卷积网络的参数，并对语义特征进行卷积操作，从而达到编辑图像的目的。
步骤(7)：将训练好判别器和生成器的生成对抗网络模型用于根据文本编辑图像的任务。为了尽可能得准确地与其他模型的结果进行比较，本方法与两种根据文本编辑图像的模型分别是TAGAN和ManiGAN进行了比较如表1，采用两种类型的指标：InceptionScore(IS)和Manipulative Precision(MP)，表1报告了在CUB和COCO的评估结果。
表1：本方法在CUB和COCO数据集和其余两种方法的比较结果
Claims (9)
1.一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，其特征在于，主要包括以下步骤：
步骤(1)：获取训练数据集，其中每个样本都由文本和图像对组成；
步骤(2)：搭建生成对抗网络模型，所述生成对抗网络模型由生成器和判别器组成，其中生成器包括编码器、图片解码器和语义解码器；
步骤(3)：文本编码器将文本编码为向量输入给步骤(2)所述生成器和判别器；
步骤(4)：训练判别器，在训练过程中，需要对三类数据做出判断，分别是真实的图片和匹配的句子，生成的图片和匹配的句子，以及真实的图片与不匹配的句子；；
步骤(5)：对判别器的零中心匹配梯度惩罚，促使生成的图片与给定的文本匹配；
步骤(6)：训练生成器，在训练过程中，提出了一个动态编辑模块来融合文本信息和图像特征；
步骤(7)：将训练好判别器和生成器的生成对抗网络模型用于根据文本编辑图像的任务。
2.根据权利要求1所述的一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，其特征在于：步骤(1)所述的数据集里，每一张图片对应一句或多句相应的文本描述，文本大致描述了图像中的对象与事件，每条文本的长度在5到40个单词之间。
3.根据权利要求1所述的一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，其特征在于：所述步骤(2)中，采用了一个由编码器和解码器的生成对抗网络，此网络在生成过程中，通过编码器降采样输入的图像，再通过解码器上采样编码的图像特征，文本信息在解码过程中融入到图像编码特征中。
4.根据权利要求1所述的一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，其特征在于：所述步骤(3)中，采用了一个已经预训练好的双向长短期记忆网络作为文本编码器，此网络在生成对抗网络的训练过程中不更新参数，输入文本经由双向长短期记忆网络编码为句子向量和单词向量，具体包括以下步骤：
31)首先，文本中每一个单词会转换成一个独热码，每一个单词对应一个独热码；
32)再将独热码输入给嵌入层，使得每一个单词对应一个单词向量；
33)将这些由单词向量组成的句子输入进双向长短期记忆网络，并将最后一个隐状态作为整个句子的句子向量，输入给生成器和判别器。
5.根据权利要求1所述的一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，其特征在于：所述步骤(4)中，真实的图片和匹配的句子作为正样本，判别器给予高分，而生成的图片和匹配的句子，以及真实的图片与不匹配的句子作为负样本，判别器给予低分；
采用铰链损失作为生成对抗网络的损失函数，为了控制正负样本的损失平衡，给两个负样本损失乘上1/2，判别器的损失函数表示为：
其中Pr是真实图像的分布，Pg是生成图像的分布，Pmis是与文本不匹配的图像的分布，x为输入图片，e为与输入图片x相匹配的句子向量，
为随机选取的句子向量，D为判别器，G为生成器，E为期望；
通过联合判别以上三种图片与文本搭配的情况，最终判别器不仅能够区分生成的图片和真实的图片，也能够判断图片是否与文本匹配，从而促进生成器生成真实且与给定文本匹配的图片。
6.根据权利要求1所述的一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，其特征在于：所述步骤(5)中提出了零中心匹配梯度惩罚来约束判别器，在训练过程中，选择在匹配的句子和真实的图片的输入上进行梯度惩罚，判别器在该数据点的梯度接近于零，使得在判别器的损失函数曲面中，该数据点周围的损失曲面光滑，便于生成器收敛到目标位置，零中心匹配梯度惩罚表示为：
其中Pr是真实图像的分布，e为与输入图片x相匹配的句子向量，x为输入图片，D为判别器，E为期望，
为梯度，k和p为超参数。
7.根据权利要求1所述的一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，其特征在于：所述步骤(6)包括以下步骤：
61)将给定的图片和目标文本输入给生成器，生成器中的编码器会对输入的图片进行降采样，并通过图片解码器和语义解码器将图片上采样至输入图片相同的尺寸；
62)语义解码器接受编码器的输出后，通过一系列插值和卷积操作来生成语义特征图，再将通道及空间维度的仿射变换参数输入给图片解码器中的动态编辑模块；
63)图片解码器中的动态编辑模块对解码过程中的图像特征进行通道以及空间维度的仿射变换，从而将文本特征融入到最终生成的图片中；
64)生成编辑过的图片后，输入给判别器判别，判别器给予生成的图片一个标量来表示生成的质量，使用判别器的输出作为生成器的损失函数，并进行反向传播，使用梯度优化来更新生成器的参数，生成器的损失函数如下：
其中Pg是生成图像的分布，x为输入图片，
为随机选取的句子向量，D为判别器，G为生成器，E为期望。
8.根据权利要求7所述的一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，其特征在于：所述步骤62)中通道维度的仿射变换参数是将句子向量输入给两个两层全连接网络预测来的，空间维度的仿射变换参数是对语义解码器进行动态卷积预测来的；其中，动态卷积的卷积核参数是受句子向量控制的。
9.根据权利要求1所述的一种基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法，其特征在于：在步骤(7)中，通过生成器与判别器之间的对抗训练，使用梯度下降优化法，使得最终得到的训练好的生成对抗网络模型能够根据文本编辑图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110219192.5A CN112818646B (zh) | 2021-02-26 | 2021-02-26 | 基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110219192.5A CN112818646B (zh) | 2021-02-26 | 2021-02-26 | 基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112818646A true CN112818646A (zh) | 2021-05-18 |
| CN112818646B CN112818646B (zh) | 2023-07-14 |
Family
ID=75864152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110219192.5A Active CN112818646B (zh) | 2021-02-26 | 2021-02-26 | 基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112818646B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113362416A (zh) * | 2021-07-01 | 2021-09-07 | 中国科学技术大学 | 基于目标检测的文本生成图像的方法 |
| CN113408673A (zh) * | 2021-08-19 | 2021-09-17 | 联想新视界(南昌)人工智能工研院有限公司 | 生成对抗网络子空间解耦和生成编辑方法、系统及计算机 |
| CN113421314A (zh) * | 2021-06-09 | 2021-09-21 | 湖南大学 | 一种基于生成对抗网络的多尺度双模态文本生成图像方法 |
| CN113434918A (zh) * | 2021-06-28 | 2021-09-24 | 北京理工大学 | 一种基于文本的三维体素模型生成方法 |
| CN113487629A (zh) * | 2021-07-07 | 2021-10-08 | 电子科技大学 | 一种基于结构化场景和文本描述的图像属性编辑方法 |
| CN113807218A (zh) * | 2021-09-03 | 2021-12-17 | 科大讯飞股份有限公司 | 版面分析方法、装置、计算机设备和存储介质 |
| CN114359435A (zh) * | 2022-03-17 | 2022-04-15 | 阿里巴巴（中国）有限公司 | 图像生成方法、模型生成方法及设备 |
| CN114581334A (zh) * | 2022-03-17 | 2022-06-03 | 湖南大学 | 一种基于生成对抗网络的自调节文本生成图像方法 |
| CN114677569A (zh) * | 2022-02-17 | 2022-06-28 | 之江实验室 | 一种基于特征解耦合的文字-图像对生成方法和装置 |
| CN115527216A (zh) * | 2022-11-09 | 2022-12-27 | 中国矿业大学(北京) | 基于调制融合和生成对抗网络的文本生成图像方法 |
| CN116863032A (zh) * | 2023-06-27 | 2023-10-10 | 河海大学 | 一种基于生成对抗网络的洪涝灾害场景生成方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862377A (zh) * | 2017-11-14 | 2018-03-30 | 华南理工大学 | 一种基于文本‑图像生成对抗网络模型的分组卷积方法 |
| CN111159454A (zh) * | 2019-12-30 | 2020-05-15 | 浙江大学 | 基于Actor-Critic生成式对抗网络的图片描述生成方法及系统 |
| US20200288299A1 (en) * | 2017-12-08 | 2020-09-10 | JRD Communication (Shenzhen) Ltd. | Method for controlling display of sim card function menu and storage device for the same |
-
2021
- 2021-02-26 CN CN202110219192.5A patent/CN112818646B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862377A (zh) * | 2017-11-14 | 2018-03-30 | 华南理工大学 | 一种基于文本‑图像生成对抗网络模型的分组卷积方法 |
| US20200288299A1 (en) * | 2017-12-08 | 2020-09-10 | JRD Communication (Shenzhen) Ltd. | Method for controlling display of sim card function menu and storage device for the same |
| CN111159454A (zh) * | 2019-12-30 | 2020-05-15 | 浙江大学 | 基于Actor-Critic生成式对抗网络的图片描述生成方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 黄韬;贾西平;林智勇;马震远;: "基于生成对抗网络的文本引导人物图像编辑方法", 广东技术师范大学学报, no. 03 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113421314A (zh) * | 2021-06-09 | 2021-09-21 | 湖南大学 | 一种基于生成对抗网络的多尺度双模态文本生成图像方法 |
| CN113434918B (zh) * | 2021-06-28 | 2022-12-02 | 北京理工大学 | 一种基于文本的三维体素模型生成方法 |
| CN113434918A (zh) * | 2021-06-28 | 2021-09-24 | 北京理工大学 | 一种基于文本的三维体素模型生成方法 |
| CN113362416B (zh) * | 2021-07-01 | 2024-05-17 | 中国科学技术大学 | 基于目标检测的文本生成图像的方法 |
| CN113362416A (zh) * | 2021-07-01 | 2021-09-07 | 中国科学技术大学 | 基于目标检测的文本生成图像的方法 |
| CN113487629A (zh) * | 2021-07-07 | 2021-10-08 | 电子科技大学 | 一种基于结构化场景和文本描述的图像属性编辑方法 |
| CN113487629B (zh) * | 2021-07-07 | 2023-04-07 | 电子科技大学 | 一种基于结构化场景和文本描述的图像属性编辑方法 |
| CN113408673B (zh) * | 2021-08-19 | 2021-11-02 | 联想新视界(南昌)人工智能工研院有限公司 | 生成对抗网络子空间解耦和生成编辑方法、系统及计算机 |
| CN113408673A (zh) * | 2021-08-19 | 2021-09-17 | 联想新视界(南昌)人工智能工研院有限公司 | 生成对抗网络子空间解耦和生成编辑方法、系统及计算机 |
| CN113807218A (zh) * | 2021-09-03 | 2021-12-17 | 科大讯飞股份有限公司 | 版面分析方法、装置、计算机设备和存储介质 |
| CN113807218B (zh) * | 2021-09-03 | 2024-02-20 | 科大讯飞股份有限公司 | 版面分析方法、装置、计算机设备和存储介质 |
| CN114677569A (zh) * | 2022-02-17 | 2022-06-28 | 之江实验室 | 一种基于特征解耦合的文字-图像对生成方法和装置 |
| CN114677569B (zh) * | 2022-02-17 | 2024-05-10 | 之江实验室 | 一种基于特征解耦合的文字-图像对生成方法和装置 |
| CN114581334A (zh) * | 2022-03-17 | 2022-06-03 | 湖南大学 | 一种基于生成对抗网络的自调节文本生成图像方法 |
| CN114359435A (zh) * | 2022-03-17 | 2022-04-15 | 阿里巴巴（中国）有限公司 | 图像生成方法、模型生成方法及设备 |
| CN114581334B (zh) * | 2022-03-17 | 2024-05-24 | 湖南大学 | 一种基于生成对抗网络的自调节文本生成图像方法 |
| CN115527216A (zh) * | 2022-11-09 | 2022-12-27 | 中国矿业大学(北京) | 基于调制融合和生成对抗网络的文本生成图像方法 |
| CN115527216B (zh) * | 2022-11-09 | 2023-05-23 | 中国矿业大学(北京) | 基于调制融合和生成对抗网络的文本生成图像方法 |
| CN116863032A (zh) * | 2023-06-27 | 2023-10-10 | 河海大学 | 一种基于生成对抗网络的洪涝灾害场景生成方法 |
| CN116863032B (zh) * | 2023-06-27 | 2024-04-09 | 河海大学 | 一种基于生成对抗网络的洪涝灾害场景生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112818646B (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112818646A (zh) | 基于生成对抗网络和动态编辑模块的根据文本编辑图片的方法 | |
| CN113158665B (zh) | 一种基于文本摘要生成与双向语料改善对话文本生成的方法 | |
| CN111897933B (zh) | 情感对话生成方法、装置及情感对话模型训练方法、装置 | |
| WO2021037113A1 (zh) | 一种图像描述的方法及装置、计算设备和存储介质 | |
| CN113204952B (zh) | 一种基于聚类预分析的多意图与语义槽联合识别方法 | |
| CN111914076B (zh) | 一种基于人机对话的用户画像构建方法、系统、终端及存储介质 | |
| CN114550223B (zh) | 人物交互检测方法、装置及电子设备 | |
| CN111651558A (zh) | 基于预训练语义模型的超球面协同度量推荐装置和方法 | |
| CN111724400A (zh) | 视频自动抠像方法及系统 | |
| CN116259075A (zh) | 基于提示微调预训练大模型的行人属性识别方法 | |
| Hu et al. | Unified discrete diffusion for simultaneous vision-language generation | |
| CN116564355A (zh) | 一种基于自注意力机制融合的多模态情感识别方法、系统、设备及介质 | |
| CN116662565A (zh) | 基于对比学习预训练的异质信息网络关键词生成方法 | |
| CN114691858A (zh) | 一种基于改进的unilm摘要生成方法 | |
| CN117539999A (zh) | 一种基于跨模态联合编码的多模态情感分析方法 | |
| CN116958700A (zh) | 一种基于提示工程和对比学习的图像分类方法 | |
| CN117313728A (zh) | 实体识别方法、模型训练方法、装置、设备和存储介质 | |
| CN117313740A (zh) | 语言模型训练方法 | |
| CN111414466A (zh) | 一种基于深度模型融合的多轮对话建模方法 | |
| CN116661603A (zh) | 复杂人机交互场景下的多模态融合的用户意图识别方法 | |
| CN114880527B (zh) | 一种基于多预测任务的多模态知识图谱表示方法 | |
| CN115858756A (zh) | 基于感知情绪倾向的共情人机对话系统 | |
| CN116049450A (zh) | 一种基于距离聚类的支持多模态的图文检索方法及装置 | |
| CN115495579A (zh) | 5g通信助理文本分类的方法、装置、电子设备及存储介质 | |
| CN115270917A (zh) | 一种两阶段处理多模态服装图像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |