CN115439380A - 一种基于条件gan的图像合成装置及方法 - Google Patents

一种基于条件gan的图像合成装置及方法 Download PDF

Info

Publication number
CN115439380A
CN115439380A CN202210930214.3A CN202210930214A CN115439380A CN 115439380 A CN115439380 A CN 115439380A CN 202210930214 A CN202210930214 A CN 202210930214A CN 115439380 A CN115439380 A CN 115439380A
Authority
CN
China
Prior art keywords
condition
unit
image
conditional
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210930214.3A
Other languages
English (en)
Other versions
CN115439380B (zh
Inventor
陈春晓
陈志颖
吴泽静
徐俊琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210930214.3A priority Critical patent/CN115439380B/zh
Publication of CN115439380A publication Critical patent/CN115439380A/zh
Application granted granted Critical
Publication of CN115439380B publication Critical patent/CN115439380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于条件GAN的图像合成装置及方法，包括以下单元：数据获取单元；数据预处理单元，进行数据归一化，数据划分和条件标签制作；条件生成器单元，通过条件映射和条件解码将条件标签映射到图像的合成过程中，输出与输入条件标签对应的合成图像；条件鉴别器单元，通过条件映射和条件编码将条件标签映射到编码过程，鉴别合成图像与真实图像；模型优化器单元，通过目标损失函数的反向传播计算条件生成器单元和条件鉴别器单元的参数梯度，并通过生成器梯度调整子单元对条件生成器单元内的参数梯度进行约束，实现条件生成器单元与条件鉴别器单元之间稳定的生成对抗训练。

Description

一种基于条件GAN的图像合成装置及方法
技术领域
本发明涉及图像应用领域，尤其涉及一种基于条件GAN的图像合成装置及方法。
背景技术
条件GAN网络是一种采用先验条件分布加以干预的生成对抗网络，包括生成器和鉴别器两个部分。在训练过程中将先验条件按一定规则施加到生成器和鉴别器中，从而达到控制生成器生成的目的。条件GAN网络已经被广泛应用于图像合成任务中，目前已有的条件GAN网络一般采用条件与输入或者中间特征图拼接融合的方式进行控制，这种控制方式存在控制不连续，条件标签中各属性解耦困难的缺点。此外，在条件GAN网络的训练过程中，往往存在由鉴别器传导至生成器的梯度不稳定的情况，从而导致生成对抗训练的失败。
发明内容
本发明的目的是提供一种基于条件GAN的图像合成装置及方法，能够提高条件GAN网络训练稳定性。
为实现以上发明目的，而采用的技术手段是：
一种基于条件GAN的图像合成装置，所述装置包括：
数据获取单元，用于获取图像数据集，并将所述图像数据集送入数据预处理单元；
数据预处理单元，用于对数据获取单元所获取的图像数据进行预处理，预处理过程包括统一图像尺寸，采用线性变换方法将图像像素值的范围规范到-1到1之间，将图像数据集划分为训练集、验证集和测试集，制作每一图像所对应的条件标签；
条件生成器单元，用于利用卷积神经网络并根据输入的条件标签对输入条件生成器单元的图像进行编码和条件解码，输出合成图像Is，使合成图像Is具有条件标签c′所代表的风格特征和输入图像的形状特征；
条件鉴别器单元，用于利用卷积神经网络并根据输入的条件标签对条件生成器单元输出的合成图像Is和真实图像Ir分别进行条件编码，输出两个分别反映条件生成器单元输出的合成图像Is和真实图像Ir真假程度的鉴别器反馈值；
模型优化器单元，用于计算目标损失函数，并根据损失函数的反向传播计算条件生成器单元和条件鉴别器单元的梯度，对条件生成器单元输出的合成图像Is的梯度幅值进行调整，根据计算出的参数梯度对条件生成器单元和条件鉴别器单元的参数进行更新；
优选的，所述数据预处理单元中的统一图像尺寸利用裁剪和填充的方法将图像的尺寸进行统一；所述数据预处理单元中的线性变换方法通过乘以常数k和加常数b，将图像像素值的范围变换到-1到1之间；
优选的，所述数据预处理单元中的数据划分将数据按6:2:2的比例划分为训练集，验证集和测试集；
优选的，所述数据预处理单元中的条件标签制作是根据每一个图像样本的属性定义其标签；条件标签是由“0”、“1”组成的一维数据，条件标签的每一位代表一种属性；
优选的，所述的条件生成器单元具体包括：
图像编码单元，用于对输入条件生成器单元的图像进行下采样编码，并将其转换为隐空间里的中间特征x1；
条件映射单元，用于将条件标签ca映射为由浮点数组成的条件向量va；
条件解码单元，用于对中间特征x1进行解码，并将条件向量va嵌入解码过程，输出中间特征x2；
串联解码单元，用于利用一个或更多个串联的条件解码单元对中间特征x2进行解码，最后解码得到与输入条件生成器单元的图像大小一致的输出图像；
图像输出单元，用于利用卷积进行加权求和，输出合成图像Is；
优选的，所述图像编码单元采用多个卷积单元提取图像特征，并通过步长为2的卷积进行下采样，每个卷积过程之后跟随一个实例标准化单元和非线性的Relu神经元激活函数。
优选的，所述的条件解码单元具体包括：
反卷积解码单元，用于利用反卷积对中间特征x1进行解码变换，输出尺寸为中间特征x1两倍的中间特征x12；
特征提取单元，用于对中间特征x12进行插值降采样，再从降采样后的结果中利用可学习的参数矩阵提取特征因子，得到一个代表中间特征x12的特征因子向量ve；
条件嵌入单元，包括融合转换单元和变换单元；融合转换单元用于将条件向量va和特征因子向量ve进行拼接，通过可训练参数对拼接后的向量进行转换获得变换向量vTr；变换单元用于利用变换向量vTr与中间特征x12的点乘并经过非线性的Relu神经元激活函数输出中间特征x2；所述的变换向量vTr的维度与中间特征x12的通道数量相同；所述的变换向量vTr与中间特征x12的点乘为变换向量vTr每一维的数值与中间特征x12每一通道的乘积过程。；
优选的，所述的条件鉴别器单元具体包括：
条件映射单元，用于分别将条件生成器单元的输出的合成图像Is对应的条件标签c′和真实图像Ir对应的条件标签c映射为条件向量vg和vr；
条件编码单元，用于将条件向量vg和条件向量vr分别嵌入条件生成器单元的输出的合成图像Is和真实图像Ir的编码过程，分别输出编码特征；
串联编码单元，用于利用一个或更多个串联的条件编码单元对编码特征进行连续编码；
反馈值输出单元，用于利用卷积进行加权求和并输出分别反映条件生成器单元输出的合成图像Is和真实图像Ir真假程度的鉴别器反馈值；
优选的，所述的条件编码单元具体包括：
卷积单元，用于对条件编码单元的输入进行卷积变换；实例标准化单元，用于将卷积单元的输出的每一通道特征图的均值和方差变换为0和1；特征提取单元，用于对卷积单元的输出进行插值降采样并提取得到特征因子向量；条件嵌入单元，用于利用特征因子向量与条件向量对实例标准化单元的输出进行变换得到条件编码后的输出；
优选的，所述的模型优化器单元具体包括：
损失函数计算单元，用于计算条件生成器单元和条件鉴别器单元在训练过程中的目标损失函数；
鉴别器梯度计算单元，用于利用生成对抗损失的反向传播计算条件鉴别器单元内的参数的梯度；
生成器梯度调整单元，用于对生成对抗损失
Figure BDA0003780031280000031
在反向传播过程中产生于生成器合成图像Is的梯度
Figure BDA0003780031280000032
和循环一致损失
Figure BDA0003780031280000033
产生于Is的梯度
Figure BDA0003780031280000034
进行幅值调整
Figure BDA0003780031280000035
使条件生成器单元的训练更加稳定；
生成器梯度计算单元，用于利用生成器梯度调整单元调整后的梯度
Figure BDA0003780031280000036
和
Figure BDA0003780031280000037
继续反向传播，计算条件生成器单元内的参数的梯度；
参数更新单元，用于利用计算出的条件生成器单元内的参数梯度和条件鉴别器单元内的参数梯度，采用Adam优化策略根据所计算出的参数梯度对条件生成器单元内的参数和条件鉴别器单元内的参数进行更新。
所述装置的图像合成方法，包括以下步骤：
S1、获取图像数据集，并对所获取的图像进行预处理后输入条件生成器单元；
S2、利用卷积神经网络并根据输入的条件标签对步骤S1中输入条件生成器单元的图像进行编码和条件解码，输出合成图像Is，使合成图像Is具有条件标签c′所代表的风格特征和输入图像的形状特征；
S21对输入条件生成器单元的图像进行下采样编码，并将其转换为隐空间里的中间特征x1；
S22将条件标签c′映射为由浮点数组成的条件向量va；
S23对中间特征x1进行解码，并将条件向量va嵌入解码过程，输出中间特征x2；
S24利用一个或更多个串联的条件解码单元对中间特征x2进行解码，最后解码得到与输入图像大小一致的输出图像；
S25利用卷积进行加权求和，输出合成图像Is；
S3、利用卷积神经网络并根据输入的条件标签对步骤S2中条件生成器单元的输出合成图像Is和真实图像Ir分别进行条件编码，输出两个分别反映条件生成器单元的输出合成图像Is和真实图像Ir真假程度的鉴别器反馈值,反馈值越大则图像真的程度越高，反之则假的程度越高；
S31分别将条件生成器单元输出的合成图像Is对应的条件标签c′和真实图像Ir对应的条件标签c映射为条件向量vg和vr；
S32对条件鉴别器单元的输入图像进行编码，并将条件向量vg和条件向量vr分别嵌入条件生成器单元输出的合成图像Is和真实图像Ir的编码过程，分别输出编码特征；
S33利用一个或更多个条件编码单元对编码特征进行编码；
S34利用卷积进行加权求和并输出两个分别反映条件生成器单元的输出合成图像Is和真实图像Ir真假程度的鉴别器反馈值；
S4、计算目标损失函数，根据损失函数的反向传播计算条件生成器单元和条件鉴别器单元内参数的梯度，并对条件生成器单元的输出合成图像Is的梯度幅值进行调整，最后根据参数的梯度对条件生成器单元和条件鉴别器单元的参数进行更新；
S41计算条件生成器单元和条件鉴别器单元的目标函数，包括生成对抗损失和循环一致损失的计算；
S42利用
Figure BDA0003780031280000041
的反向传播计算条件鉴别器单元内可学习参数的梯度；
S43对
Figure BDA0003780031280000042
在反向传播过程中产生于Is的梯度
Figure BDA0003780031280000043
和
Figure BDA0003780031280000044
产生于Is的梯度
Figure BDA0003780031280000045
进行幅值调整
Figure BDA0003780031280000046
使对G的训练更加稳定；
S44利用生成器梯度调整单元调整后的梯度
Figure BDA0003780031280000051
和
Figure BDA0003780031280000052
继续反向传播，计算条件生成器单元内参数的梯度；
S45利用计算出的条件生成器单元和条件鉴别器单元内的参数梯度，采用Adam优化策略对条件生成器单元和条件鉴别器的单元内的参数进行更新。
优选的，步骤S41所述生成对抗损失和循环一致损失的计算具体为：
采用交叉熵损失函数的生成对抗损失计算单元：
Figure BDA0003780031280000053
其中E表示期望；Ir～Pr代表Ir是从真实图像的分布Pr中随机采样的真实图像；Is～Ps代表Is是从生成器合成图像的分布Ps中随机采样的合成图像；c～Pc代表c是从真实图像对应的条件标签的分布Pc中随机采样的源条件标签；c′～Pc′代表c′是从合成图像对应的条件标签的分布Pc′中随机采样的目标条件标签；D代表条件鉴别器单元；
Figure BDA0003780031280000054
表示log D(Ir,c)产生于Ir上的梯度，为条件鉴别器单元D的梯度罚项；λreg代表梯度罚项的系数；合成图像Is＝G(Ir,c′)，其中G表示条件生成器单元；
采用L1范数损失函数的循环一致损失计算单元：
Figure BDA0003780031280000055
其中G(Is,c)表示循环生成的图像Ic；条件生成器单元G的目标是最小化循环一致损失
Figure BDA0003780031280000056
优选的，步骤S43所述幅值调整
Figure BDA0003780031280000057
分别将
Figure BDA0003780031280000058
和
Figure BDA0003780031280000059
的标准差调整为固定常数Sadv和Scyc；
Figure BDA00037800312800000510
的计算如下式所示：
Figure BDA00037800312800000511
其中，
Figure BDA00037800312800000512
表示标准差计算；合成图像上的梯度
Figure BDA00037800312800000513
和
Figure BDA00037800312800000514
代表着图像上每一像素的变化，像素的变化有正负两个方向以及幅值，合成图像的变化幅值体现为梯度的标准差。
本发明与现有技术相比，其显著效果如下：
本发明提出的基于条件GAN的图像合成装置，采用区别于一般条件嵌入方法的条件解码和条件编码构造条件生成器和条件鉴别器，可有效增强条件控制的灵活性，加快条件GAN的训练速度，实现条件标签中各属性对图像合成的解耦控制，提高条件控制标签在条件控制过程中的连续性。
此外，本发明所提出的生成器梯度调整单元，在合成图像梯度代表像素变化大小和变化方向的理论前提下，保持合成图像的梯度变化方向不变即均值不变，通过约束梯度标准差的方式对鉴别器传导至合成图像的梯度的幅值进行调整，增强了条件GAN在训练过程中的稳定性。
附图说明
图1为本发明的基于条件GAN的图像合成装置的示意图；
图2为本发明的基于条件GAN的图像合成装置的条件生成器单元示意图；
图3为本发明的基于条件GAN的图像合成装置的条件生成器单元中的图像编码单元示意图；
图4为本发明的基于条件GAN的图像合成装置的条件鉴别器单元示意图；
图5为本发明的基于条件GAN的图像合成装置的模型优化器单元示意图；
图6为本发明的基于条件GAN的图像合成方法流程示意图。
具体实施方式
下面结合说明书附图和具体实施方式对本发明做进一步详细描述。
实施例1
一种基于条件GAN的图像合成装置，如图1所示，包括：数据获取单元110，数据预处理单元120，条件生成器单元130，条件鉴别器单元140，模型优化器单元150。
数据获取单元110，用于获取图像数据集，并将图像数据集送入数据预处理单元；在本实施例的图像数据集为脑胶质瘤MRI图像，包括T1、T2、T1ce和Flair四种模态。
数据预处理单元120，用于对数据获取单元110所获取的图像进行预处理，预处理过程包括：利用裁剪和填充的方法将图像的尺寸进行统一；通过线性变换方法将图像像素值的范围变换到-1到1之间；将图像数据集划分为训练集、验证集和测试集；制作每一图像所对应的条件标签；在本实施例中，对尺寸大于128×128的图像进行中心裁剪，对尺寸小于128×128的图像进行“0”填充；
数据预处理单元120中的线性变换方法将图像像素值的范围变换到-1到1之间是指，将图像的存储形式转换为浮点数，通过计算图像像素的最大值和最小值并进行极大极小值的归一化ΨMinMax(·)，如公式(1)所示：
Figure BDA0003780031280000061
其中，xdata表示待变换的图像；min(xdata)表示计算xdata所有像素的最小值；max(xdata)表示计算xdata所有像素的最大值。
数据预处理单元120中的数据划分是将图像数据集按6:2:2的比例划分为训练集，验证集和测试集，训练集用于对模型进行训练，验证集用于在训练过程中对模型进行验证，测试集用于对训练好的模型进行测试；
数据预处理单元120中的条件标签制作是根据每一个图像的属性定义其标签；条件标签是由“0”、“1”组成的一维数据，条件标签的每一位代表一种属性；在本实施例的条件标签为：“1000”，“0100”，“0010”，“0001”，分别代表T1，T2，T1ce，Flair四种类别属性。
条件生成器单元130，用于利用卷积神经网络并根据输入的条件标签对输入条件生成器单元130的图像进行编码和条件解码，输出合成图像Is，使合成图像Is具有条件标签c′所代表的风格特征和输入图像的形状特征；在本实施例中，条件生成器单元130可根据条件标签“1000”、“0100”、“0010”或“0001”，将输入图像转换为T1、T2、T1ce或者Flair。
条件鉴别器单元140，用于利用卷积神经网络并根据输入的条件标签对条件生成器单元输出的合成图像Is和真实图像Ir分别进行条件编码，输出两个分别反映条件生成器单元输出的合成图像Is和真实图像Ir真假程度的鉴别器反馈值,反馈值越大则图像真的程度越高，反之则假的程度越高；在本实施例中，条件鉴别器单元140需要结合条件标签对条件鉴别器单元140输入的脑胶质瘤MRI图像进行判定，只有当条件鉴别器单元140的输入图像不是合成图像且条件标签与条件鉴别器单元140的输入图像的条件标签对应时，条件鉴别器单元140才应该输出反映图像为真的反馈值；条件鉴别器单元140对真假图像进行鉴别的最终目的是为了引导条件生成器单元130合成逼真、具有目标风格特征的合成图像Is，并且维持Is与条件生成器单元130输入图像的形状特征一致。
模型优化器单元150，用于计算目标损失函数，根据损失函数的反向传播计算条件生成器单元130和条件鉴别器单元140内的参数的梯度，并对条件生成器单元输出的合成图像Is的梯度幅值进行调整，最后根据计算出的参数梯度对条件生成器单元130和条件鉴别器单元140的参数进行更新。
如图2所示，条件生成器单元130具体包括：图像编码单元210，条件映射单元220，条件解码单元230，串联解码单元270，图像输出单元280。
图像编码单元210，用于对输入图像进行下采样编码，并将其转换为隐空间里的中间特征x1；如图3所示，本实施例的图像编码单元210采用了1个7×7卷积和6个3×3卷积，每个卷积过程之后跟随一个实例标准化单元242和非线性的Relu神经元激活函数；实例标准化242如公式(2)所示：
Figure BDA0003780031280000081
式(2)中，x01是任一卷积过程的输出，大小为N×Wx01×Hx01×Cx01，N、Wx01、Hx01和Cx01分别表示一个批次输入的数量、x01的宽度、x01的高度和x01的通道数；μ01和σ01 2分别表示x01的均值和方差，计算如公式(3)所示；ε取1*e-5，作用是防止分母为0；γm和βm表示两个可学习的参数，长度为Cx01，与x01的通道数保持一致；
Figure BDA0003780031280000082
非线性的Relu神经元激活函数的计算过程如公式(4)所示：
ΨRelu(x02)＝max{x02,0} (4)
式(4)中，x02是ΨRelu()的输入，在本实施例中是实例标准化单元242的输出；max{x02,0}表示将矩阵x02中小于0的元素置为0。
条件映射单元220，用于将条件标签a映射为由浮点数组成的条件向量va；本实施例的条件映射单元采用第一全连接层2201，Relu激活，第二全连接层2202的串联结构；第一全连接层2201和第二全连接层2202的输出节点数均设置为256，内部由可学习的权重参数构成。
条件解码单元230，用于对中间特征x1进行解码，并将条件向量va嵌入解码过程，输出中间特征x2。
串联解码单元270，用于利用一个或更多个串联的条件解码单元230对中间特征x2进行解码，最后解码得到与输入图像大小一致的输出图像；在本实施例中，与图像编码单元210相对应，为使输出图像与输入图像大小一致，270单元采用了2个条件解码单元230；
图像输出单元280，用于利用卷积进行加权求和，输出合成图像；本实施例的图像输出单元280使用了一个1×1卷积对输入的各个通道进行加权求和输出1个通道；卷积之后使用Tanh函数将数值的范围变换为-1到1之间，Tanh的计算Ψtanh(·)如公式(5)所示：
Figure BDA0003780031280000083
其中e是自然常数，xo是变换前的图像，大小为N×128×128×1，N、128、128和1分别表示一个批次输入的数量、xo的宽度、xo的高度和xo的通道数。
如图2所示，条件解码单元230具体包括反卷积解码单元240、特征提取单元250、条件嵌入单元260。
反卷积解码单元240，用于利用反卷积对中间特征x1进行解码变换，输入大小为N×W1×H1×C1的中间特征x1，N、W1、H1和C1分别表示一个批次输入的数量、x1的宽度、x1的高度和x1的通道数；输出大小为N×W2×H2×C2的中间特征x12，W2＝2W1，H2＝2H1，C2＝C1/2；本实施例的反卷积解码单元240内部由反卷积单元241和实例标准化单元242构成，反卷积单元241的参数设置如下：卷积核大小为4×4，步长为2，Padding为1。
特征提取单元250，用于对中间特征x12进行插值降采样，再从降采样后的结果中提取特征因子，得到一个代表中间特征x12的特征因子向量ve；特征提取单元250内部由插值单元251和特征因子提取单元252构成；本实施例的插值单元251具体采用双线性插值的方法，将输入的长宽统一为16*16；本实施例的特征因子提取单元252的输入x13为插值单元251的输出，x13的大小为N×16×16×C2，N、16、16和C2分别表示一个批次输入的数量、x13的宽度、x13的高度和x13的通道数；特征因子提取单元252采用C2个长度为256的可学习参数所组成的参数矩阵对x13的每一通道进行特征提取，该过程Ψex(·)如公式(6)所示：
Figure BDA0003780031280000091
式(6)中，
Figure BDA0003780031280000092
表示x13的第j个通道，大小为N×256，N和256分别表示一个批次的输入数量和
Figure BDA0003780031280000093
的元素数量；
Figure BDA0003780031280000094
为第j个通道的特征因子提取参数，大小为256×1，Ψcat()为拼接过程，在通道维度上将C2个特征因子拼接为特征因子向量ve。
条件嵌入单元260，包括融合转换单元261和变换单元262；融合转换单元261用于将条件向量va和特征因子向量ve进行拼接，通过可训练参数对拼接后的向量进行转换输出变换向量vTr，融合转换单元261的计算过程如公式(7)所示：
ΨFT(va,ve)＝Ψcat({va,ve})θFT (7)
式(7)中，va的大小为N×256，N和256分别表示一个批次的输入数量和条件向量va的长度；ve的大小为N×C2，N和C2分别表示一个批次的输入数量和条件向量ve的长度；θFT为可学习参数矩阵,大小为(256+C2)×C2；融合变换单元261的输出为变换向量vTr；
变换单元262用于利用变换向量vTr对中间特征x12进行点乘变换并采用Relu激活输出中间特征x2；点乘变换的过程如公式(8)所示：
ΨTr(vTr,x12)＝O(vTr)·x12 (8)
式(8)中的O(·)为广播函数，将vTr从N×C2的大小变化为N×W2×H2×C2，经过广播后的每一图像的每一通道上的值是相同的；变换单元262的输出x2既是条件嵌入单元260的输出，亦是条件解码单元230的输出。
如图4所示，条件鉴别器单元140具体包括：条件映射单元220，条件编码单元410，串联编码单元420，反馈值输出单元430。
条件鉴别器单元140中的条件映射单元220用于分别将条件生成器单元130的输出图像Is对应的条件标签c′和真实图像Ir对应的条件标签c映射为条件向量vg和vr。
条件编码单元410，用于对条件鉴别器单元的输入图像进行编码，并将条件向量vg和条件向量vr分别嵌入条件生成器单元输出的合成图像Is和真实图像Ir的编码过程，分别输出编码特征；条件编码单元410具体包括卷积单元411，实例标准化242，特征提取单元250，条件嵌入单元260；卷积单元411用于利用卷积对输入进行特征提取；本实施例中的卷积单元411中卷积的参数具体是：卷积核大小为5×5，步长为2，Padding为2。
串联编码单元420，用于利用一个或更多个条件编码单元410对编码特征进行编码；在本实施例中，串联编码单元420采用了4个条件编码单元410。
反馈值输出单元430，用于利用卷积进行加权求和并输出反映条件鉴别器单元140输入图像真假程度的鉴别器反馈值；本实施例的反馈值输出单元430使用了一个1×1卷积对输入的各个通道进行加权求和输出1个通道，再对其求均值作为反馈值输出。
模型优化器单元150，如图5所示，具体包括损失函数计算单元510，鉴别器梯度计算单元520，生成器梯度调整单元530，生成器梯度计算单元540，参数更新单元550。
损失函数计算单元510用于计算条件生成器单元130和条件鉴别器单元140的目标函数，具体包括：生成对抗损失计算单元511，循环一致损失计算单元512。
鉴别器梯度计算单元520，用于利用
Figure BDA0003780031280000101
的反向传播计算鉴别器单元140内可学习参数的梯度。
生成器梯度调整单元530，用于对
Figure BDA0003780031280000102
在反向传播过程中产生于Is的梯度
Figure BDA0003780031280000103
和
Figure BDA0003780031280000104
产生于Is的梯度
Figure BDA0003780031280000105
进行幅值调整
Figure BDA0003780031280000106
使对G的训练更加稳定；所述的幅值调整
Figure BDA0003780031280000111
是分别将
Figure BDA0003780031280000112
和
Figure BDA0003780031280000113
的标准差调整为固定常数Sadv和Scyc；
Figure BDA0003780031280000114
的计算如公式(9)所示：
Figure BDA0003780031280000115
式(9)中，
Figure BDA0003780031280000116
表示标准差计算；在本实施例中，Sadv和Scyc分别设置为0.0002和0.00002；合成图像上的梯度
Figure BDA0003780031280000117
和
Figure BDA0003780031280000118
代表着图像上每一像素的变化，像素的变化有正负两个方向以及幅值，合成图像的变化幅值体现为梯度的标准差，因此对
Figure BDA0003780031280000119
和
Figure BDA00037800312800001110
的标准差进行约束不会改变像素变化的方向，但对幅值变化进行了控制，可以使训练过程更加稳定。
生成器梯度计算单元540，用于利用生成器梯度调整单元530调整后的梯度
Figure BDA00037800312800001111
和
Figure BDA00037800312800001112
继续反向传播，计算条件生成器单元130内参数的梯度。
参数更新单元550，用于利用计算出的条件生成器单元130和条件鉴别器单元140内的参数梯度，采用Adam优化策略对条件生成器单元130和条件鉴别器的单元140内的参数进行更新；在本实施例中，采用条件生成器单元130的参数每更新1次，条件鉴别器的单元140的参数更新5次的方式进行训练；Adam优化策略的设置：初始学习率为0.0001，学习率在迭代过程中线性衰减直至0。
损失函数计算单元510包括生成对抗损失计算单元511和循环一致损失计算单元512。
生成对抗损失计算单元511，用于利用交叉熵分类函数计算条件生成器单元130和条件鉴别器单元140的生成对抗目标损失；生成对抗损失计算的计算如公式(10)所示：
Figure BDA00037800312800001113
式(10)中，E表示期望；Ir～Pr代表Ir是从真实图像的分布Pr中随机采样的真实图像；Is～Ps代表Is是从生成器合成图像的分布Ps中随机采样的合成图像；c～Pc代表c是从真实图像对应的条件标签的分布Pc中随机采样的源条件标签；c′～Pc′代表c′是从合成图像对应的条件标签的分布Pc′中随机采样的目标条件标签；D代表条件鉴别器单元；
Figure BDA00037800312800001114
表示log D(Ir,c)产生于Ir上的梯度，为鉴别器单元D的梯度罚项，用于约束D的内部可学习参数，使生成对抗训练更加平稳；λreg代表梯度罚项的系数；合成图像Is＝G(Ir,c′)，其中G表示条件生成器单元；条件鉴别器单元D用于最大限度地区分源条件标签c下的真实图像Ir和目标条件标签c′下的合成图像Is，D的目标是最大化
Figure BDA0003780031280000121
条件生成器单元G用于最小化(1-D(Is,c′))，令D无法正确判别，以此形成D与G之间的生成对抗式训练。
循环一致损失计算单元512，用于利用L1范数损失函数计算条件生成器单元130的循环一致损失，约束合成图像Is，使Is与Ir保持结构不变；循环一致损失的计算如公式(11)所示：
Figure BDA0003780031280000122
式(11)中，G(Is,c)表示合成图像Is在源条件标签下合成的图像Ic；G的目标是最小化循环一致损失
Figure BDA0003780031280000123
实施例2
与实施例1对应的，本发明还提供一种基于条件GAN的图像合成方法。本发明以脑胶质瘤MRI图像数据为例，基于条件GAN的图像合成方法的总流程如图6所示，包括以下步骤：
S1、获取图像数据集，并对所获取的图像进行预处理后输入条件生成器单元140；在本实施例的图像数据集为脑胶质瘤MRI图像，包括T1、T2、T1ce和Flair四种模态；预处理过程包括：利用裁剪和填充的方法将图像的尺寸进行统一；通过线性变换方法将图像像素值的范围变换到-1到1之间；将图像数据集划分为训练集、验证集和测试集；制作每一图像所对应的条件标签；在本实施例中，对尺寸大于128×128的图像进行中心裁剪，对尺寸小于128×128的图像进行“0”填充；
S1的预处理过程中的线性变换方法将图像像素值的范围变换到-1到1之间是指，将图像的存储形式转换为浮点数，通过计算图像像素的最大值和最小值并进行极大极小值的归一化ΨMinMax(·)，计算按公式(1)进行；
S1的预处理过程中的图像数据集划分是将图像数据集按6:2:2的比例划分为训练集，验证集和测试集，训练集用于对模型进行训练，验证集用于在训练过程中对模型进行验证，测试集用于对训练好的模型进行测试；
S1的预处理过程中的制作每一图像所对应的条件标签是根据每一个图像的属性定义其标签；条件标签是由“0”、“1”组成的一维数据，条件标签的每一位代表一种属性；在本实施例的条件标签为：“1000”，“0100”，“0010”，“0001”，分别代表T1，T2，T1ce，Flair四种类别属性；
S2、利用卷积神经网络并根据输入的条件标签对步骤S1中输入条件生成器单元130的图像进行编码和条件解码，输出合成图像Is，使合成图像Is具有条件标签c′所代表的风格特征和输入图像的形状特征；在本实施例中，S2可根据条件标签“1000”、“0100”、“0010”或“0001”，合成属性为T1、T2、T1ce或者Flair的合成图像Is；
S21对输入条件生成器单元130的图像进行下采样编码，并将其转换为隐空间里的中间特征x1；如图3所示，本实施例的下采样编码采用了1个7×7卷积和6个3×3卷积，每个卷积过程之后跟随一个实例标准化和非线性的Relu神经元激活函数；实例标准化的计算按公式(2)进行；非线性的Relu神经元激活函数的计算过程按公式(4)进行；
S22将条件标签c′映射为由浮点数组成的条件向量va；在本实施例中，采用两个串联的全连接层对c′进行映射，两个全连接层的输出节点数均设置为256；
S23对中间特征x1进行解码，并将条件向量va嵌入解码过程，输出中间特征x2；对中间特征x1的解码过程首先通过反卷积将大小为N×W1×H1×C1的中间特征x1(N、W1、H1和C1分别表示一个批次输入的数量、x1的宽度、x1的高度和x1的通道数)转换为大小为N×W2×H2×C2的中间特征x12(W2＝2W1，H2＝2H1，C2＝C1/2)；本实施例中的反卷积的参数设置如下：卷积核大小为4×4，步长为2，Padding为1；在反卷积之后，对中间特征x12进行插值降采样，从降采样后的结果中提取特征因子，得到一个代表中间特征x12的特征因子向量ve；降采样采用双线性插值的方法实现，将输入的长宽统一为16*16；提取特征因子的计算按公式(6)进行；提取特征因子之后，将特征因子向量ve与S22中的条件向量va进行融合转换输出变换向量vTr，融合转换的计算按公式(7)进行；融合转换之后，利用变换向量vTr对中间特征x12进行点乘变换并采用Relu激活输出中间特征x2；点乘变换的计算按公式(8)进行；
S24利用一个或更多个串联的条件解码单元对中间特征x2进行解码，最后解码得到与输入图像大小一致的输出图像；
S25利用卷积进行加权求和，输出合成图像Is；在本实施例中，使用了一个1×1卷积对输入的各个通道进行加权求和输出1个通道，卷积之后使用Tanh函数将数值的范围变换为-1到1之间，Tanh的计算按公式(5)进行；
S3、利用卷积神经网络并根据输入的条件标签对步骤S2中条件生成器单元130的输出合成图像Is和真实图像Ir分别进行条件编码，输出两个分别反映条件生成器单元130的输出合成图像Is和真实图像Ir真假程度的鉴别器反馈值,反馈值越大则图像真的程度越高，反之则假的程度越高；在本实施例中，S3需要结合条件标签对脑胶质瘤MRI图像进行判定，只有当脑胶质瘤MRI图像不是合成图像且条件标签与之对应时，才应该输出反映图像为真的反馈值；S3对真假图像进行鉴别的最终目的是为了引导条件生成器单元130合成逼真、具有目标风格特征的合成图像Is，并且维持Is与条件生成器单元130输入图像的形状特征一致；
S31分别将条件生成器单元130输出的合成图像Is对应的条件标签c′和真实图像Ir对应的条件标签c映射为条件向量vg和vr；
S32对条件鉴别器单元140的输入图像进行编码，并将条件向量vg和条件向量vr分别嵌入条件生成器单元130输出的合成图像Is和真实图像Ir的编码过程，分别输出编码特征；编码过程包括卷积、实例标准化、特征提取和条件嵌入；在本实施例中，卷积的参数设置具体是：卷积核大小为5×5，步长为2，Padding为2；
S33利用一个或更多个条件编码单元对编码特征进行编码；
S34利用卷积进行加权求和并输出两个分别反映条件生成器单元130的输出合成图像Is和真实图像Ir真假程度的鉴别器反馈值；在本实施例中，具体使用了一个1×1卷积对输入的各个通道进行加权求和输出1个通道，再对其求均值作为反馈值输出；
S4、计算目标损失函数，根据损失函数的反向传播计算条件生成器单元130和条件鉴别器单元140内参数的梯度，并对条件生成器单元130的输出合成图像Is的梯度幅值进行调整，最后根据参数的梯度对条件生成器单元130和条件鉴别器单元140的参数进行更新；
S41计算条件生成器单元130和条件鉴别器单元140的目标函数，包括生成对抗损失和循环一致损失的计算；生成对抗损失利用交叉熵分类函数计算条件生成器单元130和条件鉴别器单元140的生成对抗目标损失，其计算按公式(10)进行；循环一致损失利用L1范数损失函数计算条件生成器单元130的循环一致损失，约束合成图像Is，使Is与Ir保持结构不变，循环一致损失的计算按公式(11)进行；
S42利用
Figure BDA0003780031280000141
的反向传播计算条件鉴别器单元140内可学习参数的梯度；
S43对
Figure BDA0003780031280000142
在反向传播过程中产生于Is的梯度
Figure BDA0003780031280000143
和
Figure BDA0003780031280000144
产生于Is的梯度
Figure BDA0003780031280000145
进行幅值调整
Figure BDA0003780031280000146
使对G的训练更加稳定；幅值调整
Figure BDA0003780031280000147
分别将
Figure BDA0003780031280000148
和
Figure BDA0003780031280000149
的标准差调整为固定常数Sadv和Scyc；
Figure BDA00037800312800001410
的计算按公式(9)进行；
S44利用生成器梯度调整单元调整后的梯度
Figure BDA00037800312800001411
和
Figure BDA00037800312800001412
继续反向传播，计算条件生成器单元130内参数的梯度；
S45利用计算出的条件生成器单元130和条件鉴别器单元140内的参数梯度，采用Adam优化策略对条件生成器单元130和条件鉴别器的单元内的参数进行更新。在本实施例中，采用条件生成器单元130的参数每更新1次，条件鉴别器的单元140的参数更新5次的方式进行训练；Adam优化策略的设置：初始学习率为0.0001，学习率在迭代过程中线性衰减直至0。
尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。

Claims (10)

1.一种基于条件GAN的图像合成装置，其特征在于，包括：
数据获取单元，用于获取图像数据集，并将所述图像数据集送入数据预处理单元；
数据预处理单元，用于对数据获取单元所获取的图像数据进行预处理，预处理过程包括将图像像素值的范围规范到-1到1之间，将图像数据集划分为训练集、验证集和测试集，制作每一图像所对应的条件标签；
条件生成器单元，用于利用卷积神经网络并根据输入的条件标签对输入条件生成器单元的图像进行编码和条件解码，输出合成图像Is，使合成图像Is具有条件标签c′所代表的风格特征和输入图像的形状特征；
条件鉴别器单元，用于利用卷积神经网络并根据输入的条件标签对条件生成器单元输出的合成图像Is和真实图像Ir分别进行条件编码，输出两个分别反映条件生成器单元输出的合成图像Is和真实图像Ir真假程度的鉴别器反馈值；
模型优化器单元，用于计算目标损失函数，根据损失函数的反向传播计算条件生成器单元和条件鉴别器单元内的参数梯度，并对条件生成器单元输出的合成图像Is的梯度幅值进行调整，最后根据计算出的参数梯度对条件生成器单元和条件鉴别器单元的参数进行更新。
2.根据权利要求1所述的基于条件GAN的图像合成装置，其特征在于，所述数据预处理单元中的条件标签是由“0”、“1”组成的一维数据，代表图像的内容属性。
3.根据权利要求1所述的基于条件GAN的图像合成装置，其特征在于，所述条件生成器单元具体包括：
图像编码单元，用于对输入条件生成器单元的图像进行下采样编码，并将其转换为隐空间里的中间特征x1；
条件映射单元，用于将条件标签c′映射为由浮点数组成的条件向量va；
条件解码单元，用于对中间特征x1进行解码，并将条件向量va嵌入解码过程，输出中间特征x2；
串联解码单元，用于利用一个或更多个串联的条件解码单元对中间特征x2进行解码，最后解码得到与输入条件生成器单元的图像大小一致的输出图像；
图像输出单元，用于利用卷积进行加权求和，输出合成图像Is。
4.根据权利要求3所述的基于条件GAN的图像合成装置，其特征在于，所述条件解码单元具体包括：
反卷积解码单元，用于利用反卷积对中间特征x1进行解码变换，输出尺寸为中间特征x1两倍的中间特征x12；
特征提取单元，用于对中间特征x12进行插值降采样，再从降采样后的结果中利用可学习的参数矩阵提取特征因子，得到一个代表中间特征x12的特征因子向量ve；
条件嵌入单元，包括融合转换单元和变换单元；融合转换单元用于将条件向量va和特征因子向量ve进行拼接，通过可训练参数对拼接后的向量进行转换获得变换向量vTr；变换单元用于利用变换向量vTr与中间特征x12的点乘并经过非线性的Relu神经元激活函数输出中间特征x2；所述的变换向量vTr的维度与中间特征x12的通道数量相同；所述的变换向量vTr与中间特征x12的点乘为变换向量vTr每一维的数值与中间特征x12每一通道的乘积过程。
5.根据权利要求1所述的基于条件GAN的图像合成装置，其特征在于，所述条件鉴别器单元具体包括：
条件映射单元，用于分别将条件生成器单元的输出的合成图像Is对应的条件标签c′和真实图像Ir对应的条件标签c映射为条件向量vg和vr；
条件编码单元，用于将条件向量vg和条件向量vr分别嵌入条件生成器单元的输出的合成图像Is和真实图像Ir的编码过程，分别输出编码特征；
串联编码单元，用于利用一个或更多个串联的条件编码单元对编码特征进行连续编码；
反馈值输出单元，用于利用卷积进行加权求和并输出分别反映条件生成器单元输出的合成图像Is和真实图像Ir真假程度的鉴别器反馈值。
6.根据权利要求5所述的基于条件GAN的图像合成装置，其特征在于，所述条件编码单元具体包括：卷积单元，用于对条件编码单元的输入进行卷积变换；实例标准化单元，用于将卷积单元的输出的每一通道特征图的均值和方差变换为0和1；特征提取单元，用于对卷积单元的输出进行插值降采样并提取得到特征因子向量；条件嵌入单元，用于利用特征因子向量与条件向量对实例标准化单元的输出进行变换得到条件编码后的输出。
7.根据权利要求1所述的基于条件GAN的图像合成装置，其特征在于，所述模型优化器单元具体包括：
损失函数计算单元，用于计算条件生成器单元和条件鉴别器单元在训练过程中的目标损失函数；
鉴别器梯度计算单元，用于利用生成对抗损失的反向传播计算条件鉴别器单元内的参数的梯度；
生成器梯度调整单元，用于对生成对抗损失
Figure FDA0003780031270000031
在反向传播过程中产生于生成器合成图像Is的梯度
Figure FDA0003780031270000032
和循环一致损失
Figure FDA0003780031270000033
产生于Is的梯度
Figure FDA0003780031270000034
进行幅值调整
Figure FDA0003780031270000035
使条件生成器单元的训练更加稳定；
生成器梯度计算单元，用于利用生成器梯度调整单元调整后的梯度
Figure FDA0003780031270000036
和
Figure FDA0003780031270000037
继续反向传播，计算条件生成器单元内的参数的梯度；
参数更新单元，用于利用计算出的条件生成器单元内的参数梯度和条件鉴别器单元内的参数梯度，采用Adam优化策略根据所计算出的参数梯度对条件生成器单元内的参数和条件鉴别器单元内的参数进行更新。
8.根据权利要求1-7任一所述装置的图像合成方法，其特征在于，包括以下步骤：
S1、获取图像数据集，并对所获取的图像进行预处理后输入条件生成器单元；
S2、利用卷积神经网络并根据输入的条件标签对步骤S1中输入条件生成器单元的图像进行编码和条件解码，输出合成图像Is，使合成图像Is具有条件标签c′所代表的风格特征和输入图像的形状特征；
S21对输入条件生成器单元的图像进行下采样编码，并将其转换为隐空间里的中间特征x1；
S22将条件标签c′映射为由浮点数组成的条件向量va；
S23对中间特征x1进行解码，并将条件向量va嵌入解码过程，输出中间特征x2；
S24利用一个或更多个串联的条件解码单元对中间特征x2进行解码，最后解码得到与输入图像大小一致的输出图像；
S25利用卷积进行加权求和，输出合成图像Is；
S3、利用卷积神经网络并根据输入的条件标签对步骤S2中条件生成器单元的输出合成图像Is和真实图像Ir分别进行条件编码，输出两个分别反映条件生成器单元的输出合成图像Is和真实图像Ir真假程度的鉴别器反馈值,反馈值越大则图像真的程度越高，反之则假的程度越高；
S31分别将条件生成器单元输出的合成图像Is对应的条件标签c′和真实图像Ir对应的条件标签c映射为条件向量vg和vr；
S32对条件鉴别器单元的输入图像进行编码，并将条件向量vg和条件向量vr分别嵌入条件生成器单元输出的合成图像Is和真实图像Ir的编码过程，分别输出编码特征；
S33利用一个或更多个条件编码单元对编码特征进行编码；
S34利用卷积进行加权求和并输出两个分别反映条件生成器单元的输出合成图像Is和真实图像Ir真假程度的鉴别器反馈值；
S4、计算目标损失函数，根据损失函数的反向传播计算条件生成器单元和条件鉴别器单元内参数的梯度，并对条件生成器单元的输出合成图像Is的梯度幅值进行调整，最后根据参数的梯度对条件生成器单元和条件鉴别器单元的参数进行更新；
S41计算条件生成器单元和条件鉴别器单元的目标函数，包括生成对抗损失和循环一致损失的计算；
S42利用
Figure FDA0003780031270000041
的反向传播计算条件鉴别器单元内可学习参数的梯度；
S43对
Figure FDA0003780031270000042
在反向传播过程中产生于Is的梯度
Figure FDA0003780031270000043
和
Figure FDA0003780031270000044
产生于Is的梯度
Figure FDA0003780031270000045
进行幅值调整
Figure FDA0003780031270000046
使对G的训练更加稳定；
S44利用生成器梯度调整单元调整后的梯度
Figure FDA0003780031270000047
和
Figure FDA0003780031270000048
继续反向传播，计算条件生成器单元内参数的梯度；
S45利用计算出的条件生成器单元和条件鉴别器单元内的参数梯度，采用Adam优化策略对条件生成器单元和条件鉴别器的单元内的参数进行更新。
9.根据权利要求8所述的基于条件GAN的图像合成方法，其特征在于，步骤S41所述生成对抗损失和循环一致损失的计算具体为：
采用交叉熵损失函数的生成对抗损失计算单元：
Figure FDA0003780031270000049
其中E表示期望；Ir～Pr代表Ir是从真实图像的分布Pr中随机采样的真实图像；Is～Ps代表Is是从生成器合成图像的分布Ps中随机采样的合成图像；c～Pc代表c是从真实图像对应的条件标签的分布Pc中随机采样的源条件标签；c′～Pc′代表c′是从合成图像对应的条件标签的分布Pc′中随机采样的目标条件标签；D代表条件鉴别器单元；
Figure FDA00037800312700000410
表示logD(Ir,c)产生于Ir上的梯度，为条件鉴别器单元D的梯度罚项；λreg代表梯度罚项的系数；合成图像Is＝G(Ir,c′)，其中G表示条件生成器单元；
采用L1范数损失函数的循环一致损失计算单元：
Figure FDA0003780031270000051
其中G(Is,c)表示循环生成的图像Ic；条件生成器单元G的目标是最小化循环一致损失
Figure FDA0003780031270000052
10.根据权利要求8所述的基于条件GAN的图像合成方法，其特征在于，步骤S43所述幅值调整
Figure FDA0003780031270000053
分别将
Figure FDA0003780031270000054
和
Figure FDA0003780031270000055
的标准差调整为固定常数Sadv和Scyc；
Figure FDA0003780031270000056
的计算如下式所示：
Figure FDA0003780031270000057
其中，
Figure FDA0003780031270000058
表示标准差计算；合成图像上的梯度
Figure FDA0003780031270000059
和
Figure FDA00037800312700000510
代表着图像上每一像素的变化，像素的变化有正负两个方向以及幅值，合成图像的变化幅值体现为梯度的标准差。
CN202210930214.3A 2022-08-03 2022-08-03 一种基于条件gan的图像合成装置及方法 Active CN115439380B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210930214.3A CN115439380B (zh) 2022-08-03 2022-08-03 一种基于条件gan的图像合成装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210930214.3A CN115439380B (zh) 2022-08-03 2022-08-03 一种基于条件gan的图像合成装置及方法

Publications (2)

Publication Number Publication Date
CN115439380A true CN115439380A (zh) 2022-12-06
CN115439380B CN115439380B (zh) 2023-12-01

Family

ID=84241781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210930214.3A Active CN115439380B (zh) 2022-08-03 2022-08-03 一种基于条件gan的图像合成装置及方法

Country Status (1)

Country Link
CN (1) CN115439380B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798369A (zh) * 2020-06-29 2020-10-20 电子科技大学 一种基于循环条件生成对抗网络的人脸衰老图像合成方法
CN111932444A (zh) * 2020-07-16 2020-11-13 中国石油大学(华东) 基于生成对抗网络的人脸属性编辑方法及信息处理终端
CN113837179A (zh) * 2021-09-16 2021-12-24 南京航空航天大学 一种处理图像的多判别gan网络构建方法、装置、系统和存储介质
CN113947589A (zh) * 2021-10-26 2022-01-18 北京理工大学 一种基于对抗生成网络的弹载图像去模糊方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798369A (zh) * 2020-06-29 2020-10-20 电子科技大学 一种基于循环条件生成对抗网络的人脸衰老图像合成方法
CN111932444A (zh) * 2020-07-16 2020-11-13 中国石油大学(华东) 基于生成对抗网络的人脸属性编辑方法及信息处理终端
CN113837179A (zh) * 2021-09-16 2021-12-24 南京航空航天大学 一种处理图像的多判别gan网络构建方法、装置、系统和存储介质
CN113947589A (zh) * 2021-10-26 2022-01-18 北京理工大学 一种基于对抗生成网络的弹载图像去模糊方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PATRICIA M. JOHNSON 等: "Conditional generative adversarial network for 3D rigid-body motion correction in MRI", 《MAGNETIC RESONANCE IN MEDICINE》, pages 901 - 910 *
杨俊豪 等: "基于生成对抗网络的乳腺癌组织病理图像样本均衡化", 《生物医学工程研究》, vol. 39, no. 2, pages 161 - 166 *

Also Published As

Publication number Publication date
CN115439380B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
Kingma et al. Glow: Generative flow with invertible 1x1 convolutions
CN111798369B (zh) 一种基于循环条件生成对抗网络的人脸衰老图像合成方法
CN110706302B (zh) 一种文本合成图像的系统及方法
CN107516129B (zh) 基于维度自适应的Tucker分解的深度网络压缩方法
WO2022022001A1 (zh) 对风格迁移网络进行压缩的方法及风格迁移的方法、装置和系统
Ma et al. Facial expression recognition using constructive feedforward neural networks
Mahdizadehaghdam et al. Sparse generative adversarial network
CN111210382B (zh) 图像处理方法、装置、计算机设备和存储介质
US11978141B2 (en) Generating images using sequences of generative neural networks
CN112233012B (zh) 一种人脸生成系统及方法
CN113379655B (zh) 一种基于动态自注意力生成对抗网络的图像合成方法
CN116912367B (zh) 一种基于轻量级动态细化的文本生成图像方法及系统
CN111460876A (zh) 用于识别视频的方法和装置
CN113379606A (zh) 一种基于预训练生成模型的人脸超分辨方法
CN117911554A (zh) 一种基于循环生成对抗网络的逼真阴影生成方法
Ren The advance of generative model and variational autoencoder
CN117830900A (zh) 一种无监督视频对象分割方法
CN117058392A (zh) 一种基于卷积局部增强的多尺度Transformer图像语义分割方法
CN111339734A (zh) 一种基于文本生成图像的方法
CN115439380B (zh) 一种基于条件gan的图像合成装置及方法
CN117036901A (zh) 一种基于视觉自注意力模型的小样本微调方法
CN115861723A (zh) 一种基于卷积稀疏编码的单目深度估计方法
CN115147275A (zh) 一种基于解耦的空间和时序信息的视频隐式表征方法
CN114782995A (zh) 一种基于自注意力机制的人交互行为检测方法
CN115984911A (zh) 属性生成对抗网络以及基于该网络的人脸图像连续变换方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant