CN107273936B - 一种gan图像处理方法及系统 - Google Patents
一种gan图像处理方法及系统 Download PDFInfo
- Publication number
- CN107273936B CN107273936B CN201710551329.0A CN201710551329A CN107273936B CN 107273936 B CN107273936 B CN 107273936B CN 201710551329 A CN201710551329 A CN 201710551329A CN 107273936 B CN107273936 B CN 107273936B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- network
- micro
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 230000009466 transformation Effects 0.000 claims abstract description 52
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 14
- 238000004804 winding Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 13
- 239000000284 extract Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种GAN图像处理方法及系统，包括：接收随机噪声，利用基于改进的LSGAN的生成网络，生成生成图像；接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变换，得到变换图像集；将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合，得到输出结果。本申请通过将随机噪声输入到生成网络，得到生成图像，再接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变化，得到变换图像集，将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道，进行特征的提取和融合，得到输出结果，使网络具有较好的泛化能力，避免梯度消失现象，能够输出质量更高更加真实的图片。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种GAN图像处理方法及系统。
背景技术
GAN(Generative Adversarial Nets，生成式对抗网络)启发自博弈论中的二人零和博弈，自从Ian Goodfellow在14年发表了论文Generative Adversarial Nets以来，生成式对抗网络GAN广受关注，GAN成为近年来在机器学习领域的新宠。
现有技术中，GAN可以是使用sigmoid交叉熵损失函数作为分类器的辨别器，然而这种损失函数可能在学习过程中容易出现梯度消失，GAN模型训练不稳定，泛化能力不好，很难收敛等问题。
发明内容
有鉴于此，本发明的目的在于提供一种GAN图像处理方法及系统，以提高GAN模型的泛化能力，避免梯度消失现象。其具体方案如下：
一种GAN图像处理方法，包括：
接收随机噪声，利用基于改进的LSGAN的生成网络，生成生成图像；
接收真实图像，对所述真实图像和所述生成图像分别进行不同度数的图像梯度变换，保存所述真实图像和所述生成图像各自不同梯度的变换图像，得到变换图像集；
将所述变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合，得到输出结果，其中，所述判别网络基于改进的LSGAN制作。
可选的，所述基于改进的LSGAN的生成网络包括：
依次相连的第一全连接层、第一全连接层、第一微步幅卷积层、第二微步幅卷积层、第三微步幅卷积层、第四微步幅卷积层、第五微步幅卷积层、第六微步幅卷积层、第七微步幅卷积层和第二全连接层共九层。
可选的，所述基于改进的LSGAN和卷积神经网络制作的判别网络包括：
依次相连的第一特征提取层、第一特征映射层、第一inception层、第二特征提取层、第二特征映射层、第二inception层、第一全连接层和最小二乘损失计算层。
可选的，所述对所述真实图像和所述生成图像分别进行不同度数的图像梯度变换，得到变换图像集的过程，包括：
对所述真实图像和所述生成图像分别进行水平方向，四十五度方向，六十度方向，九十度方向，一百二十度方向，一百三十五度方向，一百五十度方向的图像梯度变换，得到变换图像集。
可选的，将所述变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合的过程，包括：
将所述变换图像集中的七种变换图像按照梯度变化度数相应的输入到判别网络的多通道卷积网络中的七个通道，每个通道提取相应的变换图像的特征，将七个通道的特征通过随机形式进行特征融合；
其中，通过随机形式进行特征融合的过程为每次取七个网络中相同位置的特征图，再取相同位置的七个元素，采用采样矩阵选取一个元素，进行随机化的特征融合，对七个通道的特征图进行特征融合得到一个新的特征图。
本发明还公开了一种GAN图像处理系统，包括：
图像生成模块，用于接收随机噪声，利用基于改进的LSGAN的生成网络，生成生成图像；
梯度变换模块，用于接收真实图像，对所述真实图像和所述生成图像分别进行不同度数的图像梯度变换，保存所述真实图像和所述生成图像各自不同梯度的变换图像，得到变换图像集；
判别模块，用于将所述变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合，得到输出结果，其中，所述判别网络基于改进的LSGAN制作。
可选的，所述图像生成模块，包括：
生成网络单元，包括依次相连的第一全连接层、第一全连接层、第一微步幅卷积层、第二微步幅卷积层、第三微步幅卷积层、第四微步幅卷积层、第五微步幅卷积层、第六微步幅卷积层、第七微步幅卷积层和第二全连接层共九层。
可选的，所述判别模块，包括：
判别网络单元，包括依次相连的第一特征提取层、第一特征映射层、第一inception层、第二特征提取层、第二特征映射层、第二inception层、第一全连接层和最小二乘损失计算层。
可选的，所述梯度变换模块，具体用于对所述真实图像和所述生成图像分别进行水平方向，四十五度方向，六十度方向，九十度方向，一百二十度方向，一百三十五度方向，一百五十度方向的图像梯度变换，得到变换图像集。
可选的，所述判别模块，包括：
特征提取融合单元，用于将所述变换图像集中的七种变换图像按照梯度变化度数相应的输入到判别网络的多通道卷积网络中的七个通道，每个通道提取相应的变换图像的特征，将七个通道的特征通过随机形式进行特征融合；
其中，通过随机形式进行特征融合的过程为每次取七个网络中相同位置的特征图，再取相同位置的七个元素，采用采样矩阵选取一个元素，进行随机化的特征融合，对七个通道的特征图进行特征融合得到一个新的特征图。
本发明中，GAN图像处理方法，包括：接收随机噪声，利用基于改进的LSGAN的生成网络，生成生成图像；接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变换，保存真实图像和生成图像各自不同梯度的变换图像，得到变换图像集；将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合，得到输出结果，其中，判别网络基于改进的LSGAN制作。
本发明通过将随机噪声输入到生成网络中，从而得到生成图像，再接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变化，得到变换图像集，将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，利用多通道卷积网络，进行特征的提取和融合，得到输出结果，利用多通道卷积网络更好的提取图像数据中的特征信息从而使网络具有较好的泛化能力，避免梯度消失现象，能够输出质量更高更加真实的图片。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种GAN图像处理方法流程示意图；
图2为本发明实施例公开的一种GAN图像处理系统运行模型图；
图3为本发明实施例公开的一种Inception模型图；
图4为本发明实施例公开的一种GAN图像处理系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种GAN图像处理方法，参见图1所示和图2所示，该方法包括：
步骤S11：接收随机噪声，利用基于改进的LSGAN的生成网络，生成生成图像。
具体的，基于改进的LSGAN(Loss Sensitive GAN，损失敏感生成式对抗网络)可以生成一个包括依次相连的第一全连接层、第一全连接层、第一微步幅卷积层、第二微步幅卷积层、第三微步幅卷积层、第四微步幅卷积层、第五微步幅卷积层、第六微步幅卷积层、第七微步幅卷积层和第二全连接层共九层的生成网络，其中，对每一层网络都进行批量归一化处理，同时每层微步幅卷积层滑动步长均为2或1交替处理，卷积核均为3x3；生成网络用于在接收到随机噪声后，生成生成图像。
步骤S12：接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变换，保存真实图像和生成图像各自不同梯度的变换图像，得到变换图像集。
具体的，可以对真实图像和生成图像分别进行水平方向，四十五度方向，六十度方向，九十度方向，一百二十度方向，一百三十五度方向，一百五十度方向的图像梯度变换，保存真实图像和生成图像各自不同梯度的十四个，七种变换图像，得到变换图像集。
步骤S13：将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合，得到输出结果，其中，判别网络基于改进的LSGAN制作。
具体的，基于改进的LSGAN和卷积神经网络可以制作一个包括依次相连的第一特征提取层、第一特征映射层、第一inception层、第二特征提取层、第二特征映射层、第二inception层、第一全连接层和最小二乘损失计算层的判别网络。
其中，参见图3所示，在判别网络中的inception层可以将四个通道的特征通过随机形式进行特征融合，特征融合过程中，将变换图像集中的七种变换图像按照梯度变化度数相应的输入到判别网络的多通道卷积网络中的七个通道，每个通道提取相应的变换图像的特征，将七个通道的特征通过随机形式进行特征融合；其中，通过随机形式进行特征融合的过程为每次取七个网络中相同位置的特征图，再取相同位置的七个元素，采用采样矩阵选取一个元素，进行随机化的特征融合，对七个通道的特征图进行特征融合得到一个新的特征图，然后输入到全连接层和最小二乘损失计算层中，进行判别，得到输出结果。
可以理解的是，上述元素数、取特征图数、卷积数和通道数等具体参数，在此均不作限定，可以根据实际应用需求进行修正。
本发明实施例中的GAN图像处理方法，可以在OpenCL平台(Open ComputingLanguage，开放运算语言)上运行，创建设备运行环境的Context、创建Program和根据对应的算法编写核函数并创建命令队列，然后根据设立的内存对象，实现图像在CPU和GPU间的数据传递，编译完成后，将.cl内核程序编译成sof下载文件，并通过altera编译工具将文件下载进FPGA(Field Programmable Gate Array，现场可编程门阵列)，从而完成整个流程的性能加速。
可见，本发明实施例通过将随机噪声输入到生成网络中，从而得到生成图像，再接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变化，得到变换图像集，将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，利用多通道卷积网络，进行特征的提取和融合，得到输出结果，利用多通道卷积网络更好的提取图像数据中的特征信息从而使网络具有较好的泛化能力，避免梯度消失现象，能够输出质量更高更加真实的图片。
本发明实施例公开了一种具体的GAN图像处理方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
本发明实施例中，生成网络的输入噪声维数可以为Input_z＝1024；
第一全连接层，神经元个数为7x7x256，并通过reshape函数，将输出变为256个大小为7x7的特征图，output_shape＝[batch_size,7,7,256]#输出特征图形状＝[批量块大小，输出特征图的高，输出特征图的宽，输出特征图的个数]；
第二微步幅卷积层，卷积核为3x3，步长为2，特征图个数为256，Output_shape＝[batch_size,14,14,256]；
第三微步幅卷积层，卷积核为3x3,步长为1，特征图个数为256，Output_shape＝[batch_size,14,14,256]；
第四微步幅卷积层，卷积核为3x3，步长为2，特征图个数为256，Output_shape＝[batch_size,28,28,256]；
第五微步幅卷积层，卷积核为3x3,步长为1，特征图个数为256，Output_shape＝[batch_size,28,28,256]；
第六微步幅卷积层，卷积核为3x3，步长为2，特征图个数为256，Output_shape＝[batch_size,56,56,256]；
第七微步幅卷积层，卷积核为3x3，步长为2，特征图个数为64，Output_shape＝[batch_size,112,112,64]；
第八微步幅卷积层，卷积核为3x3，步长为1，特征图个数为64，Output_shape＝[batch_size,112,112,64]；
第九全连接层，同时采用dropout处理，激活函数采用tanh函数，神经元个数为64x64x3,经过reshape函数使输出变为3通道的64x64的特征图，output_shape＝[batch_size,64,64,3]。
本发明实施例中，判别网络可以包括第一特征提取层为卷积核为1x1的卷积层；第一特征映射层为卷积核为5X5,卷积步长为2，输出为128个特征图的卷积层；第一Inception层为输出256个特征图的卷积层；第二特征提取层为卷积核为1x1的卷积层；第二特征映射层为卷积核为5x5,卷积步长为2，输出为256个特征图的卷积层；第二Inception层为输出512个特征图的卷积层；第一全连接层为输出1个特征图的全连接层。
本发明实施例，具体执行过程可以包括：输入1024维的随机噪声，通过生成器生成相应的3通道的64x64大小图片，同时将生成的图片和真实图片分别进行图像梯度变换得到变换图像集输入到多通道卷积神经网络的判别网络中，通过卷积网络后进行特征提取和融合，再输入到全连接层，最后通过最小二乘损失构建目标函数，对网络参数进行更新、优化，目标函数如下所示：
判别网络目标函数公式：
生成网络目标函数公式：
式中，Pdata(x)为真实图像数据，Pz(x)为随机噪声，G为生成网络，D为判别网络，VLSGAN(D)为判别网络的优化目标函数，VLSGAN(G)为生成网络的优化目标函数。
通过一定次数的迭代，更新，优化，使生成的图像越来越接近真实的图像，直到判别网络无法判别的地步。
可以理解的是，上述元素数、取特征图数、卷积数和通道数等具体参数，在此均不作限定，可以根据实际应用需求进行修正。
相应的，本发明实施例公开了一种GAN图像处理系统，参见图4所示，该系统包括：
图像生成模块11，用于接收随机噪声，利用基于改进的LSGAN的生成网络，生成生成图像；
梯度变换模块12，用于接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变换，保存真实图像和生成图像各自不同梯度的变换图像，得到变换图像集；
判别模块13，用于将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合，得到输出结果，其中，判别网络基于改进的LSGAN制作。
可见，本发明实施例通过将随机噪声输入到生成网络中，从而得到生成图像，再接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变化，得到变换图像集，将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，利用多通道卷积网络，进行特征的提取和融合，得到输出结果，利用多通道卷积网络更好的提取图像数据中的特征信息从而使网络具有较好的泛化能力，避免梯度消失现象，能够输出质量更高更加真实的图片。
本发明实施例中，上述图像生成模块11，可以包括生成网络单元；其中，
生成网络单元，包括依次相连的第一全连接层、第一全连接层、第一微步幅卷积层、第二微步幅卷积层、第三微步幅卷积层、第四微步幅卷积层、第五微步幅卷积层、第六微步幅卷积层、第七微步幅卷积层和第二全连接层共九层。
上述判别模块13，可以包括判别网络单元和特征提取融合单元；其中，
判别网络单元，包括依次相连的第一特征提取层、第一特征映射层、第一inception层、第二特征提取层、第二特征映射层、第二inception层、第一全连接层和最小二乘损失计算层。
特征提取融合单元，用于将变换图像集中的七种变换图像按照梯度变化度数相应的输入到判别网络的多通道卷积网络中的七个通道，每个通道提取相应的变换图像的特征，将七个通道的特征通过随机形式进行特征融合；
其中，通过随机形式进行特征融合的过程为每次取七个网络中相同位置的特征图，再取相同位置的七个元素，采用采样矩阵选取一个元素，进行随机化的特征融合，对七个通道的特征图进行特征融合得到一个新的特征图。
本发明实施例中，上述梯度变换模块12，可以具体用于对真实图像和生成图像中的生成图像分别进行水平方向，四十五度方向，六十度方向，九十度方向，一百二十度方向，一百三十五度方向，一百五十度方向的图像梯度变换，得到变换图像集。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种GAN图像处理方法及系统.进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (4)
1.一种GAN图像处理方法，其特征在于，包括：
接收随机噪声，利用基于改进的LSGAN的生成网络，生成生成图像；
接收真实图像，对所述真实图像和所述生成图像分别进行不同度数的图像梯度变换，保存所述真实图像和所述生成图像各自不同梯度的变换图像，得到变换图像集；
将所述变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合，得到输出结果，其中，所述判别网络基于改进的LSGAN制作；
其中，所述基于改进的LSGAN的生成网络包括：
依次相连的第一全连接层、第一微步幅卷积层、第二微步幅卷积层、第三微步幅卷积层、第四微步幅卷积层、第五微步幅卷积层、第六微步幅卷积层、第七微步幅卷积层和第二全连接层共九层；
其中，所述基于改进的LSGAN和卷积神经网络制作的判别网络包括：
依次相连的第一特征提取层、第一特征映射层、第一inception层、第二特征提取层、第二特征映射层、第二inception层和第一全连接层和最小二乘损失计算层；
其中，所述对所述真实图像和所述生成图像分别进行不同度数的图像梯度变换，得到变换图像集的过程，包括：
对所述真实图像和所述生成图像分别进行水平方向，四十五度方向，六十度方向，九十度方向，一百二十度方向，一百三十五度方向，一百五十度方向的图像梯度变换，得到变换图像集。
2.根据权利要求1所述的GAN图像处理方法，其特征在于，将所述变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合的过程，包括：
将所述变换图像集中的七种变换图像按照梯度变化度数相应的输入到判别网络的多通道卷积网络中的七个通道，每个通道提取相应的变换图像的特征，将七个通道的特征通过随机形式进行特征融合；
其中，通过随机形式进行特征融合的过程为每次取七个网络中相同位置的特征图，再取相同位置的七个元素，采用采样矩阵选取一个元素，进行随机化的特征融合，对七个通道的特征图进行特征融合得到一个新的特征图。
3.一种GAN图像处理系统，其特征在于，包括：
图像生成模块，用于接收随机噪声，利用基于改进的LSGAN的生成网络，生成生成图像；
梯度变换模块，用于接收真实图像，对所述真实图像和所述生成图像分别进行不同度数的图像梯度变换，保存所述真实图像和所述生成图像各自不同梯度的变换图像，得到变换图像集；
判别模块，用于将所述变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合，得到输出结果，其中，所述判别网络基于改进的LSGAN制作；
其中，所述图像生成模块，包括：
生成网络单元，包括依次相连的第一全连接层、第一全连接层、第一微步幅卷积层、第二微步幅卷积层、第三微步幅卷积层、第四微步幅卷积层、第五微步幅卷积层、第六微步幅卷积层、第七微步幅卷积层和第二全连接层共九层；
其中，所述判别模块，包括：
判别网络单元，包括依次相连的第一特征提取层、第一特征映射层、第一inception层、第二特征提取层、第二特征映射层、第二inception层和第一全连接层和最小二乘损失计算层；
其中，所述梯度变换模块，具体用于对所述真实图像和所述生成图像分别进行水平方向，四十五度方向，六十度方向，九十度方向，一百二十度方向，一百三十五度方向，一百五十度方向的图像梯度变换，得到变换图像集。
4.根据权利要求3所述的GAN图像处理系统，其特征在于，所述判别模块，包括：
特征提取融合单元，用于将所述变换图像集中的七种变换图像按照梯度变化度数相应的输入到判别网络的多通道卷积网络中的七个通道，每个通道提取相应的变换图像的特征，将七个通道的特征通过随机形式进行特征融合；
其中，通过随机形式进行特征融合的过程为每次取七个网络中相同位置的特征图，再取相同位置的七个元素，采用采样矩阵选取一个元素，进行随机化的特征融合，对七个通道的特征图进行特征融合得到一个新的特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710551329.0A CN107273936B (zh) | 2017-07-07 | 2017-07-07 | 一种gan图像处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710551329.0A CN107273936B (zh) | 2017-07-07 | 2017-07-07 | 一种gan图像处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107273936A CN107273936A (zh) | 2017-10-20 |
| CN107273936B true CN107273936B (zh) | 2020-09-11 |
Family
ID=60072597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710551329.0A Active CN107273936B (zh) | 2017-07-07 | 2017-07-07 | 一种gan图像处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107273936B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107845092A (zh) * | 2017-11-14 | 2018-03-27 | 深圳码隆科技有限公司 | 服装logo效果检测方法、装置及电子设备 |
| CN108009568A (zh) * | 2017-11-14 | 2018-05-08 | 华南理工大学 | 一种基于wgan模型的行人检测方法 |
| CN107945133B (zh) * | 2017-11-30 | 2022-08-05 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN107968962B (zh) * | 2017-12-12 | 2019-08-09 | 华中科技大学 | 一种基于深度学习的两帧不相邻图像的视频生成方法 |
| CN108090521B (zh) * | 2018-01-12 | 2022-04-08 | 广州视声智能科技股份有限公司 | 一种生成式对抗网络模型的图像融合方法和判别器 |
| CN108320274A (zh) * | 2018-01-26 | 2018-07-24 | 东华大学 | 一种基于双通道循环生成对抗网络的红外视频彩色化方法 |
| CN108399422A (zh) * | 2018-02-01 | 2018-08-14 | 华南理工大学 | 一种基于wgan模型的图像通道融合方法 |
| CN108615010B (zh) * | 2018-04-24 | 2022-02-11 | 重庆邮电大学 | 基于平行卷积神经网络特征图融合的人脸表情识别方法 |
| CN108564550B (zh) * | 2018-04-25 | 2020-10-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置及终端设备 |
| CN109063724B (zh) * | 2018-06-12 | 2022-02-22 | 中国科学院深圳先进技术研究院 | 一种增强型生成式对抗网络以及目标样本识别方法 |
| CN109784359A (zh) * | 2018-11-27 | 2019-05-21 | 北京邮电大学 | 图像生成方法、装置、设备及可读存储介质 |
| US10373023B1 (en) * | 2019-01-28 | 2019-08-06 | StradVision, Inc. | Learning method and learning device for runtime input transformation of real image on real world into virtual image on virtual world, to be used for object detection on real images, by using cycle GAN capable of being applied to domain adaptation |
| CN110136162B (zh) * | 2019-05-20 | 2021-06-04 | 北方工业大学 | 无人机视角遥感目标跟踪方法及装置 |
| CN110211114A (zh) * | 2019-06-03 | 2019-09-06 | 浙江大学 | 一种基于深度学习的装箱缺条视觉检测方法 |
| CN110533578A (zh) * | 2019-06-05 | 2019-12-03 | 广东世纪晟科技有限公司 | 一种基于条件对抗神经网络的图像翻译方法 |
| CN111861949B (zh) * | 2020-04-21 | 2023-07-04 | 北京联合大学 | 一种基于生成对抗网络的多曝光图像融合方法及系统 |
| CN114067299A (zh) * | 2020-07-31 | 2022-02-18 | 郑州信大先进技术研究院 | 一种车牌识别方法 |
| CN112699809B (zh) * | 2020-12-31 | 2023-08-01 | 深圳数联天下智能科技有限公司 | 痘痘类别识别方法、装置、计算机设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6247274A (ja) * | 1985-08-26 | 1987-02-28 | Matsushita Graphic Commun Syst Inc | 画像信号読取装置 |
| CN101770578A (zh) * | 2010-03-24 | 2010-07-07 | 上海交通大学 | 图像特征提取方法 |
| CN105975929A (zh) * | 2016-05-04 | 2016-09-28 | 北京大学深圳研究生院 | 一种基于聚合通道特征的快速行人检测方法 |
| CN106485268A (zh) * | 2016-09-27 | 2017-03-08 | 东软集团股份有限公司 | 一种图像识别方法及装置 |
| CN106845471A (zh) * | 2017-02-20 | 2017-06-13 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的视觉显著性预测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127702B (zh) * | 2016-06-17 | 2018-08-14 | 兰州理工大学 | 一种基于深度学习的图像去雾方法 |
| CN106503729A (zh) * | 2016-09-29 | 2017-03-15 | 天津大学 | 一种基于顶层权值的图像卷积特征的生成方法 |
-
2017
- 2017-07-07 CN CN201710551329.0A patent/CN107273936B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6247274A (ja) * | 1985-08-26 | 1987-02-28 | Matsushita Graphic Commun Syst Inc | 画像信号読取装置 |
| CN101770578A (zh) * | 2010-03-24 | 2010-07-07 | 上海交通大学 | 图像特征提取方法 |
| CN105975929A (zh) * | 2016-05-04 | 2016-09-28 | 北京大学深圳研究生院 | 一种基于聚合通道特征的快速行人检测方法 |
| CN106485268A (zh) * | 2016-09-27 | 2017-03-08 | 东软集团股份有限公司 | 一种图像识别方法及装置 |
| CN106845471A (zh) * | 2017-02-20 | 2017-06-13 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的视觉显著性预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| GANs: One of the Hottest Topics in Machine Learning;AI Gharakhanian;《LinkedIn》;20161219;第1-16页 * |
| Least Squares Generative Adversarial Networks;Xudong Mao等;《百度学术》;20170405;第1-2页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107273936A (zh) | 2017-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107273936B (zh) | 一种gan图像处理方法及系统 | |
| KR102641116B1 (ko) | 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치 | |
| CN109063724B (zh) | 一种增强型生成式对抗网络以及目标样本识别方法 | |
| CN112633350B (zh) | 一种基于图卷积的多尺度点云分类实现方法 | |
| CN109409222A (zh) | 一种基于移动端的多视角人脸表情识别方法 | |
| CN111553246B (zh) | 基于多任务对抗学习网络的汉字风格迁移方法及系统 | |
| CN109816032B (zh) | 基于生成式对抗网络的无偏映射零样本分类方法和装置 | |
| CN107704857A (zh) | 一种端到端的轻量级车牌识别方法及装置 | |
| CN113570029A (zh) | 获取神经网络模型的方法、图像处理方法及装置 | |
| CN112288086A (zh) | 一种神经网络的训练方法、装置以及计算机设备 | |
| CN113705769A (zh) | 一种神经网络训练方法以及装置 | |
| CN107767384A (zh) | 一种基于对抗训练的图像语义分割方法 | |
| CN103927550B (zh) | 一种手写体数字识别方法及系统 | |
| CN110909762B (zh) | 基于多传感器融合的机器人姿态识别方法及装置 | |
| CN109344713B (zh) | 一种姿态鲁棒的人脸识别方法 | |
| CN104866868A (zh) | 基于深度神经网络的金属币识别方法和装置 | |
| CN105320945A (zh) | 图像分类的方法及装置 | |
| CN113807399A (zh) | 一种神经网络训练方法、检测方法以及装置 | |
| CN113592060A (zh) | 一种神经网络优化方法以及装置 | |
| CN111738403A (zh) | 一种神经网络的优化方法及相关设备 | |
| CN115018039A (zh) | 一种神经网络蒸馏方法、目标检测方法以及装置 | |
| CN114863167B (zh) | 一种图像识别分类的方法、系统、设备以及介质 | |
| CN110705695B (zh) | 搜索模型结构的方法、装置、设备和存储介质 | |
| CN111783688A (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
| CN115713669A (zh) | 一种基于类间关系的图像分类方法、装置、存储介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |