CN109255364A - 一种基于深度卷积生成对抗网络的场景识别方法 - Google Patents

一种基于深度卷积生成对抗网络的场景识别方法 Download PDF

Info

Publication number
CN109255364A
CN109255364A CN201810763389.3A CN201810763389A CN109255364A CN 109255364 A CN109255364 A CN 109255364A CN 201810763389 A CN201810763389 A CN 201810763389A CN 109255364 A CN109255364 A CN 109255364A
Authority
CN
China
Prior art keywords
size
layer
depth convolution
generator
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810763389.3A
Other languages
English (en)
Other versions
CN109255364B (zh
Inventor
杨宇翔
陈德平
黄继业
高明煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201810763389.3A priority Critical patent/CN109255364B/zh
Publication of CN109255364A publication Critical patent/CN109255364A/zh
Application granted granted Critical
Publication of CN109255364B publication Critical patent/CN109255364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度卷积生成对抗网络的场景识别方法。现有利用深度学习进行场景识别的方法，都是通过训练集图片自带的样本和标签进行训练，然后利用训练好的模型来对图片进行特征提取，但是实际中大部分的图片都没有标签，即使可以利用人工标注，也需要花费很大的时间和成本。本发明首先利用无标签的图片构建深度卷积生成对抗网络模型，然后，利用已经学习到场景数据集分布的生成器，反向训练得到一个卷积神经网络来提取图像的特征，解决了图像数据集需要标签的问题，并且提取出比传统特征更能表征图像的特征向量，从而提高场景识别任务中的识别准确性。

Description

一种基于深度卷积生成对抗网络的场景识别方法
技术领域
本发明属于模式识别和机器学习领域，具体涉及一种基于深度卷积生成对抗网络的场景识别方法。
背景技术
闭环检测在SLAM(同时定位与地图构建)中，被认为是最重要的一个环节，它主要是在给定当前帧图片下，移动机器人是否能够判别该场景是否之前见到过，这就是闭环检测要解决的问题，也就是场景识别。场景识别在计算机视觉领域是一项具有挑战性的工作，其在无人驾驶和移动机器人领域都有这个广泛的应用。
近几年，随着深度学习在人工智能领域的发展，深度卷积神经网络在图像识别、图像检测和图像分割等方向都取得了巨大的成果。和传统的人工设计的特征SIFT、SURF和GIST等相比，CNN不仅能够自动提取高质量的图像特征，而且具有很好的泛化能力，因此可以使用预训练好的网络应用于其他的任务上。虽然在场景识别领域，CNN特征已经被证明要优于传统的特征，但是这些深度卷积神经网络都是通过给定的训练集和标签的有监督学习得到，然后提取图像的特征，而在实际生活中，并没有很多的带有标签的数据集，即使利用人工标注，也要花费很多的时间和精力。因此，本发明提出了一种新的基于深度卷积生成对抗网络的场景识别方法，采用无监督的学习方法，来训练网络。首先，我们利用场景数据集Place365作为训练集，训练集是大小为256*256的RGB图片。利用该训练集来得到深度卷积生成对抗网络。然后，利用训练好的学习场景数据分布的生成器，再反向训练一个卷积神经网络作为特征提取器，接着利用该卷积神经网络对图片进行特征提取，得到相对应的特征向量。最后，通过计算两张图片特征向量之间的余弦距离，如果其值效于设定的阈值，则认为两张图片的处于同一场景；反之，则认为是不同场景。
发明内容
本发明针对现有技术的不足，提出了一种基于深度卷积生成对抗网络的场景识别方法。
本发明该方法的具体步骤如下：
步骤1、对训练集图片数据进行预处理；
将N张训练集图片像素值进行归一化，利用激励函数tanh，函数形式为f(x)＝(1-e-2x)/(1+e-2x)，将所有图片的像素值的归一化在[-1,1]的范围之间，x表示图片像素值；
步骤2、构建深度卷积生成对抗网络模型NN1；
首先，输入batch个符合高斯分布的K维随机张量到深度卷积对抗网络模型NN1的生成器G中，得到输出张量；深度卷积生成对抗网络模型NN1的生成器G的网络模型结构为输入层->反卷积层*6->输出层；其中输入节点数为K,输出节点数为256*256*3,反卷积层节点数分别为4*4*1024，8*8*512,16*16*256,32*32*128,64*64*64,128*128*32；此时，生成器G的输出张量的大小为[batch,256,256,3],即batch个样本，每一个样本的维度是[256,256,3],先令这batch个样本的每一组样本的标签为0，即作为假样本；在步骤1中随机抽取batch个预处理后的图片，令这些样本的标签为1，即作为真样本；接着训练深度卷积生成对抗网络中的判别器D,判别器D为有监督的二分类模型；深度卷积生成对抗网络模型NN1的判别器D的网络模型结构为输入层->卷积层*6->输出层；其中判别器D输入节点数为256*256*3；输出节点数为1，卷积层节点数分别为128*128*16，64*64*32,32*32*64,16*16*128,8*8*256,4*4*512；对深度卷积对抗网络模型NN1进行训练获得其判别器D的最优权值矩阵Wc1～Wc7和偏置向量bc1～bc7,其中Wc1的大小为[5,5,3,16],bc1为[16,1],Wc2的大小为[5,5,16,32],bc2为[32,1],Wc3的大小为[5,5,32,64],bc3为[64,1],Wc4的大小为[5,5,64,128],bc4为[128,1],Wc5的大小为[5,5,128,256],bc5为[256,1],Wc6的大小为[5,5,256,512],bc6为[512,1],Wc7的大小为[8192,1],b7为[1,1]；其中，深度卷积对抗网络模型NN1的生成器G中的所有层都是用ReLU激活函数，函数形式为f(m)＝max(0,m),其中m表示当前层的输出值；除了输出层使用Tanh激活函数，输入层不需要激活层；深度卷积生成对抗网络模型NN1的判别器D的所有层使用LeakyReLU激活函数，函数形式为f(n)＝max(0,0.2n),其中n表示当前层的输出值；除了输出层采用Sigmoid作为激活函数，函数形式为其中l表示当前层的输出值；在每一层反卷积层和卷积层后面加上归一化层，每一层归一化层都对应的两个训练参数β和γ；然后训练深度卷积生成对抗网络中的生成器G,将深度卷积生成对抗网络模型NN1的生成器G和判别器D一起训练，训练过程中固定判别器D的参数Wc1～Wc7和bc1～bc7，只更新生成器G的参数Wd1～Wd7和bd1～bd7；此时，令生成的batch个符合高斯分布的K维随机张量所对应的标签为1，即所对应的标签张量大小为[batch,1]；对深度卷积生成对抗网络模型NN1进行训练获得其生成器G的最优权值矩阵Wd1～Wd7、偏置向量bd1～bd7；其中，Wd1的大小为[K,4*4*1024],bd1为[4*4*1024,1],Wd2的大小为[4,4,1024,512],bd2为[512,1],Wd3的大小为[8,8,512,256],bd3为[256,1],Wd4的大小为[16,16,256,128],bd4为[128,1],Wd5的大小为[32,32,128,64],bd5为[64,1],Wd6的大小为[64,64,64,32],bd6为[32,1],Wd7的大小为[128,128,32,3],bd7为[3,1]；
步骤3、构建卷积神经网络模型NN2；
先随机生成batch个符合高斯分布的K维随机张量输入步骤2中训练好的生成对抗网络的生成器G中，得到大小为[batch,256,256,3]的输出张量；把该输出张量作为的卷积神经网络模型NN2的输入数据，将生成器大小为[batch,K]的输入张量作为卷积神经网络模型NN2所对应的标签；卷积神经网络模型NN2网络模型结构为输入层->卷积层*6->输出层；其中输入节点数为256*256*3,输出节点数为K，中间卷积层节点数分别为128*128*8，64*64*16,32*32*32,16*16*64,8*8*128,4*4*25；因此，对模型进行训练获得其生成器的最优权值矩阵Wc1’～Wc7’和偏置向量bc1’～bc7’；其中Wc1’的大小为[256,256,3,8],bc1’为[8,1],Wc2’的大小为[64,64,8,16],bc2’为[16,1],Wc3’的大小为[32,32,16,32],bc3’为[32,1],Wc4’的大小为[16,16,32,64],bc4’为[64,1],Wc5’的大小为[8,8,64,128],bc5’为[128,1],Wc6’的大小为[4,4,128,256],bc6’为[256,1],Wc7’的大小为[4096，K],bc7’的大小为[K,1]；其中卷积神经网络模型NN2的所有层使用LeakyReLU激活函数，除了输出层采用Sigmoid作为激活函数,并且在每一层卷积层后面加上归一化层；
步骤4、根据步骤3中得到的卷积神经网络模型NN2，先对需要待判别的图像对进行预处理，即先将图片大小拉伸为[256，256，3]，接着利用tanh函数对像素值进行归一化处理，然后用卷积神经网络模型NN2对其进行特征提取，得到相对应的特征向量，向量维度为[K,1]；
步骤5、对上述步骤4中得到的两个向量求余弦距离，然后和给定的阈值进行比较；若小于阈值，则判定为相同场景，反之则判定为不同场景。
基于本方法的场景识别方法，和之前基于深度学习的场景识别相比，能够在给定无标签的数据集情境下，对网络进行训练，并且能够在学习到场景数据分布后，再对场景图片进行特征提取。不仅能够降低一些数据集制作的成本，而且提取出的特征向量能够更好的表征图片，能够提高场景识别任务中的识别准确性。
附图说明
图1为本发明方法中深度卷积生成对抗网络模型NN1的结构图；
图2为本发明方法中的整体结构框图；
图3为本发明中生成器G的内部结构图；
图4为本发明中判别器D的内部结构图；
图5为本发明中卷积神经网络模型NN2的内部结构图。
图1-5中input表示输入、output表示输出、G表示生成器、D表示判别器，real是真实训练样本数据集，即Place365数据集、N表示一次训练网络所需的训练集图片的数量，即batch，H表示训练集图片的高度，W表示训练集图片的宽度，C表示训练集图片的通道数，NN2表示卷积神经网络、Input Vector为输入随机向量，Output Vector为输出向量，deconv1～deconv6为反卷积层，conv1～conv7和conv1’～conv7’为卷积层。
具体实施方式
本发明通过利用无监督学习，即先训练一个深度卷积生成对抗网络，其结构图如图1所示，再利用已经学习到场景数据集分布的生成器，反向训练得到一个卷积神经网络来提取图像的特征，解决了图像数据集需要标签的问题，并且提取出比传统特征更能表征图像的特征向量。整个网络结构图如图2所示。
一种基于深度卷积生成对抗网络的场景识别方法，具体步骤是：
步骤1、对训练集图片数据进行预处理；
将N张训练集图片像素值进行归一化，利用激励函数tanh，函数形式为f(x)＝(1-e-2x)/(1+e-2x)，将所有图片的像素值的归一化在[-1,1]的范围之间，x表示图片像素值；
步骤2、构建深度卷积生成对抗网络模型NN1；
首先，输入batch个符合高斯分布的K维随机张量到深度卷积对抗网络模型NN1的生成器G中，生成器G的内部结构图如图3所示，得到输出张量。深度卷积生成对抗网络模型NN1的生成器G的网络模型结构为输入层->反卷积层*6->输出层；其中输入节点数为K,输出节点数为256*256*3,反卷积层节点数分别为4*4*1024，8*8*512,16*16*256,32*32*128,64*64*64,128*128*32；此时，生成器G的输出张量的大小为[batch,256,256,3],即batch个样本，每一个样本的维度是[256,256,3],先令这batch个样本的每一组样本的标签为0，即作为假样本；在步骤1中随机抽取batch个预处理后的图片，令这些样本的标签为1，即作为真样本；接着训练深度卷积生成对抗网络中的判别器D,判别器D为有监督的二分类模型，判别器D的内部结构图如图4所示；深度卷积生成对抗网络模型NN1的判别器D的网络模型结构为输入层->卷积层*6->输出层；其中判别器D输入节点数为256*256*3；输出节点数为1，卷积层节点数分别为128*128*16，64*64*32,32*32*64,16*16*128,8*8*256,4*4*512；对深度卷积对抗网络模型NN1进行训练获得其判别器D的最优权值矩阵Wc1～Wc7和偏置向量bc1～bc7,其中Wc1的大小为[5,5,3,16],bc1为[16,1],Wc2的大小为[5,5,16,32],bc2为[32,1],Wc3的大小为[5,5,32,64],bc3为[64,1],Wc4的大小为[5,5,64,128],bc4为[128,1],Wc5的大小为[5,5,128,256],bc5为[256,1],Wc6的大小为[5,5,256,512],bc6为[512,1],Wc7的大小为[8192,1],b7为[1,1]。其中，深度卷积对抗网络模型NN1的生成器G中的所有层都是用ReLU激活函数，函数形式为f(m)＝max(0,m),其中m表示当前层的输出值。除了输出层使用Tanh激活函数，输入层不需要激活层。深度卷积生成对抗网络模型NN1的判别器D的所有层使用LeakyReLU激活函数，函数形式为f(n)＝max(0,0.2n),其中n表示当前层的输出值。除了输出层采用Sigmoid作为激活函数，函数形式为其中l表示当前层的输出值。在每一层反卷积层和卷积层后面加上归一化层，每一层归一化层都对应的两个训练参数β和γ。然后训练深度卷积生成对抗网络中的生成器G,将深度卷积生成对抗网络模型NN1的生成器G和判别器D一起训练，训练过程中固定判别器D的参数Wc1～Wc7和bc1～bc7，只更新生成器G的参数Wd1～Wd7和bd1～bd7；此时，令生成的batch个符合高斯分布的K维随机张量所对应的标签为1，即所对应的标签张量大小为[batch,1]；对深度卷积生成对抗网络模型NN1进行训练获得其生成器G的最优权值矩阵Wd1～Wd7、偏置向量bd1～bd7。其中，Wd1的大小为[K,4*4*1024],bd1为[4*4*1024,1],Wd2的大小为[4,4,1024,512],bd2为[512,1],Wd3的大小为[8,8,512,256],bd3为[256,1],Wd4的大小为[16,16,256,128],bd4为[128,1],Wd5的大小为[32,32,128,64],bd5为[64,1],Wd6的大小为[64,64,64,32],bd6为[32,1],Wd7的大小为[128,128,32,3],bd7为[3,1]；
在本发明的一个具体实例中，K＝128,采用欧式距离度量下的约束作为生成器G和判别器D中的损失函数，生成器G中的反卷积层采用ReLU函数作为非线性映射激活函数，输出层采用tanh作为非线性映射激活函数。判别器D中的卷积层中采用LeakyReLU函数作为非线性映射激活函数，输出层采用Sigmoid作为非线性映射激活函数，并在每一层反卷积层和卷积层后添加一层归一化层。采用随机梯度下降法迭代训练得到深度卷积生成对抗网络模型NN1中的最优参数。在本发明方法中，采用单独交替迭代训练的方式来对生成器G和判别器D进行训练，即对判别器G的参数更新2次，再对生成器D的参数更新1次，直到判别器D针对所有样本输入的输出值近似为0.5。
步骤3、构建卷积神经网络模型NN2；
先随机生成batch个符合高斯分布的K维随机张量输入步骤2中训练好的生成对抗网络的生成器G中，得到大小为[batch,256,256,3]的输出张量；把该输出张量作为的卷积神经网络模型NN2的输入数据，将生成器大小为[batch,K]的输入张量作为卷积神经网络模型NN2所对应的标签，卷积神经网络模型NN2的内部结构图如图5所示；卷积神经网络模型NN2网络模型结构为输入层->卷积层*6->输出层；其中输入节点数为256*256*3,输出节点数为K，中间卷积层节点数分别为128*128*8，64*64*16,32*32*32,16*16*64,8*8*128,4*4*25；因此，对模型进行训练获得其生成器的最优权值矩阵Wc1’～Wc7’和偏置向量bc1’～bc7’。其中Wc1’的大小为[256,256,3,8],bc1’为[8,1],Wc2’的大小为[64,64,8,16],bc2’为[16,1],Wc3’的大小为[32,32,16,32],bc3’为[32,1],Wc4’的大小为[16,16,32,64],bc4’为[64,1],Wc5’的大小为[8,8,64,128],bc5’为[128,1],Wc6’的大小为[4,4,128,256],bc6’为[256,1],Wc7’的大小为[4096，K],bc7’的大小为[K,1]。其中卷积神经网络模型NN2的所有层使用LeakyReLU激活函数，除了输出层采用Sigmoid作为激活函数,并且在每一层卷积层后面加上归一化层；
在本发明的一个具体实例中，采用欧式距离度量下的约束作为卷积神经网络模型NN2中的损失函数，并在卷积神经网络模型NN2中的卷积层中采用LeakyReLU函数作为非线性映射激活函数，并在每一层卷积层后面加入归一化层，输出层采用Sigmoid作为非线性映射激活函数采用随机梯度下降法迭代训练得到神经网络模型NN2中的最优参数。
步骤4、根据步骤3中得到的卷积神经网络模型NN2，先对需要待判别的图像对进行预处理，即先将图片大小拉伸为[256，256，3]，接着利用tanh函数对像素值进行归一化处理，然后用卷积神经网络模型NN2对其进行特征提取，得到相对应的特征向量，向量维度为[K,1]；
步骤5、对上述步骤4中得到的两个向量求余弦距离，然后和给定的阈值进行比较。若小于阈值，则判定为相同场景，反之则判定为不同场景；
基于本方法的场景识别方法，和之前基于深度学习的场景识别相比，能够在给定无标签的数据集情境下，对网络进行训练，并且能够在学习到场景数据分布后，再对场景图片进行特征提取。不仅能够降低一些数据集制作的成本，而且提取出的特征向量能够更好的表征图片，能够提高场景识别任务中的识别准确性。

Claims (1)

1.一种基于深度卷积生成对抗网络的场景识别方法，其特征在于，该方法的具体步骤如下：
步骤1、对训练集图片数据进行预处理；
将N张训练集图片像素值进行归一化，利用激励函数tanh，函数形式为f(x)＝(1-e-2x)/(1+e-2x)，将所有图片的像素值的归一化在[-1,1]的范围之间，x表示图片像素值；
步骤2、构建深度卷积生成对抗网络模型NN1；
首先，输入batch个符合高斯分布的K维随机张量到深度卷积对抗网络模型NN1的生成器G中，得到输出张量；深度卷积生成对抗网络模型NN1的生成器G的网络模型结构为输入层->反卷积层*6->输出层；其中输入节点数为K,输出节点数为256*256*3,反卷积层节点数分别为4*4*1024，8*8*512,16*16*256,32*32*128,64*64*64,128*128*32；此时，生成器G的输出张量的大小为[batch,256,256,3],即batch个样本，每一个样本的维度是[256,256,3],先令这batch个样本的每一组样本的标签为0，即作为假样本；在步骤1中随机抽取batch个预处理后的图片，令这些样本的标签为1，即作为真样本；接着训练深度卷积生成对抗网络中的判别器D,判别器D为有监督的二分类模型；深度卷积生成对抗网络模型NN1的判别器D的网络模型结构为输入层->卷积层*6->输出层；其中判别器D输入节点数为256*256*3；输出节点数为1，卷积层节点数分别为128*128*16，64*64*32,32*32*64,16*16*128,8*8*256,4*4*512；对深度卷积对抗网络模型NN1进行训练获得其判别器D的最优权值矩阵Wc1～Wc7和偏置向量bc1～bc7,其中Wc1的大小为[5,5,3,16],bc1为[16,1],Wc2的大小为[5,5,16,32],bc2为[32,1],Wc3的大小为[5,5,32,64],bc3为[64,1],Wc4的大小为[5,5,64,128],bc4为[128,1],Wc5的大小为[5,5,128,256],bc5为[256,1],Wc6的大小为[5,5,256,512],bc6为[512,1],Wc7的大小为[8192,1],b7为[1,1]；其中，深度卷积对抗网络模型NN1的生成器G中的所有层都是用ReLU激活函数，函数形式为f(m)＝max(0,m),其中m表示当前层的输出值；除了输出层使用Tanh激活函数，输入层不需要激活层；深度卷积生成对抗网络模型NN1的判别器D的所有层使用LeakyReLU激活函数，函数形式为f(n)＝max(0,0.2n),其中n表示当前层的输出值；除了输出层采用Sigmoid作为激活函数，函数形式为其中l表示当前层的输出值；在每一层反卷积层和卷积层后面加上归一化层，每一层归一化层都对应的两个训练参数β和γ；然后训练深度卷积生成对抗网络中的生成器G,将深度卷积生成对抗网络模型NN1的生成器G和判别器D一起训练，训练过程中固定判别器D的参数Wc1～Wc7和bc1～bc7，只更新生成器G的参数Wd1～Wd7和bd1～bd7；此时，令生成的batch个符合高斯分布的K维随机张量所对应的标签为1，即所对应的标签张量大小为[batch,1]；对深度卷积生成对抗网络模型NN1进行训练获得其生成器G的最优权值矩阵Wd1～Wd7、偏置向量bd1～bd7；其中，Wd1的大小为[K,4*4*1024],bd1为[4*4*1024,1],Wd2的大小为[4,4,1024,512],bd2为[512,1],Wd3的大小为[8,8,512,256],bd3为[256,1],Wd4的大小为[16,16,256,128],bd4为[128,1],Wd5的大小为[32,32,128,64],bd5为[64,1],Wd6的大小为[64,64,64,32],bd6为[32,1],Wd7的大小为[128,128,32,3],bd7为[3,1]；
步骤3、构建卷积神经网络模型NN2；
先随机生成batch个符合高斯分布的K维随机张量输入步骤2中训练好的生成对抗网络的生成器G中，得到大小为[batch,256,256,3]的输出张量；把该输出张量作为的卷积神经网络模型NN2的输入数据，将生成器大小为[batch,K]的输入张量作为卷积神经网络模型NN2所对应的标签；卷积神经网络模型NN2网络模型结构为输入层->卷积层*6->输出层；其中输入节点数为256*256*3,输出节点数为K，中间卷积层节点数分别为128*128*8，64*64*16,32*32*32,16*16*64,8*8*128,4*4*25；因此，对模型进行训练获得其生成器的最优权值矩阵Wc1’～Wc7’和偏置向量bc1’～bc7’；其中Wc1’的大小为[256,256,3,8],bc1’为[8,1],Wc2’的大小为[64,64,8,16],bc2’为[16,1],Wc3’的大小为[32,32,16,32],bc3’为[32,1],Wc4’的大小为[16,16,32,64],bc4’为[64,1],Wc5’的大小为[8,8,64,128],bc5’为[128,1],Wc6’的大小为[4,4,128,256],bc6’为[256,1],Wc7’的大小为[4096，K],bc7’的大小为[K,1]；其中卷积神经网络模型NN2的所有层使用LeakyReLU激活函数，除了输出层采用Sigmoid作为激活函数,并且在每一层卷积层后面加上归一化层；
步骤4、根据步骤3中得到的卷积神经网络模型NN2，先对需要待判别的图像对进行预处理，即先将图片大小拉伸为[256，256，3]，接着利用tanh函数对像素值进行归一化处理，然后用卷积神经网络模型NN2对其进行特征提取，得到相对应的特征向量，向量维度为[K,1]；
步骤5、对上述步骤4中得到的两个向量求余弦距离，然后和给定的阈值进行比较；若小于阈值，则判定为相同场景，反之则判定为不同场景。
CN201810763389.3A 2018-07-12 2018-07-12 一种基于深度卷积生成对抗网络的场景识别方法 Active CN109255364B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810763389.3A CN109255364B (zh) 2018-07-12 2018-07-12 一种基于深度卷积生成对抗网络的场景识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810763389.3A CN109255364B (zh) 2018-07-12 2018-07-12 一种基于深度卷积生成对抗网络的场景识别方法

Publications (2)

Publication Number Publication Date
CN109255364A true CN109255364A (zh) 2019-01-22
CN109255364B CN109255364B (zh) 2021-06-08

Family

ID=65050710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810763389.3A Active CN109255364B (zh) 2018-07-12 2018-07-12 一种基于深度卷积生成对抗网络的场景识别方法

Country Status (1)

Country Link
CN (1) CN109255364B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800730A (zh) * 2019-01-30 2019-05-24 北京字节跳动网络技术有限公司 用于生成头像生成模型的方法和装置
CN109858565A (zh) * 2019-02-28 2019-06-07 南京邮电大学 基于深度学习的融合全局特征和局部物品信息的家庭室内场景识别方法
CN109919890A (zh) * 2019-03-06 2019-06-21 颐保医疗科技(上海)有限公司 一种应用于医药识别的数据增强方法
CN110059597A (zh) * 2019-04-04 2019-07-26 南京理工大学 基于深度相机的场景识别方法
CN110225260A (zh) * 2019-05-24 2019-09-10 宁波大学 一种基于生成对抗网络的立体高动态范围成像方法
CN110275972A (zh) * 2019-06-17 2019-09-24 浙江工业大学 一种引入对抗训练的基于内容的实例检索方法
CN110288079A (zh) * 2019-05-20 2019-09-27 阿里巴巴集团控股有限公司 特征数据获取方法、装置和设备
CN110296705A (zh) * 2019-06-28 2019-10-01 苏州瑞久智能科技有限公司 一种基于距离度量学习的视觉slam回环检测方法
CN110334228A (zh) * 2019-07-09 2019-10-15 广西壮族自治区基础地理信息中心 一种基于深度学习的互联网问题地图筛查方法
CN110647905A (zh) * 2019-08-02 2020-01-03 杭州电子科技大学 一种基于伪脑网络模型下的涉恐场景识别方法
CN110659581A (zh) * 2019-08-29 2020-01-07 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备和存储介质
CN110675374A (zh) * 2019-09-17 2020-01-10 电子科技大学 一种基于生成对抗网络的二维图像污水流量检测方法
CN110674759A (zh) * 2019-09-26 2020-01-10 深圳市捷顺科技实业股份有限公司 一种基于深度图的单目人脸活体检测方法、装置及设备
CN110807291A (zh) * 2019-10-10 2020-02-18 南京摄星智能科技有限公司 一种基于拟态对抗学习机制的现场态势未来引导技术
CN110969188A (zh) * 2019-11-01 2020-04-07 上海市第六人民医院 一种基于深度学习的外泌体电镜图片判断系统及判断方法
CN111191654A (zh) * 2019-12-30 2020-05-22 重庆紫光华山智安科技有限公司 道路数据生成方法、装置、电子设备及存储介质
CN111242213A (zh) * 2020-01-13 2020-06-05 上海大学 无标签的自动人脸属性编辑方法
CN111259366A (zh) * 2020-01-22 2020-06-09 支付宝(杭州)信息技术有限公司 一种基于自监督学习的验证码识别器的训练方法和装置
CN111353583A (zh) * 2020-02-20 2020-06-30 南京工程学院 基于群卷积特征拓扑空间的深度学习网络及其训练方法
RU2732895C1 (ru) * 2019-05-27 2020-09-24 Общество с ограниченной ответственностью "ПЛАТФОРМА ТРЕТЬЕ МНЕНИЕ" Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей
CN112686256A (zh) * 2021-01-05 2021-04-20 中山大学 一种无需训练且无监督的目标协同定位方法、系统及装置
CN112821971A (zh) * 2021-02-01 2021-05-18 之江实验室 一种基于对抗式学习的时变信道信号检测方法
CN113239901A (zh) * 2021-06-17 2021-08-10 北京三快在线科技有限公司 场景识别方法、装置、设备及存储介质
CN113657581A (zh) * 2021-08-19 2021-11-16 长飞光纤光缆股份有限公司 一种基于深度学习的训练数据获取方法和系统
US20220207117A1 (en) * 2019-09-20 2022-06-30 Huawei Technologies Co., Ltd. Data theft prevention method and related product
CN114841236A (zh) * 2022-03-28 2022-08-02 中国科学院宁波材料技术与工程研究所 一种基于深度学习的柔性压力传感阵列图的识别方法
CN115100420A (zh) * 2022-07-22 2022-09-23 南京理工大学 一种视觉小目标外观特征的提取方法
CN117436350A (zh) * 2023-12-18 2024-01-23 中国石油大学(华东) 基于深度卷积生成对抗网络的压裂水平井压力预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292813A (zh) * 2017-05-17 2017-10-24 浙江大学 一种基于生成对抗网络的多姿态人脸生成方法
CN107944370A (zh) * 2017-11-17 2018-04-20 西安电子科技大学 基于dccgan模型的极化sar图像分类方法
CN108121975A (zh) * 2018-01-04 2018-06-05 中科汇通投资控股有限公司 一种联合原始数据和生成数据的人脸识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292813A (zh) * 2017-05-17 2017-10-24 浙江大学 一种基于生成对抗网络的多姿态人脸生成方法
CN107944370A (zh) * 2017-11-17 2018-04-20 西安电子科技大学 基于dccgan模型的极化sar图像分类方法
CN108121975A (zh) * 2018-01-04 2018-06-05 中科汇通投资控股有限公司 一种联合原始数据和生成数据的人脸识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALEC RADFORD ET AL.: ""UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS"", 《ARXIV》 *
ANH NGUYEN ET AL.: ""Plug & Play Generative Networks Conditional Interative Generation of Images in Latent Space"", 《ARXIV》 *
YASIR LATIF ET AL.: ""Addressing Challenging Place Recognition Tasks using Generative Adversarial Networks"", 《ARXIV》 *
林懿伦 等: ""人工智能研究的新前线：生成式对抗网络"", 《自动化学报》 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800730A (zh) * 2019-01-30 2019-05-24 北京字节跳动网络技术有限公司 用于生成头像生成模型的方法和装置
CN109858565A (zh) * 2019-02-28 2019-06-07 南京邮电大学 基于深度学习的融合全局特征和局部物品信息的家庭室内场景识别方法
CN109858565B (zh) * 2019-02-28 2022-08-12 南京邮电大学 基于深度学习的融合全局特征和局部物品信息的家庭室内场景识别方法
CN109919890A (zh) * 2019-03-06 2019-06-21 颐保医疗科技(上海)有限公司 一种应用于医药识别的数据增强方法
CN109919890B (zh) * 2019-03-06 2023-01-20 颐保医疗科技(上海)有限公司 一种应用于医药识别的数据增强方法
CN110059597A (zh) * 2019-04-04 2019-07-26 南京理工大学 基于深度相机的场景识别方法
CN110288079A (zh) * 2019-05-20 2019-09-27 阿里巴巴集团控股有限公司 特征数据获取方法、装置和设备
CN110225260A (zh) * 2019-05-24 2019-09-10 宁波大学 一种基于生成对抗网络的立体高动态范围成像方法
RU2732895C1 (ru) * 2019-05-27 2020-09-24 Общество с ограниченной ответственностью "ПЛАТФОРМА ТРЕТЬЕ МНЕНИЕ" Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей
WO2020242341A1 (ru) * 2019-05-27 2020-12-03 Общество С Ограниченной Ответственностью "Лаб Кмд" Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей
CN110275972A (zh) * 2019-06-17 2019-09-24 浙江工业大学 一种引入对抗训练的基于内容的实例检索方法
CN110296705A (zh) * 2019-06-28 2019-10-01 苏州瑞久智能科技有限公司 一种基于距离度量学习的视觉slam回环检测方法
CN110334228A (zh) * 2019-07-09 2019-10-15 广西壮族自治区基础地理信息中心 一种基于深度学习的互联网问题地图筛查方法
CN110647905A (zh) * 2019-08-02 2020-01-03 杭州电子科技大学 一种基于伪脑网络模型下的涉恐场景识别方法
CN110647905B (zh) * 2019-08-02 2022-05-13 杭州电子科技大学 一种基于伪脑网络模型下的涉恐场景识别方法
CN110659581A (zh) * 2019-08-29 2020-01-07 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备和存储介质
CN110659581B (zh) * 2019-08-29 2024-02-20 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备和存储介质
CN110675374A (zh) * 2019-09-17 2020-01-10 电子科技大学 一种基于生成对抗网络的二维图像污水流量检测方法
CN110675374B (zh) * 2019-09-17 2022-05-03 电子科技大学 一种基于生成对抗网络的二维图像污水流量检测方法
US20220207117A1 (en) * 2019-09-20 2022-06-30 Huawei Technologies Co., Ltd. Data theft prevention method and related product
CN110674759A (zh) * 2019-09-26 2020-01-10 深圳市捷顺科技实业股份有限公司 一种基于深度图的单目人脸活体检测方法、装置及设备
CN110807291B (zh) * 2019-10-10 2023-09-26 南京星耀智能科技有限公司 一种基于拟态对抗学习机制的现场态势未来引导技术
CN110807291A (zh) * 2019-10-10 2020-02-18 南京摄星智能科技有限公司 一种基于拟态对抗学习机制的现场态势未来引导技术
CN110969188A (zh) * 2019-11-01 2020-04-07 上海市第六人民医院 一种基于深度学习的外泌体电镜图片判断系统及判断方法
CN110969188B (zh) * 2019-11-01 2024-05-14 上海市第六人民医院 一种基于深度学习的外泌体电镜图片判断系统及判断方法
CN111191654A (zh) * 2019-12-30 2020-05-22 重庆紫光华山智安科技有限公司 道路数据生成方法、装置、电子设备及存储介质
CN111242213A (zh) * 2020-01-13 2020-06-05 上海大学 无标签的自动人脸属性编辑方法
CN111242213B (zh) * 2020-01-13 2023-07-25 上海大学 无标签的自动人脸属性编辑方法
CN111259366A (zh) * 2020-01-22 2020-06-09 支付宝(杭州)信息技术有限公司 一种基于自监督学习的验证码识别器的训练方法和装置
CN111353583A (zh) * 2020-02-20 2020-06-30 南京工程学院 基于群卷积特征拓扑空间的深度学习网络及其训练方法
CN111353583B (zh) * 2020-02-20 2023-04-07 南京工程学院 基于群卷积特征拓扑空间的深度学习网络及其训练方法
CN112686256A (zh) * 2021-01-05 2021-04-20 中山大学 一种无需训练且无监督的目标协同定位方法、系统及装置
CN112686256B (zh) * 2021-01-05 2023-10-20 中山大学 一种无需训练且无监督的目标协同定位方法、系统及装置
CN112821971A (zh) * 2021-02-01 2021-05-18 之江实验室 一种基于对抗式学习的时变信道信号检测方法
CN113239901A (zh) * 2021-06-17 2021-08-10 北京三快在线科技有限公司 场景识别方法、装置、设备及存储介质
CN113657581A (zh) * 2021-08-19 2021-11-16 长飞光纤光缆股份有限公司 一种基于深度学习的训练数据获取方法和系统
CN114841236A (zh) * 2022-03-28 2022-08-02 中国科学院宁波材料技术与工程研究所 一种基于深度学习的柔性压力传感阵列图的识别方法
CN114841236B (zh) * 2022-03-28 2024-04-23 中国科学院宁波材料技术与工程研究所 一种基于深度学习的柔性压力传感阵列图的识别方法
CN115100420A (zh) * 2022-07-22 2022-09-23 南京理工大学 一种视觉小目标外观特征的提取方法
CN117436350A (zh) * 2023-12-18 2024-01-23 中国石油大学(华东) 基于深度卷积生成对抗网络的压裂水平井压力预测方法
CN117436350B (zh) * 2023-12-18 2024-03-08 中国石油大学(华东) 基于深度卷积生成对抗网络的压裂水平井压力预测方法

Also Published As

Publication number Publication date
CN109255364B (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN109255364A (zh) 一种基于深度卷积生成对抗网络的场景识别方法
WO2022252272A1 (zh) 一种基于迁移学习的改进vgg16网络猪的身份识别方法
Sixt et al. Rendergan: Generating realistic labeled data
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
Teow Understanding convolutional neural networks using a minimal model for handwritten digit recognition
CN107506722A (zh) 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN105678284B (zh) 一种固定位人体行为分析方法
CN108021947B (zh) 一种基于视觉的分层极限学习机目标识别方法
CN108510012A (zh) 一种基于多尺度特征图的目标快速检测方法
CN109829541A (zh) 基于学习自动机的深度神经网络增量式训练方法及系统
WO2018052587A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN107818302A (zh) 基于卷积神经网络的非刚性多尺度物体检测方法
CN108710829A (zh) 一种基于深度学习的表情分类及微表情检测的方法
CN107092926A (zh) 基于深度学习的服务机器人物体识别算法
CN107529650A (zh) 网络模型的构建和闭环检测方法、相应装置及计算机设备
Xu et al. Recurrent convolutional neural network for video classification
CN106156765A (zh) 基于计算机视觉的安全检测方法
CN108665005A (zh) 一种利用dcgan提高基于cnn图像识别性能的方法
CN105095870A (zh) 基于迁移学习的行人重识别方法
CN108229589A (zh) 一种基于迁移学习的地基云图分类方法
CN108509920A (zh) 基于CNN的多patch多通道联合特征选择学习的人脸识别方法
CN109214298A (zh) 一种基于深度卷积网络的亚洲女性颜值评分模型方法
CN104298974A (zh) 一种基于深度视频序列的人体行为识别方法
CN108154133A (zh) 基于非对称联合学习的人脸画像-照片识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant