CN110458120B - 一种复杂环境下不同车型识别方法及系统 - Google Patents

一种复杂环境下不同车型识别方法及系统 Download PDF

Info

Publication number
CN110458120B
CN110458120B CN201910752440.5A CN201910752440A CN110458120B CN 110458120 B CN110458120 B CN 110458120B CN 201910752440 A CN201910752440 A CN 201910752440A CN 110458120 B CN110458120 B CN 110458120B
Authority
CN
China
Prior art keywords
training sample
sample set
network model
environment
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910752440.5A
Other languages
English (en)
Other versions
CN110458120A (zh
Inventor
雷添杰
宋宏权
吕娟
黄锦涛
岳建伟
周磊
慎利
陈强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Institute of Water Resources and Hydropower Research
Original Assignee
China Institute of Water Resources and Hydropower Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Institute of Water Resources and Hydropower Research filed Critical China Institute of Water Resources and Hydropower Research
Priority to CN201910752440.5A priority Critical patent/CN110458120B/zh
Publication of CN110458120A publication Critical patent/CN110458120A/zh
Application granted granted Critical
Publication of CN110458120B publication Critical patent/CN110458120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种复杂环境下不同车型识别方法及系统，所述复杂环境下不同车型识别方法，利用WGAN网络模型生成每种环境下的第一生成训练样本集，利用CycleGAN网络模型生成不同环境复合的第二生成训练样本集，在增加了训练样本的数量，以达到卷积神经网络训练所需的数据量的同时，可生成各种环境复合的各种复杂环境下的训练样本，采用该训练样本对卷积神经网络进行训练，以实现复杂环境下的不同车型的识别，并提高复杂环境下的不同车型识别准确率。

Description

一种复杂环境下不同车型识别方法及系统
技术领域
本发明涉及车型识别领域，特别涉及一种复杂环境下不同车型识别方法及系统。
背景技术
当天灾人祸来临时，国家会开展组织人力物力去解救、转移或者疏散受困人员、抢救、运送重要物资、保护重要目标安全等救灾工作，及开展灾后重建等工作，而在抢险救灾过程中会根据不同的救援内容进行人员的调度，当运送有救援物资的车辆或者抢救人员的车辆等到达救灾现场时，对其快速的识别并根据识别的车型完成救援的开展，对于时间就是生命的救援现场有着重要的意义。然而现有的识别方式，例如人脸的识别方式，由于环境的复杂性，无法应用于救灾现场的车型识别，可见如何实现复杂环境下的不同车型的识别成为一个亟待解决的技术问题。
发明内容
本发明的目的是提供一种复杂环境下不同车型识别方法及系统，以实现复杂环境下的不同车型的识别。
为实现上述目的，本发明提供了如下方案：
本发明提供一种复杂环境下不同车型识别方法，所述复杂环境下不同车型识别方法包括如下步骤：
采集不同环境下的不同车型的图像，得到真实训练样本，并根据采集的环境进行分类存储，得到多个真实训练样本集；
构建WGAN网络模型和CycleGAN网络模型；
分别利用所述WGAN网络模型根据每个真实训练样本集中的真实训练样本生成每种环境的多个生成训练样本，得到每种环境的第一生成训练样本集；
利用所述CycleGAN网络模型根据多个所述真实训练样本集中的真实训练样本生成不同环境复合的生成训练样本，得到不同环境复合的第二生成训练样本集；
利用所述真实训练样本集、所述第一生成训练样本集和所述第二生成训练样本集对CNN网络模型进行训练，得到训练后的CNN网络模型；
将待识别车型图像输入所述训练后的CNN网络模型进行复杂环境下不同车型识别。
可选的，所述WGAN网络模型包括第一生成网络和第一判别网络，所述第一生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块，所述第一判别网络包括5个卷积块。
可选的，所述CycleGAN网络模型包括第二生成网络、第三生成网络、第二判别网络、第三判别网络；
所述第二生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块；
所述第二判别网络包括5个卷积块；
所述第三生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块；
所述第三判别网络包括8个卷积块。
可选的，所述分别利用所述WGAN网络模型根据每个真实训练样本集中的真实训练样本生成每种环境的多个生成训练样本，得到每种环境的第一生成训练样本集，具体包括：
采用第i种环境下获取的第i个真实训练样本集对WGAN网络模型进行训练，得到训练后的WGAN网络模型；其中，i＝1,2，…，N，N表示环境的种类的总数；
将第i个真实训练样本集中的真实训练样本输入所述训练后的WGAN网络模型，生成多个生成训练样本，得到第i种环境的第一生成样本训练集。
可选的，所述利用所述CycleGAN网络模型根据多个所述真实训练样本集中的真实训练样本生成不同环境复合的生成训练样本，得到不同环境复合的第二生成训练样本集，具体包括：
采用第i个真实训练样本集和第j个真实训练样本集对CycleGAN网络模型进行训练，得到训练后的CycleGAN网络模型；其中，其中，i＝1,2，…，N，N表示环境的种类的总数，j＝1,2，…，N，且j≠i；
将第i个真实训练样本集和第j个真实训练样本集中的真实训练样本输入训练后的CycleGAN网络模型，生成多个生成训练样本，得到第i种环境与第j种环境复合的第二生成训练样本集。
可选的，所述将第i个真实训练样本集和第j个真实训练样本集中的真实训练样本输入训练后的CycleGAN网络模型，生成多个生成训练样本，得到第i种环境与第j种环境复合的第二生成训练样本集，之后还包括：
采用第i种环境与第j种环境复合的第二生成训练样本集和第k个真实训练样本集对CycleGAN网络模型进行训练，得到训练后的CycleGAN网络模型；其中，k＝1,2，…，N，且k≠j≠i；
将第i种环境与第j种环境复合的第二生成训练样本集中的生成训练样本和第k个真实训练样本集中的真实训练样本输入训练后的CycleGAN模型，生成多个生成训练样本，得到第i种环境、第j种环境和第k种环境复合的第二生成训练样本集。
本发明还提供一种复杂环境下不同车型识别系统，所述复杂环境下不同车型识别系统包括：
真实训练样本采集模块，用于采集不同环境下的不同车型的图像，得到真实训练样本，并根据采集的环境进行分类存储，得到多个真实训练样本集；
网络模型构建模块，构建WGAN网络模型和CycleGAN网络模型；
第一生成训练样本集生成模块，用于分别利用所述WGAN网络模型根据每个真实训练样本集中的真实训练样本生成每种环境的多个生成训练样本，得到每种环境的第一生成训练样本集；
第二生成训练样本集生成模块，利用所述CycleGAN网络模型根据多个所述真实训练样本集中的真实训练样本生成不同环境复合的生成训练样本，得到不同环境复合的第二生成训练样本集；
CNN网络模型训练模块，用于利用所述真实训练样本集、所述第一生成训练样本集和所述第二生成训练样本集对CNN网络模型进行训练，得到训练后的CNN网络模型；
复杂环境下不同车型识别模块，用于将待识别车型图像输入所述训练后的CNN网络模型进行复杂环境下不同车型识别。
可选的，所述WGAN网络模型包括第一生成网络和第一判别网络，所述第一生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块，所述第一判别网络包括5个卷积块。
可选的，所述CycleGAN网络模型包括第二生成网络、第三生成网络、第二判别网络、第三判别网络；
所述第二生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块；
所述第二判别网络包括5个卷积块；
所述第三生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块；
所述第三判别网络包括8个卷积块。
可选的，所述第一生成训练样本集生成模块，具体包括：
WGAN网络模型训练子模块，用于采用第i种环境下获取的第i个真实训练样本集对WGAN网络模型进行训练，得到训练后的WGAN网络模型；其中，i＝1,2，…，N，N表示环境的种类的总数；
第一生成训练样本集生成子模块，用于将第i个真实训练样本集中的真实训练样本输入所述训练后的WGAN网络模型，生成多个生成训练样本，得到第i种环境的第一生成样本训练集。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供一种复杂环境下不同车型识别方法及系统，所述复杂环境下不同车型识别方法包括：首先，采集不同环境下的真实训练样本，并根据采集的环境进行分类存储，得到多个真实训练样本集；然后，构建WGAN网络模型和CycleGAN网络模型；利用WGAN网络模型生成每种环境下的第一生成训练样本集，利用CycleGAN网络模型生成不同环境复合的第二生成训练样本集；然后利用所述真实训练样本集、所述第一生成训练样本集和所述第二生成训练样本集对深度神经网络CNN(Convolutional Neural Network,CNN)网络模型进行训练，并将待识别车型图像输入训练后的CNN网络模型进行复杂环境下不同车型识别。本发明利用WGAN网络模型生成每种环境下的第一生成训练样本集，利用CycleGAN网络模型生成不同环境复合的第二生成训练样本集，在增加了训练样本的数量，以达到卷积神经网络训练所需的数据量的同时，可生成各种环境复合的各种复杂环境下的训练样本，采用该训练样本对卷积神经网络进行训练，以实现复杂环境下的不同车型的识别，并提高复杂环境下的不同车型识别准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种复杂环境下不同车型识别方法的流程图；
图2为本发明提供的一种复杂环境下不同车型识别系统的结构图。
具体实施方式
本发明的目的是提供一种复杂环境下不同车型识别方法及系统，以实现复杂环境下的不同车型的识别。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对发明作进一步详细的说明。
卷积神经网络(CNN)是人工神经网络的一种，它的人工神经元可以响应一部分覆盖范围内的周围单元，在大量图像处理中表现出色。卷积神经网络通过卷积和池化层自动学习图像在各个尺度上的特征，通过一系列方法，将数据量庞大的图像识别问题不断降维，使其能够被训练。卷积神经网络中较为重要的层次为卷积层、Pooling层、归一化层、损失函数层、激活函数层以及全连接层。每个卷积层包含多个卷积核，用这些卷积核从左向右、从上到下依次扫描整个图像信息，得到特征输出数据。网络前面的卷积层捕捉图像局部、细节信息，得到一个由每个像素对应一个输入的图像的输出图像的很小的范围，称为感受野；后面的卷积层感受野逐层加大，用于捕捉图像更复杂、更抽象的信息。经过多层的卷积运算，最后得到图像在各个不同尺度的抽象表示。
生成式对抗网络(Generative Adversarial Network，GAN)是一种生成式深度学习网络模型，近年来在计算机视觉领域应用效果良好。随着深度学习及移动设备的快速发展，将深度学习应用在图像处理、图像生成、图像风格迁移等领域有非常巨大的应用效果。GAN能生成目标数据集，以弥补训练数据不足的缺陷，因此对深度学习意义重大。
本发明基于WGAN网络模型、CycleGAN网络模型和CNN网络可实现任何复杂环境的不同车型的识别，具体方法如下：
如图1所示，本发明提供一种复杂环境下不同车型识别方法，所述复杂环境下不同车型识别方法包括如下步骤：
步骤101，采集不同环境下的不同车型的图像，得到真实训练样本，并根据采集的环境进行分类存储，得到多个真实训练样本集；
将在不同光照、不同角度、不同扬尘强度、不同降雨量等环境下采集的的真实训练样本按照光照、角度、污渍、降雨量等类别分类。
步骤102，构建WGAN网络模型和CycleGAN网络模型。
所述WGAN网络模型包括第一生成网络和第一判别网络，所述第一生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块，所述第一判别网络包括5个卷积块。
WGAN网络的原理为：
(1)训练第一代第一生成网络和第一代第一判别网络。从一个噪声分布从采样作为输入，输入第一代第一生成器网络，它能生成一些很差的图片。然后第一代第一判别网络可以将真实照片与生成的图片进行判断，判别器可以准确的判别出哪些是真实照片哪些是生成的图片。
(2)训练第二代生成网络和第二代判别网络。可以生成更好的图片，让第二代第一判别器很难判断哪些是真实照片，哪些是生成的照片。
(3)不断有第3代，第4代，。。。第n代。直到第n代判别网络几乎无法判断出照片是真实照片还是生成的图片时停止。此时的第n代生成器就是最好的生成照片的生成器，可用于照片生成。
所述CycleGAN网络模型包括第二生成网络、第三生成网络、第二判别网络、第三判别网络；所述第二生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块；所述第二判别网络包括5个卷积块；所述第三生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块；所述第三判别网络包括8个卷积块。
CycleGAN网络的原理为：
(1)不同类别光照环境的车型图像域为X和Y，生成器G的目标是G:X→Y，生成器F的目标是F:Y→X
(2)判别器DY判断由生成器G生成的图片与Y域中的真实图像之前的差异程度；判别器DX判断又生成器F生成的图片与X域中的真实图像之前的差异程度。
(3)不断有第3代，第4代，。。。第n代。直到第n代判别器几乎无法判断出照片是由生成器生成的还是原目标域中的图像时停止。此时的第n代生成器G就是最好的生成照片的生成器。
步骤103，分别利用所述WGAN网络模型根据每个真实训练样本集中的真实训练样本生成每种环境的多个生成训练样本，得到每种环境的第一生成训练样本集。
具体包括：采用第i种环境下获取的第i个真实训练样本集对WGAN网络模型进行训练，得到训练后的WGAN网络模型；其中，i＝1,2，…，N，N表示环境的种类的总数；将第i个真实训练样本集中的真实训练样本输入所述训练后的WGAN网络模型，生成多个生成训练样本，得到第i种环境的第一生成样本训练集。
WGAN网络模型的训练过程为：加载数据，数据归一化，数据重塑；构造沃瑟斯坦距离，作为判别网络的评判指标；从高斯分布中采样出噪声图片X作为生成网络G的输入，经过又全连接构成的网络训练，将生成器网络的输出作为判别网络D的一个输入，真实训练样本作为另一个输入，经过判别网络进行损失函数的计算，最后通过最小化损失函数的大小，得到深度卷积神经网络识别要求的图像。
本发明的WGAN网络模型的损失函数为：
Figure BDA0002167624770000081
其中，∏(Pr,Pg)是Pr和Pg组合起来的所有可能的联合分布的集合，即∏(Pr,Pg)中每一个分布的边缘分布都是Pr和Pg，对于每一个可能的联合分布γ而言，可以从中采样(x,y)～γ得到一个真实样本x和一个生成样本y，并算出这对样本之间的距离||x-y||，得到该联合分布γ下样本对距离的期望值E(Xx,y)～γ[||x-y||]，将所有可能的联合分布中能够对这个期望值取到的下界。
本发明在10000张车型照片上训练WGAN模型，采用深度学习训练框架Tensorflow,对图像进行初始化并训练；设置WGAN的学习率为0.0005，批量尺寸为128。生成器中每层网络的输出为：4*4,8*8,16*16,32*32,特征数量分别为512,256,128,32，判别器中每层网络的输出为512,256,128,32,特征数量分别为32,64,128,256,512。最后实验获得20000张车型照片数据。
步骤104，利用所述CycleGAN网络模型根据多个所述真实训练样本集中的真实训练样本生成不同环境复合的生成训练样本，得到不同环境复合的第二生成训练样本集。
具体包括：采用第i个真实训练样本集和第j个真实训练样本集对CycleGAN网络模型进行训练，得到训练后的CycleGAN网络模型；其中，其中，i＝1,2，…，N，N表示环境的种类的总数，j＝1,2，…，N，且j≠i；将第i个真实训练样本集和第j个真实训练样本集中的真实训练样本输入训练后的CycleGAN网络模型，生成多个生成训练样本，得到第i种环境与第j种环境复合的第二生成训练样本集。
采用第i种环境与第j种环境复合的第二生成训练样本集和第k个真实训练样本集对CycleGAN网络模型进行训练，得到训练后的CycleGAN网络模型；其中，k＝1,2，…，N，且k≠j≠i；将第i种环境与第j种环境复合的第二生成训练样本集中的生成训练样本和第k个真实训练样本集中的真实训练样本输入训练后的CycleGAN模型，生成多个生成训练样本，得到第i种环境、第j种环境和第k种环境复合的第二生成训练样本集。
还可以利用第i种环境、第j种环境和第k种环境复合的第二生成训练样本集与另外一种环境的真实训练样本集，生成更加复杂环境的第二生成训练样本集，与上述方法雷同，在此不再累赘。
其中，CycleGAN网络模型的训练过程为：加载数据，数据归一化，数据重塑；从高斯分布中采样出噪声图片X作为生成网络G的输入，经过由卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块构成的网络训练。输出生成不同环境照片。
将生成器网络G的输出作为判别网络DY的一个输入，一种环境的真实训练样本数据作为另一个输入，经过由5个卷积块构成的判别网络DY，输出相应最小化损失函数：
Figure BDA0002167624770000091
其中，x表示输入的的噪声数据，y表示一种环境的真实训练样本数据，z表示输入G网络的噪声，Pdata(y)表示真实训练样本数据的分布，Pdata(x)表示噪声数据分布，G(x)表示生成网络G生成数据，DY(·)表示判别网络DY函数。
再从统计分布中采用出噪声图片Y作为生成网络F的输入，经过由卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块构成的网络训练。输出生成不同环境照片。
将生成器网络F的输出F(y)作为判别网络DX的一个输入，另一种环境的真实训练样本的数据x作为另一个数据，经过由8个卷积块构成的判别网络DX，输出相应的最小化损失函数：
Figure BDA0002167624770000092
F(y)表示生成网络F生成数据，DX(·)表示判别网络DX函数。
通过将两部分最小化损失函数的相加，得：
Lcyc(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)
不断进行网络训练使得损失函数最小，得到深度卷积神经网络识别要求的图像。
初始化方法采用SGD参数优化器，学习率设置为0.0002，λ设置为10.0，betel设置为0.5，设置轮次为200，在每50步后保存训练模型与训练日志。
步骤105，利用所述真实训练样本集、所述第一生成训练样本集和所述第二生成训练样本集对CNN网络模型进行训练，得到训练后的CNN网络模型。
步骤106，将待识别车型图像输入所述训练后的CNN网络模型进行复杂环境下不同车型识别。
本发明中，还可将识别完成的车型存储至真实训练样本集，进行样本集的扩充。
如图2所示，本发明还提供一种复杂环境下不同车型识别系统，所述复杂环境下不同车型识别系统包括：
真实训练样本采集模块201，用于采集不同环境下的不同车型的图像，得到真实训练样本，并根据采集的环境进行分类存储，得到多个真实训练样本集。
网络模型构建模块202，构建WGAN网络模型和CycleGAN网络模型。
所述WGAN网络模型包括第一生成网络和第一判别网络，所述第一生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块，所述第一判别网络包括5个卷积块。
所述CycleGAN网络模型包括第二生成网络、第三生成网络、第二判别网络、第三判别网络；所述第二生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块；所述第二判别网络包括5个卷积块；所述第三生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块；所述第三判别网络包括8个卷积块。
第一生成训练样本集生成模块203，用于分别利用所述WGAN网络模型根据每个真实训练样本集中的真实训练样本生成每种环境的多个生成训练样本，得到每种环境的第一生成训练样本集。
所述第一生成训练样本集生成模块203，具体包括：WGAN网络模型训练子模块，用于采用第i种环境下获取的第i个真实训练样本集对WGAN网络模型进行训练，得到训练后的WGAN网络模型；其中，i＝1,2，…，N，N表示环境的种类的总数；第一生成训练样本集生成子模块，用于将第i个真实训练样本集中的真实训练样本输入所述训练后的WGAN网络模型，生成多个生成训练样本，得到第i种环境的第一生成样本训练集。
第二生成训练样本集生成模块204，利用所述CycleGAN网络模型根据多个所述真实训练样本集中的真实训练样本生成不同环境复合的生成训练样本，得到不同环境复合的第二生成训练样本集。
CNN网络模型训练模块205，用于利用所述真实训练样本集、所述第一生成训练样本集和所述第二生成训练样本集对CNN网络模型进行训练，得到训练后的CNN网络模型。
复杂环境下不同车型识别模块206，用于将待识别车型图像输入所述训练后的CNN网络模型进行复杂环境下不同车型识别。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供一种复杂环境下不同车型识别方法，所述复杂环境下不同车型识别方法包括如下步骤：
采集不同环境下的真实训练样本，并根据采集的环境进行分类存储，得到多个真实训练样本集；然后，构建WGAN网络模型和CycleGAN网络模型；利用WGAN网络模型生成每种环境下的第一生成训练样本集，利用CycleGAN网络模型生成不同环境复合的第二生成训练样本集；然后利用所述真实训练样本集、所述第一生成训练样本集和所述第二生成训练样本集对CNN网络模型进行训练，并将待识别车型图像输入训练后的CNN网络模型进行复杂环境下不同车型识别。本发明利用WGAN网络模型生成每种环境下的第一生成训练样本集，利用CycleGAN网络模型生成不同环境复合的第二生成训练样本集，在增加了训练样本的数量，以达到卷积神经网络训练所需的数据量的同时，可生成各种环境复合的各种复杂环境下的训练样本，采用该训练样本对卷积神经网络进行训练，以实现复杂环境下的不同车型的识别，并提高复杂环境下的不同车型识别准确率。
本发明所述的复杂环境包括施工现场、抢险救灾现场、复杂交通路况环境等，但是本发明的实施不限于施工现场、抢险救灾现场、复杂交通路况环境，在其它本发明未提及的环境下也可以实现不同车型的识别。而且本发明的识别方法及系统不仅可以应用于复杂环境下不同车型的识别，也可以应用于其他的场合，仅需采用对应场合的训练集进行训练，在此不再累赘。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (6)

1.一种复杂环境下不同车型识别方法，其特征在于，所述复杂环境下不同车型识别方法包括如下步骤：
采集不同环境下的不同车型的图像，得到真实训练样本，并根据采集的环境进行分类存储，得到多个真实训练样本集；
构建WGAN网络模型和CycleGAN网络模型；
分别利用所述WGAN网络模型根据每个真实训练样本集中的真实训练样本生成每种环境的多个生成训练样本，得到每种环境的第一生成训练样本集；
所述分别利用所述WGAN网络模型根据每个真实训练样本集中的真实训练样本生成每种环境的多个生成训练样本，得到每种环境的第一生成训练样本集，具体包括：采用第i种环境下获取的第i个真实训练样本集对WGAN网络模型进行训练，得到训练后的WGAN网络模型；其中，i＝1,2，…，N，N表示环境的种类的总数；将第i个真实训练样本集中的真实训练样本输入所述训练后的WGAN网络模型，生成多个生成训练样本，得到第i种环境的第一生成样本训练集；
利用所述CycleGAN网络模型根据多个所述真实训练样本集中的真实训练样本生成不同环境复合的生成训练样本，得到不同环境复合的第二生成训练样本集；
所述利用所述CycleGAN网络模型根据多个所述真实训练样本集中的真实训练样本生成不同环境复合的生成训练样本，得到不同环境复合的第二生成训练样本集，具体包括：采用第i个真实训练样本集和第j个真实训练样本集对CycleGAN网络模型进行训练，得到训练后的CycleGAN网络模型；其中，其中，i＝1,2，…，N，N表示环境的种类的总数，j＝1,2，…，N，且j≠i；将第i个真实训练样本集和第j个真实训练样本集中的真实训练样本输入训练后的CycleGAN网络模型，生成多个生成训练样本，得到第i种环境与第j种环境复合的第二生成训练样本集；采用第i种环境与第j种环境复合的第二生成训练样本集和第k个真实训练样本集对CycleGAN网络模型进行训练，得到训练后的CycleGAN网络模型；其中，k＝1,2，…，N，且k≠j≠i；将第i种环境与第j种环境复合的第二生成训练样本集中的生成训练样本和第k个真实训练样本集中的真实训练样本输入训练后的CycleGAN模型，生成多个生成训练样本，得到第i种环境、第j种环境和第k种环境复合的第二生成训练样本集；
利用所述真实训练样本集、所述第一生成训练样本集和所述第二生成训练样本集对CNN网络模型进行训练，得到训练后的CNN网络模型；
将待识别车型图像输入所述训练后的CNN网络模型进行复杂环境下不同车型识别。
2.根据权利要求1所述的复杂环境下不同车型识别方法，其特征在于，所述WGAN网络模型包括第一生成网络和第一判别网络，所述第一生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块，所述第一判别网络包括5个卷积块。
3.根据权利要求1所述的复杂环境下不同车型识别方法，其特征在于，所述CycleGAN网络模型包括第二生成网络、第三生成网络、第二判别网络、第三判别网络；
所述第二生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块；
所述第二判别网络包括5个卷积块；
所述第三生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块；
所述第三判别网络包括8个卷积块。
4.一种复杂环境下不同车型识别系统，其特征在于，所述复杂环境下不同车型识别系统包括：
真实训练样本采集模块，用于采集不同环境下的不同车型的图像，得到真实训练样本，并根据采集的环境进行分类存储，得到多个真实训练样本集；
网络模型构建模块，构建WGAN网络模型和CycleGAN网络模型；
第一生成训练样本集生成模块，用于分别利用所述WGAN网络模型根据每个真实训练样本集中的真实训练样本生成每种环境的多个生成训练样本，得到每种环境的第一生成训练样本集；
所述第一生成训练样本集生成模块，具体包括：
WGAN网络模型训练子模块，用于采用第i种环境下获取的第i个真实训练样本集对WGAN网络模型进行训练，得到训练后的WGAN网络模型；其中，i＝1,2，…，N，N表示环境的种类的总数；
第一生成训练样本集生成子模块，用于将第i个真实训练样本集中的真实训练样本输入所述训练后的WGAN网络模型，生成多个生成训练样本，得到第i种环境的第一生成样本训练集；
第二生成训练样本集生成模块，利用所述CycleGAN网络模型根据多个所述真实训练样本集中的真实训练样本生成不同环境复合的生成训练样本，得到不同环境复合的第二生成训练样本集；
所述利用所述CycleGAN网络模型根据多个所述真实训练样本集中的真实训练样本生成不同环境复合的生成训练样本，得到不同环境复合的第二生成训练样本集，具体包括：采用第i个真实训练样本集和第j个真实训练样本集对CycleGAN网络模型进行训练，得到训练后的CycleGAN网络模型；其中，其中，i＝1,2，…，N，N表示环境的种类的总数，j＝1,2，…，N，且j≠i；将第i个真实训练样本集和第j个真实训练样本集中的真实训练样本输入训练后的CycleGAN网络模型，生成多个生成训练样本，得到第i种环境与第j种环境复合的第二生成训练样本集；采用第i种环境与第j种环境复合的第二生成训练样本集和第k个真实训练样本集对CycleGAN网络模型进行训练，得到训练后的CycleGAN网络模型；其中，k＝1,2，…，N，且k≠j≠i；将第i种环境与第j种环境复合的第二生成训练样本集中的生成训练样本和第k个真实训练样本集中的真实训练样本输入训练后的CycleGAN模型，生成多个生成训练样本，得到第i种环境、第j种环境和第k种环境复合的第二生成训练样本集；
CNN网络模型训练模块，用于利用所述真实训练样本集、所述第一生成训练样本集和所述第二生成训练样本集对CNN网络模型进行训练，得到训练后的CNN网络模型；
复杂环境下不同车型识别模块，用于将待识别车型图像输入所述训练后的CNN网络模型进行复杂环境下不同车型识别。
5.根据权利要求4所述的复杂环境下不同车型识别系统，其特征在于，所述WGAN网络模型包括第一生成网络和第一判别网络，所述第一生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块，所述第一判别网络包括5个卷积块。
6.根据权利要求4所述的复杂环境下不同车型识别系统，其特征在于，所述CycleGAN网络模型包括第二生成网络、第三生成网络、第二判别网络、第三判别网络；
所述第二生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块；
所述第二判别网络包括5个卷积块；
所述第三生成网络包括卷积层，空洞卷积层，批归一化层，平均池化层，lrelu激活层，relu激活层和残差块；
所述第三判别网络包括8个卷积块。
CN201910752440.5A 2019-08-15 2019-08-15 一种复杂环境下不同车型识别方法及系统 Active CN110458120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910752440.5A CN110458120B (zh) 2019-08-15 2019-08-15 一种复杂环境下不同车型识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910752440.5A CN110458120B (zh) 2019-08-15 2019-08-15 一种复杂环境下不同车型识别方法及系统

Publications (2)

Publication Number Publication Date
CN110458120A CN110458120A (zh) 2019-11-15
CN110458120B true CN110458120B (zh) 2022-01-04

Family

ID=68486792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910752440.5A Active CN110458120B (zh) 2019-08-15 2019-08-15 一种复杂环境下不同车型识别方法及系统

Country Status (1)

Country Link
CN (1) CN110458120B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639518A (zh) * 2020-03-06 2020-09-08 上海卓繁信息技术股份有限公司 一种满意度测评方法，装置及存储设备
CN112508080B (zh) * 2020-12-03 2024-01-12 广州大学 基于经验回放的车辆型号识别方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308681A (zh) * 2018-09-29 2019-02-05 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109902615A (zh) * 2019-02-25 2019-06-18 中国计量大学 一种基于对抗网络的多个年龄段图像生成方法
CN109934282A (zh) * 2019-03-08 2019-06-25 哈尔滨工程大学 一种基于sagan样本扩充和辅助信息的sar目标分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI428850B (zh) * 2006-06-08 2014-03-01 Via Tech Inc 解碼方法
CN112686364B (zh) * 2019-10-18 2023-12-08 华为技术有限公司 一种神经网络计算芯片及计算方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308681A (zh) * 2018-09-29 2019-02-05 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109902615A (zh) * 2019-02-25 2019-06-18 中国计量大学 一种基于对抗网络的多个年龄段图像生成方法
CN109934282A (zh) * 2019-03-08 2019-06-25 哈尔滨工程大学 一种基于sagan样本扩充和辅助信息的sar目标分类方法

Also Published As

Publication number Publication date
CN110458120A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN108765506B (zh) 基于逐层网络二值化的压缩方法
CN113052211B (zh) 一种基于特征的秩和通道重要性的剪枝方法
CN110929577A (zh) 一种基于YOLOv3的轻量级框架改进的目标识别方法
CN105574550A (zh) 一种车辆识别方法及装置
CN105654066A (zh) 一种车辆识别方法及装置
CN113191374B (zh) 基于金字塔注意力网络的PolSAR图像山脊线提取方法
CN113011357A (zh) 基于时空融合的深度伪造人脸视频定位方法
CN110458120B (zh) 一种复杂环境下不同车型识别方法及系统
CN111524117A (zh) 一种基于特征金字塔网络的隧道表面缺陷检测方法
CN112861785B (zh) 一种基于实例分割和图像修复的带遮挡行人重识别方法
CN113723377A (zh) 一种基于ld-ssd网络的交通标志检测方法
CN112364754A (zh) 螺栓缺陷检测方法及系统
CN108615401B (zh) 基于深度学习的室内非均匀光线车位状况识别方法
CN109345559B (zh) 基于样本扩充和深度分类网络的运动目标跟踪方法
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
CN111612759B (zh) 一种基于深度卷积生成式对抗网络的印刷品缺陷识别方法
CN113762396A (zh) 一种二维图像语义分割方法
CN105893941A (zh) 一种基于区域图像的人脸表情识别方法
CN111325724B (zh) 隧道裂纹区域检测方法和装置
CN112861840A (zh) 基于多特征融合卷积网络的复杂场景字符识别方法及系统
CN117372853A (zh) 一种基于图像增强和注意力机制的水下目标检测算法
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
CN111199050B (zh) 一种用于对病历进行自动脱敏的系统及应用
CN115861956A (zh) 一种基于解耦头部的Yolov3道路垃圾检测方法
CN115147432A (zh) 一种基于深度残差语义分割网络的初至拾取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Lei Tianjie

Inventor after: Song Hongquan

Inventor after: Lv Juan

Inventor after: Huang Jintao

Inventor after: Yue Jianwei

Inventor after: Zhou Lei

Inventor after: Shen Li

Inventor after: Chen Qiang

Inventor before: Lei Tianjie

Inventor before: Song Hongquan

Inventor before: Zhang Ju

Inventor before: Shen Li

Inventor before: Gong Adu

Inventor before: Yue Jianwei

Inventor before: Wang Yang

Inventor before: Li Aili

Inventor before: Yang Huichen

Inventor before: Song Wenlong

Inventor before: Wan Jinhong

Inventor before: Huang Jintao

Inventor before: Liu Zhongwei

Inventor before: Zhou Lei

Inventor before: Chen Qiang

Inventor before: Lou Hezhen

Inventor before: Cheng Ziyi

Inventor before: Lu Jingxuan

Inventor before: Li Yang

Inventor before: Cheng Hui

Inventor before: Li Xiangyu

Inventor before: Chen Wenjin

Inventor before: Lv Juan

Inventor before: Li Mingyu

Inventor before: Zhao Linhong

Inventor before: Shi Wanli

Inventor before: Xu Ruirui

Inventor before: Zhang Pengpeng

Inventor before: Jia Jinsheng

Inventor before: Zheng Cuiying

Inventor before: Wang Jiabao

Inventor before: Zhang Yazhen

Inventor before: Li Shuguang

Inventor before: Li Shican

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant