CN109359666A - 一种基于多特征融合神经网络的车型识别方法及处理终端 - Google Patents

一种基于多特征融合神经网络的车型识别方法及处理终端 Download PDF

Info

Publication number
CN109359666A
CN109359666A CN201811040891.8A CN201811040891A CN109359666A CN 109359666 A CN109359666 A CN 109359666A CN 201811040891 A CN201811040891 A CN 201811040891A CN 109359666 A CN109359666 A CN 109359666A
Authority
CN
China
Prior art keywords
network
convolutional layer
sub
neural network
convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811040891.8A
Other languages
English (en)
Other versions
CN109359666B (zh
Inventor
张少文
吴志伟
丁保剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PCI Suntek Technology Co Ltd
Original Assignee
PCI Suntek Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PCI Suntek Technology Co Ltd filed Critical PCI Suntek Technology Co Ltd
Priority to CN201811040891.8A priority Critical patent/CN109359666B/zh
Publication of CN109359666A publication Critical patent/CN109359666A/zh
Application granted granted Critical
Publication of CN109359666B publication Critical patent/CN109359666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多特征融合神经网络的车型识别方法及处理终端,所述方法包括如下步骤:步骤1:对预设的神经网络采用训练算法进行训练,获得神经网络的参数,从而确定训练后的神经网络;步骤2:获取包括车辆车型特征的原始图像,对原始图像进行预处理,得到与预设像素尺寸一致的第一图像,并对原始图像采用目标检测算法提取局部特征,得到包括局部特征的第二图像;步骤3:将第一图像作为网络数据层data、第二图像作为网络感兴趣区域层rois输入至所述经过训练后的神经网络进行特征提取,获得融合特征,并利用分类算法对融合特征进行分类,得到车型的分类结果和对应车型的概率。本发明能有效地解决相似车型识别的问题,提高车型识别的准确率。

Description

一种基于多特征融合神经网络的车型识别方法及处理终端
技术领域
本发明涉及车型识别技术领域,具体是一种基于多特征融合神经网络的车型识别方法及处理终端。
背景技术
在安防、交通等领域来说,虽然车牌识别技术变得越来越成熟,但由于套牌车、车牌模糊等原因,有时仍无法准确识别到车牌号码,给相关工作带来麻烦,尤其是对公安而言,更是如此,在车牌无法识别的情况下,借助于车型来识别也是目前已知常用的技术手段。车型识别是一个粗粒度和细粒度混合的识别问题,如不同品牌车辆的车型特征差异很大,同品牌同车系的车型特征差异很小,而现有技术中的车型识别技术,由于市面上常见的车型有几千种之多,且样本分布极不平衡,对相似车型识别容易出错,识别率还需要进一步提高。
发明内容
针对现有技术的不足,本发明的目的之一提供一种基于多特征融合神经网络的车型识别方法,其能够解决车型识别的问题,特别是相似车型的识别问题;
本发明的目的之二提供一种处理终端,其能够解车型识别的问题,特别是相似车型的识别问题。
实现本发明的目的之一的技术方案为:一种基于多特征融合神经网络的车型识别方法,包括如下步骤:
步骤1:对预设的神经网络采用训练算法进行训练,获得神经网络的参数,从而确定训练后的神经网络;
步骤2:获取包括车辆车型特征的原始图像,对原始图像进行预处理,得到与预设像素尺寸一致的第一图像,并对原始图像采用目标检测算法提取局部特征,得到包括局部特征的第二图像;
步骤3:将第一图像作为网络数据层data、第二图像作为网络感兴趣区域层rois输入至所述经过训练后的神经网络进行特征提取,获得融合特征,并利用分类算法对融合特征进行分类,得到车型的分类结果和对应车型的概率。
进一步地,所述神经网络包括子网络1、子网络2、子网络3和融合网络,所述子网络1采用大卷积核,用于提取车型的整体特征,所述子网络2采用小卷积核,用于提取车型的细节特征,所述子网络3用于提取车辆车型图像的局部特征,融合网络通过所述子网络1、子网络2和子网络3融合得到;
所述子网络1包括五个卷积层,分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层,第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层为依次连接,网络数据层data后接子网络1的第一卷积层;
所述子网络2包括五个卷积层,分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层,第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层为依次连接,网络数据层data后接子网络2的第一卷积层;
所述子网络3包括依次连接的区域特征映射层、第一全连接层和第二全连接层,网络感兴趣区域层rois后接区域特征映射层;
所述融合网络包括三个卷积层、两个全连接层和特征连接层,三个卷积层包括依次连接的第一卷积层、第二卷积层和第三卷积层,两个全连接层包括依次连接的第一全连接层和第二全连接层,第三卷积层后接第一全连接层和区域特征映射层,第二全连接层和子网络3的第二全连接层均后接特征连接层;
将子网络1的第一卷积层和子网络2的第三卷积层按位相加,再依次接一个k=3、s=2、p=1和n=256组成的卷积层和ReLU激活函数,得到融合网络的第一卷积层,其中,k表示卷积核尺寸,s表示卷积核滑动步长,p表示扩展尺寸,n表示卷积核个数;
将子网络1的第二卷积层、子网络2的第四卷积层和融合网络的第一卷积层按位相加,再依次接一个k=3、s=2、p=1和n=512组成的卷积层和ReLU激活函数,得到融合网络的第二卷积层;
将子网络1的第五卷积层、子网络2的第五卷积层和融合网络的第二卷积层按位相加,再依次接一个k=3、s=2、p=1和n=512组成的卷积层和ReLU激活函数,得到融合网络的第三卷积层。
进一步地,所述子网络1的第一卷积层由k=11、s=4、p=5和n=128组成,第二卷积层由k=7、s=2、p=3和n=256组成,第三卷积层由k=5、s=2、p=2和n=256组成,第四卷积层由k=3、s=1、p=1和n=512组成,第五卷积层由k=3、s=1、p=1和n=512组成。
进一步地,所述子网络1的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层后分别连接ReLU激活函数。
进一步地,所述子网络2的第一卷积层由k=3、s=1、p=1和n=64组成,第二卷积层由k=3、s=1、p=1和n=64组成,第三卷积层由k=3、s=1、p=1和n=128组成,第四卷积层由k=3、s=1、p=1和n=256组成,第五卷积层由k=3、s=1、p=1和n=512组成。
进一步地,所述子网络2的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层后分别连接ReLU激活函数和stride=2的池化层,其中,stride表示滑动步长。
进一步地,所述子网络3的第一全连接层和第二全连接层的长度均为1024。
进一步地,所述融合网络的第一全连接层和第二全连接层的长度均为1024,特征连接层的长度为2048。
进一步地,所述对神经网络进行训练,包括分别对子网络1进行训练、对子网络2进行训练、对子网络3和融合网络进行训练,从而分别得到子网络1至少包括权重和偏置项的参数、子网络2至少包括权重和偏置项的参数、子网络3至少包括权重和偏置项的参数、融合网络至少包括权重和偏置项的参数,具体过程为:
子网络1的训练,将子网络1的第五卷积层依次后接两层长度为1024的全连接层,连接完两层全连接层后,再接softmax loss损失函数,并采用SGD算法对子网络1进行训练,并对初始学习率设为0.1,按固定迭代次数下调学习率,通过SGD算法对子网络1的训练,获得至少包括权重和偏置项的参数,从而确定了子网络1的参数;
采用与对子网络1训练相同方法分别对子网络2、子网络3和融合网络进行训练,得到子网络2、子网络3和融合网络的至少包括权重和偏置项的参数。
进一步地,所述训练算法为SGD、BGD、MBGD、AdaDelta、Adam和RMSProp中的任意一种。
进一步地,所述分类算法为softmax函数、SVM、随机森林和kNN中的任意一种。
进一步地,所述目标检测算法为faster rcnn或ssd算法。
实现本发明的目的之二的技术方案为:一种处理终端,其包括,
存储器,用于存储程序指令;
处理器,用于运行所述程序指令,以执行如下步骤:
步骤1:对预设的神经网络采用训练算法进行训练,获得神经网络的参数,从而确定训练后的神经网络;
步骤2:获取包括车辆车型特征的原始图像,对原始图像进行预处理,得到与预设像素尺寸一致的第一图像,并对原始图像采用目标检测算法提取局部特征,得到包括局部特征的第二图像;
步骤3:将第一图像作为网络数据层data、第二图像作为网络感兴趣区域层rois输入至所述经过训练后的神经网络进行特征提取,获得融合特征,并利用分类算法对融合特征进行分类,得到车型的分类结果和对应车型的概率。
进一步地,所述神经网络包括子网络1、子网络2、子网络3和融合网络,所述子网络1采用大卷积核,用于提取车型的整体特征,所述子网络2采用小卷积核,用于提取车型的细节特征,所述子网络3用于提取车辆车型图像的局部特征,融合网络通过所述子网络1、子网络2和子网络3融合得到;
所述子网络1包括五个卷积层,分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层,第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层为依次连接,网络数据层data后接子网络1的第一卷积层;
所述子网络2包括五个卷积层,分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层,第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层为依次连接,网络数据层data后接子网络2的第一卷积层;
所述子网络3包括依次连接的区域特征映射层、第一全连接层和第二全连接层,网络感兴趣区域层rois后接区域特征映射层;
所述融合网络包括三个卷积层、两个全连接层和特征连接层,三个卷积层包括依次连接的第一卷积层、第二卷积层和第三卷积层,两个全连接层包括依次连接的第一全连接层和第二全连接层,第三卷积层后接第一全连接层和区域特征映射层,第二全连接层和子网络3的第二全连接层均后接特征连接层;
将子网络1的第一卷积层和子网络2的第三卷积层按位相加,再依次接一个k=3、s=2、p=1和n=256组成的卷积层和ReLU激活函数,得到融合网络的第一卷积层,其中,k表示卷积核尺寸,s表示卷积核滑动步长,p表示扩展尺寸,n表示卷积核个数;
将子网络1的第二卷积层、子网络2的第四卷积层和融合网络的第一卷积层按位相加,再依次接一个k=3、s=2、p=1和n=512组成的卷积层和ReLU激活函数,得到融合网络的第二卷积层;
将子网络1的第五卷积层、子网络2的第五卷积层和融合网络的第二卷积层按位相加,再依次接一个k=3、s=2、p=1和n=512组成的卷积层和ReLU激活函数,得到融合网络的第三卷积层。
进一步地,所述子网络1的第一卷积层由k=11、s=4、p=5和n=128组成,第二卷积层由k=7、s=2、p=3和n=256组成,第三卷积层由k=5、s=2、p=2和n=256组成,第四卷积层由k=3、s=1、p=1和n=512组成,第五卷积层由k=3、s=1、p=1和n=512组成。
进一步地,所述子网络1的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层后分别连接ReLU激活函数。
进一步地,所述子网络2的第一卷积层由k=3、s=1、p=1和n=64组成,第二卷积层由k=3、s=1、p=1和n=64组成,第三卷积层由k=3、s=1、p=1和n=128组成,第四卷积层由k=3、s=1、p=1和n=256组成,第五卷积层由k=3、s=1、p=1和n=512组成。
进一步地,所述子网络2的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层后分别连接ReLU激活函数和stride=2的池化层,其中,stride表示滑动步长。
进一步地,所述子网络3的第一全连接层和第二全连接层的长度均为1024。
进一步地,所述融合网络的第一全连接层和第二全连接层的长度均为1024,特征连接层的长度为2048。
进一步地,所述对神经网络进行训练,包括分别对子网络1进行训练、对子网络2进行训练、对子网络3和融合网络进行训练,从而分别得到子网络1至少包括权重和偏置项的参数、子网络2至少包括权重和偏置项的参数、子网络3至少包括权重和偏置项的参数、融合网络至少包括权重和偏置项的参数,具体过程为:
子网络1的训练,将子网络1的第五卷积层依次后接两层长度为1024的全连接层,连接完两层全连接层后,再接softmax loss损失函数,并采用SGD算法对子网络1进行训练,并对初始学习率设为0.1,按固定迭代次数下调学习率,通过SGD算法对子网络1的训练,获得至少包括权重和偏置项的参数,从而确定了子网络1的参数;
采用与对子网络1训练相同方法分别对子网络2、子网络3和融合网络进行训练,得到子网络2、子网络3和融合网络的至少包括权重和偏置项的参数。
进一步地,所述训练算法为SGD、BGD、MBGD、AdaDelta、Adam和RMSProp中的任意一种。
进一步地,所述分类算法为softmax函数、SVM、随机森林和kNN中的任意一种。
进一步地,所述目标检测算法为faster rcnn或ssd算法。
本发明的有益效果为:本发明有效地解决相似车型识别的问题,提高车型识别的准确率。
附图说明
图1本发明的神经网络的结构示意图;
图2为本发明的较佳实施例的流程图;
图3本发明一种处理终端的结构示意图;
图中,“+”表示按位相加,Neti_convj表示子网络i的第j卷积层,比如Net1_conv1表示子网络1的第一卷积层,Convi表示融合网络的第i卷积层,比如conv1表示融合网络的第一卷积层,Neti_fcj表示子网络i的第j全连接层,比如Net3_fc1表示子网络3的第一全连接层,Net3_roipooling表示区域特征映射层,fcj表示融合网络的第j全连接层,比如fc1表示融合网络的第一全连接层,fc_concat表示特征连接层,data表示网络数据层,rois表示网络感兴趣区域层。
具体实施方式
下面,结合附图以及具体实施方式,对本发明做进一步描述:
如图1和2所示,一种基于多特征融合神经网络的车型识别方法,包括如下步骤:
步骤1:对预设的神经网络采用SGD(Stochastic Gradient Descent,随机梯度下降)算法进行训练,,获得该神经网络的参数,该参数可以是权重、偏置项等参数中的一项或多项,优选的参数包含权重和偏置项,从而确定训练后的神经网络,SGD算法是神经网络的一种训练算法,具有收敛速度快、效果好的特点,此处也可用BGD(批量梯度下降,BatchGradient Descent)、MBGD(小批量梯度下降,Mini-batch Gradient Descent)、AdaDelta(自适应学习率调整,An adaptive learning rate method)、Adam(自适应矩估计,adaptive moment estimation)、RMSProp(均方根反向传播,root mean square prop)等其他神经网络训练算法进行替代;
步骤2:获取包括车辆车型特征的原始图像,并对原始图像进行预处理,得到与预设像素尺寸一致的第一图像,第一图像为一张或多张,预设像素尺寸的大小可以根据实际情况进行灵活调整,另外,对原始图像采用包括faster rcnn(region basedconvolutional neural networks,基于区域信息的卷积神经网络)或ssd(single shotmultibox detector)算法等在内现有的目标检测算法,检测局部区域,从而提取局部特征,包括车灯、进气栅检测器等局部特征,得到包括局部特征的第二图像;
步骤3:将第一图像作为网络数据层(data)、第二图像作为网络感兴趣区域层(rois)输入至所述经过训练后的神经网络进行特征提取,获得融合特征,并利用softmax函数(也称为归一化指数函数)对融合特征进行分类,得到车型的分类结果和对应车型的概率,softmax函数具有计算速度快、可以端到端进行训练、分类任务效果好等特点,此处也可用SVM(Support Vector Machine,支持向量机)、随机森林(random forest)、kNN(k-NearestNeighbor,K最近邻)等其他分类算法进行替代。
所述神经网络包括子网络1、子网络2、子网络3和融合网络,子网络1采用大卷积核,用于提取车型的整体特征,子网络1包括五个卷积层,分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层,第一卷积层由k=11、s=4、p=5和n=128组成,第二卷积层由k=7、s=2、p=3和n=256组成,第三卷积层由k=5、s=2、p=2和n=256组成,第四卷积层由k=3、s=1、p=1和n=512组成,第五卷积层由k=3、s=1、p=1和n=512组成,其中,k表示卷积核尺寸,s表示卷积核滑动步长,p表示扩展尺寸,n表示卷积核个数,其中k=3即表示3×3(长×宽);第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层为依次连接,五个卷积层的每个卷积层后均连接修正线性单元,即ReLU(RectifiedLinear Units)激活函数。五个卷积层按连接顺序,总体保持卷积核尺寸逐步减小、卷积核个数逐步增加、扩展尺寸逐步减小的关系,使得子网络1始终能够保持较大的感受野,能更有效地提取到车型的整体特征。
所述子网络2采用小卷积核,用于提取车型的细节特征,子网络2包括五个卷积层,第一卷积层由k=3、s=1、p=1和n=64组成,第二卷积层由k=3、s=1、p=1和n=64组成,第三卷积层由k=3、s=1、p=1和n=128组成,第四卷积层由k=3、s=1、p=1和n=256组成,第五卷积层由k=3、s=1、p=1和n=512组成;第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层为依次连接,五个卷积层的每个卷积层后均依次连接ReLU激活函数和stride=2的池化层,stride表示滑动步长,子网络2的所有卷积层均采用卷积核大小为3×3、步长为1的小卷积核,小卷积核以最小的步长,能最大程度地提取细节特征。
本实施例中的大卷积核和小卷积核是相对于比较而言,并无具体限定卷积核的大小。
所述融合网络包括三个卷积层、两个全连接层和特征连接层,三个卷积层包括依次连接的第一卷积层、第二卷积层和第三卷积层,两个全连接层包括依次连接的第一全连接层和第二全连接层,第三卷积层后接第一全连接层和子网络3的区域特征映射层,第二全连接层和子网络3的第二全连接层均后接特征连接层,在本实施例中,第一全连接层和第二全连接层的长度均为1024;
将子网络1的第一卷积层和子网络2的第三卷积层按位相加,再依次接一个k=3、s=2、p=1和n=256组成的卷积层和ReLU激活函数,得到融合网络的第一卷积层;
将子网络1的第二卷积层、子网络2的第四卷积层和融合网络的第一卷积层按位相加,再依次接一个k=3、s=2、p=1和n=512组成的卷积层和ReLU激活函数,得到融合网络的第二卷积层;
将子网络1的第五卷积层、子网络2的第五卷积层和融合网络的第二卷积层按位相加,再依次接一个k=3、s=2、p=1和n512组成的卷积层和ReLU激活函数,得到融合网络的第三卷积层。
所述子网络3包括依次连接的区域特征映射层、第一全连接层和第二全连接层,网络感兴趣区域层rois后接区域特征映射层,用于提取车辆车型图像的局部特征,在本实施例中,第一全连接层和第二全连接层的长度均为1024;
融合网络的第三卷积层连接融合网络的第一全连接层,融合网络的第二全连接层和子网络3的第二全连接层均连接到特征连接层,从而得到一个融合子网络1、子网络2、子网络3和融合网络的整体网络,即得到本发明的神经网络,且整体网络的长度为2048,以及融合了整体特征、局部特征和细节特征的融合特征。
本实施例中,全部特征是指能够刻画车型的整体性的特征,局部特征是指能够区分车型信息的某个区域的局部性特征,比如车灯、进气删检测器等,细节特征是车型的某个区域的局部中更为细小的特征,比如车辆的边缘、轮廓等,融合特征是指包括了整体特征、局部特征和细节特征的融合后的特征。
所述对原始图像进行预处理的过程包括:将原始图像统一缩放到像素尺寸为256x256的标准尺寸,该标准尺寸即为预设像素尺寸,当然在实际应用时,可以根据不同情况进行调整预设像素尺寸的大小,然后按标准尺寸图像的中心进行切割,切割到224x224的尺寸大小,并减去均值,这里的均值是指所有原始图像像素尺寸的平均值,从而得到第一图像。第一图像作为网络数据层分别输入至子网络1的第一卷积层和子网络2的第一卷积层。
所述对神经网络进行训练,包括分别对子网络1进行训练、对子网络2进行训练、对子网络3和融合网络进行训练,从而分别得到子网络1至少包括权重和偏置项的参数、子网络2至少包括权重和偏置项的参数、子网络3至少包括权重和偏置项的参数、融合网络至少包括权重和偏置项的参数,具体过程为:
子网络1的训练,将子网络1的第五卷积层依次后接两层长度为1024的全连接层,连接完两层全连接层后,再接softmax loss损失函数,并采用SGD算法对子网络1进行训练,初始学习率设为0.1,按固定迭代次数下调学习率,比如固定迭代次数设为10000次,学习率下调10倍,从而0-10000次,学习率为0.1,10000-20000次,学习率为0.01,依此类推;通过SGD算法对子网络1的训练,获得至少包括权重和偏置项的参数,也即确定了子网络1的各项参数后,子网络2、子网络3、融合网络的训练过程与子网络1的类似,就不赘述了。
在确定了子网络1、子网络2和子网络3的包括权重和偏置项等的各项参数后,将第一图像作为网络数据层分别输入至子网络1的第一卷积层和子网络2的第一卷积层,第二图像作为网络感兴趣区域层ro i s通过区域特征映射层输入至子网络3的第一全连接层,子网络1获得车辆车型图像的整体特征,子网络2获得车辆车型图像的细节特征,子网络3获得车辆车型图像的局部特征,再经过融合网络后,获得包括整体特征、局部特征和细节特征的融合特征,并利用softmax函数对融合特征进行分类,得到车型的分类结果和对应车型的概率。
所述子网络3获得车辆车型图像的局部特征,包括如下过程:
首先,融合网络的第三卷积层采用区域特征映射的方式提取出局部卷积特征,并池化到7×7的固定像素尺寸,然后,依次连接子网络3的第一全连接层和第二全连接层,提取出长度为1024的局部特征。
通过本实施例提供的方法,可以有效地解决相似车型识别的问题,提高车型识别的准确率。
如图3所示,本发明还涉及一种实现以上方法的实体装置的处理终端100,其包括,
存储器101,用于存储程序指令;
处理器102,用于运行所述程序指令,以执行基于多特征融合神经网络的车型识别方法的步骤,具体步骤与前面所描述的基于多特征融合神经网络的车型识别方法相同,在此不再进行赘述。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。

Claims (13)

1.一种基于多特征融合神经网络的车型识别方法,其特征在于:包括如下步骤:
步骤1:对预设的神经网络采用训练算法进行训练,获得神经网络的参数,从而确定训练后的神经网络;
步骤2:获取包括车辆车型特征的原始图像,对原始图像进行预处理,得到与预设像素尺寸一致的第一图像,并对原始图像采用目标检测算法提取局部特征,得到包括局部特征的第二图像;
步骤3:将第一图像作为网络数据层data、第二图像作为网络感兴趣区域层rois输入至所述经过训练后的神经网络进行特征提取,获得融合特征,并利用分类算法对融合特征进行分类,得到车型的分类结果和对应车型的概率。
2.根据权利要求1所述的基于多特征融合神经网络的车型识别方法,其特征在于:所述神经网络包括子网络1、子网络2、子网络3和融合网络,所述子网络1采用大卷积核,用于提取车型的整体特征,所述子网络2采用小卷积核,用于提取车型的细节特征,所述子网络3用于提取车辆车型图像的局部特征,融合网络通过所述子网络1、子网络2和子网络3融合得到;
所述子网络1包括五个卷积层,分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层,第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层为依次连接,网络数据层data后接子网络1的第一卷积层;
所述子网络2包括五个卷积层,分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层,第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层为依次连接,网络数据层data后接子网络2的第一卷积层;
所述子网络3包括依次连接的区域特征映射层、第一全连接层和第二全连接层,网络感兴趣区域层rois后接区域特征映射层;
所述融合网络包括三个卷积层、两个全连接层和特征连接层,三个卷积层包括依次连接的第一卷积层、第二卷积层和第三卷积层,两个全连接层包括依次连接的第一全连接层和第二全连接层,第三卷积层后接第一全连接层和区域特征映射层,第二全连接层和子网络3的第二全连接层均后接特征连接层;
将子网络1的第一卷积层和子网络2的第三卷积层按位相加,再依次接一个k=3、s=2、p=1和n=256组成的卷积层和ReLU激活函数,得到融合网络的第一卷积层,其中,k表示卷积核尺寸,s表示卷积核滑动步长,p表示扩展尺寸,n表示卷积核个数;
将子网络1的第二卷积层、子网络2的第四卷积层和融合网络的第一卷积层按位相加,再依次接一个k=3、s=2、p=1和n=512组成的卷积层和ReLU激活函数,得到融合网络的第二卷积层;
将子网络1的第五卷积层、子网络2的第五卷积层和融合网络的第二卷积层按位相加,再依次接一个k=3、s=2、p=1和n=512组成的卷积层和ReLU激活函数,得到融合网络的第三卷积层。
3.根据权利要求2所述的基于多特征融合神经网络的车型识别方法,其特征在于:所述子网络1的第一卷积层由k=11、s=4、p=5和n=128组成,第二卷积层由k=7、s=2、p=3和n=256组成,第三卷积层由k=5、s=2、p=2和n=256组成,第四卷积层由k=3、s=1、p=1和n=512组成,第五卷积层由k=3、s=1、p=1和n=512组成。
4.根据权利要求2或3所述的基于多特征融合神经网络的车型识别方法,其特征在于:所述子网络1的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层后分别连接ReLU激活函数。
5.根据权利要求2所述的基于多特征融合神经网络的车型识别方法,其特征在于:所述子网络2的第一卷积层由k=3、s=1、p=1和n=64组成,第二卷积层由k=3、s=1、p=1和n=64组成,第三卷积层由k=3、s=1、p=1和n=128组成,第四卷积层由k=3、s=1、p=1和n=256组成,第五卷积层由k=3、s=1、p=1和n=512组成。
6.根据权利要求2或5所述的基于多特征融合神经网络的车型识别方法,其特征在于:所述子网络2的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层后分别连接ReLU激活函数和stride=2的池化层,其中,stride表示滑动步长。
7.根据权利要求2所述的基于多特征融合神经网络的车型识别方法,其特征在于:所述子网络3的第一全连接层和第二全连接层的长度均为1024。
8.根据权利要求2所述的基于多特征融合神经网络的车型识别方法,其特征在于:所述融合网络的第一全连接层和第二全连接层的长度均为1024,特征连接层的长度为2048。
9.根据权利要求2所述的基于多特征融合神经网络的车型识别方法,其特征在于:所述对神经网络进行训练,包括分别对子网络1进行训练、对子网络2进行训练、对子网络3和融合网络进行训练,从而分别得到子网络1至少包括权重和偏置项的参数、子网络2至少包括权重和偏置项的参数、子网络3至少包括权重和偏置项的参数、融合网络至少包括权重和偏置项的参数,具体过程为:
子网络1的训练,将子网络1的第五卷积层依次后接两层长度为1024的全连接层,连接完两层全连接层后,再接softmax loss损失函数,并采用SGD算法对子网络1进行训练,并对初始学习率设为0.1,按固定迭代次数下调学习率,通过SGD算法对子网络1的训练,获得至少包括权重和偏置项的参数,从而确定了子网络1的参数;
采用与对子网络1训练相同方法分别对子网络2、子网络3和融合网络进行训练,得到子网络2、子网络3和融合网络的至少包括权重和偏置项的参数。
10.根据权利要求1所述的基于多特征融合神经网络的车型识别方法,其特征在于:所述训练算法为SGD、BGD、MBGD、AdaDelta、Adam和RMSProp中的任意一种。
11.根据权利要求1所述的基于多特征融合神经网络的车型识别方法,其特征在于:所述分类算法为softmax函数、SVM、随机森林和kNN中的任意一种。
12.根据权利要求1所述的基于多特征融合神经网络的车型识别方法,其特征在于:所述目标检测算法为faster rcnn或ssd算法。
13.一种处理终端,其特征在于:其包括,
存储器,用于存储程序指令;
处理器,用于运行所述程序指令,以执行如权利要求1至12任一项所述的基于多特征融合神经网络的车型识别方法的步骤。
CN201811040891.8A 2018-09-07 2018-09-07 一种基于多特征融合神经网络的车型识别方法及处理终端 Active CN109359666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811040891.8A CN109359666B (zh) 2018-09-07 2018-09-07 一种基于多特征融合神经网络的车型识别方法及处理终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811040891.8A CN109359666B (zh) 2018-09-07 2018-09-07 一种基于多特征融合神经网络的车型识别方法及处理终端

Publications (2)

Publication Number Publication Date
CN109359666A true CN109359666A (zh) 2019-02-19
CN109359666B CN109359666B (zh) 2021-05-28

Family

ID=65350510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811040891.8A Active CN109359666B (zh) 2018-09-07 2018-09-07 一种基于多特征融合神经网络的车型识别方法及处理终端

Country Status (1)

Country Link
CN (1) CN109359666B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902732A (zh) * 2019-02-22 2019-06-18 哈尔滨工业大学(深圳) 车辆自动分类方法及相关装置
CN109919223A (zh) * 2019-03-05 2019-06-21 北京联合大学 基于深度神经网络的目标检测方法及装置
CN110135318A (zh) * 2019-05-08 2019-08-16 佳都新太科技股份有限公司 过车记录的确定方法、装置、设备及存储介质
CN110458086A (zh) * 2019-08-07 2019-11-15 北京百度网讯科技有限公司 车辆重识别方法及装置
CN110517180A (zh) * 2019-07-24 2019-11-29 北京旷视科技有限公司 基于高精度神经网络的图像处理方法、装置及电子设备
CN110765861A (zh) * 2019-09-17 2020-02-07 中控智慧科技股份有限公司 无牌车车型识别方法、装置及终端设备
CN110852325A (zh) * 2019-10-31 2020-02-28 上海商汤智能科技有限公司 图像的分割方法及装置、电子设备和存储介质
CN111126384A (zh) * 2019-12-12 2020-05-08 创新奇智(青岛)科技有限公司 基于特征融合的商品分类系统及分类方法
CN111340026A (zh) * 2020-03-05 2020-06-26 苏州科达科技股份有限公司 车辆年款识别模型的训练方法以及车辆年款的识别方法
CN111444365A (zh) * 2020-03-27 2020-07-24 Oppo广东移动通信有限公司 图像分类方法、装置、电子设备及存储介质
CN112016577A (zh) * 2019-05-30 2020-12-01 华为技术有限公司 图像处理方法和装置
WO2021102762A1 (zh) * 2019-11-27 2021-06-03 华为技术有限公司 一种感知网络及图像处理方法
CN113111879A (zh) * 2021-04-30 2021-07-13 上海睿钰生物科技有限公司 一种细胞检测的方法和系统
CN113473496A (zh) * 2021-06-02 2021-10-01 杭州电子科技大学 一种提高工业无线网络速度的方法
CN113947144A (zh) * 2021-10-15 2022-01-18 北京百度网讯科技有限公司 用于对象检测的方法、装置、设备、介质和程序产品
CN114170481A (zh) * 2022-02-10 2022-03-11 北京字节跳动网络技术有限公司 用于图像处理的方法、设备、存储介质和程序产品
CN115311647A (zh) * 2022-10-09 2022-11-08 松立控股集团股份有限公司 一种融合车标分类特征的车标检测识别方法
CN113473496B (zh) * 2021-06-02 2024-05-31 杭州电子科技大学 一种提高工业无线网络速度的方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886648A (en) * 1998-02-02 1999-03-23 Proto-Vest, Inc. Automated vehicle wash system with vehicle type recognition
CN104156697A (zh) * 2014-07-24 2014-11-19 佳都新太科技股份有限公司 一种夜间卡口场景下的车型识别方法
CN104598928A (zh) * 2015-01-30 2015-05-06 南京邮电大学 一种基于类字典稀疏识别的车辆分类方法
CN105488517A (zh) * 2015-11-30 2016-04-13 杭州全实鹰科技有限公司 一种基于深度学习的车辆品牌型号识别方法
CN105590102A (zh) * 2015-12-30 2016-05-18 中通服公众信息产业股份有限公司 一种基于深度学习的前车车脸识别方法
CN106548145A (zh) * 2016-10-31 2017-03-29 北京小米移动软件有限公司 图像识别方法及装置
CN106682628A (zh) * 2016-12-30 2017-05-17 佳都新太科技股份有限公司 一种基于多层深度特征信息的人脸属性分类方法
CN106910185A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种基于cnn深度学习的dbcc分类模型及构建方法
CN107527068A (zh) * 2017-08-07 2017-12-29 南京信息工程大学 基于cnn和域自适应学习的车型识别方法
CN107862340A (zh) * 2017-11-16 2018-03-30 深圳市华尊科技股份有限公司 一种车型识别方法及装置
WO2018138943A1 (ja) * 2017-01-25 2018-08-02 パナソニックIpマネジメント株式会社 剛性測定装置および剛性測定方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886648A (en) * 1998-02-02 1999-03-23 Proto-Vest, Inc. Automated vehicle wash system with vehicle type recognition
CN104156697A (zh) * 2014-07-24 2014-11-19 佳都新太科技股份有限公司 一种夜间卡口场景下的车型识别方法
CN104598928A (zh) * 2015-01-30 2015-05-06 南京邮电大学 一种基于类字典稀疏识别的车辆分类方法
CN105488517A (zh) * 2015-11-30 2016-04-13 杭州全实鹰科技有限公司 一种基于深度学习的车辆品牌型号识别方法
CN105590102A (zh) * 2015-12-30 2016-05-18 中通服公众信息产业股份有限公司 一种基于深度学习的前车车脸识别方法
CN106548145A (zh) * 2016-10-31 2017-03-29 北京小米移动软件有限公司 图像识别方法及装置
CN106682628A (zh) * 2016-12-30 2017-05-17 佳都新太科技股份有限公司 一种基于多层深度特征信息的人脸属性分类方法
CN106910185A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种基于cnn深度学习的dbcc分类模型及构建方法
WO2018138943A1 (ja) * 2017-01-25 2018-08-02 パナソニックIpマネジメント株式会社 剛性測定装置および剛性測定方法
CN107527068A (zh) * 2017-08-07 2017-12-29 南京信息工程大学 基于cnn和域自适应学习的车型识别方法
CN107862340A (zh) * 2017-11-16 2018-03-30 深圳市华尊科技股份有限公司 一种车型识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZUCHUN DING 等: "Vehicle sticker recognition based on multi-feature encoding and feature matrix distance", 《2017 6TH INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND NETWORK TECHNOLOGY (ICCSNT)》 *
甘橙 等: "基于卷积神经网络的车辆检索方法研究", 《电脑知识与技术》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902732A (zh) * 2019-02-22 2019-06-18 哈尔滨工业大学(深圳) 车辆自动分类方法及相关装置
CN109919223A (zh) * 2019-03-05 2019-06-21 北京联合大学 基于深度神经网络的目标检测方法及装置
CN109919223B (zh) * 2019-03-05 2020-10-16 北京联合大学 基于深度神经网络的目标检测方法及装置
CN110135318A (zh) * 2019-05-08 2019-08-16 佳都新太科技股份有限公司 过车记录的确定方法、装置、设备及存储介质
CN112016577A (zh) * 2019-05-30 2020-12-01 华为技术有限公司 图像处理方法和装置
CN110517180A (zh) * 2019-07-24 2019-11-29 北京旷视科技有限公司 基于高精度神经网络的图像处理方法、装置及电子设备
CN110517180B (zh) * 2019-07-24 2023-09-19 北京旷视科技有限公司 基于高精度神经网络的图像处理方法、装置及电子设备
CN110458086A (zh) * 2019-08-07 2019-11-15 北京百度网讯科技有限公司 车辆重识别方法及装置
CN110765861A (zh) * 2019-09-17 2020-02-07 中控智慧科技股份有限公司 无牌车车型识别方法、装置及终端设备
CN110852325A (zh) * 2019-10-31 2020-02-28 上海商汤智能科技有限公司 图像的分割方法及装置、电子设备和存储介质
CN110852325B (zh) * 2019-10-31 2023-03-31 上海商汤智能科技有限公司 图像的分割方法及装置、电子设备和存储介质
WO2021102762A1 (zh) * 2019-11-27 2021-06-03 华为技术有限公司 一种感知网络及图像处理方法
CN111126384A (zh) * 2019-12-12 2020-05-08 创新奇智(青岛)科技有限公司 基于特征融合的商品分类系统及分类方法
CN111340026A (zh) * 2020-03-05 2020-06-26 苏州科达科技股份有限公司 车辆年款识别模型的训练方法以及车辆年款的识别方法
CN111444365B (zh) * 2020-03-27 2023-12-05 Oppo广东移动通信有限公司 图像分类方法、装置、电子设备及存储介质
CN111444365A (zh) * 2020-03-27 2020-07-24 Oppo广东移动通信有限公司 图像分类方法、装置、电子设备及存储介质
CN113111879A (zh) * 2021-04-30 2021-07-13 上海睿钰生物科技有限公司 一种细胞检测的方法和系统
CN113473496A (zh) * 2021-06-02 2021-10-01 杭州电子科技大学 一种提高工业无线网络速度的方法
CN113473496B (zh) * 2021-06-02 2024-05-31 杭州电子科技大学 一种提高工业无线网络速度的方法
US11620815B2 (en) 2021-10-15 2023-04-04 Beijing Baidu Netcom Science Technology Co., Ltd. Method and device for detecting an object in an image
CN113947144B (zh) * 2021-10-15 2022-05-17 北京百度网讯科技有限公司 用于对象检测的方法、装置、设备、介质和程序产品
CN113947144A (zh) * 2021-10-15 2022-01-18 北京百度网讯科技有限公司 用于对象检测的方法、装置、设备、介质和程序产品
CN114170481A (zh) * 2022-02-10 2022-03-11 北京字节跳动网络技术有限公司 用于图像处理的方法、设备、存储介质和程序产品
CN115311647B (zh) * 2022-10-09 2023-01-24 松立控股集团股份有限公司 一种融合车标分类特征的车标检测识别方法
CN115311647A (zh) * 2022-10-09 2022-11-08 松立控股集团股份有限公司 一种融合车标分类特征的车标检测识别方法

Also Published As

Publication number Publication date
CN109359666B (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN109359666A (zh) 一种基于多特征融合神经网络的车型识别方法及处理终端
CN106485215B (zh) 基于深度卷积神经网络的人脸遮挡检测方法
CN111784685B (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN104700099B (zh) 识别交通标志的方法和装置
CN105069472B (zh) 一种基于卷积神经网络自适应的车辆检测方法
CN104303193B (zh) 基于聚类的目标分类
CN107657249A (zh) 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN109978893A (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
CN108596211B (zh) 一种基于集中学习与深度网络学习的遮挡行人再识别方法
CN109598268A (zh) 一种基于单流深度网络的rgb-d显著目标检测方法
CN108805016B (zh) 一种头肩区域检测方法及装置
CN110969166A (zh) 一种巡检场景下小目标识别方法和系统
CN107545249A (zh) 一种人群年龄识别方法及装置
CN109472193A (zh) 人脸检测方法及装置
CN108960015A (zh) 一种基于深度学习的车系自动识别方法及装置
CN110348357A (zh) 一种基于深度卷积神经网络的快速目标检测方法
CN108805900A (zh) 一种跟踪目标的确定方法及装置
CN106897681A (zh) 一种遥感图像对比分析方法及系统
CN109241814A (zh) 基于yolo神经网络的行人检测方法
CN109871821A (zh) 自适应网络的行人重识别方法、装置、设备及存储介质
CN107180056A (zh) 视频中片段的匹配方法和装置
CN107067022B (zh) 图像分类模型的建立方法、建立装置和设备
CN111723773A (zh) 遗留物检测方法、装置、电子设备及可读存储介质
CN110008853A (zh) 行人检测网络及模型训练方法、检测方法、介质、设备
CN112926522B (zh) 一种基于骨骼姿态与时空图卷积网络的行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 510000, Guangdong, Panyu District province Guangzhou east ring Street Yingbin Road No. 832, Panyu energy saving technology park, Hill Pioneering Center, building 2, district 306, room 1

Applicant after: Jiadu Technology Group Co.,Ltd.

Address before: 511400 Yingbin Road, Donghuan Street, Panyu District, Guangzhou City, Guangdong Province, 832 Panyu Energy-saving Science and Technology Park, No. 1 Building, No. 2 District, 306 Rooms

Applicant before: PCI-SUNTEKTECH Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190219

Assignee: Guangzhou Jiadu Technology Software Development Co.,Ltd.

Assignor: Jiadu Technology Group Co.,Ltd.

Contract record no.: X2021980015159

Denomination of invention: A vehicle recognition method and processing terminal based on multi feature fusion neural network

Granted publication date: 20210528

License type: Common License

Record date: 20211215

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190219

Assignee: Guangzhou Jiadu Technology Software Development Co.,Ltd.

Assignor: Jiadu Technology Group Co.,Ltd.

Contract record no.: X2021440000226

Denomination of invention: A vehicle recognition method and processing terminal based on multi feature fusion neural network

Granted publication date: 20210528

License type: Common License

Record date: 20211222

EC01 Cancellation of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: Guangzhou Jiadu Technology Software Development Co.,Ltd.

Assignor: Jiadu Technology Group Co.,Ltd.

Contract record no.: X2021980015159

Date of cancellation: 20220111