CN109117826B - 一种多特征融合的车辆识别方法 - Google Patents

一种多特征融合的车辆识别方法 Download PDF

Info

Publication number
CN109117826B
CN109117826B CN201811032332.2A CN201811032332A CN109117826B CN 109117826 B CN109117826 B CN 109117826B CN 201811032332 A CN201811032332 A CN 201811032332A CN 109117826 B CN109117826 B CN 109117826B
Authority
CN
China
Prior art keywords
image
feature
neural network
convolutional neural
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811032332.2A
Other languages
English (en)
Other versions
CN109117826A (zh
Inventor
张少波
彭清
宁红辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Science and Technology
Original Assignee
Hunan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Science and Technology filed Critical Hunan University of Science and Technology
Priority to CN201811032332.2A priority Critical patent/CN109117826B/zh
Publication of CN109117826A publication Critical patent/CN109117826A/zh
Application granted granted Critical
Publication of CN109117826B publication Critical patent/CN109117826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多特征融合的车辆识别方法，基于训练图像训练传统卷积神经网络，基于测试图像和传统卷积神经网络得到最优卷积神经网络；根据最优卷积神经网络提取样本图像的CNN特征，并融合样本图像的CNN、HOG和PCA特征，以训练车辆识别SVM模型；根据最优卷积神经网络提取待测图像的CNN特征，车辆识别SVM模型根据待测图像的CNN、HOG和PCA特征，判断待测图像是否含有车辆。在传统卷积神经网络的基础上进行改进，且融合的3个特征都具有一定的车辆和非车辆区分性，并使用训练得到的SVM进行分类识别，可以在一个特征无法准确分辨待测图像的目标时，从另外一个角度来衡量此目标，从而更有效地提高车辆的识别效果。

Description

一种多特征融合的车辆识别方法
技术领域
本发明涉及图像或视频帧车辆识别技术领域，更具体地，涉及一种多特征融合在车辆识别中的应用。
背景技术
随着经济的发展，汽车代表了一种移动性和便利性的革命，为我们提供了从一个地方到另一个地方的灵活性。如今，汽车作为现代生活中的交通工具是必不可少的。视觉物体识别的车辆安全驾驶辅助系统对于汽车在运行过程中易发生碰撞起着重要作用。车辆识别是其中的一个代表性技术。
现有的方法通常基于模板匹配和模式分类。模板匹配使用一组标准车辆图像，并测量测试图像和选定模板之间的相似性。但是，由于车辆外观可能存在很大的变化，很难找到一组可以有效表示所有车辆的通用模板。模式分类使用大量的车辆图像来训练分类器，该分类器学习车辆与非车辆之间的差异。然后分类器从训练图像中学习车辆外观的特征。训练通常基于监督学习方法，其中使用大量标记的车辆和非车辆图像。为了便于分类，训练图像首先被预处理以提取一些代表性特征。为了实现良好的分类结果，选择特征是至关重要的。但是，单一的某一种特征，很难将图像所有特征表现出来导致无法正确识别到车辆，并且在背景复杂的非车辆区域也会具有车辆相同的特征导致错误识别为车辆。
发明内容
本发明提供一种多特征融合的车辆识别方法，将多个特征融合作为图像中的车辆识别特征，可以在一个特征无法准确分辨目标时，从另外一个角度来衡量此目标是否车辆。
为了实现上述目的，本发明采用的技术方案为：
一种多特征融合的车辆识别方法包括以下步骤：
S10：获取样本图像并进行预处理，样本图像包括训练图像和测试图像，且训练图像和测试图像均已知是车辆正样本或非车辆负样本；
S20：以训练图像作为输入、训练图像是否含有车辆作为输出，对传统卷积神经网络进行训练；基于测试图像调整传统卷积神经网络的参数，得到最优卷积神经网络；
S30：将预处理后的样本图像输入到最优卷积神经网络，提取样本图像的CNN特征；
S40：获取样本图像的HOG特征和PCA特征，并将样本图像的CNN特征、HOG特征和PCA特征进行融合，得到样本图像的融合特征向量；
S50：以样本图像的融合特征向量作为输入、样本图像是否含有车辆作为输出，对SVM分类器进行训练，得到车辆识别SVM模型；
S60：将待测图像进行预处理并输入到最优卷积神经网络，提取待测图像的CNN特征；
S70：获取待测图像的HOG特征和PCA特征，并将待测图像的CNN特征、HOG特征和PCA特征进行融合，得到待测图像的融合特征向量；
S80：车辆识别SVM模型根据待测图像的融合特征向量进行识别，判断待测图像是否含有车辆。
该技术方案在传统卷积神经网络的基础上进行改进，然后融合的3个特征都具有一定的车辆和非车辆区分性，并使用训练得到的SVM进行分类识别，可以在一个特征无法准确分辨待测图像的目标时，从另外一个角度来衡量此目标，从而更有效地提高车辆的识别效果。
进一步，步骤S20中调整传统卷积神经网络的参数包括卷积核大小、网络层数、特征图数，所述卷积核大小的取值范围为{5，7，9，11，13}，所述网络层数的取值范围为{3，4，5，6}，所述特征图数的取值范围为{3，6，9，12，15，18}。
进一步，在卷积核大小、网络层数、特征图的取值范围内取值，组合形成若干种不同参数设置的卷积神经网络，将测试图像输入到当前参数设置时的卷积神经网络，根据输出的CNN特征是否准确识别出车辆以计算当前参数设置时的卷积神经网络的正确率，选取正确率最高所对应的卷积核大小、网络层数和隐含层输出特征图数，作为最优卷积神经网络的参数。
进一步，步骤S30中最优卷积神经网络根据样本图像提取样本图像的CNN特征，与步骤S60中最优卷积神经网络根据待测图像提取待测图像的CNN特征的方法为：卷积神经网络包括若干网络层，网络层包括卷积层和下采样层，输入到卷积神经网络的图像首先进入第一网络层的卷积层，经过卷积后得到的特征图输出到该网络层的下采样层，经过下采样层计算后得到的特征图输出到下一个网络层的卷积层，依次经过其余的网络层的卷积层和下采样层计算，所有卷积层和下采样层输出的全部信息构成图像的CNN特征。
进一步，卷积层的计算公式为：
Figure BDA0001790049640000021
其中，
Figure BDA0001790049640000022
表示第l网络层的第j个特征图，f(x)为激活函数，
Figure BDA0001790049640000023
表示第l网络层的输入，i表示感受野中的第i个像素，Mj表示第l网络层的感受野，
Figure BDA0001790049640000024
为卷积核大小，
Figure BDA0001790049640000025
为偏置。
感受野是指视觉感受区域的大小，在卷积神经网络中，感受野的定义是卷积神经网络每一层输出的特征图(feature map)上的像素点在原始图像上映射的区域大小。例如，图像(或特征图)使用5*5的卷积核进行卷积，那么5*5的区域就是图像(或特征图)的感受野。
进一步，下采样层对输入的特征图采用平均值池化处理，池化公式为：
Figure BDA0001790049640000031
其中
Figure BDA0001790049640000032
表示第l网络层输入的特征图，
Figure BDA0001790049640000033
表示第l网络层输出的特征图。
池化处理可以减少网络参数和提高对图像平移、伸缩不变性。
进一步，步骤S40获取样本图片的HOG特征与步骤S70获取待测图片的HOG特征的方法为，HOG特征包括图片像素点(x,y)的梯度幅值G(x,y)和梯度方向α(x,y)：
Figure BDA0001790049640000034
其中，Gx(x,y)、Gy(x,y)、H(x,y)分别表示输入图片中像素点(x,y)处的水平方向梯度、垂直方向梯度以及灰度值。
HOG特征能较好地描述车辆的边缘梯度信息，与图像的CNN特征融合，作为车辆识别的特征，可以降低误检率。
进一步，HOG特征的提取方法为：选用8×8像素大小的矩形区域作为HOG特征采集单元，每个单元互不重叠，将像素的梯度方向均匀划分为9个直方图通道，HOG特征采集单元内的每个像素对其梯度方向所在直方图通道进行加权投票，加权的权值采用像素的梯度幅值。
进一步，在步骤S40获取样本图像的PCA特征之前，还包括确定PCA特征的成分：获取一组若干个样本图像
Figure BDA0001790049640000035
计算该组样本图像的均值向量，得到协方差矩阵Φ＝∑[(Xi-m)(Xi-m)T]，其中，m是样本的均值向量；按照降序的方式对协方差矩阵的特征值(λ1,λ2,…,λD)进行排序：λ1≥λ2≥…≥λD，并保留e＜90％的特征值，该保留的特征值构成图像的PCA特征，其中
Figure BDA0001790049640000036
进一步，对图像的CNN特征、HOG特征和PCA特征进行融合的方法为，将图像的CNN特征、HOG特征和PCA特征组成一个融合特征向量：F＝(C,H,P)T，其中C、H、P分别表示CNN特征、HOG特征、PCA特征，T表示归一化处理。
进一步，所述车辆识别SVM模型中的SVM分类器的核函数为RBF核函数。
有益效果
本发明提供了一种多特征融合的车辆识别方法，基于训练图像训练传统卷积神经网络，基于测试图像和传统卷积神经网络调整传统卷积神经网络的参数，得到最优卷积神经网络；根据最优卷积神经网络提取样本图像的CNN特征，并融合样本图像的CNN、HOG和PCA特征，以训练车辆识别SVM模型；根据最优卷积神经网络提取待测图像的CNN特征，车辆识别SVM模型根据输入的待测图像的CNN、HOG和PCA特征，判断待测图像是否含有车辆。在传统卷积神经网络的基础上进行改进，然后融合的3个特征都具有一定的车辆和非车辆区分性，并使用训练得到的SVM进行分类识别，可以在一个特征无法准确分辨待测图像的目标时，从另外一个角度来衡量此目标，从而更有效地提高车辆的识别效果。
附图说明
图1为本发明多特征融合的车辆识别模型；
图2为卷积神经网络的特征提取过程。
具体实施方式
本发明提供的一种多特征融合的车辆识别方法，包括以下步骤：
步骤S10：获取样本图像并进行预处理，样本图像包括训练图像和测试图像，且训练图像和测试图像均已知是车辆正样本或非车辆负样本。
实验采集到共4716张图像，其中包括2316张车辆正样本和2400张非车辆负样本，采集到的图像全部是由实景拍摄的。分别从车辆样本和非车辆样本中各自随机选取400张图像作为测试图像，即共3916张训练图像、800张测试图像。并将所有样本图像进行预处理，将图像的大小缩放为28×28像素。
步骤S20：以训练图像作为输入、训练图像是否含有车辆作为输出，对传统卷积神经网络进行训练；基于测试图像调整传统卷积神经网络的参数，得到最优卷积神经网络。
首先将传统卷积神经网络的卷积核大小、网络层数、特征图数的预设值分别为5、5、12。然后将传统卷积神经网络的学习效率(alpha)设为1、批训练样本数量(batchsize)设为4，将训练图像输入到传统卷积神经网络，通过1到100次迭代找出最大正确率。由于训练图像已知是车辆样本或非车辆样本，因此可通过训练图像训练得到卷积神经网络模型。在训练卷积神经网络模型的时候，可采用均方差对卷积神经网络模型进行评估，均方差值越小，证明模型拟合的越好。
将测试图像进行预处理后输入到训练得到的传统卷积神经网络模型中，根据输出的CNN特征是否准确识别出车辆来计算正确率。
基于测试图像，分别调整卷积神经网络的卷积核大小、网络层数、特征图数，根据卷积神经网络输出的CNN特征是否准确识别出车辆来计算当前参数下的卷积神经网络的正确率，从而确定最优卷积神经网络的卷积核大小、网络层数、特征图数，得到最优卷积神经网络。
具体地，在网络层数为5、隐含层输出特征图数为12的基础上，调整卷积神经网络的卷积核大小分别为5、7、9、11、13，将测试图像输入到当前参数设置时的卷积神经网络，根据输出的CNN特征是否准确识别出车辆以计算当前参数设置时的卷积神经网络的正确率，选取正确率最高所对应的卷积核大小，作为最优卷积神经网络的参数。各结构测试结果如表1所示。
表1不同卷积核正确率
卷积核大小 C1 S2 C3 S4 epoch 正确率
5 5×5 2×2 5×5 2×2 31 95.50％
7 7×7 2×2 6×6 2×2 28 95.75％
9 9×9 2×2 9×9 2×2 6 96.00％
11 11×11 2×2 8×8 2×2 38 96.63％
13 13×13 2×2 7×7 2×2 45 95.87％
在本发明中，C1指第一个卷积层；S2指第一个下采样层；C3指第二个卷积层；S4指第二个下采样层；epoch指迭代次数。
从表1中可以看出，随着卷积核大小n的增大(在本申请中，卷积核n×n表示为卷积核大小n)，车辆识别的正确率也在提高，当n＝11时，正确率达到最高，说明卷积核为11×11时更能够对车辆样本集进行特征提取。但继续增大到n＝13时，正确率却下降了，说明卷积核过大会致使特征提取效果变差。由于卷积核的大小决定了感受野的大小，感受野过大，提取的特征超出卷积核的表达范围，而感受野过小，则无法提取有效的局部特征，所以卷积核大小对网络的性能有着重要的影响。
基于之前所得结论，卷积核大小取11×11，特征图数为12，分别调整网络层数为3、4、5、6进行实验。将测试图像输入到当前参数设置时的卷积神经网络，根据输出的CNN特征是否准确识别出车辆以计算当前参数设置时的卷积神经网络的正确率，选取正确率最高所对应的网络层数，作为最优卷积神经网络的参数。各结构测试结果如表2所示。
表2为不同网络层数正确率
Figure BDA0001790049640000051
Figure BDA0001790049640000061
从表2可以看出，网络层数为5时车辆识别的正确率最高。因为网络层数的过低会导致信息表达能力不足，通过增加网络的层数，其特征信息表达能力逐步增强，但层数过多也会致使网络结构过于复杂，训练时间增加，易出现过拟合现象。所以，选择合适的层数对提高网络训练效率和检测结果有重要影响。
基于之前所得结论，采用卷积核为11×11，层数为5的网络结构，最后隐含层输出为1×1的特征图，分别调整隐含层输出特征图数为3、6、9、15、18进行实验。将测试图像输入到当前参数设置时的卷积神经网络，根据输出的CNN特征是否准确识别出车辆以计算当前参数设置时的卷积神经网络的正确率，选取正确率最高所对应的隐含层输出特征图数，作为最优卷积神经网络的参数。各结构测试结果如表3所示。
表3为不同特征图数正确率
特征图数 特征维数 epoch 正确率
3 3(3×1×1) 21 95.38％
6 6(6×1×1) 24 95.63％
9 9(9×1×1) 45 95.63％
12 12(12×1×1) 38 96.63％
15 15(15×1×1) 19 95.63％
18 18(18×1×1) 14 95.00％
从表3可以看出，随着特征图数的增加，正确率跟着提高，在特征图数为12时，车辆识别的正确率达到最高。而继续增加特征图数，正确率反而降低。因此，在设计卷积神经网络时应该根据样本特征的复杂度等因素调整特征图数，过高或过低均不能产生理想效果。
通过实验证明，卷积核取11×11，网络层数为5，特征图数为12时，卷积神经网络对车辆样本集的识别能达到最好的效果。因此将选取卷积核为11×11，网络层数为5，特征图数为12，作为最优卷积神经网络的参数。
步骤S30：将预处理后的样本图像输入到最优卷积神经网络，提取样本图像的CNN特征。
其中，最优卷积神经网络对输入的图像提取CNN特征的方法为：如图1所示，卷积神经网络包括若干网络层，网络层包括卷积层和下采样层，输入到卷积神经网络的图像首先进入第一网络层的卷积层，经过卷积后得到的特征图输出到该网络层的下采样层，经过下采样层计算后得到的特征图输出到下一个网络层的卷积层，依次经过其余的网络层的卷积层和下采样层计算，将所有卷积层和下采样层输出的全部信息，构成图像的CNN特征。
具体地，卷积层是卷积神经网络的核心层，是卷积神经网络的特征提取操作，其操作过程如图2所示。在卷积层中，特征图的每一个神经元与前一层的局部感受相连接，与一个卷积核进行卷积，经过卷积操作提取图像的局部特征。
卷积层的计算公式为：
Figure BDA0001790049640000071
其中，
Figure BDA0001790049640000072
表示第l网络层的第j个特征图，f(x)为激活函数，
Figure BDA0001790049640000073
表示第l网络层的输入，i表示感受野中的第i个像素，Mj表示第l网络层的感受野，
Figure BDA0001790049640000074
为卷积核，初始值为随机生成，
Figure BDA0001790049640000075
为偏置，初始值为0。
卷积核
Figure BDA0001790049640000076
的大小确定了运算区域的大小，卷积核中的权值的大小对应了其节点的贡献能力，权值越大贡献越大，反之越小。
在下采样层中，对输入的特征图进行池化处理，即对输入的特征图进行统计和分析，得到该局部的特征表达，从而减少网络参数和提高对图像平移、伸缩不变性。
池化的基本原理为：
Figure BDA0001790049640000077
其中
Figure BDA0001790049640000078
表示第l网络层输入的特征图，
Figure BDA0001790049640000079
表示第l网络层输出的特征图。
下采样层对输入尺寸为M×N的特征图I，采样窗口为s×s，则得到特征图的大小为(M/s)*(N/s)，本发明的窗口采用2×2。
在本实施例中，卷积层的激活函数为sigmoid函数：
Figure BDA00017900496400000710
下采样层对输入的特征图采用平均值池化处理，即对输入到下采样层池化域内所有值求和并取其平均值作为下采样特征图的特征值。
输入到卷积神经网络的图像，经过所有卷积层、下采样层输出的的全部信息，构成该图像的CNN特征。
在本实施例中，参考图1所示，隐含层代表了所有的卷积层和下采样层，图像通过输入层输入，依次经过隐含层(卷积层、下采样层、卷积层、下采样层、……)，然后隐含层的输出与全连接层连接，再输出到输出层。本发明在训练卷积神经网络和调整网络模型时，网络输出为判别图像中有车或无车，所以全连接层只有两个节点，全连接就是将隐含层的输出节点与这两个节点进行一一连接。
图像中的CNN特征作为单一特征，很难将图像所有特征表现出来导致无法正确识别到车辆，并且在背景复杂的非车辆区域也会具有车辆相同的特征导致错误识别为车辆。因此，本申请将图像经上述最优卷积神经网络提取的CNN特征，与图像的HOG特征和PCA特征融合，用样本训练车辆识别SVM模型，从而使用该SVM模型根据输入的待测图像的CNN、HOG和PCA特征，判断待测图像是否含有车辆，使可以在一个特征无法准确分辨待测图像的目标时，从另外一个角度来衡量此目标，从而更有效地提高车辆的识别效果。具体如下步骤所述，
步骤S40：获取样本图像的HOG特征和PCA特征，并将样本图像的CNN特征、HOG特征和PCA特征进行融合，得到样本图像的融合特征向量。
本发明中，图像的HOG特征表示车辆梯度方向特征，包括图像像素点的梯度幅值G(x,y)和梯度方向α(x,y)。通过计算图像的每个像素的梯度方向，得到特征。然后将这些方向量化为预定义的范围，并计算它们的直方图，作为分类的特征向量。在车辆图像中，梯度或边缘的方向密度分布可以很好地描述车辆的外观形状，灰度值变化平缓的区域梯度幅值较小，而灰度突变的边缘区域的梯度幅值较大。因此，HOG特征能较好地描述车辆的边缘梯度信息。具体地，梯度幅值G(x,y)和梯度方向α(x,y)与像素点(x,y)之间的关系为：
Figure BDA0001790049640000081
其中，Gx(x,y)、Gy(x,y)、H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度以及灰度值。
本发明选用8×8像素大小的矩形区域作为HOG特征采集“细胞”，即HOG特征采集单元，每个“细胞”互不重叠。将像素的梯度方向均匀划分为9个直方图通道，将360度分成9个方向块。“细胞”内的每个像素对其梯度方向所在直方图通道进行加权投票，加权的权值采用像素的梯度幅值。
样本为28×28像素，其中块的个数为2×2＝4，每4个“细胞”组成一个块，那么每个块特征向量维数为4×9＝36，则一个样本提取到的HOG特征向量维数为4×9×2×2＝144，该HOG特征向量包含了车辆整体与局部的边缘信息。因此，HOG特征能较好地描述车辆的边缘梯度信息，与图像的CNN特征融合，作为车辆识别的特征，可以降低误检率。
在获取图像的PCA特征之前，还需先确定PCA特征的成分。
本发明采用的主成分分析(PCA)的车辆主成分特征，在N个样本图像
Figure BDA0001790049640000082
中，PCA找到样本具有最大差异的主要成分方向。大部分差异发生在一个或几个主要方向上，这些主要方向称为样本的主要分量方向。这些分量很好地代表了几个维度的数据集。
首先，计算样本图像集
Figure BDA0001790049640000083
的协方差矩阵：
Φ＝∑[(Xi-m)(Xi-m)T]；
其中，m是样本的均值向量。使用Φ作为基础的特征向量跨越一个新的坐标系，得到一个正交坐标系。在这样的原始空间中，坐标系跨越消除样本不同成分之间的关系。Φ的特征值大小表示沿相应特征值的坐标的样本方差。
将协方差矩阵的特征值表示为(λ1,λ2,...,λD)，根据他们的值大小进行排序：λ1≥λ2≥...≥λD。
这些与特征值对应的特征向量为(V1,V2,...,VD)，是数据集的主要分量轴，并且它们所跨越的子空间是主要分量空间。第一个d特征向量构建主要组件空间来表示错误或截断错误：
Figure BDA0001790049640000091
可以证明，在样本的所有可能的正交d维表示中具有最小误差。
本发明通过计算样本的均值向量，得到协方差矩阵，然后按照降序的方式对特征值进行排序，保留e<90％的特征值，最后得到该样本的主成分特征向量，即PCA特征向量，该向量包含了样本特征的主要信息。从而，训练车辆识别SVM模型前的提取PCA特征、车辆识别SVM模型实测图像是否含有车辆时所需要提取的PCA特征时，具有明确的成分提取目标成分。
分别提取样本图像的HOG特征和PCA特征，并将样本图像的CNN特征、HOG特征和PCA特征组成一个融合特征向量：F＝(C,H,P)T，其中C、H、P分别表示CNN特征、HOG特征、PCA特征，T表示归一化处理。
在本实施例中，对CNN特征、HOG特征、PCA特征采用零均值归一化处理：
Figure BDA0001790049640000092
其中，μ、σ分别表示样本图像的三个特征融合的特征向量的平均值和标准差。从而避免不同量纲的选取对SVM分类器计算产生的巨大影响。
步骤S50：以预处理的样本图像的融合特征向量作为输入、样本图像是否含有车辆作为输出，对SVM分类器进行训练，得到车辆识别SVM模型；
将样本图像输入到SVM分类器中，由于样本图像已知是正车辆样本或非车辆样本，从而采用SVM分类方法进行训练，可以得到车辆识别SVM模型。
步骤S60：将待测图像进行预处理并输入到最优卷积神经网络，提取待测图像的CNN特征。
将预处理后的待测图像输入到最优卷积神经网络以提取CNN特征的方法，与步骤S30中样本图像通过最优卷积神经网络以提取CNN特征的方法相同，在此不再赘述。
步骤S70：获取待测图像的HOG特征和PCA特征，并将待测图像的CNN特征、HOG特征和PCA特征进行融合，得到待测图像的融合特征向量。
待测图像获取HOG特征和PCA特征、并与CNN特征融合的方法，与步骤S40中样本图像获取HOG特征和PCA特征、并与CNN特征融合的方法相同，在此不同赘述。
步骤S80：车辆识别SVM模型根据待测图像的融合特征向量进行识别，判断待测图像是否含有车辆。
将待测图像的融合特征向量输入到车辆识别SVM模型中，判断待测图像中是否含有车辆。
本发明在传统卷积神经网络的基础上进行改进，然后融合的3个特征都具有一定的车辆和非车辆区分性，从而融合的特征向量对车辆识别的可分性更强；并使用训练得到的SVM进行分类识别，可以在一个特征无法准确分辨待测图像的目标时，从另外一个角度来衡量此目标，从而更有效地提高车辆的识别效果。
实验使用MATLAB中自带svmtrain函数对训练数据进行训练，然后用svmclassify函数将测试数据用训练得到的模型分类。其中，SVM选取RBF核函数，通过交叉验证，sigma值为8时，正确率最高为98.00％。为了验证本文方法的优越性，对比其他方法结果如表4所示。
表4不同的车辆识别方法对比
方法 正样本错误 负样本错误 正确率
CNN+SVM 10 17 96.63％
PCA+SVM 20 26 94.25％
HOG+SVM 26 25 93.63％
HOG+PCA+SVM 9 30 95.13％
CNN+HOG+SVM 11 15 96.75％
CNN+PCA+SVM 7 19 96.75％
CNN+HOG+PCA+SVM 5 11 98.00％
从表4可以看出，CNN的识别率优于其他方法，因为CNN只需要简单的计算和自我学习就能学习到复杂的细节特征；融合后的特征比单一特征的识别率要高，因为融合后的特征是一个可分性更强的综合特征，可以剔除单一特征较强的非车辆区域，降低误检率。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经过改进直接应用于其他场合，均在本发明的保护范围之内。

Claims (10)

1.一种多特征融合的车辆识别方法，其特征在于，包括以下步骤：
S10：获取样本图像并进行预处理，样本图像包括训练图像和测试图像，且训练图像和测试图像均已知是车辆正样本或非车辆负样本；
S20：以训练图像作为输入、训练图像是否含有车辆作为输出，对传统卷积神经网络进行训练；基于测试图像调整传统卷积神经网络的参数，得到最优卷积神经网络；
S30：将预处理后的样本图像输入到最优卷积神经网络，提取样本图像的CNN特征；
S40：获取样本图像的HOG特征和PCA特征，并将样本图像的CNN特征、HOG特征和PCA特征进行融合，得到样本图像的融合特征向量；
S50：以预处理后的样本图像的融合特征向量作为输入、样本图像是否含有车辆作为输出，对SVM分类器进行训练，得到车辆识别SVM模型；
S60：将待测图像进行预处理并输入到最优卷积神经网络，提取待测图像的CNN特征；
S70：获取待测图像的HOG特征和PCA特征，并将待测图像的CNN特征、HOG特征和PCA特征进行融合，得到待测图像的融合特征向量；
S80：车辆识别SVM模型根据待测图像的融合特征向量进行识别，判断待测图像是否含有车辆。
2.根据权利要求1所述的方法，其特征在于，步骤S20中调整传统卷积神经网络的参数包括卷积核大小、网络层数、特征图数，所述卷积核大小的取值范围为{5，7，9，11，13}，所述网络层数的取值范围为{3，4，5，6}，所述特征图数的取值范围为{3，6，9，12，15，18}。
3.根据权利要求2所述的方法，其特征在于，在卷积核大小、网络层数、特征图的取值范围内取值，组合形成若干种不同参数设置的卷积神经网络，将测试图像输入到当前参数设置时的卷积神经网络，根据输出的CNN特征是否准确识别出车辆以计算当前参数设置时的卷积神经网络的正确率，选取正确率最高所对应的卷积核大小、网络层数和隐含层输出特征图数，作为最优卷积神经网络的参数。
4.根据权利要求1所述的方法，其特征在于，步骤S30中最优卷积神经网络根据样本图像提取样本图像的CNN特征，与步骤S60中最优卷积神经网络根据待测图像提取待测图像的CNN特征的方法为：卷积神经网络包括若干网络层，网络层包括卷积层和下采样层，输入到卷积神经网络的图像首先进入第一网络层的卷积层，经过卷积后得到的特征图输出到该网络层的下采样层，经过下采样层计算后得到的特征图输出到下一个网络层的卷积层，依次经过其余的网络层的卷积层和下采样层计算，所有卷积层和下采样层输出的全部信息构成图像的CNN特征。
5.根据权利要求4所述的方法，其特征在于，卷积层的计算公式为：
Figure FDA0001790049630000021
其中，
Figure FDA0001790049630000022
表示第l网络层的第j个特征图，f(x)为激活函数，
Figure FDA0001790049630000023
表示第l网络层的输入，i表示感受野中的第i个像素，Mj表示第l网络层的感受野，
Figure FDA0001790049630000024
为卷积核大小，
Figure FDA0001790049630000025
为偏置。
6.根据权利要求5所述的方法，其特征在于，下采样层对输入的特征图采用平均值池化处理，池化公式为：
Figure FDA0001790049630000026
其中
Figure FDA0001790049630000027
表示第l网络层输入的特征图，
Figure FDA0001790049630000028
表示第l网络层输出的特征图。
7.根据权利要求1所述的方法，其特征在于，步骤S40获取样本图像的HOG特征与步骤S70获取待测图像的HOG特征的方法为，HOG特征包括图像像素点(x,y)的梯度幅值G(x,y)和梯度方向α(x,y)：
Figure FDA0001790049630000029
其中，Gx(x,y)、Gy(x,y)、H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度以及灰度值。
8.根据权利要求1所述的方法，其特征在于，在步骤S40获取样本图像的PCA特征之前，还包括确定PCA特征的成分：获取一组若干个样本图像
Figure FDA00017900496300000210
计算该组样本图像的均值向量，得到协方差矩阵Φ＝∑[(Xi-m)(Xi-m)T]，其中，m是样本的均值向量；按照降序的方式对协方差矩阵的特征值(λ1,λ2,…,λD)进行排序：λ1≥λ2≥…≥λD，并保留e＜90％的特征值，该保留的特征值构成图像的PCA特征，其中
Figure FDA00017900496300000211
9.根据权利要求1所述的方法，其特征在于，对图像的CNN特征、HOG特征和PCA特征进行融合的方法为，将图像的CNN特征、HOG特征和PCA特征组成一个融合特征向量：F＝(C,H,P)T，其中C、H、P分别表示CNN特征、HOG特征、PCA特征，T表示归一化处理。
10.根据权利要求1所述的方法，其特征在于，所述车辆识别SVM模型中的SVM分类器的核函数为RBF核函数。
CN201811032332.2A 2018-09-05 2018-09-05 一种多特征融合的车辆识别方法 Active CN109117826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811032332.2A CN109117826B (zh) 2018-09-05 2018-09-05 一种多特征融合的车辆识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811032332.2A CN109117826B (zh) 2018-09-05 2018-09-05 一种多特征融合的车辆识别方法

Publications (2)

Publication Number Publication Date
CN109117826A CN109117826A (zh) 2019-01-01
CN109117826B true CN109117826B (zh) 2020-11-24

Family

ID=64858549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811032332.2A Active CN109117826B (zh) 2018-09-05 2018-09-05 一种多特征融合的车辆识别方法

Country Status (1)

Country Link
CN (1) CN109117826B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886130B (zh) * 2019-01-24 2021-05-28 上海媒智科技有限公司 目标对象的确定方法、装置、存储介质和处理器
CN109781732A (zh) * 2019-03-08 2019-05-21 江西憶源多媒体科技有限公司 一种微小物检测并分类计数的方法
CN110059551A (zh) * 2019-03-12 2019-07-26 五邑大学 一种基于图像识别的饭菜自动结账系统
CN109886357B (zh) * 2019-03-13 2022-12-13 哈尔滨工程大学 一种基于特征融合的自适应权重深度学习目标分类方法
CN110059771B (zh) * 2019-05-10 2021-01-15 合肥工业大学 一种在排序支持下的交互车辆数据分类方法
CN110363254B (zh) * 2019-08-12 2024-02-02 河北工业大学 用于曲轴柔性生产线的零件种类快速识别装置
CN110717047B (zh) * 2019-10-22 2022-06-28 湖南科技大学 一种基于图卷积神经网络的Web服务分类方法
CN111339871B (zh) * 2020-02-18 2022-09-16 中国电子科技集团公司第二十八研究所 一种基于卷积神经网络的目标群分布模式研判方法和设备
CN111310837A (zh) * 2020-02-21 2020-06-19 广州华工邦元信息技术有限公司 车辆改装识别方法、装置、系统、介质和设备
CN112257791A (zh) * 2020-10-26 2021-01-22 重庆邮电大学 一种基于cnn和pca的多属性分类任务的分类方法
CN112329835A (zh) * 2020-10-30 2021-02-05 天河超级计算淮海分中心 图像处理方法、电子设备和存储介质
CN112464820A (zh) * 2020-11-30 2021-03-09 江苏金鑫信息技术有限公司 一种无人车辆智能识别方法
CN113128380B (zh) * 2021-04-06 2024-04-02 中国农业大学 鱼体姿态的识别方法、装置、电子设备和存储介质
CN113553911A (zh) * 2021-06-25 2021-10-26 复旦大学 融合surf特征和卷积神经网络的小样本人脸表情识别方法
CN113543188B (zh) * 2021-07-22 2023-10-27 中移（杭州）信息技术有限公司 无线网络信号质量检测方法、终端设备及存储介质
CN113781416A (zh) * 2021-08-30 2021-12-10 武汉理工大学 一种输送带撕裂检测方法、装置及电子设备
CN114202927B (zh) * 2021-12-27 2022-11-15 招商局重庆公路工程检测中心有限公司 一种基于多传感器融合的车型检测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923640A (zh) * 2010-08-04 2010-12-22 中国科学院自动化研究所 基于鲁棒纹理特征和机器学习对伪造虹膜图像判别的方法
CN104036323A (zh) * 2014-06-26 2014-09-10 叶茂 一种基于卷积神经网络的车辆检测方法
CN104063722A (zh) * 2014-07-15 2014-09-24 国家电网公司 一种融合hog人体目标检测和svm分类器的安全帽识别方法
CN104299008A (zh) * 2014-09-23 2015-01-21 同济大学 基于多特征融合的车型分类方法
CN105760828A (zh) * 2016-02-04 2016-07-13 山东大学 一种基于视觉的静态手势识别方法
CN106096504A (zh) * 2016-05-30 2016-11-09 重庆大学 一种基于无人机机载平台的车型识别方法
CN106203330A (zh) * 2016-07-08 2016-12-07 西安理工大学 一种基于卷积神经网络的车辆分类方法
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106874889A (zh) * 2017-03-14 2017-06-20 西安电子科技大学 基于卷积神经网络的多特征融合sar目标鉴别方法
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法
CN107368890A (zh) * 2016-05-11 2017-11-21 Tcl集团股份有限公司 一种以视觉为中心的基于深度学习的路况分析方法及系统
CN107491720A (zh) * 2017-04-01 2017-12-19 江苏移动信息系统集成有限公司 一种基于改进型卷积神经网络的车型识别方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923640A (zh) * 2010-08-04 2010-12-22 中国科学院自动化研究所 基于鲁棒纹理特征和机器学习对伪造虹膜图像判别的方法
CN104036323A (zh) * 2014-06-26 2014-09-10 叶茂 一种基于卷积神经网络的车辆检测方法
CN104063722A (zh) * 2014-07-15 2014-09-24 国家电网公司 一种融合hog人体目标检测和svm分类器的安全帽识别方法
CN104299008A (zh) * 2014-09-23 2015-01-21 同济大学 基于多特征融合的车型分类方法
CN105760828A (zh) * 2016-02-04 2016-07-13 山东大学 一种基于视觉的静态手势识别方法
CN107368890A (zh) * 2016-05-11 2017-11-21 Tcl集团股份有限公司 一种以视觉为中心的基于深度学习的路况分析方法及系统
CN106096504A (zh) * 2016-05-30 2016-11-09 重庆大学 一种基于无人机机载平台的车型识别方法
CN106203330A (zh) * 2016-07-08 2016-12-07 西安理工大学 一种基于卷积神经网络的车辆分类方法
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106874889A (zh) * 2017-03-14 2017-06-20 西安电子科技大学 基于卷积神经网络的多特征融合sar目标鉴别方法
CN107491720A (zh) * 2017-04-01 2017-12-19 江苏移动信息系统集成有限公司 一种基于改进型卷积神经网络的车型识别方法
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法

Also Published As

Publication number Publication date
CN109117826A (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
CN109117826B (zh) 一种多特征融合的车辆识别方法
CN107657279B (zh) 一种基于少量样本的遥感目标检测方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN108182441B (zh) 平行多通道卷积神经网络、构建方法及图像特征提取方法
CN110363182B (zh) 基于深度学习的车道线检测方法
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN110163258B (zh) 一种基于语义属性注意力重分配机制的零样本学习方法及系统
CN107066559B (zh) 一种基于深度学习的三维模型检索方法
CN106295124B (zh) 多种图像检测技术综合分析基因子图相似概率量的方法
CN111126482B (zh) 一种基于多分类器级联模型的遥感影像自动分类方法
CN109063724B (zh) 一种增强型生成式对抗网络以及目标样本识别方法
CN106599854B (zh) 基于多特征融合的人脸表情自动识别方法
Ali et al. Boosted NNE collections for multicultural facial expression recognition
CN111814584A (zh) 基于多中心度量损失的多视角环境下车辆重识别方法
CN107767387B (zh) 基于可变感受野尺度全局调制的轮廓检测方法
CN103020582A (zh) 计算机通过视频图像识别车辆类型的方法
CN109165658B (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
CN110879982A (zh) 一种人群计数系统及方法
CN112633382A (zh) 一种基于互近邻的少样本图像分类方法及系统
CN108664969B (zh) 基于条件随机场的路标识别方法
CN109840518B (zh) 一种结合分类与域适应的视觉追踪方法
Barodi et al. An enhanced artificial intelligence-based approach applied to vehicular traffic signs detection and road safety enhancement
CN115131503A (zh) 一种虹膜三维识别的健康监测方法及其系统
Mahapatra Retinal image quality classification using neurobiological models of the human visual system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant