CN105512684B - 基于主成分分析卷积神经网络的车标自动识别方法 - Google Patents

基于主成分分析卷积神经网络的车标自动识别方法 Download PDF

Info

Publication number
CN105512684B
CN105512684B CN201510902942.3A CN201510902942A CN105512684B CN 105512684 B CN105512684 B CN 105512684B CN 201510902942 A CN201510902942 A CN 201510902942A CN 105512684 B CN105512684 B CN 105512684B
Authority
CN
China
Prior art keywords
logo
image
pixel
convolution
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510902942.3A
Other languages
English (en)
Other versions
CN105512684A (zh
Inventor
狄明珠
韩晶
方亚隽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Aerospace Polytron Technologies Inc
Original Assignee
Jiangsu Aerospace Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Aerospace Polytron Technologies Inc filed Critical Jiangsu Aerospace Polytron Technologies Inc
Priority to CN201510902942.3A priority Critical patent/CN105512684B/zh
Publication of CN105512684A publication Critical patent/CN105512684A/zh
Application granted granted Critical
Publication of CN105512684B publication Critical patent/CN105512684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于主成分分析卷积神经网络的车标自动识别方法，包括各类车标分类理想输出特征向量取得的步骤及车标识别步骤，其中，表示车标分类理想输出特征向量，k表示车标种类数，所述各类车标分类理想输出特征向量是用N份各类车标图像样本对卷积神经网络进行训练取得的，所述的车标识别是在得到待识别车标的输出向量Z后，通过计算各个品牌的车标分类理想输出特征向量与对应的待识别车标的输出向量Z之间的欧氏距离及归属度，最大归属度中对应的品牌车标即为待识别车标。

Description

基于主成分分析卷积神经网络的车标自动识别方法
技术领域
交通图像车辆特征检测的技术领域，尤其涉及一种基于主成分分析卷积神经网络的车标自动识别方法。
背景技术
车标识别作为交通图像车辆特征检测技术领域中的重要组成部分，可以更准确地获取车辆信息，已在车辆行踪及违法车辆的自动记录中得到了越来越广泛的应用。目前车标识别的现有技术包括利用特征不变矩距离分类法、基于SIFT特征识别法等，其在识别率和识别速度上都有待提高。
卷积神经网络(CNN)是人工神经网络的一种，主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量，在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。基于卷积神经网络车标识别技术，明显有别于其他基于神经网络的分类器，通过结构重组和减少权值将特征提取功能融合进多层感知器使识别车标更有效，运行速度更快。
发明内容
本发明提供一种基于主成分分析卷积神经网络的车标自动识别方法，本发明用相对较小的计算复杂度，极大地提高车标图像识别效果，使得车标识别率能达到85％以上。
本发明采用如下技术方案：
一种基于主成分分析卷积神经网络的车标自动识别方法，其特征在于，包括各类车标分类理想输出特征向量Tk取得的步骤及车标识别步骤，其中，Tk表示车标分类理想输出特征向量，k表示车标种类数，
所述各类车标分类理想输出特征向量Tk取得的步骤包括：
搜集作为样本图像的各类车标图像N份，分别对各类车标图像进行定位，得到大小为44×44像素的各类车标区域精确定位灰度图像N份，再通过训练卷积神经网络，确定并得到各类车标分类理想输出特征向量T，所述卷积神经网络的训练方法如下：
步骤101卷积神经网络训练参数设定
分别取作为样本图像的各类车标的44×44像素的车标区域精确定位灰度图像N份，卷积核设为5×5，采样层采样范围2×2，
步骤102对样本图像进行灰度归一化处理，统一各个样本的图像亮度和对比度，得到归一化样本图像且归一化样本图像的像素值为G(i,j,n)，G(i,j,n)为第n个样本的归一化图像中的第i行第j列像素值，i、j＝均为正整数，
步骤103采用主成分分析滤波器为卷积核，所述卷积核是将64列向量分别排列为5×5方阵后得到的64个5×5卷积核，所述64个5×5卷积核采用如下方法得到：
步骤103-1：求得矩阵XN×1936的协方差矩阵C1936×1936，所述矩阵XN×1936是分别将N个归一化样本图像的每一个相同位置上的像素值G(i,j,n)拉成一个列向量，组成矩阵XN×1936，则矩阵X共有N行、44×44＝1936列；
步骤103-2：求协方差矩阵C1936×1936的特征值和特征向量，并将特征向量归一化为单位向量，
步骤103-3：选取最大的25个特征值并进行从大到小进行排序，再将所述25个特征值所对应的特征向量作为列向量组成特征向量矩阵V1936×25，
步骤103-4：将矩阵XN×1936在特征向量矩阵V1936×25上进行投影，得到矩阵FN×25且FN×25＝XN×1936*V1936×25，
随机在矩阵FN×25中取64列，将64列向量分别排列为5×5方阵后得到64个卷积核，64个卷积核的值为且m＝1、2、3、…、64，r1＝1，2，…，5，r2＝1，2，…，5，并将归一化样本图像作为初始化的卷积图像，开始对卷积图像进行卷积，
步骤104将第n张卷积图像第i行第j列的像素点的灰度值记为G′(i,j,n)，将卷积行向列向步长都设为1并用5×5的滑动窗口对卷积图像进行区域划分，划分出卷积图像的卷积区域，再分别用所述64个卷积核，对每张卷积图像的各个5×5卷积区域进行卷积，得到卷积特征值并作为像素点的灰度值G″(i,j,n)：
其中，G″(i,j,n)为卷积后的第n张图像中第i行第j列像素点的灰度值，n表示卷积图像的序号；G′(i′,j′,n)为5×5卷积区域内的像素点的灰度值，并且，i′＝i,i+1,...,i+4，j′＝j,j+1,...,j+4；是第m个卷积核的权值，m表示卷积核的序号，并且，r1取值为1、2、3、4、5，r2取值为1、2、3、4、5；符号“*”表示二维卷积运算；
接着，对卷积后的图像像素点的准灰度值G″(i,j,n)进行非线性激励函数f(x)变换，非线性激励函数f(x)采用：
步骤105重复步骤104，直至得到每张卷积图像对应64张特征图，
步骤106用行向列向采样步长为2的2×2采样区域，分别对各张卷积图像对应64张特征图进行采样，在每个2×2采样区域选出一个采样点(i′,j′)，采样点(i′,j′)的灰度值S(i′,j′)为：
其中，Max{H(h)}为2×2采样区域中的最大准灰度值，H(h)表示2×2采样区域第h个采样点的灰度值，h＝1、2、3、4，最后对相应的采样点进行组合并形成新的卷积图像，
步骤107重复步骤104～步骤106，直至使每个卷积图像得到64张特征向量维度为2×2的特征图，
步骤108输入图像神经元个数为64×2×2＝256个，将所有同类样本图像的256个最后特征值分别相加平均，得到各类含有256个特征值tw的车标分类理想输出特征向量Tk，k表示车标种类数且k＝1、2、3、…，Tk表示第k类车标分类理想输出特征向量，tw表示车标分类理想输出特征向量Tk的第w个特征值，w＝1、2、3、…、256；
所述的车标识别步骤包括：
步骤201获取待识别的车标图像并对待识别的车标图像进行定位，得到大小为44×44像素的车标区域精确定位灰度图像，令N＝1，对待识别的车标图像中的车标区域精确定位灰度图像进行步骤103至步骤107的处理，得到64张特征向量维度为2×2的特征图并得到含有256个特征值zw的待识别车标的输出向量Z，zw表示待识别车标的输出向量Z的第w个特征值，w＝1、2、3、…、256，
步骤202分别计算各个品牌的车标分类理想输出特征向量Tk的各个特征值tw与对应的待识别车标的输出向量Z的各个特征值zw之间的欧氏距离dk,w，所述欧氏距离dk,w为：dk,w＝|zw-tw|，如果dk,w<θd，则进入步骤203，否则，抛弃当前的dk,w，θd为距离阈值，
步骤203分别计算待识别车标与各类品牌车标的归属度Ωk，
dk,w为第k个品牌的车标分类理想输出特征向量Tk的第w个特征值tw与对应的待识别车标的输出向量Z的第w个特征值zw之间的欧氏距离，最大归属度中对应的品牌车标即为待识别车标。
与现有技术相比，具有如下有益效果：
车标识别的重点在于找到能够区分各类不同类型车辆的特征，或者说各类车辆区分度最高的部分。车辆的正面图像一般车辆的车头部分特征信息较为集中，而其他部分特征信息较少。因此我们可以通过在车头部分特征信息中准确地提取车标区域，然后采用卷积神经网络(Convolutional Neural Network,CNN)对样本进行训练，同时进行特征提取和模式分类，完成车标的识别。这种车标识别的方法目的在于用相对较小的计算复杂度，极大地提高车标图像识别效果，使得车标识别率能达到85％以上。
(1)本方法首先分析得出可能包含车标的感兴趣区域，能作出比较精准的区域定位，再使用卷积神经网络判断具体类别。不仅具有较高的分类正确率，同时提高了处理效率。
(2)卷积神经网络本身具有深层的体系结构，模型训练复杂耗时，消耗资源多。采用主成分分析滤波器有降噪与去冗余的作用，以此为卷积核，简化了卷积过程和训练方法，大大减少了算法的运行时间；同时加强子采样过程后增加了特征的提取，经过逐层卷积和池采样所提取的特征具有比例缩放不变和旋转不变性的优点。
(3)本方法训练时经过了图像的灰度归一化，统一了图像的亮度和对比度，充分利用图像的形状信息，略去其颜色信息，降低计算量，并且具有较高的检测准确率。
附图说明
图1是训练步骤流程图。
图2是特征图尺寸变化图。
图3是待测车标流程图。
具体实施方式
一种基于主成分分析卷积神经网络的车标自动识别方法，包括各类车标分类理想输出特征向量Tk取得的步骤及车标识别步骤，其中，Tk表示车标分类理想输出特征向量，k表示车标种类数，
所述各类车标分类理想输出特征向量Tk取得的步骤包括：
搜集作为样本图像的各类车标图像N份，本实施例中，N可以取5000，也可以取6000，分别对各类车标图像进行定位，得到大小为44×44像素的各类车标区域精确定位灰度图像N份，再通过训练卷积神经网络，确定并得到各类车标分类理想输出特征向量T，所述卷积神经网络的训练方法如下：
步骤101卷积神经网络训练参数设定
分别取作为样本图像的各类车标的44×44像素的车标区域精确定位灰度图像N份，卷积核设为5×5，采样层采样范围2×2，
步骤102对样本图像进行灰度归一化处理，统一各个样本的图像亮度和对比度，得到归一化样本图像且归一化样本图像的像素值为G(i,j,n)，G(i,j,n)为第n个样本的归一化图像中的第i行第j列像素值，i、j＝均为正整数，
本步骤中，灰度归一化处理可以是：
将N张同类车标样本图像的同一位置的相邻像素计算均值。具体地，取局部取局部区域大小为2×2，局部区域不重叠，将图像分割为22×22块，某一像素则可归属为其分割好的区域，此区域即称为某一像素的相邻区域。
设某一像素点是值为P(i,j,n)。其中i表示这一像素在水平方向上的位置，1≤i≤44；j表示垂直方向上的位置，1≤i≤44；n表示第几个样本，1≤i≤N。这个像素点在其相邻区域内2×2的平均值为
将所有样本对同一位置像素的再相加平均：
M(i,j)即为样本在这个位置的像素均值。
再计算其方差
最后计算每个样本中每个像素点的归一化值：
根据上述方法，每个样本中每个像素值已由P(i,j,n)转换为G(i,j,n)。由G(i,j,n)组成的新的图像即为归一化图像。第n个样本的归一化图像如下：
G(1,1,n) G(1,2,n) ... ... G(1,44,n)
G(2,1) G(2,2,n) ... ... G(2,44,n)
... ... .... ... ...
... ... ... ... ...
G(44,1,n) G(44,2,n) ... ... G(44,44,n)
步骤103采用主成分分析滤波器为卷积核，所述卷积核是将64列向量分别排列为5×5方阵后得到的64个5×5卷积核，所述64个5×5卷积核采用如下方法得到：
步骤103-1：求得矩阵XN×1936的协方差矩阵C1936×1936，所述矩阵XN×1936是分别将N个归一化样本图像的每一个相同位置上的像素值H(i,j,n)拉成一个列向量，组成矩阵XN×1936，则矩阵X共有N行、44×44＝1936列；
本步骤中的矩阵XN×1936的协方差矩阵C1936×1936的具体求取方法为：
(1)分别计算矩阵XN×1936中每一列的平均值，并将每一个元素减去其对应列上的这个平均值；得到YN×1936
(2)C1936×1936＝(YT*Y)/(N-1)，其中YT表示Y的转置矩阵；
步骤103-2：求协方差矩阵C1936×1936的特征值和特征向量，并将特征向量归一化为单位向量，
步骤103-3：选取最大的25个特征值并进行从大到小进行排序，再将所述25个特征值所对应的特征向量作为列向量组成特征向量矩阵V1936×25，
步骤103-4：将矩阵XN×1936在特征向量矩阵V1936×25上进行投影，得到矩阵FN×25且FN×25＝XN×1936*V1936×25，
随机在矩阵FN×25中取64列，将64列向量分别排列为5×5方阵后得到64个卷积核，64个卷积核的值为且m＝1、2、3、…、64，r1＝1，2，…，5，r2＝1，2，…，5，并将归一化样本图像作为初始化的卷积图像，开始对卷积图像进行卷积，
为了更好地理解本步骤，对本步骤做出如下详细说明：
卷积神经网络中，卷积层的权重更新过程本质是卷积核的更新过程。一般的卷积神经网络中，卷积核初始化为随机生成，此后在反向传播过程中，按极小化误差的方法调整卷积核权值和阈值。
本方法采用主成分分析滤波器为卷积核，可以避免复杂的变量优化，简化训练方法，缩短训练时间。即要使保留下来的维度间的相关性尽可能小
主成分分析的目的是降噪与去冗余，并且含有的表特征性能尽可能大。因此主成分分析分析的本质为对角化协方差矩阵。
将图2得到的N个样本图像的每一个对应位置(i,j)像素值G(i,j,n)拉成一个列向量，组成矩阵X，则矩阵X共有N行、44×44＝1936列。
举例来说，目前假设拿全是桑塔纳车标的N(N>＝5000)个样本作网络训练。把n表示为这N个样本中的第几个样本。经过上述归一化后，每个样本的每一个位置对应的值为G(i,j,n)。其中i表示像素在第n个样本的水平位置，j表示像素在第n个样本的垂直位置。
我们把G(1,1,1)、G(1,1,2)、G(1,1,3)...G(1,1,N)一共N个元素拉成第一个列向量；再将G(1,2,1)、G(1,2,2)、G(1,2,3)...G(1,2,N)一共N个元素拉成第二个列向量，以此逐行重复直到G(44,44,1)、G(44,44,2)、G(44,44,3)...G(44,44,N)一共N个元素拉成第44×44＝1936个列向量。将这些列向量组成一个N行，1936列的矩阵X。
步骤104将第n张卷积图像第i行第j列的像素点的灰度值记为G′(i,j,n)，将卷积行向列向步长都设为1并用5×5的滑动窗口对卷积图像进行区域划分，划分出卷积图像的卷积区域，再分别用所述64个卷积核，对每张卷积图像的各个5×5卷积区域进行卷积，所述卷积是将每张卷积图像的每个卷积区域内每个值与对应卷积图像中的每个像素值相乘后相加，得到卷积特征值并作为像素点的准灰度值G″(i,j,n)：
其中，G″(i,j,n)为卷积后的第n张图像中第i行第j列像素点的灰度值，n表示卷积图像的序号；G′(i′,j′,n)为5×5卷积区域内的像素点的灰度值，并且，i′＝i,i+1,...,i+4，j′＝j,j+1,...j+4；是第m个卷积核的权值，m表示卷积核的序号，并且，r1取值为1、2、3、4、5，r2取值为1、2、3、4、5；符号“*”表示二维卷积运算；
接着，对卷积后的图像像素点的灰度值G″(i,j,n)进行非线性激励函数f(x)变换，非线性激励函数f(x)采用：
步骤105重复步骤104，直至得到每张卷积图像对应64张特征图，
步骤106用行向列向采样步长为2的2×2采样区域，分别对各张卷积图像对应64张特征图进行采样，在每个2×2采样区域选出一个采样点(i′,j′)，采样点(i′,j′)的灰度值S(i′,j′)为：
其中，Max{H(h)}为2×2采样区域中的最大准灰度值，H(h)表示2×2采样区域第h个采样点的灰度值，h＝1、2、3、4，最后对相应的采样点进行组合并形成新的卷积图像，
步骤107重复步骤104～步骤106，直至使每个卷积图像得到64张特征向量维度为2×2的特征图，
步骤108输入图像神经元个数为64×2×2＝256个，将所有同类样本图像的256个最后特征值分别相加平均，得到各类含有256个特征值tw的车标分类理想输出特征向量Tk，k表示车标种类数且k＝1、2、3、…，Tk表示第k类车标分类理想输出特征向量，tw表示车标分类理想输出特征向量Tk的第w个特征值，w＝1、2、3、…、256；
所述的车标识别步骤包括：
步骤201获取待识别的车标图像并对待识别的车标图像进行定位，得到大小为44×44像素的车标区域精确定位灰度图像，令N＝1，对待识别的车标图像中的车标区域精确定位灰度图像进行步骤103至步骤107的处理，得到64张特征向量维度为2×2的特征图并得到含有256个特征值zw的待识别车标的输出向量Z，zw表示待识别车标的输出向量Z的第w个特征值，w＝1、2、3、…、256，
步骤202分别计算各个品牌的车标分类理想输出特征向量Tk的各个特征值tw与对应的待识别车标的输出向量Z的各个特征值zw之间的欧氏距离dk,w，所述欧氏距离dk,w为：dk,w＝|zw-tw|，如果dk,w<θd，则进入步骤203，否则，抛弃当前的dk,w，θd为距离阈值，距离阈值θd通常取值为2～3，本实施例中，θd＝2.5，
步骤203分别计算待识别车标与各类品牌车标的归属度Ωk，
dk,w为第k个品牌的车标分类理想输出特征向量Tk的第w个特征值tw与对应的待识别车标的输出向量Z的第w个特征值zw之间的欧氏距离，最大归属度中对应的品牌车标即为待识别车标。
所述车标区域精确定位灰度图像的取得可以采用多种公知方法，通常可以包括以下步骤：车标区域粗定位、车标区域粗定位彩色图像灰度化、车标区域粗定位灰度图像梯度计算、选取二值化分割阈值、对车标区域粗定位灰度图像进行二值化并得到二值化图像、对二值化图像进行形态学膨胀操作并得到车标区域粗定位二值化膨胀图像及对车标区域粗定位二值化膨胀图像的遍历，其中，
(1)车标区域粗定位是选择车辆原始图像中车牌上方距离为15～25个像素、固定区域大小为120*80像素作为车标区域粗定位彩色图像。
(2)车标区域粗定位彩色图像灰度化：
首先获得图像的彩色RGB分量：
colorLogoRegion_R
colorLogoRegion_G
colorLogoRegion_B
然后根据下列公式计算出灰度grayLogoRegion：
grayLogoRegion＝0.587*colorLogoRegion_B+0.299*colorLogoRegion_G+0.114*colorLogoRegion_R
得到车标区域粗定位灰度图像。
(3)车标区域粗定位灰度图像梯度计算：
采用水平和垂直梯度Sobel算子计算车标区域粗定位灰度图像梯度信息Ix和Iy。
Sobel算子用来进行边缘检测。边缘检测的理论基础为对灰度图像进行一阶导数(斜率)分析。边缘的一阶导数应是一个常数，而非边缘的一阶导数应为零。水平方向和垂直方向的导数即梯度。
实际应用中由于没有准确的函数可以求导，因此用3×3的卷积核来对图像进行近似求导。如横向求导，某一像素值的近似一阶导数为第三列元素之和减去第一列元素之和。
Sobel算子给第二列加了权重2，第一列和第三列权重为1。
横向卷积核为：
-1 0 1
-2 0 2
-3 0 1
其中A为与卷积核相同大小的3×3像素块，其中心点的水平梯度即为Ix，具体地，设某点(x,y)，取A为：
g(x-1，y-1) g(x，y-1) g(x+1，y-1)
g(x-1，y) g(x，y) g(x+1，y)
g(x-1，y+1) g(x，y+1) g(x+1，y+1)
则Ix＝(-1)*g(x-1,y-1)+0*g(x,y-1)+1*g(x+1,y-1)+(-2)*g(x-1,y)+0*g(x,y)+2*g(x+1,y)+(-1)*g(x-1,y+1)+0*g(x,y+1)+1*g(x+1,y+1)＝[g(x+1,y-1)+2*g(x+1,y)+g(x+1,y+1)]-[g(x-1,y-1)+2*g(x-1,y)+g(x-1,y+1)]
纵向卷积核为：
-1 -2 -1
0 0 0
1 2 1
其中A为与卷积核相同大小的像素块，其中心点的垂直梯度即为Iy，Iy计算方法参照Ix。
(4)选取二值化分割阈值：
采用以下公式保证阈值选取的准确性：
Tx＝(Ix_max–Ix_aver)×tx+Ix_aver
Ty＝(Iy_max-Iy_aver)×ty+Iy_aver
其中，Ix_max，Iy_max，Ix_aver，Iy_aver分别为X方向和Y方向上的梯度最大值和梯度平均值；tx和ty分别表示X方向和Y方向上的可调节参数。
tx,ty作为可调节参数在[0,1]之间。具体操作时可以在以下值附近选取：
tx＝(Ix_aver–Ix_min)/(Ix_max–Ix_min)
ty＝(Iy_aver–Iy_min)/(Iy_max–Iy_min)
(5)对车标区域粗定位灰度图像进行二值化并得到二值化图像：
在得到分割阈值后，按照以下公式对车标区域粗定位灰度图像进行二值化：
(6)对二值化图像进行形态学膨胀操作：
将车标区域粗定位二值化图像中值为1的像素点称为白点，值为0的点称为黑点，再对二值化图像进行水平方向的膨胀运算和垂直方向的膨胀运算后得到车标区域粗定位二值化膨胀图像：
水平方向的膨胀运算是对每个像素点在水平方向上进行膨胀运算，如像素点本身是白点，则仍为白点；否则，只要所述像素点的左右有一个是白点的，即将该点膨胀为白点；
垂直方向的膨胀运算是对每个像素点在垂直方向上进行膨胀运算，如像素点本身是白点，则仍为白点；否则，只要所述像素点的上下有一个是白点的，即将该点膨胀为白点。
(7)对车标区域粗定位二值化膨胀图像的遍历：
设定一个固定大小的滑动窗对整幅车标区域粗定位二值化膨胀图像进行遍历，找到白色像素最为集中的区域，将其定位为较为精确的车标区域。
具体来说，设置长宽均为44像素的滑动窗口44×44，滑动步长为1，在车标区域粗定位二值化膨胀图像上滑动、遍历，统计每个滑动窗口内白色像素点个数，找到白色像素点个数最多即白点最密集的窗口图像区域，将白点最密集的窗口图像区域作为精确的车标区域位置。
车标区域粗定位灰度图像中截取此位置相应的图像，得到车标区域精确定位灰度图像。
对于5000张10类车辆图片进行测试识别结果平均准确率为93.23％，识别平均速度为3.5ms，测试集含有不同类型的形变与噪声，表明本方法具有有效、准确、不需复杂的变量优化等优点。

Claims (3)

1.一种基于主成分分析卷积神经网络的车标自动识别方法，其特征在于，包括各类车标分类理想输出特征向量Tk取得的步骤及车标识别步骤，其中，Tk表示车标分类理想输出特征向量，k表示车标种类数，
所述各类车标分类理想输出特征向量Tk取得的步骤包括：
搜集作为样本图像的各类车标图像N份，分别对各类车标图像进行定位，得到大小为44×44像素的各类车标区域精确定位灰度图像N份，再通过训练卷积神经网络，确定并得到各类车标分类理想输出特征向量Tk，所述卷积神经网络的训练方法如下：
步骤101卷积神经网络训练参数设定，
分别取作为样本图像的各类车标的44×44像素的车标区域精确定位灰度图像N份，卷积核设为5×5，采样层采样范围2×2，
步骤102对样本图像进行灰度归一化处理，统一各个样本的图像亮度和对比度，得到归一化样本图像且归一化样本图像的像素值为G(i,j,n)，G(i,j,n)为第n个样本的归一化图像中的第i行第j列像素值，i、j＝均为正整数，
步骤103采用主成分分析滤波器为卷积核，所述卷积核是将64列向量分别排列为5×5方阵后得到的64个5×5卷积核，所述64个5×5卷积核采用如下方法得到：
步骤103-1：求得矩阵XN×1936的协方差矩阵C1936×1936，所述矩阵XN×1936是分别将N个归一化样本图像的每一个相同位置上的像素值G(i,j,n)拉成一个列向量，组成矩阵XN×1936，则矩阵X共有N行、44×44＝1936列；
步骤103-2：求协方差矩阵C1936×1936的特征值和特征向量，并将特征向量归一化为单位向量，
步骤103-3：选取最大的25个特征值并进行从大到小进行排序，再将所述25个特征值所对应的特征向量作为列向量组成特征向量矩阵V1936×25，
步骤103-4：将矩阵XN×1936在特征向量矩阵V1936×25上进行投影，得到矩阵FN×25且FN×25＝XN×1936*V1936×25，
随机在矩阵FN×25中取64列，将64列向量分别排列为5×5方阵后得到64个卷积核，64个卷积核的值为且m＝1、2、3、…、64，r1＝1，2，…，5，r2＝1，2，…，5，并将归一化样本图像作为初始化的卷积图像，开始对卷积图像进行卷积，
步骤104将第n张卷积图像第i行第j列的像素点的灰度值记为G′(i,j,n)，将卷积行向列向步长都设为1并用5×5的滑动窗口对卷积图像进行区域划分，划分出卷积图像的卷积区域，再分别用所述64个卷积核，对每张卷积图像的各个5×5卷积区域进行卷积，得到卷积特征值并作为像素点的准灰度值G″(i,j,n)：
其中，G″(i,j,n)为卷积后的第n张图像中第i行第j列像素点的灰度值，n表示卷积图像的序号；G′(i′,j′,n)为5×5卷积区域内的像素点的灰度值，并且，i′＝i,i+1,…,i+4，j′＝j,j+1,…,j+4；是第m个卷积核的权值，m表示卷积核的序号，并且，r1取值为1、2、3、4、5，r2取值为1、2、3、4、5；符号“*”表示二维卷积运算；
接着，对卷积后的图像像素点的灰度值G″(i,j,n)进行非线性激励函数f(x)变换，非线性激励函数f(x)采用：
步骤105重复步骤104，直至得到每张卷积图像对应64张特征图，
步骤106用行向列向采样步长为2的2×2采样区域，分别对各张卷积图像对应64张特征图进行采样，在每个2×2采样区域选出一个采样点(i′,j′)，采样点(i′,j′)的灰度值S(i′,j′)为：
其中，Max{C(h)}为2×2采样区域中的最大准灰度值，最后对相应的采样点进行组合并形成新的卷积图像，
步骤107重复步骤104～步骤106，直至使每个卷积图像得到64张特征向量维度为2×2的特征图，
步骤108输入图像神经元个数为64×2×2＝256个，将所有同类样本图像的256个最后特征值分别相加平均，得到各类含有256个特征值tw的车标分类理想输出特征向量Tk，k表示车标种类数且k＝1、2、3、…，Tk表示第k类车标分类理想输出特征向量，tw表示车标分类理想输出特征向量Tk的第w个特征值，w＝1、2、3、…、256；
所述的车标识别步骤包括：
步骤201获取待识别的车标图像并对待识别的车标图像进行定位，得到大小为44×44像素的车标区域精确定位灰度图像，令N＝1，对待识别的车标图像中的车标区域精确定位灰度图像进行步骤103至步骤107的处理，得到64张特征向量维度为2×2的特征图并得到含有256个特征值zw的待识别车标的输出向量Z，zw表示待识别车标的输出向量Z的第w个特征值，w＝1、2、3、…、256，
步骤202分别计算各个品牌的车标分类理想输出特征向量Tk的各个特征值tw与对应的待识别车标的输出向量Z的各个特征值zw之间的欧氏距离dk,w，所述欧氏距离dk,w为：dk,w＝|zw-tw|，如果dk,w<θd，则进入步骤203，否则，抛弃当前的dk,w，θd为距离阈值，
步骤203分别计算待识别车标与各类品牌车标的归属度Ωk，
dk,w为第k个品牌的车标分类理想输出特征向量Tk的第w个特征值tw与对应的待识别车标的输出向量Z的第w个特征值zw之间的欧氏距离，最大归属度中对应的品牌车标即为待识别车标。
2.根据权利要求1所述的基于主成分分析卷积神经网络的车标自动识别方法，其特征在于，车标区域精确定位灰度图像的取得包括以下步骤：车标区域粗定位、车标区域粗定位彩色图像灰度化、车标区域粗定位灰度图像梯度计算、选取二值化分割阈值、对车标区域粗定位灰度图像进行二值化并得到二值化图像、对二值化图像进行形态学膨胀操作并得到车标区域粗定位二值化膨胀图像及对车标区域粗定位二值化膨胀图像的遍历；所述车标区域粗定位二值化图像的形态学膨胀操作为：
将车标区域粗定位二值化图像中值为1的像素点称为白点，值为0的点称为黑点，再对二值化图像进行水平方向的膨胀运算和垂直方向的膨胀运算后得到车标区域粗定位二值化膨胀图像：
水平方向的膨胀运算是对每个像素点在水平方向上进行膨胀运算，如像素点本身是白点，则仍为白点；否则，只要所述像素点的左右有一个是白点的，即将所述像素点膨胀为白点；
垂直方向的膨胀运算是对每个像素点在垂直方向上进行膨胀运算，如像素点本身是白点，则仍为白点；否则，只要所述像素点的上下有一个是白点的，即将所述像素点膨胀为白点。
3.根据权利要求2所述的基于主成分分析卷积神经网络的车标自动识别方法，其特征在于，对车标区域粗定位二值化膨胀图像的遍历采用以下方法：设置长宽均为44像素的滑动窗口44×44，滑动步长为1，在车标区域粗定位二值化膨胀图像上滑动、遍历，统计每个滑动窗口内白色像素点个数，找到白色像素点个数最多即白点最密集的窗口图像区域，将白点最密集的窗口图像区域作为精确的车标区域位置。
CN201510902942.3A 2015-12-09 2015-12-09 基于主成分分析卷积神经网络的车标自动识别方法 Active CN105512684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510902942.3A CN105512684B (zh) 2015-12-09 2015-12-09 基于主成分分析卷积神经网络的车标自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510902942.3A CN105512684B (zh) 2015-12-09 2015-12-09 基于主成分分析卷积神经网络的车标自动识别方法

Publications (2)

Publication Number Publication Date
CN105512684A CN105512684A (zh) 2016-04-20
CN105512684B true CN105512684B (zh) 2018-08-28

Family

ID=55720650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510902942.3A Active CN105512684B (zh) 2015-12-09 2015-12-09 基于主成分分析卷积神经网络的车标自动识别方法

Country Status (1)

Country Link
CN (1) CN105512684B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056133A (zh) * 2016-05-19 2016-10-26 无线生活（杭州）信息科技有限公司 一种图像识别方法及装置
CN107506759A (zh) * 2016-06-14 2017-12-22 杭州海康威视数字技术股份有限公司 一种机动车品牌识别方法及装置
CN106250871A (zh) * 2016-08-16 2016-12-21 桂林电子科技大学 城市管理案件分类方法及装置
CN106354816B (zh) * 2016-08-30 2019-12-13 东软集团股份有限公司 一种视频图像处理方法及装置
CN107909026B (zh) * 2016-11-30 2021-08-13 深圳奥瞳科技有限责任公司 基于小规模卷积神经网络年龄和/或性别评估方法及系统
CN108629264B (zh) * 2017-03-18 2022-09-27 上海荆虹电子科技有限公司 用于图像处理的方法和装置
CN107194361B (zh) * 2017-05-27 2021-04-02 成都通甲优博科技有限责任公司 二维姿势检测方法及装置
CN109145928B (zh) * 2017-06-16 2020-10-27 杭州海康威视数字技术股份有限公司 一种基于图像的车头朝向识别方法及装置
CN107301417A (zh) * 2017-06-28 2017-10-27 广东工业大学 一种无监督多层神经网络的车辆品牌识别的方法及装置
CN107393523B (zh) * 2017-07-28 2020-11-13 深圳市盛路物联通讯技术有限公司 一种噪音监控方法及系统
CN107507198B (zh) * 2017-08-22 2019-11-19 中国民用航空总局第二研究所 飞机图像探测及追踪方法
CN107798335B (zh) * 2017-08-28 2020-02-18 浙江工业大学 一种融合滑动窗口与Faster R-CNN卷积神经网络的车标识别方法
CN107944390B (zh) * 2017-11-24 2018-08-24 西安科技大学 机动车行驶前方物体视频测距及方向定位方法
CN108304885A (zh) * 2018-02-28 2018-07-20 宜宾学院 一种Gabor小波CNN图像分类方法
CN108549866B (zh) * 2018-04-12 2020-06-23 上海海事大学 基于密集卷积神经网络的遥感飞机识别方法
CN108832986B (zh) * 2018-05-20 2021-03-16 北京工业大学 一种基于天地一体化的多源数据管控平台
CN112020723A (zh) * 2018-05-23 2020-12-01 富士通株式会社 用于语义分割的分类神经网络的训练方法及装置、电子设备
CN112036421A (zh) * 2019-05-16 2020-12-04 搜狗（杭州）智能科技有限公司 一种图像处理方法、装置和电子设备
CN111062922B (zh) * 2019-12-14 2024-02-20 创新奇智(北京)科技有限公司 一种翻拍图像的判别方法、系统及电子设备
CN111767928B (zh) * 2020-06-28 2023-08-08 中国矿业大学 基于卷积神经网络提取图像特征信息的方法及装置
CN113610221B (zh) * 2021-06-29 2024-02-13 西安电子科技大学 一种基于fpga的可变膨胀卷积运算硬件系统
CN115272985A (zh) * 2022-09-30 2022-11-01 南通通州意达港口机械有限公司 一种基于神经网络的安全帽智能调节方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046196A (zh) * 2015-06-11 2015-11-11 西安电子科技大学 基于级联卷积神经网络的前车车辆信息结构化输出方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046196A (zh) * 2015-06-11 2015-11-11 西安电子科技大学 基于级联卷积神经网络的前车车辆信息结构化输出方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Vehicle logo recognition in traffic images using HOG features and SVM;D.F.Llorca et al.;《IEEE》;20140130;全文 *
基于主成分分析和BP神经网络的车标识别;宁莹莹 等;《辽宁师范大学学报（自然科学版）》;20100630;全文 *
基于深度学习的车标识别方法研究;彭博;《计算机科学》;20150430;第42卷(第4期);全文 *

Also Published As

Publication number Publication date
CN105512684A (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
CN105512684B (zh) 基于主成分分析卷积神经网络的车标自动识别方法
CN110321813B (zh) 基于行人分割的跨域行人重识别方法
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN102117413B (zh) 基于多层特征的不良图像自动过滤方法
CN106295124B (zh) 多种图像检测技术综合分析基因子图相似概率量的方法
CN107122776A (zh) 一种基于卷积神经网络的交通标志检测与识别方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN105718866B (zh) 一种视觉目标检测与识别方法
CN108830188A (zh) 基于深度学习的车辆检测方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN110399821B (zh) 基于人脸表情识别的顾客满意度获取方法
CN109101938B (zh) 一种基于卷积神经网络的多标签年龄估计方法
CN104598885B (zh) 街景图像中的文字标牌检测与定位方法
CN110059586B (zh) 一种基于空洞残差注意力结构的虹膜定位分割系统
CN105913081B (zh) 基于改进的PCAnet的SAR图像分类方法
CN112580590A (zh) 一种基于多语义特征融合网络的指静脉识别方法
CN107590427B (zh) 基于时空兴趣点降噪的监控视频异常事件检测方法
CN104156734A (zh) 一种基于随机蕨分类器的全自主在线学习方法
CN109544546B (zh) 一种基于多目标优化的红外热图像缺陷特征提取方法
CN106295532A (zh) 一种视频图像中的人体动作识别方法
CN110264454A (zh) 基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法
Zhang et al. Polygon structure-guided hyperspectral image classification with single sample for strong geometric characteristics scenes
CN113947814A (zh) 一种基于时空信息增强和多尺度显著性特征提取的跨视角步态识别方法
CN111783698A (zh) 一种基于提高人脸识别模型训练稳定性的方法
CN106599834A (zh) 信息推送方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 214000 Jiangsu science and Technology Industrial Park, Xishan Economic Development Zone, Wuxi 1

Applicant after: Jiangsu aerospace Polytron Technologies Inc

Address before: 214000 Jiangsu science and Technology Industrial Park, Xishan Economic Development Zone, Wuxi 1

Applicant before: Jiangsu Daway Technologies Co., Ltd.

GR01 Patent grant
GR01 Patent grant