CN105205493A - 一种基于视频流的车标分类方法 - Google Patents

Abstract

本发明提供一种基于视频流的车标分类方法。由于Grassmann流形的核函数矩阵能够表示Grassmann流形上两点间的相似性度量，相对于现有技术中使用欧几里得空间的距离进行图像集合之间的分类，本发明基于Grassmann空间的距离实现图像集与图像集之间的分类，能更好突出对象在不同环境下的特征，能在保留特征的前提下减少计算量，提高识别效率，使分类更加准确。

Description

一种基于视频流的车标分类方法

技术领域

本发明属于数字图像处理技术领域，涉及车标识别技术。

技术背景

在许多计算机视觉的应用中，一个对象的特征是由一组图片表征的，在这组图片中每一幅图片都会突出该对象的一个或多个不同的特征例如视角和光照的不同或者是由于刚性或非刚性导致对象的变形等，使一些特征更明显或发生变化。特别是对于对象识别而言,人们普遍认为考虑整体对象集之间的相似关系有利于单个对象之间的相似关系。传统的基于单幅图像的鉴别分析方法由于表现场景中表现不够稳定，算法性能往往受图像质量、光照、姿态等因素的影响。随着实际应用的提高，以及视频采集技术的发展和互联网的普及，基于图像集的鉴别分析得到了越来越多的关注。基于图像识别以单幅图像表示一个个体，而基于图像集的识别可通过视频采集或不同时期、场景下得到的多幅图像组成的集合作为个体进行训练和识别。由于图像集本保函有更多的动态信息，通过提取动态特征，可以更有效地反应对象的本质，易于消除各种干扰因素的影响，使识别更具有稳定性，得到更准确的分类效果。车标识别则是车辆识别系统的重要一项，车标由于种类多、面积小、所在位置不固定等特征对于识别有相当大的难度，当前对于车标还没有非常有效的方法，识别技术主要有以下方法：

1、基于模板匹配的识别方法。基于模板匹配的识别方法易受图像旋转、变形、尺度变换影响，匹配方法基于二值化结果，图像二值化的准确度决定了识别率的高低，同时二值化后的图像轨迹的粗细也是影响识别结果的一个因素。为了提高识别准确率，往往需要使用更多的二值模板进行匹配，即同一类图像制作多个模板，这样导致处理时间大大的增加。详见：邢向华,顾国华.基于模板匹配和特征点匹配相结合的快速车牌识别方法.光电子技术,2003,23(4):268-270

2、基于PCA和边缘不变矩的车标识别新方法。由于基于PCA算法首先需要计算投影矩阵，由于车标的种类比较多、在车辆图片中的比例比较小、噪声比较多，从而导致不同车标在投影矩阵中的投影较相似难以区分，识别率较低。详见：WANGMei，WANGGuo-hong，GAOXiao-lin，eta1.Newmethodofvehicle-logorecognitionbaseonPCAandEdgeinvariantmoment.ComputerEngineeringandApplications，2008，44(4)：224—226.

3、基于HOG特征的识别算法。该方法对车标图像提取HOG特征，将特征转换为“01”二进制码，表征该字符图像的“指纹”信息，通过与字符模板库中的“指纹”信息进行汉明距离比较，找出该图像对应的类别。详见：李驰.智能交通中的车牌识别算法研究.华中科技大学.硕士学位论文，2012.2

发明内容

本发明所要解决的技术问题是，提供一种基于格拉斯曼Grassmann流形的视频流的车标识别算法。

本发明为解决上述技术问题所采样的技术方案是，一种基于视频流的车标分类方法，包括以下步骤：

1训练阶段

1.1预处理

建立训练集{x_1,x₂…x_n}，n表示训练集中车标图片总数，确定样本车标类总数为C，车标类集合为{1,2,…C,unlabelled}，unlabelled表示未标记的类；

对每一个样本车标类下的图片进行分组，每一组包含该车标类下的k幅图片；每一个样本车标类包含多种光照与角度下的该车标类下的车标图片；训练集中所有车标类下的图片共分为N组；

将每一幅图片的像素值拉成一维的列向量，一组图片形成列数为k的图形矩阵M_i；

对图形矩阵M_i进行奇异值分解SVD得到D个特征值对应的特征向量组成的特征矩阵X_i，从而得到所有已标记车标类下训练样本y_i表示第i组图片对应的车标类；

1.2训练

将训练样本X输入最近邻分类器进行训练，根据输入的训练样本X计算Grassmann流形的核函数矩阵K_i，并构建领域图计算出投影矩阵A，得到训练样本在特征空间上的投影向量V_i＝A^TK_i；

2识别阶段

2.1车标定位：

对输入图片进行车标定位，确定车标区域得到车标图片；

2.2车标识别：

对车标图片进行奇异值分解SVD得到D个特征值对应的特征向量组成的特征矩阵X_q作为测试样本，再根据测试样本计算核函数矩阵K_q，最终得到测试样本在特征空间上的投影向量V_q＝A^TK_q，A为投影矩阵，i^T表示矩阵转置，

将测试样本投影向量V_q输入最近邻分类器，最近邻分类器根据测试样本投影向量V_q与各训练样本投影向量的欧式距离进行车标分类。

本发明的有益效果是，由于Grassmann流形的核函数矩阵能够表示Grassmann流形上两点间的相似性度量，相对于现有技术中使用欧几里得空间的距离进行图像集合之间的分类，本发明基于Grassmann空间的距离实现图像集与图像集之间的分类，能更好突出对象在不同环境下的特征，能在保留特征的前提下减少计算量，提高识别效率，使分类更加准确。

具体实施方式

为了方便地描述本发明内容，首先对一些现有术语进行定义。

定义1、Grassmann流形G(m,D)是D维欧几里得空间R^D的m维线性子空间的集合。即：G(m,D)＝Ο(D)/Ο(m)×Ο(D-m)其中O(m)表示m×m维的单位正交矩阵。一个线性子空间可看作Grassmann流形上的一个点，G(m,D)上的元素可以由一个D×m正交矩阵Y_D×m表示。Y^TY＝I_m为m×m的单位矩阵。

定义2、Grassmann流形上的主角。线性子空间之间的距离通常是基于主角(principalangle)的。

假设P₁和P₂为任意两个D×m维正交矩阵，即P₁∈R^D×m，P₂∈R^D×m，其生成的子空间L₁＝span(p₁)和L₂＝span(p₂)之间的主角0≤θ₁≤θ₂≤…≤θ_m≤π/2定义：

约束条件为：

主角可以通过(SVD)矩阵的奇异值分解得到

正交矩阵Y₁和Y₂即：span(p₁)和span(p₂)，且特征值为λ_i＝cosθ_i。

定义3、Grassmann流形上的距离。假设χ为任意图像集，作为一种距离度量d:对于任意的X₁,X₂,X₃∈χ，首先要满足以下四个条件：

1.d(X₁,X₂)≥0

2.d(X₁,X₂)＝0当且仅当X₁＝X₂

3.d(X₁,X₂)＝d(X₂,X₁)

4.d(X₁,X₂)+d(X₂,X₃)≥d(X₁,X₃)

Grassmann流形G(m,D)是R^D中所有m维线性子空间的合集，若图像集X₁、X₂用线性子空间描述，则他们之间的Grassmann距离可以用两个子空间之间的主角来表示，如：

测地距离(弧长)：

投影距离：

主角本身就是一种直观且计算简便的定义Grassmann流形上两个子空间距离的方法。主角可以认为是Grassmann距离的简单形式，其反映的是子空间每一维数上的相似度量，而Grassmann距离更能反映子空间沿流形表面的几何结构上的差异。

定义4、Grassmann上的核函数

Grassmann流形上两点间的相似性度量可以由Grassmann核来表示，下面给出相应的Grassmann流形上的核函数定义。

假设χ为任意图像集，对任意的X_i,X_j∈χ，定义对乘实值函数k:k(X_i,X_j)＝k(X_j,X_i)。若对于所有X₁,…,X_n(X_i∈χ)，满足则k给正定核函数。Grassman核函数为G上的正定核函数。

投影核projectionkernel。投影距离可以理解为Grassmann流形上的一个样本点span(X)到投影矩阵XX^T的映射：span(X)→XX^T，投影Ψ_p(G(m,D))为一组秩为m的正交投影矩阵，对应的空间上的内积为因此，投影核可定义为：

通过Grassmann核可以将Grassmann空间看作是欧几里得(Euclidean)向量空间来处理，因此向量空间中的方法可以很容易移植到Grassmann流行上。

实施例技术方案如下：

车标定位

样本图片与测试图片均可以通过以下车标定位的方法来确定车标位置。

步骤1-1：车牌定位

按照人的视觉感受，车牌、车标及车辆的具体类型是车头图像中最有价值的特征信息。车牌是整个车辆信息中最重要的特征，他相当于车辆的“身份证”。车牌区域具有边缘丰富，背景与颜色特征固定等特征。因此本文采用车牌的空间边缘信息和颜色信息对车牌进行定位，再利用车牌图像的特征进行伪车牌图像的多重判断，得出更为可靠的定位结果。

步骤1-2：车标粗定位

根据车辆的车头部分的拓扑结构关系，车标处于车牌区域的正上方中间位置，周围是本车型特有的横条花纹，从而可以在定位车牌的基础上去寻找车标的位置。取车牌定位矩形区域(x₁,y₁,height₁,width₁)，x₁为矩形区域左上角点的横坐标，y₁为矩形区域左上角点的纵坐标，height₁为矩形区域的高，width₁为矩形区域的宽。车标的大体区域可以定位为：(x₁,y₁-5*height₁,5*height₁,width₁)即牌上方5倍车牌高度的区域。

步骤1-3：车标精定位

车标具有复杂的纹理信息，车标种类和车标背景区域(散热片)纹理也有许多种，根据纹理信息和位置信息，首先对粗定位区域进行灰度图像的边缘检测，得到边缘信息，再对图像进行形态学处理进行闭运算，使车标区域整体显现，由于车标背景具有对称性，以矩形区域中间位置为起点对左右对称的疑似车标背景区域进行去除，根据位置信息和纹理信息最终确定车标区域。

车标识别

采用最近邻分类器进行分类

原理：给定Grassmann流形G上N个数据点其中y_i∈{1,2,…C,unlabelled}为样本标记，C为样本类别总数，未标记为unlabelled。Grassmann流形的局部几何结构可以由邻域图W来描述。W由公式定义为：

X_jGrassmann流形G上某个数据点，0≤γ≤1，0≤β≤1，knn(X_i)为X_i的邻域距离即Grassmann流形核距离大小。我们的目标是将数据点X投影到新的流形X'之后，在保持数据几何结构的同时最大化模型的鉴别能力。投影记作α:G→G`,X_i→Y_i，定义目标函数：假设流形上的点并没有显示表示，而是仅知道点之间的相似度量，用Grassmann核函数表示，即k_ij＝<X_i,X_j>

类似KPCA，考虑线性变换，高维空间中的特征向量α_i可由X_i的线性组合表示，即有Y_i＝[<α₁,X_i>,<α₂,X_i>,…<α_d,X_i>]^T，其中d为G`上子空间的维数，即G`为上d维子空间所在的Grassmann流形，特征向量α_i构成投影矩阵α＝[α₁,…,α_d]。

记A_l＝(α_l1,…α_lN)^T，K_i＝(k_1i,…k_Ni)^T，则

代入目标函数，可得：

其中，A＝[A₁|A₂|…|A_d]，K＝[K₁|K₂|…|K_N]。加入约束条件A^TKDK^TA＝1，且将目标函数转化为最大化问题，有：

min{A^TKDK^TA-A^TKWK^TA}

＝min{1-A^TKWK^TA}约束条件：A^TKDK^TA＝1

＝max{A^TKWK^TA}

最大化准则函数可以转换为特征值求解问题：KWK^TA＝λKDK^TA保留d个最大的特征值对应的特征向量，得到投影A＝[A₁|A₂|…|A_d]。

一旦得到了投影A，Grassmann上的分类问题将转化为向量空间的分类。对于一个输入的图像X_q，将其投影到特征空间，在第k个特征向量上的投影为：

其中k_q＝[<X₁,X_q>,…,<X_N,X_q>]^T，最后特征空间上的投影向量为V_q＝A^TK_q。对于训练集中的样本，同样做投影V_i＝A^TK_i，最后根据最近邻分类器进行分类。

一、训练阶段

1.1训练集的预处理

假设训练集{x_1,x₂…x_n}中有n幅图片，分别属于C个不同的类，即标记为{y_1,y₂…y_n}且y_i∈{1,2,…C,unlabelled}，对每个图集类中的每k个图片分为一组，每一个样本车标类包含多种光照与角度下的该车标类下的车标图片，把每一幅图片x_i＝M_p×q拉成一维的列向量u_i＝M_1×pq从而k幅图片组成为k×m(m＝pq)的矩阵在对M_i进行奇异值分解取SVD最大的D个特征值对应的特征向量组成的特征矩阵从而得到训练样本其中为训练样本中任意两个特征矩阵，y_i∈{1,2,…C,unlabelled}为样本标记，C为样本类别总数，未标记记为unlabelled。

1.2输入最近邻分类器

1、训练样本其中为子空间的正交基，由图像集上的SVD分解得到。y_i∈{1,2,…C,unlabelled}为样本标记，训练集中所有车标类下的图片共分为N组；

1.3最近邻分类器训练过程

1、对所有的X_i和X_j，X_i和X_j表示训练样本中任意两个计算核函数矩阵[K]_ij；

2、选取近邻，构建邻域图，并计算权值矩阵W以及对角阵D

3、计算投影矩阵A，求解下式特征值分解问题：

KWK^TA＝λKDK^TA保留d个最大的特征值对应的特征向量，得到投影矩阵A＝[A₁|A₂…|A_d]

二、识别阶段，车标位置的确定见上述的车标定位；

1、对车标图片进行奇异值分解SVD得到D个特征值对应的特征向量组成的特征矩阵X_q作为测试样本，将测试样本X_q输入最近邻分类器；

2、根据测试样本计算核函数矩阵K_q；

3、计算测试样本在特征空间上的投影向量V_q＝A^TK_q；

4、最近邻分类器根据测试样本投影向量V_q与各训练样本投影向量的欧式距离进行车标分类；

5、输出：X_q的类别标记y_q。

Claims (2)

1.一种基于视频流的车标分类方法，其特征在于，包括以下步骤：

1训练阶段

1.1预处理

建立训练集{x₁,x₂…x_n}，n表示训练集中车标图片总数，确定样本车标类总数为C，车标类集合为{1,2,…C,unlabelled}，unlabelled表示未标记的类；

对每一个样本车标类下的图片进行分组，每一组包含该车标类下的k幅图片；每一个样本车标类包含多种光照与角度下的该车标类下的车标图片；训练集中所有车标类下的图片共分为N组；

将每一幅图片的像素值拉成一维的列向量，一组图片形成列数为k的图形矩阵M_i；

对图形矩阵M_i进行奇异值分解SVD得到D个特征值对应的特征向量组成的特征矩阵X_i，从而得到所有已标记车标类下训练样本y_i表示第i组图片对应的车标类；

1.2训练

将训练样本X输入最近邻分类器进行训练，根据输入的训练样本X计算Grassmann流形的核函数矩阵K_i，并构建领域图计算出投影矩阵A，得到训练样本在特征空间上的投影向量V_i＝A^TK_i；

2识别阶段

2.1车标定位：

对输入图片进行车标定位，确定车标区域得到车标图片；

2.2车标识别：

对车标图片进行奇异值分解SVD得到D个特征值对应的特征向量组成的特征矩阵X_q作为测试样本，再根据测试样本计算核函数矩阵K_q，最终得到测试样本在特征空间上的投影向量V_q＝A^TK_q，A为投影矩阵，·^T表示矩阵转置，

将测试样本投影向量V_q输入最近邻分类器，最近邻分类器根据测试样本投影向量V_q与各训练样本投影向量的欧式距离进行车标分类。

2.如权利要求1所述一种基于视频流的车标分类方法，其特征在于，车标定位中车标区域的确定方法为：

先确定车牌所在的矩形区域(x₁,y₁,height₁,width₁)，x₁为矩形区域左上角点的横坐标，y₁为矩形区域左上角点的纵坐标，height₁为矩形区域的高，width₁为矩形区域的宽，再将车牌上方5倍车牌高度的区域作为车标粗定位区域(x₁,y₁-5*height₁,5*height₁,width₁)；

在车标粗定位区域内根据纹理信息从车标粗定位区域的中间位置为起点去除具有左右对称性的粗车标背景区域后得到车标精定位区域。