CN102651075B - 车辆识别模型训练方法、车辆识别方法及装置 - Google Patents

Abstract

本发明提供了一种车辆识别模型训练方法，包括：搜集图像样本；变换搜集到的图像样本；用尺度不变特征变换特征矩阵表示变换后的图像样本；抽取各个图像样本的尺度不变特征变换特征矩阵中的部分特征组成特征空间；对特征空间进行稀疏编码，得到稀疏编码特征基矩阵；计算各图像样本的多尺度最大特征向量；确定线性分类器的参数。本发明的车辆识别模型训练方法能够降低算法的复杂度、占用存储空间及计算时间，从而快速地进行车辆识别，同时提高车辆识别的准确性。本发明还提供一种基于前述车辆识别模型训练方法的车辆识别方法及车辆识别装置。

Description

车辆识别模型训练方法、车辆识别方法及装置

技术领域

本发明涉及车辆识别技术领域，特别是涉及一种车辆识别模型训练方法、车辆识别方法及车辆识别装置。

背景技术

随着技术的发展，在现代智能交通系统中，基于监控视频的车辆检测识别方法已经逐步取代线圈传感器检测方法，成为了智能交通系统中车辆检测的主流手段和发展趋势。

基于监控视频的车辆检测识别方法的识别率是现代智能交通系统的重要的指标，在很大程度上决定了智能交通系统的优劣。如何提高违规车辆的识别率，降低误判率是当前智能交通行业的研究热点和难点。

目前在目标识别分类领域比较成功方法是使用非线性SVM(supportvector machine，支持向量机)算法，其能够得到较高的分类准确率。但是，非线性SVM算法计算复杂度高，假设n为训练样本数，在模型训练时其计算时间复杂度为O(n³)，存储复杂度为O(n²)，在检测图像时，其计算复杂度是O(n)。可见，在训练模型过程中，非线性SVM的训练复杂度是随着样本数量增加而呈非线性的快速增长，即使在检测图像的过程中，其计算复杂度也随样本数量增加而增加。而计算机有限的计算能力不能无限地满足其迅猛增长的计算和存储需求，这就制约了其模型所使用的训练样本数量不宜很大，限制了其在现代智能交通系统中的应用。因为后者需要检测出众多厂商生产的，型号、尺寸、色彩等方面差异很大的所有车辆，这就要求必须使用至少数以万计的训练样本来训练模型，以保证模型的通用性。如此之大的模型样本数量带来的庞大计算量，对现有的计算机系统的计算能力而言仍是一个沉重的负担，因此，此种方法无法快速高效的对车辆进行检测识别。

发明内容

本发明所要解决的技术问题是提供一种车辆识别模型训练方法、车辆识别方法及车辆识别装置，能够降低算法的复杂度、占用存储空间及计算时间，从而快速地进行车辆识别，同时提高车辆识别的准确性。

为了解决上述问题，本发明公开了一种车辆识别模型训练方法，包括以下步骤：

搜集图像样本；

变换搜集到的图像样本；

用尺度不变特征变换特征矩阵表示变换后的图像样本；

抽取各个图像样本的尺度不变特征变换特征矩阵中的部分特征组成特征空间；

对特征空间进行稀疏编码，得到稀疏编码特征基矩阵；

计算各图像样本的多尺度最大特征向量；

确定线性分类器的参数。

进一步地，所述用尺度不变特征变换特征矩阵表示变换后的图像样本包括：

将变换后的图像样本划分为N×N块，每一块由D维SIFT向量表示，组成大小为N²×D的尺度不变特征变换特征矩阵，所述N与D为常数。

进一步地，所述抽取各个图像样本的SIFT特征矩阵中的部分特征组成特征空间的大小为：N²×M，M≤D×n，所述n为训练样本总数。

进一步地，所述多尺度最大特征向量使用基于稀疏编码统计的最大归并函数计算。

进一步地，所述线性分类器中的参数采用基于方向梯度的有限存储算法求得。

进一步地，所述变换搜集的图像样本包括：

若搜集到的图像样本为彩色图像，则将彩色图像转换为灰度图像，再进行尺度缩放；

若搜集到的图像样本为灰度图像，则对灰度图像进行尺度缩放。

为了解决上述问题，本发明还公开了一种车辆检测识别方法，包括以下步骤：

获取图像；

变换获取的图像；

用尺度不变特征变换特征矩阵表示变换后的图像；

根据稀疏编码特征基矩阵和尺度不变特征变换特征矩阵计算所获取图像的多尺度最大特征向量；

将所获取图像的多尺度最大特征向量输入线性分类器；

根据线性分类器的输出结果对所获取图像进行分类识别。

进一步地，所述根据线性分类器的输出结果对所获取图像进行分类识别包括：

若线性分类器输出结果大于零，则表示获取图像为车的图像；

若线性分类器输出结果小于零，则表示获取图像为非车物体的图像。

为了解决上述问题，本发明还公开了一种车辆识别装置，包括：

图像获取模块，用于获取实时监测的图像；

图像变换模块，对图像获取模块所获取的图像进行变换，以得到预定尺度的灰度图像；

图像特征提取模块，用于从变换后的灰度图像中提取尺度不变特征变换特征矩阵；

计算模块，根据已有的稀疏编码特征基矩阵与图像特征提取模块提取的尺度不变特征变换特征矩阵计算出该图像的多尺度最大特征向量；

线性分类器，计算出获取图像的识别值；

分类模块，判断所获取的图像的类别。

与现有技术相比，本发明具有以下优点：

本发明的车辆识别模型训练方法、车辆识别方法及车辆识别装置，采用稀疏编码和线性SVM结合的方式来进行模型训练及车辆识别。在模型训练及车辆识别的过程中，稀疏编码因为所受的限制性约束较少，重建错误也较少，因为在模型训练及车辆识别中所获取的图像为稀疏信号，采用稀疏编码来进行分析可以得到较为准确的结果。另外，采用最大归并函数计算可以使在模型训练中的统计结果及车辆识别时的识别结果较为准确。另外，假设n为训练样本数，若使用线性SVM，在训练模型时，其训练复杂度为O(n)，是随着样本数线性增长，因此其训练复杂度相较于使用非线性SVM的非线性增长来说会有显著的降低，而检测时，其计算复杂度为一固定常数，不会随样本数增加而增加，相对于非线性SVM的计算复杂度也会有显著的降低，具有计算速度快，占用存储空间小的特点。因此，采用线性SVM和稀疏编码结合使用，能够降低算法的复杂度、计算时间及占用存储空间，与稀疏编码结合使用，能够快速地进行车辆识别，同时也提高了车辆识别的准确性。

附图说明

图1是本发明的车辆识别模型训练方法实施例的流程图；

图2是本发明的车辆识别方法实施例的流程图；

图3是本发明的车辆识别装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明的车辆识别模型训练方法、车辆识别方法及车辆识别装置是基于已经训练好的模型及获取的图像的特征来对图像进行识别。在实际操作中，首先需要建立模型，并通过采集大量的图像样本来训练模型，以确定模型的各项参数。在进行车辆识别时，则可以根据模型和图像特征来判定需要识别的图像所属的类型，从而实现车辆的识别。

下面，对本发明的车辆识别模型训练方法实施例进行说明：

步骤101，搜集图像样本。

其中，样本包括正样本和负样本，因为该模型是用于车辆识别，所以正样本为各种汽车图片，负样本则为道路上可能出现的除车辆以外的其他物体的图片，如路面、行人、树木等。为了保证模型的精确性，图像样本的数量需要足够大，则样本所涉及的物体总类也需要足够多。

步骤102，变换搜集到的图像样本。

为了使模型的训练结果精准，首先需要统一图像样本。本实施例中，图像样本需要转换为一预定尺寸的灰度样本。因此，如果搜集到的图像样本为彩色图像，则需要先将彩色图像转换为灰度图像，再对灰度图像进行尺度缩放至预定的尺寸。如果搜集到的图像样本为灰度图像，则直接将灰度图像缩放至预定的尺寸。

搜集到的彩色图像样本转换为灰度图像，可以通过如下公式转换：

Gray＝R×0.299+G×0.587+B×0.114    (1)

式中，Gray为灰度值，R、G、B为彩色图像红绿蓝三个颜色分量。

尺度缩放使用双线性插值进行，插值公式如下，

f(i+u，j+v)＝(1-u)(1-v)f(i，j)+(1-u)vf(i，j+1)    (2)

       +u(1-v)f(i+1，j)+uvf(i+1，j+1)

其中，f(i，j)表示第i行j列的像素值，0＜u，v＜1。

步骤103，用尺度不变特征变换特征矩阵表示变换后的图像样本。

将步骤102中变换后所得到的每一个灰度图像样本划分成N×N块，每一块用D维尺度不变特征变换(SIFT)特征向量表示，那么变换后的图像则可由大小为N²×D的尺度不变特征变换特征矩阵T表示。其中，N和D为常数，其取值可以根据需要来确定，例如，N取7，D取128。

步骤104，抽取各个图像样本的尺度不变特征变换特征矩阵中的部分特征组成特征空间。

对各个样本图像的尺度不变特征变换特征矩阵T抽样组成一个新的N²×M的二维的特征空间X。(常数M≤D×n，其中，n为训练样本总数)。其中，M越大，精度越高，但计算开销也越大，因此一般情况下，当n足够多时，可设置M＝20000。

步骤105，对特征空间进行稀疏编码，得到稀疏编码特征基矩阵。

其中，所用稀疏编码公式如下所示，

$\underset{B,S}{\min }\frac{1}{2{\mathrm{\σ}}^2}{\left|\right|X-\mathrm{BS}\left|\right|}_F^2+\mathrm{\β}\underset{i.j}{\mathrm{\Σ}}\mathrm{\φ}\left(S_{i,j}\right)---\left(3\right)$

约束条件为

其中B是基矩阵，S是系数矩阵，σ、β、c都是常数，φ(□)是稀疏函数。可以看出稀疏编码的实质是如公式

(4)形式的非线性优化的求解问题。

其中，γ为常数。对于公式

(3)，固定B时，可以对S进行优化，固定S时，可以对B进行优化，如此交替固定B、S，递归迭代计算。经过若干次迭代计算之后(为保证数据足够收敛，迭代次数一般不小于50次)，得到大小为N²×L稀疏编码特征基矩阵B，其中L是常数，通常设置成2的幂数，如32、64、128、256等，为了兼顾计算效率和系统开销，本发明中设置L＝128。

步骤106，计算各图像样本的多尺度最大特征向量。

对于一个样本图像，由稀疏编码特征基矩阵B和该样本的尺度不变特征变换特征矩阵T，根据公式

(5)，进行非线性优化，可得L×D特征描述矩阵U。

$\underset{U}{\min }={\left|\right|T-\mathrm{BU}\left|\right|}^2---\left(5\right)$

在本发明中，使用基于稀疏编码统计的最大归并函数来计算每个样本图像的空间多尺度最大特征向量z，如公式z_j＝max{|u_1j|，|u_2j|，...，|u_Rj|}(6)所示，

z_j＝max{|u_1j|，|u_2j|，...，|u_Rj|}    (6)

其中，z_j是z的第j个元素，u_ij是U的第i行、j列的元素，R是本区域的局部描述子的数量，存储包含所有样本的特征向量集{z}，记录每个多尺度最大特征向量z所属类别。本发明中，所属类别分为车或非车两种。

步骤107，确定线性分类器的参数。

本本发明中，线性分类器为通过将多尺度最大特征向量代入线性函数来判别车辆所属的类别。因此，在获取了每个样本的多尺度最大特征向量后，且因为获取样本时已经知道样本所属的类别，则可以通过各样本的多尺度最大特征向量以及样本类别来反向确定线性分类器中线性函数的参数。

具体的，线性分类器中的线性函数如公式

(6)所示，

$f\left(z\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\α\κ}(z,z_i)+b---\left(6\right)$

其中κ(z，z_i)称为核。如果f(z)＞0，则该图像被判定为正，属于车的图像，否则认为这幅图像为负，属于除车以外的其他物体的图像。

本发明中，在训练模型以及对车辆的分类检测时，在稀疏编码后使用线性空间金字塔匹配核，如公式

(7)所示，

$\mathrm{\κ}(z_i,z_j)=z_i^T{z}_j---\left(7\right)$

则线性函数可以如公式(8)所示，

$f\left(z\right)={\left(\underset{i}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_i{z}_i\right)}^{T}z+b=w^{T}z+b---\left(8\right)$

其中，采用基于方向梯度的有限存储(L-BFGS，Limited memoryvariation of the Broyden-Fletcher-Goldfarb-Shanno)算法求得参数w、b。因为在采集样本的时候，将车的样本设置为正样本，非车物体的样本作为负样本，那么，通过此处的线性函数表示，则为当f(z)＞0时，则表示为车，f(z)＜0时，则表示为非车。

本发明的车辆识别模型训练方法实施例中，采用稀疏编码和线性SVM结合的方式。在模型训练及车辆识别的过程中，稀疏编码因为所受的限制性约束较少，重建错误也较少，因为在模型训练及车辆识别中所获取的图像为稀疏信号，采用稀疏编码来进行分析可以得到较为准确的结果。另外，采用最大归并函数计算可以使在模型训练中的统计结果及车辆识别时的识别结果较为准确。另外，假设n为训练样本数，若使用线性SVM，在训练模型时，其训练复杂度为O(n)，是随着样本数线性增长，因此其训练复杂度相较于使用非线性SVM的非线性增长来说会有显著的降低，而检测时，其计算复杂度为一固定常数，不会随样本数增加而增加，相对于非线性SVM的计算复杂度也会有显著的降低，具有计算速度快，占用存储空间小的特点。因此，采用线性SVM和稀疏编码结合使用，能够降低算法的复杂度、计算时间及占用存储空间，从而能够快速地进行车辆识别，同时也提高了车辆识别的准确性。可以在车辆识别的过程中，降低计算复杂度，减少系统消耗，缩短计算时间的同时，提高车辆识别的准确率。

下面，结合具体的实例对前述车辆识别模型训练方法实施例进行说明。

首先，搜集样本。为保证车辆识别模型的精确性、合理性，训练模型的样本要求数量大，涵盖面广。搜集训练样本总数n＝120000，其中，各种车辆的图像为正样本，共有40000张。只含有路面、树木、行人、自行车及摩托等经常在路上出现的非车物体的图像为负样本，共有80000张。正样本中涵盖了小汽车、皮卡、大货车、公交车和特种工程车等的车型，大部分为车前拍摄和车尾拍摄，侧面拍摄的车辆图像占20％，正样本中30％为夜间拍摄。负样本中多为简单的路面图像，行人等较复杂的背景占20％，白天夜间样本数量比为4∶1。

把每一幅样本图像变换为128×128像素的灰度图像。并对灰度图像的SIFT特征提取。设置N＝7，D＝128。一帧图像由一个49×128的SIFT特征矩阵表示。

合成N²×M的二维的特征空间X。可设置M＝D×n，为保证效果，样本数量应足够多，使M不小于10000。但M值越大，计算量越大，消耗系统资源越多。在智能交通系统实际应用中，当样本数量足够时，为了兼顾计算效率，本实例中M＝20000(M≤D×n)，X即是对各个样本图像的SIFT特征矩阵T进行随机分段采样组成的49×20000的二维矩阵。

特征空间X进行稀疏编码。为保证编码结果的稳定性，迭代次数设置为50次或者更高。稀疏编码特征基矩阵B的列数L＜＜D，本实例中，L＝128。

计算多尺度最大特征向量z。对于每个训练样本图像，根据稀疏编码特征基矩阵B和该样本的SIFT特征矩阵T，计算出该图像的多尺度最大特征向量z。对于整个训练样本集，可得向量集{z}。

根据多尺度最大特征向量及线性函数，使用L-BFGS算法计算线性分类器参数w、b，并存储w、b到模型。

参照图2，示出本发明的车辆识别方法实施例，包括以下步骤：

步骤201，获取图像。

图像可以通过各种图像获取设备来获取，如路口或者卡口等监测摄像头中实时获取。

步骤202，变换获取的图像。

当获取的图像为彩色图像时，则变换图像包括色度和尺寸的变换，即先将获取的彩色图像转换为灰度图像，再将灰度图像缩放预定的尺寸。当获取的图像为灰度图像时，则只需要缩放图像到预定的尺寸。其中，将彩色图像转换为灰度图像及对灰度图像的尺度缩放的方式及所采用的公式与前述的车辆识别模型训练方法中的相同。

步骤203，计算变换后图像的尺度不变特征变换特征矩阵。

将步骤202中变换后所得到的灰度图像划分成N×N块，每一块用D维SIFT向量表示，那么变换后的图像则可由大小为N²×D的SIFT特征矩阵表示。其中，N和D为常数，其取值可以根据需要来确定，例如，N取7，D取128。

步骤204，根据稀疏编码特征基矩阵和尺度不变特征变换特征矩阵计算得到所获取图像的多尺度最大特征向量；

根据车辆识别模型中所确定的稀疏编码特征基矩阵、前一步所获取的图像的SIFT特征矩阵以及前述实施例中的计算多尺度最大特征向量的公式(6)，可以计算出所获取图像的多尺度最大特征向量。

步骤205，将多尺度最大特征向量输入线性分类器。

步骤206，根据线性分类器输出结果对获取的图像进行识别。

因为车辆识别模型已经确定了线性分类器的参数w、b，则将多尺度最大特征向量输入线性分类器则可以计算出f(z)的值。如果f(z)＞0，表示所获取的图像为车，则说明监测的区域内有车。如果f(z)＜0，表示所获取的图像为非车物体，则说明监测的区域内没有车。

在实际应用中，则可以根据识别的结果来做相应的提示，例如，如果在红灯或者特定的监控环境下，如果在监测区域检测到车辆，则会触发智能交通系统实现抓拍或者报警等。

参照图3，示出本发明的车辆识别装置100，包括图像获取模块10、图像变换模块20、图像特征提取模块30、计算模块40、线性分类器50及分类模块60。

图像获取模块10，用于获取实时监测的图像，并将获取的图像传递给图像变换模块20。

图像变换模块20，对图像获取模块10所获取的图像进行变换，以得到灰度图像。

图像特征提取模块30，用于从图像变换模块20变换后的灰度图像中提取SIFT特征，并组成特征矩阵。

计算模块40，根据已有的稀疏编码特征基矩阵与图像特征提取模块30提取的SIFT特征矩阵计算出该图像的最大特征向量。

线性分类器50，根据计算模块40计算的最大特征向量计算出识别值，并传递给分类模块60。

分类模块60，根据线性分类器50所计算出的值判断所获取的图像的类别。

本发明的车辆识别模型训练方法、车辆识别方法及车辆识别装置中，通过采用稀疏编码与线性SVM结合的方式，可以在车辆识别的过程中，降低计算复杂度，减少系统消耗，缩短计算时间的同时，提高车辆识别的准确率。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的车辆识别模型训练方法、车辆识别方法及车辆识别装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种车辆识别模型训练方法，其特征在于，包括以下步骤：

搜集图像样本；

变换搜集到的图像样本；

用尺度不变特征变换特征矩阵表示变换后的图像样本；所述用尺度不变特征变换特征矩阵表示变换后的图像样本包括：将变换后的图像样本划分为N×N块，每一块由D维SIFT向量表示，组成大小为N²×D的尺度不变特征变换特征矩阵，所述N与D为常数；

抽取各个图像样本的尺度不变特征变换特征矩阵中的部分特征组成特征空间；其中，组成所述特征空间的步骤包括：对各个样本图像的尺度不变特征变换特征矩阵抽样组成一个新的N²×M的二维特征空间；其中，M为常数，且M≤D×n，n为训练样本总数；

对特征空间进行稀疏编码，得到稀疏编码特征基矩阵；

根据稀疏编码特征基矩阵和尺度不变特征变换特征矩阵，计算各图像样本的多尺度最大特征向量；

通过多尺度最大特征向量，确定线性分类器的参数。

2.如权利要求1所述的方法，其特征在于，所述多尺度最大特征向量使用基于稀疏编码统计的最大归并函数计算。

3.如权利要求1所述的方法，其特征在于，所述线性分类器中的参数采用基于方向梯度的有限存储算法求得。

4.如权利要求1所述的方法，其特征在于，所述变换搜集的图像样本包括：

若搜集到的图像样本为彩色图像，则将彩色图像转换为灰度图像，再进行尺度缩放；

若搜集到的图像样本为灰度图像，则对灰度图像进行尺度缩放。

5.一种车辆检测识别方法，其特征在于，包括以下步骤：

获取图像；

变换获取的图像；

用尺度不变特征变换特征矩阵表示变换后的图像；所述用尺度不变特征变换特征矩阵表示变换后的图像包括：将变换后的图像划分为N×N块，每一块由D维SIFT向量表示，组成大小为N²×D的尺度不变特征变换特征矩阵，所述N与D为常数；

根据稀疏编码特征基矩阵和尺度不变特征变换特征矩阵计算所获取图像的多尺度最大特征向量；

将所获取图像的多尺度最大特征向量输入线性分类器；

根据线性分类器的输出结果对所获取图像进行分类识别。

6.如权利要求5所述的方法，其特征在于，所述根据线性分类器的输出结果对所获取图像进行分类识别包括：

若线性分类器输出结果大于零，则表示获取图像为车的图像；

若线性分类器输出结果小于零，则表示获取图像为非车物体的图像。

7.一种车辆识别装置，其特征在于，包括：

图像获取模块，用于获取实时监测的图像；

图像变换模块，对图像获取模块所获取的图像进行变换，以得到预定尺度的灰度图像；

图像特征提取模块，用于从变换后的灰度图像中提取尺度不变特征变换特征矩阵；其中，所述从变换后的灰度图像中提取尺度不变特征变换特征矩阵步骤包括：将变换后的所述灰度图像划分为N×N块，每一块由D维SIFT向量表示，组成大小为N²×D的尺度不变特征变换特征矩阵，所述N与D为常数；

计算模块，根据已有的稀疏编码特征基矩阵与图像特征提取模块提取的尺度不变特征变换特征矩阵计算出该图像的多尺度最大特征向量；

线性分类器，计算出获取图像的识别值；

分类模块，判断所获取的图像的类别。

Images