CN106529461A - 一种基于积分特征通道和svm训练器的车型识别算法 - Google Patents
一种基于积分特征通道和svm训练器的车型识别算法 Download PDFInfo
- Publication number
- CN106529461A CN106529461A CN201610972241.1A CN201610972241A CN106529461A CN 106529461 A CN106529461 A CN 106529461A CN 201610972241 A CN201610972241 A CN 201610972241A CN 106529461 A CN106529461 A CN 106529461A
- Authority
- CN
- China
- Prior art keywords
- image
- hog
- license plate
- feature
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000001629 suppression Effects 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 27
- 238000012706 support-vector machine Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000012847 principal component analysis method Methods 0.000 claims description 5
- 238000002790 cross-validation Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 11
- 238000010606 normalization Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉领域，特指一种基于积分特征通道和SVM训练器的车型识别算法。本系统针对车牌识别这个特定问题，为了提高系统的准确性与可靠性，使其能满足实时性需求。本算法包括两个步骤：1、车牌定位；2、包含车型信息的车脸区域截取；3、基于HOG联合特征的车型识别并输出。本发明中提出的方法实际上可嵌入FPGA实现，运用于具有实时输出图像功能的车型识别功能的相机或摄像机中。
Description
技术领域
本发明涉及计算机视觉领域，特指一种基于积分特征通道和SVM训练器的车型识别算法。
背景技术
随着现代化交通、安防等行业的迅速发展，车型自动识别技术越来越受到人们的重视，是近年来计算机视觉与模式识别技术在智能交通领域的重要研究课题之一。车型的自动识别系统可用于公路收费站、停车场、十字路口等场所的车辆管理，也可用于现代化小区或者工业园区的车辆进出管理，对于公共安全，社区安防，道路交通和停车场车辆管理都具有重要的促进作用。
车型识别一般包括三个方面的研究，国内外专家学者也开展了大量的工作，主要包括：车牌的定位与识别，车标的检测月识别，以及车型大小的分类。其中，根据车前脸图像来识别具体车型的研究方法是最近几年的热点研究方向。
现实中，在实际停车场和小区中采集的图片通常背景复杂、光照不均、分辨率低、车辆旧、车辆脏等，且进出的角度通常来说都不一致，这些都给车型识别带来了很大的困难，针对这些实际的特定问题，本发明提出了一种车型自动识别算法。
本算法可靠性高，辩识别度好，鲁棒性好，同时步骤计算简单，能保持高效率，实时性也能满足需求。
发明内容
本发明要解决的技术问题在于：针对现行车型识别系统存在的这些特定难点问题，为了提高监控系统的车型识别的准确程度，并使其满足实时性需求，提出一种基于积分特征通道和SVM训练器的车型识别算法，其包括如下步骤：
步骤S1：车牌定位，其包括：
步骤S1.1：训练车牌样本特征提取及特征组织，包括手动抠取出任意正常国标车牌、对抠取出的车牌图像进行积分通道特征提取、以及基于Adaboost算法训练检测器；
步骤S1.2：车牌的检测定位，包括对目标图像进行扫描以获取初定位车牌图像，并对所述初定位车牌图像进行非极大值抑制算法处理后，再将处理结果进行基于霍夫变换的倾斜校正得到二次定位后的车牌图像；
步骤S2：车脸区域截取，其包括在定位出准确的车牌位置后，根据车牌的长宽，选取一定的比例进行车脸区域图像的截取；
步骤S3：车脸区域图像识别，其包括首先确定各种车型车脸区域的分类器，然后分别提取实时车型车脸区域的灰度方向梯度直方图(HOG)特征、二值HOG特征、16值HOG特征，将它们组合成联合HOG特征，将得到的联合HOG特征用核主成分分析法进行降维，最后将车脸区域的联合HOG特征送入支持向量机进行训练和预测，得到最终的车型识别结果。
作为本发明技术方案的进一步改进，所述对抠取出的车牌图像进行积分通道特征提取中选取3种不同的通道作为积分通道特征，包括LUV通道、梯度幅值通道、以及梯度直方图通道；
所述基于Adaboost算法训练检测器包括：
训练阶段，利用Adaboost对提取的积分通道特征训练出强分类器作为检测器；
判别阶段，计算检测出定位车牌窗口的积分通道特征，运用强分类器进行打分，所述打分为判别车牌位置的自信度，最后存储一段视频中分数最高的那一帧或者几帧图像。
作为本发明技术方案的进一步改进，所述对目标图像进行扫描为：根据国内车牌的固定比例，设定一个固定大小的滑窗，从获取视频图像顶端开始进行逐一扫描，设置滑窗步长为4个像素，将每次扫描截取的图像进行积分通道特征计算，与AdaBoost算法训练出的强检测器进行积分通道特征比对，得到相似度最高的图像区域，即初步判定为车牌位置，截取该相似度最高的区域初定位图像并输出检测器。
作为本发明技术方案的进一步改进，所述非极大值抑制算法步骤如下：
(1)将初始检测窗口按照检测得分从高到低排序；
(2)将第1个初始检测窗口作为当前的抑制窗口；
(3)非极大值抑制：将所有检测分数比当前抑制窗口低的初始窗口作为被抑制窗口，计算当前抑制窗口与被抑制窗口的重合面积比率：面积的交集/面积的并集，并剔除重合面积比率高于设定阈值的窗口；
(4)如果只剩最后一个初始检测窗口则结束，否则按照排好的顺序，取下一个未被抑制的窗口作为抑制窗口，转到步骤(3)。
作为本发明技术方案的进一步改进，所述联合HOG特征方法为将灰度图和二值图分别计算HOG并组合成联合特征，如下所示：H代表是得到的联合特征，hi表示灰度图和二值图的HOG特征，ωi代表的是灰度图和二值图HOG的权重值，权重之和为1；
其中∑ωi＝1
同时将16值图的HOG特征加入联合HOG特征，即分别进行车脸区域图像的灰度图、二值图和16值图的HOG计算，将计算结果以某种关系线性组合起来得到的联合HOG特征，组合如下式所示：
H＝ωgray hgray+ω2h2+ω16h16
H代表最终的联合HOG特征，hgray、h2、h16分别代表车脸区域图像灰度图、二值图和16值图的HOG特征，ωi代表权重，i表示特征类型。
作为本发明技术方案的进一步改进，所述步骤S3还包括车脸区域图像车型特征分类，将待识别的包括车型信息的车脸区域图像与经过学习的训练车型特征进行对比来进行识别；在提取特征以后，利用支持向量机进行训练分类；
所述支持向量机在处理样本并进行训练预测识别的过程包括：在车型特征图像样本中选择训练样本集和测试样本集，分别对训练集和测试集进行预处理，并提取HOG等特征，然后利用交叉验证法选择最优参数c和g，最后利用最佳参数训练支持向量机，获得训练模型，利用训练模型对测试集进行预测，得到预测分类准确率；
训练分类后，将截取的包含车型特征信息的车脸区域图像输入训练器中，输出识别的车型信息。
附图说明
图1是本实施例所述整体算法流程图；
图2是本实施例所述车牌图像三种积分特征通道图像；
图3是本实施例所述四个方向梯度算子示意图；
图4是本实施例所述像素点方向示意图；
图5是本实施例所述霍夫变换倾斜校正的车牌图像；
图6是本实施例所述截取的车脸图像范围各参数实例；
图7是本实施例所述基于联合HOG的车型识别流程图。
具体实施方式
以基于积分特征通道和SVM训练器的车型识别算法为例，结合附图对本发明做进一步详细说明。
该基于积分特征通道和SVM训练器的车型识别算法具体包括以下步骤：
S1.车牌定位；
S1.1训练车牌样本特征提取及特征组织；
S1.1.1手动抠取出任意正常国标车牌；
S1.1.2对抠取出的车牌图像进行积分通道特征提取；
积分通道特征由Dollár P等人在2009年提出，最早通常用于行人检测，是目前评估效果较好的检测算子。其基本思想是通过对输入图形进行各种线性和非线性的变换，图像的很多常用特征，例如局部求和、直方图、Haar以及它们的变种，可以借助积分图来快速、高效地计算。给定一个输入图像矩阵I，其对应的通道指的是原始输入图像的某种输出响应。对于灰度图，其对应的通道矩阵C＝I，即原图本身；
对于彩图，其每个颜色通道都对应一个通道。其他类似的通道可以通过各种线性和非线性的方法计算得到。令Ω代表图像的某种通道计算函数，则对应的通道C＝Ω(I)。
在计算中，不同的变换可以形成不同的通道类型，本发明中选取3种不同的通道作为积分通道特征，以保证其准确性。其中LUV颜色通道能够很好地描述车牌亮度及色度变化，梯度幅值通道很好地反映了车牌的轮廓，梯度直方图通道则从不同梯度方向上综合对车牌位置姿态变化进行描述。3种通道变换如图2所示。
S1.1.2.1建立LUV通道：
在图像处理中，LUV色彩空间(全称CIE1976(L*,U*,V*))优于RGB色彩空间。LUV色彩空间的目的是建立与人的视觉统一的色彩空间，具备一致性和均匀性且各色彩分量之间不相关。在LUV色彩空间中，L表示亮度，U、V表示色度。一般图像颜色都是RGB颜色空间的，通过下面的公式可以转换到LUV颜色空间中。
最后计算得到LUV色彩空间中的L、U、V通道。
S1.1.2.2梯度幅值通道：
梯度幅值是一种用于图像边缘检测的描述方法。一幅图像中每个像素点具有八邻域以及四个边缘检测方向。为了能够在像素点X方向、Y方向、Z方向上检测边缘，本文使用在窗口中分别计算X方向Y方向、Z方向的一阶偏导数有限差分均值来确定像素点的梯度幅值的方法。四个方向的梯度算子分别为图3所示。其中I[i，j]是坐标为3×3窗口中心像素点的灰度值，M[i，j]为中心像素点的梯度幅值，其计算公式如下所示，对应四个方向上的计算公式为：
M[i，j]＝(|Px[i，j]|+|P45°[i，j]|+|Py[i，j]|+|P135°[i，j]|)
由上述公式最后得到整幅图像的梯度幅值图。
S1.1.2.3梯度直方图通道：
梯度直方图思想来源于梯度方向直方图(Histograms of Oriented Gradients，HOG)是2005年Dalal等人将它用于行人识别而得名。HOG作为一种局部特征描述子，对方向、尺度、光照不敏感，后来Deniz等人将HOG成功应用于人脸识别，得到了比较好的效果。
梯度直方图特征提取过程如下：
步骤1以图像I[i，j]为中心取3×3的像素邻域作为采样窗口。
步骤2计算该像素点的梯度方向θ[i，j]和梯度幅值M[i，j]。
θ[i，j]＝arctan(I[i，j+1]-I[i，j-1])/I[i+1，j]-I[i-1，j]
如图4所示，箭头代表该像素点的方向。
步骤3将梯度方向分为6个方向，即将180°平均分成6份，平均间隔30°。按照椭圆圈的高斯加权范围将该像素邻域上所有点梯度方向角度相同像素点梯度幅值相加。
步骤4最后统计6个方向上的梯度幅值累加和，得到整幅图像6个方向上的梯度幅值图。
通过步骤S1.1.2.2和S1.1.2.3得到的10个通道的图像如图2所示。
S1.1.3基于Adaboost算法训练检测器
训练阶段，利用Adaboost对提取的积分通道特征训练出强分类器，在判别阶段，计算检测出定位车牌窗口的积分通道特征，运用强分类器进行“打分”，即是判别车牌位置的自信度，最后存储一段视频中分数最高的那一帧或者几帧图像。
AdaBoost算法由Schapire、Freund等人于1996年提出，其实质是弱分类器的分类学习过程，是集成机器学习方法的一种，具有计算效率高、调节参数少、针对弱分类器的构造兼容性强，且对样本先验知识和数据格式要求低等优点，因此，得到广泛推广。AdaBoost中每个特征都对应一个弱分类器，但并不是每一个特征都能很好地描述前景目标的特点。如何从大量特征中挑选出最优特征并制作成弱分类器，再通过弱分类器集成，最终获得高精度的强分类器，是AdaBoost算法训练过程所要解决的关键问题。
弱分类器的定义为：
其中，fj表示一个特征，pj表示不等式方向，θj表示阈值。
S1.1.3.1具体训练算法
(1)给定n个样本图像，xi是输入样本图像，yi是类别标志，其中yi＝0表示为负样本，yi＝1表示为正样本。
(2)初始化权重：
其中m和l分别为非正确车牌样本和正确车牌样本的数量，n＝m+l。
(3)For t＝1，2，3，…，T
1.归一化权重：其中ωt为统计分布。
2.随机选择积分通道特征j：随机选择通道索引bink(k＝1，2，…，10)，随机选择矩形区域Rectj并计算像素值之和。
3.对每个特征j，训练一个弱分类器hj，计算相应的ωt的错误率：εj＝∑iωi|hj(xi)-yi|。
4.选择最小错误率εt的弱分类器ht。
5.更新权重：其中，当xi被正确分类时，ei＝0，反之，ei＝1；
(4)最终强分类器为h(x):
其中，
S1.2.车牌的检测定位；
S1.2.1用滑窗法对目标图像进行扫描，获取初定位车牌图像；
本发明方法根据国内车牌的固定比例，设定一个固定大小的滑窗，从获取视频图像顶端开始进行逐一扫描，为了提高扫描准确度，通常设置滑窗步长为4个像素，将每次扫描截取的图像进行积分通道特征计算，与AdaBoost算法训练出的强检测器进行积分通道特征比对，得到得分最高的(即相似度最高的)图像区域，即初步判定为车牌位置，截取该得分最高的区域初定位图像并输出检测器。
S1.2.2将检测器输出的图像进行非极大值抑制处理，并将该非极大值抑制处理后的初定位结果进行基于霍夫变换的倾斜校正得到二次定位后的车牌图像；
非极大值抑制在物体检测中应用十分广泛，主要目的是为了消除多余干扰因素，找到最佳的物体检测的位置。非极大值抑制是检测的后处理过程，是关键环节之一。
启发式窗口融合算法对非重合目标检测效果很好，但对于车辆车牌检测并不适合。启发式窗口融合算法，将初始检测窗口划分为若干个不重合的子集，然后计算每个子集的中心，最后每个子集只保留一个检测窗口，显然该算法容易造成大量漏检。
Dalal等提出了均值漂移非极大值抑制，这种方法不仅计算复杂，需要将检测窗口在3维空间(横坐标，纵坐标，尺度)表示，检测分数转换，计算不确定性矩阵，迭代优化，而且还需要调整很多与检测器的步长等相关联的参数，因此，目前较少使用。
当前，大多数的目标检测普遍使用基于贪心策略的非极大值抑制算法，因为它简单高效，主要步骤如下：
(1)将初始检测窗口按照检测得分从高到低排序；
(2)将第1个初始检测窗口作为当前的抑制窗口；
(3)非极大值抑制：将所有检测分数比当前抑制窗口低的初始窗口作为被抑制窗口，计算当前抑制窗口与被抑制窗口的重合面积比率：面积的交集/面积的并集，并剔除重合面积比率高于设定阈值的窗口；
(4)如果只剩最后一个初始检测窗口则结束，否则按照排好的顺序，取下一个未被抑制的窗口作为抑制窗口，转到步骤(3)。
本发明同样使用的是简单高效的基于贪心策略的非极大值抑制算法。经过非极大值抑制处理后的车牌图像再进行基于霍夫变换的倾斜校正。
霍夫变换是一种强有力的特征提取方法，它利用局部图像信息有效的积累所有可能的模型实例的依据，这使得它既能方便地从外部数据中获得额外的信息，又能敏锐地从只有一部分的实例中呈现出有效信息。霍夫变换普遍应用在计算机视觉中形状，位置，几何变换参数的判断中。自霍夫变换提出以来，其得到了广泛的应用。近些年，专家学者们对霍夫变换的理论性质与应用方法又进行了进一步的探讨。霍夫变换作为一种有效的识别直线的算法，具有良好的抗干扰性及鲁棒性。
霍夫变换方法包含一个从图像空间中的特征到参数空间中点的集合的映射，每一个参数空间中的点表征着图像空间中模型的一个实例，图像特征利用一个函数被映射到参数空间当中去，这个函数产生能够兼容观察到的图像特征与假设的模型的所有的参数组合，每一个图像特征将在多维的参数空间中产生一个不同的平面，但是由所有图像特征产生的属于同一个模型的实例的一切平面都会相交在描绘共同的实例的点，霍夫变换的根本是产生这些平面并且识别与之相交的参数点。
经过基于霍夫变换的倾斜校正后的车牌图像为系统二次定位后的图像，霍夫变换倾斜校正的车牌图像示例如图5所示。
S1.2.3将输出的二次定位后的车牌输入强检测器，得出最终定位车牌结果。
将经过非极大值抑制处理和基于霍夫变换的倾斜校正处理后的图像输出后，再次进行积分通道特征提取后输入强检测器进行二次定位。定位后输出最终的定位结果。
S2车脸区域截取；
在定位出准确的车牌位置后，通常根据车牌的长宽，选取一定的比例进行车脸图像的截取，以卡口相机的正脸拍摄车型区域为例，通常，以车牌的左右两边各截取1.3倍车牌长度为车脸区域的长，而车型图片高度为车牌之上0.8倍车牌长度与车牌之下为0.3倍车牌长度之和，参数根据需要实时调整。截取的车脸图像范围各参数实例如图6所示。
S3车型区域图像识别；
对于已经截取好的车型车脸区域，需要进行识别才能输出最终车型结果，本发明提出了联合方向梯度直方图和核主成分分析法特征，它综合了二值图、灰度图、16值图的方向梯度直方图特征的优点，能够较好提取带车型特征的车脸区域。方向梯度直方图特征进行联合后，HOG特征维数增加，此时为了缩短特征提取时间，本系统用核主成分分析法方法进行降维。字符识别方法采用的是对小样本问题有较好分类效果的支持向量机。
基于联合HOG特征的车型识别算法：
本发明车型特征区域识别过程是：首先确定各种车型车脸区域的分类器。然后分别提取实时车型车脸区域的灰度方向梯度直方图(HOG)特征、二值HOG特征、16值HOG特征，将它们组合成联合HOG特征，将得到的联合HOG特征用核主成分分析法进行降维。最后将车脸区域的联合HOG特征送入支持向量机进行训练和预测，得到最终的车型识别结果。基于联合HOG的车型识别流程如图7所示。
S3.1灰度方向梯度直方图特征
灰度方向梯度直方图的核心思想是计算图像中被检测目标的局部梯度的统计信息。由于梯度是针对边缘轮廓，因此目标的外形轮廓可以由梯度分布所描述。因此，HOG特征就是通过将截取下来的车脸区域图像分割成小的连通区域，成为细胞单元，每个细胞单元中的每个像素生成一个梯度直方图，这些直方图的串联就可表示出所检测目标的特征。为了提高光照变化的适应性，将这些直方图在分割下来的单个字符中的一个较大区域内进行对比度归一化，具体来说就是计算每个局部直方图在图像块中的密度，根据密度来对这个图像块中的每个细胞单元进行归一化。经过归一化后，HOG特征对光照变化和阴影可以获得更好的适应能力。
HOG具体实现过程如下：
(1)计算图像梯度：先用模板[-1，0，1]对截取下来的车脸区域图像做卷积运算，得到水平方向梯度分量Gh(x，y)，如式(1)所示；再用模板[-1，0，1]对截取下来的车脸区域图像做卷积运算，得到竖直方向梯度分量Gv(x，y)，如式(2)所示；最后，计算该像素点的梯度幅值M(x，y)和θ(x，y)梯度方向，如式(3)、式(4)所示，f(x，y)表示该点的像素值，计算公式为：
Gh(x，y)＝f(x+1，y)－f(x-1，y) (1)
Gv(x，y)＝f(x，y+1)－f(x，y-1) (2)
M(x，y)≈|Gh(x，y)|+|Gv(x，y)| (3)
(2)构建梯度方向直方图：在细胞单元中的每个像素点都要为基于某个梯度方向的直方图投票，梯度方向可取0～180°或者0～360°，在以往的实验证明0～180°效果较好。单个字符图像被分为若干个细胞单元，每个细胞单元包括8*8个像素，将梯度范围分为9个方向角度，因此利用9个方向角度对8*8个像素的梯度信息进行投票。特别指出，直方图投票采取加权投票，即每个像素的梯度幅值作为投票权重。
(3)将细胞单元组合成块：块的结构有两种：矩形块(R-HOG)和环形块(C-HOG)。本发明采用矩形块来进行目标检测，矩形块一般包含3个参数：每个块中细胞单元的数目，每个细胞单元中像素点的数目以及每个细胞单元的方向角数目。
(4)块内归一化计算公式如下所示:
L2_hys：先计算L2_norm，然后将v的最大值限定为0.2，再进行归一化。
其中，v表示包含给定块统计直方图信息的未归一化向量，δ是一个很小的常数，作用是为了避免分母为0，||v||k是v的k阶范数。
在Dalal的实验中发现L2_hys，L2_norm，L1_sqrt效果差不多，L1_norm字符识别效果要差一些，但这4个归一化方法在识别性能上对比未归一化都有明显提高。本发明中采用的是L2_norm进行归一化。
假设将车脸区域图像归一化到64*128，每8*8个像素组成一个细胞单元，每2*2个细胞单元组成一个块，当块的滑动步长为8时，扫描垂直方向可以滑动15次，水平方向可以滑动7次，因此可以得到36*7*15＝3780位的特征算子。但是车脸区域图像缺点在于图中车型标志的某些特征不明显，且受环境影响较大，影响了包含车型特征信息的车脸区域图像的识别率。为了克服上述缺点，提出了联合HOG特征，将灰度图的HOG特征、二值图的HOG特征和16值图的HOG特征联合起来。
S3.2联合方向梯度直方图
联合HOG方法，即将灰度图和二值图分别计算HOG并组合成联合特征，如下所示：H代表是得到的联合特征，h i表示灰度图和二值图的HOG特征，ωi代表的是灰度图和二值图HOG的权重值，权重之和为1。权重分布的不同对后来的识别结果有很大影响。经实验证明，权重值都为0.5时，识别效果是最好的，并且对比单独的灰度图或二值图的识别效果好：
其中∑ωi＝1
同时将16值图的HOG特征加入联合HOG特征，即分别进行车脸区域图像的灰度图、二值图和16值图的HOG计算，将结果以某种关系线性组合起来得到的联合HOG特征，组合如下式所示：
H＝ωgray hgray+ω2h2+ω16h16
H代表最终的联合HOG特征，hgray、h2、h16分别代表车脸区域图像灰度图、二值图和16值图的HOG特征，ωi代表权重，i表示特征类型。
联合HOG将灰度图、二值图和16值图的特点结合起来，能够一定程度的弥补单独进行灰度图或者二值图的HOG运算造成的不足，对识别率有也有一定程度的提高。
S3.1.3车脸区域图像车型特征分类
车型特征分类主要是指将待识别的包括车型信息的车脸区域图像与经过学习的训练车型特征通过某一算法进行对比来进行识别。常用的分类器主要包括最小距离分类器、k-最近邻分类器、贝叶斯分类器、决策树、Adaboost级联分类器、人工神经网络和支持向量机(SVM)。根据需要训练分类的车型图像特性及不同分类器的特点，本发明主要采用支持向量机进行分类。支持向量机的核心思想在于利用一个分类超平面当作决策的曲面，来最大化正类和负类两者的边缘距离。考虑到本发明车型识别中训练样本的数量有限，而且生成的HOG维数较多，因此本发明采用的对小样本问题有较好分类效果的支持向量机。针对多分类的问题，本发明采用的“一对一”的方式进行划分。SVM在处理样本并进行训练预测识别的过程大致为以下几步：在车型特征图像样本中选择训练样本集和测试样本集，分别对训练集和测试集进行预处理，并提取HOG等特征，然后利用交叉验证法选择最优参数c和g，最后利用最佳参数训练SVM，获得训练模型，利用训练模型对测试集进行预测，得到预测分类准确率。SVM中常用的核函数包括线性核函数，径向基核函数，多项式核函数，sigmoid核函数。对于不同的核函数测试集的分类准确率也会不同，车型识别中采用径向基核函数的分类准确率最高。因此，本发明SVM的核函数采用的是RBF核函数。
综上所述，在提取特征以后，利用SVM进行训练分类。训练分类后，将截取的包含车型特征信息的车脸区域图像输入训练器中，输出识别的车型信息。
本发明中提出的方法实际上可嵌入FPGA实现，运用于具有实时输出图像功能的车型识别功能的相机或摄像机监控系统中。本领域技术人员将清楚本发明的范围不限制于以上讨论的示例，有可能对其进行若干改变和修改，而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明，但这样的说明和描述仅是说明或示意性的，而非限制性的。本发明并不限于所公开的实施例。
Claims (6)
1.一种基于积分特征通道和SVM训练器的车型识别算法，其特征在于，包括以下步骤：
步骤S1：车牌定位，其包括：
步骤S1.1：训练车牌样本特征提取及特征组织，包括手动抠取出任意正常国标车牌、对抠取出的车牌图像进行积分通道特征提取、以及基于Adaboost算法训练检测器；
步骤S1.2：车牌的检测定位，包括对目标图像进行扫描以获取初定位车牌图像，并对所述初定位车牌图像进行非极大值抑制算法处理后，再将处理结果进行基于霍夫变换的倾斜校正得到二次定位后的车牌图像；
步骤S2：车脸区域截取，其包括在定位出准确的车牌位置后，根据车牌的长宽，选取一定的比例进行车脸区域图像的截取；
步骤S3：车脸区域图像识别，其包括首先确定各种车型车脸区域的分类器，然后分别提取实时车型车脸区域的灰度方向梯度直方图(HOG)特征、二值HOG特征、16值HOG特征，将它们组合成联合HOG特征，将得到的联合HOG特征用核主成分分析法进行降维，最后将车脸区域的联合HOG特征送入支持向量机进行训练和预测，得到最终的车型识别结果。
2.根据权利要求1所述的一种基于积分特征通道和SVM训练器的车型识别算法，其特征在于，所述对抠取出的车牌图像进行积分通道特征提取中选取3种不同的通道作为积分通道特征，包括LUV通道、梯度幅值通道、以及梯度直方图通道；
所述基于Adaboost算法训练检测器包括：
训练阶段，利用Adaboost对提取的积分通道特征训练出强分类器作为检测器；
判别阶段，计算检测出定位车牌窗口的积分通道特征，运用强分类器进行打分，所述打分为判别车牌位置的自信度，最后存储一段视频中分数最高的那一帧或者几帧图像。
3.根据权利要求2所述的一种基于积分特征通道和SVM训练器的车型识别算法，其特征在于，所述对目标图像进行扫描为：根据国内车牌的固定比例，设定一个固定大小的滑窗，从获取视频图像顶端开始进行逐一扫描，设置滑窗步长为4个像素，将每次扫描截取的图像进行积分通道特征计算，与AdaBoost算法训练出的强检测器进行积分通道特征比对，得到相似度最高的图像区域，即初步判定为车牌位置，截取该相似度最高的区域初定位图像并输出检测器。
4.根据权利要求1所述的一种基于积分特征通道和SVM训练器的车型识别算法，其特征在于，所述非极大值抑制算法步骤如下：
(1)将初始检测窗口按照检测得分从高到低排序；
(2)将第1个初始检测窗口作为当前的抑制窗口；
(3)非极大值抑制：将所有检测分数比当前抑制窗口低的初始窗口作为被抑制窗口，计算当前抑制窗口与被抑制窗口的重合面积比率：面积的交集/面积的并集，并剔除重合面积比率高于设定阈值的窗口；
(4)如果只剩最后一个初始检测窗口则结束，否则按照排好的顺序，取下一个未被抑制的窗口作为抑制窗口，转到步骤(3)。
5.根据权利要求1所述的一种基于积分特征通道和SVM训练器的车型识别算法，其特征在于，所述联合HOG特征方法为将灰度图和二值图分别计算HOG并组合成联合特征，如下所示：H代表是得到的联合特征，hi表示灰度图和二值图的HOG特征，ωi代表的是灰度图和二值图HOG的权重值，权重之和为1；
其中∑ωi＝1
同时将16值图的HOG特征加入联合HOG特征，即分别进行车脸区域图像的灰度图、二值图和16值图的HOG计算，将计算结果以某种关系线性组合起来得到的联合HOG特征，组合如下式所示：
H＝ωgrayhgray+ω2h2+ω16h16
H代表最终的联合HOG特征，hgray、h2、h16分别代表车脸区域图像灰度图、二值图和16值图的HOG特征，ωi代表权重，i表示特征类型。
6.根据权利要求5所述的一种基于积分特征通道和SVM训练器的车型识别算法，其特征在于，所述步骤S3还包括车脸区域图像车型特征分类，将待识别的包括车型信息的车脸区域图像与经过学习的训练车型特征进行对比来进行识别，在提取特征以后，利用支持向量机进行训练分类；
所述支持向量机在处理样本并进行训练预测识别的过程包括：在车型特征图像样本中选择训练样本集和测试样本集，分别对训练集和测试集进行预处理，并提取HOG等特征，然后利用交叉验证法选择最优参数c和g，最后利用最佳参数训练支持向量机，获得训练模型，利用训练模型对测试集进行预测，得到预测分类准确率；
训练分类后，将截取的包含车型特征信息的车脸区域图像输入训练器中，输出识别的车型信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610972241.1A CN106529461A (zh) | 2016-11-07 | 2016-11-07 | 一种基于积分特征通道和svm训练器的车型识别算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610972241.1A CN106529461A (zh) | 2016-11-07 | 2016-11-07 | 一种基于积分特征通道和svm训练器的车型识别算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106529461A true CN106529461A (zh) | 2017-03-22 |
Family
ID=58349506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610972241.1A Pending CN106529461A (zh) | 2016-11-07 | 2016-11-07 | 一种基于积分特征通道和svm训练器的车型识别算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106529461A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330432A (zh) * | 2017-07-07 | 2017-11-07 | 郑州禅图智能科技有限公司 | 一种基于加权霍夫投票的多视角车辆检测方法 |
| CN107578048A (zh) * | 2017-08-02 | 2018-01-12 | 浙江工业大学 | 一种基于车型粗分类的远视场景车辆检测方法 |
| CN108446616A (zh) * | 2018-03-09 | 2018-08-24 | 西安电子科技大学 | 基于全卷积神经网络集成学习的道路提取方法 |
| CN109426796A (zh) * | 2017-09-05 | 2019-03-05 | 杭州海康威视系统技术有限公司 | 车牌检测方法、装置及系统 |
| CN109816030A (zh) * | 2019-01-30 | 2019-05-28 | 河南科技大学 | 一种基于受限玻尔兹曼机的图像分类方法及装置 |
| CN110197137A (zh) * | 2019-05-14 | 2019-09-03 | 苏州沃柯雷克智能系统有限公司 | 一种确定手掌姿势的方法、装置、设备及存储介质 |
| CN110334261A (zh) * | 2019-05-31 | 2019-10-15 | 平安科技（深圳）有限公司 | 车辆信息展示方法、装置、设备及存储介质 |
| CN111353644A (zh) * | 2020-02-27 | 2020-06-30 | 成都美云智享智能科技有限公司 | 基于强化学习的智能网联云平台的预测模型生成方法 |
| CN112528856A (zh) * | 2020-12-10 | 2021-03-19 | 天津大学 | 一种基于特征帧的重复视频检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102411710A (zh) * | 2011-12-09 | 2012-04-11 | 东南大学 | 一种基于车脸特征的车辆类型识别方法 |
| CN103324920A (zh) * | 2013-06-27 | 2013-09-25 | 华南理工大学 | 基于车辆正面图像与模板匹配的车型自动识别方法 |
| CN104820831A (zh) * | 2015-05-13 | 2015-08-05 | 沈阳聚德视频技术有限公司 | 基于AdaBoost车牌定位的前车脸识别方法 |
| CN105590102A (zh) * | 2015-12-30 | 2016-05-18 | 中通服公众信息产业股份有限公司 | 一种基于深度学习的前车车脸识别方法 |
-
2016
- 2016-11-07 CN CN201610972241.1A patent/CN106529461A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102411710A (zh) * | 2011-12-09 | 2012-04-11 | 东南大学 | 一种基于车脸特征的车辆类型识别方法 |
| CN103324920A (zh) * | 2013-06-27 | 2013-09-25 | 华南理工大学 | 基于车辆正面图像与模板匹配的车型自动识别方法 |
| CN104820831A (zh) * | 2015-05-13 | 2015-08-05 | 沈阳聚德视频技术有限公司 | 基于AdaBoost车牌定位的前车脸识别方法 |
| CN105590102A (zh) * | 2015-12-30 | 2016-05-18 | 中通服公众信息产业股份有限公司 | 一种基于深度学习的前车车脸识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| 殷羽 等: "基于联合HOG特征的车牌识别算法", 《计算机工程与设计》 * |
| 赵阳 等: "基于车脸特征的车型识别技术及其在公安领域的应用", 《警察技术》 * |
| 陈金辉 等: "行人检测中非极大值抑制算法的改进", 《华东理工大学学报（自然科学版）》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330432B (zh) * | 2017-07-07 | 2020-08-18 | 盐城禅图智能科技有限公司 | 一种基于加权霍夫投票的多视角车辆检测方法 |
| CN107330432A (zh) * | 2017-07-07 | 2017-11-07 | 郑州禅图智能科技有限公司 | 一种基于加权霍夫投票的多视角车辆检测方法 |
| CN107578048A (zh) * | 2017-08-02 | 2018-01-12 | 浙江工业大学 | 一种基于车型粗分类的远视场景车辆检测方法 |
| CN109426796A (zh) * | 2017-09-05 | 2019-03-05 | 杭州海康威视系统技术有限公司 | 车牌检测方法、装置及系统 |
| CN108446616A (zh) * | 2018-03-09 | 2018-08-24 | 西安电子科技大学 | 基于全卷积神经网络集成学习的道路提取方法 |
| CN108446616B (zh) * | 2018-03-09 | 2021-09-03 | 西安电子科技大学 | 基于全卷积神经网络集成学习的道路提取方法 |
| CN109816030A (zh) * | 2019-01-30 | 2019-05-28 | 河南科技大学 | 一种基于受限玻尔兹曼机的图像分类方法及装置 |
| CN110197137A (zh) * | 2019-05-14 | 2019-09-03 | 苏州沃柯雷克智能系统有限公司 | 一种确定手掌姿势的方法、装置、设备及存储介质 |
| CN110334261A (zh) * | 2019-05-31 | 2019-10-15 | 平安科技（深圳）有限公司 | 车辆信息展示方法、装置、设备及存储介质 |
| CN111353644A (zh) * | 2020-02-27 | 2020-06-30 | 成都美云智享智能科技有限公司 | 基于强化学习的智能网联云平台的预测模型生成方法 |
| CN111353644B (zh) * | 2020-02-27 | 2023-04-07 | 成都美云智享智能科技有限公司 | 基于强化学习的智能网联云平台的预测模型生成方法 |
| CN112528856A (zh) * | 2020-12-10 | 2021-03-19 | 天津大学 | 一种基于特征帧的重复视频检测方法 |
| CN112528856B (zh) * | 2020-12-10 | 2022-04-15 | 天津大学 | 一种基于特征帧的重复视频检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106529461A (zh) | 一种基于积分特征通道和svm训练器的车型识别算法 | |
| CN106529532A (zh) | 一种基于积分特征通道与灰度投影的车牌识别系统 | |
| CN107103317A (zh) | 基于图像融合和盲反卷积的模糊车牌图像识别算法 | |
| CN107545239B (zh) | 一种基于车牌识别与车辆特征匹配的套牌检测方法 | |
| CN103258432B (zh) | 基于视频的交通事故自动识别处理方法和系统 | |
| CN103761531B (zh) | 基于形状轮廓特征的稀疏编码车牌字符识别方法 | |
| CN107610114B (zh) | 基于支持向量机的光学卫星遥感影像云雪雾检测方法 | |
| Yuan et al. | Robust traffic sign recognition based on color global and local oriented edge magnitude patterns | |
| CN102609686B (zh) | 一种行人检测方法 | |
| CN110363122A (zh) | 一种基于多层特征对齐的跨域目标检测方法 | |
| US7724962B2 (en) | Context adaptive approach in vehicle detection under various visibility conditions | |
| CN102509091B (zh) | 一种飞机尾号识别方法 | |
| CN103530600B (zh) | 复杂光照下的车牌识别方法及系统 | |
| CN106650731B (zh) | 一种鲁棒的车牌、车标识别方法 | |
| CN106503748A (zh) | 一种基于s‑sift特征和svm训练器的车型识别算法 | |
| CN102509098B (zh) | 一种鱼眼图像车辆识别方法 | |
| CN101980245B (zh) | 一种基于自适应模板匹配的客流统计方法 | |
| CN103605953A (zh) | 基于滑窗搜索的车辆兴趣目标检测方法 | |
| CN104778453A (zh) | 一种基于红外行人亮度统计特征的夜间行人检测方法 | |
| CN102043945A (zh) | 基于车辆实时跟踪和二进指数分类车牌字符识别的方法 | |
| CN107092876A (zh) | 基于Retinex与S‑SIFT特征结合的低照度车型识别方法 | |
| CN105354533B (zh) | 一种基于词袋模型的卡口无牌车辆车型识别方法 | |
| CN111242046B (zh) | 一种基于图像检索的地面交通标志识别方法 | |
| CN110689003A (zh) | 低照度成像车牌识别方法、系统、计算机设备及存储介质 | |
| Mammeri et al. | North-American speed limit sign detection and recognition for smart cars |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170322 |