CN102855758A - 一种违章车辆检测方法 - Google Patents

Abstract

本发明公开了一种违章车辆检测方法，包括：a.在检测区域内无车辆到有车辆驶入、以及检测区域内车辆驶出到无车辆过程中，进行违章车辆检测处理；和/或，b.对检测区域内静止车辆，进行违章车辆检测处理；和/或，c.在检测区域内车辆重新运动时的非完整轮廓情况下，进行违章车辆检测处理。本发明所述违章车辆检测方法，可以克服现有技术中成本高、功能单一、准确性差和适用范围小等缺陷，以实现成本低、功能多、准确性好和适用范围广的优点。

Description

一种违章车辆检测方法

技术领域

本发明涉及计算机视觉、数字图像处理和多媒体信息处理等技术领域，具体地，涉及一种违章车辆检测方法。

背景技术

目前，违章停车检测是智能城市管理中非常重要的组成部分。当前在位置停车检测领域，主要有基于人工干预检测的方法和基于智能视觉摄像机监控的方法。由于传统的违章停车人工检测的方法耗资耗力，所以目前最先进的方法是基于智能视觉摄像机监控的方法。

当前，基于摄像机监控的违章停车检测还主要应用在摄像机静止情况下，比如在高速公路的两侧架设摄像机来监控过往的车辆是否有违规停车的现象发生。摄像机静止情况下的违章停车检测主要的是基于背景差分，通过当前帧图像与背景帧图像相减来得到违章车辆的前景图像，背景差分方法的大致流程图如图1所示。在图1中，背景差分方法包括：

步骤100：预处理；

步骤101：背景建模；

步骤102：背景差分；

步骤103：后期处理，经背景模型更新，返回步骤101；

步骤104：目标检测，经背景模型更新，返回步骤101。

但是，大多数背景差分的方法，并不能得到车辆从运动到静止状态时的前景图像；因为。当车辆由运动状态到静止状态时，基于背景差分的方法在背景更新的阶段，会把车辆从前景中融合到背景中去。因此，基于这种方法的违章停车检测，往往需要和跟踪技术联合在一起使用。

在智能城市管理中，人们对于一条商业街道基于摄像机的智能化管理，比如各个店铺的广告牌监控、各个店铺的行人流量计数、街道上的井盖监控等，希望能用有限个的摄像机实现各个功能的监控。这样，摄像机就不能是静止不动的了，所以需要在需要监控的敏感区域安装上带云台的可以匀速旋转的摄像机。这样摄像机静止状态下基于背景差分的违章车辆检测方法就无法继续运行了。

在实现本发明的过程中，发明人发现现有技术中至少存在成本高、功能单一、准确性差和适用范围小等缺陷。 

发明内容

本发明的目的在于，针对上述问题，提出一种违章车辆检测方法，以实现成本低、功能多、准确性好和适用范围广的优点。

为实现上述目的，本发明采用的技术方案是：一种违章车辆检测方法，包括：

a、在检测区域内无车辆到有车辆驶入、以及检测区域内车辆驶出到无车辆过程中，进行违章车辆检测处理；和/或，

b、对检测区域内静止车辆，进行违章车辆检测处理；和/或，

c、在检测区域内车辆重新运动时的非完整轮廓情况下，进行违章车辆检测处理。

进一步地，步骤a具体包括：

a1、从各种渠道（比如google图片）采集或搜集带车辆的图片，作为正例样本图；并从各种渠道（比如google图片）采集或搜集不带车辆的图片，作为反例样本图；

a2、采用训练分类器，分别基于正例样本图和反例样本图，对采集得到的不带车辆的图像和车辆图像分别进行局部特征提取后，训练得到局部特征模型库，该局部特征模型库至少包括车辆的颜色、边缘等特征；

a3、提取当前帧目标图像的特征点，将该特征点与所述初级训练模型的模型库中的特征点进行匹配，给出识别结果；

a4、基于所述识别结果，判断当前时刻检测区域内是否有违章停滞车辆。具体地，如果特征点匹配数高于预设阈值，则认为监测区域内存在违章停滞车辆；反之，如果特征点匹配数低于预设阈值，则认为监测区域内不存在违章停滞车辆。

进一步地，在步骤a2中，所述训练得到局部特征模型库的操作，具体包括：

采用训练分类器，分别利用正例样本图和反例样本图的harr特征，进行分类器训练，得到级联的boosted分类器，该级联的boosted分类器，即为训练好的分类器，用于识别检测区域内是否有车辆驶入；

在图像检测中，被检窗口依次通过级联的boosted分类器中每一级分类器，使在前面几层检测中大部分候选区域已被排除，全部通过每一级分类器检测的区域，即为目标区域；

分类器训练结束，得到的局部特征模型库，能够应用于输入图像中的感兴趣区域的检测；检测到目标区域时分类器输出为1，否则输出为0；检测整副图像时，需在图像中移动搜索窗口，检测每一个位置，以确定可能的目标。

进一步地，步骤b具体包括：

b1、采用直方图匹配算法，以前一帧检测到的车辆图像作为模板，将当前帧检测到的车辆图像与所述模板划分成多个子块，计算各子块的色彩直方图及其欧拉距离；

b2、当相应子块的欧拉距离大于预设特定阈值时，停止计算后续其它子块的色彩直方图及其欧拉距离，认为该监测区域内已无违章停滞车辆，没有必要进行后续的子块计算。

进一步地，步骤b1具体包括：

打开视频文件，采集视频序列的每一帧并存储为CvCapture格式，使用类ImageProcess中的操作对图像进行划分，保存划分区域的左上角和右下角；

读入模板图像，同样，将模板图像进行划分并保存划分区域的左上角和右下角；

利用局部投影熵计算方法，计算各子块的局部投影熵，并用局部投影熵中的几对有序数组或向量，分别依次保存各子块的行投影熵和列投影熵；

相应地，步骤b2具体包括：

匹配方法采用实时采集图和基准模板图全部计算的方式，具体来说是一边进行子块匹配计算一边进行阈值检验，以决定后续的子块计算是否还有必要继续进行计算。

进一步地，所述色彩直方图，包括图像中三个颜色通道的联合概率密度函数：

                     (1)

在公式(1)中，N0是图像所有像素数，P表示概率密度函数，h是直方图函数，表示图像中具有颜色

的像素数；

那么，设f和h分别表示连续两帧图像中运动目标图像的色彩直方图，则f和h之间的Euler距离表示为：

                 (2)。

进一步地，步骤c具体包括：

监测区域内车辆重新运动时，在摄像机定点匀速旋转的情况下，匹配的是当前帧的车辆与上一次旋转时的图像帧中的车辆目标，通过SURF算法和SIFT算法相融合，将尺度不变特征与旋转不变特征来进行目标的匹配，进行违章车辆检测处理。

进一步地，所述SIFT算法的基本操作，具体包括：

通过建立图像的多尺度空间，确定特征点位置的同时确定其尺度，以达到尺度抗缩放的目的；

通过剔除一些对比度较低的点以及边缘响应点以增强算法的稳定性，并提取旋转不变特征描述符以达到抗放射变换的目的；

利用高斯差分金字塔分层结构提取出图像中的极值点作为候选特征点，对这些候选特征点去掉那些低对比度边缘上的点，最后得到稳定的特征点；

为了得到高斯差分图像中的极值点，每一个样本像素点要和它相邻的上下左右所有的点进行比较；

如果该样本点的灰度值是极大值或极小值，则这个样本点是候选特征点，否则按照同样的方法对其他的像素点进行比较，这样就确定了特征点的位置。

进一步地，所述SURF算法，是一种基于快速稳健特征的匹配算法，SURF算法的基本操作和SIFTSURF相似，即：

建立尺度空间、极值点定位和生成描述子，但SURF算法中的计算都是在积分图像的基础上进行的，对积分图像进行卷积，增加特征点的提取速度，同时降低特征描述的维度，并且仍然具有较好的特征特异性，对光照、旋转、缩放等具有不变性；

描述子描述极值点周围像素的分布情况，在SIFT算法中是统计在梯度上的分布情况，SURF算法是统计描述子在Haar小波的x和y方向上的分布；为了使描述子具有旋转不变性，要对描述子赋予一个方向值，通过该方向，在极值点周围的描述子的区域旋转到该主方向，然后再计算描述子。

进一步地，所述计算描述子的操作，具体包括：

以特征点为中心，计算半径为6s的邻域内的点在x、y方向的Haar小波响应，并给这些响应值赋高斯权重系数，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小；s为特征点所在的尺度值，Haar小波的边长取4s；

将60°范围内的响应相加以形成新的矢量，遍历整个圆形区域，每次遍历都得到一个矢量，选择最长矢量的方向为该特征点的主方向；这样，通过特征点逐个进行计算，得到每一个特征点的主方向。

本发明各实施例的违章车辆检测方法，由于包括：在检测区域内无车辆到有车辆驶入、以及检测区域内车辆驶出到无车辆过程中，进行违章车辆检测处理；和/或，对检测区域内静止车辆，进行违章车辆检测处理；和/或，在检测区域内车辆重新运动时的非完整轮廓情况下，进行违章车辆检测处理；可以通过视觉感知节点，采集环境视频图像信息，利用特征检测和模式匹配相结合的方法，实现违章车辆的自动识别；从而可以克服现有技术中成本高、功能单一、准确性差和适用范围小的缺陷，以实现成本低、功能多、准确性好和适用范围广的优点。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为背景差分方法的流程示意图；

图2为本发明中车辆识别流程示意图；

图3为本发明中车辆检测算法流程示意图；

图4a为本发明中训练用的正样本示意图；

图4b为本发明中训练用的负样本示意图；

图5a为本发明中进行区域划分前的图像示意图；

图5b为本发明中进行区域划分后的图像示意图；

图6a为本发明中监测区域内静止车辆的模板图像示意图；

图6b为对图6a运行直方图匹配后的图像示意图；

图7a为本发明中SIFT匹配结果图像示意图；

图7b为本发明中SURF匹配结果图像示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

根据本发明实施例，如图2-图7b所示，提供了一种违章车辆检测方法。本实施例的违章车辆检测方法，即智能城市管理中基于定点旋转摄像机的违章停车检测方法，对检测路段违章停滞车辆的检测，主要包括：

a、在检测区域内无车辆到有车辆驶入、以及检测区域内车辆驶出到无车辆过程中，进行违章车辆检测处理；和/或，

b、对检测区域内静止车辆，进行违章车辆检测处理；和/或，

c、在检测区域内车辆重新运动时的非完整轮廓情况下，进行违章车辆检测处理。

针对上述骤a的第一种情况，采取的措施具体包括：

a1、从各种渠道（比如google图片）采集或搜集带车辆的图片，作为正例样本图；并从各种渠道（比如google图片）采集或搜集不带车辆的图片，作为反例样本图；

a2、采用训练分类器，分别基于正例样本图和反例样本图，对采集得到的不带车辆的图像和车辆图像分别进行局部特征提取后，训练得到局部特征模型库，该局部特征模型库至少包括车辆的颜色、边缘等特征；

在步骤a2中，所述训练得到局部特征模型库的操作，具体包括：

采用训练分类器，分别利用正例样本图和反例样本图的harr特征，进行分类器训练，得到级联的boosted分类器，该级联的boosted分类器，即为训练好的分类器，用于识别检测区域内是否有车辆驶入；

在图像检测中，被检窗口依次通过级联的boosted分类器中每一级分类器，使在前面几层检测中大部分候选区域已被排除，全部通过每一级分类器检测的区域，即为目标区域；

分类器训练结束，得到的局部特征模型库，能够应用于输入图像中的感兴趣区域的检测；检测到目标区域时分类器输出为1，否则输出为0；检测整副图像时，需在图像中移动搜索窗口，检测每一个位置，以确定可能的目标；

a3、提取当前帧目标图像的特征点，将该特征点与所述初级训练模型的模型库中的特征点进行匹配，给出识别结果；

a4、基于所述识别结果，判断当前时刻检测区域内是否有违章停滞车辆。具体地，如果特征点匹配数高于预设阈值，则认为监测区域内存在违章停滞车辆；反之，如果特征点匹配数低于预设阈值，则认为监测区域内不存在违章停滞车辆。

针对上述步骤b的第二种情况，采取的措施具体包括：

b1、采用直方图匹配算法，以前一帧检测到的车辆图像作为模板，将当前帧检测到的车辆图像与所述模板划分成多个子块，计算各子块的色彩直方图及其欧拉距离；

b2、当相应子块的欧拉距离大于预设特定阈值时，停止计算后续其它子块的色彩直方图及其欧拉距离，认为该监测区域内已无违章停滞车辆，没有必要进行后续的子块计算。

在步骤b1中，具体包括：

打开视频文件，采集视频序列的每一帧并存储为CvCapture格式，使用类ImageProcess中的操作对图像进行划分，保存划分区域的左上角和右下角；

读入模板图像，同样，将模板图像进行划分并保存划分区域的左上角和右下角；

利用局部投影熵计算方法，计算各子块的局部投影熵，并用局部投影熵中的几对有序数组或向量，分别依次保存各子块的行投影熵和列投影熵；

相应地，步骤b2具体包括：

匹配方法采用实时采集图和基准模板图全部计算的方式，具体来说是一边进行子块匹配计算一边进行阈值检验，以决定后续的子块计算是否还有必要继续进行计算。

所述色彩直方图，包括图像中三个颜色通道的联合概率密度函数：

                     (1)

在公式(1)中，N0是图像所有像素数，P表示概率密度函数，h是直方图函数，表示图像中具有颜色

的像素数；

那么，设f和h分别表示连续两帧图像中运动目标图像的色彩直方图，则f和h之间的Euler距离表示为：

                 (2)。

针对上述步骤c的第三种情况，采取的措施具体包括：

监测区域内车辆重新运动时，在摄像机定点匀速旋转的情况下，匹配的是当前帧的车辆与上一次旋转时的图像帧中的车辆目标，通过SURF算法和SIFT算法相融合，将尺度不变特征与旋转不变特征来进行目标的匹配，进行违章车辆检测处理。

其中，步骤c中的SIFT算法的基本操作，具体包括：

通过建立图像的多尺度空间，确定特征点位置的同时确定其尺度，以达到尺度抗缩放的目的；

通过剔除一些对比度较低的点以及边缘响应点以增强算法的稳定性，并提取旋转不变特征描述符以达到抗放射变换的目的；

利用高斯差分金字塔分层结构提取出图像中的极值点作为候选特征点，对这些候选特征点去掉那些低对比度边缘上的点，最后得到稳定的特征点；

为了得到高斯差分图像中的极值点，每一个样本像素点要和它相邻的上下左右所有的点进行比较；

如果该样本点的灰度值是极大值或极小值，则这个样本点是候选特征点，否则按照同样的方法对其他的像素点进行比较，这样就确定了特征点的位置。

步骤c中的SURF算法，是一种基于快速稳健特征的匹配算法，SURF算法的基本操作和SIFTSURF相似，即：

建立尺度空间、极值点定位和生成描述子，但SURF算法中的计算都是在积分图像的基础上进行的，对积分图像进行卷积，增加特征点的提取速度，同时降低特征描述的维度，并且仍然具有较好的特征特异性，对光照、旋转、缩放等具有不变性；

描述子描述极值点周围像素的分布情况，在SIFT算法中是统计在梯度上的分布情况，SURF算法是统计描述子在Haar小波的x和y方向上的分布；为了使描述子具有旋转不变性，要对描述子赋予一个方向值，通过该方向，在极值点周围的描述子的区域旋转到该主方向，然后再计算描述子。计算描述子的操作，具体包括：

以特征点为中心，计算半径为6s的邻域内的点在x、y方向的Haar小波响应，并给这些响应值赋高斯权重系数，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小；s为特征点所在的尺度值，Haar小波的边长取4s；

将60°范围内的响应相加以形成新的矢量，遍历整个圆形区域，每次遍历都得到一个矢量，选择最长矢量的方向为该特征点的主方向；这样，通过特征点逐个进行计算，得到每一个特征点的主方向。

具体地，以下分别对上述三种情况所采取的措施进行详细说明。

㈠第一种情况：被检测区域无车到有车辆驶入及其逆过程的检测

⑴检测的算法流程

观测区域内从无车到有车的检测可以分为以下几个模块，一方面对采集到的图像进行局部特征提取，另一方面对车辆图像样本进行局部特征提取，训练出简单的特征模型库，三是将目标图片提取的特征点与局部特征模型库中的特征点进行匹配，给出识别结果，判断此刻是否有违章停滞车辆。具体算法流程参见图2，在图2中，相应的算法流程包括：

步骤200：输入图片，执行步骤201；

步骤201：车辆检测，执行步骤202；

步骤202：局部特征提取，执行步骤203；

步骤203：特征匹配；

步骤204：车辆图像样本，执行步骤205；

步骤205：局部特征提取，执行步骤206；

步骤206：局部特征数据库，输出至步骤203，得到步骤207的识别结果。

⑵训练简单的特征模型（即训练局部特征模型库）概述

目标检测方法最初由Paul Viola提出，并由Rainer Lienhart对这一方法进行了改善。该方法的基本步骤为：首先利用样本（大约几百幅样本图片）的 harr 特征进行分类器训练，得到一个级联的boosted分类器。分类器中的“级联”是指最终的分类器是由几个简单分类器级联组成。在图像检测中，被检窗口依次通过每一级分类器，这样在前面几层的检测中大部分的候选区域就被排除了，全部通过每一级分类器检测的区域即为目标区域。分类器训练完以后，就可以应用于输入图像中的感兴趣区域的检测。检测到目标区域分类器输出为1，否则输出为0。为了检测整副图像，可以在图像中移动搜索窗口，检测每一个位置来确定可能的目标。根据上面的分析，目标检测分为三个步骤：第一步：样本的创建；第二步：训练分类器；第三步：利用训练好的分类器进行目标检测。利用Adaboost的算法来检测车辆的流程框架图见图3。在图3中，相应的算法流程包括：

步骤300：获取车辆的正负样本图像集，执行步骤301；

步骤301：利用Adaboost算法工具进行训练，执行步骤302；

步骤302：得到车辆的检测图像，执行步骤303；

步骤303：载入检测器，执行步骤305；

步骤304：输入图片，执行步骤303；

步骤305：得到检测结果。

⑶样本的创建

训练样本分为正例样本和反例样本，其中正例样本是指待检目标样本，在本文中指各式各样的车辆，反例样本指其它任意图片，但这些图片不能包含目标特征。本文利用google的检索功能，在网上下载了一些车辆基本在同一个角度拍摄的图片，共得到不同颜色、外观、尺寸的72张车辆的图片作为输入的正例样本，通过手工截图，将其大小归一化为53像素*40像素。接着又下载了41幅各种各样的非车辆图片作为反例样本，同样通过手工截图归一化为53像素*40像素，正例样本图和反例样本图分别如图4a和4b所示。

⑷训练得到分类器以检测目标

样本创建之后，要训练分类器，这个过程是由haartraining程序来实现的，该程序源码由OpenCV自带，且可执行程序在OpenCV安装目录的bin目录下。训练结束后，会在目录data下生成一些子目录，即为训练好的分类器。然后用这个分类器去识别检测区域内是否有车辆驶入。

㈡第二种情况：检测区域内对静止车辆的检测

车辆静止时可以采用直方图匹配算法，其算法描述为：打开视频文件，采集视频序列的每一帧并存储为CvCapture格式，使用类ImageProcess中的操作对图像进行划分，保存划分区域的左上角和右下角。然后读入模板图像，同样，将模板图像进行划分并保存划分区域的左上角和右下角。利用局部投影熵计算方法计算各子块的局部投影熵，并用几对有序数组（向量）分别依次保存各子块的行投影熵和列投影熵。匹配方法采用实时采集图和基准模板图全部计算的方式，具体来说是一边进行子块匹配计算一边进行阈值检验，以决定后续的子块计算是否还有必要继续。

色彩直方图定义为图像中三个颜色通道的联合概率密度函数：

            式(1)

式(1)中，N0是图像所有像素数，P表示概率密度函数，h是直方图函数，表示图像中具有颜色

的像素数。

在视频监控中，为了能够反映两幅图像之间的相似程度，必须有一个表示图像之间相似性的客观度量。对于基于直方图的图像匹配来说，经常利用直方图之间的距离公式来表示相似性，显然，直方图距离和相似性成反比。

经典的直方图匹配算法是计算直方图之间的欧拉(Euler)距离。设f和h分别表示连续两帧图像中运动目标图像的色彩直方图，则f和h之间的Euler距离表示为：

       式(2)

Euler距离的特点是在两个直方图中的同一个量化级间进行比较，所有量化级的直方图分量在整个距离公式中有相等的贡献。如图5a所示，此为图像划分前的示意图；图5b为进行区域划分后的图像示意图。

㈢第三种情况：区域内车辆重新运动时非完整轮廓情况下的检测

监测区域内车辆重新运动时，在摄像机定点匀速旋转的情况下匹配的是当前帧的车辆与上一次旋转时的图像帧中的车辆目标。这就要用到尺度不变特征与旋转不变特征来进行目标的匹配，在本专利中，融合了SIFT和SURF算子。

SIFT特征匹配算法是通过建立图像的多尺度空间，确定特征点位置的同时确定其尺度，以达到尺度抗缩放的目的，通过剔除一些对比度较低的点以及边缘响应点以增强算法的稳定性，并提取旋转不变特征描述符以达到抗放射变换的目的。利用高斯差分金字塔分层结构提取出图像中的极值点作为候选特征点，对这些候选特征点去掉那些低对比度边缘上的点，最后得到稳定的特征点。为了得到高斯差分图像中的极值点，每一个样本像素点要和它相邻的上下左右所有的点进行比较。如果该样本点的灰度值是极大值或极小值，则这个样本点是候选特征点，否则按照同样的方法对其他的像素点进行比较，这样就确定了特征点的位置。

SURF是一种基于快速稳健特征的匹配算法，算法的基本思想和SIFT相似，建立尺度空间、极值点定位和生成描述子，但SURF中的计算都是在积分图像的基础上进行的，对积分图像进行了卷积，增加了特征点的提取速度，同时降低了特征描述的维度，并且仍然具有较好的特征特异性，对光照、旋转、缩放等具有不变性。

描述子描述了极值点周围像素的分布情况，在SIFT算法中是统计在梯度上的分布情况，SURF是统计描述子在Haar小波的x和y方向上的分布。为了使描述子具有旋转不变性，要对描述子赋予一个方向值，有了这个方向，在极值点周围的描述子的区域旋转到这个主方向，然后再计算描述子。

首先以特征点为中心，计算半径为6s（s为特征点所在的尺度值）的邻域内的点在x、y方向的Haar小波（Haar小波边长取4s）响应，并给这些响应值赋高斯权重系数，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小，其次将60°范围内的响应相加以形成新的矢量，遍历整个圆形区域，选择最长矢量的方向为该特征点的主方向。这样，通过特征点逐个进行计算，得到每一个特征点的主方向。

为了提取极值点描述子，需要在极值点周围选取20*20大小的区域。首先以极值点为中心，将区域的方向旋转到极值点的方向。将这个正方形区域分成5*5共25个子区域，这样能很好的保留重要的空间信息。每个子区域里有(20/5=4)4*4的像素。

在每个子区域分别计算每个像素点再Haar小波x和y方向上的响应值，之后对所有的

、以极值点为中心进行高斯加权

。对每一个子区域内的小波响应值、

分别进行求和，记为、

，将这两个值存入描述子特征向量，将特征向量归一化，使得描述子具有光照、尺度不变性，这样就形成了一个四维向量，对16个子向量分别求特征向量，这样就形成了64维向量。

具体实施时，以上三种情况，可按以下操作处理：

㈠第一种情况：被检测区域无车到有车辆驶入及其逆过程的检测

利用OpenCV中提供的Adaboost算法工具进行训练，最终得到一个多层级联的强分类器。训练过程如下：

反例样本由背景描述文件negatives.dat来描述，背景描述文件是一个文本文件，每一行包含了一个反例样本图片的文件名（基于描述文件的相对路径）。采用Dos命令生成样本描述文件，会在图片路径下生成一个negdata.dat文件，打开该文件将最后一行的negdata.dat删除，这样就生成了负样本描述文件。

对于正例样本，由于HaarTraining训练时输入的正样本是vec文件，所以需要使用CreateSamples程序将准备好的正样本转换为vec文件。转换的步骤如下：首先制作一个正例样本描述文件，用于描述正样本文件名（包括绝对路径或相对路径）、正例样本数目以及各正例样本在图片中的位置和大小，这样就生成了正样本描述文件carlib.dat。然后运行CreateSamples程序，dos命令窗口如⑴和⑵所示。

⑴生成正样本的vec文件的命令行：

opencv_createsamples.exe 

–info carlib\carlib.dat 

–vec data\car.vec 

–num 72 

–w 53 

–h 40

运行结束会生成一个car.vec的文件，该文件包含正样本数目，宽高以及所有样本图像数据。到此，样本的创建就完成了。训练分类器的过程如⑵-⑷所示。

⑵训练分类器命令行：

opencv_haartraining.exe 

–data data\cascade 

–vec data\car.vec 

–bg negatives\negatives.dat 

–npos 72 

–nneg 41 

–mem 1024 

–mode All 

–w 214 

–h 161

⑶阶段0的训练过程和阶段1的训练过程结束后，用performance.exe进行目标检测。可执行程序运行结果如⑷所示。

⑷用分类器进行目标检测的命令行：

opencv_performance.exe

–data data\cascade 

–info carlib\carlib.dat 

–w 53 

–h 48 

–rs 40

㈡检测区域内对静止车辆的检测

利用直方图匹配算法，将读入的图像划分为5*5块，然后获取各块的像素和；图6a和图6b是对监测区域内静止车辆进行直方图匹配后的示意图。

㈢区域内车辆重新运动时非完整轮廓情况下的检测

SIFT算子主要对极值点进行定位，找到特征点并剔除对比度低的边缘上的点，以获得稳定的特征点，然后通过计算欧氏距离对两幅图中不匹配的点对剔除掉，最后找到两幅图中匹配的点的个数并给出匹配结果，如图7a所示。

SURF算子创建Hessian矩阵，然后通过对行列式的比较来对极值点进行定位，提取极值点描述子，最后找到两幅图中匹配的点的个数并给出匹配结果，如图7b所示。

现有的违章停车检测方面的工作还是非常的有限，而违章停车检测是智能交通，智能城市管理等广泛应用的重要基础组成部分。现在，国家正在大力的进行物联网系统的科学研究与产业应用。智能城市管理和智能交通系统正是物联网应用中比较公认的和效益产值巨大的重要支柱，因此违章停车检测的研究具有非常重要的科学研究价值和国家战略意义。上述实施例的违章车辆检测方法，目的正是为实现高度智能化视频监控与现阶段大力推进的物联网科研与产业打下坚实的基础。

上述实施例的违章车辆检测方法，提出了一种智能城市管理中基于定点旋转摄像机的违章车辆检测方法。和现有的最优的方法相比，该方法不需要规定摄像机是静止不动的，这样就可以用同一个摄像机同时实现多个监测任务，大大提高了摄像机的利用效率和节约了成本。但是当摄像机旋转监控时，所有现在使用的适用摄像机静止时的违章停车检测的方法都将失效，而这方面的研究非常少。在该方法中，把定点旋转摄像机监控下的违章停车检测分类成三个互相独立的组成部分，并分别提出相应的算法，大量实际场景中的实验结果说明了本专利所提到的方法是有效的，能够在实际的场景中推广和应用。通过视觉感知节点，采集环境视频图像信息，利用特征检测和模式匹配相结合的方法，实现违章车辆的自动识别。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种违章车辆检测方法，其特征在于，包括：

a、在检测区域内无车辆到有车辆驶入、以及检测区域内车辆驶出到无车辆过程中，进行违章车辆检测处理；和/或，

b、对检测区域内静止车辆，进行违章车辆检测处理；和/或，

c、在检测区域内车辆重新运动时的非完整轮廓情况下，进行违章车辆检测处理。

2.根据权利要求1所述的违章车辆检测方法，其特征在于，步骤a具体包括：

a1、从各种渠道采集或搜集带车辆的图片，作为正例样本图；并从各种渠道采集或搜集不带车辆的图片，作为反例样本图；

a2、采用训练分类器，分别基于正例样本图和反例样本图，对采集得到的不带车辆的图像和车辆图像分别进行局部特征提取后，训练得到至少包括车辆的颜色和边缘特征的局部特征模型库，包括车辆的颜色、边缘等特征；

a3、提取当前帧目标图像的特征点，将该特征点与所述初级训练模型的模型库中的特征点进行匹配，给出识别结果；

a4、基于所述识别结果，如果特征点匹配数高于预设阈值，则认为监测区域内存在违章停滞车辆；反之，如果特征点匹配数低于预设阈值，则认为监测区域内不存在违章停滞车辆。

3.根据权利要求2所述的违章车辆检测方法，其特征在于，在步骤a2中，所述训练得到局部特征模型库的操作，具体包括：

采用训练分类器，分别利用正例样本图和反例样本图的harr特征，进行分类器训练，得到级联的boosted分类器，该级联的boosted分类器，即为训练好的分类器，用于识别检测区域内是否有车辆驶入；

在图像检测中，被检窗口依次通过级联的boosted分类器中每一级分类器，使在前面几层检测中大部分候选区域已被排除，全部通过每一级分类器检测的区域，即为目标区域；

分类器训练结束，得到的局部特征模型库，能够应用于输入图像中的感兴趣区域的检测；检测到目标区域时分类器输出为1，否则输出为0；检测整副图像时，需在图像中移动搜索窗口，检测每一个位置，以确定可能的目标。

4.根据权利要求1所述的违章车辆检测方法，其特征在于，步骤b具体包括：

b1、采用直方图匹配算法，以前一帧检测到的车辆图像作为模板，将当前帧检测到的车辆图像与所述模板划分成多个子块，计算各子块的色彩直方图及其欧拉距离；

b2、当相应子块的欧拉距离大于预设特定阈值时，停止计算后续其它子块的色彩直方图及其欧拉距离，认为该监测区域内已无违章停滞车辆，没有必要进行后续的子块计算。

5.根据权利要求4所述的违章车辆检测方法，其特征在于，步骤b1具体包括：

打开视频文件，采集视频序列的每一帧并存储为CvCapture格式，使用类ImageProcess中的操作对图像进行划分，保存划分区域的左上角和右下角；

读入模板图像，同样，将模板图像进行划分并保存划分区域的左上角和右下角；

利用局部投影熵计算方法，计算各子块的局部投影熵，并用局部投影熵中的几对有序数组或向量，分别依次保存各子块的行投影熵和列投影熵；

相应地，步骤b2具体包括：

匹配方法采用实时采集图和基准模板图全部计算的方式，具体来说是一边进行子块匹配计算一边进行阈值检验，以决定后续的子块计算是否还有必要继续进行计算。

6.根据权利要求4或5所述的违章车辆检测方法，其特征在于，所述色彩直方图，包括图像中三个颜色通道的联合概率密度函数：

                     (1)

在公式(1)中，N0是图像所有像素数，P表示概率密度函数，h是直方图函数，表示图像中具有颜色

的像素数；

那么，设f和h分别表示连续两帧图像中运动目标图像的色彩直方图，则f和h之间的Euler距离表示为：

                 (2)。

7.根据权利要求1所述的违章车辆检测方法，其特征在于，步骤c具体包括：

监测区域内车辆重新运动时，在摄像机定点匀速旋转的情况下，匹配的是当前帧的车辆与上一次旋转时的图像帧中的车辆目标，通过SURF算法和SIFT算法相融合，将尺度不变特征与旋转不变特征来进行目标的匹配，进行违章车辆检测处理。

8.根据权利要求7所述的违章车辆检测方法，其特征在于，所述SIFT算法的基本操作，具体包括：

通过建立图像的多尺度空间，确定特征点位置的同时确定其尺度，以达到尺度抗缩放的目的；

通过剔除一些对比度较低的点以及边缘响应点以增强算法的稳定性，并提取旋转不变特征描述符以达到抗放射变换的目的；

利用高斯差分金字塔分层结构提取出图像中的极值点作为候选特征点，对这些候选特征点去掉那些低对比度边缘上的点，最后得到稳定的特征点；

为了得到高斯差分图像中的极值点，每一个样本像素点要和它相邻的上下左右所有的点进行比较；

如果该样本点的灰度值是极大值或极小值，则这个样本点是候选特征点，否则按照同样的方法对其他的像素点进行比较，这样就确定了特征点的位置。

9.根据权利要求8所述的违章车辆检测方法，其特征在于，所述SURF算法，是一种基于快速稳健特征的匹配算法，SURF算法的基本操作和SIFTSURF相似，即：

建立尺度空间、极值点定位和生成描述子，但SURF算法中的计算都是在积分图像的基础上进行的，对积分图像进行卷积，增加特征点的提取速度，同时降低特征描述的维度，并且仍然具有较好的特征特异性，对光照、旋转、缩放等具有不变性；

描述子描述极值点周围像素的分布情况，在SIFT算法中是统计在梯度上的分布情况，SURF算法是统计描述子在Haar小波的x和y方向上的分布；为了使描述子具有旋转不变性，要对描述子赋予一个方向值，通过该方向，在极值点周围的描述子的区域旋转到该主方向，然后再计算描述子。

10.根据权利要求9所述的违章车辆检测方法，其特征在于，所述计算描述子的操作，具体包括：

以特征点为中心，计算半径为6s的邻域内的点在x、y方向的Haar小波响应，并给这些响应值赋高斯权重系数，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小；s为特征点所在的尺度值，Haar小波的边长取4s；

将60°范围内的响应相加以形成新的矢量，遍历整个圆形区域，每次遍历都得到一个矢量，选择最长矢量的方向为该特征点的主方向；这样，通过特征点逐个进行计算，得到每一个特征点的主方向。

Images