CN103116984B - 检测违章停车的方法 - Google Patents

Abstract

本发明提供了一种检测违章停车的方法，包括：检测视频图像内存在运动图像的区域；提取该运动图像的区域的特征点；如果所述提取的特征点与预先记录的一组基准特征点匹配成功，则确定存在违章停车。本发明的方法，可有效识别出视频图像中存在的运动图像与之前记录的图像中的特征点是否一致，从而判断是否存在违章停车，克服了现在技术中，采用人工检测违章停车，不能长时间的检测违章停车的缺陷。

Description

检测违章停车的方法

技术领域

本发明涉及车辆检测领域，特别是指一种检测违章停车的方法。

背景技术

汽车作为交通工具，在城市中的拥有量越来越多。城市中用于停放汽车的空闲位置越来越少，由此产生了很多违章停车的事件。

目前对违章停车的检测方式，主要由人工方式检测。这种检测方式需要用户长时间人工监控所有不能停车的场所，受天气的影响，用户不能24小时不间断的巡视所有禁止停车的场所及位置，导致违章停车的现象频繁出现。

发明内容

本发明提出了一种检测违章停车的方法，以解决上述不能不间断的检测违章停车的问题。

为了达到上述目的，本发明的技术方案是这样实现的，包括：

检测视频图像内存在运动图像的区域；

提取该运动图像的区域的特征点；

如果所述提取的特征点与预先记录的一组基准特征点匹配成功，则确定存在违章停车。

本发明的方法，可有效识别出视频图像中存在的运动图像与之前记录的图像中的特征点是否一致，从而判断是否存在违章停车，克服了现在技术中，采用人工检测违章停车，不能长时间的检测违章停车的缺陷。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是实施例的流程图；

图2是实施例中前景检测的流程图；

图3是实施例中采用sift算法实现违章检测的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的实施例包括以下步骤：

S11：检测视频图像内存在运动图像的区域；

S12：提取该运动图像的区域的特征点；

S13：如果所述提取的特征点与预先记录的一组基准特征点进行匹配，则确定存在违章停车。

本发明的方法，可有效识别出视频图像中存在的运动图像与之前记录的图像中的特征点是否一致，从而判断是否存在违章停车，克服了现在技术中，采用人工检测违章停车，不能长时间的检测违章停车的缺陷。

上述的视频图像的特征点的匹配，可采用SIFT算法实现。采用SIFT算法，可提交匹配效率，降低匹配时间。参见图3，包括以下步骤：

S31：前景检测；

前景检测的过程包括如图2所示的步骤。

优选地，实施例中，预先建立背景模型，检测背景图像中是否存在运动图像的区域的过程包括以下步骤，参见图2：

S21：将当前帧的图像二值化，得到差分图像；

取彩色图像作为背景图像，从第二帧彩色图像开始，将当前图像与背景图像简单相减取绝对值并二值化得到差分图像--d(i,j)。

S22：逐行扫描所述差分图像中的像素点，如果扫描到的像素点为白色像素点，则根据相邻像素点的灰度，遍历到由多个白色像素点构成的封闭区域的轮廓；

可采用基于连通性的边界跟踪算法,获得提取整个图像序列中汽车的轮廓。把轮廓以点序列的形式存储。

轮廓线上点，与其相邻点的灰度值有一定的跳跃，故通过灰度值的对比，就可以将这些点提取出来。为了简单，去掉了图像边框上所有象素点，每个被提取的象素点A，与其周围的8个点作比较，当某点周围8个参考点有一个不都与之相同时，这个点就是轮廓点。

边界跟踪算法先选择一起始点s∈S_c，然后沿顺时针或逆时针利用连通性跟踪边界直到回到起始点。

已知像素p,q∈S，如果存在一条从p到q的路径，且路径上的全部像素都包含在S中，则称p与q是连通的。

连通性(connectivity)是等价关系．对属于S的任意三个像素p、q和r，有下列性质：

1）像素p与p本身连通（自反性）．

2）如果p与q连通，则q与p连通（互换性）．

3）如果p与q连通且q与r连通，则p与r连通（传递性）．

S23：确定包含所述封闭区域的轮廓的边界像素点的最小外接矩形；

对于查找出的轮廓点序列,计算这个序列中所有点在水平和竖直方向上的最小值和最大值Xmax，Ymin，Xmax，Ymax。则外接矩形的左上角坐标和宽高为（Xmin，Ymin），width=Xmax-Xmin+1，height=Ymax-Ymin+1。

S24：采用训练集识别所述最小外接矩形内的汽车轮廓。

对外接矩形区域基于梯度直方图特征HOG的支持向量机的分类器SVM进行汽车轮廓检测。

该分类器可训练出一个分类平面，将能将输入图像中的汽车图像和非汽车图像区分开。

使用支持向量机法进行汽车检测的过程如下：

1）训练：选取合适的核函数，k（xi，xj）。

2）最小化w，在ω_i(w·x_i-b)≥1-ξ_i的条件下。

3）只存储非零的α_i和相应的x_i（它们是支持向量）。

4）将图像按一定比例缩放到不同尺度，在每一个尺度下使用64*128大小的窗口扫描图像。然后再对每个窗口下的图像进行分类。

5）分类：对于模式X，用支持向量x_i和相应的权重α_i计算判别函数式这个函数的符号决定这个区域是不是汽车。

6）其中模式X为输入汽车轮廓区域。

7）对待检测区域的检测策略是从上到下，从左到右，对每个64*128大小的的窗口进行分类。

8）再对图像进行缩小，再进行分类，直到待检测区域已经小于64*128。

优选地，上述实施例中，还包括：对差分图像执行形态学运算，将运算的结果执行后续操作。

对于差分图像先进行形态学开运算去除掉孤立的小点，噪声，毛刺及小桥。再通过形态学闭运算弥合断裂的汽车区域。然后输出二值图像作为后续处理。

一般意义的腐蚀概念可定义为:X用B来腐蚀，表示为：

$E=\mathrm{X\ΘB}=\left\{x\right|{\left(B\right)}_x\⊆X\}$

膨胀可以看作是腐蚀的对偶运算，其定义是：把结构元素B做关于原点的映射，再平移a后得到(BV)a，若(BV)a与X的交集不为空，我们记下这个BVa的原点a，所有满足上述条件的a点组成的集合称作X被B膨胀的结果。

腐蚀和膨胀不是互逆运算，所以可以级联使用。先腐蚀后膨胀的过程称为开运算。

形态学开运算用来消除小物体、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其面积。

X用B来开启表示为：

先膨胀后腐蚀的过程称为闭运算。用来填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积。X用B来闭合，表示为： $\mathrm{CLOSE}\left(X\right)=X\·B=(X\⊕B)\mathrm{\ΘB}.$

经过上述步骤，可有效检测到背景图像中的汽车图像。在检测到存在运动的图像后，提取该运动图像的特征点，及图像内汽车的特征点。

S32：判断是否检测到前景中的运动图像，如果检测到，则执行S33；

S33：通过SIFT算法检测运动图像的特征点。

优选地，视频图像中的运动图像的特征点通过以下步骤确定：

读取一帧视频图像，该图像为I（x，y），与高斯函数G（x，y，σ）卷积，得到尺度空间的图像L（x，y，σ）；

L（x，y，σ）=G（x，y，σ）*I（x，y）

其中， $G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)}/2{\mathrm{\σ}}^2;$

σ的取值范围为0~20之间，其大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的σ值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。为了有效的在尺度空间检测到稳定的特征点，使用高斯差分尺度空间，通过以下公式获得不同尺度空间的D（x，y，σ）；

D(x,y,σ)=(G(x,y,σ)*I(x,y))=L(x,y,kσ)-L(x,y,σ)其中，k=1.414

将σ=0~20按照10等分划分，可获得10个差分高斯尺度空间的图像。可看作10个层叠的10个I（x、y）图像。

在当前层的尺度的图像内，如果一个像素点在本层及其两个相邻层的8邻域内，Dog算子的响应值的最大值或最小值，则该点为该尺度下的一个特征点。其中，在8邻域内的像素点，分为上、下两个相邻层，每层共9个像素点，本层的像素点不包含自身，共9+9+8=26个像素点。

优选地，还包括，除去不适合的特征点；

通过拟和三维二次函数以精确确定特征点的位置和尺度（达到亚像素精度），同时去除低对比度的特征点和不稳定的边缘响应点(因为高斯差分算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。

优选地，为每个特征点建立一个描述子，通过描述子的信息进行匹配。

优选地，建立描述子的过程如下：

根据每个尺度下所确定的该特征点及其周围邻域内的像素点的梯度，建立梯度直方图；

其中，周围邻域为矩形，像素点可选择16*16个像素点，特征点在矩形像素点的中心位置。

该梯度直方图包括多个不同角度区间，每个角度区间为多个梯度在该区间内的像素点的模长的和。

每个像素点L的模长m和角度θ通过如下公式确定：

$m(x,y)=\sqrt{{(\mathrm{Lx}+1,y-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

$\mathrm{\θ}(x,y)=\mathrm{arc}\tan 2\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}$

将所述梯度直方图中梯度的最大模对应的角度范围中的一个角度作为主方向；例如：在30~40度范围内的模的和为各个角度范围中最大的，可选择端点或中间点作为主方向，例如30度或35度作为主方向。

用一个中心在该区域中央的高斯函数对所述周围邻域内的各个像素点的梯度的模加权；加权过程中，取σ=1.5；

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)}/2{\mathrm{\σ}}^2$

将所述周围邻域内的各个像素划分为多个区块，根据每个区块内的像素点的加权后的模长、相对于所述主方向的角度差值，建立梯度直方图，确定该区块的向量；

将16*16个像素点，以4*4个像素点为一个区块，分为16个区块，在这个小区块中统计梯度直方图，直方图按照角度值45度划分，共包括360度/45度=8个方向区间；那么整个描述子所覆盖的区域含有的信息就是16×8=128个。

以多维向量的格式记录全部区块的向量信息形成特征向量，作为该特征点的描述子。整个描述子可以看作是一个128维的向量，即特征向量。

最后将特征向量归一化，则可以去掉光照变化产生的影响。归一化之后，具有以下效果：

如果光照变化是对比度变化，则相当于是对每个点的梯度乘上了一个常数，那么标准化后这个常数就被消除了；如果光照变化是亮度的变化，那么相对于对每个点的像素值加上了一个常数，对梯度的变化没有任何影响。但是由于一些非线性的光照变化会使某些像素的梯度模值产生较大变化，同时对梯度方向没有影响，因此我们在统计梯度直方图时将所有大于某个阈值的梯度模值都置为这个阈值，就可以降低光照变化的影响。

要注意的是，向量归一化是在所有模值经过阈值的限制之后进行的。因为这样的操作相当于降低了大模值点的模值在匹配中的权重。在建立直方图后，将各个梯度的模值与阈值比较，超过阈值的模值设置为阈值。这个阈值选为0.1~0.3，优选0.2。经过阈值修正后，可降低光线变化对图像匹配的影响。

经过上述过程，可确定一个视频图像的全部特征点的描述子，每个描述子包含一个特征向量。

S34：进行特征点匹配。

将提取的视频图像中的特征点与预先记录的特征点进行匹配，匹配过程包括：

1）可预先提取视频图像内的全部特征点，并为每个特征点按照上述过程建立一个描述子。

2）当采集到当前的视频图像后，提取视频图像中的特征点，并建立描述子。

3）确定所述视频图像的各个尺度每个特征点对应的描述子与预先记录的一组特征点对应的描述子的欧氏距离d；

其中，所述欧氏距离d=sqrt(∑(xi1-xi2)^2)；xi1为记录的一组特征点中的一个特征点的第i维向量、xi2为运动图像中的一个特征点的第i维向量；

4）如果最小的欧氏距离不大于第一阈值、且最小的欧氏距离与次小的欧氏距离的比值不大于第二阈值，则确定用于运算出所述最小的欧氏距离的两个描述子各自对应的特征点相匹配；

5）当相匹配的特征点的数量占该组特征点总数量的比值超过阈值后，确定视频图像与该组特征点匹配成功。该阈值可设置为1/3。通过大量的实验比较，阈值设置为1/3时，可有戏提高识别的成功率。

S35：计算连续多帧视频图像的特征点的静止时间；

如果多帧视频图像的特征点都与记录的特征点相匹配，则统计该多帧视频图像的时间。

静止时间可通过特征点组的聚类中心的位置判断，在视频图像中通过前景检测得到的图像的多个特征点的聚类中心的位置，连续多帧图像的聚类中心的位置没有变化，则多帧视频图像的时间为静止时间。

聚类中心的位置为全部特征点的坐标位置的平均位置。包括：Center（x，y）=(P₁（x,y）+P₂（x,y）+…+P_n（x,y）)/n；P为特征点。

S36：判断时间是否超过阈值T；

判断统计的时间是否超过阈值T；

S37：输出结果。

如果超过阈值T，则确定存在违章停车；如果没有超过，则确定没有违章停车。

优选地，在S34中，如果匹配失败，则将所述提取的特征点替换所述记录的该组特征点。例如：第一帧背景图像为当前区域没有任何车辆通过的图像，此时没有记录特征点；当通过第一个车辆时，与背景图像一起检测，提取车辆的特征点，进行匹配，由于当前没有特征点，则记录该车辆的特征点；

在后续的视频图像的检测和匹配中，如果没有特征点与记录的没有匹配，则表明车辆不存在违章停车。

优选地，上述实施例中，前景检测的过程，还可利用单高斯或者多高斯进行背景建模，检测前景。

使用混合高斯背景建模发提取出场景中运动的车辆区域。

单高斯背景建模为 $f(x;\mathrm{\μ};\mathrm{\σ})=\mathrm{\φexp}(\frac{-{(x-\mathrm{\μ})}^2}{2{\mathrm{\σ}}^2}.$

混合高斯背景建模

1）首先初始化混合模型参数，包括：

每个高斯模型的所占权重

每个高斯模型的均值和标准差。

其中权重的初始化就是对背景的分布进行先验概率的估值，在初始化的时候，一般将第一个高斯模型的权重取较大，其他就相应的取值较小，即：

${\mathrm{\ω}}_k(x,y,1)=\left\{\begin{array}{cc}W& k=1\\ (1-W)/(K-1)& k\≠1\end{array}\right.$

其中第一个高斯模型的均值等于输入视频的第一帧对应的像素值或处理单位的平均值，即：

${\mathrm{\&mu;}}_k(x,y,l,1)=\left\{\begin{array}{cc}I(x,y,l,1)& k=1\\ 0& k\&NotEqual;1\end{array}\right.0<k<=K$

K个高斯模型的方差v：

σ_k ²(x,y,1)=vark=1,2,...,K

所有高斯模型的初始方差都是相等的，即：σ_k ²(x,y,1)=vark=1,2,...,K

var取值直接与该视频的动态特性相关。

2）更新高斯模型参数

遍历每个高斯模型，比较下式：

(I(x,y,l,f)-μ_k(x,y,l,f-1))²<c*σ_k(x,y,f-1)²

如果对于所有的颜色分量都成立，那么就把该像素归于第B个高斯模型，否则，就不属于任何一个高斯模型，这就相当于出现了野点。以上两种情况都需要做相应的更新。

情况1相应的更新：

情况1表示当前的像素点的值满足第B个高斯分布，那么这个像素并不一定属于背景，需要判定这第B个高斯分布是否满足以下条件：

$\underset{n=1}{\overset{B}{\mathrm{\&Sigma;}}}{w}_B(x,y,f)<\mathrm{Threshold}$

则说明该像素点属于背景点，否则就属于前景点。

如果该像素属于背景点，那么就说明第B个背景分布输出了一个采样值，这时所有分布都需要进行参数更新。

对应的第B个高斯模型参数更新如下：

w_B(x,y,f)=(1-α)*w_B(x,y,f-1)+α

μ_B(x,y,l,f)=(1-β)*μ_B(x,y,l,f-1)+β*I(x,y,l,f)

σ_B ²(x,y,f)=(1-β)*σ_B ²(x,y,f-1)+β*(I(：)-μ_B(:))^T*(I(：)-μ_B(:))

其余的高斯模型只改变权值，均值和方差都保持不变，即：

w_k(x,y,f)=(1-α)*w_k(x,y,f-1)k≠B

β=αη(I(x,y,:,f)|μ_B,σ_B)

野点指的是该像素值不符合任何一个高斯分布，此时我们把该像素点看成是视频中出现的新情况，用这种新情况来代替第K个高斯分布，其权重和均值以及方差都按照初始化思路确定，也就是分配一个较小的权重，和一个较大的方差，即：

w_K(x,y,f)=(1-W)/(K-1)

μ_K(x,y,l,f)=I(x,y,l,f)

σ_K(x,y,l,f)=var

同时确定该点是前景点。

还可以按照另一种方式处理前景图像，如：

本方法采用混合高斯模型对背景进行建模。混合高斯建模由有限个高斯函数的加权和组成。对每一个像素点，定义K个高斯模型（K可以取3至6）。然后高斯混合模型初始化计算视频序列图像像素的均值μ₀和方差σ₀。

检查每一个新的像素值是否与背景的高斯混合模型匹配，如果不匹配，该像素是前景图像，不对高斯混合模型参数进行更新。如果匹配则对相应的参数进行更新。高斯模型参数（权值w_i、均值μ_i、方差）更新方程如公式（1）（2）（3）（4）：

${\mathrm{\&mu;}}_0=\frac{1}{N}\underset{t=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{I}_t$ ${\mathrm{\&sigma;}}_0=\frac{1}{N}\underset{t=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{(I_t-{\mathrm{\&mu;}}_0)}^2---\left(1\right)$

w_i(t)=(1-α)w_i(t-1)+α(2)

μ_i(t)=(1-ρ)μ_i(t-1)+ρX(t)(3)

${\mathrm{\&sigma;}}_i^2\left(t\right)=(1-\mathrm{\&rho;}){\mathrm{\&sigma;}}_i^2(t-1)+\mathrm{\&rho;}{(X\left(t\right)-{\mathrm{\&mu;}}_i\left(t\right))}^T(X\left(t\right)-{\mathrm{\&mu;}}_i\left(t\right)---\left(4\right)$

其中α为背景更新率，（0≦α≦1），ρ为背景参数更新率并且ρ=α/w_i(t)，X(t)为t时刻的像素，N为图像中像素的总个数，μ_i(t)表示t时刻第i个单高斯分布的均值，w_i(t)表示t时刻第i个单高斯分布的权重，并且K个高斯模型。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种检测违章停车的方法，其特征在于，包括：

检测视频图像内存在运动图像的区域；

提取该运动图像的区域的特征点；

如果所述提取的特征点与预先记录的一组基准特征点匹配成功，则确定存在违章停车；所述提取视频图像的特征点的步骤包括：

在高斯差分尺度空间，根据不同的高斯核函数的σ值，建立图像所对应的多张层叠的不同尺度的图像；

在当前层的尺度的图像内，如果一个像素点在本层及其两个相邻层的8邻域内，为最大值或最小值，则该点为该尺度下的一个特征点；

所述匹配的过程包括：

根据每个尺度下的每个特征点所在图像的位置，确定该特征点及其周围邻域内的像素点的梯度，建立该特征点对应的描述子；

确定所述运动图像的每个特征点对应的描述子与所述记录的一组特征点对应的描述子的欧氏距离d；

其中，所述欧氏 距离d＝sqrt(∑(xi1-xi2)^2)；xi1为记录的一组特征点中的一个特征点的第i维向量、xi2为运动图像中的一个特征点的第i维向量；

如果最小的欧氏 距离不大于第一阈值、且最小的欧氏距离与次小的欧氏距离的比值不大于第二阈值，则确定用于运算出所述最小的欧氏 距离的两个描述子各自对应的特征点相匹配；

当相匹配的特征点的数量占记录的该组特征点总数量的比值超过第三阈值后，确定运动图像与该组特征点匹配成功；

所述建立描述子的过程包括：

根据所述确定的该特征点及其周围邻域内的像素点的梯度，建立梯度直方图；

将所述梯度直方图中梯度的最大模对应的角度范围中的任意一个角度作为主方向；

用一个中心在该区域中央的高斯函数对所述周围邻域内的各个像素点的梯度的模加权；

将所述周围邻域内的各个像素划分为多个区块，根据每个区块内的像素点的加权后的模长、相对于所述主方向的角度差值，建立每个区块内的直方图，确定该区块内的向量；

以多维向量的格式记录全部区块的向量信息形成特征向量，作为该特征点的描述子。

2.根据权利要求1所述的方法，其特征在于，所述σ值介于0～20之间。

3.根据权利要求1所述的方法，其特征在于，还包括：建立所述梯度直方图的过程中，如果其中一个特征点的梯度的模大于第四阈值，则将该梯度的模值设置为第四阈值。

4.根据权利要求1所述的方法，其特征在于，还包括：对每个特征点的特征向量归一化处理。

5.根据权利要求1所述的方法，其特征在于，如果匹配失败，则将所述提取的特征点替换所述记录的该组特征点。

6.根据权利要求1所述的方法，其特征在于，还包括：如果连续多帧视频图像内存在运动图像的区域的特征点、与所述预先记录的特征点匹配成功，且多帧视频图像的特征点的静止时间超出预定的时间，则确定违章停车。