CN109919053A - 一种基于监控视频的深度学习车辆停车检测方法 - Google Patents

Abstract

本发明一种基于监控视频的深度学习车辆停车检测方法，属于计算机视觉和智能监控技术领域；提供了一种准确、实时、有效的停车检测方法，为高速公路隧道的交通安全提供有用的数据信息；技术方案为：从高速公路隧道摄像头获取的视频中按帧抽取图片并做预处理；利用上步中抽取的图片，提取运动前景目标；进行静止目标区域的检测；使用卷积神经网络分类模型判断静止目标是否为车辆，进行停车行为的判断。

Description

一种基于监控视频的深度学习车辆停车检测方法

技术领域

本发明一种基于监控视频的深度学习车辆停车检测方法，属于计算机视觉和智能监控技术领域。

背景技术

基于视频的停车检测方法主要有两类，即基于网格模型的方法和基于目标跟踪的方法。基于网格模型进行停车检测的方法主要感知图像区域的变化，从而判断是否出现停车，长安大学申请的“一种基于块累积的高速公路车辆停车检测方法”(申请号为：CN102110366)，通过将视频图像分割成多个块区域，并采用二值化方法将目标与背景图像进行分割，然后通过统计相邻块区域的个数确定是不是停车事件，这种方法在视频条件较好的场景下能够快速准确地判断出停车事件，但在高速公路隧道中，由于车辆灯光和系统照明的干扰，有时会在图像中形成局部光斑，导致二值化分割的效果不理想，容易引起误检。基于目标跟踪进行停车检测的方法，即通过车辆跟踪获取车辆运动信息，依据车辆停止时位置固定这一特点来判断停车事件，重庆大学申请的“基于视频检测技术的高速公路隧道停车检测方法”(申请号为：CN 103617410)，通过提取前景目标，然后获取前景目标轮廓面积、质心位置和外接矩形宽高比，接着采用多特征匹配方法对车辆进行跟踪，最后根据车辆在场景中被跟踪的视频帧数统计情况来判断是否出现停车事件，该方法可以解决一部分由外部环境干扰造成的错误检测问题，但是并没有从根本上对所检测到的目标进行是否为车辆的判断，所以直接采用这种方法也无法正确地检测出停车事件。

发明内容

本发明一种基于监控视频的深度学习车辆停车检测方法，克服了现有技术存在的不足，提供了一种准确、实时、有效的停车检测方法，为高速公路隧道的交通安全提供有用的数据信息。

为了解决上述技术问题，本发明采用的技术方案为：一种基于监控视频的深度学习车辆停车检测方法，其特征在于用在高速公路隧道中，包括以下步骤：

S100.从高速公路隧道摄像头获取的视频中按帧抽取图片并做预处理；

S200.利用步骤S100中抽取的图片，提取运动前景目标；

S300.进行静止目标区域的检测；

S400.使用卷积神经网络分类模型判断静止目标是否为车辆，进行停车行为的判断。

进一步，所述步骤S100中的预处理包括以下步骤：

S101.对图片进行双三次插值法缩放来调整图片的尺寸；

S102.根据隧道特征确定图片中的停车检测区域。

进一步，所述步骤S200包括以下步骤：

S201.采用混合高斯建立背景模型；

S202.将当前像素点同当前混合高斯模型按照优先级顺序进行匹配，提取出背景和运动前景目标。

进一步，所述步骤S300包括以下步骤：

S301.通过短时跟踪来估计运动目标的速度，得到可疑静止目标区域；

S302.对可疑静止目标区域进行图像相关性计算，当相关系数大于设定阈值时则判定为静止目标区域；

其中，相关系数r的公式为：

式中，X，Y分别表示短时跟踪前后可疑静止目标区域的图像像素值，Cov(X,Y)为X与Y的协方差，δ_x，δ_y分别表示X，Y的方差。

进一步，所述步骤S400具体包括以下步骤：

构建5个卷积层的网络结构作为分类模型，使用3x3的小卷积核进行特征提取；

使用批规范化对网络层中每个mini-batch的数据进行归一化；在最后的全连接部分采用Dropout算法；

将静止目标区域图片作为卷积神经网络分类模型的训练集，使用以TensorFlow为底层深度学习语言的Keras框架来实现对分类模型的构建和训练，得到可以判断静止目标是否为车辆的模型；

判断静止目标是否为车辆的模型，如果静止目标被识别为车辆，则判断有车辆停车事件发生。

进一步，所述步骤S101中的双三次差值法，基于如下三阶多项式产生插值系数h_c(s)：

式中，s为插值像素和参考像素之间的距离，c为一个可调参数。

进一步，所述步骤S102的停车检测区域包括正常的行车道和应急车道。

进一步，所述步骤S301中通过短时跟踪来估计运动目标的速度的步骤包括：

先利用Meanshift跟踪算法得到运动目标在当前帧中的位置；

然后计算运动目标的初始质心位置和跟踪后的质心位置，通过质心位置的移动情况得到运动目标的粗略估计速度，计算公式为v＝Δd/Δt，

式中，Δd为运动目标的质心位置移动的距离，Δt是视频帧采集间隔帧数N所对应的采集间隔时间；

所述步骤S301中得到可疑静止目标区域的步骤包括：

当v＜λ时则判定为该目标为可疑静止目标区域，其中，λ为模糊系数。

本发明与现有技术相比具有以下有益效果。

1.本发明方法中加入了卷积神经网络分类模型，由于该模型可以对静止目标区域进行是否为车辆的判断，所以可减少由于车辆灯光和系统照明干扰导致的误检；

2.本发明方法中没有对目标进行一直跟踪，而采用了短时跟踪的方法，这样减少了由于跟踪失败而导致的误检。

附图说明

图1为本发明方法的流程示意图。

图2为本发明方法中用4×4邻域像素计算插值像素F的过程图。

图3为本发明方法中卷积神经网络分类模型的结构图。

具体实施方式

下面结合附图对本发明做进一步的说明。

如图1、图2所示，本发明1.一种基于监控视频的深度学习车辆停车检测方法，其特征在于用在高速公路隧道中，包括以下步骤：

S100.从高速公路隧道摄像头获取的视频中按帧抽取图片并做预处理；

S101.对图片进行双三次插值法缩放来调整图片的尺寸；

步骤S101中的双三次差值法，基于如下三阶多项式产生插值系数h_c(s)：

式中，s为插值像素和参考像素之间的距离，c为一个可调参数；

根据R.Keys等人采用c＝-0.5取得了最好的效果，本发明实施例使用c＝-0.5，这时上式简化为：

接下来采用16个像素，也就是16个浮点数操作，类似窗口处理，图2表示用4×4邻域像素计算插值像素F的过程。将双三次插值过程分解为水平和垂直两个一维的插值，这样可以减少计算复杂度。三次插值由下式进行描述，其中，P₁～P₁₆表示16个原像素的值，C₁，C₂，C₃，C₄是垂直系数，L₁，L₂，L₃，L₄是水平插值系数，x，y是插值像素的坐标。图2显示了双三次插值的过程，首先进行垂直插值，根据原像素和虚拟像素的距离插值得到4个虚拟像素(F_h1,F_h2,F_h3,F_h4)；然后由这4个虚拟像素进行水平插值获得插值像素F。

F_h1＝C₁P₁+C₂P₅+C₃P₉+C₄P₁₃

F_h2＝C₁P₂+C₂P₆+C₃P₁₀+C₄P₁₄

F_h3＝C₁P₃+C₂P₇+C₃P₁₁+C₄P₁₅

F_h4＝C₁P₄+C₂P₈+C₃P₁₂+C₄P₁₆

F＝L₁F_h1+L₂F_h2+L₃F_h3+L₄F_h4

F(x,y)＝L₁(C₁P₁+C₂P₅+C₃P₉+C₄P₁₃)+

L₂(C₁P₂+C₂P₆+C₃P₁₀+C₄P₁₄)+

L₃(C₁P₃+C₂P₇+C₃P₁₁+C₄P₁₅)+

L₄(C₁P₄+C₂P₈+C₃P₁₂+C₄P₁₆)

S102.根据隧道特征确定图片中的停车检测区域。

标定感兴趣区域区域能够使处理的图像范围变小，从而减少处理的数据量，提高算法的高效性。此外标定感兴趣区域还可以避免一些干扰因素对检测结果的影响。本实施例中，感兴趣区域选择高速公路隧道内车辆可到达区域，也就是停车检测区域，它包括正常的行车道和应急车道。

S200.利用步骤S100中抽取的图片，提取运动前景目标；

S201.采用混合高斯建立背景模型；

在摄像机固定的情况下，背景的变化是缓慢的，而且大都是光照，风等等的影响，通过背景建模，对一幅给定图像分离前景和背景，一般来说，前景就是运动物体，从而达到运动物体检测的目的。混合高斯背景建模使用多个高斯模型来表征图像中各个像素点的特征，并且在新一帧图像获得后更新其参数，数学表达式如下：

若每个像素点颜色取值用变量X_t表示，则其概率密度函数可用K个高斯函数表示为

式中，K是高斯模型的分布个数，η(x_t,μ_k,t,∑_k,t)是像素X_t在t时刻的第k个高斯分布。μ_k,t，∑_k,t，w_k,t分别为第k个高斯分布在t时刻的均值、协方差矩阵和权值，而且满足条件∑w_k,t＝1，其中

式中，n为像素X_t的维数，一般假设像素点的RGB色彩空间的各个通道相互独立，并具有相同的方差，则协方差矩阵其中I为单位矩阵。

以上完成了模型的定义，下面要进行模型的更新，主要包括高斯参数的更新和选取最合适的匹配。首先对K个高斯分布按照w_k,t/σ_k,t从大到小进行排序，将获得的新像素值按照下式进行判断，若与多个高斯分布相匹配，则选取最大的一个w_k,t/σ_k,t相匹配，并进行参数更新。如果与K个高斯分布都不匹配，则创建新的高斯分布，其均值为该像素值，权值取1/K，方差为较大的一个值，并且替换掉权重最小的高斯分布。

|X_t-μ_k,t|≤2.5σ_k,t

与像素X_t相匹配的高斯分布按如下公式更新参数：

w_k,t＝(1-α)w_k,t-1+α(M_k,t)

μ_k,t＝(1-ρ)μ_k,t-1+ρX_t

其中，若该像素点X_t与第k个高斯分布匹配，则M_k,t为1，否则为0；α为高斯模型的学习率，且0≤α≤l；ρ是参数学习率，且

在更新完各个高斯分布参数后，重新对w_k,t/σ_k,t按由大到小进行排序，将满足下式的前B个模型作为背景模型。

式中，阈值T表示背景高斯成分在整个像素的概率分布中所占的比例大小，本发明实施例T取值为0.7。

S202.将当前像素点同当前混合高斯模型按照优先级顺序进行匹配，提取出背景和运动前景目标。

基于前面建立的混合高斯模型，将当前像素点值X_t同当前B个高斯模型按照优先级顺序进行匹配，如果当前像素点值与某一个高斯模型均值的差值绝对值小于或等于2.5倍的方差，如下式所示：

|X_t-μ_k,t|≤2.5σ_k,t

则认为该像素点属于这个高斯模型，即该像素点为背景。反之，如果该像素点没有属于任何一个高斯模型，则认为该像素点是前景。

S300.进行静止目标区域的检测；

S301.通过短时跟踪来估计运动目标的速度，得到可疑静止目标区域；

提取运动目标完成后，再间隔N帧然后使用Meanshift跟踪算法计算运动目标在当前帧中的位置，进而可以得到运动目标的速度。

将提取到的前景运动目标作为初始帧中包含跟踪目标的区域。HSV空间(HSV，即色调Hue、色饱和度Saturation、明亮度Value)采用的是较为直观的色彩描述方法，因此本发明实施例先将目标区域的RGB颜色空间转换为HSV颜色空间，之后再分离其中的色调分量并将其分成m份，每份分别对应1个子特征值，那么可以用这些子特征值来表征整个目标区域。根据核函数的凸特性与单调递减性，假设其中有n个像素用{z_i}_i＝1...n表示其位置，第u个子特征值的概率表示为

上式中x₀为搜索窗口的中心坐标，x_i为第i个像素的坐标，k(||x²||)为核函数，本实施例选用Epanechikov核函数，h为核函数带宽，通常取为搜索窗口宽度的一半，核函数赋予离目标中心较近的点以较大的权值，b函数表示x_i处像素的颜色特征值，δ函数为Kronecker delta函数，标准化常量系数C使得所有特征值的概率之和等于1，取

假设当前帧候选目标区域的中心像素坐标为y₀，那么第u个特征值的概率为：

相似性度量，相似性函数是表征目标模型和候选目标模型的相似性程度，本实施例采用Bhattacharyya系数作为相似性函数，它可以衡量两个离散特征直方图分布之间的相似性，其定义为：

相似函数越大则两个模型越相似，寻找使得相似函数最大的候选区域，这个候选区域就是目标在本帧中的位置。

通过上述Meanshift跟踪算法能够得到目标在当前帧中的位置，接下来计算运动目标的初始质心位置和跟踪后的质心位置，通过质心位置的移动情况可以得到运动目标的粗略估计速度，计算公式为v＝Δd/Δt，式中Δd为运动目标的质心位置移动的距离，Δt是视频帧采集间隔帧数N所对应的采集间隔时间。理想状态下若v等于0则说明运动目标静止了，但是由于不能完全排除阴影和晃动对质心位置造成的影响，导致相邻Δt时间前后的静止目标质心不能完全重合，因此引入了模糊系数λ，则当v＜λ时则判定为该目标为可疑静止目标区域，然后将该区域的信息存放到图片缓冲区，以便下一步确认是否为真正的静止区域。

S302.将缓冲区中相应的图片信息取出，对可疑静止目标区域进行图像相关性计算，当相关系数大于设定阈值时则判定为静止目标区域；

其中，相关系数r的公式为：

式中，X，Y分别表示短时跟踪前后可疑静止目标区域的图像像素值，Cov(X,Y)为X与Y的协方差，δ_x，δ_y分别表示X，Y的方差。

S400.使用卷积神经网络分类模型判断静止目标是否为车辆，进行停车行为的判断。具体包括以下步骤：

构建5个卷积层的网络结构作为分类模型，使用3x3的小卷积核进行特征提取；

使用批规范化(Batch Normalization，BN)对网络层中每个mini-batch的数据进行归一化使其均值变为0，方差变为1，其主要作用是缓解网络训练中的梯度消失或爆炸现象，加快模型的训练速度；

在最后的全连接部分采用Dropout算法，通过随机放弃一些神经元的输出来提高模型的泛化能力，而且明显减轻过拟合的问题；

将从步骤S300得到的静止目标区域图片作为卷积神经网络分类模型的训练集，使用以TensorFlow为底层深度学习语言的Keras框架来实现对分类模型的构建和训练，得到可以判断静止目标是否为车辆的模型；

判断静止目标是否为车辆的模型，如果静止目标被识别为车辆，则判断有车辆停车事件发生。

尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (8)

1.一种基于监控视频的深度学习车辆停车检测方法，其特征在于用在高速公路隧道中，包括以下步骤：

S100.从高速公路隧道摄像头获取的视频中按帧抽取图片并做预处理；

S200.利用步骤S100中抽取的图片，提取运动前景目标；

S300.进行静止目标区域的检测；

S400.使用卷积神经网络分类模型判断静止目标是否为车辆，进行停车行为的判断。

2.根据权利要求1所述的一种基于监控视频的深度学习车辆停车检测方法，其特征在于：所述步骤S100中的预处理包括以下步骤：

S101.对图片进行双三次插值法缩放来调整图片的尺寸；

S102.根据隧道特征确定图片中的停车检测区域。

3.根据权利要求1所述的一种基于监控视频的深度学习车辆停车检测方法，其特征在于：所述步骤S200包括以下步骤：

S201.采用混合高斯建立背景模型；

S202.将当前像素点同当前混合高斯模型按照优先级顺序进行匹配，提取出背景和运动前景目标。

4.根据权利要求1所述的一种基于监控视频的深度学习车辆停车检测方法，其特征在于：所述步骤S300包括以下步骤：

S301.通过短时跟踪来估计运动目标的速度，得到可疑静止目标区域；

S302.对可疑静止目标区域进行图像相关性计算，当相关系数大于设定阈值时则判定为静止目标区域；

其中，相关系数r的公式为：

式中，X，Y分别表示短时跟踪前后可疑静止目标区域的图像像素值，Cov(X,Y)为X与Y的协方差，δ_x，δ_y分别表示X，Y的方差。

5.根据权利要求1所述的一种基于监控视频的深度学习车辆停车检测方法，其特征在于：所述步骤S400具体包括以下步骤：

构建5个卷积层的网络结构作为分类模型，使用3x3的小卷积核进行特征提取；

使用批规范化对网络层中每个mini-batch的数据进行归一化；在最后的全连接部分采用Dropout算法；

将静止目标区域图片作为卷积神经网络分类模型的训练集，使用以TensorFlow为底层深度学习语言的Keras框架来实现对分类模型的构建和训练，得到可以判断静止目标是否为车辆的模型；

判断静止目标是否为车辆的模型，如果静止目标被识别为车辆，则判断有车辆停车事件发生。

6.根据权利要求2所述的一种基于监控视频的深度学习车辆停车检测方法，其特征在于：所述步骤S101中的双三次差值法，基于如下三阶多项式产生插值系数h_c(s)：

式中，s为插值像素和参考像素之间的距离，c为一个可调参数。

7.根据权利要求2所述的一种基于监控视频的深度学习车辆停车检测方法，其特征在于：所述步骤S102的停车检测区域包括正常的行车道和应急车道。

8.根据权利要求4所述的一种基于监控视频的深度学习车辆停车检测方法，其特征在于：所述步骤S301中通过短时跟踪来估计运动目标的速度的步骤包括：

先利用Meanshift跟踪算法得到运动目标在当前帧中的位置；

然后计算运动目标的初始质心位置和跟踪后的质心位置，通过质心位置的移动情况得到运动目标的粗略估计速度，计算公式为v＝Δd/Δt，

式中，Δd为运动目标的质心位置移动的距离，Δt是视频帧采集间隔帧数N所对应的采集间隔时间；

所述步骤S301中得到可疑静止目标区域的步骤包括：当v＜λ时则判定为该目标为可疑静止目标区域，其中，λ为模糊系数。