CN104183127B - 交通监控视频检测方法和装置 - Google Patents

Abstract

本发明提供了一种交通监控视频检测方法和装置，该方法包括：确定背景参考模型；根据所述背景参考模型确定交通监控视频中的目标区域图像；利用所述目标区域图像更新所述背景参考模型；根据更新后的背景参考模型，对所述交通监控视频中的每帧图像检测区域内所有目标点求和，得到所有目标点的总面积；从具有最大总面积的帧中分割得到最佳位置处的目标区域。利用本发明，可以提高复杂环境下，检测结果的准确性。

Description

交通监控视频检测方法和装置

技术领域

本发明涉及视频检测技术领域，具体而言，涉及一种交通监控视频检测方法和装置。

背景技术

为了实现路面交通信息采集的自动化和智能化，目前采用基于图像处理技术的视频车辆检测方法对交通监控视频进行分析，以识别其中的车流车速和车型。然而，发明人发现现有的交通监控视频的分析方法还存在一些缺陷。

例如，基于卡尔曼滤波的车辆跟踪与检测方法、基于概率统计的车辆检测方法、以及基于差分和曲线变换的车辆检测方法因算法计算复杂度高、实时性差而无法满足实际需求。

为了减少计算量，开发了一种基于背景差分的车辆分割方法。该方法主要包括以下内容：

1、运动检测原理

2、差分图像二值化

3、计算二值差分图像投影值

4、建立车辆的投影模型

5、运动车辆的判别

6、运动车辆的跟踪

该方法依赖于车辆二值投影模型，存在两个主要缺陷：

（1）二值投影模型建立依赖于车辆的侧面投影，这对摄像机的拍摄和安装角度有较高的要求，因为侧面投影要求摄像机只能安装在道路的两侧，而道路并行行进的车辆会相互遮挡，因此，获得的侧面投影很难保证可靠；

（2）复杂环境下，差分图像无法得到可靠的车辆二值模型，这将导致该方法准确性不高。

发明内容

本发明实施例提供一种交通监控视频检测方法和装置，以提高复杂环境下，检测结果的准确性。

为此，本发明实施例提供如下技术方案：

一种交通监控视频检测方法，包括：

确定背景参考模型；

根据所述背景参考模型确定交通监控视频中的目标区域图像；

利用所述目标区域图像更新所述背景参考模型；

根据更新后的背景参考模型，对所述交通监控视频中的每帧图像检测区域内所有目标点求和，得到所有目标点的总面积；

从具有最大总面积的帧中分割得到最佳位置处的目标区域。

优选地，所述确定背景参考模型包括：

将初始的设定帧数的图像的均值作为背景参考模型。

优选地，所述根据所述背景参考模型确定交通监控视频中的目标区域图像包括：

利用图像序列中相邻帧之间的差提取图像中的变化区域，得到帧间差分图像；

利用图像序列和所述背景参考模型的差提取图像中的目标区域，得到背景差分图像；

对所述帧间差分图像和背景差分图像进行逻辑或运算；

对运算后的图像进行填充去噪处理，得到完整的目标区域。

优选地，所述利用所述目标区域图像更新所述背景参考模型包括：

更新后的背景参考模型为：

其中，b_t(x,y)表示背景参考模型；f_t(x,y)表示交通监控视频中t时刻的图像，x,y是像素坐标；O_t(x,y)表示t时刻的目标区域图像；α是与背景模型更新速度有关的系数。

优选地，所述方法还包括：

从所述最佳位置处的目标区域中提取车辆信息。

优选地，所述车辆信息包括以下任意一种或多种信息：车型、车速、车流量。

一种交通监控视频检测装置，包括：

建模模块，用于确定背景参考模型；

目标区域确定模块，根据所述背景参考模型确定交通监控视频中的目标区域图像；

模型更新模块，用于利用所述目标区域图像更新所述背景参考模型；

投影峰值检测模块，用于根据更新后的背景参考模型，对所述交通监控视频中的每帧图像检测区域内所有目标点求和，得到所有目标点的总面积；

目标区域分割模块，用于从具有最大总面积的帧中分割得到最佳位置处的目标区域。

优选地，所述建模模块，具体用于将初始的设定帧数的图像的均值作为背景参考模型。

优选地，所述目标区域确定模块包括：

帧间差分提取单元，用于利用图像序列中相邻帧之间的差提取图像中的变化区域，得到帧间差分图像；

背景差分提取单元，用于利用图像序列和所述背景参考模型的差提取图像中的目标区域，得到背景差分图像；

差分图像融合单元，用于对所述帧间差分图像和背景差分图像进行逻辑或运算；

去噪处理单元，用于对运算后的图像进行填充去噪处理，得到完整的目标区域。

优选地，所述模型更新模块，具体用于按照以下方式更新所述背景参考模型：

其中，b_t(x,y)表示背景参考模型；f_t(x,y)表示交通监控视频中t时刻的图像，x,y是像素坐标；O_t(x,y)表示t时刻的目标区域图像；α是与背景模型更新速度有关的系数。

优选地，所述装置还包括：车辆信息提取模块，用于从所述最佳位置处的目标区域中提取车辆信息。

本发明实施例提供的交通监控视频检测方法和装置，在得到的基本完整的目标区域图像即车体的基础上，利用峰值检测得到最佳位置处的目标区域。不需要关键阈值的设定，克服了由于外部环境变化所导致的算法通用性差的问题。利用峰值检测确定的车型检测最优位置点，对于摄像机安装角度、焦距的变化不敏感，可以在复杂环境下，大大提高检测结果的准确性。

附图说明

图1是本发明实施例中车辆的运动过程示意图；

图2是本发明实施例交通监控视频检测方法的流程图；

图3是本发明实施例中不同车辆运动轨迹投影曲线示意图；

图4是本发明实施例交通监控视频检测装置的一种结构示意图；

图5是本发明实施例交通监控视频检测装置的另一种结构示意图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。

根据车辆检测区域运动变化曲线分析，结果表明车辆在驶入驶离检测区域的过程中，投影曲线符合先增后减特性，如附图1所示的车辆的运动过程，其中实线表示车辆驶入程序，虚线表示最佳车型检测位置点。根据这一特性，为避免由于阈值设定所带来车辆检测算法适应性差问题，本发明实施例交通监控视频检测方法采用投影峰值曲线以克服这一问题，峰值曲线的跨度与车速成正比，峰值的高度与车型有关，车型粗分类可以直接通过峰值划分，细分类可以通过峰值处分割得到的车体二值图利用神经网络进行细分类，车流量与峰值一一对应，并且一个峰值跨度可以跟踪一辆车的运动轨迹，可以用作车辆运动异常等其它相关检测。

如图2所示，是本发明实施例交通监控视频检测方法的流程图，包括以下步骤：

步骤201，确定背景参考模型。

也就是说，对初始背景图像建模。

给定帧f_t(x,y)，其中t是帧的时间序列，x,y是帧的像素坐标，初始的N帧图像的均值用作初始背景。

为了提高效率，可以只对ROI（Region Of Interest，感兴趣范围）建模。

步骤202，根据所述背景参考模型确定交通监控视频中的目标区域图像。

也就是说，对目标区域进行分割。所述目标区域是指ROI中的运动区域，即车辆。

在该实施例中，可以采用背景差分和帧间差分相结合的方法来确定所述目标区域图像。具体地：

帧间差分法利用图像序列中相邻帧之间的差提取图像中的变化区域，该方法可以大致确定运动目标的位置，对动态环境有很强的适应能力，并且受光线变化影响小，但是只能检测有相对运动的目标，定位不十分准确，不能提供完整的运动目标信息，对静止目标不敏感。帧间差分后的图像用d_t(x,y)表示：

其中μ_Thres是阈值，选择不用特别精确，一般取[20,50]。

背景差分法利用图像序列和背景参考模型的差提取图像中的ROI，该方法一般能够提供较为完整的目标信息，定位准确，但是该方法对光照和外部条件造成的动态场景的变化比较敏感，其效果的好坏取决于背景模型的准确与否。背景差分后的图像用h_t(x,y)表示：

结合背景差分分割完整但对光照敏感，帧间差分分割不完整但对光照不敏感的特性，对两种差值图像做逻辑或运算，保证属于车辆目标的点尽可能不丢失，之后再经过形态学运算进行填充去噪处理，分割出较为完整的车体。差分图像的逻辑或运算表示为：

D_t(x,y)=h_t(x,y)||d_t(x,y) （4）

然后通过形态学运算，消除检测区域内较小的孤立点，计算公式如下：

O_t(x,y)=D_t(x,y)οS=[D_t(x,y)ΘS]⊕S （5）

其中，O_t(x,y)表示形态学运算后的输出图像，S为结构元素。

需要说明的是，在实际应用中，上述步骤202也可以采用其它方式确定交通监控视频中的目标区域图像，比如，基于帧间差分的方法、基于颜色直方图的方法、基于轮廓检测的方法、基于纹理统计的方法等，对此本发明实施例不做限定。

步骤203，利用所述目标区域图像更新所述背景参考模型。

为了增强背景模型的自适应能力，单纯依靠背景差分和帧间差分都不能够提供较为完整的变化区域的信息，区别于常用的Surenda背景建模方法，在本发明实施例中采用公式（5）融合后的图像作为背景更新的MASK，这样较好地保证了ROI不会被计算在内，背景自动更新模型表示为：

其中α是与背景模型更新速度有关的系数。

步骤204，根据更新后的背景参考模型，对所述交通监控视频中的每帧图像检测区域内所有目标点求和，得到所有目标点的总面积。

所述检测区域即ROI，具体地，在ROI内，根据更新后的背景参考模型，做当前帧和背景帧的帧间差分运算，提取运动目标对应的像素点，然后对目标点做垂直或水平投影，统计运动目标区域在垂直或水平方向上的目标点的面积。由于水平投影和垂直投影计算目标点的面积，分别是两个方向上的求和运算，因此，尽管计算的方向不同，但是对应目标点的面积是相等的。

附图3展示了通过投影统计，车辆在视频序列中的运动轨迹近似为一个波浪形曲线，每辆车的运动都会形成一个波峰，通过该波形信号，不仅可以实现车辆检测，而且可以对车速等进行估算。这里，水平投影计算得到的运动目标面积为：

其中，h和w分别表示ROI的高度和宽度，t为帧时间序列号。峰值检测采用逐帧搜索方法检测N_Horizon(t)的变化，确定最高值为峰值。

垂直投影计算运动目标面积的方法与上述类似，在此不再赘述。

步骤205，从具有最大总面积的帧中分割得到最佳位置处的目标区域。

也说是说，通过上述步骤204中对运动曲线的峰值分析，得到车辆型体检测的最佳位置。

确定峰值处是最佳车型检测点，获取该帧后，采用最大外轮廓检测方法，分割得到最佳位置处的ROIG_t(x,y)，即目标区域。

进一步地，在本发明实施例中，还可从所述最佳位置处的目标区域中获取车辆信息，所述车辆信息可以包括以下任意一种或多种信息：车型、车速、车流量。

具体地，对ROI进行16等分，分别判断每个分块内G_t(x,y)子区域与背景的面积比，并与车型模板进行对比，最接近的为近似车型，这是远景情况下的粗分类。如果需要进行细分类，可以利用GPA（General Procrustes Analysis）算法，首先根据G_t(x,y)的外轮廓计算质心，公式如下：

（8）

其中(x_i,y_i)表示第i个点的像素坐标，n为像素点总数，表示质心坐标。

为了能够对不同焦距拍摄的图像进行车型模板匹配比较，需要进行尺度归一化处理，公式如下：

其中s为尺度因子，取轮廓上前M个最大的曲率点C_M(x_j,y_j)作为角点，j为对应像素点，j=1,2,...,M。尺度归一化后每个点的坐标变为

为了比较车型间的相似程度，可以选用欧式距离度量，这里为了抗旋转角度的影响，将G_t(x,y)与模板的方向相同，因此计算欧式距离时，按照曲率由大到小的顺序进行匹配，欧式距离最小的模板即是对应车型。

车流量与峰值的数目一一对应。平均车速的计算需要考虑波峰跨度即跨越的帧数N，视频采样率为f帧/s，ROI高度映射到世界坐标系中对应路面长度为L，那么车速v的计算表达式为：

v=L/(N/f) （10）

在实际工程应用中，由于使用环境的差异，本发明实施例交通监控视频检测方法的具体实现可以有不同方式。一般情况下，交通信息采集系统摄像机安装在路面之上较高位置处，这样有一个俯视角，覆盖车道较多，但是这往往容易丢失车辆的细节信息，如车型的细分类、车牌、驾驶人员等。而安装在小区、校园等公共场所的交通信息采集系统，摄像机一般安装在道路右前方、侧面或者路面上方5～6米处，但远景摄像机一般用作全景监控，近景摄像机用作车辆细节信息提取。

不论上述哪种情况，利用本发明实施例的交通监控视频检测方法都可以准确地提取车流量、车速，并且准确计算出最佳车型检测帧的索引值t，唯一有所区分的是在第一种情况下拍摄的远景图像，由于图像的分辨率已经非常低，所以车型识别部分采用粗匹配，即只区分大、中、小三种车型。在第二种情况下拍摄的近景图像，由于图像分别率较高，所以车型分类可以较为精确进行，将车分为：小轿车、越野车、皮卡、面包车、大巴、大货车等，为了进行细分类，还可以进一步对车型进行精确分类。具体地，可以对峰值处对应的图像，采用最大外轮廓检测方法提取最大外轮廓区域，然后进行填充操作，得到精确分割的车辆目标模型，之后采用曲率检测方法对目标模型进行数学建模。由于不同角度，不同焦距拍摄的图像，即使是同一目标也有较大差异，为了能够增强算法的适应能力，采用GPA算法对数学模型进行矫正，使之具有旋转、尺度不变性，之后采用欧式距离度量方法，将该模型与库中各模板的数学模型进行相似度比较，确定车型。由于算法各个环节的相对独立性，车型的种类可以随时添加或删减，易于工程实现。并且对车流量统计和车速计算不会产生耦合影响。

在最佳投影峰值搜索过程中，采用逐帧波峰搜索的方式，容易出现图3所示中的伪波峰问题，这主要是由于相机抖动等因素导致的短时扰动。为了克服该问题，在实际应用中，可以加入检测步长控制，如果峰值的跨度所涵盖的步长小于15帧，可以舍弃该峰值，继续向下搜索。

另外，在实际检测中，并非所有ROI都是矩形，也可以是路面的实际形状，计算时需要将公式（7）稍作改动（原理一样），将计算的范围改为实际ROI的覆盖范围即可。计算平均车辆速度v时，只需将ROI对应世界坐标系中路面实际长度L换成实际路面检测长度即可。根据处理速度估计，算法对于车速≤400km/h的场合均适用。

本发明实施例的方法，基于投影曲线峰值检测车辆PCPM（Projection Curve PeakMeasurement）信息，相比于现有技术，具有以下优点：

（1）背景差分和帧间差分方法相结合，其中背景模型的构建不再依赖于精确的背景模型，也就是说分割出来的车辆主体是否完整这一条件不是必须的，在实现车辆主体分割基本完整的基础上，这一要求的放松基本克服了摄像机抖动带来的干扰。背景差分可以获得较为完整的车辆信息但是对光照变化敏感，帧间差分对光照变化不敏感，但是无法获得完整的车辆信息，这里将两种方法逻辑融合，既保证了车体的完整性，又避免了运动信息的丢失，这也为背景模型的更新提供了必要的依据。

（2）在得到的基本完整的车体上，将车体分别进行垂直和水平投影，得到两个方向上车体运动所引起的投影变化曲线，两条曲线都是时间的函数。通过对运动曲线的峰值分析，得到车辆型体检测的最佳位置、车速、车流量等信息。整个检测过程利用峰值检测，不需要关键阈值的设定，克服了由于外部环境变化所导致的算法通用性差的问题。利用峰值检测确定的车型检测最优位置点，采用GPA算法实现了车型间的匹配，对于摄像机安装角度、焦距的变化不敏感。

（3）对摄像机安装角度没有苛刻要求，无论是正面还是侧面安装，是要能保证能覆盖车道区域即可。本发明实施例的方法实时性强，DM642可保证每秒20帧左右的处理速度，大于每秒15帧的视频传输速率，普通PC处理速度可达每秒50帧左右。

相应地，本发明实施例还提供一种交通监控视频检测装置，如图4所示，是该装置的一种结构示意图。

在该实施例中，所述装置包括：

建模模块401，用于确定背景参考模型；

目标区域确定模块402，根据所述背景参考模型确定交通监控视频中的目标区域图像；

模型更新模块403，用于利用所述目标区域图像更新所述背景参考模型；

投影峰值检测模块404，用于根据更新后的背景参考模型，对所述交通监控视频中的每帧图像检测区域内所有目标点求和，得到所有目标点的总面积；

目标区域分割模块405，用于从具有最大总面积的帧中分割得到最佳位置处的目标区域。

上述建模模块401具体可以将初始的设定帧数的图像的均值作为背景参考模型。

目标区域确定模块402的一种具体实现方式包括：

帧间差分提取单元，用于利用图像序列中相邻帧之间的差提取图像中的变化区域，得到帧间差分图像；

背景差分提取单元，用于利用图像序列和所述背景参考模型的差提取图像中的目标区域，得到背景差分图像；

差分图像融合单元，用于对所述帧间差分图像和背景差分图像进行逻辑或运算；

去噪处理单元，用于对运算后的图像进行填充去噪处理，得到完整的目标区域。

当然，在实际应用中，目标区域确定模块402也可以采用其它方式实现，对此本发明实施例不做限定。

上述模型更新模块403具体可以按照以下方式更新所述背景参考模型：

其中，b_t(x,y)表示背景参考模型；f_t(x,y)表示交通监控视频中t时刻的图像，x,y是像素坐标；O_t(x,y)表示t时刻的目标区域图像；α是与背景模型更新速度有关的系数。

本发明实施例提供的交通监控视频检测装置，在得到的基本完整的目标区域图像即车体的基础上，利用峰值检测得到最佳位置处的目标区域。不需要关键阈值的设定，克服了由于外部环境变化所导致的算法通用性差的问题。利用峰值检测确定的车型检测最优位置点，对于摄像机安装角度、焦距的变化不敏感，可以在复杂环境下，大大提高检测结果的准确性。

进一步地，如图5所示，所述交通监控视频检测装置还可包括：车辆信息提取模块501，用于从所述最佳位置处的目标区域中提取车辆信息。

所述车辆信息可以包括以下任意一种或多种信息：车型、车速、车流量。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种交通监控视频检测方法，其特征在于，包括：

确定背景参考模型；

根据所述背景参考模型确定交通监控视频中的目标区域图像；

利用所述目标区域图像更新所述背景参考模型；

根据更新后的背景参考模型，对所述交通监控视频中的每帧图像检测区域内所有目标点求和，得到所有目标点的总面积；

从具有最大总面积的帧中分割得到最佳位置处的目标区域；

基于投影曲线峰值检测从所述最佳位置处的目标区域中提取车辆信息，其中，所述车辆信息包括以下任意一种或多种信息：车型、车速、车流量。

2.根据权利要求1所述的方法，其特征在于，所述确定背景参考模型包括：

将初始的设定帧数的图像的均值作为背景参考模型。

3.根据权利要求1所述的方法，其特征在于，所述根据所述背景参考模型确定交通监控视频中的目标区域图像包括：

利用图像序列中相邻帧之间的差提取图像中的变化区域，得到帧间差分图像；

利用图像序列和所述背景参考模型的差提取图像中的目标区域，得到背景差分图像；

对所述帧间差分图像和背景差分图像进行逻辑或运算；

对运算后的图像进行填充去噪处理，得到完整的目标区域。

4.根据权利要求1所述的方法，其特征在于，所述利用所述目标区域图像更新所述背景参考模型包括：

更新后的背景参考模型为：

$b_t(x,y)=\left\{\begin{array}{cc}{b}_t(x,y)& O_t(x,y)=255\\ {\mathrm{\αf}}_t(x,y)+(1-\mathrm{\α})b_t(x,y)& O_t(x,y)=0\end{array}\right.;$

其中，b_t(x,y)表示背景参考模型；f_t(x,y)表示交通监控视频中t时刻的图像，x,y是像素坐标；O_t(x,y)表示t时刻的目标区域图像；α是与背景模型更新速度有关的系数。

5.一种交通监控视频检测装置，其特征在于，包括：

建模模块，用于确定背景参考模型；

目标区域确定模块，根据所述背景参考模型确定交通监控视频中的目标区域图像；

模型更新模块，用于利用所述目标区域图像更新所述背景参考模型；

投影峰值检测模块，用于根据更新后的背景参考模型，对所述交通监控视频中的每帧图像检测区域内所有目标点求和，得到所有目标点的总面积；

目标区域分割模块，用于从具有最大总面积的帧中分割得到最佳位置处的目标区域；

车辆信息提取模块，用于基于投影曲线峰值检测从所述最佳位置处的目标区域中提取车辆信息，其中，所述车辆信息包括以下任意一种或多种信息：车型、车速、车流量。

6.根据权利要求5所述的装置，其特征在于，

所述建模模块，具体用于将初始的设定帧数的图像的均值作为背景参考模型。

7.根据权利要求5所述的装置，其特征在于，所述目标区域确定模块包括：

帧间差分提取单元，用于利用图像序列中相邻帧之间的差提取图像中的变化区域，得到帧间差分图像；

背景差分提取单元，用于利用图像序列和所述背景参考模型的差提取图像中的目标区域，得到背景差分图像；

差分图像融合单元，用于对所述帧间差分图像和背景差分图像进行逻辑或运算；

去噪处理单元，用于对运算后的图像进行填充去噪处理，得到完整的目标区域。

8.根据权利要求5所述的装置，其特征在于，

所述模型更新模块，具体用于按照以下方式更新所述背景参考模型：

$b_t(x,y)=\left\{\begin{array}{cc}{b}_t(x,y)& O_t(x,y)=255\\ {\mathrm{\αf}}_t(x,y)+(1-\mathrm{\α})b_t(x,y)& O_t(x,y)=0\end{array}\right.;$

其中，b_t(x,y)表示背景参考模型；f_t(x,y)表示交通监控视频中t时刻的图像，x,y是像素坐标；O_t(x,y)表示t时刻的目标区域图像；α是与背景模型更新速度有关的系数。