CN103208190B - 基于对象检测的交通流量检测方法 - Google Patents

Abstract

本发明提供了一种基于对象检测的交通流量检测方法，属于智能视频监控技术领域。目前交通流量检测存在难以对机动或非机动车辆实现有效的区分的问题。本发明首先通过离线训练得到基于随机蕨的实时对象检测器，然后通过该检测器对交通视频图像进行对象检测，确定当前视频场景中对象的类型和数量；接着在运行时对检测结果进行基于活动区的标记匹配，实现对交通流量的计算。同时，本发明支持通过加入新的训练数据在线更新检测器，使系统能够得到不断的优化和完善，可以对交通流量进行实时地分类计算和统计，使流量计算结果更加准确。主要用于交通流量检测。

Description

基于对象检测的交通流量检测方法

技术领域

本发明属于智能视频监控技术领域，特别涉及计算机图形图像处理技术领域。

背景技术

交通流量检测是智能交通系统的重要基础工作，它为智能交通管理和控制提供重要的数据来源，被广泛应用于交通疏导、道路资源配置、道路建设评估等领域。与传统的基于压电回路的永久埋入式检测（如环形地埋式线圈检测）以及悬挂式检测（如基于闭路电视、微波、雷达、红外线或超声波传感器检测），采用视频图像检测的方法具有明显的优越性：检测覆盖范围大，检测参数多；安装简单，维护方便；不破坏路面，工程造价低，适用面广；可提取高质量的车辆和交通场景信息；可适应多种气候条件等。因此，基于视频图像的交通流量检测方法成为目前该领域研究的热点。

目前，基于视频图像的交通流量检测方法主要采用基于如灰度比较法、背景差法、帧间差法和边缘检测法。灰度比较法采用对路面和车辆的灰度统计值来检测车辆，但它对环境光线的变化十分敏感。背景差法通过计算当前输入帧图像与背景图像的差值以提取车辆，但背景图像需实时刷新，其检测精度很大程度上依赖于背景图像的可靠性。帧间差法是将相邻两帧或者多帧相减，对保留的运动车辆信息进行检测。尽管该方法受环境光变化影响小，但是当摄像头的抖动而引起相邻两帧背景点的相应“抖动”时，该方法不能完全将背景滤除，从而引起误判；此外，该方法对于静止或车速过慢的车辆，不能有效检测。边缘检测法能够在不同的光线条件下检测到车辆的边缘，然后利用车体的不同部件、颜色等提供的边缘信息可以对静止和运动车辆的进行检测。但是该方法对于车辆边缘不明显和道路隔离带存在的情况，容易造成漏检和误检。以上这些方法在进行车辆检测时，通常是在输入图像中按车道设置一些固定窗口(即虚拟传感器)对车辆进行检测。这种固定窗口的检测方式常常对车辆换道或相邻车道的车辆部分覆盖了被检测车道检测窗时造成误检。此外，这些方法一个共同的问题就是不能对车辆加以有效的区分，且难以将非机动车辆考虑到流量计算中。

鉴于此，本发明提出了一种基于对象检测的交通流量检测方法。该方法无须对每个监控场景做特定的设置，通过输入相应的训练数据即可灵活的适应不同的视频监控场景，其监控系统可以被有效的扩展和移植到其它的场所。

发明内容

本发明的目的是提供一种实现实时的交通流量检测方法，它能有效地对交通对象进行按类型分类的流量计算。该方法首先通过离线训练得到基于随机蕨的实时对象检测器，然后通过该检测器对交通视频图像进行对象检测，确定当前视频场景中对象的类型和数量；接着在运行时对检测结果进行基于活动区的标记匹配，实现对交通流量的计算。同时，该方法支持通过加入新的训练数据在线更新检测器，使系统能够得到不断的优化和完善。本发明的方法可以对交通流量进行实时地分类计算和统计；由于不依赖固定区域判断（如虚拟线圈），该方法可以有效地处理如对象粘连，并行，尺寸过长，运动方向不固定，以及运动非线性等情况，使流量计算结果更加准确。

本发明的目的通过以下技术方案来实现：该技术方案包括如下步骤：

（1）初始化

收集交通对象图像数据，可同时采用两种方法：一种是在互联网上收集各种交通工具（如公交车，卡车，轿车，摩托车，自行车等）和行人图像；另一种是通过对已有的交通监控视频进行处理，提取各种交通工具和行人图像。这些图像数据均为包围该对象的最小矩形图像。然后将这些图像统一规则化为一个固定的大小（如15×15像素大小），从而得到用于初始检测器训练的样例数据集。

采用随机蕨作为对象检测器。设该检测器包含M个蕨，每个蕨包含不同的N个图像特征，如M=50，N=10。图像特征采用像素对比较特征，如图1所示，像素点A的亮度值减去像素点B的亮度值的正负符号作为一个像素对比较特征，即该值符号为正，则对应特征值为1，否则为0。因此，每个蕨包含2^N个叶节点，每个叶节点对应一个N位的二进制编码值（特征编码值）。

将以上获得的样例数据逐个输入检测器，每个蕨的叶节点将根据样例数据的二进制编码值，记录落在该节点上的样例类型及其对应的数量（初始时为0）。到此，检测器已具备了实时对象检测能力，用于训练的样例数据越丰富，则检测器此时的分类识别能力就越强。

当有新的训练样例数据输入，则按照以上相同的方式更新检测器，否则跳转到（2）。

（2）输入交通视频图像

输入交通流量的视频图像，它们是通过交通监控摄像头实时采集得到的视频图像，或者是由已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序逐个输入图像。若输入图像为空，则整个流程中止。

（3）对象检测

采用滑动搜索窗的方法对整个图像区域进行对象检测。具体为，从图像的初始坐标位置开始移动具有不同尺度和纵横比的搜索窗（矩形框），直到搜索完整个图像为止；将搜索窗选取的图像块作为候选图像块，并将其规则化为与训练样例相同的大小；检测器对候选图像块进行评价，即首先对每个蕨计算该图像块的特征编码值，然后由蕨对应的叶节点估计其类型和概率，最后对所有蕨估计的类型概率求平均值。所述类型包含所有受关注和不受关注的对象类型，受关注的类型为公交车，卡车，轿车，摩托车，自行车和行人等，而不受关注的类型即背景。

设x表示候选图像块，则对于蕨f_k在对应叶节点中关于类型c的概率p_k(c|x)计算为：

$p_k\left(c\right|x)=\frac{N_c}{N},$

其中，N为该叶节点包含的样例总数，N_c为该叶节点中属于类型c的样例数目，c∈Y，。因此检测器对于该候选图像块x关于类型c的概率p(c|x)计算为：

$p\left(c\right|x)=\frac{1}{M}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{p}_k\left(c\right|x),$

其中，M为检测器包含的蕨的数量。如果x属于背景类型c_background的概率p(c_background|x)大于阈值θ_b，如θ_b=0.5，则认为x属于背景；否则，x属于某个受关注的对象，此时选择除背景类型外具有最大概率的类型c_max作为x所属的对象类型即：

$c_{\max }=\underset{c\∈Y,c\≠c_{\mathrm{background}}}{\arg \max }p\left(c\right|x).$

其中，Y为所有对象类型的集合。

由于视频流的时空连续特性，检测器可以根据实际情况每隔一定的时间T提取视频图像进行对象检测，而T大于视频设备的实际图像采样周期，如T=1秒。由此可以进一步加快其对交通视频流的分析和处理速度，且不会对流量的计算造成影响。

（4）流量计算

对象检测的结果包含了在不同位置属于不同受关注类型的对象。为了准确的计算视频图像中出现的各种类型的对象数目，这里通过对象的活动区来对连续检测结果进行分析。活动区为以对象为中心的一个圆形区域，对当前图像中存在的每个对象设置一个活动区。第一次检测时，对检测得到的对象及其类型按照序号依次进行标记，例如标记为1.1,1.2,2.1,3.1,3.2,3.3等，其中，1.1,1.2表示属于类型1的第1个和第2个对象，2.1表示属于类型2的第1个对象，相应地，3.1,3.2,3.3则依次表示属于类型3的三个对象。如果有更多的检测对象，则按照相同的办法增加相应的序号和标记。在随后的检测过程中，将通过对检测结果进行基于活动区的标记匹配实现对交通流量的计算。

设t时刻有属于类型i的第j个已标记对象，在t+1时刻的活动区内检测到与具有相同类型的对象O^t+1，则将的标记配置给O^t+1，即,如果这样的O^t+1不只一个，则只配置其中的任意一个。若在t+1时刻的活动区内没有检测到同类型的对象，则进行如下的处理：

当对象活动区处于图像边缘，且该对象运动方向为离开视频范围的方向，则认为在t+1时刻消失，即对象移出视频范围；否则，认为该对象被遮挡。遮挡情况下，该对象的活动区将被保留一段时间，保留时间内若再次出现该对象则该对象标记保持不变，否则，移除该活动区。这里，对象运动方向可根据该对象前后所处的图像坐标计算得到，而活动区保留时间可根据具体场景设置，如3秒。

在根据前一时刻的对象对当前检测的结果进行标记配置结束之后，如果当前仍存在未配置标记的对象，则分别根据它们的类型依次在原有最大序号（上一时刻对应类型已标记的最大序号）的基础上加1，作为新的序号标记。因此，类型i的流量G_i为该类型中现有对象具有的最大序号j_max，即G_i=j_max，则总的交通流量G计算为：

$G=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{G}_i,$

其中，K为所有交通对象类型的数目。这里可根据具体的需要统计交通总流量，例如，如果我们关注的只是机动车的流量，那么在上面的公式中则可以不包括行人、自行车等非机动车类型，反之亦然。流量计算结束后，保存相应的计算结果。

如果继续进行流量计算，则跳转到（2），其间如果有新的训练样例数据输入，则按照与初始化步骤相同的方式更新检测器。如果流量计算被终止，则整个流程中止。

经过以上（1）～（4）的处理后，每种对象类型都分别记录了所出现过的对象数目，即为该交通对象类型的流量，统计这些类型的流量即可得到最终的交通流量结果。

本发明与现有技术相比的优点和积极效果：该方法通过利用学习得到的实时检测器对交通视频图像进行对象检测，确定当前视频场景中存在的对象类型及其数量，然后基于对象活动区进行标记匹配，实现对交通流量的计算。由于该方法支持通过加入新的训练数据在线更新检测器，使系统能够得到不断的优化和完善。本发明的方法可以对交通流量进行实时地分类计算和统计；由于不依赖固定区域判断（如虚拟线圈），该方法可以有效地处理如对象粘连，并行，尺寸过长，运动方向不固定，以及运动非线性等情况，使流量计算结果更加准确。此外，本发明的方法无须对每个监控场景做特定的设置，通过输入相应的训练数据即可灵活的适应不同的视频监控场景，其监控系统可以被有效的扩展和移植到其它的场所。

附图说明

图1本发明像素对比较特征示意图

图2本发明对象活动区域示意图

图3本发明基于对象检测方法流程图

具体实施方式

下面根据附图对本发明做进一步描述：

根据本发明方法的技术流程图所示，按照发明内容所描述的步骤实施：本发明的方法可用于视频图像下交通流量检测的各种场合。在用于流量检测之前，通过收集丰富的交通工具等对像的图像资料，按照本发明的方法先训练好检测器；将视频监控摄像头安装在合适的位置，如道路上方，路口上方等；然后采用合适的视频传输手段，如有线或者无线方式，在流量检测过程中提取摄像头实时采集的视频图像，接着对这些图像按照本发明的方法对其进行有序的处理。根据对象活动区域示意图所示，对象O_A的活动区为R_A，对象O_B的活动区为R_B，最后可以得到按类型分类的流量计算结果。按照本发明的方法，由于不依赖固定区域判断，可以有效地处理如对象粘连，并行，尺寸过长，运动方向不固定，以及运动非线性等情况，使流量计算结果更加准确。此外按照本发明的方法，无须对每个监控场景做特定的设置，其监控系统可以被有效的扩展和移植到其它的场所。

该技术方案包括如下步骤：

（1）初始化

收集交通对象图像数据，可同时采用两种方法：一种是在互联网上收集各种交通工具（如公交车，卡车，轿车，摩托车，自行车等）和行人图像；另一种是通过对已有的交通监控视频进行处理，提取各种交通工具和行人图像。这些图像数据均为包围该对象的最小矩形图像。然后将这些图像统一规则化为一个固定的大小（如15×15像素大小），从而得到用于初始检测器训练的样例数据集。

采用随机蕨作为对象检测器。设该检测器包含M个蕨，每个蕨包含不同的N个图像特征，如M=50，N=10。图像特征采用像素对比较特征，如图1所示，像素点A的亮度值减去像素点B的亮度值的正负符号作为一个像素对比较特征，即该值符号为正，则对应特征值为1，否则为0。因此，每个蕨包含2^N个叶节点，每个叶节点对应一个N位的二进制编码值（特征编码值）。

将以上获得的样例数据逐个输入检测器，每个蕨的叶节点将根据样例数据的二进制编码值，记录落在该节点上的样例类型及其对应的数量（初始时为0）。到此，检测器已具备了实时对象检测能力，用于训练的样例数据越丰富，则检测器此时的分类识别能力就越强。

当有新的训练样例数据输入，则按照以上相同的方式更新检测器，否则跳转到（2）。

（2）输入交通视频图像

输入交通流量的视频图像，它们是通过交通监控摄像头实时采集得到的视频图像，或者是由已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序逐个输入图像。若输入图像为空，则整个流程中止。

（3）对象检测

采用滑动搜索窗的方法对整个图像区域进行对象检测。具体为，从图像的初始坐标位置开始移动具有不同尺度和纵横比的搜索窗（矩形框），直到搜索完整个图像为止；将搜索窗选取的图像块作为候选图像块，并将其规则化为与训练样例相同的大小；检测器对候选图像块进行评价，即首先对每个蕨计算该图像块的特征编码值，然后由蕨对应的叶节点估计其类型和概率，最后对所有蕨估计的类型概率求平均值。所述类型包含所有受关注和不受关注的对象类型，受关注的类型为公交车，卡车，轿车，摩托车，自行车和行人等，而不受关注的类型即背景。

设x表示候选图像块，则对于蕨f_k在对应叶节点中关于类型c的概率p_k(c|x)计算为：

$p_k\left(c\right|x)=\frac{N_c}{N},$

其中，N为该叶节点包含的样例总数，N_c为该叶节点中属于类型c的样例数目，c∈Y，。因此检测器对于该候选图像块x关于类型c的概率p(c|x)计算为：

$p\left(c\right|x)=\frac{1}{M}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{p}_k\left(c\right|x),$

其中，M为检测器包含的蕨的数量。如果x属于背景类型c_background的概率p(c_background|x)大于阈值θ_b，如θ_b=0.5，则认为x属于背景；否则，x属于某个受关注的对象，此时选择除背景类型外具有最大概率的类型c_max作为x所属的对象类型即：

$c_{\max }=\underset{c\∈Y,c\≠c_{\mathrm{background}}}{\arg \max }p\left(c\right|x).$

其中，Y为所有对象类型的集合。

由于视频流的时空连续特性，检测器可以根据实际情况每隔一定的时间T提取视频图像进行对象检测，而T大于视频设备的实际图像采样周期，如T=1秒。由此可以进一步加快其对交通视频流的分析和处理速度，且不会对流量的计算造成影响。

（4）流量计算

对象检测的结果包含了在不同位置属于不同受关注类型的对象。为了准确的计算视频图像中出现的各种类型的对象数目，这里通过对象的活动区来对连续检测结果进行分析。活动区为以对象为中心的一个圆形区域，对当前图像中存在的每个对象设置一个活动区。第一次检测时，对检测得到的对象及其类型按照序号依次进行标记，例如标记为1.1,1.2,2.1,3.1,3.2,3.3等，其中，1.1,1.2表示属于类型1的第1个和第2个对象，2.1表示属于类型2的第1个对象，相应地，3.1,3.2,3.3则依次表示属于类型3的三个对象。如果有更多的检测对象，则按照相同的办法增加相应的序号和标记。在随后的检测过程中，将通过对检测结果进行基于活动区的标记匹配实现对交通流量的计算。

设t时刻有属于类型i的第j个已标记对象，在t+1时刻的活动区内检测到与具有相同类型的对象O^t+1，则将的标记配置给O^t+1，即O^t+1=,如果这样的O^t+1不只一个，则只配置其中的任意一个。若在t+1时刻的活动区内没有检测到同类型的对象，则进行如下的处理：

当对象活动区处于图像边缘，且该对象运动方向为离开视频范围的方向，则认为在t+1时刻消失，即对象移出视频范围；否则，认为该对象被遮挡。遮挡情况下，该对象的活动区将被保留一段时间，保留时间内若再次出现该对象则该对象标记保持不变，否则，移除该活动区。这里，对象运动方向可根据该对象前后所处的图像坐标计算得到，而活动区保留时间可根据具体场景设置，如3秒。

在根据前一时刻的对象对当前检测的结果进行标记配置结束之后，如果当前仍存在未配置标记的对象，则分别根据它们的类型依次在原有最大序号（上一时刻对应类型已标记的最大序号）的基础上加1，作为新的序号标记。因此，类型i的流量G_i为该类型中现有对象具有的最大序号j_max，即G_i=j_max，则总的交通流量G计算为：

$G=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{G}_i,$

其中，K为所有交通对象类型的数目。这里可根据具体的需要统计交通总流量，例如，如果我们关注的只是机动车的流量，那么在上面的公式中则可以不包括行人、自行车等非机动车类型，反之亦然。流量计算结束后，保存相应的计算结果。

如果继续进行流量计算，则跳转到（2），其间如果有新的训练样例数据输入，则按照与初始化步骤相同的方式更新检测器。如果流量计算被终止，则整个流程中止。

经过以上（1）～（4）的处理后，每种对象类型都分别记录了所出现过的对象数目，即为该交通对象类型的流量，统计这些类型的流量即可得到最终的交通流量结果。

本发明方法可通过任何计算机程序设计语言（如C语言）编程实现，基于本发明方法实现的系统软件可在任何PC或者嵌入式系统中实现实时的交通流量检测应用。

Claims (3)

1.一种基于对象检测的交通流量检测方法，包括如下步骤：

(1)初始化

收集交通对象图像数据，所述图像数据均为包围该对象的最小矩形图像，然后将这些图像统一规则化为一个固定的大小，从而得到用于初始检测器训练的样例数据集；

采用随机蕨作为对象检测器，设该检测器包含M个蕨，每个蕨包含不同的N个图像特征，图像特征采用像素对比较特征，像素点A的亮度值减去像素点B的亮度值的正负符号作为一个像素对比较特征，若符号为正，则对应特征值为1，否则为0；

(2)输入交通视频图像

输入交通流量的视频图像，它们是通过交通监控摄像头实时采集得到的视频图像，或者是由已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序逐个输入图像，若输入图像为空，则整个流程中止；

(3)对象检测

采用滑动搜索窗的方法对整个图像区域进行对象检测，具体为，从图像的初始坐标位置开始移动具有不同尺度和纵横比的搜索窗，直到搜索完整个图像为止；将搜索窗选取的图像块作为候选图像块，并将其规则化为与训练样例相同的大小；检测器对候选图像块进行评价，即首先对每个蕨计算该图像块的特征编码值，然后由蕨对应的叶节点估计其类型和概率，最后对所有蕨估计的类型概率求平均值，所述类型包含所有受关注和不受关注的对象类型；

设x表示候选图像块，则对于蕨f_k在对应叶节点中关于类型c的概率p_k(c|x)计算为：

$p_k\left(c\right|x)=\frac{N_c}{N},$

其中，N为该叶节点包含的样例总数，N_c为该叶节点中属于类型c的样例数目，c∈Y，因此检测器对于该候选图像块x关于类型c的概率p(c|x)计算为：

$p\left(c\right|x)=\frac{1}{M}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{p}_k\left(c\right|x),$

其中，M为检测器包含的蕨的数量；如果x属于背景类型c_background的概率p(c_background|x)大于阈值θ_b，θ_b＝0.5，则认为x属于背景；否则，x属于某个受关注的对象，此时选择除背景类型外具有最大概率的类型c_max作为x所属的对象类型即：

$c_{\max }=\underset{c\∈Y,c\≠c_{\mathrm{background}}}{\arg \max }p\left(c\right|x),$

其中，Y为所有对象类型的集合；

(4)流量计算

对象检测的结果包含了在不同位置属于不同受关注类型的对象，通过对象的活动区来对连续检测结果进行分析；对当前图像中存在的每个对象设置一个活动区，第一次检测时，对检测得到的对象及其类型按照序号依次进行标记，如果有更多的检测对象，则按照相同的办法增加相应的序号和标记，在随后的检测过程中，将通过对检测结果进行基于活动区的标记匹配实现对交通流量的计算；

设t时刻有属于类型i的第j个已标记对象在t+1时刻的活动区内检测到与具有相同类型的对象O^t+1，则将的标记配置给O^t+1，即如果这样的O^t+1不只一个，则只配置其中的任意一个，若在t+1时刻的活动区内没有检测到同类型的对象，则进行如下的处理：

当对象活动区处于图像边缘，且该对象运动方向为离开视频范围的方向，则认为在t+1时刻消失，即对象移出视频范围；否则，认为该对象被遮挡，遮挡情况下，该对象的活动区将被保留一段时间，保留时间内若再次出现该对象则该对象标记保持不变，否则，移除该活动区；所述对象运动方向可根据该对象前后所处的图像坐标计算得到，而活动区保留时间可根据具体场景设置；

在根据前一时刻的对象对当前检测的结果进行标记配置结束之后，如果当前仍存在未配置标记的对象，则分别根据它们的类型依次在原有最大序号的基础上加1，作为新的标记，所述原有最大序号为上一时刻对应类型已标记的最大序号；因此，类型i的流量G_i为该类型中现有对象具有的最大序号j_max，即G_i＝j_max，则总的交通流量G计算为：

$G=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{G}_i,$

其中，K为所有交通对象类型的数目。

2.根据权利要求1所述的一种基于对象检测的交通流量检测方法，其特征在于：每个蕨包含2^N个叶节点，每个叶节点对应一个N位的二进制编码值。

3.根据权利要求1所述的一种基于对象检测的交通流量检测方法，其特征在于：将所述样例数据逐个输入检测器，每个蕨的叶节点将根据样例数据的二进制编码值，记录落在该节点上的样例类型及其对应的数量。