CN1922633A - 使用鲁棒的信息融合从动态背景中检测正经过的车辆的系统和方法 - Google Patents

Abstract

公开了用于检测正经过的车辆的系统和方法。接收包括多个图像帧的视频序列。在每个图像帧中测量图像强度并且估计图像运动。制定描述背景动态的假设模型。使用所测量的图像强度和运动估计来确定在给定图像帧中背景动态是否已被破坏。如果背景动态已经被破坏，则使用运动相干性来确定背景动态的破坏是否由正经过的车辆引起。

Description

使用鲁棒的信息融合从动态背景中 检测正经过的车辆的系统和方法

相关申请的交叉引用

本申请要求于2004年2月19日提交的美国临时申请序列号60/545,781的利益，其全文引入作为参考。

技术领域

本发明涉及用于检测正经过的车辆的系统和方法，更加具体地，本发明涉及使用鲁棒的信息融合从动态背景中检测正经过的车辆的系统和方法。

背景技术

基于机器视觉的障碍物检测和跟踪是自主车辆系统的重要组成部分。在典型的驾驶场景中，障碍物包括车辆、步行者和在道路平面之上移动或上升的任何其他物体。障碍物检测的目的是将移动物体与驾驶场景分离，所述障碍物包括车辆、步行者和在道路平面之上移动或上升的任何其他物体。多种汽车应用(例如自适应巡航控制、前向碰撞避免和车道偏离警告)需要这样的信息。通过对检测和跟踪单个物体的结果进行融合，能够获得对驾驶环境的足够感知。

在为驾驶员辅助设备所设计的单眼视觉系统中，单个的摄像机被安装在自我车辆(ego-vehicle)内以捕获前面道路场景的图像序列。已经开发了各种车辆检测方法以检测在中心视场中的车辆。这样的方法可以被用于检测正经过的车辆。在检测正经过的车辆时，检测到在左边或右边正经过自我车辆并且以较高速度驶入视场的车辆。对正经过的车辆的检测在了解驾驶环境中起重要作用。由于超车车辆可能产生潜在的不安全的驾驶情况，所以监视和检测正经过的车辆是很重要的。

由于当正经过的车辆驶入视野并且仅仅部分可见时需要在更早一些时候检测正经过的车辆，所以不能完全地依赖于外观信息。替代地，正经过的车辆产生特征光流。因此，运动信息在检测正经过的车辆方面变为重要的线索。使用光流的若干已知的障碍物检测方法已经被用于检测正经过的车辆。在这些方法中，使从摄像机参数和车速所计算的预测流场与从运动估计中所计算的实际图像流进行比较。如果实际流不匹配于预测流，则表示是障碍物。如果强噪声或照明变化都不存在，则这些方法工作良好。然而，在实际情况中，结构化噪声和强照明十分常见，这导致伪图像特征和不可靠的流估计。需要一种用于检测正经过的车辆的方法，该方法能够进行鲁棒的运动估计。

发明内容

本发明涉及用于检测正经过的车辆的系统和方法。包括多个图像帧的视频序列被接收。在每个图像帧中测量图象强度并且估计图像运动。制定描述背景动态的假设模型。所测量的图像强度和运动估计被用于确定在给定的图像帧中背景动态是否已被破坏。如果背景动态已经被破坏，则运动相干性被用于确定背景动态的破坏是否由正经过的车辆引起。

附图说明

下面参考附图更加详细地描述本发明的优选实施例，其中同样的参考数字表示同样的元件：

图1是根据本发明用于检测正经过的车辆的系统的系统框图；

图2说明了根据本发明显示正经过的车辆的图像帧序列；

图3是概述了根据本发明用于检测正经过的车辆的方法的流程框图；

图4说明了根据本发明的示例性图像帧和图像帧中的两个子窗口，所述两个子窗口示出了正经过的车辆的运动相干性；

图5说明了根据本发明的状态转换的容许路径；

图6说明了根据本发明检测正经过的车辆所使用的决策树；

图7说明了根据本发明使用可变带宽密度融合以在分析窗口内进行确定的两个例子；

图8说明了根据本发明的对正经过的车辆的检测；

图9说明了根据本发明的对经受极度照明变化的正经过的车辆的检测；以及

图10说明了描述图像失配误差和与图9中所示的图像帧相关联的流估计数据的图。

具体实施方式

本发明涉及用于从动态背景中检测正经过的车辆的系统和方法。图1说明了用于实现本发明的系统的框图。摄像机102被用于捕获道路和其环境的图像。正如利用典型道路图像所期望的那样，所述图像包括背景图像(例如建筑物、树、和房子)以及在道路上行驶的车辆。所述图像被传送到处理器104，所述处理器104分析图像强度和图像运动以检测场景动态中的任何变化。根据本发明，如果检测到变化，则执行假设检验以确定场景变化是否由正经过的车辆引起。

另外，执行相干性检验以证实场景变化是由正经过的车辆引起，而不是由一些其他情形(例如噪声、照明变化或其他背景运动)引起。一旦正经过的车辆以足够的置信度被识别，则所述车辆经由输出设备106被识别。输出设备106提供一个输出信号，所述输出信号告知用户存在正经过的车辆。所述输出信号可以是可听到的信号或其他类型的警告信号。输出设备106还可以包括用于观看被检测的车辆的显示器。显示器提供由摄像机102所获得的图像的视图，所述图像然后被增强以表示已经被检测到并且正被跟踪的车辆。这些图像可以被存储在数据库108中。

本发明涉及检测车辆驶入的事件并且实时地触发警告。特别地，使用可变带宽密度融合的鲁棒运动估计方案被用于检测正经过的车辆，正如下文更详细描述的那样。车辆经过是不时地改变场景配置的不规则事件。图2说明了在时间上的连续情况中捕获的图像帧序列202-208。当车辆210在时间t2-t3之间驶入视场时，该车辆形成暂时阻挡道路场景的局部前景层。在位于子窗口212中的驶入点周围的图像外观和图像运动都与道路场景动态偏离。在检测正经过的车辆时，一个方面是检测在所定义的驶入点周围的场景动态中的变化。

根据本发明，为了检测正经过的车辆，处理三个问题：对道路场景和车辆经过的动态进行建模，为正经过的车辆检测导出决策规则，并且估计在假设检验中所涉及的有关特征和统计量。在图3中说明了所述方法的高级流程图。通过对驶入点周围的图像强度和图像运动建模来表征道路场景和正经过的车辆的动态。对于车辆经过事件，利用车辆运动中的时间相干性。监视位于在驶入点处的分析窗口内的图像强度和图像运动。检测分析窗口中场景动态的任何变化。响应于检测结果，随时间更新在假设检验中所使用的有关参数。

在不存在正经过的车辆的情况下，当摄像机连同自我车辆一起运动时，可见道路场景、即背景始终在视场中运动。给定车辆速度和摄像机校准，随时间可预测背景场景的图像运动和图像强度。换句话说，背景场景遵循由摄像机参数和摄像机运动所定义的动态模型。在时间t上图像强度表示为I(x，t)，运动矢量表示为v(x，t)，其中x是图像像素的空间坐标。动态背景的假设被描述如下：

Hroad：I(x+v(x，t)·δt，t-δt)＝I(x，t)+n_t

    (1)

       v(x，t)＝h(x，V₀(t)，θ)

由车辆速度V₀(t)和摄像机参数θ决定真实的图像运动v(x，t)。在亮度恒定性条件下，假定真实运动，可以从先前的帧预测图像强度。然而，实际上由于变化的照明而常常破坏亮度恒定性。另外，各种图像噪声也影响强度。因此，噪声项n_t被采用以说明强度上的微扰。对场景动态的这些假设改进了有用的特定域约束。

当正经过的车辆驶入视场时，破坏了背景场景的动态。根据方程式(1)，可以通过对图像强度和图像运动的假设检验来检测背景动态的破坏。然而，在除了车辆经过之外的条件(例如，强的照明变化和结构化噪声)下也可能发生破坏。为了确认破坏的确是由正经过的车辆引起，同样有必要利用由正经过的车辆所引入的特定域约束。

考虑到车辆外观和速度的差异，通过强调在车辆运动中存在的相干性来表征正经过的车辆的动态。如图4中所示，为了描述运动相干性，通过两个子窗口A和B来研究正经过的车辆的运动模式，所述两个子窗口A和B沿正经过的车辆要行驶的轨迹。当正经过的车辆驶入视场时，它以有序的方式到达A和B。对于到达B的车辆，它必须首先到达A。因此，在背景动态的破坏出现在子窗口B之前应该发生在子窗口A。

相反地，在场景或背景动态的破坏是不规则原因(例如，突然的照明变化、结构化噪声和阴影)的结果的情况中，缺少这样的相干性。因此，对正经过的车辆所做出的假设帮助进一步将具有相干运动的事件与不规则原因(也称为异常情况(outlier))相区别。现在参考图5，S_A和S_B分别被表示为子窗口A和B的状态变量。R表示运动和强度遵守道路动态的状态，V表示道路动态被破坏的状态。

车辆经过的事件被描述为一系列状态转换S_AS_B，其开始于RR，结束于VV。如在图5中所示，由一组状态转换的容许路径来区别相干事件：

H_vehicle：ρ＝{RR→VR→…→VV}.          (2)

在处理正经过的车辆的检测时，在分析窗口中遇到不同的环境，例如道路场景、异常情况和车辆。通过经由以树的形状所表示的一系列假设检验进行拣选，决策树对这些环境进行分类。图6说明了根据本发明能够被用于检测正经过的车辆的示例性决策树。相对于道路场景的动态模型来检验图像运动和图像强度。在破坏场景动态的环境上执行相干性检验。用于正经过的车辆的决策规则被总结如下：

(背景动态被破坏)^(满足相干性)      (3)

在方程式(1)中给出了道路场景的真实运动v(x，t)。如果所观察的图像运动被估计，则对背景动态的假设检验被表达为如下：

如果(‖v(x，t)-v(x，t)‖≥T_motion)V(‖R(x，t)‖≥T_residual)，则破坏背景动态  (4)

其中R(x，t)＝I(x+v(x，t)·δt，t-δt)-I(x，t)是来自运动补偿的残差并且反映预测图像和实际图像之间的失配。通过检验运动和残差，所有情况被分类为两组；遵守背景动态的情况和破坏背景动态的情况。

尽管执行进一步的检验以分类破坏的情况，但是具有可靠的运动估计v(x，t)是重要的，所述可靠的运动估计如实地反映针对准确初始分类的环境。本发明利用了使用可变带宽密度融合(VBDF)和空间时间滤波的鲁棒运动估计算法。

当运动估计不可靠时，残差检验帮助识别背景场景。在一些情况下，背景的存在不能通过运动识别，但是能够通过检验图像残差容易地来识别。阈值T_motion，T_residual以及容许状态转换ρ是决策树解决方案的一部分。通常有两种方法来解决它们、即离线学习和在线学习。在线决策树学习使系统适应场景动态的逐渐变化。以T_residual作为例子，可以通过对在线所计算的残差数据{R(x，T)，R(x，T-1)，R(x，T-2)，...}建模来实现在线学习。非参数密度估计和模式发现(mode finding)技术可以被用于群集数据、获得高斯混合模型以及随时间更新模型。在线所学习的混合模型然后被用于从新的观察R(x，T+1)预测环境。

在背景动态被破坏的情况时执行相干性检验。这个检验的目的是进一步排除由结构化噪声和突然的照明变化所导致的异常情况。根据在方程式(2)中对正经过的车辆所制定的假设，决策规则被表达为：

正经过的车辆：

{…S_A(t-2)S_B(t-2)，S_A(t-1)S_B(t-1)，

S_A(t)S_B(t)}∈P

                          (5)

异常情况：

{…S_A(t-2)S_B(t-2)，S_A(t-1)S_B(t-1)，

S_A(t)S_B(t)}P

如上所述，本发明使用鲁棒的运动估计算法以确定背景动态是否被破坏。如果假设了亮度恒定性，则通过求解线性方程式

_xI(x，t)·v＝-_tI(x，t)                (6)

来计算用于给定图像位置的运动矢量。

有偏最小二乘解为如下：

v＝(A^TA+βI)^-1A^Tb                        (7)

其中A是在局部区域中由空间图像梯度_xI定义的矩阵，b是包括时间图像梯度_xI的矢量。为了描述运动估计的不确定性，其协方差被定义为：

C＝α²(A^TA+βI)^-1

${\mathrm{\α}}^2=\frac{1}{N-3}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{({\▿}_{x}I(x_i,t)\·\hat{v}+{\▿}_{t}I(x_i,t))}^2---\left(8\right)$

其中N是局部区域中的像素数目，α²是图像噪声的估计方差。不可靠的流估计与具有大轨迹的协方差矩阵相关联。这个信息对于鲁棒融合很重要。

在D.Comaniciu，“Nonparametric information fusion formotion estimation”(CVPR 2003，Vol.1，pp.59-66，其引入作为参考)中描述了计算

和其协方差C的多尺度分层框架。对于每个图像帧，在分析窗口内的不同空间位置上估计最初的运动矢量。因此，获得在空间和时间上具有协方差{v_x，t，C_x，t}的运动估计序列。

初始运动估计对于在运动估计中引入异常情况的结构化噪声和照明变化是敏感的。为了克服这些异常情况，通过被称为可变带宽密度融合(VBDF)的技术在初始运动估计上执行联合空间时间滤波。VBDF是能够定位最重要的数据节点的融合技术，并且这对于异常情况是鲁棒的。给定在多个空间和时间位置x＝{x₁，…，x_n}，t＝{T，T-1，…，T-M}上的初始运动估计V_x，t和协方差C_x，t，应用VBDF以获得在第T个帧的分析窗口中的主运动。

通过下面的均值偏移(mean shift)程序执行VBDF。首先，通过混合函数来定义逐点密度估计量：

$f(v;\{v_{x,t},C_{x,t}\left\}\right)=\underset{x,t}{\mathrm{\Σ}}{a}_{x,t}K(v;v_{x,t},C_{x,t})$

$K(v;v_i,C_i)=\frac{\exp (-\frac{1}{2}{(v-v_i)}^T{C}_i^{-1}(v-v_i))}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|C_i\right|}^{1/2}}$

$\underset{x,t}{\mathrm{\Σ}}{a}_{x,t}=1$

在此，a_x，t定义了在数据集上的加权方案，而K(v；v_i，C_i)是具有中心v_i和带宽C_i的高斯核。由下面方程式给出在位置v处的可变带宽均值偏移矢量：

$m\left(v\right)=H\left(v\right)\underset{x,t}{\mathrm{\Σ}}{\mathrm{\ω}}_{x,t}{C}_{x,t}^{-1}{v}_{x,t}-v$

$H\left(v\right)={\left(\underset{x,t}{\mathrm{\Σ}}{\mathrm{\ω}}_{x,t}{C}_{x,t}\right)}^{-1}$

${\mathrm{\ω}}_{x,t}\left(v\right)=$

$\frac{\frac{a_{x,t}}{{\left|C_{x,t}\right|}^{1/2}}\exp (-\frac{1}{2}{(v-v_{x,t})}^T{C}_{x,t}^{-1}(v-v_{x,t}))}{{\mathrm{\Σ}}_{x,t}\frac{a_{x,t}}{{\left|C_{x,t}\right|}^{1/2}}\exp (-\frac{1}{2}{(v-v_{x,t})}^T{C}_{x,t}^{-1}(v-v_{x,t}))}---\left(10\right)$

均值偏移矢量的迭代计算重新获得了起始于v且收敛于局部最大值(即密度估计f(v；{v_x，t})的模式)的轨迹。

v_o＝v

v_j+1＝v_j+m(v_j)  (j≥0)

v_j→mode(v；{v_x，t，C_x，t})asj→x           (11)

为了处理具有多模式的f(v；{v_x，t，C_x，t})，采用一系列分析带宽 $C_{x,t}^l=C_{x,t}+{\mathrm{\α}}_1/({\mathrm{\α}}_0{>\mathrm{\α}}_1>\·\·\·>0),$ 所述一系列分析带宽导致多平滑密度估计f(v；{v_x，t，，C_x，t ^I})。当采用较大的分析带宽时，密度估计的模式数目减少。在最初的尺度上，α₀被设置得大，以便密度f(v；{v_x，t，C_x，t ⁰})仅仅具有一个模式 ${\mathrm{mode}}_0=\mathrm{mode}(v;\{v_{x,t},C_{x,t}^0\left\}\right),$ 该模式对于VBDF中的起始点V是不变的。于是，模式点跨越尺度被传播。在每一尺度上，VBDF使用从最后尺度中所找到的模式点作为初始点来定位当前尺度的模式。

${\mathrm{mode}}_l=\mathrm{mode}({\mathrm{mode}}_{l-1};\{v_{x,t},C_{x,t}^l\left\}\right)(l=\mathrm{1,2},\·\·\·)---\left(12\right)$

随着α_j减少，模式点将收敛于最重要的采样估计。收敛点定义了在帧T的分析窗口内的主运动

。图7示出了使用VBDF来获得在分析窗口内的主运动的两个例子。对于每个帧，在分析窗口的9个等间距位置处计算初始运动估计。来自5个连续帧的初始估计被用作到VBDF的输入。指数遗忘被使用以在时间上加权这些初始运动估计。在图7中所示的结果说明了融合算法对于异常情况的鲁棒性。

图8说明了已经检测到正经过的车辆的图像帧的例子。每个例子都说明了检测结果和所估计的运动矢量。可以看出，不管可见照明变化、阴影和结构化噪声如何，各种形状的车辆都被检测到。图9和图10示出了图像帧，所述图像帧表示在自我车辆的挡风玻璃上由强光引起的噪声所严重损害的视频的检测结果。结构化噪声导致实际流和图像与它们的预测大大不匹配。

已经描述了用于检测正经过的车辆的方法的实施例，应该注意的是，根据上面的教导，本领域的技术人员可以进行修改和变化。因此，应该理解的是，在所附权利要求限定的本发明的范围和精神内所公开的本发明特定实施例中可以进行一些变化。因此，在已经描述了具有专利法所要求的细节和特殊性的本发明之后，专利证书所要求以及期望保护的内容在所附权利要求中阐明。

Claims (34)

1.一种检测正经过的车辆的方法，包括以下步骤：

接收包括多个图像帧的视频序列；

在每个图像帧中测量图像强度并且估计图像运动；

制定描述背景动态的假设模型；

使用所测量的图像强度和运动估计来确定在给定的图像帧中背景动态是否已被破坏；以及

如果背景动态已经被破坏，则使用运动相干性来确定背景动态的破坏是否由正经过的车辆引起。

2.根据权利要求1的方法，其中描述背景动态的假设模型包括对图像强度的假设和对图像运动的假设。

3.根据权利要求1的方法，还包括以下步骤：

如果所测量的图像强度和预测的图像强度之间的差值大于阈值，则确定背景动态被破坏。

4.根据权利要求3的方法，其中通过描述背景动态的假设模型确定预测的图像强度。

5.根据权利要求3的方法，其中通过自我运动和摄像机参数确定预测的图像运动。

6.根据权利要求3的方法，其中通过鲁棒的运动估计方法来获得所测量的图像运动。

7.根据权利要求3的方法，还包括以下步骤：

确定与被破坏的背景动态相关联的所测量的运动是否具有运动相干性；以及

如果具有运动相干性，则确定所述破坏是由正经过的车辆引起。

8.根据权利要求3的方法，其中确定与被破坏的背景动态相关联的所测量的运动是否具有运动相干性的步骤还包括以下步骤：

将第一子窗口和第二子窗口应用于具有被破坏的背景动态的图像帧以确定引起所述破坏的运动序列；

通过确定哪个子窗口首先指示图像运动中的变化来确定被破坏的背景动态的运动轨迹；以及

如果所述第一子窗口首先经历图像运动中的变化，则确定背景动态的破坏由正经过的车辆引起。

9.根据权利要求8的方法，其中使用鲁棒的运动估计方法测量第一和第二子窗口中的运动。

10.根据权利要求9的方法，其中通过在与多图像帧相关联的分析窗口中的分布式采样点处计算图像流和它们的协方差来实现鲁棒的运动估计。

11.根据权利要求9的方法，其中通过在分布式采样点处对图像流和它们的协方差进行指数加权来实现鲁棒的运动估计。

12.根据权利要求9的方法，其中通过在分布式采样点处对图像流进行联合空间时间滤波来实现鲁棒的运动估计。

13.根据权利要求12的方法，其中使用可变密度带宽融合和多尺度均值偏移来实现空间时间滤波。

14.根据权利要求13的方法，其中可变密度带宽融合和多尺度均值偏移丢弃异常情况并且找到最重要的采样估计。

15.根据权利要求13的方法，其中通过由可变密度带宽融合和多尺度均值偏移所获得的最重要的采样估计来确定第一和第二分析窗口中的所测量的运动。

16.根据权利要求1的方法，其中从被安装到自我车辆的摄像机接收视频序列。

17.根据权利要求1的方法，其中利用自我车辆的车速和摄像机参数来确定运动轨迹。

18.一种用于检测正经过的车辆的系统，包括：

至少一个摄像机，用于捕获背景动态的图像帧的视频序列；

与所述至少一个摄像机相关联的处理器，所述处理器执行以下步骤：

i)在每个图像帧中测量图像强度并且估计图像运动；

ii)制定描述背景动态的假设模型；

iii)使用所测量的图像强度和运动估计来确定在给定的图像帧中背景动态是否已被破坏；以及

iv)如果背景动态已经被破坏，则使用运动相干性来确定背景动态的破坏是否由正经过的车辆引起。

19.根据权利要求18的系统，其中描述背景动态的假设模型包括对图像强度的假设和对图像运动的假设。

20.根据权利要求18的系统，其中所述处理器还执行以下步骤：

如果所测量的图像强度和预测的图像强度之间的差值大于阈值，则确定背景动态被破坏。

21.根据权利要求20的系统，其中通过描述背景动态的假设模型确定预测的图像强度。

22.根据权利要求20的系统，其中通过自我运动和摄像机参数确定预测的图像运动。

23.根据权利要求20的系统，其中通过鲁棒的运动估计方法来获得所测量的图像运动。

24.根据权利要求20的系统，其中所述处理器还执行以下步骤：

确定与被破坏的背景动态相关联的所测量的运动是否具有运动相干性；以及

如果具有运动相干性，则确定所述破坏是由正经过的车辆引起。

25.根据权利要求20的系统，其中确定与被破坏的背景动态相关联的所测量的运动是否具有运动相干性的步骤还包括以下步骤：

将第一子窗口和第二子窗口应用于具有被破坏的背景动态的图像帧以确定引起所述破坏的运动序列；

通过确定哪个子窗口首先指示图像运动中的变化来确定被破坏的背景动态的运动轨迹；以及

如果所述第一子窗口首先经历图像运动中的变化，则确定背景动态的破坏由正经过的车辆引起。

26.根据权利要求25的系统，其中使用鲁棒的运动估计方法测量第一和第二子窗口中的运动。

27.根据权利要求26的系统，其中通过在与多图像帧相关联的分析窗口中的分布式采样点处计算图像流和它们的协方差来实现鲁棒的运动估计。

28.根据权利要求26的系统，其中通过在分布式采样点处对图像流和它们的协方差进行指数加权来实现鲁棒的运动估计。

29.根据权利要求26的系统，其中通过在分布式采样点处对图像流进行联合空间时间滤波来实现鲁棒的运动估计。

30.根据权利要求29的系统，其中使用可变密度带宽融合和多尺度均值偏移来实现空间时间滤波。

31.根据权利要求30的系统，其中可变密度带宽融合和多尺度均值偏移丢弃异常情况并且找到最重要的采样估计。

32.根据权利要求30的系统，其中通过由可变密度带宽融合和多尺度均值偏移所获得的最重要的采样估计来确定第一和第二分析窗口中的所测量的运动。

33.根据权利要求18的系统，其中从被安装到自我车辆的摄像机接收视频序列。

34.根据权利要求18的系统，其中利用自我车辆的车速和摄像机参数来确定运动轨迹。

Images