CN107564031A

CN107564031A - 基于反馈背景提取的城市交通场景前景目标检测方法

Info

Publication number: CN107564031A
Application number: CN201710750832.9A
Authority: CN
Inventors: 李�浩; 张运胜
Original assignee: Xian University
Current assignee: Xian Unversity of Arts and Science; Xian University
Priority date: 2017-08-28
Filing date: 2017-08-28
Publication date: 2018-01-09

Abstract

本发明公开了基于反馈背景提取的城市交通场景前景目标检测方法，包括S1首先采用一组样本中每一像素的位置建立背景模型，并利用间隔帧来初始化模型，S2安装一些计数器并进行自适应更新，以描述当前的交通状态和像素的稳定性，S3检测显著对前景，并用自适应反馈学习率更新模型。本基于反馈背景提取的城市交通场景前景目标检测方法，FViBe方法在处理缓慢运动或暂时处于静止状态目标的问题上效果优于其他方法，FViBe方法是有效的并且在复杂城市交通场景中能够实时实现显著前景检测。

Description

基于反馈背景提取的城市交通场景前景目标检测方法

技术领域

本发明涉及城市交通场景技术领域，具体为基于反馈背景提取的城市交通场景前景目标检测方法。

背景技术

从复杂的城市交通场景中提取显著前景是构建智能交通系统的重点，在城市公共安全方面有很广泛的应用。视频监控研究人员广泛研究了自动的显著前景检测技术，提出了光流法、帧间差分法和背景减法模型等各种显著前景检测方法，光流技术可以很好地适用于处于移动或静态状态的背景，然而其易受噪声影响而且计算成本高，因此这种方法很少用于实时显著前景检测，帧间差分法在视频图像序列中对相邻两帧作差分运算，适用于移动目标而非静止背景，但当光线改变或前景目标不动时，这种方法的检测效果比较差。在通过固定相机采集的视频序列中，背景减法模型是检测前景目标的关键技术之一，在这种方法中，认为当前背景模型和输入视频帧之间的显著差异是前景对象，并且在背景中把没有显著差异的区域标注出来。

然而这些背景减法的非概率模型对城市交通场景的检测效果并不理想，而且它们不能用于处理缓慢运动或暂时静止的目，。此外，为了检测城市交通场景中的车辆，具有置信度测量功能的三角积分SDC算法，然而，SDC算法无法有效处理多模态场景而且难以获得理想的初始背景模型。

发明内容

本发明的目的在于提供基于反馈背景提取的城市交通场景前景目标检测方法，FViBe方法在处理缓慢运动或暂时处于静止状态目标的问题上效果优于其他方法，FViBe方法是有效的并且在复杂城市交通场景中能够实时实现显著前景检测，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于反馈背景提取的城市交通场景前景目标检测方法，包括以下步骤：

S1：首先采用一组样本中每一像素的位置建立背景模型，并利用间隔帧来初始化模型；

S2：安装一些计数器并进行自适应更新，以描述当前的交通状态和像素的稳定性；

S3：检测显著对前景，并用自适应反馈学习率更新模型。

优选的，在步骤S1中，FViBe使用最新观察到的图像值v_M(x,y)的数集N， M∈[1，N]代表任意像素用来描述背景模型M(x,y)，这个模型在任意位置(x,y)的指定时间间隔上使用最近观察到的图像值进行初始化，如下所示：

M(x,y)＝{v₁(x,y),v₂(x,y),…,v_N(x,y)} ＝{I₁(x,y),I_1+K(x,y),…,I_1+(M-1)×K(x,y),…,I_1+(N-1)×K(x,y)} (1)

式中，N代表模型中样本的数量，_K代表实际场景中的时间间隔，I₁指第 1帧，I_1+(N-1)×K指第1+(N-1)×K帧，设每一评估周期_p(x,y)的像素坐标为(x,y)，使用帧数和当前周期p_c(x,y)量化p(x,y)，并且采用前一周期p_f(x,y)来分析交通状态和像素的稳定性，在当前这个周期结束时，当前周期变为新的前一周期，而上述提到的前一周期则根据反馈交通状态复位，变成新的当前周期。

优选的，在步骤S2中，设定完评估周期后，把三个计数器f(x,y)，d(x,y)和 h(x,y)定义为评估周期，f(x,y)指当前帧的序数，d(x,y)指在评估周期帧内前景的次数，计数器h(x,y)记录像素检测状态从背景到前景转换的次数，通过 h_f(x,y)+h_c(x,y)在t-(f_f(x,y)+f_c(x,y))和t之间获取像素状态转换的次数：

式中s(x,y)是指城市交通场景的当前状态，d(x,y)＝d_f(x,y)+d_c(x,y)， f(x,y)＝f_f(x,y)+f_c(x,y)，在当前评估周期结束时，坐标(x,y)处的值p_f(x,y)应根据稳定性和当前交通状态进行更新，一方面，如果h(x,y)/f(x,y)＜τ_d(τ_d是阙值且τ_d＝0.3)，说明在最后f(x,y)帧内，该位置处像素状态的转换次数小于0.3×f(x,y)，这使该位置成为一个可靠的位置，而且这个位置很可能处于稳定区域，更新后的p_f(x,y)定义如下：

另一方面，如果h(x,y)/f(x,y)≥τ_d，说明该位置是不稳定的，而且应减少当前评估周期位置来适应动态场景，更新后的c(x,y)定义如下：

式中，p_f(x,y)被初始化为35，minp_f(x,y)＝20和maxp_f(x,y)＝50，p_f(x,y)更新后把f_f(x,y)，d_f(x,y)和h_f(x,y)重置为0。

优选的，在步骤S3中，有选择性的进行模型更新以便正确地处理任何背景变化，在一方面，如果h(x,y)/f(x,y)＜τ_d且F_t(x,y)＝0，那么概率1/φ根据反馈交通状态定义如下：

在另一方面，如果h(x,y)/f(x,y)≥τ_d且F_t(x,y)＝0，那么概率1/φ定义如下：

如果一个像素被认定为是N个连续帧的前景(N根据交通信号灯和在交点处较长的等待时间设定)，那么认为该像素将是下一帧的背景点。

与现有技术相比，本发明的有益效果是：本基于反馈背景提取的城市交通场景前景目标检测方法，FViBe方法在处理缓慢运动或暂时处于静止状态目标的问题上效果优于其他方法，FViBe方法是有效的并且在复杂城市交通场景中能够实时实现显著前景检测。

附图说明：图1为本发明的M(x,y)的样本容量逐渐被填满的示意图；

图2为本发明的假设当前周期是P2，前一周期是P1，P1在P2结束时复位示意图；

图3为本发明的分类1示意图；

图4为本发明的分类2示意图；

图5为本发明的分类3示意图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行亲楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

本发明提供一种技术方案：基于反馈背景提取的城市交通场景前景目标检测方法，包括以下步骤：

第一步：首先采用一组样本中每一像素的位置建立背景模型，并利用间隔帧来初始化模型，在步骤S1中，FViBe使用最新观察到的图像值v_M(x,y)的数集N，M∈[1，N]代表任意像素用来描述背景模型M(x,y)，这个模型在任意位置(x,y) 的指定时间间隔上使用最近观察到的图像值进行初始化，如下所示：

式中，N代表模型中样本的数量，K代表实际场景中的时间间隔，I₁指第 1帧，I_1+(N-1)×K指第1+(N-1)×K帧，在实际场景中，显著前景目标的像素很可能出现在第1帧，因此使用第1帧进行初始化的方法容易产生一个虚假前景，这个虚假前景通常被称为“幽灵”，它往往出现在显著前景目标的初始位置，并存在很长一段时间。为了防止幽灵的产生，一些改进方法在前N帧采用每一像素的图像值来初始化背景模型，然而，由于缓慢运动或暂时处于静止状态目标可能会导致幽灵效应，因此这些改进后的初始化方法城市交通场景的检测效果并不理想。为了获得理想的初始背景模型，使用间隔帧初始化背景，这降低了缓慢运动或暂时处于静止状态目标进入到背景样本中的可能性。由于城市交通场景中缓慢运动或暂时处于静止状态的目标在一段时间内位置会发生改变，所以M(x,y)的样本容量逐渐被填满，参见说明书附图1。

初始化背景模型初始化后，为了防止理想的背景样本受复杂的城市交通状况(如缓慢运动或临时停止的行人和车)影响，我们采用一个交通状态评估周期，在像素级上建立了一个基于复杂城市交通场景的具有自适应反馈检测和更新机制的模型，设每一评估周期p(x,y)的像素坐标为(x,y)，使用帧数和当前周期p_c(x,y)量化p(x,y)，并且采用前一周期p_f(x,y)来分析交通状态和像素的稳定性；

设每一评估周期p(x,y)的像素坐标为(x,y)，使用帧数和当前周期p_c(x,y)量化 p(x,y)，并且采用前一周期p_f(x,y)来分析交通状态和像素的稳定性，在当前这个周期结束时，当前周期变为新的前一周期，而上述提到的前一周期则根据反馈交通状态复位，变成新的当前周期，在当前这个周期结束时，当前周期变为新的前一周期，而上述提到的前一周期则根据反馈交通状态复位，变成新的当前周期。两个周期的交替更新过程如说明书附图2所示。

第二步：安装一些计数器并进行自适应更新，以描述当前的交通状态和像素的稳定性，在步骤S2中，设定完评估周期后，把三个计数器f(x,y)，d(x,y) 和h(x,y)定义为评估周期，f(x,y)指当前帧的序数，d(x,y)指在评估周期帧内前景的次数，外在最后一帧f(x,y)中，相应位置的稳定性和可靠性由计数器h(x,y) 确定，计数器h(x,y)记录像素检测状态从背景到前景转换的次数，反之亦然，当h(x,y)较小时，表示位置稳定且可靠，反之亦然。三个计数器的索引f和c分别代表前一周期和当前周期的计数器。也就是说，f(x,y)，d(x,y)和h(x,y)存有前一周期的结果并且决定当前周期的结果，比如，对于任一帧t，我们都能通过h_f(x,y)+h_c(x,y)在t-(f_f(x,y)+f_c(x,y))和t之间获取像素状态转换的次数；

计数器h(x,y)记录像素检测状态从背景到前景转换的次数，通过 h_f(x,y)+h_c(x,y)在t-(f_f(x,y)+f_c(x,y))和t之间获取像素状态转换的次数：

式中s(x,y)是指城市交通场景的当前状态，d(x,y)＝d_f(x,y)+d_c(x,y)， f(x,y)＝f_f(x,y)+f_c(x,y)，在当前评估周期结束时，坐标(x,y)处的值pf(x,y)应根据稳定性和当前交通状态进行更新，一方面，如果h(x,y)/f(x,y)＜τ_d(τ_d是阙值且τ_d＝0.3)，说明在最后f(x,y)帧内，该位置处像素状态的转换次数小于0.3×f(x,y)，这使该位置成为一个可靠的位置，而且这个位置很可能处于稳定区域，更新后的p_f(x,y)定义如下：

式中，p_f(x,y)被初始化为35，minp_f(x,y)＝20和maxp_f(x,y)＝50，p_f(x,y)更新后把f_f(x,y)，d_f(x,y)和h_f(x,y)重置为0，在背景模型和计数器更新方案建立之后，根据当前像素值与背景模型中样本值之间的差值判定每个新输入视频帧的像素属于前景还是背景，因此应将t时间点的像素值I_t(x,y)与背景模型样本值 v_M(x,y)和M∈[1，N]做对比，当差值在I_t(x,y)和第N个背景模型值M(x,y)之间，则该像素的检测结果我前景像素，如下所示：

F_t(x,y)＝1指当前像素是前景像素，F_t(x,y)＝0则代表当前像素是后景像素，最小量#min是全局参数而且是定值。dist(I_t(x,y),b′_M(x,y))是欧式距离，在背景模型中介于I_t(x,y)和第M个模型值之间，M∈[1,N]和#{dist(·)＜R′(x,y)}是背景模型值的数量满足dist(·)＜R(x,y)。R(x,y)是差值的阙值，对于获取准确的检测结果至关重要，对所有像素来说，定值R(x,y)在模型中动态背景的鲁棒性和复杂前景的鲁棒性上效果并不理想，在稳定区域中，高固定阈值可能将前景像素检测为后景像素；反之在动态区域中，低固定阈值可能将后景像素检测为前景像素。阙值需要适应特定的场景，然后才能正确检测出每一个像素是前景像素还是后景像素，因此我们提出了一个基于基于位置稳定性的自适应阈值更新方法，更新后的自适应阈值定义如下：

θ₁，θ₂和τ_r是固定阙值。根据试验我们设定θ₁＝0.03，θ₂＝0.04，τ_r＝0.2， minR(x,y)＝15，maxR(x,y)＝30以及R(x,y)被初始化为20，在当前评估周期结束时， R(x,y)的值在(x,y)处必须根据对稳定性的评估进行更新，如果h(x,y)/f(x,y)＜τ_r，说明背景是稳定且可靠的，R(x,y)在下一个新的评估周期内会更低，在另一方面，如果位置区域的动态性更明显，则适合的阈值会更高；

与大多数传统的背景减法相反，F_t(x,y)＝1并不足以代表像素位置是前景，如果F_t(x,y)＝1，我们并不会立即把该像素位置判断为前景，而是像素位置周围取了一个邻域窗口，然后检查所有邻域的h(x′,y′)/f(x′,y′)和F_t(x′,y′)((x′,y′)∈N(x,y))。如果大多数邻域满足F_t(x′,y′)＝0和h(x′,y′)/f(x′,y′)＜τ_r，那么认为该像素位置为背景，即F_t(x,y)＝0，从邻域获取的信息提高了背景模型的鲁棒性和准确性。

第三步：检测显著对前景，并用自适应反馈学习率更新模型，在步骤S3 中，有选择性的进行模型更新以便正确地处理任何背景变化，当推导出一个像素的位置是稳定的，且交通状况合理时，这个位置的值会以一个很高的概率1/φ被判定为属于背景。否则，被判定为背景的概率较低或背景不更新，在一方面，如果h(x,y)/f(x,y)＜τ_d且F_t(x,y)＝0，那么概率1/φ根据反馈交通状态定义如下：

也就是说，如果s(x,y)等于0，1或2，则为当前像素值指定更高的概率来更换现有样本并更新背景模型。s(x,y)＝0说明此时的交通状况和该位置的像素状态是非常可靠的，所以利用当前场景来更新背景模型是可行的。如果s(x,y)等于1或2，则更换现有样本并更新以一个较低概率受影响的背景模型。如果 s(x,y)大于2，更新可能会带来很大的风险，此时应采用较低的概率来代替模型中的样本

s(x,y)等于0，1或2，说明该位置像素的状态不稳定，交通状况的评估结果并不可靠，因此应该以较低的概率来更新背景模型。如果s(x,y)大于2，由于被影响的可能性较大，因此不应更新背景模型；

如果一个像素被认定为是N个连续帧的前景(N根据交通信号灯和在交点处较长的等待时间设定)，那么认为该像素将是下一帧的背景点，那么认为该像素将是下一帧的背景点。该方法有助于快速消除真正变成背景的“幽灵”目标，采用这种机制的目的是防止模型仍旧停留在在过去背景模型中，当背景模型进行更新时，采用当前像素值以合理的概率更换背景样本。同时，我们还采用与PBAS类似的方案来更新随机选择的邻居像素(x′,y′)∈N(x,y)，也会是说在背景模型M(x′,y′)中相应的样本v_M(x′,y′)以一个很高的概率被当前像素值 I_t(x′,y′)替换。

实施例二：

本发明提供一种具体实例说明：天气和照明情况变化的城市交通数据由山东省济宁市的地方交警支队提供，是在上午7时至10时之间由安装在三个不同路口的电荷耦合器件摄影机采集得到的，与之进行比较的五种检测方法是GMM，ALW，SDC，ViBe和PBAS，这些方法的性能是根据作者设定或缺省参数来进行比较的，而且GMM，ViBe和PBAS是基于开源计算机视觉库(OpenCV)来进行测试，为了处理TLD中存在缓慢行驶或临时停止车辆的情况，给出了四个具有代表性的帧的比较结果，其中参与比较的几种方法和本文所提出方法的检测结果如图的第三行到第八行所示，第一行是四个原始帧，第二行是相应的地面实况，分类1参见说明书附图3。

第一列是在657帧当车辆通过路口且行人在等绿灯时每一种检测方法的检测结果，图中显示，除了在该序列开始时把图像中移动车辆计入检测结果的SDC方法之外，其余的方法都得到了正确的检测结果；第二列是938帧红灯刚亮时的场景，其中一个方向的行人和车辆以不同的速度通过路口，而在另一方向上，车辆停止行驶且同向的行人放缓脚步以等待绿灯；第三列是1236 帧红灯序列中间处的检测结果，其中一些车辆保持静止的时间将近12秒；本文所提出的方法可以很好地检测出缓慢行驶或暂时停止的车辆，而其他方法只能检测出一部分甚至完全检测不出；第四帧是1729帧红灯结束时的场景，其中停止的车辆再次开始移动；对图中所有的典型帧，本文提出的方法能够完整、准确地检测出缓慢行驶或暂时停止的车辆。

分类2如说明书附图4所示：

TLSW场景中在一个红灯时段内缓慢行驶或暂时停止的车辆以及行人的检测结果，这些场景的检测难点是存在摇动的树带来的比较强的阴影、缓慢的动作和暂时处于静止状态的目标，一辆白色的车在340帧红灯开始处停止行驶，从380帧到850帧逐渐形成了一个等待行驶的车队，最后一列表示的是1230帧绿灯开始时的情况，在这些场景中比较对车队的检测结果。FViBe 和SDC都成功检测到了队列中等待的所有车辆，而其他方法只是检测到了一个车队，但是SDC产生了一个“幽灵”车辆并且把摇动的树检测为为前景，对图中所有的典型帧，使用本文提出的方法得到了完整、正确的检测结果，而其他方法不仅无法得出有效的检测结果还把摇动的树检测为前景。

分类3如说明书附图5所述。

TLN场景中暂时停止行驶车辆的检测结果，这种场景的检测难点主要是车辆前灯在十字路口和交通信号灯产生强烈的眩光以及缓慢运动或暂时处于静止状态的目标会带来很多“幽灵”，第一列表示当一辆车在980帧停止行驶等候绿灯、在1230帧在该车道停留约10秒、在1290帧再次开始移动时各种方法的检测结果，GMM，ALW，ViBe和PBAS方法有的在部分帧中检测出了这辆车，有的完全检测不出，显然，FViBe方法对行驶或暂时停止车辆的检测效果最佳，这是因为本文提出的方法根据反馈交通流状态及时更新了背景模型。

采用准确率、召回率、F值和相似度这四种信息检索评价指标来评估像素级BS方法的性能，准确率表征检测的准确性，比较检测正确的百分比和检测到的前景目标像素的总数，召回率表征完整性，比较在地面实况中，检测正确的百分比和检测正确像素的总数，然而使用准确率和召回率作为上述几种检测方法性能的评价标准并不能得到令人满意的结果。因此我们更侧重于相似度和F测量，这样可以在权重上协调准确率和召回率，这四个指标都在0 到1内，值越大说明相应方法的检测性能越好，如下表所示：

表1比较每种方法的平均F值和相似度。

采用F值和相似性来评价本文提出的FViBe方法，并从定性评价角度，依托TLD，TLSW和TLN三个测试视频序列，与其它最先进的检测方法进行比较，表1给出了GMM，ALW，SDC，ViBe，PBAS和FViBe的平均结果，其中粗体值表示通过性能评价得出的最佳方法。定量数值是在手动标记的地面实况中的相应视频测试帧的平均值，TLD场景的测试结果显示FViBe的F 值和相似度分别高达0.909和0.921且优于其他几种检测方法，TLSW场景的测试结果显示FViBe的F值和相似度分别高达0.678和0.592且优于其他几种检测方法。TLN场景的测试结果显示FViBe的F值和相似度分别高达0.562 和0.398且优于其他几种检测方法。由于交通状况在夜间难以准确评估，因此 TLN的结果不是最好的。表1中的性能评价表明FViBe方法可以胜过大多数检测方法，显然，FViBe可以处理存在缓慢运动或暂时停止的车辆和行人的情况。

表2平均处理速度，用帧数/秒(fps)表示。

最后，我们比较了每种检测方法的平均处理速度，以评价这些方法在进行实时处理时的适用性。在进行处理前把图像的分辨率设置为1080×720，上述几个检测方法在所有测试视频中的平均处理速度如表2所示，平均处理速度用帧数/秒(fps)表示。在这些方法中，ALW的平均处理速度最快，FViBe 比ViBe稍慢，PBAS是最慢的，所以说FViBe，SDC和ViBe具有相当好的处理速度

最终得到了更为准确的实验数据，为分析FViBe各种类型的问题提供了有意义的指导作用。

综上所述：本基于反馈背景提取的城市交通场景前景目标检测方法， FViBe方法在处理缓慢运动或暂时处于静止状态目标的问题上效果优于其他方法，FViBe方法是有效的并且在复杂城市交通场景中能够实时实现显著前景检测。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims

1.基于反馈背景提取的城市交通场景前景目标检测方法，其特征在于，包括以下步骤：

S3：检测显著对前景，并用自适应反馈学习率更新模型。

2.根据权利要求1所述的基于反馈背景提取的城市交通场景前景目标检测方法，其特征在于，在步骤S1中，FViBe使用最新观察到的图像值v_M(x,y)的数集N，M∈[1，N]代表任意像素用来描述背景模型M(x,y)，这个模型在任意位置(x,y)的指定时间间隔上使用最近观察到的图像值进行初始化，如下所示：

M(x,y)＝{v₁(x,y),v₂(x,y),…,v_N(x,y)}

＝{I₁(x,y),I_1+K(x,y),…,I_1+(M-1)×K(x,y),…,I_1+(N-1)×K(x,y)} (1)

式中，N代表模型中样本的数量，K代表实际场景中的时间间隔，I₁指第1帧，I_1+(N-1)×K指第1+(N-1)×K帧，设每一评估周期p(x,y)的像素坐标为(x,y)，使用帧数和当前周期p_c(x,y)量化p(x,y)，并且采用前一周期p_f(x,y)来分析交通状态和像素的稳定性，在当前这个周期结束时，当前周期变为新的前一周期，而上述提到的前一周期则根据反馈交通状态复位，变成新的当前周期。

3.根据权利要求1所述的基于反馈背景提取的城市交通场景前景目标检测方法，其特征在于，在步骤S2中，设定完评估周期后，把三个计数器f(x,y)，d(x,y)和h(x,y)定义为评估周期，f(x,y)指当前帧的序数，d(x,y)指在评估周期帧内前景的次数，计数器h(x,y)记录像素检测状态从背景到前景转换的次数，通过h_f(x,y)+h_c(x,y)在t-(f_f(x,y)+f_c(x,y))和t之间获取像素状态转换的次数：

式中s(x,y)是指城市交通场景的当前状态，d(x,y)＝d_f(x,y)+d_c(x,y)，f(x,y)＝f_f(x,y)+f_c(x,y)，在当前评估周期结束时，坐标(x,y)处的值p_f(x,y)应根据稳定性和当前交通状态进行更新，一方面，如果h(x,y)/f(x,y)＜τ_d(τ_d是阙值且τ_d＝0.3)，说明在最后f(x,y)帧内，该位置处像素状态的转换次数小于0.3×f(x,y)，这使该位置成为一个可靠的位置，而且这个位置很可能处于稳定区域，更新后的p_f(x,y)定义如下：

式中，p_f(x,y)被初始化为35，min p_f(x,y)＝20和max p_f(x,y)＝50，p_f(x,y)更新后把f_f(x,y)，d_f(x,y)和h_f(x,y)重置为0。

4.根据权利要求1所述的基于反馈背景提取的城市交通场景前景目标检测方法，其特征在于，在步骤S3中，有选择性的进行模型更新以便正确地处理任何背景变化，在一方面，如果h(x,y)/f(x,y)＜τ_d且F_t(x,y)＝0，那么概率1/φ根据反馈交通状态定义如下：