CN102930719B - 用于交通路口场景并基于网络物理系统的视频图像前景检测方法 - Google Patents

Abstract

一种用于交通路口场景并基于网络物理系统的视频图像前景检测方法，主要应用场景是城市交通中的十字路口，主要包括：根据系统中静止摄像机获取的视频图像，在提取出的背景帧中进行车道线检测并划分兴趣区域，利用系统感知到的外部信息调整不同图像区域像素点的背景学习过程和学习率，实时自适应地调整算法中的参数，最终得到更准确的前景点检测结果。本发明解决了城市交通路口场景中前景速度复杂多变的情况下的背景学习率根据物理环境自适应调整的问题。

Description

用于交通路口场景并基于网络物理系统的视频图像前景检测方法

技术领域

本发明涉及智能交通、视频图像处理和机器视觉领域，具体地说是用于交通路口场景并基于网络物理系统的视频图像前景检测方法。

背景技术

前景检测（Foreground Detection）方法一直是视频监控和图像处理领域的一项重要研究内容，它是后继处理的基础，直接影响着更高级别的应用，如兴趣目标跟踪、行为分析、异常检测等。前景检测算法有帧差分法、背景差分法两大类。帧差分法速度快，能准确地获取运动目标的边缘，但获取的前景目标上有较多空洞，对于运动速度快的目标，检测时会产生拖尾现象，而且无法检测静止目标。

背景差分（Background Subtraction）是先对背景图像进行建模，然后计算输入帧和背景图像之差，以检测前景物体。这种方法相对简单，能够比较完整地提取运动目标，也能适应环境变化，有一定的抗干扰能力，但是这种方法对背景质量的要求较高。典型背景建模方法有平均背景法、混合高斯算法等。在背景差分法中，为了获得准确的前景，需要对背景进行实时更新，背景更新方法关系到检测到的前景是否准确，对前景检测的实时性也有很大影响，其重点和难点在于如何选择合适的、自适应的学习率（也称为学习率）。

混合高斯模型（Gaussian Mixture Model，简称GMM）于1999年被首次提出，是目前研究和应用最广泛的背景提取方法之一。该算法使用若干个加权高斯分布描述每个像素点，它可以处理实际应用场景中像素点呈现的多模态自然属性，因此在有重复运动背景时表现出较好的背景提取性能。但是GMM本身具有参数难以设置的问题，原算法中作者使用经验值确定背景的学习率，这种方法对于其他差异较大的场景显然不太合适，于是许多研究者提出了GMM的改进和增强算法，尤其是在自适应学习率方面的研究工作，包括利用局部图像的亮度变化、多层次信息反馈等方法在背景更新过程中调整学习率。

例如最近几年Ka Ki Ng等人在跟踪应用中提取背景时使用像素级的自适应学习率（参见Ng,K.,Delp,E.:Background subtraction using a pixel-wise adaptive learning rate for objecttracking initialization.In:Society of Photo-Optical Instrumentation Engineers (SPIE）ConferenceSeries.Volume 7882.(2011）15），与传统方法中整个视频序列以及每个像素位置处使用相同的经验值设定学习率的方法不同，他们根据两个参数来确定某个像素点的学习率，一个参数由当前帧与背景帧该像素亮度差决定，另一个由该像素点连续被判为背景点的时间长度决定。除此之外还有利用图像局部亮度变化和不同级别反馈信息等来自适应调整学习率的方法，如Yinghong Li等人在2010年提出的适时调整学习率的方法（参见Ying-hong,L.,Hong-fang,T.,Yan,Z.:An improved gaussian mixture background model with real-timeadjustment of learning rate.In:Information Networking and Automation(ICINA）,2010International Conference on.Volume 1.,IEEE(2010）512-518），Shah M Deng等人在2010年提出的GMM在背景提取应用中的自适应学习方法（参见Shah,M.,Deng,J.,Woodford,B.:Localized adaptive learning of mixture of Gaussians models for background extraction.In:Imageand Vision Computing New Zealand(IVCNZ）,2010 25th International Conference of，IEEE(2010）1-8）等。

虽然上述背景提取改进算法利用自适应学习率确实提高了GMM的稳定性和准确率，但这些方法使用在城市交通路口场景时依然存在一些限制。典型的城市交通路口大多安装了辅助交通的红绿信号灯，根据交通规则，当路口红灯亮时，对应车道驶向路口的车辆作为场景中最主要的前景目标，将减速并停止在停车线内；当绿灯亮时，车辆从静止开始运动或直接匀速通过路口。上述情况带来的问题是，当背景提取算法依然按照某个经验值在整个图像区域和视频序列上更新背景，慢速并逐渐停止的车辆可能会很快融入背景，若用在跟踪中，之前建立的跟踪目标也会随之消失，前景检测和跟踪过程意外中断。即使前边提到的改进算法有能力在线调整学习率，但若仅仅利用图像亮度信息，此时将无法正确指导该场景下的背景学习过程。

近几年，随着无线传感器网络在智能交通（Intelligent Transportation Systems，简称ITS）领域中的广泛应用，物理网络系统（Cyber-Physical Systems，简称CPS）成为一种备受瞩目的提高计算可靠性和预测性的技术。常见的物理网络系统是一种基于基础设施组网的系统，它利用分布式信息感知、信息处理和融合以及无线组网等技术将计算过程和物理过程相互结合，已经而且越来越多的应用到医疗保健、智能交通、社交网络等多种多样的领域中。

发明内容

本发明的目的在于：为了克服现有背景提取技术单纯依赖图像信息自适应学习的局限性，提供一种用于交通路口场景并基于网络物理系统的视频图像前景检测方法，该方法能够准确的感受到物理环境的变化，而且避免了增加额外的图像处理步骤。

本发明技术解决方案：用于交通路口场景并基于网络物理系统的视频图像前景检测方法，包含以下步骤：

（1）建立网络物理系统，所述网络物理系统包括路边静止摄像机、信号控制设备、无线通信模块和计算单元；计算单元与摄像机相连，实时获取摄像机采集到的交通视频数据；信号控制设备和无线通信模块用于捕获和传递交通信号灯信息，计算单元接收并融合这些信息从而感知环境态势，并据此执行自适应调整学习率的背景提取方法；

（2）计算单元使用摄像机采集的交通视频的最初N帧图像进行背景帧初始化，采用的方法是平均帧法；

（3）计算单元利用Hough变换对交通视频图像进行车道线检测和兴趣区域划分，作为步骤（4）背景学习过程中按兴趣区域自适应调整像素学习率的分区依据；

（4）计算单元在图像处理过程中接收交通灯切换信号并进行分析，并根据自适应规则指导不同区域像素点的背景学习过程，调整背景模型的参数并更新背景帧；所述自适应规则包括：当交通灯切换为红灯信号时，受红灯影响停车的兴趣区域调小背景学习率，当交通灯切换为绿灯信号时，受绿灯影响通行的兴趣区域调大背景学习率；

（5）计算单元使用当前帧与背景帧差分的方法，逐像素进行前景点和背景点判断，得到初步的前景区域；

（6）采用后处理方法，包括：阴影去除、形态学滤波、区域生长对（5）中得到的前景区域进行去噪，通过消除面积过小的无效前景区域、填补前景目标被割裂的细小缝隙，得到最终比较完整可靠的前景区域。

所述步骤（4）中计算单元执行的操作包含以下步骤：

步骤①读取当前视频帧，针对图像中的每一个像素点X_t，判断像素X_t所处的图像分割区域，根据交通灯切换信号和自适应规则确定对应的学习率调整方案；

步骤②根据系统设定的阈值T₁进行前景和背景点分类，背景帧像素μ_t与当前视频帧像素值X_t进行做差，若满足|X_t-μ_t|＜T₁则判为背景点，否则该点为前景点；

步骤③使用调整后的学习率更新背景模型参数，包括背景均值和方差。

所述步骤（6）中计算单元执行的后处理操作包含以下步骤：

步骤①使用基于HSV（色调Hue，饱和度Saturation，亮度Value）颜色空间模型的方法进行阴影点去除；

步骤②先进行开运算操作消除前景区域中的细小对象、平滑较大物体的边界；再进行闭运算操作连接前景较大目标区域之间的缝隙，使得前景更加完整不被割裂；

步骤③根据预先设定的阈值Min删除面积过小的前景区域。

本发明与现有技术相比的优点在于：

（1）与传统的视频图像前景检测方法中仅利用局部图像信息不同的是，本发明利用外部传感器、信号控制设备以及无线通信单元，能够更敏捷、准确的感受到物理环境的变化。

（2）本发明利用外部物理环境信息而不是图像本身信息指导背景学习过程，然后通过对图像区域进行场景划分得到区域集合φ={γ₁，γ₂，…，γ_M}，逐区域自适应调整学习率α，既只需判断信号量就能对物理环境变化做出准确的判断，又有效避免了增加额外的图像处理步骤。

附图说明

图1是本发明系统整体流程图，图中所示的所有步骤均在计算单元操作执行，虚线框标注的部分为本系统根据外部信息调整学习率的操作；

图2是本发明的应用场景图，图中为一带有信号灯、路边静止摄像机以及通信模块和图像处理单元的两车道城市十字路口，其显示的是南北方向车道面临红灯时的场景状态，车道上不同颜色的矩形代表车辆；

图3是本发明方法的流程图，以混合高斯建模方法为例进行了改进，图中说明了改进后的GMM算法如何利用感知到的外部信号自适应调整学习率；

图4是本发明的实验结果对比图，实际路口场景下的前景检测结果表明，改进后的GMM算法检测出的前景更加可靠、完整。

具体实施方式

下面结合附图对本发明作详细说明。

如图1所示，本发明具体操作过程如下：

（1）计算单元从静止摄像机获取视频序列，背景模型参数初始化，包括混合高斯背景模型参数：高斯模型个数K=5，学习率α=0.005，标准差σ=30，均值μ通过平均帧的方法得到。

（2）车道线检测，由于红绿灯信号将对不同车道产生不同的影响，于是计算单元通过车道线检测算法对视频图像区域进行划分，得到区域集合φ={γ₁，γ₂，…，γ_M}（γ_i表示第i个兴趣区域，M为得到兴趣区域的总个数，1≤i≤M），作为后续按图像空间范围调整像素学习率的依据。然后对于视频图像的每一帧。

（3）接收外部信号，该模块主要通过外围物理设备捕获信号灯变化，然后将红绿灯信号切换作为外部触发消息传递给路边计算单元。

（4）消息处理，计算单元根据接收到的外部信息对物理场景的变化进行判断并做相应处理，并随之调整学习率α，计算单元针对红灯或绿灯信号调节不同区域的学习率，对于受红灯影响的区域，由于前景车辆运动速度减慢并逐渐停止，其像素背景学习率应调小；而绿灯切换区域的像素学习率则应该调大。该过程具体操作：

步骤①读取当前视频帧，针对图像中的每一个像素点X_t，判断其所处的图像分割区域，根据交通灯切换信号和自适应规则确定对应的学习率调整方案；

步骤②根据系统设定的阈值T₁进行前景和背景点分类，背景帧像素μ_t与当前视频帧像素值进行做差，若满足|X_t-μ_t|＜T₁则判为背景点，否则该点为前景点；

步骤③使用调整后的学习率更新背景模型参数，包括背景均值和方差。

（5）根据维护的背景帧I_B对每个像素X_t进行前景点/背景点分类，初步得到提取出的前景点区域，然后使用调整后的学习率更新模型参数和背景帧。

（6）前景区域后处理，最终得到更可靠完整的前景提取结果I_f。形态学操作和优化包括：

步骤①利用图像的HSV颜色特征消除前景区域的阴影点；

步骤②先进行开运算操作消除前景区域中的细小对象、平滑较大物体的边界；再进行闭运算操作连接前景较大目标区域之间的缝隙，使得前景更加完整不被割裂；

步骤③删除小于阈值Min的小区域，不作为感兴趣的前景目标；

参考图2为本发明算的一个应用场景实例图，图中为一带有信号灯、路边静止摄像机以及通信模块和图像处理单元的两车道城市十字路口，车道上的白色和黑色矩形表示车辆，车道中间的虚线表示车道线。图中右上区域是路边摄像机的安装位置，虚线之间的区域表示摄像机视觉范围。该场景显示的是南北方向车道面临红灯时的场景状态；

参考图3为改进后GMM算法的具体流程图。在实验中选择混合高斯模型的个数K=5，初始化参数学习率α为0.005，标准差为30。当计算单元接收外部信号并做了相应学习率调整以后，在当前时刻t，第i（i=1，2，…，5）个高斯分布的权值ω_i，t根据公式1进行更新。

ω_i,t＝(1-α)ω_i，t-1+αM_i,t                (1）

其中α为学习率，M_i，t＝1表示像素点与第i个高斯分布匹配，对其余不匹配的分布则有M_i，t＝0。对于当前帧的每个像素位置，需要对匹配上的高斯分布的参数μ和σ进行公式(2）(3）更新。其中，μ为所在高斯模型的均值，σ为标准差，另一个学习率ρ＝αη(X_t|μ_t,σ_k)，η表示高斯分布，变量的下标t表示第t时刻。

μ_t＝(1-ρ)μ_t-1+ρX_t                  (2）

${\mathrm{\σ}}_t^2=(1-\mathrm{\ρ}){\mathrm{\σ}}_{t-1}^2+\mathrm{\ρ}{(X_t-{\mathrm{\μ}}_t)}^T(X_t-{\mathrm{\μ}}_t)---\left(3\right)$

参考图4为原始GMM算法与本发明改进GMM算法的实验结果对比图。其中第一行四幅图(a）-(d）为测试视频中随机选择地四帧，分别是第2115、2249、2347、2385帧，可以看到图中右侧车道遇到红灯时的一个场景，即五辆驶近路口的汽车逐渐减速并停止在停车线内。第二行的四幅图像(e）-(h）为使用原始混合高斯算法的前景检测结果，可以看到随着时间的推移，先前停下的车辆随着背景的更新逐渐融入背景而消失在前景检测结果中，这正是本发明在该场景下应该努力避免的问题。第三行的四幅图像(i）-(l）是使用改进算法的前景检测结果，图中连续的直线为车道线检测和处理后的显示，通过场景区域分割和利用外部感知到的交通灯信息适应性的调整学习率，避免慢速或停止的车辆融入背景并最终得到了比较可靠的前景检测结果。

本发明未详细阐述部分属于本领域公知技术。

Claims (2)

1.用于交通路口场景并基于网络物理系统的视频图像前景检测方法，其特征在于包含以下步骤：

(1)建立网络物理系统，所述网络物理系统包括路边静止摄像机、信号控制设备、无线通信模块和计算单元；计算单元与摄像机相连，实时获取摄像机采集到的交通视频数据；信号控制设备和无线通信模块用于捕获和传递交通信号灯信息，计算单元接收并融合这些信息从而感知环境态势，并据此执行自适应调整学习率的背景提取方法；

(2)计算单元使用摄像机采集的交通视频的最初N帧图像进行背景帧初始化，采用的方法是平均帧法；

(3)计算单元利用Hough变换对交通视频图像进行车道线检测和兴趣区域划分，作为步骤(4)背景学习过程中按兴趣区域自适应调整像素学习率的分区依据；

(4)计算单元在图像处理过程中接收交通灯切换信号并进行分析，并根据自适应规则指导不同区域像素点的背景学习过程，调整背景模型的参数并更新背景帧；所述自适应规则包括：当交通灯切换为红灯信号时，受红灯影响停车的兴趣区域调小背景学习率，当交通灯切换为绿灯信号时，受绿灯影响通行的兴趣区域调大背景学习率；

(5)计算单元使用当前帧与背景帧差分的方法，逐像素进行前景点和背景点判断，得到初步的前景区域；

(6)采用后处理方法，包括：阴影去除、形态学滤波、区域生长对(5)中得到的前景区域进行去噪，通过消除面积过小的无效前景区域、填补前景目标被割裂的细小缝隙，得到最终比较完整可靠的前景区域；

所述步骤(4)中计算单元执行的操作包含以下步骤：

步骤①读取当前视频帧，针对图像中的每一个像素点X_t，判断像素点X_t所处的图像分割区域，根据交通灯切换信号和自适应规则确定对应的学习率调整方案；

步骤②根据系统设定的阈值T1进行前景和背景点分类，背景帧像素μ_t与当前视频帧像素值进行做差，若满足|X_t-μ_t|<T₁则判为背景点，否则该点为前景点；

步骤③使用调整后的学习率更新背景模型参数，包括背景均值和方差。

2.根据权利要求1所述的用于交通路口场景并基于网络物理系统的视频图像前景检测方法，其特征在于：所述步骤(6)中计算单元执行的后处理操作包含以下步骤：

步骤①使用基于HSV(色调Hue，饱和度Saturation，亮度Value)颜色空间模型的方法进行阴影点去除；

步骤②先进行开运算操作消除前景区域中的细小对象、平滑较大物体的边界；再进行闭运算操作连接前景较大目标区域之间的缝隙，使得前景更加完整不被割裂；

步骤③根据预先设定的阈值Min删除面积过小的前景区域。