CN102142148B - 视频空时特征提取方法 - Google Patents

Abstract

一种计算机视频处理技术领域的视频空时特征提取方法，通过分别对视频流中的相邻两帧的图像以及进行高斯滤波并在光滑的图像上计算出边缘及纹理区域的几何正则度及几何正则方向并构建空间几何流场，然后在两幅图像之间建立运动方程并采用块匹配相关法计算每个像素点的运动矢量；再对计算出的几何流场采用M×M邻域局部平均法消除奇异值，最后将空间几何流场与时域几何运动流融合，即得到该像素点的空时特征向量。本发明对光照变化具有更高的鲁棒性及计算性能，运动目标的结构清晰，可以有效的分离临近的运动目标，在交通监控中的车流估计以及异常事件检测中发挥更好的鲁棒性及效率。

Description

视频空时特征提取方法

技术领域

本发明涉及的是一种计算机视频处理技术领域的方法，具体是一种视频空时特征提取方法。

背景技术

目前，计算机视觉技术在城市交通监控中发挥着越来越重要的作用，比如交通流量监控，拥塞估计，异常事件检测等。车辆运动分析作为一项重要任务，由于复杂的城市交通环境(如光线及天气变化变化，遮挡等)，仍然面临很大的挑战。目前有关车辆运动分析的工作主要分为两大类，一种是传统的基于检测、跟踪的长期运动分析，但是目前仍然缺乏可靠稳定的多目标跟踪算法。近年来越来越多的研究者采用另一种方法，直接基于底层的运动特征进行统计或者建模，避免进行运动目标的检测与跟踪。

经对现有技术文献检索发现，光流法(optical flow)和特征点匹配法(feature pointcorrespondence)是两种重要的底层运动特征提取方法。但是光流法基于亮度恒常假设，并且大多数计算方法采用空间全局平滑(参见：Berthold K.P.Horn and Brian G.Schunck，“Determining optical flow，”Artificial Intelligence，vol.17，no.1-3，pp.185-203，1981.人工智能，1981年第12卷，第1-3期，185-203页，确定光流)或者局部平滑假设(参见：BruceD.Lucas and Takeo Kanade，“An iterative image registration technique with an application tostereo vision，”in Proceedings of the 1981 DARPA Image Understanding Workshop，April1981，pp.121-130.1981年4月的DARPA图像理解工作组会议121-130页，一种应用于立体视觉的迭代图像配准技术)，使得其面临如下三个问题：1)易受噪声，以及光线变化等影响；2)运动边界扩散；3)大多数的光流计算方法要对帧中的所有像素进行计算，计算量大，实时性相对较差。基于特征点匹配的方法(参见：HanWang and Michael Brady，“Real-time cornerdetection algorithm for motion estimation，”Image and Vision Computing，vol.13，no.9，pp.695-703，1995.图像与视频计算，1995年第13卷，第9期，695-703页，用于运动估计的实时角点检测算法)虽然鲁棒性能很好，但是过于稀疏，不利于观察整个目标的运动状态，以及运动目标结构的提取。

发明内容

本发明针对现有技术存在的上述不足，提供一种视频空时特征提取方法，对光照变化具有更高的鲁棒性及计算性能，运动目标的结构清晰，可以有效的分离临近的运动目标，在交通监控中的车流估计以及异常事件检测中发挥更好的鲁棒性及效率。

本发明是通过以下技术方案实现的，本发明包括以下几个步骤：

第一步：分别对视频流中的两帧图像I(x，y，t)以及I(x，y，t+Δt)进行高斯滤波，即I′(x，y)＝G(x，y，δ)*I(x，y)，其中：I′(x，y)为滤波后的图像，δ为高斯正态分布的方差，t为图像所处时间，Δt为两帧图像的时间间隔。

第二步：分别计算滤波后的两帧图像的边缘及纹理区域的几何正则度及几何正则方向，并构建空间几何流场，具体步骤为：

2.1)以点(x，y)为中心，选择(2m+1)×(2m+1)方块，2≤m≤4；

2.2)根据方块的大小初始化N个几何正则方向集θ_i∈(-π/2，π/2]，并将每个方块分别沿N个几何正则方向映射成序列S(θ_i)，然后对序列S(θ_i)进行一维正交小波变换；

2.3)计算点(x，y)的最优几何正则方向θ：

$d_{\mathrm{WT}}=\arg \underset{\mathrm{\θ}}{\min }\underset{k=1}{\overset{{(2m+1)}^2-1}{\mathrm{\Σ}}}|\mathrm{WT}\left(S\left(\mathrm{\θ}\right)\right[k+1\left]\right)-\mathrm{WT}\left(S\left(\mathrm{\θ}\right)\right[k\left]\right)|,$

其中：d_WT为沿θ方向的正则度，WT(S(θ))为沿θ方向进行一维正交小波变换后的系数；当d_WT＜T时，则将d_WT作为该点的几何正则度，对应的角度θ为该点的最优几何正则方向；否则该方块为平滑且该点不定义几何正则方向；其中：I_x为水平梯度，I_y为垂直梯度，α为固定系数。

2.4)将标量的最优几何正则方向θ用单位向量表示，即空间几何流：

g_s(x，y)＝(n_x，n_y)＝(cosθ，sinθ)。

2.5)重复上述步骤2.1)至2.4)直至所有点均计算得到其对应的空间几何流，对应综合得出整幅图像的空间几何流场。

第三步：基于最优几何正则方向不变，在两帧图像的空间几何流场之间建立运动方程：

g_s(x，y，t)＝g_s(x+u，y+v，t+Δt)，

其中：g_s(x，y，t)表示时空点p＝(x，y，t)处的最优几何正则方向，g_s(x，y，t+Δt)表示时空点p＝(x+u，y+v，t+Δt)处的最优几何正则方向，g_t(x，y，t)＝(u，v)为所要求的时空点p＝(x，y，t)处的运动矢量，即该点的时域几何运动流，u为X方向的分量，v为Y方向的分量。

第四步：采用块匹配法求解运动方程，计算时域几何运动流g_t(x，y，t)，具体步骤包括：

4.1)设定匹配窗口大小为(2K+1)×(2K+1)，搜索窗口大小为(2L+1)×(2L+1)，一般的，4≤K≤10，8≤L≤20，且L＞K，则对于目标函数E(g；u，v)：

$E(g;u,v)=\arg \underset{(u,v)}{\min }{d}_{\mathrm{penalty}(u,v)}\×\underset{i=-K}{\overset{K}{\mathrm{\Σ}}}\underset{j=-K}{\overset{K}{\mathrm{\Σ}}}{\left|\right|g(x+i,y+j,t)-g(x+i+u,y+j+v,t+\mathrm{\Δt})\left|\right|}_2^2,$

其中：d_penalty为距离惩罚因子且与离中心的距离成正比，

4.2)采用穷尽搜索求出使E(g；u，v)最小的块作为最佳匹配块，对应的g_t(x，y，t)＝(u，v)即为所要求的时域几何运动流。

第五步：对计算出的时域几何运动流场采用M×M邻域局部平均法消除奇异值，(2k+1)≤M≤(2L+1)；

第六步：将空间几何流场与时域几何运动流场融合，即得到一种空时特征向量g(x，y)＝(u，v，n_x，n_y)，其中：(u，v)表示时域运动特征，单位向量(n_x，n_y)表示空域的几何结构特征。

与现有技术相比，本发明的主要贡献和特点在于：1)利用空间几何结构不变特征，从而对光照变化具有鲁棒性；2)只计算边缘及纹理区域的运动，剔除了大部分平坦区域，能够有效描述目标空间结构的同时减少了计算量；4)运动边界清晰，可以有效分离临近的运动目标。

附图说明

图1为本发明流程图。

图2为基于Bresenham算法将二维数据沿几何正则方向θ(红色箭头为)映射成一维序列S(θ)。

图3为实施例中有微弱光线变化以及大尺度运动的含有临近运动车辆的相邻两个图片帧。

图4(a)为叠加在图3(a)上的本发明计算结果效果示意图，(b)为叠加在图3(a)上的光流法计算结果效果示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施采用的图像帧来自数据库VISOR中的交通监控视(video for traffic surveillance)。VISOR数据库是意大利摩德纳大学图像实验室提供的在线视频监控数据库。

本实施例涉及的视频底层空时特征提取方法，包括如下具体步骤：

第一步：分别对视频流中的两帧图像I(x，y，t)以及I(x，y，t+Δt)进行高斯滤波，即

I′(x，y)＝G(x，y，δ)*I(x，y)，

其中：I′(x，y)为滤波后的图像，δ为高斯正态分布的方差。本实施例中δ＝1，Δt＝1，即连续两帧图像。

第二步：分别计算滤波后的两帧图像的空间几何流g_s(x，y)。

以每个像素点为中心选择9×9大小的方块，计算出88个初始化几何正则方向集。对于每一个初始化方向，本实施例基于Bresenham算法将块内的二维像素重新排序成一维序列S(θ)，并对其进行一维haar小波变换后得到系数WT^haar(S(θ))。根据目标函数d_WT，找到一个最优几何正则方向，具体为：

$d_{\mathrm{WT}}=\arg \underset{\mathrm{\θ}}{\min }\underset{k=1}{\overset{9^2-1}{\mathrm{\Σ}}}|{\mathrm{WT}}^{\mathrm{haar}}\left(S\left(\mathrm{\θ}\right)\right[k+1\left]\right)-{\mathrm{WT}}^{\mathrm{haar}}\left(S\left(\mathrm{\θ}\right)\right[k\left]\right)|,$

若d_WT其小于自适应阈值T，则将其作为该点的几何正则度，其对应的方向作为该点的最优几何正则方向，否则该点不定义几何正则方向，取值inf。

所述自适应阈值

本实施例中α＝5。

为了避免直接使用标量值θ进行后续计算可能出现的一些问题，将其转换为单位向量场g_s(x，y)＝(n_x，n_y)＝(cosθ，sinθ)。

第三步：基于最优几何正则方向不变，在连续两帧图像的空间几何流场之间建立运动方程：具体是：

g_s(x，y，t)＝g_s(x+u，y+v，t+1)

其中：g_s(x，y，t)表示时空点p＝(x，y，t)处的最优几何正则方向，g_s(x，y，t+1)表示时空点p＝(x+u，y+v，t+1)处的最优几何正则方向，g_t(x，y，t)＝(u，v)为所要求的时空点p＝(x，y，t)处的时域几何运动流。

第四步：基于块匹配的方法，求解上述运动方程，计算时域几何运动流g_t(x，y，t)。设定匹配窗口大小为(2K+1)×(2K+1)(本实施例K＝4)，搜索窗大小为(2L+1)×(2L+1)(L＞K)(本实施例L＝8)。

具体步骤为：

1.计算块之间的欧氏距离。

$E(g;u,v)=\underset{i=-K}{\overset{K}{\mathrm{\Σ}}}\underset{j=-K}{\overset{K}{\mathrm{\Σ}}}{\left|\right|g(x+i,y+j,t)-g(x+i+u,y+j+v,t+\mathrm{\Δt})\left|\right|}_2^2$

其中：E(g；u，v)是以时空点(x，y，t)为中心的处像素运动矢量为(u，v)时的匹配误差。没有定义几何正则方向的点不参与计算。

2.采用穷尽搜索方法，遍历搜索窗中的所有子块，重复步骤1，计算出搜索窗内所有的E(g；u，v)。

3.求出最小的E(g；u，v)，找到最佳匹配块，对应的(u，v)即为所要求得时域几何运动流。

具体是：

$(u,v)=\arg \underset{(u,v)}{\min }(d_{\mathrm{penalty}}\×E(g;u,v)),$

其中d_penalty为距离惩罚因子，本实施例中 $d_{\mathrm{penalty}}={\left(\frac{u^2+v^2}{8^2}\right)}^{\frac{1}{20}}.$

第五步：对计算出的时域几何流场采用M×M(本实施例M＝9)邻域局部平均法消除奇异值，不存在几何运动流的点不参加计算；

第六步：将第二步提取的空间几何流与时域几何运动流融合，即为所求的视频空时特征(u，v，n_x，n_y)。

通过实验证明，本实施例较之以前方法能很好的进行车辆运动估计，并且同时获得运动目标的空间结构信息。图3(a)(b)是有微弱光线变化以及大尺度运动的含有临近运动车辆的相邻两个图片帧。图4(a)是由本实施例得到的时域几何运动流效果示意图，图4(b)是光流法计算结果效果示意图。(通过对计算的结果进行采样，并表示为速度场。)由图4所示可以看出，由本实施例方法采用了对光照变化鲁棒的空间几何流作为运动不变量，因此得到的结果对光照变化更具有鲁棒性。此外由于空间几何流只定义于边缘及纹理区域，因此本发明无需进行边缘检测，便可得出运动目标的边缘及纹理运动特征，蕴含丰富的车辆空间结构信息，便于后续的进一步处理。

Claims (3)

1.一种视频空时特征提取方法，其特征在于，包括以下几个步骤：

第一步：分别对视频流中的两帧图像进行高斯滤波；

第二步：分别计算滤波后的两帧图像的边缘及纹理区域的几何正则度及最优几何正则方向并构建空间几何流场；

第三步：基于最优几何正则方向不变，在两帧图像的空间几何流场之间建立运动方程；

第四步：采用块匹配相关法计算时域几何运动流；

第五步：对计算出的几何流场采用M×M邻域局部平均法消除奇异值；

第六步：将空间几何流场与时域几何运动流融合，即得到一种视频的空时特征。

2.根据权利要求1所述的视频空时特征提取方法，其特征是，第三步中所述的运动方程为g_s(x，y，t)＝g_s(x+u，y+v，t+Δt)，其中：g_s(x,y,t)表示时空点p＝(x,y,t)处的最优几何正则方向，g_s(x，y，t+Δt)表示时空点p＝(x+u，y+v，t+Δt)处的最优几何正则方向，g_t(x,y,t)=(u,v)为时空点p=(x,y,t)处的时域几何运动流，u为X方向的分量，v为Y方向的分量，Δt为两帧图像的时间间隔。

3.根据权利要求1所述的视频空时特征提取方法，其特征是，第六步所述的空时特征为g(x,y)=(u,v,n_x,n_y)，其中：(u,v)为时域运动特征，单位向量(n_x,n_y)为空域的结构特征。

Images