CN102256065A - 基于视频监控网络的视频自动浓缩方法 - Google Patents

Abstract

一种基于视频监控网络的视频自动浓缩方法，其是从两个具有重叠区域的摄像机获得第一视频源和第二视频源并对运动目标分割和跟踪，提取背景图像和视频监控网络运动轨迹；根据背景图像生成基于视频监控网络的全景图像，得到两个摄像机各自对应于全景图像的投影矩阵并实时更新基于视频监控网络背景的全景图像；利用两个摄像机全景图像的投影矩阵，把轨迹投影到全景图像空间得到投影轨迹；采用图匹配，基于随机游走思想对两个摄像机的视频源的投影轨迹匹配，得到匹配轨迹对，对重叠区域的匹配轨迹进行选择和融合，得到完整的大场景轨迹；对大场景轨迹按时间重新排列，在全景图像上对完整的大场景轨迹进行展现，得到基于全景图像的视频浓缩。

Description

基于视频监控网络的视频自动浓缩方法

技术领域

本发明属于图像处理技术领域，具体涉及基于视频监控网络的视频自动浓缩方法。

背景技术

随着视频监控技术的迅速发展，单摄像机的视频监控设备越来越普及，视频监控设备每天都记录了海量的视频数据。已有的视频监控技术主要针对单个摄像机，对监控场景中的感兴趣目标进行自动检测、跟踪和分类，以及相应的行为分析。每路摄像机有各自的监控任务，监控系统中摄像机和摄像机的监控任务之间没有关联。然而单个摄像机的视野范围有限，为了满足大范围监控的需要，就需要多个摄像机协同工作。随着摄像机数目的急剧增加，传统的基于人工的被动监控已经无法满足监控任务的需要。如何自动分析和归纳多个摄像机所拍摄的视频中的内容，真正意义上实现大范围监控仍然处在研究的初期阶段。

国内外有很多大学和研究机构在进行视频摘要研究，卡内基梅隆、哥伦比亚大学、IBM研究院等，国内如微软亚洲研究院、清华大学等研究机构都曾在进行该方面研究。视频摘要技术从不同的角度可以进行不同的分类：传统的分类将视频摘要技术分为视频略览和视频梗概两大类。传统的视频摘要技术引入了用户定义的感兴趣的帧做为关键帧的概念，可以分为动态(video browsing)和静态(video abstraction)两种技术。基于关键帧的视频总结技术以“帧”作为不可再分的最小表示单元，总结视频中不可避免存在大量的冗余信息。基于目标运动信息的视频总结技术于2006年提出，最后的输出视频不再是由输入视频中的完整帧组成，来自不同帧的运动目标可能被放入同一帧中输出。微软亚洲研究院提出视频蒙太奇(Video Montage)技术，同时分析时间和空间上的信息分布，抽取出时空上的运动信息用立体块表示，进而运用首次拟合以及图割方法完成立体块的压缩任务，产生摘要视频。以色列希伯来大学的A.Rav-Acha等人系统地提出了一种基于目标运动信息的视频总结技术框架(video synopsis)。在此工作的基础上，该研究组又进一步深入研究了在线监控情况下的视频摘要技术。

发明内容

为了解决如何在大范围内对运动目标进行分析和监控的技术问题，本发明的目的是提出面向监控网络的自动视频浓缩方法。

为实现上述目的，本发明提供基于视频监控网络的视频自动浓缩方法包括步骤如下：

步骤S1：从两个具有重叠区域的摄像机分别获得第一视频源和第二视频源，并对运动目标进行分割和跟踪，提取背景图像、提取视频监控网络运动轨迹；

步骤S2：根据提取的背景图像生成基于视频监控网络的全景图像，得到两个摄像机各自对应于全景图像的投影矩阵，并随时间推移实时更新基于视频监控网络背景的全景图像；

步骤S3：利用两个摄像机全景图像的投影矩阵，把轨迹投影到全景图像空间，得到投影轨迹；

步骤S4：采用图匹配的方法，基于随机游走思想，对两个摄像机的的视频源的投影轨迹进行匹配，得到匹配轨迹对，对重叠区域的匹配轨迹进行选择和融合，得到完整的大场景轨迹；

步骤S5：对大场景轨迹按时间重新排列，然后在全景图像上对完整的大场景轨迹进行展现，得到基于全景图像的视频浓缩。

优选实施例，对视频监控网络运动轨迹进行匹配的步骤包括：把视频监控网络的每条轨迹看作一个点，每个摄像机代表一个图，然后把两个相邻摄像机之间的运动轨迹匹配问题当作求两个图像点集之间的最大匹配问题来解决；把两个图像的点与点的关系度量，转换成点对之间的图像度量，并把两个图像转换为一个点对图，在点对图上采用快速加权随机游走的思想，当随机游走收敛到稳定状态，从稳定状态中根据图像点的得分，求得最大匹配集。

优选实施例，还包括视频监控网络运动轨迹的特征表述：采用多个特征同时来表述运动轨迹，所述多个特征是32维梯度方向直方图(32DHOG feature)、RGB3种颜色分量的直方图、运动轨迹的平均加速度、运动轨迹的平均速度和轨迹长度。

优选实施例，所述重叠区域匹配轨迹的选择与融合是采用自适应权重的方法对长度较长和观测点较多的轨迹，采用更大的权重。另外设定阈值，如果权重低于阈值，则舍弃该的轨迹，如果等于或大于阈值，则选择该轨迹进行融合，最后获得两条轨迹的像素值乘以权重后叠加轨迹。

优选实施例，基于全景图像的视频浓缩是用能量损耗函数来表示视频浓缩中，对监控网络中已经匹配和融合的大场景轨迹重新排列带来的能量损耗，获得能量损耗后，用优化的方法求出一个轨迹重新排列的最优解，使能量损耗函数最小，最后把重新排列的轨迹，在全景图上叠加展现。

优选实施例，所述能量损耗包括轨迹丢失运动损耗、轨迹交叉遮挡损耗、轨迹时间错乱损耗、重叠区域轨迹选择损耗和背景更新损耗。

本发明的有益效果：本发明基于图匹配方法，采用加权随机游走思想，解决了具有重叠区域的轨迹匹配问题。对每个视频监控单独提取背景，然后根据摄像机的拓扑结构，用全景图生成的算法，生成一幅视频监控网络背景的全景图，由于时间的变化，视频背景会变化，采用基于根据能量损耗在线更新的算法，对背景图像进行更新。另外本发明用单独视频的背景来生成全景图像，解决了视频网络全局运动展现问题。另外本发明用能量函数优化的思想，对视频网络的轨迹在时间和空间上重新排列，极大的压缩了视频长度，同单摄像机视频监控视频摘要相比，本发明有如下优点：多角度信息的提供，视觉范围的增大。与传统的视频摘要方法相比，我们的方法可以极大的压缩视频长度，提供大场景的运动目标整体行为的分析和监控。视频监控网络运动轨迹的特征表述，用多个特征同时来表述运动轨迹，增强了轨迹匹配的准确度和提高视频浓缩的效果。

附图说明

图1是本发明的结构图；

图2是本发明的点对图构成示例图；

图3是本发明的加权随机游走示例图；

图4是本发明的视频自动浓缩技术示例图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明的结构图在图1中显示，主要包括五个部分：步骤S1.运动目标的分割与轨迹形成；步骤S2.视频监控网络全景图像的生成和更新；步骤S3.轨迹投影；步骤S4.重叠区域运动轨迹的匹配和融合；步骤S5.基于视频监控网络全景图像的视频浓缩。

步骤S1：运动目标的分割与轨迹形成

从两个摄像机分别获得第一视频源1和第二视频源2，我们先对第一视频源1和第二视频源2用混合高斯模型进行背景建模，背景会随着时间动态更新，提取出更新的背景，然后用更新的背景减除法，提取视频的前景。在提取前景后，为了提取有用的轨迹，我们用中值滤波算法，滤除噪点。每个前景用一个外接矩形(bound-box)和掩码表示，外接矩形(bound-box)为前景区域经过3次膨胀后的外接矩形，掩码代表矩形内前景部分。我们对相邻两帧之间的前景，提取其速度，位置，大小信息，然后用在线聚类算法，获取完整的视频运动轨迹。

步骤S2：视频监控网络全景图像的生成和更新

根据提取的背景图像生成基于视频监控网络的全景图像，得到两个摄像机各自对应于全景图像的投影矩阵，并随时间推移实时更新基于视频监控网络背景的全景图像；在运动目标的分割与轨迹形成中，我们得到背景图像，我们提取图像的尺度不变(SIFT)特征，再树方法(K-d树)对每个特征提取N个最近邻。针对每个图像之间的特征匹配，我们用随机抽样一致性算法(RANSAC)去除噪点，最后用概率模型去验证图像间的匹配关系。在得到图像之间对应的匹配点后，我们用光束法(bundleadjustment)得到两个图像之间的投影矩阵(Homography)，然后用融合的办法得到全景图。投影矩阵(Homograhpy)，在视频浓缩时，用来对轨迹进行空间转换使用。具体的算法流程如下：

由于视频监控是长时间的行为，所以背景图象也需要一个更新的过程，我们设定一个阈值，当新背景图像和视频浓缩中正在使用的背景图像差别高于阈值，我们就使用新的背景图像，计算方法如下：

$\underset{(x,y)\∈B}{\mathrm{\Σ}}\left|\right|B_{\mathrm{new}}(x,y)-B(x,y)\left|\right|>C$

x，y为图像的坐标，B_new(x，y)为新背景图像的亮度像素值，B(x，y)为视频浓缩中正在使用的背景图像的亮度像素值，C为人为设定的阈值，在我们的实验中，我们定义C为图像长宽乘积的1/3。

步骤S3：轨迹投影

在得到单摄像机视频运动轨迹后，我们利用视频监控网络全景图像的生成和更新中得到的投影矩阵，把轨迹投影到全景图平面。在得到投影后的轨迹后，为了增强摄像机之间的轨迹匹配的准确度，提高视频浓缩的效果，我们采用了如下一些特征同时来表述运动轨迹：梯度方向直方图(HOG feature)，RGB颜色直方图，运动轨迹的平均加速度，运动轨迹的平均速度，轨迹长度。HOG特征可以有效地描述运动目标的形状信息，我们采用了32维梯度方向直方图，然后对轨迹上所有观测点HOG做平均。我们采用RGB 3个颜色分量的颜色直方图，每个分量占8个柱(bin)，然后对轨迹上所有观测点的直方图做平均。运动轨迹的平均加速度和平均速度，对轨迹摄像机之间轨迹匹配非常有用，而轨迹长度可以用来度量轨迹的重要性。最后我们得到特征向量如下：

$(f_{\mathrm{RGB}}^{n,i},f_{\mathrm{HOG}}^{n,i},V^{n,i},A^{n,i},L^{n,i})$

式中上标n，i分别代表第n个摄像机的第i条轨迹，

为第n摄像机中第i条轨迹颜色直方图和HOG直方图，V^n，i为第n摄像机中第i条轨迹平均速度，A^n，i为第n摄像机中第i条轨迹平均加速度，L^n，i为第n摄像机中第i条轨迹长度。

步骤S4：重叠区域运动轨迹匹配和融合

采用图匹配的方法，基于随机游走思想，对两个摄像机的视频源的投影轨迹进行匹配，得到匹配轨迹对，对重叠区域的匹配轨迹进行选择和融合，得到完整的大场景轨迹；

4.1运动轨迹匹配

对于相邻的两个摄像机，我们把每个摄像机看做一幅图像，图像里面的节点就代表一条轨迹。这样对于相邻两幅图像的轨迹匹配问题，我们可以看做图像之间点的最大匹配问题来解决。假设G^a和G^b是摄像机a和摄像机b代表的轨迹图，G^a和G^b的图匹配可以用随机游走(randomwalk)思想在轨迹点对相似图G^rw来求解。G^a和G^b到G^rw的转换可以参考图2。在图2中，G^a中的1代表图像点1，2代表图像点2，G^b中的p代表图像点p，q代表图像点q，G^rw上标rw为reweighted的缩写，代表由G^a和G^b构成的新的图，G^rw中点1p代表由G^a的点1和G^b的点p构成的新点，G^rw中点1q代表由G^a的点1和G^b的点q构成的新点，G^rw中点2p代表由G^a的点2和G^b的点p构成的新点，G^rw中点2q代表由G^a的点2和G^b的点q构成的新点。图G^rw点之间的双向箭头，代表着点的关系，箭头越粗代表关系越近，距离越小.

轨迹点对相似图G^rw考虑了轨迹点对之间的相似性，G^a和G^b图匹配问题就转换为用随机游走(random walk)的思想在轨迹点对相似图G^rw上对点进行排序和选择。我们选择一个指示向量x，使下面的函数最大：

x^*＝arg max(x^TWx)

其中 $x\∈{\left\{\mathrm{0,1}\right\}}^{n^a{n}^b},$ $\∀i\underset{a=1}{\overset{n^a}{\mathrm{\Σ}}}{x}_{\mathrm{ia}}\≤1,$ $\∀i\underset{i=1}{\overset{n^b}{\mathrm{\Σ}}}{x}_{\mathrm{ia}}\≤1$

关系度量矩阵W考虑了两个摄像机

点对之间的关系，T代表对向量转置、

代表摄像机n中的第i条轨迹、

代表摄像机m中的第j条轨迹、

代表摄像机n中的第k条轨迹、

代表摄像机m中的第1条轨迹。在我们的实验中，关系度量矩阵由如下式子获得：

$W=\exp (-{|D_{i,j}^a-D_{k,l}^b|}^2/{\mathrm{\σ}}^2)$

D为两点间特征的欧式距离，σ为自己定义的方差。为了匹配在随机游走后更加相似，非匹配轨迹更加远离，我们在随机游走的过程中，加入一个吸收因子，如图3所示。图3中abs代表吸引子，G^rw上标rw为reweighted的缩写，图上中G^rw是在图2中由G^a和G^b构成的图G^rw中加入一个吸引子所得。图2中示出G^rw的点1p、1q、2p、2q，可以参考图2解释。

加权随机游走(Reweighted random walk)的详细算法流程如下：

算法2

4.2轨迹的选择和融合

在求得摄像机之间的轨迹匹配后，需要对重叠区域的匹配轨迹进行选择和融合，以得到完整的大场景轨迹。假设T_n(t)和T_m(t)代表t时刻两个摄像机的一对匹配轨迹，我们用自适应权重的方法对T_n(t)和T_m(t)进行融合的方法如下：

其中w₁代表轨迹T_n的权重，w₂代表轨迹T_m的权重。权重的获取是根据轨迹的重要程度而来，我们对观测点多的轨迹和较长的轨迹，赋予更高的权重，方法如下：

$w_1=\frac{\left|T_n\right|+L_{T_n}}{\left|T_n\right|+\left|T_m\right|+L_{T_n}+L_{T_m}},$ $w_2=\frac{\left|T_m\right|+L_{T_m}}{\left|T_n\right|+\left|T_m\right|+L_{T_n}+L_{T_m}}$

其中|T_m|和|T_n|为轨迹的观测点数，

和

为轨迹的长度。

步骤S5：视频监控网络的视频浓缩

对大场景轨迹按时间重新排列，然后在全景图像上对完整的大场景轨迹进行展现，得到基于全景图像的视频浓缩。

如图4示出本发明的视频自动浓缩技术示例，假设T_i(x，y，t)为最终映射后得到第i条轨迹，T_i(x，y，t)为第j条轨迹。在视频浓缩中，我们要打乱原始视频源中的轨迹的时间顺序，但尽量不破坏轨迹的空间位置，对所有轨迹进行重新排列，达到压缩视频长度的目的。

重新排列轨迹，会带来很多能量损耗，如图4，原始视频中有5条轨迹，分别为轨迹1、轨迹2、轨迹3、轨迹4、轨迹5，其中轨迹1和轨迹2在原始视频中为两条不交叉的轨迹，但在浓缩视频中，可能存在交叉，这就带入一个能量损耗，因为交叉处，一条轨迹会遮挡另外一条轨迹。我们总共定义了如下一些损耗E_a、E_c、E_t：

$1).E_a=\underset{x,y,t}{\overset{i\∈\mathrm{Lost}}{\mathrm{\Σ}}}{T}_i(x,y,t)$

Lost代表轨迹丢失。此项为轨迹丢失带来的损耗，在浓缩视频中，原始的轨迹没有出现，其损耗为轨迹所有亮度分量的和。

$2).E_c=\underset{x,y,t\∈T_i\∩T_j}{\mathrm{\Σ}}{T}_i(x,y,t)T_j(x,y,t)$

为轨迹发交叉的损耗，对于交叉，我们用交叉处两条轨迹的亮度分量乘积总和作为惩罚，交叉会影响最后效果，所以惩罚比较大，这种损耗应该尽量避免。

为两条轨迹时间先后顺序发生改变的损耗，如图4，轨迹2和轨迹3的时间顺序就发生了改变。

和

为轨迹的结束时间点。另外c为自定定义的加权系数，σ为自己设定的高斯模型的方差。

$4).E_{\mathrm{overlapping}}=\underset{x,y,t\∈T_i\∩T_j}{\mathrm{\Σ}}{T}_i(x,y,t)+T_j(x,y,t)-T_{\mathrm{ij}}(x,y,t)$

E_overlapping为重叠区域轨迹选择带来的损耗。T_ij(x，y，t)为T_i(x，y，t)和T_j(x，y，t)合成的轨迹，代表在运动区域使用合成轨迹带来的损耗。

5).E_L为压缩长度的损耗

这个为限制参数，为了定义压缩率，压缩后视频越长，我们定义这个值越大，具体值我们定义为压缩后的帧数乘以100。

最后的能量损失函数E公式为

E＝E_a+E_c+E_t+E_overlapping+λ*E_L，λ为自己定义的参数，E_L为压缩长度的损耗。

通过优化算法，比如模拟退火法，解这个能量损失函数，使它的值最小，就得到最后的视频浓缩需要的轨迹排列，然后把排列好的轨迹，合成到全景图上。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。

Claims (6)

1.一种基于视频监控网络的视频自动浓缩方法，其特征在于包括步骤如下：

步骤S1：从两个具有重叠区域的摄像机分别获得第一视频源和第二视频源，并对运动目标进行分割和跟踪，提取背景图像、提取视频监控网络运动轨迹；

步骤S2：根据提取的背景图像生成基于视频监控网络的全景图像，得到两个摄像机各自对应于全景图像的投影矩阵，并随时间推移实时更新基于视频监控网络背景的全景图像；

步骤S3：利用两个摄像机全景图像的投影矩阵，把轨迹投影到全景图像空间，得到投影轨迹；

步骤S4：采用图匹配的方法，基于随机游走思想，对两个摄像机的的视频源的投影轨迹进行匹配，得到匹配轨迹对，对重叠区域的匹配轨迹进行选择和融合，得到完整的大场景轨迹；

步骤S5：对大场景轨迹按时间重新排列，然后在全景图像上对完整的大场景轨迹进行展现，得到基于全景图像的视频浓缩。

2.根据权利要求1所述的基于视频监控网络的视频自动浓缩方法，其特征在于，对视频监控网络运动轨迹进行匹配的步骤包括：把视频监控网络的每条轨迹看作一个点，每个摄像机代表一个图，然后把两个相邻摄像机之间的运动轨迹匹配问题当作求两个图像点集之间的最大匹配问题来解决；把两个图像的点与点的关系度量，转换成点对之间的图像度量，并把两个图像转换为一个点对图，在点对图上采用快速加权随机游走的思想，当随机游走收敛到稳定状态，从稳定状态中根据图像点的得分，求得最大匹配集。

3.根据权利要求1所述的基于视频监控网络的视频自动浓缩方法，其特征在于，还包括视频监控网络运动轨迹的特征表述是采用多个特征同时来表述运动轨迹，所述多个特征是32维梯度方向直方图、RGB3种颜色分量的直方图、运动轨迹的平均加速度、运动轨迹的平均速度和轨迹长度。

4.根据权利要求1所述的基于视频监控网络的视频自动浓缩方法，其特征在于，所述重叠区域匹配轨迹的选择与融合是采用自适应权重的方法对长度较长和观测点较多的轨迹，采用更更大的权重。另外设定阈值，如果权重低于阈值，则舍弃该的轨迹，如果等于或大于阈值，则选择该轨迹进行融合，最后获得两条轨迹的像素值乘以权重后叠加轨迹。

5.根据权利要求1所述的基于视频监控网络的视频自动浓缩方法，其特征在于，基于全景图像的视频浓缩是用能量损耗函数来表示视频浓缩中，对监控网络中已经匹配和融合的大场景轨迹重新排列带来的能量损耗，获得能量损耗后，用优化的方法求出一个轨迹重新排列的最优解，使能量损耗函数最小，最后把重新排列的轨迹，在全景图上叠加展现。

6.根据权利要求1所述的基于视频监控网络的视频自动浓缩方法，其特征在于，所述能量损耗包括轨迹丢失运动损耗、轨迹交叉遮挡损耗、轨迹时间错乱损耗、重叠区域轨迹选择损耗和背景更新损耗。

Images