CN103345492A - 一种视频浓缩的方法和系统 - Google Patents

Abstract

本发明提供了一种视频浓缩的方法和系统，所述方法包括：对原视频图像中的每帧图像进行建模分析，判定前景与背景的区域位置；建立二值图；对前景中的每个目标物体进行跟踪，得到事件体；将事件体以及事件体的信息存储到前景图像数据库中；将存储在事件体数据库中的事件体按预设的时间间隔切分成事件片并获取事件片的特征信息；对事件片进行聚类分类；进行视频浓缩展现；所述方法还包括对背景图像进行采样。本发明实施例提供的一种视频浓缩的方法和系统，通过自动从监控视频中抽取事件体，并自动分类和检索进行浓缩展示，来实现对视频的浓缩，节省了存储空间和阅览视频所需的时间，也能够快速检索出相似事件体，极大地方便了监控视频的浏览和存储。

Description

一种视频浓缩的方法和系统

技术领域

本发明涉及计算机以及监控技术领域，尤其涉及一种视频浓缩的方法和系统。

背景技术

随着计算机技术的不断发展，处理器速度的不断提升，网络等基础设置的不断完善，越来越多的视频监控系统被运用到城市的日常管理中去，伴随而来的巨量监控视频为后续视频存储、阅览带来了困难。为了确保巨大的监控系统稳定工作，发挥作用，让监控系统更好地理解视频内容，让监控系统更智能地为人服务，作为大规模视频监控系统的软件解决方案，基于计算机视觉的智能监控系统近年来成为计算机领域的热门课题之一。为了海量视频数据的方便存储和快速索引和浏览，作为智能监控系统的有机组成部分的视频摘要等智能监控技术应运而生。

近年来，作为智能视频监控的一部分，视频摘要技术得到了计算机视觉学者的高度关注。国内外很多大学和公司在进行视频摘要的研究并取得了很多成果。视频摘要主要的技术可以分为三类：快进（fast forwarding）、视频概要（video summarization）和视频拼接（video montage）。快进是最直接的视频摘要技术，这种技术直接从待摘要的视频中按照某一时间间隔选取关键帧，组成新的视频摘要。电视节目中的花朵的在短时间内慢慢开放就是用这种技术来实现的。但是这种技术的缺点是显而易见的，直接丢弃某些帧会很容易丢失掉发生在很短时间内的活动。出于对上述技术的改进，一种自适应的快进技术被提出，自适应快进技术的目标是按照用户的关注因素舍去没有活动信息的帧和用户不感兴趣的帧。视频概要技术（video summarization）是从待摘要的视频中根据某些用户关注的因素截取小的视频片段（包含音频），然后将这些片段用淡入淡出等效果链接起来形成摘要视频。这种方法虽然在一定程度上保留了视频的动态变化过程，但是在整段舍弃的视频段落中可能包含重要信息。上述的两种方法，处理的最小单位都是帧。视频拼图（video montage）是从不同时间点的帧图像中提取部分感兴趣的区域，然后把他们拼接在尽可能少的帧里。这种方法的输入输出压缩比很大，但是在结果视频中会形成明显的拼接边界。这种方法既丢失了视频的动态信息也丢失了事件发生的上下文。

发明内容

本发明提供了一种视频浓缩的方法和系统，是视频摘要技术的继承和发展，该技术通过自动地从海量监控视频中抽取有用的事件体，并分类展示，来实现对视频的浓缩，节省了阅览视频所需人力、减小存储所需空间，也能够快速检索出类似事件体，从而极大地方便监控视频的浏览和存储。所述技术方案如下：

一种视频浓缩的方法，包括：

对原视频图像中的每帧图像进行建模分析，判定前景与背景的区域位置；

根据所述前景与背景的区域位置对所述每帧图像进行二值化处理，建立用于标记前景与背景区域位置的二值图；

根据二值图以及原视频图像的信息对所述前景中的每个目标物体进行跟踪，得到每个目标物体在每帧图像中的前景掩码，用所述每个目标物体的前景掩码在每帧图像中所标示出的所述目标物体的投影的集合作为一个事件体；

将所述事件体以及所述事件体的信息存储到前景图像数据库中；

将存储在事件体数据库中的事件体，按照预设的时间间隔，切分成事件片，并获取所述事件片的特征信息；

根据所述事件片的特征信息对所述事件片进行聚类分类；

进行视频浓缩展现；

其中，所述视频浓缩的方法还包括对背景图像进行采样；

所述对背景图像进行采样包括：

根据对原视频图像进行建模分析的初始结果，建立背景图像；

根据当前对原视频图像进行建模分析的结果，实时地更新背景图像；

判断当前时刻背景的变化是否超出预设要求；

如果是，对当前时刻的背景图像进行采样，得到背景采样图像；

将所述背景采样图像以及所述背景采样图像的信息存储到背景采样图像数据库中。

进一步的，所述视频浓缩展现包括：

接收到待检索事件片的特征信息；

根据所述待检索事件片的特征信息，在所述前景图像数据库中提取相对应的事件片，在所述背景采样图像数据库中提取相对应的背景采样图像；

将所述提取出来的事件片拼接整合到相应的背景采样图像上，进行浓缩展现。

进一步的，所述视频浓缩展现还包括：

选定待跟踪目标，提取所述待跟踪目标的特征信息；

根据所述跟踪目标的特征信息，在所述前景图像数据库中提取相对应的事件片，在所述背景采样图像数据库中提取相对应的背景采样图像；

将所述提取出来的事件片拼接整合到相应的背景采样图像上，进行浓缩展现。

进一步的，所述对原视频图像中的每帧图像进行建模分析，判定前景与背景的区域位置具体包括采用混合高斯模型，结合图像的颜色和梯度，对原视频图像中的每帧图像进行建模分析，判定前景与背景的区域位置。

进一步的，根据所述前景与背景的区域位置对所述每帧图像进行二值化处理，建立用于标记前景与背景区域位置的二值图，包括：

为原视频图像的每帧图像对应的建立一帧分辨率相同的待处理图像；

将所述待处理图像中，对应于相应的原视频图像前景区域的像素赋予白色色值，将所述待处理图像中，对应于相应的原视频图像背景区域的像素赋予黑色色值，获得初级二值图；

对所述初级二值图进行腐蚀运算，去除噪声；

对经过去除噪声处理的初级二值图进行膨胀运算，获得最终的用于标记前景与背景区域位置的二值图。

进一步的，所述判断当前时刻背景的变化是否超出预设要求包括：

将当前时刻背景图像的变化情况进行量化，得到当前时刻背景图像变化值；

将所述背景图像变化值与设定的阈值相比较；

当所述背景图像变化值大于设定的阈值时，判断当前时刻背景的变化超出了预设要求；

其中，所述将当前时刻背景图像的变化情况进行量化，得到当前时刻背景图像变化值包括，将所述背景图像变化值定义为：

$D_{t+1}=|V_{t+1}-V_t|+\mathrm{\α}|\stackrel{\→}{G_{t+1}}-\stackrel{\→}{G_t}|+\mathrm{\β}|\stackrel{\→}{C_{t+1}}-\stackrel{\→}{C_t}|$

其中，D_t+1为当前时刻背景图像的变化值；V_t+1为当前时刻背景图像在六角锥体模型（HSV）空间下亮度分量的平均值；V_t为上一次对背景图像进行采样的时刻，背景图像在六角锥体模型（HSV）空间下亮度分量的平均值；

为当前时刻背景图像对应的梯度向量；

为上一次对背景图像进行采样的时刻，背景图像对应的梯度向量；为当前时刻背景图像对应的颜色向量；

为上一次对背景图像进行采样的时刻，背景图像对应的颜色向量；α和β为用来调节光强、梯度和颜色的对背景图像变化值影响的调节系数。

进一步的，采用中值偏移（Mean-shift）跟踪算法，根据二值图以及原视频图像的信息对所述前景中的每个目标物体进行跟踪，得到每个目标物体在每帧图像中的前景掩码，用所述每个目标物体的前景掩码在每帧图像中所标示出的所述目标物体的投影的集合作为一个事件体，具体包括：

判断当前图像的二值图中每一个前景目标物体是否是新加入的目标物体；

如果是，为所述目标物体新增加一条跟踪路径；

获得当前图像中所有跟踪目标物体的信息；

根据图像中所有跟踪目标物体的信息，采用中值偏移跟踪算法将相邻图像中相同的跟踪目标物体相关联；

判断本次跟踪是否成功；

如果跟踪成功，更新路径信息并获得所述跟踪目标物体的运动方向；

判断跟踪目标物体是否离开；

如果跟踪目标物体离开，将每个目标物体的前景掩码在每帧图像中所标示出的所述目标物体的投影的集合作为事件体，记录下来；

如果跟踪目标物体没有离开，返回继续执行对所述前景中每个目标物体进行跟踪的步骤；

其中，如果判断本次跟踪失败，保存跟踪失败的信息并发出警报；

其中，所述判断本次跟踪是否成功包括：

判断由中值偏移跟踪算法获得的跟踪目标物体的范围，是否在当前图像的二值图中所述跟踪目标物体前景的范围内；

如果是，跟踪成功；

如果否，跟踪失败；

其中，所述判断跟踪目标物体是否离开包括：

根据跟踪的结果，判断在当前图像的前一帧图像中，跟踪目标物体位置是否靠近图像边界，且朝着远离图像的方向运动；

如果是，判断由中值偏移跟踪算法获得的跟踪目标物体的范围，是否在当前图像的二值图中所述跟踪目标物体前景的范围内；

如果否，则判定所述跟踪目标离开监控区域；

其中，所述路径信息由所述跟踪目标物体前景区域的质心的轨迹确定。

进一步的，所述将存储在事件体数据库中的事件体切分成事件片包括：

将所述某个事件体中所包含的所述目标物体投影的帧片按照时间的顺序排列；

按照时间的顺序和预设的时间间隔，均匀抽取多帧所述目标物体投影的帧片，构成一个新的集合，作为事件片；

其中，所述事件片最多包含50帧所述目标物体投影的帧片。

进一步的，根据所述事件片的特征信息对所述事件片进行聚类分类包括：

在前景图像数据库中取任意两个事件片，获得所述两个事件片的特征向量；

根据公式

计算所述两个事件片的相似度矩阵A，其中，M(i,j)为矩阵A中第i行第j列的元素，σ为用于矩阵规范化操作的一个常量，σ的数值的大小为矩阵D_ij中，绝对值最大的元素的绝对值；

计算公式D^-1Aν＝λν的特征值，按照所述特征值从大到小的顺序排列，取前K个特征值对应的特征向量其中，K是最终聚类类别数目；

根据K均值聚类算法，对所述前景图像数据库中所有事件片的特征向量空间中的特征向量进行聚类分类；

其中，

D_ij＝αSd_ij+(1-α)Md_ij

${\mathrm{Sd}}_{\mathrm{ij}}=\frac{1}{2N}\left(\underset{k}{\mathrm{\Σ}}\right|S_k^i-{\tilde{S}}_k^j|+\underset{k}{\mathrm{\Σ}}|S_k^j-{\tilde{S}}_k^i\left|\right),$

${\mathrm{Md}}_{\mathrm{ij}}=\min \left[{\mathrm{Md}}_{\mathrm{ij}}\left(k\right)\right]=\min \left(\frac{w\left(k\right)}{T_{\mathrm{ij}}\left(k\right)}{\mathrm{\Σ}}_{t\∈T_{\mathrm{ij}}\left(k\right)}\right[{(x_t^i-x_{t+k}^j)}^2+{(y_t^i-y_{t+k}^j)}^2\left]\right),$

D_ij为所述两个事件片的合成距离，Sd_ij为所述两个事件片的外表特征距离，α为用来调节事件片的运动轨迹和尺度不变特征转换（SIFT）特征向量对最终聚类结果的影响程度的调节系数，Md_ij为所述两个事件片的运动轨迹之间的距离，A为相似度矩阵，ν为SIFT特征向量，D为一个对角矩阵，所述D矩阵每一行非0元素的值为A矩阵对应行的所有元素之和，N是所述事件片中的SIFT特征向量的总维数，

是事件片i的第k个SIFT特征分量，

是事件片j的第k个SIFT特征分量，

是事件片j中和

距离最小的SIFT分量，

是事件片i中和距离最小的SIFT分量，w(k)是权重系数，T_ij(k)为将事件片j平移k之后，事件片j和事件片i处于同一时刻的时间长度，

分别为第i个事件片的第t帧图像上的横坐标和纵坐标值，

分别为第i个事件片的第t+k帧图像上的横坐标和纵坐标值。

一种视频浓缩的系统，包括：

判定模块，用于对原视频图像中的每帧图像进行建模分析，判定前景与背景的区域位置；

二值化处理模块，用于根据所述前景与背景的区域位置对所述每帧图像进行二值化处理，建立用于标记前景与背景区域位置的二值图；

跟踪模块，用于根据二值图以及原视频图像的信息对所述前景中的每个目标物体进行跟踪，得到每个目标物体在每帧图像中的前景掩码，用所述每个目标物体的前景掩码在每帧图像中所标示出的所述目标物体的投影的集合作为一个事件体；

存储模块，用于将所述事件体以及所述事件体，按照预设的时间间隔，的信息存储到前景图像数据库中；

事件片处理模块，用于将存储在事件体数据库中的事件体切分成事件片，并获取所述事件片的特征信息；

聚类分类模块，用于根据所述事件片的特征信息对所述事件片进行聚类分类；

视频浓缩展现模块，用于进行视频浓缩展现；

其中，所述视频浓缩的系统还包括背景图像采样模块，用于对背景图像进行采样。

本发明实施例提供的一种视频浓缩的方法和系统，通过自动地从海量监控视频中抽取有用的事件体，并分类展示，来实现对视频的浓缩，节省了阅览视频所需人力、减小存储所需空间，也能够快速检索出类似事件体，从而极大地方便监控视频的浏览和存储。

附图说明

图1是本发明实施例提供的一种视频浓缩的方法流程图；

图2是本发明实施例提供的二值化效果图；

图3是本发明实施例提供的一种视频浓缩的系统功能模块框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例，仅仅用于解释本发明，而非对本发明的限定。

图1是本发明实施例提供的一种视频浓缩的方法流程图，如图1所示，所述方法包括：

步骤101：对原视频图像中的每帧图像进行建模分析，判定前景与背景的区域位置。

本发明的实施例优选的采用图像的颜色与梯度相结合的混合高斯模型算法，对原视频图像中的每帧图像进行建模分析。在得到背景模型之后，本发明的实施例优选的使用背景分割法和最小切割算法得到平滑完整的前景。前景图像的梯度和背景图像的梯度会有较大的差异，我们可以采用颜色和梯度差异相结合的方法进行前景切割，通过颜色的差异动态调整弱化背景图片中的梯度的强度，这样，既能很好地利用前景/背景梯度差异性进行前景切割，又能很好地保留前景边缘的梯度特性。同时，把全局的颜色模型和局部的像素颜色模型相结合起来提高背景模型对噪声的免疫力。同时，通过建模分析，可以得到前景和背景区域位置的信息，即前景和背景占据哪些像素点。

步骤102：根据所述前景与背景的区域位置对所述每帧图像进行二值化处理，建立用于标记前景与背景区域位置的二值图。

步骤102包括步骤1021～步骤1024：

步骤1021：为原视频图像的每帧图像对应的建立一帧分辨率相同的待处理图像；

对于原视频图像的每帧图像，要相应的建立一张二值图，又不删除原始的视频图像，就要先对应的建立一帧分辨率相同的待处理图像。

步骤1022：将所述待处理图像中，对应于相应的原视频图像前景区域的像素赋予白色色值，将所述待处理图像中，对应于相应的原视频图像背景区域的像素赋予黑色色值，获得初级二值图；

因为待处理图像分辨率和相应的原视频图像的分辨率相同，所以，可以根据对原视频图像进行建模分析得到的前景和背景区域位置的信息，给待处理图像相对应区域的像素点赋值，给对应于相应的原视频图像前景区域的像素赋予白色色值，给对应于相应的原视频图像背景区域的像素赋予黑色色值，这样所得到的初级二值图中存在大量由硬件元器件、差分误判等原因产生的噪声点，需做进一步的过滤，以消除这些细小的噪声点。

步骤1023：对所述初级二值图进行腐蚀运算，去除噪声。

腐蚀运算可以消除小的噪声，但腐蚀运算可能会对目标边缘造成丢失。

步骤1024：对经过去除噪声处理的初级二值图进行膨胀运算，获得最终的用于标记前景与背景区域位置的二值图。

由于对初级二值图进行腐蚀运算，使其某些目标边缘丢失，所以还要通过膨胀运算对目标进行补偿。

图2是本发明实施例提供的二值化效果图，如图所示，图中第一列是原视频图像，第二列是没经过去噪声处理的初级二值图，第三列是对初级二值图去噪声后的二值图。经过对原视频图像进行二值化，可以得到运动物体（前景）的掩模，从而使用该掩模表示和定位每一个运动目标在每一帧图像中的位置和占有的区域。

步骤103：根据二值图以及原视频图像的信息对所述前景中的每个目标物体进行跟踪，得到每个目标物体在每帧图像中的前景掩码，用所述每个目标物体的前景掩码在每帧图像中所标示出的所述目标物体的投影的集合作为一个事件体。

在此步骤之前，已经将原视频图像中背景和前景进行分割，前景中可能包含多个活动的目标物体，每个活动的目标物体均有自己的特征，需要根据特征对每个目标物体进行区分，并把每帧图像中相同的目标物体进行关联。

本发明实施例优选的采用中值偏移（Mean-shift）跟踪算法，根据二值图以及原视频图像的信息对所述前景中的每个目标物体进行跟踪，得到每个目标物体在每帧图像中的前景掩码，用所述每个目标物体的前景掩码在每帧图像中所标示出的所述目标物体的投影的集合作为一个事件体。中值偏移（Mean-shift）跟踪算法是一种非参数化的概率密度估计算法，可以通过迭代快速收敛于概率密度函数的局部上的最大值，估计概率密度梯度。跟踪问题就是后一帧图像中的一定范围内，搜索和相邻的前一帧图像中的目标最相似的区域。

其中，所谓的事件体是指，每个目标物体在连续的一定时间内，所有包含这个目标物体的图像中的前景掩码，在每帧图像中所标示出的该目标物体的投影的集合。

步骤103：包括步骤1031～步骤103a：

步骤1031：判断当前图像的二值图中每一个前景目标物体是否是新加入的目标物体。

如果前景中，某一个跟踪目标非常靠近图像的边界，并且在一定的时间内，在系统已经跟踪到的目标中，没有与这个跟踪目标信息相近的目标，那么可以断定该目标是新加入目标。

步骤1032：如果是，为所述目标物体新增加一条跟踪路径。

在判断当前图像的二值图中，有新加入的目标物体后，为这个目标物体新增加一条跟踪路径。

步骤1033：根据二值图中每一个前景目标物体的位置，获得当前图像中所有跟踪目标物体的信息。

根据每一个前景目标物体的位置信息，获取当前图像中所有跟踪目标物体的信息，跟踪目标物体的信息包括物体的颜色、形状等等能表示物体属性和能用来区分物体的特征信息。

步骤1034：根据图像中所有跟踪目标物体的信息，采用中值偏移跟踪算法将相邻图像中相同的跟踪目标物体相关联。

步骤1035：判断本次跟踪是否成功。

由中值偏移跟踪算法可以获得跟踪目标物体的位置范围，如果计算获得的这个位置范围在当前图像这个目标物体前景的范围内，则说明跟踪成功，否则跟踪失败。

步骤1036：如果跟踪成功，更新路径信息并获得所述跟踪目标物体的运动方向。

如果本次跟踪成功，将跟踪目标路径信息进行更新，加入跟踪目标物体新的位置以及特征的信息。其中，路径信息由所述跟踪目标物体前景区域的质心的轨迹确定。

步骤1037：判断跟踪目标物体是否离开。

根据跟踪的结果，判断在当前图像的前一帧图像中，跟踪目标物体位置是否靠近图像边界，且朝着远离图像的方向运动。如果在当前图像的前一帧图像中，跟踪目标物体位置靠近图像边界，且朝着远离图像的方向运动，则继续判断由中值偏移跟踪算法获得的跟踪目标物体的范围，是否在当前图像的二值图中跟踪目标物体前景的范围内。如果由中值偏移跟踪算法获得的跟踪目标物体的范围，不在当前图像的二值图中跟踪目标物体前景的范围内，则判定跟踪目标离开了监控区域。

步骤1038：如果跟踪目标物体离开，将每个目标物体的前景掩码在每帧图像中所标示出的所述目标物体的投影的集合作为事件体，记录下来。

如果跟踪目标物体离开，则跟踪目标物体在每帧图像中的集合构成了一个事件，那么将跟踪目标物体的前景掩码在每帧图像中所标示出的所述目标物体的投影的集合作为一个事件体，将这个事件体（跟踪目标物体在每帧图像中的前景中的掩码的集合）存储下来。

步骤1039：如果跟踪目标物体没有离开，返回继续执行对所述前景中每个目标物体进行跟踪的步骤。

如果跟踪目标物体没有离开，返回，继续从步骤1031开始执行。

步骤103a：如果判断本次跟踪失败，保存跟踪失败的信息并发出警报。

如果本次跟踪没有成功，将跟踪失败的信息保存下来并发出警报。

本发明的实施例优选的采用基于颜色的Mean-shift算法和前景检测相结合的目标跟踪方法。由于实际系统在进行运动检测时跟踪时存在背景高斯噪声、前景检测误差和跟踪误差，不可把任意大小的运动区域都进行跟踪和记录，因此需要一个阈值对过小的目标进行过滤。本发明的实施例优选的采用的算法的阈值是运动区域大小下界，即区域大小都必须大于这个阈值才会被跟踪系统进行跟踪。区域的大小使用其外接矩形来度量的，区域的外界矩形的长和宽都必须大于区域大小，区域才会被跟踪和记录。

步骤104：将所述事件体以及所述事件体的信息存储到前景图像数据库中。

将由前面步骤所得到的事件体以及事件体的信息存储到前景图像数据库中，事件体的信息包括目标物体在某个位置时所对应的时间等等。

步骤105：将存储在事件体数据库中的事件体，按照预设的时间间隔，切分成事件片，并获取所述事件片的特征信息。

将存储在事件体数据库中的事件体切分成事件片包括：先将某个事件体中所包含的所述目标物体投影的帧片按照时间的顺序排列；然后按照时间的顺序和预设的时间间隔，均匀抽取多帧目标物体投影的帧片，构成一个新的集合，作为事件片，其中，事件片最多包含50帧所述目标物体投影的帧片。

具体来说，事件体是由一个跟踪目标在不同的图像帧里留下的“印记”（由前景掩模来表示）组成的，该“印记”用一个长方形感兴趣区域（Region of Interest，ROI）来包围住，每一个事件体可以有下述三元组来表述：

$A_i=(t_s^i,t_e^i,{\{M_t^i,R_t^i\}}_{t_s\≤t\≤t_e})$

其中，t_s和t_e分别是该事件体的起始和结束帧的序列数，M_t是物体在第t帧的前景掩码，包含了前景颜色，R_t是第t帧的感兴趣区域。

事件片是，我们将事件体在时间序列上拆分成很多“切片”，每一个事件片片预定义的最大长度是50帧，相邻的事件片之间可以相互重叠。在每一个图像中的一个事件掩模所标定的跟踪目标的空间范围内部，计算目标区域的SIFT（尺度不变特征转换）算子。每一个事件片在不同的时间点上的图像都需要计算SIFT特征值，这样每一个事件片的SIFT特征值会非常庞大，为了提升处理速度，我们从事件片的所有的SIFT特征向量中随机选择200个特征值代表每个物体。对每个事件片，跟踪目标的轨迹可以用运动区域的质心来表示，由于每个事件片最多包含50帧图像，事件片的运动估计特征可由下式来表示：

${\left\{(x_t^i,y_t^i,r_t^i)\right\}}_{t_S^i\≤t\≤t_e^i}$

其中，

分别为第i个事件片的第t帧图像上的横坐标和纵坐标值，

分别为地i个事件片的开始和结束时间。而事件片的特征信息就是指的事件片的SIFT特征值。

步骤106：根据所述事件片的特征信息对所述事件片进行聚类分类。

在提取出事件片的外表（SIFT特征向量）和运动轨迹的特征之后，为了对外表和运动轨迹相似的事件片进行聚类，我们需要定义出事件片各种特征的相似性度量。对于事件片的SIFT特征向量，我们采用最近邻距离作为SIFT特征向量的比较方法。设

是事件片A_i的第k个SIFT特征分量，设

是事件片A_j中和

距离最小的SIFT分量，同样地，设

是A_i中距离A_j中的SIFT向量最近的，那么，两个事件片外表的距离可以定义为：

${\mathrm{Sd}}_{\mathrm{ij}}=\frac{1}{2N}\left(\underset{k}{\mathrm{\Σ}}\right|S_k^i-{\tilde{S}}_k^j|+\underset{k}{\mathrm{\Σ}}|S_k^j-{\tilde{S}}_k^i\left|\right)$

其中，N是事件片中的SIFT特征向量的总维数。Sd_ij是事件片A_i,A_j之间的事件片的外表特征距离。

为了对事件片的运动轨迹进行聚类，需要定义两个事件片运动轨迹之间的距离，假设有两个事件片A_i,A_j,l_x是事件片A_x的时间长度，T_ij(k)是将A_j平移k之后，A_i,A_j的处于同一时刻的时间长度。令

定义运动轨迹之间的距离为：

${\mathrm{Md}}_{\mathrm{ij}}\left(k\right)=\frac{w\left(k\right)}{T_{\mathrm{ij}}\left(k\right)}{\mathrm{\Σ}}_{t\∈T_{\mathrm{ij}}\left(k\right)}[{(x_t^i-x_{t+k}^j)}^2+{(y_t^i-y_{t+k}^j)}^2]$

权重w(k)用来增加A_i,A_j之间重叠的部分的长度对距离的影响。用该表达式表示的A_i,A_j距离与A_i,A_j在帧的空间位置无关。两个运动轨迹之间的距离只应该反应运动轨迹形状之间的差异，应该与A_i,A_j所在的时间点无关。为了使该距离与事件片的时间点无关，我们使用：

Md_ij＝min(Md_ij(k))

所有有效平移k的Md_ij(k)的最小值作为最终两个运动轨迹之间的距离。为了结合事件片的外表和运动轨迹两方面的特点进行事件片分类。我们采用结合了外表距离Sd_ij和运动轨迹距离Md_ij的合成距离：

D_ij＝αSd_ij+(1-α)Md_ij

其中，参数α用来调节运动轨迹和外表对最终聚类结果的影响程度。在得到事件片之间的距离度量以后，计算距离的相似度矩(affinity matrix)：

$M(i,j)=M(j,i)=\exp (-\frac{D_{\mathrm{ij}}}{\mathrm{\σ}})$

那么，具体的，根据事件片的特征信息对事件片进行聚类分类包括：

在前景图像数据库中取任意两个事件片，获得所述两个事件片的特征向量；

根据公式

计算所述两个事件片的相似度矩阵A，其中，M(i,j)为矩阵A中第i行第j列的元素，σ为用于矩阵规范化操作的一个常量，σ的数值的大小为矩阵D_ij中，绝对值最大的元素的绝对值；

计算公式D^-1Aν＝λν的特征值，按照所述特征值从大到小的顺序排列，取前K个特征值对应的特征向量

其中，K是最终聚类类别数目；

根据K均值聚类算法，对所述前景图像数据库中所有事件片的特征向量空间中的特征向量进行聚类分类；

其中，

D_ij＝αSd_ij+(1-α)Md_ij

${\mathrm{Sd}}_{\mathrm{ij}}=\frac{1}{2N}\left(\underset{k}{\mathrm{\Σ}}\right|S_k^i-{\tilde{S}}_k^j|+\underset{k}{\mathrm{\Σ}}|S_k^j-{\tilde{S}}_k^i\left|\right),$

${\mathrm{Md}}_{\mathrm{ij}}=\min \left[{\mathrm{Md}}_{\mathrm{ij}}\left(k\right)\right]=\min \left(\frac{w\left(k\right)}{T_{\mathrm{ij}}\left(k\right)}{\mathrm{\Σ}}_{t\∈T_{\mathrm{ij}}\left(k\right)}\right[{(x_t^i-x_{t+k}^j)}^2+{(y_t^i-y_{t+k}^j)}^2\left]\right),$

D_ij为所述两个事件片的合成距离，Sd_ij为所述两个事件片的外表特征距离，α为用来调节事件片的运动轨迹和尺度不变特征转换（SIFT）特征向量对最终聚类结果的影响程度的调节系数，Md_ij为所述两个事件片的运动轨迹之间的距离，A为相似度矩阵，ν为SIFT特征向量，D为一个对角矩阵，所述D矩阵每一行非0元素的值为A矩阵对应行的所有元素之和，N是所述事件片中的SIFT特征向量的总维数，

是事件片i的第k个SIFT特征分量，

是事件片j的第k个SIFT特征分量，

是事件片j中和

距离最小的SIFT分量，

是事件片i中和

距离最小的SIFT分量，w(k)是权重系数，T_ij(k)为将事件片j平移k之后，事件片j和事件片i处于同一时刻的时间长度，

分别为第i个事件片的第t帧图像上的横坐标和纵坐标值，

分别为第i个事件片的第t+k帧图像上的横坐标和纵坐标值。

其中，视频浓缩的方法还包括对背景图像进行采样。此步骤放在步骤101之后，与步骤102到步骤106相独立，可以与步骤102到步骤106中任意一个步骤同时进行。

为了视频浓缩展现，还需要对视频的背景进行采集，由于背景并不是一成不变的，背景会随时间的推移缓慢的变化，所以还要在采集背景时加入一个判断背景变化情况的步骤，当背景变化超过阈值时，背景图像会被保存一次。视频的背景进行采集的方法包括：

根据历史对原视频图像进行建模分析的结果，建立背景图像；根据当前对原视频图像进行建模分析的结果，实时的更新背景图像；判断当前时刻背景的变化是否超出预设要求；如果是，对当前时刻的背景图像进行采样，得到背景采样图像；将背景采样图像以及背景采样图像的信息存储到背景采样图像数据库中。

其中，判断当前时刻背景的变化是否超出预设要求包括：将当前时刻背景图像的变化情况进行量化，得到当前时刻背景图像变化值；将背景图像变化值与设定的阈值相比较；当背景图像变化值大于设定的阈值时，判断当前时刻背景的变化超出了预设要求。

其中，将当前时刻背景图像的变化情况进行量化，得到当前时刻背景图像变化值包括，将背景图像变化值定义为：

$D_{t+1}=|V_{t+1}-V_t|+\mathrm{\α}|\stackrel{\→}{G_{t+1}}-\stackrel{\→}{G_t}|+\mathrm{\β}|\stackrel{\→}{C_{t+1}}-\stackrel{\→}{C_t}|$

其中，D_t+1为当前时刻背景图像的变化值；V_t+1为当前时刻背景图像在六角锥体模型（HSV）空间下亮度分量的平均值；V_t为上一次对背景图像进行采样的时刻，背景图像在六角锥体模型（HSV）空间下亮度分量的平均值；

为当前时刻背景图像对应的梯度向量；

为上一次对背景图像进行采样的时刻，背景图像对应的梯度向量；

为当前时刻背景图像对应的颜色向量；

为上一次对背景图像进行采样的时刻，背景图像对应的颜色向量；α和β为用来调节光强、梯度和颜色的对背景图像变化值影响的调节系数。

步骤107：进行视频浓缩展现。

最后要进行视频浓缩展现，视频浓缩展现有两种情况，一种是通过检索事件的特征信息提取事件片，并进行视频展现的，一种是通过选定待跟踪目标的特征信息提取事件片，并进行视频展现的。

通过检索事件的特征信息提取事件片进行视频展现的方法包括：输入待检索事件片的特征信息；根据待检索事件片的特征信息，在前景图像数据库中提取相对应的事件片，在背景采样图像数据库中提取相对应的背景采样图像；将提取出来的事件片拼接整合到相应的背景采样图像上，进行浓缩展现。

通过选定待跟踪目标的特征信息提取事件片进行视频展现的方法包括：选定待跟踪目标，提取待跟踪目标的特征信息；根据跟踪目标的特征信息，在前景图像数据库中提取相对应的事件片，在背景采样图像数据库中提取相对应的背景采样图像；将提取出来的事件片拼接整合到相应的背景采样图像上，进行浓缩展现。

图3是本发明实施例提供的一种视频浓缩的系统功能模块框图，如图4所示，一种视频浓缩的系统，所述系统包括：判定模块301，用于对原视频图像中的每帧图像进行建模分析，判定前景与背景的区域位置；二值化处理模块302，用于根据前景与背景的区域位置对所述每帧图像进行二值化处理，建立用于标记前景与背景区域位置的二值图；跟踪模块303，用于根据二值图以及原视频图像的信息对所述前景中的每个目标物体进行跟踪，得到每个目标物体在每帧图像中的前景掩码，用所述每个目标物体的前景掩码在每帧图像中所标示出的所述目标物体的投影的集合作为一个事件体；存储模块304，用于将事件体以及事件体的信息存储到前景图像数据库中；事件片处理模块305，用于将存储在事件体数据库中的事件体，按照预设的时间间隔，切分成事件片，并获取事件片的特征信息；聚类分类模块306，用于根据事件片的特征信息对事件片进行聚类分类；视频浓缩展现模块307，用于进行视频浓缩展现。

视频浓缩的系统还包括：背景图像建立模块，用于根据历史对原视频图像进行建模分析的结果，建立背景图像；背景图像更新模块，用于根据当前对原视频图像进行建模分析的结果，实时的更新背景图像；判断模块，用于判断当前时刻背景的变化是否超出预设要求；背景图像采样模块，用于对当前时刻的背景图像进行采样，得到背景采样图像；背景采样图像存储模块，用于将背景采样图像以及背景采样图像的信息存储到背景采样图像数据库中。

本发明实施例提供的一种视频浓缩的方法和系统，通过自动地从海量监控视频中抽取有用的事件体，并分类展示，来实现对视频的浓缩，节省了阅览视频所需人力、减小存储所需空间，也能够快速检索出类似事件体，从而极大地方便监控视频的浏览和存储。

显然，本领域技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

以上仅是针对本发明的优选实施例及其技术原理所做的说明，而并非对本发明的技术内容所进行的限制，任何熟悉本技术领域的技术人员在本发明所公开的技术范围内，所容易想到的变化或替换，都应涵盖在本发明的保护范围内。

Claims (10)

1.一种视频浓缩的方法，其特征在于，包括：

对原视频图像中的每帧图像进行建模分析，判定前景与背景的区域位置；

根据所述前景与背景的区域位置对所述每帧图像进行二值化处理，建立用于标记前景与背景区域位置的二值图；

根据二值图以及原视频图像的信息对所述前景中的每个目标物体进行跟踪，得到每个目标物体在每帧图像中的前景掩码，用所述每个目标物体的前景掩码在每帧图像中所标示出的所述目标物体的投影的集合作为一个事件体；

将所述事件体以及所述事件体的信息存储到前景图像数据库中；

将存储在事件体数据库中的事件体，按照预设的时间间隔，切分成事件片，并获取所述事件片的特征信息；

根据所述事件片的特征信息对所述事件片进行聚类分类；

进行视频浓缩展现；

其中，所述视频浓缩的方法还包括对背景图像进行采样；

所述对背景图像进行采样包括：

根据对原视频图像进行建模分析的初始结果，建立背景图像；

根据当前对原视频图像进行建模分析的结果，实时地更新背景图像；

判断当前时刻背景的变化是否超出预设要求；

如果是，对当前时刻的背景图像进行采样，得到背景采样图像；

将所述背景采样图像以及所述背景采样图像的信息存储到背景采样图像数据库中。

2.根据权利要求1所述的方法，其特征在于，所述视频浓缩展现包括：

接收到待检索事件片的特征信息；

根据所述待检索事件片的特征信息，在所述前景图像数据库中提取相对应的事件片，在所述背景采样图像数据库中提取相对应的背景采样图像；

将所述提取出来的事件片拼接整合到相应的背景采样图像上，进行浓缩展现。

3.根据权利要求1所述的方法，其特征在于，所述视频浓缩展现还包括：

选定待跟踪目标，提取所述待跟踪目标的特征信息；

根据所述跟踪目标的特征信息，在所述前景图像数据库中提取相对应的事件片，在所述背景采样图像数据库中提取相对应的背景采样图像；

将所述提取出来的事件片拼接整合到相应的背景采样图像上，进行浓缩展现。

4.根据权利要求1所述的方法，其特征在于，所述对原视频图像中的每帧图像进行建模分析，判定前景与背景的区域位置具体包括采用混合高斯模型，结合图像的颜色和梯度，对原视频图像中的每帧图像进行建模分析，判定前景与背景的区域位置。

5.根据权利要求1所述的方法，其特征在于，根据所述前景与背景的区域位置对所述每帧图像进行二值化处理，建立用于标记前景与背景区域位置的二值图，包括：

为原视频图像的每帧图像对应的建立一帧分辨率相同的待处理图像；

将所述待处理图像中，对应于相应的原视频图像前景区域的像素赋予白色色值，将所述待处理图像中，对应于相应的原视频图像背景区域的像素赋予黑色色值，获得初级二值图；

对所述初级二值图进行腐蚀运算，去除噪声；

对经过去除噪声处理的初级二值图进行膨胀运算，获得最终的用于标记前景与背景区域位置的二值图。

6.根据权利要求1所述的方法，其特征在于，所述判断当前时刻背景的变化是否超出预设要求包括：

将当前时刻背景图像的变化情况进行量化，得到当前时刻背景图像变化值；

将所述背景图像变化值与设定的阈值相比较；

当所述背景图像变化值大于设定的阈值时，判断当前时刻背景的变化超出了预设要求；

其中，所述将当前时刻背景图像的变化情况进行量化，得到当前时刻背景图像变化值包括，将所述背景图像变化值定义为：

$D_{t+1}=|V_{t+1}-V_t|+\mathrm{\α}|\stackrel{\→}{G_{t+1}}-\stackrel{\→}{G_t}|+\mathrm{\β}|\stackrel{\→}{C_{t+1}}-\stackrel{\→}{C_t}|$

其中，D_t+1为当前时刻背景图像的变化值；V_t+1为当前时刻背景图像在六角锥体模型（HSV）空间下亮度分量的平均值；V_t为上一次对背景图像进行采样的时刻，背景图像在六角锥体模型（HSV）空间下亮度分量的平均值；

为当前时刻背景图像对应的梯度向量；

为上一次对背景图像进行采样的时刻，背景图像对应的梯度向量；

为当前时刻背景图像对应的颜色向量；

为上一次对背景图像进行采样的时刻，背景图像对应的颜色向量；α和β为用来调节光强、梯度和颜色的对背景图像变化值影响的调节系数。

7.根据权利要求1所述的方法，其特征在于，采用中值偏移（Mean-shift）跟踪算法，根据二值图以及原视频图像的信息对所述前景中的每个目标物体进行跟踪，得到每个目标物体在每帧图像中的前景掩码，用所述每个目标物体的前景掩码在每帧图像中所标示出的所述目标物体的投影的集合作为一个事件体，具体包括：

判断当前图像的二值图中每一个前景目标物体是否是新加入的目标物体；

如果是，为所述目标物体新增加一条跟踪路径；

获得当前图像中所有跟踪目标物体的信息；

根据图像中所有跟踪目标物体的信息，采用中值偏移跟踪算法将相邻图像中相同的跟踪目标物体相关联；

判断本次跟踪是否成功；

如果跟踪成功，更新路径信息并获得所述跟踪目标物体的运动方向；

判断跟踪目标物体是否离开；

如果跟踪目标物体离开，将每个目标物体的前景掩码在每帧图像中所标示出的所述目标物体的投影的集合作为事件体，记录下来；

如果跟踪目标物体没有离开，返回继续执行对所述前景中每个目标物体进行跟踪的步骤；

其中，如果判断本次跟踪失败，保存跟踪失败的信息并发出警报；

其中，所述判断本次跟踪是否成功包括：

判断由中值偏移跟踪算法获得的跟踪目标物体的范围，是否在当前图像的二值图中所述跟踪目标物体前景的范围内；

如果是，跟踪成功；

如果否，跟踪失败；

其中，所述判断跟踪目标物体是否离开包括：

根据跟踪的结果，判断在当前图像的前一帧图像中，跟踪目标物体位置是否靠近图像边界，且朝着远离图像的方向运动；

如果是，判断由中值偏移跟踪算法获得的跟踪目标物体的范围，是否在当前图像的二值图中所述跟踪目标物体前景的范围内；

如果否，则判定所述跟踪目标离开监控区域；

其中，所述路径信息由所述跟踪目标物体前景区域的质心的轨迹确定。

8.根据权利要求1所述的方法，其特征在于，所述将存储在事件体数据库中的事件体切分成事件片包括：

将所述某个事件体中所包含的所述目标物体投影的帧片按照时间的顺序排列；

按照时间的顺序和预设的时间间隔，均匀抽取多帧所述目标物体投影的帧片，构成一个新的集合，作为事件片；

其中，所述事件片最多包含50帧所述目标物体投影的帧片。

9.根据权利要求1所述的方法，其特征在于，根据所述事件片的特征信息对所述事件片进行聚类分类包括：

在前景图像数据库中取任意两个事件片，获得所述两个事件片的特征向量；

根据公式

计算所述两个事件片的相似度矩阵A，其中，M(i,j)为矩阵A中第i行第j列的元素，σ为用于矩阵规范化操作的一个常量，σ的数值的大小为矩阵D_ij中，绝对值最大的元素的绝对值；

计算公式D^-1Aν＝λν的特征值，按照所述特征值从大到小的顺序排列，取前K个特征值对应的特征向量

其中，K是最终聚类类别数目；

根据K均值聚类算法，对所述前景图像数据库中所有事件片的特征向量空间中的特征向量进行聚类分类；

其中，

D_ij＝αSd_ij+(1-α)Md_ij

${\mathrm{Sd}}_{\mathrm{ij}}=\frac{1}{2N}\left(\underset{k}{\mathrm{\Σ}}\right|S_k^i-{\tilde{S}}_k^j|+\underset{k}{\mathrm{\Σ}}|S_k^j-{\tilde{S}}_k^i\left|\right),$

${\mathrm{Md}}_{\mathrm{ij}}=\min \left[{\mathrm{Md}}_{\mathrm{ij}}\left(k\right)\right]=\min \left(\frac{w\left(k\right)}{T_{\mathrm{ij}}\left(k\right)}{\mathrm{\Σ}}_{t\∈T_{\mathrm{ij}}\left(k\right)}\right[{(x_t^i-x_{t+k}^j)}^2+{(y_t^i-y_{t+k}^j)}^2\left]\right),$

D_ij为所述两个事件片的合成距离，Sd_ij为所述两个事件片的外表特征距离，α为用来调节事件片的运动轨迹和尺度不变特征转换（SIFT）特征向量对最终聚类结果的影响程度的调节系数，Md_ij为所述两个事件片的运动轨迹之间的距离，A为相似度矩阵，ν为SIFT特征向量，D为一个对角矩阵，所述D矩阵每一行非0元素的值为A矩阵对应行的所有元素之和，N是所述事件片中的SIFT特征向量的总维数，

是事件片i的第k个SIFT特征分量，

是事件片j的第k个SIFT特征分量，

是事件片j中和

距离最小的SIFT分量，

是事件片i中和

距离最小的SIFT分量，w(k)是权重系数，T_ij(k)为将事件片j平移k之后，事件片j和事件片i处于同一时刻的时间长度，

分别为第i个事件片的第t帧图像上的横坐标和纵坐标值，

分别为第i个事件片的第t+k帧图像上的横坐标和纵坐标值。

10.一种视频浓缩的系统，其特征在于，包括：

判定模块，用于对原视频图像中的每帧图像进行建模分析，判定前景与背景的区域位置；

二值化处理模块，用于根据所述前景与背景的区域位置对所述每帧图像进行二值化处理，建立用于标记前景与背景区域位置的二值图；

跟踪模块，用于根据二值图以及原视频图像的信息对所述前景中的每个目标物体进行跟踪，得到每个目标物体在每帧图像中的前景掩码，用所述每个目标物体的前景掩码在每帧图像中所标示出的所述目标物体的投影的集合作为一个事件体；

存储模块，用于将所述事件体以及所述事件体，按照预设的时间间隔，的信息存储到前景图像数据库中；

事件片处理模块，用于将存储在事件体数据库中的事件体切分成事件片，并获取所述事件片的特征信息；

聚类分类模块，用于根据所述事件片的特征信息对所述事件片进行聚类分类；

视频浓缩展现模块，用于进行视频浓缩展现；

其中，所述视频浓缩的系统还包括背景图像采样模块，用于对背景图像进行采样。

Images