CN102930061A

CN102930061A - 一种基于运动目标检测的视频摘要方法及系统

Info

Publication number: CN102930061A
Application number: CN2012104923774A
Authority: CN
Inventors: 曾杰; 张崴; 周维
Original assignee: ANHUI CIVIO INFORMATION AND TECHNOLOGY Co Ltd
Current assignee: ANHUI CIVIO INFORMATION AND TECHNOLOGY Co Ltd
Priority date: 2012-11-28
Filing date: 2012-11-28
Publication date: 2013-02-13
Anticipated expiration: 2032-11-28
Also published as: CN102930061B

Abstract

本发明涉及一种基于运动目标检测的视频摘要方法，包括：对初始图像序列帧进行运动目标检测及分析处理，得到原始视频每帧运动目标的视觉特征信息，在帧间进行目标跟踪合并处理，提取出原始视频各个运动目标的索引信息；对各个运动目标对象进行时间及空间上的重排序，并融合背景图像生成摘要视频，并记录摘要视频各个运动目标的索引信息；建立摘要视频每帧运动目标与原始视频运动目标的索引关联。本发明还公开了一种基于运动目标检测的视频摘要系统。本发明的目标跟踪合成方法简单有效，实现了监控视频的快速、准确的摘要浓缩，索引的使用使得播放时能够随时方便的浏览运动目标出现的原始视频片段。本发明生成摘要速度快、准确性和易用性强。

Description

一种基于运动目标检测的视频摘要方法及系统

技术领域

本发明涉及监控视频摘要、浓缩领域，尤其是一种基于运动目标检测的视频摘要方法及系统。

背景技术

目前，随着经济和信息技术的发展，人们对安全防范的需求也越来越高，视频监控作为安全防范领域的有效手段，应用范围越来越广，应用需求也在不断的提高。

在日常应用中，视频监控录像存在存储数据量大，存储时间长等特点，通过录像了解某一时间段内出现的行人、车辆等有意义信息，特别是公安系统在寻找线索、获取证据时，传统的做法会耗费大量人力、物力以及时间，效率极其低下，以至于错过最佳破案时机。因此在视频监控系统中，对原始视频进行摘要、浓缩，可以快速浏览特定时间段内出现的人物、车辆以及发生的事，花费较短时间了解掌握几小时甚至几天的该监控范围内经过的人、车及发生的行为，出现案件时能够快速锁定目标对象，对于公安加快破案速度，提高大案、要案的破案效率具有重要指导意义。

发明内容

本发明的首要目的在于提供一种能够对视频监控信息进行摘要、浓缩，快速锁定运动目标的基于运动目标检测的视频摘要方法，该方法包括下列顺序的步骤：

（1）获取待处理的原始视频的初始图像序列，对初始图像序列帧进行运动目标检测及分析处理，得到原始视频每帧运动目标的视觉特征信息，在帧间进行目标跟踪合并处理，提取出原始视频各个运动目标的索引信息；

（2）根据原始视频各个运动目标的索引信息，对各个运动目标对象进行时间及空间上的重排序，并融合背景图像生成摘要视频，并记录摘要视频各个运动目标的索引信息；

（3）根据原始视频各个运动目标的索引信息和摘要视频各个运动目标的索引信息，建立摘要视频每帧运动目标与原始视频运动目标的索引关联。

本发明的另一目的在于提供一种基于运动目标检测的视频摘要系统，包括：

视频输入模块，获取待处理的视频片段或实时视频流；

目标提取及合成模块，从原始视频中获取初始图像序列，利用改进的背景减法对图像序列进行分析处理，获取各帧中的运动目标的视觉特征信息，在帧间进行运动目标跟踪，得到各个运动目标对象的索引信息；

目标重排序模块，根据各个运动目标对象的索引信息对各个运动目标对象在时间和空间上重新排序；

索引构建模块，存储不同阶段运动目标的索引信息，并且将不同阶段的目标对象及其位置相互关联；

摘要结果输出模块，将重新排序后的目标对象图像序列与背景图像进行融合、合成，并进行视频编码生成摘要视频，并根据索引构建模块保存的索引信息，将摘要视频每帧运动目标与原始视频运动目标进行目标关联，生成目标索引文件；

摘要播放模块，播放摘要视频，若用户点击摘要视频某帧中的运动目标，则查询索引文件，调出该运动目标对象出现的原始视频地址及在原始视频中的起始位置，并播放运动目标出现的原始视频段。

由上述技术方案可知，本发明采用改进的运动目标检测算法能够准确的分割出运动目标，目标跟踪合成方法简单有效；运动目标对象的重排序规则既保证了原始运动目标出现的时间顺序又保证了在每帧中运动目标对象的空间紧凑性；在空间和时间上可以进行高效的压缩，实现了监控视频的快速、准确的摘要浓缩，索引的使用使得播放时能够随时方便的浏览运动目标出现的原始视频片段。本发明生成摘要速度快、准确性和易用性强。

附图说明

图1是本发明的工作流程图；

图2是本发明的功能模块示意图。

具体实施方式

一种基于运动目标检测的视频摘要方法，该方法包括：（1）获取待处理的原始视频的初始图像序列，对初始图像序列帧进行运动目标检测及分析处理，得到原始视频每帧运动目标的视觉特征信息，在帧间进行目标跟踪合并处理，提取出原始视频各个运动目标的索引信息；（2）根据原始视频各个运动目标的索引信息，对各个运动目标对象进行时间及空间上的重排序，并融合背景图像生成摘要视频，并记录摘要视频各个运动目标的索引信息；（3）根据原始视频各个运动目标的索引信息和摘要视频各个运动目标的索引信息，建立摘要视频每帧运动目标与原始视频运动目标的索引关联。如图1所示。

如图1所示，所述原始视频是指同一摄像头拍摄的连续的监控视频片段或实时的监控视频流；所述运动目标的视觉特征信息包括运动目标的位置、轮廓及图像信息，所述运动目标的索引信息包括运动目标出现的起始/结束帧、每帧中的位置以及运动轨迹信息。

如图1所示，视频输入模块输入原始视频后，目标提取及合成模块利用改进的背景减法对初始图像序列帧进行运动目标检测及分析处理，获取每帧中运动目标的视觉特征信息，根据该视觉特征信息，在帧间进行运动目标跟踪，得到原始视频各个运动目标的索引信息。

采取改进的背景减法检测运动目标的方法如下：

图像中每个点的背景模型M(x)由N个背景点v(i)表示：

M(x)={v₁,v₂,v₃，...,v_N}

判断图像是否为前景的公式为：

p (x) = \{\begin{matrix} foreground, Φ_{i = 1}^{N} (dist (I (x), V (i)) > T_{p}) > T_{c} \\ background, Φ_{i = 1}^{N} (dist (I (x), V (i)) > T_{p}) < T_{c} \end{matrix}

其中，I(x)为当前图像点的值，V(i)为点x对应的背景模型中的背景点，

表示求其满足d(i)元素个数之和，T_p为图像两点间距离的阈值常量，T_c为满足条件的背景点个数阈值常量；

背景模型M(x)中背景点v(i)采用下述方法进行更新：

当P(x)=background时进行背景更新，更新位置i随机，即：

V([N*rand(0,1)])=I(x)

当P(x)=foreground时不更新。

如图1所示，在获得每帧运动目标的初始位置后，随着目标位置的变化，通过计算下一帧运动目标的轮廓内重叠面积，得到与前一帧轮廓重叠面积最大的运动目标，将其视为同一运动目标，从而实现运动目标的跟踪。

如图所示，在获得各个完整的运动目标对象后，目标重排序模块对各个运动目标对象进行时间及空间上的重排序，重排序规则为：

时间上，按照运动目标对象在原始视频中出现的前后时间顺序排列，后出现的运动目标对象重排序后出现于先出现的运动目标对象之后；

空间上，任意两个运动目标对象在重排序后重叠的帧数低于阈值T。

摘要结果输出模块计算摘要过程中保存的各个阶段运动目标的索引信息，并最终进行相互关联，生成摘要视频每帧运动目标与原始视频运动目标相关联的索引文件。

如图2所示，本系统包括六个模块：

视频输入模块，获取待处理的视频片段或实时视频流；

摘要播放模块，播放摘要视频，在用户点击摘要视频某帧中的运动目标时，查询索引文件，调出该运动目标对象出现的原始视频地址及在原始视频中的起始位置，并播放运动目标出现的原始视频段。

所述的视频输入模块的输出端与目标提取及合成模块的输入端相连，目标提取及合成模块的输出端与目标重排序模块的输入端相连，视频输入模块、目标提取及合成模块、目标重排序模块均与索引构建模块相连，索引构建模块、目标重排序模块的输出端与摘要结果输出模块的输入端相连，摘要结果输出模块的输出端与摘要播放模块的输入端相连。

综上所述，本发明采用改进的运动目标检测算法能够准确的分割出运动目标，目标跟踪合成方法简单有效；运动目标对象的重排序规则既保证了原始运动目标出现的时间顺序又保证了在每帧中运动目标对象的空间紧凑性；在空间和时间上可以进行高效的压缩，实现了监控视频的快速、准确的摘要浓缩，索引的使用使得播放时能够随时方便的浏览运动目标出现的原始视频片段。本发明生成摘要速度快、准确性和易用性强。

Claims

1.一种基于运动目标检测的视频摘要方法，该方法包括下列顺序的步骤：

2.根据权利要求1所述的基于运动目标检测的视频摘要方法，其特征在于：所述原始视频是指同一摄像头拍摄的连续的监控视频片段或实时的监控视频流；所述运动目标的视觉特征信息包括运动目标的位置、轮廓及图像信息，所述运动目标的索引信息包括运动目标出现的起始/结束帧、每帧中的位置以及运动轨迹信息。

3.根据权利要求1所述的基于运动目标检测的视频摘要方法，其特征在于：视频输入模块输入原始视频后，目标提取及合成模块利用改进的背景减法对初始图像序列帧进行运动目标检测及分析处理，获取每帧中运动目标的视觉特征信息，根据该视觉特征信息，在帧间进行运动目标跟踪，得到原始视频各个运动目标的索引信息。

4.根据权利要求1所述的基于运动目标检测的视频摘要方法，其特征在于：在获得各个完整的运动目标对象后，目标重排序模块对各个运动目标对象进行时间及空间上的重排序，重排序规则为：

5.根据权利要求1所述的基于运动目标检测的视频摘要方法，其特征在于：摘要结果输出模块计算摘要过程中保存的各个阶段运动目标的索引信息，并最终进行相互关联，生成摘要视频每帧运动目标与原始视频运动目标相关联的索引文件。

6.根据权利要求3所述的基于运动目标检测的视频摘要方法，其特征在于：采取改进的背景减法检测运动目标的方法如下：

图像中每个点的背景模型M(x)由N个背景点v(i)表示：

M(x)={v₁,v₂,v₃，...,v_N}

判断图像是否为前景的公式为：

p (x) = \{\begin{matrix} foreground, Φ_{i = 1}^{N} (dist (I (x), V (i)) > T_{p}) > T_{c} \\ background, Φ_{i = 1}^{N} (dist (I (x), V (i)) > T_{p}) < T_{c} \end{matrix}

背景模型M(x)中背景点v(i)采用下述方法进行更新：

当P(x)=background时进行背景更新，更新位置i随机，即：

V([N*rand(0,1)])=I(x)

当P(x)=foreground时不更新。

7.根据权利要求3所述的基于运动目标检测的视频摘要方法，其特征在于：在获得每帧运动目标的初始位置后，随着目标位置的变化，通过计算下一帧运动目标的轮廓内重叠面积，得到与前一帧轮廓重叠面积最大的运动目标，将其视为同一运动目标。

8.一种基于运动目标检测的视频摘要系统，包括：

视频输入模块，获取待处理的视频片段或实时视频流；

9.根据权利要求8所述的基于运动目标检测的视频摘要系统，其特征在于：所述的视频输入模块的输出端与目标提取及合成模块的输入端相连，目标提取及合成模块的输出端与目标重排序模块的输入端相连，视频输入模块、目标提取及合成模块、目标重排序模块均与索引构建模块相连，索引构建模块、目标重排序模块的输出端与摘要结果输出模块的输入端相连，摘要结果输出模块的输出端与摘要播放模块的输入端相连。