CN202003350U - 视频摘要系统 - Google Patents

Abstract

本实用新型是一种可应用于视频监控系统的视频摘要系统，该系统包括摘要处理模块，输入模块，数据库模块和输出模块，当所述输入模块读取视频源文件后，将所述视频源文件里面的视频信息传递给摘要处理模块，所述摘要处理模块根据所述视频信息制作视频摘要，并通过输出模块输出。其中的核心模块为摘要处理模块，将视频中的运动目标提取为的运动块，进行处理后，与前一帧中相对应的运动块进行匹配，实现目标的跟踪，并将运动块在不同时间的位置同时显示于同一帧画面中，这样就可以将一段时间之内的视频内容浓缩地显示于同一帧中，当这些浓缩后的视频帧连贯起来，便可以形成整段视频的摘要。

Description

视频摘要系统

【技术领域】

本实用新型涉及一种视频摘要系统，尤其是应用于视频监控系统的视频摘要系统。

【技术背景】

如今，视频监控系统在全球范围内广泛用于加强公共安全、调查和防范违法与犯罪活动以及预防损失等方面。它同样可作为一种改善员工工作业绩的有效工具。虽然视频监控领域的技术在不断发展，但是监控视频录像仍是一项高成本，耗费时间的任务，它往往需要一个庞大的团队来查看和分析捕获的视频。传统的视频监控系统中，随着监控节点的增多，对监控视频的浏览和回顾更加消耗人力。

一般视频可以选择拖放，一遍查看不同时间段的视频，或者采用加速播放来提高视频的浏览速度，但由于监控视频的时间非常长，即使采用这些方式也提高不了多大的浏览速度，而大幅度的跳过播放片段，或提高播放速度又很有可能漏掉需要的信息，所以建立一种能够快速浏览监控视频的系统，以便快速找到需要的视频内容是非常有实用价值的。

【发明内容】

针对上述问题，本实用新型提出一种视频摘要系统，该视频摘要系统通过建立视频剪辑，提供简短的视频摘要，将完整的视频以浓缩片的形式完整地显示出来。

该系统包括电连接的：

摘要处理模块，将接收到的视频源文件制作为视频摘要，

输入模块，与摘要处理模块电连接，接入并读取视频源文件，并将其传送给所述摘要处理模块，

数据库模块，与摘要处理模块电连接，用于存储所述摘要处理模块中生成的数据，

输出模块，与数据库模块电连接，用于播放和导出制作的视频摘要；

当所述输入模块读取视频源文件后，将所述视频源文件里面的视频信息传递给摘要处理模块，所述摘要处理模块根据所述视频信息制作视频摘要，并通过输出模块输出。

其中的核心模块为摘要处理模块，其进一步包括相互电连接的目标检测模块，目标跟踪模块和摘要生成模块。其中的目标检测模块采用混合高斯模型处理，将其中的运动目标提取为一个一个的运动块；所述目标跟踪模块与目标检测模块电连接，将前述的运动块进行处理后，与前一帧中相对应的运动块进行匹配，实现目标的跟踪，并将跟踪结果以及背景数据等以列表形式存入所述数据库模块中。所述摘要生成模块根据存入所述数据库模块中的数据列表采用多线程方式，将运动块不同时间的视频截图同时显示于同一画面中，这样就可以将一段时间之内的视频内容浓缩地显示于同一帧中，当这些浓缩后的视频帧连贯起来，便可以形成整段视频的摘要。

采用这种视频摘要系统既提高了浏览速度，又不会漏掉重要信息。还可以将视频源文件和视频摘要之间设置相关链接，当查看到需要的信息时，可直接点击视频摘要，以链接到相关的视频源文件进行详细查看。

所述目标跟踪模块可进一步包括跟踪处理模块，用以计算前述提取的运动块的多个参数，比如运动块的坐标、质心，运动块的长、宽、高等，然后将其与前一帧中存在的块所计算的参数进行逐一匹配，找到连续帧之间的块与块的对应关系，实现目标的跟踪。

所述目标跟踪模块还可进一步包括预测滤波器，采用预测滤波器修正跟踪结果中目标的坐标，使相互遮挡的运动块能继续跟踪。处理过程中的背景信息以及跟踪信息均存入所述数据库模块。

随着播放时间的不同，播放的目标会变换，所以所述摘要生成模块可进一步包括一个播放处理模块，采用目标轮询方式处理运动块的坐标，以实现运动块的播放切换；采用颜色混合方式对运动块重叠部分的透明化处理。。

为了方便用户的输入、输出以及查阅等操作，可在该视频摘要系统中加入在线输入模块和离线输入模块，导出模块，以及摘要管理模块，方便用户输入视频源文件，输出视频摘要，和查询管理所剪辑的视频摘要。

本实用新型的视频摘要系统，可用于制作安防监控系统，公路交通系统等各个方面，将庞大的监控数据进行浓缩，可直接从浓缩的摘要系统中链接到视频源文件，方便了视频信息的管理。而且提高了浏览速度，使查找有用信息的时间大大缩短，同时又不会遗漏重要信息。

【附图说明】

图1为本实用新型的系统连接示意图；

图2为本实用新型的主要模块连接示意图；

图3为本实用新型的摘要处理模块连接示意图；

图4为本实用新型的摘要管理模块连接示意图。

【具体实施方式】

参见图1，本视频摘要系统包括电连接的输入模块1，摘要处理模块2，数据库模块3和输出模块4，其中摘要处理模块2为核心模块，用于将接收到的视频源文件制作为视频摘要，输入模块1用于接入并读取需要制作摘要的视频源文件，并将其传送给所述的摘要处理模块2。所述数据库模块3用于存储所述摘要处理模块2中生成的数据，所述输出模块4用于将制作的摘要进行播放或导出。

参见图2，所述的摘要处理模块2其进一步包括相互电连接的目标检测模块21，目标跟踪模块22和摘要生成模块23；其中的目标检测模块21采用混合高斯模型处理，将其中的运动目标提取为一个一个的运动块；所述目标跟踪模块22与目标检测模块21电连接，将前述的运动块进行处理后，与前一帧中相对应的运动块进行匹配，实现目标的跟踪，并将跟踪结果以及背景数据等以列表形式存入所述数据库模块3中。

其中目标检测模块21用于将其中的运动目标提取为一个一个的运动块。近年来，混合高斯模型在复杂背景建模方面得到了广泛的使用，本目标检测模块21也是采用混合高斯模型对视频中的运动目标进行检测，能准确地将运动目标提取为运动块。

传统混合高斯模型的算法描述如下：首先，为图像中的每一个像素点建立K个高斯模型，K一般取值为3-5。通过对K个模型的权值的分析，来确定一个像素值是属于背景或前景目标，使模型能够克服环境中的干扰因素，如树叶摇动、水波荡漾等。设X_t表示像素点在t时刻的值。则X_t的概率函数可以表示为：

$P\left(X_t\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{w}_{i,t}*\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})$ (1)

其中，K为高斯模型的个数，w_i，t为t时刻第i个高斯分布所占的权值，，η(X_t，μ_i，t，∑_i，t)表示t时刻第i个高斯模型的密度函数，其均值为μ_i，t，协方差矩阵为∑_i，t，其可表示为：

$\mathrm{\η}(X_t,\mathrm{\μ},\mathrm{\Σ})=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{n}{2}}{\left|\mathrm{\Σ}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{(X_t-{\mathrm{\μ}}_t)}^T{\mathrm{\Σ}}^{-1}(X_t-{\mathrm{\μ}}_t)}---\left(2\right)$

为了减少计算量，通常设定像素点的每一个颜色通道相互独立，而且具有相同的方差，所以协方差矩阵简化为

σ_i，t表示t时刻第i个高斯模型的标准差，I_t表示t时刻的像素值。混合高斯背景建模的具体过程如下：

(1)模型初始化。读取到第一帧图像时，采用当前像素点的值作为第一个模型的均值μ，然后设定较大的标准差σ和较小的权值w。

(2)模型更新。读入一帧图像。当前帧对应的像素点的值与K个模型进行比较，如果|I_t-μ_i，t-1|＜D*σ_i，t-1，D为预设的参数，则认为像素值I_t与第i个模型匹配，按照下列公式更新第i个模型：

$\left\{\begin{array}{c}{w}_{i,t}=(1-\mathrm{\α})w_{i,t-1}+\mathrm{\α}\\ {\mathrm{\μ}}_{i,t}=(1-\mathrm{\ρ}){\mathrm{\μ}}_{i,t-1}+{\mathrm{\ρI}}_t\\ {\mathrm{\σ}}_{i,t}^2=(1-\mathrm{\ρ}){\mathrm{\σ}}_{i,t-1}^2+\mathrm{\ρ}{(I_t-{\mathrm{\μ}}_{i,t})}^2\end{array}\right.---\left(3\right)$

其中，α是用户定义的学习率，且0≤α≤1，ρ是参数学习率，且

如果α的取值越大，则越快适应环境的变化，但是同时也容易受环境和噪声的影响。

如果当前像素值与所有模型都不匹配，则将w_i，t/σ_i，t的值最小的模型替换为新的模型。当前像素值I_t为新模型的均值，并且初始化一个较大的标准差σ和较小的权值w。其余模型的权值按下式衰减：

w_i，t＝(1-α)w_i，t-1                        (4)

之后，把K个模型的权重进行归一化，并且所有模型按照w_i，t/σ_i，t由大到小排序。w_i，t/σ_i，t越大，表明此模型的状态出现的概率越高。取前B个模型作为背景模型，B的定义如下：

$B=\arg \mathrm{mi}{n}_b(\underset{k=1}{\overset{b}{\mathrm{\Σ}}}{w}_k>T)$ (5)

其中，T是预定的权重阈值。当T取值较小时，相当于单高斯模型。当T取值较大时，就是混合高斯模型，本实用新型中采用混合高斯模型。

如果当前像素点与前B个模型中的某个模型匹配，则认为当前点为背景。如果当前像素点与前B个模型都不匹配，则当前点为前景目标。

但传统的混合高斯模型不能适应光照变化，难以选择更新速率，不能直接去除运动阴影，以及计算量比较大等问题。所以本实用新型中对传统的混合高斯模型有所改进。

在传统的混合高斯模型中，如果一个像素点的值较长时间不变，对应的模型的方差会变得很小，使得环境中的轻微光照变化都会造成大量的误检，而且对噪声很敏感，所以本实用新型采用固定方差，提高了算法的抗噪能力和计算效率。

针对模型不能快速适应光照变化的问题，本文在每一次模型更新操作中加入了模型调整策略，步骤如下：

(1)统计第一和第二个模型的均值差的绝对值之和

其中m₁表示第一个模型的均值，m₂表示第二个模型的均值，n为颜色通道的数量，i表示模型的第i个颜色通道，其中0＜i＜n。

(2)如果sum＜Th，Th是由用户根据需要设定的参数，则认为两个模型的均值相近，对第一个模型进行调整。调整公式如下：

m1_i＝(m1_i+m2_i)/2                (6)

w1_i＝w1_i/S                      (7)

根据公式(3)，模型的学习速率

通过降低模型的权值，可以提高模型的学习速率。同时调整模型的颜色值，让高斯模型能够更快地适应光照的变化，减少由于像素点的值的小幅度变化导致的误检的情况。

经过混合高斯模型进行检测和提取后的运动块中包含运动目标所在的窗口的状态信息和颜色信息，并将该运动块传送至所述目标跟踪模块22。如图3所示，所述目标跟踪模块22包括一个跟踪处理模块221，对每一帧中使用MeanShift算法计算出当前所有运动块的多个参数，比如运动块的坐标，质心位置参数，运动块的长、宽、高等，然后将当前存在的所有块的多个参数与前一帧中存在的各运动块的多个参数进行对应匹配，找到连续帧之间的运动块的对应关系，实现目标的跟踪。该跟踪处理模块221能有效地将所有运动块区分为背景目标和多个运动目标，从而将运动目标从背景总挖掘出来，并将跟踪结果发送给摘要生成模块23。

当保持背景图案不变，将运动目标在一段视频中的多个位置在同一帧中同时显示出来时，便能将一段视频表达为一个视频摘要的一帧。当多帧视频摘要连续播放时，便能将整个视频制作为视频摘要。

当所述运动块之间出现重叠或被遮挡时，所述目标跟踪模块22可能会丢失跟踪目标，或造成误判，所以所述目标跟踪模块22还可进一步包括预测滤波器222，预测滤波器222优选地采用卡尔曼滤波器修正跟踪结果中目标的坐标，，使得运动块在相互遮挡时，所述目标跟踪模块22仍然能继续准确跟踪，并将修正后的跟踪结果发送给摘要生成模块23。

所述目标跟踪模块22中的检测信息和跟踪信息均存入所述数据库模块3中，供所述摘要生成模块23制作摘要。所述摘要生成模块23调用数据库模块3中的数据，将一段视频图像中的运动块的多个位置集中于同一帧中同时显示出来，使该帧能够表达所述运动块在该段时间内的运动位置或轨迹，从而制成视频摘要的一帧。当所述摘要生成模块23将整个视频制作多个连续的视频摘要帧时，完成视频摘要的制作。

随着播放时间的不同，播放的目标会变换，所以所述摘要生成模块23进一步包括一个播放处理模块231，用以切换播放的运动块，以及运动块重叠时，进行透明处理。比如当某一运动块运动至视频区域边缘以外时，或某一新运动块运动至视频中时，采用目标轮询方式处理运动块的坐标，将该运动块从视频摘要图像中去除或加上，以实现运动块的播放切换；当运动块之间重叠时，采用颜色alpha混合方式实现将运动块之间重叠的部分的透明化，以便将被遮挡的部分显现出来，使播放的视频摘要更清晰，直观。

为了更直观的管理视频源文件，所述输出模块4可进一步设置摘要播放模块41和原视频播放模块42，所述摘要播放模块41接收由数据库模块导入的视频摘要，并将其导出，使用户快速浏览视频源文件的内容，当播放至用户需要的片段时，可点击摘要播放模块41，使之链接至相应的视频源文件片段，并通过所述原视频播放模块42播放，该模块接收由数据库模块导入的用于制作摘要的视频源文件，并将其播放出来，从而可以更加详细地查看视频源文件。为方便用户进行查询或导出视频摘要，所述输出模块4可进一步包括一个导出模块，接收由数据库模块导入的摘要属性报告或文件查询报表，并将摘要属性报告或文件查询报表导出为特定文件格式，便于打印或携带。

所述输入模块1包括在线输入模块11，用于接入并读取实时在线的视频源文件，并将其传送给所述摘要处理模块，进行即时的视频摘要处理，还可以包括离线输入模块12，用于接入并读取外接的离线的视频源文件，或读取自身存储的离线视频源文件，并将其传送给所述摘要处理模块。

为了更方便的管理制作的视频摘要和视频源文件，所述系统可进一步包括与各模块电连接的摘要管理模块5，用于查询、编辑或预览视频摘要，比如按时间或视频摘要中的运动块查询相关视频源文件；或对视频摘要和视频源文件进行分组、打包，以便导出；或采用图像预览的形式查看视频摘要。

Claims (10)

1.一种视频摘要系统，其特征在于：所述系统包括电连接的：

摘要处理模块，将接收到的视频源文件制作为视频摘要，

输入模块，与摘要处理模块电连接，接入并读取视频源文件，并将其传送给所述摘要处理模块，

数据库模块，与摘要处理模块电连接，用于存储所述摘要处理模块中生成的数据，

输出模块，与数据库模块电连接，用于播放和导出制作的视频摘要；

当所述输入模块读取视频源文件后，将所述视频源文件里面的视频信息传递给摘要处理模块，所述摘要处理模块根据所述视频信息制作视频摘要，并通过输出模块输出。

2.如权利要求1所述的视频摘要系统，其特征在于：所述摘要处理模块进一步包括相互电连接的

目标检测模块，将接收到的视频源文件采用混合高斯模型处理，并将其中的运动目标提取为一个运动块；

目标跟踪模块，将所述目标检测模块中的运动块，进行处理后并与上一帧中相对应的运动块进行匹配，实现目标的跟踪，并将跟踪结果及背景数据以列表形式存入所述数据库模块；

摘要生成模块，根据所述数据库模块中的数据列表，采用多线程方式，将运动块不同时间的视频截图同时显示于同一画面。

3.如权利要求2所述的视频摘要系统，其特征在于：所述混合高斯模型中的方差采用固定方差，并且在运动目标检测过程中对检测结果进行分析，动态调整高斯模型的参数，提高算法对环境的适应能力。

4.如权利要求2所述的视频摘要系统，其特征在于：所述目标跟踪模块进一步包括跟踪处理模块，与目标检测模块电连接，用于确定所述运动块的属性参数，并将其与前一帧中存在的运动块对应的参数进行匹配，实现目标的跟踪。

5.如权利要求4所述的视频摘要系统，其特征在于：所述属性参数包括运动块的坐标、质心、大小、颜色中的一元或多元。

6.如权利要求2所述的视频摘要系统，其特征在于：所述目标跟踪模块进一步包括预测滤波器，采用预测滤波器修正跟踪结果中目标的坐标，使相互遮挡的运动块能继续跟踪。

7.如权利要求6所述的视频摘要系统，其特征在于：所述预测滤波器为卡尔曼滤波器。

8.如权利要求2所述的视频摘要系统，其特征在于：所述摘要生成模块进一步包括播放处理模块，采用目标轮询方式处理运动块的坐标，以实现运动块的播放切换；采用颜色混合方式对运动块重叠部分的透明化处理。

9.如权利要求1所述的视频摘要系统，其特征在于：所述输出模块进一步包括：

摘要播放模块，接收由数据库模块导入的视频摘要，并将其导出；

原视频播放模块，接收由数据库模块导入的用于制作摘要的视频源文件，并将其导出；

导出模块，接收由数据库模块导入的摘要属性报告或文件查询报表，并将其导出。

10.如权利要求1所述的视频摘要系统，其特征在于：所述输入模块进一步包括：

在线输入模块，接入并读取实时在线的视频源文件，并将其传送给所述摘要处理模块，

离线输入模块，接入并读取离线的视频源文件，并将其传送给所述摘要处理模块。

Images