CN104394488A - 一种视频摘要的生成方法及系统 - Google Patents

Abstract

一种视频摘要的生成方法及系统，包括以下步骤：分割原始视频中的目标和背景；将发生过遮挡或粘连的目标划分为一组，其他目标各自为一组；根据原始视频确定待生成视频摘要的总时长；根据原始视频确定各个组在待生成视频摘要中的持续时长；根据待生成视频摘要的总时长以及各个组在待生成视频摘要中的持续时长，确定各个组在待生成视频摘要中的开始时刻；生成视频摘要。解决了针对目标的视频摘要生成方法中发生过遮挡或粘连的目标在视频摘要中会出现轨迹不完整、闪烁现象的技术问题。根据本发明的技术方案生成的视频摘要中，发生过遮挡或粘连的目标不仅各自具有完整的轨迹，还保持了其在原始视频中与其他目标的遮挡或粘连关系。

Description

一种视频摘要的生成方法及系统

技术领域

本发明涉及图像智能分析技术领域。具体地说，涉及一种视频摘要的生成方法及系统。

背景技术

在社会公共安全领域，视频监控系统成为维护社会治安，加强社会管理的一个重要组成部分。然而视频录像存在存储数据量大、存储时间长等特点，通过录像寻找线索、获取证据的传统做法要耗费大量人力、物力以及时间，效率极其低下，有可能导致错过最佳破案时机。因此在视频监控系统中，需要对原始视频进行浓缩，使得可以快速浏览视频并快速锁定检索对象，以满足公安、网监、刑侦的各种需求及应用。

视频摘要又称视频浓缩，是对视频内容的一个简单概括，以自动或半自动的方式，先通过运动目标分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，并将它们以某种方式进行组合。视频摘要在视频分析和基于内容的视频检索中扮演着重要角色。

现有技术中，有一种基于目标的视频摘要生成方法，这种方法打乱了不同目标在原始视频中的时间连续性，让原始视频不同时间出现的目标一同出现在视频摘要中，这种方法的优点在于能够全局地计算目标在视频摘要中的最佳出现时间，提高视频摘要的压缩率。但是当原始视频中的目标在某一刻发生粘连或遮挡等行为，且两个目标分割不开变成同一个目标时，跟踪只能延续其中的一个目标，在遮挡或粘连结束后，才能继续跟踪另一个目标，那么在视频摘要中，如果以目标为单位进行压缩，会导致其中一个目标的轨迹不完整，出现闪烁的现象。

发明内容

为此，本发明所要解决的技术问题在于当原始视频中目标发生遮挡或粘连时，利用现有的视频摘要生成方法仅能跟踪其中一个目标，而另一个目标在发生遮挡或粘连的这段时间的轨迹会缺失，视频摘要中会出现闪烁现象，从而提出一种能够完整展现发生过遮挡或粘连的目标的轨迹的视频摘要生成方法。

为解决上述技术问题，本发明提供了如下技术方案：

一种视频摘要的生成方法，包括以下步骤：

分割原始视频中的目标和背景；

将发生过遮挡或粘连的目标划分为一组，其他没有发生过粘连或遮挡的目标各自为一组；

根据原始视频确定待生成视频摘要的总时长；

根据原始视频确定各个组在待生成视频摘要中的持续时长，各个组内部各个目标的时空关系与原始视频中的一致；

根据待生成视频摘要的总时长以及各个组在待生成视频摘要中的持续时长，确定各个组在待生成视频摘要中的开始时刻；

根据各个组在待生成视频摘要中的持续时长以及各个组的开始时刻，生成视频摘要。

作为优化，利用背景建模方法来分割原始视频中的目标和背景。

作为优化，在分割原始视频中的目标和背景的步骤与将发生过遮挡或粘连的目标划分为一组、其他没有发生过粘连或遮挡的目标各自为一组的步骤之间还包括：在原始视频中，以目标为单位进行跟踪，判断目标之间是否发生过遮挡或粘连。

作为优化，通过以下公式来判断目标之间是否发生过遮挡或粘连：

$\mathrm{Cover}(\mathrm{Obj}1,\mathrm{Obj}2)=\left\{\begin{array}{cc}\mathrm{true},& \mathrm{CovArea}(b_t^i,b_{t+1}^k)>0\\ \mathrm{false},& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

其中，Obj1为在原始视频检测到的一个目标，Obj2为在原始视频中检测到的另一个目标，表示在t时刻检测到的Obj1，表示在t时刻检测到的Obj2，表示在t+1时刻才检测到的另一目标，表示与的重叠面积大于0，Cover(Obj1，Obj2)值为true时，则表示Obj1与Obj2发生遮挡或粘连；Cover(Obj1，Obj2)值为false时，则表示Obj1与Obj2没有发生遮挡或粘连。

作为优化，待生成视频摘要的总时长的确定是根据所有目标在原始视频中的空间分布以及原始视频的持续时长来确定的。

作为优化，待生成视频摘要的总时长由以下公式计算得到：

$M=\left({\mathrm{\Σ}}_{i\∈I,t\∈T}{b}_t^i\right)/s---\left(2\right)$

其中，M表示待生成视频摘要的总时长，s表示所有目标在原始视频图像范围内的分布总面积，T表示原始视频的持续时长，I表示在原始视频中t时刻检测到的目标总个数，表示在原始视频中t时刻检测到的第i个目标的面积。

作为优化，确定各个组在待生成视频摘要中的开始时刻的过程包括：

将每个组都初始化到待生成视频摘要的最开始时刻；

多次移动其中至少一个组的开始时刻，并计算每次移动后的代价值，代价值为将原始视频转换为视频摘要时其相关信息的损失度；

根据代价值最小的移动方案确定每个组在待生成视频摘要中的开始时刻。

作为优化，代价值包括在待生成视频摘要中移动后的组与背景之间的一致性损失度、移动后的两组在待生成视频摘要中的空间位置的重叠面积、组在待生成视频摘要中的活跃性损失度、移动后的两组在待生成视频摘要中的时间连续性损失度中的至少一个。

作为优化，将原始视频转换为视频摘要时的代价值通过以下公式计算所得：

$E\left(M\right)={\mathrm{\Σ}}_{g\∈G}(E_a\left(\hat{g}\right)+{\mathrm{\γE}}_s\left(\hat{g}\right))+{\mathrm{\Σ}}_{g,g\′\∈G}({\mathrm{\αE}}_t(\hat{g},\widehat{g\′})+{\mathrm{\βE}}_c(\hat{g},\widehat{g\′}))---\left(3\right)$

其中，E(M)表示代价值，M表示待生成视频摘要的总时长，G表示所有的组，g为其中一个组在原始视频中的标号、为其在待生成视频摘要中的标号，表示另一个组在原始视频中的编号、表示其在待生成视频摘要中的编号，表示组在待生成视频摘要中的活跃性损失度，表示在待生成视频摘要中移动后的组与背景之间的一致性损失度，表示移动后的组和在待生成视频摘要中的时间连续性损失度，表示移动后的组和在待生成视频摘要中的空间位置上的重叠面积，α、β、γ是常量系数。

作为优化，组在待生成视频摘要中的活跃性损失度为0。

作为优化，在待生成视频摘要中移动后的组与背景之间的一致性损失度通过以下公式计算所得：

$E_s\left(\hat{g}\right)=|L_o\left(\hat{g}\right)-L_s\left(\hat{g}\right)|---\left(4\right)$

其中，表示组在原始视频中对应的背景的亮度均值，表示组在待生成视频摘要中对应的背景的亮度均值。

作为优化，移动后的两组在待生成视频摘要中的时间连续性损失度通过以下公式计算所得：

$E_t(\hat{g},\widehat{g\′})=d(g,g\′)\·\left\{\begin{array}{cc}0,& t_g^s-t_{g\′}^s=t_{\hat{g}}^s-t_{\widehat{g\′}}^s\\ C,& \mathrm{otherwise}\end{array}\right.---\left(5\right)$

$d(g,g\′)=\left\{\begin{array}{cc}\exp \left({-\min }_{t\∈t_{\hat{g}}\∩t_{\widehat{g\′}}}\right\{d(g,g\′,t)\}/{\mathrm{\σ}}_{\mathrm{space}}),& t_{\hat{g}}\∩t_{\widehat{g\′}}\≠\∅\\ \exp (-(t_{\widehat{g\′}}^s-t_{\hat{g}}^s)/{\mathrm{\σ}}_{\mathrm{tims}}),& \mathrm{otherwise}\end{array}\right.---\left(6\right)$

其中，和分别表示组g和g′在原始视频中的开始时间，和分别表示组g和g′在待生成视频摘要中的开始时间，d(g，g′)表示组g和g′在待生成视频摘要中不能保持原始视频中的时间相对性时的时间连续性损失系数，和分别表示和在待生成视频摘要中所在的时间段，d(g，g′，t)表示组g和g′在时刻t的最小欧式距离，表示组在待生成视频摘要中的结束时间，表示待生成视频摘要中当组和所在的时间段没有重合且组的开始时刻在组的前面时将组的开始时间减去组的结束时间，σ_space、σ_time为常量系数。

作为优化，移动后的两组在待生成视频摘要中的空间位置的重叠面积通过以下公式计算所得：

$E_c(\hat{g},\widehat{g\′})={\mathrm{\Σ}}_{t=0}^M\mathrm{CoverArea}({\hat{g}}_t,\widehat{{g\′}_t})---\left(7\right)$

其中，分别表示在待生成视频摘要中组和在时刻t时的位置。

一种视频摘要的生成系统，包括：

分割模块：用于分割原始视频中的目标和背景；

组划分模块：用于将发生过遮挡或粘连的目标划分为一组，其他没有发生过粘连或遮挡的目标各自为一组；

第一确定模块：用于根据原始视频确定待生成视频摘要的总时长；

第二确定模块：用于确定各个组在待生成视频摘要中的持续时长；

第三确定模块：用于根据待生成视频摘要的总时长以及各个组在待生成视频摘要中的持续时长，确定各个组在待生成视频摘要中的开始时刻；

视频摘要生成模块：用于根据各个组在待生成视频摘要中的持续时长以及各个组的开始时刻，生成视频摘要。

作为优化，还包括判断模块：在原始视频中分割出目标和背景后，以目标为单位进行跟踪，来判断目标之间是否发生过遮挡或粘连。

作为优化，第一确定模块根据所有目标在原始视频中的空间分布以及原始视频的持续时长来计算待生成视频摘要的总时长。

作为优化，第三确定模块包括：

初始化单元：用于将每个组都初始化到待生成视频摘要的最开始时刻；

代价值计算单元，多次移动其中至少一个组的开始时刻，并计算每次移动后的代价值，代价值为将原始视频转换为视频摘要时其相关信息的损失度；

生成单元：用于根据代价值最小的移动方案确定每个组在待生成视频摘要中的开始时刻。

本发明的上述技术方案相比现有技术具有以下优点：

本发明提供的视频摘要生成方法，将发生过遮挡或粘连的目标划分为一组、其他目标各自为一组，以组为单位进行压缩。在视频摘要中，各个组内发生过遮挡或粘连的目标既保持了各自完整的轨迹，又保持了其在原始视频中与其他目标的遮挡或粘连关系，避免了闪烁现象的出现。

本发明提供的视频摘要生成方法，待生成视频摘要的总时长是根据原始视频的内容来计算的，其总时长更合理，还保留了所有目标的运动轨迹，避免了因某个目标的缺失而导致查找不到相应目标的情形。

本发明提供的视频摘要生成方法中，根据代价值最小的移动方案来生成视频摘要，尽量减少视频摘要中的目标遮挡面积，其目标密集度更均匀。

附图说明

图1是本发明一个实施例的一种视频摘要的生成方法流程图

图2是本发明一个实施例的一种视频摘要的生成系统图。

具体实施方式

为了使本技术领域的人员更好地理解本发明的内容，下面结合附图和实施例对本发明所提供的技术方案作进一步的详细描述。

实施例1

如图1所示，本实施例提供了一种视频摘要的生成方法，包括以下步骤：

S1：分割原始视频中的目标和背景。利用背景建模方法将原始视频中的动态目标和背景加以分割。并以分割出来的动态目标为单位进行跟踪，当其中两个目标在某一时刻发生遮挡，那么在对应的那一帧图像上出现了两个目标遮挡后形成的第三个目标，但是因为在前面的那个目标遮住了后面那个目标的全部或部分，在前面的那个目标在该帧图像中保持了自己的原有的轮廓和成像、后面那个目标的轮廓和成像的全部或部分在该帧图像中消失。因此当其中两个目标在某一时刻变成第三个目标，而这第三个目标因与之前两个目标中的一个目标相似度较大被判断为该目标时，则判断这两个目标在该时刻发生遮挡。同理可判断目标是否发生粘连。目标是否发生过遮挡或粘连具体可通过以下公式来确定：

$\mathrm{Cover}(\mathrm{Obj}1,\mathrm{Obj}2)=\left\{\begin{array}{cc}\mathrm{true},& \mathrm{CovArea}(b_t^i,b_{t+1}^k)>0\\ \mathrm{false},& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

其中，Obj1为在原始视频检测到的一个目标，Obj2为在原始视频中检测到的另一个目标，表示在t时刻检测到的Obj1，表示在t时刻检测到的Obj2，表示在t+1时刻才检测到的另一目标，表示与的重叠面积大于0，即目标上有部分与目标是基本一致的，Cover(Obj1，Obj2)值为true时，则表示Obj1与Obj2发生遮挡或粘连；Cover(Obj1，Obj2)值为false时，则表示Obj1与Obj2没有发生遮挡或粘连。

S2：根据目标是否发生过遮挡或粘连划分组。将发生过遮挡或粘连的目标划分为一组，其他没有发生过粘连或遮挡的目标各自为一组。

S3：根据原始视频确定待生成视频摘要的总时长。不同于现有技术中的待生成视频摘要的时长是指定的，本实施例中的待生成视频摘要的总时长，主要是根据所有目标在原始视频中的空间分布以及原始视频的持续时长来确定的。具体是由以下公式计算得到：

$M=\left({\mathrm{\Σ}}_{i\∈I,t\∈T}{b}_t^i\right)/s---\left(2\right)$

其中，M表示待生成视频摘要的总时长，s表示所有目标在原始视频图像范围内的分布总面积，T表示原始视频的持续时长，I表示在原始视频中t时刻检测到的目标总个数，表示在原始视频中t时刻检测到的第i个目标的面积。表示在原始视频中所有时刻检测到的所有目标面积之和。本实施例中根据原始视频来确定待生成视频摘要的总时长的方法，使得待生成视频摘要的总时长更合理，由此生成的视频摘要保留了所有目标的运动轨迹，避免了因某个目标缺失而导致查找不到相应目标的情形，并尽量多的保留了原始视频中目标的相关信息。优选地，本实施例中还根据每个组在原始视频中的持续时长对上述计算出的待生成视频摘要的总时长进行修正，若根据上述公式(2)计算出的待生成视频摘要的总时长小于原始视频中的所有组的最大持续时长，那么需要将待生成视频摘要的总时长确定为该组对应的持续时长，以保证原始视频中持续时长最大的组也能在即将生成的视频摘要中保留其完整的运动轨迹。

S4：根据原始视频确定各个组在待生成视频摘要中的持续时长，各个组内部各个目标的时空关系与原始视频中的一致。即各个组内部的各个目标之间其时间相对性保持不变、位置相对性也保持不变。

S5：根据待生成视频摘要的总时长以及各个组在待生成视频摘要中的持续时长，确定各个组在待生成视频摘要中的开始时刻。

S6：根据各个组在待生成视频摘要中的持续时长以及各个组的开始时刻，生成视频摘要。具体是根据各个组的持续时长以及其开始时刻将目标合并到相应的背景上，其中在待生成视频摘要中同一时间出现的目标按照其在原始视频中的空间位置合并到相应的背景上。为了避免在视觉上造成前景目标和背景的不匹配感，在组合目标和背景时，在前景目标的边缘部分进行透明化处理，以减少视觉上的不一致。

本实施例将发生过遮挡或粘连的目标划分为一组、其他目标各自为一组，以组为单位进行压缩。在视频摘要中，各个组内发生过遮挡或粘连的目标既保持了各自完整的轨迹，又保持了其在原始视频中与其他目标的遮挡或粘连关系，避免了闪烁现象的出现。

优选地，上述步骤S5可以包括：

S51，将每个组都初始化到待生成视频摘要的最开始时刻；

S52，多次移动其中至少一个组的开始时刻，并计算每次移动后的代价值，代价值为将原始视频转换为视频摘要时其相关信息的损失度，移动的次数需要足够多；

S53，根据代价值最小的移动方案确定每个组在待生成视频摘要中的开始时刻。

上述步骤S52中的移动次数足够多，即包含了尽量多的视频摘要生成方案，根据代价值最小的移动方案生成的视频摘要也就相对较合理，视频摘要中的目标遮挡最少，目标密集度更均匀，损失的相关信息也更少。其中，代价值包括在待生成视频摘要中移动后的组与背景之间的一致性损失度、移动后的两组在待生成视频摘要中的空间位置的重叠面积、组在待生成视频摘要中的活跃性损失度、移动后的两组在待生成视频摘要中的时间连续性损失度中的至少一个，代价值可以通过以下公式计算得到：

$E\left(M\right)={\mathrm{\Σ}}_{g\∈G}(E_a\left(\hat{g}\right)+{\mathrm{\γE}}_s\left(\hat{g}\right))+{\mathrm{\Σ}}_{g,g\′\∈G}({\mathrm{\αE}}_t(\hat{g},\widehat{g\′})+{\mathrm{\βE}}_c(\hat{g},\widehat{g\′}))---\left(3\right)$

其中，E(M)表示代价值，M表示待生成视频摘要的总时长，G表示所有的组，g为其中一个组在原始视频中的标号、为其在待生成视频摘要中的标号，g′表示另一个组在原始视频中的编号、表示其在待生成视频摘要中的编号，表示组在待生成视频摘要中的活跃性损失度，由于本实施例中待生成视频摘要的总时长是根据原始视频的内容自适应计算得到的，所有的目标都会在待生成视频摘要中出现且都会完整保留其在原始视频中的运动轨迹，因此值为0。表示在待生成视频摘要中移动后的组与背景之间的一致性损失度，表示移动后的组和在待生成视频摘要中的时间连续性损失度，表示移动后的组和在待生成视频摘要中的空间位置上的重叠面积，α、β、γ是常量系数。

在待生成视频摘要中，移动后的组与背景之间的一致性损失度通过以下公式计算所得：

$E_s\left(\hat{g}\right)=|L_o\left(\hat{g}\right)-L_s\left(\hat{g}\right)|---\left(4\right)$

其中，表示组在原始视频中对应的背景的亮度均值，表示组在待生成视频摘要中对应的背景的亮度均值。

移动后的两组在待生成视频摘要中的时间连续性损失度通过以下公式计算所得：

$E_t(\hat{g},\widehat{g\′})=d(g,g\′)\·\left\{\begin{array}{cc}0,& t_g^s-t_{g\′}^s=t_{\hat{g}}^s-t_{\widehat{g\′}}^s\\ C,& \mathrm{otherwise}\end{array}\right.---\left(5\right)$

$d(g,g\′)=\left\{\begin{array}{cc}\exp \left({-\min }_{t\∈t_{\hat{g}}\∩t_{\widehat{g\′}}}\right\{d(g,g\′,t)\}/{\mathrm{\σ}}_{\mathrm{space}}),& t_{\hat{g}}\∩t_{\widehat{g\′}}\≠\∅\\ \exp (-(t_{\widehat{g\′}}^s-t_{\hat{g}}^s)/{\mathrm{\σ}}_{\mathrm{tims}}),& \mathrm{otherwise}\end{array}\right.---\left(6\right)$

其中，和分别表示组g和g′在原始视频中的开始时间，和分别表示组g和g′在待生成视频摘要中的开始时间，d(g，g′)表示组g和g′在待生成视频摘要中不能保持原始视频中的时间相对性时的时间连续性损失系数，和分别表示和在待生成视频摘要中所在的时间段，d(g，g′，t)表示组g和g′在时刻t的最小欧式距离，表示组在待生成视频摘要中的结束时间，表示待生成视频摘要中当组和所在的时间段没有重合且组的开始时刻在组的前面时将组的开始时间减去组的结束时间，σ_space、σ_time为常量系数。

移动后的两组在待生成视频摘要中的空间位置的重叠面积通过以下公式计算所得：

$E_c(\hat{g},\widehat{g\′})={\mathrm{\Σ}}_{t=0}^M\mathrm{CoverArea}({\hat{g}}_t,\widehat{{g\′}_t})---\left(7\right)$

其中，分别表示在待生成视频摘要中组和在时刻t时的位置。

通过上述计算得到了各个组在待生成视频摘要中的开始时刻，根据该各个组在待生成视频摘要中的开始时刻生成的视频摘要其尽量多的保留了原始视频中的目标之间的时间相对性、组与背景的亮度的一致性，另外，当因组之间的时间相对性与原始视频中不完全一致而使得本来不同时出现的目标同时出现时，尽量地减少了目标之间的重叠面积，从而使得视频摘要中的目标密集度更均匀，也即保留了原始视频中尽量多的目标信息。

实施例2

如图2所示，本实施例提供了一种视频摘要的生成系统，包括：

分割模块M1：用于分割原始视频中的目标和背景。

组划分模块M3：用于将发生过遮挡或粘连的目标划分为一组，其他没有发生过粘连或遮挡的目标各自为一组。

第一确定模块M4：用于根据原始视频确定待生成视频摘要的总时长。

第二确定模块M5：用于确定各个组在待生成视频摘要中的持续时长。

第三确定模块M6：用于根据待生成视频摘要的总时长以及各个组在待生成视频摘要中的持续时长，确定各个组在待生成视频摘要中的开始时刻。

视频摘要生成模块M7：用于根据各个组在待生成视频摘要中的持续时长以及各个组的开始时刻，生成视频摘要。

利用本实施例提供的视频摘要的生成系统生成的视频摘要中，发生过遮挡或粘连的目标不仅各自具有完整的轨迹，还能保持其在原始视频中与其他目标的遮挡或粘连关系。

优选地，上述视频摘要的生成系统还可以包括判断模块M2，在原始视频中分割出目标和背景后，以目标为单位进行跟踪，来判断目标之间是否发生过遮挡或粘连。判断模块M2可以快速、准确地判断目标是否发生遮挡或粘连，组划分模块M3再根据判断模块M2的判断结果进行组的划分。

优选地，第一确定模块根据所有目标在原始视频中的空间分布以及原始视频的持续时长来计算待生成视频摘要的总时长，由此确定的待生成视频摘要的总时长更合理，生成的视频摘要保留了所有目标的运动轨迹，避免了因某个目标缺失而导致查找不到相应目标的情形，并尽量多的保留了原始视频中目标的相关信息。

优选地，第三确定模块包括：

初始化单元：用于将每个组都初始化到待生成视频摘要的最开始时刻；

代价值计算单元：多次移动其中至少一个组的开始时刻，并计算每次移动后的代价值，代价值为将原始视频转换为视频摘要时其相关信息的损失度；

生成单元：用于根据代价值最小的移动方案确定每个组在待生成视频摘要中的开始时刻。

确定足够多的视频摘要生成方案，各个方案之间，至少有一个组的开始时刻不同，并计算每个方案的代价值，那么最小代价值对应的视频摘要生成方案即为较优的视频摘要生成方案，由此生成的视频摘要中，其尽量多的保留了原始视频中目标之间的时间相对性、组与背景的亮度的一致性，另外，当因组之间的时间相对性与原始视频中不完全一致而使得本来不同时出现的目标同时出现时，尽量地减少了目标之间的重叠面积，从而使得视频摘要中的目标密集度更均匀，也即保留了原始视频中尽量多的目标信息。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (17)

1.一种视频摘要的生成方法，其特征在于包括以下步骤：

分割原始视频中的目标和背景；

将发生过遮挡或粘连的所述目标划分为一组，其他没有发生过粘连或遮挡的所述目标各自为一组；

根据所述原始视频确定待生成视频摘要的总时长；

根据所述原始视频确定各个组在所述待生成视频摘要中的持续时长，所述各个组内部各个目标的时空关系与所述原始视频中的一致；

根据所述待生成视频摘要的总时长以及各个组在所述待生成视频摘要中的持续时长，确定各个组在所述待生成视频摘要中的开始时刻；

根据各个组在所述待生成视频摘要中的持续时长以及所述各个组的开始时刻，生成所述视频摘要。

2.如权利要求1所述的视频摘要的生成方法，其特征在于，利用背景建模方法来分割所述原始视频中的目标和背景。

3.如权利要求1所述的视频摘要的生成方法，其特征在于，在所述分割原始视频中的目标和背景的步骤与所述将发生过遮挡或粘连的所述目标划分为一组、其他没有发生过粘连或遮挡的所述目标各自为一组的步骤之间还包括：在所述原始视频中，以所述目标为单位进行跟踪，判断所述目标之间是否发生过遮挡或粘连。

4.如权利要求3所述的视频摘要的生成方法，其特征在于，通过以下公式来判断所述目标之间是否发生过遮挡或粘连：

$\mathrm{Cover}(\mathrm{Obj}1,\mathrm{Obj}2)=\left\{\begin{array}{cc}\mathrm{true},& \mathrm{CovArea}(b_t^i,b_{t+1}^k)>0\\ \mathrm{false},& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

其中，Obj1为在所述原始视频检测到的一个目标，Obj2为在所述原始视频中检测到的另一个目标，表示在t时刻检测到的Obj1，表示在t时刻检测到的Obj2，表示在t+1时刻才检测到的另一目标，表示与的重叠面积大于0，Cover(Obj1，Obj2)值为true时，则表示Obj1与Obj2发生遮挡或粘连；Cover(Obj1，Obj1)值为false时，则表示Obj1与Obj2没有发生遮挡或粘连。

5.如权利要求1所述的视频摘要的生成方法，其特征在于，所述待生成视频摘要的总时长的确定是根据所有目标在所述原始视频中的空间分布以及所述原始视频的持续时长来确定的。

6.如权利要求5所述的视频摘要的生成方法，其特征在于，所述待生成视频摘要的总时长由以下公式计算得到：

$M=\left({\mathrm{\Σ}}_{i\∈I,t\∈T}{b}_t^i\right)/s---\left(2\right)$

其中，M表示所述待生成视频摘要的总时长，s表示所有目标在所述原始视频图像范围内的分布总面积，T表示所述原始视频的持续时长，I表示在所述原始视频中t时刻检测到的目标总个数，表示在所述原始视频中t时刻检测到的第i个目标的面积。

7.如权利要求1所述的视频摘要的生成方法，其特征在于，所述确定各个组在所述待生成视频摘要中的开始时刻的过程包括：

将每个组都初始化到所述待生成视频摘要的最开始时刻；

多次移动其中至少一个组的开始时刻，并计算每次移动后的代价值，所述代价值为将所述原始视频转换为所述视频摘要时其相关信息的损失度；

根据所述代价值最小的移动方案确定每个组在所述待生成视频摘要中的开始时刻。

8.如权利要求7所述的视频摘要的生成方法，其特征在于，所述代价值包括在所述待生成视频摘要中移动后的组与背景之间的一致性损失度、移动后的两组在所述待生成视频摘要中的空间位置的重叠面积、组在所述待生成视频摘要中的活跃性损失度、移动后的两组在所述待生成视频摘要中的时间连续性损失度中的至少一个。

9.如权利要求8所述的视频摘要的生成方法，其特征在于，所述将所述原始视频转换为所述视频摘要时的代价值通过以下公式计算所得：

$E\left(M\right)={\mathrm{\Σ}}_{g\∈G}(E_a\left(\hat{g}\right)+\mathrm{\γ}{E}_s\left(\hat{g}\right))+{\mathrm{\Σ}}_{g,g^{\′}\∈G}(\mathrm{\α}{E}_t(\hat{g},\widehat{g^{\′}})+{\mathrm{\βE}}_c(\hat{g},\widehat{g^{\′}}))---\left(3\right)$

其中，E(M)表示所述代价值，M表示所述待生成视频摘要的总时长，G表示所有的组，g为其中一个组在所述原始视频中的标号、为其在所述待生成视频摘要中的标号，g′表示另一个组在所述原始视频中的编号、表示其在所述待生成视频摘要中的编号，表示组在所述待生成视频摘要中的活跃性损失度，表示在所述待生成视频摘要中移动后的组与背景之间的一致性损失度，表示移动后的组和在所述待生成视频摘要中的时间连续性损失度，表示移动后的组和在所述待生成视频摘要中的空间位置上的重叠面积，α、β、γ、是常量系数。

10.如权利要求9所述的视频摘要的生成方法，其特征在于，所述组在所述待生成视频摘要中的活跃性损失度为0。

11.如权利要求9所述的视频摘要的生成方法，其特征在于，所述在所述待生成视频摘要中移动后的组与背景之间的一致性损失度通过以下公式计算所得：

$E_s\left(\hat{g}\right)=|L_o\left(\hat{g}\right)-L_s\left(\hat{g}\right)|---\left(4\right)$

其中，表示组在所述原始视频中对应的背景的亮度均值，表示组在所述待生成视频摘要中对应的背景的亮度均值。

12.如权利要求9所述的视频摘要的生成方法，其特征在于，所述移动后的两组在所述待生成视频摘要中的时间连续性损失度通过以下公式计算所得：

$E_t(\hat{g},\widehat{g^{\′}})=d(g,g^{\′})\·\left\{\begin{array}{cc}0,& t_g^s-t_{g^{\′}}^s=t_{\hat{g}}^s-t_{\widehat{g^{\′}}}^s\\ C,& \mathrm{otherwise}\end{array}\right.---\left(5\right)$

其中，和分别表示组g和g′在所述原始视频中的开始时间，和分别表示组g和g′在所述待生成视频摘要中的开始时间，d(g，g′)表示组g和g′在所述待生成视频摘要中不能保持所述原始视频中的时间相对性时的时间连续性损失系数，和分别表示和在所述待生成视频摘要中所在的时间段，d(g，g′，t)表示组g和g′在时刻t的最小欧式距离，表示组在所述待生成视频摘要中的结束时间，表示所述待生成视频摘要中当组和所在的时间段没有重合且组的开始时刻在组的前面时将组的开始时间减去组的结束时间，σ_space、σ_time为常量系数。

13.如权利要求9所述的视频摘要的生成方法，其特征在于，所述移动后的两组在所述待生成视频摘要中的空间位置的重叠面积通过以下公式计算所得：

$E_c\left(\widehat{g,}\widehat{g^{\′}}\right)={\mathrm{\Σ}}_{t=0}^M\mathrm{CoverArea}({\hat{g}}_t,\widehat{g_t^{\′}})$

其中，分别表示在所述待生成视频摘要中组和在时刻t时的位置。

14.一种视频摘要的生成系统，其特征在于包括：

分割模块：用于分割所述原始视频中的目标和背景；

组划分模块：用于将发生过遮挡或粘连的所述目标划分为一组，其他没有发生过粘连或遮挡的所述目标各自为一组；

第一确定模块：用于根据所述原始视频确定所述待生成视频摘要的总时长；

第二确定模块：用于确定各个组在所述待生成视频摘要中的持续时长；

第三确定模块：用于根据所述待生成视频摘要的总时长以及各个组在所述待生成视频摘要中的持续时长，确定各个组在所述待生成视频摘要中的开始时刻；

视频摘要生成模块：用于根据各个组在所述待生成视频摘要中的持续时长以及所述各个组的开始时刻，生成所述视频摘要。

15.如权利要求14所述的视频摘要的生成系统，其特征在于，还包括判断模块：在所述原始视频中分割出目标和背景后，以所述目标为单位进行跟踪，来判断所述目标之间是否发生过遮挡或粘连。

16.如权利要求14所述的视频摘要的生成系统，其特征在于，所述第一确定模块根据所有目标在所述原始视频中的空间分布以及所述原始视频的持续时长来计算所述待生成视频摘要的总时长。

17.如权利要求14所述的视频摘要的生成系统，其特征在于，所述第三确定模块包括：

初始化单元：用于将每个组都初始化到所述待生成视频摘要的最开始时刻；

代价值计算单元：多次移动其中至少一个组的开始时刻，并计算每次移动后的代价值，所述代价值为将所述原始视频转换为所述视频摘要时其相关信息的损失度；

生成单元：用于根据所述代价值最小的移动方案确定每个组在所述待生成视频摘要中的开始时刻。