CN103096185A - 一种视频摘要生成方法和装置 - Google Patents

Abstract

本发明提出了一种视频摘要生成方法，包括步骤：获取用户指定的意向区域的位置信息，确定意向区域；对所述意向区域的图像进行前景检测；对检测到的目标进行跟踪，提取目标的运动轨迹；将目标的运动轨迹的各帧图像分别叠加到对应的背景上，生成视频摘要。本发明还提供一种视频摘要生成装置，包括用户交互模块、前景检测模块、跟踪模块和生成模块。用户交互模块，用于获取用户指定的意向区域的位置信息；前景检测模块，用于对意向区域的图像进行前景检测；跟踪模块，用于对检测到的目标进行跟踪，提取目标的轨迹；生成模块，用于将目标的运动轨迹的各帧图像分别叠加到对应的背景上，生成视频摘要。该方法和装置，有效地提高了视频摘要的生成速度。

Description

一种视频摘要生成方法和装置

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种视频摘要生成方法和装置。

背景技术

在社会公共安全领域，视频监控系统成为维护社会治安、加强社会管理的一个重要组成部分。然而视频录像存在存储数据量大、存储时间长等特点，通过录像寻找线索，获取证据，依照传统的做法逐一浏览相关视频，是要耗费大量人力、物力以及时间的，效率极其低下，以至于错过最佳破案时机。因此在视频监控系统中，对原始视频进行浓缩，可以快速浏览，锁定检索对象，对于公安加快破案速度，提高大案、要案的破案效率具有重要指导意义。

而现有技术中，对视频浓缩所采用的方式为以自动或半自动的方式，先通过运动目标分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，并将它们以某种方式进行组合形成视频摘要。而很多情况下，公安机关所关注的仅为提取出的多个目标中的一个，其他目标的出现则会分散公安机关工作人员的注意力，造成干扰。

综上所述，现有技术中的视频浓缩技术，存在无关目标干扰视频浏览的技术问题。

发明内容

本发明提出了一种视频摘要生成方法和装置，通过获取用户的意向区域，只对意向区域内的图像进行前景检测，防止了该区域外的其他无关目标的干扰。

为了达到上述目的，本发明的技术方案是这样实现的：

本发明提供一种视频摘要生成方法，包括步骤：

步骤A，获取用户指定的意向区域的位置信息，确定意向区域；

步骤B，对所述意向区域的图像进行前景检测；

步骤C，对检测到的目标进行跟踪，提取目标的运动轨迹；

步骤D，将目标的运动轨迹的各帧图像分别叠加到对应的背景上，生成视频摘要。

其中，所述步骤B中进行前景检测包括步骤：

利用混合高斯函数对图像进行背景建模，提取运动的目标。

其中，所述步骤利用混合高斯函数对图像进行背景建模，提取运动的目标还包括对光照和阴影进行处理，包括步骤：

当拍摄环境中的单位时间内光照变化幅度超过预设阈值时，将判定为背景点的像素的取值范围缩小为原来的0.4-0.6倍；

用大于阴影区域的像素的阈值将图像二值化，去除阴影。

其中，所述步骤C中对检测到的目标进行跟踪包括步骤：

遍历当前帧检测到的所有目标，和上一帧图像所检测到的目标进行比较，若满足如下条件：

S_cross>min(S_pre,S_temp)×R

S_cross=Width_cross×Height_cross

Width_cross=min(right_pre,right_temp)-max(left_pre,left_temp)

Height_cross=min(Bottom_pre,Bottom_temp)-max(Top_pre,Top_temp)

其中，S_cross为前后两帧的交叉面积，Width_cross为投影到水平方向上的交叉部分的长度；Height_cross为投影到垂直方向上的交叉部分的长度；right_pre为前一帧轮廓的右边界的值；right_temp为当前帧轮廓的右边界的值；left_pre为前一帧轮廓的左边界的值；left_temp为当前帧轮廓的左边界的值；Bottom_pre为前一帧轮廓的下边界的值；Bottom_temp为当前帧轮廓的下边界的值；Top_pre为前一帧轮廓的上边界的值；Top_temp为当前帧轮廓的上边界的值；所述R为交叉比例；

则判定当前帧的目标与上一帧关联，更新轨迹；若不满足该条件，则判定不关联，产生新的轨迹，若上一帧图像存在没有和当前帧检测的目标关联上的轨迹，则终止该轨迹的跟踪，并将该轨迹存储。

其中，所述步骤A还包括步骤：

获取用户指定的排除区域的位置信息；

所述步骤B还包括步骤：

对所述排除区域外的图像进行前景检测。

其中，所述步骤B还包括步骤：

更新背景；

根据提取到的目标的数目，按照目标数目越多则前景检测的频率越高、背景更新频率越低的原则，调整前景检测的频率和背景更新的频率。

其中，所述步骤调整前景检测的频率和背景更新的频率包括步骤：

当提取到的目标数目为零时，隔3-6帧进行一次前景检测，背景每一帧更新一次；

当提取到的目标数目为1-3个时，隔2帧进行一次前景检测，背景每两帧更新一次；

当提取到的目标数目为3个以上时，每帧都进行前景检测，背景每三帧更新一次。

其中，所述步骤A中确定意向区域包括步骤：

当用户指定一条直线时，则以该直线为对称轴的矩形区域作为意向区域；

当用户指定一个点时，则以该点为中心将周围预设距离内的区域作为意向区域；

当用户指定一个多边形或者不规则形状时，则该多边形或者不规则形内的区域作为意向区域。

本发明还提供一种视频摘要生成装置，包括用户交互模块、前景检测模块、跟踪模块和生成模块；所述用户交互模块，用于获取用户指定的意向区域的位置信息，确定意向区域；所述前景检测模块，用于对所述意向区域的图像进行前景检测；所述跟踪模块，用于对检测到的目标进行跟踪，提取目标的轨迹；所述生成模块，用于将目标的运动轨迹的各帧图像分别叠加到对应的背景上，生成视频摘要。

其中，所述用户交互模块，还用于获取用户指定的排除区域的位置信息。

可见，本发明至少具有如下的有益效果：

本发明的一种视频摘要生成方法和装置，通过获取用户指定的意向区域的位置信息，确定意向区域，并对意向区域的图像进行前景检测，对检测到的目标进行跟踪，提取目标的轨迹，将轨迹分别叠加到对应的背景上，生成视频摘要，这样，进行前景检测以及跟踪等算法步骤，都只针对意向区域内的图像，从而提取出的目标也都只是意向区域内的目标，而对用户没有意义的其他运动目标则不会出现在视频摘要中，从而防止了无关目标对用户的干扰；

另外，只对意向区域内的图像进行前景检测、轨迹提取等操作，无需对整帧图像都进行运算，从而减少了运算量，也就加快了运算的速度，进而提高了视频摘要生成的速度，而摘要的快速生成，为公安机关抓住时机尽快破案提供了有利条件；

进一步地，采用混合高斯函数进行前景检测，保证了前景检测的精度，同时，对光照和阴影分别处理，防止了由于光照的变化较大而对视频的前景提取造成不利影响，而阴影的处理，也使得视频更加清晰，更易观察；

进一步地，还可由用户指定排除区域，这样，用户在比较确定不需要观察某些区域时，可以将这些区域指定为排除区域，同样可以减少了无关目标的干扰，提高运算速度；

进一步地，还对前景检测和背景更新的频率进行调整，这样，根据不同的情况进行区别处理，在保证准确度的前提下，尽量减少运算量，从而进一步加快了视频摘要的生成速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的视频摘要生成方法的实施例一的流程图；

图2为本发明的视频摘要生成方法的实施例二的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例一提供一种视频摘要生成方法，参见图1所示，包括步骤：

步骤S110，获取用户指定的意向区域的位置信息，确定意向区域。

意向区域，也就是用户感兴趣的区域，针对某段特定的视频，用户可能只关心经过某个区域或者跨越某条线的运动的目标，故首先设置感兴趣区域，在做目标检测与跟踪时，只关心感兴趣区域内经过的目标。

其中意向区域可以为任意多边形，也可以为一条线，或者几条直线确定的封闭区域。

优选地，在本实施例中，当用户指定一条直线时，则以该直线为对称轴的矩形区域作为意向区域；当用户指定一个点时，则以该点为中心将周围预设距离内的区域作为意向区域；当用户指定一个多边形或者不规则形状时，则该多边形或者不规则形内的区域作为意向区域。其中所述预设距离，可以为该点周围几十至几百个像素点的距离，具体可由本领域技术人员根据实际情况具体决定，本实施例不做限定。

步骤S111，对所述意向区域的图像进行前景检测。

前景检测可采用多种相关算法，例如混合高斯背景模型、SACON（SAMPLECONSENSUS）等，本实施例不一一列举。

步骤S112，对检测到的目标进行跟踪，提取目标的运动轨迹。

跟踪过程，也可采用多种算法，例如较为简单的最邻近方法、多目标跟踪算法、边缘跟踪算法等等。

步骤S113，将目标的运动轨迹的各帧图像分别叠加到对应的背景上，生成视频摘要。

根据提取出的运动目标的轨迹和存储的背景图像，按照轨迹出现的时间关系和空间关系对轨迹进行排列，然后将运动的目标轨迹叠加到存储的背景图像上，生成摘要。

采用本实施例一提供的方法，进行视频摘要的生成，能够有效地防止无关目标的妨碍，并且减少了运算量，提高了运算速度。

实施例二

本发明实施例二提供了一种视频摘要生成方法，参见图2所示，包括步骤：

步骤S210：获取用户指定的意向区域和/或排除区域的位置信息，确定意向区域。

用户还可以设置排除区域，排除区域，即用户不关心的区域，排除区域可以为树叶晃动的区域，也可以为一些死角不可能出现运动目标的区域。

当用户所指定的意向区域内，仍然存在一些不需要进行处理的区域时，则可在指定的意向区域内再次指定一个排除区域，从而更加减少运算量，提高运算速度。

或者，当用户不明确目标所要出现的区域范围，只明确目标不会在哪出现时，则可不指定意向区域，仅指定排除区域，这样在保证视频不丢掉信息的同时，提高运算速度。

步骤S211：对所述意向区域的图像利用混合高斯函数进行背景建模，提取运动的目标。

利用混合高斯对图像进行背景建模，提取运动的前景，其中可以根据视频场景选择混合高斯函数所采用的数目，对于阴影可以单独训练一个高斯模型。

单高斯背景建模函数为

$f(x;\mathrm{\μ};\mathrm{\σ})=\mathrm{\φexp}(\frac{{-(x-\mathrm{\μ})}^2}{{2\mathrm{\σ}}^2}$

混合高斯背景建模以单高斯背景建模为基础，包括步骤：

1）首先初始化混合模型参数，包括初始化每个高斯模型的所占权重和每个高斯模型的均值和标准差。

其中权重的初始化就是对背景的分布进行先验概率的估值，在初始化的时候，一般将第一个高斯模型的权重取较大，其他就相应的取值较小，即：

${\mathrm{\ω}}_k(x,y,1)=\left\{\begin{array}{cc}W& k=1\\ (1-W)/(K-1)& k\≠1\end{array}\right.$

其中第一个高斯模型的均值等于输入视频的第一帧对应的的像素值或处理单位的平均值，即：

${\mathrm{\&mu;}}_k(x,y,l,1)=\left\{\begin{array}{cc}I(x,y,l,1)& k=1\\ 0& k\&NotEqual;1\end{array}\right.$ 0<k<=K

K个高斯模型的方差v：

σ_k ²(x,y,1)=var    k=1,2,...,K

所有高斯模型的初始方差都是相等的，即：σ_k ²(x,y,1)=var  k=1,2,...,K

var取值直接与该视频的动态特性相关。

2）更新高斯模型参数

遍历每个高斯模型，比较下式：

(I(x,y,l,f)-μ_k(x,y,l,f-1))²<c*σ_k(x,y,f-1)²

如果对于所有的颜色分量都成立，那么就把该像素归于第B个高斯模型，否则，就不属于任何一个高斯模型，这就相当于出现了野点。以上两种情况都需要做相应的更新。

对于所有颜色分量都成立这一情况，相应的更新步骤为：

该情况表示当前的像素点的值满足第B个高斯分布，那么这个像素并不一定属于背景，需要判定这第B个高斯分布是否满足以下条件：

$\underset{n=1}{\overset{B}{\mathrm{\&Sigma;}}}{w}_B(x,y,f)<\mathrm{Threshold}$

则说明该像素点属于背景点，否则就属于前景点。

如果该像素属于背景点，那么就说明第B个背景分布输出了一个采样值，这时所有分布都需要进行参数更新。

对应的第B个高斯模型参数更新如下：

w_B(x,y,f)=(1-α)*w_B(x,y,f-1)+α

μ_B(x,y,l,f)=(1-β)*μ_B(x,y,l,f-1)+β*I(x,y,l,f)

σ_B ²(x,y,f)=(1-β)*σ_B ²(x,y,f-1)+β*(I(：)-μ_B(:))^T*(I(：)-μ_B(:))

其余的高斯模型只改变权值，均值和方差都保持不变，即：

w_k(x,y,f)=(1-α)*w_k(x,y,f-1)    k≠B

β=αη(I(x,y,:,f)|μ_B,σ_B)

野点指的是该像素值不符合任何一个高斯分布，此时我们把该像素点看成是视频中出现的新情况，用这种新情况来代替第K个高斯分布，其权重和均值以及方差都按照初始化思路确定，也就是分配一个较小的权重，和一个较大的方差，即：

w_K(x,y,f)=(1-W)/(K-1)

μ_K(x,y,l,f)=I(x,y,l,f)

σ_K(x,y,l,f)=var

同时确定该点是前景点。前景点极为每一个目标的像素点。

优选地，还包括对光照和阴影进行处理，包括步骤：

当拍摄环境中的单位时间内光照变化幅度超过预设阈值，即光照变化很大时，将判定为背景点的像素的取值范围缩小为原来的0.4-0.6倍，优选地，为0.5倍。

其中单位时间内光照变化幅度的预设阈值可由本领域技术人员根据实际需要具体确定，例如该预设阈值可以为10-15lx/s（勒克斯/秒）。

对于阴影，则用大于阴影区域的像素的阈值将图像二值化，去除阴影。

其中，前景检测的频率以及背景更新的频率可以根据目标数目进行调整。

根据提取到的目标的数目，按照目标数目越多则前景检测的频率越高、背景更新频率越低的原则，调整前景检测的频率和背景更新的频率。

例如，当提取到的目标数目为零时，隔3-6帧进行一次前景检测，背景每一帧更新一次；当提取到的目标数目为1-3个时，隔2帧进行一次前景检测，背景每两帧更新一次；当提取到的目标数目为3个以上时，每帧都进行前景检测，背景每三帧更新一次。

步骤S212：对检测到的目标进行跟踪，提取目标的运动轨迹。

对检测到的前后两帧的目标分别进行轨迹关联，轨迹产生，和轨迹消失判别。遍历当前帧检测到的所有前景，和所有轨迹的上一帧结果进行比较，若满足如下条件：

S_cross>min(S_pre,S_temp)×R

其中S_cross=Width_cross×Height_cross为前后两帧的交叉面积，所述R为交叉比例，在本实施例中，R可以取经验阈值0.4。

Width_cross=min(right_pre,right_temp)-max(left_pre,left_temp)

Height_cross=min(Bottom_pre,Bottom_temp)-max(Top_pre,Top_temp)

Width_cross为投影到水平方向上的交叉部分的长度；Height_cross为投影到垂直方向上的交叉部分的长度；right_pre为前一帧轮廓的右边界的值；right_temp为当前帧轮廓的右边界的值；left_pre为前一帧轮廓的左边界的值；left_temp为当前帧轮廓的左边界的值；Bottom_pre为前一帧轮廓的下边界的值；Bottom_temp为当前帧轮廓的下边界的值；Top_pre为前一帧轮廓的上边界的值；Top_temp为当前帧轮廓的上边界的值。

若满足上述条件，则判定当前帧的某个前景与上一帧存储的轨迹关联上，更新轨迹，若没关联上，则产生新的轨迹，若有没有和当前帧检测的前景关联上的轨迹，则终止该轨迹进行下次操作，将轨迹存储下来，用于后续生成视频摘要。

例如，如果确定到两个人体轮廓的交织面积S_cross>min(S_pre,S_temp)×R，则认为是同一个人体轮廓。

步骤S213：将目标的运动轨迹的各帧图像分别叠加到对应的背景上，生成视频摘要。

实施例三

本发明实施例三提供一种视频摘要生成装置，包括用户交互模块、前景检测模块、跟踪模块和生成模块。

所述用户交互模块，用于获取用户指定的意向区域的位置信息，确定意向区域；所述前景检测模块，用于对所述意向区域的图像进行前景检测；所述跟踪模块，用于对检测到的目标进行跟踪，提取目标的轨迹；

所述生成模块，用于将目标的运动轨迹的各帧图像分别叠加到对应的背景上，生成视频摘要。

其中，所述前景检测模块，用于利用混合高斯函数对图像进行背景建模，提取运动的前景。优选地，还包括光照处理模块和阴影处理模块；所述光照处理模块，用于当拍摄环境中的光照变化很大时，将判定为背景点的像素的取值范围缩小为原来的0.4-0.6倍；所述阴影处理模块，用于用大于阴影区域的像素的阈值将图像二值化，去除阴影。

优选地，所述用户交互模块，还用于获取用户指定的排除区域的位置信息。

视频摘要提取的目的是为了能够快速的浏览视频中出现的运动的目标，所以对视频摘要的生成时间要快。本发明提出了一种通过设置感兴趣区域和排除区域的方法，首先设置用户关心的感兴趣区域，设置用户不关心的排除区域，根据用户设定的感性区域和排除区域进行前景检测，然后利用混合高斯背景建模进行前景检测，即每帧都进行前景检测与背景更新，然后对检测到的目标进行跟踪，提取运动目标的轨迹，根据提取到的目标的数目，自适应调整前景检测与背景更新的间隔，每隔一段时间存储一帧背景，并且存储所有轨迹的图像，最后利用提取出的运动的目标图像和存储的背景图生成摘要，这样，提高生成摘要的速度，并且去除了一些无关的轨迹。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种视频摘要生成方法，其特征在于，包括步骤：

步骤A，获取用户指定的意向区域的位置信息，确定意向区域；

步骤B，对所述意向区域的图像进行前景检测；

步骤C，对检测到的目标进行跟踪，提取目标的运动轨迹；

步骤D，将目标的运动轨迹的各帧图像分别叠加到对应的背景上，生成视频摘要。

2.根据权利要求1所述的方法，其特征在于，所述步骤B中进行前景检测包括步骤：

利用混合高斯函数对图像进行背景建模，提取运动的目标。

3.根据权利要求3所述的方法，其特征在于，所述步骤利用混合高斯函数对图像进行背景建模，提取运动的目标还包括对光照和阴影进行处理，包括步骤：

当拍摄环境中的单位时间内光照变化幅度超过预设阈值时，将判定为背景点的像素的取值范围缩小为原来的0.4-0.6倍；

用大于阴影区域的像素的阈值将图像二值化，去除阴影。

4.根据权利要求1所述的视频摘要生成方法，其特征在于，所述步骤C中对检测到的目标进行跟踪包括步骤：

遍历当前帧检测到的所有目标，和上一帧图像所检测到的目标进行比较，若满足如下条件：

S_cross>min(S_pre,S_temp)×R

S_cross=Width_cross×Height_cross

Width_cross=min(right_pre,right_temp)-max(left_pre,left_temp)

Height_cross=min(Bottom_pre,Bottom_temp)-max(Top_pre,Top_temp)

其中，S_cross为前后两帧的交叉面积，Width_cross为投影到水平方向上的交叉部分的长度；Height_cross为投影到垂直方向上的交叉部分的长度；right_pre为前一帧轮廓的右边界的值；right_temp为当前帧轮廓的右边界的值；left_pre为前一帧轮廓的左边界的值；left_temp为当前帧轮廓的左边界的值；Bottom_pre为前一帧轮廓的下边界的值；Bottom_temp为当前帧轮廓的下边界的值；Top_pre为前一帧轮廓的上边界的值；Top_temp为当前帧轮廓的上边界的值；所述R为交叉比例；

则判定当前帧的目标与上一帧关联，更新轨迹；若不满足该条件，则判定不关联，产生新的轨迹，若上一帧图像存在没有和当前帧检测的目标关联上的轨迹，则终止该轨迹的跟踪，并将该轨迹存储。

5.根据权利要求1所述的视频摘要生成方法，其特征在于，所述步骤A还包括步骤：

获取用户指定的排除区域的位置信息；

所述步骤B还包括步骤：

对所述排除区域外的图像进行前景检测。

6.根据权利要求1所述的视频摘要生成方法，其特征在于，所述步骤B还包括步骤：

更新背景；

根据提取到的目标的数目，按照目标数目越多则前景检测的频率越高、背景更新频率越低的原则，调整前景检测的频率和背景更新的频率。

7.根据权利要求6所述的视频摘要生成方法，其特征在于，所述步骤调整前景检测的频率和背景更新的频率包括步骤：

当提取到的目标数目为零时，隔3-6帧进行一次前景检测，背景每一帧更新一次；

当提取到的目标数目为1-3个时，隔2帧进行一次前景检测，背景每两帧更新一次；

当提取到的目标数目为3个以上时，每帧都进行前景检测，背景每三帧更新一次。

8.根据权利要求1所述的视频摘要生成方法，其特征在于，所述步骤A中确定意向区域包括步骤：

当用户指定一条直线时，则以该直线为对称轴的矩形区域作为意向区域；

当用户指定一个点时，则以该点为中心将周围预设距离内的区域作为意向区域；

当用户指定一个多边形或者不规则形状时，则该多边形或者不规则形内的区域作为意向区域。

9.一种视频摘要生成装置，其特征在于，包括用户交互模块、前景检测模块、跟踪模块和生成模块；

所述用户交互模块，用于获取用户指定的意向区域的位置信息，确定意向区域；

所述前景检测模块，用于对所述意向区域的图像进行前景检测；

所述跟踪模块，用于对检测到的目标进行跟踪，提取目标的轨迹；

所述生成模块，用于将目标的运动轨迹的各帧图像分别叠加到对应的背景上，生成视频摘要。

10.根据权利要求9所述的视频摘要生成装置，其特征在于，所述用户交互模块，还用于获取用户指定的排除区域的位置信息。

Images