CN103092963A - 一种视频摘要生成方法和装置 - Google Patents

Abstract

本发明提出了一种视频摘要生成方法，包括步骤：对每帧图像进行前景检测，检测出前景中的目标；对检测到的目标进行跟踪，提取目标的运动轨迹；将目标按照该目标的颜色信息划分为不同类；分别对每一类目标进行轨迹排列，分别叠加到对应的背景上，生成视频摘要。本发明还提供一种视频摘要生成装置，包括前景检测模块、跟踪模块、分类模块和生成模块；前景检测模块，用于对每帧图像进行前景检测，检测出前景中的目标；跟踪模块，用于对目标进行跟踪，提取运动轨迹；分类模块，将目标按照颜色信息划分为不同类；生成模块，用于分别对每一类目标进行轨迹排列，分别叠加到对应的背景上，生成视频摘要。该方法和装置，能够有效地防止无关目标的干扰。

Description

一种视频摘要生成方法和装置

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种视频摘要生成方法和装置。

背景技术

在社会公共安全领域，视频监控系统成为维护社会治安、加强社会管理的一个重要组成部分。然而视频录像存在存储数据量大、存储时间长等特点，通过录像寻找线索，获取证据，依照传统的做法逐一浏览相关视频，是要耗费大量人力、物力以及时间的，效率极其低下，以至于错过最佳破案时机。因此在视频监控系统中，对原始视频进行浓缩，可以快速浏览，锁定检索对象，对于公安加快破案速度，提高大案、要案的破案效率具有重要指导意义。

而现有技术中，对视频浓缩所采用的方式为以自动或半自动的方式，先通过运动目标分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，并将它们以某种方式进行组合形成视频摘要。

而很多情况下，公安机关所关注的仅为提取出的多个目标中的一个，其他目标的出现则会分散公安机关工作人员的注意力，造成干扰。

综上所述，现有技术中的视频浓缩技术，存在无关目标干扰视频浏览的技术问题。

发明内容

本发明提出了一种视频摘要生成方法和装置，防止了无关目标对视频浏览的干扰。

为了达到上述目的，本发明的技术方案是这样实现的：

一种视频摘要生成方法，其特征在于，包括步骤：

步骤A，对每帧图像进行前景检测，检测出前景中的目标；

步骤B，对检测到的目标进行跟踪，提取目标的运动轨迹；

步骤C，将目标按照该目标的颜色信息划分为不同类；

步骤D，分别对每一类目标进行轨迹排列，分别叠加到对应的背景上，生成视频摘要。

其中，所述步骤C包括步骤：

将每一像素点的RGB颜色空间转换到HSV空间；

根据每一像素点转换后的HSV空间的h分量、v分量和s分量的具体数值，确定该像素点的颜色；

统计每一目标的像素点颜色，将众数的颜色作为该目标的颜色；

将h分量划分为多个区间，根据目标的颜色的h分量所属的区间，将目标划分为不同类。

其中，所述步骤将每一像素点的RGB颜色空间转换到HSV空间包括步骤：

按照如下公式，根据每一像素点的r分量、g分量和b分量的值，计算该像素点的h分量、s分量和v分量的值：

$h=\left\{\begin{array}{cc}0& \max =\min \\ 60\&times;\frac{g-b}{\max -\min }& \max =r,g\&GreaterEqual;b\\ 60\&times;\frac{g-b}{\max -\min }+360& \max =r,g<b\\ 60\&times;\frac{b-r}{\max -\min }+120& \max =g\\ 60\&times;\frac{r-g}{\max -\min }+240& \max =b\end{array}\right.$

$s=\left\{\begin{array}{cc}0& \max =0\\ \frac{\max -\min }{\max }& \mathrm{otherwise}\end{array}\right.$ v=max

max=max(r,g,b)

min=min(r,g,b)；

其中r为一个像素点r分量的值，g为一个像素点g分量的值，b为一个像素点b分量的值，h为一个像素点h分量的值，s为一个像素点s分量的值，v为一个像素点v分量的值。

其中，所述步骤根据每一像素点转换后的HSV空间的h分量、v分量和s分量的具体数值，确定该像素点的颜色包括步骤：

将v分量小于第一阈值的像素点确定为黑色；

将v分量大于第二阈值并且s分量小于第三阈值的像素点确定为白色；

将v分量在第一阈值和第二阈值之间且v分量小于第三阈值的像素点确定为灰色，其他颜色为彩色；

对于彩色，将h分量的值从0到360均匀划分为6个区间，即[0，60)、[60，120)、[120，180)、[180，240)、[240，300)和[300，360)，根据彩色像素点h分量的值所落入的区间，确定该像素点的颜色。

其中，所述步骤A还包括步骤：

当拍摄环境中的单位时间内光照变化幅度超过预设阈值时，将判定为背景点的像素的取值范围缩小为原来的0.4-0.6倍；

用大于阴影区域的像素的阈值将图像二值化，去除阴影。

其中，所述步骤B中对检测到的目标进行跟踪包括步骤：

遍历当前帧检测到的所有目标，和上一帧图像所检测到的目标进行比较，若满足如下条件：

S_cross>min(S_pre,S_temp)×R

S_cross=Width_cross×Height_cross

Width_cross=min(right_pre,right_temp)-max(left_pre,left_temp)

Height_cross=min(Bottom_pre,Bottom_temp)-max(Top_pre,Top_temp)

其中，Scross为前后两帧的交叉面积，Width_cross为投影到水平方向上的交叉部分的长度；Height_cross为投影到垂直方向上的交叉部分的长度；right_pre为前一帧轮廓的右边界的值；right_temp为当前帧轮廓的右边界的值；left_pre为前一帧轮廓的左边界的值；left_temp为当前帧轮廓的左边界的值；Bottom_pre为前一帧轮廓的下边界的值；Bottom_temp为当前帧轮廓的下边界的值；Top_pre为前一帧轮廓的上边界的值；Top_temp为当前帧轮廓的上边界的值；所述R为交叉比例；

则判定当前帧的目标与上一帧关联，更新轨迹；若不满足该条件，则判定不关联，产生新的轨迹，若上一帧图像存在没有和当前帧检测的目标关联上的轨迹，则终止该轨迹的跟踪，并将该轨迹存储。

其中，所述步骤B还包括步骤：

更新背景；

根据提取到的目标的数目，按照目标数目越多则前景检测的频率越高、背景更新频率越低的原则，调整前景检测的频率和背景更新的频率。

其中，所述步骤调整前景检测的频率和背景更新的频率包括步骤：

当提取到的目标数目为零时，隔3-6帧进行一次前景检测，背景每一帧更新一次；

当提取到的目标数目为1-3个时，隔2帧进行一次前景检测，背景每两帧更新一次；

当提取到的目标数目为3个以上时，每帧都进行前景检测，背景每三帧更新一次。

本发明还提供一种视频摘要生成装置，包括前景检测模块、跟踪模块、分类模块和生成模块；

所述前景检测模块，用于对每帧图像进行前景检测，检测出前景中的目标；

所述跟踪模块，用于对检测到的目标进行跟踪，提取目标的运动轨迹；

所述分类模块，将目标按照该目标的颜色信息划分为不同类；

所述生成模块，用于分别对每一类目标进行轨迹排列，分别叠加到对应的背景上，生成视频摘要。

其中，所述分类模块，用于将每一像素点的RGB颜色空间转换到HSV空间，并根据每一像素点转换后的HSV空间的h分量、v分量和s分量的具体数值，确定该像素点的颜色；统计每一目标的像素点颜色，将众数的颜色作为该目标的颜色；将h分量划分为多个区间，根据目标的颜色的h分量所属的区间，将目标划分为不同类。

可见，本发明至少具有如下的有益效果：

本发明的一种视频摘要生成方法和装置，基于目标的颜色特征，将不同颜色的目标进行分类，分别生成视频摘要，由于在实际情况中，公安机关想要观察的目标对象，其外观或者外貌、穿着等特征往往在整个过程中始终是一致的，拍摄成图像后主要体现为该目标的颜色始终一致，而不同的目标之间的颜色一致的概率非常低，因此，根据各目标的颜色特征，将前景中的目标进行分类，将每一类都单独生成视频摘要，浏览视频时，可单独对每一个目标进行观察，防止了其他目标的干扰；

另外，若公安机关已经知道了目标对象的外貌或者外观特征，则可以根据目标对象的颜色特征，选择对应的视频摘要进行浏览，提高了浏览效率，从而为更快破案争取了时间；

进一步地，对光照和阴影分别处理，防止了由于光照的变化较大而对视频的前景提取造成不利影响，而阴影的处理，也使得视频更加清晰，更易观察；

进一步地，还对前景检测和背景更新的频率进行调整，这样，根据不同的情况进行区别处理，在保证准确度的前提下，尽量减少运算量，从而进一步加快了视频摘要的生成速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的视频摘要生成方法的实施例一的流程图；

图2为本发明的视频摘要生成方法的实施例二的流程图；

图3为本发明的视频摘要生成装置的一个实施例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例一提供一种视频摘要生成方法，参见图1所示，包括步骤：

步骤S110，对每帧图像进行前景检测，检测出前景中的目标。

前景检测可采用多种相关算法，例如混合高斯背景模型、SACON（SAMPLE CONSENSUS）等，本实施例不一一列举。

步骤S111，对检测到的目标进行跟踪，提取目标的运动轨迹。

跟踪过程，也可采用多种算法，例如较为简单的最邻近方法、多目标跟踪算法、边缘跟踪算法等等。

步骤S112，将目标按照该目标的颜色信息划分为不同类。

由于不同的目标对象，往往具有不同的颜色特征，因此，根据各目标对象的颜色信息，可对不同的目标进行区分，各自单独生成视频，从而防止了目标之间的相互干扰。

例如可以分出红色，绿色，蓝色，黄色等几类，本领域技术人员可以根据本发明的技术构思，实现多种颜色划分方式，本发明不一一列举。

步骤S113，分别对每一类目标进行轨迹排列，分别叠加到对应的背景上，生成视频摘要。

根据提取出的每一类的运动目标的轨迹和存储的背景图像，按照轨迹出现的时间关系和空间关系对轨迹进行排列，然后将运动的目标轨迹叠加到存储的背景图像上，生成摘要。

本实施例一提供的方法，首先进行背景建模，检测运动的前景，对物体进行跟踪，获得物体的轨迹，然后根据物体的颜色信息，对物体进行分类。可以分出红色，绿色，蓝色，黄色等等几类，然后分别对每类进行物体进行轨迹排列，生成摘要，如此，可实现对不同颜色的目标的单独观察，防止其他目标干扰。

实施例二

本发明实施例二提供了一种视频摘要生成方法，参见图2所示，包括步骤：

步骤S210：对所述意向区域的图像利用混合高斯函数进行背景建模，提取前景中的目标。

利用混合高斯对图像进行背景建模，提取运动的前景，其中可以根据视频场景选择混合高斯函数所采用的数目，对于阴影可以单独训练一个高斯模型。

单高斯背景建模函数为

$f(x;\mathrm{\&mu;};\mathrm{\&sigma;})=\mathrm{\&phi;exp}(\frac{-{(x-\mathrm{\&mu;})}^2}{{2\mathrm{\&sigma;}}^2}$

混合高斯背景建模以单高斯背景建模为基础，包括步骤：

1）首先初始化混合模型参数，包括初始化每个高斯模型的所占权重和每个高斯模型的均值和标准差。

其中权重的初始化就是对背景的分布进行先验概率的估值，在初始化的时候，一般将第一个高斯模型的权重取较大，其他就相应的取值较小，即：

${\mathrm{\&omega;}}_k=(x,y,1)=\left\{\begin{array}{cc}W& k=1\\ (1-W)/(K-1)& k\&NotEqual;1\end{array}\right.$

其中第一个高斯模型的均值等于输入视频的第一帧对应的的像素值或处理单位的平均值，即：

${\mathrm{\&mu;}}_k(x,y,l,1)=\left\{\begin{array}{cc}I(x,y,l,1)& k=1\\ 0& k\&NotEqual;1\end{array}\right.$ 0＜k＜=K

K个高斯模型的方差v：

${{\mathrm{\&sigma;}}_k}^2(x,y,1)=\mathrm{var}$ k=1,2,...,K

所有高斯模型的初始方差都是相等的，即：

k=1,2,...,K

var取值直接与该视频的动态特性相关。

2）更新高斯模型参数

遍历每个高斯模型，比较下式：

(I(x,y,l,f)-μ_k(x,y,l,f-1))²<c*σ_k(x,y,f-1)²

如果对于所有的颜色分量都成立，那么就把该像素归于第B个高斯模型，否则，就不属于任何一个高斯模型，这就相当于出现了野点。以上两种情况都需要做相应的更新。

对于所有颜色分量都成立这一情况，相应的更新步骤为：

该情况表示当前的像素点的值满足第B个高斯分布，那么这个像素并不一定属于背景，需要判定这第B个高斯分布是否满足以下条件：

$\underset{n=1}{\overset{B}{\mathrm{\&Sigma;}}}{w}_B(x,y,f)<\mathrm{Threshold}$

则说明该像素点属于背景点，否则就属于前景点。

如果该像素属于背景点，那么就说明第B个背景分布输出了一个采样值，这时所有分布都需要进行参数更新。

对应的第B个高斯模型参数更新如下：

w_B(x,y,f)=(1-α)*w_B(x,y,f-1)+α

μ_B(x,y,l,f)=(1-β)*μ_B(x,y,l,f-1)+β*I(x,y,l,f)

σ_B ²(x,y,f)=(1-β)*σ_B ²(x,y,f-1)+β*(I(:)-μ_B(:))^T*(I(:)-μ_B(:))

其余的高斯模型只改变权值，均值和方差都保持不变，即：

w_k(x,y,f)=(1-α)*w_k(x,y,f-1)k≠B

β=αη(I(x,y,:,f)|μ_B,σ_B)

野点指的是该像素值不符合任何一个高斯分布，此时我们把该像素点看成是视频中出现的新情况，用这种新情况来代替第K个高斯分布，其权重和均值以及方差都按照初始化思路确定，也就是分配一个较小的权重，和一个较大的方差，即：

w_K(x,y,f)=(1-W)/(K-1)

μ_K(x,y,l,f)=I(x,y,l,f)

σ_K(x,y,l,f)=var

同时确定该点是前景点。前景点极为每一个目标的像素点。

优选地，还包括对光照和阴影进行处理，包括步骤：

当拍摄环境中的单位时间内光照变化幅度超过预设阈值，即光照变化很大时，将判定为背景点的像素的取值范围缩小为原来的0.4-0.6倍，优选地，为0.5倍。

其中单位时间内光照变化幅度的预设阈值可由本领域技术人员根据实际需要具体确定，例如该预设阈值可以为10-15lx/s（勒克斯/秒）。

对于阴影，则用大于阴影区域的像素的阈值将图像二值化，去除阴影。

其中，前景检测的频率以及背景更新的频率可以根据目标数目进行调整。

根据提取到的目标的数目，按照目标数目越多则前景检测的频率越高、背景更新频率越低的原则，调整前景检测的频率和背景更新的频率。

例如，当提取到的目标数目为零时，隔3-6帧进行一次前景检测，背景每一帧更新一次；当提取到的目标数目为1-3个时，隔2帧进行一次前景检测，背景每两帧更新一次；当提取到的目标数目为3个以上时，每帧都进行前景检测，背景每三帧更新一次。

步骤S211：对检测到的目标进行跟踪，提取目标的运动轨迹。

对检测到的前后两帧的目标分别进行轨迹关联，轨迹产生，和轨迹消失判别。遍历当前帧检测到的所有前景，和所有轨迹的上一帧结果进行比较，若满足如下条件：

S_cross>min(S_pre,S_temp)×R

其中S_cross=Width_cross×Height_cross为前后两帧的交叉面积，所述R为交叉比例，在本实施例中，R可以取经验阈值0.4。

Width_cross=min(right_pre,right_temp)-max(left_pre,left_temp)

Height_cross=min(Bottom_pre,Bottom_temp)-max(Top_pre,Top_temp)

Width_cross为投影到水平方向上的交叉部分的长度；Height_cross为投影到垂直方向上的交叉部分的长度；right_pre为前一帧轮廓的右边界的值；right_temp为当前帧轮廓的右边界的值；left_pre为前一帧轮廓的左边界的值；left_temp为当前帧轮廓的左边界的值；Bottom_pre为前一帧轮廓的下边界的值；Bottom_temp为当前帧轮廓的下边界的值；Top_pre为前一帧轮廓的上边界的值；Top_temp为当前帧轮廓的上边界的值。

若满足上述条件，则判定当前帧的某个前景与上一帧存储的轨迹关联上，更新轨迹，若没关联上，则产生新的轨迹，若有没有和当前帧检测的前景关联上的轨迹，则终止该轨迹进行下次操作，将轨迹存储下来，用于后续生成视频摘要。

例如，如果确定到两个人体轮廓的交织面积S_cross>min(S_pre,S_temp)×R，则认为是同一个人体轮廓。

步骤S212：将目标的每一像素点的RGB颜色空间转换到HSV空间后划分为不同类。

先将物体图像每个像素投影到HSV空间。然后对物体图像进行统计。用统计表中的众数的颜色代表物体的颜色，将H维空间分为6个区间，也就是6类。根据物体颜色在H空间的位置，确定物体的类别。具体步骤如下：

首先，将每一像素点的RGB颜色空间转换到HSV空间。

按照如下公式，根据每一像素点的r分量、g分量和b分量的值，计算该像素点的h分量、s分量和v分量的值：

$h=\left\{\begin{array}{cc}0& \max =\min \\ 60\&times;\frac{g-b}{\max -\min }& \max =r,g\&GreaterEqual;b\\ 60\&times;\frac{g-b}{\max -\min }+360& \max =r,g<b\\ 60\&times;\frac{b-r}{\max -\min }+120& \max =g\\ 60\&times;\frac{r-g}{\max -\min }+240& \max =b\end{array}\right.$

$s=\left\{\begin{array}{cc}0& \max =0\\ \frac{\max -\min }{\max }& \mathrm{otherwise}\end{array}\right.$

v=max

max=max(r,g,b)

min=min(r,g,b)；

其中r为一个像素点r分量的值，g为一个像素点g分量的值，b为一个像素点b分量的值，h为一个像素点h分量的值，s为一个像素点s分量的值，v为一个像素点v分量的值。

之后，根据每一像素点转换后的HSV空间的h分量、v分量和s分量的具体数值，确定该像素点的颜色。

将v分量小于第一阈值的像素点确定为黑色；将v分量大于第二阈值并且s分量小于第三阈值的像素点确定为白色；将v分量在第一阈值和第二阈值之间且v分量小于第三阈值的像素点确定为灰色，其他颜色为彩色。

对于彩色，将h分量的值从0到360均匀划分为6个区间，即[0，60)、[60，120)、[120，180)、[180，240)、[240，300)和[300，360)，根据彩色像素点h分量的值所落入的区间，确定该像素点的颜色。

统计每一目标的像素点颜色，将众数的颜色作为该目标的颜色。

例如，若统计出一个目标中绿色像素点的个数超过整体像素点数的一半，则将绿色作为该目标的颜色。

将h分量划分为多个区间，根据目标的颜色的h分量所属的区间，将目标划分为不同类。

例如，若目标的颜色确定为绿色，由于绿色的色调值为120，因此，该目标应落入这一区间。即色调值在[120，180)之内的目标会生成在同一视频摘要上，而不同区间的目标，生成不同的视频摘要。

很明显，关于区间的划分，本领域技术人员还有其他多种实施方式，例如，还可以划分为12种，各区间的h分量（色调值）分别为[0，30)、[30，60)、[60，90)、[90，120)、[120，150)、[150，180)、[180，210)、[210，240)、[240，270)、[270，300)、[300，330)、[330，360)。

显然还可以为3种、18种、24种等等，即前景中的所有目标可以分为3类、6类、12类、18类、24类等。

步骤S213：分别对每一类目标进行轨迹排列，分别叠加到对应的背景上，生成视频摘要。

实施例三

本发明实施例三提供一种视频摘要生成装置，参见图3，包括前景检测模块、跟踪模块、分类模块和生成模块。

所述前景检测模块，用于对每帧图像进行前景检测，检测出前景中的目标；所述跟踪模块，用于对检测到的目标进行跟踪，提取目标的运动轨迹；所述分类模块，将目标按照该目标的颜色信息划分为不同类；所述生成模块，用于分别对每一类目标进行轨迹排列，分别叠加到对应的背景上，生成视频摘要。

其中，所述分类模块，用于将每一像素点的RGB颜色空间转换到HSV空间，并根据每一像素点转换后的HSV空间的h分量、v分量和s分量的具体数值，确定该像素点的颜色；统计每一目标的像素点颜色，将众数的颜色作为该目标的颜色；将h分量划分为多个区间，根据目标的颜色的h分量所属的区间，将目标划分为不同类。

视频摘要提取的目的是为了能够快速的浏览视频中出现的运动的目标，本发明的基于颜色特征的视频摘要生成方法与装置，先对要处理的视频进行高斯背景建模，提取出运动的目标轨迹，一般情况下，意向目标往往在运动过程中始终保持相同的颜色特征，因此，对检测到的体按颜色进行分类，生成视频摘要，这样以颜色为区别特征，对不同目标进行划分，实现了目标的单独观察，防止了其他无关目标的干扰。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种视频摘要生成方法，其特征在于，包括步骤：

步骤A，对每帧图像进行前景检测，检测出前景中的目标；

步骤B，对检测到的目标进行跟踪，提取目标的运动轨迹；

步骤C，将目标按照该目标的颜色信息划分为不同类；

步骤D，分别对每一类目标进行轨迹排列，分别叠加到对应的背景上，生成视频摘要。

2.根据权利要求1所述的视频摘要生成方法，其特征在于，所述步骤C包括步骤：

将每一像素点的RGB颜色空间转换到HSV空间；

根据每一像素点转换后的HSV空间的h分量、v分量和s分量的具体数值，确定该像素点的颜色；

统计每一目标的像素点颜色，将众数的颜色作为该目标的颜色；

将h分量划分为多个区间，根据目标的颜色的h分量所属的区间，将目标划分为不同类。

3.根据权利要求2所述的视频摘要生成方法，其特征在于，所述步骤将每一像素点的RGB颜色空间转换到HSV空间包括步骤：

按照如下公式，根据每一像素点的r分量、g分量和b分量的值，计算该像素点的h分量、s分量和v分量的值：

$h=\left\{\begin{array}{cc}0& \max =\min \\ 60\&times;\frac{g-b}{\max -\min }& \max =r,g\&GreaterEqual;b\\ 60\&times;\frac{g-b}{\max -\min }+360& \max =r,g<b\\ 60\&times;\frac{b-r}{\max -\min }+120& \max =g\\ 60\&times;\frac{r-g}{\max -\min }+240& \max =b\end{array}\right.$

$s=\left\{\begin{array}{cc}0& \max =0\\ \frac{\max -\min }{\max }& \mathrm{otherwise}\end{array}\right.$

v=max

max=max(r,g,b)

min=min(r,g,b)；

其中r为一个像素点r分量的值，g为一个像素点g分量的值，b为一个像素点b分量的值，h为一个像素点h分量的值，s为一个像素点s分量的值，v为一个像素点v分量的值。

4.根据权利要求2所述的方法，其特征在于，所述步骤根据每一像素点转换后的HSV空间的h分量、v分量和s分量的具体数值，确定该像素点的颜色包括步骤：

将v分量小于第一阈值的像素点确定为黑色；

将v分量大于第二阈值并且s分量小于第三阈值的像素点确定为白色；

将v分量在第一阈值和第二阈值之间且v分量小于第三阈值的像素点确定为灰色，其他颜色为彩色；

对于彩色，将h分量的值从0到360均匀划分为6个区间，即[0，60)、[60，120)、[120，180)、[180，240)、[240，300)和[300，360)，根据彩色像素点h分量的值所落入的区间，确定该像素点的颜色。

5.根据权利要求1所述的方法，其特征在于，所述步骤A还包括步骤：

当拍摄环境中的单位时间内光照变化幅度超过预设阈值时，将判定为背景点的像素的取值范围缩小为原来的0.4-0.6倍；

用大于阴影区域的像素的阈值将图像二值化，去除阴影。

6.根据权利要求1所述的视频摘要生成方法，其特征在于，所述步骤B中对检测到的目标进行跟踪包括步骤：

遍历当前帧检测到的所有目标，和上一帧图像所检测到的目标进行比较，若满足如下条件：

S_cross>min(S_pre,S_temp)×R

S_cross=Width_cross×Height_cross

Width_cross=min(right_pre,right_temp)-max(left_pre,left_temp)

Height_cross=min(Bottom_pre,Bottom_temp)-max(Top_pre,Top_temp)

其中，Scross为前后两帧的交叉面积，Width_cross为投影到水平方向上的交叉部分的长度；Height_cross为投影到垂直方向上的交叉部分的长度；right_pre为前一帧轮廓的右边界的值；right_temp为当前帧轮廓的右边界的值；left_pre为前一帧轮廓的左边界的值；left_temp为当前帧轮廓的左边界的值；Bottom_pre为前一帧轮廓的下边界的值；Bottom_temp为当前帧轮廓的下边界的值；Top_pre为前一帧轮廓的上边界的值；Top_temp为当前帧轮廓的上边界的值；所述R为交叉比例；

则判定当前帧的目标与上一帧关联，更新轨迹；若不满足该条件，则判定不关联，产生新的轨迹，若上一帧图像存在没有和当前帧检测的目标关联上的轨迹，则终止该轨迹的跟踪，并将该轨迹存储。

7.根据权利要求1所述的视频摘要生成方法，其特征在于，所述步骤B还包括步骤：

更新背景；

根据提取到的目标的数目，按照目标数目越多则前景检测的频率越高、背景更新频率越低的原则，调整前景检测的频率和背景更新的频率。

8.根据权利要求7所述的视频摘要生成方法，其特征在于，所述步骤调整前景检测的频率和背景更新的频率包括步骤：

当提取到的目标数目为零时，隔3-6帧进行一次前景检测，背景每一帧更新一次；

当提取到的目标数目为1-3个时，隔2帧进行一次前景检测，背景每两帧更新一次；

当提取到的目标数目为3个以上时，每帧都进行前景检测，背景每三帧更新一次。

9.一种视频摘要生成装置，其特征在于，包括前景检测模块、跟踪模块、分类模块和生成模块；

所述前景检测模块，用于对每帧图像进行前景检测，检测出前景中的目标；

所述跟踪模块，用于对检测到的目标进行跟踪，提取目标的运动轨迹；

所述分类模块，将目标按照该目标的颜色信息划分为不同类；

所述生成模块，用于分别对每一类目标进行轨迹排列，分别叠加到对应的背景上，生成视频摘要。

10.根据权利要求9所述的视频摘要生成装置，其特征在于，所述分类模块，用于将每一像素点的RGB颜色空间转换到HSV空间，并根据每一像素点转换后的HSV空间的h分量、v分量和s分量的具体数值，确定该像素点的颜色；统计每一目标的像素点颜色，将众数的颜色作为该目标的颜色；将h分量划分为多个区间，根据目标的颜色的h分量所属的区间，将目标划分为不同类。

Images