CN107613410A - 一种应用于变电监控视频中的视频摘要生成方法 - Google Patents

Abstract

本发明提供一种应用于变电监控视频中的视频摘要生成方法，其对输入视频中的运动目标进行算法分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，并将它们以某种方式进行组合，生成一段视频摘要，生成的新的视频将大大缩短原始视频的播放时间，实现在几分钟的时间内，对一个小时的原始视频的查看，压缩后的视频里只有我们关注的运动目标，如运动的巡检工作人员等等。本发明通过对视频内容进行巡检工作人员和其他物体的区分，进行时间和空间的压缩，能大大缩短浏览时间，极大地节省存储空间，减小专网的传输负荷，提高监控人员的工作效率。

Description

一种应用于变电监控视频中的视频摘要生成方法

技术领域

本发明涉及图像处理与模式识别技术领域，具体是一种应用于变电监控视频中的视频摘要生成方法。

背景技术

随着科技水平的提高，各变电站都采用了无人值守的方式。在变电站监控中心，对于关注目标的监控完全靠人工盯着，难免出现遗漏的情况，而且在发生事故后浏览视频查找问题时，需要耗费大量的人力、精力。然而在变电站监控视频中大多数的场景都是静止不动的，只有少数有目标发生变化的图像是我们所关注的。如果有一种方法可以对这些海量视频进行压缩，压缩后的视频里只有我们关注的运动目标，如运动的人、突然跳闸的断路器等等，就可以大大提高监控人员的工作效率。

发明内容

本发明提供一种应用于变电监控视频中的视频摘要生成方法，通过对视频内容进行巡检工作人员和其他物体的区分，进行时间和空间的压缩，能大大缩短浏览时间，极大地节省存储空间，减小专网的传输负荷，提高监控人员的工作效率。

本发明公开了一种应用于变电监控视频中的视频摘要生成方法，包括如下步骤：

步骤1：对监控视频的图像进行预处理：读入视频帧后，采取基于降采样和高斯模糊对读入的视频帧进行降噪预处理；

步骤2：基于视频抖动处理的目标检测，得到运动目标轮廓信息；

步骤3：利用步骤2得到的运动目标轮廓信息提取运动目标的HOG特征，此外还提取HOG描述子、SIFT特征关键点、SIFT描述子、质心位置；

步骤4：根据步骤3提取到的运动目标的HOG描述子判断步骤2检测得到的运动目标是否为巡检工作人员，根据判断结果巡检工作人员标志；

步骤5：跟踪算法在混合高斯背景建模中背景差分算法趋于稳定后开始创建各个前景物体的数据块，为每个运动目标分配标签，用一个数据结构保存各物体的标签、HOG描述子、SIFT特征关键点、SIFT描述子、质心位置、轮廓信息、物体图像、包围框、巡检工作人员标志，在进行跟踪算法时，当前帧中的运动目标在提取目标特征后会与跟踪目标进行匹配，若匹配成功则给对应运动目标分配与其匹配的跟踪目标相同的标签，以此来表示他们是同一目标，若匹配失败则会生成新的标签，将该运动目标作为新的跟踪目标，标签的运用主要是为表征目标出现的时序信息；

步骤6：以标签为索引的运动目标运动轨迹的生成：当每一帧跟踪算法结束时，对运动轨迹结构体进行维护和更新，运动轨迹结构体包含标签、开始帧、结束帧、运动过程中的所有运动目标图像和位置信息，运动轨迹结构体用标签作为索引，一个标签对应一段运动轨迹；

步骤7：对步骤6生成的运动轨迹进行过滤，将最长运动轨迹的长度确定为最终运动目标视频摘要的长度；

步骤8：使用模拟退火算法把步骤7中筛选后的运动轨迹进行时空上的优化组合，得到优化后的运动轨迹结构体S；

步骤9：生成摘要视频：首先读入背景模型维护的背景图像，根据输出视频的容器类型决定视频编码方式，然后对于由步骤7决定的摘要视频长度的每一帧创建一幅图像，先贴入背景图像，接着遍历由步骤7中处理完每一帧进行数据更新时维护的运动轨迹结构体S，由运动轨迹结构体S的begin_frame成员和模拟退火算法得到的开始帧计算是否要在当前帧中贴入该运动轨迹的图像，合成完图像后将图像追加到输出视频中。

进一步的，步骤1中对于视频帧大于“640像素*480像素”的视频进行降采样操作。

进一步的，步骤2具体为：首先运用混合高斯背景建模方法计算运动像素点图像，运动像素点图像为一副黑白灰度图，其中白色像素点代表运动像素点，黑色像素点代表背景像素点，接着进行视频抖动处理：通过统计运动像素点占整个视频的像素点个数的百分比，设定判断视频是否抖动的最小阈值和自适应调整阈值，其中设定最小阈值为7％，自适应调整阈值＝最小阈值+1.5*从视频开始到现在统计运动像素点占整个视频的像素点个数的百分比，当统计运动像素点占整个视频的像素点个数的百分比大于自适应调整阈值时，认为视频发生抖动，不提取运动目标轮廓信息，否则提取运动目标轮廓信息。

进一步的，运动目标轮廓信息的提取使用连通区域分割方法，具体步骤是：遍历运动像素点图像，当访问到一个运动像素点时，使用种子填充法找到所有属于同一运动团块的像素点并使用数字编号进行标记，使用这种方法遍历完整个运动像素点图像时所有的运动团块都打上不同的数字标记，标有相同数字的所有像素点即构成一个运动目标,而目标轮廓即为最外层的一圈像素点集。

进一步的，步骤5中对运动目标和跟踪目标之间的SIFT关键点、SIFT描述子特征进行匹配采取基于最优匹配对的匹配算法。

进一步的，步骤5中使用质心坐标判定视频中运动目标和跟踪目标是否为同一物体，具体方式为：将两运动目标质心距离和设定阈值比较，如果超出某一设定阈值，则认为这相邻两帧的运动物体不是同一物体，否则视为同一物体。

进一步的，所述阈值为30～100。

进一步的，所述阈值为50。

进一步的，步骤6中当每一帧跟踪算法结束时，对运动轨迹结构体进行维护和更新；操作运动轨迹结构体时，使用两层循环遍历跟踪目标结构体和运动轨迹结构体，对跟踪目标结构体中的所有跟踪目标，将跟踪目标在当前帧的图像信息保存到与其标签对应的运动轨迹结构体中，若运动轨迹结构体中还没有该标签的实例，用其标签创建新的运动轨迹结构体并将该跟踪目标当前帧的图像信息保存到运动轨迹结构体中，同时记录运动片段的开始帧数，若遍历运动轨迹结构体时发现该运动轨迹对应的运动目标已经离开视频，则记录该段轨迹的结束帧数。

进一步的，步骤8具体为:

(8-1)用随机函数为每一段运动轨迹产生一个初始解序列x_i(i＝1,2,3…n)，对应着这段轨迹在总的摘要视频L中出现的开始帧数，并令当前最优解序列x_best＝x_i(i＝1,2,3…n)；

(8-2)计算初始总能量函数值E(x_i)(i＝1,2,3…n)，初始能量函数值定义为初始的n段轨迹之间相互遮挡的总面积；为了生成最终的摘要视频，使用一个映射函数将摘要视频中的目标坐标(x,y,t)映射到摘要视频中，x和y表示对应像素的位置，t表示对应的时间，且只对运动对象的时间进行平移，而保持空间位置不变，将很多不同时间发生的运动事件通过时间平移转移到相同的帧中；

定义模拟退火算法的能量函数为摘要视频中任意轨迹片段之间的相互遮挡的面积，任意两段轨迹S_i,S_j的能量函数是两段轨迹在他们共存的所有帧内物体图像公共区域部分面积的和,即：

(8-3)设定模拟退火算法的初始温度T；

(8-4)随机选取一段轨迹x_k，在当前轨迹对应L的邻域中随机选取一个值，将这个值作为一个新解x_k'；

(8-5)计算原有解的能量函数E(x_k)与当前新解的能量函数E(xk'),并计算能量函数增量:ΔE＝E(x_k')-E(x_k)；

(8-6)对ΔE进行判断，如果ΔE<0,则接受新解，令x_best序列中的x_k＝x_k',令总能量函数E(x_i)＝E(x_i)+ΔE；如果ΔE>0,则用随机函数在(0,1)中产生一个概率值p，如果exp(-ΔE/t)>p,则接受x_k'为当前的较优解，否则不接受；

(8-7)更新退火温度t＝t*r，r为降温系数；

(8-8)不断迭代上述的退火算法，直到达到设定的迭代次数或者是能量函数趋于收敛时，取得当前的较优解

本发明能够区分出监控视频中的巡检工作人员和其他运动目标，采用降采样可提高对高分辨率视频的处理效率，并利用高斯模糊，进行视频降噪；本发明能够处理视频本身抖动，降低视频抖动对目标检测的影响；对于巡检工作人员的检测采用自适应外包围的方法，便于进行HOG梯度处理，融入行人、工作人员特征进一步降低误检率，跟踪上运用基于最优匹配对的匹配算法，最终以标签为索引生成运动目标视频摘要，本发明使用了模拟退火算法进行轨迹优化组合，提高了优化度。

附图说明

图1是本发明应用于变电监控视频中的视频摘要生成方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的、本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1所示为本发明基于监控视频生成视频摘要的方法流程图，具体包括以下步骤：

步骤1：对监控视频的图像进行预处理：读入视频帧后，采取基于降采样和高斯模糊对读入的视频帧进行降噪预处理。当面对高清监控视频时，对视频进行降采样可以在保证视频中各像素点相对位置和相对强度基本不变，保持原始视频图像特征，不影响算法效果的前提下，大大减少像素点的个数，显著提升算法的运行效率。而高斯模糊可以减少视频采样和传输过程中引入的噪声对算法产生的影响。

在本发明实例中，对于视频帧大于“640像素*480像素”的视频需要进行降采样操作，小于“640像素*480像素”的视频帧则不用进行降采样操作。设定“640像素x480像素”为阈值是因为这个值既能保证降采样后得到的视频依然清晰、处理效果较好，又能保证视频处理的效率比较高，从而提高运行效率。

因为视频显示的时间变化会被误检成运动目标，所以可以进行时间戳处理，挡住时间变化的地方，从而避免时间显示的变化被误检为运动目标。

步骤2：基于视频抖动处理的目标检测：由于网络摄像头在采集和传输监控视频的过程中可能有一定的抖动，影响到检测效果，所以在本发明实例中针对步骤1处理后的视频可能存在的抖动，在检测视频中的运动目标的同时进行一系列针对视频抖动的处理，过滤抖动视频帧，得到不抖动帧中运动目标的轮廓信息，。

首先运用混合高斯背景建模方法计算运动像素点图像，运动像素点图像为一副黑白灰度图，其中白色像素点代表运动像素点，黑色像素点代表背景像素点，接着进行视频抖动处理。

视频抖动指的是网络摄像头在图像采集过程中因为风吹、网络丢包等因素引起的视频中的丢帧、视频像素发生位移等现象，存在抖动的视频在应用混合高斯背景建模算法时会出现背景像素被当成运动像素进而导致运动目标检测不准确，本发明中设计了一个算法应对变电站室外监控视频由于各种因素引起的视频抖动。具体的，该算法建立在变电站监控视频下运动目标较少，正常情况下运动像素点数目不多的前提下，算法通过统计运动像素点占整个视频的像素点个数的百分比，设定最小阈值和自适应调整阈值的方式，因为原始视频不论是否抖动，运动像素点都会在整个视频的像素点个数中占有一定百分比，所以必须设定一个判断视频是否抖动的最小阈值，根据目前已有的变电站视频的数据，设定运动像素点占整个视频的像素点个数的百分比的最小阈值为7％，自适应调整阈值＝最小阈值+1.5*从视频开始到现在统计运动像素点占整个视频的像素点个数的百分比。自适应阈值这样选取是因为这个值既能保证有抖动的视频得到处理，又避免了抖动不显著的视频被处理影响整个程序运行效率。从而，舍弃运动像素点占比过大的视频帧，以防止误检和提高整体算法处理效率。当统计运动像素点占整个视频的像素点个数的百分比大于自适应调整阈值时，认为视频发生抖动，不提取运动目标轮廓信息，以免发生误检，影响跟踪算法结果。否则提取运动目标轮廓信息，交给步骤3处理。

运动目标轮廓信息的提取使用的是连通区域分割方法。具体步骤是：遍历运动像素点图像，当访问到一个运动像素点时，使用种子填充法找到所有属于同一运动团块的像素点并使用数字编号进行标记，使用这种方法遍历完整个运动像素点图像时所有的运动团块都打上了不同的数字标记，标有相同数字的所有像素点即构成一个运动目标,而目标轮廓即为最外层的一圈像素点集。

步骤3：利用步骤2得到的运动目标轮廓信息提取运动目标的HOG特征，此外还提取HOG描述子、SIFT特征关键点、SIFT描述子、质心位置。

HOG描述子指的是由方向梯度直方图计算得到的描述图像特征的特征向量，它是一个固定维数的向量，描述了图像的梯度特征。SIFT特征关键点是图像上一系列拥有旋转、缩放、仿射变换不变性的像素点，这些像素点在图像发生变化时具有一定的稳定性，从而可以用来描述图像特征，用于跟踪匹配。SIFT描述子是由SIFT特征关键点计算得到的一个固定维数的多维向量，用于描述图像的特征。

如图1所示，在提取运动目标特征这一步的输入为步骤2得到的运动目标的轮廓信息。首先由运动目标的轮廓信息计算包围框(轮廓的外接矩形)，用包围框到视频帧中对应位置提取运动目标的图像，计算各个运动目标的质心位置、SIFT特征关键点、SIFT描述子和HOG描述子。

步骤4：根据步骤3提取到的运动目标的HOG描述子判断步骤2检测得到的运动目标是否为巡检工作人员。所有检测到的运动目标的HOG描述子使用SVM判断是否为巡检工作人员，如果判断结果为是，则将巡检工作人员标志置为1，然后执行步骤5；如果判断结果为否，则将巡检工作人员标志置为0，然后返回步骤1。

步骤5：跟踪算法在混合高斯背景建模中背景差分算法趋于稳定(视频开始经过5-10帧左右)后开始创建各个前景物体的数据块，为每个运动目标分配标签，用一个数据结构保存各物体的标签、HOG描述子、SIFT特征关键点、SIFT描述子、质心位置、轮廓信息、物体图像、包围框、巡检工作人员标志。其中标签是一个自动生成的数字，每个跟踪目标都有自己唯一的标签。在进行跟踪算法时，当前帧中的运动目标在提取目标特征后会与跟踪目标进行匹配，若匹配成功则给对应运动目标分配与其匹配的跟踪目标相同的标签，以此来表示他们是同一目标。若匹配失败则会生成新的标签，将该运动目标作为新的跟踪目标。标签的运用主要是为表征目标出现的时序信息，从而为生成运动片段，进而生成摘要视频提供帮助。

跟踪算法主要用SIFT特征匹配、HOG+SVM巡检工作人员检测和物体质心位置比对实现。跟踪算法采用自适应团块外包围的方法扩大运动目标包围框的范围，以提升HOG算法提取的HOG描述子的稳定性，增加SVM分类预测的准确度。除了用运动目标的质心位置，SIFT特征信息进行跟踪外，算法还可融入行人、巡检工作人员的特征，进一步降低巡检工作人员误检率。跟踪算法通过比较步骤2检测到的运动目标和跟踪目标的各个特征来找到运动目标和跟踪目标之间的匹配对应关系。

在本发明实施例中，对运动目标和跟踪目标之间的SIFT关键点、SIFT描述子特征进行匹配采取基于最优匹配对的匹配算法，具体的方式为：sift特征关键点匹配时会将两个物体上的关键点进行匹配。比如两个人A,B进行匹配，若A左手上的某一关键点匹配到B左手上的某一关键点，那么两关键点的坐标距离较小，认为是一次比较好的匹配。若A左上的某一关键点匹配到B右脚上的某一关键点，那么两关键点的坐标距离较大，认为是一次不好的匹配。关键点距离阈值使用sift图像匹配算法进行跟踪的重要依据之一，具体关键点的匹配方式与SIFT算法的特征提取方式以及匹配算法相关。若关键点距离小于设定阈值视为同一物体，否则视为不同物体。图像匹配阈值的设定跟关键点的选取策略有关，本发明实验中采取最优匹配对的匹配算法，选取匹配结果最优的5个匹配对计算距离值，根据实验数据，相同目标前后帧进行匹配时计算的距离分布在100-800内，不同目标进行匹配时计算的距离多分布在700-1000+范围内，阈值暂时选取500即获得了可以接受的结果，实际上应根据具体应用场景的数据分布进行调整。

在本发明实施例中，使用质心坐标判定视频中运动目标和跟踪目标是否为同一物体，具体方式为：将两运动目标质心距离和设定阈值比较，如果超出某一设定阈值，则认为这相邻两帧的运动物体不是同一物体，否则视为同一物体。在本发明实施例中，该阈值可选取为30～100，此处优选为50。这个阈值选取50是因为这个值既不会太小以至于人过一个杆子前后被标记为不同的人，又不会过大，让系统将不同的巡检工作人员标记为同一个人。

判断当前帧中的某一物体与正在跟踪的目标中的物体是同一物体时，更新正在跟踪的该目标的特征信息，例如sift关键点、描述子、轮廓、物体图像、包围框信息。当判断当前帧中的某一物体不是正在跟踪的目标时，为该物体分配新的标签，创建跟踪目标结构体实例，添加到跟踪目标结构体中。将不同运动的巡检工作人员的标签与对应结构体匹配对应，用相应的数据块保存物体信息。每一帧跟踪算法结束时，遍历保存跟踪目标的数据块，更新物体最后出现的帧数和重置一些标志位。

步骤6：以标签为索引的运动目标运动轨迹的生成：在步骤5基于最优匹配对的目标匹配的步骤中，为每个跟踪目标分配了唯一的标签，并对每一帧中出现的目标与正在跟踪的目标进行匹配。因此跟踪目标结构体中一个实例的运动过程就对应一段运动轨迹。在本发明实例中，所有的运动轨迹都保存在运动轨迹结构体中，运动轨迹结构体包含标签，开始帧，结束帧，运动过程中的所有运动目标图像和位置信息。当每一帧跟踪算法结束时，对运动轨迹结构体进行维护和更新，运动轨迹结构体用标签作为索引，一个标签对应一段运动轨迹。操作运动轨迹结构体时，使用两层循环遍历跟踪目标结构体和运动轨迹结构体，对跟踪目标结构体中的所有跟踪目标，将跟踪目标在当前帧的图像信息保存到与其标签对应的运动轨迹结构体中。若运动轨迹结构体中还没有该标签的实例，用其标签创建新的运动轨迹结构体并将该跟踪目标当前帧的图像信息保存到运动轨迹结构体中，同时记录运动片段的开始帧数。若遍历运动轨迹结构体时发现该运动轨迹对应的运动目标已经离开视频，则记录该段轨迹的结束帧数。

步骤7：对步骤6生成的运动轨迹进行过滤，将最长运动轨迹的长度确定为最终运动目标视频摘要的长度：将片段长度小于10帧的运动轨迹过滤，从而去掉一些运动噪点生成的片段，降低误检率，同时记录最长运动轨迹的长度，最终摘要视频长度是最长的运动轨迹长度。

步骤8：使用模拟退火算法把步骤7中筛选后的运动轨迹进行时空上的优化组合，以避免运动目标间的相互遮挡，最终得到优化后的运动轨迹结构体S。在生成视频摘要的前几步中，已经对原始视频进行了运动物体的检测和跟踪，并获得了当前视频的n段巡检工作人员轨迹集合B＝{b₁,b₂,b₃...b_n}，假设进行摘要后视频的总长度为L，这样轨迹优化组合问题就转化为一个将n个目标轨迹映射到L帧中，并使得能量函数最小的问题。算法中，将模拟退火的思路方法具体化应用于电站视频摘要的问题中，具体方法如下：

(8-1)用随机函数为每一段运动轨迹产生一个初始解序列x_i(i＝1,2,3…n)，对应着这段轨迹在总的摘要视频L中出现的开始帧数，并令当前最优解序列x_best＝x_i(i＝1,2,3…n)；

(8-2)计算初始总能量函数值E(x_i)(i＝1,2,3…n)，初始能量函数值定义为初始的n段轨迹之间相互遮挡的总面积；为了生成最终的摘要视频，使用一个映射函数将摘要视频中的目标坐标(x,y,t)映射到摘要视频中(x和y表示对应像素的位置，t表示对应的时间)，且只对运动对象的时间进行平移，而保持空间位置不变。将很多不同时间发生的运动事件通过时间平移转移到相同的帧中，在充分利用空间的同时，也可能会导致对象间的相互遮挡。如果不加以控制，则可能会导致生成的摘要视频中很多目标无法观看，使摘要视频失去应有的价值。

所以，为了尽可能地避免目标间的相互遮挡，在本文中定义模拟退火算法的能量函数为摘要视频中任意轨迹片段之间的相互遮挡的面积，任意两段轨迹S_i,S_j的能量函数是两段轨迹在他们共存的所有帧内物体图像公共区域部分面积的和,即：

(8-3)设定模拟退火算法的初始温度T；

(8-4)随机选取一段轨迹x_k，在当前轨迹对应L的邻域中随机选取一个值，将这个值作为一个新解x_k'；

(8-5)计算原有解的能量函数E(x_k)与当前新解的能量函数E(xk'),并计算能量函数增量:ΔE＝E(x_k')-E(x_k)；

(8-6)对ΔE进行判断，如果ΔE<0,则接受新解，令x_best序列中的x_k＝x_k',令总能量函数E(x_i)＝E(x_i)+ΔE；如果ΔE>0,则用随机函数在(0,1)中产生一个概率值p，如果exp(-ΔE/t)>p,则接受x_k'为当前的较优解，否则不接受；

(8-7)更新退火温度t＝t*r(r为降温系数)；

(8-8)不断迭代上述的退火算法，直到达到设定的迭代次数或者是能量函数趋于收敛时，取得当前的较优解。

不断迭代上述的退火算法，直到达到判断相邻两次迭代的能量值之间的差的绝对值是否小于k,如果小于k，则对计数count进行自增，如果count值超过阈值n，表明能量函数趋于收敛时(即让能量趋于最小值)，迭代结束，取得当前的较优解。当大于k时，计数count清零，表示得继续迭代。

步骤9：生成摘要视频：首先读入背景模型维护的背景图像，根据输出视频的容器类型决定视频编码方式，支持.avi,.wma,.flv,.mp4等大部分windows平台下的通用多媒体格式。然后对于由步骤7决定的摘要视频长度的每一帧创建一幅图像，先贴入背景图像，接着遍历由步骤7中处理完每一帧进行数据更新时维护的运动轨迹结构体S，由运动轨迹结构体S的begin_frame成员和模拟退火算法得到的开始帧计算是否要在当前帧中贴入该运动轨迹的图像，合成完图像后将图像追加到输出视频中。

采用本发明的方法，能够区分出监控视频中的巡检工作人员、烟雾和其他运动目标，发明采用降采样提高对高分辨率视频的处理效率，并利用高斯模糊，进行视频降噪。本发明能够处理视频本身抖动，降低视频抖动对目标检测的影响。对于巡检工作人员的检测采用自适应外包围的方法，便于进行HOG梯度处理，融入行人、工作人员特征进一步降低误检率。跟踪上运用基于最优匹配对的匹配算法，最终以标签为索引生成运动目标视频摘要，本发明使用了模拟退火算法进行轨迹优化组合，提高了优化度。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种应用于变电监控视频中的视频摘要生成方法，其特征在于包括以下步骤：

步骤1：对监控视频的图像进行预处理：读入视频帧后，采取基于降采样和高斯模糊对读入的视频帧进行降噪预处理；

步骤2：基于视频抖动处理的目标检测，得到运动目标轮廓信息；

步骤3：利用步骤2得到的运动目标轮廓信息提取运动目标的HOG特征，此外还提取HOG描述子、SIFT特征关键点、SIFT描述子、质心位置；

步骤4：根据步骤3提取到的运动目标的HOG描述子判断步骤2检测得到的运动目标是否为巡检工作人员，根据判断结果巡检工作人员标志；

步骤5：跟踪算法在混合高斯背景建模中背景差分算法趋于稳定后开始创建各个前景物体的数据块，为每个运动目标分配标签，用一个数据结构保存各物体的标签、HOG描述子、SIFT特征关键点、SIFT描述子、质心位置、轮廓信息、物体图像、包围框、巡检工作人员标志，在进行跟踪算法时，当前帧中的运动目标在提取目标特征后会与跟踪目标进行匹配，若匹配成功则给对应运动目标分配与其匹配的跟踪目标相同的标签，以此来表示他们是同一目标，若匹配失败则会生成新的标签，将该运动目标作为新的跟踪目标，标签的运用主要是为表征目标出现的时序信息；

步骤6：以标签为索引的运动目标运动轨迹的生成：当每一帧跟踪算法结束时，对运动轨迹结构体进行维护和更新，运动轨迹结构体包含标签、开始帧、结束帧、运动过程中的所有运动目标图像和位置信息，运动轨迹结构体用标签作为索引，一个标签对应一段运动轨迹；

步骤7：对步骤6生成的运动轨迹进行过滤，将最长运动轨迹的长度确定为最终运动目标视频摘要的长度；

步骤8：使用模拟退火算法把步骤7中筛选后的运动轨迹进行时空上的优化组合，得到优化后的运动轨迹结构体S；

步骤9：生成摘要视频：首先读入背景模型维护的背景图像，根据输出视频的容器类型决定视频编码方式，然后对于由步骤7决定的摘要视频长度的每一帧创建一幅图像，先贴入背景图像，接着遍历由步骤7中处理完每一帧进行数据更新时维护的运动轨迹结构体S，由运动轨迹结构体S的begin_frame成员和模拟退火算法得到的开始帧计算是否要在当前帧中贴入该运动轨迹的图像，合成完图像后将图像追加到输出视频中。

2.如权利要求1所述的应用于变电监控视频中的视频摘要生成方法，其特征在于：步骤1中对于视频帧大于“640像素*480像素”的视频进行降采样操作。

3.如权利要求1所述的应用于变电监控视频中的视频摘要生成方法，其特征在于：步骤2具体为：首先运用混合高斯背景建模方法计算运动像素点图像，运动像素点图像为一副黑白灰度图，其中白色像素点代表运动像素点，黑色像素点代表背景像素点，接着进行视频抖动处理：通过统计运动像素点占整个视频的像素点个数的百分比，设定判断视频是否抖动的最小阈值和自适应调整阈值，其中设定最小阈值为7％，自适应调整阈值＝最小阈值+1.5*从视频开始到现在统计运动像素点占整个视频的像素点个数的百分比，当统计运动像素点占整个视频的像素点个数的百分比大于自适应调整阈值时，认为视频发生抖动，不提取运动目标轮廓信息，否则提取运动目标轮廓信息。

4.如权利要求3所述的应用于变电监控视频中的视频摘要生成方法，其特征在于：运动目标轮廓信息的提取使用连通区域分割方法，具体步骤是：遍历运动像素点图像，当访问到一个运动像素点时，使用种子填充法找到所有属于同一运动团块的像素点并使用数字编号进行标记，使用这种方法遍历完整个运动像素点图像时所有的运动团块都打上不同的数字标记，标有相同数字的所有像素点即构成一个运动目标,而目标轮廓即为最外层的一圈像素点集。

5.如权利要求1所述的应用于变电监控视频中的视频摘要生成方法，其特征在于：步骤5中对运动目标和跟踪目标之间的SIFT关键点、SIFT描述子特征进行匹配采取基于最优匹配对的匹配算法。

6.如权利要求1所述的应用于变电监控视频中的视频摘要生成方法，其特征在于：步骤5中使用质心坐标判定视频中运动目标和跟踪目标是否为同一物体，具体方式为：将两运动目标质心距离和设定阈值比较，如果超出某一设定阈值，则认为这相邻两帧的运动物体不是同一物体，否则视为同一物体。

7.如权利要求6所述的应用于变电监控视频中的视频摘要生成方法，其特征在于：所述阈值为30～100。

8.如权利要求6所述的应用于变电监控视频中的视频摘要生成方法，其特征在于：所述阈值为50。

9.如权利要求1所述的应用于变电监控视频中的视频摘要生成方法，其特征在于：步骤6中当每一帧跟踪算法结束时，对运动轨迹结构体进行维护和更新；操作运动轨迹结构体时，使用两层循环遍历跟踪目标结构体和运动轨迹结构体，对跟踪目标结构体中的所有跟踪目标，将跟踪目标在当前帧的图像信息保存到与其标签对应的运动轨迹结构体中，若运动轨迹结构体中还没有该标签的实例，用其标签创建新的运动轨迹结构体并将该跟踪目标当前帧的图像信息保存到运动轨迹结构体中，同时记录运动片段的开始帧数，若遍历运动轨迹结构体时发现该运动轨迹对应的运动目标已经离开视频，则记录该段轨迹的结束帧数。

10.如权利要求1所述的应用于变电监控视频中的视频摘要生成方法，其特征在于：步骤8具体为:

(8-1)用随机函数为每一段运动轨迹产生一个初始解序列x_i(i＝1,2,3…n)，对应着这段轨迹在总的摘要视频L中出现的开始帧数，并令当前最优解序列x_best＝x_i(i＝1,2,3…n)；

(8-2)计算初始总能量函数值E(x_i)(i＝1,2,3…n)，初始能量函数值定义为初始的n段轨迹之间相互遮挡的总面积；为了生成最终的摘要视频，使用一个映射函数将摘要视频中的目标坐标(x,y,t)映射到摘要视频中，x和y表示对应像素的位置，t表示对应的时间，且只对运动对象的时间进行平移，而保持空间位置不变，将很多不同时间发生的运动事件通过时间平移转移到相同的帧中；

定义模拟退火算法的能量函数为摘要视频中任意轨迹片段之间的相互遮挡的面积，任意两段轨迹S_i,S_j的能量函数是两段轨迹在他们共存的所有帧内物体图像公共区域部分面积的和,即：

(8-3)设定模拟退火算法的初始温度T；

(8-4)随机选取一段轨迹x_k，在当前轨迹对应L的邻域中随机选取一个值，将这个值作为一个新解x_k'；

(8-5)计算原有解的能量函数E(x_k)与当前新解的能量函数E(xk'),并计算能量函数增量:ΔE＝E(x_k')-E(x_k)；

(8-6)对ΔE进行判断，如果ΔE<0,则接受新解，令x_best序列中的x_k＝x_k',令总能量函数E(x_i)＝E(x_i)+ΔE；如果ΔE>0,则用随机函数在(0,1)中产生一个概率值p，如果exp(-ΔE/t)>p,则接受x_k'为当前的较优解，否则不接受；

(8-7)更新退火温度t＝t*r，r为降温系数；

(8-8)不断迭代上述的退火算法，直到达到设定的迭代次数或者是能量函数趋于收敛时，取得当前的较优解。