CN104717574A - 一种视频摘要中事件与背景的融合方法 - Google Patents

Abstract

本发明公开了一种视频摘要中事件与背景的融合方法。该方法在前景检测与目标跟踪的基础上，将事件与背景的融合问题分成事件预处理、背景帧选择、事件与背景融合三个步骤。首先对事件进行预处理，包括对事件按面积大小排序并调整局部亮度；然后，用事件投票的方式选择最优背景帧，使尽可能多的事件落在该帧背景上；最后融合事件与背景，根据当前位置的像素点在背景帧上的状态标志值和在图像块上的二值前景值选择使用泊松图像编辑方法融合或加权融合的方法，从而形成完整而清晰的新的视频摘要帧。该方法能够无缝、自然的将事件融合到对应的背景中，有效的避免事件与事件之间的遮挡，形成高质量的新视频图像场景。

Description

一种视频摘要中事件与背景的融合方法

技术领域

本发明属于计算机智能监控视频处理技术领域，更具体地，涉及一种视频摘要中事件与背景的融合方法。

背景技术

视频监控系统已经广泛应用于加强公共安全建设、防范违法犯罪活动以及安全事故预警等方面。虽然视频监控领域的技术在不断发展，但是回查视频监控录像仍是一项非常耗费人力、物力资源的工作，而且非常不被重视，往往是在事发之后，需要临时组织一个庞大的团队来对视频监控录像进行查看和分析。

因此，迫切需要一种方法能够方便对视频监控录像进行查询。建立一个视频摘要系统是一个很好的方法。通俗的讲，视频摘要是原始视频的浓缩视频。它旨在有效地使用视频监控录像，对海量视频监控录像进行处理和分析，提高监控录像的倒查效率，实现对视频数据进行结构化的存储和查询，可以将较长的视频浓缩成短短几分钟的视频。点击任何事件即可查看该事件在原始视频中从出现到结束期间的情况。

目前生成视频摘要系统的方法主要有基于关键帧和基于对象的方法，其中基于关键帧的方法是指通过提取一系列的关键帧组成相应的语义单元，概括整个视频的内容，以供快速检索，该方法重点考虑视频的关键帧；基于对象的方法是由能够表达原始视频内容的事件加以编辑而成，在保持了视频内容能够随时间动态变化的基础上很大程度减少了时间—空间冗余，因此其表现的内容要比基于关键帧的视频摘要丰富的多，也是实际应用中较流行的方法。

但是，该方法的一个难点问题是事件与背景怎样能更好的融合，生成高质量的新视频。具体问题是：(1)如何将提取出的目标“无缝”、“自然”的融合到相应的背景中；(2)如何尽可能的减少目标间的遮挡。目前融合事件与背景的方法有基于alpha matte的方法和泊松图像编辑的方法，alpha matte的方法功能强大，但实现复杂；泊松图像编辑的方法在融合对象和场景的颜色没有突变时能消除拼缝，取得较好的结果，但因使用的是L2范数，不能很好的估计图像颜色的连续性，对于存在较大颜色突变的场景无法取得较好的结果，因而如何降低目标与背景的颜色差异保证泊松图像编辑的方法取得较好的效果是一个问题。同时，在减少目标间的遮挡方面，除了在事件重组过程中通过事件的疏密程度来控制当前摘要帧上的事件数目外，并没有很好的通过融合来减少目标间遮挡的方法。

发明内容

本发明的目的在于提出一种视频摘要中事件与背景的融合方法。该方法能够无缝、自然的将事件融合到对应的背景中，有效的避免事件与事件之间的遮挡，形成高质量的新视频图像场景。

为了实现上述目的，本发明提供了一种视频摘要中事件与背景的融合方法，包括：

(1)通过运动目标的检测和跟踪，得到原始视频序列中所有的事件和最后形成摘要视频所需的背景帧序列；记录每一个事件的所有发生时刻所对应的图像块的宽高及图像块内所有像素位置的二值前景值、每一个事件发生的起始帧号和结束帧号、以及每一个事件摘要视频中出现时的起始帧号；

(2)根据每一个事件发生的起始帧号和结束帧号，以及每一个事件在摘要视频中发生时的起始帧号，从原始视频序列的所有事件中，找出当前摘要帧上需要出现的所有事件及其对应时刻的图像块；

(3)对步骤(2)所述摘要帧上所有事件的相应时刻的图像块进行预处理，包括对各事件所对应图像块按照面积从大到小排序，所述各图像块的面积根据步骤(1)中得到的各图像块的宽高得到，然后根据步骤(1)中得到的各图像块内所有像素位置的二值前景值调整对应图像块的局部亮度；

(4)利用步骤(2)所述摘要帧上的所有事件对步骤(1)中得到的背景帧进行投票，得票最高的背景帧即为当前摘要帧所需的背景帧，所述利用事件对背景帧进行投票是根据相应时刻的图像块在原始视频中所在的帧号与步骤(1)中获取背景帧时的周期相比，根据比值判断对步骤(1)中得到的背景帧中的哪一帧进行投票；

(5)对步骤(3)所述预处理后的图像块和步骤(4)所述背景帧进行融合得到摘要帧，所述融合是根据步骤(1)中得到的各图像块内所有像素位置的二值前景值与背景帧上当前像素位置的融合状态选择加权融合与泊松图像编辑中的某一种方法进行融合。

在本发明的一个实施例中，所述步骤(1)中生成摘要视频所需背景帧序列的具体方法为：从原始视频的第一帧开始，以T为周期对T帧图像相应位置的每一个像素值进行累加平均，得到一张均值图像，以此均值图像作为一张背景图，如此循环，直到视频帧结束，可以得到形成摘要视频所需的背景帧序列BackGround＝{b₀,b₁,......b_t}，其中t为大于0的整数；其中第q帧均值图像上某一个像素点(x，y)处的像素值按照下面公式计算：

${\mathrm{avgf}}_q(x,y)=\frac{\underset{i=\mathrm{qT}}{\overset{(q+1)T}{\mathrm{\Σ}}}{f}_i(x,y)}{T},q=\mathrm{0,1,2,3},....t;$

其中，F{f₀,f₁,......f_m}为原始视频帧序列，m为总帧数，均值图像为AvgF{avgf₀,avgf₁,......avgf_t}分别对应背景帧序列BackGround＝{b₀,b₁,......b_t}，t＜m。

在本发明的一个实施例中，所述步骤(2)中从原始视频的所有事件中找出当前摘要帧上需要出现的所有事件及其对应的图像块，具体为：

当事件e_i在摘要视频中发生的起始时刻newStart_i在此摘要帧之前且事件e_i在摘要视频中的结束时刻(newStart_i+(endTime_i-startTime_i))在此摘要帧之后，也即事件e_i的运动轨迹在当前时刻经过此摘要帧，则认为事件e_i适合贴在该摘要帧上，假定当前摘要帧号为index，则当前摘要帧上要贴的图像块对应为该事件的第index-newStart_i个图像块，从而可得到当前摘要帧上要贴的所有图像块；

其中原始视频的所有事件的集合表示为E＝{e₀,e₁,...,e_n}，其中n表示视频中出现的事件的数目，e_i包括此事件在原始视频中发生的起始帧号startTime_i、结束帧号endTime_i、在摘要视频中的起始帧号newStart_i、所有发生时刻上的图像块TargetRect_ik＝{x_ik,y_ik,w_ik,h_ik,forerect_ik}，其中x_ik、y_ik、w_ik、h_ik、forerect_ik分别为第i个事件的第k个图像块的中心点行坐标、列坐标、图像块宽、图像块高、图像块前景图。

在本发明的一个实施例中，所述步骤(3)中根据各图像块内所有像素位置的二值前景值调整对应图像块的局部亮度，具体为：

根据各图像块内所有像素位置的二值前景值选取当前图像块的背景部分，计算该背景部分与摘要帧中对应位置的亮度对比度，以此对比度作为权重对该图像块进行加权，从而调整该图像块的局部亮度。

在本发明的一个实施例中，所述步骤(4)中利用步骤(2)所述摘要帧上可出现的所有事件进行背景投票，选择当前摘要帧需要的背景帧，具体为：

记某一事件的当前图像块所认同的背景帧号为id，当前摘要帧帧号为index，则其中id＞t时，id＝t，当有事件计算投中第id号背景帧则该背景帧计数加1，最后选取计数最大的背景帧作为当前摘要帧的背景图。

在本发明的一个实施例中，所述步骤(5)中对步骤(3)所述预处理后的图像块和步骤(4)所述背景帧进行融合得到摘要帧，具体为：

(5.1)初始化背景帧上所有像素点的状态标志值为0；

(5.2)利用泊松图像编辑的方法将最大图像块融合到背景帧中去，根据该图像块上的某一像素点是否为目标点修改背景帧上对应像素点状态标志值，其中，若该像素点是背景点则将状态标志值改为1，否则改为2；

(5.3)融合次大图像块到背景帧中去，结合次大图像块上像素点的二值前景值和背景帧上对应像素点的状态标志值判断使用何种方法融合该点像素到背景帧上：

当次大图像块上像素点的二值前景值为1时，若背景帧上对应像素点的状态标志值为0，则利用泊松图像编辑的方法融合该像素点；若背景帧上对应像素点的状态标志值为1，则利用加权融合的方法融合该像素点，且给予次大图像块上的像素点较大权重，背景帧上对应像素点较小权重；若背景帧上对应像素点的状态标志值为2，则利用加权融合的方法融合该像素点且为等权重融合；

当次大图像块上像素点的二值前景值为0时，若背景帧上对应像素点的状态标志值为0，则利用泊松图像编辑的方法融合该像素点；若背景帧上对应像素点的状态标志值为1，则利用加权融合的方法融合该像素点且等权重融合；若背景帧张对应像素点的状态标志值为2，则利用加权融合的方法融合该像素点，且次给予大图像块上的像素点较小权重，背景帧上对应像素点较大权重；

(5.4)如步骤(5.3)，按照面积由大到小依次处理各图像块。

本发明方法在前景检测和目标跟踪的基础上将事件与背景的融合问题分成事件预处理、背景帧选择、事件与背景融合三个步骤。事件预处理一定程度上减少了目标间的遮挡，同时降低了事件与背景的对比度，一定程度上保证了泊松图像编辑方法的有效行。通过选择最优背景帧，使尽可能多的事件落在该帧背景上，最后通过像素状态的判断，用泊松图像编辑与加权融合的方法相结合，消除了拼缝，进一步减少了目标间的遮挡，从而形成完整而清晰的新的视频摘要帧。该方法能够无缝、自然的将事件融合到对应的背景中，有效的避免事件与事件之间的遮挡，形成高质量的新视频图像场景。

附图说明

图1为本发明中视频摘要的生成过程示意图；

图2为本发明中摘要帧合成的总流程示意图；

图3为本发明中事件与背景融合的过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的目的在于提出一种视频摘要中事件与背景的融合方法，在前景检测与目标跟踪的基础上，将事件与背景的融合问题分成事件预处理、背景帧选择、事件与背景融合三个步骤。首先对事件进行预处理，包括对事件按其对应图像块的面积大小排序并调整局部亮度；然后，用事件投票的方式选择最优背景帧，使尽可能多的事件落在该帧背景上；最后通过像素状态的判断，用泊松图像编辑与加权融合的方法相结合，消除了拼缝，进一步减少了目标间的遮挡，从而形成完整而清晰的摘要帧，最终形成高质量的新视频。

下面结合附图对本发明具体实施方法进一步详细描述。

如图1所示，本发明中所述的摘要视频生成的主要流程如下所述：

首先对原始视频进行分析处理，通过背景建模的方法得到前景分割的结果，实现事件的检测，然后通过视频跟踪方法对事件进行跟踪，得到事件从发生到结束的完整轨迹。在对原始视频分析完毕以后，为摘要视频中的每一帧图像选择合适的背景图像和可出现在该帧图像上的事件的相应图像块，最后使用本发明中所述的摘要视频合成方法将背景图像与事件的图像块进行融合得到每一帧的摘要视频帧数据，最终得到完整的摘要视频。

如图2所示，所述视频摘要中事件与背景的融合方法包括以下步骤：

步骤1：通过运动目标的检测和跟踪，得到原始视频序列中所有的事件和最后形成摘要视频所需的背景帧,并记录每一个事件的所有发生时刻所对应的图像块的宽高及图像块内所有像素位置的二值前景值、每一个事件发生的起始帧号和结束帧号、以及每一个事件在摘要视频中出现时的起始帧号。

具体地，生成摘要视频所需背景帧序列的具体方法为：从原始视频的第一帧开始，以T为周期对T帧图像相应位置的每一个像素值进行累加平均，得到一张均值图像，以此均值图像作为一张背景图，如此循环，直到视频帧结束，可以得到形成摘要视频所需的背景帧序列BackGround＝{b₀,b₁,......b_t}，其中t为大于0的整数。具体计算方式为：

记原始视频帧序列为F{f₀,f₁,......f_m}，其中m为总帧数，令均值图像为AvgF{avgf₀,avgf₁,......avgf_t}，如下为第q帧均值图像上某一个像素点处的像素值计算公式：

${\mathrm{avgf}}_q(x,y)=\frac{\underset{i=\mathrm{qT}}{\overset{(q+1)T}{\mathrm{\Σ}}}{f}_i(x,y)}{T},q=\mathrm{0,1,2,3},....t;$

最终所得的AvgF{avgf₀,avgf₁,......avgf_t}则分别对应背景帧序列BackGround＝{b₀,b₁,......b_t}，其中，t＜m。

步骤2：根据每一个事件发生的起始帧号和结束帧号，以及每一个事件在摘要视频中发生时的起始帧号，从原始视频序列的所有事件中，找出当前摘要帧上需要出现的所有事件及其对应的图像块。

把视频序列中的每一个目标在视频中开始到结束的运动当作是一个事件e_i。视频序列中所有事件的集合为E＝{e₀,e₁,...,e_n}，其中n表示视频中出现的事件的数目，e_i包括此事件在原始视频中发生的起始帧号startTime_i、结束帧号endTime_i、在摘要视频中的起始帧号newStart_i、所有发生时刻上的图像块TargetRect_ik＝{x_ik,y_ik,w_ik,h_ik,forerect_ik}，其中x_ik、y_ik、w_ik、h_ik、forerect_ik分别为第i个事件的第k个图像块的中心点行坐标、列坐标、图像块宽、图像块高、图像块前景图。具体地，令当前摘要帧号为index，遍历事件集合E＝{e₀,e₁,...,e_n}，如果事件e_i满足如下两个条件：

(1)newStart_i＜＝index；

(2)newStart_i+(endTime_i-startTime_i)＞index；

则认为此事件e_i在当前摘要帧中会发生，且是e_i的第index-newStart_i个时刻的图像块出现在当前摘要帧。最后得到帧号为index的摘要帧上的所有事件为CurrentE＝{ce₀,ce₁,......ce_s}，其中s为当前摘要帧上的事件总数。

步骤3：对事件进行预处理。

对步骤(2)所述摘要帧上所有事件的相应时刻的图像块进行预处理，包括对各事件所对应图像块按照面积从大到小排序，所述各图像块的面积根据步骤(1)中得到的各图像块的宽高得到，然后根据步骤(1)中得到的各图像块内所有像素位置的二值前景值调整对应图像块的局部亮度；

具体地，为了防止较大图像块覆盖较小图像块，需要对各事件的图像块按照面积大小排序，然后调整图像块的局部亮度，降低与背景的对比度。具体包括：

(3.1)对当前摘要帧上的所有事件CurrentE＝{ce₀,ce₁,......ce_s}按其对应图像块的面积由大到小排序，图像块的面积用其矩形框的面积表示；

(3.2)调整图像块局部亮度。根据事件相应图像块上的背景部分与对应位置的背景部分的亮度对比度，调整图像块的局部亮度。具体地，对于当前图像块TargetRect_ik＝{x_ik,y_ik,w_ik,h_ik,forerect_ik}，对应位置的背景块图为bkgroundPatch，选择的背景帧为b_id(b_id∈{b₀,b₁,......b_t})，具体为扫描对于二值前景块的每一个像素点forerect_ik(x,y)，如果某一像素处为背景，则分别统计TargetRect_ik和bkgroundPatch对应位置的像素值，最后分别计算满足条件的像素值的和，计算两者之间的亮度比值scaleB。亮度比值scaleB公式如下：

$\mathrm{scaleB}=\frac{\mathrm{\Σsum}\_t}{\mathrm{\Σsum}\_b}$

其中sum_t＝ΣTarg etRect_ik(x,y)，为满足条件(forerect_ik(x,y)＝0)的图像块的像素亮度值总和，sum_b＝ΣbkgroundPatch(x,y)，为满足条件(forerect_ik(x,y)＝0)的背景图的像素亮度值总和。因此，对当前图像块上的每一个像素值TargetRect_ik(x,y)分别加权，权重即为scaleB，从而调整图像块的局部亮度。

步骤4：选择当前摘要帧所需要的背景帧

利用步骤(2)所述摘要帧上的所有事件对步骤(1)中得到的背景帧进行投票，得票最高的背景帧即为当前摘要帧所需的背景帧，所述利用事件对背景帧进行投票是根据相应时刻的图像块在原始视频中所在的帧号与步骤(1)中获取背景帧时的周期相比，根据比值判断对步骤(1)中得到的背景帧中的哪一帧进行投票；

具体地，利用当前摘要帧中所有要出现的事件CurrentE＝{ce₀,ce₁,......ce_s}对背景帧序列BackGround＝{b₀,b₁,......b_t}进行投票，投票最高的一帧则为当前摘要帧的背景帧，即认为有最多的事件落在此背景帧。具体投票方式为，事件的相应图像块在原始视频中出现的时刻按照背景的周期选择方式会落在哪一帧，则认为该图像块对该背景帧投一票。具体计算方式如下：

记某一事件的当前图像块所认同的背景帧号为id，当前摘要帧帧号为index，则：

$\mathrm{id}=\frac{(\mathrm{index}-\mathrm{new}{\mathrm{Start}}_i)+{\mathrm{startframe}}_i}{T}$

其中id＞t时，id＝t，当有事件计算投中第id号背景帧，则该背景帧计数加1。最后选取计数最大的背景帧作为当前摘要帧的背景图。

步骤5：如图(3)所示，对步骤(3)所述预处理后的图像块和步骤(4)所述背景帧进行融合得到摘要帧。

具体地，首先将当前未融合任何图像块的背景帧上的所有像素点的状态标志值初始化为0；然后处理最大图像块，将之利用泊松图像编辑的方法融合到背景帧上，根据最大图像块上的某一像素点是否为目标点修改背景帧上对应像素点状态标志值；第三，处理次大图像块，结合次大图像块上像素点的二值前景值和背景帧上对应像素点的状态标志值判断使用何种方法融合该点像素到背景帧上，如此按照面积由大到小依次处理各图像块，从而形成完整而清晰的摘要帧。具体步骤如下：

(5.1)初始化背景帧上所有像素点的状态标志值为0；

(5.2)利用泊松图像编辑的方法将最大图像块融合到背景帧中去，根据该图像块上的某一像素点是否为目标点修改背景帧上对应像素点状态标志值，其中，若该像素点是背景点则将状态标志值改为1，否则改为2；

(5.3)融合次大图像块到背景帧中去。结合次大图像块上像素点的二值前景值和背景帧上对应像素点的状态标志值判断使用何种方法融合该点像素到背景帧上。

当次大图像块上像素点的二值前景值为1时，若背景帧上对应像素点的状态标志值为0，则利用泊松图像编辑的方法融合该像素点；若背景帧上对应像素点的状态标志值为1，则利用加权融合的方法融合该像素点，且给予次大图像块上的像素点较大权重，背景帧上对应像素点较小权重；若背景帧上对应像素点的状态标志值为2，则利用加权融合的方法融合该像素点且为等权重融合。

当次大图像块上像素点的二值前景值为0时，若背景帧上对应像素点的状态标志值为0，则利用泊松图像编辑的方法融合该像素点；若背景帧上对应像素点的状态标志值为1，则利用加权融合的方法融合该像素点且等权重融合；若背景帧张对应像素点的状态标志值为2，则利用加权融合的方法融合该像素点，且次给予大图像块上的像素点较小权重，背景帧上对应像素点较大权重。

(5.4)如步骤(5.3)，按照面积由大到小依次处理各图像块。

综上，事件预处理一定程度上减少了事件间的遮挡，同时降低了事件与背景的对比度，一定程度上保证了泊松图像编辑方法的有效行；通过选择最优背景帧，使尽可能多的事件落在该帧背景上，最后通过像素状态的判断，用泊松图像编辑与加权融合的方法相结合，消除了拼缝，进一步减少了事件间的遮挡，从而形成完整而清晰的摘要帧。

因此，本方法能够无缝、自然的将事件融合到对应的背景中，有效的避免事件与事件之间的遮挡，形成高质量的新视频图像场景。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种视频摘要中事件与背景的融合方法，其特征在于，所述方法包括以下步骤：

(1)通过运动目标的检测和跟踪，得到原始视频序列中所有的事件和最后形成摘要视频所需的背景帧序列；记录每一个事件的所有发生时刻所对应的图像块的宽高及图像块内所有像素位置的二值前景值、每一个事件发生的起始帧号和结束帧号、以及每一个事件摘要视频中出现时的起始帧号；

(2)根据每一个事件发生的起始帧号和结束帧号，以及每一个事件在摘要视频中发生时的起始帧号，从原始视频序列的所有事件中，找出当前摘要帧上需要出现的所有事件及其对应时刻的图像块；

(3)对步骤(2)所述摘要帧上所有事件的相应时刻的图像块进行预处理，包括对各事件所对应图像块按照面积从大到小排序，所述各图像块的面积根据步骤(1)中得到的各图像块的宽高得到，然后根据步骤(1)中得到的各图像块内所有像素位置的二值前景值调整对应图像块的局部亮度；

(4)利用步骤(2)所述摘要帧上的所有事件对步骤(1)中得到的背景帧进行投票，得票最高的背景帧即为当前摘要帧所需的背景帧，所述利用事件对背景帧进行投票是根据相应时刻的图像块在原始视频中所在的帧号与步骤(1)中获取背景帧时的周期相比，根据比值判断对步骤(1)中得到的背景帧中的哪一帧进行投票；

(5)对步骤(3)所述预处理后的图像块和步骤(4)所述背景帧进行融合得到摘要帧，所述融合是根据步骤(1)中得到的各图像块内所有像素位置的二值前景值与背景帧上当前像素位置的融合状态选择加权融合与泊松图像编辑中的某一种方法进行融合。

2.如权利要求1所述的方法，其特征在于，所述步骤(1)中生成摘要视频所需背景帧序列的具体方法为：从原始视频的第一帧开始，以T为周期对T帧图像相应位置的每一个像素值进行累加平均，得到一张均值图像，以此均值图像作为一张背景图，如此循环，直到视频帧结束，可以得到形成摘要视频所需的背景帧序列BackGround＝{b₀,b₁,......b_t}，其中t为大于0的整数；其中第q帧均值图像上某一个像素点(x，y)处的像素值按照下面公式计算：

${\mathrm{avgf}}_q(x,y)=\frac{\underset{i=\mathrm{qT}}{\overset{(q+1)T}{\mathrm{\Σ}}}{f}_i(x,y)}{T},q=\mathrm{0,1,2,3},....;$

其中，F{f₀,f₁,......f_m}为原始视频帧序列，m为总帧数，均值图像为AvgF{avgf₀,avgf₁,......avgf_t}分别对应背景帧序列BackGround＝{b₀,b₁,......b_t}，t＜m。

3.如权利要求1或2所述的方法，其特征在于，所述步骤(2)中从原始视频的所有事件中找出当前摘要帧上需要出现的所有事件及其对应的图像块，具体为：

当事件e_i在摘要视频中发生的起始时刻newStart_i在此摘要帧之前且事件e_i在摘要视频中的的结束时刻(newStart_i+(endTime_i-startTime_i))在此摘要帧之后，也即事件e_i的运动轨迹在当前时刻经过此摘要帧，则认为事件e_i适合贴在该摘要帧上，假定当前摘要帧号为index，则当前摘要帧上要贴的图像块对应为该事件的第index-newStart_i个图像块，从而可得到当前摘要帧上要贴的所有图像块；

其中原始视频的所有事件的集合表示为E＝{e₀,e₁,...,e_n}，其中n表示视频中出现的事件的数目，e_i包括此事件在原始视频中发生的起始帧号startTime_i、结束帧号endTime_i、在摘要视频中的起始帧号newStart_i、所有发生时刻上的图像块TargetRect_ik＝{x_ik,y_ik,w_ik,h_ik,forerect_ik}，其中x_ik、y_ik、w_ik、h_ik、forerect_ik分别为第i个事件的第k个图像块的中心点行坐标、列坐标、图像块宽、图像块高、图像块前景图。

4.如权利要求1或2所述的方法，其特征在于，所述步骤(3)中根据各图像块内所有像素位置的二值前景值调整对应图像块的局部亮度，具体为：

根据各图像块内所有像素位置的二值前景值选取当前图像块的背景部分，计算该背景部分与摘要帧中对应位置的亮度对比度，以此对比度作为权重对该图像块进行加权，从而调整该图像块的局部亮度。

5.如权利要求1或2所述的方法，其特征在于，所述步骤(4)中利用步骤(2)所述摘要帧上可出现的所有事件进行背景投票，选择当前摘要帧需要的背景帧，具体为：

记某一事件的当前图像块所认同的背景帧号为id，当前摘要帧帧号为index，则其中id＞t时，id＝t，当有事件计算投中第id号背景帧则该背景帧计数加1，最后选取计数最大的背景帧作为当前摘要帧的背景图。

6.如权利要求1或2所述的方法，其特征在于，所述步骤(5)中对步骤(3)所述预处理后的图像块和步骤(4)所述背景帧进行融合得到摘要帧，具体为：

(5.1)初始化背景帧上所有像素点的状态标志值为0；

(5.2)利用泊松图像编辑的方法将最大图像块融合到背景帧中去，根据该图像块上的某一像素点是否为目标点修改背景帧上对应像素点状态标志值，其中，若该像素点是背景点则将状态标志值改为1，否则改为2；

(5.3)融合次大图像块到背景帧中去，结合次大图像块上像素点的二值前景值和背景帧上对应像素点的状态标志值判断使用何种方法融合该点像素到背景帧上：

当次大图像块上像素点的二值前景值为1时，若背景帧上对应像素点的状态标志值为0，则利用泊松图像编辑的方法融合该像素点；若背景帧上对应像素点的状态标志值为1，则利用加权融合的方法融合该像素点，且给予次大图像块上的像素点较大权重，背景帧上对应像素点较小权重；若背景帧上对应像素点的状态标志值为2，则利用加权融合的方法融合该像素点且为等权重融合；

当次大图像块上像素点的二值前景值为0时，若背景帧上对应像素点的状态标志值为0，则利用泊松图像编辑的方法融合该像素点；若背景帧上对应像素点的状态标志值为1，则利用加权融合的方法融合该像素点且等权重融合；若背景帧张对应像素点的状态标志值为2，则利用加权融合的方法融合该像素点，且次给予大图像块上的像素点较小权重，背景帧上对应像素点较大权重；

(5.4)如步骤(5.3)，按照面积由大到小依次处理各图像块。