CN104376580A - 一种视频摘要中非关注区域事件的处理方法 - Google Patents

Abstract

本发明公开了一种视频摘要中非关注区域事件的处理方法，步骤包括：1)选择非关注区域，根据需要通过画线的方式选择非关注区域，黑斜线上方部分即为选取的非关注区域，黑斜线下面部分即为关注的主要区域；2)提取运动目标，按照单高斯背景建模方法提取背景图像；3)对事件分类，设定直分线上方为非关注区域，直分线下方为关注区域，通过上述方法将事件分为关注区域事件和非关注区域事件，完成事件的分类；4)在视频摘要中生成非关注区域事件，根据由关注区域生成的摘要视频的长度来确定非关注区域的事件在摘要视频中的生成方式。本发明的方法，避免非关注区域事件的遗漏，同时不会增加生成的视频摘要长度。

Description

一种视频摘要中非关注区域事件的处理方法

技术领域

本发明属于机器视觉技术领域，涉及一种视频摘要中非关注区域事件的处理方法。

背景技术

视频摘要中非关注度区域的事件处理是视频摘要系统的重要组成部分，视频摘要就是对视频的内容进行浓缩，通过运动目标检测或其它方式提取视频画面中的运动目标，然后对各个运动目标的轨迹进行分析，将不同目标的轨迹按照某种规则融合在一起，以缩短原始视频的长度。然而，在实际拍摄的监控场景中有时候会不可避免的存在一些非关注区域，这部分区域发生的事件一般不是关注的重点，且情况较为复杂，参与轨迹融合时会影响摘要视频生成的效率和质量。

发明内容

本发明的目的是提供一种视频摘要中非关注区域事件的处理方法，解决了现有技术中，这部分区域发生的事件一般不是关注的重点，且情况较为复杂，参与轨迹融合时会影响摘要视频生成的效率和质量的问题。

本发明所采用的技术方案是，一种视频摘要中非关注区域事件的处理方法，按照以下步骤实施：

步骤1、选择非关注区域

根据需要，通过画线的方式选择非关注区域，黑斜线上方部分即为选取的非关注区域，黑斜线下面部分即为关注的主要区域；

步骤2、提取运动目标

设视频帧序列为f_t(x,y)，t＝1,2,...,N，t为帧序号，N为视频的总帧数，按照单高斯背景建模方法提取背景图像；

步骤3、对事件分类

将提取到的目标的外接矩形中属于非关注区域的面积与目标的外接矩形的面积的比，来表示该运动目标和非关注度区域的隶属程度M，公式如下：

$M=\frac{S_1}{S_2},---\left(11\right)$

其中，M为运动目标和非关注区域的隶属程度，S₁为目标的外接矩形中属于非关注区域的面积，S₂为目标的外接矩形的面积，当M大于某一阈值时，则认为当前提取的运动目标属于非关注区域，否则属于关注区域。

定义非关注区域和关注区域的分界线称为直分线，设定直分线上方为非关注区域，直分线下方为关注区域，则直分线与目标的外接矩形包括相交或不相交两种情况，通过上述方法将事件分为关注区域事件和非关注区域事件，完成事件的分类；

步骤4、在视频摘要中生成非关注区域事件

对于非关注区域只做运动目标提取，若当前帧提取到有运动目标，且该运动目标被判断为在非关注区域中，则将其信息保存起来，根据关注区域生成的摘要视频的长度，来确定非关注区域的事件在摘要视频中的生成方式。

本发明的有益效果是，在生成视频摘要的过程中，设置相应的非关注区域，对该区域发生的事件，通过采用胶片剪辑、抛帧等处理方法，使之在摘要视频中有效生成，生成对应的视频摘要，能够提高摘要视频的生成质量。

本发明方法将视频中的事件加以分类，分为关注区域事件和非关注区域事件，与通常的方法不同(非关注区域的事件不在视频摘要中生成)，能够全面显示视频中发生的所有事件，避免非关注区域事件的遗漏，同时，不会增加生成的视频摘要长度。

附图说明

图1是本发明选取的一个实际监控场景的视频截图；

图2是针对图1选取的非关注区域截图；

图3是采用本发明方法提取到的前景区域示意图；

图4是本发明方法采用的模板示意图；

图5是本发明方法采用的目标的外接矩形示意图；

图6是采用本发明方法对目标的外接矩形的提取结果截图；

图7是采用本发明方法去除小区域后提取结果截图；

图8是本发明方法在目标的外接矩形和直分线不相交情况下目标的外接矩形在直分线上方的示意图；

图9是本发明方法在目标的外接矩形和直分线不相交情况下目标的外接矩形在直分线下方的示意图；

图10是本发明方法在直分线和目标的外接矩形相交情况下的直分线与目标的外接矩形左边界及上边界相交示意图；

图11是本发明方法在直分线和目标的外接矩形相交情况下的直分线与目标的外接矩形左边界及右边界相交示意图；

图12是本发明方法在直分线和目标的外接矩形相交情况下的直分线与目标的外接矩形上边界及下边界相交示意图；

图13是本发明方法在直分线和目标的外接矩形相交情况下的直分线与目标的外接矩形下边界及右边界相交示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明所述的非关注区域，是指因监控相机视角所限，某些区域的运动目标过小或者遮挡严重的区域，这些目标属于视觉无参考意义的部分，因此将其设置为非关注区域，对落入非关注区域的运动目标一般不列入摘要事件之中。

本发明所述的视频摘要中非关注区域事件的处理方法，按照以下步骤实施：

步骤1、选择非关注区域

如图1所示，在实际使用过程中，所架设的摄像头存在一定倾角拍摄时，在视频画面中近景会比较大，而远景会相对较小。监控者主要关注的是道路上发生的事件，但是由于拍摄时摄像头有一定的倾角，较远区域就不可避免的拍摄到路面以外的画面，远处的事物就有可能有一些不关注的区域进入监控画面，如图1中左上角、右上角的画面部分，称这样的区域为非关注区域。

如图2所示，这些非关注区域一般在视频画面的左上角和右上角，所以就可根据需要通过画线的方式选择非关注区域，黑斜线上方部分即为选取的非关注区域，黑斜线下面部分即为关注的主要区域，该黑斜线与水平方向的夹角θ优选30°-60°(该黑斜线即为图8-图13描述中所述的直分线)。

步骤2、提取运动目标

设视频帧序列为f_t(x,y)，t＝1,2,...,N，t为帧序号，N为视频的总帧数，按照单高斯背景建模方法提取背景图像，单高斯建模方法具体步骤如下：

2.1)初始化背景图像

计算一段时间内视频序列图像f(x,y)中每一像素的平均灰度值μ₀及像素灰度的方差由μ₀和组成具有高斯分布的初始背景图像Β₀，f_t(x,y)表示t时刻的实时图像，x＝1,2,...,m，y＝1,2,...,n，如公式(1)所示：

$B_0=[{\mathrm{\μ}}_0,{\mathrm{\δ}}_0^2],---\left(1\right)$

其中， ${\mathrm{\μ}}_0(x,y)=\frac{1}{T}\underset{t=0}{\overset{T-1}{\mathrm{\Σ}}}{f}_t(x,y),---\left(2\right)$

${\mathrm{\δ}}_0^2(x,y)=\frac{1}{T}\underset{t=0}{\overset{T-1}{\mathrm{\Σ}}}{[f_t(x,y)-{\mathrm{\μ}}_0(x,y)]}^2---\left(3\right)$

2.2)更新背景图像

利用视频序列提供的实时信息对背景模型进行更新，B_t-1(x,y)表示t-1时刻的背景图像，B_t(x,y)的更新值通过公式(4)得到：

B_t(x,y)＝(1-ρ)·B_t-1(x,y)+ρ·f_t(x,y)，    (4)

其中，背景更新率ρ是一个常数，用来反映当前图像对背景的更新速度，通过单高斯背景建模得到的背景为B_t(x,y)，再采用背景差分法，提取当前帧的前景目标区域为O_t(x,y)，O_t(x,y)的计算公式(5)如下：

其中，Th为一个合适的阈值，取值优选为30～60。

对提取的运动目标区域，进行形态学处理，得到较为理想的二值图，如图3所示；

步骤2.3)通过贴标签的方式获取运动区域的外接矩形，并用其外接矩形描述目标所在的区域，具体包括以下四步：

2.3.1)初始化

设标签号为Lab＝0，已贴标签数N_lab＝0，标签矩阵g为全0阵，按照从上到下，从左到右的顺序寻找未贴标签的目标点；

2.3.2)检查相邻像素的状态：

如图4实施例所示，图4中，▲表示已经扫描过的像素，★表示当前像素，█表示未处理的像素，根据模板中的相邻像素的状态进行相应的处理；

(本发明实施例采用图4的模板，根据需要还可以选用类似的模板)

·如果扫描过的像素均为0，则，Lab＝Lab+1，g(i,j)＝Lab，N_lab＝N_lab+1；

·如果扫描过的像素标签号相同，则g(i,j)＝Lab；

·如果扫描过的像素标签号不相同，例如：Lab2＞Lab1,则g(i,j)＝Lab1，N_lab＝N_lab-1，修改所有为Lab2的像素值，使之为Lab1；

2.3.3)将全部的像素进行步骤2.3.2)的处理，直到所有的像素全部处理完成；

2.3.4)判断最终的Lab是否满足Lab＝N_lab，如果是，则贴标签处理完成；如果不是，则表明已贴标签存在不连号情况，这时需要进行一次编码整理，消除不连续编号的情况，

经过上述的处理后，在新的标签图中就形成连续的标签号，之后利用标签信息求出各个目标的外接矩形，假如要计算标签值为k目标的外接矩形，外接矩形的位置采用区域的左上点(x_min,y_min)和右下点(x_max,y_max)描述，如图5中，椭圆区域为标签为k的区域，左上点和右下点的计算公式如下：

x_min＝min(j),g(i,j)＝k，    (6)

y_min＝min(i),g(i,j)＝k，    (7)

x_max＝max(j),g(i,j)＝k，    (8)

y_max＝max(i),g(i,j)＝k，    (9)

图6为贴标签后提取的运动目标的外接矩形，通过对目标的外接矩形的面积进行判断，去除面积较小的区域即可去除一部分噪声，如图7所示，目标的外接矩形面积S的计算公式为：

S＝(x_max-x_min+1)×(y_max-y_min+1)，    (10)

步骤3、对事件分类

视频中的一个运动目标从进入视频画面到离开视频画面的过程被称作一个运动事件，事件分类就是根据需要，采用人机交互的方式将视频画面分为关注区域和非关注区域，对于视频中发生的运动事件判断其是属于关注区域还是非关注区域。

将提取到的目标的外接矩形中属于非关注区域的面积与目标的外接矩形的面积的比，来表示该运动目标和非关注度区域的隶属程度M，公式如下：

$M=\frac{S_1}{S_2},---\left(11\right)$

其中，M为运动目标和非关注区域的隶属程度，S₁为目标的外接矩形中属于非关注区域的面积，S₂为目标的外接矩形的面积(相当于公式10中的目标区域的外接矩形面积S)，当M大于某一阈值时(M一般取0.5左右)，则认为当前提取的运动目标属于非关注区域，否则属于关注区域。

定义非关注区域和关注区域的分界线称为直分线，问题的关键就在于判断直分线与目标的外接矩形之间的对应关系，设定直分线上方为非关注区域，直分线下方为关注区域，则直分线与目标的外接矩形包括相交或不相交两种情况：

1)直分线和目标矩形区域不相交的情况

假设目标的外接矩形的四个角顺时针依次称为A、B、D、C，直分线称为EF，由点和直分线的关系可知，图8所示情况下目标的外接矩形右下角D点在直分线上方，图9所示情况下目标的外接矩形左上角A点在直分线下方，则认为图8的隶属度M为1，图9的隶属度M为0；

2)直分线和目标的外接矩形相交

以目标的外接矩形左上角A与直分线EF相交为例，直分线和目标的外接矩形相交可以分为以下四种情况，如图10、图11、图12、图13所示，

要计算隶属度M，关键在求解出目标的外接矩形中属于非关注区域部分的面积S₁，对于图10、图11、图12、图13中各自非关注区域的面积S₁分别采用以下公式计算：

图10中， $S_1=\frac{1}{2}\×\mathrm{AE}\×\mathrm{AF},---\left(12\right)$

图11中， $S_1=\frac{1}{2}\×(\mathrm{BF}+\mathrm{AE})\×\mathrm{AB},---\left(13\right)$

图12中， $S_1=\frac{1}{2}\×(\mathrm{CE}+\mathrm{AF})\×\mathrm{AC},---\left(14\right)$

图13中， $S_1=\frac{1}{2}\×(\mathrm{BF}+\mathrm{AC})\×\mathrm{AB},---\left(15\right)$

对于直分线和C、B点相交的情况可以归为以上四种情况中的一种来处理，对于右上角的直分线和目标矩形区域的相互关系的分析，以此类推分别进行计算，通过上述方法将事件分为关注区域事件和非关注区域事件，完成事件的分类。

步骤4、在视频摘要中生成非关注区域事件

基于上述步骤，对于非关注区域只做运动目标提取，若当前帧提取到有运动目标，且该运动目标被判断为非关注区域中，则将其信息保存起来，根据关注区域生成的摘要视频的长度，来确定非关注区域的事件在摘要视频中的生成方式，具体步骤如下：

4.1)当非关注区域发生事件的总帧数小于关注区生成摘要视频的长度时，对于非关注区域的事件采用逐帧依次添加到摘要视频中；

4.2)当非关注区域发生事件的总帧数大于关注区生成摘要视频的长度时，对于非关注区域的事件采用合适的抛帧依次添加到摘要视频中。

采用合适的抛帧，具体要求是：即设关注区域生成的摘要视频长度为Num₁帧，非关注区域一共有Num₂帧发生事件，对于非关注区的事件最终每隔帧采样，将其中的非关注区域检测到的目标逐帧加入关注区域生成的摘要视频中，其中表示向上取整符号。

通过以上步骤，生成的摘要视频的长度就取决于关注区域发生的事件产生的摘要视频的长度，同时很好的将非关注区域的事件生成在摘要视频中而不增加摘要视频的总长度。

Claims (5)

1.一种视频摘要中非关注区域事件的处理方法，其特点在于，按照以下步骤实施： 

步骤1、选择非关注区域 

根据需要通过画线的方式选择非关注区域，黑斜线上方部分即为选取的非关注区域，黑斜线下面部分即为关注的主要区域； 

步骤2、提取运动目标 

设视频帧序列为f_t(x,y)，t＝1,2,...,N，t为帧序号，N为视频的总帧数，按照单高斯背景建模方法提取背景图像； 

步骤3、对事件分类 

将提取到的目标的外接矩形中属于非关注区域的面积与目标的外接矩形的面积的比，来表示该运动目标和非关注度区域的隶属程度M，公式如下： 

其中，M为运动目标和非关注区域的隶属程度，S₁为目标的外接矩形中属于非关注区域的面积，S₂为目标的外接矩形的面积，当M大于某一阈值时，则认为当前提取的运动目标属于非关注区域，否则属于关注区域； 

定义非关注区域和关注区域的分界线称为直分线，设定直分线上方为非关注区域，直分线下方为关注区域，则直分线与目标的外接矩形包括相交或不相交两种情况，通过上述方法将事件分为关注区域事件和非关注区域事件，完成事件的分类； 

步骤4、在视频摘要中生成非关注区域事件 

对于非关注区域只做运动目标提取，若当前帧提取到有运动目标，且该 运动目标被判断为非关注区域中，则将其信息保存起来，根据由关注区域生成的摘要视频的长度来确定非关注区域的事件在摘要视频中的生成方式，即成。 

2.根据权利要求1所述的视频摘要中非关注区域事件的处理方法，其特点在于：所述的步骤1中，该黑斜线与水平方向的夹角θ优选30°-60°。 

3.根据权利要求1所述的视频摘要中非关注区域事件的处理方法，其特点在于：所述的步骤2中，按照单高斯背景建模方法提取背景图像，单高斯建模方法具体步骤如下： 

2.1)初始化背景图像 

计算一段时间内视频序列图像f(x,y)中每一像素的平均灰度值μ₀及像素灰度的方差，由μ₀和组成具有高斯分布的初始背景图像B₀，f_t(x,y)表示t时刻的实时图像，x＝1,2,...,m，y＝1,2,...,n，如公式(1)所示： 

其中，

2.2)更新背景图像 

利用视频序列提供的实时信息对背景模型进行更新，B_t-1(x,y)表示t-1时刻的背景图像，B_t(x,y)的更新值通过公式(4)得到： 

B_t(x,y)＝(1-ρ)·B_t-1(x,y)+ρ·f_t(x,y)，    (4) 

其中，背景更新率ρ是一个常数，用来反映当前图像对背景的更新速度，通过单高斯背景建模得到的背景为B_t(x,y)，再采用背景差分法，提取当前帧的前景目标区域为O_t(x,y)，O_t(x,y)的计算公式(5)如下： 

其中，Th为一个合适的阈值，取值优选为30～60； 

对提取的运动目标区域，进行形态学处理，得到较为理想的二值图； 

步骤2.3)通过贴标签的方式获取运动区域的外接矩形，并用其外接矩形描述目标的所在的区域，具体包括以下四步： 

2.3.1)初始化 

设标签号为Lab＝0，已贴标签数N_lab＝0，标签矩阵g为全0阵，按照从上到下，从左到右的顺序寻找未贴标签的目标点； 

2.3.2)检查相邻像素的状态： 

设定▲表示已经扫描过的像素，★表示当前像素，█表示未处理的像素，根据模板中的相邻像素的状态进行相应的处理； 

如果扫描过的像素均为0，则，Lab＝Lab+1，g(i,j)＝Lab，N_lab＝N_lab+1； 

如果扫描过的像素标签号相同，则g(i,j)＝Lab； 

如果扫描过的像素标签号不相同，例如：Lab2＞Lab1,则g(i,j)＝Lab1，N_lab＝N_lab-1，修改所有为Lab2的像素值，使之为Lab1； 

2.3.3)将全部的像素进行步骤2.3.2)的处理，直到所有的像素全部处理完成； 

2.3.4)判断最终的Lab是否满足Lab＝N_lab，如果是，则贴标签处理完成；如果不是，则表明已贴标签存在不连号情况，这时需要进行一次编码整理，消除不连续编号的情况， 

经过上述的处理后，在新的标签图中就形成连续的标签号，之后利用标签信息求出各个目标的外接矩形，假如要求取标签值为k目标的外接矩形， 外接矩形的位置采用区域的左上点(x_min,y_min)和右下点(x_max,y_max)描述，椭圆区域为标签为k的区域，左上点和右下点的计算公式如下： 

x_min＝min(j),g(i,j)＝k，     (6) 

y_min＝min(i),g(i,j)＝k，     (7) 

x_max＝max(j),g(i,j)＝k，     (8) 

y_max＝max(i),g(i,j)＝k，     (9) 

通过对目标区域的外接矩形的面积进行判断，去除面积较小的区域即可去除一部分噪声，目标区域的外接矩形面积S的计算公式为： 

S＝(x_max-x_min+1)×(y_max-y_min+1)   (10) 。

4.根据权利要求1所述的视频摘要中非关注区域事件的处理方法，其特点在于：所述的步骤3中，直分线与目标矩形包括相交或不相交两种情况，具体是： 

1)直分线和目标的外接矩形不相交的情况 

假设目标的外接矩形的四个角顺时针依次称为A、B、D、C，直分线称为EF，由点和直分线的关系可知，第一种情况下目标的外接矩形右下角D点在直分线上方，第二种情况下目标的外接矩形左上角A点在直分线下方，则认为第一种的隶属度M为1，第二种的隶属度M为0； 

2)直分线和目标的外接矩形相交 

以目标的外接矩形左上角A与直分线EF相交为例，直分线和目标的外接矩形相交可以分为以下四种情况， 

要计算隶属度M，关键在求解出属于非关注区域部分的面积S₁，对于该四种情况中各自非关注区域的面积S₁分别采用以下公式计算： 

对于直分线和C、B点相交的情况可以归为以上四种情况中的一种来处理，对于右上角的直分线和目标矩形区域的相互关系的分析，以此类推分别进行计算。 

5.根据权利要求1所述的视频摘要中非关注区域事件的处理方法，其特点在于：所述的步骤4中，根据关注区域生成的摘要视频的长度来确定非关注区域的事件在摘要视频中的生成方式，具体步骤如下： 

4.1)当非关注区域发生事件的总帧数小于关注区生成摘要视频的长度时，对于非关注区域的事件采用逐帧依次添加到摘要视频中； 

4.2)当非关注区域发生事件的总帧数大于关注区生成摘要视频的长度时，对于非关注区域的事件采用合适的抛帧依次添加到摘要视频中。 

采用合适的抛帧，具体要求是：即设关注区域生成的摘要视频长度为Num₁帧，非关注区域一共有Num₂帧发生事件，对于非关注区的事件最终每隔 帧采样，将其中的非关注区域检测到的目标逐帧加入关注区域生成的摘要视频中，其中表示向上取整符号。