CN103226586A

CN103226586A - 基于能量分布最优策略的视频摘要方法

Info

Publication number: CN103226586A
Application number: CN2013101234929A
Authority: CN
Inventors: 黄凯奇; 曹黎俊; 谭铁牛
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2013-04-10
Filing date: 2013-04-10
Publication date: 2013-07-31
Anticipated expiration: 2033-04-10
Also published as: CN103226586B

Abstract

一种基于能量分布最优策略的视频摘要方法，包括基于最大概率对视频图像进行背景建模与前景分割；基于最优前景覆盖进行目标跟踪；计算最大事件能量；基于能量分布最优策略进行事件重组。本发明通过基于最优前景覆盖的方法，不但可以快速实现目标跟踪，而且通过保留所有前景图像部分，最大程度的保留了所有的事件。本发明基于最大概率的背景建模方法，快速有效，适用于离线视频的背景分离。

Description

基于能量分布最优策略的视频摘要方法

技术领域

本发明涉及对视频流的分析与处理领域，特别涉及一种基于能量分布最优策略的视频摘要方法。

背景技术

随着网络以及多媒体技术的迅速发展，涌现出了大量的数字视频，如新闻、广告、监控视频、家庭视频等。数字视频的大量涌现引发了许多新的技术，包括视频存档、编目、索引以及有效存取等。在众多的研究领域中有一个重要的问题，即如何快速浏览大容量的视频数据，如何获取和表现视频的内容。为了解决这个问题，近年来出现了视频摘要技术。视频摘要，即以自动或半自动的方式对视频的结构和内容进行分析，从原视频中提取出有意义的部分，并将它们以某种方式进行组合，形成简洁的、能够充分表现视频语义内容的概要。它是对长视频内容的简短总结，通常用一段静态或者动态的图像序列来表示，并对原始信息予以保留。

视频摘要方法得到的浓缩视频以其包含信息完整，时间短的优势，得到国内外学校和公司的关注，如Virage、哥伦比亚大学的VideoQ、IBM的CueVideo和卡耐基梅隆大学(CMU)的InformediaII等、微软亚洲研究院(Zhong D，Shih-Fu Chang.“StructureAnalysis of Sports Video Using Domain Models.”ICME，2001)和中国科学院计算所(Ouyang Jianquan，Li Jintao，Zhang Yongdong.“Replay Boundary Detection in MPEG Compressed Video.”IEEEThe Second International Conference on Machine Learning andCybernetics，2003)、清华大学、浙江大学、复旦大学等。

发明内容

本发明的目的是提供一种基于能量分布最优策略的视频摘要方法。

为了实现上述目的，一种基于能量分布最优策略的视频摘要方法，包括：

基于最大概率对视频图像进行背景建模与前景分割；

基于最优前景覆盖进行目标跟踪；

计算最大事件能量；

基于能量分布最优策略进行事件重组。

本发明通过基于最优前景覆盖的方法，不但可以快速实现目标跟踪，而且通过保留所有前景图像部分，最大程度的保留了所有的事件。本发明基于最大概率的背景建模方法，快速有效，适用于离线视频的背景分离。

附图说明

图1是本发明技术方案流程图；

图2是基于能量分布最优策略的浓缩视频流程图；

图3是事件重组方式。

具体实施方式

本发明的思想要点是：1)使用基于最大概率的背景建模方法，可以快速有效的分离离线视频的背景和前景。2)通过基于最优前景覆盖的方法，快速实现目标跟踪，并且最大程度的保留所有的事件。3)通过定义事件能量，和计算能量分布，获得兼顾事件完整性和浓缩效率的事件重组方式，从而获得包含所有事件的视频摘要。本发明的整个技术方案流程图如附图1所示。下面对发明中所涉及到的技术细节予以说明。

基于最大概率的背景建模与前景分割

一段视频可用以下方式定义：V＝{N|I(x，y，t_i)，i＝1，...，N}，其中I(x，y，t_i)为视频中的第i帧图像，整个视频的帧数为N。基于最大概率的背景建模指的是在一段时间内，把每个像素点处出现频率最高的背景值作为该像素位置的背景图像的值。具体实施步骤如下：

步骤1：背景建模。

每帧图像分辨率为H×W，为图像中的每个像素点建立一个统计直方图h_i，j(k)，统计直方图的维数为256，即||h_i，j(k)||＝256，每一维k(k＝0，1，…，255)代表着像素值k在统计时间中出现的频数。

我们把整个视频，分为若干段，每10分钟一段，提取每段视频的前T帧图像，对图像中的每一点做统计直方图h_i，j(k)，从而得到整幅图像在前T帧中的统计结果为：Hist＝{H×W|h_i，j(k)，i＝1，...H；j＝1，...，W；k＝0，...，255}，

其中，Hist为背景直方图，h_i，j(k)是点(i，j)处的统计直方图，W为图像的宽，H为图像的高。

背景图像上的像素点对应于统计直方图中出现频数较多的像素点，则点(i，j)处的背景图像的像素值为：

B (i, j) = \arg \max_{k} h_{i, j} (k) - - - (1)

其中，B(i，j)为点(i，j)处背景的像素值，h_i，j(k)是点(i，j)处的统计直方图。

从而得到该段视频的背景图像为：

B(x，y)＝{H×W|B(i，j)，i＝1，...H；j＝1，...，W} (2)

步骤2：前景分割。

将每一帧图像与步骤1中得到的背景图像相减，再利用图割算法(Jian Sun，Weiwei Zhang，Xiaoou Tang，Heung-Yeung Shum，“Background Cut”，ECCV，2006)得到精确的二值前景图像F(x，y，t_i)。

基于最优前景覆盖的目标跟踪

对提取得到的前景图像F(x，y，t_i)，寻找图像中相互独立的目标区域：R(t_i)＝{n|r_j(x，y，w，h，t_i)，j＝1，...，n}，(x，y)为目标区域最小外接矩形的左上角坐标，(w，h)为最小外接矩形的大小。并将R(t_i)存储到一块临时的内存区域。临时内存区域分别存储了相邻2帧图像的相互独立的目标区域R(t_i-1)和R(t_i)，为了快速得到图像中的目标序列，使用最优前景覆盖率方法。

对于运动目标，在相邻2帧图像中的相对位移比较小，因此在前景区域中有很大的重叠面积，可以通过定义两个区域的覆盖率来跟踪目标。两个区域的覆盖率用式(3)计算。

cr (r_{j} (x, y, w, h, t_{i}), r_{k} (x, y, w, h, t_{i - 1})) = \frac{r_{j} (x, y, w, h, t_{i}) \cap r_{k} (x, y, w, h, t_{i - 1})}{r_{j} (x, y, w, h, t_{i}) \cup r_{k} (x, y, w, h, t_{i - 1})}

= \frac{\underset{(x, y) &Element; r}{Σ} F (x, y, t_{i}) F (x, y, t_{i - 1})}{\underset{(x, y) &Element; r_{j} (t_{i})}{Σ} F (x, y, t_{i}) + \underset{(x, y) &Element; r_{k} (t_{i - 1})}{Σ} F (x, y, t_{i - 1}) - \underset{(x, y) &Element; r}{Σ} F (x, y, t_{i}) F (x, y, t_{i - 1})} - - - (3)

其中r_j(x，y，w，h，t_i)∈R(t_i)＝{n|r_j(x，y，w，h，t_i)，j＝1，...，n}，

r_k(x，y，w，h，t_i-1)∈R(t_i-1)＝{m|r_k(x，y，w，h，t_i-1)，k＝1，...，m；i＞1}，

r＝r_j(x，y，w，h，t_i)∪r_k(x，y，w，h，t_i-1)

其中，cr为覆盖率矩阵，r_j(x，y，w，h，t_i)为第t_i帧的第j个独立目标区域，R(t_i)第t_i帧的所有独立目标区域，r_k(x，y，w，h，t_i-1)为第t_i-1帧的第k个独立目标区域，R(t_i-1)第t_i-1帧的所有独立目标区域，r为r_j(x，y，w，h，t_i)与r_k(x，y，w，h，t_i-1)重叠的区域，(x，y)为目标区域的左上角坐标，(w，h)表示目标区域大小。

覆盖率矩阵cr大小为n×m，第j行表示在第t_i帧图像中第j个独立的目标区域与第t_i-1帧图像中各个独立的目标区域的覆盖率，第k列表示在第t_i-1帧图像中第k个独立的目标区域与第t_i帧图像中各个独立的目标区域的覆盖率。则第t_i帧图像中第j个独立目标区域若满足式(4)的条件，则表示该目标与第t_i-1帧图像中的第k个独立目标是同一目标，即跟踪成功。若第j个独立目标区域与第t_i-1帧图像中的任何目标区域都不满足式(4)条件，则说明该目标为新出现的目标。同样也可建立式(5)的条件，来表明第t_i-1帧图像中第k个独立的目标与第t_i帧图像中第j个独立的目标为同一目标。若第k个独立目标区域与第t_i帧图像中的任何目标区域都不满足式(5)条件，则说明该目标消失，此时记录该目标动过程，即记录该事件。

\{\begin{matrix} k = \arg \max_{x &Element; (1, . . ., m)} cr (r_{j} (x, y, w, h, t_{i}), r_{x} (x, y, w, h, t_{i - 1})) \\ cr (r_{j} (x, y, w, h, t_{i}), r_{k} (x, y, w, h, t_{i - 1})) > 0.8 \end{matrix} - - - (4)

其中，cr为覆盖率矩阵，k为第t_i-1帧的第k个独立目标区域，(x，y)为目标区域的左上角坐标，(w，h)表示目标区域大小。

\{\begin{matrix} j = \arg \max_{x &Element; (1, . . ., n)} cr (r_{x} (x, y, w, h, t_{i}), r_{k} (x, y, w, h, t_{i - 1})) \\ cr (r_{j} (x, y, w, h, t_{i}), r_{k} (x, y, w, h, t_{i - 1})) > 0.8 \end{matrix} - - - (5)

其中，cr为覆盖率矩阵，j为第t_i帧的第j个独立目标区域，(x，y)为目标区域的左上角坐标，(w，h)表示目标区域大小。

最大事件能量的计算

事件指某个目标在连续时间内的一系列动作。因此用目标出现的时刻t_s、消失的时刻t_e，以及目标在时间段[t_s，t_e]出现在图像中的位置来表示，即O_r(t)＝{t_i|r(x，y，w，h，t_i)，t_i∈[t_s，t_e]}，r表示视频中的第r个事件。则整个视频的事件序列为Q＝{q|O_r(t)，r＝1，...，q}，在事件序列中，每个事件是按发生的时间前后发生的排列。此时的事件的能量如式(6)。

E (Q) = Σ_{i = 1}^{q} E (O_{i} (t))

(6)

E (O_{i} (t)) = \underset{(x, y, t) &Element; O_{i} (t)}{Σ} F (x, y, t)

其中，E(Q)为所有事件的能量和，E(O_i(t))为第i个事件的能量，F(x，y，t)为第t帧图像，点(x，y)处的像素值，O_i(t)为第t帧图像的第i个事件。

基于能量分布最优策略的事件重组

事件重组指的是将处于不同时间的两个或多个事件，经时间平移，组合成一个事件的过程，由于不同事件重组为一个事件时，可能会在空间上有重叠，这样就产生了能量损失。因此，用能量分布，即重组事件的能量与重组事件的持续时间的比值，作为衡量事件重组的标准，最大化该比值就是所述的能量分布最优策略。具体来说，将已经提取的事件序列Q，通过时间平移映射M(t)，在时空上进行平移，得到浓缩的视频S，如式(7)。

在浓缩视频时，我们将多个事件优化的问题通过迭代地使用两个事件间的优化得以解决，具体是每次只将一个事件浓缩到视频摘要中，并使本次浓缩得到的视频摘要的最大能量分布，这样每次浓缩都保证得到最优的事件重组，最后得到浓缩所有事件的视频摘要。基于能量分布最优策略的浓缩视频流程图如图2，具体实施步骤如下：

步骤1：初始化浓缩视频为S＝{1|B(x，y)+O_r(M(t))，r＝1}，初始化事件索引c＝2。

步骤2：重组事件O_c(M(t))到浓缩视频S中，得到临时浓缩视频S_t。

我们使用如图3的方式来重组两个事件，处于不同时间段的两个事件，经时间平移映射M(t)，放到同一个时间段中，作为视频摘要中的一段视频。在时间平移时，我们通过逐步增加两个重组事件的重叠时间，通过改变重叠时间，来寻找最优的重组方式。

经时间平移映射M(t)平移后，事件为O_c(M(t))＝{t_i∈[t′_s，t′_e]|r(x，y，w，h，t_i)}，t′_s为[0，N_s]，N_s为浓缩视频S的长度，初始化t′_s＝0。

步骤3：计算事件能量分布。

重组后的事件能量如式(8)。

E (S_{t}) = Σ_{i = 1}^{c} E_{a} (O_{i} (M (t))) - λ Σ_{i = 1}^{c - 1} λ_{i} E_{b} (O_{i} (M (t)), O_{c} (M (t))) - - - (8)

λ表示事件O_c(M(t))与浓缩视频S重组时是否有时间重叠，取值如式(9)，λ_i表示已重组的事件O_i(M(t))在浓缩视频中与事件O_c(M(t))在时间上是否有重叠，取值如式(10)

λ = \begin{matrix}  \end{matrix} \{\begin{matrix} 1, & t_{e} - t_{s} > 0 \\ 0, & otherwise \end{matrix} - - - (9)

E_a(O_i(M(t)))表示目标信息的完整程度，且E_a(O_i(M(t)))＝E(O_i(t))。

E_b(O_i(M(t))，O_c(M(t)))表示事件O_i(M(t))与事件O_c(M(t))在重叠时间中，能量的重叠，即能量损失，若事件O_i(M(t))与事件O_c(M(t))的重叠时间为[t′_s，t′_e]，能量损失计算式如式(11)。

E_{b} (O_{i} (M (t)), O_{c} (M (t))) = Σ_{t = t_{s}^{'}}^{t_{e}^{'}} \underset{x, y}{Σ} α F^{i} (x, y, t) F^{c} (x, y, t) - - - (11)

α为惩罚系数，计算如式(12)，在位置(x，y，t)处重叠的目标个数n越多，惩罚越大，两个目标重叠的时间越长，惩罚越大。

α = n e^{\frac{t_{e}^{'} - t_{s}^{'}}{t_{\min}}} - - - (12)

t_{\min} = \min (t_{e}^{i} - t_{s}^{i}, t_{e}^{c} - t_{s}^{c})

事件的能量分布用浓缩视频的能量与浓缩视频的长度的比值表示，如式(13)。

W (S_{t}) = E (S_{t}) / N_{s_{t}} - - - (13)

步骤4：获得最大的能量分布。

若t′_s＜N_s，则调整重叠时间t′_s＝t′_s+1，返回步骤3重新计算，直至获得最大事件能量分布W(S_t)，此时得到S＝S_t。

步骤5：c＝c+1，返回步骤2，直至将所有的事件浓缩到视频S中，获得浓缩所有事件的视频摘要。

后处理，获得视频摘要

当事件与背景图像拼接或者两个事件之间有重叠时，往往会有明显的拼接痕迹，为了去掉这些明显的痕迹，使用泊松图像编辑技术(Pérez，Patrick，Gangnet，Michel，Blake，Andrew，“PoissonImage Editing”，ACM SIGGRAPH2003)使在图像拼接处过度自然。该方法利用图像梯度场对待融合区域进行引导插值，将图像融合问题归结为求目标函数的最小化问题，如式(14)，并利用Poisson方程求解这一变分问题。

(14)

std . | N_{p} | f_{p} - \underset{q &Element; N_{p} \cap Ω}{Σ} f_{q} = \underset{q &Element; N_{p} \cap &PartialD; Ω}{Σ} f_{q}^{*} + \underset{q &Element; N_{q}}{Σ} v_{pq}

其中f|_Ω＝{f_p，p∈Ω}，Ω表示一块待融合区域，

表示该区域的边界，p为该区域边界上的点，f表示插值函数，f_p表示在p位置处的插值，q为p点四邻域N_p中的点，v_pq是

在[p，q]梯度方向的投影，即：

v_{pq} = v (\frac{p + q}{2}) \cdot \overset{&RightArrow;}{pq} .

Claims

1.一种基于能量分布最优策略的视频摘要方法，包括：

基于最大概率对视频图像进行背景建模与前景分割；

基于最优前景覆盖进行目标跟踪；

计算最大事件能量；

基于能量分布最优策略进行事件重组。

2.根据权利要求1所述的方法，还包括：使用泊松图像编辑方法对图像的拼接进行处理。

3.根据权利1所述的方法，其特征在于所述背景建模包括：

统计时间T内的背景直方图；

以每点最大概率出现的值作为背景点像素值。

4.根据权利3所述的方法，其特征在于统计时间T内的背景直方图由以下公式决定：

Hist＝{H×W|h_i，j(k)，i＝1，...H；j＝1，...，W；k＝0，...，255}

5.根据权利3所述的方法，其特征在于获得背景的每点的像素值由以下公式决定：

B (i, j) = \arg \max_{k} h_{i, j} (k)

6.根据权利要求1所述的方法，其特征在于所述前景分割包括：

将每一帧图像与背景图像相减；

利用图割算法得到二值前景图像。

7.根据权利1所述的方法，其特征在于计算前景覆盖率由以下公式决定：

cr (r_{j} (x, y, w, h, t_{i}), r_{k} (x, y, w, h, t_{i - 1})) = \frac{r_{j} (x, y, w, h, t_{i}) \cap r_{k} (x, y, w, h, t_{i - 1})}{r_{j} (x, y, w, h, t_{i}) \cup r_{k} (x, y, w, h, t_{i - 1})}

= \frac{\underset{(x, y) &Element; r}{Σ} F (x, y, t_{i}) F (x, y, t_{i - 1})}{\underset{(x, y) &Element; r_{j} (t_{i})}{Σ} F (x, y, t_{i}) + \underset{(x, y) &Element; r_{k} (t_{i - 1})}{Σ} F (x, y, t_{i - 1}) - \underset{(x, y) &Element; r}{Σ} F (x, y, t_{i}) F (x, y, t_{i - 1})}

r＝r_j(x，y，w，h，t_i)∪r_k(x，y，w，h，t_i-1)。

8.根据权利7所述方法，其特征在于判断目标是否得到匹配由以下公式决定：

\{\begin{matrix} k = \arg \max_{x &Element; (1, . . ., m)} cr (r_{j} (x, y, w, h, t_{i}), r_{x} (x, y, w, h, t_{i - 1})) \\ cr (r_{j} (x, y, w, h, t_{i}), r_{k} (x, y, w, h, t_{i - 1})) > 0.8 \end{matrix} .

9.根据权利7所述方法，其特征在于判断目标是否消失由以下公式决定：

\{\begin{matrix} j = \arg \max_{x &Element; (1, . . ., n)} cr (r_{x} (x, y, w, h, t_{i}), r_{k} (x, y, w, h, t_{i - 1})) \\ cr (r_{j} (x, y, w, h, t_{i}), r_{k} (x, y, w, h, t_{i - 1})) > 0.8 \end{matrix} .

10.根据权利1所述方法，其特征在于计算最大事件能量，由以下公式决定：

E (Q) = Σ_{i = 1}^{q} E (O_{i} (t)) .

E (O_{i} (t)) = \underset{(x, y, t) &Element; O_{i} (t)}{Σ} F (x, y, t)

11.根据权利1所述的方法，其特征在于所述基于能量分布最优策略进行事件重组包括：

初始化浓缩视频；

重组事件到浓缩视频中，得到临时浓缩视频；

计算事件能量分布；

获得最大的能量分布。

12.根据权利11所述方法，其特征在于计算事件重组后的能量由以下公式决定：

E (S_{t}) = Σ_{i = 1}^{c} E_{a} (O_{i} (M (t))) - λ Σ_{i = 1}^{c - 1} λ_{i} E_{b} (O_{i} (M (t)), O_{c} (M (t)))

其中

λ = \begin{matrix}  \end{matrix} \{\begin{matrix} 1, & t_{e} - t_{s} > 0 \\ 0, & otherwise \end{matrix}

E(S_t)浓缩事件的能量，λ表示事件O_c(M(t))与浓缩视频S重组时是否有时间重叠，λ_i表示已重组的事件O_i(M(t))在浓缩视频中与事件O_c(M(t))在时间上是否有重叠。E_a(O_i(M(t)))表示目标信息的完整程度，且E_a(O_i(M(t)))＝E(O_i(t))。E_b(O_i(M(t))，O_c(M(t)))表示事件O_i(M(t))与事件O_c(M(t))在重叠时间中，能量的重叠，即能量损失。

13.根据权利11所述方法，其特征在于计算事件重组后的能量损失由以下公式决定：

E_{b} (O_{i} (M (t)), O_{c} (M (t))) = Σ_{t = t_{s}^{'}}^{t_{e}^{'}} \underset{x, y}{Σ} α F^{i} (x, y, t) F^{c} (x, y, t)

其中

\begin{matrix} α = {ne}^{\frac{t_{e}^{'} - t_{s}^{'}}{t_{\min}}} \\ t_{\min} = \min (t_{e}^{i} - t_{s}^{i}, t_{e}^{c} - t_{s}^{c}) \end{matrix} .

α为惩罚系数。