CN1635789A - 基于事件检测的体育节目中虚拟广告自动插入方法 - Google Patents

Abstract

一种基于事件检测的体育节目中虚拟广告自动插入方法，包括步骤：对原始视频进行事件检测，确定广告插入的时间；检测画面内容，确定广告插入的空间位置；将虚拟广告和经事件检测的原始视频的图像进行合成。本发明的方法是在事件检测的基础上自动检测广告插入的时刻在画面中的位置，定义好事件和要插入的广告内容后，本发明可以通用于同类体育节目的不同场次，而无须另外编辑。使用本发明的方法可以根据不同的地区不同的播放时间插入不同的广告，不需要另外添置硬件。

Description

基于事件检测的体育节目中虚拟广告自动插入方法

技术领域

本发明涉及模式识别技术，特别涉及基于事件检测的体育节目中虚拟广告自动插入方法。

背景技术

虚拟广告系统被广泛应用于体育节目或文艺节目的编辑制作。它将制作好的虚拟广告牌插入到赛场或表演场的空地上，或用虚拟广告牌替换掉场地上原有的广告牌，而不影响观众的收看。利用虚拟广告系统有很多优点。首先，在对不同的地区进行转播时，可插入不同的广告，增强广告的有效性，提高资源利用率。另外，赛场上的广告可以不再是静止的，可以将插入的虚拟广告作成动画形式，各种二维或三维的动画广告更能吸引观众的注意力。此外，使用虚拟广告后，广告位置不再局限于场地的边边角角，如果愿意，整个场地都可以放置虚拟广告，广告尺寸也不会有任何限制。而且，虚拟广告可插入到以前无法利用的空间，如水面、沙滩、雪地或非常高的地方。但是目前的虚拟广告系统都是基于人工手动的。编辑者根据经验和具体体育节目的特点和比赛的场景、节奏等决定什么时刻插入广告，广告放在画面的什么位置。这种方法费时费力，而且带有人的主管因素，对每一个比赛场次都必须手动完成。制作播出的节目对所有的观众都是一样的，没有地域针对性。对于已经制作好的数据很难再改动，即使能改动，代价也是非常高。

发明内容

本发明的目的是提供一种基于事件检测的体育节目中虚拟广告自动插入方法，在事件检测的基础上自动确定广告插入的时间和在画面上的位置。

为实现上述目的，一种基于事件检测的体育节目中虚拟广告自动插入方法，包括步骤：

对原始视频进行事件检测，确定广告插入的时间；

检测画面内容，确定广告插入的空间位置；

将虚拟广告和经事件检测的原始视频的图像进行合成。

本发明的方法是在事件检测的基础上自动检测广告插入的时刻和在画面中的位置，定义好事件和要插入的广告内容后，本发明可以通用于同类体育节目的不同场次，而无须另外编辑。使用本发明的方法可以根据不同的地区不同的播放时间插入不同的广告，不需要另外添置硬件。

附图说明

图1是基于事件检测的虚拟广告自动插入方法框图；

图2是事件检测框架图；

图3是事件解析图；

图4是事件模型框架；

图5是特征提取框架；

图6是事件推理流程；

图7是广告叠加区域的提取框图；

图8是基于事件检测的自动虚拟广告插入框架流程图；

图9是图像中字幕区域检测方法流程图；

图10是体育节目中的虚拟广告图例。

具体实施方式

其流程图表示为图1。对原始节目进行相关事件检测，以决定广告插入的时刻。然后结合广告内容判断广告应叠加到视频画面的什么地方。接着进行图像合成，即将广告叠加到画面中。最后播放被编辑制作的视频节目。

事件检测是视频分析、浏览和检索的重要手段，目前多用于体育节目的分析。它可以对视频节目中发生的特定事件进行检测、定位和识别，比如足球比赛中的射门、观众场景，田径赛跑的跑道，排球比赛中的暂停片断，网球比赛中的击球、场地和休息片断，等等。完整的事件检测模块包括事件解析，事件建模，特征提取和事件推理等几个部分。

我们提出的体育视频中事件检测的一般框架如图2所示，包括事件解析，事件建模，特征提取和事件推理四个模块。事件解析根据给定的语义事件，结合视频制作的一般规律、特定领域相关知识以及图像处理、模式识别与计算机视觉等知识对语义事件进行解释，得到组成该事件的组成结构即事件发生的场景、条件、时空上下文信息等。事件解析流程如图3。事件建模是对事件解析的一个模型化过程，具体给出事件的模型及模型内部的相互关系，事件发生的条件、场景以及时空上下文信息之间的确定的或者可能的逻辑因果关系。可以说，事件模型是给出了一个可以让计算机理解并执行的事件的定义。一般在事件建模时可以给出事件发生和检测的大致流程与框架。事件模型框架如图4。事件检测最终需要计算机自动实现，计算机只能提取一些低级的视觉-听觉信息。必须选择有效和可靠同时易于提取的特征用于事件推理的证据。根据特征的不同，相应的特征提取方法也不同，需要具体问题具体分析，一般的视觉特征包括颜色、纹理、边缘、形状、运动等，听觉特征如短时帧能量、复倒谱系数等。特征提取的流程如图5。得到提取之后，将多个特征按照一定规则进行融合，并将融合的特征输入事件推理器，根据一定的推理规则判断事件是否发生，或者以多大概率发生。一般来说事件推理参数需要实现学习得到相应参数。事件推理模块如图6所示。

在决定广告插入的时间后，还需要根据事件类别和广告内容决定广告应该加在画面的什么地方，使得广告效果最好同时不影响观众的观赏效果。我们的方法是检测比赛场地，区分画面中的比赛场景和非比赛场景，如图7所示。比赛场地的检测基于画面的主颜色分析和纹理特征分析，一般来说在大多数画面中比赛赛场地占据画面的大部分面积，场地也会比较均匀。

我们提出了体育节目中精彩片断检测与自动虚拟广告插入方法。该方法完整的框架如图8所示。首先对原始视频进行镜头分割；然后在每个镜头中检测进行特征提取，这些特征包括慢速重放段落的检测，观众场面的检测，运动员特写镜头的检测，字幕检测以及比赛场地的分割等。后面我们将讲述特征提取方法。因为在一个镜头中不一定每个特征都会出现，但是每个特征对精彩片断的影响因子不同，或者说特征对事件的条件概率不同。将特征融合并用贝叶斯网络推理处事件发生的概率，当概率值大于某个门限时认为事件发生，否则认为不发生。当判断事件发生后，检测广告插入的位置，最后是广告画面合成，将广告画面叠加到原始画面中在播放就是叠加过广告后的节目。

以下讲述特征提取方法：

(1)慢速重放的检测

因为体育节目中，大多数精彩镜头会以慢速度方式重放一次或者几次。慢速回放是精彩镜头的重要提示。我们提出的慢速回放检测方法简单而稳定。在体育节目中，慢速回放与正常播放之间总会有一个扫换(wipe)过程，在这个过程中有一个标志图像从左到右的扫换。因为体育节目中wipe过程除了慢速回放转换时使用外几乎不会出现，所以检测wipe过程可以用来确定慢速回放的起止点。我们的检测基于帧间像素差，一般来说这个差值比较大而且这个过程延续一定时间，所以比较容易检测。我们的策略是在节目开始播放的大约十分钟内检测画面划入/出(wipe)转换过程，在这个过程中记录这个标志图像。然后在节目的一下阶段可以用这个学习得到的标志图去匹配得到出现慢速回放的片断的起止点。

(2)比赛场地检测

比赛场地检测同样是基于自适应学习。在体育比赛中场地在很多画面中会占据大部分面积，而且场地颜色相对均匀稳定。通过画面中主颜色分析与统计可以得到场地颜色值。我们的方法是在比赛的开始阶段检测并统计画面中的主颜色，这个主颜色就对应着比赛场地的颜色。记录这个颜色值并对比赛画面进行分割，其中场地区的象素到这个值的距离较小，而非场地区到这个值的距离较大，以此可以将比赛场地提取出来。场地区域相对整个画面的面积比可以用来度量拍摄镜头的远景。一般来说远镜头中场地面积大，而近镜头和特写中场地面积小。

(3)观众场面的检测

一般精彩尽头中会出现欢呼的观众的场面，因此可以认为观众场面也是精彩镜头的有用提示。

观众场面检测基于以下两个特性：场地面积颜色比和画面纹理特性。对于观众场景而言，场地面积比非常低，甚至为零，但是仅这一个特性还无法决定就是观众场景，因为包括场外教练特写镜头、场外运动员特写镜头的画面中的场地面积比也都非常低。我们加上一个画面的纹理的对比度属性来进一步判别。纹理的对比度由图像灰度的共生矩阵(Gray-Level Co-occurrence Matrix，简称GLCM)计算，它反应了纹理的规则度和均匀性，越不规则越凌乱的图像中，纹理的对比度越大。在以上场景中，观众场景的纹理的对比度很大，其他两种情况都很小。因此用这个两个特征就可以出观众的画面。纹理对比度的计算公式为

$\mathrm{Con}=\underset{n=0}{\overset{L-1}{\mathrm{\Σ}}}{n}^2\left[\underset{|i-j|=n}{\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}p(i,j,d,\mathrm{\θ})}\right]$

其中p(i，j，d，θ)为图像在为d，方向为θ时的归一化共生矩阵。

(4)运动员特写镜头检测

运动员特写画面的检测类似于观众画面的检测。运动员特写画面检测同样是基于场地面积比和画面纹理的对比度特征。在运动员特写画面中，草地占有很小的面积，同时画面纹理的对比度也比较小。

(5)字幕检测

在精彩镜头特别是射门镜头后，会在屏幕的下部显示记分牌，上面会显示两个球门的名称，比分等，这些区域都包含文字。由于文字结构紧凑，笔画多，排列规律，因此包含文字区域的梯度密度比非文字区密度大，根据这一点可以采用基于区域梯度比较的方法检测可能的文字区域，然后用区域长宽比、高度限制、字幕出现在屏幕下部等条件对可能的区域做进一步验证，以得到正确的文字区域。我们的方法包括计算梯度，区域游程平滑，图像的形态学滤波，区域分割和区域验证等五个步骤。字幕检测如图9。

以上是事件检测中底层特征的提取。实际上，并不是所有的精彩镜头中都出现上述特征。需要根据检测到的特征估计精彩镜头出现的可能性大小。我们采用贝页斯网络进行概率推理。贝页斯网络是一个无环网络，它由节点和边组成。每一个节点表示一个状态(变量)，边表示相连接的两个状态之间的概率关系。在基于贝页斯网络的推理中，我们需根据观察变量的先验概率后观察变量对未知变量的后验概率计算出未知变量的后验概率。当未知变量的后验概率大于一定门限时可以认为事件发生，否则认为没有该事件发生。输入的证据是检测得到的特征，输出是经过贝叶斯准则推理得到的事件发生的概率。网络的参数、特征的先验概率以及条件概念擦由训练数据得到。得到的参数可以用于未知数据的推理。

在检测到特定事件发生的时候段后，就可以在这个段落内插入广告。但是还存在一个问题，就是广告应该插入到画面的什么地方，我们希望广告插入的位置既不能严重影响观众的收视效果，同时又可以取得比较好的宣传效果。这里，我们根据不同的场景而在不同的地方加入不同的广告内容。比如，在全景图中我们可以在场地中央加入一个巨型广告，如图10(a)；在观众画面或者是画面信息不重要区域中叠加广告，如图10(b)、(c)；也可以在包含字幕的画面中在字幕的区域下方插入面积比较小的广告，如图10(d)。

接下来可以采用比较成熟的图像合成技术将广告画面合成到原始的视频画面上，让广告内容覆盖原来的区域。

图10是检测到不同事件后将广告叠加到画面不同位置的几个例子。

由于事件的定义带有高级语义，计算机无法直接理解和执行，需要结合领域相关知识和视频编辑规则对事件进行解析和建模，将语义层次的事件建立一个让机器可以理解和执行的一般化模型，然后用计算机视觉、数字图像处理、模式识别和机器学习的方法在视频中提取相应的视觉听觉等特征，在多特征融合下使用概率推理的方法判断事件是否发生。在一个事件的定义、相应参数给定或者用机器学习的方法得到后，可以利用计算机实现事件的自动检测与定位。这些事件可以定义为，比如足球比赛开始前的全场地镜头，足球射门，汽车拉力赛在跑到上，排球、网球等比赛的暂停，精彩片断重放的起始和终止点，等等。

目前我们针对特定高级语义事件，经过适当的解释和推理，利用计算机自动实现已可以达到很高的检测率。

事件定义以及其检测方法和参数确定后，这种事件检测系统可以通用于同类体育节目，且无需人工干预，可重用性好。由于方法完全由软件实现，不需另外添置硬件，灵活性高。

实施例

本方法已被试验用于体育节目中虚拟广告的自动插入。

图10是几个简单的基于事件检测的虚拟广告的例子。图10(a)是对足球比赛开始前场景的提取，在场地中央放直一个很突出的虚拟广告；(b)是在长跑比赛中路面的检测结果，在路面上叠加了虚拟广告；(c)是足球比赛远镜头的检测，一般这个时候比赛并不激烈，在非比赛场地区叠加了广告；(d)是比赛记分牌的检测，并在记分牌的旁边叠加一个小的标记；(e)是观众场景的检测，对于电视观众来说他们并不关心这些信息，因此可以作为广告插入点。比赛场地的提取是基于先验和画面主颜色相结合的统计方法。记分牌区域的检测基于帧间差，帧内边缘方向、密度等特性，观众区域检测基于区域纹理于颜色等特性。

Claims (7)

1.一种基于事件检测的体育节目中虚拟广告自动插入方法，包括步骤：

对原始视频进行事件检测，确定广告插入的时间；

检测画面内容，确定广告插入的空间位置；

将虚拟广告和经事件检测的原始视频的图像进行合成。

2.按权利要求1所述的方法，其特征在于所述事件检测包括步骤：

事件解析，根据事件的语义描述，结合领域相关知识和视频编辑规律对语义事件进行解析，给出事件发生的条件，环境和时空上下文关联信息；

事件建模，给出事件的模型既模型内部的相互关系，事件发生的条件、场景以及时空上下文信息之间的确定的或者可能的逻辑因果关系；

特征提取，提取颜色、纹理、边缘、运动信息，镜头边缘；

事件推理，将检测到的特征作为输入证据，采用基于贝叶斯网络的随机性推理方法进行事件推理。

3.按权利要求2所述的方法，其特征在于所述特征提取包括慢速重放检测，包括步骤：

通过扫换过程检测得到标志图像；

通过与标志图像匹配得到慢速重放段落的起始处和终止处。

4.按权利要求2所述的方法，其特征在于所述特征提取包括比赛场地分割，包括步骤：

在比赛的开始阶段检测并统计画面中的主颜色；

记录这个颜色值并对比赛画面进行分割。

5.按权利要求2所述的方法，其特征在于所述特征提取包括观众场面的检测，包括步骤：

检测场地面积颜色比；

检测画面纹理的对比度特征。

6.按权利要求2所述的方法，其特征在于所述特征提取包括运动员特写镜头检测，包括步骤：

检测场地面积比；

检测画面纹理的对比度特征。

7.按权利要求2所述的方法，其特征在于所述特征提取包括字幕检测，包括步骤：

计算文字区域的梯度；

区域游程平滑；

图像的形态学滤波；

区域分割；

区域验证。

Images