CN102523482B

CN102523482B - 一种基于视频内容以及回归方法的广告监测技术

Info

Publication number: CN102523482B
Application number: CN201110403578.8A
Authority: CN
Inventors: 杨锦强; 朝红阳; 丁圣勇
Original assignee: National Sun Yat Sen University
Current assignee: Sun Yat Sen University; National Sun Yat Sen University
Priority date: 2011-12-07
Filing date: 2011-12-07
Publication date: 2014-07-23
Anticipated expiration: 2031-12-07
Also published as: CN102523482A

Abstract

本发明公开了一种基于视频内容以及回归方法的广告监测技术，包括：步骤1：对广告视频提取特征帧，并记录对应特征帧的相关信息；步骤2：对待检测视频提取匹配帧序列；步骤3：利用所述特征帧的相关信息，采用回归检测的方法，判定所述匹配帧序列与对应广告特征帧序列是否满足约束，从而得出检测结果。与现有技术相比，本发明的有益效果是：本发明优点在于可快速，准确的检测出视频中的广告帧，为广告客户检测其广告投放情况提供了准确，科学的统计数据。

Description

一种基于视频内容以及回归方法的广告监测技术

技术领域

本发明涉及广告监测技术领域，特别涉及一种基于视频内容以及回归方法的广告监测技术。

背景技术

随着互联网技术的发展，多媒体也成为了广告服务商投放广告不可忽视的载体。广告投放不再只局限于传统传播方式如：广告牌、海报等，转向以依托于电视台，网络视频等可视化媒体的新型传播方式。然而现今的这种变革也为广告客户带了困难，不能以依靠人工为单一检测模式，更多需要以自动化方式为广告客户提供检测功能，保障广告客户的利益。

发明内容

本发明的目的在于提供一种基于视频内容以及回归方法的广告监测技术，该监测技术利用典型特征帧匹配和时序回归的视频监测方法，以自动化方式为广告客户提供监测功能。

本发明的技术方案是：一种基于视频内容以及回归方法的广告监测技术，包括：

步骤1：对广告视频提取特征帧，并记录对应特征帧的相关信息；

步骤2：对待检测视频提取匹配帧序列；

步骤3：利用所述特征帧的相关信息，采用回归检测的方法，判定所述匹配帧序列与对应广告特征帧序列是否满足约束，从而得出检测结果。

进一步地，所述的对广告视频提取特征帧的具体提取流程如下：

1)按时间间隔提取广告视频帧，并记录对应帧的相关信息；

2)根据所述广告视频帧，利用图像处理技术，将每一帧划分为多个区域，

3)每一区域与其它区域的相互关系形成的多维特征向量；

4)利用所述多维特征向量判定两个连续广告视频帧的相似度，若两个连续广告视频帧之间距离大于预定阀值，则认为此两个连续广告视频帧均为此段广告特征帧，否则，则认为仅其中一个为此段广告特征帧；

5)广告视频的所有广告特征帧构成此广告视频的广告特征帧序列，可标识本广告视频的特征。

进一步地，所述的对待检测视频提取匹配帧序列的具体流程如下：

1)按时间间隔提取待检测视频帧，并记录对应帧的相关信息；

2)根据所述广告视频帧，利用图像处理技术，将每一帧划分为多个区域；

3)每一区域与其它区域的相互关系形成的多维特征向量；

4)利用所述多维特征向量判定待检测视频帧与广告特征帧的相似度，若待检测视频帧与广告特征帧之间距离小于预定阀值，则判定此待检测视频帧为待检测视频匹配帧，否则，则判定此待检测视频帧不为待检测视频匹配帧；

5)根据所述待检测匹配帧相关信息，通过比较两连续待检测匹配帧其对应广告特征帧分别在广告视频中的播放时刻，可判定两待检测匹配帧是否属于同一待检测匹配帧序列，若播放时刻差小于阀值，则认为同属一个待检测匹配帧序列，否则为不同待检测匹配帧序列，根据所述形成待检测视频的待检测匹配帧序列。

上述方案中，所述的对应帧的相关信息包括本待检测匹配帧在本待检测视频中的播放时刻，以及本待检测匹配帧相对应广告特征帧在广告视频中的播放时刻。

所述的采用回归检测的方法判定所述匹配帧序列与对应广告特征帧序列是否满足约束具体如下：

1)根据每一广告特征帧在广告中的播放时刻，由此形成本广告中广告特征帧播放时序；

2)根据每一待检测匹配帧在待检测视频中的播放时刻，由此形成本序列中待检测特征帧播放时序；

3)若广告特征帧播放时序与待检测特征帧播放时序满足线性回归约束，则认为此待检测特征帧播放时序代表广告特征帧序列对应广告视频，否则，则不能代表任何广告视频。

与现有技术相比，本发明的有益效果是：本发明优点在于可快速，准确的检测出视频中的广告帧，为广告客户检测其广告投放情况提供了准确，科学的统计数据。

附图说明

图1为本发明中广告视频处理架构示意图；

图2为本发明整体架构示意图；

图3为本发明中广告视频处理流程示意图；

图4为本发明中广告检测方法整体流程示意图；

图5为本发明中广告帧匹配模块流程示意图；

图6为本发明中广告帧回归检测模块流程示意图。

图中：

001：广告采集模块，通过用户上传或终端设备采集广告视频

002：广告帧抽取模块，通过视频处理技术按时间间隔t1抽取广告帧

003：广告特征帧提取模块，通过图像处理技术从普通广告帧中抽取能代表此广告的广告特征帧

004：广告特征帧存储模块，根据用户投放广告规则，按频道存储广告帧，方便检索广告帧

005：待检测视频采集模块，通过电视，互联网等终端设备采集待检测视频信息

006：待检测视频帧抽取模块，通过视频处理技术按时间间隔t2抽取待检测视频帧

007：广告帧匹配模块，通过图像处理技术初步判定待检测视频帧是否为广告帧

008：广告帧回归检测模块，通过时序回归检测最终判定待检测匹配帧序列是否代表一则广告

009：广告视频集，由广告采集模块001收集的广告视频结果

010：广告帧，由广告帧抽取模块002抽取的广告帧，其中F代表本广告帧的特征，Id代表本广告帧从属于某广告的编号，Time代表本广告帧在某广告中的播放时刻

011：广告特征帧，由广告特征帧提取模块003从普通广告帧中提取出能代表此段广告的特征帧。其中F代表本广告帧特征，Id代表该广告帧从属于该广告的编号，Time代表该广告帧在该广告中的播放时刻

012：广告特征帧集，根据用户需求，广告特征帧存储模块004按频道组织广告特征帧，形成广告特征帧集

013：普通视频集，通过视频采集模块005收集的普通视频结果

014：待检测视频帧，由视频帧抽取模块006抽取的视频帧，其中CF代表待检测视频帧的特征，Cid代表待检测视频帧所在频道，Ctime代表待检测视频帧在频道中的播放时刻

015：待检测视频匹配帧序列，通过广告帧匹配模块007从待检测视频帧中初步识别出可能代表广告的一组待检测视频帧，其中CF代表待检测匹配帧的特征，Cid代表待检测匹配帧所在频道，Ctime代表待检测匹配帧在频道中的播放时刻，Time代表与待检测匹配帧对应的广告特征帧的播放时间

016：成功识别为广告的待检测匹配帧序列，通过广告帧回归检测模块008最终确定待检测视频特征帧序列是否为广告

017：被放弃的待检测视频帧，通过广告帧匹配模块007识别出不可能代表广告的待检测视频帧

018：待检测匹配帧，通过广告帧匹配模块007从待检测视频帧中初步识别出可能代表广告的待检测视频帧，其中CF代表待检测匹配帧的特征，Cid代表待检测匹配帧所在频道，Ctime代表待检测匹配帧在频道中的播放时刻，Time代表与待检测匹配帧对应的广告特征帧的播放时间

019：提取待检测匹配帧序列，为回归检测模块子活动之一，负责从一组待检测匹配帧序列中一次提取待检测匹配帧序列

020：绘制回归曲线，为回归检测子模块活动之一，负责绘制散点图，以Ctime为纵轴，Time为横轴

021：被放弃的待检测匹配帧序列，为不满足线性回归约束条件的待检测匹配帧序列

具体实施方式

本发明提供的一种基于视频内容以及回归方法的广告监测技术本发明提供了一种新型检测广告的方法，其特点主要包括三个方面：如何有效抽取广告特征帧，如何利用回归检测判定一定时序区间内的连续待检测帧为一个广告，以及如何有效检测单个广告的连续播放。同时，本发明整体的方法流程由广告视频处理体系和待检测视频处理体系实现。

广告视频处理体系则主要包含四大功能模块：广告采集模块、广告帧抽取模块、广告特征帧提取模块、广告特征帧存储模块。其实现步骤如下所述：

1、采集广告视频信号；

2、按时间间隔抽取广告帧；

3、利用图像辨别技术，依次判定两个连续广告帧之间的距离，从而决定是否保留此广告帧为广告特征帧，其中首个广告帧默认为特征帧；

4、按频道存储广告特征帧。

待检测视频处理体系主要包含四大模块，待检测视频采集模块、待检测视频抽取模块、广告帧匹配模块、广告帧回归检测模块。其实现步骤如下所述：

1、提供待检测视频信号；

2、按时间间隔提取待检测视频帧，并记录待检测视频帧的播放时间；

3、利用图像辨别技术判定待检测视频帧与广告特征帧之间的差异性，若差异较小，则判定此待检测视频帧为待检测匹配帧，若差异较大，则判定此待检测视频帧不为待检测匹配帧；

4、利用回归检测判定待检测匹配帧序列与广告特征帧序列是否满足线性约束条件，若满足，则判定此待检测匹配帧序列代表一则广告，若不满足，则判定此待检测匹配帧序列不代表一则广告。

本发明优点在于可快速，准确的检测出视频中的广告帧，为广告客户检测其广告投放情况提供了准确，科学的统计数据。

以下结合附图对本发明进一步说明。

广告视频处理体系实现如下：

1)请参照图1与图3，首先由广告采集模块001通过用户上传或终端设备采集广告视频，接收到广告视频结果集009；

2)广告视频结果集009由广告帧抽取模块002将原视频信息进行加工处理，处理步骤主要包括：

1、按时间间隔t1抽取广告帧；

2、将广告帧中所有像素点的RGB值转化为灰度值；

3、将广告帧划为四个区域(此处区域个数可选)，以该区域内所有像素点的灰度值之和代表广告帧在本区域内的内容；

4、以灰度值之和为参考值判定四个区域之间的关系，如：

sum(区域i)＞sum(区域j)，则f(区域i，区域j)＝1

sum(区域i)＜sum(区域j)，则f(区域i，区域j)＝-1

sum(区域i)＝sum(区域j)，则f(区域i，区域j)＝0

由此形成表示此帧的特征向量F。假定广告帧被划分为四个区域，则

F＝(f(区域1，区域2)，f(区域1，区域3)，f(区域1，区域4)，f(区域2，区域3)，f(区域2，区域4)，f(区域3，区域4))；

5、记录此广告帧所在广告Id，以及此广告帧在广告中的播放时刻Time；

6、形成可完整表达此广告帧特征的多元组(F，Id，Time)010。

3)由广告特征帧提取模块003，按相邻广告帧的相似程度判定该广告帧是否为此广告的特征帧，默认第一帧为特征帧，比较原则如下：

若Distance(帧i，帧j)＞＝阀值1，则帧j为特征帧；

若Distance(帧i，帧j)＜阀值1，则帧j不为特征帧，且舍弃。

所有保留的广告帧则为此广告特征帧011，所有广告帧按排列顺序依次进行比较；

4)由广告特征帧存储模块004，对特征帧按频道进行规整，对同一特征帧出现在多个频道的情况，需拷贝存储。从而获得按频道存储的广告特征帧集012。

待检测视频处理体系实现如下：

1)请参照图4，图5，图6，待检测视频采集模块005通过电视，互联网等终端设备，接收待检测视频信号013；(此处以数字电视为例)

2)按频道输入的待检测视频信号，通过视频帧抽取模块006按如下步骤抽取视频帧：

1、按时间间隔t2依次抽取待检测视频帧；

2、将待检测视频帧中所有像素点的RGB值转化为灰度值；

3、将待检测视频帧划为四个区域(此处区域个数可选)，以该区域内所有像素点的灰度值之和代表此待检测视频帧在本区域内的内容；

4、以灰度值之和为参考值判定四个区域之间的关系，如：

sum(区域1)＞sum(区域2)，则f(区域1，区域2)＝1

sum(区域1)＜sum(区域2)，则f(区域1，区域2)＝-1

sum(区域1)＝sum(区域2)，则f(区域1，区域2)＝0

由此形成表示此待检测视频帧的特征向量CF。

假定此待检测视频帧被划分为四个区域，则CF＝(f(区域1，区域2)，f(区域1，区域3)，f(区域1，区域4)，f(区域2，区域3)，f(区域2，区域4)，f(区域3，区域4))；

5、记录此待检测视频帧所在频道CId，以及此待检测视频帧在频道中的播放时刻CTime；

6、形成可完整表达此待检测视频帧特征的多元组(CF，CId，CTime)014。

7、利用图像辨别技术依次识别待检测视频帧之间的距离，形成待检测视频帧序列组014，举例如下：

若Distance(CF1，CF2)＜＝阀值2且CF1、CF2不为空帧，则认为CF1，CF2所代表的待检测视频帧属于同一待检测视频帧序列1；

待检测视频帧序列组结果：

序列1：CF1所代表的待检测视频帧，CF2所代表的待检测视频帧

若Distance(CF1，CF2)＞阀值2且CF1、CF2不为空帧，则认为CF1，CF2所代表的待检测视频帧不属于同一待检测视频帧序列1，并新增待检测视频帧序列2。

待检测视频帧序列组结果：

序列1：CF1所代表的待检测视频帧；

序列2：CF2所代表的待检测视频帧。

3)结合图4和图5，广告帧匹配模块007利用图像辨别技术对待检测视频帧序列组014中的待监测视频帧分别与广告特征帧集012中的广告特征帧进行距离分析：

若Distance(CF，F)＞＝阀值3，则认为此待检测视频帧不为此待检测匹配帧，舍弃此待检测视频帧；

若Distance(CF，F)＜阀值3，则认为此待检测视频帧为此待检测匹配帧。

若该待检测视频帧序列为空，则删除此待检测视频帧序列。所有保留待检测视频帧序列构成待检测视频特征帧序列组015；

4)结合图4和图6，广告帧回归检测模块008利用广告帧匹配模块007提取的待检测视频特征帧序列组015中的待检测视频特征帧分别进一步与广告特征帧集012中的广告特征帧完成时序回归检测，最终判定此待检测视频特征帧是否为广告，步骤如下所述：

1、分别从待检测视频特征帧序列组015中取出一个序列和广告特征帧集012中取出同属于一个广告的广告特征帧组，以Time变量为横轴，Ctime变量为纵轴做散点图；

2、并自动绘制拟合的回归曲线，规定曲线允许的置信区间，针对本发明，回归曲线为直线，因此置信区间为对直线斜率的限制；

假定a为回归曲线斜率，若置信区间，则认为此待检测视频帧序列代表广告特征帧组中广告id出现频率最高的那支广告；若置信区间，则认为此待检测视频帧序列不代表任何广告，舍弃此待检测视频序列。

本发明中回归曲线斜率的置信区间不做限制，可根据具体情况调节。按序列排序依次进行回归检测，所有被成功检测的待检测视频帧序列016为最终结果集。

Claims

1.一种基于视频内容以及回归方法的广告检测方法，其特征在于包括：

步骤2：对待检测视频提取匹配帧序列；

步骤3：利用所述特征帧的相关信息，采用回归检测的方法，判定所述匹配帧序列与对应广告特征帧序列是否满足约束，从而得出检测结果，所述的采用回归检测的方法判定所述匹配帧序列与对应广告特征帧序列是否满足约束具体如下：

1）根据每一广告特征帧在广告中的播放时刻，由此形成本广告中广告特征帧播放时序；

2）根据每一待检测匹配帧在待检测视频中的播放时刻，由此形成本序列中待检测特征帧播放时序；

3）若广告特征帧播放时序与待检测特征帧播放时序满足线性回归约束，则认为此待检测特征帧播放时序代表广告特征帧序列对应广告视频，否则，则不能代表任何广告视频；

所述的对广告视频提取特征帧的具体提取流程如下：

11）按时间间隔提取广告视频帧，并记录对应帧的相关信息；

12）根据所述广告视频帧，利用图像处理技术，将每一帧划分为多个区域，

13）每一区域与其它区域的相互关系形成多维特征向量；

14）利用所述多维特征向量判定两个连续广告视频帧的相似度，若两个连续广告视频帧之间距离大于预定阀值，则认为此两个连续广告视频帧均为此段广告特征帧，否则，则认为仅其中一个为此段广告特征帧；

15）广告视频的所有广告特征帧构成此广告视频的广告特征帧序列，可标识本广告视频的特征。

2.根据权利要求1所述的基于视频内容以及回归方法的广告检测方法，其特征在于：所述的对待检测视频提取匹配帧序列的具体流程如下：

21）按时间间隔提取待检测视频帧，并记录对应帧的相关信息；

22）根据所述广告视频帧，利用图像处理技术，将每一帧划分为多个区域；

23）每一区域与其它区域的相互关系形成多维特征向量；

24）利用所述多维特征向量判定待检测视频帧与广告特征帧的相似度，若待检测视频帧与广告特征帧之间距离小于预定阀值，则判定此待检测视频帧为待检测视频匹配帧，否则，则判定此待检测视频帧不为待检测视频匹配帧；

25）根据所述待检测匹配帧相关信息，通过比较两连续待检测匹配帧其对应广告特征帧分别在广告视频中的播放时刻，可判定两待检测匹配帧是否属于同一待检测匹配帧序列，若播放时刻差小于阀值，则认为同属一个待检测匹配帧序列，否则为不同待检测匹配帧序列。

3.根据权利要求2所述的基于视频内容以及回归方法的广告检测方法，其特征在于：所述的对应帧的相关信息包括本待检测匹配帧在本待检测视频中的播放时刻，以及本待检测匹配帧相对应广告特征帧在广告视频中的播放时刻。