CN103020094A - 视频播放次数统计方法 - Google Patents

Abstract

本发明涉及图像处理技术和模式识别技术领域，公开了一种视频播放次数统计方法，包括以下步骤：S1、定义视频图像序列F＝{f₁，f₂，f₃，…，f_N}，抽取其中的关键帧的特征向量，并得到特征向量集合adv＝{V₁，V₂，…，V_M}以及得到特征数据库adv_db＝{adv₁，adv₂，…，adv_L}；S2、对一定数量的视频进行检测并根据所述特征数据库统计视频播放次数。本发明采用一组关键特征来表述一段视频，利用多尺度网格与haar特征相结合的方法实现了视频自动提取关键特征的功能，从而实现了实时视频与模板视频的图像内容匹配，且利用关键特征频率直方图累计积分的方法统计视频广告播放次数，这种方法由于关键帧特征向量长度短，匹配快，非常适合大规模的视频库搜索比对，适用于统计视频播放次数。

Description

视频播放次数统计方法

技术领域

本发明涉及图像处理技术和模式识别技术领域，具体涉及一种视频播放次数统计方法。

背景技术

传统的视频广告播放统计主要是人工方式实现，即人员通过事后回放录像，手工记录播出广告的时长、名称、内容以及类型等数据，然后进行信息汇总。这种人工监视方式耗时耗力，已经无法满足大规模多媒体信息统计查询的需求。

而智能广告统计技术是通过视频分析技术来实现自动统计广告播放次数的功能。该技术是利用图像处理和模式识别技术实现对视频广告监测，通过对实时电视节目或者节目录像数据进行监测，实现自动统计各类广告或其它图像的识别和数据统计，并根据要求报警，为进一步分析提供支持。该技术的核心是通过对待处理视频流进行特征提取并和存储的广告模板特征进行特征比对，对特征相似的模板进行进一步分析，确认为图像与模板匹配，若没有模板与该帧图像匹配则进行下一帧图像的识别处理。常用的特征提取主要包括图像的灰度、边界、面积、分块重心等，首先计算图像的分块重心，再进行特征提取的时候要进行灰度分析、区域分割等的计算。匹配时通过分块重心对模板库进行初步匹配，如果匹配成功，在进行每一像素的匹配。由于该技术采用多级特征检索技术，在一定程度提高了模板匹配速度，但由于后续采用逐个图像像素匹配方法，特征维数还是比较大，不利于大规模匹配，而且逐个图像像素匹配对于像素变化比较敏感，如果图像中出现了显著局部变化，例如增加了游动字幕和挂角广告信息，则广告匹配准确度将大幅下降。另外，广告模板视频缺少自动化分割提取技术，使得模板数据比较大，不利于大规模广告视频数据保存和搜索。

发明内容

(一)要解决的技术问题

本发明所要解决的技术问题是：如何设计一种适合大规模的视频库搜索比对的视频播放次数统计方法。

(二)技术方案

为解决上述技术问题，本发明提供了一种视频播放次数统计方法，包括以下步骤：

S1、定义视频图像序列F＝{f₁，f₂，f₃，…，f_N}，抽取其中的关键帧的特征向量，并得到特征向量集合adv＝{V₁，V₂，…，V_M}以及得到特征数据库adv_db＝{adv₁，adv₂，…，adv_L}，L为视频总个数，M、N均为正整数；

S2、对一定数量的视频进行检测并根据所述特征数据库统计视频播放次数。

优选地，步骤S1具体包括：

1.0，设视频图像序号n为1；

1.1，对视频图像f_n作网格划分，定义为划分后的子图像，k代表分割的尺寸，k＝2，4，8，i代表网格行坐标，j代表网格列坐标；

1.2，利用积分图方法对子图像提取8个haar特征，得到特征向量

表示

对应子块的特征向量；

1.3，若n＝1，则保存

转到步骤1.1；若n＞1，则转到步骤1.4；

1.4，对连续两帧视频图像计算相似度S(f_n，f_n+1)；

$S(f_n,f_{n+1})=\underset{k=\mathrm{2,4,8}}{\mathrm{\Σ}}\left(\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}S(V_n^k(i,j),V_{n+1}^k(i,j))\right)$

其中， $S(V_n^k(i,j),V_{n+1}^k(i,j))=a\cos \left(\frac{V_n^k(i,j)\·V_{n+1}^k(i,j)}{\left|V_n^k(i,j)\right|\left|V_{n+1}^k(i,j)\right|}\right)$

acos表示反余弦函数；

1.5，对连续两帧视频图像进行判别，若S(f_n，f_n+1)＞S₀，将当前图像的特征向量V_n加入特征集合adv，S₀为预设的阈值；

1.6，将n加1，若n＜N，则将

赋值给

转步骤1.1，否则，直接得到视频对应的特征向量集合adv；

对每一段视频重复步骤1.1～1.6，得到特征数据库：adv_db＝{adv₁，adv₂，…，adv_L}。

优选地，步骤S2具体包括：

2.0，定义adv_stat＝{freq_i|i＝1，2，3，…，L}，freq_i为第i个视频的播放次数，L为视频总个数；

2.1，对于任一视频t时刻的一帧图像f_t，利用步骤1.1和1.2计算图像特征向量V_t；

2.2，判断f_t是否在特征数据库adv_db中，并统计f_t的播放次数；

2.3，将t加1，若t≤T，则转至步骤2.2；否则转至步骤2.4，T表示连续视频帧总数；

2.4，统计所有视频播放次数。

优选地，步骤2.2具体包括：

2.2.0，定义adv_freq＝{freq_i，j|i＝1，2，3，…，L；j＝1，2，3，…，M}，freq_i，j表示第i个视频的第j个关键帧f_i，j出现的次数，M为视频的特征向量个数；

2.2.1，初始化集合adv_freq为零，即freq_i，j＝0；

2.2.2，令i＝1；

2.2.3，j＝1；

2.2.4，利用步骤1.4计算两帧图像相似度S(f_t，f_i，j)；

2.2.5，若S(f_t，f_i，j)＜T₁，则将freq_i，j加1；

2.2.6，将j加1，若j≤M，则转至步骤2.2.3；否则转至步骤2.2.7；

2.2.7，将i加1，若i≤L，则转至步骤2.2.2；否则转至步骤2.3。

优选地，步骤2.4具体包括：

2.4.1，令i＝1；

2.4.2，求{freq_i，j|j＝1，2，3，…，M}的最大值freq_max；

2.4.3，计算频率直方图Freq_Hist＝{h(0)，h(1)，…，h(freq_max)}，h(l)表示第i个视频出现次数为l的关键帧数，l＝0，......，freq_max；

2.4.4，求频率直方图累计积分；

2.4.5，根据频率直方图累计积分结果求得视频的最多播放次数；

2.4.6，将i加1，转步骤2.4.1计算下一个视频的播放次数。

优选地，步骤2.4.4具体包括：

2.4.4.1，令r＝freq_max-1；

2.4.4.2，计算h(r-1)＝h(r)+h(r-1)；

2.4.4.3，将r减1，若r＞＝2，转至步骤2.4.4.1；否则转至步骤2.4.5。

优选地，步骤2.4.5具体包括：

2.4.5.1，令r＝freq_max；

2.4.5.2，求ratio(r)＝h(r)/M，ratio(r)表示播放次数为r次的关键帧数在视频中所占比例；

2.4.5.3，若ratio(r)＞0.5，则令freq_i＝r，转至步骤2.4.6；否则转至步骤2.4.5.4；

2.4.5.4，将r减1，若r≥＝1，则转至步骤2.4.5.2，否则令freq_i＝0，转至步骤2.4.6。

(三)有益效果

本发明采用一组关键特征来表述一段视频，利用多尺度网格与haar特征相结合的方法实现了视频自动提取关键特征的功能，从而实现了实时视频与模板视频的图像内容匹配，且利用关键特征频率直方图累计积分的方法统计视频广告播放次数，这种方法由于关键帧特征向量长度短，匹配快，非常适合大规模的视频库搜索比对，适用于统计视频播放次数。

附图说明

图1是图像2x2网格划分示意图；

图2是从图像中所提取的haar特征示意图；

图3是本发明实施例的方法流程图。

具体实施方式

下面对于本发明所提出的一种视频播放次数统计方法，结合附图和实施例详细说明。

如图3所示，本发明实施例提供了一种广告视频播放次数统计方法，包括以下步骤：

S1、定义视频图像序列F＝{f₁，f₂，f₃，…，f_N}，抽取其中的关键帧的特征向量，并得到特征向量集合adv＝{V₁，V₂，…，V_M}以及得到特征数据库adv_db＝{adv₁，adv₂，…，adv_L}，L为视频总个数，M、N均为正整数；

S2、对一定数量的视频进行检测并根据所述特征数据库统计视频播放次数。

步骤S1具体包括：

1.0，设视频图像序号n为1；

1.1，对视频图像f_n分别作2x2，4x4，8x8网格划分(图1为2x2划分)，定义

为划分后的子图像，k代表分割的尺寸，k＝2，4，8，i代表网格行坐标，j代表网格列坐标；

1.2，利用Paul Viola提出的积分图方法(参见V DLA P，JONES M.Robust Real Time Object Detection[A].IEEE ICCV WorkshopStatistical and Computational Theories of vision[C].Vancouver，Canada，2001.)对子图像

提取8个haar特征(如图2所示)，得到特征向量

表示对应子块的特征向量，每帧图像特征向量的总长度为(2×2+4×4+8×8)×8＝672；

1.3，若n＝1，则保存

转到步骤1.1；若n＞1，则转到步骤1.4；

1.4，对连续两帧视频图像计算相似度S(f_n，f_n+1)；

$S(f_n,f_{n+1})=\underset{k=\mathrm{2,4,8}}{\mathrm{\Σ}}\left(\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}S(V_n^k(i,j),V_{n+1}^k(i,j))\right)$

其中， $S(V_n^k(i,j),V_{n+1}^k(i,j))=a\cos \left(\frac{V_n^k(i,j)\·V_{n+1}^k(i,j)}{\left|V_n^k(i,j)\right|\left|V_{n+1}^k(i,j)\right|}\right)$

acos表示反余弦函数；

1.5，对连续两帧视频图像进行判别，若S(f_n，f_n+1)＞S₀，则表明两幅图像差异比较大，将当前图像的特征向量V_n加入特征集合adv，S₀为预设的阈值，取[0.5，0.8]；

1.6，将n加1，若n＜N，则将

赋值给

转步骤1.1，否则，直接得到视频对应的特征向量集合adv；

对每一段视频重复步骤1.1～1.6，得到特征数据库：adv_db＝{adv₁，adv₂，…，adv_L}。

优选地，步骤S2具体包括：

2.0，定义adv_stat＝{freq_i|i＝1，2，3，…，L}，freq_i为第i个视频的播放次数，L为视频总个数；

2.1，对于任一实时视频t时刻的一帧图像f_t，利用步骤1.1和1.2计算图像特征向量V_t；t表示视频编号，也可以看做是时刻，因为一段视频是由一组离散的图像构成。

2.2，判断f_t是否在特征数据库adv_db中，并统计f_t的播放次数；

2.3，将t加1，若t≤T，则转至步骤2.2；否则转至步骤2.4，T表示连续视频帧总数；

2.4，统计所有视频播放次数。

优选地，步骤2.2具体包括：

2.2.0，定义adv_freq＝{freq_i，j|i＝1，2，3，…，L；j＝1，2，3，…，M}，freq_i，j表示第i个视频的第j个关键帧f_i，j出现的次数，M为视频的特征向量个数；

2.2.1，初始化集合adv_freq为零，即freq_i，j＝0；

2.2.2，令i＝1；

2.2.3，j＝1；

2.2.4，利用步骤1.4计算两帧图像相似度S(f_t，f_i，j)；

2.2.5，若S(f_t，f_i，j)＜T₁，则将freq_i，j加1，T₁取值为6.0；

2.2.6，将j加1，若j≤M，则转至步骤2.2.3；否则转至步骤2.2.7；

2.2.7，将i加1，若i≤L，则转至步骤2.2.2；否则转至步骤2.3。

优选地，步骤2.4具体包括：

2.4.1，令i＝1；

2.4.2，求{freq_i，j|j＝1，2，3，…，M}的最大值freq_max；

2.4.3，计算频率直方图Freq_Hist＝{h(0)，h(1)，…，h(freq_max)}，h(l)表示第i个视频出现次数为l的关键帧数，l＝0，......，freq_max；

2.4.4，求频率直方图累计积分；

2.4.5，根据频率直方图累计积分结果求得视频的最多播放次数；

2.4.6，将i加1，转步骤2.4.1计算下一个视频的播放次数。

优选地，步骤2.4.4具体包括：

2.4.4.1，令r＝freq_max-1；

2.4.4.2，计算h(r-1)＝h(r)+h(r-1)；

2.4.4.3，将r减1，若r＞＝2，转至步骤2.4.4.1；否则转至步骤2.4.5。

优选地，步骤2.4.5具体包括：

2.4.5.1，令r＝freq_max；

2.4.5.2，求ratio(r)＝h(r)/M，ratio(r)表示播放次数为r次的关键帧数在视频中所占比例；

2.4.5.3，若ratio(r)＞0.5，则令freq_i＝r，转至步骤2.4.6；否则转至步骤2.4.5.4；

2.4.5.4，将r减1，若r≥＝1，则转至步骤2.4.5.2，否则令freq_i＝0，转至步骤2.4.6。

将本发明的方法应用在广告视频统计时，首先注册广告视频模板，其过程是：在广告统计阶段，对输入标准MPEG2或MPEG4节目视频流解码，解码后变为YUV数据，提取其中的Y进行视频分析，按照所述1.1和1.2描述的方法提取图像特征，按照步骤S2所述方法将输入图像特征与广告数据库中所有注册广告模板特征进行匹配，若匹配到广告模板，则对模板进行统计，若没有匹配，则继续处理下一帧图像。每一帧图像处理完后将处理结果信息和当前广告统计信息汇总并输出显示。

本发明实施例提出的一种广告视频统计方法，设计了一种新的视频关键帧自动提取方法，实现了视频广告自动建立模型功能；关键帧特征向量长度短，匹配快，非常适合大规模的视频库搜索比对，用于统计节目视频流广告播放次数；另外，图像特征采用多尺度网格区域特征联合编码，能在一定程度上降低添加字幕，挂角广告等局部信息所带来的影响。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (7)

1.一种视频播放次数统计方法，其特征在于，包括以下步骤：

S1、定义视频图像序列F＝{f₁，f₂，f₃，…，f_N}，抽取其中的关键帧的特征向量，并得到特征向量集合adv＝{V₁，V₂，…，V_M}以及得到特征数据库adv_db＝{adv₁，adv₂，…，adv_L}，L为视频总个数，M、N均为正整数；

S2、对一定数量的视频进行检测并根据所述特征数据库统计视频播放次数。

2.如权利要求1所述的方法，其特征在于，步骤S1具体包括：

1.0，设视频图像序号n为1；

1.1，对视频图像f_n作网格划分，定义

为划分后的子图像，k代表分割的尺寸，k＝2，4，8，i代表网格行坐标，j代表网格列坐标；

1.2，利用积分图方法对子图像

提取8个haar特征，得到特征向量

表示

对应子块的特征向量；

1.3，若n＝1，则保存

转到步骤1.1；若n＞1，则转到步骤1.4；

1.4，对连续两帧视频图像计算相似度S(f_n，f_n+1)；

$S(f_n,f_{n+1})=\underset{k=\mathrm{2,4,8}}{\mathrm{\Σ}}\left(\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}S(V_n^k(i,j),V_{n+1}^k(i,j))\right)$

其中， $S(V_n^k(i,j),V_{n+1}^k(i,j))=a\cos \left(\frac{V_n^k(i,j)\·V_{n+1}^k(i,j)}{\left|V_n^k(i,j)\right|\left|V_{n+1}^k(i,j)\right|}\right)$

acos表示反余弦函数；

1.5，对连续两帧视频图像进行判别，若S(f_n，f_n+1)＞S₀，将当前图像的特征向量V_n加入特征集合adv，S₀为预设的阈值；

1.6，将n加1，若n＜N，则将

赋值给转步骤1.1，否则，直接得到视频对应的特征向量集合adv；

对每一段视频重复步骤1.1～1.6，得到特征数据库：adv_db＝{adv₁，adv₂，…，adv_L}。

3.如权利要求2所述的方法，其特征在于，步骤S2具体包括：

2.0，定义adv_stat＝{freq_i|i＝1，2，3，…，L}，freq_i为第i个视频的播放次数，L为视频总个数；

2.1，对于任一视频t时刻的一帧图像f_t，利用步骤1.1和1.2计算图像特征向量V_t；

2.2，判断f_t是否在特征数据库adv_db中，并统计f_t的播放次数；

2.3，将t加1，若t≤T，则转至步骤2.2；否则转至步骤2.4，T表示连续视频帧总数；

2.4，统计所有视频播放次数。

4.如权利要求3所述的方法，其特征在于，步骤2.2具体包括：

2.2.0，定义adv_freq＝{freq_i，j|i＝1，2，3，…，L；j＝1，2，3，…，M}，freq_i，j表示第i个视频的第j个关键帧f_i，j出现的次数，M为视频的特征向量个数；

2.2.1，初始化集合adv_freq为零，即freq_i，j＝0；

2.2.2，令i＝1；

2.2.3，j＝1；

2.2.4，利用步骤1.4计算两帧图像相似度S(f_t，f_i，j)；

2.2.5，若S(f_t，f_i，j)＜T₁，则将freq_i，j加1；

2.2.6，将j加1，若j≤M，则转至步骤2.2.3；否则转至步骤2.2.7；

2.2.7，将i加1，若i≤L，则转至步骤2.2.2；否则转至步骤2.3。

5.如权利要求4所述的方法，其特征在于，步骤2.4具体包括：

2.4.1，令i＝1；

2.4.2，求{freq_i，j|j＝1，2，3，…，M}的最大值freq_max；

2.4.3，计算频率直方图Freq_Hist＝{h(0)，h(1)，…，h(freq_max)}，h(l)表示第i个视频出现次数为l的关键帧数，l＝0，......，freq_max；

2.4.4，求频率直方图累计积分；

2.4.5，根据频率直方图累计积分结果求得视频的最多播放次数；

2.4.6，将i加1，转步骤2.4.1计算下一个视频的播放次数。

6.如权利要求5所述的方法，其特征在于，步骤2.4.4具体包括：

2.4.4.1，令r＝freq_max-1；

2.4.4.2，计算h(r-1)＝h(r)+h(r-1)；

2.4.4.3，将r减1，若r＞＝2，转至步骤2.4.4.1；否则转至步骤2.4.5。

7.如权利要求6所述的方法，其特征在于，步骤2.4.5具体包括：

2.4.5.1，令r＝freq_max；

2.4.5.2，求ratio(r)＝h(r)/M，ratio(r)表示播放次数为r次的关键帧数在视频中所占比例；

2.4.5.3，若ratio(r)＞0.5，则令freq_i＝r，转至步骤2.4.6；否则转至步骤2.4.5.4；

2.4.5.4，将r减1，若r≥＝1，则转至步骤2.4.5.2，否则令freq_i＝0，转至步骤2.4.6。

Images