CN103020153A - 一种基于视频的广告识别方法 - Google Patents

Abstract

本发明公开了一种基于视频的广告识别方法，包括如下步骤：a)采集视频广告的视频，并收集与该广告相对应商品的详细信息；b)提取该广告视频的特征信息，并将该广告视频的特征信息和商品信息一起保存到数据库中；c)获取用户录制的视频，并提取所述用户视频的特征信息；d)根据所述用户视频的特征信息在数据库中查找相似的广告视频，如找到，则将该广告视频所对应的商品信息返回给用户。本发明提供的基于视频的广告识别方法，能够快速、准确的对视频信息进行搜索对比，并将广告视频对应的商品信息及时返回给用户。

Description

一种基于视频的广告识别方法

技术领域

本发明涉及一种广告识别方法，尤其涉及一种基于视频的广告识别方法。

背景技术

如今，广告的传播已不局限于电视机、报纸等传统媒介，越来越多视频广告出现在公交上、地铁上、收音机里、餐厅里、电梯里。人们的购物方式也更为多样化，选择去实体店购买产品的消费者逐渐减少，越来越多的人选择网上购物，而随着移动技术的提高，通过移动平台购物也成为了许多人的选择。但是通常，消费者在看完广告之后，需要自行寻找购物途径，如上网搜索，不仅搜索结果不准确，而且还会导致用户产生购买欲望和实际发生购买行为之间存在不同程度的时间间隔。据调查表明，消费者的购买欲望是随着时间的推移不断下降的，如果能在用户对音视频广告中的商品产生购买欲望后的最短时间内，为其提供商品信息和购买途径，将会极大地促进消费。因此，有必要提供一种基于视频的广告识别方法，能够快速、准确地将广告视频对应的商品信息返回给用户。

发明内容

本发明所要解决的技术问题是提供一种基于视频的广告识别方法，能够快速、准确的对视频信息进行搜索对比，并将广告视频对应的商品信息及时返回给用户。

本发明为解决上述技术问题而采用的技术方案是提供一种基于视频的广告识别方法，包括如下步骤：a) 采集视频广告的视频，并收集与该广告相对应商品的详细信息；b) 提取该广告视频的特征信息，并将该广告视频的特征信息和商品信息一起保存到数据库中；c) 获取用户录制的视频，并提取所述用户视频的特征信息；d) 根据所述用户视频的特征信息在数据库中查找相似的广告视频，如找到，则将该广告视频所对应的商品信息返回给用户。

上述的基于视频的广告识别方法，其中，所述视频的特征信息包括旋律特征，所述旋律特征为音符片段序列：                                                ，其中，

代表音符音高，

为音符持续时长，m为音符片段数，i为自然数，

。

上述的基于视频的广告识别方法，其中，所述音符片段序列持续时长为5～15秒。

上述的基于视频的广告识别方法，其中，所述步骤d)中查找相似的旋律特征包括如下过程：

计算两个旋律特征相似度：

其中，A=

,B=

为两个待比较相似度的旋律特征，m为旋律特征A的音符片段数，W 为旋律特征A的音符片段的长度，n为旋律特征B的音符片段数，U为旋律特征B的音符片段的长度，为音符

到的距离，

表示搬移音符的长度；

当两个旋律特征的相似度达到预设阈值则判定两个旋律特征相符。

上述的基于视频的广告识别方法，其中，所述相似度的预设阈值范围为[0.86,1]。

上述的基于视频的广告识别方法，其中，所述视频的特征信息包括颜色特征向量和纹理向量，所述视频的特征信息提取过程如下：将每一段视频分解为一组图像帧；对每一帧图像，分别计算其颜色特征向量和纹理特征向量，并对纹理特征向量进行高斯归一化处理；最后以特征距离作为相似性的判断指标对颜色特征向量和归一化的纹理特征向量进行聚类。

上述的基于视频的广告识别方法，其中，所述每一帧图像的颜色特征向量为RGB颜色空间向量、HSV颜色空间向量、Luv颜色空间向量或Lab颜色空间向量。

上述的基于视频的广告识别方法，其中，所述每一帧图像的纹理特征向量通过灰度共生矩阵方法来提取,所述纹理特征向量包括如下分量：统计矩阵的角二阶矩、对比度、相关量、逆差矩、熵、最大概率、相异度和反差。

上述的基于视频的广告识别方法，其中，所述聚类算法为K-Means聚类算法，所述纹理特征向量的各个分量具有相同权重。

上述的基于视频的广告识别方法，其中，所述商品信息通过商品购买链接返回给用户。

本发明对比现有技术有如下的有益效果：本发明提供的基于视频的广告识别方法，先将广告视频中的特征信息提取出来，并收集其对应的商品信息存储到服务器的数据库中，然后对用户的录制视频提取特征信息，从而通过特征信息比对实现快速准确的搜索匹配，并将匹配的广告视频的所对应的商品信息及时返回给用户。

附图说明

图1为本发明基于视频的广告识别流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

图1为本发明基于视频的广告识别流程示意图。

请参见图1，本发明提供的基于视频的广告识别方法包括如下步骤：

S101：服务器端采集视频广告的视频，并收集与该广告相对应商品的详细信息；

S102：提取该广告视频的特征信息，并将该广告视频的特征信息和商品信息一起保存到数据库中。视频的特征信息包括旋律特征、图像颜色特征向量和纹理向量。

旋律特征可采用如下音符片段序列：

，其中，

代表音符音高，

为音符持续时长，m为音符片段数，i为自然数，

。综合考虑识别速度和准确率，所述音符片段序列持续时长为5～15秒。

所述图像颜色特征向量和纹理向量提取过程如下：将每一段视频分解为一组图像帧；对每一帧图像，分别计算其颜色特征向量和纹理特征向量，并对纹理特征向量进行高斯归一化处理；所述颜色特征向量可选用RGB颜色空间向量、HSV颜色空间向量、Luv颜色空间向量或Lab颜色空间向量；所述每一帧图像的纹理特征向量通过灰度共生矩阵方法来提取,所述纹理特征向量包括如下分量：统计矩阵的角二阶矩、对比度、相关量、逆差矩、熵、最大概率、相异度和反差；最后以特征距离作为相似性的判断指标对颜色特征向量和归一化的纹理特征向量进行聚类；所述聚类算法为K-Means聚类算法，所述纹理特征向量的各个分量具有相同权重。

具体算法如下：一段视频可表示为一组图像帧（GoF），对于每一帧图像，计算其RGB颜色直方图和纹理特征。当用样本视频O在识别区域S内进行滑动匹配时，首先要计算出当前窗口视频O（t）的颜色和纹理特征，然后采用颜色特征距离值与纹理特征距离值的线性组合来度量两段视频的距离，本发明将每个特征距离的加权值均设为0.5，取得最小距离的位置将选为最佳匹配点。由于样本视频库通常具有成百上千个视频片段，为了判定待测视频片段与哪一个样本视频具有相同内容，采用最近邻分类器将测试视频识别为与其距离最小的样本视频，但是这个距离还需小于一个门限值，否则测试视频不属于任何样本视频。

颜色直方图是在许多图像检索系统中被广泛采用的颜色特征。它所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，即无法描述图像中的对象或物体。颜色直方图特别适于描述那些难以进行自动分割的图像。以基于RGB颜色空间的颜色直方图为例，RGB三个颜色通道的每一个均被分为8个等级，于是颜色直方图实际为8³ = 512维的特征向量。

纹理特征计算可以采用概率纹理分析的共现阵法，灰度共生矩阵算法是基于图像中某一灰度级结构重复出现的概率情况来描述纹理信息,反映图像灰度关于方向、相 邻间隔、变化幅度的综合信息,是分析图像的局部模式和排列规则的基础。其算法描述如下:

把图像f作Lx * Ly到G的变换,即Lx * Ly中的每一点对应一个属于G的灰度,其最高灰度级定义为第Ng级。

定义矩阵第i行j列元素间距离为d,方向为θ的灰度共生矩阵为

Pe=p(i,j,d,θ)                                        （1）

其中，θ= 0°,45°,90°,135°，以x轴为起始,逆时针方向计算,对不同的θ,矩阵元素的定义为：

其中：记号#{x}表示集合x的元素数。矩阵的第i行j列元素表示所有θ方向，相邻间隔为d的像素中有一个取i值，另一个取j值的相邻对点个数。

对式（1）作正规化处理：P(i,j)/R = p(i,j)，其中：R为正规化常数。正规化后的特征值有更高的纹理分辨率。当d = 1, θ= 0°或90°时，R= 2Ny(Nx -1 )；当d = 1, θ= 45°时，R= 2（Ny-1）(Nx -1 )。

根据灰度共生矩阵可计算提取出多个纹理特征值。 其中常用的有如下八个分量：统计矩阵的角二阶矩、对比度、相关量、逆差矩、熵、最大概率、相异度和反差：

由于以上纹理特征分量的物理意义和取值范围不同，所以对它们进行高斯归一化处理，这样在计算特征距离时，可使各分量具有相同权重。高斯归一化方法是一种较好的归一化方法，其特点是少量超大或超小的元素值对整个归一化后的元素值分布影响不大。

高斯归一化公式为：

其中μ为各个特征分量的均值，σ为它们的标准差。

在计算得到每帧图像的颜色和纹理特征基础上，再用聚类的方法得到典型的特征分布，聚类算法采用的是K-Means聚类算法。

K-means算法是很典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。

K-means的公式为：

具体算法如下：

 　　输入：k, data[n]；

　　S1） 选择k个初始中心点，例如c[0]=data[0],…c[k-1]=data[k-1]；

　　S2） 对于data[0]….data[n]，分别与c[0]…c[k-1]比较，假定与c[i]差值最少，就标记为i；

S3） 对于所有标记为i点，重新计算c[i]={ 所有标记为i的data[j]之和}/标记为i的个数；

S4） 重复步骤S2和S3，直到所有c[i]值的变化小于给定阈值。

     颜色特征向量（512维）和归一化的纹理特征特征向量（8维）分别进行聚类，特征距离采用欧氏距离。将颜色特征与纹理特征的类中心数都设为5，于是一段视频的特征F（O）就由5个颜色特征向量和5个纹理特征向量来描述。上述表示法的优点是一段视频用固定维数的特征向量表示，可以抵抗个别帧特征的畸变，也可以消除帧率变化的影响。

S103：获取用户录制的视频，并提取所述用户视频的特征信息；如用户直接通过手机终端拍摄10秒视频并上传到网络服务器，然后根据步骤S102中的方法步骤提取所述用户视频的旋律特征，或者提取图像颜色特征向量和纹理向。

S104：根据所述用户视频的特征信息在数据库中查找和所述用户视频相似的广告视频，如找到，则将该广告视频所对应的商品信息返回给用户。

查找相似的旋律特征可以通过计算两个旋律特征相似度，当两个旋律特征的相似度达到预设阈值则判定两个旋律特征相符，相似度是一个[0,1]之间的浮点数，如果相似度达到[0.86,1]之间，可认为达到阈值。相似度计算如下：

其中，A=,B=

为两个待比较相似度的旋律特征，m为旋律特征A的音符片段数，W 为旋律特征A的音符片段的长度，n为旋律特征B的音符片段数，U为旋律特征B的音符片段的长度，

为音符

到

的距离，

表示搬移音符的长度。

综上所述，本发明提供的基于视频的广告识别方法，先将广告视频中的特征信息提取出来，并收集其对应的商品信息存储到服务器的数据库中，然后对用户录制的视频提取特征信息，从而通过特征信息比对实现快速准确的搜索匹配，并将匹配的广告视频的所对应的商品信息及时返回给用户。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (10)

1.一种基于视频的广告识别方法，其特征在于，包括如下步骤：

a) 采集视频广告的视频，并收集与该广告相对应商品的详细信息；

b) 提取该广告视频的特征信息，并将该广告视频的特征信息和商品信息一起保存到数据库中；

c) 获取用户录制的视频，并提取所述用户视频的特征信息；

d) 根据所述用户视频的特征信息在数据库中查找相似的广告视频，如找到，则将该广告视频所对应的商品信息返回给用户。

2.如权利要求1所述的基于视频的广告识别方法，其特征在于，所述视频的特征信息包括旋律特征，所述旋律特征为音符片段序列：                                               

，其中，代表音符音高，

为音符持续时长，m为音符片段数，i为自然数，

。

3.如权利要求2所述的基于视频的广告识别方法，其特征在于，所述音符片段序列持续时长为5～15秒。

4.如权利要求2所述的基于视频的广告识别方法，其特征在于，所述步骤d)中查找相似的旋律特征包括如下过程：

计算两个旋律特征相似度：

其中，A=

,B=

为两个待比较相似度的旋律特征，m为旋律特征A的音符片段数，W 为旋律特征A的音符片段的长度，n为旋律特征B的音符片段数，U为旋律特征B的音符片段的长度，为音符

到

的距离，表示搬移音符的长度；

当两个旋律特征的相似度达到预设阈值则判定两个旋律特征相符。

5.如权利要求4所述的基于视频的广告识别方法，其特征在于，所述相似度的预设阈值范围为[0.86,1]。

6.如权利要求1所述的基于视频的广告识别方法，其特征在于，所述视频的特征信息包括颜色特征向量和纹理向量，所述视频的特征信息提取过程如下：

将每一段视频分解为一组图像帧；

对每一帧图像，分别计算其颜色特征向量和纹理特征向量，并对纹理特征向量进行高斯归一化处理；

最后以特征距离作为相似性的判断指标对颜色特征向量和归一化的纹理特征向量进行聚类。

7.如权利要求6所述的基于视频的广告识别方法，其特征在于，所述每一帧图像的颜色特征向量为RGB颜色空间向量、HSV颜色空间向量、Luv颜色空间向量或Lab颜色空间向量。

8.如权利要求6所述的基于视频的广告识别方法，其特征在于，所述每一帧图像的纹理特征向量通过灰度共生矩阵方法来提取,所述纹理特征向量包括如下分量：统计矩阵的角二阶矩、对比度、相关量、逆差矩、熵、最大概率、相异度和反差。

9.如权利要求8所述的基于视频的广告识别方法，其特征在于，所述聚类算法为K-Means聚类算法，所述纹理特征向量的各个分量具有相同权重。

10.如权利要求1～9任一项所述的基于视频的广告识别方法，其特征在于，所述商品信息通过商品购买链接返回给用户。

Images