CN104732413A - 一种智能个性化视频广告推送方法及系统 - Google Patents

Abstract

本发明涉及一种智能个性化视频广告推送方法，包括：采集并保存广告投放现场影像信息；对广告投放现场影像信息做人脸检测；人脸检测包括：从广告投放现场影像信息中识别出各个人脸，得到各个人脸的面部图像，以及某一时间段的影像信息中所包含的人脸的数量；对广告投放现场影像信息做人脸跟踪；人脸跟踪包括对某一人脸在广告投放现场影像信息中的广告观看过程进行跟踪，以得到该人脸在广告投放现场影像信息中观看广告的时间区间；根据人脸跟踪结果对不同人物的人脸做性别识别与年龄估计，得到每个人的性别和年龄信息，并根据所述性别和年龄信息对广告受众进行分类；利用推荐决策算法为各个广告终端生成分时段的广告推荐列表。

Description

一种智能个性化视频广告推送方法及系统

技术领域

本发明涉及计算机智能应用领域，特别涉及一种智能个性化视频广告推送方法及系统。

背景技术

20世纪90年代以来，中国户外广告高速发展，产生了各种各样的户外视频广告终端。由于户外广告有自身的媒介特性和传播特点，它的效果评估与监测一直是户外媒体业的弱点和难点。随着计算机视觉和机器学习以及互联网技术的发展，越来越多业界商家和学者开始意识到，户外媒体行业的发展方向应该是针对这些难点和弱点进行专门的理论上的研究和具有商业实用性的开发，而不再是单纯的以瓜分资源、抢占市场的方式竞争，这样才会促进整个行业的快速发展。

目前已有的户外广告机、数字标牌货架、智能售卖机、联网商店、交互式广告牌等视频广告终端中，存在的亟待解决问题是商家和广告受众之间的信息阻塞。一方面，商家投放视频广告后不知道有没有人看、多少人看、什么人看，使广告的效果难于评估。另一方面，由于广告机布放位置的差异，其广告受众由于性别、年龄、群体的不同，关注点和兴趣有着很大的差异，往往观看广告后发现并没有自己想要的信息。解决的思路主要也是针对这两个方面入手，一方面是需要采集不同广告机的受众信息，采集数据要尽可能的全面和准确；另一方面则是对采集后的信息进行处理，将结果反馈到视频广告推送终端上。

在现有技术中尚缺乏此类方法或系统。

发明内容

本发明的目的在于克服现有技术中的视频广告投放系统无法根据受众的情况有选择地投放广告的缺陷，从而提供一种智能个性化视频广告推送方法及系统。

为了实现上述目的，本发明提供了一种智能个性化视频广告推送方法，包括：

步骤1）、采集并保存广告投放现场影像信息；

步骤2）、对步骤1）所得到的广告投放现场影像信息做人脸检测；所述人脸检测包括：从广告投放现场影像信息中识别出各个人脸，得到各个人脸的面部图像，以及某一时间段的影像信息中所包含的人脸的数量；

步骤3）、对步骤1）所得到的广告投放现场影像信息做人脸跟踪；所述人脸跟踪包括对某一人脸在广告投放现场影像信息中的广告观看过程进行跟踪，以得到该人脸在广告投放现场影像信息中观看广告的时间区间；

步骤4）、根据步骤3）所得到的人脸跟踪结果对不同人物的人脸做性别识别与年龄估计，得到每个人的性别和年龄信息，并根据所述性别和年龄信息对广告受众进行分类；

步骤5）、根据步骤2）、步骤3）和步骤4）所得到的结果利用推荐决策算法为各个广告终端生成分时段的广告推荐列表。

上述技术方案中，步骤2）中的人脸检测包括：首先利用Adaboost方法对图片进行粗检，得到人脸候选区域，然后基于可变形部件模型对脸部的标志点进行定位并对匹配程度进行评分；当分数高于预先设置的阈值时，直接认定该候选区域为人脸；如果分数低于预设阈值，则结合标志点位置利用人脸几何先验知识确定鼻子所在区域，然后利用Adaboost鼻子检测器进行确认，如果检测到鼻子，则认定该候选区域为人脸。

上述技术方案中，步骤3）中的人脸跟踪包括：采用矩形滤波器对广告投放现场影像信息中检测到的人脸图像中的像素进行卷积，得到高维特征向量；利用随机投影法对所述高维特征向量进行降维；对降维后的特征进行尺度标准化处理；将图像经降维与尺度标准化处理后的特征向量用于训练朴素贝叶斯分类器；对于后一帧检测到的人脸区域，提取特征后利用前一帧训练好的朴素贝叶斯分类器进行分类，依次选出分类得分最高的<分类器，图像>实现多人物跟踪，然后利用后一帧的跟踪结果更新所述朴素贝叶斯分类器。

上述技术方案中，所述步骤5）进一步包括：

步骤5-1）、根据步骤2-步骤4）所得到的结果以及广告播放记录生成受众观看记录表和广告播放记录表；其中，受众观看记录表包括任务编号、观看起始时间、观看结束时间、人物性别、人物年龄、广告机编号；广告播放记录表包括广告编号、广告播放起始时间、结束时间、广告机编号；

步骤5-2）、根据受众的性别和年龄对受众进行分类，得到K类受众，根据广告终端的数目T以及在T个广告终端上播放的广告的数目L，求T个K×L维的用户-广告矩阵；

步骤5-3）、对步骤5-2）所得到的T个K×L维的用户-广告矩阵做全局广告分析，得到一个L×N维的Ad-Ad TOP N推荐列表，该推荐列表包含了对于L个广告中的任意一个，与其相关性最强的N个广告；

步骤5-4）、对步骤5-2）所得到的T个K×L维的用户-广告矩阵做局部流行度分析，得到User-Ad TOP N推荐列表，该推荐列表包含了每个广告终端每类受众最喜爱的N个广告；

步骤5-5）、根据步骤5-3）得到的Ad-Ad TOP N推荐列表以及步骤5-4）得到的User-Ad TOP N推荐列表，建立一个针对每一个广告终端上每一类受众的联合TOP2N推荐列表，并为该推荐列表中的各个广告赋予权重；所述联合TOP2N推荐列表包含了为每一个广告终端上每一类受众推荐的2N个广告；

步骤5-6）、根据受众观看记录和广告播放记录统计每个广告终端在每个时段的受众类别分布表；

步骤5-7）、综合步骤5-5）得到的TOP2N推荐列表和步骤5-6）得到的受众类别分布表，生成最终的分时段广告TOP N推荐列表。

上述技术方案中，步骤5-3）中的全局广告分析包括：

首先将T个用户-广告矩阵进行相加合并，得到一个全局用户-广告矩阵；该矩阵中任意广告a_i均对应一个K维的统计向量V_i＝(u₁,L,u_m,Lu_K)，其中u_m表示第m类受众中共有u_m人对该类广告有兴趣；

对任意两个广告a_i和a_j，基于统计向量V_i和V_j求得两者的余弦相关系数；计算公式为：其中，分子表示两个向量的内积，分母表示两个向量的长度的乘积；对于任一广告a_i，求出它与另外L-1个广告的余弦相关系数，并按系数大小从大到小排序；前面的N个系数对应的广告即为与广告a_i相关性最强的N个广告，由此得到一个L×N维的Ad-Ad TOP N推荐列表。

上述技术方案中，在步骤5-5）中的联合TOP2N推荐列表的建立过程包括：

根据User-Ad TOP N推荐列表，假设终端T_j上的某一类观众u_k最喜爱的前N个广告是a_m1,a_m2…a_mq；然后根据Ad-Ad TOP N推荐列表找到广告a_m1的表项，插入a_m1的最近邻广告；若插入过程中，遇到了a_m2且当前广告数还未满2N个，则插入a_m2，接着插入a_m2的最近邻广告；以此类推，在插入a_mi的最近邻广告过程中若遇到a_m(i+1),且当前广告数未满2N个，插入a_m(i+1)后转而插入a_m(i+1)的最近邻广告，重复该过程直到这一类观众的观看广告列表达到2N个。

上述技术方案中，步骤5-7）进一步包括：

对某一个终端T_o，已知在时间段P_i内每一类受众的权重同时对任一类受众k，TOP2N推荐列表中记录了这一类观众最可能喜爱的前2N个广告以及这些广告的权重假定剩余的L-2N个广告的权重为0，那么对于时间段P_i，即可计算所有L个广告在该终端上的该时间段的得分S，ID为n的广告得分S_n的计算公式如下：

$S_n={\mathrm{\&Sigma;}}_{j=1}^K{w}_j^{\mathrm{pi}}\&times;w_{\mathrm{an}}^j,1\&le;n\&le;L$

将L个得分从大到小排序，取前N个的值对应的广告即为该时间段的TOP N广告推荐。

本发明还提供了一种智能个性化视频广告推送系统，包括广告投放现场影像信息采集模块、人脸检测模块、人脸跟踪模块、广告受众分类模块以及广告推荐模块；其中，

所述广告投放现场影像信息采集模块采集并保存广告投放现场影像信息；

所述人脸检测模块对广告投放现场影像信息做人脸检测；所述人脸检测包括：从广告投放现场影像信息中识别出各个人脸，得到各个人脸的面部图像，以及某一时间段的影像信息中所包含的人脸的数量；

所述人脸跟踪模块对广告投放现场影像信息做人脸跟踪；所述人脸跟踪包括对某一人脸在广告投放现场影像信息中的广告观看过程进行跟踪，以得到该人脸在广告投放现场影像信息中观看广告的时间区间；

所述广告受众分类模块根据所述人脸跟踪模块所得到的人脸跟踪结果对不同人物的人脸做性别识别与年龄估计，得到每个人的性别和年龄信息，并根据所述性别和年龄信息对广告受众进行分类；

广告推荐模块根据人脸检测模块、人脸跟踪模块、广告受众分类模块所得到的结果利用推荐决策算法为各个广告终端生成分时段的广告推荐列表。

本发明的优点在于：

本发明通过对广告投放现场影像信息的分析，得到广告受众的数量、年龄、性别、观看时长等信息，实现对广告受众的分类，进而根据广告受众的具体类型投放对应的广告，有效地提高了广告投放的效果。

附图说明

图1是本发明的智能个性化视频广告推送方法的流程图；

图2是本发明方法中生成广告推荐列表的流程图；

图3是本发明中所涉及的用户-广告矩阵的示意图。

具体实施方式

现结合附图对本发明作进一步的描述。

本发明的智能个性化视频广告推送方法需要依据从部署在视频广告终端侧的摄像设备所采集的广告投放现场影像信息，利用这些影像信息分析广告受众的数量、年龄、性别、观看时长等，进而区分不同类型的广告受众，从而根据广告受众的具体类型投放对应的个性化视频广告。

下面结合图1就本发明的智能个性化视频广告推送方法的具体实现步骤加以说明。

本发明的方法包括：

步骤1）、采集并保存广告投放现场影像信息。

该广告投放现场影像信息可由部署在视频广告终端侧的摄像机采集，并保存在一视频数据库中。本步骤中所采集的广告投放现场影像信息应具有一定的规模，以利于数据统计。

步骤2）、对步骤1）所得到的广告投放现场影像信息做人脸检测；所述人脸检测包括：从广告投放现场影像信息中识别出各个人脸，得到各个人脸的面部图像，并得到某一时间段的影像信息中所包含的人脸的数量。

步骤3）、对步骤1）所得到的广告投放现场影像信息做人脸跟踪；所述人脸跟踪包括对某一人脸在广告投放现场影像信息中的广告观看过程进行跟踪，以得到该人脸在广告投放现场影像信息中观看广告的时间区间。

步骤4）、根据步骤2）所得到的人脸检测结果对检测出的人脸做性别识别与年龄估计，得到每个人的性别和年龄信息，并根据所述性别和年龄信息对广告受众进行分类。

步骤5）、根据步骤2）、步骤3）和步骤4）所得到的结果为各个广告终端生成分时段的广告推荐列表。

下面对本发明方法中的各个步骤做进一步的描述。

在步骤2）中的人脸检测进一步包括：

步骤2-1）、利用AdaBoost方法对广告投放现场影像信息中的各个图像进行粗检，得到候选图像集合，后续检测过程均基于此集合。

步骤2-2）、利用候选图像训练人脸检测模型，所述人脸检测模型为可变形部件模型，可采用结构化输出支持向量机训练该人脸检测模型。

具体的说，首先利用可变形部件模型（Deformable Part Model，DPM）对脸部标志点定位问题进行建模。假设I∈R^M×N表示高为M、宽为N的候选图像，由于候选图像为8bit灰度图，因此像素值的取值范围为{0,1,L,255}。在形式化表示中，可以用一个无向图G＝(V,E)表示人脸的模型，其中的V＝{v₁,...,v_n}表示人脸的n个组成部件，边(v_i,v_j)∈E代表部件间的连接。人脸某个模型实例可以表示为l＝{l₁,l₂,L,l_n}∈L，其中l_i表示部件v_i的位置，L表示所有模型实例的集合。对于图像I，本申请中用p_i(I,l_i)衡量部件v_i被放置在图像中l_i位置时的模版匹配程度，可以称之为局部外观模型；用q_i,j(l_i,l_j)衡量部件v_i和v_j分别被放置在l_i和l_j位置时的模型变化程度，可以称之为变形损失模型。因此，最优的模型就是既能在图像上对每一个部件进行很好匹配，又能使部件间的相对关系保持最优。模型的选取质量可以用下面的公式表示：

$f(I,l)=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{p}_i(I,l_i)+\underset{(v_i,v_j)\&Element;E}{\mathrm{\&Sigma;}}{q}_{i,j}(l_i,l_j)---\left(1\right)$

当f(I,l)取最大值时，模型选取质量最高。因此，最优模型可以由下式求得：

$l^{*}=\underset{L}{\arg }\max (\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{p}_i(I,l_i)+\underset{(v_i,v_j)\&Element;E}{\mathrm{\&Sigma;}}{q}_{i,j}(l_i,l_j))---\left(2\right)$

该式即为可变形部件模型的判别函数。

假设p_i(I,l_i)和q_i,j(l_i,l_j)是线性参数函数

$p_i(I,l_i)=\&lang;k_i^p,m_i^p(I,l_i)\&rang;---\left(3\right)$

$q_{i,j}(l_i,l_j)=\&lang;k_{i,j}^q,m_{i,j}^q(l_i,l_j)\&rang;---\left(4\right)$

其中，和是预先定义的映射表，和是可以从样本中习得的参数向量。此时引入一个联合映射表m和一个联合参数向量k，分别定义为独立映射表和以及独立参数向量和的列式串联。这样（2）式可以简化为

$l^{*}=\underset{L}{\arg }\max \&lang;k,m(I,l_i)\&rang;---\left(5\right)$

结构化输出支持向量机（Structured Output SVM）的目标是寻找一个判别F:X×Y→R。在判别函数确定后，给定一个输入值x，选择能最大化F的值y作为输出，即f为如下形式：

$f(x;w)=\underset{y\&Element;Y}{\arg }\max F(x,y;w)---\left(6\right)$

可以看出式（6）和式（5）是等价的，因此本发明中将利用结构化输出支持向量机的训练方法对可变形部件模型进行训练。

步骤2-3）、采用四层LBP金字塔对局部外观模型p_i(I,l_i)的特征进行提取。

步骤2-4）、用二次方程表示变形损失模型中的特征，即变形损失，定义如下：

$\begin{array}{c}{m}_{i,j}^q(l_i,l_j)=(\mathrm{dx},\mathrm{dy},{\mathrm{dx}}^2,{\mathrm{dy}}^2)\\ (\mathrm{dx},\mathrm{dy})=(x_j,y_j)-(x_i,y_i)\end{array}$

方程中包含了距离和方向的信息；

步骤2-5）、根据步骤2-3）得到的局部外观模型的特征以及步骤2-4）得到的变形损失模型的特征，通过结构化输出支持向量机学习分类器参数k。

分类器的需求由用户定义的损失函数Z指定。本发明使用估计值和标准值之间的平均标准误差作为损失函数。

$Z(l,l^{*})=\&PartialD;\left(l^{*}\right)\frac{1}{M}\underset{j=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\left|\right|l_j-l_j^{*}\left|\right|$

标准化因子是人脸大小的倒数，定义为两眼中心与嘴巴中心点连线的长度。标准化因子的引入是为了使损失函数具有尺度不变性。

给定一组包含图像和标注信息的训练样本之后，可以通过求解一下凸最小化问题求得分类器参数k

$k^{*}=\arg \min [\frac{\mathrm{\&lambda;}}{2}{\left|\right|k\left|\right|}^2+W\left(k\right)],\mathrm{where}$

$\begin{array}{c}W\left(k\right)=\frac{1}{r}\underset{i=1}{\overset{r}{\mathrm{\&Sigma;}}}\underset{l\&Element;L}{\max }(Z(l^i,l)+\&lang;k,m(I^i,l)\&rang;)\\ -\frac{1}{r}\underset{i=1}{\overset{r}{\mathrm{\&Sigma;}}}\&lang;k,m\left(I^i{,}^{l}i\right)\&rang;\end{array}$

学习算法在优化检测器性能的同时通过参数向量范式控制过拟合风险。虽然该问题是一个凸优化问题，但是该问题依然很难求解。本发明采用Bundle Methods forRegularized Risk Minimization方法进行求解。

步骤2-6）、模型训练好后，基于公式（5）求得的最优模型对候选区域的标志点进行定位，并对匹配程度进行评分，利用所得到的评分f(I,l^*)对候选区域进行筛选。当评分高于预先定义的阈值δ时，将其认定为人脸；当评分低于阈值时，再基于鼻子特征对其进行后续判定。

步骤2-7）、对于在步骤2-6）中得分小于阈值的候选区域，首先基于脸部标识点确定鼻子区域，然后利用AdaBoost鼻子检测器对该区域进行检测，如果检测到鼻子，则认为该候选区域是人脸。

本发明中利用DPM模型定位出七个脸部标志点：左内眼角、左外眼角、右内眼角、右外眼角、左嘴角、右嘴角以及鼻子。这些标志点的坐标分别记为：

(x_Leyein,y_Leyein)、(x_Leyeout,y_Leyeout)、(x_Reyein,y_Reyein)、(x_Reyeout,y_Reyeout)、(x_mouthL,y_mouthL)、(x_mouthR,y_mouthR)以及(x_nose,y_nose)。此时，鼻子区域的左上角坐标以及区域长宽可以用以下公式求得：

x_rect＝x_nose-width_rect/2

y_rect＝min(y_Leyeout,y_Reyeout)-(max(y_mouthL,y_mouthR)-y_nose)/2

width_rect＝(x_Reyein+x_Reyeeout)/2-(x_Leyein+x_Leyeout)/2

height_rect＝(max(y_mouthL,y_mouthR)-y_nose)/2-y_rect

在步骤3）中的人脸跟踪进一步包括：

步骤3-1）、为了实现尺度不变性，对于大小为M×N的图片使用M×N个矩形滤波器{h_1,1,L,h_M×N}对图片中的每一个像素点进行卷积。每一种尺度的矩形滤波器定义如下：

h_i,j(x,y)＝1,1≤x≤i,1≤y≤j

式中，i和j分别为矩形滤波器的宽和高；

步骤3-2）、矩形滤波器对图像中像素进行卷积，得到一高维特征向量。所述卷积过程如下：把矩形放在图像矩阵上（中心对准要处理的元素），用矩形中每个元素去乘图像中的元素，累加和等于这个元素的卷积值。因此，大小为M×N的图片中的每一个像素与一个矩形滤波器卷积后将得到M×N个结果。由于每个滤波器的大小范围是1≤i≤M,1≤j≤N，一共有M×N个滤波器。于是，这些滤波器与大小为M×N的图片卷积后，将得到一个(M×N)²维的高维特征向量。

步骤3-3）、采用随机投影法对步骤3-2）所得到的高维特征向量进行降维。

所述随机投影法就是使用一个n×m的随机矩阵R，将一个高维图像空间的x（m维）投影到一个低维的空间f（n维），数学表达就是：f＝Rx。其中随机矩阵R需要满足两个条件：①约束等距性（RIP）。该条件是压缩感知理论中的基础假设；②非常稀疏，便于高效计算；

步骤3-4）、为满足步骤3-3）中对随机矩阵R的要求，本发明将采用如下矩阵：

$r_{i,j}=\sqrt{s}\left\{\begin{array}{cc}1\mathrm{withprob}\frac{1}{2s}& \\ 0\mathrm{withprob}1-\frac{1}{s}& \mathrm{wheres}=\frac{m}{4}~\frac{m}{2}\\ -1\mathrm{withprob}\frac{1}{2s}& \end{array}\right.$

从式中可以看出，该矩阵非常稀疏，每行仅有2到4个非零元素。且该矩阵满足RIP条件。

步骤3-5）、根据步骤3-4）中的公式生成一个n×(MN)²维的测量矩阵R。由于原特征向量x为MN²维列向量，因此可以根据f＝Rx得到一个投影后的n维列向量，本发明中n取70。

步骤3-6）、特征f中的第k个元素f_k可以由下式求得：

$f_k=\underset{j}{\mathrm{\&Sigma;}}{r}_{\mathrm{kj}}(p(x_{\mathrm{kj}},y_{\mathrm{kj}})\&CircleTimes;h_{\mathrm{kj}})$

其中，p(x_kj,y_kj)和h_kj分别表示非零系数r_kj对应像素点与矩形滤波器。由于矩形滤波器核函数为全1矩阵，因此就等于以像素点p(x_kj,y_kj)为中心的矩形窗口内像素灰度值的累加和，可以利用积分图快速求取。

当稀疏测量矩阵R确定后，计算f中每个元素时所用到的矩形框都确定了。实际计算式只需要根据矩形框所在位置利用积分图求取各个框内的像素灰度累加和并进行加权即可。

步骤3-7）、以上讨论的只是针对图片大小为M×N的情况，为了使该方法可以适用于不同尺寸的图片，需要对f进行尺度标准化处理。假设稀疏测量矩阵R是基于大小为M×N的图片确定的，h_kj的长和宽分别为width_kj和height_kj，当前图片大小为M′×N′。则f_k的尺度标准化处理过程如下式所示：

$f_k=\underset{j}{\mathrm{\&Sigma;}}{r}_{\mathrm{kj}}\frac{p({\mathrm{\&delta;}}_x\&CenterDot;x_{\mathrm{kj}},{\mathrm{\&delta;}}_x\&CenterDot;y_{\mathrm{kj}})\&CircleTimes;h_{\mathrm{kj}}^{\&prime;}}{{\mathrm{width}}_{\mathrm{kj}}\&CenterDot;{\mathrm{height}}_{\mathrm{kj}}}$

其中，δ_x＝M′/M和δ_y＝N′/N分别为x轴和y轴的尺度系数,h′_kj的长和宽分别为δ_x·width_kj和δ_y·height_kj。求解时首先根据图片大小以及矩形框的相对位置确定矩形框的实际位置，然后计算框内像素灰度累加和并处以框内像素个数得到框内平均像素灰度值，然后根据权重求和的到f_k。

步骤3-8）、当每幅图像都被表示为n维特征向量后便可将其用于训练朴素贝叶斯分类器：

$H\left(f\right)=\log \left(\frac{{\mathrm{\&Pi;}}_{k=1}^{n}p\left(f_k\right|y=1)p(y=1)}{{\mathrm{\&Pi;}}_{k=1}^{n}p\left(f_k\right|y=0)p(y=0)}\right)=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}\log \left(\frac{{\mathrm{\&Pi;}}_{k=1}^{n}p\left(f_k\right|y=1)}{{\mathrm{\&Pi;}}_{k=1}^{n}p\left(f_k\right|y=0)}\right)$

其中，y∈{0,1}代表样本标签，y＝0表示负样本，y＝1表示正样本，假设两个类的先验概率相等。p(y＝1)＝p(p＝0)＝0.5。Diaconis和Freedman证明了高维随机向量的随机投影几乎都是高斯分布的。因此，假定在分类器H(f)中的条件概率p(f_k|y＝1)和p(f_k|y＝0)也属于高斯分布，并且可以用四个参数描述，满足 $p\left(f_i\right|y=1)~N(u_i^1,{\mathrm{\&sigma;}}_i^1)$ 以及 $p\left(f_i\right|y=0)~N(u_i^0,{\mathrm{\&sigma;}}_i^0).$ 这四个参数会进行增量更新：

$u_i^1\&LeftArrow;\mathrm{\&lambda;}{u}_i^1+(1-\mathrm{\&lambda;})u^1$

${\mathrm{\&sigma;}}_i^1\&LeftArrow;\sqrt{\mathrm{\&lambda;}{\left({\mathrm{\&sigma;}}_i^1\right)}^2+(1-\mathrm{\&lambda;}){\left({\mathrm{\&sigma;}}^1\right)}^2+\mathrm{\&lambda;}(1-\mathrm{\&lambda;}){(u_i^1-u^1)}^2}$

式中，学习因子λ＞0，u¹和σ¹可由最大似然估计求得。

步骤3-9）、假设第t帧检测出n张人脸，第t+1帧检测出m张人脸。当n<m时，认为有人脸加入，此时增加新的跟踪器；当n=m时，认为无人脸加入或退出；当n>m时，认为有人脸退出，此时清除对应的跟踪器。

步骤3-10）、跟踪器初始化时，在初始化位置P_init采样两个样本集，D_pos＝{z|||P(z)-P_init||＜α}和D_neg＝{z|β＜||P(z)-P_init||＜χ}，其中α＜β＜χ。基于步骤3-1）～3-7）的方法提取上述两个样本集的特征，然后分别作为正负样本基于步骤3-8）去训练朴素贝叶斯分类器。

步骤3-11）、对于t+1帧检测到的人脸区域，本发明利用第t帧训练好的朴素贝叶斯分类器进行分类，依次选出分类得分最高的<分类器，图像>对实现多人物跟踪。然后利用t+1帧的跟踪结果基于步骤3-8）更新分类器。

在步骤4）中所实现的人脸性别识别进一步包括：

步骤4-1-1）、对训练用的人脸图像进行预处理，得到图像像素矩阵。

步骤4-1-2）、提取图像像素矩阵的LBP直方图序列统计特征，过程如下：①计算像素矩阵每个点的LBP值②对像素矩阵分块，分为8*8=64块③统计每块的LBP直方图序列④采用均匀模式对LBP直方图特征进行降维⑤利用分块的LBP直方图序列合成整个图像的LBP特征。

步骤4-1-3）、将所有训练图片得到的LBP特征输入到SVM分类器进行训练，使用SVM分类模式，设定SVM参数中的惩罚系数C=128，学习参数g=0.2,采用RBF（径向高斯基）核函数进行训练，得到训练模型GR.model。

步骤4-1-4）、对于人脸检测所得到的人脸图像，经过图片预处理和LBP特征提取后，将特征输入到SVM分类器中，SVM分类器结合训练好的模型GR.model对图片进行判决，得到人脸图像所代表的人为男性或女性的最终结果。

其中的步骤4-1-1）进一步包括：

步骤4-1-1-1）、图像灰度化，遍历面部图像，对每一个像素点进行处理，得到每个像素的RGB值，通过与运算分别提取出红、蓝、绿的值，根据人眼对红蓝绿三种颜色的敏感程度不同，最佳灰度转换公式为：

Grey=（9798R+19235G+3735B）/32768

其中Grey代表转换后的灰度值，R、G、B分别代表图像中每一个像素点的红色分量、绿色分量和蓝色分量。

步骤4-1-1-2）、图像大小调整，采用双线性插值法将灰度化图像调整至48*48大小。

步骤4-1-1-3）、图像直方图均衡化，利用直方图的统计数据进行直方图的修改，通过调整各灰度级别像素出现的概率相等来改变图像中各灰度级别的像素值，从而实现图像增强。

步骤4-1-1-4）、提取图像像素矩阵。

在步骤4）中所实现的人脸年龄估计进一步包括：

步骤4-2-1）、对训练用的人脸图像进行预处理，得到人脸图像的图像像素矩阵。

步骤4-2-2）、提取图像像素矩阵的LBP直方图序列统计特征，过程如下：①计算像素矩阵每个点的LBP值②对像素矩阵分块，分为7*7=49块③统计每块的LBP直方图序列④采用均匀模式对LBP直方图特征进行降维⑤利用分块的LBP直方图序列合成整个图像的LBP特征。

步骤4-2-3）、将提取到的训练集LBP特征输入到SVR回归模型中进行训练，使用SVR回归模式，设定SVR参数中的惩罚系数C=256，学习参数g=0.3,采用RBF（径向高斯基）核函数进行训练，得到训练模型AE.model。

步骤4-2-4）、对于人脸检测所得到的人脸图像，经过图片预处理和LBP特征提取后，将特征输入到SVR回归模型中，结合训练好的模型AE.model对图片进行回归估计，得到最终结果。

步骤4-2-1）进一步包括：

步骤4-2-1-1）、图像灰度化。

步骤4-2-1-2）、图像旋转调整，设两眼的瞳孔坐标分别为(x₁,y₁)和(x₂,y₂)，求出两眼中心连线与水平方向的夹角θ,公式如下：

$\mathrm{\&theta;}={\sin }^{-1}\left(\frac{y_2-y_1}{\sqrt{{(x_2-x_1)}^2+{(y_2-y_1)}^2}}\right)---(4-1)$

设图像中任一点的坐标为(x,y),旋转后该点坐标变换为(x′,y′),则：

${\left[\begin{array}{cc}{x}^{\&prime;}& y^{\&prime;}\end{array}\right]}^T=\left[\begin{array}{cc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right]{\left[\begin{array}{cc}x& y\end{array}\right]}^T---(4-2)$

其中[x y]^T表示求矩阵转置，依据公式（4-2）就可以把图像的每一个点进行旋转调整。

步骤4-2-1-3）、图像大小调整，采用双线性插值法将灰度化图像调整至91*112大小。

步骤4-2-1-4）、图像直方图均衡化，利用直方图的统计数据进行直方图的修改，通过调整各灰度级别像素出现的概率相等来改变图像中各灰度级别的像素值，从而实现图像增强。

步骤4-2-1-5）、提取图像像素矩阵。

步骤4-2-3）可进一步包括：

步骤4-2-3-1）、SVR是支持向量回归算法，是SVM支持向量机在回归问题上的推广。设训练集为T={(x₁,y₁),(x₂,y₂),(x₃,y₃)…(x_l,y_l)}∈(X×Y)^l,其中x_i∈X=Rⁿ,y_i∈Y=R,i=1,2,3…l;x_i为第i张人脸提取到的特征向量，y_i是第i张人脸对应的实际年龄。采用一个非线性函数将数据映射到高维特征空间，在高维空间里面进行线性回归，同时引入松弛变量ξ_i,构造惩罚系数C和常数ε，设回归函数为：

则求解该问题的标准SVR模型为：

$\underset{w,b,\mathrm{\&xi;}}{\min }\frac{1}{2}{\left|\right|w\left|\right|}^2+C{\mathrm{\&Sigma;}}_{i=1}^l({\mathrm{\&xi;}}_i+{\mathrm{\&xi;}}_i^{*})---(4-4)$

约束条件：

步骤4-2-3-2）、由于目标函数和约束集都是凸集，存在唯一最小解，根据KKT条件，引入拉格朗日函数，得到其对偶形式：

${\mathrm{\&Sigma;}}_{i=1}^l{y}_i({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_i^{*})-\mathrm{\&epsiv;}{\mathrm{\&Sigma;}}_{i=1}^l({\mathrm{\&alpha;}}_i+{\mathrm{\&alpha;}}_i^{*})-\frac{1}{2}{\mathrm{\&Sigma;}}_{i=1}^l({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_i^{*})({\mathrm{\&alpha;}}_j-{\mathrm{\&alpha;}}_j^{*})K(x_i,x_j)---(4-6)$

约束条件：

$\left\{\begin{array}{c}{\mathrm{\&Sigma;}}_{i=1}^1({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_i^{*})=0;\\ 0<<{\mathrm{\&alpha;}}_i,{\mathrm{\&alpha;}}_i^{*}<<C,i=\mathrm{1,2,3}...1\end{array}---(4-7)\right.$

其中称为核函数，由式子（4-6）可得到：

<math> <mrow> <mfenced open='' close=''> <mtable> <mtr> <mtd> <mi>b</mi> <mo>=</mo> <mfrac> <mn>1</mn> <msub> <mi>N</mi> <mi>NSV</mi> </msub> </mfrac> <mo>{</mo> <msub> <mi>&amp;Sigma;</mi> <mrow> <mn>0</mn> <mo>&lt;</mo> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>&lt;</mo> <mi>C</mi> </mrow> </msub> <mo>[</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>&amp;Sigma;</mi> <mrow> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>&amp;Element;</mo> <mi>SV</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mi>K</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>,</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mi>&amp;epsiv;</mi> <mo>]</mo> <mo>+</mo> <msub> <mi>&amp;Sigma;</mi> <mrow> <mn>0</mn> <mo>&lt;</mo> <mrow> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mtext>&lt;C</mtext> </mrow> <mtext></mtext> </mrow> </msub> <mtext>[</mtext> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>-</mo> </mtd> </mtr> <mtr> <mtd> <msub> <mi>&amp;Sigma;</mi> <mrow> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>&amp;Element;</mo> <mi>SV</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mi>K</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>,</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;epsiv;</mi> <mo>]</mo> <mo>}</mo> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>-</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow> </math>

其中SV为标准支持向量集合，N_NSV为标准支持向量数量，最后所求回归函数为：

$f\left(x\right)={\mathrm{\&Sigma;}}_{i=1}^1({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_i^{*})K(x_i,x)+b---(4-9)$

参考图2，所述步骤5）进一步包括：

步骤5-1）、根据视频分析结果以及广告播放记录得到受众观看记录表和广告播放记录表。受众观看记录表包括任务编号、观看起始时间、观看结束时间、人物性别、人物年龄、广告机编号等信息，广告播放记录表包括广告编号、广告播放起始时间、结束时间、广告机编号等信息。在后续的步骤中实现广告推荐时需要用到受众观看记录表与广告播放记录表。

步骤5-2）、假设通过性别和年龄将受众分为K类，广告终端共有T个，且在这T个广告终端上一共播出了L个不同的广告。则可以得到T个K×L维的User-Ad(用户-广告)矩阵，图3为所述用户-广告矩阵的示意图，其中用户指的是按类划分的广告受众。定义广告接受程度：δ＝t_收看/t_总长。当一个观看者对某广告的接受程度δ大于设定的阈值δ_g时，认为其对该广告有兴趣，此时User-Ad矩阵中对应位置的该类受众人数加1。得到全部T个User-Ad矩阵后，便可据此进行全局广告相关性及局部广告流行度分析。

步骤5-3）、全局广告相关性分析是指在全局范围内针对所有的L个广告进行相关性分析，而不是单单对于某个终端而言。该分析过程包括：

首先将T个User-Ad矩阵进行相加合并，得到一个全局User-Ad矩阵。该矩阵中任意广告a_i均对应一个K维的统计向量V_i＝(u₁,L,u_m,Lu_K)，其中u_m表示第m类受众中共有u_m人对该类广告有兴趣。

对任意两个广告a_i和a_j，可基于统计向量V_i和V_j求得两者的余弦相关系数。计算公式为：其中，分子表示两个向量的内积，分母表示两个向量的长度的乘积。对于任一广告a_i，求出它与另外（L-1）个广告的余弦相关系数，并按系数大小从大到小排序。前面的N个系数对应的广告即为与广告a_i相关性最强的N个广告。此时可以得到一个L×N维的Ad-Ad TOP N推荐列表，表中基于广告相关性，针对每个广告都进行了TOP N推荐。

步骤5-4）、局部流行度分析是指针对每个广告终端进行广告流行度分析，得到每台广告终端每类受众最喜爱的广告TOP N列表，称为User-Ad TOP N推荐列表。该列表可以基于每台广告终端对应的User-Ad矩阵进行统计分析后得到。

步骤5-5）、得到Ad-Ad TOP N推荐列表以及User-Ad TOP N推荐列表后，可以据此建立一个针对每一个广告终端上每一类受众的联合TOP2N推荐列表，并赋予权重。

根据User-Ad TOP N推荐列表，假设终端T_j上的某一类观众u_k最喜爱的前N个广告是a_m1,a_m2…a_mq。此时，首先根据Ad-Ad TOP N推荐列表找到广告a_m1的表项，插入a_m1的最近邻广告；若插入过程中，遇到了a_m2且当前广告数还未满2N个，则插入a_m2，接着插入a_m2的最近邻广告；以此类推，在插入a_mi的最近邻广告过程中若遇到a_m(i+1),且当前广告数未满2N个，插入a_m(i+1)后转而插入a_m(i+1)的最近邻广告，重复该过程直到这一类观众的观看广告列表达到2N个。这样得到的列表便综合了每一个终端单独的统计信息和基于全局的所有广告相关性信息。

对所得到的每一个广告终端上每一类受众的联合TOP2N推荐列表中的2N个广告分别赋予权重系数

$w_{\mathrm{ai}}^k=2N-i+\mathrm{1,1}\&le;i\&le;2N$

步骤5-6）、根据受众观看记录和广告播放记录统计每台广告终端在每个时段的受众类别分布表。

统计时结合受众总人数统计和观看时长，以半小时为一个时间段，视频广告终端开始运行时刻为起点，到结束时刻为终点，划分出M个时间段。假设终端捕捉到的人脸观看广告的时长为t,设定另一个阈值t_u,当t>t_u时即认为该受众在该时间段内观看了广告，t_u取值非常小。当确定该时间段有受众看广告时，通过其性别和年龄确定受众类别，然后统计这个时间段内所有的该类受众观看的总人数；分别统计所有类别的总人数，即可得到所有类别受众在该时间段观看广告的直方统计图。现在假设在第i个时间段P_i内，第k类受众u_k的人数为N_k,那么对应的给该类受众赋予权重而权重的计算采取公式：

$w_k^{\mathrm{pi}}=\frac{N_k}{{\mathrm{\&Sigma;}}_{i=1}^K{N}_i},1\&le;k\&le;K$

步骤5-7）、综合步骤5-5）得到的TOP2N推荐列表和步骤5-6）得到的受众类别分布表，生成最终的分时段广告TOP N推荐列表。

对某一个终端T_o，现已知在时间段P_i内，每一类受众的权重同时对任一类受众k，TOP2N推荐列表中记录了这一类观众最可能喜爱的前2N个广告，以及这些广告的权重同时假定剩余的(L-2N)个广告的权重为0，那么对于时间段P_i,即可计算所有L个广告在该终端上的该时间段的得分S，ID为n的广告得分S_n的计算公式如下：

$S_n={\mathrm{\&Sigma;}}_{j=1}^K{w}_j^{\mathrm{pi}}\&times;w_{\mathrm{an}}^j,1\&le;n\&le;L$

将L个得分从大到小排序，取前N个的值对应的广告，那么这N个广告即为该时间段的TOP N广告推荐。应用该方法计算所有M个时间段的TOP N推荐广告，即可得到该终端的最终的分时段TOP N广告推荐列表。将该步骤重复应用到所有终端，即可完成整个系统的广告推送策略。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种智能个性化视频广告推送方法，包括：

步骤1）、采集并保存广告投放现场影像信息；

步骤2）、对步骤1）所得到的广告投放现场影像信息做人脸检测；所述人脸检测包括：从广告投放现场影像信息中识别出各个人脸，得到各个人脸的面部图像，以及某一时间段的影像信息中所包含的人脸的数量；

步骤3）、对步骤1）所得到的广告投放现场影像信息做人脸跟踪；所述人脸跟踪包括对某一人脸在广告投放现场影像信息中的广告观看过程进行跟踪，以得到该人脸在广告投放现场影像信息中观看广告的时间区间；

步骤4）、根据步骤3）所得到的人脸跟踪结果对不同人物的人脸做性别识别与年龄估计，得到每个人的性别和年龄信息，并根据所述性别和年龄信息对广告受众进行分类；

步骤5）、根据步骤2）、步骤3）和步骤4）所得到的结果利用推荐决策算法为各个广告终端生成分时段的广告推荐列表。

2.根据权利要求1所述的智能个性化视频广告推送方法，其特征在于，步骤2）中的人脸检测包括：首先利用Adaboost方法对图片进行粗检，得到人脸候选区域，然后基于可变形部件模型对脸部的标志点进行定位并对匹配程度进行评分；当分数高于预先设置的阈值时，直接认定该候选区域为人脸；如果分数低于预设阈值，则结合标志点位置利用人脸几何先验知识确定鼻子所在区域，然后利用Adaboost鼻子检测器进行确认，如果检测到鼻子，则认定该候选区域为人脸。

3.根据权利要求1所述的智能个性化视频广告推送方法，其特征在于，步骤3）中的人脸跟踪包括：采用矩形滤波器对广告投放现场影像信息中检测到的人脸图像中的像素进行卷积，得到高维特征向量；利用随机投影法对所述高维特征向量进行降维；对降维后的特征进行尺度标准化处理；将图像经降维与尺度标准化处理后的特征向量用于训练朴素贝叶斯分类器；对于后一帧检测到的人脸区域，提取特征后利用前一帧训练好的朴素贝叶斯分类器进行分类，依次选出分类得分最高的<分类器，图像>实现多人物跟踪，然后利用后一帧的跟踪结果更新所述朴素贝叶斯分类器。

4.根据权利要求1所述的智能个性化视频广告推送方法，其特征在于，所述步骤5）进一步包括：

步骤5-1）、根据步骤2-步骤4）所得到的结果以及广告播放记录生成受众观看记录表和广告播放记录表；其中，受众观看记录表包括任务编号、观看起始时间、观看结束时间、人物性别、人物年龄、广告机编号；广告播放记录表包括广告编号、广告播放起始时间、结束时间、广告机编号；

步骤5-2）、根据受众的性别和年龄对受众进行分类，得到K类受众，根据广告终端的数目T以及在T个广告终端上播放的广告的数目L，求T个K×L维的用户-广告矩阵；

步骤5-3）、对步骤5-2）所得到的T个K×L维的用户-广告矩阵做全局广告分析，得到一个L×N维的Ad-Ad TOP N推荐列表，该推荐列表包含了对于L个广告中的任意一个，与其相关性最强的N个广告；

步骤5-4）、对步骤5-2）所得到的T个K×L维的用户-广告矩阵做局部流行度分析，得到User-Ad TOP N推荐列表，该推荐列表包含了每个广告终端每类受众最喜爱的N个广告；

步骤5-5）、根据步骤5-3）得到的Ad-Ad TOP N推荐列表以及步骤5-4）得到的User-Ad TOP N推荐列表，建立一个针对每一个广告终端上每一类受众的联合TOP2N推荐列表，并为该推荐列表中的各个广告赋予权重；所述联合TOP2N推荐列表包含了为每一个广告终端上每一类受众推荐的2N个广告；

步骤5-6）、根据受众观看记录和广告播放记录统计每个广告终端在每个时段的受众类别分布表；

步骤5-7）、综合步骤5-5）得到的TOP2N推荐列表和步骤5-6）得到的受众类别分布表，生成最终的分时段广告TOP N推荐列表。

5.根据权利要求4所述的智能个性化视频广告推送方法，其特征在于，步骤5-3）中的全局广告分析包括：

首先将T个用户-广告矩阵进行相加合并，得到一个全局用户-广告矩阵；该矩阵中任意广告a_i均对应一个K维的统计向量V_i＝(u₁,L,u_m,Lu_K)，其中u_m表示第m类受众中共有u_m人对该类广告有兴趣；

对任意两个广告a_i和a_j，基于统计向量V_i和V_j求得两者的余弦相关系数；计算公式为：其中，分子表示两个向量的内积，分母表示两个向量的长度的乘积；对于任一广告a_i，求出它与另外L-1个广告的余弦相关系数，并按系数大小从大到小排序；前面的N个系数对应的广告即为与广告a_i相关性最强的N个广告，由此得到一个L×N维的Ad-Ad TOP N推荐列表。

6.根据权利要求4所述的智能个性化视频广告推送方法，其特征在于，在步骤5-5）中的联合TOP2N推荐列表的建立过程包括：

根据User-Ad TOP N推荐列表，假设终端T_j上的某一类观众u_k最喜爱的前N个广告是a_m1,a_m2…a_mq；然后根据Ad-Ad TOP N推荐列表找到广告a_m1的表项，插入a_m1的最近邻广告；若插入过程中，遇到了a_m2且当前广告数还未满2N个，则插入a_m2，接着插入a_m2的最近邻广告；以此类推，在插入a_mi的最近邻广告过程中若遇到a_m(i+1),且当前广告数未满2N个，插入a_m(i+1)后转而插入a_m(i+1)的最近邻广告，重复该过程直到这一类观众的观看广告列表达到2N个。

7.根据权利要求4所述的智能个性化视频广告推送方法，其特征在于，步骤5-7）进一步包括：

对某一个终端T_o，已知在时间段P_i内每一类受众的权重同时对任一类受众k，TOP2N推荐列表中记录了这一类观众最可能喜爱的前2N个广告以及这些广告的权重假定剩余的L-2N个广告的权重为0，那么对于时间段P_i，即可计算所有L个广告在该终端上的该时间段的得分S，ID为n的广告得分S_n的计算公式如下：

$S_n={\mathrm{\&Sigma;}}_{j=1}^K{w}_j^{\mathrm{pi}}\&times;w_{\mathrm{an}}^j,1\&le;n\&le;L$

将L个得分从大到小排序，取前N个的值对应的广告即为该时间段的TOP N广告推荐。

8.一种智能个性化视频广告推送系统，其特征在于，包括广告投放现场影像信息采集模块、人脸检测模块、人脸跟踪模块、广告受众分类模块以及广告推荐模块；其中，

所述广告投放现场影像信息采集模块采集并保存广告投放现场影像信息；

所述人脸检测模块对广告投放现场影像信息做人脸检测；所述人脸检测包括：从广告投放现场影像信息中识别出各个人脸，得到各个人脸的面部图像，以及某一时间段的影像信息中所包含的人脸的数量；

所述人脸跟踪模块对广告投放现场影像信息做人脸跟踪；所述人脸跟踪包括对某一人脸在广告投放现场影像信息中的广告观看过程进行跟踪，以得到该人脸在广告投放现场影像信息中观看广告的时间区间；

所述广告受众分类模块根据所述人脸跟踪模块所得到的人脸跟踪结果对不同人物的人脸做性别识别与年龄估计，得到每个人的性别和年龄信息，并根据所述性别和年龄信息对广告受众进行分类；

广告推荐模块根据人脸检测模块、人脸跟踪模块、广告受众分类模块所得到的结果利用推荐决策算法为各个广告终端生成分时段的广告推荐列表。