CN102542252A - 智能广告投放系统 - Google Patents

Abstract

本发明涉及智能广告投放系统，通过视频或摄像头从视频源中读取一帧进行人脸检测，对每个检测的人脸进行性别识别，将识别后的数据通过广告投放方式进而投放相应性别的广告。本发明的智能广告投放系统，利用摄像头进行采集视频信息进行性别识别，能够根据男女的比例进行投放到相应的广告中，其能够智能识别性别，识别准确率高，能够有效地进行广告分类播放，降低了投放的人工成本。

Description

智能广告投放系统

技术领域

本发明涉及网络信息的领域，尤其是智能广告投放系统。 

背景技术

现近社会科技技术的突飞猛进促进了商品社会的快速发展，产品推陈出新的速度不断加快，消费者更新换代的不断加快，消费者更新换代的周期日益缩短，对于生产者来说，利用传统大众营销的方法把握消费者的脉搏越来越艰难，广告投入越来越大，但广告效果越来越不理想。目前所使用的广告投放系统都不尽人意，无法针对不同性别的人群进行选择适合不同性别人群的广告。 

发明内容

本发明要解决的技术问题是：为了克服上述中存在的问题，提供一种只能广告投放系统，能够通过采集的视频信息进行性别识别，从而投放相应的广告 

本发明解决其技术问题所采用的技术方案是：一种智能广告投放系统，通过视频或摄像头从视频源中读取一帧进行人脸检测，对每个检测的人脸进行性别识别，将识别后的数据通过广告投放方式进而投放相应性别的广告。 

所述的人脸检测采用通过提取类Haar特征并利用Adaboost算法进行训练和检测Haar特征。 

所述的类Haar特征通过提取脸部矩形特征，将提取到的矩形特征依次通过矩形特征值的计算、矩形特征的数量和利用积分图快速计算矩形特征。 

所述的Adaboost算法依次通过训练部分和检测部分，所述的训练部分包括将收集的人脸样本和非人脸样本计算出相应的样本积分值，根据样本积分值计算出各训练样本的所有类Haar矩形特征值，确定各矩形特征的阈值并挑选其中一矩形作为一个弱分类器，弱分类器与挑选出的矩形特征相对应，将多个弱分类器组成一个强分类器，多个强分类器级联为一个多层强分类器；所述的检测部分采用检测窗口缩放的策略从待检测图像中提取所有将被检测的子窗口，利用训练得到的多层强分类器对每个子窗口进行检测，对检测结果进行后处理，最后得到图像中包含的所有人脸的坐标和大小。 

所述的性别识别包括PCA人脸性别识别和SVM支持向量机，所述的PCA人脸性别识别依次经过图像预处理、计算K-L变换的生成矩阵、计算图像的特征值和特征向量以及把训练图像和测试图像投影到特征空间，PCA方法是由Turk和Pentlad提出来的，它的基础就是Karhunen-Loeve变换(K_L变换)，是一种常用的正交变换，主成分分析法PCA是模式识别中的一种非参数方法，它的目标是在低维子空间表示高维数据，产生的动因即希望设计一种变换，将数据集转化为由维数较少的″有效″特征成分来表示，而不减少原始数据所包含的内在信息内容，使其在统计意义下达到方差最优的目的，帮该问题亦称为特征抽取，当只抽取其主要的有效成分时，就可以叫做主成分分析，主成分分析理论应用十分广泛，图像处理，模式识别等诸多领域，特别是应用于人脸的图像识别。 

所述的广告投放方式分为图片形式和视频形式，广告以图片形式3秒钟更新一次，在3秒钟这个时间点检测人脸，判断男性还是女性多，性别多的就投放相应性别的广告；广告以视频形式是通过每帧检测男性还是女性多，播放性别数多的视频广告，若男性和女性人数一样，则保持原先播放的广告类型。 

本发明的有益效果是，本发明的智能广告投放系统，利用摄像头进行采集视频信息进行性别识别，能够根据男女的比例进行投放到相应的广告中，其能够智能识别性别，识别准确率高，能够有效地进行广告分类播放，降低了投放的人工成本。 

附图说明

下面结合附图和实施例对本发明进一步说明。 

图1是本发明的总流程图； 

图2是图1中人脸检测系统中训练部分的流程图； 

图3是图1中人脸检测系统中检测部分的流程图； 

图4是本发明的提取的脸部矩形特征的示意图； 

图5是本发明的线性文类器的示意图； 

图6是本发明的线性文类器最优解的示意图； 

图7是本发明的非线性文类器的示意图； 

图8是本发明的非线性文类器的示意图。 

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。 

如图1所示的智能广告投放系统，系统首先判断是否对性别样本进行训练，若没有，则训练样本，接着通过视频或摄像头从视频源中读取一帧进行人脸检测，人脸检测在CtrackEyeDlg::HaarFaceDetect中实现，接着对每个检测的人脸进行性别识别，将人脸归一化到与样本同样的大小(90*100)并进行类型转换(将RGB转换为灰度图像)，本系统提供两种可选的方案进行性别识别，弹性图匹配技术通过类EBGM实现，调用EBGM::genderRec进行性别识别；另一种算法是采用PCA+SVM算法进行性别识别，该算法用C实现，调用identification函 数进行识别，参数为检测到人脸(转换为1*9000的矩阵)和训练过程中产生的结构体，最后是根据识别出的男女数，判断哪个性别的人数多，再投放相应性别的广告。 

人脸检测采用通过提取类Haar特征并利用Adaboost算法进行训练和检测Haar特征。 

类Haar特征通过提取脸部矩形特征， 

(1)如图4所示中(a)图表示一张人脸图像，b、c两图上方两个包含黑白区域的矩形代表矩形特征，类Haar特征的本质就是如下图中b、c两图上的矩形特征，第一个矩形特征由两个纵向排列的小矩形构成，第二个矩形特征有三个横向排列的小矩形构成，矩形特征可以位于窗口中任意位置，各矩形大小也任意，但不能超过窗口范围，矩形特征值由黑色区域中所有像素值之和与白色区域中所有像素值之和的正负系数加权和，这种简单二值矩形区域的正负系数加权本质上是一种局部的差分算子，具有空间高通滤波器的性质。 

矩形特征可以表示被检测目标的一些具体特征。如人眼部分在图像中比脸颊部分图4中(b)图和鼻梁部分图4中(c)图要暗，下图中两种矩形特征恰好反映了人脸的这两个特点。这些特征需要通过训练而不是由人工指定，否则就变成模板匹配 

(2)矩形特征值的计算 

矩形特征的定义如下： 

${\mathrm{feature}}_i=\underset{i\∈\{\mathrm{1,2},...,N\}}{\mathrm{\Σ}}{\mathrm{\ω}}_i\·\mathrm{Recsum}\left(r_i\right)$

其中，{1，2，…，N}表示该特征由N个矩形构成，ω_i为第i个矩形的权值，Recsum(r_i)为第i个矩形内所有像素值之和。满足以上定义的矩形特征有无穷多个，需要对矩形特征有所限制： 

①N必须为2； 

②构成矩形特征的两个矩形对应的权值必须异号，一正一负，而且权值与矩形面积成反比； 

③为了便于采用积分图计算特征值，补充规定：假设构成特征的两个矩形是r1和r2，则要么r1包含于r2中，要么r2包含于r1中；如果r1包含于r2，那么面积Area(r₂)＝n·Area(r₁)，权值ω₁＝-n·ω₂，其中，n为大于1的整数。 

(3)矩形特征的数量 

假设训练或检测窗口大小为W×H，X＝[W/w]，Y＝[H/h]，其中w、h分别为矩形特征原型的长、宽，那么在该窗口中的所有矩形特征数目为： 

$\mathrm{Number}=X\·Y\·(W+1-w\frac{X+1}{2})\·(H+1-h\frac{Y+1}{2})$

例如，取W＝24、H＝24、w＝2、h＝1，依照上述计算方法，可得X＝12、Y＝24，通过公式(2.2)的计算，在24×24的窗口中由此原型能派生出的特征数为43200个。 

同理，可以算出从其他特征原型派生出的特征数，最后将这些特征数合计就得到24×24的窗口中包含的总特征数为91536个，可见总特征数比总像素个数(576)要多很多。 

(4)利用积分图快速计算矩形特征 

仅在24×24的窗口中就包含91536个矩形特征，如果每次计算特征值时都 要分2次统计矩形内所有像素值之和，计算量巨大，将大大降低训练和检测速度，为了加快训练和检测速度，一般采用积分图来快速计算RecSum(ri)(第i个矩形内所有像素值之和)。每张待检测图像以及所有训练样本图像都可计算对应的积分图，而且只需计算一遍，不必每次都重新统计像素值之和，而且不论矩形特征尺寸的大小，计算时间相同。 

积分图Sum(x，y)定义为： 

它表示点(x，y)左上方所有像素值之和，I(x′，y′)为原图像上的一个像素值。 

例如，假设特征为ri＝(x，y，w，h)，其中x、y为左上角坐标，w、h为矩形的宽和高，那么 

RecSum(ri)＝Sum(x，y)+Sum(x-w，y-h)-Sum(x-w，y)-Sum(x，y-h)(2.3) 

其中，RecSum(ri)表示第i个矩形内所有像素值之和，从(2.3)式可以看出，只需4次查找积分图就可求出RecSum(ri)，运算数据很快，而且不管ri尺寸大小，其运算时间一致。 

如图2所示的智能广告投放系统，Adaboost算法通过训练部分训练部分包括将收集的人脸样本和非人脸样本计算出相应的样本积分值，根据样本积分值计算出各训练样本的所有类Haar矩形特征值，确定各矩形特征的阈值并挑选其中一矩形作为一个弱分类器，弱分类器与挑选出的矩形特征相对应，将多个弱分类器组成一个强分类器，多个强分类器级联为一个多层强分类器； 

如图3所示的智能广告投放系统，Adaboost算法通过检测部分，检测部分采用检测窗口缩放的策略从待检测图像中提取所有将被检测的子窗口，利用训练得到的多层强分类器对每个子窗口进行检测，对检测结果进行后处理，最后得到图像中包含的所有人脸的坐标和大小。 

Adaboost是一种迭代算法，其核心思想是针对不同的训练集训练一个弱分类 器，然后把在不同训练集上得到的分类器集合起来，构成一个强分类器。在Adaboost算法中，每个训练样本都被赋予一个权重，表明它被某个分量分类器选入训练集的概率。如果某个样本点已经被准确地分类，那么在构造下一个训练集中，它被选中的概率就被降低；相反，如果某个样本点没有被正确分类，那么它的权重就得到提高。通过T轮这样的训练，Adaboost算法能够“聚焦于”那些较困难的样本上，综合得出用于目标检测的强分类器。 

算法过程如下： 

(1)给定一个训练集{(x₁，y₁)，(x₂，y₂)，…，(x_n，y_n)}，其中，x_i是输入的训练样本向量，y_i∈{0，1}，y_i＝0表示非人脸样本，y_i＝1表示人脸样本； 

(2)初始化样本的权重： 

$w_i\left(x_i\right)=\frac{1}{n},$ i＝1，2，…，n 

(3)进行T轮训练，t＝1，2，…，n，归一化样本权重： 

$w_i\left(x_i\right)=\frac{w_i\left(x_i\right)}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_i\left(x_i\right)}$

(4)对于每个特征j，训练一个简单分类器h_j(x)： 

式中：θ_j是一个阈值；p_j＝±1，用来控制不等式的方向，然后算出每个特征j所对应的分类错误率： 

${\mathrm{\ϵ}}_j=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i\left(x_i\right)|h_j\left(x_i\right)-y_i|$

选出分类错误类最低的简单分类器作为弱分类器h_t(x)，将该错误率记为ε_t，调整所有样本权重： 

式中： ${\mathrm{\β}}_t=\frac{{\mathrm{\ϵ}}_t}{1-{\mathrm{\ϵ}}_t}.$

通过对正反例进行分析，选择错误率最低的T个弱分类器，优化成一个强分类器。最终的强分类器为： 

式中：α_t＝-logβ_t。 

以上训练过程的意义可以表述为：每一次迭代过程在当前概率分布上找到一个具有最小错误率的弱分类器，然后调整概率分布，降低当前弱分类器分类正确样本的概率值，以突出分类错误的样本，使下一次迭代更加针对本次的不正确分类，即针对更“困难”的样本，使得那些被错分的样本得到进一步重视。这样，后面训练提取的弱分类器就会更加强化地对那些分类错误样本的训练。 

性别识别包括PCA人脸性别识别，完整的PCA人脸性别识别主要包括以下几下步骤：图像预处理，读入人脸库，训练形成特征子空间，把训练图像和测试图像投影到上一步骤中得到的子空间上，选择一个分类算法函数进行判定。详细过程如下： 

(1)归一化人脸后，将库中的每人选择一定数量的图像构成训练集，其余构成测试集，归一化后的图像大小是m*n，按列相连构成m*n维矢量。可视为m*n维空间中的一个点，可以通过K-L变换用一个低维子空间描述这个图像。 

(2)计算K-L变换的生成矩阵： 

所谓K-L变换：假设X为n维的随机变量，X可以用n个基向量的加权和来表示： 

$X=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_i{\mathrm{\φ}}_i$

公式中，α_i加权系数，φ_i基向量，这个公式还可以用矩阵的形式表示： 

X＝(φ₁，φ₂，...，φ_n)(α₁，α₂，...，α_n)^T＝Φα 

Φ＝(φ₁，φ₂，...，φ_n)，α＝(α₁，α₂，...，α_n)^T

一般情况下，我们取基向量为正交向量，也就是 

${\mathrm{\Φ}}^T{\mathrm{\Φ}}_j=\left\{\begin{array}{c}1,i=j\\ 0,i\≠j\end{array}\right.$

所以Φ是正交矩阵，也就是说 

Φ^TΦ＝I 

对于公式2，两边同时左乘以Φ^T，可以得到 

α＝Φ^TX 

对于每一个同样也满足这样的条件即： 

α_i＝Φ_i ^TX 

为了保证α各个分量互不相关，就需要对正交向量集{Φ_j}进行一定的选取。设随机向量的总体自相关矩阵为： 

R＝E[X^TX] 

把公式2代入，可以得到如下的公式： 

R＝E[X^TX]＝E[Φαα^TΦ^T]＝ΦE[αα^T]Φ^T

要求各个分量不相关，只要满足以下关系即可以 

$E\left[{\mathrm{\α}}_j{\mathrm{\α}}_k\right]=\left\{\begin{array}{c}\mathrm{\λj},j=k\\ 0,j\≠k\end{array}\right.$

其中λ_j就是一个对角矩阵，所以公式10又可以转换成以下形式 

R＝ΦΛΦ^T----＞RΦ＝ΦΛΦ^TΦ----＞根据公式5的条件，可以得到 

RΦ_j＝λ_jΦ_j(j＝1，2，...，n) 

从中我们可以看出，λ_j其实就是X的自相关矩阵R的本征值，Φ_j是对应本征向量。因为R是实对称矩阵，其不同本征对应的本征向量应正交。 

具体的步骤如下： 

1.求随机向量X的自相关矩阵R，由于没有类别信息的样本集的均值向量μ常常没有意义，所以也可以把数据的协方差矩阵∑E[(x-μ)(x-μ)^T]作为K_L坐标系的产生矩阵，这里的μ是总体均值向量； 

2.求出自相关矩阵或协方差矩阵R的本征值λ_j和本征向量Φ_j，其中j＝1，2，...，n同时本征向量组成的矩阵为Φ＝(Φ₁，Φ₂，...，Φ_n)； 

3.展开式系数即为α＝Φ^TX 

K_L变换的实质是建立了一个新的坐标系，将一个物体主轴沿特征矢量对齐的旋转变换，这个变换解除了原有数据向量的各个分量之间相关性，从而有可能去掉那些带有较少信息的坐标系以达到降低特征空间维数的目的。 

计算K-L变换的生成矩阵：以训练样本集的总体散布矩阵为产生矩阵，即∑E[(x-μ)(x-μ)^T]，或者可以写成： 

$\mathrm{\Σ}=\frac{1}{M}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}(x_i-\mathrm{\μ}){(x_i-\mathrm{\μ})}^T$

公式中x_i为第i个训练样本的图像向量，μ为训练样本均值向量，M为训练样本的总数。为了求矩阵的特征值和正交归一的特征向量，要是直接计算的话，计算量太大。因此这个过程中我们引入奇异值分解定理。 

(3)计算图像的特征值和特征向量 

定理(SVD)设A是一个秩为r的n*r维矩阵，则存在两个正交矩阵和对角阵： 

且U^TU＝I 

且V^TV＝I 

在这个公式15中λ₀≥λ₁≥λ₂...≥λ_r-1，则这两个正交和对角阵满足一式： 

$A={\mathrm{U\Λ}}^{\frac{1}{2}}{V}^T$

其中λ_i(i＝0，1，...，r-1)为矩阵AA^T和A^TT的非零特征值，u_i和v_i分别是AA^T和A^TT对应于λ_i的特征向量。上述分解称为矩阵A的奇异值分解， 

为A奇异值。 

由上述定理可以得到一个推论： 

$U={\mathrm{AV\Λ}}^{-\frac{1}{2}}$

因为 

$\mathrm{\Σ}=\frac{1}{M}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}(x_i-\mathrm{\μ}){(x_i-\mathrm{\μ})}^T=\frac{1}{M}{\mathrm{XX}}^T$

X＝[x₀-μ，x₁-μ，x₂-μ，...，x_M-1-μ] 

所以可以构造矩阵： 

求出该矩阵的特征值λ_i及相应的正交归一化特征向量v_i(i＝0，1，2，...，M-1)，由推论公式17可得知∑的正交归一化特征向量u_i

$u_i=(1/\sqrt{\left|{\mathrm{\λ}}_i\right|})X(i=\mathrm{0,1,2},...,M-1)$

这个算出来的就是图像的特征向量。由较低维矩阵R的特征值和特征向量而间接求出来的。 

特征值λ_i所对应的特征向量为μ_i，也就是特征子空间的正交基。由于μ₀，μ₁，μ₂，....，μ_M-1这些特征向量本身如果看作图像的话都很像人脸图像，所以它们被称为特征脸。由这些特征脸所张成的空间称为特征脸子空间。对应较大特征值的特征向量叫做主分量，用于表示脸的大体形状，而对应于较小特征值的特征向量则用于描述人脸的具体细节，或者从频域来看，主分量表示了人脸的低 频部分。 

(4)把训练图像和测试图像投影到特征空间 

每一幅人脸图像特征脸空间投影，得到一组坐标系，就对应于子空间中的一个点。同样子空间中的任意一个点也对应于一幅图像，这组数据便可作为人脸性别识别的依据，也就是这张人脸图像的特征脸特征。换句话说就是任何一幅人脸图像都可以表示为这组特征脸的线性组合，各个加权系数就是K-L变换的展开系数，可以作为图像的识别特征，表明了该图像在在子空间的位置，也就是向量y＝U^Tf，同这些投影系数和投影矩阵可以重建图像，重建的公式如下： 

$\hat{f}=\mathrm{Uy}$

最后的系数向量y就是反应待识别样本特征的特征向量。 

(5)利用分类器比较训练图像和测试图像，确定等识别样本类别。 

SVM支持向量机：支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的^[8]，它在解决小样本、非线性以及高位模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。Moghaddam B.等人将SVM用于人脸图像的性别识别，获得了很好的识别正确率^[9]

支持向量机最简单也是最有效的是线性分类器，如图5所示： 

在二维空间中，C1和C2是两个不同的类别，中间的斜线就可以表示一个分类函数，并很好的将两类分开。 

我们还可以通过SVM分类算法得出分类最优解，如图6所示： 

由图6可以看出，当找到C1与C2最边界的两个点的两个平行连线时，取与他们距离相同的中间线作为最有分类线。可得出最有分类函数。 

由线性分类器类比非线性分类器，如图7所示： 

黑色与红色属于不同的两类，如何使用一个函数来将他们分开，在二维空 间中，很难找到一个线性函数来将两类分开。但我们可以很容易找到一个非线性函数y＝ax²+bx+c，如图8所示： 

所以，SVM在处理低维不可分的问题时，使用映射到高维的方法去解决 

所述的PCA人脸性别识别依次经过图像预处理、计算K-L变换的生成矩阵、计算图像的特征值和特征向量以及把训练图像和测试图像投影到特征空间。 

最后利用图片形式或视频形式将广告投放到相应的广告中。 

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。 

Claims (6)

1.一种智能广告投放系统，其特征是：通过视频或摄像头从视频源中读取一帧进行人脸检测，对每个检测的人脸进行性别识别，将识别后的数据通过广告投放方式进而投放相应性别的广告。

2.根据权利要求1所述的智能广告投放系统，其特征是：所述的人脸检测采用通过提取类Haar特征并利用Adaboost算法进行训练和检测Haar特征。

3.根据权利要求2所述的智能广告投放系统，其特征是：所述的类Haar特征通过提取脸部矩形特征，将提取到的矩形特征依次通过矩形特征值的计算、矩形特征的数量和利用积分图快速计算矩形特征。

4.根据权利要求2所述的智能广告投放系统，其特征是：所述的Adaboost算法依次通过训练部分和检测部分，所述的训练部分包括将收集的人脸样本和非人脸样本计算出相应的样本积分值，根据样本积分值计算出各训练样本的所有类Haar矩形特征值，确定各矩形特征的阈值并挑选其中一矩形作为一个弱分类器，弱分类器与挑选出的矩形特征相对应，将多个弱分类器组成一个强分类器，多个强分类器级联为一个多层强分类器；所述的检测部分采用检测窗口缩放的策略从待检测图像中提取所有将被检测的子窗口，利用训练得到的多层强分类器对每个子窗口进行检测，对检测结果进行后处理，最后得到图像中包含的所有人脸的坐标和大小。

5.根据权利要求1所述的智能广告投放系统，其特征是：所述的性别识别包括PCA人脸性别识别和SVM支持向量机，所述的PCA人脸性别识别依次经过图像预处理、计算K-L变换的生成矩阵、计算图像的特征值和特征向量以及把训练图像和测试图像投影到特征空间。

6.根据权利要求1所述的智能广告投放系统，其特征是：所述的广告投放方式分为图片形式和视频形式。

Images