CN102930454A - 基于多感知技术的智能3d广告推荐方法 - Google Patents

Abstract

在智能3D广告推荐系统中，要针对不同的人群自动做出不同的3D广告播放决策，而这高度依赖于是否能正确分类人群的性别、所属年龄段。本发明提出一种基于多感知技术的智能3D广告推荐方法，通过提取人群的多种特征，进行智能信息处理和决策，能更加准确地识别人群的性别、所属年龄段，从而实现智能3D广告的投放。本发明能更满足智能3D广告机市场对于高效、高性能和高可靠性解决方案的需求，为数字交互、智能信息处理和管理提供更好的支持。

Description

基于多感知技术的智能3D广告推荐方法

技术领域

本发明针对传统户外广告投放僵硬，成本耗费，但效果一般的问题，提出一种基于多感知技术的智能3D广告推荐方法，将计算机视觉、图像处理、模式识别、人机交互等技术结合起来，主要通过智能信息处理等相关技术用于人群特征的提取，并利用这些特征对人群的年龄、性别进行分类判别，并根据判别结果推荐并投放高稳定、针对性需求的3D广告。 

背景技术

       数字广告机是一种指的是在大型商场、超市、酒店大堂、饭店、影院及其他人流汇聚的公共场所，通过大屏幕终端显示设备，发布商业、财经和娱乐信息的多媒体专业视听系统。智能广告机可以被个人电脑及制定服务器终端所操控，能够借助于智能信息处理技术，可以及时地有针对性地更新广告内容。相比于传统的数字媒体技术，智能广告机通过其良好的人机交互模式，让使用者更加接近现实感官，既而取得良好的商业效果。因其可因地因事制宜的特性，良好的特性使其具有巨大的推广和应用前景。 

       数字广告机与智能信息处理如图像识别技术的融合使得广告机在商业广告领域的应用取得了新的突破。通过图像识别技术捕捉广告目标群体特征信息，如身高、年龄、身材、性别和服装等，可以判断出目标群体的属性，并播放针对性的广告。从而在营销理论上做到了良好的市场针对性和消费群体交流。相比于传统的广告播放，更具有主动迎合消费者需求和心理的作用，从而达到良好的广告推销效果。 

       3D广告以高清的画面效果、动感的视频内容，更能引起观众的兴致，发生视觉、听觉及心理的冲击，形成记忆，并最终促使消费，达成广告主营销费用的效应最大化。因此，吸引眼球的高清广告机，让3D广告主体表现力更强，使3D广告能够更深入人心，营造出随需而变的营销系统。智能3D广告机通过智能信息处理技术（如脸部识别技术），能智能发布针对性的3D广告。　 

      智能广告机的国内外研究现状如下：

      2008年2月加拿大Congno Vision公司在美国拉斯维加斯举行的“Digital Signage Expo”上展示了这一新型技术：在显示屏上配备摄像头，读取观众的脸部，再利用该公司开发的专用软件进行分析。通过该技术，可识别出观众的性别和年龄段。例如，若识别出观众是20多岁的女性，就会显示适合她的广告。

   2010年1月，英特尔在美国零售业联盟展会上展出了一个7英尺6英寸的多用户、多触点的英特尔智能广告机概念验证 (POC)系统；同年5月，英特尔与微软联手推出了基于英特尔酷睿处理器和微软最新版Windows嵌入式操作系统的广告机平台技术，将支持解决方案提供商更快速地构建更加可靠的广告机网络。 

   在2010年5月举行的第13届嵌入系统技术开发展上，英特尔日本公司展示了附带广告机的自动售货机，其内置摄像头模块可根据影像来识别有无使用者、使用者的性别和年龄层等等。机器前部配备了带有触摸功能的大屏液晶显示器，可根据使用者的性别和年龄层显示推荐商品。与此同时，NEC电子公司也发布了一种针对广告机的观众特征识别判定程序，数字用户可借助它对头发颜色和听力特征的识别来判定观众所属的年龄阶段，其误差基本不超过10岁。商家可借此针对不同的观众来调整显示的数字内容。 

   2010年7月，日本11家地铁公司联合推出了“数字化号牌推广计划”，在东京周边的地铁站中安装了27台具备人脸识别能力的广告显示器，其中安装有摄像头和人脸识别软件，可自动识别经过广告牌的旅客的性别和年龄，并播放相应内容。项目发言人介绍，只要旅客从广告牌前路过、并往屏幕的方向看一秒钟，这些显示器便可识别出旅客的性别和大致年龄。 

  2010年6月在第二届上海国际广告机及触摸查询技术展示会上，三星电子大中华区经理隋大鹏指出：该公司的广告机系统正在融入更多的新技术，通过脸部跟踪及识别技术完成对受众群人数、性别、年龄区间等信息的采集和统计，并可据此调整播放策略。三星应用到餐饮行业的观众识别系统解决方案可为不同的受众群体播放不同的内容，以做到智能发布。 

  在国外广告机业不断创新的同时，国内专家认为，国内广告机产业主要的差距是技术：国内一些新入行的企业在整体技术水平上显著落后于国外市场。随着全球广告机市场的不断增长，国内企业已经意识到，尽管广告机市场商机无限，技术创新才是这个行业发展的硬道理。因此，在目前国内研究技术相对较弱的情况下，市场的长足发展必须有自主创新能力和寻求差异化的技术实力。 

  2010年4月，以色列公司PrimeSense为微软提供了其三维测量技术，并应用于Project Natal。在PrimeSense公司的主页上提到其使用的是一种光编码（light coding）技术。不同于传统的ToF或者结构光测量技术，light coding使用的是连续的照明（而非脉冲），也不需要特制的感光芯片，而只需要普通的CMOS感光芯片，这让方案的成本大大降低。Light coding，顾名思义就是用光源照明给需要测量的空间编上码，其实质为结构光技术。 

  Kinect作为新兴的传感器，它使原有的应用局限得以被突破，可以用在智能3D广告机推荐系统上。Kinect最早在2009年6月1日E3 2009上首次公布，代号为“Projet Natal”。“Projet Natal”是由来自巴西的微软董事Alex Kipman以巴西城市Natal, Rio Grande do Norte命名。在Kinect公布时，微软在E3 09的媒体发布会上同时展示了3个游戏Demo,分别是Ricochet、Paint Party 和 Milo & Kate。在E3 09上Kinect的骨骼捕捉技术已经可以在30Hz的条件下同时捕捉四个人的48个骨骼动作。 

  现今的Natal具备功能强大的感觉阵列。通过一个数字视频摄像头，能从事捕捉图片到识别颜色等多项工作。而Natal中的麦克风则可以在短时间内采集多次声音数据，以便把游戏软件使用者和同处在一间房间中的其它人分开。现今特制的软件已经把Natal训练得能成功识别人的脸部细节变化。而在识别人体动作的时候，精度可以达到4厘米。 

目前，已经有人将Kinect技术应用于智能视觉领域，通过该技术捕获人群特征，进行智能分类与识别，并推荐相应的数字内容。但是，目前还没有将多感知技术应用于智能3D广告机领域，因此，本发明具有重要的意义。 

发明内容

本发明的研究涉及到数学分析、图像处理、模式识别、人工智能、概率统计、信息论、控制论、计算复杂性理论等诸多交叉领域，采用理论研究、试验仿真与工程应用测试相结合的研究方法。 

本发明是基于多感知技术的智能3D广告推荐方法，通过将视频内容，广告，商业信息等，有针对性的利用广告机对于消费群体进行分类推荐，可以取得良好的户外广告效果。该技术主要分为三个主要步骤，如图1所示，其主要步骤如下： 

(1)人群特征提取： 

智能传感器用来扑捉特征群体的信息，通过红外视频感知、语音识别和体感技术对于目标人群的体态特征进行捕捉，红外视频感知识别可以全天候的扑捉特征群体信息，即使在阴天和光线昏暗的环境下，目标群体的特征可以得到捕捉。在光线良好的情况下，可启用摄像头作为辅助工具，对洪外线以外的目标细节进行高度捕捉。 

(2)信息识别处理及判别： 

具体实施方式

经过捕捉后的数据，如红外信息、语音信息、体感信息，利用图像处理、模式识别等算法对提取特征进行分析，并进行判断，判断目标群体属于哪一类消费及推广群体，并将判别结果保存。 

(3)智能3D广告推荐： 

利用高清广告机对广告内容进行播放，并提供声音等多媒体信息渠道。同时，如果广告目标群体愿意继续了解产品信息，甚至当场购买，可以借助广告机的触摸感应交互模式完成。广告机的交互性能设计，可以完全依据市场和顾客的调整进行匹配。一块广告机既可以作为显示器使用，在需要时也可以作为平板使用。 

下面结合附图对本发明做进一步说明； 

图1是系统总流程框图。 

图中，系统总流程框图分三个主要步骤：即人群特征提取，信息识别处理与判别，智能3D广告推荐。 

人群特征提取 

步骤1：人脸特征提取 

人脸特征提取是人脸精确配准基本前提。目前解决该问题的主流方法有柔性模型（Flexible Models），Snake 的主动轮廓线模型（Active Contour Model，ACM）,主动形状模型（Active Shaper Model，ASM)，主动表观模型(AAM)等方法。柔性模型具有良好的人脸合成能力。 

因此，这里可以利用二维Gabor小波进行图像多尺度分析，精确地提取图像局部区域内多个图像块方向特征进行整体特征提取，再利用柔性模型进行局部特征精准提取。 

步骤2：肤色特征提取 

1）从视频中获取一帧图像进行检测。可以定时获取图像或是已经检测到场景中有人物时定时获取单帖图像进行处理。 

2）图像预处理。因为肤色提取与人脸提取不一样，所以需要进行预处理分析，将不属于皮肤的区域去掉。 

3）肤色特征获取。通过肤色分割模型，将最接近人体的肤色特征进行识别。其方法有简单的颜色和位置聚类算法、颜色和位置聚类优先的Graph-Cut算法等，颜色和位置聚类优先的Graph-Cut算法效果较好。 

步骤3：语音特征提取 

1）对声音信号作短时傅里叶变换，得到它的功率谱图。 

2）从它的功率谱图中找出具有代表性的一些波峰所对应的频率，用这些特征频率值作成一个特征向量。 

3）用某个特定人声音的特征向量为标准向量F，定义待测声音的特征向量G与F之间的距离函数D，给定一个阈值P。由F，D和P构成语音识别系统，其中F,G分别为语音特征。 

信息识别处理与判别 

采用分类器来对检测的人群进行性别、年龄段分类是行之有效的。由于单个分类器都有其各自的优缺点, 因而在同样情况下不同分类器的识别结果可能相差非常大，因此采用多个分类器决策融合来进行分类。多分类器决策融合目的旨在提高分类的精度，并度量模式的密集程度。 

1) Fisher线性判别法作为单分类器来说, 其识别性能在不同的数据库上均不错。但是，利用Fisher线性法在进行降维处理时, 还是会丢失一些有用的信息, 而这些信息对于后面的步骤可能很重要。 

2) 动态聚类算法。C-均值算法是一种常用的基于近邻法则的无监督学习方法。C - 均值算法的收敛速度比较快, 但是其收敛结果取决于初始聚类中心的选取。 

3) 极限学习机( Extreme learning machine, 简称ELM)。ELM算法是神经网络方法在学习方法上的推广。通过引入极限学习理论, 可以很好地应用于训练时间问题, 并且对小样本集问题具有良好的预测性能。 

步骤1：性别分类算法 

1) 提取人体的人脸、肤色、语音等各种特征，进行归一化处理。 

2) 利用线性判别方法提取训练检测到的人群特征, 同时利用Fisher 方法提取训练样本和目标图像的特征。 

3) 利用动态聚类方法对目标图像进行分类, 并计算单分类器的平均识别率。 

4) 利用男女训练样本对ELM进行训练，得到一组参数值。利用训练好的ELM对测试样本进行分类。 

5）利用决策融合规则进行组合分类, 比较不同融合规则的分类精度。 

步骤2：年龄段分类算法 

1) 提取到人体的人脸、肤色、语音等特征，并进行归一化处理。 

2) 利用线性判别方法提取训练检测到的人群特征, 同时利用Fisher方法提取训练样本和目标图像的特征。 

3) 利用动态聚类方法对目标图像进行分类, 并计算单分类器的平均识别率。 

4) 利用不同年龄段（老、中、青、少等）训练样本对ELM进行训练，得到一组参数值。利用训练好的ELM对测试样本进行分类。 

5) 利用决策融合规则进行组合分类, 比较不同融合规则的分类精度。根据对目标图像的分类迭代增加分类类别, 缩小年龄段分类区间, 以提高年龄估计精度。 

智能3D广告推荐 

从个性化推荐技术分类而言，包括协同过滤推荐技术、基于内容的推荐技术、基于人口统计学的推荐技术、基于效用的推荐、基于知识的推荐和基于关联规则的推荐。 

可以利用人口统计学推荐技术，如通过人群的特征，获得其年龄、性别等判别结果，并利用这些结果进行智能3D广告的推荐投放。广告初始阶段可以通过人工方式进行分类，并 标注适宜人群属性（年龄、性别等）。利用这些属性，可以调整特定人群的广告内容，播放针对性的广告。 

Claims (7)

1.一种基于多感知技术的智能3D广告推荐方法，包括步骤：第一阶段的人群特征提取，第二阶段的信息识别处理与判别，第三阶段的智能3D广告推荐。

2.按权利要求1所述的方法，其特征在于所述第一阶段的人群特征提取包括步骤：人脸特征提取、肤色特征提取、语音特征提取。

3.按权利要求1所述的方法，其特征在于所述第二阶段的信息识别处理与判别包括步骤：性别分类、年龄段分类。

4.按权利要求1所述的方法，其特征在于所述第三阶段的智能广告投放包括步骤：通过人群的年龄、性别等进行智能3D广告的推荐投放。

5.按权利要求1所述的方法，其特征在于所述人脸特征提取包括步骤：利用二维Gabor小波进行图像多尺度分析，精确地提取图像局部区域内多个图像块方向特征进行整体特征提取，并利用柔性模型进行局部特征精准提取。

6.按权利要求1所述的方法，其特征在于所述性别分类包括步骤：提取到人体的人脸等各种特征，利用线性判别方法提取训练检测到的人体的特征, 同时利用Fisher 方法提取训练样本和目标图像的特征，利用动态聚类方法对目标图像进行分类, 并计算单分类器的平均识别率，利用男女训练样本对ELM进行训练，得到一组参数值，利用训练好的ELM对测试样本进行分类，利用各种融合规则进行组合分类, 比较不同融合规则的分类精度。

7.按权利要求1所述的方法，其特征在于所述年龄段分类包括步骤：提取到人体的人脸等各种特征，利用线性判别方法提取训练检测到的人体的特征, 同时利用Fisher 方法提取训练样本和目标图像的特征，利用动态聚类方法对目标图像进行分类, 并计算单分类器的平均识别率，利用不同年龄段（老、中、青、少等）训练样本对ELM进行训练，得到一组参数值，利用训练好的ELM对测试样本进行分类，利用各种融合规则进行组合分类, 比较不同融合规则的分类精度，根据对目标图像的分类迭代增加分类类别, 缩小年龄段分类区间, 以提高年龄段估计精度。

Images