CN103956128A - 基于体感技术的智能主动广告平台 - Google Patents

Abstract

本发明涉及一种基于体感技术的智能主动广告平台，其特征在于：包括Kinect体感控制器、RFID阅读器、LCD显示屏和高性能处理机。本发明运用的机器视觉技术，主要包括人脸识别、体感技术两大核心智能算法，通过智能数据库进行匹配，将识别结果进行分类、应用、上传到远程服务器。再同虚拟现实和增强现实技术改善传统广告展示形式。从而，使基于体感智能主动广告平台可以准确实现“主动交互”、“测量分析”、“终端监控”三大具有突破性的功能。

Description

基于体感技术的智能主动广告平台

技术领域

本发明涉及一种增强现实、机器视觉技术和体感交互技术相结合的智能广告终端云平台，属于机器视觉、虚拟现实领域。

背景技术

21世纪，无论是互联网广告，还是传统的电视、户外、室内广告，都经历了一次爆炸式的增长，广告已经变得无处不在。而在这一轮增长中，相比互联网广告的增长速度，传统的户外广告、室内广告和媒体广告等单方向广告形式陷入了尴尬的发展困境。因此，为了迎合市场需要，一种可以满足受众个性化要求的新型实体智能广告系统的实现显得尤为重要。目前在智能广告系统这一领域上已开始出现一些初步研究成果，但尚不多见且均略有不足。下面是已经公开的有关智能广告的一些实用新型专利：公开号为CN202373262U，名称为《互动智能广告机》的专利通过射频读卡器和触摸屏配合网络模块实现广告机与用户之间的互动。公开号为CN202383971U，名称为《带人脸识别功能的广告播放系统》的专利利用多核DSP芯片的多功能性主要实现对用户性别和年龄针对性的播放广告的功能。公开号为CN201007877Y，名称为《智能广告装置》的专利提出了用红外线触发器等自动检测装置，检测顾客所关注的商品类型并播放预设广告的方案。公开号为CN202018676U，名称为《智能广告投放点击收益系统》的专利则是用读卡器和指纹识别器实现智能身份识别，从而提高收益。

然而上述已开发的智能广告系统中均存在着仅着重于某方向的系统智能完整性的不足，综合起来如下：只能等待受众去注意广告内容并没有实现对受众主动发出图像、语音上的、智能友好的互动邀请，从而吸引受众关注广告内容；系统仅能判断受众年龄性别的基本信息，无法判断受众的喜恶，并非做到了真正的“察言观色”；广告仅能以画面的形式展现在受众面前，并不能让受众融入到广告中；广告商无法方便快捷地根据所记录的数据方便快捷地判断广告牌的价值，及时调整广告内容和铺放策略。

发明内容

本发明的目的是提供一种全新的主动交互、可监控投放效果的、室内定点液晶智能互动广告系统。

为了达到上述目的，本发明的技术方案是提供了一种基于体感技术的智能主动广告平台，其特征在于：包括Kinect体感控制器、RFID阅读器、LCD显示屏和高性能处理机，其中：

Kinect体感控制器通过RGB摄像头实时获取区域内人或物的彩色图像，应用于对受众的面部表情、人脸信息的识别以及二维码的识别；

Kinect体感控制器通过红外深度摄像头实时获取区域内人或物的三维深度信息，应用于获取人体三维信息以及对人体骨架的提取；

Kinect体感控制器通过多点阵列麦克风捕获一定范围内的音频数据，应用于语音控制；

RFID阅读器，读取嵌入在物品内部的电子标签所记载的信息，从而进行范围内主动身份识别；

LCD显示屏，用于发出语音、显示图像；

高性能处理机至少具有身份识别功能、人体交互功能及信息测量分析功能，其中：身份识别功能或在物体上附着用于标识目标对象身份信息的RFID标签，由RFID阅读器读取RFID标签从而实现对目标对象身份进行主动智能识别，或利用RGB摄像头对纸张/电子屏幕上的二维码进行识别；

人体交互功能利用红外深度摄像头获取的信息，追踪人体骨架，获得人体关键位置骨骼点的空间坐标，将人体关键位置骨骼点与广告中的某些物体绑定，将RGB摄像头与红外深度摄像头获得的图像进行融合，建立人体三维模型，将人体三维模型叠加到广告中的某些物体上，使得LCD显示屏显示当前人体与广告中的某些物体叠加后的效果并使得这些物体能够随人体的运动而运动；

信息测量分析功能对通过RGB摄像头捕获到的图像进行人脸识别，提取人脸的面部特性及捕捉微观结构，将识别出的人脸与数据库中的预存图像进行匹配，判断当前用户的面部表情，根据识别到的面部表情与预设方案进行匹配，控制LCD显示屏自动进行广告的切换和播放。

优选地，还包括服务器，用于接收来自高性能处理机的数据及存储所述信息测量分析功能中的预存图像及预设方案。

本发明结合最先进的机器视觉应用技术和数字图像融合技术，在此基础上自主开发出相关的模式识别算法，最终提出了一种全新的主动交互、可监控投放效果的、室内定点液晶智能互动广告平台。通过对有效范围内的受众主动发出图像、语音上的、智能友好的互动邀请，吸引受众关注。并对观看广告的受众进行表情、性别、性格等特性进行智能识别，针对不同的受众特征，推广不同的广告内容，让广告的宣传效果最大化。同时跟踪记录受众人数、体验时长、互动效果等信息，再将获取到的受众信息分门别类，利用广告机无线上网功能，通过网络将数据上传到远程服务器，数据信息处理中心将按需获取数据信息。

应用如上方案，使得本发明与现有技术或理论观点比较后，创新之处和积极效果如下：机器视觉技术的发展是奠定当前能推出此智能广告平台的核心基础，本发明运用的机器视觉技术，主要包括人脸识别、体感技术两大核心智能算法，通过智能数据库进行匹配，将识别结果进行分类、应用、上传到远程服务器。再同虚拟现实和增强现实技术改善传统广告展示形式。从而，使基于体感智能主动广告平台可以准确实现“主动交互”、“测量分析”、“终端监控”三大具有突破性的功能。

附图说明

图1是本发明提供的一种基于体感技术的智能主动广告平台的系统框图。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。

结合图1，本发明提供了一种基于体感技术的智能主动广告平台，包括Kinect体感控制器、RFID阅读器、LCD显示屏、高性能处理机和服务器，其中：

Kinect体感控制器通过RGB摄像头实时获取区域内人或物的彩色图像，应用于对受众的面部表情、人脸信息的识别以及二维码的识别；

Kinect体感控制器通过红外深度摄像头实时获取区域内人或物的三维深度信息，应用于获取人体三维信息以及对人体骨架的提取；

Kinect体感控制器通过多点阵列麦克风捕获一定范围内的音频数据，应用于语音控制；

RFID阅读器，读取嵌入在物品内部的电子标签所记载的信息，从而进行范围内主动身份识别；

LCD显示屏，用于发出语音、显示图像；

高性能处理机具有身份识别功能、人体交互功能及信息测量分析功能，其中：身份识别功能在物体上附着用于标识目标对象身份信息的RFID标签，由RFID阅读器读取RFID标签从而实现对目标对象身份进行主动智能识别，利用RGB摄像头对纸张/电子屏幕上的二维码进行识别。

受众进入识别范围内，系统利用识别设备主动对之进行非接触式自动身份识别，以判断对象的基本类型(是否为VIP群体等)，根据不同的受众类型，主动选取不同类型的广告播放，提高范围内受众的关注度。具体包括以下两个部分：

RFID阅读器：根据受众所拥有的电子标签，对受众身份进行主动智能识别：标签进入磁场后，接收解读器发出的射频信号，凭借感应电流所获得的能量发送出存储在芯片中的信息，或者主动发送某一频率的信号。RFID阅读器读取信息并解码后，进行有关数据处理，并将有关数据反馈到智能广告平台的处理设备进行身份智能识别。例如：对持有会员卡的会员进行非接触式的自动身份识别。

二维码扫描：将纸张/电子屏幕上的二维码图型，通过Kinect体感控制器上的RGB摄像头进行扫描，输入到处理设备中并使用内置软件进行解码，利用解码后所得到的数据信息进行智能识别。

人体交互功能利用红外深度摄像头获取的信息，追踪人体骨架，获得人体关键位置骨骼点的空间坐标，将人体关键位置骨骼点与广告中的某些物体绑定，将RGB摄像头与红外深度摄像头获得的图像进行融合，建立人体三维模型，将人体三维模型叠加到广告中的某些物体上，使得LCD显示屏显示当前人体与广告中的某些物体叠加后的效果并使得这些物体能够随人体的运动而运动。

应用人体骨架追踪技术、语音命令控制，结合之前作者提出过的“基于区域遮罩的深度图像与RGB图像的智能融合方法”专利，进行目标物体的识别，使受众融合到广告中，并可以用肢体语言和简单的语音命令控制广告中的物体，获得更加真实的互动效果。包括如下部分：

人体骨架追踪：体感控制器具有两个深度传感器——红外深度摄像头。利用摄像头获取的信息，融合数字图像技术相，追踪人体骨架，获得人体20个关键位置骨骼点的空间坐标，提取人体骨骼信息。再获取关键位置骨骼点的空间坐标，形成驱动骨架，提取广告内待同步物体的关键点，生成物体的姿态骨架。最后，通过仿射变换，将人体驱动骨架与物体姿态骨架重合，使人体姿态与物体的同步，实现人体的驱动骨架驱动物体变形的功能，达到“随动”的效果。

语音命令：通过Kinect体感控制器上多点阵列麦克风捕获的音频数据，经过在Kinect硬件和Kinect SDK之间复杂的音频增强效果算法来进行移除不相关的背景噪音等处理。使得能够在一个大的空间范围内，即使人离麦克风一定的距离也能够进行语音命令的识别。同时，语音识别利用Kinect语言包提供了这些模型来优化语音指令的识别，实现智能广告平台“语音控制”，使交互性能更加完善。

信息测量分析功能对通过RGB摄像头捕获到的图像进行人脸识别，提取人脸的面部特性及捕捉微观结构，将识别出的人脸与智能信息数据库中的预存图像进行匹配，判断当前用户的面部表情，根据识别到的面部表情与预设在智能信息数据库中的方案进行匹配，控制LCD显示屏自动进行广告的切换和播放。

人脸识别包括图像预处理、人脸检测、信息处理三个步骤。

图像预处理：RGB摄像头对当前受众进行面部图像采集，在预处理阶段，对图像进行优化，尽可能去除或者减小光照、成像系统、外部环境等对待处理图像的干扰，为后续处理提高质量，以便使不同的人脸图像尽可能在同一条件下完成特征提取、训练和识别。图像预处理主要包括人脸扶正，人脸图像的增强，以及归一化等工作。人脸扶正是为了得到人脸位置端正的人脸图像，即使之正向面对摄像头；图像增强是为了改善人脸图像的质量，不仅在视觉上更加清晰图像，而且使图像更利于计算机的处理与识别。归一化工作的目标是取得尺寸一致，灰度取值范围相同的标准化人脸图像。

人脸检测：依据归一化的人脸图像，用知识或统计的方法对人脸建模，提取面部特性，捕捉微观结构，比较待检测对象与智能数据库中所建的人脸模型的匹配程度，从而判断面部表情，返回人脸识别信息；

信息处理：根据人脸检测环节所返回的人脸识别信息，处理机讲整合人脸检测的数据，根据预设的播放方案，自动切换广告并统计播放次数。

服务器，用于接收来自高性能处理机的观看时长、互动效果等信息及存储信息测量分析功能中的预存图像及预设方案。

在受众体验广告平台的同时跟踪记录受众人数、体验时长、互动效果等信息储存在处理机数据库中。再将获取到的受众信息分门别类，利用广告机3G无线上网功能，通过网络将处理后的数据上传到远程服务器。数据信息处理中心将通过远程服务器按需获取数据信息(如：广告商可以利用手机或电脑，通过互联网监控每一台广告终端的广告效果，及时调整广告内容和策略，实现终端控制)。

Claims (2)

1.一种基于体感技术的智能主动广告平台，其特征在于：包括Kinect体感控制器、RFID阅读器、LCD显示屏和高性能处理机，其中：

Kinect体感控制器通过RGB摄像头实时获取区域内人或物的彩色图像，应用于对受众的面部表情、人脸信息的识别以及二维码的识别；

Kinect体感控制器通过红外深度摄像头实时获取区域内人或物的三维深度信息，应用于获取人体三维信息以及对人体骨架的提取；

Kinect体感控制器通过多点阵列麦克风捕获一定范围内的音频数据，应用于语音控制；

RFID阅读器，读取嵌入在物品内部的电子标签所记载的信息，从而进行范围内主动身份识别；

LCD显示屏，用于发出语音、显示图像；

高性能处理机至少具有身份识别功能、人体交互功能及信息测量分析功能，其中：身份识别功能或在物体上附着用于标识目标对象身份信息的RFID标签，由RFID阅读器读取RFID标签从而实现对目标对象身份进行主动智能识别，或利用RGB摄像头对纸张/电子屏幕上的二维码进行识别；

人体交互功能利用红外深度摄像头获取的信息，追踪人体骨架，获得人体关键位置骨骼点的空间坐标，将人体关键位置骨骼点与广告中的某些物体绑定，将RGB摄像头与红外深度摄像头获得的图像进行融合，建立人体三维模型，将人体三维模型叠加到广告中的某些物体上，使得LCD显示屏显示当前人体与广告中的某些物体叠加后的效果并使得这些物体能够随人体的运动而运动；

信息测量分析功能对通过RGB摄像头捕获到的图像进行人脸识别，提取人脸的面部特性及捕捉微观结构，将识别出的人脸与数据库中的预存图像进行匹配，判断当前用户的面部表情，根据识别到的面部表情与预设方案进行匹配，控制LCD显示屏自动进行广告的切换和播放。

2.如权利要求1所述的一种基于体感技术的智能主动广告平台，其特征在于：还包括服务器，用于接收来自高性能处理机的数据及存储所述信息测量分析功能中的预存图像及预设方案。