CN107493319A - 一种智能交互多媒体展示系统及其实现方法 - Google Patents

Abstract

本发明公开了一种智能交互多媒体展示系统及其实现方法，所述智能交互多媒体展示系统由商品陈列介质、交互显示单元、人脸检测与识别单元、互动触发单元、信号处理单元、云服务器构成，本发明采用触屏一体机内置摄像头进行实时人脸检测实现主动交互，可以极大的提高商品被关注的可能性；相对于传统使用红外传感器、WIFI探针等进行人数统计或人员识别方式来说更加精准和有效，可排除各种无效干扰；通过人脸识技术进行差异化的交互，广告文案可依据年龄、性别自动改变，做到使广告有的放矢，提高消费者兴趣，增加销售成功率。

Description

一种智能交互多媒体展示系统及其实现方法

技术领域

本发明涉及互联网通讯技术领域，具体是一种智能交互多媒体展示系统及其实现方法。

背景技术

在面对直接消费者的销售环节中，商品展示、引起关注以及详细的功能介绍是影响商品销量的几个重要因素。对于没有直接购买目标和购买计划的消费者，只有引起消费者的注意、引发消费者的兴趣，促使其进一步了解了商品功能后才有可能产生消费动作。所以无论大型商超还是小型商铺，都会考虑货架的上中下位置，考虑人的走向和视线，产品与货架如何有机结合，产品与产品如何组合摆放等等。产品销售商也总是希望自己的产品摆放在最显眼的地方，有些高价值商品如化妆品、护肤洗浴品等还会设立专柜并配备专门的导购人员进行推荐、介绍，其目的就是要搏得更多关注，吸引更多消费者。

然而过度的宣传譬如导购员的过度热情、拉抢顾客、大音量喇叭等等反而会使消费者产生不舒服、躲避甚至厌恶的感觉，不仅没有吸引到用户反而赶跑了用户。

除吸引消费者外，商家迫切想要了解到自己商品的营销情况，更加重要的是营销预测和决策数据，需要了解关注该产品的人数统计、时间分布、性别比例、年龄分布等，以便优化摆放位置、商品包装、宣传方式、制定销售策略等。

同时，使用和维护成本是必不可少的考虑因素，由于商家经常有各种促销活动和新品需要及时介绍给消费者，为每个展示系统配备专门的维护人员去更新内容是不现实的，所以也要求展示系统具备免维护自动更新的能力。

目前商品展示或陈列柜对商品的介绍通常是平面广告/海报，或使用多媒体手段譬如在电视上循环播放广告视频等，也有一些使用计算机技术实现互动展示、智能导购的发明，如申请号：201410274750.8的《用于大型商场的智能货架》；申请号：201611235680.0的《一种基于智能货架的导购机器人系统》；申请号：200610061936.0的《一种智能货架系统及其实现方法》等发明。

上述发明中主体结构包括商品陈列介质：货架、货柜；交互显示单元：显示器、触摸屏电脑等；互动触发单元：RFID、扫描枪、触摸屏等。

但上述发明在互动功能方面均由消费者发起，譬如首先要由消费者使用扫描枪扫描二维码、识读RDIF等动作执行以后才开始互动环节，在显示器上展示相关的产品信息，只能说是消费者在已经对产品感兴趣的情况下，扫描后对商品进行了更加深入的介绍。缺少对消费者的主动吸引功能，无法在消费者经过货架时及时引起消费者注意和激发消费者想要了解商品的欲望。

同时，上述发明缺少数据采集功能或采集的信息不够全面，无法提供对于商家来说迫切想要了解的营销决策数据，如关注该产品的人数统计、时间分布、性别比例、年龄分布等；从结构上看上述发明线路复杂，过多的布线使得系统拓展性降低，随着货架、货柜规格型号、尺寸的变更系统需要重新布线。

发明内容

本发明的目的在于提供一种智能交互多媒体展示系统及其实现方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种智能交互多媒体展示系统，由商品陈列介质、交互显示单元、人脸检测与识别单元、互动触发单元、信号处理单元、云服务器构成；

所述商品陈列介质包括货架、货柜、展示台架，商品陈列介质用于商品陈列展示以及作为互动触发单元、交互显示单元、人脸检测与识别单元、信号处理单元、电源及线路的安装载体；

所述交互显示单元包括显示模块、触控模块、主机、网络模块和蓝牙模块，交互显示单元用于人检测与识别，与开发版进行蓝牙数据交互，互动方式显示视频、音频、图片、文字等信息，数据上传以及视频、音频、图片、文字等资源下载与更新；

所述人脸识别与检测单元包括人脸实时检测及有效判断和人脸特征分析；

所述互动触发单元包括电源和传感器，所述传感器包括光电传感器、称重传感器、微动开关。

所述信号处理单元包括电源、Arduino开发版和BLE蓝牙串口透传模块；

所述云服务器包括服务器设备及网络、接口服务、查询分析平台和资源管理。

作为本发明进一步的方案：所述交互显示单元为触屏一体机或平板电脑。

作为本发明进一步的方案：所述交互显示单元通过蓝牙与信号处理单元进行数据交互，并依据不同信号指令播放视频、图片、广告文案的商品信息；通过获取摄像头信息对视频帧进行检测和识别实现人脸检测和识别；通过WIFI或3G模块将数据上传至云服务器。

作为本发明进一步的方案：交互显示单元中的主机为Android系统或iOS系统。

作为本发明进一步的方案：所述网络模块为GPRS模块、3g网络模块、4g网络模块或WIFI网络模块。

作为本发明再进一步的方案：所述接口服务包括数据上传接口和资源更新接口。

所述的智能交互多媒体展示系统的实现方法，包括以下步骤：

（1）基于Android、iOS系统配合使用OpenCV开发人脸检测与识别功能，达到主动式互动目的；

（2）人脸检测与识别成功时依据识别内容进行有针对性、有差异的资源播放，达到智能互动目的；

（3）开发基于Android、iOS系统的BLE蓝牙通讯，实时接收开发板送出的信息，并依据此信息在屏幕上播放视频、音频、图片、文字等信息，实现操作互动目的；

（4）基于Arduino开发PGIO信号处理程序，将不同管脚的电信号转换为有特定含义的字符串从串口输出，配合BLE蓝牙串口透传模块将串口数据发送至蓝牙配对端，作为互动交互的依据；

（5）开发服务器端Webservice，包括数据上传接口、资源更新接口、数据查询接口等，为展示系统提供接口服务；

（6）开发服务器端数据维护、查询、统计功能。

与现有技术相比，本发明的有益效果是：

本发明采用触屏一体机内置摄像头进行实时人脸检测实现主动交互，可以极大的提高商品被关注的可能性；相对于传统使用红外传感器、WIFI探针等进行人数统计或人员识别方式来说更加精准和有效，可排除各种无效干扰。

本发明通过人脸识技术进行差异化的交互，广告文案可依据年龄、性别自动改变，做到使广告有的放矢，提高消费者兴趣，增加销售成功率。

本发明在传感器信号处理方面采用了Arduino开发板，信号首先由Arduino进行预处理屏蔽过滤干扰信号、不稳定信号和无效信号，有效减少误判使得后续动作更加精准，也使后台统计分析数据更加准确有效；传感器类型可依据用途、场合的不同更换为称重传感器、微动开关、光电传感器等，信号经程序处理后由Arduino统一通过串口送出，具有较强的扩展能力。

本发明使用低功耗BLE4.0蓝牙模块与开发板串口连接，将Arduino的串口数据通过蓝牙方式发送至触屏一体机，无线通讯使得触屏一体机的安装位置更加灵活，可依据货架货柜的不同按实际需要固定或嵌入触屏一体机，使得系统具有较强的灵活性和环境适应性。

本发明具备数据采集与后台管理功能，通过WIFI/3G网络将人脸检测、人脸识别、传感器数据上传至云服务器，作为营销统计分析的基础数据；同时也可以将设备状态、产品状态等数据上传至云服务器实现设备远程监测与管理。

本发明具备远程更新功能和更新接口，使得展示系统的内容在服务器资源更新后，各地、各门店、商超的展示系统即可通过接口服务自行下载资源进行更新。

附图说明

图1为本发明的系统结构示意图。

图2为本发明中商品陈列介质的结构示意图。

图3为本发明中交互显示单元的结构示意图。

图4为本发明中人脸检测与识别的流程示意图。

图5为本发明中互动触发单元的结构示意图。

图6为本发明中信号处理单元的结构示意图。

图7为本发明中云服务器的结构示意图。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

请参阅图1-7，一种智能交互多媒体展示系统，由商品陈列介质、交互显示单元、人脸检测与识别单元、互动触发单元、信号处理单元、云服务器构成；

所述商品陈列介质包括货架、货柜、展示台架，商品陈列介质用于商品陈列展示以及作为互动触发单元、交互显示单元、人脸检测与识别单元、信号处理单元、电源及线路的安装载体；所展示商品、人脸检测与识别、互动触发单元、信号处理单元、交互显示单元均安装在商品陈列介质上，是各功能模块的载体。

所述交互显示单元包括显示模块、触控模块、主机、网络模块和蓝牙模块，交互显示单元用于人检测与识别，与开发版进行蓝牙数据交互，互动方式显示视频、音频、图片、文字等信息，数据上传以及视频、音频、图片、文字等资源下载与更新；，其主要功能是部署APP软件实以现数据交互、互动展示与网络通讯功能。软件通过蓝牙与信号处理单元进行数据交互，并依据不同信号指令播放视频、图片、广告文案等商品信息；通过获取摄像头信息对视频帧进行检测和识别实现人脸检测和识别；通过WIFI或3G模块将数据上传至云服务器。

所述人脸识别与检测单元包括人脸实时检测及有效判断和人脸特征分析；人脸识别与检测单元部署在交互显示单元的主机中，依靠交互显示单元或外部摄像头模块通过分析实时视频帧对比人脸识别训练文件判断是否存在人脸，当连续15帧以上判断出人脸时可以认为是有人经过，此时意味着人脸在摄像头范围停留约650毫秒左右，譬如正常速度经过摄像头、扭头看向展示系统等，排除快速奔跑通过、偶尔快速扭头等无效因素，降低误识别几率。当判定为有效人脸检测时抓取视频帧图片，并分析人脸特征获取性别、年龄等信息，并以此为依据主动开始有针对性的交互。

所述互动触发单元包括电源和传感器，所述传感器包括光电传感器、称重传感器、微动开关。传感器触发信号连接至信号处理单元，用于识别触发动作以判断是哪种产品被拿起。

所述信号处理单元包括电源、Arduino开发版和BLE蓝牙串口透传模块，当开发板GPIO接收到传感器触发信号时Arduino程序对信号进行稳定处理和识别，判断是何种产品触发以及进行动作判断，依据传感器种类判断拿起放下动作、重量变化等，同时将数据从BLE4.0蓝牙模块送出交由交互显示单元播放对应产品的视频、图片、文字等信息。

所述云服务器包括服务器设备及网络、接口服务、查询分析平台和资源管理。

查询分析平台：交互显示单元通过WIFI、3/4G、GPRS网络将人脸检测信息、人脸识别信息、互动触发信息、触控操作信息等上传至远程云服务器并保存至数据库形成查询分析的数据基础。系统用户远程登录查询分析平台后即可以列表、图表等方式对原始数据进行统计和筛选。

接口服务：数据接口包括数据上传接口和资源更新接口两大类。数据上传接口包括若干Webservice为展示系统各环节提供数据上传服务；资源更新接口包括资源版本查询、资源地址查询等Webservice，为交互显示单元提供远程升级、视频/图片/文字等资源下载服务。

资源管理：资源管理模块提供视频、图片等多媒体资源的上传和管理功能，资源上传至服务器后互动显示单元便可通过资源更新接口检测到版本变更信息，从服务器下载最新资完成信息的更新。

所述的智能交互多媒体展示系统的实现方法，包括以下步骤：

（1）基于Android、iOS系统配合使用OpenCV开发人脸检测与识别功能，达到主动式互动目的；

（2）人脸检测与识别成功时依据识别内容进行有针对性、有差异的资源播放，达到智能互动目的；

（3）开发基于Android、iOS系统的BLE蓝牙通讯，实时接收开发板送出的信息，并依据此信息在屏幕上播放视频、音频、图片、文字等信息，实现操作互动目的；

（4）基于Arduino开发PGIO信号处理程序，将不同管脚的电信号转换为有特定含义的字符串从串口输出，配合BLE蓝牙串口透传模块将串口数据发送至蓝牙配对端，作为互动交互的依据；

（5）开发服务器端Webservice，包括数据上传接口、资源更新接口、数据查询接口等，为展示系统提供接口服务；

（6）开发服务器端数据维护、查询、统计功能。

所述智能交互多媒体展示系统在使用时，人脸检测识别单元通过摄像头实时分析监控画面，当消费者经过时依据人脸特征检测判断是否有人经过，进一步进行人脸识别判断性别及年龄并播放有区别的广告文案吸引消费者，提高消费者对商品进一步观察了解的兴趣。

商品陈列介质一般为货架、陈列架、展示柜等，可以是单层或多层结构，在每层摆放商品的位置依据不同商品形式安装称重传感器、光电传感器、微动开关等作为互动触发单元，一种货架、货柜或展示台，具备人脸检测和识别功能用于数据采集分析、互动交互；具备传感器及信号处理功能用于感知用户操作，进行智能互动和展示；具备网络功能，实现数据上传及资源更新。当消费者拿起或放下商品陈列介质上的某一产品时，互动触发单元便将触发信号传送至信号处理单元，进行进一步处理。

信号处理单元由电源、Arduino开发板、BLE蓝牙串口模块组成，信号处理单元对信号进行识别、处理后转换为串口数据从蓝牙串口模块发送至交互显示单元。

交互显示单元依据场景需要由显示屏、触摸一体机或平板电脑构成，接收到信号处理单元发送的信号后显示对应的产品介绍或进行其他互动动作，使消费者可以进一步了解商品。

同时所有的动作数据均会通过WIFI或3G网络上传至远端服务器，做为营销分析用大数据，可进一步进行数据分析、数据挖掘为营销决策提供数据支持。

服务器端也具备远程更新接口，使得展示系统的展示内容包括视频、图片、文字等内容可批量、远程进行更新，无需工作人员现场调试更新，具备较高的拓展性、易维护性。

本发明通过人脸检测，人脸识别技术在消费者经过货架时自动分析出消费者性别、年龄，并依据不同年龄性别主动在显示器上播放不同的“打招呼”视频引起消费者关注，激发消费者对产品的兴趣。

当消费者拿起产品时，通过传感器技术区分拿起的是哪个产品并在显示器上播放该产品详细介绍视频，增加消费者对产品的了解和兴趣。当消费者点击屏幕、做出手势表情等操作时交互系统提供更加丰富的产品信息和互动情景，使得消费者自愿的、愉快的接受产品介绍，使得消费者得到更放松的消费体验。

同时系统通过WIFI或4G网络将性别、年龄、所关注产品、时间等数据发送至云端服务器，为商家提供营销决策数据，商家只需登录云服务器即可了解各门店、商超的展示系统数据。服务器除提供数据分析功能外，具备资源更新功能和接口，商家将需要更新内容如视频、图片、促销文案等上传至云服务器，各地展示系统将自动下载最新资源并完成本地更新，大幅降低了系统使用和维护成本。

本发明分为以下几个主要环节：

（一）人脸检测环节

与传统的使用传感器、WIFI探针等进行人数统计或人员识别方式不同，本发明该环节使用摄像头实时进行人脸检测实现动态识别、区分是否是“有效”人员经过，是否有效的判断包括以下条件：①当人脸面部与摄像头呈±90°以内夹角时，可以正确识别为人脸；非人脸物体经过不会被识别。②连续30帧以上均检测到人脸时，意味着人员是正常速度经过商品，同时所面对方向是可以看到商品或显示屏的，此时才被视作有效。

除上述条件以外的识别均视为无效，以此方式剔除非人员经过、背对产品经过、快速奔跑经过等无效动作。

（二）人脸识别环节

人脸识别是在人脸检测的基础上对所检测到的人脸进行识别分析，也就是说人脸检测的功能是检测是否存在人脸，而人脸识别是提取该人脸的面部特征，分析出人员的年龄、性别等信息。该环节在人脸检测环节认定为有效人脸时进行。

（三）主动式定向交互环节

当人脸识别完成后，依据人员年龄、性别播放不同的打招呼方式，以最接近消费者年龄层的习惯方式主动进行沟通，使得消费者不反感更加感兴趣，如25-35岁女性之间播放“Hello，女神…”35-45岁之间男性播放“您好，先生…”

（四）操作交互环节

本系统操作交互环节利用传感器配合摄像头给消费者带来各种丰富的交互体验，如：

产品拿起：本环节实现以互动方式实现产品的介绍，当消费者拿起某一个感兴趣产品时触发底座上的传感器，系统检测到传感器被触发后随即播放对应产品的介绍，可以包含视频、图片、文字等信息

产品放下：当产品放下时，返回特定页面，该页面依据不同性别年龄播放对应文案或推荐其他产品挽留消费者继续拿起其他产品观看，增加推广时间，争取销售机会。

触屏点击：消费者通过点击触摸屏上的按钮，自主的进行内容浏览，依据个人需要了解不同信息。

其他互动环节：依据应用场景不同，消费者通过语音、手势、表情等与智能展示系统进行更多交互，提高客户兴趣。

（五）数据采集

数据采集是该系统的重要组成，在人脸检测、人脸识别、产品拿起放下以及页面点击等各环节的操作进行数据采集，将年龄、性别、时间、地点、所关注产品、页面点击、停留时间等信息通过WIFI或4G网路上传至云服务器。

（六）数据分析

在云服务器上部署BS架构数据查询分析平台，商家登录平台后可以浏览系统所上传的各种数据并进行统计分析。

（七）远程更新

云服务器上部署远程更新程序和接口，远程更新程序用于为商家提供展示系统批量数据更新功能，如更换宣传视屏、图片、文案等，所更新内容存储在服务器中，同时接口服务为展示系统系统更新通知和资源下载服务，当展示系统接收到更新通知时便从服务器上下载最新资源并替换本地旧资源完成自动更新操作。

另外，本发明具备远程更新免维护功能，当商家推出新产品、新促销活动时只需在云端服务器中进行内容更新操作，各门店、商超中的展示系统会自行检测下载更新内容完成内容更新，极大的提高了系统的拓展性，降低维护和使用成本。而本系统将各个部分独立封装，各模块间通讯依靠蓝牙、WIFI、3G进行无线通讯，具有较高的模块化成都，降低使用环境要求，提系统的高适用性。

本系统采用触屏一体机内置摄像头进行实时人脸检测实现主动交互，可以极大的提高商品被关注的可能性；相对于传统使用红外传感器、WIFI探针等进行人数统计或人员识别方式来说更加精准和有效，可排除各种无效干扰。

本系统通过人脸识技术进行差异化的交互，广告文案可依据年龄、性别自动改变，做到使广告有的放矢，提高消费者兴趣，增加销售成功率。

传感器信号处理方面本系统采用了Arduino开发板，信号首先由Arduino进行预处理屏蔽过滤干扰信号、不稳定信号和无效信号，有效减少误判使得后续动作更加精准，也使后台统计分析数据更加准确有效。

传感器类型可依据用途、场合的不同更换为称重传感器、微动开关、光电传感器等，信号经程序处理后由Arduino统一通过串口送出，具有较强的扩展能力。

本发明使用低功耗BLE4.0蓝牙模块与开发板串口连接，将Arduino的串口数据通过蓝牙方式发送至触屏一体机，无线通讯使得触屏一体机的安装位置更加灵活，可依据货架货柜的不同按实际需要固定或嵌入触屏一体机，使得系统具有较强的灵活性和环境适应性。

本系统具备数据采集与后台管理功能，通过WIFI/3G网络将人脸检测、人脸识别、传感器数据上传至云服务器，作为营销统计分析的基础数据；同时也可以将设备状态、产品状态等数据上传至云服务器实现设备远程监测与管理。

考虑到维护成本和维护的便利性，提高拓展性和适用性，本系统具备远程更新功能和更新接口，使得展示系统的内容在服务器资源更新后，各地、各门店、商超的展示系统即可通过接口服务自行下载资源进行更新。

综合上述技术特点，本系统与现有同类发明相比具有独特新颖的设计，更加完善的设计体系和架构，使该展示系统更加具有实用价值。

上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下作出各种变化。

Claims (7)

1.一种智能交互多媒体展示系统，其特征在于，由商品陈列介质、交互显示单元、人脸检测与识别单元、互动触发单元、信号处理单元、云服务器构成；

所述商品陈列介质包括货架、货柜、展示台架，商品陈列介质用于商品陈列展示以及作为互动触发单元、交互显示单元、人脸检测与识别单元、信号处理单元、电源及线路的安装载体；

所述交互显示单元包括显示模块、触控模块、主机、网络模块和蓝牙模块，交互显示单元用于人检测与识别，与开发版进行蓝牙数据交互，互动方式显示视频、音频、图片、文字等信息，数据上传以及视频、音频、图片、文字等资源下载与更新；

所述人脸识别与检测单元包括人脸实时检测及有效判断和人脸特征分析；

所述互动触发单元包括电源和传感器，所述传感器包括光电传感器、称重传感器、微动开关；

所述信号处理单元包括电源、Arduino开发版和BLE蓝牙串口透传模块；

所述云服务器包括服务器设备及网络、接口服务、查询分析平台和资源管理。

2.根据权利要求1所述的智能交互多媒体展示系统，其特征在于，所述交互显示单元为触屏一体机或平板电脑。

3.根据权利要求1所述的智能交互多媒体展示系统，其特征在于，所述交互显示单元通过蓝牙与信号处理单元进行数据交互，并依据不同信号指令播放视频、图片、广告文案的商品信息；通过获取摄像头信息对视频帧进行检测和识别实现人脸检测和识别；通过WIFI或3G模块将数据上传至云服务器。

4.根据权利要求1所述的智能交互多媒体展示系统，其特征在于，交互显示单元中的主机为Android系统或iOS系统。

5.根据权利要求1所述的智能交互多媒体展示系统，其特征在于，所述网络模块为GPRS模块、3g网络模块、4g网络模块或WIFI网络模块。

6.根据权利要求1所述的智能交互多媒体展示系统，其特征在于，所述接口服务包括数据上传接口和资源更新接口。

7.一种如权利要求1-6任一所述的智能交互多媒体展示系统的实现方法，其特征在于，包括以下步骤：

（1）基于Android、iOS系统配合使用OpenCV开发人脸检测与识别功能，达到主动式互动目的；

（2）人脸检测与识别成功时依据识别内容进行有针对性、有差异的资源播放，达到智能互动目的；

（3）开发基于Android、iOS系统的BLE蓝牙通讯，实时接收开发板送出的信息，并依据此信息在屏幕上播放视频、音频、图片、文字等信息，实现操作互动目的；

（4）基于Arduino开发PGIO信号处理程序，将不同管脚的电信号转换为有特定含义的字符串从串口输出，配合BLE蓝牙串口透传模块将串口数据发送至蓝牙配对端，作为互动交互的依据；

（5）开发服务器端Webservice，包括数据上传接口、资源更新接口、数据查询接口等，为展示系统提供接口服务；

（6）开发服务器端数据维护、查询、统计功能。