CN113435924B

CN113435924B - 一种voc车主云大数据平台

Info

Publication number: CN113435924B
Application number: CN202110686166.3A
Authority: CN
Inventors: 吴育怀; 苏娟; 汪功林; 陈孝君; 梁雨菲
Original assignee: Anhui Grapefruit Cool Media Information Technology Co ltd
Current assignee: Anhui Grapefruit Cool Media Information Technology Co ltd
Priority date: 2021-06-21
Filing date: 2021-06-21
Publication date: 2021-12-31
Anticipated expiration: 2041-06-21
Also published as: CN113435924A; CN114255075A

Abstract

本发明属于大数据处理领域，具体涉及一种VOC车主云大数据平台。该平台中创建有一个广告分析数据库。广告分析数据库的创建方法如下：一、识别新增用户并为识别出的各个新增用户建立用户标签，所述用户标签中包括身份标签、喜好标和厌恶标签；二、获取当前播放的广告的特征数据；包括各个广告的播放时长T，以及各个广告关联的关键词数据集；三、获取各个用户对广告播放的反馈数据；四、根据各个用户对广告播放的反馈数据，计算各个用户对当前广告的认可度评价值E_n；五、广告分析数据库的建立或更新；其中，喜好标签或厌恶标签中的内容即为关键词数据集中的数据；本发明解决了在线下用户行为分析和兴趣预测难度高，无法对用户进行精准画像的问题。

Description

一种VOC车主云大数据平台

技术领域

本发明属于大数据处理领域，具体涉及一种VOC车主云大数据平台。

背景技术

商业广告对于影响用户的购买决策具有显著的意义；传统的广告投放服务总是通过增大广告的覆盖面以期获得更大的宣传效果。随着大数据分析技术的不断进步，越来越多的广告公司通过对用户的行为分析了解用户的兴趣爱好，进而向用户精准推送广告，这种个性化的广告推送服务在线上营销场景中非常普遍，几乎每个移动APP或网站上都有它们的身影。但是这种精准的广告推送服务在通常无法在线下进行应用。这主要是因为在线上各个网络服务提供商可以对用户的浏览、搜索线上等行为进行追踪，进而分析到用户的兴趣爱好；但是在线下这种行为跟踪的成本更为高昂也难以实现。因此有必要开发一种新的分析用户兴趣爱好的方法。

电梯、商场、车库等地是最常见的广告投放场景，在这些场景下。广告投放的目标用户群体大，用户群体的身份多且复杂，针对这种大用户量的场景开展用户行为分析是非常具有价值的，对于积累用户资料和建立广告分析的数据也非常有意义。但是现有技术中还并没有相关的技术或应用出现。现有的技术中仅仅可以数据调查获取用户群体的性别比例，年龄层次和职业分布等数据。无法深入挖掘到客户的兴趣爱好等更有用的信息，也无法实现对不同用户的精准画像。

发明内容

为了解决在线下对用户进行行为分析和兴趣爱好预测的难度高，以及无法对用户进行精准画像的问题，本发明提供一种VOC车主云大数据平台。

本发明采用以下技术方案实现：

一种VOC车主云大数据平台，该大数据平台中存储有一个包含多个历史用户数据的广告分析数据库，广告分析数据库的创建方法如下：

一、识别新增用户并为识别出的各个新增用户建立用户标签，用户标签中包括身份标签、喜好标签和厌恶标签。

二、获取当前播放的广告的特征数据；包括各个广告的播放时长T，以及各个广告关联的关键词数据集。

三、获取各个用户对广告播放的反馈数据，过程如下：

(1)获取广告播放期间由广告投放区域内所有用户产生的语音流数据，监控广告投放区域内所有用户的视频流数据，以及由广告投放区域内某一个或多个用户发出的要求切换当前播放的广告的指令。

(2)判断是否接收到要求切换当前播放的广告的指令，是则对反映该指令的特征量SW赋值为1，否则对SW赋值为0。

四、根据各个用户对广告播放的反馈数据，计算各个用户对当前广告的认可度评价值E_n。

其中，反馈数据包括通过隔帧采样的图像对用户的表情进行识别，识别结果中，p_1,n为编号为n的用户分类为喜欢的表情在隔帧采样的图像总量中的占比；p_2,n为编号为n的用户分类为忽视的表情在隔帧采样的图像总量中的占比；p_3,n为编号为n的用户分类为厌恶的表情在隔帧采样的图像总量中的占比。

五、广告分析数据库的建立或更新，包括如下步骤：

(1)设定E_n的一个高阈值E_h和一个低阈值E_l，E_h表示用户喜欢当前播放的广告的临界值，E_l表示用户厌恶当前播放的广告的临界值，E_l＞0；

(2)当E_n≥E_h且p_1，n+p_2，n≥p_3，n时，将当前播放的广告关联的关键词数据集内的特征数据添加到当前用户对应的喜好标签中，并对补充后的喜好标签进行特征数据去重；再将当前用户对应的厌恶标签中与关键词数据集内的特征数据相同的特征数据删除。

(3)当E_n≤E_l且p_2，n+p_3，n≥p_1，n时，将当前播放的广告关联的关键词数据集内的特征数据添加到当前用户对应的厌恶标签中，并对补充后的厌恶标签进行特征数据去重；再将当前用户对应的喜好标签中与关键词数据集内的特征数据相匹配的特征数据删除。

(4)更新每个用户的用户标签，得到各个用户的新的用户画像数据集，进而完成所需广告分析数据库的创建。其中，所述用户画像数据集中包括对应的用户的面部特征数据和用户标签。

进一步地，新增用户的识别和用户标签的建立过程如下：

(1)在广告播放过程中，依次获取各个用户的面部特征，对面部特征进行面部识别。

(2)根据面部识别的结果查询广告分析数据库，判断当前用户的面部特征是否与广告分析数据库中的某个历史用户的面部特征匹配：

(ⅰ)是则跳过当前用户。

(ⅱ)否则为当前用户建立一个空的用户标签；用户标签包括身份标签、喜好标签和厌恶标签。

(3)获取各个用户的多角度图像，根据多角度图像的图像识别结果，对各个用户的身份标签的特征数据进行补充。

其中，身份标签中补充的特征数据包括用户编号、性别、年龄段、穿着风格和其它特征；其它特征表示可识别出的对区分用户身份特征有用的非性别、年龄段和穿着风格的特征。

进一步地，身份标签中的年龄段为根据图像识别结果归类的0-10岁，10-20岁，20-30岁，30-50岁，50-70岁，70岁以上的其中一个；身份标签中的穿着风格包括休闲、商务、运动、儿童或老年。

进一步地，身份标签中的其它特征反映的内容包括是否佩戴眼镜，是否佩戴帽子，是否脱发，是否涂抹口红，是否穿高跟鞋，是否蓄须，是否佩戴腕表；对于上述特征，是则在其它特征中添加反映该特征的特征数据，否则不在其它特征中添加特征数据。

进一步地，各个用户对当前广告的认可度评价值E_n的计算过程如下：

(1)对语音流数据进行语音识别，提取出其中与关键词数据集内的特征数据相匹配的关键词，并统计其数量N₁。

(2)对视频流数据进行视频动作识别；提取出其中表征用户对当前播放的广告进行反馈的姿态动作，并统计其数量N₂。

(3)对视频流数据进行视频动作识别；提取出其中反映各个用户的眼神关注位置变化的特征动作，根据特征动作计算各个用户对当前播放的广告的关注时长t_n；其中，n表示当前用户的用户编号。

(4)对视频流数据的分帧图像按照采样频率进行隔帧采样；对隔帧采样的图像进行图像识别；提取出各个用户的面部表情，并将面部表情分类为喜欢、忽视或厌恶；分别统计各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在该用户总体样本量中的占比。

(5)获取所述SW的值。

(6)通过如下的公式计算各个用户对当前广告的认可度评价值E_n：

上式中，n表示当前用户的所述用户编号，E_n表示编号为n的用户对当前播放的广告的评价值，E_n≥0，且E_n的值越大反映用户对当前播放的多媒体的认可度越高；

表示编号为n的用户对当前播放的广告的注意力集中度；k₁表示语音信息反馈对整体认可度评价结果的影响因子；k₂表示姿态动作反馈对整体认可度评价结果的影响因子；k₃表示表情反馈对整体认可度评价结果的影响因子；k₄表示注意力集中度对整体认可度评价结果的影响因子；m₁表示语音信息反馈中单个关键词的得分；m₂表示姿态动作反馈中单个姿态动作的得分；m₃表示注意力集中度的得分；a表示喜欢表情的得分，p_1,n为编号为n的用户分类为喜欢的表情在隔帧采样的图像总量中的占比；b表示忽视表情的得分，p_2,n为编号为n的用户分类为忽视的表情在隔帧采样的图像总量中的占比；c表示厌恶表情的得分，p_3,n为编号为n的用户分类为厌恶的表情在隔帧采样的图像总量中的占比。

进一步地，编号为n的用户对当前播放的广告的关注时长t_n的计算方法如下：

上式中，t_1n表示编号为n的用户在当前广告播放期间的直视时长；t_2n表示编号为n的用户在当前广告播放期间的闭眼时长；t_3n表示编号为n的用户在当前广告播放期间的低头时长；t_4n表示编号为n的用户在当前广告播放期间的转头时长。

进一步地，用户对当前播放的广告进行反馈的姿态动作包括用户在广告播放期间产生的点头、鼓掌、手部指向广告播放界面，头部由非直视状态切换至直视状态的抬头或转头动作。

进一步地，用户发出的要求切换当前播放的广告的指令的方式包括按键输入、语音交互和手势交互；语音交互通过识别由用户发出的要求切换当前播放的广告的语音关键词来实现；手势交互通过识别由用户发出的要求切换当前播放的广告的特征手势来实现；按键输入表示由用户直接通过按键来输入的要求切换当前播放的广告的按键输入指令。

进一步地，语音关键词由语音识别算法根据实时的语音流数据识别获取；特征手势由视频动作识别算法根据实时的视频流数据获取得到；按键输入指令通过安装在广告播放现场的实体切换按键模块获取。

进一步地，每个广告的所述关键词数据集内的特征数据至少包括：

(1)反映广告的宣传产品的关键词；

(2)反映广告针对的目标客户群体的关键词；

(3)反映广告的代言人或广告的人物形象的关键词；

(4)广告词中的高频或特殊关键词；

(5)广告的时长分类；

(6)广告的风格分类。

本发明中，广告分析数据库在创建之初为空，当其中录入第一个历史用户的用户画像数据集之后，广告分析数据库的创建系统通过将当前用户的面部特征与广告分析数据库中历史用户的面部特征进行对比，确定当前用户为新增用户或历史用户；并将区分出的新增用户的用户画像数据集录入到广告分析数据库中，或是对广告分析数据库中已有的历史用户的用户画像数据集中的用户标签进行更新。

本发明提供的技术方案，具有如下有益效果：

本发明对用户行为兴趣分析和需求预测的方法进行了创新。通过用户在观看不同类型广告时的反馈对用户的爱好、需求以及厌恶的对象进行了分析预测，这种分析方式具有非常强的针对性，也非常适合对用户的消费心理进行画像；从而预测用户的消费需求。该数据库的创建方法和系统可以应用在商场、电梯、车库等高人流量的场景中，在线下对用户进行行为分析和兴趣预测。

在本发明的技术方案提取了用户的各种不同的身份特征；并通过图像识别、语音识别和视频动作识别技术准确获取到用户对不同广告的反应，经过大量的重复特征提取过程，实现对用户的精准画像，了解到用户感兴趣和不感兴趣的对象；再对对这些提取出的特征数据进行分类存储，可以得到用户的用户画像数据集。考虑到本发明的样本量足够大，因此本发明创建的广告分析数据库的数据规模也可以达到较高水平。同时，本发明的广告分析数据集还具有较好的学习性能，能够随着用户实时的反馈对特征数据的内容进行调整，对用户画像更加精准，且具有实时性。

附图说明

图1为本发明实施例1的一种VOC车主云大数据平台中的广告分析数据库的创建方法的流程图；

图2为本发明实施例1中广告分析数据库中身份标签内包含的特征数据的种类区分图；

图3为本发明实施例1中用户画像数据集内包含的特征数据的类型区分图；

图4为本发明实施例2中的一种广告分析数据库的创建系统的模块示意图；

图5为本发明实施例3中的一种基于特征识别的用户对广告的认可度评价方法的流程图；

图6为本发明实施例4中提供的一种基于VOC车主云大数据平台的智能媒介管理系统的模块连接示意图；

图7为本发明实施例5中一种基于用户画像的广告精准投放方法的流程图；

图8为本发明实施例6中一种商圈场景下的用户需求的及时分析方法的流程图；

图9为本发明实施例7中一种用户需求和广告内容的匹配方法的流程图；

图10为本发明实施例8中提供的一种具备智能语音交互功能的车库巨幕MAX智能终端的模块示意图；

图11为本发明实施例8的一种具备智能语音交互功能的车库巨幕MAX智能终端中，人机交互模块采用的切换指令的类型区分图；

图12为本发明实施例9中提供的一种广告投放设备的广告更刊方法的流程图；

图13为本发明实施例10中一种智慧商圈中的媒体广告投放效果的评价方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

本实施例提供一种VOC车主云大数据平台，该大数据平台中存储有一个包含多个历史用户数据的广告分析数据库。该广告分析数据库里的数据实现了对用户兴趣爱好的精准画像；从而能够向用户进行精准的广告定向营销。

广告分析数据库内的数据主要是在电梯、车库、商场等场景中，通过对用户的身份特征进行识别，并分析用户对视频类广告的认可度评价结果得到的。广告分析数据库内的数据主要包括以下几个方面的内容：

(1)用户的面部特征；该特征主要用于区分不同用户的身份，作为用户的唯一身份标记，同时，广告分析数据库还根据不同的身份标记为用户分配一个专属的用户编号。

(2)用户的身份特征；该部分数据的内容较为丰富，涵盖了可以获取到的对区分用户身份特征有用的一切特征，包括年龄、身高、体态、穿着打扮、生理状态等等，这些特征对于判断用户的工作类型、行为习惯、需求特点、爱好、群属等具有参考价值。

(3)用户的喜好对象；该部分的数据是通过用户对不同类型广告的反馈获得的，这部分的内容是不断更新，不断优化的；基本可以刻画用户当前状态下的关心和喜好的对象。

(4)用户的厌恶对象；该部分的数据是通过用户对不同类型广告的反馈获得的，这部分的内容也是不断更新，不断优化的；基本可以刻画用户当前状态下的不关心或厌恶的对象。

在本实施例中，如图1所示，VOC车主云大数据平台中的广告分析数据库的创建方法如下：

步骤一、建立各个用户的用户标签

1、在广告播放过程中，依次获取各个用户的面部特征，对面部特征进行面部识别。

2、根据面部识别的结果查询广告分析数据库，判断当前用户的面部特征是否与广告分析数据库中的某个历史用户的面部特征匹配：

(1)是则跳过当前用户。

(2)否则为当前用户建立一个空的用户标签；用户标签中包括身份标签、喜好标签和厌恶标签。

3、获取各个用户的多角度图像，根据多角度图像的图像识别结果，对各个用户的身份标签内的特征数据进行补充。

在该步骤，可以实现对每个用户进行建档，无论是新增用户还是历史用户，只要该用户出现在目标区域，能够被捕捉到，就可以对该用户进行建档和分析。这使得本实施例中建立的广告分析数据库的规模能够达到较高水平，样本也足够丰富。为后期应用该数据库进行应用开发奠定数据基础。

在本实施例中，如图2所示，身份标签中补充的特征数据包括用户编号、性别、年龄段、穿着风格和其它特征；其它特征表示可识别出的对区分用户身份特征有用的非性别、年龄段和穿着风格的特征。

身份标签中的年龄段为根据图像识别结果归类的0-10岁，10-20岁，20-30岁，30-50岁，50-70岁，70岁以上的其中一个；身份标签中的穿着风格包括休闲、商务、运动、儿童或老年。本实施例中考虑到年龄对用户的需求有着重要的影响，因此年龄特征是必须要考虑的身份特征之一。同时由于常规的图像信息收集无法直接获取到用户的职业特征，本实施例通过对用户穿着风格进行分类，可以在一定程度上对用户的职业或社会身份进行大致划分。

同时，身份标签中的其它特征反映的内容包括是否佩戴眼镜，是否佩戴帽子，是否脱发，是否涂抹口红，是否穿高跟鞋，是否蓄须，是否佩戴腕表等；对于上述特征，是则在其它特征中添加反映该特征的特征数据，否则不在其它特征中添加特征数据。身份标签中的其它特征均是一些非常典型的区分用户的特征，这些特征与不同的用户的消费需求具有很大的相关性。例如涂口红穿高跟鞋的女性对服装、化妆品类的广告可能具有更高的好感度。蓄须的人通常对剃须刀并不非常关心。脱发人群对生发类产品和保健品可能更感兴趣等。

事实上，在应用一些更多样的特征提取技术之后，本实施例还可以获取更多不同类型的身份特征，获得的特征量越丰富，对用户的特征分类也就更加细化。

步骤二、获取当前播放的广告的特征数据

1、获取播放的各个广告的播放时长T，以及各个广告关联的关键词数据集。

其中，关键词数据集内的特征数据为预先设定的多个与当前播放的广告的内容相关的关键词。每个广告的所述关键词数据集内的特征数据至少包括：

(1)反映广告的宣传产品的关键词。

(2)反映广告针对的目标客户群体的关键词。

(3)反映广告的代言人或广告的人物形象的关键词。

(4)广告词中的高频或特殊关键词。

(5)广告的时长分类。

(6)广告的风格分类。

本实施例中，为每个广告设置了丰富的关键词，这些关键词包括了客户可以从一个广告中接收到的各类型的信息。当用户对该广告表示认可，或对广告中的内容作出正面反馈时，则可以认为，该广告的关键词数据集中某些或全部特征是用户关心或喜好的。相反地，当用户对某个广告表现出厌恶或作出负面反馈时，则可以认为用户对该广告的关键词数据集中的某些特征是不关心或厌恶的。通过这种方式方式。当收集到相应用户对不同类型广告的反馈数据的样本量足够大时，基本可以分析出客户的喜好，进而能够实现对用户的喜好进行画像。

步骤三、获取各个用户对广告播放的反馈数据

1、获取广告播放期间由广告投放区域内所有用户产生的语音流数据，监控广告投放区域内所有用户的视频流数据，以及由广告投放区域内某一个或多个用户发出的要求切换当前播放的广告的指令。

其中，用户发出的要求切换当前播放的广告的指令的方式包括按键输入、语音交互和手势交互。语音交互通过识别由用户发出的要求切换当前播放的广告的语音关键词来实现；手势交互通过识别由用户发出的要求切换当前播放的广告的特征手势来实现；按键输入表示由用户直接通过按键来输入的要求切换当前播放的广告的按键输入指令。

语音关键词由语音识别算法根据实时的语音流数据识别获取；特征手势由视频动作识别算法根据实时的视频流数据获取得到；按键输入指令通过安装在广告播放现场的实体切换按键模块获取。

在本实施例中，用户的反馈主要包括以下几个方面：

(1)用户观看广告时表情的变化。

(2)用户针对广告的直接讨论。例如谈论广告中的某个演员或代言人，谈论产品的效果等等

(3)用户观看广告时作出的手势动作。例如某个用户的手直接指向广告播放设备，提示其它用户注意观看，这就反映该用户是关心当前播放的广告的。

(4)用户观看某个广告的注意力集中的时间。

(5)用户要求切换当前播放的广告。这直接反映了用户不喜欢该广告。

此外，在技术条件成熟的情况也可以对其它类型反馈进行提取，并应用到后期的数据分析中，例如用户的笑声、以及其它细节方面的特征动作等。

2、判断是否接收到要求切换当前播放的广告的指令，是则对反映该指令的特征量SW赋值为1，否则对SW赋值为0。

步骤四、计算各个用户对当前广告的认可度评价值

1、对语音流数据进行语音识别，提取出其中与关键词数据集内的特征数据相匹配的关键词，并统计其数量N₁。

2、对视频流数据进行视频动作识别；提取出其中表征用户对当前播放的广告进行反馈的姿态动作，并统计其数量N₂。

其中，用户对当前播放的广告进行反馈的姿态动作包括用户在广告播放期间产生的点头、鼓掌、手部指向广告播放界面，头部由非直视状态切换至直视状态的抬头或转头动作等。

3、对视频流数据进行视频动作识别；提取出其中反映各个用户的眼神关注位置变化的特征动作，根据特征动作计算各个用户对当前播放的广告的关注时长t_n；其中，n表示当前用户的所述用户编号。

编号为n的用户对当前播放的广告的关注时长t_n的计算方法如下：

本实施例中，在统计用户对广告的关注时长时，既考虑到了用户直视广告播放界面的时长，也考虑到用户非直视状态下的时长。本实施例主要通过将确定属于非关注状态下的时长剔除，然后与确定属于关注状态的时长进行求平均值，得到相对准确的关注时长。

4、对视频流数据的分帧图像按照采样频率进行隔帧采样；对隔帧采样的图像进行图像识别；提取出各个用户的面部表情，并将面部表情分类为喜欢、忽视或厌恶；分别统计各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在该用户总体样本量中的占比。

5、获取所述SW的值。

6、通过如下的公式计算各个用户对当前广告的认可度评价值E_n：

上式中，n表示当前用户的用户编号，E_n表示编号为n的用户对当前播放的广告的评价值，E_n≥0，且E_n的值越大反映用户对当前播放的多媒体的认可度越高；

表示编号为n的用户对当前播放的广告的注意力集中度；k₁表示语音信息反馈对整体认可度评价结果的影响因子；k₂表示姿态动作反馈对整体认可度评价结果的影响因子；k₃表示表情反馈对整体认可度评价结果的影响因子；k₄表示注意力集中度对整体认可度评价结果的影响因子；m₁表示语音信息反馈中单个关键词的得分；m₂表示姿态动作反馈中单个姿态动作的得分；m₃表示注意力集中度的得分；a表示喜欢表情的得分，p_1,n为表征编号为n的用户分类为喜欢的表情在隔帧采样的图像总量中的占比；b表示忽视表情的得分，p_2,n为表征编号为n的用户分类为忽视的表情在隔帧采样的图像总量中的占比；c表示厌恶表情的得分，p_3,n为表征编号为n的用户分类为厌恶的表情在隔帧采样的图像总量中的占比。

本实施例中，表情识别可以采用经过大量样本训练的神经网络算法完成。语音识别、视频动作识别等也都有大量可以直接应用的产品，对于这部分内容，本实施例不再进行赘述。

本实施例中通过语音识别、图像识别和视频动作识别的技术从用户的语音流数据、和视频流数据提取出用户对播放的广告作出的各类型反馈信息，这些反馈信息经过本实施例提供的方法进行量化后，可以得到一个反映用户对当前广告的认可度的评价结果。这个结果反映了用户的当前广告的喜恶程度，进而可以用于刻画用户的需求或兴趣。

步骤五、广告分析数据库的建立或更新

1、设定E_n的一个高阈值E_h和一个低阈值E_l，其中，E_h表示用户喜欢当前播放的广告的临界值，E_l表示用户厌恶当前播放的广告的临界值，E_l＞0。

2、当E_n≥E_h且p_1，n+p_2，n≥p_3，n时，将当前播放的广告关联的关键词数据集内的特征数据添加到当前用户对应的喜好标签中，并对补充后的喜好标签进行特征数据去重；再将当前用户对应的厌恶标签中与关键词数据集内的特征数据相同的特征数据删除。

3、当E_n≤E_l且p_2，n+p_3，n≥p_1，n时，将当前播放的广告关联的关键词数据集内的特征数据添加到当前用户对应的厌恶标签中，并对补充后的厌恶标签进行特征数据去重；再将当前用户对应的喜好标签中与关键词数据集内的特征数据相匹配的特征数据删除。

4、更新每个用户的用户标签，得到各个用户的新的用户画像数据集，创建广告分析数据库。

其中，如图3所示，用户画像数据集中包括对应的用户的面部特征数据和用户标签。

广告分析数据库中最核心的内容是根据对用户的行为分析得到的喜好标签和厌恶标签的内容，这部分内容是后期用于进行用户需求分析的直接数据。在本实施例中，通过对用户在观看广告时的反馈，可以直接估测出用户的喜恶，而用户的喜恶应该与广告的关键词数据集中的部分或全部特征是一致的。因此本实施例中在每个广告播放后，通过对用户的反馈信息的分析统计，确定用户该广告的准确态度，然后在满足特定条件时将广告的关键词数据集作为当前用户的喜好标签或厌恶标签中的特征。

为了避免出现误分类的现象，这里需要对判定出的用户的态度进行更严格的审核。本实施例的判定过程引入了根据专家经验确定的特殊的阈值，以此作为判断用户的真实态度的依据，本实施例中的阈值E_h和E_l是经过反复核验之后确定，能够具有较高的可信度。进而保证最终对用户的画像是精准可靠的。

实施例2

本实施例中提供一种广告分析数据库的创建系统，该创建系统采用实施例1中包含的广告分析数据库的创建方法，实现广告分析数据库的创建和更新的过程。

如图4所示，该创建系统包括：历史用户查询模块，广告特征数据提取模块，用户反馈数据提取模块，面部识别模块，图像识别模块，语音识别模块，视频动作识别模块，用户标签建立模块，认可度评价值计算模块，以及数据库创建模块。

其中，历史用户查询模块用于查询一个广告分析数据库，提取其中已收集的历史用户的用户画像数据集；用户画像数据集中包括各个历史用户的面部特征数据以及用户标签，用户标签中包括身份标签、喜好标签和厌恶标签。

广告特征数据提取模块用于在一个广告投放系统播放广告时，提取播放的每一个广告的播放时长T，以及该广告关联的一个关键词数据集。

用户反馈数据提取模块，其用于：(1)在广告投放系统播放广告时获取广告投放区域内的由观看广告的用户产生语音信息，得到与各个广告相关的语音流数据。(2)在广告投放系统播放广告时获取广告投放区域内所有观看广告的用户的多角度的监控视频，得到与各个广告相关的视频流数据。(3)在广告投放系统播放广告时获取由观看广告的用户发出的一个切换指令，切换指令包括键盘输入指令、语音交互指令或手势交互指令；并在获取成功时将表征切换指令的特征量SW赋值为1，否则对SW赋值为0。

面部识别模块用于根据视频流数据经分帧处理得到图像数据集，提取图像数据集中出现的各个用户的面部特征；完成当前用户的面部特征与广告分析数据库中各个历史用户的面部特征的比对过程，区分出新增用户和历史用户。

图像识别模块用于对视频流数据经分帧处理得到的图像数据集进行图像识别，进而：(1)获取反映新增用户的身份特征的各项特征数据。(2)提取所有用户在广告播放期间的表情，并将表情分类为喜欢、忽视或厌恶中的其中一种。

语音识别模块用于对语音流数据进行语音识别，进而：(1)获取广告播放期间由用户发出的表征要求切换当前播放的广告的所述语音交互指令。(2)提取语音流数据中的所有词语，从中找出与关键词数据集中的特征数据相匹配的关键词。

视频动作识别模块用于对视频流数据进行视频动作识别，进而：(1)提取出视频流数据中由某个用户发出的表征要求切换当前播放的广告的手势交互指令。(2)提取出视频流数据中由某个用户发出的表征对当前播放的广告作出反馈的姿态动作。(3)提取出反映某个用户在当前广告播放过程中眼神关注位置变化的特征动作。

用户标签建立模块用于为识别出的每个新增用户创建一个空的用户标签，并将图像识别模块获取的反映新增用户的身份特征的各项特征数据补充到对应用户的身份标签中。

认可度评价值计算模块用于：(1)获取由语音识别模块从语音流数据中识别的与所述关键词数据集中的特征数据相匹配的关键词，并统计其数量N₁。(2)获取由视频动作识别模块识别的反映用户对当前播放的广告的反馈的姿态动作，并统计其数量N₂。(3)获取由视频动作识别模块识别的反映某个用户在当前广告播放过程中眼神关注位置变化的特征动作，根据特征动作计算当前用户对当前播放的广告的关注时长t_n；其中，n表示当前用户的用户编号。认可度评价值计算模块计算编号为n的用户对当前播放的广告的关注时长t_n的计算公式如下：

(4)获取由图像识别模块识别的各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在总体样本量中的占比。(5)获取SW的值。(6)通过如下的公式计算各个用户对当前广告的认可度评价值E_n：

数据库创建模块用于：(1)根据专家经验，设定E_n的一个高阈值E_h和一个低阈值E_l；其中，E_h表示用户喜欢当前播放的广告的临界值，E_l表示用户厌恶当前播放的广告的临界值，E_l＞0。(2)针对每个用户作出如下判断和决策：(ⅰ)当E_n≥E_h且p_1，n+p_2，n≥p_3，n时，将当前播放的广告关联的关键词数据集内的特征数据添加到当前用户对应的喜好标签中，并对补充后的喜好标签进行特征数据去重；再将当前用户对应的所述厌恶标签中与关键词数据集内的特征数据相同的特征数据删除。(ⅱ)当E_n≤E_l且p_2，n+p_3，n≥p_1，n时，将当前播放的广告关联的关键词数据集内的特征数据添加到当前用户对应的厌恶标签中，并对补充后的厌恶标签进行特征数据去重；再将当前用户对应的喜好标签中与关键词数据集内的特征数据相匹配的特征数据删除。(3)依次更新每个用户的用户标签，得到各个用户的新的用户画像数据集，进而完成广告分析数据库的创建或更新。其中，用户画像数据集中包括对应的用户的面部特征数据和用户标签。

本实施例中的广告分析数据库在创建之初为空，当其中录入第一个历史用户的用户画像数据集之后，广告分析数据库的创建系统通过将当前用户的面部特征与广告分析数据库中历史用户的面部特征进行对比，确定当前用户为新增用户或历史用户；并将区分出的新增用户的用户画像数据集录入到广告分析数据库中，或是对广告分析数据库中已有的历史用户的用户画像数据集中的用户标签进行更新。

实施例3

在实施例2的基础上，本实施例提供一种基于特征识别的用户对广告的认可度评价方法，如图5所示，该方法包括如下步骤：

步骤一：获取当前播放的广告的特征数据

获取播放的各个广告的播放时长T，以及各个广告关联的关键词数据集。

(1)反映广告的宣传产品的关键词。

(2)反映广告针对的目标客户群体的关键词。

(3)反映广告的代言人或广告的人物形象的关键词。

(4)广告词中的高频或特殊关键词。

(5)广告的时长分类。

(6)广告的风格分类。

步骤二、获取各个用户对广告播放的反馈数据

在本实施例中，用户的反馈主要包括以下几个方面：

(1)用户观看广告时表情的变化。

(3)用户观看广告时作出的手势动作。例如某个用户的手直接指向广告播放设备，提示其它用户注意，这就反映该用户是关心当前播放的广告的。

(4)用户观看某个广告的注意力集中的时间。

步骤三、计算各个用户对当前广告的认可度评价值

3、对视频流数据进行视频动作识别；提取出其中反映各个用户的眼神关注位置变化的特征动作，根据特征动作计算各个用户对当前播放的广告的关注时长t_n；其中，n表示当前用户的用户编号。

本实施例中，在统计用户对广告的关注时长时，既考虑到了用户直视广告播放界面的时长，也考虑到用户非直视状态下的时长。本实施例主要通过将确定属于非关注状态下的时长剔除，然后与确定属于关注状态的时长进行求平均值大致可以得到相对准确的关注时长。

5、获取所述SW的值。

本实施例提供的方法，能够根据用户在播放广告时作出反馈，对反馈的各类型特征进行识别，进而得出用户对该广告的认可度评价。这种方法可以采集到用户的各种不同类型的反馈，得到的用户对广告的认可度评价结果更加精准，能够作为评估广告投放效果的依据。

实施例4

本实施例提供一种基于VOC车主云大数据平台的智能媒介管理系统，该智能媒介管理系统用于获取当前用户与待投放的广告间的匹配度，进而对广告播放序列表进行调整。该智能媒介管理系统在实现功能时需要依赖实施例1中的VOC车主云大数据平台，准确的说，是需要应用VOC车主云大数据平台中建立的广告分析数据库中的数据。

本实施例中，如图6所示，智能媒介管理系统包括：关键词提取模块，历史用户信息查询模块，用户类型分类模块，用户标签建立模块，身份特征识别模块，目标画像数据集建立模块，以及广告播放序列表调整模块。

其中，关键词提取模块用于提取广告播放序列表中的各个广告关联的关键词数据集，关键词数据集内的特征数据为预先设定的多个与广告的内容相关的关键词。

本实施例中，每个广告的所述关键词数据集内的特征数据和实施例1一样，至少包括：

(1)反映广告的宣传产品的关键词。

(2)反映广告针对的目标客户群体的关键词。

(3)反映广告的代言人或广告的人物形象的关键词。

(4)广告词中的高频或特殊关键词。

(5)广告的时长分类。

(6)广告的风格分类。

历史用户信息查询模块用于向一个广告分析数据库查询各个历史用户的用户画像数据集，获取用户画像数据集中关于各个历史用户的各项特征数据。其中，广告分析数据库存储在VOC车主云大数据平台中。该广告分析数据库即为实施例1中创建的数据库。广告分析数据库中包含已收集的历史用户的用户画像数据集；用户画像数据集中包括各个历史用户的面部特征数据以及用户标签，用户标签中包括身份标签、喜好标签和厌恶标签；身份标签中存储有反映用户的身份特征的特征数据，所述身份标签中的特征数据包括：性别、年龄段、穿着风格和其它特征；其它特征表示可识别出的对区分用户身份特征有用的非性别、年龄段和穿着风格的特征。喜好标签中存储有反映用户喜好的对象的特征数据，厌恶标签中存储有反映用户厌恶的对象的特征数据。身份特征识别模块提取的特征中，年龄段分为0-10岁，10-20岁，20-30岁，30-50岁，50-70岁或70岁以上；穿着风格包括休闲、商务、运动、儿童或老年。身份标签中的其它特征反映的内容包括是否佩戴眼镜，是否佩戴帽子，是否脱发，是否涂抹口红，是否穿高跟鞋，是否蓄须，是否佩戴腕表；对于上述特征，是则在其它特征中添加反映该特征的特征数据，否则不在其它特征中添加特征数据。

用户类型分类模块用于提取一个广告投放区域内的所有目标用户的面部特征；然后将提取出的面部特征与广告分析数据库中的所有历史用户的面部特征进行比对，区分当前用户为历史用户还是新增用户。

本实施例中，用户类型分类模块和身份特征识别模块的数据源均为广告投放区域的多角度监控的视频流数据；用户类型分类模块中包括面部特征提取单元、面部特征比对单元和用户类型分类单元。面部特征提取单元用于提取视频流数据中出现的所有用户的面部特征；面部特征比对单元用于获取面部特征提取单元提取出的所有面部特征和历史用户信息查询模块查询到的所有历史用户的面部特征，并对二者进行特征比对。用户类型分类单元用于根据面部特征比对单元区分出的结果将视频流数据中出现的所有用户分类为历史用户或新增用户。

用户标签建立模块用于为每个新增用户建立一个空的用户标签，建立的用户标签中包括身份标签、喜好标签和厌恶标签；用户标签建立模块还在每个新增用户的身份标签中添加一个专属的用户编号。

身份特征识别模块用于对新增用户进行身份特征提取，并将提取出的身份特征添加到对应的新增用户的身份标签中。

目标画像数据集建立模块用于：

(1)设定一个历史用户比例临界值q0，计算广告投放区域内识别为历史用户的当前用户在当前用户群中的占比q。

(2)判断q与q0的大小关系，根据判断结果作出如下决策：

(ⅰ)当q≥q0时，提取所有历史用户的喜好标签中的特征数据，对上述特征数据去重后，将其作为当前用户群的目标画像数据集；

(ⅱ)当q＜q0时，先提取所有历史用户的喜好标签中的特征数据。再依次计算各个新增用户的身份标签中的内容与广告分析数据库中各个历史用户的身份标签中内容的重合度Dc1。Dc1的计算公式如下：

提取与各个新增用户的身份标签的重合度Dc1最大的历史用户的喜好标签中的特征数据。将两部分特征数据合并，且完成特征数据去重后；作为当前用户群的目标画像数据集。

广告播放序列表调整模块用于：(1)计算关键词提取模块提取出的各个广告关联的关键词数据集中的特征数据与目标画像数据集中的特征数据的重合度Dc2，Dc2的计算公式如下：

(2)按照每个广告的Dc2的计算结果从大到小的顺序，对广告播放序列表中的各个广告进行重新排序，得到调整后的广告播放序列表。

在本实施例中，提供的基于VOC车主云大数据平台的智能媒介管理系统应用于一个具有多角度监控设备的广告投放系统中，广告投放系统用于根据广告播放序列表播放待投放的广告；多角度监控设备用于获取广告投放设备的广告投放区域中所有目标用户的多角度监控的视频流数据。

当然在其它实施例中，也可以将相关的广告投放系统和多角度监控设备作为本实施例中基于VOC车主云大数据平台的智能媒介管理系统的一部分。进而对本实施例中需要完成的数据采集、数据处理和数据分析和广告投放的过程进行一体化协调控制。

实施例5

本实施例提供一种基于用户画像的广告精准投放方法。该精准投放方法应用于本实施例4中的一种基于VOC车主云大数据平台的智能媒介管理系统中；如图7所示，该精准投放方法包括如下步骤：

步骤一：获取当前用户的用户标签

1、获取广告投放区域内各个当前用户的面部特征。

2、对各个当前用户依次进行面部识别，根据面部识别的结果查询一个包含多个历史用户的用户画像数据集的广告分析数据库(即为实施例1或2中创建完成的广告分析数据库)，并作出如下判断：

(1)在当前用户的面部特征与其中一个历史用户面部特征数据中的特征数据相匹配时，获取历史用户的用户标签中的所有特征数据。

(2)在当前用户的面部特征与所有的历史用户的面部特征数据中的特征数据均不匹配时，判定当前用户为新增用户，为新增用户建立一个空的用户标签。

其中，用户画像数据集中包含对应的历史用户的面部特征数据和用户标签；用户标签包括身份标签、喜好标签和厌恶标签。

3、获取新增用户的多角度图像，对多角度图像进行图像识别，根据识别结果对新增用户的身份标签内的特征数据进行补充；其中，身份标签中补充的特征数据包括用户编号、性别、年龄段、穿着风格和其它特征；其它特征表示可识别出的对区分用户身份特征有用的非性别、年龄段和穿着风格的特征。

步骤二：建立当前用户群的目标画像数据集

1、设定一个历史用户比例临界值q0，计算广告投放区域内识别为历史用户的当前用户在当前用户群中的占比q。

2、判断q与q0的大小关系，根据判断结果作出如下决策：

(1)当q≥q0时，提取所有历史用户的喜好标签中的特征数据，对上述特征数据去重后，将其作为当前用户群的目标画像数据集。

(2)当q＜q0时，先提取所有历史用户的喜好标签中的特征数据；再依次计算各个新增用户的身份标签中的内容与各个历史用户的身份标签中内容的重合度Dc1，Dc1的计算公式如下：

提取与各个新增用户的身份标签的重合度Dc1最大的历史用户的喜好标签中的特征数据；将两部分特征数据(识别出的历史用户以及与各个新增用户身份标签重合度最大的历史用户的喜好标签)合并，且完成特征数据去重后，作为当前用户群的目标画像数据集。

步骤三：调整广告播放序列表中的广告的播放顺序

1、获取广告播放序列表中的各个广告关联的关键词数据集，关键词数据集内的特征数据为预先设定的多个与当前播放的广告的内容相关的关键词。

2、获取目标画像数据集中的特征数据，并计算各个广告关联的关键词数据集中的特征数据与目标画像数据集中的特征数据的重合度Dc2，Dc2的计算公式如下：

3、按照每个广告的Dc2的计算结果从大到小的顺序，对广告播放序列表中的各个广告进行排序，得到重新调整的广告播放序列表。

本实施中提供的一种广告投放系统中广告播放序列表的调整方法主要基于的原理和实现逻辑如下：

由于本实施例已经获取到实施例1创建的广告分析数据库内的数据；因此在广告投放时，对于广告投放区域的所有用户进行人脸识别，能够区分出这些用户属于广告分析数据库中的历史用户，还是广告分析数据库未采集到的新增用户。

考虑到广告分析数据已经实现了对历史用户的画像过程，即用户标签中丰富的特征数据。这时，当广告投放区域内的绝大部分用户均属于历史用户时，可以认为这些历史用户的需求和喜好能够代表当前的整个用户群体。通过获取相应的历史用户的喜好标签，然后提取其中的特征数据，就可以得到一个用于刻画当前用户群体喜欢或需求的目标画像数据集。

当广告投放区域内的新增用户的数量达到一定程度时，就不能仅仅依靠历史用户进行画像。在这时再对这些新增用户进行实时的分析显然已经来不及，但是由于本实施可以查询到一个样本量足够大，数据足够丰富的广告分析数据集，因此本实施例可以通过对这些新增用户进行身份特征的识别(可以通过图像识别技术实现)，然后利用这种身份特征去和广告分析数据集中的用户标签比对，从中提取最契合的历史用户，用这个历史用户的用户标签临时作为新增用户的用户标签使用，进而得到该新增用户的喜好标签的中的特征。由于用户的身份特征(如年龄、身高、性别、穿着打扮、生理特征)与用户的需求或喜好(喜好标签中的特征)具有极大的相关性。因此本实施例中的这种近似替代应该是具有很高的可信度的。本实施例通过这种技术方案可以获得包含大量新增用户的用户群体的目标画像数据集。

在获得广告投放区域中的用户群体的目标画像数据集后，本实施例进一步将目标画像数据集中的特征数据与各个待播放的广告的关键词数据集进行比对，可以发现二者的重叠度，重叠度越高则说明该用户群体是该广告的目标客户，这时应该将这些广告放在优先投放的位置，基于这种逻辑，本实施例实现了对广告播放序列表的重新排序，保证最适合的广告能更优先投放到目标群体中。

另外，需要特别说明的是：利用完全相似的软硬件设备，在另外一个实施例中，还可以一边实现对广告播放序列表的调整；一边基于用户对播放的广告的反馈，实现对新增用户的用户标签进行更新。进一步丰富VOC车主云大数据平台中广告分析数据库的数据内容。即完成了对实施例1和实施例2中技术方案的结合。

实施例6

本实施例提供一种商圈场景下的用户需求的及时分析方法，该方法是在实施例5的方法上进行进一步开发得到的，实现了对特定用户的用户需求进行最直接快速的预测或评估。如图8所示，该方法包括如下步骤：

步骤1：获取广告投放区域内当前用户的面部特征。

步骤2：对当前用户依次进行面部识别，根据面部识别的结果查询一个包含多个历史用户的用户画像数据集的广告分析数据库(该广告分析数据库即为前述实施例中广告分析数据库)，作出如下判断：

步骤3：获取新增用户的多角度图像，对多角度图像进行图像识别，根据识别结果对新增用户的身份标签内的特征数据进行补充；其中，身份标签中补充的特征数据包括用户编号、性别、年龄段、穿着风格和其它特征；其它特征表示可识别出的对区分用户身份特征有用的非性别、年龄段和穿着风格的特征。

步骤4：将所述身份标签中的所有特征数据与所述广告分析数据库中的各个历史用户的身份标签进行比对，计算二者之间的特征重合度Dc3，Dc3的计算公式如下：

步骤5：提取广告分析数据库中与当前用户的特征重合度Dc3数值最大的历史用户的喜好标签和厌恶标签中的特征数据，将上述特征数据填充到新增用户的用户画像数据集中，完成对当前用户的用户需求的及时分析过程。

分析上述过程可以发现，本实施例中的该方法，可以在用户刚出场时就对其进行分析和识别，进而建立一个预估的特征和行为的画像数据集，预测用户的喜好和厌恶的对象；并基于这种预测实现对用户需求的及时分析。这种分析的方法更加及时、有效，无需对用户进行长时间的“跟踪”和评估。因此具有较高的实用价值，同时需要说明的是，这种及时分析结果的准确性，与包含多个历史用户的用户画像数据集的广告分析数据库中的样本量具有很大的相关性。广告分析数据库的样本量越大，这种及时分析的结果越准确。

本实施例的方法的逻辑就是，首先获取出现在特定场景下的用户的面部特征，判定该用户的数据样本是否已经收录在广告分析数据库中，是则直接提取该用户收录在广告分析数据库中喜好标签和厌恶标签的内容，以此作为该用户的用户画像数据集，进而分析和预测出该用户的用户需求。当该用户的数据样本并未收录在广告分析数据库中之时，则先提取该用户的身份特征，然后将广告分析数据库中收录各各个历史用户中身份特征与该用户最相似(通过Dc3判断)的历史用户的身份标签中的喜好标签和厌恶标签提取出来，并作为当前用户的用户画像数据集，进而分析出该用户的用户需求。

需要特别说明的是：本实施例中解决的是单个用户的快速画像和用户需求快速分析问题，而实施例5则是解决了对整个用户群体的画像和整个群体的用户需求与待投放的广告之间的匹配问题。二者具有联系且存在明显区别。

实施例7

本实施例提供一种用户需求和广告内容的匹配方法，该方法是在实施例1和实施例6的基础上开发的，用于从当前待投放的广告中挑选出与当前用户最匹配的广告；如图9所示，该匹配方法包括如下步骤：

步骤1：获取当前待投放的所有广告的关键词数据集；该关键词数据集即为前述任意一个实施例中建立的关键词数据集；关键词数据集中包含了反映广告内容的各种特征数据的关键词。

步骤2：获取当前用户的用户画像数据集，用户画像数据集就是前述实施例提供的一种商圈场景下的用户需求的及时分析方法获取的最终结果；

步骤3：计算各个广告的关键词数据集中的特征数据与当前用户画像数据集中的数据的匹配度Dc4，Dc4的计算公式如下：

步骤4：将Dc4的值最大广告作为与当前用户最匹配的广告，完成用户需求和广告内容的匹配过程。

经过匹配后的广告与用户的实际需求最匹配，也就可以获得最佳的宣传推广效果。在实际应用中，对于识别出的当前用户，应该优先投放最匹配的广告。

本实施例中采用的用户需求和广告内容的匹配方法采用的是特征匹配，这种特征匹配过程中，表征用户的需求的特征(喜好标签中的特征)本身就是根据用户对历史广告播放过程中的反馈得出的，并且特征数据就是对应的广告的关键词。因此在与实际的待投放的广告进行特征匹配时，通常是非常容易匹配成功的，且考虑到用户的喜好通常具有一致性和长期性，因此这种特征匹配的结果也会更准确。

实施例8

本实施例提供一种具备智能语音交互功能的车库巨幕MAX智能终端，该车库巨幕MAX智能终端用于根据用户在播放广告时与自身交互的过程，实现对广告播放序列表中待投放广告的更新。该实施例的方案属于前述各个实施例中技术方案和成果的深度开发与应用。本实施例的具备智能语音交互功能的车库巨幕MAX智能终端采用前述实施例中的部分处理方法和设备模块。

具体地，如图10所示，本实施例提供的车库巨幕MAX智能终端包括：广告播放模块、语音采集模块、视频监控模块、广告特征数据提取模块、用户反馈数据提取模块、图像识别模块、语音识别模块、视频动作识别模块、人机交互模块、认可度评价值计算模块以及广告播放序列更新模块。

其中，广告播放模块用于根据广告播放序列表依次播放各个待投放的广告，并在接收到一个由人机交互模块发出的切换指令后对正在播放的广告进行切换。其中，广告播放模块为车库巨幕MAX显示屏。

语音采集模块用于在广告播放模块播放每个广告时，采集广告播放模块周围由观看广告的用户群产生的语音信息。语音采集模块为安装在车库巨幕MAX显示屏周围的多个拾音器；拾音器分布于面向车库巨幕MAX显示屏显示面的一侧。

视频监控模块用于在广告播放模块播放每个广告时，对广告播放模块周围观看广告的用户群进行多角度监控。视频监控模块的取景范围是面向车库巨幕MAX显示屏显示面的一侧，视频监控模块包括多个监控摄像头，各个监控摄像头从不同角度对取景范围进行摄像。

广告特征数据提取模块用于提取所述广告播放模块播放的每一个广告的播放时长T，以及该广告关联的一个关键词数据集。

用户反馈数据提取模块用于：(1)接收语音采集模块采集的语音信息，得到与各个广告相关的语音流数据。(2)接收视频监控模块采集的多角度监控视频，得到与各个广告相关的视频流数据。(3)获取由一个人机交互模块发出的要求切换当前播放的广告的所述切换指令，并在接收到切换指令时，将表征切换指令的特征量SW赋值为1，否则对SW赋值为0。

图像识别模块用于对视频流数据经分帧处理得到的图像数据集进行图像识别，进而提取所有用户在广告播放期间的表情，并将表情分类为喜欢、忽视或厌恶中的其中一种。图像识别模块包括表情识别单元，表情识别单元采用经过大量训练集训练的神经网络识别算法完成对图像中用户的表情的分类过程。

语音识别模块用于对语音流数据进行语音识别，进而：(1)获取广告播放期间由用户发出的表征要求切换当前播放的广告的语音交互指令。(2)提取语音流数据中的所有词语，从中找出与关键词数据集中的特征数据相匹配的关键词。

其中，语音识别模块包括语音交互指令提取单元和关键词提取单元，语音交互指令提取单元将提取到的语音交互指令发送到人机交互模块中的语音交互单元中；关键词提取单元将提取到的与关键词数据集中的特征数据相匹配的关键词发送到认可度评价值计算模块。

视频动作识别模块用于对视频流数据进行视频动作识别，进而：(1)提取出视频流数据中由某个用户发出的表征要求切换当前播放的广告的手势交互指令。(2)提取出视频流数据中由某个用户发出的表征对当前播放的广告作出反馈的姿态动作；(3)提取出反映某个用户在当前广告播放过程中眼神关注位置变化的特征动作。

其中，视频动作提取模块包括手势交互指令提取单元、姿态动作反馈提取单元，眼神特征动作提取单元；手势交互指令提取单元将提取到的手势交互指令发送到人机交互模块中的手势交互单元中；姿态动作反馈提取单元和眼神特征动作提取单元将提取到的特征数据发送到认可度评价值计算模块。

人机交互模块用于获取由用户发出的要求切换当前播放的广告的指令，并发出一个切换指令；其中，如图11所示，用户发出要求切换当前播放的广告的方式包括按键输入、语音交互和手势交互。其中，人机交互模块中包括实体的按键模组，按键模组用于接收由用户直接发出的要求切换当前播放的广告的按键输入指令；人机交互模块还包括语音交互单元和手势交互单元；语音交互单元用于获取由用户发出的要求切换当前播放的广告的语音交互指令，语音交互指令由语音识别模块根据实时的语音流数据进行语音识别得到；手势交互单元用于获取由用户发出的要求切换当前播放的广告的手势交互指令，手势交互指令由视频动作识别模块根据实时的视频流数据进行视频动作识别得到。

认可度评价值计算模块用于：(1)获取由语音识别模块识别的与关键词数据集中的特征数据相匹配的关键词，并统计其数量N₁。(2)获取由视频动作识别模块识别的表征用户对当前播放的广告作出反馈的姿态动作，并统计其数量N₂。(3)获取由视频动作识别模块识别的反映某个用户在当前广告播放过程中眼神关注位置变化的特征动作，根据特征动作计算当前用户对当前播放的广告的关注时长t_n；关注时长t_n的计算公式如下：

上式中，t_1n表示编号为n的用户在当前广告播放期间的直视时长；t_2n表示编号为n的用户在当前广告播放期间的闭眼时长；t_3n表示编号为n的用户在当前广告播放期间的低头时长；t_4n表示编号为n的用户在当前广告播放期间的转头时长。(4)获取由图像识别模块识别的各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在总体样本量中的占比。(5)获取SW的值。(6)通过如下的公式计算各个用户对当前广告的认可度评价值E_n：

广告播放序列更新模块用于：(1)获取一个更新周期内所有已播放的广告序列表中各个广告的平均认可度评价结果

的计算公式如下：

上式中，i表示广告播放序列表中的各个广告的编号。(2)根据各个广告的

值从大到小的顺序，对更新周期内所有的已播放广告进行排序，得到已播放广告的评分排名表。(3)获取需要增加投放的广告及其数量，将评分排名表中排名靠后的相应数量的已播放广告从广告播放序列表中删除，并将需要增加投放的广告添加到广告播放序列表中，完成广告播放序列表的更新过程。

实施例9

本实施例提供一种广告投放设备的广告更刊方法，该广告更刊方法应用于实施例8中的具备智能语音交互功能的车库巨幕MAX智能终端中；如图12所示，该广告更刊方法包括如下步骤：

步骤一、获取当前播放的广告的特征数据

1、获取当前播放的广告的播放时长T，以及该广告关联的关键词数据集。

其中，关键词数据集内的特征数据为预先设定的多个与当前播放的广告的内容相关的关键词。每个广告关联的所述关键词数据集内的特征数据至少包括：

(1)反映广告的宣传产品的关键词。

(2)反映广告针对的目标客户群体的关键词。

(3)反映广告的代言人或广告的人物形象的关键词。

(4)广告词中的高频或特殊关键词。

(5)广告的时长分类：极短、短、中等、长、超长。

(6)广告的风格分类。

步骤二、获取各个用户对广告播放的反馈数据

1、获取广告播放期间由当前用户群产生的语音流数据，监控当前用户群的视频流数据，以及由当前用户群中的某一个或多个用户发出的要求切换当前播放的广告的指令。

步骤三、计算各个用户对当前广告的认可度评价值

1、对语音流数据进行语音识别，提取出其中与当前播放的广告关联的关键词数据集内的特征数据相匹配的关键词，并统计其数量N₁。

3、对视频流数据进行视频动作识别；提取出其中反映当前用户的眼神关注位置变化的特征动作，根据特征动作计算当前用户对当前播放的广告的关注时长t_n；其中，n表示当前用户的用户编号。

5、获取所述SW的值。

步骤四、更新广告播放序列表

1、获取一个更新周期内所有已播放的广告序列表中各个广告的平均认可度评价结果

的计算公式如下：

上式中，i表示广告播放序列表中的各个广告的编号。

2、根据各个广告的

值从大到小的顺序，对更新周期内所有的已播放广告进行排序，得到已播放广告的评分排名表。

3、获取需要增加投放的广告及其数量，将评分排名表中排名靠后的相应数量的已播放广告从广告播放序列表中删除，并将需要增加投放的广告添加到广告播放序列表中，完成广告序列表的更新过程。

分析本实施例中的技术方案可以发现，本实施例是在实施例1中分析出各个用户对每个播放的广告的认可度评价的基础上，对广告设备中的广告播放序列表进行更新。该方法的逻辑是：当一个广告更新周期到来时，系统会对该周期内每个广告播放时收到的所有用户的反馈进行评分累计，计算各个广告在用户眼里的认可度评价的平均值。该平均值越大，则说明该广告对目标客户的覆盖面约越大，也就是说当前广告投放区域内经常出现的用户属于该广告的目标投放群体，因此应该加大该广告的投放频率。反之要减少该广告的投放频率，基于这种结论，本实施例的方法就很好的实现了该过程。

需要特别说明的是：前述的实施例5中解决的是针对不同目标群体的广告播放序列表的排序问题，即广告精准投放问题，而本实施例9中解决的是在一个广告投放周期内对广告播放序列表内的部分广告进行更新替换的问题，即广告更刊问题。二者是完全不一样的。

实施例10

本实施例提供一种智慧商圈中的媒体广告投放效果的评价方法，如图13所示，该评价方法包括如下步骤：

一种智慧商圈中媒体广告投放效果的评价方法，该评价方法包括：

步骤一：获取当前播放的广告的特征数据，特征数据包括：当前播放的广告的播放时长T和该广告关联的关键词数据集；关键词数据集内的特征数据为预先设定的多个与当前播放的广告的内容相关的关键词。

其中，每个广告关联的所述关键词数据集内的特征数据至少包括：

(1)反映广告的宣传产品的关键词。

(2)反映广告针对的目标客户群体的关键词。

(3)反映广告的代言人或广告的人物形象的关键词。

(4)广告词中的高频或特殊关键词。

(5)广告的时长分类：极短、短、中等、长、超长。

(6)广告的风格分类。

步骤二：获取各个用户对广告播放的反馈数据，反馈数据具体包括：广告播放期间由当前用户群产生的语音流数据，监控当前用户群的视频流数据，以及由当前用户群中的某一个或多个用户发出的要求切换当前播放的广告的指令。

判断是否接收到要求切换当前播放的广告的所述指令，是则对反映所述指令的特征量SW赋值为1，否则对SW赋值为0。

当前用户群中的某一个或多个用户发出的要求切换当前播放的广告的指令的方式包括按键输入、语音交互和手势交互。

步骤三：对语音流数据和视频流数据进行数据分析，提取出语音流数据中与所述关键词数据集中的关键词匹配的关键词数量，以及表征对广告作出反馈的表情和特征动作的数量；并结合当前用户群发出的要求切换切换当前播放的广告的指令，计算各个用户对当前广告的认可度评价值E_n。

各个用户对当前广告的认可度评价值E_n的计算方法具体如下：

(1)对语音流数据进行语音识别，提取出其中与当前播放的广告关联的关键词数据集内的特征数据相匹配的关键词，并统计其数量N₁。

(2)对视频流数据进行视频动作识别；提取出其中表征用户对当前播放的广告进行反馈的姿态动作，并统计其数量N₂。表征用户对当前播放的广告进行反馈的姿态动作包括：用户在广告播放期间产生的点头、鼓掌、手部指向广告播放界面的动作，头部由非直视状态切换至直视状态的抬头或转头动作。

(3)对视频流数据进行视频动作识别；提取出其中反映当前用户的眼神关注位置变化的特征动作，根据特征动作计算当前用户对当前播放的广告的关注时长t_n。反映当前用户的眼神关注位置变化的特征动作包括：用户直视广告播放界面的动作，用户闭眼的动作，用户低头的动作，用户转头的动作。

(4)对视频流数据的分帧图像按照采样频率进行隔帧采样；对隔帧采样的图像进行图像识别；提取出各个用户的面部表情，并将面部表情分类为喜欢、忽视或厌恶；分别统计各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在该用户总体样本量中的占比。对隔帧采样的图片中的用户表情进行提取和分类的过程通过经过训练的神经网络识别算法完成。

(5)获取SW的值。

步骤四：获取一个更新周期内所有已播放的广告序列表中各个广告获取的所有用户对当前广告的认可度评价值E_n的总和，并计算平均认可度评价结果

的值用于表征各个广告在更新周期内的用户评价。

的计算公式如下：

上式中，i表示广告播放序列表中的各个广告的编号。

本实施例提供的方法可以通过用户对投放的各个广告的反馈，得到各个广告的平均认可度评价结果，这个结果就是商圈中媒体广告投放效果的评价指标。当某个广告的平均认可度评价结果的值越高，就说明在这个商圈场景下经常出现的消费者群体对这个广告的关注度较高，也就说明这个广告的投放效果较高。这个数据可以作为广告主与广告发行方持续开展业务合作或延长广告投放期限的依据。

实施例11

前述各个实施例中的方法或系统可以进行单独实施，也可以和其它实施例进行联合实施，达到不同的技术目的。例如：本实施例将实施例1和实施例5的方法结合，进而得到一种基于物联网和大数据的智慧营销方法；即在后者中同时包含了实施例1中的方法和实施例5的方法的实施过程。或者将实施例2和实施例4的系统结合，进而得到一种基于基于物联网和大数据的智慧营销系统，即在后者中至少包括了实施例2和实施例4中的各个模块，同时实现了如一种基于基于物联网和大数据的智慧营销方法的过程。通过这种方法或系统可以实现在对用户进行画像的同时更新广告分析数据库中的数据，并针对不同的用户群体投放最精准的广告，达到智慧营销的目的。

实施例12

实施例1～10中的方法或系统可以进行单独实施，也可以和其它实施例进行联合实施，达到不同的技术目的。本实施例将实施例1、5和9中的方法结合，进而得到一种基于消费者特征分析的车库全场景营销方法，该方法包括了实施如实施例1、5和9的方法的步骤。实现了消费者的特征画像、广告分析数据库的更新，广告的精准推送，以及广告投放内容的更新四个方面的内容。或者，在本实施例哈可以将实施例2、4和8中的硬件设备或系统结合，得到一种基于消费者特征分析的车库全场景营销系统，该系统中至少包括实施例2、4和8中任意一种模块，并能够给实时如前述的一种基于消费者特征分析的车库全场景营销方法的步骤。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种VOC车主云大数据平台，其特征在于，所述大数据平台中存储有一个包含多个历史用户数据的广告分析数据库，所述广告分析数据库的创建方法如下：

一、识别新增用户并为识别出的各个新增用户建立用户标签，所述用户标签中包括身份标签、喜好标签和厌恶标签；

二、获取当前播放的广告的特征数据；包括各个广告的播放时长T，以及各个广告关联的关键词数据集；

三、获取各个用户对广告播放的反馈数据，过程如下：

(1)获取广告播放期间由广告投放区域内所有用户产生的语音流数据，监控广告投放区域内所有用户的视频流数据，以及由广告投放区域内某一个或多个用户发出的要求切换当前播放的广告的指令；

(2)判断是否接收到所述要求切换当前播放的广告的指令，是则对反映该指令的特征量SW赋值为1，否则对SW赋值为0；

四、根据各个用户对广告播放的反馈数据，计算各个用户对当前广告的认可度评价值E_n；

各个用户对当前广告的认可度评价值E_n的计算过程如下：

(1)对所述语音流数据进行语音识别，提取出其中与所述关键词数据集内的特征数据相匹配的关键词，并统计其数量N₁；

(2)对所述视频流数据进行视频动作识别；提取出其中表征用户对当前播放的广告进行反馈的姿态动作，并统计其数量N₂；

(3)对所述视频流数据进行视频动作识别；提取出其中反映各个用户的眼神关注位置变化的特征动作，根据所述特征动作计算各个用户对当前播放的广告的关注时长t_n；其中，n表示当前用户的所述用户编号；

(4)对所述视频流数据的分帧图像按照采样频率进行隔帧采样；对隔帧采样的图像进行图像识别；提取出各个用户的面部表情，并将所述面部表情分类为喜欢、忽视或厌恶；分别统计各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在该用户总体样本量中的占比；

(5)获取所述SW的值；

表示编号为n的用户对当前播放的广告的注意力集中度；k₁表示语音信息反馈对整体认可度评价结果的影响因子；k₂表示姿态动作反馈对整体认可度评价结果的影响因子；k₃表示表情反馈对整体认可度评价结果的影响因子；k₄表示注意力集中度对整体认可度评价结果的影响因子；m₁表示语音信息反馈中单个关键词的得分；m₂表示姿态动作反馈中单个姿态动作的得分；m₃表示注意力集中度的得分；所述反馈数据包括通过隔帧采样的图像对用户的表情进行识别，a表示喜欢表情的得分，p_1,n为编号为n的用户分类为喜欢的表情在隔帧采样的图像总量中的占比；b表示忽视表情的得分，p_2,n为编号为n的用户分类为忽视的表情在隔帧采样的图像总量中的占比；c表示厌恶表情的得分，p_3,n为编号为n的用户分类为厌恶的表情在隔帧采样的图像总量中的占比；

五、广告分析数据库的建立或更新，过程如下：

(1)设定所述E_n的一个高阈值E_h和一个低阈值E_l，所述E_h表示用户喜欢当前播放的广告的临界值，所述E_l表示用户厌恶当前播放的广告的临界值，E_l＞0；

(2)当E_n≥E_h且p_1，n+p_2，n≥p_3，n时，将当前播放的广告关联的所述关键词数据集内的特征数据添加到当前用户对应的所述喜好标签中，并对补充后的所述喜好标签进行特征数据去重；再将当前用户对应的所述厌恶标签中与所述关键词数据集内的特征数据相同的特征数据删除；

(3)当E_n≤E_l且p_2，n+p_3，n≥p_1，n时，将当前播放的广告关联的所述关键词数据集内的特征数据添加到当前用户对应的所述厌恶标签中，并对补充后的所述厌恶标签进行特征数据去重；再将当前用户对应的所述喜好标签中与所述关键词数据集内的特征数据相匹配的特征数据删除；

(4)更新每个用户的用户标签，得到各个用户的新的用户画像数据集，进而完成所述广告分析数据库的创建；其中，所述用户画像数据集中包括对应的用户的面部特征数据和用户标签。

2.如权利要求1所述的VOC车主云大数据平台，其特征在于：新增用户的识别和用户标签的建立过程如下：

(1)在广告播放过程中，依次获取各个用户的面部特征，对所述面部特征进行面部识别；

(2)根据所述面部识别的结果查询所述广告分析数据库，判断当前用户的面部特征是否与广告分析数据库中的某个历史用户的面部特征匹配：

(ⅰ)是则跳过当前用户；

(ⅱ)否则为当前用户建立一个空的用户标签；所述用户标签包括身份标签、喜好标签和厌恶标签；

(3)获取各个用户的多角度图像，根据所述多角度图像的图像识别结果，对各个用户的身份标签的特征数据进行补充；

其中，所述身份标签中补充的特征数据包括用户编号、性别、年龄段、穿着风格和其它特征；所述其它特征表示可识别出的对区分用户身份特征有用的非性别、年龄段和穿着风格的特征。

3.如权利要求2所述的VOC车主云大数据平台，其特征在于：所述身份标签中的年龄段为根据图像识别结果归类的0-10岁，10-20岁，20-30岁，30-50岁，50-70岁，70岁以上的其中一个；所述身份标签中的穿着风格包括休闲、商务、运动、儿童或老年。

4.如权利要求2所述的VOC车主云大数据平台，其特征在于：所述身份标签中的其它特征反映的内容包括是否佩戴眼镜，是否佩戴帽子，是否脱发，是否涂抹口红，是否穿高跟鞋，是否蓄须，是否佩戴腕表；对于上述特征，是则在其它特征中添加反映该特征的特征数据，否则不在其它特征中添加特征数据。

5.如权利要求1所述的VOC车主云大数据平台，其特征在于：编号为n的用户对当前播放的广告的关注时长t_n的计算方法如下：

6.如权利要求1所述的VOC车主云大数据平台，其特征在于：用户对当前播放的广告进行反馈的姿态动作包括用户在广告播放期间产生的点头、鼓掌、手部指向广告播放界面，头部由非直视状态切换至直视状态的抬头或转头动作。

7.如权利要求1所述的VOC车主云大数据平台，其特征在于：用户发出的要求切换当前播放的广告的指令的方式包括按键输入、语音交互和手势交互；所述语音交互通过识别由用户发出的要求切换当前播放的广告的语音关键词来实现；所述手势交互通过识别由用户发出的要求切换当前播放的广告的特征手势来实现；所述按键输入表示由用户直接通过按键来输入的要求切换当前播放的广告的按键输入指令。

8.如权利要求7所述的VOC车主云大数据平台，其特征在于：所述语音关键词由语音识别算法根据实时的所述语音流数据识别获取；所述特征手势由视频动作识别算法根据实时的所述视频流数据获取得到；所述按键输入指令通过安装在广告播放现场的实体切换按键模块获取。

9.如权利要求1所述的VOC车主云大数据平台，其特征在于：所述广告分析数据库在创建之初为空，当其中录入第一个历史用户的用户画像数据集之后，广告分析数据库的创建系统通过将当前用户的面部特征与广告分析数据库中历史用户的面部特征进行对比，确定当前用户为新增用户或历史用户；并将区分出的新增用户的用户画像数据集录入到广告分析数据库中，或是对广告分析数据库中已有的历史用户的用户画像数据集中的用户标签进行更新。