CN113377327A - 一种具备智能语音交互功能的车库巨幕max智能终端 - Google Patents

一种具备智能语音交互功能的车库巨幕max智能终端 Download PDF

Info

Publication number
CN113377327A
CN113377327A CN202110685129.0A CN202110685129A CN113377327A CN 113377327 A CN113377327 A CN 113377327A CN 202110685129 A CN202110685129 A CN 202110685129A CN 113377327 A CN113377327 A CN 113377327A
Authority
CN
China
Prior art keywords
advertisement
user
module
voice
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110685129.0A
Other languages
English (en)
Inventor
汪功林
吴育怀
苏娟
陈孝君
梁雨菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Grapefruit Cool Media Information Technology Co ltd
Original Assignee
Anhui Grapefruit Cool Media Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Grapefruit Cool Media Information Technology Co ltd filed Critical Anhui Grapefruit Cool Media Information Technology Co ltd
Priority to CN202110685129.0A priority Critical patent/CN113377327A/zh
Publication of CN113377327A publication Critical patent/CN113377327A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于智能设备领域，具体涉及一种具备智能语音交互功能的车库巨幕MAX智能终端。该智能终端包括：广告播放模块、语音采集模块、视频监控模块、广告特征数据提取模块、用户反馈数据提取模块、图像识别模块、语音识别模块、视频动作识别模块、人机交互模块、认可度评价值计算模块以及广告播放序列更新模块。其中，认可度评价值计算模块根据所述图像识别模块、语音识别模块、视频动作识别模块得到的结果，计算各个用户对当前广告的认可度评价值，广告播放序列更新模块将各个广告的投放期间获得的平均认可度评价值排序后替换掉排名较低的广告。本发明解决了现有设备无法与用户进行互动，无法针对不同用户群体对播放的营销广告进行调整的问题。

Description

一种具备智能语音交互功能的车库巨幕MAX智能终端
技术领域
本发明属于电子设备领域，具体涉及一种具备智能语音交互功能的车库巨幕MAX智能终端。
背景技术
随着显示技术的不断提升和液晶等电子显示屏幕的成本不断下降；大屏显示除了能够用于播放多媒体影音作品，还可以用于商业营销。例如在车库、商场、室外广场等场景中，大量巨幕设备正被用于进行广告宣传。这种巨型屏幕的显示面积大，显示效果突出，因此可以具有更好的营销宣传效果。
但是，现有的各类型的巨幕智能终端通常仅仅用于进行显示内容，无法与用户群体进行互动。而且这类设备中播放的营销广告也只能按照服务器预设的播放顺序进行循环播放。无法根据不同的用户群体进行对播放内容进行调整；难以实现差异化播放进而对不同用户群体的精准营销的效果；设备在播放广告的过程也无法用新增的待投放的广告替代不受用户欢迎的广告内容。
发明内容
为了解决现有设备无法与用户进行互动，无法针对不同用户群体对播放的营销广告进行差异性调整的问题，本发明提供一种具备智能语音交互功能的车库巨幕MAX智能终端。
本发明采用以下技术方案实现：
一种具备智能语音交互功能的车库巨幕MAX智能终端，该车库巨幕MAX智能终端用于根据用户在播放广告时与自身交互的过程，实现对广告播放序列表中待投放广告的更新，该车库巨幕MAX智能终端包括：广告播放模块，
广告播放模块，其用于根据广告播放序列表依次播放各个待投放的广告，并在接收到一个由人机交互模块发出的切换指令后对正在播放的广告进行切换；语音采集模块，视频监控模块，广告特征数据提取模块，人机交互模块，用户反馈数据提取模块，图像识别模块，语音识别模块，视频动作识别模块，认可度评价值计算模块，广告播放序列更新模块。
其中，语音采集模块用于在广告播放模块播放每个广告时，采集广告播放模块周围由观看广告的用户群产生的语音信息。
视频监控模块用于在广告播放模块播放每个广告时，对广告播放模块周围观看广告的用户群进行多角度监控。
广告特征数据提取模块用于提取广告播放模块播放的每一个广告的播放时长T，以及该广告关联的一个关键词数据集。
人机交互模块用于获取由用户发出的要求切换当前播放的广告的请求，并发出切换指令。其中，用户发出要求切换当前播放的广告的请求的方式包括按键输入、语音交互和手势交互。
用户反馈数据提取模块用于从语音采集模块、视频监控模块和人机交互模块中提取包含用户对播放的广告的反馈信息的语音流数据、视频流数据和切换指令。
图像识别模块用于对视频流数据经分帧处理得到的图像数据集进行图像识别，进而提取所有用户在广告播放期间的表情，并将表情分类为喜欢、忽视或厌恶中的其中一种。
语音识别模块用于对语音流数据进行语音识别。
视频动作识别模块用于对视频流数据进行视频动作识别。
认可度评价值计算模块，其用于根据所述图像识别模块、语音识别模块和视频动作识别模块得到的结果，计算各个用户对当前广告的认可度评价值En。
广告播放序列更新模块用于：
(1)获取一个更新周期内所有已播放的广告序列表中各个广告的平均认可度评价结果
Figure BDA0003124284950000021
所述
Figure BDA0003124284950000022
的计算公式如下：
Figure BDA0003124284950000023
上式中，i表示广告播放序列表中的各个广告的编号。
(2)根据各个广告的
Figure BDA0003124284950000024
值从大到小的顺序，对更新周期内所有的已播放广告进行排序，得到已播放广告的评分排名表。
(3)获取需要增加投放的广告及其数量，将评分排名表中排名靠后的相应数量的已播放广告从广告播放序列表中删除，并将需要增加投放的广告添加到广告播放序列表中，完成广告播放序列表的更新过程。
进一步地，用户反馈数据提取模块的具体功能包括：
(1)接收语音采集模块采集的语音信息，得到与各个广告相关的语音流数据。
(2)接收视频监控模块采集的多角度监控视频，得到与各个广告相关的视频流数据。
(3)获取由人机交互模块发出的要求切换当前播放的广告的所述切换指令，并在接收到切换指令时，将表征切换指令的特征量SW赋值为1，否则对SW赋值为0。
进一步地，语音识别模块的具体功能包括：
(1)获取广告播放期间由用户发出的表征要求切换当前播放的广告的一个语音交互指令。
(2)提取语音流数据中的所有词语，从中找出与关键词数据集中的特征数据相匹配的关键词。
进一步地，视频动作识别模块的具体功能包括：
(1)提取出视频流数据中由某个用户发出的表征要求切换当前播放的广告的一个手势交互指令。
(2)提取出视频流数据中由某个用户发出的表征对当前播放的广告作出反馈的姿态动作。
(3)提取出反映某个用户在当前广告播放过程中眼神关注位置变化的特征动作。
进一步地，认可度评价值计算模块计算各个用户对当前广告的认可度评价值En的过程具体包括：
(1)获取由语音识别模块识别的与关键词数据集中的特征数据相匹配的关键词，并统计其数量N1。
(2)获取由视频动作识别模块识别的表征用户对当前播放的广告作出反馈的姿态动作，并统计其数量N2。
(3)获取由视频动作识别模块识别的反映某个用户在当前广告播放过程中眼神关注位置变化的特征动作，根据特征动作计算当前用户对当前播放的广告的关注时长tn。
(4)获取由所述图像识别模块识别的各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在总体样本量中的占比；
(5)获取SW的值；
(6)通过如下的公式计算各个用户对当前广告的认可度评价值En：
Figure BDA0003124284950000025
上式中，n表示当前用户的所述用户编号，En表示编号为n的用户对当前播放的广告的评价值，En≥0，且En的值越大反映用户对当前播放的多媒体的认可度越高；
Figure BDA0003124284950000031
表示编号为n的用户对当前播放的广告的注意力集中度；k1表示语音信息反馈对整体认可度评价结果的影响因子；k2表示姿态动作反馈对整体认可度评价结果的影响因子；k3表示表情反馈对整体认可度评价结果的影响因子；k4表示注意力集中度对整体认可度评价结果的影响因子；m1表示语音信息反馈中单个关键词的得分；m2表示姿态动作反馈中单个姿态动作的得分；m3表示注意力集中度的得分；a表示喜欢表情的得分，p1,n为编号为n的用户分类为喜欢的表情在隔帧采样的图像总量中的占比；b表示忽视表情的得分，p2,n为编号为n的用户分类为忽视的表情在隔帧采样的图像总量中的占比；c表示厌恶表情的得分，p3,n为编号为n的用户分类为厌恶的表情在隔帧采样的图像总量中的占比。
进一步地，认可度评价值计算模块计算编号为n的用户对当前播放的广告的关注时长tn的计算公式如下：
Figure BDA0003124284950000032
上式中，t1n表示编号为n的用户在当前广告播放期间的直视时长；t2n表示编号为n的用户在当前广告播放期间的闭眼时长；t3n表示编号为n的用户在当前广告播放期间的低头时长；t4n表示编号为n的用户在当前广告播放期间的转头时长。
进一步地，广告播放模块为车库巨幕MAX显示屏；语音采集模块为安装在车库巨幕MAX显示屏周围的多个拾音器；拾音器分布于面向车库巨幕MAX显示屏显示面的一侧；视频监控模块的取景范围是面向所述车库巨幕MAX显示屏显示面的一侧，视频监控模块包括多个监控摄像头，各个所述监控摄像头从不同角度对取景范围进行摄像。
进一步地，人机交互模块中包括实体的按键模组，按键模组用于接收由用户直接发出的要求切换当前播放的广告的按键输入指令。人机交互模块还包括语音交互单元和手势交互单元。语音交互单元用于获取由用户发出的要求切换当前播放的广告的语音交互指令，语音交互指令由语音识别模块根据实时的语音流数据进行语音识别得到。手势交互单元用于获取由用户发出的要求切换当前播放的广告的手势交互指令，手势交互指令由视频动作识别模块根据实时的视频流数据进行视频动作识别得到。
进一步地，图像识别模块包括表情识别单元，表情识别单元采用经过大量训练集训练的神经网络识别算法完成对图像中用户的表情的分类过程。
语音识别模块包括语音交互指令提取单元和关键词提取单元，语音交互指令提取单元将提取到的语音交互指令发送到人机交互模块中的语音交互单元中；关键词提取单元将提取到的与关键词数据集中的特征数据相匹配的关键词发送到认可度评价值计算模块。
进一步地，视频动作提取模块包括手势交互指令提取单元、姿态动作反馈提取单元，眼神特征动作提取单元；手势交互指令提取单元将提取到的手势交互指令发送到人机交互模块中的手势交互单元中；姿态动作反馈提取单元和眼神特征动作提取单元将提取到的特征数据发送到认可度评价值计算模块。
本发明提供的技术方案，具有如下有益效果：
1、本发明提供的一种具备智能语音交互功能的车库巨幕MAX智能终端，可以在播放营销广告的同时与用户进行互动；接收用户的语音指令、手势指令或按键输入指令，进而对当前播放的广告进行切换。
2、更重要的是，本发明的具备智能语音交互功能的车库巨幕MAX智能终端中内置了一套自动更新广告播放序列表的系统，在本发明中，车库巨幕MAX智能终端能够根据与用户的互动数据，以及在播放广告时获取的各个用户对当前播放的广告的反馈情况对广告播放序列表中的广告进行评分，找出和当前用户群体最契合的广告类型。然后将其中用户反馈较差，与用户群不匹配的广告从广告播放序列表中删除，并补充新的待投放的广告。这样可以大幅提升广告投放设备的广告投放效率和商业营销的宣传推广效果。
附图说明
图1为本发明实施例1中提供的一种具备智能语音交互功能的车库巨幕MAX智能终端的模块示意图；
图2为本发明实施例1中提供的一种具备智能语音交互功能的车库巨幕MAX智能终端中语音识别模块的模块示意图；
图3为本发明实施例1中提供的一种具备智能语音交互功能的车库巨幕MAX智能终端中视频动作提取模块的模块示意图；
图4为本发明实施例1的一种具备智能语音交互功能的车库巨幕MAX智能终端中，人机交互模块采用的切换指令的类型分类图；
图5为本发明实施例1中提供的一种具备智能语音交互功能的车库巨幕MAX智能终端中人机交互模块的模块示意图；
图6为本发明实施例2中提供的一种广告投放设备的广告更刊方法的流程图；
图7为本发明实施例3中的一种基于特征识别的用户对广告的认可度评价方法的流程图；
图8为本发明实施例4中一种基于用户画像的广告精准投放方法的流程图；
图9为本发明实施例5中一种商圈场景下的用户需求的及时分析方法的流程图；
图10为本发明实施例6中一种用户需求和广告内容的匹配方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
本实施例提供一种具备智能语音交互功能的车库巨幕MAX智能终端，该车库巨幕MAX智能终端用于根据用户在播放广告时与自身交互的过程，实现对广告播放序列表中待投放广告的更新。
具体地，如图1所示，本实施例提供的车库巨幕MAX智能终端包括：广告播放模块、语音采集模块、视频监控模块、广告特征数据提取模块、用户反馈数据提取模块、图像识别模块、语音识别模块、视频动作识别模块、人机交互模块、认可度评价值计算模块以及广告播放序列更新模块。
其中，广告播放模块用于根据广告播放序列表依次播放各个待投放的广告，并在接收到一个由人机交互模块发出的切换指令后对正在播放的广告进行切换。其中，广告播放模块为车库巨幕MAX显示屏。
语音采集模块用于在广告播放模块播放每个广告时，采集广告播放模块周围由观看广告的用户群产生的语音信息。语音采集模块为安装在车库巨幕MAX显示屏周围的多个拾音器；拾音器分布于面向车库巨幕MAX显示屏显示面的一侧。
视频监控模块用于在广告播放模块播放每个广告时，对广告播放模块周围观看广告的用户群进行多角度监控。视频监控模块的取景范围是面向车库巨幕MAX显示屏显示面的一侧，视频监控模块包括多个监控摄像头，各个监控摄像头从不同角度对取景范围进行摄像。
广告特征数据提取模块用于提取所述广告播放模块播放的每一个广告的播放时长T，以及该广告关联的一个关键词数据集。
用户反馈数据提取模块用于：(1)接收语音采集模块采集的语音信息，得到与各个广告相关的语音流数据。(2)接收视频监控模块采集的多角度监控视频，得到与各个广告相关的视频流数据。(3)获取由一个人机交互模块发出的要求切换当前播放的广告的所述切换指令，并在接收到切换指令时，将表征切换指令的特征量SW赋值为1，否则对SW赋值为0。
图像识别模块用于对视频流数据经分帧处理得到的图像数据集进行图像识别，进而提取所有用户在广告播放期间的表情，并将表情分类为喜欢、忽视或厌恶中的其中一种。图像识别模块包括表情识别单元，表情识别单元采用经过大量训练集训练的神经网络识别算法完成对图像中用户的表情的分类过程。
语音识别模块用于对语音流数据进行语音识别，进而：(1)获取广告播放期间由用户发出的表征要求切换当前播放的广告的语音交互指令。(2)提取语音流数据中的所有词语，从中找出与关键词数据集中的特征数据相匹配的关键词。
其中，如图2所示，语音识别模块包括语音交互指令提取单元和关键词提取单元，语音交互指令提取单元将提取到的语音交互指令发送到人机交互模块中的语音交互单元中；关键词提取单元将提取到的与关键词数据集中的特征数据相匹配的关键词发送到认可度评价值计算模块。
视频动作识别模块用于对视频流数据进行视频动作识别，进而：(1)提取出视频流数据中由某个用户发出的表征要求切换当前播放的广告的手势交互指令。(2)提取出视频流数据中由某个用户发出的表征对当前播放的广告作出反馈的姿态动作；(3)提取出反映某个用户在当前广告播放过程中眼神关注位置变化的特征动作。
其中，如图3所示，视频动作提取模块包括手势交互指令提取单元、姿态动作反馈提取单元，眼神特征动作提取单元；手势交互指令提取单元将提取到的手势交互指令发送到人机交互模块中的手势交互单元中；姿态动作反馈提取单元和眼神特征动作提取单元将提取到的特征数据发送到认可度评价值计算模块。
人机交互模块用于获取由用户发出的要求切换当前播放的广告的指令，并发出一个切换指令；其中，如图4所示，用户发出要求切换当前播放的广告的方式包括按键输入、语音交互和手势交互。其中，如图5所示，人机交互模块中包括实体的按键模组，按键模组用于接收由用户直接发出的要求切换当前播放的广告的按键输入指令；人机交互模块还包括语音交互单元和手势交互单元；语音交互单元用于获取由用户发出的要求切换当前播放的广告的语音交互指令，语音交互指令由语音识别模块根据实时的语音流数据进行语音识别得到；手势交互单元用于获取由用户发出的要求切换当前播放的广告的手势交互指令，手势交互指令由视频动作识别模块根据实时的视频流数据进行视频动作识别得到。
认可度评价值计算模块用于：
(1)获取由语音识别模块识别的与关键词数据集中的特征数据相匹配的关键词，并统计其数量N1。
(2)获取由视频动作识别模块识别的表征用户对当前播放的广告作出反馈的姿态动作，并统计其数量N2。
(3)获取由视频动作识别模块识别的反映某个用户在当前广告播放过程中眼神关注位置变化的特征动作，根据特征动作计算当前用户对当前播放的广告的关注时长tn；关注时长tn的计算公式如下：
Figure BDA0003124284950000051
上式中，t1n表示编号为n的用户在当前广告播放期间的直视时长；t2n表示编号为n的用户在当前广告播放期间的闭眼时长；t3n表示编号为n的用户在当前广告播放期间的低头时长；t4n表示编号为n的用户在当前广告播放期间的转头时长。
(4)获取由图像识别模块识别的各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在总体样本量中的占比。
(5)获取SW的值。
(6)通过如下的公式计算各个用户对当前广告的认可度评价值En：
Figure BDA0003124284950000061
上式中，n表示当前用户的所述用户编号，En表示编号为n的用户对当前播放的广告的评价值，En≥0，且En的值越大反映用户对当前播放的多媒体的认可度越高；
Figure BDA0003124284950000062
表示编号为n的用户对当前播放的广告的注意力集中度；k1表示语音信息反馈对整体认可度评价结果的影响因子；k2表示姿态动作反馈对整体认可度评价结果的影响因子；k3表示表情反馈对整体认可度评价结果的影响因子；k4表示注意力集中度对整体认可度评价结果的影响因子；m1表示语音信息反馈中单个关键词的得分；m2表示姿态动作反馈中单个姿态动作的得分；m3表示注意力集中度的得分；a表示喜欢表情的得分，p1,n为编号为n的用户分类为喜欢的表情在隔帧采样的图像总量中的占比；b表示忽视表情的得分，p2,n为编号为n的用户分类为忽视的表情在隔帧采样的图像总量中的占比；c表示厌恶表情的得分，p3,n为编号为n的用户分类为厌恶的表情在隔帧采样的图像总量中的占比。
广告播放序列更新模块用于：(1)获取一个更新周期内所有已播放的广告序列表中各个广告的平均认可度评价结果
Figure BDA0003124284950000063
的计算公式如下：
Figure BDA0003124284950000064
上式中，i表示广告播放序列表中的各个广告的编号。(2)根据各个广告的
Figure BDA0003124284950000065
值从大到小的顺序，对更新周期内所有的已播放广告进行排序，得到已播放广告的评分排名表。(3)获取需要增加投放的广告及其数量，将评分排名表中排名靠后的相应数量的已播放广告从广告播放序列表中删除，并将需要增加投放的广告添加到广告播放序列表中，完成广告播放序列表的更新过程。
本发明是通过采集用户在广告播放期间对广告的反馈，进而实现对终端内待投放的广告进行更新的。在应用过程中，终端首先采集各个用户对不同广告的反馈，然后根据设计的广告认可度的量化的评价方法实现为每个广告进行“打分”。打分之后再将评分高的广告保留，将评分低的广告删除，并将需要投放的新的广告导入到终端的播放列表中，通过这种周期性的更新过程可以保证所有被投放的广告均是当前区域内用户最匹配的广告，也就是说可以保证投放的广告可以达到最佳的宣传推广价值。
本实施例采用用户对广告的反馈时，应用到了最新的语音识别技术、视频动作识别技术、图像识别技术等等，能够将用户以表情、动作、姿态、语言等不同形式作出的反馈均准确提取出来，进而完成对广告的量化“评分”，实现调整待投放的广告的目的。
实施例2
本实施例提供一种广告投放设备的广告更刊方法，该广告更刊方法应用于实施例1中的具备智能语音交互功能的车库巨幕MAX智能终端中；如图6所示，该广告更刊方法包括如下步骤：
步骤一、获取当前播放的广告的特征数据
1、获取当前播放的广告的播放时长T，以及该广告关联的关键词数据集。
其中，关键词数据集内的特征数据为预先设定的多个与当前播放的广告的内容相关的关键词。每个广告关联的所述关键词数据集内的特征数据至少包括：
(1)反映广告的宣传产品的关键词。
(2)反映广告针对的目标客户群体的关键词。
(3)反映广告的代言人或广告的人物形象的关键词。
(4)广告词中的高频或特殊关键词。
(5)广告的时长分类：极短、短、中等、长、超长。
(6)广告的风格分类。
步骤二、获取各个用户对广告播放的反馈数据
1、获取广告播放期间由当前用户群产生的语音流数据，监控当前用户群的视频流数据，以及由当前用户群中的某一个或多个用户发出的要求切换当前播放的广告的指令。
2、判断是否接收到要求切换当前播放的广告的指令，是则对反映该指令的特征量SW赋值为1，否则对SW赋值为0。
步骤三、计算各个用户对当前广告的认可度评价值
1、对语音流数据进行语音识别，提取出其中与当前播放的广告关联的关键词数据集内的特征数据相匹配的关键词，并统计其数量N1。
2、对视频流数据进行视频动作识别；提取出其中表征用户对当前播放的广告进行反馈的姿态动作，并统计其数量N2。
3、对视频流数据进行视频动作识别；提取出其中反映当前用户的眼神关注位置变化的特征动作，根据特征动作计算当前用户对当前播放的广告的关注时长tn；其中，n表示当前用户的用户编号。
4、对视频流数据的分帧图像按照采样频率进行隔帧采样；对隔帧采样的图像进行图像识别；提取出各个用户的面部表情，并将面部表情分类为喜欢、忽视或厌恶；分别统计各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在该用户总体样本量中的占比。
5、获取所述SW的值。
6、通过如下的公式计算各个用户对当前广告的认可度评价值En：
Figure BDA0003124284950000071
上式中，n表示当前用户的所述用户编号，En表示编号为n的用户对当前播放的广告的评价值，En≥0，且En的值越大反映用户对当前播放的多媒体的认可度越高；
Figure BDA0003124284950000072
表示编号为n的用户对当前播放的广告的注意力集中度；k1表示语音信息反馈对整体认可度评价结果的影响因子；k2表示姿态动作反馈对整体认可度评价结果的影响因子；k3表示表情反馈对整体认可度评价结果的影响因子；k4表示注意力集中度对整体认可度评价结果的影响因子；m1表示语音信息反馈中单个关键词的得分；m2表示姿态动作反馈中单个姿态动作的得分；m3表示注意力集中度的得分；a表示喜欢表情的得分，p1,n为编号为n的用户分类为喜欢的表情在隔帧采样的图像总量中的占比；b表示忽视表情的得分，p2,n为编号为n的用户分类为忽视的表情在隔帧采样的图像总量中的占比；c表示厌恶表情的得分，p3,n为编号为n的用户分类为厌恶的表情在隔帧采样的图像总量中的占比。
步骤四、更新广告播放序列表
1、获取一个更新周期内所有已播放的广告序列表中各个广告的平均认可度评价结果
Figure BDA0003124284950000073
Figure BDA0003124284950000074
的计算公式如下：
Figure BDA0003124284950000075
上式中，i表示广告播放序列表中的各个广告的编号。
2、根据各个广告的
Figure BDA0003124284950000076
值从大到小的顺序，对更新周期内所有的已播放广告进行排序，得到已播放广告的评分排名表。
3、获取需要增加投放的广告及其数量，将评分排名表中排名靠后的相应数量的已播放广告从广告播放序列表中删除，并将需要增加投放的广告添加到广告播放序列表中，完成广告序列表的更新过程。
分析本实施例中的技术方案可以发现，本实施例是在实施例1中分析出各个用户对每个播放的广告的认可度评价的基础上，对广告设备中的广告播放序列表进行更新。该方法的逻辑是：当一个广告更新周期到来时，系统会对该周期内每个广告播放时收到的所有用户的反馈进行评分累计，计算各个广告在用户眼里的认可度评价的平均值。该平均值越大，则说明该广告对目标客户的覆盖面约越大，也就是说当前广告投放区域内经常出现的用户属于该广告的目标投放群体，因此应该加大该广告的投放频率。反之要减少该广告的投放频率，基于这种结论，本实施例的方法就很好的实现了该过程。
需要特别说明的是：前述的实施例5中解决的是针对不同目标群体的广告播放序列表的排序问题，即广告精准投放问题，而本实施例9中解决的是在一个广告投放周期内对广告播放序列表内的部分广告进行更新替换的问题，即广告更刊问题。二者是完全不一样的。
实施例3
本实施例提供一种基于特征识别的用户对广告的认可度评价方法，如图7所示，实施例1中的具备语音交互功能的车库巨幕MAX智能终端即采用该方法实现对待投放广告的评分过程。该评级方法包括如下步骤：
步骤一：获取当前播放的广告的特征数据，具体为：
获取播放的各个广告的播放时长T，以及各个广告关联的关键词数据集。
其中，关键词数据集内的特征数据为预先设定的多个与当前播放的广告的内容相关的关键词。每个广告的所述关键词数据集内的特征数据至少包括：
(1)反映广告的宣传产品的关键词。
(2)反映广告针对的目标客户群体的关键词。
(3)反映广告的代言人或广告的人物形象的关键词。
(4)广告词中的高频或特殊关键词。
(5)广告的时长分类。
(6)广告的风格分类。
步骤二、获取各个用户对广告播放的反馈数据，具体为：
1、获取广告播放期间由广告投放区域内所有用户产生的语音流数据，监控广告投放区域内所有用户的视频流数据，以及由广告投放区域内某一个或多个用户发出的要求切换当前播放的广告的指令。
其中，用户发出的要求切换当前播放的广告的指令的方式包括按键输入、语音交互和手势交互。语音交互通过识别由用户发出的要求切换当前播放的广告的语音关键词来实现；手势交互通过识别由用户发出的要求切换当前播放的广告的特征手势来实现；按键输入表示由用户直接通过按键来输入的要求切换当前播放的广告的按键输入指令。
语音关键词由语音识别算法根据实时的语音流数据识别获取；特征手势由视频动作识别算法根据实时的视频流数据获取得到；按键输入指令通过安装在广告播放现场的实体切换按键模块获取。
在本实施例中，用户的反馈主要包括以下几个方面：
(1)用户观看广告时表情的变化。
(2)用户针对广告的直接讨论。例如谈论广告中的某个演员或代言人，谈论产品的效果等等
(3)用户观看广告时作出的手势动作。例如某个用户的手直接指向广告播放设备，提示其它用户注意，这就反映该用户是关心当前播放的广告的。
(4)用户观看某个广告的注意力集中的时间。
(5)用户要求切换当前播放的广告。这直接反映了用户不喜欢该广告。
此外，在技术条件成熟的情况也可以对其它类型反馈进行提取，并应用到后期的数据分析中，例如用户的笑声、以及其它细节方面的特征动作等。
2、判断是否接收到要求切换当前播放的广告的指令，是则对反映该指令的特征量SW赋值为1，否则对SW赋值为0。
步骤三、计算各个用户对当前广告的认可度评价值，具体为：
1、对语音流数据进行语音识别，提取出其中与关键词数据集内的特征数据相匹配的关键词，并统计其数量N1。
2、对视频流数据进行视频动作识别；提取出其中表征用户对当前播放的广告进行反馈的姿态动作，并统计其数量N2。
其中，用户对当前播放的广告进行反馈的姿态动作包括用户在广告播放期间产生的点头、鼓掌、手部指向广告播放界面，头部由非直视状态切换至直视状态的抬头或转头动作等。
3、对视频流数据进行视频动作识别；提取出其中反映各个用户的眼神关注位置变化的特征动作，根据特征动作计算各个用户对当前播放的广告的关注时长tn；其中，n表示当前用户的用户编号。
编号为n的用户对当前播放的广告的关注时长tn的计算方法如下：
Figure BDA0003124284950000091
上式中，t1n表示编号为n的用户在当前广告播放期间的直视时长；t2n表示编号为n的用户在当前广告播放期间的闭眼时长；t3n表示编号为n的用户在当前广告播放期间的低头时长；t4n表示编号为n的用户在当前广告播放期间的转头时长。
本实施例中，在统计用户对广告的关注时长时，既考虑到了用户直视广告播放界面的时长，也考虑到用户非直视状态下的时长。本实施例主要通过将确定属于非关注状态下的时长剔除，然后与确定属于关注状态的时长进行求平均值大致可以得到相对准确的关注时长。
4、对视频流数据的分帧图像按照采样频率进行隔帧采样；对隔帧采样的图像进行图像识别；提取出各个用户的面部表情，并将面部表情分类为喜欢、忽视或厌恶；分别统计各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在该用户总体样本量中的占比。
5、获取所述SW的值。
6、通过如下的公式计算各个用户对当前广告的认可度评价值En：
Figure BDA0003124284950000092
上式中，n表示当前用户的用户编号，En表示编号为n的用户对当前播放的广告的评价值，En≥0，且En的值越大反映用户对当前播放的多媒体的认可度越高；
Figure BDA0003124284950000093
表示编号为n的用户对当前播放的广告的注意力集中度；k1表示语音信息反馈对整体认可度评价结果的影响因子；k2表示姿态动作反馈对整体认可度评价结果的影响因子；k3表示表情反馈对整体认可度评价结果的影响因子；k4表示注意力集中度对整体认可度评价结果的影响因子；m1表示语音信息反馈中单个关键词的得分；m2表示姿态动作反馈中单个姿态动作的得分；m3表示注意力集中度的得分；a表示喜欢表情的得分，p1,n为表征编号为n的用户分类为喜欢的表情在隔帧采样的图像总量中的占比；b表示忽视表情的得分，p2,n为表征编号为n的用户分类为忽视的表情在隔帧采样的图像总量中的占比；c表示厌恶表情的得分，p3,n为表征编号为n的用户分类为厌恶的表情在隔帧采样的图像总量中的占比。
本实施例提供的方法，能够根据用户在播放广告时作出反馈，对反馈的各类型特征进行识别，进而得出用户对该广告的认可度评价。这种方法可以采集到用户的各种不同类型的反馈，得到的用户对广告的认可度评价结果更加精准，能够作为评估广告投放效果的依据。
实施例4
在实施例2的基础上，本实施例进一步提供了一种基于用户画像的广告精准投放方法。
如图8所示，该精准投放方法包括如下步骤：
步骤一：获取当前用户的用户标签
1、获取广告投放区域内各个当前用户的面部特征。
2、对各个当前用户依次进行面部识别，根据面部识别的结果查询一个包含多个历史用户的用户画像数据集的广告分析数据库，并作出如下判断：
(1)在当前用户的面部特征与其中一个历史用户面部特征数据中的特征数据相匹配时，获取历史用户的用户标签中的所有特征数据。
(2)在当前用户的面部特征与所有的历史用户的面部特征数据中的特征数据均不匹配时，判定当前用户为新增用户，为新增用户建立一个空的用户标签。
其中，用户画像数据集中包含对应的历史用户的面部特征数据和用户标签；用户标签包括身份标签、喜好标签和厌恶标签。
本实施例中的广告分析数据库是预先建立的用于实现对用户兴趣爱好进行精准画像的数据库。广告分析数据库是按照不同历史用户进行分档存储的，广告分析数据库内的每个历史用户的数据主要包括以下几个方面的内容：
(1)用户的面部特征；该特征主要用于区分不同用户的身份，作为用户的唯一身份标记，同时，广告分析数据库还根据不同的身份标记为用户分配一个专属的用户编号。
(2)用户的身份特征；该部分数据的内容较为丰富，涵盖了可以获取到的对区分用户身份特征有用的一切特征，包括年龄、身高、体态、穿着打扮、生理状态等等，这些特征对于判断用户的工作类型、行为习惯、需求特点、爱好、群属等具有参考价值。该部分内容存储在身份标签中。
(3)用户的喜好对象；该部分的数据是通过用户对不同类型广告的反馈获得的，这部分的内容是不断更新，不断优化的；基本可以刻画用户当前状态下的关心和喜好的对象。该部分内容存储在喜好标签内。
(4)用户的厌恶对象；该部分的数据是通过用户对不同类型广告的反馈获得的，这部分的内容也是不断更新，不断优化的；基本可以刻画用户当前状态下的不关心或厌恶的对象。该部分内容存储在厌恶标签中。
3、获取新增用户的多角度图像，对多角度图像进行图像识别，根据识别结果对新增用户的身份标签内的特征数据进行补充；其中，身份标签中补充的特征数据包括用户编号、性别、年龄段、穿着风格和其它特征；其它特征表示可识别出的对区分用户身份特征有用的非性别、年龄段和穿着风格的特征。
步骤二：建立当前用户群的目标画像数据集
1、设定一个历史用户比例临界值q0，计算广告投放区域内识别为历史用户的当前用户在当前用户群中的占比q。
2、判断q与q0的大小关系，根据判断结果作出如下决策：
(1)当q≥q0时，提取所有历史用户的喜好标签中的特征数据，对上述特征数据去重后，将其作为当前用户群的目标画像数据集。
(2)当q＜q0时，先提取所有历史用户的喜好标签中的特征数据；再依次计算各个新增用户的身份标签中的内容与各个历史用户的身份标签中内容的重合度Dc1，Dc1的计算公式如下：
Figure BDA0003124284950000101
提取与各个新增用户的身份标签的重合度Dc1最大的历史用户的喜好标签中的特征数据；将两部分特征数据(识别出的历史用户以及与各个新增用户身份标签重合度最大的历史用户的喜好标签)合并，且完成特征数据去重后，作为当前用户群的目标画像数据集。
步骤三：调整广告播放序列表中的广告的播放顺序
1、获取广告播放序列表中的各个广告关联的关键词数据集，关键词数据集内的特征数据为预先设定的多个与当前播放的广告的内容相关的关键词。
2、获取目标画像数据集中的特征数据，并计算各个广告关联的关键词数据集中的特征数据与目标画像数据集中的特征数据的重合度Dc2，Dc2的计算公式如下：
Figure BDA0003124284950000111
3、按照每个广告的Dc2的计算结果从大到小的顺序，对广告播放序列表中的各个广告进行排序，得到重新调整的广告播放序列表。
本实施中提供的一种广告投放系统中广告播放序列表的调整方法主要基于的原理和实现逻辑如下：
本实施例在广告投放时，对于广告投放区域的所有用户进行人脸识别，能够区分出这些用户属于广告分析数据库中的历史用户，还是广告分析数据库未采集到的新增用户。
考虑到广告分析数据已经实现了对历史用户的画像过程，即用户标签中丰富的特征数据。这时，当广告投放区域内的绝大部分用户均属于历史用户时，可以认为这些历史用户的需求和喜好能够代表当前的整个用户群体。通过获取相应的历史用户的喜好标签，然后提取其中的特征数据，就可以得到一个用于刻画当前用户群体喜欢或需求的目标画像数据集。
当广告投放区域内的新增用户的数量达到一定程度时，就不能仅仅依靠历史用户进行画像。在这时再对这些新增用户进行实时的分析显然已经来不及，但是由于本实施可以查询到一个样本量足够大，数据足够丰富的广告分析数据集，因此本实施例可以通过对这些新增用户进行身份特征的识别(可以通过图像识别技术实现)，然后利用这种身份特征去和广告分析数据集中的用户标签比对，从中提取最契合的历史用户，用这个历史用户的用户标签临时作为新增用户的用户标签使用，进而得到该新增用户的喜好标签的中的特征。由于用户的身份特征(如年龄、身高、性别、穿着打扮、生理特征)与用户的需求或喜好(喜好标签中的特征)具有极大的相关性。因此本实施例中的这种近似替代应该是具有很高的可信度的。本实施例通过这种技术方案可以获得包含大量新增用户的用户群体的目标画像数据集。
在获得广告投放区域中的用户群体的目标画像数据集后，本实施例进一步将目标画像数据集中的特征数据与各个待播放的广告的关键词数据集进行比对，可以发现二者的重叠度，重叠度越高则说明该用户群体是该广告的目标客户，这时应该将这些广告放在优先投放的位置，基于这种逻辑，本实施例实现了对广告播放序列表的重新排序，保证最适合的广告能更优先投放到目标群体中。
实施例5
本实施例提供一种商圈场景下的用户需求的及时分析方法，该方法是在实施例4的基础上进行进一步开发得到的，实现了对特定用户的用户需求进行最直接快速的预测或评估。如图9所示，该方法包括如下步骤：
步骤1：获取广告投放区域内当前用户的面部特征。
步骤2：对当前用户依次进行面部识别，根据面部识别的结果查询一个包含多个历史用户的用户画像数据集的广告分析数据库(广告分析数据集即为前述实施例中广告分析数据库)，作出如下判断：
(1)在当前用户的面部特征与其中一个历史用户面部特征数据中的特征数据相匹配时，获取历史用户的用户标签中的所有特征数据。
(2)在当前用户的面部特征与所有的历史用户的面部特征数据中的特征数据均不匹配时，判定当前用户为新增用户，为新增用户建立一个空的用户标签。
其中，用户画像数据集中包含对应的历史用户的面部特征数据和用户标签；用户标签包括身份标签、喜好标签和厌恶标签。
本实施例中的广告分析数据库是预先建立的用于实现对用户兴趣爱好进行精准画像的数据库。广告分析数据库是按照不同历史用户进行分档存储的，广告分析数据库内的每个历史用户的数据主要包括以下几个方面的内容：
(1)用户的面部特征；该特征主要用于区分不同用户的身份，作为用户的唯一身份标记，同时，广告分析数据库还根据不同的身份标记为用户分配一个专属的用户编号。
(2)用户的身份特征；该部分数据的内容较为丰富，涵盖了可以获取到的对区分用户身份特征有用的一切特征，包括年龄、身高、体态、穿着打扮、生理状态等等，这些特征对于判断用户的工作类型、行为习惯、需求特点、爱好、群属等具有参考价值。该部分内容存储在身份标签中。
(3)用户的喜好对象；该部分的数据是通过用户对不同类型广告的反馈获得的，这部分的内容是不断更新，不断优化的；基本可以刻画用户当前状态下的关心和喜好的对象。该部分内容存储在喜好标签内。
(4)用户的厌恶对象；该部分的数据是通过用户对不同类型广告的反馈获得的，这部分的内容也是不断更新，不断优化的；基本可以刻画用户当前状态下的不关心或厌恶的对象。该部分内容存储在厌恶标签中。
步骤3：获取新增用户的多角度图像，对多角度图像进行图像识别，根据识别结果对新增用户的身份标签内的特征数据进行补充；其中，身份标签中补充的特征数据包括用户编号、性别、年龄段、穿着风格和其它特征；其它特征表示可识别出的对区分用户身份特征有用的非性别、年龄段和穿着风格的特征。
步骤4：将所述身份标签中的所有特征数据与所述广告分析数据库中的各个历史用户的身份标签进行比对，计算二者之间的特征重合度Dc3，Dc3的计算公式如下：
Figure BDA0003124284950000121
步骤5：提取广告分析数据库中与当前用户的特征重合度Dc3数值最大的历史用户的喜好标签和厌恶标签中的特征数据，将上述特征数据填充到新增用户的用户画像数据集中，完成对当前用户的用户需求的及时分析过程。
分析上述过程可以发现，本实施例中的该方法，可以在用户刚出场时就对其进行分析和识别，进而建立一个预估的特征和行为的画像数据集，预测用户的喜好和厌恶的对象；并基于这种预测实现对用户需求的及时分析。这种分析的方法更加及时、有效，无需对用户进行长时间的“跟踪”和评估。因此具有较高的实用价值，同时需要说明的是，这种及时分析结果的准确性，与包含多个历史用户的用户画像数据集的广告分析数据库中的样本量具有很大的相关性。广告分析数据库的样本量越大，这种及时分析的结果越准确。
本实施例的方法的逻辑就是，首先获取出现在特定场景下的用户的面部特征，判定该用户的数据样本是否已经收录在广告分析数据库中，是则直接提取该用户收录在广告分析数据库中喜好标签和厌恶标签的内容，以此作为该用户的用户画像数据集，进而分析和预测出该用户的用户需求。当该用户的数据样本并未收录在广告分析数据库中之时，则先提取该用户的身份特征，然后将广告分析数据库中收录各各个历史用户中身份特征与该用户最相似(通过Dc3判断)的历史用户的身份标签中的喜好标签和厌恶标签提取出来，并作为当前用户的用户画像数据集，进而分析出该用户的用户需求。
需要特别说明的是：本实施例中解决的是单个用户的快速画像和用户需求快速分析问题，而实施例5则是解决了对整个用户群体的画像和整个群体的用户需求与待投放的广告之间的匹配问题。二者具有联系且存在明显区别。
实施例6
本实施例提供一种用户需求和广告内容的匹配方法，该方法是在实施例5的基础上开发的，用于从当前待投放的广告中挑选出与当前用户最匹配的广告；如图10所示，该匹配方法包括如下步骤：
步骤1：获取当前待投放的所有广告的关键词数据集；该关键词数据集即为前述任意一个实施例中建立的关键词数据集；关键词数据集中包含了反映广告内容的各种特征数据的关键词。
步骤2：获取当前用户的用户画像数据集，用户画像数据集中包括了用户的面部特征数据和用户标签，用户标签包括身份标签、喜好标签和厌恶标签。
步骤3：计算各个广告的关键词数据集中的特征数据与当前用户画像数据集中的数据的匹配度Dc4，Dc4的计算公式如下：
Figure BDA0003124284950000131
步骤4：将Dc4的值最大广告作为与当前用户最匹配的广告，完成用户需求和广告内容的匹配过程。
经过匹配后的广告与用户的实际需求最匹配，也就可以获得最佳的宣传推广效果。在实际应用中，对于识别出的当前用户，应该优先投放最匹配的广告。
本实施例中采用的用户需求和广告内容的匹配方法采用的是特征匹配，这种特征匹配过程中，表征用户的需求的特征(喜好标签中的特征)本身就是根据用户对历史广告播放过程中的反馈得出的，并且特征数据就是对应的广告的关键词。因此在与实际的待投放的广告进行特征匹配时，通常是非常容易匹配成功的，且考虑到用户的喜好通常具有一致性和长期性，因此这种特征匹配的结果也会更准确。
实施例7
本实施例提供一种广告分析数据库的创建方法，前述实施例中提到的广告分析数据库即是通过如下方法创建的：
步骤一、建立各个用户的用户标签
1、在广告播放过程中，依次获取各个用户的面部特征，对面部特征进行面部识别。
2、根据面部识别的结果查询广告分析数据库，判断当前用户的面部特征是否与广告分析数据库中的某个历史用户的面部特征匹配：
(1)是则跳过当前用户。
(2)否则为当前用户建立一个空的用户标签；用户标签中包括身份标签、喜好标签和厌恶标签。
3、获取各个用户的多角度图像，根据多角度图像的图像识别结果，对各个用户的身份标签内的特征数据进行补充。
在该步骤，可以实现对每个用户进行建档，无论是新增用户还是历史用户，只要该用户出现在目标区域，能够被捕捉到，就可以对该用户进行建档和分析。这使得本实施例中建立的广告分析数据库的规模能够达到较高水平，样本也足够丰富。为后期应用该数据库进行应用开发奠定数据基础。
在本实施例中，身份标签中补充的特征数据包括用户编号、性别、年龄段、穿着风格和其它特征；其它特征表示可识别出的对区分用户身份特征有用的非性别、年龄段和穿着风格的特征。
身份标签中的年龄段为根据图像识别结果归类的0-10岁，10-20岁，20-30岁，30-50岁，50-70岁，70岁以上的其中一个；身份标签中的穿着风格包括休闲、商务、运动、儿童或老年。本实施例中考虑到年龄对用户的需求有着重要的影响，因此年龄特征是必须要考虑的身份特征之一。同时由于常规的图像信息收集无法直接获取到用户的职业特征，本实施例通过对用户穿着风格进行分类，可以在一定程度上对用户的职业或社会身份进行大致划分。
同时，身份标签中的其它特征反映的内容包括是否佩戴眼镜，是否佩戴帽子，是否脱发，是否涂抹口红，是否穿高跟鞋，是否蓄须，是否佩戴腕表等；对于上述特征，是则在其它特征中添加反映该特征的特征数据，否则不在其它特征中添加特征数据。身份标签中的其它特征均是一些非常典型的区分用户的特征，这些特征与不同的用户的消费需求具有很大的相关性。例如涂口红穿高跟鞋的女性对服装、化妆品类的广告可能具有更高的好感度。蓄须的人通常对剃须刀并不非常关心。脱发人群对生发类产品和保健品可能更感兴趣等。
事实上，在应用一些更多样的特征提取技术之后，本实施例还可以获取更多不同类型的身份特征，获得的特征量越丰富，对用户的特征分类也就更加细化。
步骤二、获取当前播放的广告的特征数据
1、获取播放的各个广告的播放时长T，以及各个广告关联的关键词数据集。
其中，关键词数据集内的特征数据为预先设定的多个与当前播放的广告的内容相关的关键词。每个广告的所述关键词数据集内的特征数据至少包括：
(1)反映广告的宣传产品的关键词。
(2)反映广告针对的目标客户群体的关键词。
(3)反映广告的代言人或广告的人物形象的关键词。
(4)广告词中的高频或特殊关键词。
(5)广告的时长分类。
(6)广告的风格分类。
本实施例中，为每个广告设置了丰富的关键词，这些关键词包括了客户可以从一个广告中接收到的各类型的信息。当用户对该广告表示认可，或对广告中的内容作出正面反馈时，则可以认为，该广告的关键词数据集中某些或全部特征是用户关心或喜好的。相反地，当用户对某个广告表现出厌恶或作出负面反馈时，则可以认为用户对该广告的关键词数据集中的某些特征是不关心或厌恶的。通过这种方式方式。当收集到相应用户对不同类型广告的反馈数据的样本量足够大时，基本可以分析出客户的喜好，进而能够实现对用户的喜好进行画像。
步骤三、获取各个用户对广告播放的反馈数据
1、获取广告播放期间由广告投放区域内所有用户产生的语音流数据，监控广告投放区域内所有用户的视频流数据，以及由广告投放区域内某一个或多个用户发出的要求切换当前播放的广告的指令。
其中，用户发出的要求切换当前播放的广告的指令的方式包括按键输入、语音交互和手势交互。语音交互通过识别由用户发出的要求切换当前播放的广告的语音关键词来实现；手势交互通过识别由用户发出的要求切换当前播放的广告的特征手势来实现；按键输入表示由用户直接通过按键来输入的要求切换当前播放的广告的按键输入指令。
语音关键词由语音识别算法根据实时的语音流数据识别获取；特征手势由视频动作识别算法根据实时的视频流数据获取得到；按键输入指令通过安装在广告播放现场的实体切换按键模块获取。
在本实施例中，用户的反馈主要包括以下几个方面：
(1)用户观看广告时表情的变化。
(2)用户针对广告的直接讨论。例如谈论广告中的某个演员或代言人，谈论产品的效果等等
(3)用户观看广告时作出的手势动作。例如某个用户的手直接指向广告播放设备，提示其它用户注意观看，这就反映该用户是关心当前播放的广告的。
(4)用户观看某个广告的注意力集中的时间。
(5)用户要求切换当前播放的广告。这直接反映了用户不喜欢该广告。
此外，在技术条件成熟的情况也可以对其它类型反馈进行提取，并应用到后期的数据分析中，例如用户的笑声、以及其它细节方面的特征动作等。
2、判断是否接收到要求切换当前播放的广告的指令，是则对反映该指令的特征量SW赋值为1，否则对SW赋值为0。
步骤四、计算各个用户对当前广告的认可度评价值
1、对语音流数据进行语音识别，提取出其中与关键词数据集内的特征数据相匹配的关键词，并统计其数量N1。
2、对视频流数据进行视频动作识别；提取出其中表征用户对当前播放的广告进行反馈的姿态动作，并统计其数量N2。
其中，用户对当前播放的广告进行反馈的姿态动作包括用户在广告播放期间产生的点头、鼓掌、手部指向广告播放界面，头部由非直视状态切换至直视状态的抬头或转头动作等。
3、对视频流数据进行视频动作识别；提取出其中反映各个用户的眼神关注位置变化的特征动作，根据特征动作计算各个用户对当前播放的广告的关注时长tn；其中，n表示当前用户的所述用户编号。
编号为n的用户对当前播放的广告的关注时长tn的计算方法如下：
Figure BDA0003124284950000151
上式中，t1n表示编号为n的用户在当前广告播放期间的直视时长；t2n表示编号为n的用户在当前广告播放期间的闭眼时长；t3n表示编号为n的用户在当前广告播放期间的低头时长；t4n表示编号为n的用户在当前广告播放期间的转头时长。
本实施例中，在统计用户对广告的关注时长时，既考虑到了用户直视广告播放界面的时长，也考虑到用户非直视状态下的时长。本实施例主要通过将确定属于非关注状态下的时长剔除，然后与确定属于关注状态的时长进行求平均值，得到相对准确的关注时长。
4、对视频流数据的分帧图像按照采样频率进行隔帧采样；对隔帧采样的图像进行图像识别；提取出各个用户的面部表情，并将面部表情分类为喜欢、忽视或厌恶；分别统计各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在该用户总体样本量中的占比。
5、获取所述SW的值。
6、通过如下的公式计算各个用户对当前广告的认可度评价值En：
Figure BDA0003124284950000152
上式中，n表示当前用户的用户编号，En表示编号为n的用户对当前播放的广告的评价值，En≥0，且En的值越大反映用户对当前播放的多媒体的认可度越高；
Figure BDA0003124284950000153
表示编号为n的用户对当前播放的广告的注意力集中度；k1表示语音信息反馈对整体认可度评价结果的影响因子；k2表示姿态动作反馈对整体认可度评价结果的影响因子；k3表示表情反馈对整体认可度评价结果的影响因子；k4表示注意力集中度对整体认可度评价结果的影响因子；m1表示语音信息反馈中单个关键词的得分；m2表示姿态动作反馈中单个姿态动作的得分；m3表示注意力集中度的得分；a表示喜欢表情的得分，p1,n为表征编号为n的用户分类为喜欢的表情在隔帧采样的图像总量中的占比；b表示忽视表情的得分，p2,n为表征编号为n的用户分类为忽视的表情在隔帧采样的图像总量中的占比；c表示厌恶表情的得分，p3,n为表征编号为n的用户分类为厌恶的表情在隔帧采样的图像总量中的占比。
本实施例中，表情识别可以采用经过大量样本训练的神经网络算法完成。语音识别、视频动作识别等也都有大量可以直接应用的产品，对于这部分内容，本实施例不再进行赘述。
本实施例中通过语音识别、图像识别和视频动作识别的技术从用户的语音流数据、和视频流数据提取出用户对播放的广告作出的各类型反馈信息，这些反馈信息经过本实施例提供的方法进行量化后，可以得到一个反映用户对当前广告的认可度的评价结果。这个结果反映了用户的当前广告的喜恶程度，进而可以用于刻画用户的需求或兴趣。
步骤五、广告分析数据库的建立或更新
1、设定En的一个高阈值Eh和一个低阈值El，其中，Eh表示用户喜欢当前播放的广告的临界值，El表示用户厌恶当前播放的广告的临界值，El＞0。
2、当En≥Eh且p1，n+p2，n≥p3，n时，将当前播放的广告关联的关键词数据集内的特征数据添加到当前用户对应的喜好标签中，并对补充后的喜好标签进行特征数据去重；再将当前用户对应的厌恶标签中与关键词数据集内的特征数据相同的特征数据删除。
3、当E≤El且p2，n+p3，n≥p1，n时，将当前播放的广告关联的关键词数据集内的特征数据添加到当前用户对应的厌恶标签中，并对补充后的厌恶标签进行特征数据去重；再将当前用户对应的喜好标签中与关键词数据集内的特征数据相匹配的特征数据删除。
4、更新每个用户的用户标签，得到各个用户的新的用户画像数据集，创建广告分析数据库。
其中，用户画像数据集中包括对应的用户的面部特征数据和用户标签。
广告分析数据库中最核心的内容是根据对用户的行为分析得到的喜好标签和厌恶标签的内容，这部分内容是后期用于进行用户需求分析的直接数据。在本实施例中，通过对用户在观看广告时的反馈，可以直接估测出用户的喜恶，而用户的喜恶应该与广告的关键词数据集中的部分或全部特征是一致的。因此本实施例中在每个广告播放后，通过对用户的反馈信息的分析统计，确定用户该广告的准确态度，然后在满足特定条件时将广告的关键词数据集作为当前用户的喜好标签或厌恶标签中的特征。
为了避免出现误分类的现象，这里需要对判定出的用户的态度进行更严格的审核。本实施例的判定过程引入了根据专家经验确定的特殊的阈值，以此作为判断用户的真实态度的依据，本实施例中的阈值Eh和El是经过反复核验之后确定，能够具有较高的可信度。进而保证最终对用户的画像是精准可靠的。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种具备智能语音交互功能的车库巨幕MAX智能终端，其特征在于，所述车库巨幕MAX智能终端用于根据用户在播放广告时与自身交互的过程，实现对广告播放序列表中待投放广告的更新，所述车库巨幕MAX智能终端包括：
广告播放模块，其用于根据广告播放序列表依次播放各个待投放的广告，并在接收到一个由人机交互模块发出的切换指令后对正在播放的广告进行切换；
语音采集模块，其用于在所述广告播放模块播放每个广告时，采集广告播放模块周围由观看广告的用户群产生的语音信息；
视频监控模块，其用于在所述广告播放模块播放每个广告时，对广告播放模块周围观看广告的用户群进行多角度监控；
广告特征数据提取模块，其用于提取所述广告播放模块播放的每一个广告的播放时长T，以及该广告关联的一个关键词数据集；
人机交互模块，其用于获取由用户发出的要求切换当前播放的广告的请求，并发出切换指令；其中，用户发出要求切换当前播放的广告的请求的方式包括按键输入、语音交互和手势交互；
用户反馈数据提取模块，其用于从所述语音采集模块、视频监控模块和人机交互模块中提取包含用户对播放的广告的反馈信息的语音流数据、视频流数据和所述切换指令；
图像识别模块，其用于对所述视频流数据经分帧处理得到的图像数据集进行图像识别，进而提取所有用户在广告播放期间的表情，并将表情分类为喜欢、忽视或厌恶中的其中一种；
语音识别模块，其用于对所述语音流数据进行语音识别；
视频动作识别模块，其用于对所述视频流数据进行视频动作识别；
认可度评价值计算模块，其用于根据所述图像识别模块、语音识别模块、视频动作识别模块得到的结果，计算各个用户对当前广告的认可度评价值En；以及
广告播放序列更新模块，其用于：
(1)获取一个更新周期内所有已播放的广告序列表中各个广告的平均认可度评价结果
Figure FDA0003124284940000011
所述
Figure FDA0003124284940000012
的计算公式如下：
Figure FDA0003124284940000013
上式中，i表示广告播放序列表中的各个广告的编号；
(2)根据各个广告的
Figure FDA0003124284940000014
值从大到小的顺序，对所述更新周期内所有的已播放广告进行排序，得到所述已播放广告的评分排名表；
(3)获取需要增加投放的广告及其数量，将所述评分排名表中排名靠后的相应数量的已播放广告从所述广告播放序列表中删除，并将需要增加投放的广告添加到所述广告播放序列表中，完成所述广告播放序列表的更新过程。
2.如权利要求1所述的具备智能语音交互功能的车库巨幕MAX智能终端，其特征在于：所述用户反馈数据提取模块的具体功能包括：
(1)接收所述语音采集模块采集的语音信息，得到与各个广告相关的语音流数据；
(2)接收所述视频监控模块采集的多角度监控视频，得到与各个广告相关的视频流数据；
(3)获取由人机交互模块发出的要求切换当前播放的广告的所述切换指令，并在接收到所述切换指令时，将表征切换指令的特征量SW赋值为1，否则对SW赋值为0。
3.如权利要求2所述的具备智能语音交互功能的车库巨幕MAX智能终端，其特征在于：所述语音识别模块的具体功能包括：
(1)获取广告播放期间由用户发出的表征要求切换当前播放的广告的一个语音交互指令；
(2)提取语音流数据中的所有词语，从中找出与所述关键词数据集中的特征数据相匹配的关键词。
4.如权利要求3所述的具备智能语音交互功能的车库巨幕MAX智能终端，其特征在于：所述视频动作识别模块的具体功能包括：
(1)提取出视频流数据中由某个用户发出的表征要求切换当前播放的广告的一个手势交互指令；
(2)提取出视频流数据中由某个用户发出的表征对当前播放的广告作出反馈的姿态动作；
(3)提取出反映某个用户在当前广告播放过程中眼神关注位置变化的特征动作。
5.如权利要求4所述的具备智能语音交互功能的车库巨幕MAX智能终端，其特征在于：所述认可度评价值计算模块计算各个用户对当前广告的认可度评价值En的过程具体包括：
(1)获取由所述语音识别模块识别的与所述关键词数据集中的特征数据相匹配的关键词，并统计其数量N1；
(2)获取由所述视频动作识别模块识别的表征用户对当前播放的广告作出反馈的所述姿态动作，并统计其数量N2；
(3)获取由所述视频动作识别模块识别的反映某个用户在当前广告播放过程中眼神关注位置变化的特征动作，根据所述特征动作计算当前用户对当前播放的广告的关注时长tn；
(4)获取由所述图像识别模块识别的各个用户的三类表情分类结果的数量，并计算各个用户的三类表情分类结果的数量在总体样本量中的占比；
(5)获取SW的值；
(6)通过如下的公式计算各个用户对当前广告的认可度评价值En：
Figure FDA0003124284940000021
上式中，n表示当前用户的所述用户编号，En表示编号为n的用户对当前播放的广告的评价值，En≥0，且En的值越大反映用户对当前播放的多媒体的认可度越高；
Figure FDA0003124284940000022
表示编号为n的用户对当前播放的广告的注意力集中度；k1表示语音信息反馈对整体认可度评价结果的影响因子；k2表示姿态动作反馈对整体认可度评价结果的影响因子；k3表示表情反馈对整体认可度评价结果的影响因子；k4表示注意力集中度对整体认可度评价结果的影响因子；m1表示语音信息反馈中单个关键词的得分；m2表示姿态动作反馈中单个姿态动作的得分；m3表示注意力集中度的得分；a表示喜欢表情的得分，p1,n为编号为n的用户分类为喜欢的表情在隔帧采样的图像总量中的占比；b表示忽视表情的得分，p2,n为编号为n的用户分类为忽视的表情在隔帧采样的图像总量中的占比；c表示厌恶表情的得分，p3,n为编号为n的用户分类为厌恶的表情在隔帧采样的图像总量中的占比。
6.如权利要求1所述的具备智能语音交互功能的车库巨幕MAX智能终端，其特征在于：所述广告播放模块为车库巨幕MAX显示屏；所述语音采集模块为安装在所述车库巨幕MAX显示屏周围的多个拾音器；所述拾音器分布于面向所述车库巨幕MAX显示屏显示面的一侧；所述视频监控模块的取景范围是面向所述车库巨幕MAX显示屏显示面的一侧，所述视频监控模块包括多个监控摄像头，各个所述监控摄像头从不同角度对取景范围进行摄像。
7.如权利要求1所述的具备智能语音交互功能的车库巨幕MAX智能终端，其特征在于：所述人机交互模块中包括实体的按键模组，所述按键模组用于接收由用户直接发出的要求切换当前播放的广告的按键输入指令；所述人机交互模块还包括语音交互单元和手势交互单元；所述语音交互单元用于获取由用户发出的要求切换当前播放的广告的语音交互指令，所述语音交互指令由所述语音识别模块根据实时的语音流数据进行语音识别得到；所述手势交互单元用于获取由用户发出的要求切换当前播放的广告的手势交互指令，所述手势交互指令由所述视频动作识别模块根据实时的视频流数据进行视频动作识别得到。
8.如权利要求1所述的具备智能语音交互功能的车库巨幕MAX智能终端，其特征在于：所述图像识别模块包括表情识别单元，所述表情识别单元采用经过大量训练集训练的神经网络识别算法完成对图像中用户的表情的分类过程。
9.如权利要求1所述的具备智能语音交互功能的车库巨幕MAX智能终端，其特征在于：所述语音识别模块包括语音交互指令提取单元和关键词提取单元，所述语音交互指令提取单元将提取到的语音交互指令发送到所述人机交互模块中的语音交互单元中；所述关键词提取单元将提取到的与所述关键词数据集中的特征数据相匹配的关键词发送到所述认可度评价值计算模块。
10.如权利要求1所述的具备智能语音交互功能的车库巨幕MAX智能终端，其特征在于：所述视频动作提取模块包括手势交互指令提取单元、姿态动作反馈提取单元，眼神特征动作提取单元；所述手势交互指令提取单元将提取到的手势交互指令发送到所述人机交互模块中的手势交互单元中；所述姿态动作反馈提取单元和眼神特征动作提取单元将提取到的特征数据发送到所述认可度评价值计算模块。
CN202110685129.0A 2021-06-21 2021-06-21 一种具备智能语音交互功能的车库巨幕max智能终端 Withdrawn CN113377327A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110685129.0A CN113377327A (zh) 2021-06-21 2021-06-21 一种具备智能语音交互功能的车库巨幕max智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110685129.0A CN113377327A (zh) 2021-06-21 2021-06-21 一种具备智能语音交互功能的车库巨幕max智能终端

Publications (1)

Publication Number Publication Date
CN113377327A true CN113377327A (zh) 2021-09-10

Family

ID=77578026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110685129.0A Withdrawn CN113377327A (zh) 2021-06-21 2021-06-21 一种具备智能语音交互功能的车库巨幕max智能终端

Country Status (1)

Country Link
CN (1) CN113377327A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116389004A (zh) * 2022-06-09 2023-07-04 广州市果豆科技有限责任公司 一种广告道闸智能交互方法及系统
CN116823352A (zh) * 2023-07-14 2023-09-29 菏泽学义广告设计制作有限公司 一种基于远程实时交互的广告智能设计系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116389004A (zh) * 2022-06-09 2023-07-04 广州市果豆科技有限责任公司 一种广告道闸智能交互方法及系统
CN116389004B (zh) * 2022-06-09 2024-08-16 广州市果豆科技有限责任公司 一种广告道闸智能交互方法及系统
CN116823352A (zh) * 2023-07-14 2023-09-29 菏泽学义广告设计制作有限公司 一种基于远程实时交互的广告智能设计系统

Similar Documents

Publication Publication Date Title
CN113393275B (zh) 一种基于voc车主大数据平台的智能媒介管理系统
CN113435924B (zh) 一种voc车主云大数据平台
KR101197978B1 (ko) 웃음 탐지기 및 미디어 프리젠테이션에 대한 감정 반응을 추적하기 위한 시스템 및 방법
CN113379460A (zh) 一种基于用户画像的广告精准投放方法
JP7451673B2 (ja) 視聴者エンゲージメントを評価するためのシステムおよび方法
CN106971317A (zh) 基于人脸识别与大数据分析的广告投放效果评价与智能推送决策方法
CN107146096B (zh) 一种智能视频广告展示方法及装置
CN108985845A (zh) 广告监控方法、装置及系统
CN109819325A (zh) 热点视频标注处理方法、装置、计算机设备及存储介质
WO2015180385A1 (zh) 多媒体资源推荐方法及装置
CN113469737A (zh) 一种广告分析数据库的创建系统
CN108600865B (zh) 一种基于超像素分割的视频摘要生成方法
CN102129644A (zh) 一种具有受众特性感知与统计功能的智能广告系统
JP6807389B2 (ja) メディアコンテンツのパフォーマンスの即時予測のための方法及び装置
WO2021031600A1 (zh) 数据采集方法、装置、计算机装置及存储介质
CN104573619A (zh) 基于人脸识别的智能广告大数据分析方法及系统
CN104486649B (zh) 视频内容评级方法及装置
CN110415023B (zh) 一种电梯广告推荐方法、装置、设备及存储介质
CN113377327A (zh) 一种具备智能语音交互功能的车库巨幕max智能终端
CN102930454A (zh) 基于多感知技术的智能3d广告推荐方法
CN104112209A (zh) 显示终端的受众统计方法和系统
WO2020253360A1 (zh) 应用程序的内容展示方法、装置、存储介质和计算机设备
CN108876430B (zh) 一种基于人群特征的广告推送方法、电子设备及存储介质
CN113506124B (zh) 一种智慧商圈中媒体广告投放效果的评价方法
CN112685596B (zh) 视频推荐方法及装置、终端、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210910