CN109345312A - 基于语音交互和人脸识别分类投放广告的方法及系统 - Google Patents

Abstract

本发明公开了一种基于语音交互和人脸识别分类投放广告的系统，包括云端管理系统、广告机终端，云端管理系统内设有广告素材管理单元及第一通讯单元，广告素材管理单元与第一通讯单元相连，广告机终端包括显示单元、人脸采集及识别单元、存储单元、控制处理单元及第二通讯单元，显示单元、人脸采集及识别单元、存储单元及第二通讯单元分别与控制处理单元相连，存储单元分别与第二通讯单元、显示单元相连，第一通讯单元和第二通讯单元通信连接。本发明的系统中，广告机终端通过人脸识别结合语音交互来确定人物特征和用户兴趣，从而达到精确投放广告的目的，提高广告商的经济效益。

Description

基于语音交互和人脸识别分类投放广告的方法及系统

技术领域

本发明涉及广告设备和广告投放方法技术领域，特别涉及基于语音交互和人脸识别分类投放广告的方法及系统。

背景技术

近年来，广告传媒业务迅猛发展，大量商场、小区电梯、学校等人流量大的地方都安装了广告机终端。广告机终端的软件和硬件快速更新，目前很多广告机都是基于Android系统和带有互联网访问。同时人脸识别技术和语音识别技术已发展成熟。随着显示终端硬件的成长和发展，通过语音识别技术与用户交互和人脸识别技术确定人物画像和特征，并通过互联网定向投放广告成为可能。

现有的人脸识别广告机大都是通过服务器进行人脸识别，识别完成后返回要播放的广告数据。每次广告播放都需要与服务器进行交互和视频数据传输，会产生大量数据流量，在网络异常时甚至会导致广告播放失败。同时，有些环境下仅仅通过人脸识别不能确定用户特征。需要使用其他方法辅助。如何更加精确和稳定的广告终端投放广告，提高广告投放的回报率，是本领域技术人员亟需解决的问题。

发明内容

本发明的目的是克服上述背景技术中不足，提供基于语音交互和人脸识别分类投放广告的方法及系统，通过互联网使用云端管理系统将广告分类后推送到广告机终端，广告机终端将广告下载到本地硬盘，避免实时访问服务器带来的流量消耗和网络异常时广告播放失败，广告机终端通过人脸识别结合语音交互来确定人物特征和用户兴趣，来达到精确投放广告的目的，提高广告商的经济效益。

为了达到上述的技术效果，本发明采取以下技术方案：

一种基于语音交互和人脸识别分类投放广告的系统，包括云端管理系统、广告机终端，所述云端管理系统内设有广告素材管理单元及第一通讯单元，广告素材管理单元与第一通讯单元相连，所述广告机终端包括显示单元、人脸采集及识别单元、存储单元、控制处理单元及第二通讯单元，所述显示单元、人脸采集及识别单元、存储单元及第二通讯单元分别与控制处理单元相连，存储单元分别与第二通讯单元、显示单元相连，所述第一通讯单元和第二通讯单元通信连接；所述广告素材管理单元用于存储广告素材及对应的广告播放列表，且是将广告素材至少按照年龄段、性别、类别三种维度进行分类存储，其中，每个广告素材均具有类别属性标识，广告素材管理单元通过第一通讯单元将广告素材及广告播放列表传递至广告机终端的第二通讯单元；所述存储单元用于保存第二通讯单元收到的广告素材及广告播放列表，人脸采集及识别单元用于采集广告机终端附近人物的人脸图像并分析该人物的年龄、性别特征，并将分析结果传递至控制处理单元，控制处理单元用于控制显示单元根据存储单元保存的广告播放列表播放广告，或根据人脸采集及识别单元传回的分析结果在存储单元内检索具有对应类别属性标识的广告素材并控制显示单元进行播放；

在本发明的基于语音交互和人脸识别分类投放广告的系统中，广告机终端通过互联网连接云端管理系统，在管理员将投放的广告按照年龄段、性别、类别进行多维度分类后，通过云端管理系统的服务器定期将广告素材及对应的广告播放列表推送到广告机终端，广告机终端下载广告数据到本地存储单元中，同时，广告机终端集成了人脸识别功能，通过人脸采集及识别单元采集用户人脸图像并分析，从而建立用户画像和确定用户特征，控制处理单元再直接在本地存储单元中查找符合用户特征的广告进行播放，达到向用户快速、精准的投放广告的目的，且可提高商家广告投放的质量和价值。

进一步地，所述广告机终端还包括语音获取及识别单元，所述语音获取及识别单元与控制处理单元相连，语音获取及识别单元用于获取人物输入的语音信息并识别，再将识别的结果传递至控制处理单元，由控制处理单元根据语音识别结果在存储单元内检索具有对应类别属性标识的广告素材并控制显示单元进行播放；

在广告机终端同时集成语音识别功能可进一步获取用户感兴趣的广告内容，从而为用户播放更符合其兴趣的广告。

进一步地，所述控制处理单元根据语音识别结果在存储单元内检索具有对应类别属性标识的广告素材时，先在人脸识别检索到的结果里面根据语音识别结果的内容进行检索，若未检索到对应的广告素材再在存储单元内保存的所有广告素材内进行检索；

当用户有语音输入时，先在基于用户图像特征检索出的广告素材内进行基于语音识别结果的检索，可使得检索出的广告素材更能符合用户的需求，且有利于节约检索广告素材的时间。

进一步地，当人脸采集及识别单元识别到人物离开后，控制处理单元则控制显示单元根据广告播放列表播放广告。

进一步地，所述第一通讯单元与第二通讯单元采用加密通信的方式进行数据的传送。

同时，本发明还公开了一种基于语音交互和人脸识别分类投放广告的方法，包括上述的基于语音交互和人脸识别分类投放广告的系统，具体包括以下步骤：

A.将上传到广告素材管理单元的广告素材至少按照年龄段、性别、类别三种维度进行分类保存，并为每个广告素材添加对应的类别属性标识；

B.根据上传的广告素材生成广告播放列表并存储至广告素材管理单元；

C.通过第一通讯单元将广告素材及对应的广告播放列表传送至广告机终端的第二通讯单元；

D.存储单元将第二通讯单元收到的广告素材至少按照年龄段、性别、类别三种维度进行分类保存；

E.人脸采集及识别单元采集广告机终端附近人物的人脸图像并分析该人物的年龄、性别特征，并将分析结果传递至控制处理单元；

F.控制处理单元若收到人脸采集及识别单元传回的分析结果则进入步骤G，否则，进入步骤I；

G.控制处理单元根据人脸采集及识别单元传回的分析结果在存储单元内检索并筛选出具有对应类别属性标识的广告素材并将筛选出的广告素材传递至显示单元；若未检索到具有对应类别属性标识的广告素材则进入步骤I；

H.显示单元播放筛选出的广告素材；

I.显示单元根据广告播放列表的顺序播放广告。

进一步地，所述广告机终端还包括语音获取及识别单元，所述语音获取及识别单元与控制处理单元相连，所述步骤G具体为：

G1.控制处理单元根据人脸采集及识别单元传回的分析结果在存储单元内检索并筛选出具有对应类别属性标识的广告素材并进入步骤G2；若未检索到具有对应类别属性标识的广告素材则进入步骤I；

G2.控制处理单元判断语音获取及识别单元有语音识别结果传回，若有则进入步骤G3，否则将步骤G1中筛选出的广告素材发送至显示单元进行播放；

G3.控制处理单元根据语音识别结果在存储单元内检索具有对应类别属性标识的广告素材，若检索到具有对应类别属性标识的广告素材则发送至显示单元进行播放，否则，将步骤G1中筛选出的广告素材发送至显示单元进行播放。

进一步地，所述步骤G3具体为：

G3.1控制处理单元根据语音识别结果在步骤G1中筛选出的广告素材中检索是否具有对应类别属性标识的广告素材，若有则将广告素材则发送至显示单元进行播放，否则，进入步骤G3.2；

G3.2控制处理单元根据语音识别结果在存储单元内保存的所有广告素材中检索是否具有对应类别属性标识的广告素材，若有则将广告素材则发送至显示单元进行播放，否则，将步骤G1中筛选出的广告素材发送至显示单元进行播放。

进一步地，当第二通讯单元新收到广告素材及对应的广告播放列表时，控制处理模块均会对存储模块内保存的旧的广告播放列表进行删除处理。

进一步地，所述广告播放列表内保存有每个广告素材的过期日期，所述控制处理模块根据过期日期对已过期的广告素材进行删除处理。

本发明与现有技术相比，具有以下的有益效果：

本发明的基于语音交互和人脸识别分类投放广告的方法及系统中，通过互联网使用云端管理系统将广告分类后推送到广告机终端，广告机终端将广告下载到本地硬盘，避免实时访问服务器带来的流量消耗和网络异常时广告播放失败，广告机终端通过人脸识别结合语音交互来确定人物特征和用户兴趣，来达到精确投放广告的目的，提高广告商的经济效益；

同时，利用本发明的基于语音交互和人脸识别分类投放广告的方法及系统，通过云端管理系统还可实现使用电脑或移动设备随时随地对所属的广告机终端投放广告，且广告机终端能能够精确的定位用户群体和用户特征，有针对性的向用户播放广告，从而为广告商带来更多的经济效益。

附图说明

图1是本发明的基于语音交互和人脸识别分类投放广告的系统中云端管理系统发布广告的流程示意图。

图2是本发明的基于语音交互和人脸识别分类投放广告的系统中广告机终端的广告播放逻辑控制流程示意图。

具体实施方式

下面结合本发明的实施例对本发明作进一步的阐述和说明。

实施例：

实施例一：

一种基于语音交互和人脸识别分类投放广告的系统，包括云端管理系统、广告机终端，云端管理系统内设有广告素材管理单元及第一通讯单元，广告素材管理单元与第一通讯单元相连。

广告机终端包括显示单元、人脸采集及识别单元、存储单元、控制处理单元及第二通讯单元，显示单元、人脸采集及识别单元、存储单元及第二通讯单元分别与控制处理单元相连，存储单元分别与第二通讯单元、显示单元相连，第一通讯单元和第二通讯单元通信连接。

广告素材管理单元用于存储广告素材及对应的广告播放列表，且是将广告素材至少按照年龄段、性别、类别三种维度进行分类存储，其中，每个广告素材均具有类别属性标识，广告素材管理单元通过第一通讯单元将广告素材及广告播放列表传递至广告机终端的第二通讯单元。

存储单元用于保存第二通讯单元收到的广告素材及广告播放列表，人脸采集及识别单元用于采集广告机终端附近人物的人脸图像并分析该人物的年龄、性别特征，并将分析结果传递至控制处理单元，控制处理单元用于控制显示单元根据存储单元保存的广告播放列表播放广告，或根据人脸采集及识别单元传回的分析结果在存储单元内检索具有对应类别属性标识的广告素材并控制显示单元进行播放。

作为优选，广告机终端还包括语音获取及识别单元，语音获取及识别单元与控制处理单元相连，语音获取及识别单元用于获取人物输入的语音信息并识别，再将识别的结果传递至控制处理单元，由控制处理单元根据语音识别结果在存储单元内检索具有对应类别属性标识的广告素材并控制显示单元进行播放。

其中，控制处理单元根据语音识别结果在存储单元内检索具有对应类别属性标识的广告素材时，先在人脸识别检索到的结果里面根据语音识别结果的内容进行检索，若未检索到对应的广告素材再在存储单元内保存的所有广告素材内进行检索。

且当人脸采集及识别单元识别到人物离开后，控制处理单元则控制显示单元根据广告播放列表播放广告。

具体的，本实施例中的广告机终端的操作系统为Android系统，其人脸采集及识别单元具体通过在摄像头装置内嵌入人脸识别芯片来实现，其语音获取及识别单元则通过在麦克风等语音输入装置内嵌入语音识别芯片实现，其存储单元则具体由sqllite数据库实现。

具体的，如图1所示为通过本实施例的云端管理系统发布广告的流程示意，具体包括以下步骤：

步骤1，管理员登录云端管理系统，使用上传文件功能上传广告素材到云端管理系统的广告素材管理单元。

步骤2，管理员将上传的广告素材按照年龄段、性别、类别等进行分类处理，并为每一个上传的广告素材添加性别、年龄段、所属类别等类别属性标识，如一些专门针对30-45岁女性用的钙片的广告则可为其添加女性、30至45岁年龄段、钙片营销的类别属性标识。

步骤3，管理员使用上传的广告素材制作广告节目单，形成广告播放列表，并在广告播放列表设置每个广告的过期日期。

步骤4，管理员通过云端管理系统的第一通讯单元投放广告到广告机终端，云端管理系统发送广告投放指令到广告机终端。

步骤5，广告机终端接收到广告投放指令后，根据投放的广告播放列表下载广告文件，且下载完成后删除之前的广告播放列表，并根据广告播放列表内的信息清除过期的广告文件，并将广告文件按性别、年龄段、所属类别存入sqllite数据库。

作为优选，云端管理系统和广告机终端进行通信时发送的数据需要进行加密操作。

如图2所示为本实施例的广告机终端的广告播放逻辑控制流程示意，具体包括以下步骤：

步骤1，广告机终端平时按照广告播放列表的顺序播放广告。

步骤2，当检测到有人进入广告机摄像头监视区域时，摄像头捕捉人物头像，通过人脸识别芯片识别出人物的年龄、性别等特征。

如本实施例中通过人脸识别芯片识别出人物的年龄为40岁左右，性别为女；

步骤3，广告机终端的控制处理单元根据识别到的人物的年龄、性别特征。在sqllite数据库中查询性别符合和年龄段符合的广告数据，然后根据查询到的结果播放广告。

在本实施例中控制处理单元则将具体去查找类别属性标识中年龄段包含40岁且性别为女性的相关广告素材；其中就包含上述的类别属性标识为：女性、30至45岁年龄段、钙片营销的广告，

步骤4，若是步骤3同时检测到有语音输入时，则通过语音识别芯片识别语音输入内容。

如本实施例中该用户向广告终端录入：“播放钙片相关的广告”的语音，

步骤5，根据识别的语音输入数据，在人脸识别查询的广告结果中进一步筛选广告。

则控制处理单元则将在步骤4筛选出的广告素材中具体筛选含关键词“钙片”的广告，在本实施例中即搜索出上述的类别属性标识为：女性、30至45岁年龄段、钙片营销的广告。

步骤6，若是在人脸识别筛选的广告结果中筛选广告失败，则重新在广告机终端的sqllite数据库中保存的所有广告中筛选广告。即实际中若根据人脸识别筛选出的广告中没有符合用户语音输入的内容时，则将搜索范围扩大为所有广告素材的范围进行搜索筛选，若仍未筛选出则播放根据人脸识别筛选的广告；

步骤7，根据筛选到的结果播放广告。

步骤8，摄像头检测到人物离开，在当前广告播放完后，广告机则按照广告播放列表的顺序播放广告。

在本发明的基于语音交互和人脸识别分类投放广告的系统中，广告机终端通过互联网连接云端管理系统，在管理员将投放的广告按照年龄段、性别、类别进行多维度分类后，通过云端管理系统的服务器定期将广告素材及对应的广告播放列表推送到广告机终端，广告机终端下载广告数据到本地存储单元中，同时，广告机终端集成了人脸识别功能，通过人脸采集及识别单元采集用户人脸图像并分析，从而建立用户画像和确定用户特征，控制处理单元再直接在本地存储单元中查找符合用户特征的广告进行播放，达到向用户快速、精准的投放广告的目的，且可提高商家广告投放的质量和价值。

实施例二

A.将上传到广告素材管理单元的广告素材至少按照年龄段、性别、类别三种维度进行分类保存，并为每个广告素材添加对应的类别属性标识；

B.根据上传的广告素材生成广告播放列表并存储至广告素材管理单元；

C.通过第一通讯单元将广告素材及对应的广告播放列表传送至广告机终端的第二通讯单元；

其中，当第二通讯单元新收到广告素材及对应的广告播放列表时，控制处理模块均会对存储模块内保存的旧的广告播放列表进行删除处理。同时，广告播放列表内保存有每个广告素材的过期日期，控制处理模块还会根据过期日期对已过期的广告素材进行删除处理。

D.存储单元将第二通讯单元收到的广告素材至少按照年龄段、性别、类别三种维度进行分类保存；

E.人脸采集及识别单元采集广告机终端附近人物的人脸图像并分析该人物的年龄、性别特征，并将分析结果传递至控制处理单元；

F.控制处理单元若收到人脸采集及识别单元传回的分析结果则进入步骤G，否则，进入步骤I；

G.控制处理单元根据人脸采集及识别单元传回的分析结果在存储单元内检索并筛选出具有对应类别属性标识的广告素材并将筛选出的广告素材传递至显示单元；若未检索到具有对应类别属性标识的广告素材则进入步骤I；

H.显示单元播放筛选出的广告素材；

I.显示单元根据广告播放列表的顺序播放广告。

具体的，步骤G具体为：

G1.控制处理单元根据人脸采集及识别单元传回的分析结果在存储单元内检索并筛选出具有对应类别属性标识的广告素材并进入步骤G2；若未检索到具有对应类别属性标识的广告素材则进入步骤I；

G2.控制处理单元判断语音获取及识别单元有语音识别结果传回，若有则进入步骤G3，否则将步骤G1中筛选出的广告素材发送至显示单元进行播放；

G3.控制处理单元根据语音识别结果在存储单元内检索具有对应类别属性标识的广告素材，若检索到具有对应类别属性标识的广告素材则发送至显示单元进行播放，否则，将步骤G1中筛选出的广告素材发送至显示单元进行播放。

作为优选，步骤G3具体为：

G3.1控制处理单元根据语音识别结果在步骤G1中筛选出的广告素材中检索是否具有对应类别属性标识的广告素材，若有则将广告素材则发送至显示单元进行播放，否则，进入步骤G3.2；

G3.2控制处理单元根据语音识别结果在存储单元内保存的所有广告素材中检索是否具有对应类别属性标识的广告素材，若有则将广告素材则发送至显示单元进行播放，否则，将步骤G1中筛选出的广告素材发送至显示单元进行播放。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种基于语音交互和人脸识别分类投放广告的系统，其特征在于，包括云端管理系统、广告机终端，所述云端管理系统内设有广告素材管理单元及第一通讯单元，广告素材管理单元与第一通讯单元相连，所述广告机终端包括显示单元、人脸采集及识别单元、存储单元、控制处理单元及第二通讯单元，所述显示单元、人脸采集及识别单元、存储单元及第二通讯单元分别与控制处理单元相连，存储单元分别与第二通讯单元、显示单元相连，所述第一通讯单元和第二通讯单元通信连接；

所述广告素材管理单元用于存储广告素材及对应的广告播放列表，且是将广告素材至少按照年龄段、性别、类别三种维度进行分类存储，其中，每个广告素材均具有类别属性标识，广告素材管理单元通过第一通讯单元将广告素材及广告播放列表传递至广告机终端的第二通讯单元；

所述存储单元用于保存第二通讯单元收到的广告素材及广告播放列表，人脸采集及识别单元用于采集广告机终端附近人物的人脸图像并分析该人物的年龄、性别特征，并将分析结果传递至控制处理单元，控制处理单元用于控制显示单元根据存储单元保存的广告播放列表播放广告，或根据人脸采集及识别单元传回的分析结果在存储单元内检索具有对应类别属性标识的广告素材并控制显示单元进行播放。

2.根据权利要求1所述的一种基于语音交互和人脸识别分类投放广告的系统，其特征在于，所述广告机终端还包括语音获取及识别单元，所述语音获取及识别单元与控制处理单元相连，语音获取及识别单元用于获取人物输入的语音信息并识别，再将识别的结果传递至控制处理单元，由控制处理单元根据语音识别结果在存储单元内检索具有对应类别属性标识的广告素材并控制显示单元进行播放。

3.根据权利要求2所述的一种基于语音交互和人脸识别分类投放广告的系统，其特征在于，所述控制处理单元根据语音识别结果在存储单元内检索具有对应类别属性标识的广告素材时，先在人脸识别检索到的结果里面根据语音识别结果的内容进行检索，若未检索到对应的广告素材再在存储单元内保存的所有广告素材内进行检索。

4.根据权利要求1或2所述的一种基于语音交互和人脸识别分类投放广告的系统，其特征在于，当人脸采集及识别单元识别到人物离开后，控制处理单元则控制显示单元根据广告播放列表播放广告。

5.根据权利要求1所述的一种基于语音交互和人脸识别分类投放广告的系统，其特征在于，所述第一通讯单元与第二通讯单元采用加密通信的方式进行数据的传送。

6.一种基于语音交互和人脸识别分类投放广告的方法，其特征在于，包括如权利要求1所述的基于语音交互和人脸识别分类投放广告的系统，具体包括以下步骤：

A.将上传到广告素材管理单元的广告素材至少按照年龄段、性别、类别三种维度进行分类保存，并为每个广告素材添加对应的类别属性标识；

B.根据上传的广告素材生成广告播放列表并存储至广告素材管理单元；

C.通过第一通讯单元将广告素材及对应的广告播放列表传送至广告机终端的第二通讯单元；

D.存储单元将第二通讯单元收到的广告素材至少按照年龄段、性别、类别三种维度进行分类保存；

E.人脸采集及识别单元采集广告机终端附近人物的人脸图像并分析该人物的年龄、性别特征，并将分析结果传递至控制处理单元；

F.控制处理单元若收到人脸采集及识别单元传回的分析结果则进入步骤G，否则，进入步骤I；

G.控制处理单元根据人脸采集及识别单元传回的分析结果在存储单元内检索并筛选出具有对应类别属性标识的广告素材并将筛选出的广告素材传递至显示单元；若未检索到具有对应类别属性标识的广告素材则进入步骤I；

H.显示单元播放筛选出的广告素材；

I.显示单元根据广告播放列表的顺序播放广告。

7.根据权利要求6所述的一种基于语音交互和人脸识别分类投放广告的方法，其特征在于，所述广告机终端还包括语音获取及识别单元，所述语音获取及识别单元与控制处理单元相连，所述步骤G具体为：

G1.控制处理单元根据人脸采集及识别单元传回的分析结果在存储单元内检索并筛选出具有对应类别属性标识的广告素材并进入步骤G2；若未检索到具有对应类别属性标识的广告素材则进入步骤I；

G2.控制处理单元判断语音获取及识别单元有语音识别结果传回，若有则进入步骤G3，否则将步骤G1中筛选出的广告素材发送至显示单元进行播放；

G3.控制处理单元根据语音识别结果在存储单元内检索具有对应类别属性标识的广告素材，若检索到具有对应类别属性标识的广告素材则发送至显示单元进行播放，否则，将步骤G1中筛选出的广告素材发送至显示单元进行播放。

8.根据权利要求7所述的一种基于语音交互和人脸识别分类投放广告的方法，其特征在于，所述步骤G3具体为：

G3.1控制处理单元根据语音识别结果在步骤G1中筛选出的广告素材中检索是否具有对应类别属性标识的广告素材，若有则将广告素材则发送至显示单元进行播放，否则，进入步骤G3.2；

G3.2控制处理单元根据语音识别结果在存储单元内保存的所有广告素材中检索是否具有对应类别属性标识的广告素材，若有则将广告素材则发送至显示单元进行播放，否则，将步骤G1中筛选出的广告素材发送至显示单元进行播放。

9.根据权利要求6所述的一种基于语音交互和人脸识别分类投放广告的方法，其特征在于，当第二通讯单元新收到广告素材及对应的广告播放列表时，控制处理模块均会对存储模块内保存的旧的广告播放列表进行删除处理。

10.根据权利要求6所述的一种基于语音交互和人脸识别分类投放广告的方法，其特征在于，所述广告播放列表内保存有每个广告素材的过期日期，所述控制处理模块根据过期日期对已过期的广告素材进行删除处理。