CN110415048A - 一种广告推荐方法、设备、系统、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种广告推荐方法、设备、系统、计算机设备及存储介质。其中广告推荐方法包括：获取第一时刻顾客的第一图像数据；使用深度学习算法识别第一图像数据中顾客的年龄、性别、情绪特征、状态特征、时尚特征，并将这些被识别特征作为商品推荐因子；根据商品推荐因子以及已构建的商品推荐模型选择向顾客展示商品库中对应的商品广告；向顾客展示商品广告；其中，已构建的商品推荐模型为决策树模型和/或多元回归模型，商品推荐因子为商品推荐模型的自变量，商品库中的商品为商品推荐模型的因变量。本发明的广告推荐方法可准确的预测消费者可能的购买倾向并且能够避免现有的广告推送方法中探针刺探隐私的风险。

Description

一种广告推荐方法、设备、系统、计算机设备及存储介质

技术领域

本发明属于广告推送技术领域，尤其涉及一种广告推荐方法、设备、系统、计算机设备及存储介质。

背景技术

如何在线下接触顾客、采集相关数据并且进行推荐一直是零售行业、广告行业非常关心的议题。

一种目前行业普遍采用的方式是通过探针技术实现广告推送，探针是一种基于WIFI探测技术来识别AP(无线访问接入点)附近已开启WIFI的智能终端的技术，每一个设备有一个对应的Mac地址。探针等方式可以实现一定的线下数据采集，但面临侵犯隐私的风险，而且越来越多手机机型开始通过Mac随机化的方式来规避被探针刺探隐私的风险。可以预见未来随着使用者对个人隐私的重视，探针的使用会面临越来越多的风险和局限。

发明内容

本发明的技术目的是提供一种广告推荐方法、设备、系统、计算机设备及存储介质，其中的广告推荐方法可准确的预测消费者可能的购买倾向并且能够避免现有的广告推送方法中探针刺探隐私的风险。

为解决上述问题，本发明的技术方案为：

一种广告推荐方法，包括：

获取第一时刻顾客的第一图像数据；

使用深度学习算法识别所述第一图像数据中顾客的年龄、性别、情绪特征、状态特征、时尚特征，所述年龄、性别、情绪特征、状态特征、时尚特征作为商品推荐因子；

根据所述商品推荐因子以及已构建的商品推荐模型选择向所述顾客展示商品库中对应的商品广告；

向所述顾客展示所述商品广告；

其中，所述已构建的商品推荐模型为决策树模型和/或多元回归模型，所述商品推荐因子为所述商品推荐模型的自变量，所述商品库中的商品为所述商品推荐模型的因变量。

根据本发明一实施例，所述广告推荐方法还包括：

获取所述顾客的购物信息；

将所述购物信息与所述商品广告中的商品进行对比，确认向所述顾客展示的商品广告是否有效。

根据本发明一实施例，所述获取所述顾客的购物信息之前还包括：

存储所述第一图像数据，获取第二时刻所述顾客的第二图像数据，所述第二时刻为所述顾客购买商品付款的时间段，通过所述第二时刻的时间对比，把所述顾客的第二图像数据和所述顾客的购物信息进行实时对应；

再将所述第二图像数据与所述第一图像数据比对确定所述顾客。

根据本发明一实施例，所述广告推荐方法还包括：

基于所述第二图像对应的购物信息与所述第一图像相对应的所述商品广告中的商品的对比结果优化所述已构建的商品推荐模型。

基于相同的构思，本发明还提供了一种广告推荐设备，包括：

第一数据获取模块，用于获取第一时刻顾客的第一图像数据；

计算模块，用于使用深度学习算法识别所述第一图像数据中顾客的年龄、性别、情绪特征、状态特征、时尚特征，所述年龄、性别、情绪特征、状态特征、时尚特征作为商品推荐因子；并且用于根据所述商品推荐因子以及已构建的商品推荐模型选择向所述顾客展示商品库中对应的商品广告；

广告展示模块，向所述顾客展示所述商品广告；

其中，所述已构建的商品推荐模型为决策树模型和/或多元回归模型，所述商品推荐因子为所述商品推荐模型的自变量，所述商品库中的商品为所述商品推荐模型的因变量。

根据本发明一实施例，所述广告推荐设备还包括：

第一信息获取模块，用于获取所述顾客的购物信息；

第一信息比较模块，用于将所述购物信息与所述商品广告中的商品进行实时对比，确认向所述顾客展示的商品广告是否有效。

根据本发明一实施例，所述广告推荐设备还包括：

第一数据存储模块，用于存储所述第一图像数据；

第二数据获取模块，用于获取第二时刻所述顾客的第二图像数据，所述第二时刻为所述顾客购买商品付款的时间段，通过所述第二时刻的时间对比，把所述顾客的第二图像数据和所述顾客的购物信息进行实时对应；

第二信息比较模块，用于将所述第二图像数据与所述第一图像数据比对确定所述顾客。

根据本发明一实施例，所述计算模块还用于基于所述第二图像对应的购物信息与所述第一图像相对应的所述商品广告中的商品的对比结果优化所述已构建的商品推荐模型。

基于相同的构思，本发明还提供了一种用于商品交易场所的广告推荐系统，包括：

第一摄像头，用于获取第一时刻顾客的第一图像数据；

第一处理器，用于使用深度学习算法识别所述第一图像数据中顾客的年龄、性别、情绪特征、状态特征、时尚特征，所述年龄、性别、情绪特征、状态特征、时尚特征作为商品推荐因子；并且用于根据所述商品推荐因子以及已构建的商品推荐模型选择向所述顾客展示商品库中对应的商品广告；

第一广告展示屏，用于向所述顾客展示所述商品广告；所述第一广告展示屏用于放置在所述商品交易场所的入口区和/或出口区和/或休息区和/或体验区；

其中，所述第一摄像头安装于所述第一广告展示屏上或设于所述第一广告展示屏的附近区域，所述顾客为停留在所述第一广告展示屏前面的消费者。

根据本发明一实施例，所述已构建的商品推荐模型为决策树模型和/或多元回归模型，所述商品推荐因子为所述商品推荐模型的自变量，所述商品库中的商品为所述商品推荐模型的因变量。

根据本发明一实施例，所述用于商品交易场所的广告推荐系统，还包括：

第一信息获取器，用于获取所述顾客的购物信息；

第一信息比较器，用于将所述购物信息与所述商品广告中的商品进行实时对比，确认向所述顾客展示的商品广告是否有效。

根据本发明一实施例，所述用于商品交易场所的广告推荐系统还包括：

第一数据存储器，用于存储所述第一图像数据；

第二摄像头，用于获取第二时刻所述顾客的第二图像数据，所述第二时刻为所述顾客购买商品付款的时间段，通过所述第二时刻的时间对比，把所述顾客的第二图像数据和所述顾客的购物信息进行实时对应，所述第二摄像头安装于所述商品交易场所的付款区；

第二信息比较器，用于将所述第二图像数据与所述第一图像数据比对确定所述顾客。

根据本发明一实施例，所述第一处理器还用于基于所述第二图像对应的所述购物信息与所述第一图像相对应的所述商品广告中的商品的对比结果优化所述已构建的商品推荐模型。

基于相同的构思，本发明还提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明任意一实施例所述广告推荐方法中的步骤。

基于相同的构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意一实施例所述广告推荐方法中的步骤。

本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：

本发明一实施例中的广告推荐方法在顾客消费之前通过采集顾客的图像，使用深度学习算法(人工智能算法)视觉识别顾客的年龄、性别、情绪特征、状态特征、时尚特征，将识别出的这些特征作为商品推荐因子，这样可以准确判断线下场景的即时状态，可以更准确的进行推荐，并且让线下广告也呈现线上广告千人千面的效果，把线上的数字化营销搬到线下，广告推荐方法可准确的预测消费者可能的购买倾向并且能够避免现有的广告推送方法中探针刺探隐私的风险。

附图说明

图1为本发明的一种广告推荐方法的流程图；

图2为本发明的一实施例中状态特征与时尚特征的示意框图；

图3为本发明的一种广告推荐设备的框图；

图4为本发明的一种用于商品交易场所的广告推荐系统的框图；

图5为本发明的用于商品交易场所的广告推荐系统的一具体应用例示图；

图6为本发明中一具体实施方式中决策树模型的示意图。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种广告推荐方法、设备、系统、计算机设备及存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。

实施例1

参看图1，一种广告推荐方法，包括：

S1：获取第一时刻顾客的第一图像数据；

具体地，第一时刻为顾客消费之前的时刻，具体可以是顾客进入商场之前的时间，也可以是顾客在体验商品的时间，也可以是顾客在商场休息或等待朋友的时间。一个具体实施方式中，可以通过第一图像采集器获取第一图像数据，第一图像采集器可以是包括至少一个摄像头的摄像或拍照装置。第一图像采集器可以设置于商场的入口、出口、休息区、体验区、等待区、停车库等区域，在顾客面对广告展示装置时，第一图像采集器需要采集顾客的图像数据，经过分析，广告展示装置可即时向顾客展示推荐的商品广告，第一图像采集器最好安装在广告展示装置上或者设置在广告展示装置附近区域，这样可以实时获取广告展示装置前面顾客的图像数据。

S2：使用深度学习算法识别第一图像数据中顾客的年龄、性别、情绪特征、状态特征、时尚特征，年龄、性别、情绪特征、状态特征、时尚特征作为商品推荐因子；

该步骤具有可以由图像处理器实现，图像处理器通过深度学习算法提取照片中的顾客特征，图像处理器接收步骤S1中的第一图像数据，具体可以指经由第一图像采集器传输过来的第一图像数据；也可以由云端的处理器实现商品推荐因子的特征识别，第一图像采集器采集的第一图像数据可上传至云端，经由云端通过深度学习算法提取照片中的顾客特征对第一图像数据进行处理。

具体来说，图像处理器通过深度学习算法(人工智能算法)提取照片中的顾客特征主要包括：人脸关键点检测与人体关键点检测深度网络模型对图片中的各个人物图像进行结构化；根据具体分类标签在人脸关键点和人体关键的分布，对人体图像进行分割，每一部分对应相应的识别、检测与分类任务；针对各个标签事先训练好的人工智能模型对相应的分割部分进行模式分类；基于标签的组合之间的联合概率与逻辑分布，结合上面模型输出的置信概率，对相应标签进行逻辑和统计推断，输出是检测图片中各个人体的相应多标签分类。

识别年龄、性别特征具体为：在接收到第一图像数据之后进行人脸关键点与人脸框检测，之后进行人脸校准，之后使用深度学习算法提取年龄和性别特征，使用深度学习算法进行年龄和性别的推断。识别情绪特征具体为：在接收到第一图像数据之后进行人脸关键点与人脸框检测，之后进行人脸校准，之后使用深度学习算法提取表情特征，使用深度学习算法进行表情多分类推断，推断结果即情绪特征包括但不限于高兴、惊讶、悲伤、中性、愤怒等。

对于状态特征和时尚特征，这是两个比较抽象的特征，机器不能直接识别，但能通过服饰信息，推断出状态特征和时尚特征(比如图2所示)。状态特征可分为但不局限于休闲特征和商务特征，休闲特征可以通过是否穿着T恤衫、牛仔裤、帆布鞋、平跟鞋等来推断，商务特征可以通过是否穿着商务皮鞋、西装、领带、公文包等来推断。本实施例中不需要辨认具体的服饰类别，着重观察关键指标，比如着重辨别服装是否有拉链、扣子、领口形状、花色图案，来推断服装类别。一般的，尖领、扣子、无色对应于商务类服装，圆领、花形图案对应于休闲类服装，由于服装类别是比较难辨认的一个属性，这个方法可以降低辨认的难度和减少辨认的时间。时尚特征具体指对到访者对时尚的接受程度的识别，具体能够识别的特征包括染发、化妆、耳环等。

在识别状态特征和时尚特征时，图像处理器在接收到第一图像数据之后进行身体关键点检测，确定关键点从属对象，定义人体部位框，之后进行衣领框提取特征，机器学习推断衣领形状和有无领带，进行左右上下臂框检测皮肤像素，使用像素点占比推断衣袖长短，进行左右大小腿框提取特征，深度学习推断下装是裤子还是裙子，进行躯干框提取颜色、质地特征，深度学习推断颜色、材质、图样，进行上半身框内深度学习提取特征，深度学习进行上装类型的推断。

S3：根据商品推荐因子以及已构建的商品推荐模型选择向顾客展示商品库中对应的商品广告；

通过建立针对不同客户和商品的偏好性模型(采用logistic regression)，使用人工智能视觉识别的关键特征：如格子衬衣、西装、领带、运动鞋、卷发、帽子、背包、公文包等确定商品推荐因子，基于这些变量，为每个来店者购买某特定产品的倾向性进行计算并赋予分项值。基于多个变量，可以分值依次排序，确定哪些商品对于到店者是最合适的。比如对于烫发、化妆青年女性，可以首推时尚款式，对于素颜、服饰为T恤等休闲状态女性，可以首推休闲款式。同时根据识别的若干特征，商品库里可能有两种商品适合推荐，这种情况下可以按照一定的时间间隔(例如是5-10秒)来对商品进行相应的展示。

建立商品推荐模型的方法：一、经验推断，比如根据店员的经验形成的决策树推断(参看图6)，花朵图案的新款连衣裙应该向具有以下属性的顾客推荐：穿着时尚+年龄20-40岁+女性。二、采用社会学定量研究中的多元回归模型作为商品推荐模型，商品推荐因子为多元回归模型的自变量，商品库中的商品为多元回归模型的因变量。目标商品库中商品的推荐主要依赖于识别顾客属性，并通过Multivariable logistic regression寻找到OR(odds ratio)特征显著并且统计显著的几个变量来构建模型，达到R Square拟合度最优的效果。以上可由图像处理器或云端处理器或独立的服务器处理执行。

需注意的是，以上决策树和机器学习的方法并非完全对立。人类经验可以和机器学习结合起来，以提升机器学习的效率，并且提升人类经验的可靠度。同时，决策树和logistic回归的目的都是根据图片结构化形成的信息，推荐到商品库里的一件商品。

S4：向顾客展示商品广告；

图像处理器或云端处理器或独立的服务器处理执行步骤S3的结果发送至广告展示装置，广告展示装置接收图像处理器或云端处理器或独立的服务器发送的商品广告并向顾客展示。广告展示装置为具有显示屏的显示器。

本实施例中的广告推荐方法在顾客消费之前通过采集顾客的图像，使用深度学习算法视觉识别顾客的年龄、性别、情绪特征、状态特征、时尚特征，将识别出的这些特征作为商品推荐因子(需要说明的是线下场景的特点是非理性、即时型、冲动型，这样可以准确判断线下场景的即时状态)，可以更准确的进行推荐，并且让线下广告也呈现线上广告千人千面的效果，把线上的数字化营销搬到线下，广告推荐方法可准确的预测消费者可能的购买倾向并且能够避免现有的广告推送方法中探针刺探隐私的风险。本实施例中的方法还可以提升店铺对于路过顾客的吸引力，提升到店率，提升购物者在线下商店的体验，来提升到访者的参与度和满意度，并提升店内明星产品和高利润产品的流通率。

进一步地，广告推荐方法还包括：

获取顾客的购物信息(该顾客与第一时刻获取的顾客图像数据相对应)；

将购物信息与商品广告中的商品进行对比，确认向顾客展示的商品广告是否有效。

购物信息具体可以为顾客付款时的购物清单，在获取了顾客的购物清单之后，将顾客购买的商品与向顾客推荐的商品广告进行比较，确定广告推荐是否有效，如果顾客购买了广告推荐的商品目录则可以说明向顾客展示的商品广告是有效的。

购物信息的获取可由独立的处理器或服务器完成，也可由云端处理器完成，当然也可以集成在图像处理器中完成，上述处理器可与收银端联机，这样可以获取顾客付款时的购物清单。

获取顾客的购物信息之前还包括：

存储第一图像数据；

获取第二时刻顾客的第二图像数据，第二时刻为顾客购买商品付款的时间段，通过第二时刻的时间对比，把顾客的第二图像数据和顾客的购物信息进行实时对应；

第一图像数据可存储于数据库中，数据库可以是云端数据库，也可以是本地数据库。

一个具体实施方式中，可以通过第二图像采集器获取第二图像数据，第二图像采集器可以是包括至少一个摄像头的摄像或拍照装置。第二图像采集器可以设置于收银区，这样在顾客付款的时候可以确认顾客身份。

将第二图像数据与第一图像数据比对确定顾客。

图像数据的比对可由独立的处理器或服务器完成，也可由云端处理器完成，当然也可以集成在图像处理器中完成，上述处理器可与第二图像采集器通信连接，用于接收第二图像采集器采集的第二图像数据，之后再将第二图像数据与数据库中的第一图像数据进行特征比对(包括对比面部信息以及服装信息)，找出向该付款顾客推荐的商品广告，通过以上步骤可以确认顾客身份，这样能够确定顾客购物前向其推荐的商品以及付款时购买的商品，之后将顾客购买的商品与向顾客推荐的商品广告进行比较，确定广告推荐是否有效。

进一步地，广告推荐方法还包括：

基于第二图像对应的购物信息与第一图像相对应的商品广告中的商品的对比结果优化已构建的商品推荐模型。商品推荐的模型的优化可由人工智能算法进行调整优化，也可由工作人员基于对比结果修改优化。

本实施例中的一种广告推荐方法，实质上是一种社会学定量研究和AI智能识别相结合的广告推荐方法，本方法运用社会定量分析方法(采用社会学定量研究中的多元回归模型作为商品推荐模型)与神经网络及深度学习算法相结合，通过第一摄像头连接的神经网络及深度学习算法识别包括衣领特征、服装特征、情绪特征等多个特征变量，比如以新款花朵图案连衣裙为例，以该款连衣裙作为因变量，以性别、年龄、是否有卷发、服装上是否有花朵图案、是否穿着T恤、是否背书包、是否穿着皮鞋、是否穿着西装作为自变量。并对顾客对应特征进行分组编码，如性别0、1分别代表女性和男性，年龄分段1、2、3、4、5分别代表0-6、6-12、12-18、18-30、30-50等。通过放置在门口的第一摄像头识别人脸，通过放置在收银台的第二摄像头判断顾客购买信息，第二摄像头捕捉到的信息会进行购买物品比较。如购买了广告屏推荐物品目录，我们记录为1，如没有购买推荐物品我们记录为0。逐个在SPSS的logistic回归模型输入自变量，并分别叠加自变量组合，发现OR较大的变量为性别、年龄、卷发、花朵图案、皮鞋，能解释因变量的60％以上。在摄像头探测到具有这些属性的顾客时，可以向其推荐该款花朵连衣裙。随着我们通过神经网络训练的能够识别的自变量逐渐增多，未来我们解释因变量的能力还会随之提升。通过人工智能识别线下顾客的特征，我们可以获得更新的社会学研究方法，通过摄像头自动获取自变量和因变量。

本发明运用定量社会学研究方法中的回归模型，结合深度学习算法识别顾客特征，通过回归模型进行广告推荐，并进行效果评估，效果评估结果反馈到广告推荐的回归模型中，可对回归模型进行更正并提升以Odds Ratio和R Square为主要指标的有效性。本发明中包括的计算机设备以及系统按设计可确保广告推荐及效果评估目的的实现。

实施例2

参看图3，基于相同的构思，本发明还提供了一种广告推荐设备，包括：

第一数据获取模块，用于获取第一时刻顾客的第一图像数据；

具体地，第一时刻为顾客消费之前的时刻，具体可以是顾客进入商场之前的时间，也可以是顾客在体验商品的时间，也可以是顾客在商场休息或等待朋友的时间。一个具体实施方式中，第一数据获取模块为第一图像采集器，第一图像采集器获取第一图像数据，第一图像采集器可以是包括至少一个摄像头的摄像或拍照装置。第一图像采集器可以设置于商场的入口、出口、休息区、体验区、等待区、停车库等区域，在顾客面对广告展示装置时，第一图像采集器需要采集顾客的图像数据，经过分析，广告展示装置可即时向顾客展示推荐的商品广告，第一图像采集器最好安装在广告展示装置上或者设置在广告展示装置附近区域，这样可以实时获取广告展示装置前面顾客的图像数据。

计算模块，用于使用深度学习算法识别第一图像数据中顾客的年龄、性别、情绪特征、状态特征、时尚特征，年龄、性别、情绪特征、状态特征、时尚特征作为商品推荐因子；并且用于根据商品推荐因子以及已构建的商品推荐模型选择向顾客展示商品库中对应的商品广告；

计算模块可以是图像处理器，图像处理器通过深度学习算法提取照片中的顾客特征，图像处理器接收第一数据获取模块发送的第一图像数据，计算模块也可以是云端处理器，第一图像采集器采集的第一图像数据可上传至云端处理器，经由云端处理器通过深度学习算法提取照片中的顾客特征对第一图像数据进行处理。

具体来说，图像处理器通过深度学习算法提取照片中的顾客特征主要包括：人脸关键点检测与人体关键点检测深度网络模型对图片中的各个人物图像进行结构化；根据具体分类标签在人脸关键点和人体关键的分布，对人体图像进行分割，每一部分对应相应的识别、检测与分类任务；针对各个标签事先训练好的人工智能模型对相应的分割部分进行模式分类；基于标签的组合之间的联合概率与逻辑分布，结合上面模型输出的置信概率，对相应标签进行逻辑和统计推断，输出是检测图片中各个人体的相应多标签分类。

识别年龄、性别特征具体为：在接收到第一图像数据之后进行人脸关键点与人脸框检测，之后进行人脸校准，之后使用深度学习算法提取年龄和性别特征，使用深度学习算法进行年龄和性别的推断。识别情绪特征具体为：在接收到第一图像数据之后进行人脸关键点与人脸框检测，之后进行人脸校准，之后使用深度学习算法提取表情特征，使用深度学习算法进行表情多分类推断，推断结果即情绪特征包括但不限于高兴、惊讶、悲伤、中性、愤怒等

对于状态特征和时尚特征，这是两个比较抽象的特征，机器不能直接识别，但能通过服饰信息，推断出状态特征和时尚特征(比如图2所示)。状态特征可分为但不局限于休闲特征和商务特征，休闲特征可以通过是否穿着T恤衫、牛仔裤、帆布鞋、平跟鞋等来推断，商务特征可以通过是否穿着商务皮鞋、西装、领带、公文包等来推断。本实施例中不需要辨认具体的服饰类别，着重观察关键指标，比如着重辨别服装是否有拉链、扣子、领口形状、花色图案，来推断服装类别。一般的，尖领、扣子、无色对应于商务类服装，圆领、花形图案对应于休闲类服装，由于服装类别是比较难辨认的一个属性，这个方法可以降低辨认的难度和减少辨认的时间。时尚特征具体指对到访者对时尚的接受程度的识别，具体能够识别的特征包括染发、化妆、耳环等。

在识别状态特征和时尚特征时，图像处理器在接收到第一图像数据之后进行身体关键点检测，确定关键点从属对象，定义人体部位框，之后进行衣领框提取特征，机器学习推断衣领形状和有无领带，进行左右上下臂框检测皮肤像素，使用像素点占比推断衣袖长短，进行左右大小腿框提取特征，深度学习推断下装是裤子还是裙子，进行躯干框提取颜色、质地特征，深度学习推断颜色、材质、图样，进行上半身框内深度学习提取特征，深度学习进行上装类型的推断。

一个实施方式中，通过建立针对不同客户和商品的偏好性模型(采用logisticregression)，使用人工智能视觉识别的关键特征：如格子衬衣、西装、领带、运动鞋、卷发、帽子、背包、公文包等确定商品推荐因子，基于这些变量，为每个来店者购买某特定产品的倾向性进行计算并赋予分项值。基于多个变量，可以分值依次排序，确定哪些商品对于到店者是最合适的。比如对于烫发、化妆青年女性，可以首推时尚款式，对于素颜、服饰为T恤等休闲状态女性，可以首推休闲款式。同时根据识别的若干特征，商品库里可能有两种商品适合推荐，这种情况下可以按照一定的时间间隔(例如是5-10秒)来对商品进行相应的展示。

建立商品推荐模型的方法：一、经验推断，比如根据店员的经验形成的决策树推断(参看图6)，花朵图案的新款连衣裙应该向具有以下属性的顾客推荐：穿着时尚+年龄20-40岁+女性。二、采用社会学定量研究中的多元回归模型作为商品推荐模型，商品推荐因子为多元回归模型的自变量，商品库中的商品为多元回归模型的因变量。目标商品库中商品的推荐主要依赖于识别顾客属性，并通过Multivariable logistic regression寻找到OR(odds ratio)特征显著并且统计显著的几个变量来构建模型，达到R Square拟合度最优的效果。

以上可由图像处理器或云端处理器或独立的服务器处理执行。

需注意的是，以上决策树和机器学习的方法并非完全对立。人类经验可以和机器学习结合起来，以提升机器学习的效率，并且提升人类经验的可靠度。同时，决策树和logistic回归的目的都是根据图片结构化形成的信息，推荐到商品库里的一件商品。

比如以新款花朵图案连衣裙为例，以该款连衣裙作为因变量，以性别、年龄、是否有卷发、服装上是否有花朵图案、是否穿着T恤、是否背书包、是否穿着皮鞋、是否穿着西装作为自变量。发现OR较大的变量为性别、年龄、卷发、花朵图案、皮鞋，能解释因变量的60％以上。在摄像头探测到具有这些属性的顾客时，可以向其推荐该款花朵连衣裙。

广告展示模块，向顾客展示商品广告；

广告展示模块为向顾客展示商品广告的广告展示装置，具体为具有显示屏的显示器。图像处理器或云端处理器或独立的服务器处理执行的结果发送至广告展示装置，广告展示装置接收图像处理器或云端处理器或独立的服务器发送的商品广告并向顾客展示。

本实施例中的广告推荐设备在顾客消费之前通过采集顾客的图像，使用深度学习算法视觉识别顾客的年龄、性别、情绪特征、状态特征、时尚特征，将识别出的这些特征作为商品推荐因子(需要说明的是线下场景的特点是非理性、即时型、冲动型，这样可以准确判断线下场景的即时状态)，可以更准确的进行推荐，并且让线下广告也呈现线上广告千人千面的效果，把线上的数字化营销搬到线下，该广告推荐设备可准确的预测消费者可能的购买倾向并且能够避免现有的广告推送方法中探针刺探隐私的风险。本实施例中广告推荐设备采用的方法还可以提升店铺对于路过顾客的吸引力，提升到店率，提升购物者在线下商店的体验，来提升到访者的参与度和满意度，并提升店内明星产品和高利润产品的流通率。

进一步地，广告推荐设备还包括：

第一信息获取模块，用于获取顾客的购物信息；

第一信息比较模块，用于将购物信息与商品广告中的商品进行对比，确认向顾客展示的商品广告是否有效。

购物信息具体可以为顾客付款时的购物清单，在获取了顾客的购物清单之后，将顾客购买的商品与向顾客推荐的商品广告目录进行比较，确定广告推荐是否有效，如果顾客购买了广告推荐的商品则可以说明向顾客展示的商品广告是有效的。

第一信息获取模块、第一信息比较模块可以是独立的处理器，也可以是集成在云端处理器和图像处理器中的功能模块，上述处理器可与收银端联机，这样可以获取顾客付款时的购物清单。

广告推荐设备还包括：

第一数据存储模块，用于存储第一图像数据；

第二数据获取模块，用于获取第二时刻顾客的第二图像数据，第二时刻为顾客购买商品付款的时间段，通过第二时刻的时间对比，把顾客的第二图像数据和顾客的购物信息进行实时对应；

第一数据存储模块为存储器或数据库，第一图像数据可存储于存储器或数据库中，数据库可以是云端数据库，也可以是本地数据库。

一个具体实施方式中，第二数据获取模块为第二图像采集器，第二图像采集器获取第二图像数据，第二图像采集器可以是包括至少一个摄像头的摄像或拍照装置。第二图像采集器可以设置于收银区，这样在顾客付款的时候可以确认顾客身份。

第二信息比较模块，用于将第二图像数据与第一图像数据比对确定顾客。

第二信息比较模块可以是独立的处理器或服务器，也可为集成在云端处理器中的功能模块，当然也可以集成在图像处理器中的功能模块，上述处理器可与第二图像采集器通信连接，用于接收第二图像采集器采集的第二图像数据，之后再将第二图像数据与数据库中的第一图像数据进行特征比对(包括对比面部信息以及服装信息)，找出向该付款顾客推荐的商品广告，通过以上步骤可以确认顾客身份，这样能够确定顾客购物前向其推荐的商品以及付款时购买的商品，之后将顾客购买的商品与向顾客推荐的商品广告进行比较，确定广告推荐是否有效。

进一步地，计算模块还用于基于第二图像对应的购物信息与第一图像相对应的商品广告中的商品的对比结果优化已构建的商品推荐模型。商品推荐的模型的优化可由人工智能算法进行调整优化，也可由工作人员基于对比结果修改优化。

实施例3

参看图4，基于相同的构思，本发明还提供了一种用于商品交易场所的广告推荐系统，包括：

第一摄像头，用于获取第一时刻顾客的第一图像数据；具体地，第一时刻为顾客消费之前的时刻，具体可以是顾客进入商场之前的时间，也可以是顾客在体验商品的时间，也可以是顾客在商场休息或等待朋友的时间；

第一处理器，用于使用深度学习算法识别第一图像数据中顾客的年龄、性别、情绪特征、状态特征、时尚特征，年龄、性别、情绪特征、状态特征、时尚特征作为商品推荐因子；并且用于根据商品推荐因子以及已构建的商品推荐模型选择向顾客展示商品库中对应的商品广告；

第一广告展示屏，用于向顾客展示商品广告；第一广告展示屏用于放置在商品交易场所的入口区和/或出口区和/或休息区和/或体验区；

其中，第一摄像头安装于第一广告展示屏上或设于第一广告展示屏的附近区域，顾客为停留在第一广告展示屏前面的消费者。

进一步地，已构建的商品推荐模型采用社会学定量研究中的多元回归模型，商品推荐因子为商品推荐模型的自变量，商品库中的商品为商品推荐模型的因变量。

进一步地，用于商品交易场所的广告推荐系统还包括：

第一信息获取器，用于获取顾客的购物信息；

第一信息比较器，用于将购物信息与商品广告中的商品进行对比，确认向顾客展示的商品广告是否有效。

进一步地，用于商品交易场所的广告推荐系统还包括：

第一数据存储器，用于存储第一图像数据；

第二摄像头，用于获取第二时刻顾客的第二图像数据，第二时刻为顾客购买商品付款的时间段，通过第二时刻的时间对比，把顾客的第二图像数据和顾客的购物信息进行实时对应，第二摄像头安装于商品交易场所的付款区；

第二信息比较器，用于将第二图像数据与第一图像数据比对确定顾客。

进一步地，第一处理器还用于基于购物信息与商品广告中的商品的对比结果优化已构建的商品推荐模型。参看图5，本系统除了能够智能识别顾客特征，并能根据这些特征推演顾客画像、进行相应的商品推荐，还能够智能评估这些推荐的效果。为此本实施例在进门处需要安装一个数据采集装置(摄像头，图片记录为id_1)，在广告推荐后(A时刻点)，还需要在收银机附近安装一个数据采集装置(摄像头)，通过摄像头采集购买者照片(B时刻点1号收银机拍摄)，并且采集用户的购买清单(B时刻点1号收银机购买清单)。首先，将拍摄的购买者图片和会员库进行对比，如果能够与A时刻点进门照片对应(包括人脸和服饰)，可以确定是同一个人，并且验证推荐商品是否和购买商品具有相关性，由此判断推荐是否具有有效性。

为了进一步阐述本发明的技术构思，下面介绍一下具体的应用例。

具体来说，图像处理器通过深度学习算法提取照片中的顾客特征主要包括：人脸关键点检测与人体关键点检测深度网络模型对图片中的各个人物图像进行结构化；根据具体分类标签在人脸关键点和人体关键的分布，对人体图像进行分割，每一部分对应相应的识别、检测与分类任务；针对各个标签事先训练好的人工智能模型对相应的分割部分进行模式分类；基于标签的组合之间的联合概率与逻辑分布，结合上面模型输出的置信概率，对相应标签进行逻辑和统计推断，输出是检测图片中各个人体的相应多标签分类。

识别年龄、性别特征具体为：在接收到第一图像数据之后进行人脸关键点与人脸框检测，之后进行人脸校准，之后使用深度学习算法提取年龄和性别特征，使用深度学习算法进行年龄和性别的推断。识别情绪特征具体为：在接收到第一图像数据之后进行人脸关键点与人脸框检测，之后进行人脸校准，之后使用深度学习算法提取表情特征，使用深度学习算法进行表情多分类推断，推断结果即情绪特征包括但不限于高兴、不高兴、中性。

对于状态特征和时尚特征，这是两个比较抽象的特征，机器不能直接识别，但能通过服饰信息，推断出状态特征和时尚特征(比如图2所示)。状态特征可分为但不局限于休闲特征和商务特征，休闲特征可以通过是否穿着T恤衫、牛仔裤、帆布鞋、平跟鞋等来推断，商务特征可以通过是否穿着商务皮鞋、西装、领带、公文包等来推断。本实施例中不需要辨认具体的服饰类别，着重观察关键指标，比如着重辨别服装是否有拉链、扣子、领口形状、花色图案，来推断服装类别。一般的，尖领、扣子、无色对应于商务类服装，圆领、花形图案对应于休闲类服装，由于服装类别是比较难辨认的一个属性，这个方法可以降低辨认的难度和减少辨认的时间。时尚特征具体指对到访者对时尚的接受程度的识别，具体能够识别的特征包括染发、化妆、耳环等。

在识别状态特征和时尚特征时，图像处理器在接收到第一图像数据之后进行身体关键点检测，确定关键点从属对象，定义人体部位框，之后进行衣领框提取特征，机器学习推断衣领形状和有无领带，进行左右上下臂框检测皮肤像素，使用像素点占比推断衣袖长短，进行左右大小腿框提取特征，深度学习推断下装是裤子还是裙子，进行躯干框提取颜色、质地特征，深度学习推断颜色、材质、图样，进行上半身框内深度学习提取特征，深度学习进行上装类型的推断。

一个实施方式中，通过建立针对不同客户和商品的偏好性模型(采用logisticregression)，使用人工智能视觉识别的关键特征：如格子衬衣、西装、领带、运动鞋、卷发、帽子、背包、公文包等确定商品推荐因子，基于这些变量，为每个来店者购买某特定产品的倾向性进行计算并赋予分项值。基于多个变量，可以分值依次排序，确定哪些商品对于到店者是最合适的。比如对于烫发、化妆青年女性，可以首推时尚款式，对于素颜、服饰为T恤等休闲状态女性，可以首推休闲款式。同时根据识别的若干特征，商品库里可能有两种商品适合推荐，这种情况下可以按照一定的时间间隔(例如是5-10秒)来对商品进行相应的展示。

建立商品推荐模型的方法：一、经验推断，比如根据店员经验形成的决策树推断(参看图6)，花朵图案的新款连衣裙应该向具有以下属性的顾客推荐：穿着时尚+年龄20-40岁+女性。二、采用社会学定量研究中的多元回归模型作为商品推荐模型，商品推荐因子为多元回归模型的自变量，商品库中的商品为多元回归模型的因变量。目标商品库中商品的推荐主要依赖于识别顾客属性，并通过Multivariable logistic regression寻找到OR(odds ratio)特征显著并且统计显著的几个变量来构建模型，达到R Square拟合度最优的效果。

以上可由图像处理器或云端处理器或独立的服务器处理执行。

需注意的是，以上决策树和机器学习的方法并非完全对立。人类经验可以和机器学习结合起来，以提升机器学习的效率，并且提升人类经验的可靠度。同时，决策树和logistic回归的目的都是根据图片结构化形成的信息，推荐到商品库里的一件商品。

比如以新款花朵图案连衣裙为例，以该款连衣裙作为因变量，以性别、年龄、是否有卷发、服装上是否有花朵图案、是否穿着T恤、是否背书包、是否穿着皮鞋、是否穿着西装作为自变量。发现OR较大的变量为性别、年龄、卷发、花朵图案、皮鞋，能解释因变量的60％以上。在摄像头探测到具有这些属性的顾客时，可以向其推荐该款花朵连衣裙。

用SPSS作为工具进行logistic regression分析，以下为SPSS计算结果示意图。

(示例)Variables in the equation of Model A

a,variable(s)entered on step:年龄、性别、花朵图案、皮鞋、卷发

Model A summary

	Cox&Snell R square	Nagelkerke R Square
			Model A	.552	.661

由此可知，该模型能够较为准确的预测待推荐商品的目标人群。

特别的，在判断休闲/商务状态时，可以不用辨认具体的服装类别，着重提取服装是否有拉链、是否有扣子、以及领口形状、服装花色的特征，来推断服装类别。一般，尖领、扣子、单色对应于商务类服装，圆领、花形图案对应于休闲类服装。通过压缩需要实现的特征变量数量，可以提升处理器的效率和提升系统新能，缩短运算和反馈时间。

线下的真实场景中会根据线下商店的商品特点进行标记。以书店为例，穿着格子衬衫、或者背着双肩包、年龄在20-40岁之间的人有更多可能性会被推荐科技类书籍。比如，在线下书店，通过摄像头捕捉的人脸识别到访者年龄、性别，并对其他身份特征进行辨认，辨认到穿着T恤衫、背着双肩包、年龄在20-40岁之间的人有更多可能性会被推荐科技类书籍。辨认到穿着西装的青年人和中年人有更多可能性被推荐商业书籍。

以大型商场为例，包括城市中心商场和社区商场。广告屏幕和摄像头放置在商场门口，对进入商场的顾客(单个或多个)推荐商品。商品来源是大型综合商场内部商铺的热销商品，可吸引顾客进入商场消费。在城市中心商场，消费更倾向于社交性或带有一定的目的性，在多个顾客出现时(可能以家庭为单位，也可能是同事朋友关系的组合)，优先对画面中出现的女性进行消费推荐。如果在社区商场，消费更倾向于社区型家庭型，在多个顾客出现时，应优先对画面中出现的小朋友进行消费推荐。推荐方法和零售商店内的推荐方法类似。比如在社区商场，在午饭时间，可以对家庭推荐适合全家进餐的餐馆和套餐，在摄像头识别出一男一女的组合时，可以推荐适合情侣的餐馆和套餐。

下面总结一下本实施例中广告推荐设备及其使用的广告推荐方法的有益效果。

第一，本实施例中广告推荐设备及其使用的广告推荐方法可以避免探针技术在个人隐私方面的问题。

第二，本实施例中广告推荐设备及其使用的广告推荐方法可以提升线下广告屏幕的使用效率。对不同细分市场的顾客推荐不同类型的商品，线下场景的特点是非理性、即时型、冲动型。准确判断线下场景的即时状态，可以更准确的进行推荐，并且让线下广告也呈现线上广告千人千面的效果，把线上的数字化营销搬到线下。

第三，本实施例中广告推荐设备及其使用的广告推荐方法可一定程度解决购物车推荐方法的不足问题。比如我们在淘宝上购买了低频消费类商品，接下来几个月淘宝还是会反复推荐这类商品。而通过人工智能算法，可以推断来访客人当时的状态、情绪等即时性信息，提升推荐的有效性、准确性和实时性。

第四，本实施例中广告推荐设备及其使用的广告推荐方法可以提升店铺对于路过顾客的吸引力，提升到店率，提升购物者在线下商店的体验。来提升到访者的参与度和满意度，并提升店内明星产品和高利润产品的流通率。

第五，本实施例中广告推荐设备及其使用的广告推荐方法通过对不同顾客展示不同类型广告，相当于增加了广告屏的体量。

第六，本实施例中广告推荐设备及其使用的广告推荐方法解决了服饰辨认和状态特征辨认的难点问题。本实施例中广告推荐设备及其使用的广告推荐方法提出不需要辨认具体的服饰种类就可以推断顾客所处的状态特征的方法。Ziwei Liu,Ping Luo等人曾在“DeepFashion:Powering Robust Clothes Recognition and Retrieval With RichAnnotations”中曾经提及服饰识别上的难点：服装容易变形，并且不同条件下拍摄出的差异很大，大量细节比如版型、衣长等难以辨认。而本实施例中广告推荐设备及其使用的广告推荐方法辨认商业/休闲状态时，可以把服装特征简化为对领口、纽扣、拉链、服装颜色(单色、多色)的辨认，而不聚焦于其它特征。比如丝绸单色衬衫(有纽扣、无拉链)可被判断为商务服饰，而花朵图案西服可能被判断为休闲服饰。根据这种方法，甚至不需要具体辨认服装类型。

第七，本实施例中广告推荐设备及其使用的广告推荐方法还能够回答推荐广告是否有效的问题。并实现自身的优化。

实施例4

基于相同的构思，本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本发明实施例1中的广告推荐方法中的步骤。

实施例5

基于相同的构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例1中的广告推荐方法中的步骤。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。

Claims (15)

1.一种广告推荐方法，其特征在于，包括：

获取第一时刻顾客的第一图像数据；

使用深度学习算法识别所述第一图像数据中顾客的年龄、性别、情绪特征、状态特征、时尚特征，所述年龄、性别、情绪特征、状态特征、时尚特征作为商品推荐因子；

根据所述商品推荐因子以及已构建的商品推荐模型选择向所述顾客展示商品库中对应的商品广告；

向所述顾客展示所述商品广告；

其中，所述已构建的商品推荐模型为决策树模型和/或多元回归模型，所述商品推荐因子为所述商品推荐模型的自变量，所述商品库中的商品为所述商品推荐模型的因变量。

2.如权利要求1所述广告推荐方法，其特征在于，还包括：

获取所述顾客的购物信息；

将所述购物信息与所述商品广告中的商品进行对比，确认向所述顾客展示的商品广告是否有效。

3.如权利要求2所述广告推荐方法，其特征在于，获取所述顾客的购物信息之前还包括：

存储所述第一图像数据，获取第二时刻所述顾客的第二图像数据，所述第二时刻为所述顾客购买商品付款的时间段，通过所述第二时刻的时间对比，把所述顾客的第二图像数据和所述顾客的购物信息进行实时对应；

再将所述第二图像数据与所述第一图像数据比对确定所述顾客。

4.如权利要求2所述广告推荐方法，其特征在于，还包括：

基于所述第二图像对应的购物信息与所述第一图像相对应的所述商品广告中的商品的对比结果优化所述已构建的商品推荐模型。

5.一种广告推荐设备，其特征在于，包括：

第一数据获取模块，用于获取第一时刻顾客的第一图像数据；

计算模块，用于使用深度学习算法识别所述第一图像数据中顾客的年龄、性别、情绪特征、状态特征、时尚特征，所述年龄、性别、情绪特征、状态特征、时尚特征作为商品推荐因子；并且用于根据所述商品推荐因子以及已构建的商品推荐模型选择向所述顾客展示商品库中对应的商品广告；

广告展示模块，向所述顾客展示所述商品广告；

其中，所述已构建的商品推荐模型为决策树模型和/或多元回归模型，所述商品推荐因子为所述商品推荐模型的自变量，所述商品库中的商品为所述商品推荐模型的因变量。

6.如权利要求5所述广告推荐设备，其特征在于，还包括：

第一信息获取模块，用于获取所述顾客的购物信息；

第一信息比较模块，用于将所述购物信息与所述商品广告中的商品进行实时对比，确认向所述顾客展示的商品广告是否有效。

7.如权利要求6所述广告推荐设备，其特征在于，还包括：

第一数据存储模块，用于存储所述第一图像数据；

第二数据获取模块，用于获取第二时刻所述顾客的第二图像数据，所述第二时刻为所述顾客购买商品付款的时间段，通过所述第二时刻的时间对比，把所述顾客的第二图像数据和所述顾客的购物信息进行实时对应；

第二信息比较模块，用于将所述第二图像数据与所述第一图像数据比对确定所述顾客。

8.如权利要求6所述广告推荐设备，其特征在于，所述计算模块还用于基于所述第二图像对应的购物信息与所述第一图像相对应的所述商品广告中的商品的对比结果优化所述已构建的商品推荐模型。

9.一种用于商品交易场所的广告推荐系统，其特征在于，包括：

第一摄像头，用于获取第一时刻顾客的第一图像数据；

第一处理器，用于使用深度学习算法识别所述第一图像数据中顾客的年龄、性别、情绪特征、状态特征、时尚特征，所述年龄、性别、情绪特征、状态特征、时尚特征作为商品推荐因子；并且用于根据所述商品推荐因子以及已构建的商品推荐模型选择向所述顾客展示商品库中对应的商品广告；

第一广告展示屏，用于向所述顾客展示所述商品广告；所述第一广告展示屏用于放置在所述商品交易场所的入口区和/或出口区和/或休息区和/或体验区；

其中，所述第一摄像头安装于所述第一广告展示屏上或设于所述第一广告展示屏的附近区域，所述顾客为停留在所述第一广告展示屏前面的消费者。

10.如权利要求9所述用于商品交易场所的广告推荐系统，其特征在于，所述已构建的商品推荐模型为决策树模型和/或多元回归模型，所述商品推荐因子为所述商品推荐模型的自变量，所述商品库中的商品为所述商品推荐模型的因变量。

11.如权利要求9所述用于商品交易场所的广告推荐系统，其特征在于，还包括：

第一信息获取器，用于获取所述顾客的购物信息；

第一信息比较器，用于将所述购物信息与所述商品广告中的商品进行实时对比，确认向所述顾客展示的商品广告是否有效。

12.如权利要求11所述用于商品交易场所的广告推荐系统，其特征在于，还包括：

第一数据存储器，用于存储所述第一图像数据；

第二摄像头，用于获取第二时刻所述顾客的第二图像数据，所述第二时刻为所述顾客购买商品付款的时间段，通过所述第二时刻的时间对比，把所述顾客的第二图像数据和所述顾客的购物信息进行实时对应，所述第二摄像头安装于所述商品交易场所的付款区；

第二信息比较器，用于将所述第二图像数据与所述第一图像数据比对确定所述顾客。

13.如权利要求11所述广告推荐设备，其特征在于，所述第一处理器还用于基于所述第二图像对应的购物信息与所述第一图像相对应的所述商品广告中的商品的对比结果优化所述已构建的商品推荐模型。

14.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任意一项所述广告推荐方法中的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任意一项所述广告推荐方法中的步骤。