CN109740466B - 广告投放策略的获取方法、计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种广告投放策略的获取方法、计算机存储介质以及计算机。该获取方法包括：获取用户当前观看广告时的人脸图像数据和眼球运动数据；根据所述人脸图像数据和所述眼球运动数据获取用户对其当前观看的广告的兴趣状态数据；根据所述兴趣状态数据获取对用户投放广告的广告投放策略。通过结合人脸图像数据和眼球运动数据来获取用户对当前广告的兴趣状态数据，准确地判断用户对广告是否感兴趣，以及时调整广告投放策略，同时为后端的市场调查等分析提供更丰富的用户属性信息。

Description

广告投放策略的获取方法、计算机可读存储介质

技术领域

本发明属于计算机技术领域，具体地讲，涉及一种广告投放策略的获取方法、计算机可读存储介质、计算机设备。

背景技术

眼球追踪是指对眼球运动信息的获取、建模、和模拟的研究，具体有三种分类：一是会根据眼球周边的特征及其变化进行追踪，二是对人类眼睛的虹膜的角度的变化进行跟踪，三是主动投射红外线等光束到虹膜从而来提取特征。眼球追踪技术可以让机器更加理解人类的技术，并且它应用场景非常广泛，与人类生活息息相关。例如广告领域中，眼球追踪更是有非常大的作用。由于它可以监测海报与广告的效果、与产品的相关性、客户的喜好与购买欲等。眼球追踪可以优化超市与商场中的产品货架摆放位置，优化互联网行业的网页设计，从而使得品牌效果达到最大化。眼球追踪对于产品的包装和设计也有益处，它会监测消费者的心理、从而推测出消费者的喜好、购买欲望来排列顺序，从而可以形成记忆重现等，使消费者惊喜。

人脸表情识别作为情绪判断的关键性技术，同时也是实现人机交互的一大基础，其应用十分广泛。在驾驶方面，可以对司机驾驶状态进行分析。监测司机状态，通过表情对疲劳驾驶和突发疾病等异常情况做出预警，保护生命安全。在教育方面，它可以通过分析学生们的动作与面部表情等，帮助教师判断学生对于课堂知识的理解程度。是一种全新的师生互动方式，也是一种有效的教学评估手段。而在广告与市场营销方面，它可以进行受众分析，精准营销。快速分析广告受众属性，包括年龄、肤质、表情等，为后续精准营销打下基石。

但是，现有的广告检测和对应的市场调查装置，均使用眼球追踪或表情识别中的一类技术。没有同时兼顾眼球追踪技术带来的关注点，关注区域，关注路径与关注频次信息和表情识别技术中相关的关注人年龄、性别、喜好、情感反馈等信息，从而不能准确地判断用户是否对广告感兴趣，而且对于目前互联网海量数据下的广告分析与市场调查缺乏综合性信息判断。

发明内容

(一)解决的技术问题

本发明所要解决的技术问题是：如何获取更加精准的广告投放策略。

(二)技术方案

为了解决上述的技术问题，本发明采用了如下的技术方案：

一种广告投放策略的获取方法，包括：

获取用户当前观看广告时的人脸图像数据和眼球运动数据；

根据所述人脸图像数据和所述眼球运动数据获取用户对其当前观看的广告的兴趣状态数据；

根据所述兴趣状态数据获取对用户投放广告的广告投放策略。

优选地，所述人脸图像数据为人脸情绪类型数据，其中，所述获取用户当前观看广告时的人脸图像数据的方法包括：

获取用户当前观看广告时的视频；

利用预先训练好的基于空间特征的第一表情识别网络获取所述视频的每一帧图像的各类人脸情绪类型分别对应的第一概率，利用预先训练好的基于时序特征的第二表情识别网络获取所述视频的每一帧图像的各类人脸情绪类型分别对应的第二概率；

根据各类人脸情绪类型分别对应的第一概率和各类人脸情绪类型分别对应的第二概率计算得到各类人脸情绪类型分别对应的融合概率；

确定各类人脸情绪类型中融合概率最大的人脸情绪类型为对应帧图像的人脸情绪类型。

优选地，所述利用预先训练好的基于空间特征的第一表情识别网络获取所述视频的每一帧图像的各类人脸情绪类型分别对应的第一概率的方法包括：

对每一帧图像进行预处理；

利用预先训练好的特征提取网络提取预处理后的每一帧图像的特征；

将提取的每一帧图像的特征输入进预先训练好的第一分类器，所述第一分类器输出每一帧图像的各类人脸情绪类型分别对应的第一概率。

优选地，所述利用预先训练好的基于时序特征的第二表情识别网络获取所述视频的每一帧图像的各类人脸情绪类型分别对应的第二概率的方法包括：

提取每一帧图像的人脸关键点特征；

将每一帧图像的人脸关键点特征输入预先训练好的局部双向递归循环神经网络，所述局部双向递归循环神经网络输出每一帧图像的人脸器官变化特征；

将每一帧图像的人脸器官变化特征输入进预先训练好的第二分类器，所述第二分类器输出每一帧图像的各类人脸情绪类型分别对应的第二概率。

优选地，所述获取用户当前观看广告时的眼球运动数据的方法包括：

获取用户当前观看广告时的视频；

根据预先训练好的眼球检测模型和预先训练好的递归神经网络模型获取视频中每一帧图像的眼球位置数据；

根据连续多帧图像的眼球位置数据获取在所述视频所在时间段内的眼球运动数据。

优选地，所述根据所述人脸图像数据和所述眼球运动数据获取用户对其当前观看的广告的兴趣状态数据的具体方法为：

判断所述人脸图像数据是否包括预设的情绪类型数据；

若是，则判断所述眼球运动数据是否包括预设的眼球运动状态数据；

若是，则获取用户对其当前观看的广告感兴趣的状态数据；若否，则获取用户对其当前观看的广告不感兴趣的状态数据。

优选地，所述预设的情绪类型数据包括任一种下列数据：人脸愉悦状态数据、人脸悲伤状态数据、人脸疑惑状态数据、人脸焦虑状态数据、人脸惊讶状态数据和人脸愤怒状态数据。

优选地，根据所述兴趣状态数据获取对用户投放广告的广告投放策略的具体方法为：

若获取的兴趣状态数据为用户对其当前观看的广告感兴趣的状态数据，则获取的广告投放策略为保留用户当前观看的广告；

若获取的兴趣状态数据为用户对其当前观看的广告不感兴趣的状态数据，则获取的广告投放策略为重新投放新广告。

优选地，在所获取用户当前观看广告时的人脸图像数据和眼球运动数据之后，所述获取方法还包括：根据人脸图像数据获取用户属性信息，其中所述用户属性信息包括以下至少一项：年龄信息、性别信息、种族信息、配饰信息、发型信息；

其中，所述重新投放新广告的方法为：重新投放与所述用户属性信息相匹配的新广告。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有广告投放策略的获取程序，所述广告投放策略的获取程序被处理器执行时实现任一种上述的广告投放策略的获取方法。

本发明还公开了一种计算机设备，所述计算机设备包括存储器、处理器和存储在所述存储器上的广告投放策略的获取程序，所述广告投放策略的获取程序被所述处理器执行时实现任一种上述的广告投放策略的获取方法。

(三)有益效果

本发明提供的广告投放策略的获取方法，通过结合人脸图像数据和眼球运动数据来获取用户对当前广告的兴趣状态数据，准确地判断用户对广告是否感兴趣，以及时调整广告投放策略，同时为后端的市场调查等分析提供更丰富的用户属性信息。

附图说明

图1为本发明的实施例一的获取方法流程图；

图2为本发明的实施例一的获取眼球位置的算法流程图；

图3为本发明的实施例一的获取每一帧图像的眼球区域的算法流程图；

图4为本发明的实施例一的获取各类情绪类型分别对应的第一概率的算法流程图；

图5为本发明的实施例一的获取各类情绪类型分别对应的第二概率的算法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，其示出了根据本发明的一个实施例的广告投放策略的获取方法的流程图。为了便于理解，本实施例中，结合常见的终端设备来举例说明。该终端设备可以是平板电脑、笔记本电脑、台式电脑和智能手机等，但不限于此。

如图1所示，根据本发明的一个实施例的广告投放策略的获取方法包括步骤S1至步骤S3。

在步骤S1中，获取用户当前观看广告时的人脸图像数据和眼球运动数据。

具体来说，首先获取用户当前观看广告时的视频。其中，可利用终端设备自带的摄像头来拍摄用户当前观看广告时的视频，也在终端设备的显示屏幕上方安装额外的摄像头来拍摄用户当前观看广告时的视频，需要保证用户人脸占摄像头拍摄的视频画面的40％以上。另外还需要在终端设备的显示器前安装超声波测距仪，超声波测距仪用于测量眼球与显示器上的广告页面的距离，以将最后计算得出的眼球坐标转化至广告页面上的相应坐标。

进一步地，利用人脸识别算法获取所述视频中用户的人脸图像数据，并利用眼球追踪算法获取所述视频中用户的眼球运动数据。

具体来说，当用户浏览广告页面时，摄像头采集用户观看广告时的视频后，视频数据分别传输至眼球追踪模块和人脸识别模块。其中利用基于视频序列的神经网络双模型的眼球追踪算法来获取眼球运动数据。

其中，眼球追踪算法主要包括：步骤一：根据预先训练好的眼球检测模型和预先训练好的递归神经网络模型获取视频中每一帧图像的眼球位置数据；步骤二：根据连续多帧图像的眼球位置数据获取在所述视频所在时间段内的眼球运动数据。

进一步地，如图2所示，步骤一具体包括如下步骤：

步骤S01：获取第N帧图像的眼球区域。

具体来说，如图3所示，眼球检测模型中利用改进的YOLO检测算法进行眼球框区域的检测。进一步地，针对每一帧图像，将图像划分为k×k个子网络，通过YOLO算法的24个卷积层对每个子网络所在区域进行预测，在每个子网格内生成多个不同位置和不同尺寸的矩形候选预测区域，针对矩形候选预测区域进行Bounding box回归预测筛选出候选的眼球框区域。

进一步地，对每个候选的眼球框区域进行预测，得出眼球区域。

具体来说，针对每个候选的眼球框区域，将YOLO最后一个全连接层的输出，通过6个卷积层的计算，对这6个卷积层中的每一个进行遍历，得到对应的特征图。获取特征图的具体操作为：首先，提取当前为第N层的卷积层以及卷积层的输出：特征图N。对特征图N进行2倍上采样，并与N-1卷积层的特征图N-1进行像素相加，最后结果作为N层卷积的输出送到特征图融合层。特征图融合层完成6个卷积层对应输出的6个特征图的加权融合，并经过一个全连接层完成所有特征的融合。最后将全连接层的特征图融合结果输出至softmax分类层进行对眼球类别预测，眼球类别预测的结果有两种，一种为是人眼眼球，另一种为不是人眼眼球。根据得到的眼球类别的预测概率，将预测概率高的作为预测结果。其中，针对候选的眼球框区域，如果预测结果为是人眼眼球，则将该候选的眼球框区域作为正确的眼球区域。

步骤S02：对眼球区域进行分块操作，并提取相应特征。将前后K帧中提取到的K个眼球部位的区域(K可为3，5，7)，经过递归神经网络模型的计算，对上一步得到的眼球预测区域进行分块操作，并在分块中提取相应的特征，主要提取眼球的中心与眼球矩形边框四个方向的边缘点特征。

步骤S03：通过softmax分类层并利用分块中提取的特征来计算分块的置信度，并将每个分块的预测值进行组合，形成了整个候选区域的置信图，即获取N到N-K帧的K个眼球区域置信图。

步骤S04：通过置信图之间的比较来判断是否存在着遮挡眼球目标的情况，若置信图的值与之前帧的相差太大，即跟踪置信度小于阈值thr＝0.5，则判断有遮挡眼球目标的情况。反之若无遮挡，直接采用本帧眼球区域作为眼球位置。

步骤S05：当眼球目标判断被遮挡时，根据之前帧置信图眼球中心的评分来预测眼球可能存在的位置。

其中，对于视频的最初几帧，例如第一帧、第二帧的图像直接采用眼球检测模型来预测图像的眼球位置，不需要通过递归神经网络模型来进一步计算。

具体地，在步骤二中，眼球运动数据包括静止注视时长、眨眼频率、瞳孔大小变化、眼球扫视频率、眼球运动路径以及眼球扫描区域。其中，当确定眼球位置后，检测眼球区域的大小，若检测眼球区域的尺寸变化在设定范围之内，则确定此时静止注视状态。将眼球区域近似为矩形区域，眼球区域的初始长度为H，初始宽度为W，当眼球区域的长度在0.8H至1.2H之间变化，宽度在0.8W至1.2W之间变化均视为在设定范围，这样通过检测每一帧图像的眼球区域的尺寸范围，则可测出视频所在时间段内的静止注视时长。

进一步地，当眼球追踪置信度小于阈值时，用此帧的眼球预测结果去做眨眼判断。眨眼判断方法为：将眼球区域长宽各扩大一倍得到眨眼区域，在眨眼区域内图像做阈值分割与连通区域检测，若连通区域数量小于3，则判断为眨眼。在眼球区域内，进行直方图均衡与边缘检测，检测出瞳孔圆框与眼球圆框，并计算最内层圆(瞳孔)占眼球框图像面积的百分比，即瞳孔占据比率，用比率判断瞳孔大小变化。由于人的阅读顺序为从左向右，这里眼球扫视频率用眼球由右向左的快速运动作为判断基准，其中本帧眼球框与上帧眼球框，框中心点的连接向量方向即为本帧视线移动方向，测量连续多帧图像的视线移动方向即可测出眼球扫描频率，同时在连续帧内许多帧的框中心点连接向量头尾连接在一起生成眼球运动路径。进一步地，检测在一定时间段内是否产生连通区域，则将该连通区域作为眼球扫描区域。

本实施例的人脸识别算法包括如下步骤：

获取用户当前观看广告时的视频；利用预先训练好的基于空间特征的第一表情识别网络获取所述视频的每一帧图像的各类人脸情绪类型分别对应的第一概率P_s(x)，利用预先训练好的基于时序特征的第二表情识别网络获取所述视频的每一帧图像的各类人脸情绪类型分别对应的第二概率P_t(x)；根据各类人脸情绪类型分别对应的第一概率和各类人脸情绪类型分别对应的第二概率计算得到各类人脸情绪类型分别对应的融合概率P_total(x)。确定各类人脸情绪类型中融合概率P_total(x)最大的人脸情绪类型为对应帧图像的人脸情绪类型。其中融合概率的计算公式为：

P_total(x)＝αP_s(x)+βP_t(x)

其中，α和β分别表示基于空间特征的第一概率的权重系数、基于时序特征的第二概率的权重系数，且α+β＝1。其中，可以利用简单的神经网络进行二分类学习来获得权重系数α和β，该神经网络可以是VGG16神经网络。

下面分别对两种表情识别网络如何识别每帧图像的人脸情绪类型进行详细描述。

(一)基于空间特征的第一表情识别网络。

如图4所示，步骤S201：对每一帧图像进行预处理。包括人脸检测，人脸对齐，数据增强，归一化等处理过程。

首先通过人脸检测算法精准截取出图像中的人脸部分，去除背景。人脸检测算法可使用MTCNN、FAST-RCNN算法等基于神经网络的常用人脸检测算法。接着将检测到的人脸进行人脸对齐，具体做法为先检测人脸上的21、68、或168个人脸关键点，对不同姿态角度的人脸进行还原成相同的标准正面。常用技术方法有IntraFace、Mot、DRMF、Dlib、MTCNN等。然后将对齐的人脸图像做数据增强处理。数据增强分为在线和离线两种。其中主流的离线数据增强，包含随机扰动，变换(平移，旋转，翻转，对齐，缩放)，噪声添加如椒盐噪声，斑点噪声，亮度、饱和度变化，以及在眼睛之间添加二维高斯随机分布的噪声。在线的数据增强，包含剪切，水平翻转等。在线数据增强主要的是指在预测时可以一次性对测试数据进行剪切，翻转等操作，并且生成多张类似的测试图，然后将每张测试图预测出的输出做均值。数据增强对于深度神经网络的特征学习十分重要，为训练和测试数据增加扰动，可以算法的抗干扰性与鲁棒性。

进一步地，对进行数据增强处理之后的人脸数据进行人脸归一化处理，包括直方图归一化和图像灰度化转换，以完整人脸亮度和姿态的归一化，使得深度神经网络的特征学习的输入为对齐后的人脸灰度图。

步骤S202：利用预先训练好的特征提取网络提取预处理后的每一帧图像的特征。

具体地，采用深度神经网络模型对图像进行特征提取，优选采用标准shufflenet网络进行特征提取。其中，shufflenet网络为现有技术，在此不进行详细描述。

步骤S203：将提取的每一帧图像的特征输入进预先训练好的第一分类器，所述第一分类器输出每一帧图像的各类人脸情绪类型分别对应的第一概率。

利用图像经过深度神经网络提取到的特征，经过两个全连接层，输出到第一分类器进行人脸情绪类型预测，得到此张人脸图像的各类人脸情绪类型分别对应的第一概率P_s(x)。其中第一分类器优先采用softmax分类器。

进一步地，利用上述的人脸情绪类型的识别方法，还可以得到用户属性信息，用户属性信息主要包括年龄信息、性别信息、种族信息、配饰信息、发型信息。

(二)基于时序特征的表情识别网络。

如果仅仅使用静态图像用于人脸表情识别会丢失很多重要信息，如人脸的运动信息等，所以基于视频的人脸表情识别是一种重要的识别方法，可以有效提升识别准确率。在静态表情识别的基础上结合视频时序信息与视频帧连续性，提升人脸情绪识别效果。

本发明的实施例采用局部双向递归循环神经网络算法，用于提取视频序列之间的时序信息。该局部双向递归循环神经网络算法对人脸各个部位进行双向循环网络的处理，可以提取人脸各部位在时间序列上的变化信息，然后在高层网络进行融合，最终得到人脸整体形态在时间序列上的变化信息，从而进行人脸表情的识别。为了进一步提高视频序列的情绪识别准确率，利用模型融合的方法，结合空间信息和时序信息，进行视频序列的人脸情绪预测。具体来说，如5所示，该算法主要包括如下步骤：

步骤S301：提取每一帧图像的人脸关键点特征。

对于输入的图像，首先进行人脸检测与关键点检测，关键点检测方法可采用SDM(supervised descent method)算法、dlib算法、MTCNN算法等。获取N个关键(N＝21，68，168)，根据人脸器官特性：两个眉毛、一个鼻子、两个眼睛、一个嘴巴，将获取的N个关键点分成对应的4部分。人脸表情或人脸情绪可通过这4部分的运动进行表征。

步骤S302：将每一帧图像的人脸关键点特征输入预先训练好的局部双向递归循环神经网络，所述局部双向递归循环神经网络输出每一帧图像的人脸器官变化特征。

该步骤包括如下：

(a)首先对于输入的4部分关键点信息，每部分均经过一个子处理网络，分别提取出眉毛、眼睛、嘴巴和鼻子特征图。

(b)合并眉毛特征图与眼睛特征图得到眉眼特征图，合并嘴巴特征图与鼻子特征图得到鼻嘴特征图，由此得到人脸上下部分的特征。

(c)将眉眼特征与鼻嘴特征分别通过两个子处理网络后，得到新的眉眼特征图与鼻嘴特征图。将新眉眼特征图与第一层提取到的嘴巴特征图合并，获得眉眼嘴特征。

(d)眉眼嘴特征通过一个子处理网络后，与上一步得到的新鼻嘴特征图合并，最终得到人脸器官变化特征。

步骤S303：将每一帧图像的人脸器官变化特征输入进预先训练好的第二分类器，所述第二分类器输出每一帧图像的各类人脸情绪类型分别对应的第二概率。其中第二分类器优先采用softmax分类器。

综合基于空间特征的表情识别网络和基于时间特征的表情识别网络，识别出用户观看广告时的各种情绪，包括愉悦情绪、漠然情绪、悲伤情绪、疑惑情绪、焦虑情绪、惊讶情绪和愤怒情绪，从而获得人脸愉悦状态数据、人脸悲伤状态数据、人脸疑惑状态数据、人脸焦虑状态数据、人脸惊讶状态数据和人脸愤怒状态数据等。

在步骤S2中，根据人脸图像数据和眼球运动数据获取用户对其当前观看的广告的兴趣状态数据。

具体来说，兴趣状态数据包括用户对其当前观看的广告感兴趣的状态数据和/或用户对其当前观看的广告不感兴趣的状态数据。进一步地，步骤S2包括如下步骤二一至步骤二三：

步骤二一：判断人脸图像数据是否包括预设的情绪类型数据。

具体地，根据步骤一提供的人脸识别算法，可获取用户观看广告时的各种预设的情绪类型数据，包括人脸愉悦状态数据、人脸悲伤状态数据、人脸疑惑状态数据、人脸焦虑状态数据、人脸惊讶状态数据和人脸愤怒状态数据。当人脸图像数据中包括上述的任意一种或者任意多种预设的情绪类型数据时，则表明用户对正在观看的广告具有一定的关注度，需要进一步结合眼球运动数据来判断用户是否真正对广告感兴趣。

步骤二二：若人脸图像数据包括预设的情绪类型数据，则判断眼球运动数据是否包括预设的眼球运动状态数据。

进一步地，根据步骤一提供的眼球追踪算法，可获取各种预设的眼球运动状态数据。其中，预设的眼球运动状态数据包括包括用户观看当前广告时的静止注视时长大于或等于预设时长的状态数据以及至少一种下列数据：用户观看广告时的眨眼频率大于或等于预设眨眼频率的状态数据；用户观看广告时眼球的瞳孔放大倍数大于或等于预设放大倍数的状态数据；用户观看广告时的眼球扫视频率大于或等于预设扫视频率的状态数据。其中，用户观看当前广告时的静止注视时的预设时长优选为2秒；用户观看广告时的眨眼的预设频率优选为15次每秒；用户观看广告时眼球的预设放大倍数为1.25倍；用户观看广告时的眼球的预设扫视频率为一次每三秒。

步骤二三：若眼球运动数据包括预设的眼球运动状态数据，则获取用户对其当前观看的广告感兴趣的状态数据；若眼球运动数据不包括预设的眼球运动状态数据，则获取用户对其当前观看的广告不感兴趣的状态数据。

具体来说，本步骤对人脸识别结果进行眼球追踪结果进行交叉验证。举例来说，当人脸图像数据中包括人脸愉悦状态数据时，表明用户对正在观看的广告具有一定的关注度，此时进一步检测到眼球运动数据包括用户观看当前广告时的静止注视时长大于或等于预设时长的状态数据，表明用户对广告有进一步的关注度，当进一步地检测到眼球运动数据包括用户观看广告时的眨眼频率大于或等于预设眨眼频率的状态数据时，则表明用户对观看的广告具有很强的关注度，此时可判断用户对广告感兴趣，获取用户对其当前观看的广告感兴趣的状态数据。若眨眼频率小于预设眨眼频率，则进一步检测眼球的瞳孔直径放大倍数，若瞳孔直径放大倍数大于或等于预设放大倍数，则表明用户对观看的广告具有很强的关注度，此时可判断用户对广告感兴趣，则获取用户对其当前观看的广告感兴趣的状态数据。其他情况类似，在此不做详细描述。

在步骤S3中，根据兴趣状态数据获取对用户投放广告的广告投放策略。

具体来说，若获取的兴趣状态数据为用户对其当前观看的广告感兴趣的状态数据，则获取的广告投放策略为保留用户当前观看的广告。若用户对当前正在观看的广告感兴趣，则应继续保留用户当前观看的广告。

进一步地，若获取的兴趣状态数据为用户对其当前观看的广告不感兴趣的状态数据，则获取的广告投放策略为重新投放新广告。若用户对当前观看的广告不感兴趣，则不应继续保留当前的广告，而应重新投放新广告。

进一步地，在步骤一中利用人脸识别算法，除了进行人脸情绪识别之外，还能进行用户属性信息的获取，例如，获取的用户属性信息可包括年龄信息、性别信息、种族信息、配饰信息、发型信息等，以便了解更多的用户信息。此时重新投放新广告的具体方法为向用户投放与用户属性信息匹配的新广告，以实现个性化广告的推送。

具体地，采用数据库存储结构来存储用户观看当前广告时的相关信息，该相关信息包括：用户观看广告时的眼球扫描区域数据、兴趣状态数据、用户属性信息以及观看时间戳。这样便于存储上述的相关信息，同时便于供广告商家进行查看，提供精准的具有针对性的广告。

本发明的实施例提供的广告投放策略的获取方法，通过结合人脸图像数据和眼球运动数据来获取用户对当前广告的兴趣状态数据，准确地判断用户对广告是否感兴趣，以及时调整广告投放策略。同时为后端的市场调查等分析提供更丰富的用户属性信息。

进一步地，本发明的实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有广告投放策略的获取程序，广告投放策略的获取程序被处理器执行时实现上述的广告投放策略的获取方法。

进一步地，本发明的实施例还提供一种计算机设备，计算机设备包括存储器、处理器和存储在存储器上的广告投放策略的获取程序，广告投放策略的获取程序被处理器执行时实现上述的广告投放策略的获取方法。

上面对本发明的具体实施方式进行了详细描述，虽然已表示和描述了一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改和完善，这些修改和完善也应在本发明的保护范围内。

Claims (9)

1.一种广告投放策略的获取方法，其特征在于，包括：

获取用户当前观看广告时的人脸图像数据和眼球运动数据；

根据所述人脸图像数据和所述眼球运动数据获取用户对其当前观看的广告的兴趣状态数据，包括：判断所述人脸图像数据是否包括预设的情绪类型数据；若是，则判断所述眼球运动数据是否包括预设的眼球运动状态数据；若是，则获取用户对其当前观看的广告感兴趣的状态数据；若否，则获取用户对其当前观看的广告不感兴趣的状态数据；所述预设的情绪类型数据包括人脸愉悦状态数据、人脸悲伤状态数据、人脸疑惑状态数据、人脸焦虑状态数据、人脸惊讶状态数据和人脸愤怒状态数据中的任意一种或任意多种；所述预设的眼球运动状态数据包括用户观看当前广告时的静止注视时长大于或等于预设时长的状态数据以及至少一种下列数据：用户观看广告时的眨眼频率大于或等于预设眨眼频率的状态数据；用户观看广告时眼球的瞳孔放大倍数大于或等于预设放大倍数的状态数据；用户观看广告时的眼球扫视频率大于或等于预设扫视频率的状态数据；

根据所述兴趣状态数据获取对用户投放广告的广告投放策略。

2.根据权利要求1所述的获取方法，其特征在于，所述人脸图像数据为人脸情绪类型数据，其中，所述获取用户当前观看广告时的人脸图像数据的方法包括：

获取用户当前观看广告时的视频；

利用预先训练好的基于空间特征的第一表情识别网络获取所述视频的每一帧图像的各类人脸情绪类型分别对应的第一概率，利用预先训练好的基于时序特征的第二表情识别网络获取所述视频的每一帧图像的各类人脸情绪类型分别对应的第二概率；

根据各类人脸情绪类型分别对应的第一概率和各类人脸情绪类型分别对应的第二概率计算得到各类人脸情绪类型分别对应的融合概率；

确定各类人脸情绪类型中融合概率最大的人脸情绪类型为对应帧图像的人脸情绪类型。

3.根据权利要求2所述的获取方法，其特征在于，所述利用预先训练好的基于空间特征的第一表情识别网络获取所述视频的每一帧图像的各类人脸情绪类型分别对应的第一概率的方法包括：

对每一帧图像进行预处理；

利用预先训练好的特征提取网络提取预处理后的每一帧图像的特征；

将提取的每一帧图像的特征输入进预先训练好的第一分类器，所述第一分类器输出每一帧图像的各类人脸情绪类型分别对应的第一概率。

4.根据权利要求2所述的获取方法，其特征在于，所述利用预先训练好的基于时序特征的第二表情识别网络获取所述视频的每一帧图像的各类人脸情绪类型分别对应的第二概率的方法包括：

提取每一帧图像的人脸关键点特征；

将每一帧图像的人脸关键点特征输入预先训练好的局部双向递归循环神经网络，所述局部双向递归循环神经网络输出每一帧图像的人脸器官变化特征；

将每一帧图像的人脸器官变化特征输入进预先训练好的第二分类器，所述第二分类器输出每一帧图像的各类人脸情绪类型分别对应的第二概率。

5.根据权利要求1所述的获取方法，其特征在于，所述获取用户当前观看广告时的眼球运动数据的方法包括：

获取用户当前观看广告时的视频；

根据预先训练好的眼球检测模型和预先训练好的递归神经网络模型获取视频中每一帧图像的眼球位置数据；

根据连续多帧图像的眼球位置数据获取在所述视频所在时间段内的眼球运动数据。

6.根据权利要求1所述的获取方法，其特征在于，根据所述兴趣状态数据获取对用户投放广告的广告投放策略的具体方法为：

若获取的兴趣状态数据为用户对其当前观看的广告感兴趣的状态数据，则获取的广告投放策略为保留用户当前观看的广告；

若获取的兴趣状态数据为用户对其当前观看的广告不感兴趣的状态数据，则获取的广告投放策略为重新投放新广告。

7.根据权利要求6所述的获取方法，其特征在于，在所获取用户当前观看广告时的人脸图像数据和眼球运动数据之后，所述获取方法还包括：根据人脸图像数据获取用户属性信息，其中所述用户属性信息包括以下至少一项：年龄信息、性别信息、种族信息、配饰信息、发型信息；

其中，所述重新投放新广告的方法为：重新投放与所述用户属性信息相匹配的新广告。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有广告投放策略的获取程序，所述广告投放策略的获取程序被处理器执行时实现如权利要求1至7任一项所述的广告投放策略的获取方法。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器和存储在所述存储器上的广告投放策略的获取程序，所述广告投放策略的获取程序被所述处理器执行时实现如权利要求1至7任一项所述的广告投放策略的获取方法。