CN109190525A - 基于人工智能的广告用户识别方法及装置 - Google Patents

Abstract

本公开揭示了一种基于人工智能的广告用户识别方法及装置，属于计算机技术领域。方法包括：从采集的图像中进行区域选择，得到区域图像，采用深度学习算法在所述区域图像中进行人体图像检测，对检测的所述人体图像进行动作模式分析，确定目标人体图像，确定当前投放广告的商家，将所述目标人体图像作为所述商家的用户。上述基于人工智能的广告用户识别方法及装置能够在投放的广告与用户之间实现互动，通过人体图像的动作模式即可识别目标人体图像为所述商家的用户，增加了用户与广告之间的互动，大大提高了广告投放的智能性和精准性。

Description

基于人工智能的广告用户识别方法及装置

技术领域

本公开涉及计算机应用技术领域，特别涉及一种基于人工智能的广告用户识别方法及装置。

背景技术

随着社会经济的不断发展，公共场所的广告越来越得到广泛应用。广告能很好地吸引消费者注意，并且通过多媒体投放的形式也更有力地传播广告主的品牌影响力。

目前，投放广告时，通常是通过预先设置固定的某条广告，或者多条广告的投放顺序，进而对预先设置的广告一直进行投放，或者按照预先设置的投放顺序对多条广告依次进行投放，即对消费者而言，投放的广告均是被动的推送，而没有友好的用户交互和引流作用，有的虽然需要用户进行触屏操作、输入手机号等敏感信息，但均无法有效识别广告用户，且操作过程繁琐，效率低下。

发明内容

为了解决相关技术中投放的广告无法有效识别广告用户的技术问题，本公开提供了一种基于人工智能的广告用户识别方法、装置。

一种基于人工智能的广告用户识别方法，包括：

从采集的图像中进行区域选择，得到区域图像；

采用深度学习算法在所述区域图像中进行人体图像检测；

对检测的所述人体图像进行动作模式分析，确定目标人体图像及触达目的；

确定当前投放广告的商家，将所述目标人体图像作为所述商家的用户。

一种基于人工智能的广告用户识别装置，包括：

区域选择模块，用于从采集的图像中进行区域选择，得到区域图像；

人体图像检测模块，用于采用深度学习算法在所述区域图像中进行人体图像检测；

动作模式分析模块，用于对检测的所述人体图像进行动作模式分析，确定目标人体图像及触达目的；

用户识别模块，用于确定当前投放广告的商家，将所述目标人体图像作为所述商家的用户。

本公开的实施例提供的技术方案可以包括以下有益效果：

在进行广告投放时，从采集的图像中进行区域选择得到区域图像，采用深度学习算法在所述区域图像中进行人体图像检测，对检测的所述人体图像进行动作模式分析，确定目标人体图像及触达目的，确定当前投放广告的商家，将所述目标人体图像作为所述商家的用户，从而在投放的广告与用户之间实现互动，通过人体图像的动作模式即可识别目标人体图像为所述商家的用户，增加了用户与广告之间互动，大大提高了广告投放的智能性和精准性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种终端的框图。

图2是根据一示例性实施例示出的一种基于人工智能的广告用户识别方法的流程图。

图3是图2对应实施例的基于人工智能的广告用户识别方法中步骤S130的一种具体实现的流程图。

图4是图3对应实施例的步骤S132的一种具体实现的流程图。

图5是图3对应实施例的步骤S132的另一种具体实现的流程图。

图6是根据图2对应示例性实施例示出的另一种基于人工智能的广告用户识别方法的流程图。

图7是根据一示例性实施例示出的一种基于人工智能的广告用户识别装置的框图。

图8是图7对应实施例示出的基于人工智能的广告用户识别装置中动作模式分析模块130的一种框图。

图9是图8对应实施例示出的动作模式识别子模块132的一种框图。

图10是图8对应实施例示出的动作模式识别子模块132的另一种框图。

图11是图7对应实施例示出的另一种基于人工智能的广告用户识别装置的框图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种终端100的框图。终端100可以应用于智能手机、电脑、广告显示屏等终端。

参考图1，终端100可以包括以下一个或者多个组件：处理组件101，存储器102，电源组件103，多媒体组件104，音频组件105，视频组件107以及通信组件108。

处理组件101通常控制终端100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件101可以包括一个或多个处理器109来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件101可以包括一个或多个模块，便于处理组件101和其他组件之间的交互。例如，处理组件101可以包括多媒体模块，以方便多媒体组件104和处理组件101之间的交互。

存储器102被配置为存储各种类型的数据以支持在终端100的操作。这些数据的示例包括用于在终端100上操作的任何应用程序或方法的指令。存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储器102中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器109执行，以完成以下任一所示方法中的全部或者部分步骤。

电源组件103为终端100的各种组件提供电力。电源组件103可以包括电源管理系统，一个或多个电源，及其他与为终端100生成、管理和分配电力相关联的组件。

多媒体组件104包括在所述终端100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

音频组件105被配置为输出和/或输入音频信号。例如，音频组件105包括一个麦克风(MIC)，当终端100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或经由通信组件108发送。在一些实施例中，音频组件105还包括一个扬声器，用于输出音频信号。

视频组件107包括一个或多个视频采集设备，用于为终端100提供采集的视频图像。在一些实施例中，该视频组件107还可以包括摄像头、扫描仪等。

通信组件108被配置为便于终端100和其他设备之间有线或无线方式的通信。终端100可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件108经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件108还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，终端100可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行下述方法。

其中，该实施例的终端中的处理器被配置为执行：

从采集的图像中进行区域选择，得到区域图像；

采用深度学习算法在所述区域图像中进行人体图像检测；

对检测的所述人体图像进行动作模式分析，确定目标人体图像及互动触达目的；

确定当前投放广告的商家，将所述目标人体图像作为所述商家的用户。

该实施例中的终端中处理器执行操作的具体方式将在有关基于人工智能的广告用户识别方法的实施例中进行详细描述，此处将不做详细阐述说明。

图2是根据一示例性实施例示出的一种基于人工智能的广告用户识别方法的流程图。该基于人工智能的广告用户识别方法用于如图1所示的终端100中，例如智能手机、电脑等。如图2所示，该基于人工智能的广告用户识别方法可以包括以下步骤。

步骤S110，从采集的图像中进行区域选择，得到区域图像。

可以理解的是，采集的图像中并不是整个图像都存在有人，因此，通过从采集的图像中进行区域选择，避免对采集的整个图像进行图像识别，有效地减少了图像识别时的数据处理量，提高了图像识别的效率。

从采集的图像中进行区域选择时，可以是根据图像与对应的实际场景，预先从图像中设置路过行人最多的区域；也可以是接收用户对图像的区域选择；也可以是通过对采集的图像进行初步的识别，从图像中选择人数较多的一部分区域；还可以是通过其他方式从采集的图像中进行区域选择，在此不进行一一描述。

在进行区域选择后，通过从采集的图像中选取位于选择的区域所在的图像，即得到区域图像。

步骤S120，采用深度学习算法在区域图像中进行人体图像检测。

深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

同机器学习方法一样，深度学习方法也有监督学习与无监督学习之分.不同的学习框架下建立的学习模型很是不同。例如，卷积神经网络(Convolutional neuralnetworks，简称CNN)就是一种深度的监督学习下的深度学习模型，而深度置信网(DeepBelief Nets，简称DBN)就是一种无监督学习下的深度学习模型。

在一示例性实施例中，采用了基于SSD(Single Shot Detection)算法模型算法框架，并在此基础上对该算法进行了优化精简。SSD算法在目标特征图上采用卷积神经网络来预测一系列目标范围框的类别分数、偏移量坐标的快速深度学习算法，算法主要采用了VGG16的卷积神经网络，将两个全连接层改成卷积层再增加4个卷积层构造网络结构。对其中5个不同的卷积层的输出分别用两个3*3的卷积核进行卷积，一个输出分类用的置信度分数，这里我们只需要对于每个目标框生成5个置信度分数(是人体、眼睛、耳廓、下巴和其他可能性)；一个输出回归用的坐标位置，每个目标框生成4个坐标值(x，y，w，h)，对应于每个目标方框的中心位置坐标x,y；以及目标方框的宽度w和高度h。另外这5个卷积层还经过priorBox层生成缺省目标坐标。最后将前面三个计算结果分别合并然后传递给损失函数定义层。因为VGG16卷积神经网络对于硬件算力要求较高，为进一步提高计算速度、减轻计算机的负荷，对VGG16的卷积神经网络进行裁剪优化，去掉VGG16最后的三层全连接层和输出层，只保留前12层卷积网络的输出，将最后一层最大池化的特征图输出做为后级边界识别和提取神经网络的输入，这样从采集的视频图像画面中进行人相关的图像特征，得到人体特征图输出(例如，3*3*128像素矩阵)。

步骤S130，对检测的人体图像进行动作模式分析，确定目标人体图像。

面对投放的广告，对广告内容感兴趣和消费者和不感兴趣的消费者对待广告的态度是不相同的，进而在肢体动作上也是存在区别的。

因此，通过对人体图像进行动作模式分析，根据人体图像的动作确定对广告内容感兴趣的目标人体图像。

可选的，图3是根据一示例性实施例示出的步骤S130的一种具体实现的流程图。如图3所示，步骤S130可以包括步骤S131、步骤S132、步骤S133。

步骤S131，采用卷积神经网络算法对人体图像进行人脸识别，确定人脸图像。

卷积神经网络是LeCun等人在1998年提出的用于文字识别，他们称之为LeNet-5。卷积操作是基于图像二维结构定义的，其定义局部感受域每个底层特征只跟输入的一个子集有关，如拓扑邻域。卷积层里面的拓扑局部限制会使得权重矩阵非常稀疏，所以卷积操作连接的两层只有局部连接。计算这样的矩阵乘法比起计算一个稠密矩阵乘法更方便高效，另外更小数目的自由参数会使得统计计算有更多的好处。在拥有二维拓扑结构的图像里，相同的输入模式会在不同位置出现，而且相近的值更可能有更强的依赖，这对于数据的模型是非常重要的。计算相同的局部特征可能是在整个图的任意平移位置，所以我们用这样一个局部特征算子在整个图中扫描。这就是卷积并把输入图变换为一个特征图。这个扫描可以看作在不同的位置提取相同的特征，它们是共享权重的，与生物神经网络更相似。通过这种设计不仅可以使模型的复杂度降低，而且使网络权值的数量也大大的减少。CNN利用权值共享的方式减少需要学习的参数数目，较之一般前向BP算法(Error Back Propagation，误差反向传播)使得训练速度和准确度得到了极大的提高。CNN作为一个深度学习算法，可以使得数据的预处理的开销达到最小化。

很明显，深度卷积网络需要大量的有标注样本进行训练，而且还需要在训练过程中进行样本增强。而且由于卷积结构的存在和数据量的庞大，训练一个深度卷积网络需要密集的运算量，因此现在大部分深度卷积网络都是通过GPU训练的。

卷积神经网络一般使用卷积和聚合操作作为基础操作，但是它不需要无监督的逐层预训练策略。在整个训练过程中，反向传播起到的作用是非常突出的，另外通过合适的激励函数能够在提升训练速度的同时提高最终的准确率。

通过卷积神经网络算法对人体图像进行人脸识别确定人脸图像。

步骤S132，根据连续图像帧中的人脸图像变化识别人体图像的动作模式。

可以理解的是，在各人体图像中，人脸图像只是其中的一部分。

由于连续图像帧在时间上存在一定的先后顺序，因此，根据连续图像帧中各图像帧的人脸图像，识别人体图像的动作模式。

在一示例性实施例中，参考动作模式为点头动作模式。图4是本实施例中步骤S132的一种具体实现流程图，如图4所示，步骤S132可包括步骤S1321、步骤S1322。

步骤S1321，根据连续图像帧中的人脸图像变化，采用隐式马尔科夫模型识别人体图像在连续图像帧的变化状态是否依次为不动状态、向下移动、不动状态、向上移动、不动状态，若为是(Y)，则执行步骤S1322；若为否，则不作处理。

步骤S1322，识别人体图像的动作模式为点头动作模式。

对于人脸的位置变化我们采用三个特征的以下五个变化值分数来进行追踪判断：上、下、左、右和其他，前述通过卷积神经网络提取的三个主要特征(双眼、耳廓和下巴)目前人脸特征位置和下一时刻的位置进行实时比对，如果这个位置移动变化在任意方向上的变化大于最小门限值(此门限值通过反向传播训练得出最佳值)，如果横向方向大于纵向方向的变化，那么就标记人脸变化方向为左右方向，否则则标记人脸变化方向为上下方向(此算法同样采用了置信度评分方式)。对于点头这个动作的判断逻辑是人脸三个特征在垂直方向有规律的低下和抬起的过程状态分析：

不动状态-->向下移动-->不动状态-->向上移动-->不动状态

这里我们采用离散的隐式马尔科夫模型来表示和计算这个动作分析过程，数学模型包括两个隐式马尔科夫模型，一个用于对应点头动作的过程，一个用于其他动作的过程。每一个隐式马尔科夫模型有三个状态和五个观测状态(包括:向上，向下，向左，向右和其他)；然后通过各种人像点头的视频数据集进行训练，得到最佳的移动门限值和点头动作的系列状体变化规律的可能概率分数，根据最终模型的训练参数我们可以准确的判断点头确认动作的概率准确度达到99.12％。

具体的，在向下移动、向上移动的状态判断时，首先采用卷积神经网络算法从人脸图像提取双眼、耳廓、下巴的图像特征，然后在人脸图像中分别确定双眼、耳廓、下巴的图像位置，最后通过连续图像帧中双眼、耳廓、下巴的图像位置判断是否为向下移动或向上移动。

在一示例性实施例中，参考动作模式为预设方向的眨眼模式。图5是本实施例中步骤S132的一种具体实现流程图，如图5所示，步骤S132可包括步骤S1324、步骤S1325、步骤S1326步骤S1327。

步骤S1324，在人脸图像中确定人眼的图像位置。

步骤S1325，采用小波变换算法从人脸图像中提取人眼的图像特征。

采用伽柏小波变换算法进行人眼角的位置区域判断和特征提取，同时可以消除光线，画面变形和轻微抖动造成的干扰和误差。伽柏变换是一个特殊情况下的傅里叶变换,可以用于描述一个位置和方向附近的像素分布概率计算。这里我们假设输入图像(人眼睛的坐标位置)为:I(x,y)，则相应的伽柏小波变换公式如下：

Tsr(x,y)＝a-s∑∑I(c,d)φ(x`-c,y`-d)

其中x`＝a-s(xcosθr+ysinθr)，y`＝a-s(-xsinθr+ycosθr)；

根据哈里斯角点检测的理论，如果一个点属于一个角，则在这个点附近的灰度会变化剧烈，否则伽柏小波变换的斜率将非常平滑，根据这个特点，只要计算伽柏小波变换的斜率变化率，并设定一个最小门限值，通过大量训练获得最优的最小门限值就可以准确识别和提取出眼角的轮廓和位置了。同时这样可以对视频图像进行抗干扰处理，对于轻微的人脸移动进行抗干扰处理，由于人的眼角的位置相对于人脸是固定的，所以人脸的轻微移动和旋转不应该影响人眼是否关注的结构判断。

步骤S1326，采用PCEA算法对人眼是否在预设方向上进行睁开、闭上的状态判断，若为是(Y)，则执行步骤S1327；若为否，则不作处理。

预设方向为人眼看向广告投放屏幕的方向。

通过PCEA(Pupil Center Estimation Algorithm)算法，对于人眼是否关注广告投放屏幕进行分析和判断。首先对于人眼的不同状态如：睁开、闭上、正视、侧视等体现在图像帧上都是不同的状态，在不同的状态人眼的特征点像素的分布式是不同的，把人眼的瞳孔和虹膜当作圆形进行计算。

假设在一副人眼的图像帧I中，人眼的中心C代表任意的置换向量(u,v)，则用梯度向量表示这个位置为(Iu(u,v),Iv(u,v))，这里I(u,v)表示在(u,v)位置处的图像强度(导数)，则Iu(u,v),Iv(u,v)表示在这个位置的相对于方向u和v的偏导，理论上在一个圆形边缘的梯度向量必须通过这个圆形的中心，所以可以用置换向量和梯度向量的点积C来表示这一结果，所以在判断一个圆的中心位置(瞳孔中心位置)是否准确，只要这个点积C在所有方向上取局部最大就可以了，具体计算公式如下：

其中：Wc＝I*(u,v)表示在(u,v)位置的图像灰度，I*表示经过平滑和反转的原始图像。对于每一个可能的的位置中心C，通过以上公式我们可以找出Wc是从图像区域中选出灰度最大的那个点，因为一般情况下瞳孔是比周边的皮肤和眼底的灰度要大。准确得到人眼睛的瞳孔中心位置后，我们就可以非常简单的判断出人的眼睛是否在关注屏幕显示的内容了(这里假设屏幕为中心位置)，通过人眼睛瞳孔中心所在位置(x1,y1)和人眼睛在图像中的位置(x2,y2)，以及图像的中心位置(x,y)，设定一个最小门限λ，计算(x,y)相对于(x2,y2)的斜率和(x,y)相对于(x1,y1)的斜率差小于这个λ则为关注，否则为不关注就可以了，λ可以通过大量数据的训练获取最佳值。

步骤S1327，识别人体图像的动作模式为预设方向的眨眼模式。

步骤S133，采用自适应门限算法对连续图像帧进行亮度过滤。

可以理解的是，实际情况中由于带眼镜、耳环、帽子、围脖等物品均会造成图像亮度变化，从而干扰人脸图像的追踪以及细微动作的判断准确性。

因此，为消除这些因素的干扰，进一步提高人脸图像的追踪以及细微动作判断的准确性，采用自适应门限算法对连续图像帧进行亮度过滤。

在一示例性实施例中，根据计算人体图像中像素的柱状图，然后设定门限0.1％的最高亮度非零像素点被全部重置为255的最大值，这样在一个有限空间的连续图像帧中，我们可以跟踪每个人脸图像的位置变化，并且可以计算得出不同图像帧中人脸图像的平均相对距离D；一旦人脸图像离开当前图像帧，目标框相关的状态就会更新，持续跟踪每个人脸图像的位置变化情况。

步骤S134，在人体图像的动作模式符合预设的参考动作模式时，确定人体图像为目标人体图像。

步骤S140，确定当前投放广告的商家，将目标人体图像作为商家的用户。

可选的，预设的参考动作模式还可以为其它的动作模式，在人体图像的动作模式符合预设的参考动作模式时，则确定人体图像为目标人体图像，进而将目标人体图像对应的人体作为商家的用户。

在一示例性实施例中，通过分析记录人体点头动作模式的时间，然后和当前时间广告投放屏幕显示的内容进行对应，例如点头动作模式对应时间广告投放屏幕显示的内容是点头自动领取优惠卷，则记录该人体进行点头动作模式确认领取了该广告商家的优惠卷；点头动作模式确认动作对应时间广告投放屏幕显示内容为点头自动加入会员，则把人脸信息直接记录在商家线上的人脸数据库中，后续会员进入商家店铺就会通过店铺内的摄像头视频图像自动识别确认会员身份信息；点头动作模式确认动作对应时间广告投放屏幕显示内容是点头自动参与商家活动，则把人脸信息临时记录在商家线上的人脸数据库中(单次活动)，当活动结束后会自动去除关联信息。

利用如上所述的方法，从采集的图像中进行区域选择，得到区域图像，采用深度学习算法在区域图像中进行人体图像检测，对检测的人体图像进行动作模式分析，确定目标人体图像，确定当前投放广告的商家，将目标人体图像作为商家的用户，从而在投放的广告与用户之间实现互动，通过人体图像的动作模式即可识别目标人体图像为商家的用户，增加了用户与广告之间互动，大大提高了广告投放的智能性和精准性。

图6是根据图2对应示例性实施例示出的另一种基于人工智能的广告用户识别方法的流程图。如图6所示，该基于人工智能的广告用户识别方法还的可以包括以下步骤。

步骤S210，获取商家在线下采集的人脸图像。

步骤S220，对人脸图像与目标人体图像中的人脸图形进行匹配度计算。

步骤S230，在匹配度达到预设阈值时，则将在线下采集的人脸图像与目标人体图像进行对应信息的关联。

如前所述的，图2对应实施例示出的基于人工智能的广告用户识别方法中，已对检测的人体图像进行动作模式分析确定目标人体图像，并将目标人体图像作为当前投放广告的商家的用户。

在通过人体图像的动作模式(如：点头)进行互动，领取广告信息中当前显示的优惠卷、会员等相关活动后，这时该用户的信息(包括人脸图像)就会通过网络在云端进行记录。

当消费者在商家的店铺消费时，通过在商家店铺设置的摄像头就可以采集消费者图像，并立即与云端记录的人脸图像比对匹配，例如，使用深度卷积神经网络提取消费者的人脸特征，然后将云端记录的人脸图像与消费者的人脸特征进行匹配运算，计算两个图像的欧式距离，当欧式距离小于设定的阀值时，则认为匹配。

在一示例性实施例中，深度卷积神经网络中，前半部分是一个普通的6层卷积神经网络，然后是通过三个全连接神经网络，最后一层没有用传统的softmax，而是采用了一个L2范数归一化映射，即将特征从原来的特征空间中映射到一个新的特征空间，新的特征就可以称为原来特征的一种嵌入。这里的映射关系是将卷积神经网络末端全连接层输出的特征映射到一个超球面上，也就是使其特征的二范数归一化，然后再以Triplet Loss为监督信号，获得整个网络算法的损失与梯度。

在商家店铺采集消费者图像与云端记录的人脸图像匹配时，将消费者图像与云端记录的人脸图像进行关联，从而自动关联该用户之前领取的优惠卷、会员活动的信息，并自动给予相应的优惠，同时也为商家的广告效果和交易进行了闭环的数据统计。

下述为本公开装置实施例，可以用于执行本上述基于人工智能的广告用户识别方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开基于人工智能的广告用户识别方法实施例。

图7是根据一示例性实施例示出的一种基于人工智能的广告用户识别装置的框图，该装置包括但不限于：区域选择模块110、人体图像检测模块120、动作模式分析模块130及用户识别模块140。

区域选择模块110，用于从采集的图像中进行区域选择，得到区域图像；

人体图像检测模块120，用于采用深度学习算法在所述区域图像中进行人体图像检测；

动作模式分析模块130，用于对检测的所述人体图像进行动作模式分析，确定目标人体图像及互动触达目的；

用户识别模块140，用于确定当前投放广告的商家，将所述目标人体图像作为所述商家的用户。

上述装置中各个模块的功能和作用的实现过程具体详见上述基于人工智能的广告用户识别方法中对应步骤的实现过程，在此不再赘述。

可选的，如图8所示，图7对应实施例示出的动作模式分析模块130包括但不限于：人脸识别子模块131、动作模式识别子模块132和目标人体图像确定子模块134。

人脸识别子模块131，用于采用卷积神经网络算法对所述人体图像进行人脸识别，确定人脸图像；

动作模式识别子模块132，用于根据连续图像帧中的人脸图像变化识别所述人体图像的动作模式；

目标人体图像确定子模块134，用于在所述所述人体图像的动作模式符合预设的参考动作模式时，确定所述人体图像为目标人体图像。

可选的，图7对应实施例示出的动作模式分析模块130还包括但不限于：亮度过滤子模块。

亮度过滤子模块，用于采用自适应门限算法对连续图像帧进行亮度过滤。

可选的，如图9所示，参考动作模式为点头动作模式，图8对应实施例示出的动作模式识别子模块132包括但不限于：变化状态判断单元1321和点头动作模式确定单元1322。

变化状态判断单元1321，用于根据连续图像帧中的人脸图像变化，采用隐式马尔科夫模型识别所述人体图像在所述连续图像帧的变化状态是否依次为不动状态、向下移动、不动状态、向上移动、不动状态；

点头动作模式确定单元1322，用于在所述连续图像帧的变化状态依次为不动状态、向下移动、不动状态、向上移动、不动状态时，识别所述人体图像的动作模式为点头动作模式。

可选的，如图10所示，参考动作模式为预设方向的眨眼模式，图8对应实施例示出的动作模式识别子模块132包括但不限于：人眼位置确定单元1324、人眼特征提取单元1325、人眼状态判断单元1326和眨眼模式识别单元1327。

人眼位置确定单元1324，用于在所述人脸图像中确定人眼的图像位置；

人眼特征提取单元1325，用于采用小波变换算法从所述人脸图像中提取人眼的图像特征；

人眼状态判断单元1326，用于采用PCEA算法对人眼是否在预设方向上进行睁开、闭上的状态判断，若为是，则

眨眼模式识别单元1327，用于识别所述人体图像的动作模式为预设方向的眨眼模式。

可选的，图11是根据图7对应实施例示出的另一种基于人工智能的广告用户识别装置的框图，该装置还包括但不限于：线下图像采集模块210、匹配度计算模块220和信息关联模块230。

线下图像采集模块210，用于获取所述商家在线下采集的人脸图像；

匹配度计算模块220，对所述人脸图像与所述目标人体图像中的人脸图形进行匹配度计算；

信息关联模块230，于在所述匹配度达到预设阈值时，则将在线下采集的所述人脸图像与所述目标人体图像进行对应信息的关联。

可选的，本发明还提供一种终端，执行如上述示例性实施例任一所示的基于人工智能的广告用户识别方法的全部或者部分步骤。终端包括：

处理器；以及

与所述处理器通信连接的存储器；其中，

所述存储器存储有可读性指令，所述可读性指令被所述处理器执行时实现如上述任一示例性实施例所述的方法。

该实施例中的终端中处理器执行操作的具体方式已经在有关该基于人工智能的广告用户识别方法的实施例中执行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读性存储介质，例如可以为包括指令的临时性和非临时性计算机可读性存储介质。该存储介质例如包括指令的存储器102，上述指令可由终端100的处理器109执行以完成上述基于人工智能的广告用户识别方法。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于人工智能的广告用户识别方法，其特征在于，所述方法包括：

从采集的图像中进行区域选择，得到区域图像；

采用深度学习算法在所述区域图像中进行人体图像检测；

对检测的所述人体图像进行动作模式分析，确定目标人体图像及互动触达目的；

确定当前投放广告的商家，将所述目标人体图像作为所述商家的用户。

2.根据权利要求1所述的方法，其特征在于，所述深度学习算法采用VGG16的卷积神经网络。

3.根据权利要求2所述的方法，其特征在于，所述VGG16的卷积神经网络中最后三层全连接层和输出层被删除。

4.根据权利要求1所述的方法，其特征在于，所述对检测的所述人体图像进行动作模式分析，确定目标人体图像的步骤包括：

采用卷积神经网络算法对所述人体图像进行人脸识别，确定人脸图像；

根据连续图像帧中的人脸图像变化识别所述人体图像的动作模式；

在所述所述人体图像的动作模式符合预设的参考动作模式时，确定所述人体图像为目标人体图像。

5.根据权利要求4所述的方法，其特征在于，所述根据连续图像帧中的人脸图像变化识别所述人体图像的动作模式的步骤之前，所述方法还包括：

采用自适应门限算法对连续图像帧进行亮度过滤。

6.根据权利要求4所述的方法，其特征在于，所述参考动作模式为点头动作模式，所述根据连续图像帧中的人脸图像变化识别所述人体图像的动作模式的步骤包括：

根据连续图像帧中的人脸图像变化，采用隐式马尔科夫模型识别所述人体图像在所述连续图像帧的变化状态是否依次为不动状态、向下移动、不动状态、向上移动、不动状态，若为是，则

识别所述人体图像的动作模式为点头动作模式。

7.根据权利要求6所述的方法，其特征在于，所述向下移动、向上移动的状态判断包括：

采用卷积神经网络算法从人脸图像提取双眼、耳廓、下巴的图像特征；

在所述人脸图像中分别确定双眼、耳廓、下巴的图像位置；

通过连续图像帧中双眼、耳廓、下巴的图像位置判断是否为向下移动或向上移动。

8.根据权利要求4所述的方法，其特征在于，所述参考动作模式为预设方向的眨眼关注模式，所述根据连续图像帧中的人脸图像变化识别所述人体图像的动作模式的步骤包括：

在所述人脸图像中确定人眼的图像位置；

采用小波变换算法从所述人脸图像中提取人眼的图像特征；

采用PCEA算法对人眼是否在预设方向上进行睁开、闭上的状态判断，若为是，则

识别所述人体图像的动作模式为预设方向的眨眼关注模式。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述商家在线下采集的人脸图像；

对所述人脸图像与所述目标人体图像中的人脸图形进行匹配度计算；

在所述匹配度达到预设阈值时，则将在线下采集的所述人脸图像与所述目标人体图像进行对应信息的关联。

10.一种基于人工智能的广告用户识别装置，其特征在于，所述装置包括：

区域选择模块，用于从采集的图像中进行区域选择，得到区域图像；

人体图像检测模块，用于采用深度学习算法在所述区域图像中进行人体图像检测；

动作模式分析模块，用于对检测的所述人体图像进行动作模式分析，确定目标人体图像；

用户识别模块，用于确定当前投放广告的商家，将所述目标人体图像作为所述商家的用户。