CN107146096A - 一种智能视频广告展示方法及装置 - Google Patents

Abstract

一种智能视频广告展示方法，包括以下步骤：S1：利用所述视觉传感器采集展示装置当前的场景，一方面将采集到的场景图片传送给训练模块进行训练；另一方面会将场景视频序列传送给特征分析模块，用于特征的提取；S2：通过静态特征分析和动态特征分析，据提取的特征使用计算公式计算各对象的分值，最后根据分值将对象进行分类合并，得到新的分值列表，取最大分值作为最终的分类结果；S3：在已分类好的视频广告库中匹配最适合该类人物的视频广告，待当前广告结束后播放。以及一种智能视频广告展示装置。本发明实现广告的精准投放，提高广告的关注度。

Description

一种智能视频广告展示方法及装置

技术领域

本发明涉及广告机技术和人工智能技术应用领域，具体地，涉及一种智能视频广告展示方法及装置。

背景技术

随着我们经济的高速发展，大卖场及商场在都市商业经济当中显示出越来越重要的作用，其中用来刺激消费者的液晶电视广告也越来越被各消费品厂商的重视。根据调查显示，消费者对于液晶电视广告这种推广方式还是喜闻乐见的。而由于卖场购物人群相对行色匆匆，不会像电视广告的消费者那样有充裕的时间去注意到广告的内容，因此公共场合的液晶电视广告只能对消费者提供一定的帮助，起到一定的提醒作用，并不能起到预期的效果。广告的最终目的是打动目标消费人群，如果消费者对于信息传递渠道的接受度很低，信息传递的效果就会大打折扣，那么创意再好的广告，也难以取得良好的效果。

在视频广告的推送方面，公开号为CN102708497A的专利通过互联网获取用户视频节目观看日志，并以网上投递问卷的形式获取用户信息，再通过分析计算从而推送广告。该方法的局限性很大，首先必须通过联网才能获取用户信息，其次只有累积到一定的数据才能进行预测。并且是通过分析过去的用户信息来推断当下的用户喜好，并不具有针对性。同时由于互联网和大数据的发展，如今互联网广告的推送多采用点击率或者通过大数据分析，来获取消费者的行为特征，从而进行精准的广告投放。而线下的诸如商场卖场里的液晶广告机却始终维持着传统的播放模式。传统的播放模式，即广告机根据预先设置好的播放列表循环播放广告，完全没有照顾到消费者的兴趣以及体验，使广告的投放并未能取得预期的效果。

随着人工智能的不断发展，人们试图让电脑扮演着人类的角色来解决问题。机器视觉作为人工智能的一个分支，正在快速的发展。简单的说，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品(即图像摄取装置，分CMOS和CCD两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布、亮度、颜色和纹理等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，根据相应特征使用相关算法便能进行物体的识别。如果广告播放系统自己能够识别消费者类型，就能够根据识别结果精准推送广告了。

发明内容

为了克服已有广告展示方法的人为决策、无法照顾到消费者的兴趣以及体验的不足，本发明提供了一种智能视频广告展示方法及装置，在不通过人为决策的情况下，使视频广告展示装置能够通过采集周围人物对象进行分析，通过决策自行推送最适合当前人物的广告。

本发明解决其技术问题所采用的技术方案是：

一种智能视频广告展示方法，包括以下步骤：

S1：利用所述视觉传感器采集展示装置当前的场景，一方面将采集到的场景图片传送给训练模块进行训练，在传送前会对图片进行人物对象检测，若不存在人物则会舍弃；另一方面会将采集到的视频序列传送给特征分析模块，用于特征的提取；

S2：特征分析过程：首先会对视频序列中的人物对象进行人物跟踪，通过静态特征分析和动态特征分析分析每一个被跟踪对象的特征；根据提取的特征使用计算公式计算各对象的分值，最后根据分值将对象进行分类合并，得到新的分值列表，取最大分值作为最终的分类结果；

S3：根据步骤S2获取的结果，在已分类好的视频广告库中匹配最适合该类人物的视频广告，待当前广告结束后播放。

进一步，所述步骤S1中，训练模型包括线下训练和线上训练，所述线下训练是预先采集好训练集进行模型训练；所述线上训练是根据展示装置实际运营过程中通过采集足够多的样本对模型进行冲训练，以适应场景多变的环境。

再进一步，所述步骤S2中，所述静态特征包括对象的性别、年龄和穿着习惯，对于每个静态特征有其自身的分类函数和模型权值文件，利用各特征的分类函数和模型权值文件可以计算出性别和其对应的概率值P_s、年龄段和对应的概率值P_a以及穿着习惯和其对应的概率值P_w；

动态特征分析包括判断对象的走向、脚速和轨迹预测，首先将各动态特征进行量化，走向的量化则可转化为对象与视觉传感器的连线与视觉传感器所在平面垂直线之间的角度r；脚速则可以更具图像帧与帧之间移动的距离除以采集每帧的时间得到脚速v；轨迹预测则根据跟踪的路线进行预测根据走向角度r给予打分s；

静态分值f₁的计算为：

f₁＝f(Ps,Pa,Pw)

先将静态特征的各概率值进行归一化处理，根据各特征所占的比率来计算静态分值；

动态分值f₂的计算为：

f₂＝f(r,v,s)

用不同权值的参数进行相乘来计算动态分值；

对象分值f₃的计算，计算公式为：

f₃＝f(f₁,f₂)；

将静态分值f₁和动态分值f₂加权相加得到对象分值。

一种智能视频广告展示装置，所述装置包括：

采集模块，用于利用所述视觉传感器采集展示装置当前的场景；

训练模块，用于将采集到的场景图片进行训练，包括样本的训练和测试，所述样本训练是指当采集模块采集到足够的样本图片后，使用算法进行训练，调节权值参数使网络输出与预期值相符；所述测试则是使用测试集对训练好的模型进行测试，如果没有得到预期的效果则调整权重参数进行重新训练；

特征分析模块，包括静态特征分析模块和动态特征分析模块，所述的静态特征分析模块用于实现人物的静态特征提取，静态特征包括人物的性别、年龄和穿着习惯；所述的动态特征分析模块用于实现人物的动态特征提取，包括目标人物行走的方向、目标人物在行走的脚速、获取行走轨迹和行走轨迹的预测，用于判断目标人物能在展示装置前能逗留的时间从而甄选播放广告的时长；

视频广告匹配模块，用于根据特征分析模块得到的最优结果去已分类好的视频广告库进行匹配；

播放模块，用于在当前广告播放结束后取视频广告匹配模块中匹配得到的最适合目标人物的广告进行播放。

本发明的有益效果主要表现在：针对现有的广告机无法根据具体顾客播放其喜好广告，只能根据预先设置好的播放列表进行循环播放广告的情况，本发明提供了一种智能视频广告展示方法及装置，通过视觉传感器采集训练样本图片和视频跟踪序列，样本图片用于训练产生新的预测模型，为分类器提供模型权值文件。根据人物检测和跟踪获取目标的动态特征和静态特征，根据各分类特征进行分值的计算和归类，在预分类好的广告列表中匹配目标人物最感兴趣的广告。本发明的模型权值文件还能根据场景的变化重新训练以适应多变的场景，使广告的播放更具有针对性，大大提高了广告的关注度，提高广告推送所带来的经济效益。

附图说明

图1为本发明一种智能视频广告展示装置应用实例工作展示图；

图2为本发明一种智能视频广告展示装置结构示意框图；

图3为本发明一种智能视频广告展示方法特征分析模块流程图；

图4为本发明一种智能视频广告展示方法计算单个对象分值流程图；

图5为本发明一种智能视频广告展示方法及装置的示例工作流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图5，一种智能视频广告展示方法，包括以下步骤：

S1：利用所述视觉传感器采集展示装置当前的场景，一方面将采集到的场景图片传送给训练模块进行训练，在传送前会对图片进行人物对象检测，若不存在人物则会舍弃；另一方面会将采集到的视频序列传送给特征分析模块，用于特征的提取；

S2：特征分析过程：首先会对视频序列中的人物对象进行人物跟踪，通过静态特征分析和动态特征分析分析每一个被跟踪对象的特征；根据提取的特征使用计算公式计算各对象的分值，最后根据分值将对象进行分类合并，得到新的分值列表，取最大分值作为最终的分类结果；

S3：根据步骤S2获取的结果，在已分类好的视频广告库中匹配最适合该类人物的视频广告，待当前广告结束后播放。

进一步，所述步骤S1中，训练模型包括线下训练和线上训练，所述线下训练是预先采集好训练集进行模型训练；所述线上训练是根据展示装置实际运营过程中通过采集足够多的样本对模型进行冲训练，以适应场景多变的环境。

再进一步，所述步骤S2中，所述静态特征包括对象的性别、年龄和穿着习惯，对于每个静态特征有其自身的分类函数和模型权值文件，利用各特征的分类函数和模型权值文件可以计算出性别和其对应的概率值P_s、年龄段和对应的概率值P_a以及穿着习惯和其对应的概率值P_w；

动态特征分析包括判断对象的走向、脚速和轨迹预测，首先将各动态特征进行量化，走向的量化则可转化为对象与视觉传感器的连线与视觉传感器所在平面垂直线之间的角度r；脚速则可以更具图像帧与帧之间移动的距离除以采集每帧的时间得到脚速v；轨迹预测则根据跟踪的路线进行预测根据走向角度r给予打分s；

静态分值f₁的计算为：

f₁＝f(Ps,Pa,Pw)

先将静态特征的各概率值进行归一化处理，根据各特征所占的比率来计算静态分值；

动态分值f₂的计算为：

f₂＝f(r,v,s)

用不同权值的参数进行相乘来计算动态分值；

对象分值f₃的计算，计算公式为：

f₃＝f(f₁,f₂)；

将静态分值f₁和动态分值f₂加权相加得到对象分值。

一种智能视频广告展示装置，所述装置包括：

采集模块，用于利用所述视觉传感器采集展示装置当前的场景；

训练模块，用于将采集到的场景图片进行训练，包括样本的训练和测试，所述样本训练是指当采集模块采集到足够的样本图片后，使用算法进行训练，调节权值参数使网络输出与预期值相符；所述测试则是使用测试集对训练好的模型进行测试，如果没有得到预期的效果则调整权重参数进行重新训练；

特征分析模块，包括静态特征分析模块和动态特征分析模块，所述的静态特征分析模块用于实现人物的静态特征提取，静态特征包括人物的性别、年龄和穿着习惯；所述的动态特征分析模块用于实现人物的动态特征提取，包括目标人物行走的方向、目标人物在行走的脚速、获取行走轨迹和行走轨迹的预测，用于判断目标人物能在展示装置前能逗留的时间从而甄选播放广告的时长；

视频广告匹配模块，用于根据特征分析模块得到的最优结果去已分类好的视频广告库进行匹配；

播放模块，用于在当前广告播放结束后取视频广告匹配模块中匹配得到的最适合目标人物的广告进行播放。

假设某视频广告的播放时长为S秒，在这S秒内对采集到的视频序列进行人物跟踪，在跟踪的过程中可能有些人物早已不在场景内，即使匹配结果再好再准确，那对于整个广告智能推送也没有任何的意义。因此，只在当前视频广告播放结束前S₁(0<S₁≤S)秒内对跟踪人物进行特征提取和视频广告的匹配。

整个过程匹配的次数取决于视觉传感器的采集帧率，假设视觉传感器的采集帧率为F，在目标检测和跟踪过程中可能需要将视频序列进行降帧处理，使得跟踪算法能够实现实时跟踪目标人物，假设降帧后的帧率为F₁(F₁≤F)，即从跟踪序列中获取一张目标图片需要秒，假定每K帧获取一张目标图片进行特征提取和视频广告匹配，则在S₁秒内将进行次匹配。

图1为本发明一种智能视频广告展示装置的应用实例工作展示图。如图所示视觉传感器安装在液晶广告机的上方的中间位置，使能采集到的视角最大。每个用户有其自身的特征，图中箭头指向为各用户的行走轨迹，在整个过程中可能有的如用户1一般始终站在广告机的前面，此类型的用户为最佳识别对象，也有像用户3那样的突然出现在采集范围内又走出采集范围区域，本发明的目的就在于分析这些客户的静态特征和动态特征，匹配最合适的广告进行推送。

图2为本发明一种智能视频广告展示装置的结构示意框图；主要包括采集模块1、训练模块2、特征分析模块3、视频广告匹配模块4和播放模块5，其中特征分析模块包括静态特征分析模块31和动态特征分析模块32。其中采集模块是有视觉传感器和系统前端ISP(Image Signal Processor)组成，将视觉传感器采集到的原始图片发送给训练模块；将采集到的视频序列发送给特征分析模块。特征分析模块采用人物跟踪算法对视频进行降帧处理，对视频序列中的人物进行检测和跟踪。对个对象进行静态特征和动态特征的分析，根据相关算法计算每个对象所对应的分值。将各类得到的各分值进行相似性合并，去合并后分值最大的类型去匹配已分类好的视频广告库。在当前视频结束后就会播放该匹配好的视频。

图3为本发明一种智能视频广告展示方法的特征分析模块流程图；该过程的主要目的是分析单个人物对象的特征，其中特征包括静态特征和动态特征。

步骤310：从目标检测和跟踪视频序列中获取目标对象；

步骤320：特征的分析，其中包括321静态特征分析和322动态特征分析。

其中步骤321静态特征分析包括对象的性别、年龄和穿着习惯，对于每个静态特征有其自身的分类函数和模型权值文件。如对于性别特征其类型只有两类非男即女，为了提高算法的效率，算法只判断该对象是否为男性。最终会得到对象的性别和其对应的概率值P_s。同样利用该方法利用各特征的分类函数和模型权值文件可以计算出年龄段和对应的概率值P_a以及穿着习惯和其对应的概率值P_w。

其中步骤322动态特征分析包括判断对象的走向、脚速和轨迹预测，分析动态特征主要是为了选择适当时长的广告。由于对象在广告机逗留的时间是有限的，如果不能合理的选择时长则会在时域上浪费时间，降低广告的播放效益。首先将各动态特征进行量化，走向的量化则可转化为对象与视觉传感器的连线与视觉传感器所在平面垂直线之间的角度r；脚速则可以更具图像帧与帧之间移动的距离除以采集每帧的时间得到脚速v；轨迹预测则根据跟踪的路线进行预测根据走向角度r给予打分s。

图4为本发明一种智能视频广告展示方法计算单个对象分值流程图，本流程意在分析对象检测和跟踪过程中单个对象的分值情况。

步骤410：从目标检测和跟踪视频序列中获取目标对象；

步骤420：特征的分析，其中包括421静态特征分析模块和422动态特征分析模块。具体过程参见图3一种智能视频广告展示方法的特征分析模块流程图，在此步骤中获取了对象的静态特征性别和其对应的概率值P_s、年龄段和对应的概率值P_a以及穿着习惯和其对应的概率值P_w；获取了对象的动态特征走向角度r，脚速v和轨迹分值s；

步骤430：分值计算，其中包括431静态特征分值计算和432动态特征分值计算。静态分值的计算为：

f₁＝f(Ps,Pa,Pw)

其中，f₁表示的是该对象的静态分值，计算的方法可先将静态特征的各概率值进行归一化处理，根据各特征所占的比率来计算所谓的分值。

动态分值的计算为：

f₂＝f(r,v,s)

其中，f₂表示的是该对象的动态分值，f₂除了用于步骤440计算对象的最终分值，也用于估计所选广告的时长，由于各动态特征的重要性体现度，可用不同权值的参数进行相乘来计算动态分值。

步骤440：对象分值的计算，计算公式为：

f₃＝f(f₁,f₂)

其中，f₃为对象的分值。

图5为本发明一种智能视频广告展示方法及装置的示例工作流程图，具体包括以下步骤：

步骤410：通过视觉传感器采集当前人物场景的视频序列；

步骤420：使用人物跟踪算法对视频序列中的人物对象进行检测和跟踪；

步骤430：根据人物识别算法将此过程中出现的对象提取出来，其中431对象1、432对象2、…、43N对象N为跟踪过程中出现过及还在跟踪的人物对象。

步骤440：将步骤430获取的对象，通过图4一种智能视频广告展示方法计算单个对象分值来计算每个人物的最终分值，其中步骤441、442、…、44N分别为对应的分值计算的结果{f₃₁,f₃₂,…,f_3n}；

步骤450：是对步骤440所计算的分值进行合并归类，根据图4得到的目标对象的静态特征和动态特征进行人物类型归类，将相同类型人物的分值进行累加，得到这N个分值进行分类合并得到的累计分值{f′₃₁,f′₃₂,…,f′_3m}，其中m≤n。

步骤460：是根据步骤450所分类得到的最终累计分值列表，使用Max(f′_3i)，取最大值作为最后的分类结果。

本发明提供一种智能视频广告展示方法及装置是为了实现广告的精准投放，提高广告的关注度。通过视觉传感器采集展示装置当前的场景，使用算法技术分析场景中人物的性别、年龄、穿着喜好和动态行为，从已分类好的广告库中匹配出最适合当前人物的广告进行推送。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (4)

1.一种智能视频广告展示方法，其特征在于：包括以下步骤：

S1：利用所述视觉传感器采集展示装置当前的场景，一方面将采集到的场景图片传送给训练模块进行训练，在传送前会对图片进行人物对象检测，若不存在人物则会舍弃；另一方面会将采集到的视频序列传送给特征分析模块，用于特征的提取；

S2：特征分析过程：首先会对视频序列中的人物对象进行人物跟踪，通过静态特征分析和动态特征分析分析每一个被跟踪对象的特征；根据提取的特征使用计算公式计算各对象的分值，最后根据分值将对象进行分类合并，得到新的分值列表，取最大分值作为最终的分类结果；

S3：根据步骤S2获取的结果，在已分类好的视频广告库中匹配最适合该类人物的视频广告，待当前广告结束后播放。

2.如权利要求1所述的一种智能视频广告展示方法，其特征在于：所述步骤S1中，训练模型包括线下训练和线上训练，所述线下训练是预先采集好训练集进行模型训练；所述线上训练是根据展示装置实际运营过程中通过采集足够多的样本对模型进行冲训练，以适应场景多变的环境。

3.如权利要求1所述的一种智能视频广告展示方法，其特征在于：所述步骤S2中，所述静态特征包括对象的性别、年龄和穿着习惯，对于每个静态特征有其自身的分类函数和模型权值文件，利用各特征的分类函数和模型权值文件可以计算出性别和其对应的概率值P_s、年龄段和对应的概率值P_a以及穿着习惯和其对应的概率值P_w；

动态特征分析包括判断对象的走向、脚速和轨迹预测，首先将各动态特征进行量化，走向的量化则可转化为对象与视觉传感器的连线与视觉传感器所在平面垂直线之间的角度r；脚速则可以更具图像帧与帧之间移动的距离除以采集每帧的时间得到脚速v；轨迹预测则根据跟踪的路线进行预测根据走向角度r给予打分s；

静态分值f₁的计算为：

f₁＝f(Ps,Pa,Pw)

先将静态特征的各概率值进行归一化处理，根据各特征所占的比率来计算静态分值；

动态分值f₂的计算为：

f₂＝f(r,v,s)

用不同权值的参数进行相乘来计算动态分值；

对象分值f₃的计算，计算公式为：

f₃＝f(f₁,f₂)；

将静态分值f₁和动态分值f₂加权相加得到对象分值。

4.一种实现如权利要求1所述的智能视频广告展示方法的装置，其特征在于：所述装置包括：

采集模块，用于利用所述视觉传感器采集展示装置当前的场景；

训练模块，用于将采集到的场景图片进行训练，包括样本的训练和测试，所述样本训练是指当采集模块采集到足够的样本图片后，使用算法进行训练，调节权值参数使网络输出与预期值相符；所述测试则是使用测试集对训练好的模型进行测试，如果没有得到预期的效果则调整权重参数进行重新训练；

特征分析模块，包括静态特征分析模块和动态特征分析模块，所述的静态特征分析模块用于实现人物的静态特征提取，静态特征包括人物的性别、年龄和穿着习惯；所述的动态特征分析模块用于实现人物的动态特征提取，包括目标人物行走的方向、目标人物在行走的脚速、获取行走轨迹和行走轨迹的预测，用于判断目标人物能在展示装置前能逗留的时间从而甄选播放广告的时长；

视频广告匹配模块，用于根据特征分析模块得到的最优结果去已分类好的视频广告库进行匹配；

播放模块，用于在当前广告播放结束后取视频广告匹配模块中匹配得到的最适合目标人物的广告进行播放。