CN114943549A - 一种广告投放方法及装置 - Google Patents

Abstract

本申请实施例公开了一种广告投放方法和装置，获取目标视频以及该目标视频所包括的关键帧，基于该关键帧的图像内容以及待投放广告对应的广告需求确定关键帧与待投放广告之间的相似度，从而获得关键帧与各个待投放广告的相似度。同时，基于相似度，确定与该关键帧匹配的目标广告，在播放该关键帧时，在该关键帧中投放目标广告。即本申请提出的投放方案充分考虑关键帧的整体图像内容与广告需求之间的匹配度，不仅提高投放的高效性和准确性。由于不依赖固定的语义标签集合，在新的广告需求到来时，无需重新训练模型，提高灵活性、降低投放成本。

Description

一种广告投放方法及装置

技术领域

本申请涉及计算机视觉处理技术领域，具体涉及一种广告投放方法及装置。

背景技术

现有的基于视频内容的广告投放方法通过训练深度学习模型对画面内容进行识别，得到对应的语义标签，同时将广告需求与这些语义标签相关联，进而实现有内容针对性的视频广告投放。但现有技术存在以下局限性：一方面，独立的个体级别语义标签；另一方面，固定的语义标签集。由于现有方法对画面内容识别模型的端到端训练特性，能够抽取出的语义标签集合是固定的，增删标签需要重新训练模型，而且需要在海量视频数据上重新运行模型以更新标签，这带来了严重的计算开销和服务延迟。这些局限性导致现有技术无法应对种类繁多且不断变化的广告投放需求。

发明内容

有鉴于此，本申请实施例提供一种广告投放方法和装置，以实现在无预先固定语义标签集合的情况下，将广告高效、准确地投放至相关的视频中。

为解决上述问题，本申请实施例提供的技术方案如下：

在本申请实施例第一方面，一种广告投放方法，所述方法包括：

获取目标视频，所述目标视频包括多个关键帧；

针对任一关键帧，获取该关键帧与各个待投放广告之间的相似度，所述相似度基于所述关键帧对应的图像内容以及所述待投放广告对应的广告需求确定的；

基于所述关键帧与所述各个待投放广告之间的相似度，确定目标广告，所述目标广告为所述各个待投放广告中的一个或多个；

在播放所述关键帧时，在所述关键帧中投放所述目标广告。

在一种具体的实施方式中，所述针对任一关键帧，获取该关键帧与各个待投放广告之间的相似度，包括：

针对任一待投放广告，获取所述关键帧对应的第一活动图以及该待投放广告对应的第二活动图，所述第一活动图用于指示所述关键帧中原子信息之间的关联关系，所述原子信息为所述关键帧中的图像信息，所述第二活动图基于所述待投放广告的需求构建的活动图；

针对所述第一活动图中任一第一原子信息，从所述第二活动图中确定与所述第一原子信息匹配的第二原子信息，并获取所述第一原子信息与所述第二原子信息的相似度；

针对所述第一原子信息所对应任一第一关联边，获取所述第一关联边与所述第二关联边的相似度，所述第二关联边为所述第二原子信息所对应的任一关联边；

根据各所述第一原子信息与所匹配的所述第二原子信息的相似度以及各所述第一关联边与所述第二关联边的相似度获取所述关键帧与所述待投放广告之间的相似度。

在一种具体的实施方式中，所述针对所述第一活动图中任一第一原子信息，从所述第二活动图中确定与所述第一原子信息匹配的第二原子信息，并获取所述第一原子信息与所述第二原子信息的相似度，包括：

确定所述第一原子信息对应的原子类型，并从所述第二活动图中确定属于所述原子类型的第三原子信息，该原子类型用于反映所述第一原子信息的表现形式；

计算所述第一原子信息与每个所述第三原子信息的相似度；

将所述相似度满足预设条件的第三原子信息确定为与所述第一原子信息匹配的第二原子信息。

在一种具体的实施方式中，所述方法还包括：

根据所述关键帧对应的各个所述原子信息之间的相关性构建所述第一活动图，所述第一活动图用于表示各个所述原子信息之间的关联关系，所述原子信息包括人脸信息、物体信息、场景信息、人体关键点信息以及关键字幕信息。

在一种具体的实施方式中，所述根据所述关键帧对应的各个所述原子信息之间的相关性构建所述第一活动图，包括：

在所述关键帧对应多个人体时，根据不同人体对应的人体关键点信息确定不同人体之间的第一交互类别，所述第一交互类别至少包括面对、触摸、踢、接近和远离；

根据所述人体关键点信息以及所述物体信息确定人体与物体之间的第二交互类别，所述第二交互类别包括在脸部、在身体上、触摸、踢动和远离；

根据所述人脸信息以及所述人体关键点信息确定人脸与人体之间的相关性；

根据所述人体关键点信息以及所述场景信息确定人体与场景之间的相关性。

在一种具体的实施方式中，所述根据所述人脸信息以及所述人体关键点信息确定人脸与人体之间的相关性，包括：

判断所述人体关键点信息对应的关键点是否落入所述人脸对应的脸部边界框内；

如果是，则确定所述人脸与所述人体之间相关。

在一种具体的实施方式中，所述根据人体关键点信息以及所述场景信息确定人体与场景之间的相关性，包括：

根据所述人体关键点信息确定所述人体在所述场景中的占比；

根据所述占比确定所述人体与所述场景的相关性。

在一种具体的实施方式中，所述方法还包括：

利用所述原子信息对应的提取模型从所述关键帧中提取所述原子信息。

在一种具体的实施方式中，所述基于所述关键帧与各个所述待投放广告之间的相似度，确定目标广告，包括：

针对任一待投放广告，确定与该待投放广告相似度最大的关键帧，将所述待投放广告确定为所述关键帧的目标广告。

在一种具体的实施方式中，所述基于所述关键帧与各个所述待投放广告之间的相似度，确定目标广告，包括：

基于各关键帧与各个所述待投放广告之间的相似度，获得第一相似度矩阵；

以待投放广告为基准，针对任一待投放广告，确定与该待投放广告对应的最大相似度，保持所述最大相似度保持不变，抑制所述待投放广告与其它所述关键帧之间的相似度，获得第二相似度矩阵，所述其它关键帧为所述目标视频中除第一关键帧之外的关键帧，所述第一关键帧为与所述最大相似度对应的关键帧；

根据滑动窗口的宽度以及所述滑动窗口的滑动步长确定所述第二相似度矩阵对应的滑动窗的数量；

针对每个所述滑动窗中的相似度，并行抑制每个所述滑动窗中的非最大相似度值，获得第三相似度矩阵；

基于所述第三相似度矩阵，确定每个关键帧对应的目标广告。

在一种具体的实施方式中，所述方法还包括：

将所述目标视频划分为多个视频片段；

针对任一视频片段，从该视频片段中提取至少一个关键帧。

在一种具体的实施方式中，所述将所述目标视频划分为多个视频片段，包括：

根据所述目标视频对应的颜色特征将所述目标视频划分为多个第一视频片段；

根据所述目标视频对应的字幕文件将所述目标视频划分为多个第二视频片段；

基于所述第一视频片段的边界和所述第二视频片段的边界确定所述目标视频对应的多个视频片段。

在本申请实施例第二方面，提供了一种广告投放装置，所述装置包括：

第一获取单元，用于获取目标视频，所述目标视频包括多个关键帧；

第二获取单元，用于针对任一关键帧，获取该关键帧与各个待投放广告之间的相似度，所述相似度基于所述关键帧对应的图像内容以及待投放广告对应的广告需求确定的；

第一确定单元，用于基于所述关键帧与所述各个待投放广告之间的相似度，确定目标广告，所述目标广告为所述各待投放广告中的一个或多个；

投放单元，用于在播放所述关键帧时，在所述关键帧中投放所述目标广告。

在本申请实施例第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在设备上运行时，使得所述设备执行第一方面所述的广告投放方法。

在本申请实施例第四方面，提供了一种计算机程序产品，所述计算机程序产品在设备上运行时，使得所述设备执行第一方面所述的广告投放方法。

由此可见，本申请实施例至少具有如下有益效果：

本申请实施例在播放目标视频时，为实现广告的准确投放，获取该目标视频所包括的多个关键帧。基于关键帧对应的图像内容以及待投放广告对应的广告需求，计算每个关键帧与各个待投放广告之间的相似度。同时，针对任一关键帧，基于该关键帧与各个待投放广告之间的相似度确定目标广告，即确定与该关键帧的内容匹配的广告。在播放关键帧，将该关键帧对应的目标广告进行投放。可见，本申请实施例由于不依赖固定的语义标签，在新的广告需求到来时，无需重新训练模型，提高广告投放的灵活性，降低投放成本。

附图说明

图1为本申请实施例提供的一种应用场景示意图；

图2为本申请实施例提供的一种获取关键帧与待投放广告相似度的方法流程图；

图3a为本申请实施例提供的一种获取视频片段的示意图；

图3b为本申请实施例提供的一种关键帧示意图；

图3c为本申请实施例提供的一种活动图构建示意图；

图4为本申请实施例提供的一种广告投放框架图；

图5为本申请实施例提供的一种相似度矩阵示意图；

图6为本申请实施例提供的一种广告投放方法流程图；

图7为本申请实施例提供的一种非最大抑制示意图。

图8为本申请实施例提供的一种广告投放装置结构图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。

为便于理解本申请实施例的技术方案，下面将先对本申请实施例涉及的技术名词进行说明。

发明人在对传统的广告投放技术研究中发现，传统的广告投放主要依据视频对应的语义标签与广告需求之间的关联性进行决策。其中，视频对应的语义标签可以包括物体信息、人物动作信息、场景信息等，这些信息相互之间是独立的标签，并没有充分考虑不同信息之间的关联性。然而，随着基于视频进行广告投放的需求不断的上升，需要针对视频的整体内容决策广告的投放。即，需要充分利用不同信息之间的关联性与广告需求之间的匹配度进行广告投放。

基于此，本申请实施例提供了一种广告投放方法，具体为，获取目标视频以及该目标视频所包括的关键帧，基于该关键帧的图像内容以及待投放广告对应的广告需求确定关键帧与待投放广告之间的相似度，从而获得关键帧与各个待投放广告的相似度。同时，基于相似度，确定与该关键帧匹配的目标广告，在播放该关键帧时，在该关键帧中投放目标广告。即本申请提出的投放方案充分考虑关键帧的整体图像内容与广告需求之间的匹配度，不仅提高投放的高效性和准确性。由于不依赖固定的语义标签集合，在新的广告需求到来时，无需重新训练模型，提高灵活性、降低投放成本。

为便于理解，参见图1所示的应用场景示意图，用户通过某视频播放客户端播放目标视频时，获取该目标视频所包括的关键帧，以包括5个关键帧1和3个待投放广告为例进行说明。在播放目标视频时，获取每个关键帧与各个待投放广告之间的相似度，从而获得相似度矩阵。并根据该相似度矩阵确定每个关键帧对应的目标广告，在播放到某一关键帧时，从服务器获取该关键帧对应的目标广告，进而在该关键帧中进行投放。

需要说明的是，为避免广告投放影响用户的观看，可以在一帧关键帧中仅投放一则广告，以及相邻两个关键帧之间不连续投放广告。

为便于理解本申请实施例提供的技术方案，下面将结合附图先说明如何获得关键帧与各个待投放广告之间的相似度。

参见图2，该图为本申请实施例提供的一种获取关键帧与待投放广告相似度的方法流程图，参见图1，该方法可以包括：

S201：获取目标视频，并从该目标视频中提取关键帧。

本实施例中，处理设备获取目标视频，并获取该目标视频对应的关键帧，该关键帧为目标视频中某一视频帧。其中，提取关键帧的目的是提取包含丰富的视觉信息和自然语言信息的视频帧，这些信息能够满足更多可能的广告需求。

其中，关于从目标视频中提取关键帧，本实施例提出一种实现方式，具体为，首先将目标视频划分为多个视频片段，针对任一视频片段，从该视频片段中提取至少一个关键帧。即，从每个视频片段中提取至少一个关键帧。具体地，可以在每个视频片段内均匀地选择k个关键帧，或者将视频片段中奇数个视频帧确定为关键帧，或者将视频片段中偶数个视频帧确定为关键帧等。需要说明的是，为减少关键帧的数量，提高后续处理效率，可以不针对每个视频片段都进行关键帧的提取操作，即从获得多个视频片段中的某些个视频片段中提取至少一个关键帧。

其中，关于将目标视频划分为多个视频片段的实现，本实施例提出了可以根据目标视频对应的颜色特征将目标视频划分为多个第一视频片段；根据目标视频对应的字幕文件将目标视频划分为多个第二视频片段；基于第一视频片段的边界和第二视频片段的边界确定目标视频对应的多个视频片段。也就是，利用视频及字幕文件定位视频内容关键帧。由于昂贵的计算和内容的冗余，逐帧分析视频是不可行且不必要的。基于现有工作，可以基于视频的特征(如颜色特征、灰度特征等)将视频分割为多个视觉片段，利用字幕中的文本信息来帮助确定关键帧。对于视觉信息，可以使用颜色直方图计算相邻帧之间的相关性来确定视觉片段(第一视频片段)。如果相关值低于预定阈值，则将两个帧设置为两个片段的边界。另外，字幕文件按开始时间和结束时间来组织字幕，因此可以将视频分为多个文本片段(第二视频片段)。基于视觉片段和文本片段的边界，将整个视频被分为多个语义片段(视频片段)。例如，图3a所示基于目标视频的颜色特征划分3个第一视频片段，基于字幕文件将目标视频划分为4个第二视频片段，则将基于第一视频片段的边界和第二视频片段的边界确定最终的6个视频片段。

S202：针对任一关键帧，从关键帧中提取原子信息。

在通过S201提取目标视频对应的关键帧后，从关键帧中提取原子信息，该原子信息可以反映关键帧中的某一内容的信息。例如，原子信息可以为人脸信息、物体信息、场景信息人体关键点信息、字幕关键词信息等。这些信息的获取可以基于目前的图像识别技术和自然语言处理技术实现。

1)利用人脸识别模型获得人脸信息，具体地，将关键帧输入人脸识别模型，该人脸识别模型可以输出人脸边界框、模型置信度(为人脸的概率)以及固定长度的编码向量(人脸特征)。

2)利用物体检测模型获得物体信息，具体地，将关键帧输入物体检测模型，该物体检测模型可以输出画面中的物体边界框、物体类别以及相应的标签置信度。

3)利用场景分类模型获得场景信息，具体地，将关键帧输入场景分类模型，该场景分类模型可以输出前K个(例如K＝5)分类结果和每个分类结果对应的标签置信度。其中，场景分类可以根据实际应用情况进行确定，例如场景分类为公园、商场、电影院、下雨等。

4)利用人体关键点检测模型获得人体关键点信息，具体地，将关键帧输入人体关键点检测模型，该人体关键点检测模型提取图像中的人体关键点。由于人在关键帧中大小和角度的可变性，原始的位置信息不适合表示人体行为。本实施例通过计算骨架的矢量角度来编码人体关键点的坐标位置。即将骨架矢量计算出的角度的余弦值(骨架的矢量角度)用作编码人体关键点的坐标位置。图像中的姿态信息由姿态编码和每个人体关键点的对应置信度组成。其中，人体关键点可以包括头、颈、左右肩，左右肘等骨骼关键点。

5)利用自然语言处理(Natural Language Processing，NLP)模型获取字幕关键词信息，为了分析字幕，使用自然语言处理模型从字幕文件中提取关键字，并获得其同义词，作为自然语言原子信息。

S203：基于关键帧的原子信息，获取该关键帧对应的第一活动图。

本实施例，在获取某一关键帧对应的原子信息后，对原子信息进行关联分析，构建内容活动级别对应的关联图，即确定该关键帧对应的第一活动图，该第一活动图可以反映不同原子信息之间的关联关系。

为了实现不同视频信息和灵活的广告需求之间的匹配，在活动图中，本实施例提出了四种类型的语义相关性：

1)人体姿态交互：基于人体姿态编码，可获得一组姿势特征。本实施例定义了一组相互作用关系，和将一对人体姿态原子信息分类为一种相互作用的映射函数。本发明的实现中定义了五种交互类别：面对，触摸，踢，接近和远离，可以根据两个人的身体关键点的空间位置对其进行分类。交互类别是灵活的，可以根据应用场景调整。其中，接近和远离可以基于预设的距离阈值进行确定，当两个人的身体关键点的距离小于第一预设距离阈值时，则确定为接近；当两个人的身体关键点的距离大于第二预设距离阈值时，则确定为远离。即，在关键帧对应多个人体时，可以根据不同人体对应的人体关键点信息确定不同人体之间的第一交互类别。

2)人体-物体交互：人体与物体之间的相互作用也可以通过物体边界框和人体关键点之间的空间关系来估计。基于人体姿势编码和物体检测结果，可获得了姿势信息和物体信息。类似地，本发明定义了一组人体-物体交互作用和对应的映射函数。在本发明的实现中，考虑了五种不同的交互方式：在脸部，在身体上，触摸，踢动和远离。即，根据关键帧中的人体关键点信息以及物体信息确定人体与物体之间的第二交互类别，该第二交互类别包括在物体在人脸上、在身体上、人触摸物体、人踢动物体、人远离物体等。

3)人体-人脸匹配：人体姿势和面部之间的交互只有两种可能性：匹配或不匹配。在本发明的实现中，使用眼睛，鼻子和耳朵关键点是否落在脸部边界框内的条件来确定人体-人脸匹配信息。即，根据人脸信息以及人体关键点信息确定人体与人体之间的关联性。具体，判断人体关键点对应的关键点是否落入人脸对应的脸部边界框内，如果是，则确定人脸与人体匹配。

4)人体-场景相关性：人的行为不仅影响活动，而且人与场景之间的相关性也很重要。一个人的视觉比例会显着影响他/她的重要性。本发明使用图像中检测到的人体姿势的视觉比例作为人体与场景之间的相关性。即根据人体关键点信息以及场景信息确定人体与场景之间的相关性。具体地，根据人体关键点信息确定人体在场景中的占比，根据该占比确定人体与场景的相关性。当人体在场景中的占比大于预设阈值，则认为该人相对于场景来讲比较重要，否则，与场景的相关性较弱。例如图3b所示，在该场景中，人物在场景中的占比较小，则可以认为人体与场景的相关性弱。

通过上述处理后，可以构建关键帧对应的第一活动图。为便于理解，参见图3c所示的示例图，以该关键帧包括两个人物为例进行说明，则提取的原子信息包括人物1的人体关键点信息、人脸信息；人物2的人体关键点信息、人脸信息；物体信息以及场景信息。基于上述各个原子信息确定各个原子节点之间的关联性，获得第一活动图。

S204：获得关键帧与待投放广告的相似度。

为实现将广告投放到相关的关键帧位置，基于关键帧对应的第一活动图以及待投放广告对应的第二活动图确定关键帧与待投放广告的相似度。其中，第二活动图为基于待投放广告的需求构建的活动图，该第一活动图可以反映广告所包括的原子信息之间的关联关系。

具体地，可以通过以下方式获取关键帧与待投放广告之间的相似度：

1)针对第一活动图中的任一第一原子信息，从第二活动图中确定与第一原子信息匹配的第二原子信息，并获取第一原子信息与第二原子信息的相似度。

本实施例中，对于第一活动图中的每个第一原子信息，从第二活动图中确定与第一原子信息匹配的第二原子信息，以获得第一原子信息与第二原子信息之间的相似度。具体地，可以将原子信息分为两类，一种为具有置信度的数字编码型的原子信息，如人脸信息、人体关键点信息，该类信息均利用数字进行表示；另一种为具有置信度的分类编码型的原子信息，例如物体信息、场景信息以及字幕关键词信息，该类信息利用分类结果来表示。在确定与第一原子信息匹配的第二原子信息时，可以先确定第一原子信息对应的原子类型，该原子类型用于反映第一原子信息的表现形式，可以包括具有置信度的数字编码类型、具有置信度的分类编码类型。在确定第一原子信息对应的原子类型后，从第二活动图中确定属于同一原子类型的第三原子信息；计算第一原子信息与每个第三原子信息之间的相似度；将相似度满足预设条件的第三原子信息确定为与第一原子信息匹配的第二原子信息。

在一种具体的实施方式中，当第一原子信息与第二原子信息属于具有置信度的数字编码类型时，可以利用加权的欧几里得范数度量第一原子信息与第二原子信息的相似度；当第一原子信息与第二原子信息属于具有置信度的分类编码类型时，可以利用离散度度量第一原子信息与第二原子信息的相似度。

2)针对第一原子信息所对应的任一第一关联边，获取第一关联边与第二关联边的相似度，该第二关联边为第二原子信息所对应的任一关联边。

在确定出第一原子信息以及第二原子信息后，获取第一原子信息对应的第一关联边与第二原子信息对应的第二关联边的相似度。其中，第一关联边为与第一原子信息连接的边，第二关联边为与第二原子信息连接的边。即获取边与边之间的相似度。

在具体实现中，为提高处理效率，在计算第一关联边与第二关联边相似度之前，先确定第一关联边另一端所连接的原子信息、第二关联边另一端所连接的原子信息的类型是否相同，如果相同，则计算相似度。例如，第一关联边的另一端连接的原子信息为人脸信息，第二关联边另一端所连接的原子信息为人脸信息。

通过上述构建第一活动图可知，第一活动图中的关联边可以包括人体与人体的关联边、人体与物体的关联边、人体与人脸的关联边以及人体与场景的关联边，可以将上述关联边分为两类，将人体与场景的关联边确定为数值型关联边，其余三个确定为分类型关联边。对于数值型关联边，可以利用欧几里得范数计算两个关联边之间的相似度，对于分类型关联边，可以利用二值匹配结果来度量两个关联边的相似度。

3)根据各第一原子信息与所匹配的第二原子信息的相似度以及各第一关联边与第二关联边的相似度获取关键帧与待投放广告之间的相似度。

在获得原子信息之间的相似度以及关联边之间的相似度后，基于上述两种相似度确定关键帧与待投放广告之间的相似度。具体地，根据上述两种相似度各自对应的权重进行加权和获得关键帧与待投放广告之间的相似度。其中，各相似度对应的权重可以根据实际应用情况进行确定。

为便于理解，参见图4所示的框架图，获取目标视频对应的视频文件、字幕文件，以及待投放广告对应的广告需求(包括图片和字幕)。将视频文件和字幕文件输入关键帧提取模块，以提取目标视频的关键帧，并将该关键帧输入原子信息抽取模块，获得每个关键帧对应的原子信息。同时将广告需求输入原子信息抽取模块，获得广告需求对应的原子信息。将关键帧对应的原子信息输入活动图构建模块，获得每个关键帧对应的第一活动图；将广告需求对应的原子信息输入活动图构建模块，获得广告需求对应的第二活动图。将第一活动图和第二活动图输入活动相似度计算模块，计算两个活动图之间的相似度，从而获得关键帧与待投放广告之间的相似度，进而根据该相似度进行广告投放。可以理解的是，针对每个关键帧均可以通过S201-S204获得关键帧与每个待投放广告之间的相似度，从而获得相似度矩阵。如图5所示，以目标视频包括5个关键帧，4个待投放广告为例，获得的相似度矩阵。

参见图6，该图为本申请实施例提供的一种广告投放方法流程图，如图6所示，该方法可以包括：

S601：获取目标视频，所述目标视频包括多个关键帧。

其中，关于关键帧的获取可以参见S201的相关描述。

S602：针对任一关键帧，获取该关键帧与各个待投放广告之间的相似度，该相似度基于关键帧对应的图像内容以及待投放广告对应的广告需求确定的。

其中，关于计算关键帧与各个待投放广告之间的相似度可以参见S204的相关描述，本实施例在此不再赘述。

S603：基于关键帧与各个待投放广告之间的相似度，确定目标广告，该目标广告为各个待投放广告中的一个或多个。

S604：在播放所述关键帧时，在所述关键帧中投放目标广告。

本实施例中，在获得关键帧与待投放广告对应的相似度矩阵后，可以确定每个关键帧对应的目标广告，进而在播放关键帧时，可以及时对目标广告进行投放。

在一种具体的实施方式中，可以通过以下方式确定目标广告，具体为，针对任一待投放广告，确定与该待投放广告相似度最大的关键帧，将该待投放广告确定为该关键帧的目标广告。例如图5所示，假设广告1与关键帧frame5的相似度最大，则将广告1作为frame5对应的目标广告；广告2与关键帧frame3的相似度最大，则将广告2作为frame3对应的目标广告等。

在另一种具体的实施方式中，还可以通过以下方式确定目标广告，具体为，

(1)基于各关键帧与各个所述待投放广告之间的相似度，获得第一相似度矩阵，如图7(a)所示。

(2)以待投放广告为基准，针对任一待投放广告，确定与该待投放广告对应的最大相似度，保持最大相似度保持不变，抑制待投放广告与其它所述关键帧之间的相似度，获得第二相似度矩阵，如图7(b)所示，所述其它关键帧为所述目标视频中除第一关键帧之外的关键帧，所述第一关键帧为与所述最大相似度对应的关键帧。

(3)根据滑动窗口的宽度以及所述滑动窗口的滑动步长确定所述第二相似度矩阵对应的滑动窗的数量。

(4)针对每个所述滑动窗中的相似度，并行抑制每个所述滑动窗中的非最大相似度值，获得第三相似度矩阵，如图7(c)所示。

(5)基于所述第三相似度矩阵，确定每个关键帧对应的目标广告。

具体地，广告投放任务是在一定限制条件下的组合优化问题，即在一定的用户侵入感的限制下，最大化广告投放收益。为兼顾视频观看用户的体验、广告投放收益最大化以及广告投放的平衡，本实施例提供了一种投放方式，即基于非最大值抑制的投放方式，具体为，对于一组给定的数值，最大值保持不变，抑制其他数值。具体地，获取关键帧与待投放广告所对应的收益，该收益可以反映二者之间的相似度，从而获得目标视频与待投放广告对应的矩阵，如图7(a)所示，包括5个关键帧和4个广告。该矩阵的行表示目标视频对应的多个关键帧，矩阵的列表示目标视频对应的广告。为保持每个广告分配的平衡，保持每个广告对应最大分配值(相似度)，并抑制其他值。例如图7(a)到7(b)的处理，针对广告1而言，保留广告1对应的最大分配值4.2、抑制其他分配值，将该其他分配值乘以第一数值，该第一数值为小于1大于0的数值，例如第一数值为0.5。图7(a)中的第一行经过抑制后获得图7(b)所示的第一行。同理，针对广告2、广告3以及广告4而言，保留广告2对应的最大分配值3.1、广告3对应的最大分配值为2.5以及广告4对应的最大分配值3.4，其他值乘以第一数值处理。此时，通过上述非最大抑制处理后，获得第二相似度矩阵，如图7(b)所示。需要说明的是，针对不同广告在进行非最大抑制处理时，可以利用同一第一数值进行抑制处理，也可以针对不同广告利用不同的第一数值进行抑制处理，本实施例在此不再赘述。

进一步地，为避免短时间内连续投放广告对用户观看造成较高的干扰，还可以进一步地对获得第二相似度矩阵进行非最大抑制处理。具体地，根据预设的滑动窗口的宽度和滑动窗口的滑动步长确定第二相似度矩阵对应的滑动窗的数量。例如图7(b)所示，滑动窗口的宽度为3，滑动步长为1，则第二相似度矩阵对应3个滑动窗口。在确定出第二相似度矩阵对应的滑动窗口数量后，同时对每个滑动窗口内的相似度进行非最大抑制处理，以获得第三相似度矩阵，如图7(c)所示。

具体地，对于滑动窗口1，保留最大分配值3.4，抑制其他分配值，例如每个分配值均乘以0.5进行抑制；对于滑动窗口2，保留最大分配值3.1，抑制其他分配值，例如每个分配值均乘以0.5进行抑制；对于滑动窗口3，保留最大分配值4.2，抑制其他分配值，例如每个分配值均乘以0.5进行抑制。对于(b)中第二行第三列中的3.1而言，其在滑动窗口1，其为非最大分配值，在滑动窗口3，其也为非最大分配值，需要抑制两次，则3.1*0.5*0.5＝0.775，约等于0.8，即3.1经过两次抑制后变化(c)中的0.8。对于(b)中的第一行第三列中的1.4而言，在3个滑动窗口均为非最大分配值，则需要抑制三次，即1.4*0.5*0.5*0.5＝0.175，约等于0.2，如(c)所示。需要说明的是，对于经过抑制后的分配值小于0.1的数值，均按0.1处理。

在获得第三相似度矩阵后，可以按照阈值进行筛选，将相似度小于预设阈值的进行屏蔽。例如，图7(c)中，经过筛选，保留第一行第五列的4.2、第二行第三列的0.8、第四行第一列的3.4。即，在播放目标视频时，在关键帧frame1中投放广告4、在关键帧frame3中投放广告2、在关键帧frame4中投放广告1，其他关键帧不进行广告投放，保证用户观看视频的体验。

基于上述方法实施例，本申请实施例提供了一种广告投放装置，下面将结合附图进行说明。

参见图8，该图为本申请实施例提供的一种广告投放装置，该装置800可以包括：

第一获取单元801，用于获取目标视频，所述目标视频包括多个关键帧；

第二获取单元802，用于针对任一关键帧，获取该关键帧与各个待投放广告之间的相似度，所述相似度基于所述关键帧对应的图像内容以及待投放广告对应的广告需求确定的；

第一确定单元803，用于基于所述关键帧与所述各个待投放广告之间的相似度，确定目标广告，所述目标广告为所述各待投放广告中的一个或多个；

投放单元804，用于在播放所述关键帧时，在所述关键中投放所述目标广告。

在一种具体的实施方式中，所述第二获取单元，具体用于针对任一待投放广告，获取所述关键帧对应的第一活动图以及该待投放广告对应的第二活动图，所述第一活动图用于指示所述关键帧中原子信息之间的关联关系，所述原子信息为所述关键帧中的图像信息，所述第二活动图基于所述待投放广告的需求构建的活动图；针对所述第一活动图中任一第一原子信息，从所述第二活动图中确定与所述第一原子信息匹配的第二原子信息，并获取所述第一原子信息与所述第二原子信息的相似度；针对所述第一原子信息所对应任一第一关联边，获取所述第一关联边与所述第二关联边的相似度，所述第二关联边为所述第二原子信息所对应的任一关联边；根据各所述第一原子信息与所匹配的所述第二原子信息的相似度以及各所述第一关联边与所述第二关联边的相似度获取所述关键帧与所述待投放广告之间的相似度。

在一种具体的实施方式中，所述第二获取单元，具体用于确定所述第一原子信息对应的原子类型，并从所述第二活动图中确定属于所述原子类型的第三原子信息，该原子类型用于反映所述第一原子信息的表现形式；计算所述第一原子信息与每个所述第三原子信息的相似度；将所述相似度满足预设条件的第三原子信息确定为与所述第一原子信息匹配的第二原子信息。

在一种具体的实施方式中，所述装置还包括：

构建单元，用于根据所述关键帧对应的各个所述原子信息之间的相关性构建所述第一活动图，所述第一活动图用于表示各个所述原子信息之间的关联关系，所述原子信息包括人脸信息、物体信息、场景信息、人体关键点信息以及关键字幕信息。

在一种具体的实施方式中，所述构建单元，具体用于在所述关键帧对应多个人体时，根据不同人体对应的人体关键点信息确定不同人体之间的第一交互类别，所述第一交互类别至少包括面对、触摸、踢、接近和远离；根据所述人体关键点信息以及所述物体信息确定人体与物体之间的第二交互类别，所述第二交互类别包括在脸部、在身体上、触摸、踢动和远离；根据所述人脸信息以及所述人体关键点信息确定人脸与人体之间的相关性；根据所述人体关键点信息以及所述场景信息确定人体与场景之间的相关性。

在一种具体的实施方式中，所述构建单元，具体用于判断所述人体关键点信息对应的关键点是否落入所述人脸对应的脸部边界框内；如果是，则确定所述人脸与所述人体之间相关。

在一种具体的实施方式中，所述构建单元，具体用于根据所述人体关键点信息确定所述人体在所述场景中的占比；根据所述占比确定所述人体与所述场景的相关性。

在一种具体的实施方式中，所述装置还包括：

提取单元，用于利用所述原子信息对应的提取模型从所述关键帧中提取所述原子信息。

在一种具体的实施方式中，所述第一确定单元，具体用于针对任一待投放广告，确定与该待投放广告相似度最大的关键帧，将所述待投放广告确定为所述关键帧的目标广告。

在一种具体的实施方式中，所述第一确定单元，具体用于基于各关键帧与各个所述待投放广告之间的相似度，获得第一相似度矩阵；以待投放广告为基准，针对任一待投放广告，确定与该待投放广告对应的最大相似度，保持所述最大相似度保持不变，抑制所述待投放广告与其它所述关键帧之间的相似度，获得第二相似度矩阵，所述其它关键帧为所述目标视频中除第一关键帧之外的关键帧，所述第一关键帧为与所述最大相似度对应的关键帧；根据滑动窗口的宽度以及所述滑动窗口的滑动步长确定所述第二相似度矩阵对应的滑动窗的数量；针对每个所述滑动窗中的相似度，并行抑制每个所述滑动窗中的非最大相似度值，获得第三相似度矩阵；基于所述第三相似度矩阵，确定每个关键帧对应的目标广告。

在一种具体的实施方式中，所述装置还包括：

划分单元，用于将所述目标视频划分为多个视频片段；

提取单元，用于针对任一视频片段，从该视频片段中提取至少一个关键帧。

在一种具体的实施方式中，所述划分单元，具体用于根据所述目标视频对应的颜色特征将所述目标视频划分为多个第一视频片段；根据所述目标视频对应的字幕文件将所述目标视频划分为多个第二视频片段；基于所述第一视频片段的边界和所述第二视频片段的边界确定所述目标视频对应的多个视频片段。

需要说明的是，本实施例各个单元的实现可以参见图2或图6所示方法中的相关描述，本实施例在此不再赘述。

另外，本申请实施例还提供了一种计算机可读存储介质，所述机算机可读存储介质中存储有指令，当所述指令在设备上运行时，使得所述设备执行所述的广告投放方法。

本申请实施例提供了一种计算机程序产品，所述计算机程序产品在设备上运行时，使得所述设备执行所述的广告投放方法。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种广告投放方法，其特征在于，所述方法包括：

获取目标视频，所述目标视频包括多个关键帧；

针对任一关键帧，获取该关键帧与各个待投放广告之间的相似度，所述相似度基于所述关键帧对应的图像内容以及所述待投放广告对应的广告需求确定的；

基于所述关键帧与所述各个待投放广告之间的相似度，确定目标广告，所述目标广告为所述各个待投放广告中的一个或多个；

在播放所述关键帧时，在所述关键帧中投放所述目标广告。

2.根据权利要求1所述的方法，其特征在于，所述针对任一关键帧，获取该关键帧与各个待投放广告之间的相似度，包括：

针对任一待投放广告，获取所述关键帧对应的第一活动图以及该待投放广告对应的第二活动图，所述第一活动图用于指示所述关键帧中原子信息之间的关联关系，所述原子信息为所述关键帧中的图像信息，所述第二活动图基于所述待投放广告的需求构建的活动图；

针对所述第一活动图中任一第一原子信息，从所述第二活动图中确定与所述第一原子信息匹配的第二原子信息，并获取所述第一原子信息与所述第二原子信息的相似度；

针对所述第一原子信息所对应任一第一关联边，获取所述第一关联边与所述第二关联边的相似度，所述第二关联边为所述第二原子信息所对应的任一关联边；

根据各所述第一原子信息与所匹配的所述第二原子信息的相似度以及各所述第一关联边与所述第二关联边的相似度获取所述关键帧与所述待投放广告之间的相似度。

3.根据权利要求2所述的方法，其特征在于，所述针对所述第一活动图中任一第一原子信息，从所述第二活动图中确定与所述第一原子信息匹配的第二原子信息，并获取所述第一原子信息与所述第二原子信息的相似度，包括：

确定所述第一原子信息对应的原子类型，并从所述第二活动图中确定属于所述原子类型的第三原子信息，该原子类型用于反映所述第一原子信息的表现形式；

计算所述第一原子信息与每个所述第三原子信息的相似度；

将所述相似度满足预设条件的第三原子信息确定为与所述第一原子信息匹配的第二原子信息。

4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

根据所述关键帧对应的各个所述原子信息之间的相关性构建所述第一活动图，所述第一活动图用于表示各个所述原子信息之间的关联关系，所述原子信息包括人脸信息、物体信息、场景信息、人体关键点信息以及关键字幕信息。

5.根据权利要求4所述的方法，其特征在于，所述根据所述关键帧对应的各个所述原子信息之间的相关性构建所述第一活动图，包括：

在所述关键帧对应多个人体时，根据不同人体对应的人体关键点信息确定不同人体之间的第一交互类别，所述第一交互类别至少包括面对、触摸、踢、接近和远离；

根据所述人体关键点信息以及所述物体信息确定人体与物体之间的第二交互类别，所述第二交互类别包括在脸部、在身体上、触摸、踢动和远离；

根据所述人脸信息以及所述人体关键点信息确定人脸与人体之间的相关性；

根据所述人体关键点信息以及所述场景信息确定人体与场景之间的相关性。

6.根据权利要求5所述的方法，其特征在于，所述根据所述人脸信息以及所述人体关键点信息确定人脸与人体之间的相关性，包括：

判断所述人体关键点信息对应的关键点是否落入所述人脸对应的脸部边界框内；

如果是，则确定所述人脸与所述人体之间相关。

7.根据权利要求5或6所述的方法，其特征在于，所述根据人体关键点信息以及所述场景信息确定人体与场景之间的相关性，包括：

根据所述人体关键点信息确定所述人体在所述场景中的占比；

根据所述占比确定所述人体与所述场景的相关性。

8.根据权利要求2-7任一项所述的方法，其特征在于，所述方法还包括：

利用所述原子信息对应的提取模型从所述关键帧中提取所述原子信息。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述基于所述关键帧与各个所述待投放广告之间的相似度，确定目标广告，包括：

针对任一待投放广告，确定与该待投放广告相似度最大的关键帧，将所述待投放广告确定为所述关键帧的目标广告。

10.根据权利要求1-9任一项所述的方法，其特征在于，所述基于所述关键帧与各个所述待投放广告之间的相似度，确定目标广告，包括：

基于各关键帧与各个所述待投放广告之间的相似度，获得第一相似度矩阵；

以待投放广告为基准，针对任一待投放广告，确定与该待投放广告对应的最大相似度，保持所述最大相似度保持不变，抑制所述待投放广告与其它所述关键帧之间的相似度，获得第二相似度矩阵，所述其它关键帧为所述目标视频中除第一关键帧之外的关键帧，所述第一关键帧为与所述最大相似度对应的关键帧；

根据滑动窗口的宽度以及所述滑动窗口的滑动步长确定所述第二相似度矩阵对应的滑动窗的数量；

针对每个所述滑动窗中的相似度，并行抑制每个所述滑动窗中的非最大相似度值，获得第三相似度矩阵；

基于所述第三相似度矩阵，确定每个关键帧对应的目标广告。

11.根据权利要求1-10任一项所述的方法，其特征在于，所述方法还包括：

将所述目标视频划分为多个视频片段；

针对任一视频片段，从该视频片段中提取至少一个关键帧。

12.根据权利要求11所述的方法，其特征在于，所述将所述目标视频划分为多个视频片段，包括：

根据所述目标视频对应的颜色特征将所述目标视频划分为多个第一视频片段；

根据所述目标视频对应的字幕文件将所述目标视频划分为多个第二视频片段；

基于所述第一视频片段的边界和所述第二视频片段的边界确定所述目标视频对应的多个视频片段。

13.一种广告投放装置，其特征在于，所述装置包括：

第一获取单元，用于获取目标视频，所述目标视频包括多个关键帧；

第二获取单元，用于针对任一关键帧，获取该关键帧与各个待投放广告之间的相似度，所述相似度基于所述关键帧对应的图像内容以及待投放广告对应的广告需求确定的；

第一确定单元，用于基于所述关键帧与所述各个待投放广告之间的相似度，确定目标广告，所述目标广告为所述各待投放广告中的一个或多个；

投放单元，用于在播放所述关键帧时，在所述关键帧中投放所述目标广告。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在设备上运行时，使得所述设备执行权利要求1-12任一项所述的广告投放方法。

15.一种计算机程序产品，其特征在于，所述计算机程序产品在设备上运行时，使得所述设备执行权利要求1-12任一项所述的广告投放方法。

Images