CN108334518A - 一种广告加载方法及装置 - Google Patents

Abstract

本发明公开了一种广告加载方法及装置。方法包括：对视频流中的音频流进行语音识别，得到第一结果；所述第一结果表征识别出的语音所对应的字符串流；从第一识别结果中提取关键词；依据提取的关键词，获取相关的至少一条广告条目，得到第二结果；依据建立的机器学习模型，利用第二结果选择满足第一预设条件的广告条目；所述机器学习模型为将用户反馈的广告兴趣度作为训练集样本训练所得到的模型；根据选择的广告条目，从第一数据库中获取对应的广告内容；所述第一数据库为广告内容数据库；并将所述对应的广告内容加载至所述视频流对应的视频中。

Description

一种广告加载方法及装置

技术领域

本发明涉及多媒体领域，尤其涉及一种广告加载方法及装置。

背景技术

目前，互联网视频业务进入迅猛发展时期，同时在互联网视频中插入广告的需求也进一步增加。目前广告插入技术大体上分为两类：一类是固定广告插入技术，一类是智能广告插入技术。其中，智能广告插入技术由于引入了智能分析，增加了广告的推送精度，进而增加广告的转化率，提高互联网视频广告的收益，从而备受关注。

然而，目前的智能广告插入技术，不能感知用户需求的变化，而且广告插入的实时性差。

发明内容

为解决现有存在的技术问题，本发明实施例提供一种广告加载方法及装置。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种广告加载方法，包括：

对视频流中的音频流进行语音识别，得到第一结果；所述第一结果表征识别出的语音所对应的字符串流；

从第一识别结果中提取关键词；

依据提取的关键词，获取相关的至少一条广告条目，得到第二结果；

依据建立的机器学习模型，利用第二结果选择满足第一预设条件的广告条目；所述机器学习模型为将用户反馈的广告兴趣度作为训练集样本训练所得到的模型；

根据选择的广告条目，从第一数据库中获取对应的广告内容；所述第一数据库为广告内容数据库；并将所述对应的广告内容加载至所述视频流对应的视频中。

上述方案中，所述方法还包括：

接收第一信息；所述第一信息表征对所述选择的广告内容的兴趣度；

利用所述第一信息，训练所述建立的机器学习模型。

上述方案中，依据建立的机器学习模型，利用第二结果选择满足第一预设条件的广告条目，包括：

依据提取的关键词及第二结果，利用所述机器学习模型对所述至少一条广告条目进行分类，得到第三结果；所述第三结果表征至少一条广告条目中每条广告内容对应的广告兴趣度；

利用所述第三结果，选择满足所述第一预设条件的广告条目。

上述方案中，所述依据提取的关键词，获取相关的至少一条广告条目，包括：

将提取的关键词与第二数据库进行匹配，得到所述第二结果；所述第二数据库表征关键词与广告条目的相关性权值；所述第二结果表征提取的关键词与至少一条广告条目的相关性权值。

上述方案中，所述利用所述第三结果，选择满足所述第一预设条件的广告条目，包括：

将所述至少一条广告内容中广告兴趣度最高，且相关性权值大于设定值的广告条目作为所述选择的广告条目。

上述方案中，所述依据提取的关键词，将提取的关键词与第一数据库进行匹配，得到第二结果之前，所述方法还包括：

判断提取的关键词是否满足第二预设条件；所述第二预设条件表征提取的关键词满足插入广告的触发条件；

当提取的关键词满足第二预设条件时，依据提取的关键词，将提取的关键词与第一数据库进行匹配，得到第二结果。

上述方案中，所述判断提取的关键词是否满足第二预设条件，包括：

判断在第三数据库中是否查找到与提取的关键词对应的参数信息；所述第三数据库表征插入广告的触发条件对应的参数信息。

上述方案中，所述对视频流中的音频流进行语音识别，包括：

对所述音频流进行去噪声处理；

对去噪声处理后的音频流进行语音识别。

本发明实施例还提供了一种广告加载装置，包括：

语音识别模块，对视频流中的音频流进行语音识别，得到第一结果；所述第一结果表征识别出的语音所对应的字符串流；

分词处理模块，用于从第一识别结果中提取关键词；

相关性智能分析模块，用于依据提取的关键词，获取相关的至少一条广告条目，得到第二结果；依据建立的机器学习模型，利用第二结果选择满足第一预设条件的广告条目；所述机器学习模型为将用户反馈的广告兴趣度作为训练集样本训练所得到的模型；并根据选择的广告条目，从第一数据库中获取对应的广告内容；

广告投入模块，用于将获取的广告内容加载至所述视频流对应的视频中。

上述方案中，所述装置还包括：

用户反馈采集模块，用于接收第一信息；所述第一信息表征对所述选择的广告内容的兴趣度；

机器学习模块，用于利用所述第一信息，训练所述建立的机器学习模型。

上述方案中，所述相关性智能分析模块，具体用于：

依据提取的关键词及第二结果，利用所述机器学习模型对所述至少一条广告条目进行分类，得到第三结果；所述第三结果表征至少一条广告条目中每条广告内容对应的广告兴趣度；

利用所述第三结果，选择满足所述第一预设条件的广告条目。

上述方案中，所述装置还包括：

触发条件智能分析模块，用于判断提取的关键词是否满足第二预设条件；所述第二预设条件表征提取的关键词满足插入广告的触发条件；

当提取的关键词满足第二预设条件时，所述相关性智能分析模块依据提取的关键词，获取相关的至少一条广告条目，得到第二结果。

本发明实施例提供的广告加载方法及装置，对视频流中的音频流进行语音识别，得到第一结果；所述第一结果表征识别出的语音所对应的字符串流；从第一识别结果中提取关键词；依据提取的关键词，获取相关的至少一条广告条目，得到第二结果；依据建立的机器学习模型，利用第二结果选择满足第一预设条件的广告条目；所述机器学习模型为将用户反馈的广告兴趣度作为训练集样本训练所得到的模型；根据选择的广告条目，从第一数据库中获取对应的广告内容；所述第一数据库为广告内容数据库；并将相应的广告内容加载至所述视频流对应的视频中，利用将用户反馈的广告兴趣度作为训练集样本训练所得到的机器学习模型来选择广告内容，即采用机器学习的方法来选择广告内容，如此，能够根据视频内容和视频情景向观看视频的用户精准投放相关广告内容，提高了广告投放的精准度，从而增加了广告的转化率。同时，由于是对视频流中的音频流进行语音识别，所以能够实时识别出视频内容，进而保证了广告插入的实时性。

附图说明

在附图(其不一定是按比例绘制的)中，相似的附图标记可在不同的视图中描述相似的部件。具有不同字母后缀的相似附图标记可表示相似部件的不同示例。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。

图1为本发明实施例一广告加载的方法流程示意图；

图2为本发明实施例二广告加载装置结构示意图；

图3为本发明实施例三基于语音识别和机器学习的视频广告插入系统架构示意图；

图4为本发明实施例三广告加载流程示意图；

图5为本发明实施例三对触发条件检索数据库的管理流程示意图；

图6为本发明实施例三对关键词与广告相关性关系库的管理流程示意图。

具体实施方式

下面结合附图及实施例对本发明再作进一步详细的描述。

目前，广告插入技术大体上分为两类：一类是固定广告插入技术，即对于特定的视频内容由广告商指定插入特定的广告内容。另一类是智能广告插入技术，即通过智能分析对视频内容进行分析找出观看视频内容的用户的兴趣点然后从已有的广告内容库中选择最佳匹配的广告内容进行展示。其中，固定广告插入技术为现行大部分互联网在线视频所采用的技术，实现简单，技术复杂度低。智能广告插入技术由于引入了智能分析，所以可以增加广告推送的精准，从而能够增加广告的转化率，提高互联网视频广告的收益。根据使用的智能分析方式的不同可以分为以下两种方式：

第一种，相似用户关联分析法。具体来说，根据观看在线视频的用户的历史行为，以及和当前用户有相似观看视频的历史记录的其他用户群，发现用户的兴趣点，从而根据用户的兴趣点嵌入相关的广告内容。举个例子来说，对于某一用户的观看记录与家庭主妇用户群的观看记录拟合度较高，判定用户为家庭主妇，因此从广告内容库中检索出该类用户感兴趣的广告内容插入到视频中。

第二种，视频分析识别法。具体地，根据用户当前观看的视频内容所展示的视音频信息，识别出图像中的语意或者内容，进而找到相关联的广告内容进行插入。举个例子来说，对于播放的赛车相关的电影，根据当前正在播放的视频流，从中抽取帧进行图像或者音频识别，识别出汽车的场景，再从广告库中找到汽车相关广告进行插入。

在这两种方式中，第一种方式需要依赖于用户观看视频的历史数据，且这种方式分析的结果不够准确，所以视频分析识别法更受重视。

目前，视频分析识别法的具体实现方式有很多种，下面详细说明视频分析识别法的具体实现方式。

申请号为201510908408.3，发明名称为视频中加载广告的方法及装置的中国专利申请提供了一种视频中加载广告的方法及装置，方法包括：监测视频的内容信息；判断广告库中是否存在与所述内容信息相匹配的广告；当所述预设广告库中存在与所述内容信息相匹配的广告时，将所述广告加载到所述视频中。这样可以不用直接修改视频的片源内容就可以达到很好的广告投放效果，也可以避免传统的广告投放方式中，由于视频内容与投放的广告不匹配，造成用户反感的现象发生。

申请号为201210042787.9，发明名称为一种智能嵌入式视频广告的实现方法的中国专利申请，公开了一种能伴随视频播放过程中出现，且不影响用户观看的广告形式，包括：实时地在视频帧图像中找寻广告块，该广告块是视频中可持续一段时间出现、相对平滑、有较大面积的图像区域，同时根据视频的内容自动匹配与之相适应的广告，然后将该广告图像同视频广告块融合，以替换原广告块内容，最后形成的效果是，在视频播放过程中，有一块智能插入的广告，在用户看来是视频创建时便产生的，可随视频内容变化的；这样，智能插入的广告不但不影响用户的观看体验，而且大大增长广告出现的时间，另外，广告内容是同视频内容相匹配的，从而更具备吸引力，将提高广告的转化率。

申请号为201110199435.X，发明名称为基于图像识别的广告投播系统及方法的中国专利申请，公开了一种基于图像识别的广告投播系统及方法，该系统包括：广告展示平台、图像采集系统、数据分析处理模块；其实现方法，包括：通过在广告展示平台加入图像采集系统，实时采集广告观众对广告的关注程度，并结合人脸表情识别，自动分析广告受众对广告的反馈，以及结合人体特征分析识别，自动分析和预估客户群体的年龄结构和性别，为广告后续投播提供参考。本发明能及时地获得广告观众数据，并能快速的传递给广告商和做广告的产品供应商，可以比较准确的分析出广告的效果以及广告投入的价值，便于相关人员可以及时调整广告策略，对产品的推广具有较大的推动作用。

申请号为201510145559.8，发明名称为视频广告语音交互系统及方法的中国专利申请，公开了一种视频广告语音交互系统及方法，属于互联网视频广告技术领域。为解决现有技术中用户对视频广告进行跳过选择需要注册并付费，并且简单的跳过视频广告，必然使得广告主受到损失的问题，提供一种视频广告语音交互系统，包括视频播放客户端、广告投放服务器、语音识别服务器，由上述系统实现的视频广告语音交互方法，视频播放客户端播放视频广告，用户开启语音监听开关，进行语音输入，语音监听模块收集语音信息，提取语音数据发送给语音识别服务器，语音识别服务器将语音数据识别的结果文本返回给视频播放客户端，视频播放客户端调用播放器的相关接口触发相关事件。用于互联网视频广告播放中实现语音交互。

目前，现有的广告插入方法存在如下几个问题：

1)目广告插入没有针对性，无法精准定位目标客户。现有的大部分广告插入方法采用固定广告插入技术，这样，就会按照广告投放商指定的要求将广告内容投放到指定的互联网视频中去。这种方式由于缺乏针对性，大部分为无效投放，所以转化率低，而且对用户造成很大困扰，可能会使得用户感到厌烦，用户体验较差。

2)基于内容分析的智能广告插入法无法智能化地感知用户需求的变化。目前基于内容分析的智能广告插入方法通过分析视频的内容来找到观看用户可能的兴趣点而选择广告，可是随着互联网信息热点的冲击，用户的兴趣点变化十分频繁，单纯通过分析视频内容来进行广告选取已经无法满足用户需求。

3)广告插入的实时性差。无论是固定广告插入方法还是基于内容分析的智能广告插入技术(包含依赖于用户行为的智能分析法和基于视频识别广告插入技术)都需要预先拿到视频，对视频进行内容分类，和预处理，然后对应好嵌入的广告。基于视频识别的广告插入法是目前的一个新兴的技术方向。但是由于从视频流中提取出画面帧以及对图像内容进行分析的计算过程是非实时的，以及在互联网的视频流中识别出画面的内容对智能识别的要求非常高，而且对于从音频中识别提取内容的智能识别技术要求也非常高，加之互联网视频中的画面和音频的干扰因素比较多，使得视音频识别的广告插入技术无法做到实时、准确地广告插入。所以在当前互联网视频内容爆发性增长的情况下，以及越来越多的直播视频的出现，广告插入的实时性成为一个急需解决的问题。

基于此，在本发明的各种实施例中：对视频流中的音频流进行语音识别，得到第一结果；所述第一结果表征识别出的语音所对应的字符串流；从第一识别结果中提取关键词；依据提取的关键词，获取相关的至少一条广告条目，得到第二结果；依据建立的机器学习模型，利用第二结果选择满足第一预设条件的广告条目；所述机器学习模型为将用户反馈的广告兴趣度作为训练集样本训练所得到的模型；根据选择的广告条目，从第一数据库中获取对应的广告内容；所述第一数据库为广告内容数据库；并将相应的广告内容加载至所述视频流对应的视频中。

实施例一

本发明实施例广告加载的方法，应用于服务器，如图1所示，该方法包括：

步骤101：对视频流中的音频流进行语音识别，得到第一结果；

这里，所述第一结果表征识别出的语音所对应的字符串流。

具体地，对所述音频流进行去噪声处理；

对去噪声处理后的音频流进行语音识别。

所述字符串流实际上是机器能够识别的识别出的语音所对应的文字。

步骤102：从第一识别结果中提取关键词；

换句话说，对字符串流进行分词和去冗余处理，从而从第一识别结果中提取出有意义的关键词，去除感叹词、介词等非关键词。

步骤103：依据提取的关键词，获取相关的至少一条广告条目，得到第二结果；

具体地，将提取的关键词与第二数据库进行匹配，得到所述第二结果；

这里，所述第二结果表征提取的关键词与至少一条广告条目的相关性权值。

所述第二数据库表征关键词与广告条目的相关性权值。

其中，在一实施例中，执行本步骤之前，该方法还可以包括：

判断提取的关键词是否满足第二预设条件；所述第二预设条件表征提取的关键词满足插入广告的触发条件；

当提取的关键词满足第二预设条件时，依据提取的关键词，获取相关的至少一条广告条目。

其中，所述判断提取的关键词是否满足第二预设条件，具体包括：

判断在第三数据库中是否查找到与提取的关键词对应的参数信息；所述第三数据库表征插入广告的触发条件对应的参数信息。

具体来说，当在所述第三数据库中查找到与提取的关键词对应的参数信息时，表明提取的关键词满足第二预设条件，即满足插入广告的触发条件。当在所述第三数据库中未查找到与提取的关键词对应的参数信息时，表明提取的关键词不满足第二预设条件，即不满足插入广告的触发条件。

这里，所述参数信息可以根据需要设置，设置的参数信息至少包含关键词，还可以进一步包括关键词出现的频率、距离上次触发广告的最大与最小间隔，词汇量等。举个例子来说，假设某管理员设定了在视频播放的过程中每隔15分钟即插入一条广告内容，那么触发条件检索数据库里会设置关键词，关键词频率，词汇量等条件为“任意”，距离上次触发广告的最大间隔为15分钟。这样无论是否检索到关键词，关键词的频率如何，只要距离上次触发广告的时间到达15分钟即会满足触插入广告的发条件。

步骤104：依据建立的机器学习模型，利用第二结果选择满足第一预设条件的广告条目；

具体地，依据提取的关键词及第二结果，利用所述机器学习模型对所述至少一条广告条目进行分类，得到第三结果；所述第三结果表征至少一条广告条目中每条广告内容对应的广告兴趣度；

利用所述第三结果，选择满足所述第一预设条件的广告条目。

其中，所述利用所述第三结果，选择满足所述第一预设条件的广告条目，包括：

将所述至少一条广告内容中广告兴趣度最高，且相关性权值大于设定值的广告条目作为所述选择的广告条目。

这里，实际应用时，所述设定值可以根据需要设置。

所述机器学习模型为将用户反馈的广告兴趣度作为训练集样本训练所得到的模型。

步骤105：根据选择的广告条目，从第一数据库中获取对应的广告内容；

这里，所述第一数据库为广告内容数据库。

步骤106：将获取的广告内容加载至所述视频流对应的视频中。

这里，由于所述机器学习模型是通过将用户反馈的广告兴趣度为训练集样本训练所得到的，因此，所述机器学习模型需要新的样本，通过机器学习算法来不断训练。

基于此，在一实施例中，该方法还可以包括：

接收第一信息；所述第一信息表征对所述选择的广告内容的兴趣度；

利用所述第一信息，训练所述建立的机器学习模型。

这里，实际应用时，将选择的广告内容加载至所述视频流对应的视频中后，可以采集用户对选择的广告内容的兴趣度，比如设置了“感兴趣”和“不感兴趣”虚拟按钮，用户通过选择这两个按钮来实现用户对对选择的广告内容的兴趣度，此时服务器会接收到对应虚拟按钮所表达的信息。

本发明实施例提供的广告加载方法，对视频流中的音频流进行语音识别，得到第一结果；所述第一结果表征识别出的语音所对应的字符串流；从第一识别结果中提取关键词；依据提取的关键词，获取相关的至少一条广告条目，得到第二结果；依据建立的机器学习模型，利用第二结果选择满足第一预设条件的广告条目；所述机器学习模型为将用户反馈的广告兴趣度作为训练集样本训练所得到的模型；根据选择的广告条目，从第一数据库中获取对应的广告内容；所述第一数据库为广告内容数据库；并将相应的广告内容加载至所述视频流对应的视频中，利用将用户反馈的广告兴趣度作为训练集样本训练所得到的机器学习模型来选择广告内容，即采用机器学习的方法来选择广告内容，如此，能够根据视频内容和视频情景向观看视频的用户精准投放相关广告内容，提高了广告投放的精准度，从而增加了广告的转化率。同时，由于是对视频流中的音频流进行语音识别，所以能够实时识别出视频内容，进而保证了广告插入的实时性。

另外，接收第一信息；所述第一信息表征对所述选择的广告内容的兴趣度；利用所述第一信息，训练所述建立的机器学习模型，使用用户反馈的广告内容的兴趣度作为训练集的样本进一步训练及其学习模型，即进一步进行机器学习，如此，能够不断提高广告的针对性，进一步提高广告投放的精准度。

除此以外，判断提取的关键词是否满足第二预设条件；所述第二预设条件表征提取的关键词满足插入广告的触发条件；当提取的关键词满足第二预设条件时，再依据提取的关键词，从第一数据库中获取至少一条广告内容，如此，考虑了插入广告的智能性和人工可干预性。

除此以外，将提取的关键词与第二数据库进行匹配，得到所述第二结果；所述第二结果表征提取的关键词与至少一条广告条目的相关性权值，所述第二数据库表征关键词与广告条目的相关性权值；将所述至少一条广告内容中广告兴趣度最高，且相关性权值大于设定值的广告条目作为所述选择的广告条目，通过查找提取的关键词与至少一条广告条目相关性权值的方式来确定与当前语境相关性强的广告条目，从而查找对应的广告内容，如此，能够大大提高查找广告内容的速度，进而保证了广告插入的实时性。

实施例二

为实现本发明实施例的方法，本实施例提供一种广告加载装置，应用于服务器，如图2所示，该装置包括：

语音识别模块21，对视频流中的音频流进行语音识别，得到第一结果；所述第一结果表征识别出的语音所对应的字符串；

分词处理模块22，用于从第一识别结果中提取关键词；

相关性智能分析模块23，依据提取的关键词，获取相关的至少一条广告条目，得到第二结果；依据建立的机器学习模型，利用第二结果选择满足第一预设条件的广告条目；所述机器学习模型为将用户反馈的广告兴趣度作为训练集样本训练所得到的模型；并根据选择的广告条目，从第一数据库中获取对应的广告内容；

广告投入模块24，用于将获取的广告内容加载至所述视频流对应的视频中。

其中，所述语音识别模块21，具体用于：

对所述音频流进行去噪声处理；

对去噪声处理后的音频流进行语音识别。

所述字符串流实际上是机器能够识别的识别出的语音所对应的文字。

从第一识别结果中提取关键词，换句话说，所述分词处理模块22对字符串流进行分词和去冗余处理，从而从第一识别结果中提取出有意义的关键词，去除感叹词、介词等非关键词。

所述相关性智能分析模块23，具体用于：

将提取的关键词与第二数据库进行匹配，得到所述第二结果；

这里，所述第二结果表征提取的关键词与至少一条广告条目的相关性权值。

所述第二数据库表征关键词与广告条目的相关性权值。

所述相关性智能分析模块23，具体用于：

依据提取的关键词及第二结果，利用所述机器学习模型对所述至少一条广告条目进行分类，得到第三结果；所述第三结果表征至少一条广告条目中每条广告内容对应的广告兴趣度；

利用所述第三结果，选择满足所述第一预设条件的广告条目。

其中，所述利用所述第三结果，选择满足所述第一预设条件的广告条目，包括：

所述相关性智能分析模块23将所述至少一条广告内容中广告兴趣度最高，且相关性权值大于设定值的广告条目作为所述选择的广告条目。

这里，实际应用时，所述设定值可以根据需要设置。

其中，在一实施例中，装置还可以包括：

触发条件智能分析模块，用于判断提取的关键词是否满足第二预设条件；所述第二预设条件表征提取的关键词满足插入广告的触发条件；以及当提取的关键词满足第二预设条件时，所述相关性智能分析模块23依据提取的关键词，获取相关的至少一条广告条目，得到第二结果。

其中，所述判断提取的关键词是否满足第二预设条件，具体包括：

所述触发条件智能分析模块判断在第三数据库中是否查找到与提取的关键词对应的参数信息；所述第三数据库表征插入广告的触发条件对应的参数信息。

具体来说，当在所述第三数据库中查找到与提取的关键词对应的参数信息时，表明提取的关键词满足第二预设条件，即满足插入广告的触发条件。当在所述第三数据库中未查找到与提取的关键词对应的参数信息时，表明提取的关键词不满足第二预设条件，即不满足插入广告的触发条件。

这里，所述参数信息可以根据需要设置，设置的参数信息至少包含关键词，还可以进一步包括关键词出现的频率、距离上次触发广告的最大与最小间隔，词汇量等。举个例子来说，假设某管理员设定了在视频播放的过程中每隔15分钟即插入一条广告内容，那么触发条件检索数据库里会设置关键词，关键词频率，词汇量等条件为“任意”，距离上次触发广告的最大间隔为15分钟。这样无论是否检索到关键词，关键词的频率如何，只要距离上次触发广告的时间到达15分钟即会满足触插入广告的发条件。

这里，由于所述机器学习模型是通过将用户反馈的广告兴趣度为训练集样本训练所得到的，因此，所述机器学习模型需要新的样本，通过机器学习算法来不断训练。

基于此，在一实施例中，该装置还可以包括：

用户反馈采集模块，用于接收第一信息；所述第一信息表征对所述选择的广告内容的兴趣度；

机器学习模块，用于利用所述第一信息，训练所述建立的机器学习模型。

这里，实际应用时，将选择的广告内容加载至所述视频流对应的视频中后，所述用户反馈采集模块可以采集用户对选择的广告内容的兴趣度，比如设置了“感兴趣”和“不感兴趣”虚拟按钮，用户通过选择这两个按钮来实现用户对对选择的广告内容的兴趣度，此时用户反馈采集模块会接收到对应虚拟按钮所表达的信息。

实际应用时，所述语音识别模块21、分词处理模块22、相关性智能分析模块23、触发条件智能分析模块、机器学习模块可由广告加载装置中的中央处理器(CPU，CentralProcessing Unit)、微处理器(MCU，Micro Control Unit)、数字信号处理器(DSP，DigitalSignal Processor)或可编程逻辑阵列(FPGA，Field－Programmable Gate Array)实现，所述广告投入模块24、用户反馈采集模块可由广告加载装置中的CPU、MCU、DSP或FPGA结合通信接口实现。

本发明实施例提供的广告加载装置，所述语音识别模块21对视频流中的音频流进行语音识别，得到第一结果；所述第一结果表征识别出的语音所对应的字符串流；所述分词处理模块22从第一识别结果中提取关键词；所述相关性智能分析模块23依据提取的关键词，获取相关的至少一条广告条目，得到第二结果；依据建立的机器学习模型，利用第二结果选择满足第一预设条件的广告条目；所述机器学习模型为将用户反馈的广告兴趣度作为训练集样本训练所得到的模型；根据选择的广告条目，从第一数据库中获取对应的广告内容；所述第一数据库为广告内容数据库；并通过所述广告投入模块24将所述对应的广告内容加载至所述视频流对应的视频中，利用将用户反馈的广告兴趣度作为训练集样本训练所得到的机器学习模型来选择广告内容，即采用机器学习的方法来选择广告内容，如此，能够根据视频内容和视频情景向观看视频的用户精准投放相关广告内容，提高了广告投放的精准度，从而增加了广告的转化率。同时，由于是对视频流中的音频流进行语音识别，所以能够实时识别出视频内容，进而保证了广告插入的实时性。

另外，所述用户反馈采集模块接收第一信息；所述第一信息表征对所述选择的广告内容的兴趣度；所述机器学习模块利用所述第一信息，训练所述建立的机器学习模型，使用用户反馈的广告内容的兴趣度作为训练集的样本进一步训练及其学习模型，即进一步进行机器学习，如此，能够不断提高广告的针对性，进一步提高广告投放的精准度。

除此以外，触发条件智能分析模块判断提取的关键词是否满足第二预设条件；所述第二预设条件表征提取的关键词满足插入广告的触发条件；当提取的关键词满足第二预设条件时，再依据提取的关键词，从第一数据库中获取至少一条广告内容，如此，考虑了插入广告的智能性和人工可干预性。

除此以外，所述相关性智能分析22模块将提取的关键词与第二数据库进行匹配，得到所述第二结果；所述第二结果表征提取的关键词与至少一条广告条目的相关性权值，所述第二数据库表征关键词与广告条目的相关性权值；将所述至少一条广告内容中广告兴趣度最高，且相关性权值大于设定值的广告条目作为所述选择的广告条目，通过查找提取的关键词与至少一条广告条目相关性权值的方式来确定与当前语境相关性强的广告条目，从而查找对应的广告内容，如此，能够大大提高查找广告内容的速度，进而保证了广告插入的实时性。

实施例三

在实施例一、二的基础上，本实施例详描述广告加载的过程。

结合实施例一、二可以看出，本发明实施例基于语音识别和机器学习的视频广告插入方案。图3为本实施例基于语音识别和机器学习的视频广告插入系统架构图。如图3所示，该系统主要由以下几个模块构成：

语音识别模块：用于从输入的音频流识别出语音的部分，并将语音转成文字。

分词处理模块：对语音转化后的文字进行分词处理，去除无用词汇，保留关键词汇。例如，去除“的”、“啊”、我”、“你”等非关键词汇，保留有识别性的关键词汇例如“购物”、“新款”、“汽车”、“加速”等词汇。

触发条件智能分析模块：根据当前获得的信息，包含：词汇积累量，视频距离上次触发广告的时间间隔、特殊触发词汇、关键词出现的频率等去触发条件检索库中查询是否触发广告插入行为。

触发条件检索数据库：保存管理员设置的触发条件信息。每条信息包含了触发广告的参数信息。这些参数信息包括但不限于关键词，关键词出现的频率，距离上次触发广告的最大与最小间隔，词汇量。例如，如果某管理员设定了在视频播放的过程中每隔15分钟即插入一条广告信息，那么触发条件检索数据库里会设置关键词，关键词频率，词汇量等条件为“任意”，距离上次触发广告的最大间隔为15分钟。这样无论是否检索到关键词，关键词的频率如何，只要距离上次触发广告的时间到达15分钟即会满足触发条件。

相关性智能分析模块：当触发条件智能分析模块查询到触发了广告插入条件时，系统就会调用相关性分析模块去分析和查找与当前周期内的语意积累相关性最高的广告内容，相关性智能分析模块使用机器学习的训练结果(机器学习模型)来决策当前语意环境下用户接受度最好(最佳匹配，即兴趣度最高)的广告条目。

用户反馈采集模块：用户在web端或者移动设备终端观看视频时，可以通过此交互模块选择“不感兴趣”或“感兴趣”虚拟按钮，收集用户对广告的接受度。并将用户的反馈结果返回至广告插入系统的智能训练集。

机器学习模块：机器学习模块从训练集中提取训练数据，即训练样本，包括语意触发条件以及该语意触发的广告条目，以及用户反馈的兴趣度(接受广告或者不接受广告)，通过机器学习算法得到对语意触发条件触发的广告条目的接受程度的评估能力。当语意及语意触发的广告条目输入时可以返回机器学习得到的用户接受度的预估。

智能训练集：存储所有的已经触发过广告的语意触发条件、触发的广告条目、用户反馈的兴趣度(接受或者不接受广告)。

广告插入模块：用于将相关性智能分析模块检索到的广告插入到视频播放页面。插入模式包括但不限于弹出广告页，侧边栏显示链接，嵌入广告视频，显示广告图片等形式。

关键词与广告相关性关系库：此数据库中保存了关键词与广告的相关性映射关系。由系统管理员通过管理接口进行编辑和修改。

广告内容库：此数据库中保存了所有广告内容，即广告内容的其他信息。如广告形式，广告过期时间，广告内容，广告供应商等信息。

广告相关性管理模块：用于提供基于web的可视化编辑页面给管理员，编辑关键词与广告内容的相关性关系。管理员可通过调整关键词与广告内容的相关性，以及相关性的权值提高特定广告的展示次数和命中次数。

触发条件管理模块：用于提供基于web的可视化编辑模块给管理员，编辑管理广告的触发条件，管理员可以根据用户反馈的情况和广告上的要求调整广告插入频率和次数。

结合图3，广告加载的流程，如图4所示，包括以下步骤：

步骤401：音频流输入到语音识别模块，语音识别模块将语音转化为字符串流；

具体地，语音识别模块对输入的音频流进行去除噪声，去除干扰处理，然后进行语音识别，从而转化为字符串流。

步骤402：字符串流发送给分词处理模块进行处理，分词处理模块提取关键词，得到词汇组；

具体地，分词处理模块对字符串流进行分词和去冗余处理，分析出其中有意义的关键词，去除感叹词，介词等非关键词，并将分词处理的结果放入词汇组容器中。

步骤403：触发条件智能分析模块对收到的词汇组容器，以及其他信息进行整理；

这里，所述其它信息可以包含：时间轴信息，视频类型信息，词汇频率信息等。

步骤404：触发条件智能分析模块利用整理后的信息去触发条件检索数据库中检索相关记录；

这里，如果没有命中记录，说明不满足需要插入广告的触发条件，则结束处理流程。如果有命中的触发条件记录，说明需要进行广告插入操作，执行步骤405。

步骤405：触发条件智能分析模块将触发关键词词组以及分词处理模块分析的所有词组都发送给相关性智能分析模块；

这里，触发条件检索返回的记录会包含触发本次广告插入动作的触发关键词词组。

步骤406：相关性智能分析模块利用触发关键词词组，在关键词与广告相关性关系库中检索相关性矩阵；

这里，当利用触发关键词词组没有检索到任何结果，则相关性智能分析模块使用词处理模块分析的所有词组进行检索。

步骤407：相关性智能分析模块对于检索到的相关性矩阵进行处理；

这里，所述相关性矩阵是以关键词为行索引，广告条目为列索引的m＊n矩阵，R(i，j)为关键词i与广告条目j的相关性权值。相关性智能分析模块对此矩阵按行加和，取得以广告条目为索引的数列，并将该数列按照值从大到小的顺序进行排序，得到以相关性权值排序的广告条目序列。此时得到的首条广告条目即为与此语境相关性最高的条目，第二条次之。

步骤408：相关性智能分析模块得到相关性矩阵后，利用机器学习模块训练得到的机器学习模型，通过机器学习算法，得到用户接受程度评估值结果；

这里，通过机器学习算法，可以得到用户接受程度评估值最高的广告条目序列，即用户反馈的兴趣度最高的广告条目序列。

步骤409：相关性智能分析模块根据机器学习算法得到的用户接受程度评估值结果去除接受程度评估值低的广告条目；

步骤410：相关性智能分析模块根据得到的广告条目序列逐个向广告内容库进行检索，直到检索出可用的广告条目位置；

这里，经过检索后，得到评估值最高且相关性权值满足预设值的广告条目对应的广告内容。

广告内容库除了返回广告的编号以外还将返回广告内容，广告形式，图片，视频所在统一资源定位符(URL)等其他相关信息。

步骤411：相关性智能分析模块得到广告信息后，将内容信息发送给广告插入模块，由广告插入模块根据广告的形式插入到原视频展示页面中；

步骤412：在用户观看到广告之后，用户反馈采集模块将用户的接受反馈信息发送到智能训练集中，以便机器学习模块进行机器学习，训练的机器学习模型。

实际应用时，管理员可以对触发条件检索数据库、关键词与广告相关性关系库的数据进行管理。

具体地，如图5所示，对触发条件检索数据库的管理过程包括以下步骤：

步骤501：管理员登入系统，系统对管理员进行身份验证；

步骤502：管理员身份验证成功后，系统通过web页面列出现有广告触发条件信息；

这里，此触发条件信息包含但不限于特殊词汇触发，词汇及词汇出现频率触发，时间间隔触发，视频类型触发，以及多种触发条件的联合触发等等。

步骤503：管理员根据实际需要对当前展现的触发条件信息进行增加，删除，或修改操作；

步骤504：管理员提交增加、删除、或修改动作；

步骤505：触发条件管理模块对管理提交的修改数据进行校验，对于明显不合理的触发条件返回错误提示，对合理的触发条件编辑为触发条件数据记录发送给触发条件检索数据库，进行数据修改；

步骤506：触发条件检索数据库返回修改成功，系统向管理员返回修改成功，并刷新web页面为最新的触发条件信息列表。

如图6所示，对关键词与广告相关性关系库的管理过程包括以下步骤：

步骤601：管理员登入系统，系统对管理员进行身份验证；

步骤602：管理员身份验证成功后，系统通过web页面列出现有的关键词与广告相关性关系；

这里，相关性关系包含系统管理下的所有关键词条目，广告条目以及关键词和广告条目的相关性权值。

管理员可以通过搜索查询出感兴趣的关键词条目和广告条目。

步骤603：管理员根据实际需要增加、删除或修改关键词条目；

这里，增加，删除，或修改关键词条目与广告条目的相关性权值达到调整广告展示频率和策略的目的。

步骤604：管理员提交增加、删除、或修改动作；

步骤605：广告相关性管理模块对提交的修改数据进行校验，对于明显不合理的修改返回错误提示，对合理的数据编辑为相关性数据记录并发送给关键词与广告相关性关系库；

步骤606：关键词与广告相关性关系库返回修改成功，系统向管理员返回修改成功，并刷新web页面为最新的数据列表。

从上面的描述中可以看出，本发明实施例提供的方案，是基于语音识别和机器学习的视频广告插入的方法和系统，能够达到快速实时识别出互联网上的视频内容，并能够根据视频内容和视频情景向观看视频的用户精准投放相关广告，以及能够从用户的反馈中搜集训练集，采用机器学习的方法进一步改进投放广告的精准性。具体表现为：

1)与已有的预设的视频广告插入方法不同，通过对视频中跟随的语音进行语音识别，检索出有意义的关键词信息，将关键词在广告内容库中进行匹配，从而找到视频的相关内容，即根据关键词与广告内容库中的广告条目的相关性，选择与当前视频相关度最高的广告条目进行广告插入。目前的互联网上的视频大部分都配有语音，而从语音中进行语音识别的技术相对已经成熟并且能够做到实时识别。相比对画面和音频笼统进行识别来说，语音的识别速度较快，可以做到准实时识别。视频中相配的语音有很多是噪音和干扰比较少的语音对白，说明性旁白，因此对语音进行智能分析，可以迅速找到视频对应的内容。这样除了减广告插入工作人员的工作量以外，还能够根据观看视频的语境进行投放广告，增加广告的转化率，减少无效广告，提高观看者的用户体验。

2)目前已有的智能广告插入系统单纯使用内容分析法无法做到真正的智能性，观众的兴趣和爱好随时都在发生变化，所以通过使用用户反馈(是否接受广告的反馈)作为训练集进行机器学习，不断提高广告的针对性，做出更智能的广告插入决策。通过采集用户跳过广告或者接收广告的反馈信息，通过机器学习能够更好的获得语音分析结果与选择广告的相关性，增强了广告的精准投放。

3)基于视频情景的视频广告精准投放。在语音识别的基础上，本系统可以获得视频播放的语意内容，分析出当前视频的情景(相关性权值)，进而能够从视频广告库中选取相关广告内容嵌入到视频中去。

另外，本发明实施例还提供了可供管理员编辑和修改的广告触发条件及广告相关性管理系统。通过该方案，管理员可以调整广告触发的条件，以及关键词与广告的相关性权值，达到调整广告展现频率的效果。系统结合了智能性与人工可干预性。

综上所述，本发明实施例提供的基于语音识别和机器学习的视频广告插入方案，能够更好地为互联网视频进行广告插入处理，提供高效的广告展示，较高的广告转化率，以及较好的用户体验。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (12)

1.一种广告加载方法，其特征在于，所述方法包括：

对视频流中的音频流进行语音识别，得到第一结果；所述第一结果表征识别出的语音所对应的字符串流；

从第一识别结果中提取关键词；

依据提取的关键词，获取相关的至少一条广告条目，得到第二结果；

依据建立的机器学习模型，利用第二结果选择满足第一预设条件的广告条目；所述机器学习模型为将用户反馈的广告兴趣度作为训练集样本训练所得到的模型；

根据选择的广告条目，从第一数据库中获取对应的广告内容；所述第一数据库为广告内容数据库；并将所述对应的广告内容加载至所述视频流对应的视频中。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收第一信息；所述第一信息表征对所述选择的广告内容的兴趣度；

利用所述第一信息，训练所述建立的机器学习模型。

3.根据权利要求1所述的方法，其特征在于，依据建立的机器学习模型，利用第二结果选择满足第一预设条件的广告条目，包括：

依据提取的关键词及第二结果，利用所述机器学习模型对所述至少一条广告条目进行分类，得到第三结果；所述第三结果表征至少一条广告条目中每条广告内容对应的广告兴趣度；

利用所述第三结果，选择满足所述第一预设条件的广告条目。

4.根据权利要求3所述的方法，其特征在于，所述依据提取的关键词，获取相关的至少一条广告条目，包括：

将提取的关键词与第二数据库进行匹配，得到所述第二结果；所述第二数据库表征关键词与广告条目的相关性权值；所述第二结果表征提取的关键词与至少一条广告条目的相关性权值。

5.根据权利要求4所述的方法，其特征在于，所述利用所述第三结果，选择满足所述第一预设条件的广告条目，包括：

将所述至少一条广告内容中广告兴趣度最高，且相关性权值大于设定值的广告条目作为所述选择的广告条目。

6.根据权利要求1所述的方法，其特征在于，所述依据提取的关键词，将提取的关键词与第一数据库进行匹配，得到第二结果之前，所述方法还包括：

判断提取的关键词是否满足第二预设条件；所述第二预设条件表征提取的关键词满足插入广告的触发条件；

当提取的关键词满足第二预设条件时，依据提取的关键词，将提取的关键词与第一数据库进行匹配，得到第二结果。

7.根据权利要求6所述的方法，其特征在于，所述判断提取的关键词是否满足第二预设条件，包括：

判断在第三数据库中是否查找到与提取的关键词对应的参数信息；所述第三数据库表征插入广告的触发条件对应的参数信息。

8.根据权利要求1所述的方法，其特征在于，所述对视频流中的音频流进行语音识别，包括：

对所述音频流进行去噪声处理；

对去噪声处理后的音频流进行语音识别。

9.一种广告加载装置，其特征在于，所述装置包括：

语音识别模块，对视频流中的音频流进行语音识别，得到第一结果；所述第一结果表征识别出的语音所对应的字符串流；

分词处理模块，用于从第一识别结果中提取关键词；

相关性智能分析模块，用于依据提取的关键词，获取相关的至少一条广告条目，得到第二结果；依据建立的机器学习模型，利用第二结果选择满足第一预设条件的广告条目；所述机器学习模型为将用户反馈的广告兴趣度作为训练集样本训练所得到的模型；并根据选择的广告条目，从第一数据库中获取对应的广告内容；

广告投入模块，用于将获取的广告内容加载至所述视频流对应的视频中。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

用户反馈采集模块，用于接收第一信息；所述第一信息表征对所述选择的广告内容的兴趣度；

机器学习模块，用于利用所述第一信息，训练所述建立的机器学习模型。

11.根据权利要求9所述的装置，其特征在于，所述相关性智能分析模块，具体用于：

依据提取的关键词及第二结果，利用所述机器学习模型对所述至少一条广告条目进行分类，得到第三结果；所述第三结果表征至少一条广告条目中每条广告内容对应的广告兴趣度；

利用所述第三结果，选择满足所述第一预设条件的广告条目。

12.根据权利要求9所述的装置，其特征在于，所述装置还包括：

触发条件智能分析模块，用于判断提取的关键词是否满足第二预设条件；所述第二预设条件表征提取的关键词满足插入广告的触发条件；

当提取的关键词满足第二预设条件时，所述相关性智能分析模块依据提取的关键词，获取相关的至少一条广告条目，得到第二结果。