CN105338404B - 一种电视节目植入软广的识别系统及其方法 - Google Patents

Abstract

本发明公开了一种电视节目植入软广的识别系统及其方法，所述系统包括：特征提取模块、特征匹配模块、系统推荐模块以及编辑模块；所述识别方法包括如下步骤：特征提取步骤用于基于神经网络特征提取技术提取节目视频数据特征；特征匹配步骤用于基于特征对节目视频数据进行特征匹配，并根据不同的匹配相似度，采取不同的处理策略；系统推荐步骤用于根据不同的处理策略的结果，选取不同的推荐方式，推荐出植入软广信息，完成识别软广数据；编辑步骤用于针对特征匹配步骤中不能完全匹配特征的视频数据，进行加工编辑，完成识别软广数据。

Description

一种电视节目植入软广的识别系统及其方法

技术领域

本发明涉及电视节目植入广告和模式识别领域，特别涉及一种电视节目植入软广的识别系统及其方法。

背景技术

随着人们精神生活水平的提高，越来越多的娱乐综艺节目通过电视、互联网呈现在人们眼前。随之带来了巨大的软性广告植入市场，我们经常可以在电视节目中看到许多广告信息。这些广告和节目密不可分，能够让观众在看节目的同时潜意识的接收广告信息，达到广而告之的宣传目的(通过此方式植入的广告我们称之为软广)。但也正是由于广告和节目的相互掺杂、密不可分，直接导致了软广的监测和统计分析工作变得举步维艰。

目前获取软广植入监测数据，主要是通过人工记录的方式来收集数据。但这种方式很容易导致记录错误，同时也会让记录员劳心劳力，苦不堪言。而面对大量具有软广植入信息的电视节目，如果单凭人工记录的方式监测数据，明显是一个需要耗费大量人力物力和时间精力的大工程。从长远看，这是一种不可行的方式。

所以通过人工记录存在数据精准度低，工作效率低，人工成本高的问题。

基于现有技术中存在的问题，亟待发现一种全新的软广识别系统及其方法。

发明内容

本发明所要解决的技术问题在于提供一种电视节目植入软广的识别系统及其方法，以克服现有技术中存在的软广监测行业存在的精准度低，工作效率低，人工成本高的问题。

为达上述目的，本发明提供了一种电视节目植入软广的识别方法，包括：

特征提取步骤：用于基于神经网络特征提取技术提取节目视频数据特征；

特征匹配步骤：用于基于所述特征对所述节目视频数据进行特征匹配，并根据不同的匹配相似度，采取不同的处理策略；

系统推荐步骤：用于根据采取不同的所述处理策略的结果，选取不同的推荐方式，推荐出植入软广信息，完成识别疑似的软广数据；

编辑步骤：用于针对所述特征匹配步骤中不能高度匹配所述特征的视频数据，进行加工编辑，生成软广数据。

上述电视节目植入软广的识别方法，还包括：

审核步骤：用于对所述系统推荐步骤识别的疑似软广数据和所述编辑步骤中生成的所述软广数据，进行最终审核；

数据发布步骤：用于对最终审核通过的所述软广数据进行数据发布。

上述电视节目植入软广的识别方法，所述特征匹配步骤，包括：

高相似度步骤：如果所述视频数据特征匹配相似度大于范围A，则识别软广数据成功，对识别成功的所述软广数据进行相应加工处理；

疑似处理步骤：如果所述视频数据特征匹配相似度大于范围B，小于范围A，则发现疑似软广数据，执行所述审核步骤处理；

低相似度步骤：如果所述视频数据特征匹配相似度小于范围B，则识别软广数据失败，执行所述系统推荐步骤处理。

上述电视节目植入软广的识别方法，所述系统推荐步骤，包括：

全自动推荐步骤：用于采用视频节目的历史数据，作为推荐识别的软广数据；

半自动推荐步骤：用于采用根据设定的条件，根据软广植入形式的不同，推荐识别不同的软广数据；

高频推荐步骤：根据所述软广数据出现的频率高低，推荐识别软广数据。

上述电视节目植入软广的识别方法，所述编辑步骤，包括：

广告边界截取步骤：用于对视频节目中植入广告的开始点和结束点的广告边界进行定位；

推荐方式选择步骤：用于根据不同的判断条件分别选择执行所述全自动推荐步骤、所述半自动推荐步骤或所述高频推荐步骤；

检索步骤：如果所述推荐方式选择步骤中没有成功识别正确数据，则在知识库中进行信息检索，直至成功识别软广数据。

本发明还提供一种电视节目植入软广的识别系统，采用如上所述电视节目植入软广的识别方法，所述系统包括：

特征提取模块：用于基于神经网络特征提取技术提取节目视频数据特征；

特征匹配模块：用于基于所述特征对所述节目视频数据进行特征匹配，并根据不同的匹配相似度，采取不同的处理策略；

系统推荐模块：用于根据执行不同的所述处理策略的结果，选取不同的推荐方式，推荐出植入软广信息，完成识别疑似的软广数据；

编辑模块：用于针对所述特征匹配步骤中不能高度匹配所述特征的视频数据，进行加工编辑，生成软广数据。

上述电视节目植入软广的识别系统，还包括：

审核模块：用于对所述系统推荐模块识别疑似的软广数据和所述编辑模块中生成的所述软广数据，进行最终审核；

数据发布模块：用于对最终审核通过的所述软广数据进行数据发布。

上述电视节目植入软广的识别系统，所述特征匹配模块，包括：

高相似度模块：如果所述视频数据特征匹配相似度大于范围A，则识别软广数据成功，对识别成功的所述软广数据进行相应加工处理；

疑似处理模块：如果所述视频数据特征匹配相似度大于范围B，小于范围A，则发现疑似软广数据，进入所述审核模块处理；

低相似度模块：如果所述视频数据特征匹配相似度小于范围B，则识别软广数据失败，进入所述系统推荐模块处理。

上述电视节目植入软广的识别系统，所述系统推荐模块，包括：

全自动推荐模块：用于采用视频节目的历史数据，作为推荐识别的软广数据；

半自动推荐模块：用于采用根据设定的条件，根据软广植入形式的不同，推荐识别不同的软广数据；

高频推荐模块：根据所述软广数据出现的频率高低，推荐识别软广数据。

上述电视节目植入软广的识别系统，所述编辑模块，包括：

广告边界截取模块：用于对视频节目中植入广告的开始点和结束点的广告边界进行定位；

推荐方式选择模块：用于根据不同的判断条件分别选择执行所述全自动推荐模块、半自动推荐模块或高频推荐模块；

检索模块：如果所述推荐方式选择模块中没有成功识别正确数据，则在知识库中进行信息检索，直至成功识别软广数据。

与现有技术相比，本发明的有益效果在于：本发明方案采用现代计算机机器学习技术能够智能、快速的识别出软广植入数据，再辅以后续流程，确保了软广数据的完整性和准确性，大大的节约了人工成本，填补了软广植入识别领域的空白。

附图说明

图1为本发明软广识别方法流程示意图；

图2为本发明方法另一实施例示意图；

图3为本发明方法详细流程示意图；

图4为本发明方法具体实施例流程示意图；

图5为本发明具体实施例编辑步骤详细流程示意图；

图6为本发明软广识别系统结构示意图；

图7为本发明系统另一实施例结构示意图；

图8为本发明系统详细结构示意图。

其中，附图标记：

S10～S60：本发明各实施例的施行步骤

具体实施方式

下面给出本发明的具体实施方式，结合图示对本发明做出了详细描述。

本发明是针对软广识别而提出的一种识别电视节目植入的软广数据的系统及方法，通过对采集的软广数据进行数据加工，利用加工得到的软广数据以提供进一步数据挖掘。

图1为本发明软广识别方法流程示意图，如图1所示，本发明软广识别方法，包括：

特征提取步骤S10：用于基于神经网络特征提取技术提取节目视频数据特征；

特征匹配步骤S20：用于基于特征对节目视频数据进行特征匹配，并根据不同的匹配相似度，采取不同的处理策略；

系统推荐步骤S30：用于根据执行不同的处理策略的结果，选取不同的推荐方式，推荐出植入的软广信息识别，完成识别疑似的软广数据；

编辑步骤S40：用于针对特征匹配步骤中不能高度匹配特征的视频数据，进行加工编辑，生成软广数据。

在另一实施例中，本发明提供的软广识别方法包含步骤S10-S40，如图2所示，还包括：

审核步骤S50：用于对系统推荐步骤识别的疑似软广数据和编辑步骤中生成的软广数据，进行最终审核；

数据发布步骤S60：用于对最终审核通过的软广数据进行数据发布。

其中，特征匹配步骤S20，如图3所示，包括：

高相似度步骤S201：如果视频数据特征匹配相似度大于范围A，则识别软广数据成功，对识别成功的软广数据进行相应加工处理；

疑似处理步骤S202：如果视频数据特征匹配相似度大于范围B，小于范围A，则发现疑似软广数据，进入审核步骤S50处理；

低相似度步骤S203：如果视频数据特征匹配相似度小于范围B，则识别软广数据失败，进入系统推荐步骤S30处理。

其中，系统推荐步骤S30，如图3所示，包括：

全自动推荐步骤S301：用于采用视频节目的历史数据，作为推荐识别的软广数据；

半自动推荐步骤S302：用于采用根据设定的条件，根据软广植入形式的不同，推荐识别不同的软广数据；

高频推荐步骤S303：根据软广数据出现的频率高低，推荐识别软广数据。

其中，编辑步骤S40，如图3所示，包括：

广告边界截取步骤S401：用于对视频节目中植入广告的开始点和结束点的广告边界进行定位；

推荐方式选择步骤S402：用于根据不同的判断条件分别选择全自动推荐步骤S301、半自动推荐步骤S302或高频推荐步骤S303；

检索步骤S403：如果推荐方式选择步骤S402中没有成功识别正确数据，则在知识库中进行信息检索，直至成功识别软广数据。

以下结合附图对本发明具体实施例进行详细说明：

在本发明具体实施例中，如图4所示，本发明软广识别方法的实施步骤包括：

S1:特征提取，运用神经网络特征提取技术提取出节目视频的特征。

以下阐述神经网络特征提取方法：

在本发明具体实施例中，软广目前的视觉特征主要是字幕和实物图片，字幕识别包括区域检测和字符识别两块。区域检测主要是通过sobel边缘检测算子提取图片中的轮廓，然后通过FCM提取字幕区域；字符识别则采用归一化的灰度图像作为输入层，然后通过卷积神经网络方法(CNN)提取BN特征。对于实物图片这部分，主要提取sift特征。

软广目前的声音特征的主要是fb特征，即梅尔子带能量，将音频信号通过FFT变换到频域，通过梅尔掩蔽效应计算出每个频带的能量，这样的特征有很强的抗噪性能。然后输入到一个经典DNN深度神经网络得到每个发音音素的得分分布。

S2:特征匹配，读取模板特征库中所有的特征，让之经过S1后获得的特征进行匹配。

下面阐述特征匹配原理：

对于视觉特征里面的字符匹配，主要是采用贝叶斯后验算法进行特征匹配；对于视觉特征里面的实物图片，则采用bog(bag of words)算法进行匹配；而对于声音特征，则通过DTW+FSN算法，检测是音频流里面的关键字(口播商品名等)

在本发明具体实施例中，获得特征匹配结果后，根据匹配结果做以下策略处理：

如果相似度高于80％，则根据匹配上的模板特征所对应的软广信息，给新识别出的数据添加软广信息(广告宣传的产品、品牌、厂商、植入时长、植入类型等信息)并持久化到软广数据库中。

如果相似度介于50％到80％之间，则表示发现一条疑似数据。这种数据由于相似度不够理想，所以需要进行审核流程。

如果相似度低于50％，则直接视为无效识别，进入系统推荐流程。

S3:系统推荐，系统推荐分为以下几种：

(1)全自动推荐

根据该节目的历史植入数据，从植入时间偏移量的角度寻找规律，然后根据规律算法推荐出植入信息。这里所说的历史数据，是指该节目在某一特定时间范围(本系统中取值90天)内的所有植入数据。设定节目的开始时间为T,需要系统推荐的节目时间段的开始时间为T1，则T1相对于节目开始点的时间偏移量△T＝T1-T。从软广数据库中统计出该栏目最近90天内所有广告主(在该栏目投放植入投放广告的公司、品牌、产品)的植入偏移量集合为C{△T1,△T2,△T3,…△Tn-1,△Tn}。再计算出C介于△T左右波动5分钟范围内的数据并按接近程度从大到小排序后取前10条数据形成集合S{△S1,△S2,△S3,…△S9,△S10}。集合S即为系统全自动推荐数据。

(2)半自动推荐

半自动推荐需要设定条件，根据软广植入的形式的不同，本系统将软广植入形式分为口播、角标、飞字、贴片、标版、地标、片尾鸣谢、实物摆放、压屏条、灯箱等50多种植入类型，简称软广类型。半自动推荐在全自动推荐的基础上加上软广类型的限制即可得到半自动推荐结果，即全自动推荐和半自动推荐的差别在于半自动推荐获取的历史数据是该栏目最近90天内拥有某一类型植入的所有广告主植入数据。然后计算出对应的植入偏移量集合C,通过C推算出对应的推荐数据集合S。半自动推荐获取偏移量集合C和推荐集合S的算法和全自动一致。但是半自动推荐的数据相对来说更为精确。

(3)高频推荐

前面两种推荐方式主要适用于植入分布时间比较规律的节目，对于植入时间不规律的数据，系统采用高频推荐。获取该栏目最近两期(集)所有软广植入数据并按广告主分组统计每个广告主出现的频率，然后按频率从高到底排序形成推荐结合C。高频推荐不关注广告植入时间的偏移量，只关注广告主在历史植入中的频率。这种推荐思想主要是尽量减少重复操作。

对于经过特征匹配后相似度低于50％的数据。系统默认采用全自动推荐方式进行推荐，系统首先自动计算出推荐集合S,并去S中第一条数据对应的软广信息回填到软广编辑界面。然后确认正确性，如果确认无误，则点击保存，数据持久化入库。反之，可选择其他推荐方式或编辑。对于系统的默认推荐方式，可根据每个节目的植入特性设定。同一个栏目只需要设定一次，该栏目以后的节目的推荐方式自动生效。

S4:编辑

编辑主要针对未识别和系统推荐错误的数据进行时间(植入开始和结束时间)精确定位、广告主信息检索与填充，最后保存入库。编辑步骤的详细流程如图5所示。

S41：广告边界截取

编辑过程中，系统首先加载节目视频，然后进行植入广告的开始点和结束点的广告边界定位。这一步主要确定广告的开始时间和结束时间。系统播放器采用mediaplayer并用其视频帧控件加以视频辅助控制，通过视频帧控件，可以让视频逐帧播放。然后调用播放器和视频帧控件JS接口(以下简称API)，通过定义的快捷键，分别记录开始点和结束点。根据视频播放进度的某一位置计算广告开始时间和结束时间的原理是：在视频播放过程中或当视频暂停到某一位置，当标记开始点时。通过API获取到当前视频播放点相对于当前视频文件开始位置的时间偏移量，然后用该偏移量加上该视频对应的时间即可得到广告开始时间，同理可获得结束时间。

S42：推荐方式选择

完成边界截取后，系统根据S41中取得的开始时间进行全自动推荐，并自动回填命中率最高的第一条数据。然后操作员判断该推荐结果是否正确，如果不正确可选择推荐集合中的其他数据，如果整个推荐集合都不正确，那么需要更换推荐方式，或者手动编辑。如果选择半自动推荐方式，则需要选择当前数据的软广植入类型。如果选择半自动推荐和高频推荐后，依旧找不到正确数据，则通过视频内容确定植入信息并做广告信息检索。如果在全自动推荐、半自动推荐和高频推荐中找到了正确数据，则点击保存即可结束该条数据的编辑工作。

S43：检索

如果所有推荐方式都不能匹配出正确数据，或者不需要系统推荐也能快速完成编辑，那么进入检索流程。首先，需要通过系统在知识库中对当前软广数据的广告主信息进行检索。如果能检索到正确结果，选择填充即可保存数据。反之，如果知识库中不存在该广告主信息，则需要进行互联网检索。确定互联网检索结果无误后，需要将检索到的信息通过系统保存到知识库中，随后再保存当前软广数据即可完成编辑工作。

S5:审核

为保证数据的精确度，系统添加了一道审核的流程。审核的数据范围包括机器识别的疑似数据和编辑的数据。系统加载节目视频，当点击视频播放后，如果当前播放点对应的时间在软广库中有数据，那么系统将加载出相关数据并暂停播放视频。核对当前视频画面和已保存的软广数据。如果存在错误，则将数据打回到编辑流程。如果数据正确无误，则点击“通过”按钮标示数据合格。当数据被标示合格后，系统后台服务将判断该条数据是否为人工编辑的数据，如果是，则对该数据进行特征提取并将特征信息保存到模板特征库。反之则不进行特征提取。

S6:当整个节目的数据都通过审核后，数据进入可发布状态，发布人员点击发布即可。数据发布后，该节目的所有软广数据提取完成。

本发明还提供一种软广识别系统，采用如上所述软广识别方法，如图6所示，系统包括：

特征提取模块10：用于基于神经网络特征提取技术提取节目视频数据特征；

特征匹配模块20：用于基于特征对所述节目视频数据进行特征匹配，并根据不同的匹配相似度，采取不同的处理策略；

系统推荐模块30：用于根据不同的处理策略的结果，选取不同的推荐方式，推荐出植入软广信息，完成识别疑似的软广数据；

编辑模块40：用于针对特征匹配步骤中不能高度匹配特征的视频数据，进行加工编辑，生成软广数据。

在本发明系统另一实施例在，本发明软广识别系统包含模块10-40，如图7所示，还包括：

审核模块50：用于对系统推荐模块识别的疑似软广数据和编辑模块中生成的软广数据，进行最终审核；

数据发布模块60：用于对最终审核通过的软广数据进行数据发布。

其中，特征匹配模块20，如图8所示，包括：

高相似度模块201：如果视频数据特征匹配相似度大于范围A，则识别软广数据成功，对识别成功的软广数据进行相应加工处理；

疑似处理模块202：如果视频数据特征匹配相似度大于范围B，小于范围A，则发现疑似软广数据，进入审核模块50处理；

低相似度模块203：如果视频数据特征匹配相似度小于范围B，则识别软广数据失败，进入系统推荐模块30处理。

其中，系统推荐模块30，如图8所示，包括：

全自动推荐模块301：用于采用视频节目的历史数据，作为推荐识别的软广数据；

半自动推荐模块302：用于采用根据设定的条件，根据软广植入形式的不同，推荐识别不同的软广数据；

高频推荐模块303：根据软广数据出现的频率高低，推荐识别软广数据。

其中，编辑模块40，如图8所示，包括：

广告边界截取模块401：用于对视频节目中植入广告的开始点和结束点的广告边界进行定位；

推荐方式选择模块402：用于根据不同的判断条件分别选择执行全自动推荐模块301、半自动推荐模块302或高频推荐模块303；

检索模块403：如果推荐方式选择模块402中没有成功识别正确数据，则在知识库中进行信息检索，直至成功识别软广数据。

综上所述，本发明通过运用现代机器学习中的模式识别技术，对节目视频进行并用这些特征信息和既定模板特征信息进行特征匹配，再结合每套节目的广告植入规律从而快速、高效、精准的识别出软广植入广告信息，大大的降低了人工成本。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种电视节目植入软广的识别方法，其特征在于，包括：

特征提取步骤：用于基于神经网络特征提取技术提取节目视频数据特征；

特征匹配步骤：用于基于所述特征对所述节目视频数据进行特征匹配，并根据不同的匹配相似度，采取不同的处理策略；

系统推荐步骤：用于响应于所述处理策略为系统推荐处理时，选取预先设定的推荐方式来识别软广数据；

编辑步骤：用于针对未识别和系统推荐错误的视频数据，进行加工编辑，生成软广数据；

其中所述预先设定的推荐方式包括：

全自动推荐：采用所述电视节目的历史数据作为经识别的所述软广数据，所述历史数据是指在预定时间范围内在该电视节目中的植入数据；

半自动推荐：基于设定的软广类型，采用所述电视节目的、针对所述软广类型的历史数据作为经识别的所述软广数据；或

高频推荐：基于所述电视节目中历史数据出现的频率对所述历史数据进行排序；将经排序的所述历史数据作为经识别的所述软广数据；

其中所述特征匹配步骤包括：

高相似度步骤：如果所述视频数据特征匹配相似度大于范围A，则识别软广数据成功，对识别成功的所述软广数据进行相应加工处理；

疑似处理步骤：如果所述视频数据特征匹配相似度大于范围B，小于范围A，则发现疑似软广数据，进入审核步骤处理；

低相似度步骤：如果所述视频数据特征匹配相似度小于范围B，则识别软广数据失败，进入所述系统推荐步骤处理。

2.根据权利要求1所述电视节目植入软广的识别方法，其特征在于，还包括：

审核步骤：用于对所述系统推荐步骤识别的所述软广数据和所述编辑步骤中生成的所述软广数据，进行最终审核；

数据发布步骤：用于对最终审核通过的所述软广数据进行数据发布。

3.根据权利要求1所述电视节目植入软广的识别方法，其特征在于，所述编辑步骤，包括：

广告边界截取步骤：用于对视频节目中植入广告的开始点和结束点的广告边界进行定位；

推荐方式选择步骤：用于根据不同的判断条件分别选择所述全自动推荐、所述半自动推荐或所述高频推荐；

检索步骤：如果所述推荐方式选择步骤中没有成功识别正确数据，则在知识库中进行信息检索，直至成功识别软广数据。

4.一种电视节目植入软广的识别系统，采用如权利要求1-3中任一项所述电视节目植入软广的识别方法，其特征在于，所述系统包括：

特征提取模块：用于基于神经网络特征提取技术提取节目视频数据特征；

特征匹配模块：用于基于所述特征对所述节目视频数据进行特征匹配，并根据不同的匹配相似度，采取不同的处理策略；

系统推荐模块：用于响应于所述处理策略为系统推荐处理时，选取预先设定的推荐方式来来识别软广数据；

编辑模块：用于针对未识别和系统推荐错误的视频数据，进行加工编辑，生成软广数据；

其中所述系统推荐模块包括：

全自动推荐模块：采用所述电视节目的历史数据作为经识别的所述软广数据，所述历史数据是指在预定时间范围内在该电视节目中的植入数据；

半自动推荐模块：基于设定的软广类型，采用所述电视节目的、针对所述软广类型的历史数据作为经识别的所述软广数据；或

高频推荐模块：基于所述电视节目中历史数据出现的频率对所述历史数据进行排序；将经排序的所述历史数据作为经识别的所述软广数据；

其中所述特征匹配模块，包括：

高相似度模块：如果所述视频数据特征匹配相似度大于范围A，则识别软广数据成功，对识别成功的所述软广数据进行相应加工处理；

疑似处理模块：如果所述视频数据特征匹配相似度大于范围B，小于范围A，则发现疑似软广数据，进入审核模块处理；

低相似度模块：如果所述视频数据特征匹配相似度小于范围B，则识别软广数据失败，进入所述系统推荐模块处理。

5.根据权利要求4所述电视节目植入软广的识别系统，其特征在于，还包括：

审核模块：用于对系统推荐模块识别的所述软广数据和编辑模块中生成的软广数据，进行最终审核

数据发布模块：用于对最终审核通过的所述软广数据进行数据发布。

6.根据权利要求4所述电视节目植入软广的识别系统，其特征在于，所述编辑模块，包括：

广告边界截取模块：用于对视频节目中植入广告的开始点和结束点的广告边界进行定位；

推荐方式选择模块：用于根据不同的判断条件分别选择执行所述全自动推荐模块、所述半自动推荐模块或所述高频推荐模块；

检索模块：如果所述推荐方式选择模块中没有成功识别正确数据，则在知识库中进行信息检索，直至成功识别软广数据。