CN103237233B - 一种电视广告的快速检测方法及系统 - Google Patents

Abstract

一种电视广告的快速检测方法及系统，检测电视视频的镜头切变，获取镜头切变时的图像帧及后续的预设连续帧内任意两帧图像间的相似关系值并得到任意两帧图像间的关系值矩阵；计算每帧图像与其他帧图像中最小关系值间的偏移距离；分组计算每组图像帧内的平均偏移距离，如果某组图像帧内的平均偏移距离大于预设的偏移距离阈值，则表示广告开始于该组图像帧，如果某组图像帧内平均偏移距离小于或等于预设的偏移距离阈值，则表示广告结束于该组图像帧。本发明提高了电视广告检测的准确率，还降低了大量的数据运算，能够显著改善用户的体验。

Description

一种电视广告的快速检测方法及系统

技术领域

本发明涉及电视机技术领域，尤其是涉及一种电视广告的快速检测方法及系统。

背景技术

随着网络和计算机技术的发展，多媒体数字视频和电视越来越普及。视频广告作为数字视频和数字电视中一个重要组成日益影响着人们的生活。随着广告的大量增加和广告内容形式的多样化，迫切需要对广告内容进行管理和监管，同时也需要改善观众用户的体验感。广告片段进行检测处理就迎合了以上需求。目前电视广告的检测方法分为四类，第一类是基于台标的方法，因为播放正常电视节目，比如新闻时候台标会出现在显眼的位置，当播广告视频片段时，电视台台标就会隐藏。这种方法缺陷有二，一是不能对于所有类型节目适用；二是有些台标是半透明，变动的，本身难以检测。第二类是基于黑帧和静止帧的方法，这种方法观察广告片段开始和结束时出现黑色图像帧和静止的图像帧。该方法有较高的准确率，但是许多广告插入形式越来越多的自然衔接，而没有出现黑帧和静止帧。第三类就是基于镜头切变率的方法，广告内容为扩大信息量，变换许多视频镜头导致视频内容上面有显著变化。这类方法对于内容变化丰富的节目就会出现多的错误，比如娱乐节目，体育运动节目。第四类基于数据库的广告检测，先将一些广告片段预先存储起来，然后将带检测视频内容与之比对，找出相似广告片段。该方法需要配置大数据库，维护工作量大，而且对于新广告数据内容无法检出。

因此，现有技术还有待改进。

发明内容

本发明的主要目的在于提供一种能够实现快速检测出电视广告在电视节目视频中的位置的电视广告快速检测方法及系统。

本发明采取的技术方案为：

一种电视广告的快速检测方法，包括如下步骤：

检测电视视频的若干帧图像是否发生镜头切变，当镜头切变发生时计算镜头切变率，当镜头切变率大于预设镜头切变率阈值时，获取镜头切变时的图像帧，并设定为广告起始帧；

计算广告起始帧及后续的预设连续帧内任意两帧图像间的相似关系值并得到任意两帧图像间的关系值矩阵；

计算每帧图像与其他帧图像中最小关系值间的偏移距离；

将广告起始帧及后续的预设连续帧图像进行分组，计算每组图像帧内的平均偏移距离，如果某组图像帧内的平均偏移距离大于预设的偏移距离阈值，则表示广告开始于该组图像帧，如果某组图像帧内平均偏移距离小于或等于预设的偏移距离阈值，则表示广告结束于该组图像帧。

作为进一步改进，所述检测电视视频帧图像是否发生镜头切变具体包括如下步骤：

计算若干帧中每一帧图像的RGB颜色直方图；

计算相邻两帧图像RGB颜色直方图的欧式距离，如果欧式距离大于预设的欧式距离阈值，则表示发生镜头切变，否则表示镜头没有发生切变。

其中，所述欧式距离阈值的确定具体包括如下步骤：

统计若干个样本视频中发生镜头切变的欧式距离，获得镜头切变发生时平均欧式距离设定为欧式距离阈值。

所述计算镜头切变率是计算若干帧图像内发生镜头切变的次数与若干帧数量的比值。

所述镜头切变率阈值是统计包含广告片段的若干视频样本中广告片段开始和结束位置处附近的镜头切变率，然后计算出平均镜头切变率设定为镜头切变率阈值。

所述计算广告起始帧及后续的预设连续帧内任意两帧图像间的相似关系值是计算任意两帧图像之间的欧式距离并将该欧式距离形成任意两帧图像之间的关系值矩阵。

作为进一步改进，所述计算每帧图像与其他帧图像中最小关系值间的偏移距离包括如下步骤：

确定每帧图像及与其关系值最接近的其他帧图像在所述广告起始帧及后续的预设连续帧内的帧位置，并计算两帧图像的帧位置之差的绝对值形成每帧图像与其他帧图像中最小关系值间的偏移距离。

所述计算每组图像帧内的平均偏移距离是计算每组图像帧中所有帧图像的偏移距离的平均值。

所述预设的偏移距离阈值的确定具体包括如下步骤：

选取若干标记有广告片段的电视节目样本视频，计算出每个电视节目样本视频中广告起始帧与结束帧间的平均偏移距离，再计算出若干电视节目样本视频的平均偏移距离值设定为偏移距离阈值。

本发明还提供一种电视广告的快速检测系统，包括镜头切变检测模块、图像帧关系值生成模块、图像帧平均偏移距离计算模块；

所述镜头切变检测模块用于检测电视视频的若干帧图像是否发生镜头切变，并获取镜头切变率，当镜头切变率大于预设镜头切变率阈值时，获取镜头切变时的图像帧，并设定为广告起始帧；

所述图像帧关系值生成模块用于计算广告起始帧及后续预设连续帧内任意两帧图像间的相似关系值并得到任意两帧图像间的关系值矩阵；

所述图像帧平均偏移距离计算模块用于计算每帧图像与其他帧图像中最小关系值间的偏移距离，并对广告起始帧及后续的预设连续帧图像进行分组，计算每组图像帧内的平均偏移距离，如果某组图像帧内的平均偏移距离大于预设的偏移距离阈值，则表示广告开始于该组图像帧，如果某组图像帧内平均偏移距离小于或等于预设的偏移距离阈值，则表示广告结束于该组图像帧。

与现有技术相比较，本发明电视广告的快速检测方法及系统采用检测一段电视节目视频中镜头切变的发生，形成任意两帧图像间的关系值矩阵，依据任意两帧图像间的关系值分组计算图像帧间的平均偏移距离，判断该平均偏移距离是否大于事先学习的电视节目视频的图像帧间的平均偏移距离来确定广告帧的起始和结束，无需像现有技术采用台标有时无法检测，采用黑帧和静止帧无法适应现有电视广告的变化形式，采用基于数据库所需要的数据量大，需要后期维护的不足。本发明既提高了电视广告检测的准确率，还降低了大量的数据运算，能够显著改善用户的体验。

附图说明

图1是本发明一种电视广告快速检测的方法的处理流程图。

图2是本发明一种电视广告快速检测的方法中包含广告的视频图像帧序列的示意图。

图3是本发明一种电视广告快速检测的方法中的帧图像RGB颜色直方图示意。

图4是本发明一种电视广告快速检测系统的逻辑结构框图。

具体实施方式

下面通过实施例进一步说明本发明。

众所周知，电视视频是由单个图像帧组成的，一般而言，每秒视频大概包含24幅图像帧。对于电视广告的视频内容而言，其与正常的电视节目视频内容相比要变换更加剧烈，因此本发明采用的策略是通过检测电视视频内容中视频镜头切变达到一定程度的视频中的图像帧作为起始帧，以该起始帧为开始及其之后的若干图像帧作为检测对象进行镜头切变率的检测，这里为了保证镜头切变检测的准确率，起始帧之后的若干图像帧可以是5秒范围的视频，大致可设定起始帧开始后的100帧图像范围作为检测对象来进行镜头切变的检测，如果在此范围内的视频发生了镜头切变，即可以通过对起始帧开始后的若干帧图像范围内的任意两帧之间的图像欧式距离计算，以得到任意两帧图像之间的相似关系值，再通过该相似关系值来确定该若干帧图像范围内每帧图像的偏移距离，将该若干帧图像范围分组进行广告帧图像的边界搜索，找出广告帧在该若干帧图像范围内开始的位置以及结束的位置，从而检测出电视视频中的广告。

具体的实现方法参考图1所示的本发明一种电视广告快速检测方法，该包括如下处理步骤：

第一步，镜头切变率的检测：检测电视视频的若干帧图像是否发生镜头切变，当镜头切变发生时计算镜头切变率，当镜头切变率大于预设镜头切变率阈值时，获取镜头切变时的图像帧，并设定为广告起始帧。

如前所述，镜头切变代表了视频内容的变化，当视频内容发生变化时，可能代表视频内容发生了变化，当然，也可能是同一视频内容，相对于普通电视节目而言，电视广告的内容在视频内容变化上时比较剧烈的。图2示出了包含广告内容的视频图像帧序列，帧图像1和2代表了普通电视节目的帧图像，帧图像3、4和5代表了电视广告的帧图像，帧图像6和7也代表了普通电视节目的帧图像，这里帧图像的数量仅仅作为一种示例进行说明，在实际的电视视频中广告的帧图像数量更多，此处不赘述。对于这组包含广告内容的视频图像帧序列而言，帧图像2和3之间由于是不同的内容，因此，会发生镜头切变，以此来判断视频内容是否切换为广告，同理，帧图像5与6之间也同样会发生镜头切变。为了检测镜头是否发生切变，需要选择合适的一组帧图像数量来作为检测对象，检测该组帧图像中是否发生了镜头切变，这里设定帧图像数量f=100，也就是在5秒左右的视频内容范围内来检测视频内容是否发生剧烈变化。

具体而言，镜头切变检测首先需要计算该组100帧图像中每一帧图像的RGB颜色直方图，R、G、B分别构建64级（0～63级）直方图，三者连接成3×64级直方图H_i或H_j，i，j=1、2…100，i、j分别表示该组100帧图像中的第i或j帧，该直方图H_i、H_j的表达如图3所示（直方图的表达属于现有技术公知常识，此处不赘述）。然后连续计算相邻两帧图像的直方图欧式距离d，如果该欧式距离d大于预设的欧式距离阈值T1，则表示镜头发生切变，否则表示镜头没有发生切变。对于欧式距离阈值的确定需要首先统计若干个样本视频中发生镜头切变的欧式距离，获得镜头切变发生时平均欧式距离来进行设定，如统计S个样本视频发生切变的欧式距离dk，k=1,2…S，切变发生时的平均欧式距离为此即为欧式距离阈值。镜头切变发生时，该位置的连续帧图像内容差异比较大，因此，其对应的直方图欧式距离也比价大，而没有切变时，连续帧图像内容差异较小，对应的直方图欧式距离也小。通过对连续帧图像间直方图欧式距离的大小可以确定镜头是否发生切变，然而，有时候普通电视节目之间也有可能帧图像内容差异较大，但是其发生的时间不会很长，在确定镜头发生切变后，也不能确定有广告内容，为了进一步提高广告的检测准确率，还需要进一步进行镜头切变率的确认，镜头切变率表达了一定的镜头切变个数与检测的帧图像组帧数的比值，能够更加准确的确认镜头切变的可靠性。仍然以上述f=100帧图像作为示例，累计f帧内发生切变的次数N，镜头切变率K可表达为K=N/f，当镜头切变率K大于预设的镜头切变率阈值T2时，即可获取镜头切变时的图像帧，并设定为广告起始帧。镜头切变率阈值T2的获取可采取如下方法实现：统计包含广告片段的若干视频样本中广告片段开始和结束位置处附近的镜头切变率，然后计算出平均镜头切变率设定为镜头切变率阈值T2，此处若干视频样本可以是1000个视频样本，也可以是其他数量的视频样本，可具体根据本领域的常识来进行确定，在此不确定其范围。

第二步，图像帧关系值计算：根据镜头切变率检测步骤的计算，确定了广告起始帧。图像帧关系值计算式是计算广告起始帧及后续的预设连续帧内任意两帧图像间的相似关系值并得到任意两帧图像间的关系值矩阵；根据镜头切变率K大于T2时的图像帧位置，设定为广告起始帧，及其后预设的连续帧为建立图像帧关系值的图像帧范围。完成镜头切变率检测后，镜头切变后的若干帧的图像范围为预设的广告视频长度，因为一段广告视频的时间一般在几秒到四十秒之间（25帧～1000帧）的范畴，因此，检测广告起始帧开始后的连续1000帧的视频帧图像范围，可以充分揭示普通电视节目帧图像序列与广告类别的图像帧序列的关系，而此处的1000帧视频帧图像属于一般的经验值，该值可以根据需要进行预先设定，根据广告的时长情况进行设定，该1000帧视频帧图像仅仅作为示例，在实际运用中不作限制，本领域技术人员也可根据经验值进行各自需要的设定。进行图像帧关系值的计算主要是将普通电视节目帧序列与广告类别的图像帧序列之间的关系进行量化，以界定普通电视节目帧图像序列与广告类别的图像帧序列。具体计算如下：

采用range=1000帧来计算从广告起始帧开始的帧数段来进行该帧数段内任意两帧图像之间的相似关系。根据每帧图像的直方图来计算两两帧图像之间的欧式距离，以H_i、H_j分别代表任意两帧图像的直方图，两帧图像之间的欧式距离表达为R(i,j)i,j∈[1,range]，其中，m代表各直方图中的相同深度位置，H_i（m）、H_j（m）则分别代表m深度位置的深度值，因此，图3中两帧图像的直方图之间的欧式距离R计算具体为 $R(i,j)=\sqrt{{(0.7-0.5)}^2+{(0.8-0.5)}^2+{(0.5-0.4)}^2+{(0.9-0.6)}^2+{(0.3-1.0)}^2+{(0.7-0.7)}^2+{(1.0-0.3)}^2}$ ，然后将计算出来的两两帧图像之间的R值填入到1000×1000的图像帧关系矩阵中形成任意两帧图像间的关系值矩阵，该矩阵可以如下表1所示，该表1作为示例，仅仅示出图2中视频图像帧序列数量的矩阵。

表1任意两帧图像间的关系值矩阵

从表1中可以看出，两帧图像间的R值越小表示两帧图像之间越相似，属于同一镜头内容的可能性更大，R值越大表示两帧图像不相似，不属于同一镜头内容可能性更大。

第三步，广告边界搜索：首先需要计算每帧图像与其他帧图像中最小关系值间的偏移距离。偏移距离的计算具体采用：根据上述的关系矩阵对每一行进行搜索找出其次小值，即找出除第i（i=1,2…1000）帧图像外，其他帧图像中R值最小的帧图像的位置，此处用g位置表示，表示g位置的图像帧与该第i帧的图像帧属于同一类别，并记录S_i=i-g偏移距离，据此计算出每一帧图像帧的偏移距离。

然后将广告起始帧及后续的预设连续帧图像进行分组，计算每组图像帧内的平均偏移距离，如果某组图像帧内的平均偏移距离大于预设的偏移距离阈值，则表示广告开始于该组图像帧，如果某组图像帧内平均偏移距离小于或等于预设的偏移距离阈值，则表示广告结束于该组图像帧。即将range=1000帧以每W=20帧为一个片段进行分组，分为1000/20=50段，从第1段开始进行计算每个片段共W帧的平均偏移距离如果Arev大于预设的偏移距离阈值T3，表示广告片段开始，将该片段的第一帧图像位置标记为广告开始位置，如果Arev小于等于T3，表示广告结束，该片段的第一帧图像位置标记为广告结束位置。其中，偏移距离阈值T3的确定是统计已经标记好广告片段的电视节目视频样本，如1000个样本，计算出广告片段开始和结束位置处的平均偏移距离，将标记处的广告片段开始位置的前500帧加上后500帧构成1000帧来作为任意两帧图像间的关系值矩阵的计算范围，采用上述相同的计算平均偏移距离的过程来计算出平均偏移距离作为偏移距离阈值T3，该偏移距离阈值T3表达了广告片段开始位置的图像帧与后续相邻帧的差异程度。

通过以上三个步骤可以快速实现对电视视频中广告的检测，而数据运算量较小，检测的准确率也非常高。

本发明还提供一种电视广告快速检测的系统，图4示出了本发明一种电视广告快速检测系统的逻辑结构框图。如图4所示，该电视广告快速检测系统包括镜头切变检测模块10、图像帧关系值生成模块20、图像帧平均偏移距离计算模块30；

镜头切变检测模块10用于检测电视视频的若干帧图像是否发生镜头切变，并获取镜头切变率，当镜头切变率大于预设镜头切变率阈值时，获取镜头切变时的图像帧，并设定为广告起始帧。

图像帧关系值生成模块20用于计算广告起始帧及后续预设连续帧内任意两帧图像间的相似关系值并得到任意两帧图像间的关系值矩阵；

所述图像帧平均偏移距离计算模块30用于计算每帧图像与其他帧图像中最小关系值间的偏移距离，并对广告起始帧及后续的预设连续帧图像进行分组，计算每组图像帧内的平均偏移距离，如果某组图像帧内的平均偏移距离大于预设的偏移距离阈值，则表示广告开始于该组图像帧，如果某组图像帧内平均偏移距离小于或等于预设的偏移距离阈值，则表示广告结束于该组图像帧。

该电视广告快速检测系统的工作原理与本发明电视广告快速检测方法相同，此处不赘述。

应当理解的是，以上仅为本发明的优选实施例，不能因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种电视广告的快速检测方法，其特征在于，包括如下步骤：

检测电视视频的若干帧图像是否发生镜头切变，当镜头切变发生时计算镜头切变率，当镜头切变率大于预设镜头切变率阈值时，获取镜头切变时的图像帧，并设定为广告起始帧；

计算广告起始帧及后续的预设连续帧内任意两帧图像间的相似关系值并得到任意两帧图像间的关系值矩阵；

计算每帧图像与其他帧图像中最小关系值间的偏移距离；

将广告起始帧及后续的预设连续帧图像进行分组，计算每组图像帧内的平均偏移距离，如果某组图像帧内的平均偏移距离大于预设的偏移距离阈值，则表示广告开始于该组图像帧，如果某组图像帧内平均偏移距离小于或等于预设的偏移距离阈值，则表示广告结束于该组图像帧。

2.根据权利要求1所述的电视广告的快速检测方法，其特征在于，所述检测电视视频帧图像是否发生镜头切变具体包括如下步骤：

计算若干帧中每一帧图像的RGB颜色直方图；

计算相邻两帧图像RGB颜色直方图的欧式距离，如果欧式距离大于预设的欧式距离阈值，则表示发生镜头切变，否则表示镜头没有发生切变。

3.根据权利要求2所述的电视广告的快速检测方法，其特征在于，

所述欧式距离阈值的确定具体包括如下步骤：

统计若干个样本视频中发生镜头切变的欧式距离，获得镜头切变发生时平均欧式距离设定为欧式距离阈值。

4.根据权利要求2或3所述的电视广告的快速检测方法，其特征在于，

所述计算镜头切变率是计算若干帧图像内发生镜头切变的次数与若干帧数量的比值。

5.根据权利要求4所述的电视广告的快速检测方法，其特征在于，所述镜头切变率阈值是统计包含广告片段的若干视频样本中广告片段开始和结束位置处附近的镜头切变率，然后计算出平均镜头切变率设定为镜头切变率阈值。

6.根据权利要求1所述的电视广告的快速检测方法，其特征在于，所述计算广告起始帧及后续的预设连续帧内任意两帧图像间的相似关系值是计算任意两帧图像之间的欧式距离并将该欧式距离形成任意两帧图像之间的关系值矩阵。

7.根据权利要求1所述的电视广告的快速检测方法，其特征在于，所述计算每帧图像与其他帧图像中最小关系值间的偏移距离包括如下步骤：

确定每帧图像及与其关系值最接近的其他帧图像在所述广告起始帧及后续的预设连续帧内的帧位置，并计算两帧图像的帧位置之差的绝对值形成每帧图像与其他帧图像中最小关系值间的偏移距离。

8.根据权利要求7所述的电视广告的快速检测方法，其特征在于，

所述计算每组图像帧内的平均偏移距离是计算每组图像帧中所有帧图像的偏移距离的平均值。

9.根据权利要求8所述的电视广告的快速检测方法，其特征在于，

所述预设的偏移距离阈值的确定具体包括如下步骤：

选取若干标记有广告片段的电视节目样本视频，计算出每个电视节目样本视频中广告起始帧与结束帧间的平均偏移距离，再计算出若干电视节目样本视频的平均偏移距离值设定为偏移距离阈值。

10.一种电视广告的快速检测系统，其特征在于，包括镜头切变检测模块、图像帧关系值生成模块、图像帧平均偏移距离计算模块；

所述镜头切变检测模块用于检测电视视频的若干帧图像是否发生镜头切变，并获取镜头切变率，当镜头切变率大于预设镜头切变率阈值时，获取镜头切变时的图像帧，并设定为广告起始帧；

所述图像帧关系值生成模块用于计算广告起始帧及后续预设连续帧内任意两帧图像间的相似关系值并得到任意两帧图像间的关系值矩阵；

所述图像帧平均偏移距离计算模块用于计算每帧图像与其他帧图像中最小关系值间的偏移距离，并对广告起始帧及后续的预设连续帧图像进行分组，计算每组图像帧内的平均偏移距离，如果某组图像帧内的平均偏移距离大于预设的偏移距离阈值，则表示广告开始于该组图像帧，如果某组图像帧内平均偏移距离小于或等于预设的偏移距离阈值，则表示广告结束于该组图像帧。