CN101681425A - 用于检测视频数据流的插入片段的方法和设备 - Google Patents

Abstract

如果没有检测到图形对象，则检测到视频数据流的插入片段。检测视频数据流中至少一个活动的图形对象的存在，并行地检测视频数据流中新图形对象的出现。从至少一个活动的图形对象和新图形对象中确定最可靠图形对象，并且从视频数据流中检测到出现新图形对象的点检测最可靠图形对象的存在。如果没有检测到图形对象，则检测到视频数据流的插入片段。

Description

用于检测视频数据流的插入片段的方法和设备

技术领域

本发明涉及一种用于检测视频数据流的插入片段的方法和设备，该插入片段中不存在图形对象。

发明背景

有许多现有系统用于检测电视广播中商业广告块的开始和结束以允许观众跳过这些商业广告。一种用于检测商业广告的已知技术是检测视频数据流中图形对象(例如，标志(logo))的存在，该图形对象只在节目期间出现在屏幕上。

在这些系统中，视频数据流的每个帧的四个角落被监视以检测图形对象的出现。当检测到图形对象时，在视频数据流中监视图形对象的存在。例如，如果检测到标志，在视频数据流中监视该标志印记(logo mask)的存在。当该图形对象不再呈现时，就检测到商业广告块的开始。

这种方法的一个例子可以在A.Albiol，M.J.Ch.Fullà，A.Albiol和L.Torres，2004年5月17-21日，IEEE国际会议，声学、语音和信号处理学报2004，541-544页，“Detection of TV Commercials(电视商业广告检测)”中获得。在这个公开资料中，标志印记从视频数据流中被提取出来。无论何时检测到标志印记，则系统被认为处于节目状态，而无论何时没有检测到标志印记，则系统被认为处于商业广告状态。如果当前的状态改变为商业广告，则系统检查新的标志印记。如果找到新的标志印记，则系统改变回节目状态。

用于检测视频数据流中图形对象的大多数现有系统使用图形对象检测器和图形对象存在检测器。图形对象检测器查找在特定时间段期间视频数据流中的静态内容(即图形对象)。一旦找到一簇例如静态像素或边缘，则开启图形对象存在检测器。图形对象存在检测器在视频数据流的开始时启动并逐帧查找由图形对象检测器找到的图形对象(即静态内容)的存在。如果在很长时间不存在图形对象(例如，如果图形对象改变形状或位置)，则重新启动图形对象检测器。这可以在例如视频数据流的中间的某处。如果图形对象检测器检测到新的图形对象的出现，则重新启动图形对象存在检测器以检查新的图形对象等的存在。

在现有的方法中，需要随机访问视频数据流。对于嵌入式系统，这常常是一个问题，在该系统中数据缓冲、定时和总线速度是关键的。

此外，如果在视频数据流中检测到新的图形对象，则图形对象存在检测器从视频数据流的开始处重新启动以检测新的图形对象的存在。因此需要未知数量的重启以完成检测过程。这意味着使用现有方法不能预先确定找到所有商业广告的处理时间。

而且，如果通过现有方法找到无效的图形对象(诸如静态信箱模式(letterbox)边缘)，则没有校正机制。相反，图形对象存在检测器将继续检测信箱模式边界直到视频数据流的结束。这意味着图形对象检测器将不会被重新启动以查找其它图形对象。

现有图形对象存在检测技术大多基于将图形对象的轮廓与帧边缘相匹配。然而，这意味着存在检测的现有技术在高纹理区域(例如树叶、草等的区域)是失效的。现有技术在非常明亮的区域不能够检测到图形对象，尤其在透明的图形对象情况中。

发明概要

本发明试图提供一种用于检测视频数据流中的图形对象的系统，其解决了现有方法中所附带的一个或多个问题。特别地，本发明试图提供一种流接口，其只需要单独运行即可发现所有无图形对象的插播部分(即所有商业广告)。

根据本发明的一个方面，这通过一种检测视频数据流的插入片段的方法而实现，在该插入片段中不存在图形对象，该方法包括步骤：检测视频数据流中至少一个活动的图形对象的存在；并行地检测视频数据流中新图形对象的出现；从该至少一个活动的图形对象和该新图形对象中确定最可靠的图形对象；从视频数据流中检测到新图形对象的点开始检测最可靠的图形对象的存在；如果没有检测到图形对象，则检测到视频数据流的插入片段。

根据本发明的第二方面，这还通过用于检测视频数据流的插入片段的设备而实现，在该插入片段中不存在图形对象，该设备包括：图形对象存在检测器，用于检测至少一个活动的图形对象的存在；与图形对象存在检测器并行的图形对象检测器，用于检测新图形对象的出现；控制器，用于从该至少一个活动的图形对象和该新图形对象中确定最可靠的图形对象，其中图形对象存在检测器从视频数据流中检测到新图形对象的点开始检测最可靠图形对象的存在，并且如果没有检测到图形对象，则检测到视频数据流的插入片段。

以这种方式，新图形对象一直被检测并且只有最可靠图形对象的存在被检测。这确保了没有因为透明或移动的图形对象而错误的检测，并且所有检测到的图形对象都是真实的图形对象(即不是例如静态信箱模式的边缘)。本发明的方法不从视频数据流的开始处重新开始，而是从当前位置检测最可靠图形对象的存在。换句话说，本发明的方法对于视频数据流的不同部分而使用不同的图形对象。

在本发明的一种具体实施方式中，并行地检测新图形对象的出现的步骤包括步骤：确定新图形对象是否有效。

在本发明的这种具体实施方式中，确定新图形对象是否有效的步骤包括步骤：确定在一个时间段内新图形对象被检测到的次数；如果该数量超过阈值则输出新图形对象有效的指示；如果该数量低于阈值则输出新图形对象无效的指示。

进一步地，如果该数量低于阈值则输出新图形对象无效的指示的步骤进一步包括步骤：丢弃新图形对象；继续检测至少一个活动的图形对象的存在。

以这种方式，新图形对象被持续地检测。此外，新图形对象被验证，这样无效的图形对象能够被校正(即丢弃并使用在前的图形对象替代)。

在本发明的一个具体实施方式中，并行地检测新图形对象的出现的步骤包括步骤：基于例如亮度值的色彩空间值的移动平均并行地检测新图形对象的出现。

在本发明的另一个具体实施方式中，从至少一个活动的图形对象和新图形对象中确定最可靠图形对象的步骤包括步骤：确定至少一个活动的图形对象的性能；如果确定的至少一个活动的图形对象的性能低于阈值，则检测新图形对象的存在。

以这种方式，发现的新图形对象的可靠性被验证并且只有最可靠的图形对象被检测。这意味着更难以发现的图形对象(即在高纹理或光亮区域中的那些图形对象)不会替代更可靠的那些被使用。此外，图形对象的存在一直被检测，即使在检测困难的情形中。因此，由于在至少一个区域中图形对象的存在能够一直被检测，绝没有不能检测到图形对象的间隙。

在本发明的另一个具体实施方式中，视频数据流包括多个帧，并行地检测新图形对象的出现的步骤包括步骤：监视多个帧的每一个以检测新图形对象的出现。

根据本发明的这个具体实施方式，监视多个帧的每一个以检测新图形对象的出现的步骤包括步骤：将每个帧分为多个区域；监视多个区域的每一个以检测在多个区域的至少一个中至少一个新图形对象的出现。

以这种方式，可以只监视最可能包含图形对象的区域。例如，可以监视帧的四个角。这意味着花费较少的能量和时间监视不太可能包含图形对象的区域。

根据本发明的同一个具体实施方式，从至少一个活动的图形对象和新图形对象中确定最可靠图形对象的步骤包括步骤：在检测到新图形对象的出现的多个区域的每一个中确定在一个时间段内的图形对象存在率；确定具有最高图形对象存在率的区域；输出在具有最高图形对象存在率的区域中至少一个新图形对象是最可靠图形对象的指示；丢弃不具有最高图形对象存在率的区域中的图形对象。

以这种方式，只有最可靠图形对象的存在被检测。

本发明只需要单次运行以发现所有无标记插播的部分(即所有商业广告)。此外，通过与图形对象存在检测器并行地持续运行图形对象检测器，可比传统的检测器得到更多信息。这额外的信息显著改善了性能。与图形对象存在检测器并行地持续运行图形对象检测器使得有可能建立一种具有流接口和预先确定的中央处理单元(CPU)负载的检测器。

附图概述

为了更完整地理解本发明，结合附图参照下面的描述，附图中：

图1是根据本发明的一个具体实施方式的设备的简化示意图

图2是根据本发明的一个具体实施方式的用于检测视频数据流中的图形对象的方法的流程图。

发明具体实施方式详述

参照附图，本发明实施例的设备100包括预处理器102，用于从输入终端101输入视频数据流。预处理器102连接至控制器104。控制器104的输出连接至图形对象存在检测器106。数据能够从控制器104被传送至图形对象存在检测器106，并且类似地，数据能够从图形对象存在检测器106被传送至控制器104。控制器104的输出也连接至图形对象检测器108。数据能够从控制器104被传送至图形对象检测器108，并且类似地，数据能够从图形对象检测器108被传送至控制器104。控制器104操作以从图形对象存在检测器106和图形对象检测器108收集数据。

现在将参照图1和2描述图1的设备100的操作。

在输入终端101，视频数据流被输入并因此输入至预处理器102。预处理器102识别视频数据流的多个帧并从而将每个识别的帧分为多个区域。对于每个识别的区域，预处理器102确定亮度值的移动平均。

多个区域和该区域的亮度值的移动平均从预处理器102输出并被输入至控制器104。然后亮度值的移动平均从控制器104输出并被输入至图形对象存在检测器106和图形对象检测器108。

图形对象存在检测器106检测视频数据流中活动的图形对象的存在，步骤200。

同时，图形对象检测器108监视每个区域以检测视频数据流中新图形对象的出现，步骤202。图形对象检测器108基于它从控制器104接收的亮度值的移动平均检测新图形对象的出现。

应当理解图形对象检测器108能够使用任何合适的技术来检测新图形对象的出现，使用亮度值的移动平均仅是为了清楚描述的目的而单纯作为例子。有许多现有技术用于检测新图形对象的出现。在一种技术中，图形对象检测器108使用具有与帧相同尺寸的直方图。

在这种技术中，图形对象检测器108重置直方图，然后轮流检查每个帧(例如，每秒一个帧)以检测图形对象的出现。

首先，图形对象检测器108使用例如Sobel操作检测当前帧中的边缘像素并创建该帧的阈值边缘图。这产生二元决定(即，边缘或非边缘)。图形对象检测器108在确定边缘存在的位置增加直方图。

图形对象检测器108检查直方图的条目以确定是否有超出阈值的条目。如果没有超出阈值的条目，则图形对象检测器108检查下一个帧中新图形对象的存在。

然而，如果有超出阈值的条目，可能存在新图形对象。在这种情况中，图形对象检测器108寻找在超出阈值的直方图的值周围的最小边界框。然后图形对象检测器108检查最小边界框的尺寸以确定它们是否有效。如果该尺寸被确定是有效的，则新图形对象存在。然后图形对象检测器108重置直方图并检查下一个帧中新图形对象的存在。

当图形对象检测器108检测到新图形对象，新图形对象被输入至控制器104。然后控制器104确定新图形对象是否有效，步骤204。应当理解，在图形对象检测器108检测新图形对象的出现的过程和控制器104确定新图形对象是否有效的过程期间，图形对象存在检测器106持续检测活动的图形对象的存在。

为了确定新图形对象是否有效，控制器104首先确定在一个时间段内新图形对象被检测到的次数。例如，控制器104可以监视新图形对象被发现的区域以确定在一个时间段内该区域中新图形对象被检测到的次数。如果该数量低于阈值，则控制器104输出新图形对象无效的指示给图形对象存在检测器106和图形对象检测器108。然后丢弃新图形对象。图形对象存在检测器106继续检测活动的图形对象的存在(步骤200)，图形对象检测器108继续监视视频数据流以检测新图形对象(步骤202)。

如果新图形对象被检测到的次数超过阈值，则新图形对象是有效的并且控制器104从活动的图形对象和新图形对象中确定最可靠的图形对象，步骤206。以这种方式，控制器104能够提供给图形对象存在检测器106最好的图形对象。图形对象存在检测器106随后能够基于它们的可靠性而更新和移除活动的图形对象，因此检测最可靠图形对象的存在，步骤208。然后从视频数据流中检测到新图形对象出现的点检测最可靠图形对象的存在。

根据本发明的一个具体实施方式，为了确定最可靠图形对象，控制器104首先使用来自图形对象存在检测器106的存在检测的历史确定活动的图形对象的性能。该性能例如可以涉及在相应区域中活动的图形对象的肯定检测的数量，或者相应区域中活动的图形对象的微弱图形对象像素的数量。

如果性能被确定低于阈值(例如，如果肯定检测的数量不足或者有太多微弱的图形对象像素)，则控制器104使用新图形对象代替活动的图形对象并输出指示给图形对象存在检测器106。然后图形对象存在检测器106从视频数据流中检测到出现新图形对象的点检测新图形对象的存在。

另一方面，如果确定的性能超过阈值(例如，如果有足够的肯定检测数量或者有非常少的微弱图形对象像素)，则控制器丢弃新图形对象并且输出指示给图形对象存在检测器106。然后图形对象存在检测器106继续检测活动的图形对象的存在。

根据本发明的可替换具体实施方式，为了确定最可靠图形对象，控制器104在检测到新图形对象出现的多个区域的每一个中确定一个时间段上图形对象存在率。使用来自图形对象存在检测器106的图形对象存在检测的历史来确定图形对象存在率。然后控制器104确定具有最高图形对象存在率的区域。控制器104输出在具有最高图形对象存在率的区域中的新图形对象是最可靠图形对象的指示给图形对象存在检测器106和图形对象检测器108。在不具有最高图形对象存在率的区域中检测到的图形对象被丢弃(即作为不活动的)并且图形对象存在检测器106从视频数据流中检测到新图形对象出现的点检测最可靠图形对象。

控制器能够不时地检查哪个区域具有最高图形对象存在率(使用存在检测的历史)。以这种方式，最可靠图形对象是被确定为具有最高图形对象存在率的图形对象。任何其它的图形对象被丢弃。或者可替换地，如果图形对象存在率超过特定阈值，则其它区域的活动印记能够被使得成为不活动的。

然后控制器104能够检测视频数据流的插入片段(例如商业广告)，步骤210。当没有图形对象被检测到时，则控制器104检测到插入片段。换句话说，当图形对象存在检测器106不再检测到活动的图形对象的存在并且图形对象检测器108没有检测到任何新图形对象时，则控制器104检测到插入片段。然后控制器104在设备100的输出终端上输出存在插入片段的指示。

虽然本发明的具体实施方式已经在附图中被说明并且在前面的详细描述中被描述，但是应当理解本发明不限于所公开的具体实施方式，而是能够进行不脱离随后权利要求所阐述的发明范围的多种改变。本发明存在于每个新的特有特征和特有特征的每种组合。在权利要求中的参考标记不限制它们保护的范围。动词“包含”和它的变形的使用不排除权利要求中提到的那些之外的元件的存在。在元件之前的冠词“一”或“一个”的使用不排除多个这种元件的存在。

如本领域技术人员所明了的，“装置”意味着包括在工作中再现指定功能或被设计以再现指定功能的任何硬件(诸如分离的或集成的电路或电子元件)或软件(诸如程序或程序的一部分)，无论它是单独还是与其它功能结合，无论它是独立或与其它元件协作。本发明能够通过包括多个独特元件的硬件或通过合适的编程计算机而实现。在列举多个装置的设备权利要求中，多个这些装置能够具体实现为一个相同的硬件项。“计算机程序产品”将被理解为意味着存储在诸如软盘的计算机可读介质中的，可经由诸如互联网的网络下载的或者以任何其它方式可买卖的任何软件产品。

Claims (12)

1.一种用于检测视频数据流中的插入片段的方法，该播入片段中不存在图形对象，该方法包括步骤：

检测视频数据流中至少一个活动的图形对象的存在；

并行地检测所述视频数据流中新图形对象的出现；

从所述至少一个活动的图形对象和所述新图形对象中确定最可靠的图形对象；

从所述视频数据流中检测到所述新图形对象的点检测所述最可靠的图形对象的存在；以及

如果没有检测到图形对象，则检测到所述视频数据流的插入片段。

2.根据权利要求1的方法，其中，并行地检测新图形对象的出现的步骤包括步骤：

确定所述新图形对象是否有效。

3.根据权利要求2的方法，其中，确定所述新图形对象是否有效的步骤包括步骤：

确定在一个时间段内所述新图形对象被检测到的次数；

如果所述数量超过阈值则输出所述新图形对象有效的指示；和

如果所述数量低于所述阈值则输出所述新图形对象无效的指示。

4.根据权利要求3的方法，其中，如果所述数量低于所述阈值则输出所述新图形对象无效的指示的步骤进一步包括步骤：

丢弃所述新图形对象；和

继续检测所述至少一个活动的图形对象的存在。

5.根据在前权利要求的任意一个的方法，其中，并行地检测新图形对象的出现的步骤包括步骤：

基于色彩空间值的移动平均并行地检测新图形对象的出现。

6.根据权利要求1的方法，其中，从所述至少一个活动的图形对象和所述新图形对象中确定最可靠图形对象的步骤包括步骤：

确定所述至少一个活动的图形对象的性能；和

如果所述确定的所述至少一个活动的图形对象的性能低于阈值，则检测所述新图形对象的存在。

7.根据在前权利要求的任意一个的方法，其中，所述视频数据流包括多个帧并且并行地检测新图形对象的出现的步骤包括步骤：

监视所述多个帧的每一个以检测新图形对象的出现。

8.根据权利要求7的方法，其中，监视所述多个帧的每一个以检测新图形对象的出现的步骤包括步骤：

将每个帧分为多个区域；和

监视所述多个区域的每一个以检测在所述多个区域的至少一个中至少一个新图形对象的出现。

9.根据权利要求8的方法，其中，从所述至少一个活动的图形对象和所述新图形对象中确定最可靠图形对象的步骤包括步骤：

在检测到新图形对象的出现的所述多个区域的每一个中确定在一个时间段内的图形对象存在率；

确定具有最高图形对象存在率的区域；

输出在具有最高图形对象存在率的所述区域中的所述至少一个新图形对象是最可靠图形对象的指示；和

丢弃不具有最高图形对象存在率的区域中的图形对象。

10.一种包括多个程序代码部分的计算机程序产品，用于执行根据在前权利要求的任意一个的方法。

11.用于检测视频数据流的插入片段的设备，该插入片段中不存在图形对象，该设备包括：

图形对象存在检测器，用于检测至少一个活动的图形对象的存在；

与所述图形对象存在检测器并行的图形对象检测器，用于检测新图形对象的出现；和

控制器，用于从所述至少一个活动的图形对象和所述新图形对象中确定最可靠的图形对象，其中所述图形对象存在检测器从所述视频数据流中检测到所述新图形对象的点检测所述最可靠图形对象的存在，并且如果没有检测到图形对象，则检测到所述视频数据流的插入片段。

12.根据权利要求11的设备，其中，该设备进一步包括预处理器，用于识别所述视频数据流的多个帧，其中所述图形对象检测器监视所述多个帧的每一个以检测新图形对象的出现。

Images