CN103796008A - 使用不同块大小的基于dct的黑帧检测 - Google Patents

Abstract

本发明涉及使用不同块大小的基于DCT的黑帧检测。检测视频中黑帧的视频检测器包括灰度转换器，解析器，用于将灰度视频解析为单独帧的序列，子帧解析器，用于将不均匀块大小的帧解析为两个或更多子帧，以及DCT计算器。所述检测器提取生成的DCT的DC分量或AC分量，或两者并且然后将其和各阈值进行比较。基于选择的分量和阈值之间的比较将单独的帧标识为黑帧。还描述了基于DC分量和AC分量检测黑帧的方法。

Description

使用不同块大小的基于DCT的黑帧检测

技术领域

本公开涉及视频分析，并且更具体的，涉及用于确定视频流中的黑帧的系统和方法。

背景技术

在视频的开始或结束处常常发生黑帧。视频是包括可视化数据的帧的序列。黑帧用于表示视频的开始或停止。在某些实施例中，黑帧用作视频流中指示视频中会发生广告或其他中断的地方的标记。因此，其是通过确定视频序列中哪些帧是黑帧来准确知晓视频在何处开始或结束的有用信息。图1示出了包括五个帧的视频，标记为“帧1”到“帧5”。在该示例中，帧1和帧5是黑帧，而帧2-4包括视频数据。帧1和5指示视频序列的开始和结束。当然，图1中的视频序列仅仅是示例，并且通常视频将包括比这里示出的帧2-4的三个帧更多的视频数据的帧。此外，视频的开始和结束两者不必严格都用黑帧标记，虽然这是典型的。

已有的用于黑帧检测的方法包括直接计算帧内的像素的亮度平均值，随后计算帧内大量像素与平均亮度相比的亮度方差。如果平均值很低，则帧很可能是黑帧，因为黑帧的像素接近均匀的黑色。然而该方法需要大量资源来做出确定特定帧是否为黑帧所需要的所有计算。其他的方法使用相同的总体思想，但使用在各个位置选择的参考像素来做出确定。虽然计算的数量少于第一所述方法，参考像素方法也做出了相当数量的计算，这继而使用了大量的资源。

本发明的实施例解决了现有技术的这些和其他限制。

发明内容

本发明的实施例包括视频检测器，用于检测视频中的黑帧，所述视频包括多个单独的连续帧。所述视频检测器包括接受视频的输入，以及，如果必要，包括将视频转换为RGB的RGB转换器。所述检测器中的灰度转换器将视频转换为灰度的。解析器用于将灰度视频解析为单独帧的序列。做出帧大小确定，以及如果帧不是均匀块大小，则使用子帧解析器来解析不具有诸如32×32的均匀帧大小的单独帧。DCT计算器生成帧或子帧或可能两者的DCT。检测器包括用于提取生成的DCT的DC分量的DC分量提取器，以及可选地包括用于提取生成的DCT的AC分量的AC分量提取器。比较器针对各个阈值估计提取的DC和可能的AC分量。标识器则基于所述比较将单独帧指示为黑帧。

类似地，用于检测包括多个单独的连续帧的视频中黑帧的方法实施例包括首先将视频转换为RGB，如果必要的话，然后将视频转换为灰度的。接下来将灰度视频解析为单独帧的序列。如果帧可以被解析为均匀的常规块大小的数量，例如32×32，则仅做出一次解析。如果某些帧大小不同，则子解析器生成一个或多个子帧。接下来，所述方法生成帧或子帧的DCT，并提取其DC分量和可能的AC分量。然后针对分量阈值估计这些提取的分量。如果所述估计低于阈值，则确定所述块是黑的。如果确定帧中所有的块都是黑的，则标记所述帧为黑的。在不脱离本发明的精神的情况下，还存在各种选择。

附图说明

图1是示出视频流中存在黑帧的框图。

图2是示出了根据本发明实施例的示例方法的流程图；

图3是示出了根据本发明实施例的计算DCT变换和选择其DC分量的示例方法的流程图；

图4是示出了根据本发明实施例的计算DCT变换和选择其DC和AC分量的示例方法的流程图；

图5是根据本发明实施例的黑帧检测器的功能框图。

具体实施方式

图2是示出了根据本发明实施例的示例方法的流程图200。在操作202中将诸如图1中的帧1-5中任一帧之类的视频帧输入到黑帧检测器。帧可以位于YUV色彩空间或其他色彩空间或格式中。在一些实施例中，将视频转换为RGB(红、绿和蓝)分量，这可以允许黑帧检测器更好地在单色帧、或主要为单色的帧，例如绿色之间进行辨别。

在转换为RGB之后，在操作206中将视频转换为灰度的，诸如8比特灰度图像。其他比特深度可以产生类似的结果，但8比特灰度深度在处理时间和良好检测结果之间似乎是良好的折衷。

操作210检查当前帧的大小来确定输入帧是否能均匀分为32×32块。可使用其他大小的块，而不离开本发明的发明性范围。如果帧可以均匀分为32×32块，则在处理232中进行块的DCT(离散余弦变换)。

如果代之以帧不能均匀分为32×32块，则子解析器将帧拆分为子图像。主子帧由可以被均匀分成32×32块的较大或者最大的块组成。换言之，主帧可以为是32×32的倍数的最大大小。在已经移除主子帧后，用8×8大小的块来处理朝向全帧边缘的剩余的任何像素。例如，在移除主子帧后，可以用8×8的块来处理朝向全帧右侧的像素。类似地，在已经移除主子帧后，用8×8大小的块来处理朝向全帧顶部或底部的剩余的任何像素。在下述的示例中，在移除主帧后，用8×8的块来处理的是全帧的底部部分。

操作234进行主子帧的32×32块的DCT，并且操作236进行右子帧的8×8块的DCT，并且进行底部子帧的8×8块的单独的DCT。如上所述，右侧和底部子帧仅仅是示例。

在操作240中，将各DCT和各可编程DCT阈值进行比较。如下面的详述，设置适当的DCT阈值允许本发明实施例确定哪些帧仅包括黑块。在一些实施例中，可以凭经验获得阈值。

在决定操作250中，将DCT与阈值DCT比较或估计。如果DCT低于或等于阈值，则确定所述块仅包括黑像素，即将其标记为黑块。在这样的情况下，操作260递增黑块计数器。操作262确定当前帧或子帧的全部块是否都是黑的。如果当前帧或子帧的所有的块都是黑的，则将所述帧标记为黑帧，264。本发明的实施例然后可以向用户输出或另外将所述帧标记为或指示为黑的。

如果代之以决定操作250确定比较的DCT在阈值之上，则在操作270中将所述帧或子帧的块计数为非黑块。决定操作272将标记为非黑的块的数量和非黑块的各个阈值比较。在一些实施例中，可以凭经验获得阈值。如果计数的非黑块超过该阈值，则在操作274中将所述帧或子帧标记为非黑帧。如果将所述帧或子帧标记为非黑的，则跳过处理的其余部分并且流程200返回以处理后续的帧。下面描述了该上述主要概念的变型。

图3示出了在本发明实施例中可以如何估计DCT。在流程300中，使用传统方法计算当前块的DCT。在一些实施例中，可以使用英特尔并行原语(IPP)库计算DCT，英特尔并行原语(IPP)库继而是基于称作SSE(流式SIMD扩展)的INTEL扩展指令集。当前块可以是如全帧或主子帧情况下的32×32的块，或如果代之以当前帧是右子帧或底部子帧的8×8的块之一，则DCT是对选择的8×8块做出的。

操作320仅为选择的块选择计算的DCT的DC分量。换言之，对处理320，仅使用了DCT的DC分量，并且忽略任何AC分量。然后，在处理330中，使用DCT的DC分量来和DCT阈值比较，例如在图2的操作240中。

图4示出了本发明实施例中估计DCT的另一方法。在流程400中，操作410和图3中的操作310相同。然而，不同于流程300的是，处理420为选择的块选择计算的DCT的DC和AC分量两者。然后，在处理430中，使用DCT的DC和AC分量与DCT阈值比较，例如在图2的操作240，250中。更具体的，可以检查DCT的若干较低的AC频率值，例如它们的3或4，以确呆这些AC值等于零。在这样的情况下，假如DCT的DC值低于或等于阈值，则图2的操作250在“是”的方向上退出以指示估计的帧或子帧是黑的。

图5是根据本发明实施例的黑帧检测器的功能性框图。

在图5中，用于在包括多个单独连续帧的视频中检测黑帧的视频检测器500包括用于接受视频的输入。如果所述视频不是给予良好结果的格式，则可以将所述视频在转换器510中转换为RGB。灰度转换器520将视频转换为灰度的以用于操作。

帧解析器530可以检查以确定当前帧是否可被均匀划分为32×32块，或其他可操作大小的块。如果是，则按照其原始大小使用所述帧。

如果代之以当前帧不可均匀划分为32×32块，则子帧解析器550将当前帧划分为三个子帧，主子帧，右子帧和底部子帧。在一些实施例中，主子帧是可以被均匀划分为32×32个块的原始帧的最大部分。用8×8的块处理右子帧和底部子帧。根据实现的细节，其他数量的子帧是可能的。

DCT计算器540生成帧或子帧的DCT，并且DC分量提取器542提取生成的DCT的DC分量。可选的，AC分量提取器544提取DCT的一些AC分量，例如最低的3或4个交流频率值。

比较器548构造为相对于一个阈值或多个阈值估计提取出的DC分量，或提取的DC和AC分量两者。所述一个阈值或多个阈值可以是可编程的并保持在存储设备546中。

最后，标识器550构造为基于选择的DC或DC和AC分量与一个或多个阈值之间的比较将单独帧指示为黑帧。

在一些实施例中，可以用处理器560执行图5的黑帧检测器500的任何功能，并且这些功能可以存储在关联的存储器570中。

如上所述，在各种实施例中，本发明的部件可以用硬件，软件，或两者的组合来实现，且可以包括通用的微处理器，数字信号处理器(DSP)，专用集成电路(ASIC)，现场可编程门阵列(FPGA)等。

从上述讨论中可以认识到，本发明表现出在视频检测中的显著优势。虽然为了示范的目的阐述和描述了本发明的具体实施例，但是应该理解的是，在不脱离本发明的精神和范围的情况下可以做出各种修改。因此，本发明除受限于所附权利要求书外不应受到限制。

Claims (19)

1.一种用于在包括多个单独连续帧的视频中检测黑帧的视频检测器，包括：

输入，用于接受视频；

灰度转换器，用于将视频转换为灰度的；

解析器，用于将灰度视频解析为单独帧的序列；

子帧解析器，用于将不具有均匀块大小的大小的那些单独帧解析为一个或多个子帧；

DCT计算器，用于生成帧或子帧的DCT；

DC分量提取器，用于提取生成DCT的DC分量；

比较器，被构造为相对于DC分量阈值估计提取的DC分量；以及

标识器，被构造为基于选择的DC分量和阈值之间的比较将单独帧指示为黑帧。

2.根据权利要求1的用于检测黑帧的视频检测器，其中均匀块大小为32×32。

3.根据权利要求1的用于检测黑帧的视频检测器，其中DCT计算器被构造为生成帧和一个或多个子帧的DCT。

4.根据权利要求1的用于检测黑帧的视频检测器，其中子帧解析器被构造为，对不具有均匀块大小的大小的那些单独帧：

将单独帧的主要部分解析为具有32×32块大小的主子帧；

将单独帧的右侧部分解析为具有8×8块大小的右侧帧；以及

将单独子帧的底部部分解析为具有8×8块大小的右侧帧。

5.根据权利要求1的用于检测黑帧的视频检测器，进一步包括：

RGB转换器，被构造为将视频转换为RGB分量。

6.根据权利要求1的用于检测黑帧的视频检测器，进一步包括：

AC分量提取器，用于提取生成的DCT的一个或多个AC分量，且其中：

比较器还被构造为相对于AC分量阈值估计提取的一个或多个AC分量。

7.根据权利要求1的用于检测黑帧的视频检测器，其中

DC分量值是可编程的。

8.根据权利要求6的用于检测黑帧的视频检测器，其中

AC分量值是可编程的。

9.根据权利要求6的用于检测黑帧的视频检测器，其中标识器被构造为当所有的AC分量为零时将单独帧指示为黑帧。

10.根据权利要求6的用于检测黑帧的视频检测器，其中

灰度转换器，解析器，子帧解析器，DCT计算器，DC分量提取器，比较器和标识器中至少一个是可编程处理器的功能。

11.一种用于在包括多个单独连续帧的视频中检测黑帧的方法，所述方法包括：

将视频转换为灰度的；

将灰度视频解析为单独帧的序列；

将不具有均匀块大小的大小的那些单独帧解析为一个或多个子帧；

生成帧或子帧的DCT；

提取计算的DCT的DC分量；以及

相对于DC分量阈值估计选择的DC分量。

12.根据权利要求11的用于检测黑帧的方法，进一步包括基于选择的DC分量和阈值之间的比较将单独帧指示为黑帧。

13.根据权利要求11的用于检测黑帧的方法，，其中均匀块大小为32×32。

14.根据权利要求11的用于检测黑帧的方法，其中生成帧或子帧的DCT包括生成帧和一个或多个子帧的DCT。

15.根据权利要求11的用于检测黑帧的方法，其中将不具有均匀块大小的大小的那些单独帧解析为一个或多个子帧包括：

将单独帧的主要部分解析为具有32×32块大小的主子帧；

将单独帧的右侧部分解析为具有8×8块大小的右侧帧；以及

将单独子帧的底部部分解析为具有8×8块大小的右侧帧。

16.根据权利要求11的用于检测黑帧的方法，进一步包括：

将视频转换为RGB分量。

17.根据权利要求11的用于检测黑帧的方法，进一步包括：

提取生成的DCT的一个或多个AC分量，以及

相对于AC分量阈值估计选择的一个或多个AC分量。

18.根据权利要求11的用于检测黑帧的方法，进一步包括：

设置DC分量值。

19.根据权利要求11的用于检测黑帧的方法，进一步包括：

设置AC分量值。

Images