CN1312614C - 检测快速运动场景的方法和装置 - Google Patents

Abstract

一种视频标引方法和设备，用于从视频中每一个检测的场景选择关键。该方法和设备通过计算检测的连续场景变化数检测快运动场景。

Description

检测快速运动场景的方法和装置

本发明的背景

本发明的领域

本发明通常涉及一种检测源视频中的场景变化并从每个场景选择代表性的关键帧的装置。本发明特别涉及确定检测到的场景变化是真正的场景变化还是导致错误检测场景变化的快速运动的场景。

现有技术的描述

用户经常将家庭视频或电视节目、电影、音乐会、体育事件等等记录在录像带、硬盘或其它的存储媒介用于以后或重复观看。视频经常具有变化的内容或持续时间很长。但是，用户不会写下在存储媒介上记录了什么，并且不会想起记录了什么或者在存储媒介的什么地方记录了特别的场景、电影、事件。因此，用户必须坐下来观看例如整盘录像带以想起录音带上有什么。

视频内容分析利用自动和半自动方法提取叙述已记录材料内容的信息。视频内容标引和分析从视频的视觉线索提取结构和意义。通常，通过选择反映视频中不同的场景的帧一个视频夹取自电视节目、互联网或家庭的视频。

在PHA23,252，美国专利序号No.08/867,140内描述的视频标引场景变化检测系统中，描述一种视频标引系统，其中帧彼此比较以检测帧之间较大的区别。如果存在较大的差别，则假设两帧之间发生场景变化。一旦发现场景变化，则从每个场景选择一关键帧，该关键帧被安排提供一视频标引。此系统的问题在于在存在快速运动的场景期间，例如赛车场景，横过场景的移动物体(例如汽车)可能在多个连续帧期间从帧的左手部分移到帧的右手部分。当彼此比较这些帧时，现有的系统在每帧之后检测场景的变化，并在实际上所有的帧取自相同的场景时，将每个帧选为关键帧。

类似在PHA23,477，美国专利序号No.09/123,444中，公开了一种商业广告检测系统，其通过计数一段时间内检测到的场景变化次数(″剪切率″)来检测商业广告。商业广告一般具有较高的剪切率，因此剪切率可用于定位和从视频中删除商业广告。如果确定在特定的一段时间内检测到的场景变化次数高于某门限，则假设已经检测到商业广告。这种系统的问题在于快速运动的场景也具有较高的剪切率，将被检测为商业广告，并可能从视频中删除。

本发明的概要

相应地，希望一种为以前记录或正在记录的视频源产生视觉标引的系统，这是有用的并且在选择显著的关键帧情况下更为精确，同时为用户提供有用的信息量。此系统将检测场景变化和从每个场景选择关键帧，但在每一帧后连续检测到场景变化的场合忽略场景变化的检测和关键帧的选择。

本发明的目的在于比较视频的两帧以检测场景变化，如果对多个帧而言在每一帧后都检测到连续的场景变化，则确定这些场景变化是由于视频的快速运动而不是真正的场景变化。

本发明的另一目的在于计数连续的场景变化次数，以保持跟踪每个连续帧之后检测到的具有场景变化的帧序列的持续时间。在包含连续场景变化的此序列结束时，确定该序列内的所有帧是同一快速运动场景的一部分，并且只从该顺序选择一个关键帧。

本发明的再一个目的在于通过分析高剪切率的视频来区分快速运动场景和商业广告，以确定每帧之后是否出现场景变化。

为了更好的理解本发明、其操作优点和通过它的使用达到的特定目的，应当参考附图和描述的主题，其中说明和描述了本发明的优选

实施例。

附图的简短描述

为了更好的理解，将参考附图。

图1说明视频归档过程；

图2A和2B是根据本发明的优选实施例用于产生视觉标引的装置的方框图；

图3说明一帧、一宏块、和几个块；

图4说明一个块的几个DCT系数；

图5说明具有DCT系数的宏块和几个块；和

图6说明具有快速运动场景的一序列视频。

优选实施例的描述

视频内容标引过程存在两个阶段：归档和恢复。在归档过程期间，在视频分析过程期间分析视频内容并产生视觉标引。在视频分析过程中，  自动的显著场景检测、快速运动检测和关键帧选择出现。显著场景检测是识别场景变化，即″剪切″(视频剪切检测或分割检测)和识别静态场景(静态场景检测)的过程。对于每个检测的场景，提取叫做关键帧的特别有代表性的帧。因此重要的是正确的识别发生场景变化，否则对于单个场景将选择过多的关键帧，或者对多个场景变化选择的关键帧不够。快速运动检测是识别视频中发生快速运动场景地方的过程，下面将进一步详细解释。(下面虽然清楚地主要参考源录像带，源视频可以来自文件、磁盘、DVD、其它存储装置或直接来自发射源(例如，在记录家庭视频时)。)

图1所示的视频归档过程是针对具有以前录音源视频的源带，可能包括音频和/或电文，虽然对于具有以前保存视觉信息的，例如MPEG文件的其它存储设备可能遵循类似物过程。在此过程中，根据源视频产生视觉标引。对于用户想记录的源带，第二过程在记录的同时产生视觉标引。

图1是说明录像带第一过程的例子(对于以前记录的源带)。在步骤101，如果需要的话，源视频通过诸如VCR的回放/记录设备重绕。在步骤102，源视频被回放。来自源视频的信号由电视、VCR或其它处理装置接收。在步骤103，处理装置中的媒体处理器或外部处理器接收视频信号，并将视频信号格式化为表示象素数据的帧(帧抓取(grabbing))。

在步骤104，主处理器将每帧分成块，并变换这些块及其关联数据以产生DCT(离散余弦变换)系数；执行显著场景检测、快速运动检测和关键帧选择；以及建立和存储关键帧作为内存、磁盘或其它存储媒介中的数据结构。在步骤105，源带重绕到开始处，在步骤106源带设置为记录信息。在步骤107，数据结构从内存转移到源带，创建视觉标引。然后录音带可以重绕以观看视觉标引。

当用户希望在记录的同时在录像带上产生视觉标引时，上述过程发生轻微改变。取代步骤101和102，如图1的步骤112所示，当视频(电影等等)正被记录时发生步骤103的帧抓取过程。

步骤103和104在图2A和2B作了更明确地说明。视频以模拟(连续数据)或数字(离散数据)形式存在。本例在数字域工作并因此使用数字方式处理。源视频或视频信号是以足够高的速率显示的一系列个别图象或视频帧(此例中每秒30帧)，因此显示的图象序列显得像连续的图象串。这些视频帧可以是未压缩的(NTSC或原始视频)或以例如MPEG、MPEG2、MPEG4、运动JPEG等等格式的已压缩数据。

未压缩视频的信息首先在媒体处理器202中划分成帧，利用诸如Intel智能录象机III的帧抓取技术204。虽然可得到其它的帧大小，图3所示的例子中，帧302表示一个电视、视频或其它可视图像并包括352×240个象素。

帧302每个在主处理器210(图2A)中分成此例中的8×8象素的块304。利用这些块304和通用的广播标准CCIR-601，宏块创建器206(图2A)产生亮度块和产生色度块的子样值彩色信息。亮度和色度块形成宏块308。在此例中，使用4∶2∶0，虽然本领域技术人员可以很容易地使用诸如4∶1∶1和4∶2∶2的其它格式。在4∶2∶0中，宏块308具有六个块，四个亮度Y1、Y2、Y3和Y4；和两个色度Cr和Cb，宏块内的每个块是8×8象素。

视频信号还可以表示利用诸如运动JPEG(联合图像专家组)和MPEG(运动图像专家组)的压缩标准的压缩图像。如果信号是MPEG或其它压缩信号，如图2B所示，MPEG信号由帧分析器205利用帧或字符串分析技术划分成帧。这些帧然后发送到媒体处理器203中的熵译码器214和表说明符216。熵译码器214利用来自表说明符216的数据，利用例如霍夫曼解码、或另外的解码技术解码MPEG信号。

解码信号接下来提供给解量化器218，其利用来自表说明符216的数据解量化解码信号。虽然按照发生在媒体处理器203中表示，这些步骤(步骤214-218)可以发生在媒体处理器203、主处理器211甚至与所使用装置有关的另一个外部装置。或者，如果系统具有编码能力(例如在媒体处理器中)，允许在处理的不同阶段接入，DCT系数可以直接传送到主处理器。在所有的这些方案中，可以实时地执行处理。

在图1的步骤104，例如可以是英特尔奔腾^TM芯片或其它处理器或多处理器、菲利浦Timedia^TM片或其它多媒体处理器、计算机、增强的VCR、重放装置或电视；或其它处理器的主处理器210执行显著场景检测、关键帧选择在例如硬盘、文件、录象带、DVD或其它存储媒介的变址存储器中建立和存储数据结构。

显著场景检测/快速运动检测：对于自动的显著场景检测，本发明试图检测视频的场景何时改变或静态场景何时出现。场景可以表示一个或多个关联图象。在显著场景检测中，比较两个连续帧，如果这两个帧被确定是显著不同，则确定在两个帧之间已经出现场景变化；如果确定明显相似，则执行处理以确定是否出现静态场景。在快速运动检测中，对一系列连续帧而言如果每帧之后检测到场景变化，则检测到快速运动场景。作出此确定是因为导演永远不会在人眼可觉察的界限内有连续的场景变化，因此这些检测一定是错误的场景变化检测(参见与本申请相同的发明人同时提交的PHA           U.S.No.           ，其识别视频中的错误帧)。在这一系列帧中，只从此序列选择一个关键帧，因为此序列很可能表示单个快速运动场景。

快速运动序列的两帧之间检测到实质差别的原因如下。假设快速运动场景是图6所示的摩托车赛或汽车赛。当汽车横过场景时，它可以从第一帧的左手部分移到第二帧的左部中心，然后第三帧的中心，第四帧的右部中心和第五帧的右手部分。当比较第一帧与第二帧，检测到场景变化，因为第一和第二帧汽车的位置变化导致检测到两帧之间的实质差别。第二和第三帧、第三和第四帧、第四和第五帧之间的比较情况相同。每帧之后不是检测到新的场景并且从每帧选择一个关键帧，本发明检测连续的场景变化，处理序列内的所有帧，如同同一场景的图象。

同样，在PHA23,477，U.S.No.09/123,444所述的商业广告检测中，特定时间帧内检测到的场景变化次数与一门限相比较。如果场景变化次数高于门限，则确定检测到商业广告。此分析是根据在短时间段内商业广告一般具有许多场景变化的事实(″高剪切率″)。作出此结论的问题在于快速运动场景也具有高剪切率。如果检测到的商业广告被删除，则很有可能快速运动场景由于其高剪切率也被删除。在当前发明的优选实施例中，所有的高剪切率场景都需要严密观查确定每帧之后是否场景变化连续发生，如果是这样的话，则没有检测到商业广告，而是检测到快速运动场景。此结论也根据导演永远不会在人眼可觉察的时限内产生多个场景变化的事实，即使它是商业广告序列。

本方法和装置使用DCT(离散余弦变换)系数比较以检测场景变化，但还可以使用其它的剪切检测方法、弱波、直方图等等。首先，在主处理器210分别处理每个接收帧302，以产生8×8块440。主处理器210利用离散余弦变换器220处理包含空间信息的每个8×8块，以提取DCT系数和产生宏块308。

当以例如MPEG的压缩视频格式接收视频信号时，DCT系数可以在解量化之后提取，而不必由离散余弦变换器处理。另外，如前所述，DCT系数可以根据所用的装置自动提取。

DCT变换器向每个块440(图4)提供具有DCT系数值的Y1、Y2、Y3、Y4、Cr和Cb。依据这种标准，每个块的左上角包含DC信息(DC值)，剩余的DCT系数包含AC信息(AC值)。如图4部分地示出，AC值按频率以Z字形顺序从DC值的右边增加到刚刚低于DC值的DCT系数。Y值是亮度值。

在本发明的场景变化检测方法中，处理受限于检测两帧相应块之间的DC值变化，以更快的产生结果和限制处理，而不明显的丧失效率；

但是，本领域技术人员明显可以比较相应宏块的亮度值的差值、块，或其它检测亮度变化的方法，诸如直方图弱波等等。如果差值高于特定门限，则确定发生场景变化。

在PHA23252，美国专利序号No.08/867,140公开了一种场景变化检测装置，这里并入它作为参考。在此现有技术的发明中，比较每个帧的DCT系数与相邻帧的相应系数。如果相应系数之间存在显著变化(当汽车穿过场景时会发生)，则确定两帧之间出现场景变化。在视频标引系统中，这使得要从按该顺序的每个帧选择一关键帧，而实际上所有的这些帧组成单个场景。

在本发明中，每帧之后检测到场景变化，但如果存在多个连续的场景变化，则这些帧当成单个场景，只选择单个关键帧。

图2a和2b表示根据本发明优选实施例的系统。显著场景处理器230检测场景变化。快速运动检测器240和计数器241一帧接一帧地计数连续发生的场景变化次数。如果每帧之后的n个帧发生场景变化，则快速运动检测器240应用计数器241跟踪场景变化次数或该帧之后具有场景变化的帧数。快速运动检测器240然后通知显著场景处理器230，对于n个帧，只选择单个关键帧用于标引，因为它们都是同一场景的一部分。

图6表示快速运动赛车视频场景的帧序列。如上所述，在这些帧中，汽车从帧的左手部分移到帧的右手部分。在本发明的优选实施例中，第一帧与第二帧比较。因为帧之间存在较大差别，所以在第一帧之后检测到场景变化。然后比较帧2与帧3，由于这两个帧之间存在较大的差值，帧2和帧3之间检测到另一个场景变化。然后比较帧3和帧4等等。每次两帧之间比较产生场景变化，计数器241加一。数n发送到处理器230，一旦比较确定不再发生场景变化，则计数器241重置为0。如果计数器到3或更多，则确定三个或三个以上的帧是快速运动序列的一部分。

在本发明的另一个实施例中，本发明的方法和装置通过寻找一帧一帧检测到的具有连续剪切的视频部分，来检测视频中的快速运动场景。这允许从快速运动场景档案中定位。

另外，如果因为检测到高剪切率而相信已经检测到商业广告，则本发明更仔细地查看剪切，以确定一帧一帧连续发生的剪切表示快速运动场景而不是商业广告。这加强了商业广告定位系统。

本发明利用DCT系数来说明；但是，也可以代替使用诸如弱波系数、直方图值或一函数的代表值，该函数运算子区域图象以给出子区域的代表值。

本发明的另一个实施例涉及识别快速运动场景，从其中选择关键帧用于视频标引。上述识别多个连续剪切或场景变化的方法是识别快速运动场景的方法。1993年由M. Ibramin Sezan和ReginaldLagendi jik编辑，Kiuwer Academic出版Boston/Dordrecolt/London的″运动分析和图象序列处理″中公开了一些其他的方法。这些方法包括：

-一帧一帧跟踪象素流的视觉流计算；

-根据图象边缘在何处从一帧移到另一帧跟踪的运动估计；

-根据跟踪一帧一帧物体流的硬体运动模型的运动估计；

-跟踪一帧中局部运动的仿射运动模型的运动估计，它是几乎一帧一帧移动的所有物体的宽泛估计；和

-利用MPEG中P和B帧中的内编码块数。

如果这里的任何一个方法检测到快速运动场景，则一个或多个关键帧能从组成快速运动场景的帧数中选定。场景中的运动不论是快或慢动作，都可以通过比较一门限确定。如果任一方法检测到的运动超过门限，则它是快速运动场景。此门限可以根据视频中所有场景的比较来建立，或者是适用于全部视频或视频类别而选择的一般门限，例如1999年11月4日提交的PHA23,808，美国专利序号No.09/433,258所描述的。在本发明实施例的一个方面中，如果在一组帧内检测到多个剪切，则运动估计用于确定这组帧是否是单个快速运动场景，因此只需要选定单个关键帧。

另外，已经关于视频标引系统描述了本发明，但是它一般与快速运动场景有关，因此能用作搜索装置，以检测快速运动导致错误场景变化检测的场景，或者作为一种归档方法，以从快速运动序列选择代表性的帧。

虽然已经参照优选实施例描述了本发明，可以理解在上述原理内的修改对本领域技术人员来说是显而易见的，因此本发明并不局限于优选实施例，而是包含所有的这些修改。

Claims (13)

1.一种用于检测快速运动场景帧的系统，包括：

媒介处理器(202，210)，接收具有帧的源视频；

显著场景处理器(230)，检测两帧之间的场景变化；和

快速运动检测器(240)，检测在至少三个连续视频帧的每帧之后出现的场景变化。

2.如权利要求1所述的系统，进一步包括计数器(241)，用于计数此后检测到的具有场景变化的连续帧数。

3.如权利要求1所述的系统，其中，显著场景处理器包括比较各帧离散余弦变换系数的装置，以确定两帧之间是否出现场景变化。

4.一种用于检测快速运动场景帧的方法，包括：

接收具有帧的源视频；

相互比较视频帧，以检测帧之间的场景变化；和

通过检测每帧之后检测的具有场景变化的至少连续三个帧来检测快速运动。

5.如权利要求4所述的方法，进一步包括计数其后检测到的具有场景变化的连续帧数的步骤。

6.如权利要求5所述的方法，进一步包括从帧数提取单个关键帧的步骤。

7.如权利要求4所述的方法，其中比较步骤比较该帧的离散余弦变换系数并检测两帧的离散余弦变换系数之间是否发生显著变化。

8.一种标引系统，包括：

媒介处理器(202，210)，接收具有帧的源视频；

快速运动检测器，识别属于快速运动场景的一组视频帧；和

帧存储器，从快速运动检测器接收哪组帧属于快速运动场景的指示和存储来自指定组的帧的至少一个关键帧以形成标引。

9.如权利要求8所述的标引系统，其中快速运动检测器使用视觉流计算。

10.如权利要求8所述的标引系统，其中快速运动检测器使用仿射运动模型。

11.如权利要求8所述的标引系统，其中快速运动检测器使用根据边缘的运动估计。

12.如权利要求8所述的标引系统，其中快速运动检测器使用根据硬体运动的运动估计。

13.如权利要求8所述的标引系统，其中快速运动检测器使用根据MPEG中P和B帧的内编码块数的运动估计。

Images