CN1711556A

CN1711556A - 检测均匀色片段的方法和系统

Info

Publication number: CN1711556A
Application number: CNA2003801027406A
Authority: CN
Inventors: R·S·贾辛斯奇; N·蒂米特罗瓦; L·阿格尼霍特里
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-11-13
Filing date: 2003-10-30
Publication date: 2005-12-21
Also published as: US20040090453A1; WO2004044846A2; WO2004044846A3; EP1563456A2; AU2003274493A1; US7177470B2; JP2006510072A

Abstract

本发明提出一种在视频序列中检测一系列连续帧的片段边界的方法，它包括如下步骤：从每个帧获取颜色信息；确定每个帧的颜色直方图；利用所述颜色直方图应用边界检测技术。所述方法包括将视频序列的帧分割成均匀色片段。此外，还提出一种用于在视频序列中检测一系列连续帧的片段边界的系统。该系统包括：用于从每个帧获取颜色信息的装置；用于确定每个帧的颜色直方图的装置；利用所述颜色直方图应用边界检测技术的装置。该系统还包括用于将视频序列帧分割成均匀色片段的装置。边界检测技术包括系列颜色直方图方法、加权平均颜色直方图方法、连续颜色直方图方法、随机方法、基于镜头的颜色直方图方法、马赛克颜色直方图方法以及可计算宏片段边界方法。

Description

检测均匀色片段的方法和系统

本发明涉及用于基于颜色信息来分割视频序列并为其加索引。具体而言，采用颜色直方图，利用颜色相似度来将节目片段归类为场景。

数字图像和视频在计算机系统和网络上的应用呈爆炸性增长，这大大增加了对可基于内容有效地为之加索引、存储及检索图像和视频数据的多媒体数据库系统的需求。为更好地支持这种日益增加的需求，已开发了多种不同的技术。已经开发出基于内容的图像检索技术，以使用户可以基于内容的可视相似度检索图像，同时还开发出视频镜头边界检测技术，旨在将连续视频序列分割成视觉上一致的单元，以便可以有效地为该序列添加索引并加以检索。

一般通过编辑不同的视频片段来形成视频节目。这些片段通常被分类成镜头或场景。例如，场景是发生动作的地方或背景。场景可以由描述连续动作或事件的一个或多个镜头构成。镜头是通过一个摄像机无间断地拍摄的视图。每个镜头是一次拍摄。当根据相同的设置拍摄同一个动作的附加镜头时，得到的镜头是“重拍”。因此，每个镜头由一系列连续帧，即由一个摄像机在连续且不间断的工作时间间隔内生成的图像组成。例如，在动画图片中，镜头是一个摄像机从开始录制起到停拍为止所生成的录制在胶片上的连续帧序列。在实况电视广播中，一个镜头由从一个摄像机以无线电方式广播起到被另一个摄像机替换为止，屏幕上可看到的那些图像。多个镜头可以明确定义了两个连续镜头(也称为“剪辑”)之间边界的突变方式(例如衔接或切换方式)衔接在一起，或者通过许多种其他编辑模式中的一种，例如使一个镜头逐渐过渡到下一个镜头的淡入淡出模式来衔接在一起。一般由导演选择采用某种特定的过渡模式来提供用于帮助观众跟上事件进度的有关时间和场所变更的线索。

已知道多种检测不同镜头之间的突变过渡的自动视频索引方法。例如，美国专利No.6055025就描述了这样一种方法。

“场景”通常视为携带基本相似信息的密切相关内容的帧序列。在一些情况中，摄像机是固定的，由此提供“静态镜头”。但是，一般来说，视频节目不只包括静态镜头，而且还包括“运动镜头”(即摄像机经历诸如摇摄、倾斜和缩放等操作的镜头)。由于摄像机移动，单个镜头的一系列帧的内容可能有相当大的变化，从而导致给定场景中存在一个以上的镜头。因此，虽然不同镜头之间的边界是场景边界，但这种边界可以是出现在视频节目中的所有场景边界的子集，因为摄像机移动可以产生镜头之间的场景变化。因此，可以将场景定义为镜头集合，其中一个镜头是无编辑效果的一组连续帧。现有技术还定义具有相同主题的多个镜头的场景，例如，互换地显示对话中的两个演员的对话场景。但是，这种定义有例外的情况，因为有些电影的开幕是一个含多个场景的长镜头。就本发明目的而言，一个场景通常由多个镜头组成。

虽然现有技术公开了在视频节目中查找镜头边界的不同方法，但这些方法均不够精确而足以用于视频索引目的。其原因之一是，镜头很多时候是假的，即它们是非自然信号，如不指示场景信息中的真实变化的摄像机闪光生成的。将视频分割成场景更接近于视频捕捉的真实信息。

为了本发明的目的，术语“均匀视频片段”描述的是，一组连续的给定视觉特性在一段时间内均匀或近似恒定的视频帧。具体而言，本发明涉及基于颜色的均匀性。

颜色信息是用于视频索引的一项非常有用的可视线索。通常，视频的均匀色(uniform color)片段是一组连续的具有“均匀”颜色分布的帧。例如，在户外体育活动(如足球或高尔夫球运动)中，因为视频中存在草和天空，因此“绿色”和“蓝色”成为主色调。如果计算这些户外场景的颜色直方图，则“绿色”和“蓝色”区间(bin)将是突出的，即每区间以这两种颜色为主。

颜色超直方图是通过顺序更新颜色直方图生成的。产生这些直方图的一种方法如下。在视频例如MPEG-1/2/4视频中，连续帧组织成I-/-P/-B帧，这些帧成组出现，如重复的IBBBPBBBPBBBPBBB。为所有帧或选定帧生成颜色直方图。从处理速度的观点来看，可以在时域上对帧执行二次抽样。以某种抽样速度提取I帧或B帧。颜色超直方图是通过组合多个连续颜色直方图的信息生成的。这使颜色超直方图成为一种检测均匀色片段的重要工具和功能，因为它是视频的既稳健又连续的颜色表示。通常，颜色信息是对均匀色片段进行视频索引十分重要。因此，超直方图通常用于表征视频。超直方图可用于识别类属、查找节目边界以及产生视觉摘要信息。例如，利用节目边界检测，可以将“宋飞正传(episode of Seinfeld)”的情节与新闻节目区分开。但是，本发明均匀色片段边界检测允许将新闻节目的片段分割成单独的故事片段。

因此，需要有一种既有效又精确的方法和系统来检测视频节目中均匀色片段的边界。

本发明的目的和优点通过如下说明来加以阐明，并且可通过实施而得以了解。本发明的附加优点可通过本说明书和权利要求书以及附图中具体指出的方法和系统来加以认识并实现。

为了实现这些和其他优点，根据本发明目的，如所具体化并描述的那样，本发明包括检测视频序列中一系列连续帧的片段边界的方法。该方法包括如下步骤：从每帧获取颜色信息，确定每帧的颜色直方图，以及利用所述颜色直方图应用边界检测技术。最后，该方法包括将视频序列帧分割成均匀色片段。

本发明还包括用于在视频序列中检测一系列连续帧的片段边界的系统。该系统包括：用于从每帧获取颜色信息的装置、用于确定每帧的颜色直方图的装置以及利用所述颜色直方图应用边界检测技术的装置。最后，本系统包括用于将视频序列帧分割成均匀色片段的装置。所述边界检测技术包括：系列颜色(family color)直方图方法、加权平均颜色直方图方法、连续颜色直方图方法、随机方法、基于镜头的颜色直方图方法、马赛克颜色直方图方法以及可计算宏片段边界方法。

显然，以上概述和如下详细说明均是示范性的，旨在对要求权利的本发明作进一步解释。

附图是本发明的组成部分，用于图示并进一步说明本发明的方法和系统。附图与如下说明一起用于解释本发明的原理。

图1是可借以实施本发明实施例的通用计算机的示意框图；

图2是说明根据本发明实施例的通用方法的流程图；

图3说明本发明的一个实施例；

图4以流程图形式说明根据本发明另一个实施例的系列颜色直方图方法；

图5说明根据本发明实施例，用于对话宏片段的基于累计直方图的宏边界确定方法的一个示例；

图6说明根据本发明实施例，基于累计直方图的宏边界确定方法的一个示例；

提供如下说明以使本领域技术人员能够实施并利用本发明。本领域技术人员显然容易想到针对优选实施例的各种修改，并且在不背离本发明精神和范围以及所附权利要求的前提下，所提出的公开还可适用于其他实施例和应用。因此，本发明并不局限于所述实施例，而是具有与所提出的公开一致的宽广范围。

系统

最好利用如图1所示的常规通用计算机系统100实施在视频序列中检测均匀色片段边界的方法，其中，图2的进程可以实现为软件，如在计算机系统100内执行的应用程序。具体而言，检测颜色片段边界的方法的步骤通过计算机执行的编码为软件的指令来实施。该软件可以分成两个部分：一部分用于执行视频均匀色片段检测方法；另一部分用于管理后者与用户之间的用户界面。该软件可以存储在计算机可读介质中，包括存储在例如下文所述的存储设备中。该软件从计算机可读介质加载到计算机上，然后由计算机执行。记录有这种软件或计算机程序的计算机可读介质是计算机程序产品。在计算机中使用所述计算机程序产品最好构成根据本发明实施例的用于检测视频的均匀色片段边界的装置。

计算机系统100包括计算机模块105、输入设备如键盘110和鼠标115以及包括打印机120和显示设备125的输出设备。计算机模块105可以利用模块化解调器(Modem)收发器形式的通信设备130来与通信网络135通信，例如可通过电话线路140或其他功能介质连接。通信设备130可以用于获得对因特网和其他网络系统如局域网(LAN)或广域网(WAN)的访问权。

计算机模块105通常包括：至少一个处理器单元145(CPU-中央处理单元)、存储装置150(例如由半导体随机存取存储器(RAM)和只读存储器(ROM)构成)、输入/输出(I/O)接口(包括视频接口155、用于键盘110和鼠标115(可选的)以及可选的游戏杆(未显示)的I/O接口以及用于通信设备130的接口165。设有存储设备170，它通常包括硬盘驱动器175和软盘驱动器180。还可以采用磁带驱动器(未显示)或智能介质型驱动器。CD-ROM驱动器或DVD驱动器185通常作为非易失性数据源提供。计算机模块105的上述组件145至160通常通过互连总线190或其他适合于数据传输的装置(如红外线和蓝牙技术)，以导致本领域技术人员知道的计算机系统100的常规操作模式的方式进行通信。可实施本发明实施例的计算机示例包括IBM-PC及其兼容机，Sun公司的Sparcstations、Apple公司的Macintosh计算机以及由它们发展出来的类似计算机系统。

通常，优选实施例的应用程序驻留在硬盘驱动器175上，并由处理器145在执行时读取和控制它们。利用半导体存储器150(可能要配合硬盘驱动器175)可以实现对从网络135获取的该程序和任何数据的中间存储。在一些情况下，该应用程序可以这样提供给用户：先编码在CD-ROM或软盘上，然后分别通过对应驱动器185或180读取，或者可以由用户通过调制解调器通信设备130从网络135上读取。再者，该软件还可以从其他计算机可读介质加载到计算机系统100中，所述其他计算机可读介质包括磁带、ROM集成电路、磁光盘、计算机模决105与其他设备之间的无线电或红外线传输信道、计算机可读卡如PCMCIA卡以及含电子邮件传输和网站记录的信息等的因特网和企业内部网。上述只是相关计算机可读介质的示例。在不背离本发明的精神或范围的前提下还可以采用其他计算机可读介质。

计算机系统100可以存储大量视频数据，以作为所述均匀色片段边界检测方法的输入。该视频数据可以通过DVD-ROM驱动器185或直接通过摄像放像机(未显示)经输入165输入到计算机系统100。

在视频序列中检测均匀色片段边界的方法也可以用专用硬件，如执行图2所示的功能或子功能的一个或多个集成电路来实现。此类专用硬件可以集成到摄像放像机或VCR等设备上，并且可包括图形处理器、数字信号处理器或一个或多个微处理器和相关存储器。

通用方法

参考图2，图示的一种在视频序列中检测均匀色片段边界的方法。该方法利用一组边界检测技术来对视频序列进行分割并加索引。根据本发明的优选实施例，每种技术基于从视频序列获得的颜色信息来实现。颜色是用于对通用视频序列进行分割并加索引的有效视觉属性。这包括根据“均匀”色间隔进行视频分割。

视频的均匀色片段是一组连续的具有“恒定”颜色或主色的连续帧。为了捕获这些主色，在本发明中采用了颜色直方图。颜色直方图是图像中不同颜色的计数。最好将颜色信息用于将节目片段分类成均匀色片段。

“均匀色片段”可以定义为颜色属性均匀，即在一段时间内基于颜色直方图信息恒定或近似恒定的片段。

因此，图2所示的在视频序列中检测均匀色片段边界的方法包括获取视频序列200中每帧的颜色信息205的步骤。基于所获得的颜色信息，在步骤210确定每帧的颜色直方图。从视频帧导出颜色直方图是本领域熟知的技术。一般来说，每个图像通过多种颜色(称为调色板)来描述。调色板中颜色的数量可以根据应用来选择。颜色直方图统计具有给定颜色范围的图像中的像素的数量。每个颜色直方图与一个帧编号相关联。如上所述以及本领域所熟知的，图像的颜色分布可以用直方图来表示，每个区间(bin)对应于每个颜色分量的一个值范围。例如，对于8位的图像，颜色分量的取值范围在0到255之间。通常，有两种量化方法：定制(或非均匀)和均匀量化。在定制方法中，为本发明目的，最好选择一个颜色比穷举少的调色板。最好不要选择在所有帧中都可能出现的颜色(如黑色、白色或肤色色调)或者为其指配低权值。可以为浅灰色、中灰色和深灰色设缺省区间，以便说明黑和白的色调。也可以为它们指配较其他区间低的权值。

或者，可以采用其他均匀量化方案。颜色量化通常是计算视频直方图的第一步。存在用于颜色量化的不同方法，在本领域中这些方法都是熟知的。所涉及的因素有：要使用哪种彩色空间(HSV、YUV、RGB)，要选择多少种颜色和如何进一步划分彩色空间(例如9、30、90、900)。例如，可以将128个区间用于Y(亮度)或将总共288个区间用于按比例缩小的Y、C_r(红色色度)、Q_b(蓝色色度)。有许多可用的选择。为了举例，且因为MPEG在Y、C_r、Q_b彩色空间操作，本说明书全部采用此彩色空间进行描述。或者，可以将HSB(色调、饱和度、亮度)彩色空间用于定义基本颜色区间。

在步骤210为每帧定义了直方图之后，在步骤215应用以下将详细讨论的边界检测技术之一。在应用边界检测技术之后，在步骤220将视频流分割成均匀色片段。

应用特定的边界检测技术

目前，视频流是由一组连续帧或交织场组成的。可以根据MPEG(1，2，4)视频流中I帧的位置或通过提取的视频镜头来为帧加索引。MPEG是一种视频压缩标准，它表示运动图像专家组。也可以基于其他方法来提取视频镜头，例如本领域中为人熟知的基于DCT(离散余弦变换)的方法。例如，Peter D.Symes所著的《揭开视频压缩的神秘面纱)》(Demystified by Peter D.Symes，McGraw-HillProfessional Publishing；ISBN：0071363246；1st edition(December 20，2000))中公开了此类技术，该论著通过引用全部结合于本文中。

参考图3，其中显示了含有N帧的视频序列的典型I帧集合。每个I帧对应于一个9区间颜色直方图CH[i][j]，其中索引号i表示区间位置，索引号j表示视频序列中帧的位置。下文将描述基于颜色“均匀性“在视频序列中检测边界的不同技术。“均匀性”的概念对所述的每种方法而言都是不同的。此外，在视频压缩的MPEG领域中，可以将任何类型的帧，例如I、P或B类型的帧与如下所述的任何技术一起使用。最好采用I帧，因为P和B帧存在丧失分辨率的问题。

1.系列颜色直方图

在此方法中，“系列“颜色直方图CH_F[i][j]按如下步骤生成：对于1≤j≤N(其中j是帧索引号，i是区间索引号)：

参考图4，通过计算如下差值度量将第j帧的颜色直方图CH[i][j]与“系列”颜色直方图CH_F[i][j]的对应直方图作比较(步骤400)：

{DCH}_{F} [j] = Σ_{i = 1}^{9} | | CH [i] [j] - C H_{F} [i] [j - 1] | |

公式(1)

其中度量‖.‖可以是L₁、L₂等，如下将对此予以讨论。为举例而非限制，采用9个区间。DCH_F[j]表达式中的“系列”颜色直方图帧索引号是j-1。

(a)如果第j帧的DCH_F[j]小于阈值τ_DCHF，则CH[i][j]与CH_F[i][j-1]“合并”(步骤415)，从而生成CH_F[i][j]。所述“合并”可以通过执行简单的加权平均或采用如下所述的卡尔曼滤波来执行。

(b)如果第j帧的DCH_F[j]大于阈值τ_DCHF，则CH[i][j]将开始新的“系列”颜色直方图(步骤410)，并将第j帧视为下一个视频“均匀色片段”的第一帧。

(c)最好重复步骤(a)和(b)，直到j＝N为止。在此过程结束时，就确定了具有“均匀的”颜色调色板的连续视频“均匀色”片段集合。每个“系列”颜色直方图中可以有多个主区间。

如上所述，计算每帧的颜色直方图，并搜索先前计算的系列直方图，以查找最接近的系列直方图匹配。可以采用各种直方图比较方法来计算当前直方图CH_C(等效于CH[i][j])和先前序列直方图CH_P(等效于CH_F[i][j-1])之间的比较结果。根据本发明的另一个实施例，可以采用如下方法来计算直方图差D：

(1)可以使用如下公式计算利用L₁距离测量的直方图差值：

D = Σ_{i = 1}^{N} | C H_{c} (i) - {CH}_{P} (i) |

这里，N是所采用的颜色区间的总数(例如可以采用9个区间)。利用此公式获得的值范围在0到各图像中最大像素数的两倍之间。因为最好能够获得相似度的百分比，所以通过除以该总像素数来将该值归一化。归一化值在0与1之间，其中接近0的值表示图像相似，而接近1的值表示图像不相似。

(2)或者，使用如下公式来计算利用L₂距离度量的直方图差：

D = \sqrt{Σ_{i = 1}^{N} {({CH}_{C} (i) - {CH}_{P} (i))}^{2}}

类似于情况(1)，最好将D的值归一化。L₂范数是平方值。但是，为了将其用作距离函数，取平方根(例如欧几里德距离)是必要的。

(3)可以使用如下公式来计算直方图相交：

I = \frac{Σ_{i = 1}^{N} \min ({CH}_{C} (i), {CH}_{P} (i))}{Σ_{i = 1}^{N} {CH}_{C} (i)}

利用此公式获得的值范围在0到1之间。接近0的值表示图像不相似，接近1的值表示图像相似。为了比较使用相同的相似度解释的直方图，将公式D＝1-I用作距离度量。

(4)使用如下公式来计算两个图像直方图的卡方检验：

x^{2} = Σ_{i = 1}^{N} \frac{{({CH}_{C} (i) - {CH}_{P} (i))}^{2}}{{({CH}_{C} (i) + {CH}_{P} (i))}^{2}}

在此情况下，值范围在0到颜色区间数N之间。利用N将这些值归一化，即D＝x²/N。

(5)使用如下公式计算按区间(Bin-wise)的直方图相交：

B = Σ_{i = 1}^{N} \frac{\min ({CH}_{C} (i), {CH}_{P} (i))}{\max ({CH}_{C} (i), {CH}_{P} (i))}

与直方图相交类似，较低的值表示不相似，较高的值表示图像相似。为了与先前的测量一致，距离计算为：D＝1-B/N。

以上五种方法允许测量直方图之间的距离。本领域技术人员会理解，可以将以上五种距离度量中的任何一种用于本发明的实际应用中。此外，现有技术公开了可以采用的其他替代性距离度量(例如马哈拉诺比斯距离)。

2.加权平均颜色直方图

或者，根据本发明的另一个实施例，一种实施上述方法的途径涉及计算加权平均颜色直方图高度、加权平均颜色直方图高度方差以及加权平均颜色直方图方差的方差。这三种平均定义如下：

(a)第j帧的第i区间的加权平均颜色直方图高度<h>_i，j：

{&lang; h &rang;}_{j} = Σ_{i = 1}^{# bins} h_{i, j} \frac{e^{{(h_{i, j} - &lang; h {&rang;}_{j - 1})}^{2} / 2 \cdot σ_{h}^{2}}}{σ_{h} \cdot \sqrt{2 \cdot π}}

公式(2)

其中

表示在时刻j-1定义的取决于平均直方图高度<h>_j-1的高斯加权函数，而σ_h是高度方差参数。

(b)加权平均颜色直方图高度方差<v>_i：

{&lang; v &rang;}_{j} = Σ_{i = 1}^{# bins} v_{i, j} \frac{e^{{(v_{i, j} - &lang; v {&rang;}_{j - 1})}^{2} / 2 {\cdot σ}_{v}^{2}}}{σ_{v} \cdot \sqrt{2 \cdot π}}

公式(3)

其中v_i，j≡h_i，j-<h>_j和

是高斯方差加权值，σ_v是方差参数。

(c)加权平均颜色直方图高度方差的方差<a>_i：

{&lang; a &rang;}_{j} = Σ_{i = 1}^{# bins} a_{i, j} \frac{e^{{(a_{i, j} - &lang; a {&rang;}_{j - 1})}^{2} / 2 {\cdot σ}_{a}^{2}}}{σ_{a} \cdot \sqrt{2 \cdot π}}

公式(4)

其中，a_i，j≡v_i，j-<v>_j以及是高斯加权，σ_a是加速方差参数。

在连续瞬间比较这三个平均值，即I帧或视频抽样的帧，以检查指示出现新“颜色”的锐变(sharp variation)，由此检查到新的均匀色片段。然后将这些平均值归一化，得到例如范围在0至1之间的值。

存在可能的平均值变化趋势。例如，连续且一致的较高方差对应于摇摄的均匀色片段。最后，当出现新的颜色时，平均值会包含更多的信息，因此被指配比先前存在的区间更大的权值。如果<v>_j和<a>_j超过预定阈值，则找到新的均匀色片段，否则存在与时刻j-1一样的均匀色片段。

3.连续颜色直方图

在本技术中，根据本发明的另一个实施例，通过比较连续帧之间的颜色直方图来检测视频边界。因此，如果CH[i][j]与CH[i][j-1]是在帧j和帧j-1上定义的对应于第i区间的两个颜色直方图，则按如下公式计算差值度量：

DC H_{S} [j] = Σ_{i = 1}^{9} | | CH [i] [j] - C H [i] [j - 1] | |

公式(5)

这里采用9个区间。

如果DCH_S[j]大于阈值τ_DCHS，则第j帧确定为颜色边界，并将其视为新的“均匀”色视频片段的第一帧。

4.随机方法

根据本发明的另一个实施例，随机方法是基于卡尔曼滤波技术来实施的。卡尔曼滤波器本质上是一组实现预测校正型估计器的数学公式，它在当假定的条件得到满足时使估计的误差协方差最小的意义上最优的。卡尔曼滤波器解决的问题是：给定给定时刻特征矢量例如图像像素的位置和速度的估计，求时刻t+1的估计矢量值。这利用了状态公式行为的知识以及给定的测量公式。

卡尔曼滤波技术在本领域是众所周知的。

根据本发明的技术的一般思想是，“跟踪”这样的视频间隔：其中，按i索引的N个区间的颜色直方图CH[i][j]是“均匀的”。对于每个时刻j，CH[i][j]表示N个分量的矢量。在卡尔曼滤波技术用语中，这称为状态矢量。

有两个描述卡尔曼滤波方法的公式：状态公式和测量公式。

在描述每个公式之前，定义下列项：

颜色直方图矢量：

CH[j]＝(CH[1][j]，...，CH[9][j])^T，公式(6)

在第j帧定义9个分量，每个颜色区间对应一个。颜色直方图差矢量DCH[j]定义为：

DCH[j]≡(DCH[1][j]，...，DCH[9][j])^T≡‖CH[j]-CH[j-1]‖，

公式(7)

其中‖·‖表示度量算子。

对于第i个颜色直方图矢量和和颜色直方图差值矢量，我们得到时刻j上的如下状态公式：

CH[i][j+1]＝CH[i][j]+DCH[i][j]+0.5w_CH[i][j]，公式(8.1)

DCH[i][j+1]＝DCH[i][j]+w_DCH[i][j]，公式(8.2)

其中w_CH[·][j]和w_DCH[·][j]分别表示颜色直方图和颜色直方图差值的状态噪声函数。类似地，两个测量公式为：

M_CH[i][j]＝CH[i][j]+n_CH[i][j]，公式(9.1)

M_DCH[i][j]＝DCH[i][j]+n_DCH[i][j]，公式(9.2)

其中n_CH[·][j]和n_DCH[·][j]分别是颜色直方图和颜色直方图差值的测量噪声函数。

这四个公式可以组合起来形成一个状态和测量公式。利用CH[j]和DCH[j]，离散状态矢量S[j]定义为：

S[j]≡(CH[j]，DCH[j])^T，公式(10)

S[j]的时间演化状态模型为：

S[j+1]＝F_j S[j]+D_W[j]，公式(11)

其中

F_{j} = [\begin{matrix} F_{1, j} & F_{2, j} \\ F_{3, j} & F_{4, j} \end{matrix}]

公式(12)

其中F_1，j、...、F_4，j是9×9的矩阵，F_3，j＝ 0，且 0是9×9的零矩阵；以及

D = {(0.5 \times \underset{&OverBar;}{\underset{&OverBar;}{1}}, 0.5 \times \underset{&OverBar;}{\underset{&OverBar;}{1}}, \underset{&OverBar;}{\underset{&OverBar;}{1}}, \underset{&OverBar;}{\underset{&OverBar;}{1}})}^{T}

公式(13)

其中

是1×9的单位矢量。具体而言，为重现(8.1)和(8.2)：

F_{j} = [\begin{matrix} 1 & 1 \\ 0 & 1 \end{matrix}]

公式(14)

矢量w[j]是零平均值的离散高斯随机变量(RV)，即E[w[j]]＝0，E[w[j]w[k]]＝Qδ_jk，其中E[.]表示RV的期望值，以及如果j＝k，则δ_jk＝1；否则δ_jk＝0。

测量模型M[j]为：

M[j]＝H_jS[j]+n[j]，公式(15)

其中

H_{j} = [\begin{matrix} H_{1, j} & H_{2, j} \\ H_{3, j} & H_{4, j} \end{matrix}]

公式(16)

H_1，j、...、H_4，j是9×9矩阵，n[j]是w[j]的具有模拟特性的噪声，即E[n[j]]＝0，E[n[j]n[k]]＝Rδ_jk。具体而言，为重现(9.1)和(9.2)，我们有：

F_{j} = \begin{matrix} [\begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix}] \end{matrix}

公式(17)

给定状态和测量模型，可以证明卡尔曼滤波器预测和滤波更新公式为：预测：

{\hat{S}}_{j | j - 1} = F_{j} {\hat{S}}_{j - 1 | j - 1},

公式(18.1)

Σ_{j | j - 1} = F_{j} Σ_{j - 1 | j - 1} F_{j}^{T} + D_{j} Q_{j} D_{j}^{T},

公式(18.2)

滤波：

{\hat{S}}_{j | j} = {\hat{S}}_{j | j - 1} + Σ_{j | j - 1} H_{j}^{T} {(H_{j} Σ_{j | j - 1} H_{j}^{T} + R_{j})}^{- 1} (M_{j} - H_{j} {\hat{S}}_{j | j - 1}),

公式(19.1)

Σ_{j | j} = Σ_{j | j - 1} - Σ_{j | j - 1} H_{j} {(H_{j}^{T} Σ_{j | j - 1} H_{j} + R_{j})}^{- 1} H_{j}^{T} Σ_{j | j - 1},

公式(19.2)

其中

{\hat{S}}_{j | j - 1} = E [S [j] | M [1], . . ., M [j - 1]],

公式(20)

{\hat{S}}_{j | j} = E [S [j] | M [1], . . ., M [j]],

公式(21)

Σ_{j | j - 1} = E [S [j] - {\hat{S}}_{j | j - 1}] [S [j] - {\hat{S}}_{j | j - 1}]^{T} | M [1], . . ., M [j - 1]],

公式(22)

Σ_{j | j} = E [S [j] - {\hat{S}}_{j | j}] [S [j] - {\hat{S}}_{j | j}]^{T} | M [1], . . ., M [j]]

公式(23)

表示给定直到时刻j-1的测量值时，时刻j的状态矢量

的估计。与相似，不同之处在于它表示时刻j-1估计的状态矢量。∑_j|j-1表示给定直到时刻j-1的测量值时，时刻j上估计的协方差矩阵；而∑_j-1|j-1表示给定直到时刻j-1的测量值时，时刻j-1上估计的协方差矩阵。

随着时间的推移，CH[i][j]得到更新。在卡尔曼滤波方法中，确定CH[i][j]的演化。最好还确定误差，即CH[i][j]与其“平均”矢量之差。在时间上连续的色直方图之间，颜色直方图差值矢量按DCH[i][j]＝CH[i][j-1]-CH[i][j]定义。使用DCH[i][j]是为了确定CH[i][j]何时变化，即它是“速度”。如果CH[i][j]恒定，则DCH[i][j]为零。

获得的样本越多，此联合状态矢量的“预测结果”就会越好。在给定视频均匀色片段，例如具有固定背景和前景色调色板的新闻播报中，用于确定颜色直方图矢量的I帧越多，则预测结果越好。

测量模型M[j]＝H_jS[j]+n[j]对应于颜色直方图的实际测量值及其差值。在卡尔曼滤波方法中，有两组公式：预测公式和滤波公式。预测部分在给定相同数量帧的条件下，确定估计状态矢量和方差矩阵从一个时刻到其相继时刻如何演化，而滤波部分通过添加“新的”帧信息确定该状态矢量和方差矩阵如何演化。

卡尔曼滤波的基本概念是：随着帧数量增加，方差矩阵的元素趋于零，而状态矢量的元素变成“常量”。当CH元素变成常量时，DCH元素通常趋于零。

因此，如果存在均匀色片段变化，则预计颜色调色板将改变，由此将不再满足预测和滤波条件。因此，最好采用确定新的均匀色片段何时开始的度量。为此，可以将测得的差矢量MDCH[j]与(根据卡尔曼滤波方法)估计的差矢量进行比较。如果该矢量比预定阈值大，例如大于20％的估计差，则有一个新的均匀色片段开始。这样就检测到了均匀色片段边界。

卡尔曼滤波通常旨在确定变量的时间演化，以便它们的方差渐进地趋于零，即方差变为在时间上恒定。但是，如果变量发生突变，例如对象的方向和/或速度发生突变，则该卡尔曼滤波方法将不适用。通常通过以加权平均颜色直方图方法计算的方差值中的峰值来检测这种突变。根据本发明，突变发生在有镜头或场景变更时。

5.基于镜头的颜色直方图

根据本发明的另一个实施例，应用基于镜头的颜色直方图技术。运用此技术，基于镜头来检测视频边界。

设有含N帧的视频序列的M个镜头的集合{Sh₁，...，Sh_M}。每个镜头对应于例如一个9区间颜色直方图CH[i][j]，其中索引号i表示区间位置，索引号j表示视频序列中帧的位置。取决于具体的应用，可以采用任何数量的区间。镜头Sh₁的代表性颜色直方图CH[Sh₁]确定为给定镜头内的“平均”颜色直方图。最好，利用如上所述的卡尔曼滤波方法来将此技术公式化。例如，在给定一组颜色直方图{CH[Sh₁]，...，CH[Sh_M]}的情况下，可以确定视频均匀色片段的边界。

6.马赛克颜色直方图

根据本发明的另一个实施例，马赛克颜色直方图技术假定计算3维均匀色片段静止部分，即图像背景部分的马赛克部分。计算马赛克颜色直方图方法是本领域熟知的。例如，L.Theodosio，W.Bender所著的《突出的视频静止图像：保留的内容和上下文》(Salient VideoStills：Content and Context Preserved，Proceedings of ACM MultimediaConference，ACM Press(1993))中公开了此类技术之一，此文献通过引用全部结合于本文中。可以利用摄像机运动检测方法以及图像合成方法导出马赛克图像或全景概貌图。对于视频镜头，马赛克表示法是一种较好的视觉、空时合成表示法。马赛克提取法通常包括两个步骤：运动估计和运动增长(motion accretion)。在生成过程的给定时刻，将输入帧与由先前帧组成的当前马赛克合并。为了合并输入的帧，采用全局运动估计算法来查找移动参数。运动估计法是本领域技术人员熟知的方法。例如，一种经典方法是光流计算法。但这种方法是技术密集型的，且随照明条件变化稳健性不足。或者，可以采用豪斯多夫距离法来执行运动估计。在运动估计之后，利用加权函数计算当前马赛克，以拒绝图像中不属于背景的部分，然后混和当前马赛克和变形的输入帧。

根据本发明的实施例，用于构造全景马赛克的典型方法包括从每个图像收集称为条带(strip)的部分，并将这些条带彼此粘贴形成马赛克。在摇摄(水平移动)的简单情况中，从每个图像提取垂直条带，并将其并排粘贴。此过程还可以视为以垂直扫描来扫描场景。垂直扫描与水平光流垂直。在将这些条带缝合在全景图像中之后，光流指向生成全景图像的方向。可以根据摄像机的移动选择不同的扫描方法。例如，可以选择垂直扫描法来实现摇摄，可以选择水平扫描法来实现倾斜，可以选择圆形扫描法来实现缩放和向前移动。

根据本发明的另一个实施例，对于每个马赛克图像，计算颜色直方图以表示从镜头开始直到当前帧的视频片段。帧编号0与帧编号j之间的均匀色片段马赛克的颜色直方图CH_i ^Mosaic是单个图像的颜色直方图。通过计算如下差值度量将第j帧马赛克的颜色直方图CH^M[i][j]与“系列马赛克”颜色直方图CH_F ^M[i][j]的对应直方图作比较：

{DCH}_{F}^{M} [j] = Σ_{i = 1}^{9} w_{i} | | {CH}^{M} [i] [j] - {CH}_{F}^{M} [i] [j - 1] | |

公式(24)

最好，在为每个新马赛克化图像的片段构建马赛克时，针对每个新输入的马赛克计算归一化的颜色直方图。因为马赛克图像往往比原图像大，所以最好将该颜色直方图归一化。同样地，当计算了新的颜色直方图且新颜色区间得到新颜色(即新颜色出现)时，马赛克的直方图包含更多的信息。因此，为新颜色区间指配比现有区间更高的重要性，即为该颜色区间指配更高的权值w_i。可以利用如上所述的L₁度量来指配权值。或者，本领域技术人员会理解，可以采用如上所述的其他度量，例如L₂、直方图相交、直方图卡方或逐区间进行的直方图相交。

根据本发明的实施例，该马赛克颜色直方图方法可按上述第一节有关系列颜色直方图的讨论进行。

7.可计算宏片段边界

可计算场景通常定义为彼此相关的均匀时间片段序列。例如，对话场景是显示对话双方的时间片段序列。

根据本发明的实施例，宏片段边界检测法包括：将系列(累积)直方图列表{P₁，...，P_z}中的每个系列直方图P_i与后续的系列直方图P_i+j(其中1＜j，z≥j)。最好，超前窗口(look ahead window)不必跨越所有直方图直到节目结束为止(如TV表演或消费家庭视频)。

最好，假定跨越不应超前半小时，因为大多数连续剧的长度都在半小时。同样地，在电影或较长的节目中，一般以连续的方式展开视觉内容，即基于先前的场景构建场景或重复场景。

因此，根据本发明实施例，宏片段边界检测方法包括如下步骤：

a)如第1、2或6节所述执行均匀分割；

b)为整个TV节目的每个均匀片段创建累积直方图；

c)对于一个片段的每个直方图，创建相似度曲线y_i(x)，此曲线描绘与其余的直到节目结束(或超前窗口结束)为止的直方图的相似度。x轴是帧编号(或时间)，y轴是当前片段的当前累积直方图与所有将来的累积直方图之间的相似度度量。因此，将相似度曲线公式化为：

y_{j} (x) = \{\begin{matrix} 0 & 0 \leq x < j - 1 \\ 1 - DCH [j] & x > j \end{matrix}

公式(25)

d)生成所有相似度曲线的加性相似度曲线，以表示时间片段与将来时间片段之间的相似度。该加性相似度曲线可以公式化为：

Y (x) = Σ_{j = 1}^{N} y_{j} (x)

公式(26)

e)最后，如果无法确定一系列直方图P_k、...、P_j和P_j+m、...、P_t之间的相似度，即这些连接(相似)节点之间存在明显的不连续，则存在节目边界。对于加性相似度曲线，这意味着每次存在边界时，该曲线就穿越x轴。此外，对于零片段，有两种选择：1)取整个零片段作为一个宏片段；或2)在每个新宏片段编号处设置边界。

在表演节目中，通常会有散布有广告的直方图的重复系列直方图，如图5所示。例如，从插播的直方图导出累积直方图P₁₄和P₃₅。直方图P₂和P₆是中断性直方图，因此它们可能属于插播的广告。在前5个直方图之间存在相似度；以及在第7和第8个直方图之间存在相似度，这表示P₆和P₇ ⁷之间存在边界。

图6说明对话宏片段之后的宏边界的示例和对应的相似度函数。图中显示了构成对话宏片段的前6个均匀时间片段的相似度函数y₁(x)，...，y₆(x)。加性相似度函数说明前6个片段P₁和P₆的集合内的相似性。

对本领域技术人员而言，显然可以在不背离本发明范围的前提下，就本发明的方法和系统进行各种修改和变化。因此，意图是本发明涵盖在所附权利要求及其等同物范围内的所有修改和变化。

Claims

1.在视频序列中检测一系列连续帧的片段边界的方法，它包括：

从每个帧获取颜色信息；

确定每个帧的颜色直方图；

利用所述颜色直方图应用边界检测技术；以及

将所述视频序列帧分割成均匀色片段。

2.如权利要求1所述的方法，其特征在于：所应用的边界检测技术是系列颜色直方图方法，它包括如下步骤：基于连续帧的颜色直方图计算比较度量，并基于所述比较度量生成系列直方图。

3.如权利要求2所述的方法，其特征在于：所述比较度量基于如下公式：

{DCH}_{F} [j] = Σ_{i = 1}^{n} | | CH [i] [j] - C H_{F} [i] [j - 1] | |

其中DCH[j]是帧j和帧j-1之间的颜色直方图差值，CH[i][j]是在帧j上定义的第i区间的颜色直方图，n是区间数。

4.如权利要求2所述的方法，其特征在于还包括如下步骤：当所述比较度量小于阈值时，将连续帧的颜色直方图与第一个系列直方图合并。

5.如权利要求2所述的方法，其特征在于还包括如下步骤：当所述比较度量大于所述阈值时生成新的系列直方图，以表示新的均匀色片段的第一帧。

6.如权利要求1所述的方法，其特征在于：所应用的边界检测技术是加权平均颜色直方图方法，它包括如下步骤：计算加权平均颜色直方图高度和加权平均颜色直方图高度方差。

7.如权利要求6所述的方法，其特征在于还包括如下步骤：计算所述方差的加权平均颜色直方图高度方差。

8.如权利要求6所述的方法，其特征在于：所述加权平均颜色直方图高度基于如下公式：

{< h >}_{j} = Σ_{i = 1}^{# bins} h_{i, j} \frac{e^{\frac{{(h_{i, j} - {< h >}_{j - 1})}^{2}}{2 \cdot σ_{h}^{2}}}}{σ_{h} \cdot \sqrt{2 \cdot π}}

9.如权利要求6所述的方法，其特征在于：所述加权平均颜色直方图高度方差基于如下公式：

{< v >}_{j} = Σ_{i = 1}^{# bins} v_{i, j} \frac{e^{\frac{{(v_{i, j} - {< v >}_{j - 1})}^{2}}{2 \cdot σ_{v}^{2}}}}{σ_{v} \cdot \sqrt{2 \cdot π}}

10.如权利要求7所述的方法，其特征在于：所述方差的所述加权平均颜色直方图高度方差基于如下公式：

{< a >}_{j} = Σ_{i = 1}^{# bins} a_{i, j} \frac{e^{\frac{{(a_{i, j} - {< a >}_{j - 1})}^{2}}{2 \cdot σ_{a}^{2}}}}{σ_{a} \cdot \sqrt{2 \cdot π}}

11.如权利要求7所述的方法，其特征在于还包括：将所述加权平均值<v>_j和<a>_j与预定阈值比较，并在所述加权平均值超过所述预定阈值时确定新的均匀色片段。

12.如权利要求1所述的方法，其特征在于：所应用的边界检测技术是连续颜色直方图方法，此方法包括如下步骤：利用比较度量比较连续帧之间的颜色直方图。

13.如权利要求12所述的方法，其特征在于：所述比较度量基于如下公式：

{DCH}_{S} [j] = Σ_{i = 1}^{n} | | CH [i] [j] - C H [i] [j - 1] | |

其中DCH是帧j和j-1之间的颜色直方图差值，CH[i][j]是在帧j上定义的第i区间的颜色直方图，n是区间数。

14.如权利要求12所述的方法，其特征在于还包括如下步骤：当所述比较度量大于阈值时，确定标识新的均匀色片段的第一帧。

15.如权利要求1所述的方法，其特征在于：所应用的边界检测技术是基于卡尔曼滤波技术的随机方法。

16.如权利要求15所述的方法，其特征在于还包括如下步骤：

定义颜色直方图i的帧j上的状态和测量公式。

17.如权利要求15所述的方法，其特征在于还包括如下步骤：

从所述视频序列的第一帧开始利用卡尔曼滤波方法处理所述视频序列，所述卡尔曼滤波方法利用状态和协方差函数估计颜色直方图矢量和颜色直方图差值矢量；以及

当所述协方差矩阵的卡尔曼滤波估计值大于阈值时，确定有新的均匀色片段。

18.如权利要求16所述的方法，其特征在于：所述状态公式基于：

CH[i][j+1]＝CH[i][j]+DCH[i][j]+0.5w_CH[i][j]，

DCH[i][j+1]＝DCH[i][j]+w_DCH[i][j]，

其中w_CH[·][j]和w_DCH[·][j]是颜色直方图和颜色直方图差值的状态噪声函数。

19.如权利要求16所述的方法，其特征在于：所述测量公式基于：

M_CH[i][j]＝CH[i][j]+n_CH[i][j]，

M_DCH[i][j]＝DCH[i][j]+n_DCH[i][j]，

其中n_CH[·][j]和n_DCH[·][j]是颜色直方图和颜色直方图差值的测量噪声函数。

20.如权利要求1所述的方法，其特征在于：所应用的边界检测技术是基于镜头的颜色直方图方法。

21.如权利要求20所述的方法，其特征在于：所述基于镜头的颜色直方图方法包括如下步骤：

为所述视频序列中的多个镜头添加索引；

为每个镜头计算颜色直方图；

比较每个镜头的颜色直方图；以及

基于每个镜头的颜色直方图的比较确定均匀色片段边界。

22.如权利要求1所述的方法，其特征在于：所应用的边界检测技术是马赛克颜色直方图方法。

23.如权利要求22所述的方法，其特征在于：所述马赛克颜色直方图方法包括如下步骤：

计算一系列帧的马赛克；

确定所述马赛克的颜色直方图；

将帧的颜色直方图与所述马赛克的颜色直方图比较；

当一个马赛克的颜色直方图与一帧的颜色直方图等效时，确定均匀色片段边界。

24.一种用于在视频序列中检测一系列连续帧的片段边界的系统，它包括：

用于从每帧获取颜色信息的装置；

用于确定每帧的颜色直方图的装置；

利用所述颜色直方图应用边界检测技术的装置；以及

用于将所述视频序列帧分割成均匀色片段的装置。

25.如权利要求24所述的系统，其特征在于：所述边界检测技术是系列颜色直方图方法。

26.如权利要求24所述的系统，其特征在于：所述边界检测技术是加权平均颜色直方图方法。

27.如权利要求24所述的系统，其特征在于：所述边界检测技术是连续颜色直方图方法。

28.如权利要求24所述的系统，其特征在于：所述边界检测技术是随机方法。

29.如权利要求24所述的系统，其特征在于：所述边界检测技术是基于镜头的颜色直方图方法。

30.如权利要求24所述的系统，其特征在于：所述边界检测技术是马赛克颜色直方图方法。

31.一种可被所述系统读取的存储介质设备，其中包含根据如下步骤生成的视频数据的特征描述：

从每帧获取颜色信息；

确定每帧的颜色直方图；

利用所述颜色直方图应用边界检测技术；

将所述视频序列帧分割成均匀色片段；以及

将所述分割数据存储在所述存储介质中。

32.一种在视频节目中检测宏片段的宏边界的方法，所述方法包括：

对视频节目执行均匀分割；

为每个均匀片段创建累积颜色直方图；

为所述均匀片段的每个累积颜色直方图创建相似度曲线，所述相似度曲线描绘与其余直方图的相似度，直到所述视频节目结束为止；

生成包括所有表示瞬间片段与未来瞬间片段之间相似度的相似度曲线的加性相似度曲线；

如果所述加性相似度曲线上的连接节点之间存在不连续性，则检测到所述宏边界，以便不在一系列累积颜色直方图之间建立相似度。