CN100378726C - 用于分割多媒体数据的方法和设备 - Google Patents

Abstract

本发明涉及一种分割与导航节点关联的多媒体数据的方法，节点控制对关联数据项和后续节点的访问。本发明的特点是，与较后者以连续方式关联的节点和数据被分组到临时单元中，包括起始节点和与这个节点关联的数据，分组到临时单元中的每个节点紧随着已经包含在这个临时单元中的节点，直到临时单元的尺寸达到限值为止，于是临时单元中的彼此紧随的节点对，将与已识别对的两个节点关联的数据的共同数据数量参数减到最小，由在与该对的第一个节点关联的数据之前分组到临时单元中的数据形成确定单元。

Description

用于分割多媒体数据的方法和设备

技术领域

本发明涉及用于分割多媒体数据的一种方法和一种设备，特别涉及与导航节点(navigation node)关联的数据。

背景技术

通过诸如互联网络的电信网络传输的数据的吞吐量，和这些数据的多样性不断增加，日益数量增多的终端和服务器使用这些网络来传输或接收各种类型数据，例如，涉及音频和/或视频文档、程序、文本、二维或三维图像编码的图形数据、或其他带有允许访问新数据的超链接的文本。

当文档包括各种类型数据时，这些文档和这些数据在下文中称为多媒体。

对数据D₀、D₁、D₂、D₃和D₄(图11)行的操作，例如它们的编码/解码、它们的传输、它们的接收和/或它们的显示，当将这些数据分组或分割(fragment)为单元(cell)C₀、C₁、C_2/3和C₄时，将完成得更简单和更快速。

这样的分割使诸如在传输这些数据时对它们执行多路复用(multiplex)，或在与它们接收的汇接(tandem)中执行它们的处理成为可能。

换句话说，把数据分割为单元(cell)优化了对于处理这些数据的各种终端和服务器而言的有限内存容量和计算能力的使用，以及对于网络而言的有限带宽和传输资源的使用。

此外，已知把导航节点N₀、N₁、N₂、N₃和N₄与数据D₀、D₁、D₂、D₃和D₄关联是为了确定访问后者的顺序。为此，每个节点N_i包括了识别与其关联的数据D_i的方法及至少识别一个后继节点N_(i+1)的方法。换句话说，从前一个节点N_i开始进行访问节点N_(i+1)和与其关联的数据D_(i+1)。

如图1所示，每一个单元C_i可包括与该单元C_i中包括的数据D_i关联的节点Ni。

导航图可由如节点N_i连接到单个前接节点N_i-1和单个后继节点N_i+1的连续节点组成。在这种情况下，这样的图称为线性的或一维的。

相反地，图可包括连接到若干个节点的节点，例如节点N₁或N₄。该导航图则称为非线性的或多维的。在这种情况下，两个节点N₂和N₄可以是同一个节点N₁的后继节点(两个节点N₁和N₃可分别是同一个节点N₄的前接节点)。此外，节点N₁是节点N₀的后继节点，节点N₂、N₄和N₀在下文中称为N₁的相邻节点。

当不同单元C_i和C_k包括相同或冗余数据D_i和D_k时，这些单元C_i和C_k被认为是冗余的。诸如这样的冗余数据经常用在多媒体文档中，其中相同的数据用于不同的应用。例如，在电子书中，同一个图像可用于多个不同页的显示，在这种情况下，与该图像有关的数据存在于与这些页面相关的各个单元中。

在与图形数据相关的另一个例子中，对对象(object)编码的数据可存在于包括此对象的场景的不同视点的特定单元中。

然而，在分割数据时限制冗余单元的产生是可取的，以允许更快速和更简单的数据处理，因为冗余单元的处理导致相同数据的重复处理。例如，冗余单元的传输需要冗余数据的重复传输。

换句话说，要优化多媒体数据的分割，将相同或冗余的数据分组到同一个单元中是可取的。

要分割一组数据到单元中，已知可通过考虑包含在单元中作为分割参数的数据量来建立数据单元。换句话说，通过将相邻数据分组到单元中来产生数据单元，直到后者达到特定尺寸为止。就避免形成冗余单元而言，这样一种方法有未优化数据分割的缺点。

同样已知的是，使用与这些数据关联的导航节点并且考虑这些数据的类型和/或应用。为此，每个节点N_i包括确定与其关联数据的类型和/或应用的方法，以这样一种方式：通过将与同一类型或同一应用相关的数据分组，来允许对它们进行分割。因此，当文档包括若干页文本时，与这些页相关的文本数据D_i可进行如下方式的分割，即单元C_k的数据D_i特定于文档的页面k。

于是，单元C_k的传输将包括与文档的页面k相关的数据D_k。在这种情况下，例如，第一数据单元C₁、C₂...和C_k的接收允许用户在传输随后的页面时处理页面1、2、...k。

根据另一个例子，三维图像编码的数据通常以与场景和/或对象有关的视点的函数来分割。例如，单元C_k可根据第一视点组成场景的表示，而下一单元C_k+1，就是说从单元C_k可访问到的一个，可包括与接近于第一的第二个视点有关的数据，因此从第一个单元C_k切换到第二个单元C_k+1相当于视点的转移。

根据另一个例子，当数据对包括若干个房间的住宅编码时，单元C_k的数据D_i可与此住宅的一个房间有关，而下一个单元C_k+1的数据D_n可与一个相邻房间有关。在这种情况下，从单元C_k切换到下一个单元C_k+1将代表从一个房间切换到相邻房间。

但是，这些分割方法考虑了所分割数据的类型和/或应用，因此它们不能用于分割各种类型的多媒体数据，对于该多媒体数据，同时需要各种应用，例如图形和音频。

要执行与三维图像有关的数据分割，已知的分割算法使用表示法标准(representation criteria)，即每个节点包括与场景和/或对象的视点相关的表示，该场景和/或对象由与其关联的数据编码。例如，TELLER和SEQUIN在91年杂志SIGG-GRAPH中发表的标题为“Visibility preprocessing for interactivewalkthroughs”的文章中描述的公知的对象搜索算法，它可实现：标识以图像编码的对象和分配特定单元给与该对象有关的数据。

但是，这篇文档里描述的方法特定于建筑环境，例如属于建筑物的，单元Ck被预定义以包括与被诸如墙的垂直分隔物限制的图像有关的相似类型的图形图像。因此它不可能分割与扇区(sector)而不是建筑有关的图形数据。以类似于上文描述的方法，不可能分割多媒体数据。

1998年11月12日在MEDIA DESIGN GES MULTIMEDIA&ONLINE

PUB发表的标题为“Verfahren zum Darstellen von und navigieren inumfangreichen，Grafikelemente enthaltenden Dateien”的专利DE 19723102公开了一种分割数据的方法，该方法分配与二维地理位置地图有关的地图数据到每个单元C_k。在某种意义上类似于上文描述的方法，这个分割方法有依赖于所分割数据的类型也就是二维地图数据的缺点。此外，这个方法不处理冗余数据的情况，如上所述，将冗余数据分组到同一个单元中是可取的。

同样的，标题为“Method and apparatus for visualizing and exploring largehierarchical structures”的微软的国际专利申请No.WO 0016307揭示了将导航图形和它们的分割视图一起分配给数据的方法。但是，这样的分割只能用于其间层次已预先建立的数据。此外，不能将数据的这种分割优化成作为数据冗余的函数。

在最后一个例子中，2000年1月11日公开的标题为“Interactive retrievaland catching of multidimensional data using view elements”的专利US6014671(IBM)公开了有可能分割特别是从卫星上拍摄的图片以及根据空间或时间标准来产生导航图形的方法。类似于上文所述的专利，该专利说明了与相似类型的数据有关的分割方法，但没有考虑到冗余多媒体数据的情况。

发明内容

本发明通过能够分割多媒体数据，就是说各种类型的冗余数据，弥补了这些缺点，借助于它们的导航图形，而与它们的功能和/或它们的类型无关。

更准确地说，本发明涉及一种用于分割与导航节点(N’₅，N’₆，N’₇，...，N’₁₁)关联的多媒体数据(D’₅，D’₆，D’₇，...，D’₁₁)的方法，节点(N’_i)控制对关联的数据项(D’_i)和至少一个后续节点(N’_i+1)的访问，

其特征在于，

-与较后者以连续方式关联的节点和数据被分组到临时单元中，包括起始节点和与这个节点关联的数据，分组到临时单元中的每个节点紧随着已经包含在这个临时单元中的节点，直到临时单元的尺寸达到限值为止，于是

-临时单元中的彼此紧随的节点对，将参数减到最小，该参数取决于与已识别对的两个节点相关联的数据的共同数据的数量，由在与该对的第一个节点关联的数据之前分组到临时单元中的数据形成确定单元。

由于这样一种方法的优点，多媒体数据可进行与它们的类型和它们的应用无关的分割，这个分割基于使用与数据关联的导航节点。

而且，作为限制临时单元尺寸的标准的函数，有可能以产生其尺寸与诸如多路复用传输数据的使用相适应的单元这样一种方式来确定限值。

此外，使用与这一对中两个节点关联数据的共同数据数量成比例的分割参数有助于形成充分独立的单元，就是说可单独处理的单元，例如使用终端采用汇接接收。

最后，根据本发明的方法产生了对冗余数据进行优化的单元，因为冗余数据通常会包括同一个单元，因此如上所述加速了它们的处理。换句话说，由根据本发明的方法产生的冗余单元数量通常低于由已知分割方法产生的冗余单元数量。

在一个实施例中，确定了被一对节点减到最小的参数，该参数与已识别对的两个节点相关联的数据的共同数据的数量成比例。

在一个实施例中，临时单元的尺寸限值由分组到该单元中数据的数量的函数或由分组到该单元中节点的数量的函数来确定。

在一个实施例中，通过重复在第一次分割中执行的操作，使用被识别为起始节点的一对中第二个节点或作为未分组节点的另一个来对紧随该第二个节点的数据执行分割。

在一个实施例中，在某种意义上，将参数确定为与该已识别对的其中一个节点相关联的数据的数量成反比例。

在一个实施例中，将参数确定为与在已识别对节点的第一个节点之前分组到临时单元中的节点数量和临时单元中的节点数量的比率成比例。

在一个实施例中，多媒体数据包括涉及下列文档的至少一种的数据：音频文档、视频文档、程序、文本文档。

在这种情况下，根据一个实施例，视频数据符合下列元素中的至少一种：图像、一系列图像、二维或三维的图像、全景图、图形数据。

根据一个实施例，图像涉及场景或对象的视点，相邻节点与接近这些场景或这些对象的视点相对应。

本发明也涉及一种分割多媒体数据的方法，其特征为导航节点作为它们的类型和/或它们的功能的函数与这些数据关联，通过消除冗余数据对这些数据进行压缩，剩余数据与同已消除数据有关的节点相关联，并且这些数据根据在先权利要求的分割方法来进行分割。

在一个实施例中，所考虑数据包括涉及真实图像和合成图像的视频数据，导航节点通过对涉及真实图像的节点进行访问来关联多媒体数据。

本发明也涉及包括当程序在计算机上执行时用于执行根据上述分割多媒体数据的方法的实施例中的一个来分割多媒体数据的步骤的计算机代码指令。

本发明也涉及一种用于分割与导航节点关联的多媒体数据的设备，包括：

-用于通过与该数据项关联的节点访问数据项的装置，

-用于从第一个节点，所谓前接节点，确定访问第二个节点，所谓后续节点的装置，

其特征在于：

-用于从预定的起始节点开始，把其关联节点彼此紧随的数据分组到临时单元中，直到此单元到达限值为止的装置，

-用于识别下一对节点的装置，该下一对节点将与该对中两个节点相关联的数据的共同数据数量成比例的参数减到最小，和

-用于由与该对中第一个节点相关联的数据和在较后节点之前的节点相关联的数据形成单元的装置，

所述设备最好地适应于实现根据本发明的装置。

在一个实施例中，该设备包括确定与已识别对中两个节点关联数据的共同数据数量成比例的参数的装置。

根据一个实施例，该设备包括作为分组到此单元中的数据数量的函数或分组到此单元中的节点数量的函数，确定临时单元的尺寸限值的装置。

根据一个实施例，该设备包括通过重复在第一次分割中执行的操作，使用被识别为起始节点的一对中第二个节点或作为未分组节点的另一个来对紧随该第二个节点的数据执行分割的装置。

在一个实施例中，该设备包括在某种意义上，将参数确定为与该已识别对的其中一个节点相关联的数据的数量成反比例的装置。

根据一个实施例，该设备包括将参数确定为与在已识别对节点的第一个节点之前分组到临时单元中的节点数量和临时单元中的节点数量的比率成比例的装置。

在一个实施例中，该设备包括处理涉及下列文档的至少一种的多媒体数据的装置：音频文档、视频文档、程序。

在这种情况下，根据一个实施例，该设备包括处理符合下列内容中的至少一种的视频数据的装置：图像、一系列图像、二维或三维的图像。

根据一个实施例，图像涉及场景或对象的视点，该设备包括处理相邻节点与接近这些场景或这些对象的视点相对应的节点的装置。

在一个实施例中，分割多媒体数据的设备所包括的装置用于将涉及导航节点作为它们的类型和/或它们的功能的函数与这些数据关联，通过消除冗余数据对这些数据进行压缩，将剩余数据与已消除数据有关的节点相关联，和这些数据根据符合如上所述分割方法的一个实施例的分割方法来进行分割。

在这种情况下，根据一个实施例，所考虑数据包括涉及真实图像和合成图像的视频数据，该设备包括将导航节点与多媒体数据关联以对涉及真实图像的节点进行访问的装置。

附图说明

不局限于实施例的特定模式，同时参照附图，本发明的其他特点和优点在下文描述中将变得显而易见，其中：

图1，已对其进行了说明，代表在现有技术中包括与多媒体数据关联的节点的单元，和

图2代表包括与根据本发明分割的多媒体数据关联的节点的单元。

具体实施方式

回忆一下，本发明使分割多媒体数据D’₅、D’₆、D’₇、D’₈、D’₉、D’₁₀和D’₁₁(图2)成为可能，该多媒体数据D’₅、D’₆、D’₇、D’₈、D’₉、D’₁₀和D’₁₁与包括节点N’₅、N’₆、N’₇、N’₈、N’₉、N’₁₀和N’₁₁的导航图关联，每个节点N’_i如上所述确定访问与其关联的数据D’_i。

但是，要分割的多媒体数据D’_i最初可能没有和导航图关联。在这种情况下，必须在分割多媒体数据前产生此图形。

这样的产生可以，例如，作为包括数据D’_i的文档的函数来进行。因此，考虑由包括超文本链接和图像的页面组成的多媒体文档，可通过分配单元给此文档的每个页面来产生导航图，同时当每个单元的节点对应于每个页面的不同数据。

如果多媒体数据涉及场景或对象的图像，导航图可由涉及代表同一个场景或同一个对象的各种可能视点的节点组成。

在这种情况下，需要注意的是，许多应用，例如视频游戏，使用涉及真实图像的多媒体数据以代表场景。因此，相对于合成图像的数据处理，以将访问限制到(limit access to)更简单和更快速的真实数据处理的这样一种方式来产生导航图可能更有利。

在另一个例子中，如果数据涉及计算机辅助设计工具和包括作为设计使用的各种元素或项的函数的数据分层(hierarchization)，导航图可由代表这个层次的节点组成。

在一般意义上，如果数据根据预先存在的结构进行组织，比如网格或文件结构，导航图可从原始结构中获得。

当多媒体数据与导航图关联时，通过该导航图可对这些数据进行压缩。要这么做，通过消除诸如D’_n的数据和将节点N’_i和N’_n与剩余数据D’_i关联，在下文中记为D’_i/D’_n’对于冗余数据D’_i和D’_n进行识别和处理。在图2中，节点N’₉和N’₈于是与数据D’₈/D’₉关联。同样地，节点N’₅和N’₆(分别地，节点N’₆和N’₇)与数据D’₅/D’₆关联(分别地，D’₆/D’₇)。

其他形式的压缩也有可能。例如，在涉及与导航图关联的视觉表示的情况中，以汤姆逊多媒体为名义在1999年9月17日发表的标题为“Method ofconstructing a 3D scene model by analyzing image sequences”’的法国专利No.9911671，公开了进行涉及三维图像和与导航图形关联的数据压缩的方法。

对于包含基于三维图像和相关联导航图的描述的视频数据库，已经引用的专利FR9911671描述了把涉及可视性的信息添加到导航节点中以确定必需什么信息来重构视点并且需要与此节点关联。

在此压缩步骤之后，多媒体数据D’₅、D’₆、D’₇、D’₈、D’₉、D’₁₀和D’₁₁被分割到各数据单元C’_i中。根据本发明，此分割通过执行下列操作来进行：

首先，确定起始节点N’₅，通过此起始节点，从此节点N’₅来访问整个要分割的数据集D’₅、D’₆、D’₇、D’₈、D’₉、D’₁₀和D’₁₁，然后访问跟随较后者的节点N’₆、N’₇、N’₈、N’₉、N’₁₀和N’₁₁。

这里要强调的是，如图2所示，根据本发明的分割方法用于与非线性导航图关联的数据，其中节点N’₅与两个节点N’₆和N’₇关联。

此后，从起始节点N’₅开始，考虑与起始节点N’₅相邻的节点相关联的数据或与其关联数据被分组到临时单元中的节点相关联的数据，连续选取的数据D’₅、D’₆、D’₇、D’₈、D’₉被分组到临时单元C_t中。例如，其节点N’₆与节点N’₅相邻的数据D’₆被分组到临时单元C_t中。此后，其节点N’₇也与节点N’₅相邻的数据D’₇被分组。

同样地，由考虑与其关联的节点N’₈和N’₉与临时单元C_t中包含的节点相邻，数据D’₈和D’₉被连续地分组到临时单元C_t中。在这个例子中，与数据关联的节点也被分组到临时单元中。

这样的分组一直进行到临时单元中包含的数据D’₅、D’₆、D’₇、D’₈、D’₉的数量达到限值(threshold)为止。在变体中，临时单元的限制尺寸确定为临时单元中所包含节点的数量的函数。

当临时单元达到限值时，识别一对连续节点(N’₇；N’₈)，就是说在该对节点中第一个节点N’₇在后续的第二个节点N’₈之前，将参数T_i减到最小，该参参数T_i与已识别对中两个节点(N’₇；N’₈)的相关联数据(D’₇；D’₈)的共同(common)数据D’_c的数量成比例。在这个例子中，这个参数T_i采用这样的形式：

T_i＝((T-(i-5))/T)*r_i

其中，T是包含在临时单元C_t中的节点的总数，i-5是在相关节点对的第一个节点N’₇之前分组到临时单元中的节点数量，且r_i等于在D’_c(D’₇和D’₈的共同数据的数量)和D’_max(与该N’₇和N’₈对的其中一个节点关联的数据的数量)之间的比率。

最后，通过连续地向临时单元分组来形成包括数据(D’₅，D’₆，D’₇)的确定单元C’_5/6/7，直至该数据与该对的第一个节点N’₇关联。

随后，通过重复上述操作，已识别对的第二个节点(N’₈)用作为起始节点，形成新的确定单元。

在本发明的一个变体中，将除了已识别对的节点(N’₈)以外的节点用作为起始节点。

显然，根据本发明的方法有助于限制冗余单元的形成，因为确定单元的限制由节点对(N’₇；N’₈)的帮助而获得，该节点对将与两个相邻节点的共同数据的数量成比例的参数T_i减到最小，即对于一对来讲，在单元之间几乎没有任何数据冗余。

换句话说，根据本发明的方法有助于将冗余数据分组到确定单元C’_5/6/7中，因此如上所述加速了它们的处理。

随后，通过重复如上所述的操作，同时将已识别对的第二个节点(N’₈)作为起始节点以形成新的临时单元，对与已识别对(N’₇；N’₈)的第二个节点N₈和跟随较后节点的节点(N’₉，N’₁₀，...N’_z)关联的数据进行分割。

如上所述，在本发明的一个变体中，将除了已识别对的第二个节点以外的节点用作为新分割的起始节点。

Claims (9)

1.一种用于分割与导航节点(N’₅，N’₆，N’₇，...，N’₁₁)关联的多媒体数据(D’₅，D’₆，D’₇，...，D’₁₁)的方法，导航节点(N’_i)控制对关联的多媒体数据(D’_i)和至少一个后续导航节点(N’_i+1)的访问，

其特征在于，

-导航节点(N’₆，N’₇，N’₈，和N’₉)和与该导航节点(N’₆，N’₇，N’₈，和N’₉)以连续方式关联的多媒体数据(D’₆，D’₇，D’₈，和D’₉)被分组到临时单元(C_t)中，包括起始导航节点(N’₅)和与这个导航节点关联的多媒体数据(D’₅)，分组到临时单元中的每个导航节点(N’_i+1)紧随着已经包含在这个临时单元中的导航节点(N’_i)直到这个临时单元的尺寸达到限值为止，然后

-临时单元(C_t)中的彼此紧随的一对导航节点(N’₇；N’₈)将参数T_i减到最小，该参数T_i取决于与已识别的一对导航节点中的两个导航节点(N’₇；N’₈)相关联的多媒体数据(D’₇；D’₈)的共同多媒体数据(D’_c)的数量，由在与该一对导航节点中的第一个导航节点(N’₇)关联的多媒体数据(D’₇)之前分组到临时单元中的多媒体数据(D’₅，D’₆)形成确定单元(C’_5/6/7)。

2.如权利要求1所述的方法，其特征为确定被一对导航节点减到最小的参数T_i，其中该参数T_i与已识别的所述对中的两个导航节点(N’₇；N’₈)相关联的多媒体数据(D’₇；D’₈)的共同多媒体数据(D’_c)的数量成正比例。

3.如权利要求1或2所述的方法，其特征为临时单元的尺寸限值由分组到该单元中多媒体数据的数量的函数或由分组到该单元中导航节点的数量的函数来确定。

4.如权利要求1或2所述的方法，其特征为：将参数T_i确定为与该已识别的对中的导航节点(N’₇；N’₈)其中一个相关联的多媒体数据(D’₇；D’₈)的数量成反比例。

5.如权利要求1所述的方法，其特征为：根据与在已识别的一对中的导航节点(N’₇；N’₈)的第一个导航节点(N’₇)之前分组到临时单元中的导航节点数量i-5和临时单元中的导航节点数量T的比率，来确定参数T_i。

6.如权利要求1所述的方法，其特征为多媒体数据包括涉及下列文档的至少一种的数据：音频文档、视频文档、程序、文本文档。

7.如权利要求6所述的方法，其特征为多媒体数据选自下列内容中的至少一种：二或三维图像、一系列二或三维图像、全景图、图形数据。

8.如权利要求7所述的方法，其特征为图像涉及场景或对象的视点，相邻节点与接近这些场景或这些对象的视点相关联。

9.一种分割多媒体数据的方法，其特征为导航节点作为所述多媒体数据的类型和/或功能的函数与这些多媒体数据关联，通过消除冗余的多媒体数据对这些多媒体数据进行压缩，剩余多媒体数据与涉及冗余的已消除的多媒体数据的导航节点相关联，并且这些多媒体数据根据权利要求1的分割方法来进行分割。

Images