CN100433015C - 数据处理装置和方法 - Google Patents

Abstract

媒体内容的上下文用具有最高分级层、最低分级层和其它分级层的上下文描述数据来表示。最高分级层由表示内容的一个元素组成。最低分级层由表示一段媒体内容的元素组成，该段媒体内容对应于视频数据的场景之间的改变或可闻音调的改变。在数据处理方法的选择步骤中，表述媒体内容的上下文，根据上下文描述数据的得分选择媒体内容的一个或多个场景。此外，在数据处理方法的提取步骤中，只提取与在选择步骤中选择的场景相关的数据。

Description

数据处理装置和方法

本申请是申请日为1999年12月25日，申请号为200410056633.0，发明名称为“数据处理装置和方法”的发明专利申请的分案申请。

技术领域

本发明涉及一种媒体内容数据处理装置、一种数据处理方法、一种存储媒体以及一个程序，所有的这些都涉及诸如运动图像、视频节目或音频节目的连续音频可视数据(媒体内容)的观察、播放以及传送，其中，仅仅播放和传送媒体内容高亮度场景的提要或观众所希望的媒体内容的场景。

背景技术

传统的媒体内容在独立文件存储媒体内容的基础上被传统地播放、传送或存储。

如在日本未授权专利申请No.Hei-10-111872中所描述的，根据提取一个运动图像特定场景的方法，检测在两个运动图像的场景(此后称之为“场景分割”)之间变化。诸如开始帧的时间码、结束帧的时间码和所述场景关键字的附加数据被加到每个场景分割上。

作为一种替换方法，Carnegie Mellon大学(CMU)试图通过检测一个运动图像的场景分割、检测人的面孔或解释字幕和经过语音识别检测一个索引短语概括一个运动图像[Mochael A.Smith和Takeo KANADE“经过图像和语言增强组合的视频剪辑和特性”CMU-CS-97-111，97年2月3日]。

当以每个文件为基础播放所述运动图像时，观察所述运动图像的提要是不可能的。此外，即使当提取一个亮度场景或用户所希望的多个场景时，也必须从媒体内容的头开始搜索所述场景或所述多个场景。此外，在传送一个运动图像的情况下，一个文件的所有数据集都必须被传送，从而需要很长的传送时间。

根据在日本未授权专利申请No.Hei-10-111872中描述的方法，通过使用一个有助于提取用户所希望的场景的关键字能够提取多个场景。所述附加数据不包括所述场景之间的关系或联系。由于这个原因，所述方法在提取例如一个故事的子情节方面遇到很多困难。此外，当仅仅在一个关键字的基础上提取场景时，用户在获得对于在了解场景上下文非常重要的知觉方面遇到很多困难。因此，一个提要或高亮度场景的准备变得非常困难。

由CMU开发的方法能够概括一个运动图像。但是，这种概括导致了单一、固定模式的摘要。由于这个原因，将一个运动图像概括成需要不同播放时间的摘要、例如假设播放时间为三或五分钟的摘要是困难的。此外，概括用户所希望的例如选择包括一个特定字符的场景的运动图像也是困难。

发明内容

本发明的一个目的是提供一种能够在媒体内容播放时间内仅仅选择、播放和传送一个提要、一个高亮度场景或观众希望场景的装置。

本发明的另一个目的是提供一种能够在用户所希望的时间周期内、在选择一个提要、高亮度场景或所希望的场景的时间处播放一个提要、一个高亮度场景或观众希望的场景的装置。

本发明的再一个目的是提供一种在传送媒体内容的期间内在用户所希望的时间周期内、在用户请求时仅仅传送所述提要、高亮度场景或用户所希望的场景集的装置。

本发明的再一个目的是提供一种根据用户赖以和服务器建立通信的线的繁忙程度控制将被传送的数据量的装置。

本发明的再一个目的是提供一种摘要产生装置和方法。

为了解决现有技术存在的问题，本发明提供一种内容再现装置，包括：

输入装置，用于输入上下文内容描述数据，所述上下文内容描述数据对段及其属性信息进行描述，其中所述段对由多个场景组成的媒体内容的每个场景进行表示，所述属性信息包括表示所述媒体内容的场景的边界的时间信息，和基于所述媒体内容的上下文内容的得分、所述得分表示所述段的重要程度的得分；选择装置，用于根据所述得分来选择段；内容输入装置，用于输入所述媒体内容；提取装置，用于从所述被选择的段的时间信息来提取所述媒体内容部分的区域；和再现装置，用于再现所述被提取的媒体内容部分的区域。

本发明还提供一种内容再现装置，包括：输入装置，用于输入上下文内容描述数据，所述上下文内容描述数据对段及其属性信息进行描述，其中所述段对由多个场景组成的媒体内容的每个场景进行表示，所述属性信息包括表示所述媒体内容的场景的边界的时间信息、以及由至少一个描述场景的关键字表示的视点和基于各视点的得分，所述得分表示所述段的重要程度；选择装置，用于根据所述视点及所述得分中的至少一方来选择所述段；内容输入装置，用于输入所述媒体内容；提取装置，用于从所述被选择的段的时间信息来提取所述媒体内容部分的区域；和再现装置，用于再现所述被提取的媒体内容部分的区域。

本发明还提供一种内容再现方法，包括：输入步骤，用于输入上下文内容描述数据，所述上下文内容描述数据对段及其属性信息进行描述，其中所述段对由多个场景组成的媒体内容的每个场景进行表示，所述属性信息包括表示所述媒体内容的场景的边界的时间信息，和基于所述媒体内容的上下文内容的得分，所述得分表示所述段的重要程度；选择步骤，用于根据所述得分来选择段；内容输入步骤，用于输入所述媒体内容；提取步骤，用于从所述被选择的段的时间信息来提取所述媒体内容部分的区域；和再现步骤，用于再现所述被提取的媒体内容部分的区域。

本发明还提供一种内容再现方法，包括：输入步骤，用于输入上下文内容描述数据，所述上下文内容描述数据对段及其属性信息进行描述，其中所述段对由多个场景组成的媒体内容的每个场景进行表示，所述属性信息包括表示所述媒体内容的场景的边界的时间信息、以及由至少一个描述场景的关键字表示的视点和基于各视点的得分，所述得分表示所述段的重要程度；选择步骤，用于根据所述视点及所述得分中的至少一方来选择所述段；内容输入步骤，用于输入所述媒体内容；提取步骤，用于从所述被选择的段的时间信息来提取所述媒体内容部分的区域；和再现步骤，用于再现所述被提取的媒体内容部分的区域。

本发明还提供一种数据处理装置，包括：输入装置，用于输入上下文内容描述数据，所述上下文内容描述数据对段和得分进行描述，其中所述段对由多个场景组成的媒体内容的每个场景进行表示，所述得分为所述段的属性信息，并且所述得分基于所述媒体内容的上下文内容；选择装置，用于根据所述得分来选择段。

本发明还提供一种数据处理方法，包括：输入步骤，用于输入上下文内容描述数据，所述上下文内容描述数据对段和得分进行描述，其中所述段对由多个场景组成的媒体内容的每个场景进行表示，所述得分为所述段的属性信息，并且所述得分基于所述媒体内容的上下文内容；选择步骤，用于根据所述得分来选择段。

在本发明的数据处理装置、数据处理方法、记录媒体和程序中，选择装置(与选择步骤对应)在作为属性附加到上下文描述数据的最低分级层或其它分级层的得分的基础上通过使用包括利用输入装置(对应于输入步骤)获得的最高分级层、最低分级层和其它分级层的分级层的上下文描述数据从所述媒体内容中选择至少一个段。

所述提取装置(对应于所述提取步骤)最好仅仅提取与在所述选择装置(对应于所述选择步骤)中选择的一个段相关的数据。

所述播放装置(对应于所述播放步骤)最好仅仅播放与在所述选择装置(对应于所述选择步骤)中选择的所述段相关的数据。

因此，可以从所述媒体内容中任意选择更加重要的场景，和被如此选择的重要段能够被提取或播放。此外，所述上下文描述数据假设一个分级阶层包括所述最高分级层、最低分级层和其它分级层。可以在每章的基础上或在每节的基础上在任意单元中选择场景。可以使用各种选择格式，诸如某些章节的选择和从所述章节中删除不必要的段落。

在本发明的数据处理装置、数据处理方法、记录媒体和程序中，一个得分表示媒体内容上下文的重要程度。只要设置了这个得分去选择重要的场景，就可以例如很容易地集合一个节目的重要场景。

此外，只要设置了所述得分去表示从关键字的角度出发感兴趣的场景的重要性，通过确定一个关键字可以高度灵活地选择多个段。例如，只要从一个特定的观点出发确定了诸如一个字符或一个事件的关键字，那么，只有用户所希望的场景才能够被选择。

在本发明的数据处理装置、数据处理方法、记录媒体和程序中，所述媒体内容对应于视频数据和/或音频数据，所述上下文描述数据描述各视频数据集和/或音频数据集的结构。所述视频选择装置(对应于所述视频选择步骤)通过参考与视频数据相关的上下文描述数据选择一个场景。所述音频选择装置(对应于所述音频选择步骤)通过参考与音频数据相关的上下文描述数据选择一个场景。

此外，所述提取装置(对应于所述提取步骤)提取视频数据和/或音频数据。

从视频数据和/或音频数据中可以选择一个重要的段，可以提取与如此选择的段相关的视频数据和/或音频数据。

在本发明的数据处理装置、数据处理方法、记录媒体和程序中，在所述媒体内容包括多个在一个单一时间周期内设置的不同数据集的情况下，所述确定装置(对应于所述确定步骤)在将被用于将数据确定为选择目标的条件的基础上确定哪一个媒体数据集将被取作为选择目标。所述选择装置(对应于所述选择步骤)仅仅从已经被所述确定装置(对应于所述确定步骤)确定的数据中选择数据集。

所述确定条件包括接收终端能力、传送线的传送能力、用户的请求和用户的兴趣或它们之间的相互组合等中的至少一个。例如，接收终端的能力对应于视频显示能力、音频播放能力或压缩数据被解压缩的速率。传送线的传送能力对应于所述线的阻塞程度。

在媒体内容被分割为例如多个信道和多个层以及不同的媒体数据集被指定给所述信道和所述层的情况下，所述确定装置(对应于所述确定步骤)能够根据所述确定条件确定与一个最佳段相关的媒体数据。因此，所述选择装置(对应于所述选择步骤)能够选择适当数量的媒体数据。在多个信道和层被用做最佳段的情况下，具有标准分辨率的视频数据可以被指定给信道-1/层-1以传输一个运动图像，具有高分辨率的视频数据可以被指定给信道-1/层-2。另外，立体声数据可以被指定给信道-1以传输声音数据，单声道数据可以被指定给信道-2。

在本发明的数据处理装置、数据处理方法、记录媒体和程序中，所述确定装置(对应于所述确定步骤)在所述确定条件的基础上确定仅仅是视频数据、仅仅是音频数据或者是视频和音频数据两者将被取作为选择目标。

在所述选择装置(对应于所述选择步骤)选择一个段之前，所述确定装置(对应于所述确定步骤)确定哪一个媒体数据集将被取作为一个选择目标或仅仅是视频数据、音频数据或视频数据和音频数据两者将被取作为一个选择目标。结果是可以缩短所述选择装置(对应于所述选择步骤)选择一个段所需要的时间。

在本发明的数据处理装置、数据处理方法、记录媒体和程序中，表示数据被作为属性附加到最低分级层中上下文描述数据的一个元素上，所述选择装置选择与一个媒体段相关的全部数据和/或与相应媒体段相关的表示数据。

在本发明的数据处理装置、数据处理方法、记录媒体和程序中，与一个媒体段相关的全部数据对应于媒体数据，所述媒体内容包括多个在一个单一时间周期内设置的不同媒体数据集。所述确定装置(对应于所述确定步骤)在结构描述数据和确定条件的基础上确定所述媒体数据集和/或表示数据集中的哪一个将被取作为选择目标。

所述媒体内容例如被分割为多个信道和多个层，不同的媒体数据集被指定给所述信道和层。所述确定装置能够根据这些确定条件确定与最佳段(信道或层)相关的媒体数据。

在本发明的数据处理装置、数据处理方法、记录媒体和程序中，所述确定装置(对应于所述确定步骤)在所述确定条件的基础上确定仅仅是与相应媒体段相关的全部数据、仅仅是与相应媒体段相关的表示数据或者是与相应媒体段相关的全部数据和表示数据将被取作为选择目标。

在所述选择装置(对应于所述选择步骤)选择一个段之前，所述确定装置(对应于所述确定步骤)确定哪一个媒体数据集将被取作为选择目标或仅仅是所述全部数据或仅仅是所述表示数据或所述全部数据和所述表示数据两者将被取作为选择目标。结果是可以缩短所述选择装置(对应于所述选择步骤)选择一个段所需的时间。

在本发明的数据处理装置、数据处理方法、记录媒体和程序中，形成装置(对应于所述形成步骤)根据由所述提取装置(对应于所述提取步骤)提取的数据形成一个媒体内容数据流。因此，可以准备用于描述对应于如此选择的段的一段内容的数据流或文件。

在本发明的数据处理装置、数据处理方法、记录媒体和程序中，所述传送装置(对应于所述传送步骤)经过一个线传送由所述形成装置(对应于所述形成步骤)形成的数据流。因此，可以将仅仅与重要段相关的数据传送给所述用户。

在本发明的数据处理装置、数据处理方法、记录媒体和程序中，所述数据记录媒体管理装置(对应于所述数据记录媒体管理步骤)根据所述数据记录媒体可以得到的盘空间重新组织目前为止已经存储的媒体内容和/或将被新存储的媒体内容。特别是，在本发明的数据处理装置、数据处理方法、记录媒体和程序中，所述存储内容管理装置(对应于所述存储内容管理步骤)根据所述内容的存储周期重现组织存储在所述数据记录媒体中的媒体内容。因此，在所述数据记录媒体中可以存储大量的媒体内容。

附图说明

图1的框图示出了根据本发明第一实施例的数据处理方法；

图2示出了根据所述第一实施例的上下文描述数据的结构；

图3示出了根据所述第一实施例在计算机中用于使用XML描述上下文描述数据的文件类型定义(DTD)的例子的一部分，以及根据所述第一实施例使用DTD描述的上下文描述数据的例子的一部分；

图4-9示出了图3所示例子的上下文描述数据的接续部分；

图10示出了通过向图3-9所示上下文描述数据附加表示数据形成的XML文件的例子的一部分，以及用于在计算机中描述上下文描述数据的以可扩充置标语言(XML)描述的DTD的例子的一部分；

图11-21示出了图10所示上下文描述数据的接续部分；

图22用于描述根据所述第一实施例用于指定重要程度的方法；

图23的流程图示出了根据第一实施例与所述选择步骤相关的处理；

图24的框图示出了根据第一实施例的提取步骤的构成；

图25的流程示出了根据第一实施例在所述提取步骤中由去多路复用装置执行的处理；

图26的流程示出了根据第一实施例在所述提取步骤中由视频剪辑装置执行的处理；

图27示出了MPEG-1视频数据流的结构；

图28的流程示出了根据第一实施例在所述提取步骤中由音频剪辑装置执行的处理；

图29示出了所述MPEG-1音频数据流的AAU的结构；

图30的框图示出了根据第一实施例的媒体处理方法的应用；

图31示出了根据本发明第二实施例的重要程度的处理；

图32的流程示出了根据所述第二实施例与所述选择步骤相关的处理；

图33的流程示出了根据本发明第三实施例与所述选择步骤相关的处理；

图34用于描述根据本发明第四实施例指定重要程度的方法；

图35的流程示出了根据本发明第四实施例与所述选择步骤相关的处理；

图36的框图示出了根据本发明第五实施例的媒体处理方法，

图37示出了根据本发明第五实施例结构描述数据的结构；

图38示出了根据本发明第五实施例上下文描述数据的结构；

图39示出了根据第五实施例在计算机中使用XML描述结构描述数据的文件类型定义(DTD)的例子的一部分，以及根据本发明第五实施例一个XML文件的一个例子；

图40示出了根据第五实施例在计算机中使用XML描述所述上下文描述数据的文件类型定义(DTD)的例子的一部分，以及根据第五实施例一个XML文件的例子的前一半；

图41-45示出了图40所示上下文描述数据的接续部分；

图46示出了根据第五实施例的选择步骤输出的一个例子；

图47的框图示出了根据第五实施例的提取步骤；

图48的流程示出了根据第五实施例在所述提取步骤中由接口装置执行的处理；

图49示出了根据第五实施例在所述选择步骤中当在所述提取步骤中提供的所述接口装置转换所述输出时所产生结果的一个例子；

图50的流程示出了根据第五实施例在所述提取步骤中由所述去多路复用装置执行的处理；

图51的流程示出了根据第五实施例在所述提取步骤中由所述视频剪辑装置执行的处理；

图52的流程示出了根据第五实施例在所述提取步骤中由所述音频剪辑装置执行的处理；

图53的另一个流程图示出了根据第五实施例在所述提取步骤中由所述视频剪辑装置执行的处理；

图54的框图示出了根据本发明第六实施例的数据处理方法；

图55的框图示出了根据第六实施例的形成步骤和传送步骤；

图56的框图示出了根据本发明第七实施例的媒体处理方法；

图57示出了根据第五实施例上下文描述数据的结构；

图58示出了根据第七实施例在计算机中使用XML描述上下文描述数据的文件类型定义(DTD)的例子的一部分，以及根据第七实施例使用XML描述的上下文描述数据的例子的一部分；

图59-66示出了图58所示上下文描述数据的接续部分；

图67示出了通过将表示数据附加到图58-66所示上下文描述数据上形成的XML文件的例子的一部分，以及在计算机中以用于描述所述上下文描述数据的XML描述的DTD的例子的一部分；

图68-80示出了图67所示上下文描述数据的接续部分；

图81的流程示出了根据第七实施例与所述选择步骤相关的处理；

图82的框图示出了根据第七实施例所示媒体处理方法的应用；

图83的流程示出了根据本发明第八实施例与所述选择步骤相关的处理；

图84的流程示出了根据本发明第九实施例与所述选择步骤相关的处理；

图85的流程示出了根据本发明第十实施例与所述选择步骤相关的处理；

图86的框图示出了根据本发明第十二实施例的数据处理方法；

图87示出了根据本发明第十二实施例上下文描述数据的结构；

图88示出了根据第五实施例在计算机中使用XML描述上下文描述数据的文件类型定义(DTD)的例子的一部分，以及根据第五实施例一个XML文件例子的一部分；

图89-96示出了图88所示上下文描述数据的接续部分；

图97的框图示出了根据本发明第十三实施例的数据处理方法；

图98的框图示出了根据本发明第十四实施例的数据处理方法；

图99的框图示出了根据本发明第十五实施例的数据处理方法；

图100的框图示出了根据本发明第十六实施例的数据处理方法；

图101的框图示出了根据本发明第十七实施例的数据处理方法；

图102示出了多个信道和多个层；

图103示出了使用XML描述结构描述数据的文件类型定义(DTD)的例子的一部分，以及在DTD中描述的结构描述数据的例子的一部分；

图104示出了在图103中所示结构描述数据的接续部分；

图105的流程示出了根据本发明第十七实施例在例1中与确定步骤相关的处理；

图106的流程示出了根据第十七实施例在例1的确定步骤中响应用户请求将被执行的确定处理；

图107的流程示出了根据第十七实施例在例1的确定步骤中与视频数据相关的确定处理；

图108的流程示出了根据第十七实施例在例1的确定步骤中与声音数据相关的处理；

图109的流程示出了根据本发明第十七实施例与例2中的确定步骤相关的处理的前一半；

图110的流程示出了根据本发明第十七实施例与例2中的确定步骤相关的处理的后一半；

图111的流程示出了根据本发明第十七实施例与在例3中的确定步骤相关的处理；

图112的流程示出了根据第十七实施例与在例3的确定步骤中的视频数据相关的确定处理；

图113的流程示出了根据第十七实施例与在例3的确定步骤中的声音数据相关的确定处理；

图114的流程示出了根据本发明第十七实施例与在例4中的确定步骤相关的处理的前一半；

图115的流程示出了根据本发明第十七实施例与在例4中的确定步骤相关的处理的后一半；

图116的流程示出了根据第十七实施例在例4的确定步骤中响应一个用户请求而执行的确定处理；

图117的流程示出了根据第十七实施例在例4的确定步骤中与视频数据相关的确定处理；

图118的流程示出了根据第十七实施例在例4的确定步骤中与声音数据相关的确定处理；

图119的流程示出了根据第十七实施例与在例5中的确定步骤相关的处理的前一半；

图120的流程示出了根据第十七实施例与在例5中的确定步骤相关的处理的后一半；

图121的流程示出了根据第十七实施例在例5的确定步骤中响应一个用户请求而执行的确定处理；

图122的框图示出了根据本发明第十八实施例的数据处理方法；

图123的框图示出了根据本发明第十九实施例的数据处理方法；

图124的框图示出了根据本发明第二十实施例的数据处理方法；

图125的框图示出了根据本发明第二十一实施例的数据处理方法；

图126的框图示出了根据本发明第二十二实施例的数据处理方法；

图127示出了将被合并有所述上下文数据和所述结构描述数据的DTD的例子和XML文件的例子；

图128-132示出了图127所示XML文件的接续部分；

图133示出了根据本发明第十一实施例上下文描述数据的结构；

图134示出了在第十一实施例中使用的一个观点；

图135示出了根据第十一实施例的重要程度；

图136示出了用于使用将被用于在计算机中表达上下文描述数据的XML描述第十一实施例的上下文描述数据的DTD的一个例子，和以XML描述的所述的部分上下文描述数据的例子；

图137-163示出了图136所示上下文描述数据的接续部分；

图164示出了用于使用将被用于在计算机中表达所述上下文数据的XML描述第十一实施例的所述上下文描述数据的DTD的另一个例子，和以XML描述的所述部分上下文描述数据的例子；

图165-196示出了图164所示上下文描述数据的接续部分；

图197示出了根据本发明第十一实施例所述上下文描述数据的另一种结构；

图198示出了用于使用将被用于在计算机中表达所述上下文描述数据的XML描述第十一实施例的所述上下文描述数据(对应于图197)的DTD的一个例子，和以XML描述的部分上下文描述数据的例子；

图199-222示出了图164所示上下文描述数据的接续部分；

图223示出了用于使用将被用于在计算机中表达所述上下文描述数据的XML描述第十一实施例所述上下文描述数据(对应于图197)的DTD的一个例子，和以XML描述的部分上下文描述数据的一个例子；和

图224-252示出了图164所示上下文描述数据的接续部分。

具体实施方式

具体实施方式

下面将结合附图描述本发明的实施例。

第一实施例

下面将描述本发明的第一实施例。在该实施例中，MPEG-1系统的数据流的运动图像被用做所述媒体内容。在这种情况下，一个媒体段对应于一个单一场景分割，一个得分表示感兴趣场景上下文重要性的客观程度。

图1的框图示出了根据本发明第一实施例的数据处理方法。在图1中，标号101指出所述选择步骤；标号102指出所述提取步骤。在选择步骤101中，从所述上下文描述数据中选择媒体内容的一个场景，并输出所述场景的开始时间和结束时间。在提取步骤102中，提取与由在选择步骤101中输出的开始时间和结束时间规定的一个媒体内容段相关的数据。

图2示出了根据所述第一实施例的所述上下文描述数据的结构。在该实施例中，所述上下文是根据三种结构描述的。三种结构内的元素是按照年月顺序从左向右排列的。在图2中，被指定树的根<内容>表示一个单一的内容部分，所述内容的题目被作为属性指定给所述根。

利用<节>指定<程序>的子(程序)。表示感兴趣场景上下文重要程度的优先级被作为属性附加到所述元素<节>上。所述重要程度假设是从1到5的整数值，其中，1表示最小重要程度和5表示最大重要程度。

利用<节>或<段>指定<节>的子(节)。这里，元素<节>可以被用做另一个子<节>的子<节>。但是，单一元素<节>不能具有子<节>和子<段>的混合物。

一个元素<段>表示一个单一的场景分割，并且，指定给它的优先级与指定给其母<节>的优先级相同。附加给<段>的属性是表示开始时间的“开始”和表示结束时间的“结束”。使用商业上可以得到的软件或经过网络可以得到的软件可以对场景进行切割。另外，也可以使用人工对所述场景进行切割。虽然在当前实施例中是按照一个场景分割的开始时间和结束时间表示时间信息的，但是，当按照感兴趣场景的开始时间和该感兴趣场景的持续时间表示时间信息时也能够实现类似的结果。在这种情况下，感兴趣场景的结束时间是通过将所述持续时间加到开始时间上获得的。

在诸如一个电影故事的情况下，通过使用在多层分级段内的元素<节>，在所述上下文描述数据的基础上可以描述所述故事的章、节和段落。在另外一个例子中，当描述棒球游戏时，在最高分级中的元素<节>可以被用于描述局，它们的子<节>可以被用于描述半局。另外，所述元素<节>的第二代<节>可以被用于描述各棒球手的挥棒，所述元素<节>的第三代<节>还可以被用于描述每次投掷、两次投掷之间的时间周期和挥棒结果。

具有这种结构的上下文描述数据在计算机中可以使用例如可扩充的置标语言(XML)表示。所述XML是一种数据描述语言，它的标准化是万维网联盟(Wor1d Wide Web Consortium)所追求的目标。推荐版1.0是在1998年2月10推荐的。XML1.0版的说明可以从http://WWW.W3.org/TR/1998/rec-XM1-19980210中获得。图3到图9示出了根据本发明用于使用XML描述所述上下文描述数据的文件类型定义(DTD)的一个例子，和使用DTD描述的上下文描述数据的一个例子。图10到图9示出了通过将诸如表示图像(即视频数据)和关键字(音频数据)的媒体段的表示数据附加到图3到图9所示上下文描述数据上所准备的上下文描述数据的一个例子和用于使用XML描述所述上下文描述数据的DTD的一个例子。

下面将描述与选择步骤101相关的处理。与所述选择步骤101相关的处理特别涉及上下文描述数据的格式和将一个得分指定给每个场景的上下文内容的方法。在当前的实施例中，与所述选择步骤101相关的处理仅仅是针对具有子<段>的元素<节>执行的，如图22所示(图23所示的步骤S1、S4和S5)。选择其优先级超过某个阈值的元素<节>(图23所示的步骤S2)，并输出如此选择的元素<节>的开始时间和结束时间(图23所示的步骤S3)。指定给具有子<段>的所述元素<节>的优先级对应于所述内容内所有元素<节>当中共享的重要程度，所述元素<节>中的每一个都具有子<节>。具体地说，图22中被虚线包围的元素<节>当中共享的重要程度设置为优先级。指定给除了前面元素<节>以外的元素<节>和<段>的优先级可以任意设置。所述重要程度并不是必须设置从而假设一个唯一值，相同的重要程度可以被指定给不同的元素。图23的流程示出了根据第一实施例所述选择步骤101相关的处理。考虑到被如此选择的元素<节>，由所述元素<节>表示的场景的开始时间和结束时间可以根据是被如此选择的元素<节>的子节的元素<段>确定。输出被如此确定的开始时间和结束时间。

虽然在当前实施例中所述选择是针对其中的每一个都具有子<段>的元素<节>执行的，但是，所述选择也可以针对元素<段>执行。在这种情况下，优先级对应于在所述内容内所有元素<段>当中共享的重要程度。另外，选择也可以针对来自不具有子<段>的较高分级的元素<节>当中相同分级的元素<节>执行。具体地说，所述选择可以针对在从给定母<内容>或给定子<段>开始计数的相同路径号中的元素<节>执行。

现在参考图24描述与所述提取步骤102相关的处理。图24的框图示出了根据所述第一实施例的提取步骤102。如图24所示，根据该第一实施例的提取步骤102是由去多路复用装置601、视频剪辑装置602和音频剪辑装置603实现的。在当前的实施例中，MPEG-1系统数据流被取作为媒体内容。所述MPEG-1数据流是通过将一个视频数据流和一个音频数据流多路复用到一个单一的数据流中形成的。去多路复用装置601将所述视频数据流和音频数据流从被多路复用的系统数据流中分离出来。视频剪辑装置602接收被如此分离的视频数据流和在所述选择步骤101中所选择的一个段，并从所接收的视频数据流中仅仅输出与被如此选择的段相关的数据。音频剪辑装置603接收被分离的音频数据流和在选择步骤101中所选择的所述段，并从所接收的音频数据流中仅仅输出与所选择段相关的数据。

下面参考附图描述由去多路复用装置601执行的处理。图25的流程示出了由去多路复用装置601执行的处理。多路复用所述MPEG-1系统数据流的方法符合国际标准TSO/IEC IS11172-1标准化。借助于将所述视频和音频数据流分割成被称之为包的适当长度的数据流和将诸如标题的附加信息附加到每个包上，视频数据流和音频数据流被多路复用到一个包中。多个视频数据流和多个音频数据流也可以以相同的方式被多路复用到一个单一的信号中。在每个包的标题中，都描述了一个用于将一个包识别为视频数据流或音频数据流的数据流ID和一个用于将视频数据引入到与所述音频数据同步的时间戳。所述数据流ID不局限用于将一个包识别为视频数据流或音频数据流。当多个视频数据流被多路复用时，所述数据流ID可以被用于从多个视频数据流中识别具有感兴趣包的视频数据流。类似的，当多个音频数据流被多路复用时，所述数据流ID可以被用于从所述多个音频数据流中识别具有感兴趣包的音频数据流。在所述MPEG-1系统中，多个包被处理成一个单一的包，和用作用于执行同步播放的基准时间的多路复用速率和附加信息被作为标题附加到所述包上。此外，与被多路复用的视频和音频数据流的数量相关的附加信息被作为系统标题附加到所述头一个包上。去多路复用装置601从所述头一个包的系统标题中读出被多路复用的视频和音频数据流的数量(S1和S2)并保证用于存储各数据流的数据集的数据位置(S3和S4)。然后，去多路复用装置601检查每个包的数据流ID并将包括在所述包中的数据写入到存储由所述数据流ID规定的数据流的数据位置中(S5和S6)。所有的包都被进行上述处理(S8、S9和S10)。在所有的包都被进行了上述处理之后，在每个数据流的基础上视频数据流被输出给视频剪辑装置602，音频数据流以相同的方式被输出给音频剪辑装置603(S11)。

下面将描述视频剪辑装置602的操作。图26的流程示出了由视频剪辑装置602执行的处理。所述MPEG-1系统数据流是被国际标准ISO/IEC IS11172-2标准化的。如图27所示，所述视频数据流包括一个顺序层、一个图像组层(GOP)、一个图像层、一个位片层、一个宏数据块层和一个数据块层。在是最小单元的GOP层的基础上进行随机存取，包括在所述图像层中的每个层对应于一个单一帧。视频剪辑装置602在每个GOP的基础上处理数据。用于对输出帧的数量进行计数的计数器C被初始化为0(S3)。首先，视频剪辑装置602确认所述视频数据流的标题对应于所述顺序层的标题(S2和S4)并存储包括在所述标题中的数据(S5)。接着，所述视频剪辑装置输出所述数据。在后续的处理期间所述顺序层的标题可以出现。除非所述值涉及到一个量化矩阵，否则所述标题的值被允许改变。因此，每当输入所述顺序标题时，被输入标题的值与所存储标题的值进行比较(S8和S14)。如果所输入的标题在除了与所述量化矩阵相关的值以外的值方面与所存储的标题不同，所输入的标题将被认为是错误的(S15)。接着，所述视频剪辑装置602检测输入数据GOP层的标题(S9)。在所述GOP层的标题中描述了与一个时间码相关的数据(S10)，该时间码描述从所述顺序的标题开始已经逝去的时间周期。视频剪辑装置602将所述时间码与选择步骤101输出的段进行比较(S1)(S11)。如果所述时间码被确定为不包括在所述段内，则视频剪辑装置602丢弃在所述顺序层的下一个GOP层之前出现的所有数据集。相反，如果所述时间码包括在所选择的段中，那么，视频剪辑装置602输出在所述顺序层的下一个GOP层之前出现的所有数据集(S13)。为了继续保证已经被输出的数据集和当前正在被输出的数据集，所述GOP层的时间码必须被改变(S12)。利用计数器C计算所述GOP层的时间码将被改变成的值。计数器C保留已经被输出的帧的数量。根据等式1，显示当前正在输出的所述GOP层的标题帧的时间Tv是由计数器C以及在所述顺序标题中描述并表示每秒将被显示的帧的数量的图像速率“Pr”计算的。

$\mathrm{Tv}=\frac{C}{\mathrm{pr}}....\left(1\right)$

“Tv”以1/每秒为单位指定一个值，然后，所述Tv的值被根据MPEG-1的时间码格式进行转换。被如此转换的值设置在将被在这个时间输出的所述GOP层的时间码中。当输出与所述GOP层相关的数据时，所述图像层的数量被加到所述计数器C的值上。重复执行前面描述的处理，直到所述的视频段结束(S7和S16)。在所述去多路复用装置601输出多个视频数据流的情况下，执行与每一个视频数据流相关的上述处理。

下面将描述音频剪辑装置603的处理。图28的流程涉及由所述音频剪辑装置603执行的处理。所述MPEG-1音频数据流是根据国际标准ISO/IEC IS11172-3标准化的。所述音频数据流是由一系列被称之为音频存取单元(AAU)的帧形成的。图29示出了一个AAU的结构。所述AAU是音频数据能够被单独译码的最小单元，它包括给定数量的取样数据集Sn。单个AAU的播放时间可以根据所述AAU的表示传输速率的位速率“br”、取样频率“Fs”和位数量L来计算。首先，检测包括在所述音频数据流中的AAU的标题(S2和S5)，借此以获得一个单一AAU的所述位数量L。进而，在所述AUU的标题中描述所述位速率“br”和取样频率Fs。根据等式2计算一个单一AAU的取样数量Sn。

$\mathrm{Sn}=\frac{L\&times;\mathrm{Fs}}{\mathrm{br}}....\left(2\right)$

根据等式3计算一个单一AAU的播放时间。

$\mathrm{Tu}=\frac{\mathrm{Sn}}{\mathrm{Fs}}=\frac{L}{\mathrm{br}}....\left(3\right)$

只要计算了Tu的值，通过对所述AAU计数可以获得从所述数据流的标题开始已经逝去的时间。所述音频剪辑装置603对已经出现的AAU的数量计数并计算从所述数据流的标题开始已经逝去的时间(S7)。被如此计算的时间与在选择步骤中输出的段相比较(S8)。如果所述AAU出现的时间包括在所选择的段内，所述音频剪辑装置603输出与那个AAU相关的所有数据集(S9)。相反，如果所述AAU出现的时间没有包括在所选择的段内，所述音频剪辑装置603将丢弃与所述AAU相关的数据集。重复执行前述处理直到所述音频数据流结束为止(S6和S11)。当去多路复用装置601输出多个音频数据流时，所述音频数据流中的每一个都被执行前述处理。

如图30所示，在提取步骤102中输出的视频数据流被输入给视频播放装置，在提取步骤102中输出的音频数据流被输入给音频播放装置。所述视频数据流和音频数据流被同步播放，借此能够播放一个提要或媒体内容的高亮度场景。另外，如此产生的视频和音频数据流被多路复用，借此能够准备与所述媒体内容的提要或所述媒体内容高亮度场景相关的MPEG-1系统数据流。

第二实施例

下面将描述本发明的第二实施例。该第二实施例仅仅在与选择步骤相关的处理方面不同于第一实施例。

下面将参照附图描述根据第二实施例与选择步骤101相关的处理。在根据第二实施例的选择步骤101中，利用了指定给所有元素且范围从最高分级的<节>到最低<段>的优先级值。指定给每个元素<节>和<段>的优先级表示上下文重要性的客观程度。下面参考图31描述与选择步骤101相关的处理。在图31中，标号1301表示包括在所述上下文描述数据中最高分级中的多个元素<节>中的一个；1302表示元素<节>1301的一个子元素<节>；1303表示元素<节>1302的一个子元素<节>；1304表示子元素<节>1303的一个子元素<节>。在根据第二实施例的选择步骤101中，包括一个指定给从所述最高分级的叶<段>到它的先辈<节>延伸的路径的所有优先级值的算术平均值。当所述路径的算术平均值超过一个阈值时，选择所述元素<段>。在图28所示的例子中，计算元素<段>1304、<节>1303、<节>1302和<节>1301的属性的算术平均值“pa”、即它们的属性优先级值p4、p3、p2和p1。所述平均值“pa”是根据等式4计算的。

$\mathrm{pa}=\frac{p1+p2+p3+p4}{4}....\left(4\right)$

被如此计算的“pa”与所述阈值相比较(S1和S2>。如果“pa”超过所述阈值，选择<段>1304(S3)，与<段)1304的“开始”和“结束”相关的属性值被作为所选择场景的开始时间和结束时间输出(S4)。所有的元素<段>都被进行前述处理(S1和S6)。图32的流程示出了根据该第二实施例与选择步骤101相关的处理。

在该第二实施例中，计算从指定给最低分级的所述<段>的优先级值到指定给最高优先级的先辈<节>的优先级值的算术平均值，并在被如此计算的算术平均值的基础上选择所述叶<段>。另外，可以计算指定给具有子<段>的元素<节>的优先级值到指定给最高分级的先辈<节>的优先级值的算术平均值，通过比较被如此计算的算术平均值和所述阈值，可以选择具有所述子<段>的元素<节>。类似的，在另一个分级段中，可以计算从指定给元素<节>的优先级值到指定给它的最高分级的先辈<节>的优先级值的算术平均值，被如此计算的算术平均值与所述阈值比较，借此，可以选择在所述分级段中的元素<节>。

第三实施例

下面描述根据本发明的第三实施例。所述第三实施例仅仅在与选择步骤相关的处理方面与第一实施例不同。

下面将参考附图描述根据第三实施例与选择步骤101相关的处理。在结合第一实施例所描述处理的情况下，在根据第三实施例的选择步骤101中，所述选择仅仅针对其中的每一个都具有一个子<段>的元素<节>执行的。在第三实施例中，设置了一个考虑到与所有将被选择的场景的持续时间周期的和的阈值。具体地说，在截止到目前已经被选择的元素<节>的持续时间周期的和最大但仍保持小于所述阈值之前，按照优先级减小的顺序选择所述元素<节>。图33的流程示出了根据第三实施例与选择步骤101相关的处理。其中的每一个都具有子<段>的多个<节>的集合被取作为一个集Ω(S1)。所述集Ω的元素<节>被按照属性优先级的降序存储(S2)。从集Ω中选择具有最高优先级值的元素<节>(S4和S5)，并从所述集Ω中删除被如此选择的元素<节>。通过检查所述元素<节>的所有子<段>获得被如此选择的元素<节>的开始时间和结束时间，并计算所述元素<节>的持续时间(S6)。计算截止到目前为止已经被选择的所述元素<节>的持续时间周期的和(S7)。如果所述和超过了所述阈值，处理完成(S8)。如果所述和低于所述阈值，输出在这个时间选择的所述元素<节>的开始时间和结束时间(S9)。然后，处理返回到从所述集Ω中选择具有最高优先级值的元素<节>的步骤。重复上述处理，直到所选择的元素<节>的持续时间周期的和超过所述阈值或所述集Ω变空为止(S4和S8)。

在第三实施例中，针对具有子<段>的元素<节>执行选择。但是，所述选择也可以不针对所述元素<节>而针对元素<段>进行。在这种情况下，优先级值对应于在所述媒体内容内所有元素<节>当中共享的重要程度。此外，选择也可以针对同一分级内不具有子<段>的元素<节>进行。具体地说，选择可以针对位于从所述先辈<内容>或叶<段>开始计数的同一路径中的元素<节>进行。

与在第二实施例的情况相同，指定给各元素<节>和元素<节>的优先级值被用做为上下文重要性的客观程度，计算从指定给所述元素<节>到最高分级的它的先辈<节>的所有优先级的平均值“pa”。以“pa”的降序选择其中的每一个都具有子<段>的元素<节>或元素<段>，直到所述持续时间周期的和最大但小于所述阈值为止。即使是在这种情况下，也可以获得与第二实施例相同的有益结果。

第四实施例

下面将描述本发明的第四实施例。所述第四实施例仅仅在与选择步骤相关的处理方面与第一实施例不同。

下面参考附图描述根据第四实施例与选择步骤101相关的处理。与在第一实施例中在选择步骤101中执行的选择的情况相同，在第四实施例中与选择步骤101相关的选择是针对元素<段>以及具有子<段>的元素<节>进行的。和第一实施例的情况相同，考虑到在当前实施例中将被选择的所有场景的持续时间周期的和，设置了一个阈值。与在第一实施例的情况相同，指定给具有子<段>的元素<节>的优先级值对应于所述媒体内容中其中的每一个都具有子<段>的所有元素<节>当中共享的重要程度。具体地说，所述优先级值被取作为在图34中被虚线包围的所述元素<节>当中共享的重要程度。此外，指定给所述元素<节>的优先级值对应于在与同一母元素<节>共享的所述元素<节>当中共享的重要程度；即，由图34所示的一个虚线包围的所述元素<段>当中共享的重要程度。

图35的流程示出了根据第三实施例与选择步骤相关的处理。其中的每一个都具有子<段>的元素<节>的集合被取作为集Ω(S1)。所述集Ω内的元素<节>按照优先级的降序存储(S2)。然后，从所述集Ω内选择具有最高优先级值的元素<节>(S3、S4和S5)。如果多个元素<节>都具有最高的优先级值，那么选择所有的这些元素。被如此选择的元素<节>被取作为另一个集Ω′的元素和从所述集Ω中被删除。通过预先检查所述元素<节>的子<段>获得和存储被如此选择的元素<节>表示的一个场景的开始时间、结束时间和持续时间(S6)。如果选择多个元素<节>，由各元素表示的多个场景中的每一个场景的开始时间、结束时间和持续时间被预先获得和存储。获得所述集Ω′的所述元素<节>的持续时间周期的和(S7和S8)。所述和与一个阈值相比较(S9)。如果所述持续时间周期的和等于所述阈值，则输出与所述开始时间和结束时间相关且截止到目前为止已经存储的所有数据集，然后处理结束(S10)。相反，如果所述持续时间周期的和低于所述阈值，处理再次返回从所述集Ω选择一个元素<节>的步骤(S4和S5)。如果所述集Ω是空的，则输出所存储的与所述开始时间和结束时间相关的所有数据集，然后处理结束(S4)。如果所述持续时间周期的和超过了所述阈值，则执行下述的处理。具体地说，从所述集Ω′中选择具有最小优先级的元素<节>(S11)。此时，如果多个元素<节>具有所述最小优先级，则选择所有这些元素。在被如此选择的元素<节>的子<段>中，删除具有最小优先级的子<段>(S12)。改变与被如此删除的子<段>对应的元素<节>开始时间、结束时间和持续时间(S13)。作为删除所述元素<段>的结果，场景被中断。在这种情况下，对于每个已经被中断的场景来讲，存储所述开始时间、结束时间和持续时间。另外，作为删除所述子<段>的结果，如果一个元素<节>的所有子<段>都被删除，那么，从所述集Ω′中删除所述元素<节>。如果选择了多个元素<节>，那么所有的元素都被进行上述处理。作为删除所述子<段>的结果，从中被删除所述子<段>的元素<节>的持续时间变得较短，从而减小了所述持续时间周期的和。重复执行这种删除处理，直到所述集Ω′的元素的持续时间周期的和变得低于所述阈值为止。当所述集Ω′的元素的持续时间周期的和变得低于所述阈值时(S14)，输出已经被存储的与开始时间和结束时间相关的所有数据集，然后处理结束(S15)。

虽然在第四实施例中所述选择是针对其中的每一个都具有子<段>的元素<节>或子<段>执行的，但是，所述选择也可以针对一个元素<节>和它的子<节>或一个元素<节>和它的子<段>执行。即使是在这种情况下，也可以实现与第四实施例相同的有益结果。

考虑到当所述持续时间周期和超过所述阈值时执行的所述元素<段>的删除，在当前的实施例中，从最低优先级开始按照升序删除所述元素<节>。但是，可以设置一个阈值用于元素<节>的优先级，可以从低于所述阈值的所有元素<节>中删除具有最小优先级的子<段>。另外，也可以设置另一个阈值用于元素<段>的优先级，和可以删除其优先级低于所述阈值的元素<段>。

第五实施例

下面参考附图描述本发明的第五实施例。在该实施例中，MPEG-1格式的运动图像被取作为媒体内容。在这种情况下，一个媒体内容对应于一个单一的场景分割。一个得分对应于感兴趣场景下文重要性的客观程度。

图36的框图示出了根据本发明第五实施例的媒体处理方法。在图36中，标号1801表示一个选择步骤；1802表示一个提取步骤；1803表示一个形成步骤；1804表示一个传送步骤；1805表示一个数据库。在选择步骤1801中，从上下文描述数据中选择一个媒体内容的场景，并输出与被如此选择的场景的开始时间和结束时间相关数据以及表示用于存储所述数据的文件的数据。在提取步骤1802中，接收表示所述场景开始时间和结束时间的数据集以及表示在选择步骤1801中输出的文件的数据集。另外，在提取步骤1802中，通过参考结构描述数据，从所述媒体内容的中提取与由在选择步骤1801输出的开始时间和结束时间规定的段相关的数据。在形成步骤1803中，在提取步骤1802中输出的数据被多路复用，并由此构成MPEG-1格式的系统数据流。在传送步骤1804中，在形成步骤1803中准备的MPEG-1格式的系统数据流被经过一个线传送。标号1805表示用于存储媒体内容、它的结构描述数据和上下文描述数据的一个数据库。

图37示出了根据第五实施例的结构描述数据的结构。在该实施例中，以三种结构描述所述数据的物理内容。由于在所述数据库1805中媒体内容的存储特性，不必须以单个文件的形式存储一个单片的媒体内容。在某些情况下，一个单片的媒体内容可以存储在多个单独的文件中。结构描述数据的三个结构的根可以被描述为<内容>和表示一个单片的内容。一个相应片内容的题目被作为属性附加到所述根<内容>上。所述<内容>的子<内容>对应于表示存储所述媒体内容的一个文件。所述子<媒体目标>被作为属性附加到表示到存储所述媒体内容的所述文件的链接的链接<定位器>和表示到上下文描述数据的链接的识别符ID上。在所述媒体内容由多个文件组成的情况下，“seq”被作为属性附加到所述元素<媒体目标>上，用于表示在所述媒体内容内感兴趣文件的顺序。

图38示出了根据第五实施例上下文描述数据的结构。本实施例的上下文描述数据对应于被附加有到所述结构描述数据的元素<媒体目标>的链接的第一实施例的上下文描述数据。具体地说，所述上下文描述数据的根<内容>具有一个子<媒体目标>，元素<媒体目标>具有一个子<节>。元素<节>和<段>与在第一实施例中使用的元素<节>和<段>相同。所述结构描述数据的元素<媒体目标>与所述上下文描述数据的元素<媒体目标>相关。借助于所述上下文描述数据的所述元素<媒体目标>的子<媒体目标>描述的所述媒体内容的场景被存储在由具有相同值属性ID的结构描述数据的元素<媒体目标>指定的一个文件中。另外，指定给一个元素<段>的时间信息“开始”和“结束”建立从每个文件的头开始已经逝去的时间。具体地说，在一个单片媒体内容包括多个文件的情况下，在每个文件头处的时间对应于0，每个场景开始的时间由从所述文件头开始到一个感兴趣场景结束所经过的时间表示。

在计算机中可以使用例如可扩展的置标语言(XML)表示所述结构描述数据和上下文描述数据。图39示出了用于使用XML描述图37所示结构描述数据的文件类型定义(DTD)的一个例子，以及使用所述DTD描述的结构描述数据的一个例子。图40到45示出了用于使用XML描述图38所示上下文描述数据的DTD的一个例子，以及使用所述DTD描述的所述上下文描述数据的一个例子。

下面描述与所述选择步骤1801相关的处理。在选择步骤1801中，结合第一到第四实施例所描述的任何一种方法都可以被作为选择一个场景的方法。到所述结构描述数据的<目标>的链接最后与所选择场景的开始时间和结束时间的输出同步输出。图46示出了在使用图39所示DTD以XML形式描述的结构描述数据和使用图40和45所示DTD以XML形式描述上下文描述数据的情况下从所述选择步骤1801输出的数据的一个例子。在图46中，“id”后面跟随有一个结构描述数据的元素<媒体目标>的ID；“开始”后面跟随有所述开始时间；“结束”后面跟随有所述结束时间。

下面描述与提取步骤1802相关的处理。图47的框图示出了根据第五实施例的提取步骤1802。在图47中，根据第五实施例的提取步骤1802是由接口装置2401、去多路复用装置2402、视频剪辑装置2403和音频剪辑装置2404执行的。接口装置2401接收在选择步骤1801输出的结构描述数据和一个段，从数据库1805中提取一个媒体内容文件，向去多路复用装置2402输出被如此提取的文件，并向视频剪辑装置2403和音频剪辑装置2404输出在选择步骤1801中输出的所述开始时间和结束时间。本实施例的媒体内容对应于其中被多路复用了视频数据流和音频数据流的MPEG-1格式的系统数据流。因此，去多路复用装置2402将所述MPEG-1格式的系统数据流分割成所述视频数据流和所述音频数据流。被如此分割的视频数据流和从接口装置2401输出的所述段被输入给视频剪辑装置2403。在所输入的视频数据流中，所述视频剪辑装置2403只输出与被选择段相关的数据。类似的，在选择步骤2402中输出的音频数据流和所述段被输入给所述音频剪辑装置2404。在所输入的音频数据流中，音频剪辑装置2402只输出与被选择段相关的数据。

下面描述与接口装置2401相关的处理。图48的流程示出了由接口装置2401执行的处理。如图46所示与相应内容相关的结构描述数据和在选择步骤1801输出的段被输入给接口装置2401。从指定给所述结构描述数据的元素<媒体目标>的属性“id”获得降序的文件，因此，在选择步骤1801输出的段被按照降序和“id”的顺序存储(S1)。此外，所述段被转换为诸如图49所示的数据。相同的段被集合在一起并按照开始时间的顺序排列。然后，接口装置2401对图49所示的数据集按照从上到下的顺序执行下面的处理。首先，接口装置2401使用“id”参考一个结构描述数据的元素<媒体目标>，并在该元素<媒体目标>的属性“定位器”的基础上读出一个文件名。从所述数据库中读出与对应于所述文件名的文件相关的数据，被如此读出的数据被输出给去多路复用器2402(S2和S3)。在“id”后面描述的被选择文件段的开始时间和结束时间被输出给视频剪辑装置2403和音频剪辑装置2404(S4)。在所有的数据集都被进行了上述处理之后，处理结束(S5)。如果仍然剩下某些数据集没有处理，那么，在结束由去多路复用装置2402执行的处理、由视频剪辑装置2403执行的处理和由音频剪辑装置2404执行的处理之后重复前述的处理(S6和S7)。

下面描述与去多路复用装置2402相关的处理。图50的流程示出了由去多路复用装置2402执行的处理。去多路复用装置2402从接口装置2401中接收与媒体内容对应的MPEG-1格式的系统数据流，并将被如此接收的MPEG-1格式的系统数据流分割成一个视频数据流和一个音频数据流。所述视频数据流被输出给视频剪辑装置2403，和所述音频数据流被输出给音频剪辑装置2404(S1到S10)。在完成所述视频数据流和所述音频数据流的输出(S9和S11)之后，向接口装置2401报告由去多路复用装置2402执行的处理结束(S12)。如图50中的流程指出的，除了传送处理结束确认以外，由去多路复用装置2402执行的处理与由第一实施例的去多路复用装置执行的处理相同。

下面描述由视频剪辑装置2403执行的处理。图53的流程示出了由视频剪辑装置2403执行的处理。如图53的流程所指出的，除了在处理结束时向接口装置2401传送处理结束确认(S15和S17)以外，由视频剪辑装置2403执行的处理与根据第一实施例由所述视频剪辑装置执行的处理相同。

下面描述由音频剪辑装置2404执行的处理。图52的流程示出了由音频剪辑装置2404执行的处理。如图52的流程所指出的，除了在处理结束时向接口装置2401传送处理结束确认(S11和S12)以外，由音频剪辑装置2404执行的处理与结合第一实施例由所述音频剪辑装置执行的处理相同。

在形成步骤1803中，在提取步骤1802中输出的视频数据和音频数据被借助于用于在国际标准ISO/IEC IS 11172-1下MPEG-1标准化的方法进行时分复用。在所述媒体内容被存储在多个独立文件中的情况下，按照输出视频数据流和音频数据流的顺序在提取步骤1802中多路复用所述文件中的每一个。

在传送步骤1804中，在形成步骤1803中被多路复用的MPEG-1格式的系统数据流经过所述线被传送。当在形成步骤1803中输出多个MPEG-1格式的系统数据流时，所有的系统数据流按照它们的输出顺序被传送。

在本实施例中，在所述媒体内容被存储到多个其中的每一个文件都在提取步骤1802中被处理的独立文件中的情况下，在其中所述媒体内容的多个文件的相关视频和音频数据流被相互联系到一起并且输出被如此联系的数据流的形成步骤1803中，即使是当所述视频和音频数据流被多路复用到一个单一的MPEG-1格式的系统数据流中时，也可以实现在形成步骤1803中获得的相同有益结果。在这种情况下，必须利用视频剪辑装置2403改变所述时间码，以便使用于对输出帧的数量进行计数的计数器C仅仅增加与视频数据流的数量相应的量。计数器C只有在一个文件开始时被初始化(图51所示的S3和S18)。在图53的流程中提供了此时由视频剪辑装置2403执行的处理。虽然在第五实施例中所述上下文描述数据和物理上下文数据彼此是分开描述的，但是，借助于将结构描述数据的属性“seq(顺序)”和“1ocator(定位器)”附加到所述上下文描述数据的元素<媒体目标>的属性上，这些数据也可以被描述为一个单一的数据。

第六实施例

下面参照附图描述本发明的第六实施例。在本实施例中，MPEG-1格式的运动图像被取作为媒本内容。在这种情况下，一个媒体段对应于一个单一的场景分割。另外，一个得分对应于一个感兴趣场景的上下文重要性的客观程度。

图54的框图示出了根据本发明第六实施例的媒体处理方法。在图54中，标号3101表示选择步骤；3102表示提取步骤；3103表示形成步骤；3104表示传送步骤和3105表示一个数据库。在选择步骤3101中，从上下文描述数据中选择一个媒体内容场景，并输出与被如此选择场景的开始时间和结束时间相关的数据，以及表示存储所述数据的一个文件的数据。这样，与选择步骤3101相关的处理与在第五实施例的选择步骤中执行的处理相同。在提取步骤3102中，接收在选择步骤3101中输出的表示所述场景开始时间和结束时间的数据集以及表示所述文件的数据。此外，通过参考结构描述数据，从所述媒体内容文件中提取与由在选择步骤3101输出的开始时间和结束时间规定的所述段相关的数据。与提取步骤3102相关的处理与在第五实施例中所述提取步骤执行的处理相同。在形成步骤3103中，根据在传送步骤3104中确定的拥挤程度，多路复用在提取步骤3102中输出的部分或全部数据流，借此，构成MPEG-1格式的系统数据流。在传送步骤3104中，确定用于传送MPEG-1格式系统数据流的所述线的拥挤程度，在形成步骤3103中传送所述确定结果。此外，在传送步骤3104中，经过所述线传送在形成步骤3103中准备的MPEG-1格式的系统数据流。标号3105表示用于存储所述媒体内容、它的结构描述数据以及上下文描述数据的一个数据库。

图55的框图示出了根据第六实施例在形成步骤3103和传送步骤3104期间执行的处理。在图55中，形成步骤3103是由数据流选择装置3201和多路复用装置3202执行的。传送步骤3104是由拥挤程度确定装置3203和传送装置3204执行的。数据流选择装置3201接收在提取步骤3102中输出的视频和音频数据流和在拥挤程度确定装置3203中输出的拥挤程度。如果所述线的拥挤程度低得足以允许传送所有的数据集，那么，所有的系统数据流都将被输出给多路复用装置3202。如果由于所述线非常繁忙或具有很高的拥挤程度而使得传送所有的数据集需要很长的时间，那么，只选择所述多个视频和音频数据流的一部分输出给所述多路复用装置3202。在这种情况下，可以一多种方式执行所述选择，即：只选择视频数据流的基层；只选择音频数据流的单声道；只选择音频数据流的左立体声信号；只选择音频数据流的右立体声信号；或它们的相互组合。这里，如果仅仅存在单一的视频数据流和单一的音频数据流，那么可以不考虑所述拥挤程度而输出所述数据流。多路复用装置3202借助于被国际标准ISO/ISE IS11172-1标准化的MPEG-1格式的多路复用方法使从数据流选择装置3201输出的视频和音频数据流被时分多路复用。拥挤程度确定装置3203检查用于传送所述数据流的所述线的当前状态和拥挤程度，并输出检查结果给数据流选择装置3201。传送装置3204经过所述线传送被多路复用装置3202多路复用的MPEG-1格式的系统数据流。

在本实施例中，在存在单一视频数据流的情况下，数据流选择装置3201不考虑所述拥挤程度而输出所述视频数据流。但是，如果与所述视频数据流相关的所有数据集在经过所述线传送时需要大量的时间，那么可以只选择所述视频数据流的表示图像加以传送。在选择所述表示图像时，在所述上下文描述数据中描述所述表示图像的时间码。另外，只有被称之为I图像并能够被单独译码的一个单一帧能够被从多个帧中选择。

第七实施例

下面参考附图描述本发明的第七实施例。在第七实施例中，MPEG-1格式的运动图像被作为媒体内容。在这种情况下，一个媒体段对应于一个场景分割。另外，在本实施例中，一个得分对应于从与由所述用户选择的字符或事件相关的关键字的角度出发感兴趣的一个场景的上下文重要性的客观程度。

图56的框图示出了根据本发明第七实施例的处理方法。在图56中，标号3301表示选择步骤，3302表示提取步骤。在选择步骤3301中，借助于一个关键字和附加到所述上下文描述数据上的它的一个得分从上下文描述数据中选择一个媒体内容的场景。输出与被如此选择场景的开始时间和结束时间相关的数据。在提取步骤3302中，提取与由在选择步骤3301中输出的开始时间和结束时间规定的段相关的数据。

图57示出了根据第七实施例的上下文描述数据的结构。在本实施例中，所述上下文是根据一个树结构描述的。在所述树结构中的元素从左到右是按时间顺序排列的。在图57中，被指定为<内容>的所述树的根表示一个单一的内容部分，题目被作为属性指定给所述根。

利用<节>指定<内容>的子<内容>。表示一个场景的内容或字符的关键字和表示所述关键字重要程度的优先级以关键字和优先级对的形式作为属性附加到元素<节)上。假设所述优先级是范围从1到5的一个整数。其中，1指出重要性的最低级和5指出重要性的最高级。建立所述对(关键字和优先级)以便使它能够被用做检索用户所希望的一个特定场景或字符的索引。为此，可以有多个对(关键字和优先级)被附加到一个单一的元素<节>上。例如，在描述字符的情况下，数量等于在感兴趣场景中出现的字符数量的多个对被附加到一个单一的元素<节>上。设置附加到所述场景上的优先级的值，以便使其值当大量的字符出现在感兴趣场景中时变大。

利用<节>或<段>指定<节>的子<节>。这里，元素<节>本身可以被用做另一个子<节>的子<节>。但是，一个单一的元素<节>不能具有子<节>和子<段>的混合物。

一个元素<段>表示一个单一的场景分割。与附加到所述元素<节>上的对类似的对(一个关键字和优先级)和与一个感兴趣场景相关的时间信息、即表示所述开始时间的“开始”和表示所述结束时间的“结束”被作为属性附加到<节>上。可以使用商业可得到的软件或经过网络可得到的软件分割所述场景。另外，可以使用手工分割所述场景。表示一个场景开始时间的属性“从”能够规定一个感兴趣场景的开始帧。虽然在本实施例中时间信息是按照一个场景分割的开始时间和结束时间表示的，但是，当按照一个感兴趣场景的开始时间和所述感兴趣场景的持续时间表示所述时间信息时也可以实现类似的结果。在这种情况下，所述感兴趣场景的结束时间是通过将所述持续时间加到所述开始时间上获得的。

在诸如是一个电影的故事、字符的情况下，可以使用元素<节>在所述上下文描述数据的基础上描述章、节和段。在另一个例子中，当描述棒球游戏时，最高分级的元素<节>可以被用于描述局，它们的子<节>可以被用于描述半局。此外，元素<节>的第二代子<节>可以被用于描述各棒球手的挥棒。元素<节>的第三代子<节>也可以被用于描述每个间距以及两个间距之间的时间周期和挥棒结果。

具有这样结构的上下文描述数据可在计算机中利用例如可扩展标记语言(XML)来表示。XML是其标准化被万维网联盟追求的数据描述语言。1998年2月10提交了1.0版的建议。有关XML 1.0版的说明可从http：/www.w3.org/TR/1998/REC-xml-19980210获得。图58至66表示用来利用XML说明本实施例的上下文描述数据的文档类型定义(DTD)的一个例子，和利用DTD说明的上下文描述数据的一个例子。图67至80表示通过给图58至66所示的上下文描述数据加上媒体段的代表性数据(支配数据)、例如代表性图像(即视频数据)和关键字(音频数据)得到的上下文描述数据的一个例子，和用来利用XML说明该上下文描述数据的DTD。现在描述与选择步骤S3301相关的处理。在本实施例中，针对元素<段>和具有子<段>的元素<节>执行与选择步骤S3301相关的处理。图81是表示与第七实施例的选择步骤3301相关的处理的流程图。在该选择步骤3301中，输入起选择场景的索引作用的关键字及其优先级的阈值，由此从具有上下文描述数据的元素<段>的那些元素<节>中选择其关键字与输入的索引相同和其优先级超过阈值的元素<节>作为子<节>(S2和S3)。然后，从如此选出的元素<节>的子<段>中只选择其关键字与该索引相同和其优先级超过该阈值的子<段>(S5和S6)。根据利用上述处理选定的子<段>的属性“开始”和“结束”确定被选定场景的开始时间和结束时间，并输出该开始时间和结束时间(S7，S8，S9，S10，S11，S1，和S4)。

虽然在本实施例中针对元素<段>和具有子<段>的元素<节>进行选择，但也可以针对另外的母-子关系进行选择；例如在某一分级层内的元素<节>及其子<节>。此外，这种母-子关系不只限于两层的分级层。分级层的各层的数目可以是2以上，可对树结构的树叶、即子<段>执行相同的处理。还有，可把检索索引设定成包括多个关键字和确定这些关键字之间的关系的条件的索引对。确定各关键字之间的关系的条件包括例如“两者中任一个”、“两者”或“两者中任一个或两者”这样的组合。可确定用于选择的阈值，在多个关键字的情况下，可对每一个关键字执行处理。起检索索引作用的关键字可由用户输入，或由系统根据用户简要表自动设定。

与提取步骤3302相关的处理与在第一实施例中描述的提取步骤中执行的处理相同。

如图82所示，本实施例的优点是：通过把提取步骤3302输出的视频流输入给视频播放装置和把同一步骤输出的音频流输入给音频播放装置并播放彼此同步的这些音频和视频流，就能够只播放观众感兴趣的媒体内容的场景。此外，通过多路复用这些视频流和音频流，还可准备与观众感兴趣的媒体内容的场景集合相关的MPEG-1格式的系统流。

第八实施例

现在描述本发明的第八实施例。第八实施例与第七实施例的不同之处仅在于与选择步骤相关的处理方面。

现在描述与选择步骤S3301相关的处理。在本实施例中，只针对元素<段>执行与选择步骤S3301相关的处理。图83是表示与第七实施例的选择步骤S3301相关的处理的流程图。如图83所示，在选择步骤3301中，输入起用来选择场景的索引作用的关键字及其优先级的阈值。从上下文描述数据的元素<段>中选择其关键字与该索引相同和其优先级超过阈值的子<段>(S1和S6)。

虽然在第八实施例中只针对元素<段>进行选择，但也可只针对具有某种分级的元素<节>进行选择。此外，还可把检索索引设定成包括多个关键字和确定这些关键字之间的关系的条件的索引对。确定各关键字之间的关系的条件包括例如“两者中任一个”、“两者”或“两者中任一个或两者”这样的组合。可确定用于选择的阈值，在多个关键字的情况下，可对每一个关键字执行处理。

第九实施例

现在描述本发明的第九实施例。第九实施例与第七实施例的不同之处仅在于与选择步骤相关的处理方面。

现在参看附图描述与选择步骤S3301相关的处理。如同在对第七实施例描述的处理的情形中那样，在第九实施例的选择步骤3301中，只针对元素<段>和具有子<段>的元素<节>进行选择。在本实施例中，相对于所有待选择场景的持续时间之和设定阈值；具体来说，这样进行选择，即，使到目前为止已选定的场景的持续时间之和最大但仍小于该阈值。图84是表示与第九实施例的选择步骤相关的处理的流程图。在选择步骤3301中，接收起检索索引作用的一个关键字。然后从具有子<段>的元素<节>中提取具有与该检索索引相同的关键字的所有元素<节>。把如此选定的元素<节>的集合作为集合Ω(S1和S2)。集合Ω的元素<节>按优先级的降序进行存储(S3)。然后从如此选定的集合Ω的元素中选择其关键字或检索索引具有最大优先值的元素<节>(S5)。从集合Ω中删除如此选定的元素<节>(S6)。在这种情况下，如果多个元素<节>都具有最大优先值，就提取所有这些元素<节>。在如此选定的元素<节>的子<段>中，只选择具有检索索引的子<段>，把如此选定的子<段>添加到另一个集合Ω′中去。集合Ω′的初始值是“空”的(S2)。获得与集合Ω′相关的场景的持续时间之和(S8)，把该和与阈值作比较(S9)。如果该持续时间之和等于该阈值，就输出与集合Ω′所包含的元素<段>的所有段相关的数据，结束处理(S14)。相反地，如果持续时间之和小于阈值，处理就返回从集合Ω中选择其检索索引或关键字具有最高优先级的元素<节>。重复上述选择处理。如果集合Ω是空的，就输出与集合Ω′的元素<段>的所有段相关的数据，结束处理(S4)。如果与集合Ω′相关的场景的持续时间之和大于阈值，就执行以下处理。从集合Ω′中删除其检索索引或关键字具有最小优先级的元素<段>(S11)。此时，如果多个元素<段>都具有最小优先级，就删除所有这些元素<段>。获得集合Ω′的元素<段>的持续时间之和(S12)，把该和与阈值作比较(S13)。如果该持续时间之和大于该阈值，处理就返回从集合Ω′中删除元素<段>。重复执行这样的删除处理。在此，如果集合Ω′是空的，就结束处理(S10)。相反地，如果持续时间之和小于阈值，就输出与集合Ω′的元素<段>的所有段相关的数据，结束处理(S14)。

虽然在本实施例中针对元素<段>和具有子<段>的元素<节>执行选择，但也可以对其它母-子关系、例如元素<节>和其在另一级内的子<段>执行选择。还有，母-子关系不只限于两级的分级；分级的级数可以增大。例如，在对处于从最高分级的元素<节>到其子<段>范围内的分级的元素进行处理的情况下，选择最高级的元素<节>。还选择如此选定的元素<节>的后续<节>，以及进一步选择如此选定元素<节>的第二代子。重复这一轮选择操作直到子<段>被选定为止。如此选择的元素<段>组成集合Ω′。

在本实施例中，元素按照检索索引或关键字优先级的降序进行存储，可关于优先值设定阈值，可按照优先级的降序选择元素。可关于元素<节>、以及可关于元素<段>分别设定阈值。

在本实施例中，检索索引被规定为单个关键字。但是，可把检索索引设定成包括多个关键字和确定这些关键字之间的关系的条件的索引对。确定各关键字之间的关系的条件包括例如“两者中任一个”、“两者”或“两者中任一个或两者”这样的组合。在这种情况下，需要确定在选择或删除元素<节>和元素<段>时使用的各关键字的优先级的规则。这种规则的一个例子如下：如果条件是“两者中任一个”，则相应各关键字的优先值的最大优先值被设定为“优先”。此外，如果条件是“两者”，则相应各关键字的优先值的最小优先值被设定为“优先”。即使在条件是“两者中任一个或两者”时，也可按该规则确定优先值。还有，在检索索引或关键字为多个的情况下，可关于作为检索索引的关键字的优先级设定阈值，可对其优先值超过该阈值的那些元素进行处理。

第十实施例

现在描述本发明的第十实施例。第十实施例与第七实施例的不同之处仅在于与选择步骤相关的处理方面。

现在参看附图描述与选择步骤S3301相关的处理。如同在对第八实施例描述的处理的情形中那样，在第十实施例的选择步骤3301中，只针对元素<段>进行选择。此外，如第九实施例那样，在本实施例中，相对于所有待选择场景的持续时间之和设定阈值；具体来说，这样选择元素，即，使到目前为止已选定的场景的持续时间之和最大但仍小于阈值。图85是表示与第十实施例的选择步骤相关的处理的流程图。

在选择步骤3301中，接收起检索索引作用的一个关键字。把集合Ω′初始化为“空”(S2)。然后从元素<段>中提取具有与该检索索引相同的关键字的所有元素<段>。把如此选定的元素<段>的集合作为集合Ω。然后按照优先级的降序存储其关键字与检索索引相同的元素<段>(S3)。然后从如此排序的集合Ω的元素中提取其关键字或检索索引具有最大优先值的元素<段>(S5)，并从该集合Ω中删除如此提取的元素<段>。在这种情况下，如果多个元素<段>都具有最大优先值，就选择所有这些元素<段>。如果集合Ω是空的，就输出与集合Ω′的元素<段>的所有元素有关的数据，结束处理(S4)。计算如此提取的元素<段>的持续时间之和T1(S6)，和计算集合Ω′的各场景的持续时间之和T2(S7)。把T1和T2之和与阈值作比较(S8)。如果T1和T2之和超过阈值，就输出与集合Ω′所包含的元素<段>的所有段相关的数据，结束处理(S11)。如果T1和T2之和等于阈值，就给集合Ω′的元素添加所有提取的元素<段>(S9和S10)，输出与集合Ω′所包含的元素<段>的所有段相关的数据，并结束处理(S11)。相反地，如果T1和T2之和小于阈值，就给集合Ω′的元素添加所有提取的元素<段>，处理然后返回从集合Ω中选择元素<段>。

虽然在本实施例中针对元素<段>进行选择，但也可针对另一分级中的元素<节>执行选择。在本实施例中，元素按照作为检索索引的关键字的优先级的降序进行排序。可关于优先值设定阈值，只要元素的优先值大于阈值，就可按照优先级的降序选择这些元素。

此外，在本实施例中，检索索引被规定为单个关键字。但是，可把检索索引设定成包括多个关键字和确定这些关键字之间的关系的条件的索引对。确定各关键字之间的关系的条件包括例如“两者中任一个”、“两者”或“两者中任一个或两者”这样的组合。在这种情况下，需要确定在选择或删除元素<节>和元素<段>时使用的各关键字的优先级的规则。这种规则的一个例子如下：如果条件是“两者中任一个”，则相应各关键字的优先值的最大优先值被设定为“优先”。此外，如果条件是“两者”，则相应各关键字的优先值的最小优先值被设定为“优先”。即使在条件是“两者中任一个或两者”时，也可按该规则确定优先值。还有，在检索索引或关键字为多个的情况下，可关于作为检索索引的关键字的优先级设定阈值，可对其优先值超过该阈值的那些元素进行处理。

第十一实施例

现在描述本发明第十一实施例。本实施例的上下文描述数据与第七至第十实施例的上下文描述数据的不同之处在于视点一起被用来选择场景的关键字作用-和该视点重要程度的说明方面。如图57所示，在第七至第十实施例中，视点和该视点的重要程度通过给元素<段>或<段>分配关键字和重要程度的组合(即关键字和优先级)来进行说明。与此相反，如图133所示，在第十一实施例中，视点及该视点的重要程度通过给根<内容>分配属性“povlist”和给元素<节>或<段>分配属性“povvalue”来说明。

如图134所示，属性“povlist”相应于用矢量形式表示的视点。如图135所示，属性“povvalue”相应于用矢量形式表示的重要程度。每一个集合包括视点和该视点一对一关系的重要程度的组合集合按给定序列排列，由此形成属性“povlist”和“povvalue”。例如，如图134和135所示，视点1的重要程度取值5，视点2的重要程度取值0；视点3的重要程度取值2；视点“n”(“n”为正整数)的重要程度取值0。在第七实施例的情形中，视点2的重要程度取值2，表明视点2没有被分配关键字；即组合(关键字，先级)。

图136至163和图164至196表示被用来利用在计算机中用来说明上下文描述数据的“可扩展标记语言”(XML)说明本实施例的上下文描述数据的“文件类型定义”(DTD)的一些例子，以及在DTD中被说明的上下文描述数据的一个例子。即使在本实施例中也利用上下文描述数据实现与在第七至第十实施例中描述的处理操作相同的那些处理操作。

在本实施例中，属性“povlist”被分配给根<内容>，而属性“povvalue”被附加给元素<节>或<段>。如图197所示，属性“povlist”也可被附加给元素<节>或<段>。对于被分配了属性“povlist”的元素<节>或<段>，属性“povvalue”相应于被分配给元素<节>或<段>的属性“povlist”。而对于没有被分配属性“povlist”的元素<节>或<段>，属性“povvalue”相应于被分配给根<内容>的属性“povlist”或在没有被分配属性“povlist”的元素<节>或<段>的祖先中的被分配了属性“povlist”的最接近元素<节>的属性“povlist”。

图198至252表示相应于图197所示的DTD的、被用来利用在计算机中用来说明上下文描述数据的XML说明本实施例的上下文描述数据的DTD的一个例子，以及在DTD中被说明的上下文描述数据的一个例子。在所举的这些例子中，被分配给元素<节>或<段>的属性“povvalue”相应于被分配给根<内容>的属性“povlist”。

第十二实施例

现在参看附图描述本发明第十二实施例。在本实施例中，MPEG-1格式的系统流的运动图像被作为媒体内容。在这种情况下，媒体分段相当于一个场景分割。

图86是表示本发明第十二实施例的媒体处理方法的方框图。在图86中，标号4101表示选择步骤；4102表示提取步骤；4103表示形成步骤；4104表示输送步骤；4105表示数据库。在选择步骤4101中，根据上下文描述数据选择媒体内容的一个场景，并输出与如此选择的场景的开始时间和结束时间有关的数据以及表示存储了这些数据的文件的数据。在提取步骤4102中，接收表示该场景的开始时间和结束时间的数据集和表示在选择步骤4101输出的文件的数据集。参看结构描述数据，从媒体内容的文件中提取与由在选择步骤4101中接收的开始时间和结束时间确定的段相关的数据。在形成步骤4103中，对提取步骤4102输出的数据进行多路复用，由此形成MPEG-1格式的系统流。在输送步骤4104中，通过线路输送在形成步骤4103中形成的MPEG-1格式的系统流。标号4105表示存储了媒体内容及其结构描述数据和上下文描述数据的数据库。

第十二实施例采用的结构描述数据的结构与第五实施例的相同。具体来说，使用具有图37所示结构的结构描述数据。

图87表示第十二实施例的上下文描述数据的结构。本实施例的上下文描述数据相应于第七实施例的给结构描述数据的元素<媒体对象>附加了链接的上下文描述数据。具体来说，上下文描述数据的根<内容>具有子<媒体对象>，而元素<媒体对象>具有子<节>。元素<节>和<段>与第七实施例所用的相同。给上下文描述数据的元素<媒体对象>附加属性“id”。利用该属性“id”使结构描述数据的元素<媒体对象>与上下文描述数据的元素<媒体对象>相关联。利用上下文描述数据的元素(媒体对象)的子孙描述的媒体内容的场景被存储在由具有同一值的属性id的结构描述数据的元素<媒体对象>指定的文件内。此外，分配给元素“段”的时间信息“开始”和“结束”确定从每一个文件的开头起已过去了的时间。具体来说，在一段媒体内容包括多个文件的情况下，每个文件的开头的时刻相应于0，而每一场景的开始时刻用从该文件的开头起到感兴趣的场景为止已过去的时间来表示。

结构描述数据和上下文描述数据可在计算机中利用例如“可扩展标记语言”(XML)来表示。与第五实施例相关的图39表示结构描述数据的一个例子。此外，图88至96表示用来利用XML描述图87所示的上下文描述数据的“文件类型定义”(DTD)的一个例子和利用该DTD描述的上下文描述数据的一个例子。

现在描述与选择步骤4101相关的处理。在选择步骤4101中，采用在第七至第十实施例中描述的任一种方法作为选择场景的方法。相应于结构描述数据的元素<媒体对象>的“id”实际上与被选择场景的开始时间和结束时间的输出同时被输出。在利用图39所示的DTD以XML文件的形式描述结构描述数据和利用图88和96所示的DTD以XML文件的形式描述上下文描述数据的情况下，从选择步骤4101输出的数据的一个例子与第五实施例中的图6所示的相同。

与提取步骤4102相关的处理与在第五实施例中描述的提取步骤相同。与形成步骤4103相关的处理也与在第五实施例中描述的形成步骤相同。此外，与输送步骤4104相关的处理也与在第五实施例中描述的输送步骤相同。

第十三实施例

现在参看附图描述本发明第十三实施例。在本实施例中，MPEG-1格式的系统流的运动图像被作为媒体内容。在这种情况下，媒体分段相当于一个场景分割。

图97是表示本发明第十三实施例的媒体处理方法的方框图。在图97中，标号4401表示选择步骤；4402表示提取步骤；4403表示形成步骤；4404表示输送步骤；4405表示数据库。在选择步骤4401中，根据上下文描述数据选择媒体内容的一个场景，并输出与如此选择的场景的开始时间和结束时间有关的数据以及表示存储了这些数据的文件的数据。与选择步骤4401相关的处理和与在第十二实施例中描述的选择步骤相关的处理相同。在提取步骤4402中，接收表示该场景的开始时间和结束时间的数据集和表示在选择步骤4401输出的文件的数据集。参看结构描述数据，从媒体内容的文件中提取与由在选择步骤4401中接收的开始时间和结束时间确定的段相关的数据。与提取步骤4402相关的处理和与在第十二实施例中描述的提取步骤相关的处理相同。在形成步骤4403中，根据在输送步骤4404确定的传送量对提取步骤4402输出的系统流的一部分或全部进行多路复用，由此形成MPEG-1格式的系统流。与形成步骤4403相关的处理和与在第六实施例中描述的提取步骤相关的处理相同。在输送步骤4404中，确定线路的传送量，并把确定的结果传送给形成步骤4403。此外，通过线路输送在形成步骤4403中形成的MPEG-1格式的系统流。与形成步骤4404相关的处理和与在第六实施例中描述的形成步骤相关的处理相同。标号4405表示存储了媒体内容及其结构描述数据和上下文描述数据的数据库。

虽然在第十三实施例中把MPEG-1的系统流作为媒体内容，但只要其它格式也能够获得每一屏幕的时间代码，则使用这种格式也能够获得与MPEG-1系统流相同的有利结果。

以下的实施例将描述对应于本申请要求保护的发明的模式的概要。以下将用“声音数据”表示与声音有关的数据，声音包括可闻音调、无声、话音、音乐、安静、外部噪声等。用“视频数据”表示可闻和可视的数据，例如运动图像、静止图像或自动反射幻灯机的字符。用“得分”表示根据声音数据的内容、例如可闻音调、无声、话音、音乐、安静或外部噪声计算的分数；根据视频数据中有无字符及其组合分配分数。此外，还可使用除上述以外的得分。

第十四实施例

现在描述本发明的第十四实施例，。图98是表示与本实施例的数据处理方法相关的处理的方框图。在该图中，标号501表示选择步骤；标号503表示提取步骤。在选择步骤501中，根据上下文描述数据的得分选择媒体内容的至少一段或一个场景，并输出如此选择的段或场景。选择的段相应于例如一选择段的开始时间和结束时间。在提取步骤503中，只提取与被在选择步骤S 501选择的段划分的媒体内容的段(以下称为“媒体段”)相关的数据，即与选择的段相关的数据。特别是，在本发明的一个例子中，得分对应于从与用户选择的字符或事件有关的关键字的视点来看感兴趣的场景的上下文重要性的客观程度。

第十五实施例

现在描述本发明的第十五实施例。图99是表示与本实施例的数据处理方法相关的处理的方框图。在该图中，标号501表示选择步骤；标号505表示播放步骤。在播放步骤505中，只播放与被在选择步骤S501输出的选择段划分的段相关的数据。与选择步骤501相关的处理与在第一至第十三实施例中描述的处理相同，为简明起见，此处不再进行说明。

第十六实施例

现在描述本发明的第十六实施例。图100是表示与十六实施例的数据处理方法相关的处理的方框图。在该图中，标号507表示视频选择步骤；标号509表示音频选择步骤。视频选择步骤507和音频选择步骤509都被包括在第十四和十五实施例所描述的选择步骤501之中。

在视频选择步骤507中，参看与视频数据相关的上下文描述数据选择视频数据段或场景，并输出如此选择的段。在音频选择步骤509中，参看与声音数据相关的上下文描述数据选择声音段，并输出如此选择的段。在此，选择的段相应于例如该被选择段的开始时刻和结束时刻。在第十四实施例所述的提取步骤503中，只播放在视频选择步骤507选择的视频数据段的数据。在播放步骤505中，只播放在音频选择步骤509选择的声音数据段的数据。

第十七实施例

现在描述本发明的第十六实施例。图101是表示与本实施例的数据处理方法相关的处理的方框图。在该图中，标号511表示确定步骤；513表示选择步骤；503表示提取步骤；505表示播放步骤。

(例子1)

在本发明一个例子中，媒体内容包括在一个时间段内的多个不同的媒体数据集。在判断步骤511中，接收描述媒体内容数据结构的结构描述数据。在这一步骤中，根据判断条件、例如接收端的能力、传输线的传送量和用户请求确定作为选择对象的数据。在选择步骤513中，接收在判断步骤511中被判断为选择对象的数据、结构描述数据和上下文描述数据。此外，只从在判断步骤511中被判断为选择对象的数据中选择媒体数据集。由于提取步骤503与第十四实施例的提取步骤相同，而播放步骤505与第十五实施例的播放步骤相同，所以在此省略对它们的描述。媒体数据包括几个数据集，例如视频数据、声音数据和文本数据。在以下各例子说明中，媒体数据特别包括至少视频数据和声音数据之一。

在本例子中，如图102所示，在媒体内容的一个时间段内，把不同的视频数据或声音数据分配给信道，进一步把这些视频数据或声音数据分配给层的分级集。例如，把传送运动图像的信道1/层1分配给具有标准分辨率的视频数据，把信道1/层2分配给具有高分辨率的视频数据。把传送声音数据的信道1分配给立体声数据，把信道2分配给单声道数据。图103和104表示用来利用XML描述结构描述数据的“文件类型定义”(DTD)的一个例子和利用该DTD描述的上下文描述数据的一个例子。

在媒体内容由这样的信道和层构成的情况下，参看图105至108描述与本实例的判断步骤511相关的处理。如图105所示，在步骤101中判断是否有用户请求存在。如果在步骤101确认有用户请求存在，就对该用户请求执行图106所示的判断处理SR-A。

在步骤101中，如果确认无用户请求，处理就到达步骤S103，进一步判断可接收的数据是否只是视频数据、只是声音数据或是视频和声音数据两者。如果在步骤S103确认可接收数据只是视频数据，就执行图107所示的与视频数据相关的判断处理SR-C。如果可接收数据被确认只是声音数据，就执行图108所示的与声音数据相关的判断处理SR-C。如果视频和音频数据都是可接收的，处理就到达步骤S105。在步骤S105，判断接收视频和音频数据的接收端的能力；例如，视频显示能力，播放能力和解压压缩数据的速率。如果确认接收端的能力较强，处理就到达步骤S107。相反地，如果确认接收端的能力较弱，处理就到达步骤S109。在步骤S107，判断将要通过其传送视频数据和音频数据的线路的传送量。如果确认该线路的传送量较大，处理就到达步骤S109。如果确认该线路的传送量较小，处理就到达步骤S111。

在接收端能力较弱或线路的传送量较大时，执行步骤S109的处理。在该处理期间，接收端通过信道1/层1接收具有标准分辨率的视频数据，通过信道2接收声音数据。在接收端能力较强或传送量较小时，执行步骤S111的处理。在该处理期间，接收端通过信道1/层2接收具有高分辨率的视频数据，通过信道1接收立体声。

现在描述图106所示与用户请求相关的判断处理SR-A。在本实例中，假设用户请求为选择视频层和声音信道。在步骤S151中，判断用户是否请求视频数据。如果在步骤S151中确认用户请求视频数据，处理就到达步骤S153。如果确认用户没有请求视频数据，处理就到达步骤S159。在步骤S153，判断用户对视频数据的请求是否对应于层2的选择。如果在步骤S153选择了“是”，处理就到达步骤S155，选择层2作为视频数据。如果在步骤S153选择了“否”，处理就到达步骤S157，选择层1作为视频数据。在步骤S159，判断用户是否请求音频数据。如果在步骤S159确认用户请求音频数据，处理就到达步骤S161。如果确认用户没有请求音频数据，就结束处理。在步骤S161，判断用户对音频数据的请求是否对应于信道1的选择。如果在步骤S161选择了“是”，处理就到达步骤S162，选择信道1作为音频数据。如果在步骤S161选择了“否”，处理就到达步骤S615，选择信道2作为音频数据。

现在描述图107所示与视频数据相关的判断处理SR-B。在步骤S171，判断接收视频数据的接收端的能力。如果接收端被确认为具有较强的能力，处理就到达步骤S173。如果接收端被确认为具有较弱的能力，处理就到达步骤S175。在步骤S173，确定线路的传送量。如果线路的传送量被确认为较大，处理就到达步骤S175。相反地，如果线路的传送量被确认为较小，处理就到达步骤S177。

在接收端能力较弱或线路的传送量较大时，执行步骤S175的处理。在该处理期间，接收端通过信道1/层1只接收具有标准分辨率的视频数据。在接收端能力较弱或线路的传送量较小时，执行步骤S177的处理。在该处理期间，接收端通过信道1/层2只接收具有高分辨率的视频数据。

现在描述图108所示与声音数据相关的判断处理SR-C。在步骤S181，判断接收音频数据的接收端的能力。如果接收端被确认为具有较强的能力，处理就到达步骤S183。如果接收端被确认为具有较弱的能力，处理就到达步骤S185。在步骤S183，确定线路的传送量。如果线路的传送量被确认为较大，处理就到达步骤S185。相反地，如果线路的传送量被确认为较小，处理就到达步骤S187。

在接收端能力较弱或线路的传送量较大时，执行步骤S185的处理。在该处理期间，接收端通过信道2接收单声道音频数据。在接收端能力较强或线路的传送量较小时，执行步骤S187的处理。在该处理期间，接收端通过信道1只接收立体声数据。

(例子2)

例子2描述的发明与例子1所述的发明的不同之处仅在与判断步骤S511相关的处理方面。在判断步骤511中，接收描述媒体内容数据结构的结构描述数据。在这一步骤中，根据判断条件、例如接收端的能力、传输线的传送量和用户请求，判断是只选择视频数据、只选择音频数据还是既选择视频数据也选择音频数据。由于选择步骤513、提取步骤503和播放步骤505都与以上所述的相同，所以在此省略对它们的描述。

现在参看图109至110描述与本实例的判断步骤511相关的处理。如图109所示，在步骤S201中判断是否有用户请求存在。如果在步骤S201确认有用户请求存在，处理就到达步骤S203，如果确认无用户请求，处理就到达步骤S205。在步骤S203，判断用户是否只请求视频数据。如果在步骤S203选择了“是”，处理就到达步骤S253，仅视频数据被确认为选择的对象。如果在步骤S203选择了“否”，处理就到达步骤S207。在步骤S207，判断用户是否只请求声音数据。如果在步骤S207选择了“是”，处理就到达步骤S255，仅声音数据被确认为选择的对象。如果在步骤S207选择了“否”，处理就到达步骤S251，视频和音频数据都被确认为选择的对象。

在无用户请求存在时处理将要到达的步骤S205中，判断是仅视频数据、仅声音数据还是视频和声音数据两者都是可接收的。如果在步骤S205确认仅视频数据是可接收的，处理就到达步骤S253，只把视频数据确认为选择的对象。如果在步骤S205确认仅声音数据是可接收的，处理就到达步骤S255，只把声音数据确认为选择的对象。如果在步骤S205确认视频和声音数据都是可接收的，处理就到达步骤S209。

在步骤S209，确定线路的传送量。如果该线路的传送量较小，处理就到达步骤S251，把视频和声音数据都确认为选择的对象。如果该线路的传送量较大，处理就到达步骤S211。在步骤S211中，判断将通过该线路被传送的数据是否包括声音数据。如果在步骤S211选择了“是”，处理就到达步骤S255，把声音数据确认为选择的对象。如果在步骤S211选择了“否”，处理就到达步骤S253，把视频数据确认为选择的对象。

(例子3)

在本发明一个例子中，媒体内容在一个时间周期内包括多个不同的视频和/或音频数据集。除判断是只选择视频数据、只选择声音数据还是既选择视频也选择声音数据外，这种选择在第二个例子的判断步骤511中进行，还根据判断条件、例如接收端的能力、传输线路的传送量和用户请求判断选择这些视频数据集/音频数据集的哪一个作为选择对象。由于选择步骤513、提取步骤503和播放步骤505与上述的相同，所以在此不再赘述。

如例子1那样，在媒体内容的一个时间周期内，把不同的视频数据或声音数据分配给信道或层。例如，把传送运动图像的信道1/层1分配给具有标准分辨率的视频数据，把信道1/层2分配给具有高分辨率的视频数据。把传送声音数据的信道1分配给立体声数据，把信道2分配给单声道数据。图103和104表示用来利用XML描述结构描述数据的“文件类型定义”(DTD)的一个例子和利用该DTD描述的上下文描述数据的一个例子。

现在参看图111至113描述与第三个例子的判断步骤511相关的处理。如图111所示，在本例子中，如例子2所作的判断那样，确定作为选择对象的数据(选择对象确定SR-D)。在步骤S301中，确定利用选择对象确定处理SR-D确定的数据。在步骤S301中，当只有视频数据被确定为选择对象时，就执行图112所示的与视频数据相关的判断处理SR-E。在步骤S301中，当只有音频数据被确定为选择对象时，就执行图113所示的与音频数据相关的判断处理SR-F。在步骤S301中，当视频数据和音频数据都被确定为选择对象时，处理就到达步骤S303，确定接收视频和音频数据的接收端的接收能力。如果确认接收端的能力较强，处理就到达步骤S305。如果确认接收端的能力较弱，处理就到达步骤S307，确定线路的能力，如传输速率。如果确认该线路的能力较强，处理就到达步骤S309。相反地，如果确认该线路的能力较弱，处理就到达步骤S307。如果确认该线路的传送量较大，处理就到达步骤S307。如果确认该线路的传送量较小，处理就到达步骤S311。

在接收端能力较弱、线路能力较弱或线路的传送量较大时，执行步骤S307的处理。在该处理期间，接收端通过信道1/层1接收标准分辨率的视频数据，通过信道2接收单声道数据。相反地，在接收端能力较强、线路能力较强或线路的传送量较小时，执行步骤S311的处理。在该处理期间，接收端通过信道1/层2接收高分辨率的视频数据，通过信道1接收立体声数据。

现在描述图112所示与视频数据相关的判断处理SR-F。在步骤S351中，判断接收视频数据的接收端的能力。如果确认接收端的能力较强，处理就到达步骤S353。如果确认接收端的能力较弱，处理就到达步骤S355。在步骤S353，确定线路的能力。如果确认该线路的能力较强，处理就到达步骤S357。相反地，如果确认该线路的能力较弱，处理就到达步骤S355。在步骤S357，确定该线路的传送量。如果确认该线路的传送量较大，处理就到达步骤S355。相反地，如果确认该线路的传送量较小，处理就到达步骤S359。

在接收端能力较弱、线路能力较弱或线路的传送量较大时，执行步骤S355的处理。在该处理期间，接收端通过信道1/层1只接收标准分辨率的视频数据。相反地，在接收端能力较强、线路能力较强或线路的传送量较小时，执行步骤S359的处理。在该处理期间，接收端通过信道1/层2只接收高分辨率的视频数据。

现在描述图113所示与音频数据相关的判断处理SR-F。在步骤S371中，判断接收音频数据的接收端的能力。如果确认接收端的能力较强，处理就到达步骤S373。如果确认接收端的能力较弱，处理就到达步骤S375。在步骤S373，确定线路的能力。如果确认该线路的能力较强，处理就到达步骤S377。相反地，如果确认该线路的能力较弱，处理就到达步骤S375。在步骤S77，确定该线路的传送量。如果确认该线路的传送量较大，处理就到达步骤S735。相反地，如果确认该线路的传送量较小，处理就到达步骤S379。

在接收端能力较弱、线路能力较弱或线路的传送量较大时，执行步骤S375的处理。在该处理期间，接收端通过信道2只接收单声道数据。相反地，在接收端能力较强、线路能力较强或线路的传送量较小时，执行步骤S379的处理。在该处理期间，接收端通过信道1只接收立体声数据。

(例子4)

在本发明的一个例子中，给最低分级层中的上下文描述数据的各个元素增加与对应媒体段相关的代表性数据作为属性。媒体内容在一个时间周期内包括多个不同的媒体数据集。在判断步骤S511中，接收描述媒体内容的数据结构的结构描述数据。在这一步骤中，根据判断条件、例如接收端的能力、传输线路的传送量、该线路的能力和用户请求，确定把媒体数据集和/或代表性数据集的哪一个作为选择对象。

由于选择步骤513、提取步骤503和播放步骤505与以上描述的相同，所以在此不再赘述。媒体数据包括视频数据、声音数据或文本数据。在本例子中，媒体数据包括视频数据和声音数据中的至少一个。在代表性数据对应于视频数据的情况下，该代表性数据包括例如每一媒体段的代表性图像数据或低分辨率视频数据。在代表性数据对应于音频数据的情况下，该代表性数据包括例如每一媒体段的关键短语(key-phrase)数据。

如例子3那样，在媒体内容的一个时间周期内，把不同的视频数据或声音数据分配给信道或层。例如，把传送运动图像的信道1/层1分配给具有标准分辨率的视频数据，把信道1/层2分配给具有高分辨率的视频数据。把传送声音数据的信道1分配给立体声数据，把信道2分配给单声道数据。

现在参看图114至118描述与本实例的判断步骤511相关的处理。如图114所示，在步骤S401中判断是否有用户请求存在。如果在步骤S401确认有用户请求存在，就执行图116所示与用户请求相关的判断处理SR-G。

如果在步骤S401确认无用户请求，处理就到达步骤S403，判断是仅视频数据、仅声音数据还是视频和声音数据两者都是可接收的。如果在步骤S403确认仅视频数据是可接收的，就执行图117所示与视频数据相关的判断处理SR-H。相反地，如果确认仅声音数据是可接收的，就执行图118所示与音频数据相关的判断处理SR-I。如果确认视频和声音数据都是可接收的，处理就如图115所示到达步骤S405。

在步骤S405，确定接收端的能力。在执行步骤S405的处理之后，按给定顺序执行确定线路能力的步骤S407的处理和确定该线路的传送量的步骤S409的处理。在步骤S405、S407和S409所执行的处理操作的结果的基础上，在本实例的判断步骤S511中，确定是接收视频数据或音频数据的信道或层，还是接收代表性数据。

表1

接收端能力	线路能力	线路的传送量大吗？	被接收数据
				强	强	否	视频数据：信道1，层2音频数据：信道1(S411)
强	强	是	视频数据：信道1，层1

			音频数据：信道1(S413)
				强	弱	否	视频数据：信道1，层1音频数据：信道2(S413)
弱	强	是	视频数据：信道1，层1音频数据：信道2(S415)
				弱	强	否	视频数据：信道1，层1音频数据：信道2(S415)
弱	强	是	视频数据：代表性数据音频数据：信道2(S417)
				弱	弱	否	视频数据：代表性数据音频数据：信道2(S417)
弱	弱	是	视频数据：代表性数据音频数据：代表性数据(S419)

现在描述图116所示与用户请求相关的判断处理SR-G。在步骤S451，判断用户是否只请求视频数据。如果在步骤S451选择“是”，就执行与视频数据相关的处理判断SR-H。如果在步骤S451选择“否”，处理就到达步骤S453。在步骤S453，判断用户是否只请求音频数据。如果在步骤S453选择“是”，就执行与音频数据相关的判断处理SR-I。如果在步骤S451选择“否”，处理就到达步骤S405。

现在描述图117所示与视频数据相关的判断处理SR-H。在步骤S461，确定接收端的能力。在执行完步骤S461的处理之后，按给定顺序执行确定线路能力的步骤S463的处理和确定线路传送量的步骤S465的处理。在与这些步骤，S461、S463和S465相关的处理操作结束后，只要接收端能力强、线路能力强以及线路的传送量小，则在与本例子的视频数据相关的判断处理SR-H期间，通过信道1/层2只接收视频数据(步骤S471)。相反地，如果接收端能力弱、线路能力弱以及线路的传送量大，则只接收代表性视频数据(步骤S473)。如果上述任一条件都得不到满足，则通过信道1/层1只接收视频数据(步骤S475)。

现在描述图118所示与音频数据相关的判断处理SR-I。在步骤S471，确定接收端的能力。在执行完步骤S471的处理之后，按给定顺序执行确定线路能力的步骤S473的处理和确定线路传送量的步骤S475的处理。在与这些步骤S471、S473和S475相关的处理操作结束后，只要接收端能力强、线路能力强以及线路的传送量小，则在与本例子的音频数据相关的判断处理SR-I期间，通过信道1只接收音频数据(步骤S491)。相反地，如果接收端能力弱、线路能力弱以及线路的传送量大，则只接收代表性音频数据(步骤S493)。如果上述任一条件都得不到满足，则通过信道2只接收视频数据(步骤S495)。

(例子5)

在本发明的一个例子中，根据判断条件、例如接收端能力、传输线路能力、该线路的传送量和用户请求，确定把与媒体段相关的全部数据、与对应媒体段相关的仅代表性数据、或与对应媒体段相关的全部数据或代表性数据的哪一个作为选择对象。

如例子4那样，给最低分级层中的上下文描述数据的各个元素增加与对应媒体段相关的代表性数据作为属性。在代表性数据对应于视频数据的情况下，该代表性数据包括例如每一媒体段的代表性图像数据或低分辨率视频数据。在代表性数据对应于音频数据的情况下，该代表性数据包括例如每一媒体段的关键短语(key-phrase)数据。

现在参看图119至121描述与本实例的判断步骤511相关的处理。如图119所示，在步骤S501中判断是否有用户请求存在。如果在步骤S501确认有用户请求存在，就执行图121所示与用户请求相关的判断处理SR-J。

如果在步骤S501确认无用户请求，处理就到达步骤S503，判断是仅与媒体段相关的代表性数据、仅与该媒体段相关的全部数据还是与该媒体段相关的代表性数据和全部数据两者都是可接收的。如果在步骤S503确认仅代表性数据是可接收的，处理就如图120所示到达步骤S553，只把代表性数据作为选择对象。如果仅全部数据是可接收的，处理就到达步骤S555，只把该全部数据作为选择对象。如果代表性数据和全部数据都是可接收的，处理就到达步骤S505。

在步骤S505，确定线路能力。如果线路能力较强，处理就到达步骤S507。相反地，如果线路能力较弱，处理就到达步骤S509。在每一个步骤S507和S509中，确定线路的传送量。在步骤S507中，如果确认线路的传送量较小，处理就到达步骤S551，把全部数据和代表性数据都作为选择对象。在步骤S509，如果确认线路的传送量较大，处理就到达步骤S553，把代表性数据作为选择对象。如果在步骤S507确认线路的传送量较大和在步骤S509确认线路的传送量较大，处理就到达步骤S555，把全部数据作为选择对象。

在与用户请求相关的判断处理SR-J期间，在步骤S601判断用户请求是否只对应于代表性数据。如果在步骤S601选择“是”，处理就到达步骤S553，只把代表性数据作为选择对象。如果在步骤S601选择“否”，处理就到达步骤S603，判断该用户请求是否只对应于全部数据。如果在步骤S603选择“是”，处理就到达步骤S555，只把全部数据作为选择对象。如果在步骤S603选择“否”，处理就到达步骤S551，把与媒体段对应的全部数据和代表性数据都作为选择对象。

第十八实施例

现在描述本发明第十八实施例。图122是表示与本实施例的数据处理方法相关的处理的方框图。在附图中，标号501表示选择步骤；503表示提取步骤；515表示形成步骤；由于选择步骤501和提取步骤503与第十四实施例的相同，所以在此不再赘述。

在形成步骤515中，根据与在提取步骤503提取的选择段相关的数据形成媒体内容流。特别是，在形成步骤中，通过对在提取步骤503输出的数据进行多路复用来形成流。

第十九实施例

现在描述本发明第十九实施例。图123是表示与本实施例的数据处理方法的处理的方框图。在该图中，标号501表示选择步骤；503表示提取步骤；515表示形成步骤；517表示传送步骤。由于选择步骤501和提取步骤503与参看第十四实施例所描述的相同，所以在此不再赘述。此外，形成步骤515与十八实施例的形成步骤相同，所以也省略对其的描述。

在传送步骤517中，通过线路传送在形成步骤中形成的流。该传送步骤517可以包括确定线路的传送量的步骤，而形成步骤515可以包括根据在传送步骤517中确定的线路的传送量调整组成文件的数据量的步骤。

第二十实施例

现在描述本发明的第二十实施例。图124是表示与本实施例的数据处理方法相关的处理的方框图。在该图中，标号501表示选择步骤；503表示提取步骤；515表示形成步骤；519表示记录步骤；521表示数据记录媒体。在记录步骤519中，把在形成步骤515中形成的流记录在数据记录媒体521上。用数据记录媒体521记录媒体内容、与该媒体内容相关的上下文描述数据以及与该媒体内容相关的结构描述数据。数据记录媒体521可以是例如硬盘、存储器或DVD-ROM等。由于选择步骤501和提取步骤503与参看第十四实施例所描述的相同，所以在此不再赘述。此外，形成步骤515与十八实施例的形成步骤相同，所以也省略对其的描述。

第二十一实施例

现在描述本发明的第二十一实施例。图125是表示与本实施例的数据处理方法相关的处理的方框图。在该图中，标号501表示选择步骤；503表示提取步骤；515表示形成步骤；519表示记录步骤；521表示数据记录媒体；523表示数据记录媒体管理步骤。在数据记录媒体管理步骤523中，按照数据记录媒体521的可用盘空间重新组织已存储的媒体内容和最近要存储的媒体内容。具体来说，在数据记录管理步骤/或523中，执行至少以下操作之一。当数据记录媒体521的可用盘空间较小时，在对最近要存储的媒体内容进行编辑之后再对其进行存储。向选择步骤501传送都与已存储的媒体内容相关的上下文描述数据和结构描述数据。向提取步骤503传送媒体内容和结构描述数据。重新组织媒体内容，并将如此重新组织的内容记录在数据记录媒体521上。此外，删除没有被重新组织的媒体内容。

由于选择步骤501和提取步骤503与第十四实施例的相同，在此不再赘述。此外，形成步骤515与第十八实施例的形成步骤相同，在此省略对其的描述。还有，由于记录步骤519和数据记录媒体521与第十九实施例的相同，所以在此也省略对它们的描述。

第二十二实施例

现在描述本发明的第二十二实施例。图126是表示与本实施例的数据处理方法相关的处理的方框图。在该图中，标号501表示选择步骤；503表示提取步骤；515表示形成步骤；519表示记录步骤；521表示数据记录媒体；525表示存储内容管理步骤。在存储内容管理步骤525中，按照媒体内容存储周期重新组织已存储在数据记录媒体521上的媒体内容。具体来说，存储内容管理步骤525包括以下步骤：管理存储在数据记录媒体521上的媒体内容；向选择步骤501传送上下文描述数据和物理内容数据，它们都与在预定一段时间内已被存储的媒体内容相关；向提取步骤503传送媒体内容和结构描述数据；重新组织媒体内容；把如此重新组织的媒体内容记录在数据记录媒体521上；以及删除没有被重新组织的媒体内容。

由于选择步骤501和提取步骤503与第十四实施例的相同，在此不再赘述。此外，形成步骤515与第十八实施例的形成步骤相同，在此省略对其的描述。还有，由于记录步骤519和数据记录媒体521与第十九实施例的相同，所以在此也省略对它们的描述。

在上述第十三至第二十二实施例中，选择步骤501和503可具体化为选择装置；视频选择步骤507可具体化为视频选择装置；音频选择步骤511可具体化为音频选择装置；判断步骤511可具体化为判断装置；形成步骤515可具体化为形成装置；传送步骤517可具体化为传送装置；记录步骤519可具体化为记录装置；数据记录媒体管理步骤523可具体化为数据记录媒体管理装置；存储内容管理步骤525可具体化为存储内容管理装置。因此可具体化为包括这些装置的一部分或全部的数据处理装置。

在上述各实施例中，媒体内容可包括数据流，例如除视频和音频数据外的文本数据。此外，上述各实施例的各个步骤可利用存储在程序存储媒体内的以软件形式使计算机执行与所有或一部分这些步骤相关的处理的程序来实现，或利用专门设计的呈现这些步骤的特征的硬件电路来实现。

虽然在上述实施例中单独描述上下文描述数据和结构描述数据，但它们可合并成如图127至132所示的一个数据集。

如上所述，在本发明的数据处理装置、数据处理方法、记录媒体和程序中，利用分层的上下文描述数据，根据由选择装置(相应于选择步骤)附加给上下文描述数据的得分从媒体内容中至少选择其中一段。利用提取装置(相应于提取步骤)仅提取与选择装置(相应于选择步骤)选择的段相关的数据。或者，利用播放装置(相应于播放步骤)只播放与选择装置(相应于选择步骤)选择的段相关的数据。

利用上述结构，可从媒体内容中自由地选择更重要的场景，可提取或播放如此选择的重要段。此外，分层的上下文描述数据包括最高层、最低层和其它层。可按照任意的单元、例如以一章或一节为单位选择场景。可采用各种选择格式，例如某一章的选择和从该章中删除不必要的段。

在本发明的数据处理装置、数据处理方法、记录媒体和程序中，得分表示媒体内容的上下文重要性的程度。一旦确定了得分来选择重要场景，就可容易地准备一节目的一些重要场景的集合。此外，只要确定了得分来表示从关键字的角度来看感兴趣的场景的重要性，就可以通过确定关键字来在很大的自由度内选择段。例如，只要从特定视点、例如人物或事件确定了关键字，就可只选择用户所需的场景。

在本发明的数据处理装置、数据处理方法、记录媒体和程序中，在媒体内容由在一段时间内的多个不同的媒体数据集组成的情况下，判断装置(相应于判断步骤)根据判断条件，确定把这些媒体数据集的哪一个作为选择对象。选择装置(相应于选择步骤)只从判断装置(相应于判断步骤)所确定的数据中选择媒体数据集。由于判断装置(相应于判断步骤)能够根据判断条件确定与最佳段相关的媒体数据，所以选择装置(相应于选择步骤)能够选择合适数量的媒体数据。

在本发明的数据处理装置、数据处理方法、记录媒体和程序中，判断装置(相应于判断步骤)根据判断条件，确定是仅把视频数据、仅把音频数据还是把视频和音频数据两者都作为选作对象。于是能够缩短选择装置(相应于选择步骤)选择段所需的时间。

在本发明的数据处理装置、数据处理方法、记录媒体和程序中，给上下文描述数据附加了代表性数据作为属性，判断装置能够根据判断条件确定最佳段的媒体数据或代表性数据。

在本发明的数据处理装置、数据处理方法、记录媒体和程序中，判断装置(相应于判断步骤)根据判断条件，确定是仅把与相应媒体段相关的全部数据、仅把代表性数据还是把该全部数据和代表性数据两者都作为选择对象。于是判断装置能够缩短选择装置(相应于选择步骤)选择段所需的时间。

Claims (16)

1.一种内容再现装置，包括：

输入装置，用于输入上下文内容描述数据，所述上下文内容描述数据对段及其属性信息进行描述，其中所述段对由多个场景组成的媒体内容的每个场景进行表示，所述属性信息包括表示所述媒体内容的场景的边界的时间信息，和基于所述媒体内容的上下文内容的得分，所述得分表示所述段的重要程度；

选择装置，用于根据所述得分来选择段；

内容输入装置，用于输入所述媒体内容；

提取装置，用于从所述被选择的段的时间信息来提取所述媒体内容部分的区域；和

再现装置，用于再现所述被提取的媒体内容部分的区域。

2.一种内容再现装置，包括：

输入装置，用于输入上下文内容描述数据，所述上下文内容描述数据对段及其属性信息进行描述，其中所述段对由多个场景组成的媒体内容的每个场景进行表示，所述属性信息包括表示所述媒体内容的场景的边界的时间信息、以及由至少一个描述场景的关键字表示的视点和基于各视点的得分，所述得分表示所述段的重要程度；

选择装置，用于根据所述视点及所述得分中的至少一方来选择所述段；

内容输入装置，用于输入所述媒体内容；

提取装置，用于从所述被选择的段的时间信息来提取所述媒体内容部分的区域；和

再现装置，用于再现所述被提取的媒体内容部分的区域。

3.按照权利要求1或2所述的内容再现装置，其中所述时间信息包括所述每个场景的开始时间和结束时间。

4.按照权利要求1或2所述的内容再现装置，其中所述时间信息包括每个场景的开始时间和持续时间。

5.按照权利要求1或2所述的内容再现装置，其中在所述上下文内容描述数据中多个所述段被分级描述。

6.按照权利要求2所述的内容再现装置，其中所述视点及所述得分的多个组作为所述属性信息被记述在一个段中。

7.按照权利要求1或2所述的内容再现装置，其中所述选择装置根据所述视点及所述得分中的至少一方、和所述时间信息选择至少一个段，以使所述媒体内容的再现时间为所希望的再现时间。

8.一种内容再现方法，包括：

输入步骤，用于输入上下文内容描述数据，所述上下文内容描述数据对段及其属性信息进行描述，其中所述段对由多个场景组成的媒体内容的每个场景进行表示，所述属性信息包括表示所述媒体内容的场景的边界的时间信息，和基于所述媒体内容的上下文内容的得分，所述得分表示所述段的重要程度；

选择步骤，用于根据所述得分来选择段；

内容输入步骤，用于输入所述媒体内容；

提取步骤，用于从所述被选择的段的时间信息来提取所述媒体内容部分的区域；和

再现步骤，用于再现所述被提取的媒体内容部分的区域。

9.一种内容再现方法，包括：

输入步骤，用于输入上下文内容描述数据，所述上下文内容描述数据对段及其属性信息进行描述，其中所述段对由多个场景组成的媒体内容的每个场景进行表示，所述属性信息包括表示所述媒体内容的场景的边界的时间信息、以及由至少一个描述场景的关键字表示的视点和基于各视点的得分，所述得分表示所述段的重要程度；

选择步骤，用于根据所述视点及所述得分中的至少一方来选择所述段；

内容输入步骤，用于输入所述媒体内容；

提取步骤，用于从所述被选择的段的时间信息来提取所述媒体内容部分的区域；和

再现步骤，用于再现所述被提取的媒体内容部分的区域。

10.按照权利要求8或9所述的内容再现方法，其中所述时间信息包括所述每个场景的开始时间和结束时间。

11.按照权利要求8或9所述的内容再现方法，其中所述时间信息包括每个场景的开始时间和持续时间。

12.按照权利要求8或9所述的内容再现方法，其中在所述上下文内容描述数据中多个所述段被分级描述。

13.按照权利要求9所述的内容再现方法，其中所述视点及所述得分的多个组作为所述属性信息被记述在一个段中。

14.按照权利要求8或9所述的内容再现方法，其中所述选择步骤根据所述视点及所述得分中的至少一方、和所述时间信息选择至少一个段，以使所述媒体内容的再现时间为所希望的再现时间。

15.一种数据处理装置，包括：

输入装置，用于输入上下文内容描述数据，所述上下文内容描述数据对段和得分进行描述，其中所述段对由多个场景组成的媒体内容的每个场景进行表示，所述得分为所述段的属性信息，并且所述得分基于所述媒体内容的上下文内容；

选择装置，用于根据所述得分来选择段。

16.一种数据处理方法，包括：

输入步骤，用于输入上下文内容描述数据，所述上下文内容描述数据对段和得分进行描述，其中所述段对由多个场景组成的媒体内容的每个场景进行表示，所述得分为所述段的属性信息，并且所述得分基于所述媒体内容的上下文内容；

选择步骤，用于根据所述得分来选择段。

Images