CN100504883C - 用于多媒体字幕和音频描述的同步方案 - Google Patents

Abstract

提供一种输出补充媒体流和主媒体流的方法。该方法监视触发事件，在检测到触发事件以后，使与该触发事件相关的一个或多个补充媒体流输出。相关的补充媒体流可以与主媒体流同步或异步输出。同步的补充媒体流与主媒体流同时输出。异步输出的补充媒体流在它们输出时暂停主媒体流并结束任何当前正输出的补充媒体流。一个补充媒体流可使一个条件触发事件触发第二补充媒体流以与第一补充媒体流同步输出。具有相关补充媒体流的第二主媒体流可以作为编辑补充媒体流与第一主媒体流异步输出。

Description

用于多媒体字幕和音频描述的同步方案

技术领域

本发明涉及一种用于显示补充媒体流以及主多媒体流的方法，补充媒体流设计用来帮助视力和听力受损的人。

背景技术

有很多人可以使用多媒体但由于他们的感官之一例如视力或听力受损而无法充分欣赏多媒体所传递的内容。例如一个听力受损的人可以使用具有视频和音频两方面的多媒体内容流，但只能感知内容的视频方面。同样地，视力受损的人可以使用具有视频和音频两方面的多媒体内容流，但只能感知内容的音频方面。

字幕是用于帮助听力受损的人的补充媒体流，多年来已经成为用于电视节目的行业常用品。字幕的概念已经超出电视广播扩展到其它的平台，例如计算机传递的多媒体流。例如Apple和RealNetworks等公司具有这样的产品，该产品使内容作者能够利用专有字幕格式将补充字幕流加入最终作品。这些格式通常基于W3C的同步多媒体集成语言。

用于集成补充媒体流和主多媒体流的现有系统的一个主要缺点在于充分补充主媒体流所需的信息经常无法快速跟上主媒体流。由于补充媒体流的性质，提供充分补充主媒体流所必须的所有信息需要比主媒体流允许的时间更多。结果，内容作者必须有选择地省略一些本该包含在补充流中的信息，以便快速跟上主媒体流。

举一个上述问题的例子，字幕通常以文本格式在屏幕上显示人物的对话。出现在屏幕之外影响这些人物说话的事件声音，例如背景中的尖叫声或碰撞声可能需要省略，以便捕捉到当前人物的所有对话。理想的情况下，会对影响这些人物说话的声音进行描述。但是因为人物的对话在继续，经常必须省略这些描述。另外，一幕的补充媒体经常“溢出”到下一幕，这会产生某种混淆，认为主媒体流中目前正发生些什么。

美国专利No.6483568公开了一种补充音频内容系统，其中识别与运动画面相关的单个补充内容，并且在输出补充内容的过程中，同步器根据运动画面内发生的情况决定是向前跳跃还是等待。该专利文件同样没有解决上述问题。

因此，需要这样一种系统，即连同主媒体流一起提供补充媒体流，有选择地暂停主媒体流以允许补充媒体流完全提供与特定事件相关的内容。另外，该系统应当暂停主媒体流的时序模型，补充媒体流基于该时序模型，以使补充媒体流的定时不受主媒体流暂停的影响。

发明内容

提供一种输出补充媒体流和主媒体流的方法。该方法监视触发事件，在检测到一个触发事件以后，使与该触发事件相关的一个或多个补充媒体流输出。相关的补充媒体流与主媒体流同步或异步输出。同步的补充媒体流与主媒体流同时输出。异步输出的补充媒体流在它们输出时暂停主媒体流并结束任何当前正输出的补充媒体流。补充媒体流可使一个条件触发事件触发第二补充媒体流以与第一补充媒体流同步输出。具有相关补充媒体流的第二主媒体流可以作为一个编辑补充媒体流与第一主媒体流异步输出。

根据本发明的一个方面，提供一种用于输出一个或多个补充媒体流以及一个主媒体流的方法，所述补充媒体流设计用来帮助感官受损的人，该方法包括：重复监视和检测触发事件，同时输出主媒体流；以及在检测到触发事件以后：确定所述一个或多个补充媒体流中哪些与该触发事件相关；确定与该触发事件相关的补充媒体流是与主媒体流同步输出还是异步输出；和根据前面的确定结果，与主媒体流同步或异步地输出每个与触发事件相关的补充媒体流而不需要用户输入，其中：如果与触发事件相关的补充媒体流要被同步输出，则自动地与主媒体流同步地输出与触发事件相关的补充媒体流；如果与触发事件相关的补充媒体流要被异步输出，则自动地执行下述步骤而不需要用户输入：暂停主媒体流；基于与每个与触发事件相关的补充媒体流相关的优先级值确定输出所述与触发事件相关的补充媒体流的顺序；按照所确定的优先级顺序输出所述与触发事件相关的补充媒体流；以及在输出了所有与触发事件相关的补充媒体流之后，恢复主媒体流。

根据本发明的另一个方面，提供一种用于输出至少一个补充媒体流以及一个主媒体流的系统，所述补充媒体流设计用来帮助感官受损的人，该系统包括：媒体流输出装置，用于输出主媒体流和一个或多个补充媒体流；以及媒体流输出控制器，它与媒体流输出装置通信相连，包括：用于接收主媒体流和所述一个或多个补充媒体流的装置；用于经由媒体流输出装置输出主媒体流的装置；用于监视和检测与主媒体流的输出相关的触发事件的装置；和在检测到触发事件以后：用于确定所述一个或多个补充媒体流中哪些与所检测到的触发事件相关的装置；用于确定所选择的补充媒体流是与主媒体流同步输出还是异步输出的装置；和用于根据前面的确定结果，经由媒体流输出装置与主媒体流同步或异步地输出每个与触发事件相关的补充媒体流的装置，其中：如果与触发事件相关的补充媒体流要被同步输出，则自动地与主媒体流同步地输出与触发事件相关的补充媒体流；如果与触发事件相关的补充媒体流要被异步输出，则自动地执行下述操作而不需要用户输入：暂停主媒体流；基于与每个与触发事件相关的补充媒体流相关的优先级值确定输出所述与触发事件相关的补充媒体流的顺序；按照所确定的优先级顺序输出所述与触发事件相关的补充媒体流；以及在输出了所有与触发事件相关的补充媒体流之后，恢复主媒体流。

根据本发明的另一个方面，提供一种用于输出一个或多个补充媒体流以及一个主媒体流的媒体显示系统，所述补充媒体流设计用来帮助感官受损的人，该系统包括：监视装置，用于监视和检测相关触发事件，同时输出主媒体流；补充媒体流选择装置，用于选择与检测到的触发事件相关的一个或多个补充媒体流；确定装置，用于确定每个与触发事件相关的补充媒体流是与主媒体流同步输出还是异步输出；以及控制装置，用于根据确定装置的确定结果，与主媒体流同步或异步地输出每个相关的补充媒体流，其中：如果与触发事件相关的补充媒体流要被同步输出，则自动地与主媒体流同步地输出与触发事件相关的补充媒体流；如果与触发事件相关的补充媒体流要被异步输出，则自动地执行下述操作而不需要用户输入：暂停主媒体流；基于与每个与触发事件相关的补充媒体流相关的优先级值确定输出所述与触发事件相关的补充媒体流的顺序；按照所确定的优先级顺序输出所述与触发事件相关的补充媒体流；以及在输出了所有与触发事件相关的补充媒体流之后，恢复主媒体流。

从上面的概述中可以很容易地理解，本发明提供了一种用于输出补充媒体流和主媒体流的新颖和改进的方法。相应地，该方法理想地适用于显示补充媒体流以及主媒体流，补充媒体流设计用来帮助视力和听力受损的人。

附图说明

参照下面结合附图的详细描述，本发明的上述方面和许多伴随的优点将更容易和更好地理解，其中：

图1是适用于提供本发明示范性操作环境的计算机系统的方框图；

图2是说明现有技术中补充媒体流与主媒体流同步输出的时序图；

图3是说明根据本发明的补充媒体流与主媒体流异步输出的时序图；

图4是说明根据本发明的多个补充媒体流与主媒体流同步和异步输出的时序图；

图5是说明根据本发明的多个补充媒体流与主媒体流同步和异步输出的时序图，多个补充媒体流包括一个编辑补充媒体流；

图6是说明根据本发明的用于输出主媒体流和补充媒体流的一个示范性输出媒体流例行程序的流程图；

图7A、7B和7C是说明用于图6所示示范性输出媒体流例行程序的输出补充流子例程的流程图；和

图8是说明根据本发明形成的一个示范性输出媒体系统的方框图。

具体实施方式

图1和以下的讨论是用来简短、总体地描述适用于实现本发明各种特征的计算系统。虽然该计算系统将在可用于分布式计算环境中的个人计算机的总体背景下描述，其中互补任务由通过通信网连接在一起的远程计算装置来执行，但是本领域技术人员可以理解本发明可以在许多其它的计算机系统配置中实现，包括多处理器系统、小型计算机、主计算机等等。本发明可以在局域网中实现，或者在利用逻辑而不是物理远程装置的单个计算机上实现。另外，虽然本发明是基于计算机系统描述的，但应当理解本发明可用于其它的媒体流播放器，例如具有适当控制系统变型的VCR或DVD播放器。

虽然本发明的各个方面可以根据在个人计算机的操作系统上运行的应用程序描述，但是本领域技术人员会认识到这些方面也可以结合其它的程序模块实现。通常，程序模块包括例行程序、程序、组成部分、数据结构等，它们执行特定的任务或实现特定的抽象数据类型。

参见图1，用于实现本发明的示范性系统包括传统的个人计算机102，它包括处理单元104、系统存储器106、以及将系统存储器106连接到处理单元104的系统总线108。系统存储器106包括只读存储器(ROM)110和随机存储器(RAM)112。基本输入/输出系统114(BIOS)存储在ROM110中，它包含基本例行程序，这些程序帮助在个人计算机102内的各部件之间传递信息，例如在启动期间。个人计算机102还包括硬盘驱动器116、用于读写可移动盘120的磁盘驱动器118、以及用于读取CD-ROM盘124或读写其它光记录媒体的光盘驱动器122。硬盘驱动器116、磁盘驱动器118和光盘驱动器122分别通过硬盘驱动器接口126、磁盘驱动器接口128和光盘驱动器接口130连接到系统总线108。驱动器及其相关的计算机可读介质提供个人计算机102的非易失性存储。尽管上述的计算机可读介质是指硬盘、可移动磁盘和CD-ROM盘，但本领域技术人员应当理解计算机可读的其它类型的介质也可用于示范性操作环境，例如磁带、闪存卡、数字视频盘、伯努里磁盘、ZIP盘等等。

多个程序模块可以存储在驱动器和RAM 112中，包括操作系统132、一个或多个应用程序134、其它程序模块136和程序数据138。用户可以通过输入装置，例如键盘140或鼠标142将命令和信息输入到个人计算机102。其它的输入装置(未示出)可以包括话筒、触摸板、操纵杆、游戏键盘、圆盘式微型卫星天线、扫描仪等等。这些和其它的输入装置通常通过用户输入接口144连接到处理单元104，但也可以通过其它的接口(未示出)，例如游戏端口或通用串行总线(USB)连接，用户输入接口144连接到系统总线。显示装置158也经显示子系统连接到系统总线108，该显示子系统通常包括图形显示接口156和编码模块，有时称为显示驱动器，以便接入图形显示接口。另外，个人计算机通常还包括其它的外围输出装置(未示出)，例如扬声器或打印机。

个人计算机102可以利用与一个或多个远程计算机例如远程计算机146的逻辑连接工作在网络环境中。远程计算机146可以是服务器、路由器、同级装置或其它的公共网络节点，通常包括针对个人计算机102描述的许多或所有的部件。图1所述的逻辑连接包括局域网(LAN)148和广域网(WAN)150。这种网络环境在办公室、企业范围的计算机网、内联网和因特网中非常普遍。

当用于LAN网络环境中时，个人计算机102通过网络接口152连接到LAN 148。当用于WAN网络环境中时，个人计算机102通常包括调制解调器154或其它的装置用于通过WAN 150例如因特网建立通信。可在内部或外部的调制解调器154经用户输入接口144连接到系统总线108。在网络环境中，针对个人计算机102描述的程序模块或其中一些部分可以存入远程存储装置。应当理解所示的网络连接是示范性的，也可以使用其它在计算机之间建立通信链路的装置。另外，LAN 148和WAN 150可用作系统非易失性存储的来源。

图2是说明现有技术中与主媒体流202同步输出的补充媒体流204的时序图200。如时序图200所示，主媒体流202在时间T0开始输出并不中断地持续到时间T6。在主媒体流202的输出期间，在时间T1，触发事件201发生，使补充媒体流204输出媒体片段206。从时序图200中可以看出，在时间段DUR0媒体片段206与主媒体流202同步输出。

在时间T3，第二触发事件203发生，使补充媒体流204输出第二媒体片段208。在现有技术中，媒体片段208也与主媒体流202同步输出。如图2所示，媒体片段208在时间段DUR1输出。因为两个媒体片段都与主媒体流202同步输出，主媒体流202与相关补充媒体流204的总展示(presentation)时间是T6，这与主媒体流的单独展示时间相同。

举一个该时序图200如何在现有技术中操作的例子，主媒体流202可以表示要在显示装置例如显示装置158(图1)上显示的多媒体展示。补充媒体流204可以表示多媒体展示中出现的对话的文本描述流。触发事件201和203表示关于多媒体展示的预定时间，其中对话发生或已经发生，听力受损的人可以看到该对话的文本描述。现有技术中，文本描述与多媒体展示同步显示。但是，虽然当文本描述短到足以与主媒体流同步展示时主媒体流和补充媒体流同步展示是适当的，但是可以很容易看到该系统如何降级。例如，当文本描述较长时，它们会与主媒体流展示的后几幕信息重叠，这会对依赖文本描述的人带来极大的困扰。或者，补充媒体流的作者必须被迫编辑删除大量的信息以使文本描述“适合”具体的时间段。如前所述，需要一种用于在必要时暂停主媒体流的方法，以允许补充媒体流在主媒体流的时序内显示更健壮的内容。

图3是说明根据本发明的补充媒体流304与主媒体流302异步输出的时序图300。如时序图300所示，主媒体流302在时间T0开始输出在时间T6结束。在主媒体流302的输出期间，在时间T1，触发事件301发生，使补充媒体流304输出媒体片段306。但是，不同于图2中补充媒体片段的同步输出，媒体片段306与主媒体流302异步输出。相应地，主媒体流302暂停，如暂停段310所示。用于确定主媒体流是否应当暂停的信息可以根据触发事件、补充媒体片段的类型确定，或由补充媒体片段内部确定。但是，本发明不应当理解为局限于任何特定的确定是否异步输出补充媒体流和主媒体流的方法。

如时序图300所示，媒体片段306在时间段DUR2输出。在这段时间内，主媒体流302保持暂停，包括主媒体流的时序。当媒体片段306结束时，触发事件303发生，使主媒体流302及其时序恢复。该触发事件可由媒体片段306自己、补充媒体流304或外部监视系统产生。但是本发明不应当理解为局限于任何特定的恢复暂停主媒体流302的方法。

在时间T3，触发事件305使补充媒体流304与主媒体流302异步地输出另一个媒体片段308。该媒体片段308在时间段DUR3输出，其间主媒体流302暂停，如暂停段312所示。在媒体片段308结束以后，或者，根据一个结束动作，触发事件307使主媒体流302恢复输出。根据示出的时序图300，以后主媒体流继续不中断地输出直到在时间T6结束。但是，虽然主媒体流302的输出时间是T6，但是输出主媒体流和补充媒体流304的总展示时间是T6+DUR2+DUR3，这是由于异步输出媒体片段306和308的暂停时间。

通过异步输出补充媒体流的片段，如时序图300所示，内容提供方不必受限于可与主媒体流一起展示的补充信息的数量或质量。另外，补充信息可以更及时和协调的方式与主媒体流一起展示。

图4是说明根据本发明的多个补充媒体流与主媒体流402同步和异步输出的时序图400。在时间T0主媒体流402开始输出。而且在时间T0，触发事件401使补充媒体流408输出与主媒体流402同步的媒体片段410。因为媒体片段410与主媒体流402同步输出，该媒体片段不影响主媒体流和补充媒体流的总展示时间。

通常有多个补充媒体流与单个触发事件相关。根据本发明，这些相关的补充媒体流与主媒体流同步或异步输出。因为异步补充媒体流暂停所有其它的媒体流，当有多个异步的补充媒体流与单个触发事件相关时，输出相关媒体流的顺序非常必要。例如，内容作者可能认为必须在输出第二补充媒体流之前输出第一补充媒体流，而且这两个媒体片段应当在恢复输出主媒体流之前输出。根据本发明各方面，最高优先级的补充媒体流首先输出。另外，当第一补充媒体流完成与触发事件相关的一个媒体片段输出时，它使第二相关媒体流输出补充媒体片段。根据本发明的一个方面，这可以通过第一补充媒体片段将触发事件传递到第二补充媒体片段来实现。或者，第一补充媒体片段可使第二触发事件发生，后者使第二相关补充媒体流输出一个媒体片段。但是，本发明不应当理解为局限于任何迭代输出与单个触发事件相关的多个补充媒体流的特定方法。当所有相关的异步补充媒体流完成时，任何同步媒体片段可以输出，主媒体流恢复。

根据示出的时序图400，在时间T1，补充媒体流404和补充媒体流406都与触发事件403相关。根据预定的顺序，触发事件403使补充媒体流404开始输出媒体片段412。因为媒体片段412异步输出，主媒体流402暂停，如暂停段418所示。当媒体片段412结束时，触发事件405使补充媒体流406输出媒体片段414。

有许多这样的情况，内容作者可能希望有条件地与第一补充媒体流同时输出第二补充媒体流。例如，如果听力受损的观众已经表示能够理解手语，内容作者可能希望有条件地输出手语补充媒体片段以及主媒体流的文本描述。在这种情况下，文本描述补充媒体流可以测试外部条件以便确定同时输出相关的手语补充媒体流是否恰当。或者，一个条件触发事件可能发生，条件补充媒体片段自己就可以根据外部条件确定是否输出。

如图4所示，媒体片段414和主媒体流402异步输出。但是，在媒体片段414输出其间，一个条件触发事件发生，如条件触发事件407所示。由条件触发事件407启动，补充媒体流408输出与媒体片段414同步的媒体片段416。根据示出的时序图400，条件媒体片段416在媒体片段414之前结束。当媒体片段414结束时，因为它与主媒体流402异步输出，而且因为没有其它与触发事件403相关的补充媒体流，触发事件409使主媒体流恢复输出。在时间T2，触发事件411发生，使补充媒体流408同步输出媒体片段420。

根据本发明的其它方面(未示出)，如果一个补充媒体流在触发事件使第二异步补充媒体流输出时正在输出，则第一补充媒体流截断/结束。例如，如果媒体片段410长到足以执行到时间T2，则它将在时间T1截断/结束，因为媒体片段412异步输出。或者，如果第二补充媒体流410同步输出，补充媒体流可以在下一个触发事件以后继续输出。因此，根据刚描述的例子，媒体片段410将在触发事件403发生以后继续输出，如果媒体片段412也同步输出的话。

相对于现有技术，本发明实现的另一个优点在于能够将主媒体流和补充媒体流编辑为一个编辑媒体流，以形成第二主媒体流。该编辑媒体流在内部使用它自己的时序，相关的补充媒体流可与编辑主媒体流异步输出。图5说明编辑补充媒体流的使用。

图5是说明根据本发明的多个补充媒体流与主媒体流502同步和异步输出的时序图500，所述多个补充媒体流包括一个编辑媒体流506。在时间T0开始，主媒体流输出。另外，在时间T0，触发事件501使补充媒体流504同步输出补充媒体片段512。在时间T1，触发事件503使编辑媒体流506异步输出编辑媒体片段508，如暂停段510所示。如图5所示，编辑媒体片段508包括编辑主媒体流516和编辑补充媒体流518。

根据时序图500，在时间C0，相应于主媒体流502的时间T1，编辑主媒体流516输出。在时间C1，触发事件509使编辑补充媒体流518同步输出编辑媒体片段520。在时间C3，触发事件511使编辑补充媒体流518异步输出编辑媒体片段522。因为编辑媒体片段522异步输出，编辑主媒体流516暂停，如暂停段524所示。在编辑媒体片段522结束后，触发事件513使编辑主媒体流516恢复。在时间C4，编辑主媒体流516结束。编辑主媒体流516的结束表示编辑媒体片段508的结束。相应地，触发事件505发生使主媒体流502恢复输出。在时间T3，触发事件507发生，使补充媒体流504同步输出媒体片段514。

图6是说明一个示范性输出媒体流例行程序600的流程图，该例行程序用于根据本发明输出具有一个或多个补充媒体流的主媒体流。在方框602开始，主媒体流输出。本领域技术人员可以认识到主媒体流将继续输出，同时示范性例行程序600继续。相应地，当主媒体流输出时，在方框604，例行程序600等待/监视事件发生，或者是触发事件或者是表示主媒体流结束的事件。在监测到一个事件以后，在判定方框606，判定该事件是否为表示主媒体流结束的事件。如果该事件确实表示主媒体流结束，例行程序600结束。

如果，在判定方框606，该事件不是表示主媒体流的结束，该事件是补充媒体流的触发事件。在方框608，确定识别那些与触发事件相关的补充媒体流。在判定方框610，判定是否有还未输出的相关补充媒体流。如果有更多的补充媒体流要处理，则在方框612选择下一个相关的补充媒体流。如前所述，可以建立输出补充媒体流的预定顺序。或者，相关补充媒体流的选择可以基于每个相关补充媒体流或各个补充媒体片段的优先级值。本领域技术人员将认识到选择相关的补充媒体流有许多不同的方式，本发明不应当理解为局限于这里为了说明目的所描述的方式。

在方框614，调用输出补充媒体流子例程以便输出选择的补充媒体流。图7A、7B和7C更详细地描述该子例程。

图7A、7B和7C是说明用于图6所示示范性输出媒体流例行程序600的一个输出补充媒体流子例程700的流程图。在方框702开始(图7A)，判定主媒体流要在哪里暂停，即补充媒体流是同步还是异步输出。如果主媒体流要暂停，则在判定方框704判定主媒体流是否已经暂停。如果主媒体流还未暂停(可能是调用子例程700来输出第一相关补充媒体流的情况)，则在方框706主媒体流暂停。此后，子例程700进行到判定方框712。或者，如果在判定方框704，主媒体流已经暂停，则子例程700直接进行到判定方框712。

如果在判定方框702，主媒体流不是要被暂停，则在判定方框708，确定主媒体流当前是否已暂停。如果主媒体流暂停(可能是调用子例程700来输出第二相关补充媒体流的情况)，则在方框710主媒体流恢复。此后，子例程700进行到判定方框712。或者，如果在判定方框708，主媒体流没有暂停，则子例程700直接进行到判定方框712。

在判定方框712，确定补充媒体流是否一个编辑媒体流。如果补充媒体流是编辑媒体流，则在方框714输出编辑媒体流。根据说明的子例程700，输出媒体流例行程序600(图6)被递归调用来输出编辑媒体流。在输出编辑媒体流以后，子例程700进行到判定方框728(图7C)。

如果在判定方框712，补充媒体流不是编辑媒体流，则在方框716(图7B)输出补充媒体流。当输出补充媒体流时，在方框718，子例程700监视/等待一个条件事件发生，或者表示补充媒体流已完成输出的事件。在判定方框720，判定监测到的事件是否是条件事件。如果该事件不是条件事件，则在方框722判定是否是表示补充媒体流完成输出的事件。如果补充媒体流没有完成输出，则子例程700返回到方框718监视/等待另一个事件。但是，如果该事件正是表示补充媒体流完成输出，则子例程700进行到判定方框728(图7C)。

或者，如果在判定方框720，该事件是条件事件，则在判定方框724判定是否满足条件。如果满足条件，则在方框726输出条件补充媒体流。此后，子例程700返回到方框718监视/等待另一个事件。但是如果在判定方框724不满足条件，则条件事件被忽略，该过程返回到方框718监视/等待另一个事件。

在判定方框728(图7C)，判定是否有与该触发事件相关的其它补充媒体流。如果有其它相关的补充媒体流，则在方框730通过递归调用该输出补充流子例程700输出下一个补充流。此后，子例程700结束。或者，如果在判定方框728，没有其它相关的补充媒体流，则在方框734判定主媒体流是否暂停。如果主媒体流暂停，则在方框736主媒体流恢复。此后，子例程700结束。但是，如果在判定方框734，主媒体流没有暂停，则子例程700结束。

图8是说明根据本发明形成的一个示范性输出媒体系统800的方框图。该系统包括媒体流输出装置802，用于输出主媒体流和一个或多个补充媒体流。虽然此图只表示了媒体流的视图表示，但这只是为了说明的目的，不应当理解为对本发明的限制.根据一个实施例，该媒体流输出装置802能够输出视频和音频媒体流。相应地，媒体流输出装置802可以包括多个部件，例如显示装置和扬声器。

根据所示出的例子，媒体流输出装置802连接到媒体流输出控制器804。媒体流输出控制器804获得主媒体流806和相关的补充媒体流808和810，并将它们导入媒体输出装置802。根据所示出的例子，媒体流输出装置802在显示视图812输出主媒体流806，而补充媒体流808和810在补充显示视图814和816显示。如所说明的例子所示，补充媒体流808和810不在同一个显示视图上显示。但是，根据其它的实施例，这些媒体流可以显示在同一个补充显示视图上。此外，根据所说明的例子，主媒体流806和补充媒体流808和810表示为分别进入媒体流输出控制器804的媒体流。但是，这只是为了说明的目的，不应当理解为对本发明的限制。根据一个实施例，媒体流输出控制器804获得的主媒体流和补充媒体流是单个媒体流。虽然已经说明和描述了本发明的优选实施例，但是可以理解这里可作各种变化而不超出本发明的精神和范围。

Claims (18)

1、一种用于输出一个或多个补充媒体流以及一个主媒体流的方法，所述补充媒体流设计用来帮助感官受损的人，该方法包括：

重复监视和检测触发事件，同时输出主媒体流；以及

在检测到触发事件以后：

确定所述一个或多个补充媒体流中哪些与该触发事件相关；

确定与该触发事件相关的补充媒体流是与主媒体流同步输出还是异步输出；和

根据前面的确定结果，与主媒体流同步或异步地输出每个与触发事件相关的补充媒体流而不需要用户输入，

其中：

如果与触发事件相关的补充媒体流要被同步输出，则自动地与主媒体流同步地输出与触发事件相关的补充媒体流；

如果与触发事件相关的补充媒体流要被异步输出，则自动地执行下述步骤而不需要用户输入：

暂停主媒体流；

基于与每个与触发事件相关的补充媒体流相关的优先级值确定输出所述与触发事件相关的补充媒体流的顺序；

按照所确定的优先级顺序输出所述与触发事件相关的补充媒体流；以及

在输出了所有与触发事件相关的补充媒体流之后，恢复主媒体流。

2、权利要求1的方法，其中触发事件根据主媒体流的时序发生。

3、权利要求2的方法，其中当主媒体流暂停时主媒体流的时序暂停。

4、权利要求1的方法，其中当第一相关补充媒体流结束输出时，第一相关补充媒体流使第二相关补充媒体流输出。

5、权利要求1的方法，其中一个相关补充媒体流发出一个条件触发事件，使一个条件补充媒体流与该相关补充媒体流同步输出。

6、权利要求5的方法，其中该相关补充媒体流根据该相关补充媒体流的外部条件有选择地发出所述条件触发事件。

7、权利要求1的方法，其中一个补充媒体流包括音频描述流、视图描述流或编辑媒体流。

8、权利要求7的方法，其中一个编辑媒体流包括编辑主媒体流和与该编辑主媒体流相关的一个或多个编辑补充媒体流。

9、权利要求8的方法，其中输出一个编辑媒体流包括：

重复监视和检测编辑触发事件，同时输出编辑主媒体流；和

在检测到编辑触发事件以后：

确定所述一个或多个编辑补充媒体流中哪些与该编辑触发事件相关；

确定与该编辑触发事件相关的编辑补充媒体流是与编辑主媒体流同步输出还是异步输出；和

根据前面的确定结果，与编辑主媒体流同步或异步地输出每个与编辑触发事件相关的编辑补充媒体流，其中：

如果与编辑触发事件相关的编辑补充媒体流要被同步输出，则自动地与编辑主媒体流同步地输出与编辑触发事件相关的编辑补充媒体流；

如果与编辑触发事件相关的编辑补充媒体流要被异步输出，则自动地执行下述步骤而不需要用户输入：

暂停编辑主媒体流；

自动地输出与编辑触发事件相关的编辑补充媒体流；以及

在输出了所有与编辑触发事件相关的编辑补充媒体流之后，恢复编辑主媒体流。

10、权利要求9的方法，其中一个编辑补充媒体流包括音频描述流、视图描述流或编辑媒体流。

11、权利要求9的方法，其中编辑触发事件根据编辑主媒体流的时序发生。

12、一种用于输出至少一个补充媒体流以及一个主媒体流的系统，所述补充媒体流设计用来帮助感官受损的人，该系统包括：

媒体流输出装置，用于输出主媒体流和一个或多个补充媒体流；以及

媒体流输出控制器，它与媒体流输出装置通信相连，包括：

用于接收主媒体流和所述一个或多个补充媒体流的装置；

用于经由媒体流输出装置输出主媒体流的装置；

用于监视和检测与主媒体流的输出相关的触发事件的装置；和

在检测到触发事件以后：

用于确定所述一个或多个补充媒体流中哪些与所检测到的触发事件相关的装置；

用于确定所选择的补充媒体流是与主媒体流同步输出还是异步输出的装置；和

用于根据前面的确定结果，经由媒体流输出装置与主媒体流同步或异步地输出每个与触发事件相关的补充媒体流的装置，其中：

如果与触发事件相关的补充媒体流要被同步输出，则自动地与主媒体流同步地输出与触发事件相关的补充媒体流；

如果与触发事件相关的补充媒体流要被异步输出，则自动地执行下述操作而不需要用户输入：

暂停主媒体流；

基于与每个与触发事件相关的补充媒体流相关的优先级值确定输出所述与触发事件相关的补充媒体流的顺序；

按照所确定的优先级顺序输出所述与触发事件相关的补充媒体流；以及

在输出了所有与触发事件相关的补充媒体流之后，恢复主媒体流。

13、权利要求12的系统，其中当第一相关补充媒体流结束输出时，第一相关补充媒体流使第二相关补充媒体流输出。

14、权利要求12的系统，其中一个相关补充媒体流发出一个条件触发事件，使一个条件补充媒体流与该相关补充媒体流同步输出。

15、权利要求14的系统，其中该相关补充媒体流根据该相关补充媒体流的外部条件有选择地发出所述条件触发事件。

16、权利要求12的系统，其中一个补充媒体流包括音频描述流、视图描述流或编辑媒体流。

17、权利要求16的系统，其中一个编辑媒体流包括编辑主媒体流和与该编辑主媒体流相关的至少一个编辑补充媒体流。

18、一种用于输出一个或多个补充媒体流以及一个主媒体流的媒体显示系统，所述补充媒体流设计用来帮助感官受损的人，该系统包括：

监视装置，用于监视和检测相关触发事件，同时输出主媒体流；

补充媒体流选择装置，用于选择与检测到的触发事件相关的一个或多个补充媒体流；

确定装置，用于确定每个与触发事件相关的补充媒体流是与主媒体流同步输出还是异步输出；以及

控制装置，用于根据确定装置的确定结果，与主媒体流同步或异步地输出每个相关的补充媒体流，

其中：

如果与触发事件相关的补充媒体流要被同步输出，则自动地与主媒体流同步地输出与触发事件相关的补充媒体流；

如果与触发事件相关的补充媒体流要被异步输出，则自动地执行下述操作而不需要用户输入：

暂停主媒体流；

基于与每个与触发事件相关的补充媒体流相关的优先级值确定输出所述与触发事件相关的补充媒体流的顺序；

按照所确定的优先级顺序输出所述与触发事件相关的补充媒体流；以及

在输出了所有与触发事件相关的补充媒体流之后，恢复主媒体流。

Images