CN101815995B - 基于重要性等级产生富媒体的系统和方法及应用于其的服务器 - Google Patents

Abstract

本发明公开了适应于网络环境的富媒体服务器、富媒体传输系统和富媒体传输方法。该富媒体服务器包括：用于与请求富媒体的终端进行通信的接口单元；用于处理与所述请求相对应的至少一个媒体的媒体处理单元；富媒体编码单元，其用于对从媒体处理单元输出的至少一个媒体进行编码以生成富媒体、并且向接口单元输出富媒体以向终端提供富媒体；以及控制器，其用于基于富媒体的再现信息确定组成富媒体的媒体的重要性等级，并且控制媒体处理单元和富媒体编码单元中的至少一个以基于所确定的重要性等级改变对至少一个媒体的传输处理。

Description

基于重要性等级产生富媒体的系统和方法及应用于其的服务器

技术领域

本发明涉及用于传输富媒体(rich media)的方法，更具体地涉及能够在传输富媒体时通过考虑网络环境和组成富媒体的多个媒体(piece ofmedia)的重要性等级来根据网络环境优化要传输的富媒体的富媒体服务器、富媒体传输系统和富媒体传输方法。

背景技术

用于通过有线通信网络(如，特高速因特网)或通过无线通信网络(如，IMT2000)，基于通信系统提供多媒体内容服务的方法和系统受到关注。

尤其，通过有线/无线终端发送/接收静止图片、移动图片和音乐文件(如，MP3文件)以及声音和文本的功能已经被添加到终端、或者已经通过与外部装置连接而实施。因此，奠定了用于通过有线或无线发送/接收多媒体内容文件的技术基础，并且还奠定了用于使消费者能够自己创建多媒体内容文件以及通过有线/无线通信网络传播所创建的多媒体内容文件的技术基础。

同时，由于有线或无线终端组成的用户终端不具有能够将提供的所有无数媒体(如，静止图片和移动图片)再现为多媒体内容文件的与媒体再现有关的性能，因此生成无法被再现的媒体是不可避免的。

存在无数种类的媒体，包括文本、静止图片、移动图片等，其中，音频类型基于用于再现的文件扩展名包括mpa、mp3、mp2、wma、wav等，而移动图片的类型基于用于再现的文件扩展名包括wmv、avi、divx、asf、mpg等。

如上所述，由于存在无数种类的媒体，因此对于用户终端来说，具有能够再现所有类型媒体的编解码器是不容易的。

而且，由于从再现各种媒体的性能的角度来讲，用户终端通常具有比个人计算机(PC)更低的处理能力，从在用户终端的屏幕上显示相应媒体所需要的硬件性能的角度来讲，用户终端具有较差的处理能力，所以这与移动终端不具有编解码器的事实一起限制了可以被再现的媒体。

附带地说明用户终端的硬件处理能力，当再现两个或更多个媒体，而不是再现一个媒体时，硬件处理能力经常达到其极限。

通常地，再现两个或更多个媒体(例如，移动图片)的用户终端包括：用于存储压缩的移动图片文件的存储器、用于解压缩并输出在存储器中存储的第一移动图片文件的第一解码器、用于解压缩并输出在存储器中存储的第二移动图片文件的第二解码器、用于组合并且输出从第一和第二解码器输出的移动图片帧的图像处理器、用于显示从图像处理器输出的数据的显示单元以及用于执行再现媒体处理的控制器。

存储器可以是一个或更多个闪速存储器、一个或更多个硬盘、一个或更多个光盘存储装置，或其组合。

第一和第二解码器各由数字信号处理器组成，该数字信号处理器具有能够再现以多种格式压缩的文件的柔性机构。各解码器可以支持MPEG-4、H.263、MPEG-2等中的一种或更多种格式。

尽管两个解码器同时工作，但是这两个解码器可以再现互不相同格式的移动图片文件。

各解码器从指定时间点开始再现特定移动图片文件。对于各解码器来说都支持双速播放功能和低速播放功能等。

使具有这些功能的解码器商业化并且提供具有这些功能的解码器，并且与解码器关联的编解码器解压缩文件并且输出标准格式(如，YUV或RGB)的图像帧。

图像处理器可以放大或缩小相应的输入图像帧，或可以组合两个图像。

例如，可以分别缩小两个移动图片并且在被分为两个区域的一个画面上分别显示两个移动图片。另外，一个移动图片帧可以在整个画面上显示为主画面，而另一个移动图片帧被缩小并且以画中画(PIP：Picture-In-Picture)形式显示。

但是，这种传统用户终端可以同时在终端的屏幕上再现并且输出两个媒体，尤其是两个移动图片，但是为了同时再现三个或更多个移动图片该用户终端必须具有优越的性能。同样地，由于不是所有的传统用户终端都被设计为通过其内部操作再现两个移动图片，因此，可能出现不能在用户终端中再现的移动图片。

而且，在从服务器向用户终端提供预定媒体的服务过程中，当由于传输环境，组成各元素的一个或更多个媒体在被发送给用户终端时丢失时，负面影响会施加在整个服务性能上。因此，通常，服务器重传丢失的媒体，或者发送纠错码使得当媒体中发生丢失时可以恢复该媒体。

但是，从通信环境中带宽的局限性的角度以及服务操作的角度来讲，为了恢复媒体中的丢失反射性地发送纠错码，或重传相应媒体是低效的。

因此，需要克服这些问题的方法。

发明内容

因此，鉴于上面提到的问题，做出了本发明，并且本发明的目的是提供这样一种用于基于重要性等级提供媒体的系统和方法以及应用于其的服务器，其以下述方式控制媒体传输方法：对用户终端的为了接收基于媒体提供的服务而进行的访问进行响应的服务器基于关于用户终端的与媒体再现有关的数据提取一个或更多个媒体，确定所提取的媒体的重要性等级，并且基于所确定的重要性等级改变对所提取的媒体的传输处理，或者仅传输具有高重要性等级的媒体，或者首先传输具有高重要性等级的媒体然后传输具有低重要性等级的媒体。

此外，本发明的另一个目的是提供这样一种用于基于重要性等级提供媒体的系统和方法及应用于其的服务器，其中，对用户终端的用于接收基于媒体提供的服务的访问进行响应的服务器基于关于用户终端的与媒体再现有关的数据提取一个或更多个相应媒体，或者执行基于媒体提供的服务，或者通过考虑用户对该服务的使用来确定所提取的媒体的重要性等级，控制纠错码量以根据媒体的重要性等级而变化，并且向用户终端传输受控量的纠错码。

为了实现上述目的，提供了一种用于通过网络传输富媒体的富媒体服务器，该富媒体服务器包括：用于与请求富媒体的终端进行通信的接口单元；用于处理与所述请求相对应的至少一个媒体的媒体处理单元；富媒体编码单元，其用于对从媒体处理单元输出的至少一个媒体进行编码以生成富媒体、并且向接口单元输出富媒体以向终端提供富媒体；以及控制器，该控制器用于基于富媒体的再现信息确定组成富媒体的媒体的重要性等级，并且控制媒体处理单元和富媒体编码单元中的至少一个，以基于所确定的重要性等级改变对至少一个媒体的传输处理。

优选地，控制器基于以下各项中的至少一项来确定富媒体中包括的各媒体的重要性等级：该媒体是否是构造富媒体的必要元素、在富媒体中显示该媒体的持续时间、对该媒体的重传请求是否可用、利用或引用该媒体的引用媒体的数量以及由生产商在生产时为该媒体指定的生产商指定重要性等级。

优选地，控制器基于以下优先级指数计算公式来计算富媒体中包括的各媒体的优先级指数并且将具有高优先级指数的媒体确定为具有高重要性等级，优先级指数＝{W1(持续时间)+W2(引用媒体的数量)+W3(生产商指定重要性等级)}*f1(必要或非必要)*f2(重传能力或无重传能力)，其中，W1至Wn和f1至fn代表用于为各变量计算重要性等级的函数。

优选地，控制器提前存储了传输控制表，该传输控制表包括用于根据网络的各带宽控制富媒体的传输量的传输容量信息，并且控制器基于传输控制表和网络的带宽信息控制媒体的传输量。

优选地，传输控制表包括用于根据网络的各带宽控制媒体的传输比特率的传输比特率信息，并且控制器基于传输控制表和网络的带宽信息控制媒体处理单元以控制媒体的比特率。

优选地，控制器基于传输控制表和网络的带宽信息控制媒体处理单元，以根据与网络的带宽相对应的传输比特率信息增加或降低媒体的比特率。

优选地，传输控制表包括用于根据网络的各带宽选择是否要传输该媒体的传输选择信息，并且控制器控制富媒体编码单元，以基于传输控制表的传输选择信息和网络的带宽信息将从媒体处理单元输出的至少一个媒体中具有低重要性等级的至少一个媒体去除，并且对剩下的媒体进行编码以生成富媒体。

优选地，传输控制表包括通过网络传输的富媒体的传输延迟时间的极限延迟时间信息，并且当网络的传输延迟时间等于或大于传输控制表的极限延迟时间信息时，控制器控制富媒体编码单元以从具有较高重要性等级的媒体到具有较低重要性等级的媒体的顺序对从媒体处理单元接收的至少一个媒体进行编码并且顺序地输出。

优选地，控制器根据所确定的重要性等级控制用于所述至少一个媒体的纠错码的量。

优选地，当所述至少一个媒体对应于重要级别的媒体时，控制器基于通信带宽增加用于所述至少一个媒体的纠错码的量。

优选地，当所述至少一个媒体不对应于重要级别的媒体时，控制器基于通信带宽降低用于所述至少一个媒体的纠错码的量。

优选地，控制器监测包括纠错码的至少一个媒体的传输率，并且基于作为监测的结果而生成的传输比特率控制信号再一次控制用于所述至少一个媒体的纠错码的量。

同时，根据本发明的另一方面，提供了一种用于传输富媒体的系统，该系统包括：用于通过网络请求富媒体的终端；以及富媒体服务器，该富媒体服务器包括：用于与终端进行通信的接口单元；用于处理与所述请求相对应的至少一个媒体的媒体处理单元；富媒体编码单元，其用于对从媒体处理单元输出的至少一个媒体进行编码以生成富媒体，并且向接口单元输出富媒体以向终端提供富媒体；以及控制器，其用于基于富媒体的再现信息确定组成富媒体的媒体的重要性等级，并且控制媒体处理单元和富媒体编码单元中的至少一个以基于所确定的重要性等级改变对至少一个媒体的传输处理。

优选地，控制器基于以下各项中的至少一项来确定富媒体中包括的各媒体的重要性等级：该媒体是否是构造富媒体的必要元素、在富媒体中显示该媒体的持续时间、对该媒体的重传请求是否可用、利用或引用该媒体的引用媒体的数量以及由生产商在生产时为该媒体指定的生产商指定重要性等级。

优选地，控制器基于以下优先级指数计算公式来计算富媒体中包括的各媒体的优先级指数并且将具有高优先级指数的媒体确定为具有高重要性等级，优先级指数＝{W1(持续时间)+W2(引用媒体的数量)+W3(生产商指定重要性等级)}*f1(必要或非必要)*f2(重传能力或无重传能力)，其中，W1至Wn和f1至fn代表用于为各变量计算重要性等级的函数。

优选地，控制器提前存储了传输控制表，该传输控制表包括用于根据网络的各带宽控制富媒体的传输量的传输容量信息，并且该控制器基于传输控制表和网络的带宽信息控制媒体的传输量。

优选地，传输控制表包括用于根据网络的各带宽控制媒体的传输比特率的传输比特率信息，并且控制器基于传输控制表和网络的带宽信息控制媒体的比特率。

优选地，控制器基于传输控制表和网络的带宽信息控制媒体处理单元，以根据与网络的带宽相对应的传输比特率信息增加或降低媒体的比特率。

优选地，传输控制表包括用于根据网络的各带宽选择是否要传输该媒体的传输选择信息，并且控制器控制富媒体编码单元，以基于传输控制表的传输选择信息和网络的带宽信息把从媒体处理单元输出的至少一个媒体中具有低重要性等级的至少一个媒体去除，并且对剩下的媒体进行编码以生成富媒体。

优选地，传输控制表包括通过网络传输的富媒体的传输延迟时间的极限延迟时间信息，并且当网络的传输延迟时间等于或大于传输控制表的极限延迟时间信息时，控制器控制富媒体编码单元，以从具有较高重要性等级的媒体到具有较低重要性等级的媒体的顺序对从媒体处理单元接收的至少一个媒体进行编码并且顺序地输出。

优选地，控制器根据所确定的重要性等级控制用于所述至少一个媒体的纠错码的量。

优选地，当所述至少一个媒体对应于重要级别的媒体时，控制器基于通信带宽增加用于所述至少一个媒体的纠错码的量。

优选地，当所述至少一个媒体不对应于重要级别的媒体时，控制器基于通信带宽降低用于所述至少一个媒体的纠错码的量。

优选地，控制器监测包括纠错码的所述至少一个媒体的传输率，并且基于作为监测的结果而生成的传输比特率控制信号再一次控制用于所述至少一个媒体的纠错码的量。

优选地，富媒体服务器还包括媒体数据库，其提前存储了用于响应于终端的请求提供富媒体的至少一个媒体、及能够再现该媒体的终端的最低规格。

优选地，终端在向富媒体服务器请求富媒体时向富媒体服务器提供关于该终端的类型的信息、及关于用于再现富媒体的再现器的信息。

优选地，控制器将与所请求的富媒体相对应的媒体的最低规格与从终端提供的类型信息和关于富媒体再现器的信息进行比较，确定终端是否可以再现富媒体，并且控制媒体处理单元以用可以再现的媒体生成富媒体。

同时，根据本发明的另一个方面，提供了一种用于基于重要性等级提供媒体的方法，该方法包括以下步骤：(a)传输对请求富媒体服务的用户终端的响应；(b)提取与所述请求相对应的媒体再现信息，根据媒体再现信息提取与基于媒体提供的服务相对应的至少一个媒体，以及对至少一个媒体进行编码以生成富媒体；(c)确定组成富媒体的各媒体的重要性等级；以及(d)基于对重要性等级的确定结果，改变对至少一个媒体的传输处理，并且传输至少一个媒体。

优选地，在步骤(c)中，至少一个媒体的重要性等级基于以下各项中的至少一项：该媒体对于基于媒体提供的所述服务是否是必要元素、通过所述用户终端再现该媒体的持续时间、相关引用媒体的数量、在媒体生成阶段所指定的重要性级别指数、对该媒体的重传请求是否可用、以及当所述至少一个媒体由于媒体传输环境已经丢失时所述用户终端是否能够进行重传请求。

优选地，在步骤(d)中，根据对重要性等级的确定结果，控制用于至少一个媒体的纠错码的量，或者建立用于至少一个媒体的传输协议。

根据本发明，对用户终端的用于接收基于媒体提供的服务的访问进行响应的服务器基于关于用户终端的与媒体再现相关的数据提取一个或更多个相应媒体，或者执行基于媒体提供的服务，或者通过考虑用户对服务的使用来确定所提取的媒体的重要性等级，并且根据按照重要性等级分类的多个媒体执行不同的传输处理操作，使得可以在具有有限带宽的通信环境中高效地传输相应媒体，并且即使服务器向用户终端传输具有低重要性等级的某些媒体或服务元素时失败，也能确保服务执行的连续性。

附图说明

根据下面的详细描述并且结合附图，本发明的上述和其他目的、特征和优点将变得更加清楚，其中：

图1是示出了根据本发明的示例性实施方式的富媒体传输系统的结构的框图；

图2是示出了根据本发明的示例性实施方式的富媒体传输方法的控制流程的流程图；

图3A是示出了根据本发明的另一个示例性实施方式的用于在富媒体传输方法中控制传输量的另一个示例的部分流程图；

图3B是示出了根据本发明的又一个示例性实施方式的添加到富媒体传输方法中的步骤的部分流程图；以及

图4是示出了根据本发明的示例性实施方式的用于基于重要性等级提供媒体的系统的操作处理的流程图。

具体实施方式

下面将参照附图描述本发明的优选实施方式。

图1是示出了根据本发明的示例性实施方式的富媒体传输系统的结构的框图。如图1所示，富媒体传输系统包括用于请求富媒体的终端10和用于通过网络生成并提供富媒体的富媒体服务器100。

终端10通过网络访问富媒体服务器100，并且请求富媒体服务器100以传输终端10的用户想要的富媒体。终端10包括各种电子装置，包括通用个人计算机(PC)、便携式终端等。尽管图1仅示出了一个终端10，但是能够通过网络访问富媒体服务器100的终端10是多个。

在终端10结构的更多细节中，终端10包括用于通过网络与富媒体服务器100进行通信的终端侧接口单元2、用于请求富媒体服务器100传输用户想要的富媒体的终端侧控制器6、当接收到所请求的富媒体时用于存储所请求的富媒体的媒体存储单元4、以及用于再现所请求的富媒体的再现器5。

终端侧控制器6已经提前存储了关于终端10的类型的信息(如，产品型号编码)、和关于再现器的信息(包括再现器5所支持的分辨率及再现器5的规格)。当请求富媒体服务器100传输富媒体时，终端侧控制器6可以向富媒体服务器100提供关于终端10的类型的信息和关于再现器的信息。此外，终端侧控制器6可以向富媒体服务器100提供用户识别信息。

如图1所示，富媒体服务器100包括接口单元20、组合处理器30、媒体DB 40、用户信息参照(reference)单元50和控制器60。

接口单元20用作通信单元以与请求富媒体的终端10进行通信。这种接口单元20仅需要具有与终端侧接口单元2的结构相对应的结构。

组合处理器30从媒体DB 40提取至少一个媒体，并且生成要提供给终端10的富媒体。组合处理器30包括用于处理与终端10所请求的媒体相对应的至少一个媒体的媒体处理单元33和富媒体编码单元36，该富媒体编码单元36用于组合/编码从媒体处理单元33接收的至少一个媒体，以生成要提供给终端10的富媒体，并且向接口单元20输出所生成的富媒体。

媒体处理单元33从媒体DB 40提取由控制器60所选择的要提供给终端10的至少一个媒体(将在下面描述)，接着以可以由富媒体编码单元36处理的形式来处理所提取的媒体。当从媒体DB 40提取的媒体对应于可缩放的已编码移动图片时，媒体处理单元33处理所提取的媒体以生成具有富媒体编码单元36可以处理的分辨率、比特率等的移动图片流。同样地，当在媒体DB 40中不存在可缩放的已编码移动图片，并且从媒体DB 40提取的媒体对应于以各种编码标准产生的选择性移动图片时，媒体处理单元33根据相应的移动图片标准处理所提取的媒体以产生可以由富媒体编码单元36处理的移动图片流。此外，当要求利用另一个编解码器压缩从媒体DB 40提取的媒体时，媒体处理单元33转换所提取的媒体以生成移动图片。因此，媒体处理单元33不仅可以转换移动图片，还可以转换具有比较少的量的媒体(如静止图片、动画等)，以通过终端10再现为富媒体。

富媒体编码单元36组合并且编码从媒体处理单元33接收的至少一个媒体，以产生将要被提供给终端10的富媒体，并且向接口单元20输出富媒体。即，富媒体编码单元36把至少一个媒体组合到富媒体画面中，使得可以向终端10提供所请求的富媒体画面。

同样地，富媒体编码单元36可以具有模板转换功能。即，富媒体编码单元36可以基于适当的模板构造富媒体，接着向终端10提供所构造的富媒体，其中，该适当的模板是考虑了包含在富媒体画面中的各种情景信息中包括的媒体坐标、终端10的输入的接收方法等而确定的，其可以根据终端10的类型和再现器5的规格变化。在这种情况下，可以从提取并处理各媒体的媒体处理单元33提供包含在富媒体画面中的各种情景信息。

媒体DB 40存储至少一个媒体以提供与终端10的请求相对应的富媒体。这里，存储的媒体可以包括各种类型的媒体，该各种类型的媒体包括可伸缩的已编码移动图片、以各种编码标准产生的选择性移动图片、静止图片、动画等。此外，媒体DB40已经按照各个预先存储的媒体存储了关于能够再现所存储的媒体的终端的最低规格的信息。

当从终端10接收对富媒体的请求时，控制器60控制媒体处理单元33和富媒体编码单元36，以从媒体DB 40提取与所请求的媒体相对应的至少一个媒体，以生成富媒体并且向终端10输出所生成的富媒体。

当从请求富媒体的终端10接收了关于终端10的类型的信息和关于再现器的信息时，控制器60基于关于根据媒体DB 40中存储的各媒体的最低规格的信息将关于与所请求的富媒体相对应的多个媒体的最低规格的信息与关于终端10的类型的信息和关于再现器的信息进行比较。接着，控制器60确定终端10是否可以再现所请求的富媒体，并且控制媒体处理单元33提取多个可再现媒体并且生成富媒体。因此，媒体处理单元33提取并且处理多个可再现媒体，以为终端10提供由终端10可以再现的多个媒体组成的富媒体。

控制器60已经提前存储了传输控制表65，该传输控制表65包括用于根据网络的带宽控制富媒体传输量的传输容量信息。控制器60控制媒体处理单元33和富媒体编码单元36中的至少一个，以基于网络的带宽信息和传输控制表65控制媒体传输量。

更详细地，传输控制表65可以包括用于根据网络带宽控制媒体的传输比特率的传输比特率信息。

在这种情况下，控制器60识别与当前终端10进行通信的网络的带宽信息，并且基于当前网络的带宽信息和传输控制表65控制媒体处理单元33，以根据与当前网络的带宽相对应的传输比特率信息增加或降低各媒体的比特率。因此，当处理从媒体DB 40提取的各媒体时，媒体处理单元33当网络带宽窄时在向富媒体编码单元36提供媒体之前降低各媒体的比特率，并且当网络带宽较宽时在向富媒体编码单元36提供媒体之前保持或增加各媒体的比特率。

因此，根据本发明的富媒体传输系统，当富媒体服务器100通过具有有限带宽的网络传输富媒体时，富媒体服务器100通过考虑到网络的带宽控制媒体的比特率并且生成/传输富媒体，来根据网络带宽控制富媒体传输量，使得可以向终端10适应性地提供重要信息，而没有延迟或丢失。

根据本发明的另一个示例性实施方式，传输控制表65可以包括用于根据网络带宽选择是否要传输各媒体的传输选择信息。

在这种情况下，控制器60可以确定在富媒体中包括的各媒体的重要性等级，并且基于当前网络的带宽信息和传输控制表65的传输选择信息控制富媒体编码单元36，以去除从媒体处理单元33接收到的一个或更多个媒体中的具有低重要性等级的至少一个媒体，并且对剩下的媒体进行编码以生成富媒体。接着，富媒体编码单元36省略从媒体处理单元33接收到的多个媒体中的具有低重要性等级的至少一个媒体，对剩下的媒体(即，具有比较高重要性等级的多个媒体)进行组合并且编码以生成富媒体，并且向接口单元20输出富媒体。

在这种情况下，控制器60可以基于以下各项中的至少一项确定富媒体中包括的各媒体的重要性等级：该媒体是否是构造富媒体的必要元素(例如，必要的＝0，非必要的＝1)、在富媒体中显示该媒体的持续时间、对该媒体的重传请求是否可用(例如，重传能力＝0，而无重传能力＝1)、利用或引用该媒体的引用媒体的数量(例如，三个或更多个＝2，一个或两个＝1，而没有＝0)，以及由生产商在生产时为该媒体指定的生产商指定重要性等级(例如，很重要＝2，重要＝1，而不重要＝0)。在这种情况下，执行从生产商接收各媒体的上载并且通过根据预定富媒体生成例程组合接收到的多个媒体来生成一个富媒体画面的处理时，富媒体服务器100的控制器60可以针对各媒体识别该媒体是否是必要元素、持续时间、重传请求是否可用、引用媒体的数量和生产商指定重要性等级。

可以按照下式计算用于通过控制器60确定各媒体的重要性等级的优先级指数：

优先级指数＝{W1(持续时间)+W2(引用媒体的数量)+W3(生产商指定重要性等级)}*fl(必要或非必要)*f2(重传能力或无重传能力)。

在公式中，W1至Wn和f1至fn代表用于计算各变量的重要性等级的函数。

在这种情况下，优选的是，控制器60为富媒体中包括的各媒体计算优先级指数，并且确定具有更高优先级指数的媒体具有更高重要性等级。

因此，根据本发明的富媒体传输系统，当通过具有有限带宽的网络传输富媒体时，富媒体服务器100可以通过考虑网络的带宽省略具有比较低的重要性等级的至少一个媒体并且生成/传输仅由具有比较高的重要性等级的媒体组成的富媒体，来根据网络带宽控制富媒体传输量，使得可以向终端10适应性地提供重要信息，而没有延迟或丢失。

同样地，根据本发明的又一个示例性实施方式，传输控制表65可以包括通过网络传输的富媒体的传输延迟时间的极限延迟时间信息。

在这种情况下，控制器60识别富媒体传输到终端10所要经过的网络的当前传输延迟时间。在当前传输延迟时间等于或大于传输控制表65中存储的极限延迟时间信息的值时，控制器60可以确定富媒体中包括的各媒体的重要性等级，并且控制富媒体编码单元36以从具有较高重要性等级的媒体到具有较低重要性等级的媒体的顺序对从媒体处理单元33接收到的至少一个媒体进行编码并且顺序地输出。接着，富媒体编码单元36在向接口单元20输出从媒体处理单元33接收到的多个媒体中具有较低重要性等级的媒体之前，对具有高重要性等级的媒体进行编码并且输出具有较高重要性等级的媒体。

在这种情况下，控制器60可以通过使用用于识别延迟时间的传统方案(如，基于来自终端10的对已经从富媒体服务器100传输给终端10的预定信号进行响应的回波信号来识别传输延迟时间的方案)来识别网络的传输延迟时间。

同样地，传输控制表65可以包括用于根据网络的各传输延迟时间段选择是否要传输媒体的传输选择信息。

在这种情况下，控制器60可以识别富媒体传输到终端10所要经过的网络的当前传输延迟时间，并且基于当前传输延迟时间和在传输控制表65中存储的传输选择信息，可以控制富媒体编码单元36以去除从媒体处理单元33接收到的一个或更多个媒体中具有比较低的重要性等级的至少一个媒体，并且对剩下的媒体进行编码以生成富媒体。接着，富媒体编码单元36省略从媒体处理单元33接收到的多个媒体中的具有比较低的重要性等级的至少一个媒体，对具有比较高的重要性等级的多个媒体进行组合及编码以生成富媒体，并且向接口单元20输出富媒体。

这里，控制器60确定在富媒体中包括的各媒体的重要性等级的方法与根据本发明的上述实施方式的确定处理中描述的一样，因此将省略其详细描述。

因此，根据本发明的富媒体传输系统，当从富媒体服务器100向终端10传输富媒体中发生非常大的传输延迟时，首先传输组成富媒体的多个媒体中的重要媒体，使得不论传输延迟，都可以向终端10适应性地提供重要信息而没有延迟或丢失。

此外，根据本发明的富媒体传输系统，当向终端10传输富媒体时，富媒体服务器100考虑由具有有限带宽的网络所引起的传输延迟时间，省略具有比较低的重要性等级的至少一个媒体，并且生成/传输仅由具有比较高的重要性等级的多个媒体组成的富媒体，使得不论传输延迟，都可以向终端10适应性地提供重要信息而没有延迟或丢失。

此外，富媒体服务器100还可以包括用户信息参照单元50，该用户信息参照单元50用于按照各用户提前存储关于喜欢的媒体的类型的信息，或者用于按照各用户存储关于之前请求的富媒体的类型的历史的信息。

在这种情况下，当控制媒体处理单元33以提取与要提供给终端10的富媒体相对应的多个媒体时，控制器60可以控制媒体处理单元33以基于从终端10输入的用户识别信息从终端10可以再现的多个媒体中提取并且处理适用于相应用户的多个媒体。

尽管已经描述了本发明的关于独立地配置控制器60的情况的实施方式，但是它们仅仅是解释的目的。即，控制器60的结构和功能可以包括在富媒体编码单元36中。

如上所述，根据本发明的富媒体传输系统，当富媒体服务器100通过具有有限带宽的网络传输富媒体时，富媒体服务器100根据网络带宽以这样的方式控制富媒体传输量：考虑网络带宽来控制媒体的比特率并且生成富媒体，或省略具有比较低的重要性等级的至少一个媒体并且生成/传输仅仅具有比较高的重要性等级的多个媒体的富媒体，使得可以向终端10适应性地提供重要信息而没有延迟或丢失。

此外，根据本发明的富媒体传输系统，富媒体服务器100通过首先传输组成富媒体的多个媒体中的重要媒体防备传输延迟，并且当从富媒体服务器100向终端10传输富媒体中发生了非常大的传输延迟时，富媒体服务器100通过把传输延迟时间考虑在内，根据各传输延迟时间段省略具有比较低的重要性等级的至少一个媒体，并且生成/传输仅仅具有比较高的重要性等级的多个媒体的富媒体，使得不论传输延迟，都可以向终端10适应性地提供重要信息而没有延迟或丢失。

下面，将简要描述根据本发明的具有上述结构的富媒体传输系统中的传输方法。为了描述的方便，在下面的描述中利用与图1中所使用的附图标记相同的附图标记指代相同的元件。

首先，富媒体服务器100的控制器60提前存储用于根据网络带宽控制富媒体传输量的传输控制表65(步骤10)。接着，想要观看富媒体的用户所使用的终端10传输对想要的富媒体的请求(步骤20)。在这种情况下，优选的是，终端10为富媒体服务器100提供关于终端10的类型的信息、关于再现器的信息和用户识别信息。

富媒体服务器100的控制器60确定终端10是否请求了富媒体(步骤30)。当请求了富媒体时，控制器60基于与根据媒体DB 40中存储的各媒体的最低规格有关的信息，将关于与所请求的富媒体相对应的多个媒体的最低规格的信息与关于终端10的类型的信息和关于再现器的信息进行比较(步骤40)。接着，控制器60确定终端10是否可以再现所请求的富媒体，并且控制媒体处理单元33以提取并且处理终端10可以再现的多个媒体(步骤50)。因此，为了给终端10提供由终端10可以再现的多个媒体所组成的富媒体，媒体处理单元33提取并且处理相应的多个媒体。

接着，控制器60识别与当前终端10进行通信的网络的带宽信息，并且基于网络的带宽信息和传输控制表65控制媒体处理单元33和富媒体编码单元36中的至少一个以控制媒体传输量(步骤60)。接着，根据控制器60的控制，媒体处理单元33和富媒体编码单元36生成传输量已经被控制为与网络的带宽信息相对应的富媒体，并且向终端10传输所生成的富媒体(步骤70)。

同时，在步骤10中预存储的传输控制表65可以包括用于根据网络的带宽来控制媒体的传输比特率的传输比特率信息。在这种情况下，在步骤60中，控制器60可以基于当前网络的带宽信息和传输控制表65控制媒体处理单元33，以根据与当前网络的带宽相对应的传输比特率信息增加或降低各媒体的比特率。因此，当处理从媒体DB 40提取的至少一个媒体时，媒体处理单元33在网络的带宽窄时降低各媒体的比特率并且向富媒体编码单元36提供该媒体，而在网络的带宽较宽时保持或增加各媒体的比特率并且向富媒体编码单元36提供该媒体。

同时，根据本发明的另一个示例性实施方式，在步骤10中预存储的传输控制表65可以包括用于根据网络的带宽选择是否传输各媒体的传输选择信息。

与此相关，现在将参照图3A更详细地描述步骤60。控制器60确定富媒体中包括的各媒体的重要性等级(步骤61)，并且基于网络的带宽信息和传输控制表65的传输选择信息，控制富媒体编码单元36以去除从媒体处理单元33接收到的一个或更多个媒体中具有低重要性等级的至少一个媒体，并且对剩下的媒体进行编码以生成富媒体(步骤62)。接着，富媒体编码单元36省略从媒体处理单元33接收到的多个媒体中具有低重要性等级的至少一个媒体，对剩下的媒体(即，具有比较高的重要性等级的媒体)进行组合并且编码以生成富媒体，并且向接口单元20输出富媒体。

同时，在步骤61，控制器60可以基于以下各项中的至少一项来确定富媒体中包括的各媒体的重要性等级：该媒体是否是构造富媒体的必要元素(例如，必要＝0，非必要＝1)、在富媒体中显示该媒体的持续时间、对该媒体的重传请求是否可用(例如，重传能力＝0，而非无重传能力＝1)、利用或引用该媒体的引用媒体的数量(例如，三个或更多个＝2，一个或两个＝1，而没有＝0)，以及由生产商在生产时为该媒体指定的生产商指定重要性等级(例如，很重要＝2，重要＝1，而不重要＝0)。

在这种情况下，执行从生产商接收各媒体的上载并且通过根据预定的富媒体生成例程组合接收到的多个媒体来生成一个富媒体画面的处理时，富媒体服务器100的控制器60可以针对各媒体识别各媒体是否是必要元素、持续时间、重传请求是否可用、引用媒体的数量和生产商指定重要性等级。

按照下式计算用于通过控制器60确定各媒体的重要性等级的优先级指数：

优先级指数＝{W1(持续时间)+W2(引用媒体的数量)+W3(生产商指定重要性等级)}*f1(必要或非必要)*f2(重传能力或无重传能力)。

在上式中，W1至Wn和f1至fn代表用于计算各变量的重要性等级的函数。

在这种情况下，优选的是，控制器60为富媒体中包括的各媒体计算优先级指数，并且确定具有更高优先级指数的媒体具有更高重要性等级。

同时，根据本发明的另一个示例性实施方式，在步骤10中预存储的传输控制表65可以包括通过网络传输的富媒体的传输延迟时间的极限延迟时间信息。

与此相关，现在将参照图3B更详细地描述步骤60。控制器60确定富媒体中包括的各媒体的重要性等级(步骤64)。接着，控制器60识别富媒体传输到终端10所要经过的网络的当前传输延迟时间，并且确定当前传输延迟时间是否等于或大于传输控制表65中存储的极限延迟时间信息的值(步骤66)。然后，在当前传输延迟时间等于或大于极限延迟时间信息的值时，控制器60控制富媒体编码单元36以从具有更高重要性等级的媒体到具有较低重要性等级的媒体的顺序对从媒体处理单元33接收到的一个或多个媒体进行编码并且顺序地输出(步骤68)。因此，富媒体编码单元36在向接口单元20输出从媒体处理单元33接收到的多个媒体中具有较低重要性等级的媒体之前，对具有较高重要性等级的媒体进行编码并且输出该具有较高重要性等级的媒体。

如上所述，根据本发明的富媒体传输方法，当通过具有有限带宽的网络传输富媒体时，富媒体服务器100或者考虑了网络带宽而调整媒体的比特率并且生成富媒体，或者省略具有较低重要性等级的至少一个媒体，并且用具有较高重要性等级的媒体生成富媒体，然后富媒体服务器100传输所生成的富媒体，使得根据网络的带宽控制富媒体传输量，从而能够向终端10适应性地提供重要信息，而没有延迟或丢失。

此外，根据本发明的富媒体传输方法，当从富媒体服务器100向终端10传输富媒体中发生非常大的传输延迟时，首先传输组成富媒体的多个媒体中的重要媒体，使得不论传输延迟，都可以向终端10适应性地提供重要信息而没有延迟或丢失。

图4是示出图1中所示的用于基于重要性等级提供媒体的系统的操作处理的流程图。图4中所示的处理仅仅是示例性目的。基于重要性等级的媒体提供方法从通过终端10对富媒体服务器100进行访问以请求基于媒体提供的服务(步骤100)开始。

下面，富媒体服务器100通过使用从终端10提供的终端信息从与预存储的媒体相关的数据库提取关于终端10的媒体再现信息(步骤102)，并且根据所提取的媒体再现信息提取用于提供服务的至少一个媒体(步骤104)。

接着，富媒体服务器100确定所提取的媒体在将要通过终端10执行的基于媒体所提供的服务中的重要性等级(步骤106)。

当作为步骤106的确定结果，至少一个媒体被设置为具有重要级别的媒体时，富媒体服务器100建立与具有重要级别的媒体相对应的传输协议，根据通信带宽增加与至少一个媒体关联的纠错码量，分配增加量的纠错码(步骤108和110)，然后向终端10传输如上所述已经经过传输编码转换的至少一个媒体(步骤112)。

下面，终端10接收已经经过传输编码转换的至少一个媒体，恢复包含错误的媒体，并且再现恢复后的媒体(步骤114)。

虽然已经参照本发明的某些示例型实施方式示出并且描述了本发明，但是本发明并不限于这些示例型实施方式，本领域技术人员可以在形式和细节上做出各种改变，而不脱离由所附权利要求书所限定的本发明的范围，并且应当理解的是，本发明的精神和范围覆盖在形式上和细节上的这样的各种变化。

工业应用性

根据本发明，对用户终端的用于接收基于媒体提供的服务的访问进行响应的服务器基于关于用户终端的与媒体再现相关的数据提取一个或更多个相应媒体，或者执行基于媒体提供的服务或者通过考虑用户对服务的使用来确定所提取的媒体的重要性等级，并且根据按照重要性等级分类的多个媒体执行不同的传输处理操作，并且向终端提供多个媒体。因此，由于本发明具有充分的市场性或商业可能性并且显而易见地可实践，所以本发明具有工业应用性。

Claims (30)

1.一种用于生成并通过网络传输富媒体的富媒体服务器，该富媒体服务器包括：

接口单元，该接口单元用于与请求富媒体的终端进行通信；

媒体处理单元，该媒体处理单元用于处理与所述请求相对应的至少一个媒体；

富媒体编码单元，该富媒体编码单元用于对从所述媒体处理单元输出的至少一个媒体进行编码以生成富媒体，并且向所述接口单元输出所述富媒体以向所述终端提供所述富媒体；以及

控制器，该控制器用于基于所述富媒体的再现信息确定组成所述富媒体的媒体的重要性等级，并且控制所述媒体处理单元和所述富媒体编码单元中的至少一个以基于所确定的重要性等级改变对所述至少一个媒体的传输处理。

2.根据权利要求1所述的富媒体服务器，其中，所述控制器基于以下各项中的至少一项来确定所述富媒体中包括的各媒体的重要性等级：该媒体是否是构造所述富媒体的必要元素、在富媒体中显示该媒体的持续时间、对该媒体的重传请求是否可用、利用或引用该媒体的引用媒体的数量以及由生产商在生产时为该媒体指定的生产商指定重要性等级。

3.根据权利要求2所述的富媒体服务器，其中，所述控制器基于以下的优先级指数计算公式来计算所述富媒体中包括的各媒体的优先级指数，并且将具有高优先级指数的媒体确定为具有高重要性等级，

优先级指数＝{W1(持续时间)+W2(引用媒体的数量)+W3(生产商指定重要性等级)}*f1(必要或非必要)*f2(重传能力或无重传能力)，其中，W1至Wn和f1至fn代表用于为各变量计算重要性等级的函数。

4.根据权利要求1所述的富媒体服务器，其中，所述控制器提前存储了传输控制表，该传输控制表包括用于根据所述网络的各带宽控制所述富媒体的传输量的传输容量信息，并且所述控制器基于所述传输控制表和所述网络的带宽信息控制所述媒体的传输量。

5.根据权利要求4所述的富媒体服务器，其中，所述传输控制表包括用于根据所述网络的各带宽控制所述媒体的传输比特率的传输比特率信息，并且所述控制器基于所述传输控制表和所述网络的所述带宽信息控制所述媒体处理单元以控制所述媒体的比特率。

6.根据权利要求5所述的富媒体服务器，其中，所述控制器基于所述传输控制表和所述网络的所述带宽信息控制所述媒体处理单元，以根据与所述网络的带宽相对应的所述传输比特率信息来增加或降低所述媒体的比特率。

7.根据权利要求4所述的富媒体服务器，其中，所述传输控制表包括用于根据所述网络的各带宽选择是否要传输所述媒体的传输选择信息，并且所述控制器控制所述富媒体编码单元，以基于所述传输控制表的所述传输选择信息和所述网络的所述带宽信息把从所述媒体处理单元输出的至少一个媒体中具有低重要性等级的至少一个媒体去除，并且对剩下的媒体进行编码以产生所述富媒体。

8.根据权利要求4所述的富媒体服务器，其中，所述传输控制表包括通过所述网络传输的所述富媒体的传输延迟时间的极限延迟时间信息，并且当所述网络的传输延迟时间等于或大于所述传输控制表中的所述极限延迟时间信息时，所述控制器控制所述富媒体编码单元，以从具有较高重要性等级的媒体到具有较低重要性等级的媒体的顺序对从所述媒体处理单元接收到的至少一个媒体进行编码并且顺序地输出。

9.根据权利要求4所述的富媒体服务器，其中，所述控制器根据所确定的重要性等级控制用于所述至少一个媒体的纠错码的量。

10.根据权利要求9所述的富媒体服务器，其中，当所述至少一个媒体对应于重要级别的媒体时，所述控制器基于通信带宽增加用于所述至少一个媒体的所述纠错码的量。

11.根据权利要求9所述的富媒体服务器，其中，当所述至少一个媒体不对应于重要级别的媒体时，所述控制器基于通信带宽降低用于所述至少一个媒体的所述纠错码的量。

12.根据权利要求9所述的富媒体服务器，其中，所述控制器监测包括所述纠错码的至少一个媒体的传输率，并且基于作为所述监测的结果而生成的传输比特率控制信号再一次控制用于所述至少一个媒体的所述纠错码的量。

13.一种用于生成并传输富媒体的系统，该系统包括：

终端，该终端用于通过网络请求富媒体；以及

富媒体服务器，该富媒体服务器包括：

接口单元，该接口单元用于与所述终端进行通信；

媒体处理单元，该媒体处理单元用于处理与所述请求相对应的至少一个媒体；

富媒体编码单元，该富媒体编码单元用于对从所述媒体处理单元输出的至少一个媒体进行编码以生成富媒体，并且向所述接口单元输出所述富媒体以向所述终端提供所述富媒体；以及

控制器，该控制器用于基于所述富媒体的再现信息确定组成所述富媒体的媒体的重要性等级，并且控制所述媒体处理单元和所述富媒体编码单元中的至少一个，以基于所确定的重要性等级改变对所述至少一个媒体的传输处理。

14.根据权利要求13所述的系统，其中，所述控制器基于以下各项中的至少一项来确定所述富媒体中包括的各媒体的重要性等级：该媒体是否是构造所述富媒体的必要元素、在富媒体中显示该媒体的持续时间、对该媒体的重传请求是否可用、利用或引用该媒体的引用媒体的数量以及由生产商在生产时为该媒体指定的生产商指定重要性等级。

15.根据权利要求14所述的系统，其中，所述控制器基于以下的优先级指数计算公式来计算所述富媒体中包括的各媒体的优先级指数，并且将具有高优先级指数的媒体确定为具有高重要性等级，

优先级指数＝{W1(持续时间)+W2(引用媒体的数量)+W3(生产商指定重要性等级)}*f1(必要或非必要)*f2(重传能力或无重传能力)，其中，W1至Wn和f1至fn代表用于为各变量计算重要性等级的函数。

16.根据权利要求13所述的系统，其中，所述控制器提前存储了传输控制表，该传输控制表包括用于根据所述网络的各带宽控制所述富媒体的传输量的传输容量信息，并且所述控制器基于所述传输控制表和所述网络的带宽信息控制所述媒体的传输量。

17.根据权利要求16所述的系统，其中，所述传输控制表包括用于根据所述网络的各带宽控制所述媒体的传输比特率的传输比特率信息，并且所述控制器基于所述传输控制表和所述网络的所述带宽信息控制所述媒体处理单元以控制所述媒体的所述比特率。

18.根据权利要求17所述的系统，其中，所述控制器基于所述传输控制表和所述网络的所述带宽信息控制所述媒体处理单元，以根据与所述网络的带宽相对应的所述传输比特率信息增加或降低所述媒体的所述比特率。

19.根据权利要求16所述的系统，其中，所述传输控制表包括用于根据所述网络的各带宽选择是否要传输所述媒体的传输选择信息，并且所述控制器控制所述富媒体编码单元，以基于所述传输控制表的所述传输选择信息和所述网络的所述带宽信息把从所述媒体处理单元输出的至少一个媒体中具有低重要性等级的至少一个媒体去除，并且对剩下的媒体进行编码以产生所述富媒体。

20.根据权利要求16所述的系统，其中，所述传输控制表包括通过所述网络传输的所述富媒体的传输延迟时间的极限延迟时间信息，并且当所述网络的传输延迟时间等于或大于所述传输控制表中的所述极限延迟时间信息时，所述控制器控制所述富媒体编码单元，以从具有较高重要性等级的媒体到具有较低重要性等级的媒体的顺序对从所述媒体处理单元接收的至少一个媒体进行编码并且顺序地输出。

21.根据权利要求16所述的系统，其中，所述控制器根据所确定的重要性等级控制用于所述至少一个媒体的纠错码的量。

22.根据权利要求21所述的系统，其中，当所述至少一个媒体对应于重要级别的媒体时，所述控制器基于通信带宽增加用于所述至少一个媒体的所述纠错码的量。

23.根据权利要求21所述的系统，其中，当所述至少一个媒体不对应于重要级别的媒体时，所述控制器基于通信带宽降低用于所述至少一个媒体的所述纠错码的量。

24.根据权利要求21所述的系统，其中，所述控制器监测包括所述纠错码的至少一个媒体的传输率，并且基于作为所述监测的结果而生成的传输比特率控制信号再一次控制用于所述至少一个媒体的所述纠错码的量。

25.根据权利要求13所述的系统，其中，所述富媒体服务器还包括媒体数据库，该媒体数据库提前存储用于响应于所述终端的所述请求提供所述富媒体的至少一个媒体、以及能够再现该媒体的终端的最低规格。

26.根据权利要求25所述的系统，其中，所述终端在向所述富媒体服务器请求所述富媒体时向所述富媒体服务器提供关于该终端的类型信息、和关于用于再现所述富媒体的再现器的信息。

27.根据权利要求26所述的系统，其中，所述控制器将与所请求的富媒体相对应的媒体的所述最低规格与从所述终端提供的所述类型信息和关于所述富媒体的再现器的所述信息进行比较，确定所述终端是否能够再现所述富媒体，并且控制所述媒体处理单元以用能够再现的媒体生成所述富媒体。

28.一种用于生成并基于重要性等级提供媒体的方法，该方法包括以下步骤：

(a)传输对请求富媒体服务的用户终端的响应；

(b)提取与所述请求相对应的媒体再现信息，根据所述媒体再现信息提取与基于媒体所提供的服务相对应的至少一个媒体，并且对所述至少一个媒体进行编码以生成富媒体；

(c)确定组成所述富媒体的各媒体的重要性等级；以及

(d)基于对所述重要性等级的确定结果，改变对所述至少一个媒体的传输处理，并且传输所述至少一个媒体。

29.根据权利要求28所述的方法，其中，在步骤(c)中，所述至少一个媒体的所述重要性等级基于以下各项中的至少一项：该媒体对于基于媒体所提供的所述服务是否是必要元素、通过所述用户终端再现该媒体的持续时间、相关引用媒体的数量、在媒体生成阶段所指定的重要级别指数、对该媒体的重传请求是否可用、以及当所述至少一个媒体由于媒体传输环境已经丢失时所述用户终端是否能够进行重传请求。

30.根据权利要求28所述的方法，其中，在步骤(d)中，根据对所述重要性等级的确定结果，控制用于所述至少一个媒体的纠错码的量，或者建立用于所述至少一个媒体的传输协议。

Images