CN103004227A - 从多个内容项生成复合视图的方法、服务器和终端 - Google Patents

Abstract

一种用于通过终端（100）和服务器（20）之间的交互从多个内容项目生成复合视图（300）的方法，包括以下步骤：从终端（100）向服务器（200）传输包含终端（100）的性能简档的终端描述（111）；从服务器（200）向终端（100）传输指示可用内容项和交互模式的信息（212）；以及从终端（100）向服务器（200）传输指示所选内容项和所选交互模式的信息，该重复过程为：将根据终端描述和所选交互模式优化的所选内容项（113，114；213，214）从服务器（200）流传送给终端（100）；在终端（100）中融合内容项目中的一个或多个；从已融合的内容项渲染复合视图（300）；从终端（100）向服务器（200）传输反馈；以及基于反馈来适配流传送的内容项（113，114；213，214）。

Description

从多个内容项生成复合视图的方法、服务器和终端

技术领域

本发明一般涉及生成将在终端设备（例如移动设备、台式计算机或膝上型计算机、电视屏幕、家庭影院设备等）上显示的复合视图。复合视图通常会包含多个区域，该多个区域将代表来自多个异构内容源的内容，例如，异构内容源是在诸如足球比赛或音乐会的事件的多个视频摄像机。这些区域中的每一个可以按不同的帧速率、空间分辨率以及/或者位深度来呈现。本发明特别涉及这样的复合视图的生成，其使得能够以用户所期望的质量进行个性化的可视化，且针对所寻址的终端和实际网络条件来优化内容的递送。

背景技术

今天，媒体递送要么基于推送（push）机制，例如传统的电视广播或IPTV（因特网协议电视）多播，要么基于拉取（pull）机制，例如HTTP（超文本传输协议）流或RTSP（实时流协议）。

这些基于拉取的协议之一，从例如Adobe数据表“HTTP动态流”已知的HTTP自适应流（HAS），使得客户端能够以可能的最高质量来观看视频，并且当网络中的可用带宽不够时请求较低的质量，或者在新视频启动时请求较低的质量，以便使得能够通过下载较低质量的初始片段来实现快速开始。到此，HTTP自适应流依赖于不同质量的视频文件和时隙中分段视频文件的可用性。可以从互联网经由下面的URL得到来自Adobe的所引用的数据表：

http://192.150.8.60/uk/products/httpdynamicstreaming/pdfs/httpdynamicstreaming_datasheet.pdf

尽管HAS客户端自动地使所请求的视频质量适配于网络条件，现有的视频服务器和客户端终端之间的HTTP自适应流不允许个性化，即导航、感兴趣区域（ROI）选择、感兴趣对象跟踪和/或视角选择。HTTP自适应流也不优化用于具体终端的递送——选择视频文件的适当版本来下载是用户的责任——并且不针对该终端中的复合视图生成而以交互方式递送多个摄像机的内容。

在作者为Azzedine Boukerche、Raed Jarrar和Richard W.Pazzi的文章“A Novel Interactive Streaming Protocol for Image-Based 3D VirtualEnvironment Navigation（一种新的基于图像的3D虚拟环境导航的交互流协议）"中，介绍了具有3D场景描述的计算机图形向异构终端的传输。这篇文章中公开的技术允许进行细节层次（LoD）控制。通过使用渲染技术和基于点或多边形的对象来重构视图。

尽管从A.Boukerche等得知的技术介绍了LoD控制和依赖于视图的渲染，他们的目标在于计算机图形，并且不能良好地适应其它内容如动画或视频馈送（feed）。因此，他们的适用性非常有限。

从Chi-Wing Fu、Liang Wan、Tien-Tsin Wong和Chi-Sing Leung的文章“The Rombic Dodecahedron Map:An Efficient Scheme for EncodingPanoramic Video（菱形十二面体图：一种用于对全景视频进行编码的有效机制）”得知另一个某种程度上相关的现有技术方案。其中，当摄像机集群中心可以被建模为多边形模型中心或轴时，通过将视频纹理映射到球形或圆柱形的多边形网格上，使得全方位视频渲染成为可能。

正如从A.Boukerche等得知的技术一样，来自Chi-Wing Fu等的全方位视频渲染不能良好地适应多摄像机视频复合，其中在多摄像机视频复合中，一般而言，摄像机集群位置是任意的，并且输入是异构的。

在静止图像世界中，存在其它方案，其中多个图像来自不同的来源并具有不同的分辨率，它们被镶嵌（mosaiced）和拼接（stitched）在一起以产生期望的视图。在作者为Azzedine Boukerche、Tingxue Huang和Richard Werner Nelem Pazzi的文章“A Protocol for Interactive Streamingof Image-Based Scenes over Wireless Ad-hoc Networks（一种用于无线自组织网络上基于图像的场景的交互流的协议）”中描述了上面内容的一个例子。这些方案不适用于视频或动画。一旦视图被选择或生成，不需要递送其它的内容。一般而言，这些方案也不涉及基于翘曲或插入的融合，并且不支持异构内容的重叠、翘曲或变形。

另一篇背景技术文章，作者为Aditya Mavlankar和Bernd Girod的“Pre-Fetching Based on Video Analysis for Interactive Region-of-InterestStreaming of Soccer Sequences（用于足球系列的交互式感兴趣区域流的基于视频分析的预先取回)”描述了感兴趣区域中用户定义或交互式随机访问的视频流操作。这篇文章应对不同的单摄像机记录的媒体对象的管理，而不是复杂的个性化视频复合。

总而言之，现有的基于推送或拉取的视频递送协议不支持针对终端和实际网络条件优化并使得能够进行个性化可视化的多摄像机内容的传输。使得能够提供个性化的视图的方案致力于静止图像、虚拟场景或映射到球或圆柱上的视频纹理，并且不能适应诸如视频和动画的其它内容。

本发明的的是公开一种克服上述定义的现有技术解决方案的缺点的产生用于多个内容项的复合视图的方法、响应服务器和终端。本专利申请的上下文中的服务器表示原始内容服务器或中间代理服务器。更具体地，本发明的目的是公开一种使得能够以期望的质量从多个异构的输入合成个性化图的方法、服务器和终端。本上下文中的个性化是指导航、感兴趣区域选择和/或视角选择。本发明的另一个目的是充分利用网络中的可用带宽，以最佳的方式向终端递送输入。因此，对于将在复合视图中使用的多源内容构想了基于网络和终端性能两方面的流内容质量的实时调节。

发明内容

根据本发明，通过一种经由终端与服务器之间的交互从多个内容项生成复合视图（composite view）的方法来实现上述目的，如权利要求1所限定的，该方法包括以下步骤：

从所述终端向所述服务器传输包含所述终端的性能简档（capabilityprofile）的终端描述；

从所述服务器向所述终端传输指示可用内容项和交互模式的信息；以及

从所述终端向所述服务器传输指示所选的内容项和所选的交互模式的信息，

以及如下的重复过程：

将根据终端描述和所选的交互模式进行优化的所选内容项从所述服务器流传送给所述终端；

在终端中融合（fusing）一个或多个内容项；

从融合的内容项渲染复合视图；

从所述终端向所述服务器传输反馈；以及

基于所述反馈，适配所述流传送的内容项。

因此，根据本发明的方法基于服务器和终端之间的协商，使得所述终端能够指定其能够，并且然后从可用内容项的列表（例如节目菜单）中选择一个或多个内容项以便在所产生的复合视图中显示。可用内容项和可用交互模式，例如导航、视角选择或感兴趣区域（ROI)选择，可以考虑网络中的可用带宽和终端描述。指示可用内容项和可用交互模式的信息可以被适配并被连续地流传送给所述终端。在终端进行选择时，服务器应当决定以何种质量，将哪些可伸缩流连同使得能够在终端侧融合内容项以渲染复合视图的信息一起发送。在从终端接收到反馈时，可以按精细粒度重复地流传送可伸缩内容目，并且将其融合以便渲染。反馈可以例如指示终端中处理能力的使用、终端中存储器的使用、观测到的用户交互率、对导致必须传输周围部分的导航接近视图边界的检测等。总之，根据本发明的方法结合了对在终端中从多个来源内容生成的复合视图的个性化和通过服务器和终端之间的重复协商循环在服务器的控制下在网络中向该终端进行内容的优化递送。

可选地，如权利要求2中所指出的，在根据本发明的方法中，终端的性能简档代表元数据文件，其包括以下内容中的一个或多个：

终端的存储器容量；

终端的显示器尺寸；

终端的处理能力；

终端的可用视频解码器；

终端中支持的融合功能；

终端中支持的交互命令。

显然，上面的列表不是穷尽的。终端的性能简档可以包括终端的在服务器选择将要传输的内容项的质量时可能有用的任何规格或状态参数，例如层、位深度（bit depth）、分辨率等。所支持的融合功能可以包括重叠、翘曲（warping）、插入、拼接、变形、对比度调整（contrast alignment)等，而所支持的交互命令可以包括感兴趣区域选择命令、视角选择命令、导航命令等。

同样可选地，如权利要求3所限定的，指示可用内容项的信息可以包括电视节目菜单。

事实上，无论其何时被更新（异步），在终端请求（拉取）或在定期地由服务器发起（推送）时，指示可用视图或内容项的信息可以被连续地更新或流传送。该信息例如可以是电视节目菜单或电子节目指南的格式。

进一步可选地，如权利要求4所限定的，根据本发明的方法的交互模式可以包括：

导航；

选择感兴趣区域；

选择视角。

此外，所属领域技术人员将理解到，上面的列表不是穷尽的，而是反应例如生产主管软件（production director software）中可用的与视频进行交互以使复合视图个性化的最常用的方式。通过选择要被渲染的视图的周围部分的可伸缩质量层，导航例如可以是可在给定的更大视图中可扩展的。可以通过缩放来补充对感兴趣区域（ROI）的选择，并且在多个摄像机记录相同对象的事件或者来自不同角度的事件的情况下，视角的选择可以成为可能。

根据本发明的方法的另一个可选方面，如权利要求5所限定的，所述融合可以包括以下内容中的一个或多个：

翘曲一个或多个内容项；

插入一个或多个内容项；

拼接一个或多个内容项；

重叠所述内容目中的一些。

此外，要注意的是，这个列表不是穷尽的，并且所属领域技术人员将理解的是，其它融合功能可用于终端中的融合处理器，例如对比度调整。可以根据处理能力（power）来进一步介绍融合处理器性能（capability）可以进一步从，例如以每秒f帧对K mk×nk个图像进行有保证的实时融合。

如权利要求6进一步指出的，适配流传送的内容项可以包括适配网络条件、终端条件以及该内容项在终端中的使用。

事实上，基于可用带宽、终端性能以及期望的交互模式，服务器选择正确的内容和质量，并将所需要的要在终端中进行融合的流与用于渲染的元数据信息复用在一起。作为一个例子，响应于可用带宽的改变或者来自终端的反馈，流传送项的可伸缩层和元数据适配可以被增大或缩小。

进一步可选地，如权利要求7所限定的，根据本发明生成复合视图的方法可以包括预取回一个或多个该内容项的周围部分。

事实上，如这里已经指出的那样，只要选择并预取回了视图的周围部分的可伸缩质量层以便进行渲染，可以允许比所显示的视图更大的视图中进行导航和变焦。由于这个原因，融合过程和渲染过程优选地被解耦合。于是，融合过程可以产生比终端屏幕所需要的视图更大的视图。这样，当导航超出视图之外时可以减少延迟，并且对服务器的请求也可以最小化。

除了权利要求1所限定的用于生成复合视图的方法，本发明还涉及一种用于通过与终端进行交互从多个内容项生成复合视图的相应服务器，如权利要求8所限定的，该服务器包括：

用于接收和分析包含终端的性能简档的终端描述的装置；

用于向终端传送指示可用内容项和交互模式的信息的装置；

用于从终端接收指示所选内容项和所选交互模式的信息的装置；

用于将根据终端描述和所选交互模式优化的所选内容项流传送给终端的装置；

用于从终端接收反馈的装置；以及

用于基于该反馈来适配该流传送的内容项的装置。

本发明进一步还涉及一种用于通过与服务器进行交互从多个内容项生成复合视图的相应终端，如权利要求9所限定的，该终端包括：

用于向服务器发送包含终端的性能简档的终端描述的装置；

用于从服务器接收指示可用内容项和交互模式的信息的装置；以及

用于向服务器发送指示所选内容项和所选交互模式的信息的装置；

至少一个视频解码器，用于从服务器接收根据终端描述和所选交互模式优化的所选内容项，并对所选内容项进行解码；

融合处理器，用于融合一个或多个内容项；

渲染处理器，用于从已融合的内容项目来渲染复合视图；

用于向服务器传输反馈的装置；

该至少一个视频解码器适配为从服务器接收基于该反馈适配的流传送内容项，并对所述流传送的内容项进行解码。

附图说明

图1示例了根据本发明的终端100的实施方式；

图2示例了根据本发明的服务器200的实施方式；以及

图3示例了根据本发明的方法的实施方式生成的复合视图300。

具体实施方式

在下面的段落中，将描述根据本发明的用于产生复合视图（compositeview）（即图3中的多视频布局300）的方法的实施例。该方法基于图1中的终端100和图2中的服务器200之间的协商协议。该协商协议的目的在于在终端100创建复合视图300的最佳可能渲染。该方法向终端100的用户提供用于基于异构源内容生成个性化复合视图的清楚交互性（plaininteractivity）和沉浸式体验（immersive experience）。

在该方法中，客户端100负责请求（即拉取）其所需要的视频项，而服务器200（或代理服务器）也负责选择其将如何满足这些请求，换句话说，选择其将向客户端终端100推送什么。协商使得终端100能够首先请求用于所产生的多视频布局（composition）300中的区域（例如301）的特定视频项，并且其次使得服务器200能够决定将哪个可伸缩视频流以何种质量级别连同必要信息一起发送给终端100，以便融合用于元数据文件中描述的渲染的视频项。

此外，为了交互性目的，协商还包括预取回机制，以便允许在与所显示的视图相比的指定更大视图中进行导航和随机访问缩放。另外，选择且流传送视图的周围部分的可伸缩层，以便被融合和渲染。对融合和渲染处理进行解耦合。这使得融合功能能够创建比终端屏幕所严格需要视图更大的视图。结果，当用户在屏幕上显示的视图之外进行导航时，可以减小延迟，并且使对网络的请求最小化。

在下面的段落中，将详细描述与为复合视图300提供多视频内容的媒体感知代理服务器200相连接的交互终端100。被设计为支持本发明的终端100能够灵活的进行通信量适配。代理服务器200能够根据复合视图300的需要以可伸缩且交互的方式对多摄像机内容进行流传送。

除了传统组件，例如显示器和用户接口，终端100包括元数据分析器101、多个视频解码器单元102和103、融合处理器104、交互处理器105以及渲染处理器106。

元数据分析器101接收来自服务器200的元数据文件（如图1中的箭头112所示），以及来自交互处理器105的交互命令（如图1中的箭头116所示）。元数据分析器101解释并分析所接受的元数据和交互命令，并向融合处理器104输出信息117，指定如何从所接收的并且已解码的流118重构视频内容。元数据分析器101进一步向服务器200发送请求，如图1中的箭头111所示。

视频解码器102和103对从服务器200接收的视频流113和114进行解码。

融合处理器104接收如RGB图像的已解码视频流118和由元数据分析器101解释的元数据文件117，以作为输入。这些元数据文件117包含融合图像所需的重构参数。根据例如重叠、翘曲、插入、拼接的功能和根据例如以每秒f帧对K个mk×nk图像进行有保证的实时融合的处理能力来描述融合处理器的性能，其中K、mk、nk以及f是整数值。融合处理器104向处理用户交互115的交互处理器105发送重构的和融合的视图119，以便在融合图像中进行感兴趣区域（ROI）选择和导航。

交互处理器105检测融合处理器104的输出119中是否有感兴趣区域的选择和导航可用。如果有，则将所选视图120发送给渲染处理器106。否则，交互处理器105向元数据分析器101发送请求116，从而元数据分析器101可以向服务器200发送对于适配所关心的视频流的递送的请求111。

渲染处理器106在终端屏幕上渲染所期望的视频内容。

图1中所示的终端100通过发送标识要被可视化的期望视频或内容项目的第一消息，发起与图2中示出的服务器200的通信。终端100还向服务器200发送其根据视频解码器数量、存储器容量、屏幕尺寸以及处理能力来表达的性能。于是，图2所示的媒体感知代理服务器200确认收到来自终端100的请求211。服务器200中的请求分析器201分析从终端100接收的请求211，并向内容可用性分析器202转发指示所期望的内容的信息215。响应于请求211，请求分析器201向终端100发送代理元数据响应212，其包含有关可用内容的信息（例如TV节目菜单格式的可用视图）以及有关对应于终端性能的可用交互模式的信息。

然后，终端100可以请求特定的视图和特定的交互情景。这里要注意的是，改变视图或交互情景被理解为对另一个内容项的请求，但是与先前观看的内容项同步，这与传统IPTV中的跳过广告节目（zapping）不同。交互情景对应于导航、感兴趣区域（ROI）选择、视角选择、或者它们的组合。当接到这种请求时，服务器200中的内容可用性分析器202从多摄像机流203中选择正确的视频内容，如箭头216所示，并将这些流转发给可伸缩视频复用器204，如箭头217所示。然后，服务器200发送在终端100中重构所期望的视图所需要的对应的可伸缩视频流213和214。基于终端性能，服务器200选择流的数量，并选择每个流的最相关的可伸缩层。

经修改的元数据文件与视频流213和214一起被发送给终端100，以使得后者能够对进入的流113和114进行解码，并且使得能够将其融合。元数据文件还包含使得能够在终端100上进行交互（例如缩放）的信息。

总之，基于所选交互情景，例如生产主管引导，代理服务器200选择要被发送的正确内容，并将要在终端100上融合的必要的流和元数据信息复用在一起，以使得能够进行融合和适当的渲染。

在没有预见到导航的情况下，代理服务器200关于可用带宽和终端性能来优化所发送内容的质量。在支持导航的情况下，需要一些额外视图预取回，以便例如以较低的质量以及最小的带宽和终端处理代价，确保所请求视图之外的导航成为可能。

总结整个系统，终端100配备有能够与代理服务器200中的专用接口进行协商的接口，用于多视频来源可伸缩融合的复合视图300的可视化。终端100组合基于不同解码流118之间的不同几何操作的视图300。按由来自代理服务器200的元数据脚本限定的分辨率、帧速率以及位深度方面来描述这些解码流118。

如果导航或处理能力变化施加这样的限制，例如通过选择进入的流113和114的较低可伸缩层，一些基于智能终端的分析成为可能。然后，图像的融合缩减为那些图像的可用质量表现的融合。终端100和代理服务器200尽最大努力来实现递送和渲染，由此将延迟缩减到满足流畅性和沉浸感要求的可接受水平。

在图3中，示出了由终端100生成的多来源复合视图300的例子。其中300表示组合的多摄像机视图，301、302和303表示高动态范围子视图，304表示应当在时间t显示在终端屏幕上的用户请求的子视图，并且305表示云台（pan tilt）缩放子视图。不同的子视图来自异构摄像机，这些异构摄像机的几何范围（geometrical extent）表现在全局全景视图300上。源视频项可以是不同的类型，因此它们有效地对全局视图300做出贡献。可以对合成视图300做出贡献的图像来源是几何范围与所要求的子视图相交的来源。然后，通过融合，即对这些来源的变形、翘曲、拼接、对比度调整等，来创建全局视图300。

最后，终端100和服务器200之间的协商协议如下。在第一通过步骤中，终端100向代理服务器200发送请求。在第二确认步骤中，代理服务器200向终端100发送可用内容信息。在第三步骤中，终端100向代理服务器200发送其性能简档信息以作为元数据文件，其指定支持融合功能，如重叠、翘曲、插入、拼接，并且还指定处理能力、存储器信息和所支持的交互命令。在第四步骤中，代理服务器200发送有关可用视图和针对可用带宽和终端描述所支持的交互模式的信息。所述信息可以连续不断地被适配并流传送给终端100。其可以按电视节目菜单的格式表现。在第五步骤中，终端100基于用户输入选择期望的视图和交互模式。之后，启动终端100和代理服务器200之间的重复协商循环。在该重复协商循环中：

代理服务器200基于终端描述和可用带宽的全局优化、视图范围以及交互模式，发送最佳的流和元数据配置。

终端100发送其处理能力使用信息和所观测的用户交互率。终端100还检测交互协商是否接近视图边界。

基于反馈，代理服务器200适配流传送的视频项和元数据。代理服务器200例如增大或减小流的伸缩层，并且适配该元数据。代理服务器200更新发送给终端100的推荐方案。

重复地执行该循环，直到终端100发送对另一个视图的请求或者结束观看。当结束观看时，终端100向代理服务器200发送指示其希望退出传输的消息。于是，代理服务器200确认观看结束请求，并停止传输。

尽管参考具体的实施例图解说明了本发明，但是对于本领域技术人员而言清楚的是，本发明不限于前述说明性实施例的细节，并且本发明可以以各种改变和变更具体化而不脱离其范围。因此，所给出的实施例应当被认为在各方面都是说明性的，而不是限制性的，本发明的范围由所附权利要求而不是由前面的描述指出，因此在权利要求的等同物的含义和范围内的所有改变也有意包含在其中。换句话说，期望覆盖任何和所有落在基本底层原理的范围之内并且其本质属性已在本专利申请中要求保护的修改、变更或等同物。此外，本专利申请的阅读者还将明白，词语“包括”或“包含”并不排斥其它元件或步骤，词语“一”或“一个”并不排斥多个，并且诸如计算机系统、处理器或另一个集成单元的单个元件可以实现权利要求中记载的若干个装置的功能。权利要求中的任何附图标记不应当被解释为限制所涉及的各个权利要求。术语“第一”、“第二”、“第三”、“a”、“b”、“c”等，当用在说明书中，或用在权利要求中时，是被引入以便区分开相似元件或步骤的，并非必然描述顺序或时间次序。类似地，术语“顶”、“底”、“上”、“下”等被引入是为了描述的目的，并非必然表示相对位置。应当理解，这样使用的这些术语在合适的环境下是可互换的，并且本发明的实施例能够以其它顺序或与上文中描述或图解的不同的方向来进行根据本发明的操作。

Claims (9)

1.一种用于通过终端（100）和服务器（200）之间的交互从多个内容项生成复合视图（300）的方法，所述方法包括以下步骤：

从所述终端（100）向所述服务器（200）传输包含所述终端（100）的性能简档的终端描述（111；211）；

从所述服务器（200）向所述终端（100）传输指示可用内容项和交互模式的信息（112；212）；以及

从所述终端（100）向所述服务器（200）传输指示所选内容项和所选交互模式的信息，

其特征在于，所述方法还包括如下的重复过程：

将根据所述终端描述和所述所选交互模式优化的所选内容项（113，114；213，214）从所述服务器（200）流传送给所述终端（100）；

在所述终端（100）中融合所述内容项中的一个或多个；

从已融合的内容项渲染所述复合视图；

从所述终端（100）向所述服务器（200）传输反馈；以及

基于所述反馈适配所述流传送的内容项。

2.根据权利要求1的用于生成复合视图的方法，

其中所述终端（100）的所述性能简档表示元数据文件（111；211），所述元数据文件包括以下内容中的一个或多个：

所述终端（100）的存储器容量；

所述终端（100）的显示器尺寸；

所述终端（100）的处理能力；

所述终端（100）中的可用视频解码器；

所述终端（100）中支持的融合功能；

所述终端（100）中支持的交互命令。

3.根据权利要求1的用于生成复合视图的方法，

其中指示可用内容项的所述信息（212）包括电视节目菜单。

4.根据权利要求1的用于生成复合视图的方法，

其中所述交互模式包括：

导航；

选择感兴趣区域；

选择视角。

5.根据权利要求1的用于生成复合视图的方法，

其中所述融合包括以下内容中的一个或多个：

对所述内容项中的一个或多个进行翘曲；

插入所述内容项中的一个或多个；

拼接所述内容项中的一个或多个；

重叠所述内容项中的一些。

6.根据权利要求1的用于生成复合视图的方法，

其中适配所述流传送的内容项包括：适配网络条件、终端条件以及所述内容项在所述终端（100）中的使用。

7.根据权利要求1的用于生成复合视图的方法，还包括：

预取回所述内容项中的一个或多个的周围部分。

8.一种用于通过与终端（100）进行交互从多个内容项目生成复合视图（300）的服务器（200），所述服务器（200）包括：

用于接收和分析包含所述终端（100）的性能简档的终端描述（111；211）的设备（201）；

用于向所述终端（100）传送指示可用内容项和交互模式的信息（112；212）的设备（201，202）；

用于从所述终端（100）接收指示所选内容项和所选交互模式的信息的标示（201，202），

其特征在于，所述服务器（200）还包括：

用于将根据所述终端描述和所述所选交互模式优化的所选内容项目（113，114；213，214）流传送给所述终端（100）的设备（202，203，204）；

用于从所述终端（100）接收反馈的设备（201）；以及

用于基于所述反馈来适配所述流传送的内容项（113，114；213，214）的设备（202，203，204）。

9.一种用于通过与服务器（200）进行交互从多个内容项生成复合视图（300）的终端（100），所述终端（100）包括：

用于向所述服务器（200）发送包含所述终端（100）的性能简档的终端描述（111）的设备（101）；

用于从所述服务器（200）接收指示可用内容项和交互模式的信息（112）的设备（101）；以及

用于向所述服务器（200）发送指示所选内容项和所选交互模式的信息的设备（101），

其特征在于，所述终端（100）还包括：

至少一个视频解码器（102，103），用于从所述服务器（200）接收根据所述终端描述和所述所选交互模式优化的所选内容项（113，114；213，214），并对所选内容项进行解码；

融合处理器（104），用于融合所述内容项中的一个或多个；

渲染处理器（106），用于从已融合的内容项渲染所述复合视图（300）；

用于向所述服务器（200）传输反馈的设备（101）；

以及，其特征在于，

所述至少一个视频解码器（102，103），被适配为从所述服务器（200）接收基于所述反馈适配的流传送的内容项（113，114；213，214），并对流传送的内容项进行解码。

Images