CN103260052A

CN103260052A - 自适应显示流

Info

Publication number: CN103260052A
Application number: CN2012100398522A
Authority: CN
Inventors: 董遂武; 金颂
Original assignee: ViXS Systems Inc
Current assignee: ViXS Systems Inc
Priority date: 2012-02-20
Filing date: 2012-02-20
Publication date: 2013-08-21
Also published as: US20130219073A1; EP2629476A1

Abstract

本公开涉及自适应显示流。一种代码转换设备接收表示被指定用于在接收设备处进行显示的视频或其它显示信息的输入流。所述代码转换设备基于输入流产生多个显示流，其中，每个显示流具有不同的发送特性，诸如不同的比特率或分辨率。所述代码转换设备基于网络特性选择所产生的显示流之一，并将所选的流传送到网络以用于发送到接收设备，所述网络特性诸如带宽或时延。响应于网络特性的改变，选择所产生的显示流的不同显示流，并将该显示流传送到网络以用于发送到接收设备。

Description

自适应显示流

技术领域

本发明总地涉及数据通讯，更具体地涉及显示流的传送。

背景技术

通常在通过网络传送信息之前对视频信息进行编码。根据产生或存储视频信息的设备，可以以许多不同格式中的任何一种对视频信息进行编码。为了使得视频信息可被诸如显示设备的视频接收设备(sink device)处理，可利用代码转换设备来将编码的视频转化为显示设备所理解的格式。

发明内容

根据本公开的实施例，提供了一种方法，包括：对输入流进行代码转换，以产生多个并发显示流，所述多个并发显示流中的每个具有不同的发送特性；基于网络的第一特性来选择所述多个并发显示流的第一显示流；和响应于选择所述第一显示流，将所述第一显示流传送到所述网络。

根据本公开的实施例，提供了一种方法，包括：基于输入流产生多个并发显示流，所述多个并发显示流中的每个与不同的发送特性相关联；选择所述多个并发显示流的、用于在第一时间传送到网络的第一显示流；响应于检测到所述网络的特性的第一改变，选择所述多个并发显示流的、用于在第二时间传送到所述网络的第二显示流。

根据本公开的实施例，提供了一种设备，包括：输入端，其接收表示视频信息的输入流；代码转换模块，其对所述输入流进行代码转换，以产生多个并发显示流，所述多个并发显示流中的每个具有不同的发送特性；和选择模块，其基于网络的第一特性来选择所述多个并发显示流的第一显示流，并将所述第一显示流传送到所述网络。

附图说明

图1是根据本公开内容的一个实施例的用于传送显示流的服务器系统的框图。

图2是示出根据本公开内容的一个实施例的用图1的服务器系统传送显示流的框图。

图3是示出根据本公开内容的另一个实施例的用图1的服务器系统传送显示流的框图。

图4是示出根据本公开内容的一个实施例的图1的服务器的组件的框图。

图5是示出根据本公开内容的一个实施例的传送显示流的方法的流程图。

具体实施方式

图1至图5示出用于将显示流传送到网络的技术。代码转换设备接收输入流，所述输入流表示被指定用于在接收设备处进行显示的视频或其它显示信息。代码转换设备基于输入流产生多个显示流，其中，每个显示流具有不同的发送特性，诸如不同的比特率或分辨率。代码转换设备基于网络特性选择所产生的显示流之一，并将所选的流传送到网络以用于发送到接收设备，所述网络特性诸如带宽或时延。响应于网络特性的改变，选择所产生的显示流的不同显示流，并将该显示流传送到网络以用于发送到接收设备。因此，可响应于网络状况的改变将不同的所产生的显示流传送到接收设备。这使得代码转换设备可适应改变的网络状况，同时降低适应性将禁止在接收设备处显示视频信息的可能性。

为了举例说明，在一个实施例中，代码转换设备可同时产生三个不同的显示流，为了论述的目的，将这三个显示流指定为流A、流B和流C。每个显示流具有不同的比特流，流A具有最高的比特率，流B具有第二高的比特率，流C具有最低的比特率。代码转换设备可确定网络的带宽高于限定阈值，并且作为响应，将流A传送到网络以用于发送到接收设备。当流A被传送到网络时，代码转换设备继续产生流B和流C。响应于确定网络带宽低于限定阈值，代码转换设备停止将流A传送到网络，选择流B，并将流B传送到网络以用于发送到接收设备。当网络状况继续改变时，代码转换设备可继续在流之间进行切换。例如，如果带宽增大到阈值以上，则代码转换设备可返回到传送流A。如果带宽进一步降到阈值以下，则代码转换设备可切换到传送流C。此外，代码转换设备可使流之间的切换同步，以使得在接收设备查看视频信息的用户体验不到时滞、跳跃、或其它分散注意力效果。

参照图1，根据本公开内容的一个实施例示出了通讯网络105。通讯网络105包括视频源101、广域网102、代码转换设备110、网络120以及视频接收器130、140和150。视频源101是产生或提供用于传送和显示的视频数据的一组设备和通讯结构。因此，视频源101可以是卫星或有线电视源、广播电视源、一个或多个视频服务器集合、DCD播放器等或者它们的任何组合。视频数据可以是电视节目、录制或存储的视频、电影、视频片段等或者它们的任何组合。

广域网(WAN)102是通常被构造为提供在WAN 102中的设备处产生或存储的视频数据的通讯网络。在一个实施例中，WAN 102是互联网。由WAN 102提供的视频数据可以是电视节目、录制或存储的视频、电影、视频片段等或者它们的任何组合。

WAN 102和视频源101都可根据一种或多种定义格式来提供视频数据，所述定义格式诸如遵循运动图像专家组(MPEG)标准的格式。因此，可用流格式提供视频数据，由此流包括压缩形式的视频数据。以显示作为目标或者以存储和随后显示作为目标的视频数据流在本文中称之为显示流。每个显示流与比特率相关联，比特率是每限定时间单位(比如，每秒)通过显示流传送的信息的比特数量。

代码转换设备110是通常被构造为接收输入流并对输入流进行代码转换以生成多个显示流的设备。因此，代码转换设备110可合并在许多视频设备中的任何一个中，或者可以是许多视频设备中的任何一个的一部分，所述视频设备包括机顶盒、DVD或其它媒体播放器、计算机服务器或其它计算机设备、蜂窝电话或其它电信设备等。在实施例中，代码转换设备110通过改变所接收的流的编码格式和改变所接收的流的数据速率(本文称之为码率转换(transrating))来对输入流进行代码转换。在另一个实施例中，代码转换设备110保持所接收的流的编码格式，但是对这些流进行码率转换。

如本文进一步所述，代码转换设备110被构造为对所选的输入流同时产生多个显示流，以使得所产生的显示流均具有不同的发送特性。如本文所使用的，发送特性是指显示流的下述特征，所述特征影响显示流可通过给定网络传送的速度。发送特性的示例包括显示流的数据速率、与显示流相关联的视频数据的分辨率等。因此，在一个实施例中，代码转换设备110可基于特定的所接收的显示流来产生多个显示流，其中，所产生的显示流均具有不同的比特率。在另一个实施例中，所产生的显示流均可具有不同的分辨率。例如，所产生的显示流之一可与高清晰度(HD)视频信息相关联，而所产生的显示流的另一个可与标准清晰度(SD)视频信息相关联。在又一个实施例中，可发送的显示流可在多种发送特性类型之间改变。因此，所产生的显示流均可具有不同的比特率和具有不同的分辨率。此外，虽然所产生的显示流均具有不同的发送特性，但是每个表示由输入流提供的相同视频数据。因此，例如，如果输入流表示特定的电视节目，则所产生的显示流均将表示相同电视节目。

网络120是通常被构造为提供用于传送显示流和其它信息的通讯主干的通讯网络。因此，网络120可以是局域网、广域网等。视频接收器130、140和150均表示通常被构造为接收显示流、将所接收的显示流转化为适合于在显示设备处再现(render)的格式、在显示设备处显示所再现的数据的不同设备。因此，视频接收器130、140和150均可以是计算机设备、电视设备、机顶盒、蜂窝电话或其它电信设备等或者它们的组合。

在操作中，内容接收器130、140或150中的至少一个可通过网络120向视频源101和广域网101之一请求视频信息。作为响应，将编码在显示流中的所请求视频数据提供给代码转换设备110。作为响应，代码转换设备110基于所接收的输入流产生多个显示流，所产生的显示流均具有不同的发送特性。代码转换设备110基于网络120的一个或多个检测特性在所产生的显示流之间进行选择，并将所选的显示流传送到网络120，以用于发送到请求视频信息的接收器。此外，代码转换设备110可响应于网络120的特性的改变动态地在所产生的显示流之间进行切换。可参照图2更好地理解这个。

图2示出描绘根据本公开内容的一个实施例的所产生的显示流的选择和传送的时间线200。在时间201，代码转换设备从视频源101接收显示流，并且作为响应，产生显示流A、B和C，每个显示流表示所接收的输入流的视频数据，并且每个显示流具有不同的发送特性。为了举例说明的目的，假设显示流A、B和C均具有不同的比特率，流A具有最高的比特率，流B具有第二高的比特率，以及流C具有最低的比特率。

在时间201，代码转换设备110确定网络120的网络特性。为了举例说明的目的，假设网络特性是网络120的带宽。在其它实施例中，网络特性可以是通讯时延、服务质量等。在时间201，代码转换设备110确定网络带宽落在限定范围内，以使得与流B相关联的比特率被预测提供最佳用户体验。为了举例说明，所述范围可被限定为使得如果当带宽在该范围内时选择流A，则用户在查看视频信息时将体验到时滞、停顿或其它不良伪迹。此外，如果选择流C，则用户将在视频播放开始时体验到不良延迟，并且播放质量相对于流B没有相当的提高。因此，代码转换器110在时间201与时间205之间选择流B，并将流B传送到网络120。

在时间205，代码转换器110确定网络带宽增大，以使得带宽高于与流B相关联的范围。作为响应，代码转换器110选择流A，停止将流B传送到网络120，并开始将流A传送到网络120。使从传送流B到传送流A的改变同步，以使得用户体验不到切换的跳跃或其它不良伪迹。

例如，在一个实施例中，流A、B和C均由诸如包的段组成，由此每段包括视频信息的一个或多个帧。此外，每段包括头或其它识别信息，所述头或其它识别信息包括与视频信息相关联的时间戳。因此，流A、B和C均被产生为使得流之间的共同时间戳与相同视频信息相关联。因此，响应于确定要改变正被传送的流，代码转换器110可确定被传送到网络120的所选的流的最后段的时间戳定位将被传送的下一个流的、具有相同时间戳(或者序列中的下一时间戳)的段，并从所选的段开始传送所述流。

例如，代码转换器110可在从流A切换到流B时确定被传送到网络120的流A的最后段与时间戳值00100相关联。代码转换器110可定位流B的具有时间戳值00100的段、或者流B的具有序列中的下一个时间戳值(比如，00101)的段，并从所选的段开始传送流B。

在另一个实施例中，代码转换器110可基于与所选的控制信息的传送相关联的时序来使流的改变同步。例如，对于某些编码格式，周期性地将控制头包括在流中。控制头可包括，例如，关于流的比特率、分辨率或其它特性的信息。因此，代码转换器110可使流的改变同步，以使得通过新近选择的流传送的第一段是包括控制头的段。这降低了流的改变将导致接收设备处的解码误差或其它误差的可能性。

参照图2，在时间210，代码转换器110确定网络带宽减少，以使得带宽在与流B相关联的范围内。作为响应，代码转换器110选择流B，停止将流A传送到网络120，并开始将流B传送到网络120。在时间215，代码转换器110确定网络带宽减少，以使得带宽低于与流B相关联的范围。作为响应，代码转换器110选择流C，停止将流B传送到网络120，并开始将流C传送到网络120。

在图2的所示示例中，在将流A、B和C中的任何一个传送到网络120的同时，代码转换器110继续同时产生全部三个流A、B和C。这提供响应于网络状况改变的流之间的更快速转变，并降低用户将体验到停顿或其它不良伪迹的可能性。对于正被产生、但未被传送的两个流，可对所产生流进行缓冲，以使得在网络特性改变的情况下可利用这些流。

在另一个实施例中，代码转换器110可根据网络特性产生不同组流。可参照图3更好地理解这个，图3示出根据本公开内容的一个实施例的所产生的显示流的选择和传送。在时间301，代码转换设备从视频源101接收显示流，并且作为响应，产生显示流A、B和C，每个显示流表示所接收的输入流的视频数据，并且每个显示流具有不同的比特率，视频数据通过具有相同分辨率的每个流传载。为了举例说明的目的，假设流A具有最高的比特率，流B具有第二高的比特率，以及流C具有最低的比特率。

在时间301，代码转换设备110确定网络120的带宽。在时间301，代码转换设备110确定网络带宽落在与流B相关联的限定范围内。因此，代码转换器110在时间301与时间305之间选择流B，并将流B传送到网络120。

在时间305，代码转换器110确定网络带宽减少，以使得带宽低于与流B相关联的范围。作为响应，代码转换器110选择流C，停止将流C传送到网络120，并开始将流C传送到网络120。使传送流B到传送流C的改变同步，以使得用户体验不到切换的跳跃或其它不良伪迹。

另外，响应于网络带宽的减少，代码转换器110停止产生流A，并开始产生流D，以使得代码转换器110同时产生流B、C和D。在一个实施例中，流D具有低于流C的比特率。在另一个实施例中，流D具有与流C相同的比特率，但是与流D相关联的视频数据具有比与流C相关联的分辨率低的分辨率。在又一个实施例中，流D的比特率和分辨率可以都低于流C。

在时间310，代码转换器110确定网络带宽减少，以使得带宽低于与流C相关联的范围。作为响应，代码转换器110选择流D，停止将流C传送到网络120，并开始将流D传送到网络120。因此，通过在时间305开始产生流D，在时间310减少带宽之前，代码转换器110能够比它在时间310开始产生流D更快地切换到流D。这可减小时延、发送误差或者由网络带宽减少引起的其它困难。

在时间315，代码转换器110确定网络带宽增大，以使得带宽在与流B相关联的范围内。作为响应，代码转换器110选择流B，停止将流D传送到网络120，并开始将流B传送到网络120。另外，代码转换器110停止产生流D，并返回到产生流A，以使得如果网络带宽进一步增大，则转换器准备切换到流A。

参照图4，根据本发明的至少一个实施例更详细地示出代码转换设备110。所接收的显示流经由数字调谐解复用器(DEMUX)430进入系统，合适的流从DEMUX 430发送到代码转换器控制器电路450。代码转换器控制器电路450在一个实施例中包括一个或多个流解析处理器460，流解析处理器460执行数字媒体解码的高级任务，诸如视频解码。流解析处理器460驱动执行低级媒体代码转换任务的一系列媒体代码转换矢量处理器490。流解析处理器460和媒体矢量代码转换器处理器490被构造为对于所选的输入流产生多个显示流，所产生流均具有不同的发送特征。所产生流存储在诸如动态随机存取存储器(DRAM)480的设备存储器中。

处理器400被构造为检测网络120的网络特性。在一个实施例中，处理器400基于从网络接口控制器495接收的反馈数据来确定网络特性，诸如带宽。例如，网络接口控制器495可包括确定网络带宽、时延和其它网络特性的一个或多个测量设备。基于检测的网络特性，处理器400可指定将存储的所产生流之一传送到网络120。作为响应，根据直接存储器存取(DMA)方法，经由外部系统输入/输出(I/O)总线420、通过北桥405将所选的流发送到主机存储器(主机DRAM 310)中。使用定时器驱动的调度程序的处理器400在合适的时间将存储在主机DRAM 410中的所选的流路由到网络接口控制器495，网络接口控制器495然后将该流路由到网络120。

图5示出根据本公开内容的一个实施例的将显示流传送到网络的方法的流程图。在块502，代码转换器110接收包括视频信息的输入流。在块504，代码转换器110基于输入流产生多个显示流。所产生的显示流均包括输入流的视频信息，但是具有不同的发送特性。在块506，代码转换器110确定网络120的一个或多个特性，并基于这些网络特性选择所产生的显示流之一。在块508，代码转换器110将所选的流传送到网络。在块510，代码转换器110确定网络特性是否有改变。如果网络特性没有改变，则所述方法流返回到块508，代码转换器110继续将先前选择的显示流传送到网络120。如果网络特性已改变，则所述方法流返回到块506，并且代码转换器110选择将所产生的显示流的另一个传送到网络120。

本发明的一种实现是作为驻存在大体上如图1至图5所述那样构造的一个或多个处理系统的随机存取存储器中的计算机可读指令集。直到处理系统需要该指令集为止，该指令集可存储在另一个计算机可读存储器中，例如，硬盘驱动器中或者可移除存储器中，所述可移除存储器诸如最终用在CD驱动器或DVD驱动器中的光盘、或者最终用在软盘驱动器中的软盘。此外，该指令集可存储在另一个图像处理系统的存储器中，并可通过诸如互联网的局域网或广域网发送，其中，发送信号可以是通过诸如ISDN线的介质传播的信号，或者该信号可通过空气介质传播并通过本地卫星接收，以传输到处理系统。这样的信号可以是包括载波信号的合成信号，载波信号内包含包括实现本发明的至少一个计算机程序的所需信息，并且当用户需要该信号时，可如此下载该信号。本领域技术人员将意识到，指令集的物理存储和/或传输物理地改变它以电、磁或化学的方式存储在其上的介质，以使得该介质承载计算机可读信息。

在前面对于图的详细描述中，对形成其一部分的附图进行了论述，在这些附图中，以举例说明的方式显示了可实施本发明的特定优选实施例。对这些实施例进行了足够详细的描述，以使得本领域技术人员能够实施本发明，并且要理解，可利用其它实施例，并且可在不脱离本发明的精神或范围的情况下进行逻辑、机械、化学和电气改变。为了避免对于使得本领域技术人员能够实施本发明不必要的细节，本说明书可省略本领域技术人员已知的某个信息。此外，本领域技术人员可容易地构造合并本发明的教导的许多其它变型实施例。因此，本发明并非意图限于本文所阐述的特定形式，而是相反，意图是覆盖可合理地包括在本发明的精神和范围内的这样的替换形式、修改形式和等同形式。因此，不从限制意义上理解前面的详细描述，本发明的范围仅由所附权利要求限定。

Claims

1.一种方法，包括：

对输入流进行代码转换，以产生多个并发显示流，所述多个并发显示流中的每个具有不同的发送特性；

基于网络的第一特性来选择所述多个并发显示流的第一显示流；和

响应于选择所述第一显示流，将所述第一显示流传送到所述网络。

2.根据权利要求1所述的方法，还包括：

在将所述第一显示流传送到所述网络的同时，确定所述网络的第一特性的第一改变；

响应于确定所述第一改变，将所述多个并发显示流的第二显示流传送到所述网络。

3.根据权利要求2所述的方法，还包括：

在将所述第二显示流传送到所述网络的同时，确定所述网络的第一特性的第二改变；

响应于确定所述第二改变，将所述多个可发送显示流的第三显示流传送到所述网络。

4.根据权利要求2所述的方法，还包括：响应于所述网络的第一特性的第一改变，停止产生所述第一显示流。

5.根据权利要求4所述的方法，还包括：响应于所述网络的第一特性的第一改变，开始产生第三显示流。

6.根据权利要求5所述的方法，还包括：响应于所述网络的第一特性的第二改变，停止产生所述第三显示流。

7.根据权利要求6所述的方法，还包括：响应于所述网络的第一特性的第二改变，重新开始产生所述第一显示流。

8.根据权利要求2所述的方法，其中，所述第一显示流具有第一比特率，所述第二显示流具有与第一比特率不同的第二比特率。

9.根据权利要求2所述的方法，其中，所述第一显示流是高清晰度显示流，第二显示流是标准清晰度显示流。

10.根据权利要求2所述的方法，其中，所述第一显示流具有第一分辨率，所述第二显示流具有与所述第一分辨率不同的第二分辨率。

11.根据权利要求2所述的方法，其中，传送第二显示流包括基于与所述第一显示流相关联的时间戳使所述第一显示流和所述第二显示流同步。

12.根据权利要求1的方法，其中，所述网络特性包括网络带宽。

13.一种方法，包括：

基于输入流产生多个并发显示流，所述多个并发显示流中的每个与不同的发送特性相关联；

选择所述多个并发显示流的、用于在第一时间传送到网络的第一显示流；

响应于检测到所述网络的特性的第一改变，选择所述多个并发显示流的、用于在第二时间传送到所述网络的第二显示流。

14.根据权利要求13所述的方法，其中，所述发送特性是比特率。

15.根据权利要求13所述的方法，还包括：

响应于检测到所述网络的特性的第二改变，选择所述多个并发显示流的、用于在第三时间传送到所述网络的第一显示流。

16.一种设备，包括：

输入端，其接收表示视频信息的输入流；

代码转换模块，其对所述输入流进行代码转换，以产生多个并发显示流，所述多个并发显示流中的每个具有不同的发送特性；和

选择模块，其基于网络的第一特性来选择所述多个并发显示流的第一显示流，并将所述第一显示流传送到所述网络。

17.根据权利要求16所述的设备，所述选择模块还执行以下步骤：

在将所述第一显示流传送到所述网络的同时，确定所述网络的第一特性的第一改变；和

18.根据权利要求17所述的设备，所述选择模块还执行以下步骤：

在将所述第二显示流传送到所述网络的同时，确定所述网络的第一特性的第二改变；和

19.根据权利要求17所述的设备，所述代码转换模块还响应于所述网络的第一特性的第一改变来停止产生所述第一显示流。

20.根据权利要求19所述的设备，所述代码转换模块还响应于所述网络的第一特性的第一改变来开始产生第三显示流。