CN102217272A - 产生数据流的编码器和方法 - Google Patents

Abstract

一种产生数据流的方法，该流包括多个编码数据块。编码数据块包括包含了用于对块进行解码的所有信息的多个自足块、以及仅包含用于解码的部分信息的多个块。流中自足块的间距根据流中编码的内容而改变。该流是主流，并通过次流实现调入至主流，次流至少包括主流的数据块的子集，该子集是以与主流的数据块的质量不同的质量而编码的，其中，在主流中，在主流和次流中编码的数据的质量差别更不易察觉的位置处，插入自足块。

Description

产生数据流的编码器和方法

技术领域

本发明实施例涉及产生包括多个编码数据块的数据流的领域，其中这种流被传输至接收机并解码，以呈现流内的数据。具体而非限制地，本发明涉及媒体传输、接收和回放领域，本发明实施例涉及使用要调入(tune-in)的第二流快速调入到IP网络上的流传输。

背景技术

在IP网络(例如IPTV系统)上的媒体传输领域中，以编码和压缩形式传输视频数据，普遍的视频压缩标准，例如MPEG-2和JVT/H.264/MPEG AVC，使用帧内编码和帧间编码。为了正确解码，解码器以帧内编码的图像(例如，I图像或I帧)开始对压缩视频序列解码，然后继续对后续的帧间编码的图像(例如，P图像或P帧、以及/或者B图像或B帧)解码。图像组(GOP)可以包括I图像和多个后续P图像和/或B图像，其中对于相同视频质量，I图像比P图像或B图像需要更多比特来编码。当在特定信道上接收到视频流时，例如在切换到该信道之后或者在开启接收机之后，必须等待直到接收到第一个I图像后才能解码。为了最小化视频流编码的延迟，频繁地发送I图像，即，在视频流内以固定间距(例如，每0.5秒)包括I图像。

当前IPTV系统的一个问题在于所谓的至组播IP上分发的流的调入时间。调入进信道的初始化与呈现该信道的内容之间的延迟是由于若干影响，其中，占主导地位的影响是客户端预缓冲时间、以及针对要切换至的流内随机接入点的获取时间。两者影响直接反映了现代视频编解码方案的设计。在例如MPEG-2视频或MPEG-4AVC/H.264等差分视频编码方案中，流中只有少量图像是自足(self-contained)的，例如，上述I图像。这些图像包括对整个图像解码所必需的所有信息。大多数其他图像是差分编码的，依赖于先前传输和解码的一个或多个图像，例如上述P图像或B图像。换言之，P图像或B图像不包括对整个图像解码所必需的所有信息，而是需要来自在前或在后图像的附加信息。

为了以给定比特率获得最佳编码效率，I图像的数量应当较低。另一方面，I图像用作流中可以开始解码的位置所在的随机接入点(RAP)。因此，当调入新的流时存在延迟，这是因为客户端(接收机)在可以开始解码并显示视频之前必须等待流中随机接入点的到达。

在差分编码方案中，编码视频比特率不一定是恒定的，而是依赖于视频场景(scene)的复杂度。在视频流内，编码图像大小的变化可以较大，例如，I图像可以与差分编码的图像P图像和B图像大许多倍。当以恒定的信道比特率在信道上传输这种比特流时，客户端需要对进入的图像数据进行预缓冲，以便能够以与视频采样的速率相同的速率来播放该视频。该缓冲器需要足够大，以避免缓冲器上溢，并且应该仅仅在达到一定的缓冲器填充水平时才清空，以避免播放期间的缓冲器下溢。

无论何时无法将缓冲器即时填充到客户端可以开始清空缓冲器的水平，就会在可以开始呈现之前出现延迟。

该功能性是不利的，因为开始在特定信道上接收节目(例如，在信道改变之后或开启接收机之后)的接收机必须等待直到接收到例如I图像等随机接入点，才能够开始解码。因此，主流(main stream)内随机接入点的间距是调入延迟的主要原因之一。

在组播线性TV情况下减小这种延迟的一种方法是与主流并行地发送第二流，其中，该第二流具有更高频率的随机接入点。该第二流例如被称为“调入流”(tune-in stream)或“辅助流”(side stream)。

图7示出了使用次流或调入流调入至主流。图7沿着X轴示出了时间，并沿着Y轴示出了各个流的质量等级。在图7中，主流100的全质量Q_s是100％，辅助流或调入流102具有较低质量Q_i，该较低质量Q_i是中间质量等级，比主流100的质量等级低。当用户在时间t₀发起信道改变时，调入至辅助流102。辅助流包括更频繁的随机接入点，以便通过使用具有更频繁的I图像的调入流102来减小针对解码的初始启动延迟(t_r-t₀)。接收机内的解码器从调入流102获得针对新信道的第一I图像，早于主流100的第一I图像。然而，如上所述，调入流102的质量比主流的质量低，例如，图像是以不同质量等级编码的，这对于限制附加的比特流是必要的，对于其中包括的I图像比其他图像多很多倍的调入流也是如此。因此，以较低的中间质量等级Q_i对调入流102进行编码，例如使用较低的图像分辨率，例如，相比于主流的全分辨率，使用四分之一的分辨率对调入流102进行编码。

在开始于t_R的过渡时段(t_T-t_R)期间，接收机或客户端对从调入流102得到的图像进行解码，直到在时间t_T主流上全分辨率的I图像到达为止。一旦该I图像到达，就停止低分辨率流，并且解码和呈现主流的全分辨率图像。

可以使用不同情景在客户端或接收机处接收主流和辅助流，一种情景是向接收机同时传输主流和辅助流。这种方法例如在US 2007/0098079A1中有所描述，其公开作为参考合并在此。备选地，接收机可以从提供主流和辅助流两者的服务器仅接收单一流来解码。当发起信道改变时或当开启接收机时，向服务器转发用于调入至特定信道的相应请求，然后服务器提供基于辅助流或调入流的信息，直到主流的高质量信息(即，第一I图像)变得可获得为止。这种方法例如在US 2007/0248165A1中有所描述，其公开作为参考合并在此。

如上所述，调入流102是以显著较低的比特率来编码的，导致其视频质量比主流低。这可以通过降低的图像分辨率或更多的有损编码参数来实现，例如，在编码辅助流期间使用更高的量化。

虽然这种提供低质量辅助流的方法对于如上参照图7所述的减小调入延迟而言是有利的，但是在短时段(即，过渡时段)上向观看者呈现的调入流的信息质量低。在常规示例中，该过渡时段可以在1到5秒的范围内。但是，在过渡时段结束时，即，在时刻t_T，呈现切换到全质量主流，调入流与主流之间的可见差别非常严重。例如，当观看由于从低质量调入流切换到高质量主流，静止场景突然出现细节时，这是很容易注意到的。这种影响会导致较差的用户体验，从而有可能降低更快调入的主观积极效果。

因此，需要提供一种在切换到主流时避免可见伪像的方法。

发明内容

本发明的一个实施例提供一种产生包括多个编码数据块的数据流的方法，所述多个编码数据块包括包含了用于对块进行解码的所有信息的多个自足块、以及仅包含用于解码的部分信息的多个块，其中，数据流中自足块的间距取决于流中编码的内容，其中，所述流是主流。通过次流(secondary stream)实现调入至主流，所述次流至少包括主流的数据块的子集，该子集是以与主流的数据块的质量不同的质量而编码的，其中，在主流中，在主流和次流中编码的数据的质量差别更不易察觉的位置处，插入主流的自足块。

本发明的另一实施例提供了一种产生包括多个编码数据块的数据流的编码器，所述多个编码数据块包括包含了用于对块进行解码的所有信息的多个自足块、以及仅包含用于解码的部分信息的多个块，其中，编码器配置为依据流中编码的内容，改变流中自足块的间距，其中所述流是主流。通过次流实现调入至主流，所述次流至少包括主流的数据块的子集，该子集是以与主流的数据块的质量不同的质量而编码的，其中，在主流中，在主流和次流中编码的数据的质量差别更不易察觉的位置处，插入主流的自足块。

本发明的又一实施例提供了一种调入至主流的方法，其中提供有主流和次流。主流包括多个编码数据块，所述多个编码数据块包括包含了用于对块进行解码的所有信息的多个自足块、以及仅包含用于解码的部分信息的多个块。次流至少包括主流的源数据的子集，该子集是以与主流的数据块的质量不同的、典型地更低的质量而编码的，其中，在主流和次流中编码的数据的质量差别在主观上更不易察觉的位置处，插入主流的自足块。当接收到调入请求时，调入至次流和主流，并且对次流解码，直到主流上的自足块到达为止，或者直到达到所需的主流解码器缓冲器填充水平为止。当主流上的自足块到达时，或者当达到所需的主流解码器缓冲器填充水平时，停止对次流的解码，并且开始对主流解码。

本发明的又一实施例提供了一种用于接收编码数据并提供解码输出数据的解码器。该解码器包括用于接收主流和次流的输入。主流包括多个编码数据块，所述多个编码数据块包括包含了用于对块进行解码的所有信息的多个自足块、以及仅包含用于解码的部分信息的多个块。次流至少包括主流的数据块的子集，该子集是以比主流的数据块的质量低的质量而编码的，其中，在主流和次流中编码的数据的质量差别更不易察觉的位置处，插入主流的自足块。此外，解码器包括用于接收调入请求信号的控制输入、以及耦接至输入和控制输入的解码部分，解码部分用于产生解码输出数据。解码部分适于在接收到调入请求时调入至次流，对次流解码，直到主流上的自足块到达为止，或者直到达到所需的主流解码器缓冲器填充水平为止。解码部分适于在主流上的自足块到达时，或者在达到所需的主流解码器缓冲器填充水平时，停止对次流的解码，并且开始对主流解码。

本发明实施例涉及用于使用调入流来实现快速信道改变的多媒体分发系统的编码器、流传输服务器、网络组件和客户端或接收机，其中，通过内容自适应编码在主观上隐藏从调入流到主流的切换。

附图说明

下面参照附图描述本发明实施例，附图中：

图1是根据本发明实施例的用于产生数据流的方法的流程图；

图2a是根据本发明实施例的编码器的框图；

图2b是图2a中分离地提供主流和辅助流的编码器的框图，即，该编码器不包括复用器；

图3是根据本发明实施例的用于调入至主流的方法的流程图；

图4a是根据本发明实施例的解码器的框图；

图4b是图4a中分离地接收主流和辅助流的解码器的框图，即，该解码器不包括解复用器；

图5a是根据本发明另一实施例的解码器的框图；

图5b是图5a中分离地接收主流和辅助流的解码器的框图，即，该解码器不包括解复用器；

图6示出了使用多个调入流来调入至主流；以及

图7示出了使用调入流来调入至主流的常规方法。

具体实施方式

下面描述本发明的实施例。本发明的一个实施例涉及用于产生例如视频流或音频流等数据流的方法，其中数据流包括多个编码数据块，所述多个编码数据块包括包含了用于对块进行解码的所有信息的多个自足块、以及仅包含用于解码的部分信息的多个块。根据本发明的实施例，数据流可以是使用帧内编码和帧间编码而编码的视频流。该编码流可以包括作为随机接入点的I图像、以及P图像和/或B图像。在该编码数据流中，例如I图像等自足块的间距依据流的内容而变化。

图1是根据产生视频流的本发明实施例的用于产生数据流的方法的流程图。在步骤S100，该方法开始，并提供视频输入信号。该视频输入信号包括多个部分，例如对视频流内的图像进行定义的图像。在步骤S110，接收视频信息的一部分，并分析要编码的视频输入信号的内容。在参照图1所述的实施例中，在步骤S120，确定所分析的内容部分是否与特定情景(scenario)相关联，特定情景例如是场景内的场景边界或快速摄像机移动。在所分析的内容部分中无这种特定情景出现的情况下，方法前进至步骤S130，在步骤S130，将所分析的部分编码成P图像或B图像。另一方面，在内容中察觉到上述情景的情况下，该方法前进到步骤S140，在步骤S140，将所分析的部分编码成I图像。在步骤S150，检查是否存在要分析的附加部分，如果存在，则该方法前进到步骤S160，在步骤S160，选择视频输入信号中要分析的下一部分，然后方法返回到步骤S110。否则，该方法在步骤S170结束，即，现在，视频输入信号已被编码，并且以I图像和P图像和/或B图像的序列的形式存在。

上述用于确定视频流内I图像的位置的方法获得了：依据内容在编码视频流中放置I图像，从而连续I图像之间的实际间距发生改变。因此，不是以固定间距在视频流中插入I图像，即，如在常规方法中使用的例如1秒或5秒的静态GOP长度不再存在。而是连续I图像的间距发生改变。根据本发明实施例，间距可以在一定时间窗内改变，例如，具有最大间距5秒和最小间距1秒的时间窗。该方案有利，其可以提高视频流中的比特率效率，这是因为无论如何都在流中比特需求更高的位置处放置针对随机接入点的I图像，甚至对于P图像也是如此，例如在场景剪辑处或在较大摄像机运动期间，在这些情况下运动预测需要P图像中的较多信息。

图2是根据本发明实施例的编码器的框图。图2示出了包括主编码器202和辅助编码器204的编码器200。主编码器202包括内容分析器206。主编码器202接收视频输入信号，并根据上述用于在其输出处产生主流的方法进行操作。此外，在另一实施例中，编码器200还可以包括附加的辅助编码器204，其基于视频输入信号，产生所谓的对应于主流的调入流，但是该调入流编码有更多数目的I图像，并且该调入流典型地是以相比于主流能够实现辅助流的较低比特率的较低质量而编码的。此外，在实施例中，编码器200可以包括复用器208，其接收来自主编码器202的主流和来自辅助编码器204的调入流，并提供组合的输出流210(参见图2a)，或者提供分离的主流212和调入流214(参见图2b)，这些流要广播至客户端以用于解码和显示。

根据使用图2所示包括两个编码器202和204的编码器200的本发明实施例，针对多信道传输系统中的一信道产生主流，并且在这种系统中通过仍由编码器200产生的次流、调入流或辅助流，来实现调入至主流。如上所述，主流包括不是以固定间距提供的多个I图像，连续I图像的间距在特定时间窗内发生改变。在编码器202中，在编码期间，利用内容分析器206分析由视频输入信号定义的视频内容，并且在分辨率上的视觉差别或图像质量的视觉差别在主观上大体更不易察觉的位置处，例如在场景边界处或在场景中快速摄像机移动期间，插入I图像。

以这种方式产生主流是有利的，因为在开启接收器或从另一信道改变的情况下当调入至主流时，实现了从调入流到主流的平衡传输，这可能是观看者完全无法察觉的。此外，该方法可以提高主流中的比特率效率，这是因为无论如何都在流中比特需求更高的位置处放置针对随机接入点的I图像，甚至对于P图像也是如此。此外，可以节省用于固定间距的附加I图像的比特，而不会损失对信道的可接入性，这是因为通过提供以固定间距和更高速率具有I图像(即，如上所述，I图像的数量大于主流中I图像的数量)的调入流来确保可接入性。这会使得有必要以较低质量对调入流进行编码，以满足信息传输的比特率要求。另一优点在于上述方案是单纯的头端方案，其优选地存在于编码设备202内部，并且不需要附加的网络设备等。此外，有利的是在效果上没有添加附加的客户端设备复杂度。客户端必须进行的所有操作是主动监视主流的第一I图像，而不是在静止过渡时段的情况下在调入之后计数固定数目的图像。备选地，调入流可以包括与主流中的下一I图像有关的附加的信号通知(signaling)，该信号通知指示在主流中该下一I图像何时出现。这使客户端能够在不监视主流的情况下切换到主流。

依据内容在主流内放置I图像是有利的。然而，在非常长的静止场景的情况下，可能会超过预定义的最大容许I图像间距(其被设定为不超过最大过渡时段长度)，从而有必要在静止序列内放置I图像。在这种情况下，从低质量调入流到高质量主流的切换很可能是可见的。对于这种情况，即，不管内容如何，必须放置I图像的情况，本发明实施例提出了通过在过渡时段期间逐渐提高调入流的质量，来修改调入流，例如，通过逐步地将量化参数步长降低到主流的I图像边界。量化参数是编码过程期间控制视频质量的主要参数之一。更低的量化参数对应于对编码数据系数的粒度更精细的量化，并因此对应于更少的例如阻挡伪像等可见的编码失真。

图3是根据本发明实施例的用于调入至视频主流的方法的流程图。图3开始于如下情况：在接收机处，当前接收到与第一信道关联的视频主流，并对其解码和输出以供显示，如步骤S300处所示。在步骤S302，监视是否获得信道改变请求，例如切换到第二信道的请求。只要没有接收到这种请求，就继续解码与第一信道关联的视频主流并输出以供显示。然而，在步骤S302接收到信道改变请求的情况下，方法前进至步骤S304。在步骤S304，停止对第一信道的主流的解码，并且接收机调入至第二信道的调入流或辅助流以及至第二信道的主流，如步骤S306所示。在调入至第二信道的辅助流之后，在步骤S308，以接收到辅助流中的第一I图像为开始，开始对第二信道的辅助流进行解码并输出。在步骤S310，监视第二信道的主流，以在步骤S312确定是否已接收到第二信道的主流中的I图像。只要没有接收到主流中的I图像，方法继续解码并输出来自辅助流的信息，并且继续监视主流中的I图像。只要接收到第二信道的主流中的第一I图像，并且准备好解码第一I图像，方法就前进到步骤S314，在步骤S314，停止对第二信道的辅助流的接收、解码和输出。在步骤S316，开始对第二信道的主流进行解码和输出，这实际上完成了信道改变过程。

就图3而言，针对如下情况描述了以上内容：接收机已经在操作，并且解码和输出关于第一信道的信息(见步骤S300到S304)。然而，根据另一实施例，该方法也适用于如下情况：开启客户端处的接收机并开始解码视频流。以在步骤S306到S316中描述的类似方式，接收机首先调入至在接收器启动时选择的信道，并且解码和输出辅助流，直到主流中的I图像达到为止。

由于主流中I图像是放置在主流内图像质量差别更不易察觉的位置，所以在接收到主流中的I图像时从辅助流到主流的过渡更不易察觉，并且观看者可能完全不会察觉。因此，由于在基于主流内容而确定的位置处放置了主流中的I图像，所以从低质量辅助流到高质量主流的切换在主观上被隐藏了。

图4示出了可以根据本发明实施例而使用的解码器400的框图。解码器400包括输入部402。输入部402接收主流408和辅助流410(参见图4b)、或者接收组合的输入流406。在组合的输入流的情况下(参见图4a)，输入部包括解复用器204，解复用器204在其输入处接收组合的输入流406，利用解复用器404将组合的输入流406拆分成主流408和辅助流410。

此外，解码器400包括解码器部分412。解码器部分412包括切换元件414，用于选择性地向解码器部分的输入施加主流408或辅助流410。此外，解码器部分具有用于接收例如上述信道改变请求信号等控制信号的控制输入416。此外，解码器部分412监视主流，如虚线418所示意性示出的。

解码器400以如上参照图3所述的方式进行操作，即，只要在输入416处没有指示接收到信道改变请求的控制信号，解码器部分412就对特定信道的主流进行解码。当在控制输入416处接收到信道改变信号时，解码器部分通过将切换元件414切换为向解码器部分提供辅助流410，来调入至辅助流，然后，一旦察觉辅助流内的第一I图像并且该第一I图像准备好用于解码，解码器部分就对辅助流进行解码。然后，解码器部分412输出解码信号420。同时，解码器部分412经由线418监视主流408，只要在主流中察觉第一I图像并且该第一I图像准备好用于解码，则进行切换以将主流提供给解码器部分412，并对主流进行解码和在420输出。

在许多情况下，对于如上参照图4所述的方式进行的从调入流到主流的切换，时间是关键的，以避免任何失真。因此，通常优选的是针对调入流和主流的两个独立的解码器链，以便能够稍微提前一点开始对主流解码，从而可以在非压缩域中执行切换。然而，该方法的不利之处在于使用两个解码器增加了客户端复杂度。因此，需要提供单个解码器，其降低实现复杂度并允许对已有的解码器芯片进行再使用。因此，根据本发明实施例，对调入流和/或主流中的切换点进行信号通知，以使解码器能够进行切换。依据使用的传输层和流类型，可以实施不同的信号通知方法。对于RTP流，例如可以使用RTP首部扩展，或者例如RTCP发送方报告。对于MPEG-2传输流，例如可以使用同步辅助数据(Synchronous Ancillary Data，SAD)机制，或者可以使用具有另一PID的分离的流。对于AVC视频流，可以使用视频流中的SEI消息。

只使用单个解码元件并在将发生切换时向解码元件进行信号通知是有利的，这是因为，首先，在客户端设备中只需要一个解码器，从而降低了复杂度。此外，该方法可以很好地作用于时移(延迟的)调入流。此外，不需要客户端隐式地计算或估计正确的切换点。客户端只需要读取来自流的信号通知消息。当客户端被允许切换至主流并开始对第一主流数据进行解码时，编码器发送对时间点进行信号通知的消息。该信号与流数据一起发送，例如，嵌入在调入流数据中(例如，作为RTP首部扩展)，或者例如作为分离的信号流(例如，作为RTCP消息)。

客户端设备一直监视该信号通知，并且在消息到达时，客户端根据该消息进行操作，即，停止对调入流数据解码并开始解码主流数据。

上述方法的优点在于，客户端可以避免对流数据的解析(例如，针对图像标识符，解析编码图像数据的信息，对于例如H.264或MPEG-2等不同的编码方案，该标识符是不同的)，只需要读取信号通知消息。另一优点在于客户端不仅得到与I图像的到达有关的信息，还得到与何时I图像准备好用于解码(例如，当针对主流的输入缓冲器填充到能够避免后续流解码时出现缓冲器下溢和上溢的水平时)有关的信息。

参照图3，客户端在步骤S310不监视主流中的I图像，而是在步骤S311检测信号通知，以接收与到达(以及图像数据的完全接收)和“准备好用于解码”状态有关的信息。

参照图4，解码器部分412不经由虚线418监视主流，而是经由虚线419监视信号通知，以获得上述信息。

下面描述备选的信号通知方案。如上所述，客户端在能够解码主流之前需要等待主流的第一I图像数据。在第一I图像数据之前接收的任何主流数据都无法使用，不得不删除。有利的是避免接收这种数据，以最小化当需要从客户端接收两个流(调入流和主流)时的时间，从而节省客户端至网络的连接(例如，DSL线路)上的带宽，该带宽可能也被其他应用所利用(相比于核心网带宽，在例如DSL线路上带宽通常是受限的)。

因此，有利的是对客户端何时可以接收到下一I图像(即，图像的第一组分组/比特)进行信号通知。该信息使客户端能够正好在I图像数据将到达之前连接到主流，避免客户端提前连接到主流(例如，与调入流并行地，如图3步骤S306所述)。

可以与上述“I图像准备好用于解码”消息类似地来进行这种信号通知，例如，嵌入在调入流中或作为分离的数据流。此外，有用的是发送多个消息，例如“I图像在3秒后开始”、“I图像在2秒后开始”、“I图像在1秒后开始”，以提供差错鲁棒性，并使客户端能够处理潜在的网络抖动(即，在信号通知与流数据的传输之间的不同网络延迟)。

根据另一实施例，解码器400可以包括后处理单元422，其可以在从调入流到主流的切换时进一步减小调入流与主流之间的主观差别。优选地，后处理单元422处理主流解码。更具体地，可以从特定时段(例如，0.5秒)上主流的第一图像开始，对来自主流的解码图像施加滤波。该滤波可以获得对图像的模糊化，在实施例中，可以在上述时段上修改滤波器系数，以逐个图像地减小模糊化效果或滤波效果，从而逐渐地从调入流的低质量改变到主流的高质量。备选地，可以通过在切换之后仅以H.263标准中已知的作为降低分辨率更新的系数的一部分对第一图像解码，来实现后处理。在第一图像之后，对于每一个后续图像，使用数目增多的系数，直到应用了全部数目的系数，并实现对主流的全质量解码为止。该方法也造成切换之后第一图像中图像细节的减少，从而对从低质量流到高质量流的切换的主观隐藏做出了贡献。

上述实施例是在同时获得主流和辅助流的接收机的基础上描述的。但是，本发明不限于上述环境，图5是也可以根据本发明实施例使用的接收机/服务器系统的框图。图5所示系统包括接收机500，接收机500包括解码器502和用户接口504。此外，示出了服务器506。服务器506包括可选的接复用器508(参见图5a)、以及选择器510。服务器506在解复用器508的输入处接收针对一个信道的组合视频流512，并利用解复用器508将组合的输入流512分离成主流514和调入流或辅助流516。备选地，主流514和调入流或辅助流516可以分离地接收，从而不需要解复用器(参见图5b)。这些流输入至选择器510，选择器510输出所选的流之一至解码器，如518所示。此外，选择器510连接至接收机500的用户接口504，如520所示。经由线520，选择器510可以为用户接口504接收改变请求信号。图5所示系统的功能性与上述内容类似。具体地，只要在选择器处没有接收到信道改变请求，就经由选择器向解码器提供特定信道的主流，并对主流解码和输出。当经由线520接收到信道改变请求时，选择器调入至调入流516，并将调入流提供给解码器，直到获得主流的I图像。一旦该I图像出现，就如上所述执行从低质量调入流到高质量主流的切换。也可以将主流514直接提供给解码器(见图5中虚线)，即，不经由服务器。

根据本发明另一方面，可以通过提供一个或多个附加的调入流来避免从调入流到主流的切换时出现的简单失真，这一个或多个附加的调入流是以主流的质量等级与第一调入流的质量等级之间的不同质量等级而编码的。该方法可以与上述以变化的间距引入I图像的方法相结合，但是使用多个调入流的方法也可以与常规的主流编码方法一起使用，即，与以固定间距放置I图像(即，对I图像的放置不考虑内容)的这种常规主流一起使用。

图6示出了使用一个主流和两个调入流的本发明实施例。图6(a)对应于图7，示出了只提供单个主流和单个调入流的情况。图6(b)示出了使用两个调入流的质量的变化，图6(c)是各个流的示意表示，其中竖线示出了各个流中I图像的位置。从图6(c)可见，主流内I图像的数量最少，并且这些I图像彼此之间相距较长距离。可以依据主流的内容或者以固定间距在主流中放置I图像。第一调入流具有最大数目的I图像，而第二调入流具有的I图像的数目在主流和调入流的I图像数目之间。

第二调入流可以用于避免在调入期间所呈现的图像质量中的任何不希望的跳变。可以如下方式对第二调入流编码：在过渡时段的一部分期间，质量逐渐从调入流质量Q_i增长至主流的全质量Q_f(100％)，如图6(b)所示。为了能够在过渡时段结束时达到Q_f，第二调入流使用主流的全分辨率。为了实现平滑的过渡并避免过度的比特率开销，第二调入流可以使用比调入流的GOP周期更长的周期。

调入过程看起来如图6(a)所示。在时间t₀处初始化调入流之后，客户端设备首先必须等待下一I图像(调入流中的I图像)到达，该I图像在t_R处到达。在从t_R到t_T’的时段期间，解码并呈现调入流。在时间t_T’，第二调入流的I图像到达并且准备好用于解码。在从t_T’到t_T的时段期间，呈现第二调入流。在时间t_T，过渡时段结束，客户端切换到主流。

此外，实施例允许仅将第二调入流以自适应GOP长度编码，而调入流和主流可以具有固定GOP长度。换言之，在这种实施例中，主流和调入流是常规地编码的，只有第二调入流以如下方式编码：依据内容，在第二调入流内放置I图像。

进一步要注意，本发明不限于只使用两个调入流，而是除了两个之外还可以具有N个调入流，从而能够在提高质量的同时实现更精细的粒度和平滑性。

上述实施例包括调入流或辅助流，其都包括I图像以及P图像或B图像。但是，本发明不限于这种调入流。在备选实施例中，调入流可以只包括一种调入图像，例如，辅助流可以只传输随机接入点或I图像。使用来自主流的数据对中间图像进行解码，该信息例如是来自主流的P图像和/或B图像的信息。上述实施例描述了两个分离的流，主流和调入流。但是，本发明不限于这种实施例，而是上述方法也可以适用于例如使用两个层的可缩放视频编码(SVC)，这两个层例如是具有较长I图像间距的增强层和具有较短I图像间距的基本层。在这种情况下，基本层对应于调入流，并被设计得如同上述调入流一样。但是，上述使用多于一个调入流的方法也可以通过可缩放视频编码方法来实现，例如通过应用具有一个基本层和两个增强层的三层SVC。例如，WO 2008138546A2和US 2003/0007562中描述了可缩放视频编码以及使用这种用于在信道改变时调入至主流的方法，WO 2008138546A2和US 2003/0007562的内容作为参考合并在此。

按照上述相同方式实现在主观上隐藏从低质量流到高质量流的切换，即，在切换期间，只使用基本层来进行解码，直到接收到增强层中的I图像。在接收到增强层中的I图像时，基于来自增强层的信息进行解码。此外，虽然关于互联网协议TV系统(IPTV系统)描述了本发明的实施例，但是注意，本发明不限于这种环境。而是，上述实施例可以使用和应用于任何多媒体分发系统，例如广播系统。由于本发明实施例提供了纯粹的头端解决方案，所以具有自适应过渡时段长度的调入流的解决方案也可以应用于任何多媒体分发系统。

根据本发明另一实施例，可以在主流中、或在调入流中、或独立于这两个流，来发送针对每个I图像的附加切换图像。该切换图像是在相同采样时刻的I图像的备选编码，并且仅在切换之后使用。在主流的正常解码期间，在信道接收的稳定状态下，使用来自主流的正常I图像。切换图像的编码方式也有助于减小调入流和主流之间的视觉差别。以主流和调入流之间的质量对切换图像编码。备选地，可以发送完整的“切换GOP”，而不是切换图像，来控制从中间调入质量到全主流质量的“质量斜坡上升”。

此外，注意，结合视频数据描述了实施例，但是本发明不限于传输视频数据，而是上述实施例中描述的原理可以应用于要在数据流中编码的任何类型的数据。更具体地，上述原理也应用于音频数据或使用差分编码原理的其他类型的定时的多媒体数据，其中利用数据流内所传输的不同类型的数据片段的原理，例如全信息(这使客户端能够对编码多媒体数据的全呈现进行解码)和增量(或更新)信息(该信息只包含差分信息，只有在接收到在前信息时，差分信息才能被客户端用于对编码多媒体数据的全呈现)。这种多媒体数据的示例除了视频之外，一般还有图形数据、矢量图形数据、3D图形数据，例如全帧显示(wireframe)和纹理数据，或者2D或3D场景表示数据。

应该理解，依据情况，本发明实施例的方法也可以软件实现。可以在数字存储介质上实施，具体是具有电子可读控制信号的盘、DVD或CD，该控制信号可以与可编程计算机系统交互，以执行相应的方法。一般而言，本发明还包括具有程序代码的计算机程序产品，程序代码存储在机器可读载体上，用于在计算机程序产品运行在PC和/或微控制器上时执行本发明方法。换言之，本发明因此可以实现为具有程序代码的计算机程序，程序代码用于当计算机程序运行在计算机和/或微控制器上时执行方法。

注意，以上描述示出了本发明原理，但是本领域技术人员能够设计这里未描述或未示出的多种布置，这些布置具体体现本发明原理，并且不背离本发明的精神或范围。本领域技术人员会理解本文所示出的框图表示具体体现本发明原理的示意性电路的概念视图。类似地，将理解任何流程图、传输图等表示实质上可以提供在计算机可读媒介中并由计算机或处理器执行的多种过程，无论这种计算机或处理器是否隐含地示出。图中所示多种元件的功能可以通过使用专用硬件以及与适合软件关联的能够执行软件的硬件来提供。当由处理器提供时，可以通过单个专用处理器、单个共享处理器或多个单独的处理器来提供这些功能，多个单独的处理器中的一些可以是共享的。此外，术语“处理器”或“控制器”的显式使用不应视为排他性地专指能够执行软件的硬件，而是可以隐含地包括，但不限于，数字信号处理器硬件、用于存储软件的只读存储器、随机存取存储器和非易失性存储装置。

在多信道传输系统的情况下描述了本发明实施例，其中主流和次流与多信道传输系统的信道关联，并且调入请求指示了从多信道传输系统的当前信道改变到多信道传输系统的新信道。

然而，本发明不限于这种实施例，而是本发明总体上涉及改善在调入至包括主流和至少一个次流的流时的调入特性，如上具体描述的，其中该流可以是通过例如互联网等网络提供给用户的单个流。

可由服务提供商提供包含流入视频内容的流，以便用户可以随时调入至该流。在这种情况下，在接收到调入请求之后，由用户接收包括主流和次流的流，并且对次流解码，直到主流上的自足块到达，并且达到所需的主流解码器缓冲器填充水平。

在本发明的另一实施例中，按照用户的需求，用户从例如服务提供商获得流。该流(例如视频点播)由用户接收，并在调入至该流时开始对流进行解码。同样，基于次流对该流进行解码，直到达到所需的主流解码器缓冲器填充水平。尽管由于该流是按需获得的，所以可以将该流提供给用户，使得在调入至该流时主流中就存在I图像，但是仍然选择上述方法。这样，解码不会立即开始，而是达到预定义的主流解码器缓冲器填充水平，以确保即使在流暂时中断(例如，由于网络业务的流分组延迟)的情况下也能够进行流的连续解码。然而，对于主流要缓冲的数据量相当大。因此，在这种情况下，在开始时也使用次流，这是因为要在次流解码器中要缓冲的信息或数据量比要在主流解码器中要缓冲的量小。因此，当使用次流时，解码会开始得更早，这是因为快速达到了次流缓冲器的所需填充水平。一旦达到所需的主流解码器缓冲器填充水平，就开始对主流解码。

在本发明实施例的描述中，将流的自足块和非启足块分别称为I图像以及P图像或B图像。注意，术语“图像”一般确定了编码内容，包括对块的内容进行解码所需的数据或信息。在I图像的情况下，包括对块的全部内容进行解码所需的所有数据或信息，而在P图像或B图像的情况下，没有包括对整个图像进行解码所需的所有信息，而是需要来自在前或在后图像的附加信息。备选地，I图像、P图像和B图像可以称为I帧、P帧和B帧。

Claims (25)

1.一种产生包括多个编码数据块的数据流的方法，所述多个编码数据块包括包含了用于解码所述块的所有信息的多个自足块、以及仅包含用于解码的部分信息的多个块，所述方法包括：

根据流中编码的内容，改变流中自足块的间距，

其中，所述流是主流，通过次流实现调入至主流，所述次流至少包括主流的数据块的子集，该子集是以与主流的数据块的质量不同的质量而编码的，

其中，在主流中，在主流和次流中编码的数据的质量差别更不易察觉的位置处，插入自足块。

2.根据权利要求1所述的方法，包括：

在对用于主流的数据进行编码期间，对主流的内容进行分析；以及

基于所述分析，确定主流中自足块的位置。

3.根据权利要求1所述的方法，其中，在主流中，在相比于其他位置内容更加动态的位置处插入自足块。

4.根据权利要求3所述的方法，其中，主流的数据表示视频内容，以及在场景边界处或在场景中的快速摄像机运动期间插入自足块。

5.根据权利要求4所述的方法，其中，主流是使用差分视频编码方案编码的，所述差分视频编码方案产生作为自足块的多个I图像或IDR图像、以及多个P图像或B图像。

6.根据权利要求4所述的方法，其中，内容是使用可缩放视频编码方案编码的，所述可缩放视频编码方案产生作为主流的至少一个增强层以及作为次流的基本层，基本层中的I图像间距比增强层中的I图像间距短。

7.根据权利要求1所述的方法，其中，流中自足块的间距在预定义的时间窗内变化。

8.根据权利要求1所述的方法，还包括：

针对主流中的每一个自足块产生切换块，或者针对主流中的每一组块产生一组切换块，其中切换块是以主流数据块的质量与次流数据块的质量之间的质量而编码的。

9.一种产生包括多个编码数据块的数据流的编码器，所述多个编码数据块包括包含了用于解码所述块的所有信息的多个自足块、以及仅包含用于解码的部分信息的多个块，

其中，编码器被配置为根据流中编码的内容，改变流中自足块的间距，

其中，所述流是主流，通过次流实现调入至主流，所述次流至少包括主流的数据块的子集，该子集是以与主流的数据块的质量不同的质量而编码的，以及，

其中，在主流中，在主流和次流中编码的数据的质量差别更不易察觉的位置处，插入自足块。

10.一种调入至主流的方法，所述方法包括：

提供主流，所述主流包括多个编码数据块，所述多个编码数据块包括包含了用于解码所述块的所有信息的多个自足块、以及仅包含用于解码的部分信息的多个块；

提供次流，所述次流至少包括主流的数据块的子集，该子集是以比主流的数据块的质量低的质量而编码的，其中，在主流中，在主流和次流中编码的数据的质量差别更不易察觉的位置处，插入自足块；

在接收到调入请求时，调入至次流和主流；

对次流进行解码，直到主流上的自足块到达为止，或者直到达到所需的主流解码器缓冲器填充水平为止；以及

在主流上的自足块到达时，或者在达到所需的主流解码器缓冲器填充水平时，停止对次流的解码，并开始对主流解码。

11.根据权利要求10所述的方法，其中，将主流和次流提供给接收机，其中，次流包括多个自足块，次流中自足块的间距比主流中自足块的间距短。

12.根据权利要求11所述的方法，其中，次流还包括仅包含了用于解码的部分信息的多个块。

13.根据权利要求10所述的方法，其中，将主流和次流经由服务器提供给接收机，其中，响应于调入请求，将次流从服务器提供给接收机以供解码，直到主流上的自足块到达为止，或者直到达到所需的主流解码器缓冲器填充水平为止。

14.根据权利要求10所述的方法，还包括：对解码的主流进行后处理，以减弱从低质量次流到高质量主流的过渡的突然性。

15.根据权利要求14所述的方法，其中，后处理包括对解码的主流进行滤波，其中，在预定数目的多个块上对滤波器系数进行改变，以逐渐提高质量，或者

后处理包括以数目较少的一组解码系数开始对主流的解码，并在预定数目的多个块上对该组解码系数进行调整，以逐渐提高主流质量。

16.根据权利要求10所述的方法，还包括：

提供附加的次流，所述附加的次流至少包括主流的数据块的子集，该子集是以主流数据块的编码质量与次流数据块的编码质量之间的质量而编码的，

其中，对次流进行解码，直到所述附加的次流上的自足块到达为止，以及

其中，对所述附加的次流进行解码，直到主流上的自足块到达为止。

17.根据权利要求16所述的方法，其中，提供多个附加的次流，每个附加的次流至少包括主流的数据块的子集，该子集是以主流数据块的编码质量与次流数据块的编码质量之间的不同质量而编码的。

18.根据权利要求10所述的方法，还包括：

针对主流或次流中的每一个自足块提供切换块，或者针对主流或次流中的每一组块提供一组切换块，其中切换块是以主流数据块的质量与次流数据块的质量之间的质量而编码的。

19.根据权利要求18所述的方法，其中，将切换块或所述一组切换块与主流或次流一起提供，或者独立于主流和次流而单独提供。

20.根据权利要求10所述的方法，还包括：

将次流或主流中的切换点用信号通知给用于解码次流和主流的解码器；以及

在开始解码主流之前，将解码器从解码次流的模式切换到解码主流的模式。

21.根据权利要求10所述的方法，其中，主流和次流与多信道传输系统的信道相关联，其中，调入请求指示从多信道传输系统的当前信道改变到多信道传输系统的新信道，

其中，对次流进行解码，直到主流上的自足块到达为止，或者直到达到所需的主流解码器缓冲器填充水平为止。

22.根据权利要求10所述的方法，其中，主流和次流与流相关联，其中，调入请求发起至所述流的初始调入，

其中，对次流进行解码，直到主流上的自足块到达为止，或者直到达到所需的主流解码器缓冲器填充水平为止。

23.根据权利要求10所述的方法，其中，主流和次流与按照用户需求而获得的流相关联，其中，调入请求发起至所述流的初始调入，

其中，对次流进行解码，直到达到所需的主流解码器缓冲器填充水平为止。

24.一种用于接收编码数据并提供解码输出数据的解码器，该解码器包括：

用于接收主流和次流的输入，主流包括多个编码数据块，所述多个编码数据块包括包含了用于解码所述块的所有信息的多个自足块、以及仅包含用于解码的部分信息的多个块，其中，次流至少包括主流的数据块的子集，该子集是以比主流的数据块的质量低的质量而编码的，其中，在主流中，在主流和次流中编码的数据的质量差别更不易察觉的位置处，插入自足块；

用于接收调入请求信号的控制输入；以及

耦接至所述输入和控制输入的解码部分，解码部分用于产生解码输出数据，解码部分适于在控制输入处接收到调入请求时调入至次流，以对次流解码，直到主流上的自足块到达为止，或者直到达到所需的主流解码器缓冲器填充水平为止，解码部分适于在主流上的自足块到达时，或者在达到所需的主流解码器缓冲器填充水平时，停止对次流的解码，并且开始对主流解码。

25.一种用于存储指令的计算机可读介质，当由计算机执行时，所述指令执行一种产生包括多个编码数据块的数据流的方法，所述多个编码数据块包括包含了用于解码所述块的所有信息的多个自足块、以及仅包含用于解码的部分信息的多个块，其中根据流中编码的内容，改变流中自足块的间距，

其中，所述流是主流，通过次流实现调入至主流，所述次流至少包括主流的数据块的子集，该子集是以与主流的数据块的质量不同的质量而编码的，

其中，在主流中，在主流和次流中编码的数据的质量差别更不易察觉的位置处，插入自足块。

Images