CN102549932A - 用于经具有空间可缩放性网络的交换图像的方法和装置 - Google Patents

Abstract

本发明的可视信息经网络通过滤除全分辨率图像信号以生成一系列的子频带，其中至少一个子频带构成表示降低分辨率的图像的子基带，并且其中额外的子频带携带更高的分辨率信息。至少子基带被传送给远端端点以允许在远端端点上以一个取决于用于重建图像的子频带数目的分辨度图像重建。

Description

用于经具有空间可缩放性网络的交换图像的方法和装置

发明领域

本发明涉及交换包括视频的图像的领域，及相关的装置。尤其是，但是非排他地，本发明涉及基于端点的性能或者设置交换空间可缩放性图像的方法。

发明背景

端点，诸如多媒体用户界面可以经网络通信，其可以在其性能方面大大地变化。因为这样的可变性，当上述的端点以视频通话或者多方电视会议互连的时候，例如，稀缺资源可能被浪费，以比远距离的用户想要去显示更高的质量或者分辨率编码和传送视频数据流，或者他的端点能够再现。上述的稀缺资源包括带宽，其在互连共享的分组网和或端点网络连接(例如，无线连接、上述的WiFi、蜂窝网络等等)时耗费。

此外，其越来越是多媒体端点功能，诸如视频端点功能在个人计算机设备，或者便携式或者手持设备(例如，膝上型电脑、蜂窝设备等等)上实现的情形，在个人计算机设备，或者便携式或者手持设备上用户运行其他的应用程序(例如，浏览器、文字处理软件、显示、基于蜂窝的应用程序、基于场所的应用程序等等)。

在此情况下，在视频处理中使用的稀少的计算能力和存储器降低其他的应用程序的性能，反之亦然。这可以是在信源端点和目的地端点两者中的情形。

例如，高端视频端点逐渐地支持高分辨率视频(被称为HD或者720p、1080i、1080p等等)。高分辨率视频的一个例子具有1920×1080的分辨率。但是，许多传统的电视会议系统通常局限于被称为GIF(图形交换格式)和GIF倍数(例如，4CIF，640×480)和约数的标准，其具有352×288的分辨率。当前的蜂窝设备，和其他的手持多媒体设备支持各种各样的分辨率(例如，诺基亚176×208)。

当然，在有些情况下，当媒体正在往返于多个端点交换的时候，可能这些多个端点支持不同的分辨率，或者至少被配置去提供不同的分辨率。

当然，信源端点可以采用最小公分母，并且只是将最低容纳的视频质量发送给所有较远的端点。但是，这指的是在目的地端点上可能想要更好质量的用户经历不必要地差的视频感受。

信源端点1可以使用用于每个不同的分辨率的多个不同的编码器。但是，多个编码器在信源端点上具有更多的计算能力耗费的缺点。此外，如果在目的地端点上，用户决定改变分辨率(例如，最大化视频窗口)，其然后将是为信源和目的地端点去重新商议编解码器所必需的。

发明内容

通常，按照本发明，在传送图像(典型地其是视频信号)之前，其被使用滤波器组分解为子频带。视频子频带然后被分别地编码，并且一个或多个子频带被传送给目的地。某些子频带不能被传送，或者可能在传输中丢失，并且接收的子频带被重建为视频数据流，其具有取决于接收的子频带数目的分辨率。

该子频带被选择使得一个或多个构成基带，其表示图像最低的分辨率版本。一个或多个额外的子频带可以与基带结合以给出更高的分辨率图像，并且如果所有子频带被重新组合，该图像将具有与原始相同的分辨率。

因此，按照本发明，提供了一种经网络传送可视信息的方法，包括：滤除全分辨率图像信号以生成一系列的子频带，其中至少一个子频带构成表示降低分辨率的图像的子基带，并且其中额外的子频带携带更高的分辨率信息；和将至少子基带传送给远端端点以允许在远端端点上以一个取决于用于重建图像的子频带数目的分辨度图像重建。

该方法可以包括另外使用某些或者所有更多的子频带的一个接收的数据以允许重建图像。用于允许特定的图像重建的更多的子频带的接收数据可能与子基带的接收数据有关。更多的子频带的接收数据可以具有与子基带有关的接收数据相同的或者类似的时间特征，诸如时间戳。

该方法可以包括从一个或多个更多的子频带确定是否去使用接收的数据。该方法可以包括从一个或多个更多的子频带基于要重建的图像想要的分辨率或者质量确定是否去使用接收的数据。该方法可以包括使用来自更多的子频带接收的数据用于图像的更好的分辨率，或者更少的子频带用于差的分辨率。该确定可以基于要重建的图像的大小。该方法可以包括当要重建的图像的大小被改变的时候，改变使用的子频带的数目。

具有相同时间特征的特定的子频带的接收数据可以被认为是子帧。该方法可以包括使用一个或多个子帧去允许重建该图像。该方法可以包括使用具有一个或多个更多的子频带的一个或多个更多的子帧的子基带的子帧去允许重建该图像。

该方法可以包括分配优先级给更多的子频带的一个或多个。该方法可以包括允许基于相关的子频带的优先级使用特定的子帧重建该图像。使用的子帧的数目可以小于由重建的图像的想要的分辨率或者大小想要的数目。

该优先级可以是分层的。该优先级可以基于滤除由每个特定的子频带提供的表示分配。较高的优先级子频带可以提供重建图像较高的分辨率，反之亦然。

该方法可以包括存储与不同的时间特征有关的子帧。该方法可以包括在收集器中存储子帧。该收集器可以被配置去存储与特定的数目的时间特征有关的特定数目的子帧。例如，该收集器可以被配置去存储与三个时间特征有关的子帧。

该方法可以包括当该收集器充满的时候，丢弃与最早的时间特征有关的子帧。该方法可以包括一旦收到更多的数据，当该收集器充满的时候，丢弃与最早的时间特征有关的子帧。更多的数据可以是与子基带有关的接收数据。

在没有接收的子基带的情况下，该方法可以包括当在数据流中不存在子基带的时候，丢弃或者不使用数据。

该方法可以包括使用一个以上的子基带。该方法可以包括确定存在子基带。该方法可以包括确定存在一个以上的子基带。

该数据流可以是恒定的数据流。该数据流可以是间歇性的数据流。该数据流可以在分组中提供，诸如经分组交换网络等等。

该图像可以是视频图像。该图像可用于形成多媒体通信，诸如电视会议。该图像可以包括音频成分。

按照本发明的第二个方面，提供了一种经网络从远程端点接收可视信息的方法，远程端点提供作为单独的数据流分解成一系列的子频带的全分辨率图像信号，其中至少一个子频带构成表示降低分辨率的图像的子基带，并且其中额外的子频带携带更高的分辨率信息，包括：确定要显示的图像要求的分辨率；建立到远程端点的一个或多个连接以接收至少基带，和至少与以要求的分辨率重建图像可能需要的同样多的额外的子频带；和从接收的子频带中以要求的分辨率重建图像。

按照本发明的第三个方面，提供了一种用于经网络传送可视信息的装置，包括：用于滤除全分辨率图像信号以生成一系列的子频带的滤波器组，其中至少一个子频带构成表示降低分辨率的图像的子基带，并且其中额外的子频带携带更高的分辨率信息；和用于将至少子基带传送给远端端点以允许在远端端点上以一个取决于用于重建图像的子频带数目的分辨度图像重建的一个或多个发射机。

按照本发明的第四个方面，提供了一种用于经网络从远程端点接收可视信息的装置，远程端点提供作为单独的数据流分解成一系列的子频带的全分辨率图像信号，其中至少一个子频带构成表示降低分辨率的图像的子基带，并且其中额外的子频带携带更高的分辨率信息，包括：用于接收基带和或者更多额外的子频带的一系列的接收机；用于临时地对准接收的子频带的收集器；和用于将接收的子频带重新组合为具有取决于用于重建图像的子频带数目的分辨度的图像的反滤波器组。

该收集器可以被配置去确定存在与子频带有关的接收数据。

后续的重建可以识别在子基带中发送的数据以允许重建该图像。

该方法可以包括交换数据流到一个以上的场所或者目的地。该方法可以包括在一个或多个场所或者目的地上接收交换的数据流。

该方法可以包括允许在一个目的地上该图像的一个特定的重建，和在不同的目的地上该图像的不同的重建。该方法可以包括在两个目的地上使用与子基带有关的接收的发送数据。该方法可以包括在一个目的地上使用接收的子基带的发送数据，并且使用接收的子基带的发送数据，并且在不同的目的地上使用另外的子频带。

该通信系统可以包括多个目的地。每个目的地可以被配置去使用与一个或多个子频带有关的不同数量的接收数据。

本发明还可以提供一种计算机可读的介质，该介质被配置去提供以上方面特征的任何一个。

附图简要说明

现在将参考伴随的附图仅仅通过举例来给出描述，其中：

图1示出连接三个端点的网络的例子；图2示出信源端点的例子；

图3示出具有不同的显示性能的二个目的地端点的例子；

图4示出目的地端点的收集器状态的例子；和

图5和6示出目的地端点的处理的流程图。

优选实施例详细说明

图1举例说明通用三方电视会议，包括经由网络4相互通信的端点1、2和3。端点1、2、3可以是提供数据的信源端点，或者接收数据的目的地端点。当然，端点1、2、3可以两者都是信源和目的地端点。

在该例子中，考虑端点1和3支持高分辨率，或者所谓的HD(例如，1920×1080)视频分辨率，但是端点2仅仅例如支持960×540。当端点2是传统端点的时候，可能出现这种情形，其中其结构与当今的端点不相同。但是，其还可以是以下的情形，可能在满足前言部分之后，端点2的用户已经选择在尺寸方面减小接收的视频窗口，以便显示器的大部分投入于共享的显示资料。从而，在小的窗口中再现HD图像时没有可感觉到的益处，在小的窗口中编码、传送和再现HD图像时将浪费资源。

在这个例子中，端点1、2、3经由网络4互连，该网络4是共享的分组交换网络，例如，因特网。虽然这样的互连可以能够传送足够的带宽去支持最高分辨率的传输，使用可用带宽不是必然所希望的，因为该连接是共享资源。如果经由共享网络连接的端点1、2、3只是尝试以由互连网路支持的最大分辨率传送视频，公用通道由连接端点的电路开关使用，那么该网络的共享部分的其他的用户将受影响。

例如，如果通话耗费很大的带宽，由网络的任何给定分段支持的最大数独立的通话可以减小。而在这样情况下，由非实时用户看到的性能将减小，例如，网页将缓慢加载，下载将花费更长时间。

因此，在这种情况下，尝试减小或者最小化由在视频信源(例如，端点1)和多个视频目的地(例如，端点2和3)之间的连接耗费的总带宽可能是所希望的，尤其地，当一些目的地不能够，或者用户不希望的时候，信源视频(例如，端点2)的全质量。此外，尝试减少端点处理资源可能是所希望的，例如，在信源上耗费的处理资源，这里该信源视频被仅仅编码一次(在该行业已知如视频可缩放性)。

如论述的，图1举例说明采用经由网络互连的3个端点的3方电视会议的例子，但是，可以使用更多的端点1、2、3。类似地，应该理解，网络4可以是任何类型的网络，诸如任何分组交换网络。例如，该网络可以是IP网络，其例如可以是专用(公司)网、公共网(例如，因特网)，或者公共和专用网的组合等等。

在这个实施例中，视频媒体流被编码、传送和解码。在这里，这是在视频通话建立之后实现。包括媒体流等等的视频通话可以容易地使用已知的方法建立。类似地，呼叫建立可以使用任何标准化协议，例如，供对传统端点建立通话的情形使用的标准化协议。

呼叫建立可以采用专有协议去优化通信网络的操作。这样的协议可以允许目的地端点发送给信源端点日期或者有关其性能、资源、用户的需要等等的信息。

在以下的描述中，将考虑在端点1上来源，和显示在端点2和3上的视频的传输。但是，类似的方法可用于将视频从端点2和3传送到其他的端点。端点除了详细描述的那些以外可以包含许多其他的功能，诸如指的是建立通话和操纵通话的音频部分。

图2举例说明信源端点1的特征。为了清楚已经省略了接收视频过程和其他的功能。

端点1包含二个原理功能：视频信源22和视频处理器24。该处理器24从信源22接收视频信号。在这个例子中，该处理器被配置去经由单个IP连接11连接到端点2，和经由四个IP连接12连接到端点3。

视频信源22可以是混合或者切换到单个输出信号26的单个摄像机或者多个照相机。其还可以是，或者包括来自视频记录设备的输出。在这个实施例中，结果信号26是HD(1920×1080)视频数据流。

该处理器被进一步配置为滤波器组。

在这个例子中，滤波器组结构涉及分别地以低通滤波器244和高通滤波器245滤除信号f，然后在下采样器246、247中通过二点下采样它们的每个。这可以被认为是分析或者分解阶段。如将描述的，跟随合成或者重建阶段，其中以上滤除/下采样的信号两者可以通过二点上采样(参看图3，380和381)，分别地由低通滤波器

(参看图3，390)和高通滤波器(参看图3，391)滤除，并且其然后将这二点滤除的输出(参看图3，392)合计在一起以提供最终重建的信号

理论上，如果以下的二个条件满足，可以达到完美的重建(PR， $f=\hat{f}$ )：

$L\left(z\right)\tilde{L}\left(z\right)+H\left(z\right)\tilde{H}\left(z\right)=2$

$L(-z)\tilde{L}\left(z\right)+H(-z\}\tilde{H}\left(z\right)=0$

这里L(z)、

H(z)和

分别地是滤波器L、

H和

的Z-变换。

对于滤波器组在图像上的应用，例如压缩，以上的分解/重建阶段分别地适用两次：一个在图像的行上(参看图2，244和245；图3，390和391)，另一个在图像的列上(参看图2，250；图3，360)。

对于使用上述的滤波器组方法的图像压缩，在分解阶段之后，编码过程可以适用于四个子频带LL、LH、HL和HH。

在这里，有可能从编解码器本身中分离可升级的视频编码属性，即，独立的编解码器。

在这个实施例中，端点使用H.264或者MPEG4用于每个子频带的编码。在某些例子中，LL频带具有更多的能量集中，其中像素值介于[0，255]的范围中间，并且LH、HL和HH子频带具有更少的能量集中(沿着边缘高频分量)，并且像素值介于[-128，+128]的范围中间。

对于实际的图像和视频信号，对于这四个子频带能量集中的顺序是LL＞LH＞HL＞HH。因此，可以像通常的视频编码过程一样进行LL的编码，同时在将它们放置进标准视频信号编解码之前，常数-128可以被增加给LH、HL和HH子频带。

由于LL子频带具有最多的能量集中，更大的带宽可以分配给其编码的比特流，另一方面，HH与其他的子频带相比具有最小的能量集中，并且因此，可以提供更小或者甚至最小的带宽分配。为了增加错误弹性，具有错误或者没有接收的更高的频带可以丢弃。

使用滤波器组技术模块244至260，有可能构成分析滤波器组。在这个例子中，该帧缓冲器242的内容被处理以填充四个缓冲器270，每个为帧缓冲器242的四分之一大小。应该理解，四分之一大小不是必需的。在进一步的例子，具有适宜的下采样的非二元的滤波器组将同样工作。

在第一级中，低频带信号248是经由低通滤波器244和下采样器246处理帧缓冲器242内容的结果。类似地，信号249是经由高通滤波器245和下采样器247处理242内容的结果。在一个实施例中，低通分解滤波器244、高通分解滤波器245、低通重建滤波器390以及高通重建滤波器391或者是Haar滤波器组，或者是双正交的9-7(CDF917)滤波器组。

在第二级中，低和高频带信号248和249类似地进一步由四个滤波器250和向下采样器260分成子频带，导致4个缓冲器包含指定为LL、LH、HL和HH的信号270。缓冲器270是原始信号26的一个帧的4个子频带。

此时，产生的四个信号272每个当做一个单独的视频信号，与另外的三个无关。远程设备可以连接到这些视频信号的一个、某些或者全部。

也就是，在与端点2(其是传统端点)通话建立期间，编解码器类型，例如H.264协商。然后，LL视频信号272被在模块280中编码。产生的压缩视频信号282连接到IP发射机296，然后经由虚拟IP连接11到端点2。在这一点上应该理解，发射机TX可能只是端接TCP/IP虚拟连接的端口。

显然是，LL缓冲器包含视频的一个帧，该视频是包含在缓冲器242中的原始帧(例如1920×1080)的低分辨率版本(例如，960×540)。

为了简化解释，选择端点2具有信源端点1精确地四分之一分辨率。通常，该滤波器组可以在呼叫建立期间被动态地配置，使得LL缓冲器近似地匹配具有最低分辨率的端点的分辨率。在那种情况下，解码器可以重新商议。

例如，考虑该例子，当端点2是传统640×480电视会议单元的时候，然后，该分析滤波器组被配置，使得存在九个640×360缓冲器270，每个为帧缓冲器242的三分之一水平和垂直分辨率。在这个例子中，该滤波器组可以被设置仅仅一次，并且不重新商议。可升级的视频编码器提供某些等级，然而并非每个大小完全地适合。其可以做的更好。因此，如果滤波器组已经设置其LL是960×540，那么，需要640×480的端点将接收960×540。

以类似端点3的方式，详细的操作将如下所述，连接的所有4个信号272，即，导致IP信号12的LL缓冲器，在14中LH，在16中HL和在18中HH。在这个例子中，假设端点3协商与端点2相同的LL编解码器(例如，H.264)。

现在参考图3，举例说明目的地端点，端点2将识别为采用按照已知的方法的信号处理操作的视频端点。

端点3包括二个主要功能：显示器34和目的地视频处理器功能32。

在操作的初期，用于4个信号12、14、16和18每个的端点3的接收机320和编解码器330类似于在端点2中相应的操作，这里IP信号11结果形成可显示的视频信号331。事实上，信号332和331两者都是作为传输缺损结果延迟和恶化的信号272(参看图2)的复制。类似地，信号334、335和336是信号274、276和278的副本，每个作为只有特定的连接才有的传输缺损结果不同地延迟和恶化。这些信号然后由收集器340处理，其操作将在下面更详细地描述。收集器340的目的是优化信号342、344、346和348，使得不管传输缺损，它们分别地最如实地和以同等的延迟再现信号272、274、276和278，即，帧按照时间戳对准。

接收视频处理器32的其余的阶段将从如上所述的滤波器组技术中了解到。模块360至392是合成滤波器组，对应于在信源端点1中的分析滤波器组。如论述的，该合成和分析滤波器组可以设计成完美的重建。

现在将更详细地描述收集器340。在举例的实施例中，该收集器包括四个并联先进先出(FIFO)缓冲器，一个用于每个子频带(例如，分别地输入信号332-338、输出信号342-348)。在下面涉及的信号或者内容包括一连串的单个图像帧子频带或者子帧。

使用本发明示范的实施例的流程图举例说明收集器的操作。

图5是示范的收集器主处理程序的流程图。每当新的子帧抵达子频带332、334、336或者338的一个时，这个过程在502上调用。在这个图中，子频带由标引[s]引证(这对应于在下面更加特定的例子使用的LL、LH、HL或者HH的一个)。新的子帧具有位置特征，其与在视频序列中帧的时间有关。在这个例子中，使用时间戳，或者所谓的TS属性，其用于确定其将在与子频带有关的收集器排列中放置在哪里(或者是否其将被丢弃)。

子频带由标引[q]引证(这对应于稍后特定的例子使用的列1、2或者3)。这个存储缓冲器寻址术语图形地举例说明590。在缓冲器中每个存储器称为位置[q][s]。一旦新的子帧放在收集器中，另外的缓冲器管理动作可以调用如下。

由于该过程已经由抵达给定子频带的子帧调用，因而，用于该子频带的反missCount[s]是零504，并且子频带在其中排列的所有缓冲器被标记expectedFULL506。当这个过程稍后由在另外的子频带上到达的子帧调用的时候，使用这些变量(参见图6)。

下一个步骤，找到缓冲器508将确定新的子帧位置进其中的排队等级[q]的emptylndex。如果有等于新的子帧TS的TS，其被设置为[q]。不能如此，其被设置为下一个空[q]等级，或者不能如此，步骤508报告没有找到缓冲器，并且还确定在该队列中最老的TS的值，oldestTS，以及其处于哪个排队等级，oldestlndex。

在正常的情形下，508报告找到缓冲器，判定块510移动执行至512，将识别的emptylndex设置为在后面的步骤中使用的变量qlndex。

在508报告没有找到缓冲器的情形下，判定块510移动执行至另一个决定516。如果最新抵达的子帧的TS比oldestTS新预定的阈值量(例如，200ms)，那么执行继续进行至518，在这里最老的子帧被丢弃。不然的话，在520上只不过是丢弃最新抵达的子帧(其事实上非常老了)、没有更进一步的动作。

稍后将更详细地描述步骤518。或者经由512或者518，其中两者都导致最新抵达子帧将放置其中的队列等级的标引，执行继续到处理子频带514，这里子帧被复制进由标引和子频带指定的位置。

在514内，如果由标引指向的新的子帧完成一组expectedFull子帧，那么启动重建。该相关的收集器缓冲器，和具有以前的TS的任何一个全部都设置为空。这完成该过程。

图6是详述HandleMissing步骤518的流程图。其被以参数标引＝具有最老的TS的队列q调用。这个步骤重新评估对于每个非子基带的expectedFULL。如果部分帧现在可以显示，另外，部分帧被丢弃。总之，在这个例子中，该步骤在新的子帧可以放置514其中的收集器中以空的等级退出。

图6包括经由每个子频带j分步的回路606-620。如果该缓冲器(位置[标引][j])不是expectedFull608，那么，执行继续到下一个j，另外，用于这个子频带的miscount[j]加1。如果这个子频带j是“基数”612，那么该帧不能被重建，这标记为614以便可以在回路之后使用。另外，如果misscount已经超过预定的阈值，步骤616，那么，用于子频带的整个队列标记为expectEmpty618。在优选实施例中，这个阈值是6。在620上，该回路的末端，如果所有子频带已经处理，那么执行继续到630，在这里测试allBase标记。如果上述的帧现在包含所有基础子帧，那么该帧被重建632，不然的话，该帧被丢弃634。这结束这个步骤。HandleFullFrame632启动该重建，跟随其该相关的收集器缓冲器，和具有以前的TS的任何一个全部都设置为空。

参考图4，通过一个例子，描述收集器的实施例。在其FIFO中，使用公用“管道”模拟(可以使用任何公知的实现方法)举例说明。标记(LL1)等等涉及FIFO存储器等级(不是内容)。在典型的FIFO中，抵达的内容填入左侧存储器，然后，“流”向右侧，直到在其右侧上没有空的存储器为止。当内容被从右手侧除去的时候，其余的内容全部右移位(类似在抽奖机器中的球)。

但是，该收集器的并行的FIFO不独立地操作，而是每个等级的内容基于内容时间戳(TS)对准。如果不空，在给定等级(垂直)上所有内容将具有相同的TS。这需要修改为典型的FIFO操作。除了当新的内容的TS对应于向右的现有的存储器的TS时候，新的内容将“流”向右，直到没有到其右边的存储器空列为止。在这种情况下，新的内容将跳进应该为空的存储器。这是为容纳被称为丢失(或者滞后)分组和分组抵达失序的IP传输缺损所必需的。

在图4中特定的例子将阐明这个操作。图4a示出一个示范的状态。这个状态可以在连续的到达6个子帧之后从初始的空态达到，3具有公用TS(填入LL1、HL1和HH1)，和2个具有新的TS(填入LL2和LH2)。应该从先前的描述中了解到，假如具有最老的TS(值＝100)的子帧的一个首先抵达，这些子帧可以以任何顺序抵达。

图4b举例说明在4a之后的收集器状态，接着在具有TS等于100的LH子频带中到达子帧(即，在收集器中最老的子帧)。一旦抵达，这个子帧将“跳进”LH1。这导致处于等级1之中的所有存储器是满的。当处于等级1之中的所有存储器是满的时候，其内容被输出(实质上并行)用于重建(上采样350开始重建直到抖动缓冲器398，如以前描述的)。继此之后，等级2的内容，TS＝200将向右移动进入现在空的等级1。

做为选择，如果图4a的状态后面有在具有新的TS，例如，TS＝300的LH子频带中子帧的抵达，其将放置在LH3中，并且没有更进一步的动作。

即使所有具有特定的TS的想要的子帧由于传输缺损没有及时到达，该收集器的另一个方面允许子帧去重建和显示。这些将从本发明的目的中了解到，其允许低分辨率图像去显示在举例的端点2上。在这个例子中，假若所有基础子帧已经抵达，上述的重建是可能的。举例来说，基础子帧是用于图像部分重建的子帧。

该收集器FIFO具有预定的深度。为了说明性的目的，该收集器具有三个深度。当然，这仅仅是示范性的，并且在再一个实施例中，该收集器深度是6(在30fps上，FIFO将保持198ms的视频)，但是，当然可以使用其他的值。

如果所有等级包含至少一个子帧，不同的TS的每个，并且在任何子频带上具有唯一的、更迟的TS的新的子帧抵达，那么，用于其的空间将安排如下。如果所有基础子帧存在于等级1中(在这个例子中，LL1是足够的)，等级1的内容被输出用于重建。如果基础子帧不是全部存在，那么整个分段的帧(列)被丢弃。总之，FIFO等级1被清空，并且其他的等级可以向右移动。空间现在可用于新的子帧去放置在等级3。

当未完成的帧被以这种方法重建的时候，在收集器中丢失的子频带被标记为期望空的，并且将用这种方法保持，直到在期望空的子频带中子帧及时抵达为止，于是该标记被除去。这允许在有流出丢失的子帧的情况下及时地重建帧。视频将临时地恶化，但是没有丢失。

图4d举例说明按照本发明的这个方面示范的收集器状态。在该图中，对于不确定的一段时间HH子频带已经丢失，并且标记为期望空的。如果现在在具有TS＝100的LH子频带中子帧抵达，那么其被弹入LH1，并且等级1被输出用于重建，导致在图4e中示出的收集器状态。

做为选择，如果在4d的状态之后，然后下一个新的子帧处于子频带HH中，并且TS等于(或者迟于)当前在收集器中的最老的TS，然后其将被放置在适宜的存储器中。这在4f中举例说明。具有TS＝100的新的HH子帧放置在HH1中，并且HH子频带现在变为期望满。

但是，这没有导致重建，因为LH1仍然是空的，并且期望满。

当然，在选择举例说明本发明一个实施例的例子中，所有4个信号342、344、346和348分别地2×上采样360，但是，2×仅仅是一个特定的例子。滤波器360分别地是信源滤波器250的补偿。二个子低通滤波器的输出被加性地混合370，类似地，二个子高通滤波器的输出被加性地混合371。这二个信号被分别地2×上采样380。分别地具有对信源滤波器244和245互补特征的滤波器390和391处理上采样信号，在其之后，它们被加性地混合392以输出重建的HD视频信号394，在理想条件下，其是信源视频信号26的延迟副本。同样，要在目的地端点上重新组合以再现原始信源视频的全分辨率的信号的数目不是必然是四个，而是等于在信源端点上产生的子频带的数目，即，子频带缓冲器270的数目。

视频数据流26首先存储在帧缓冲器242中。在一个实施例中，这是二个缓冲器的一个，其被在替换的帧上填入。当一个帧缓冲器正在填入内容时，另一个被处理。

本领域读者应该理解，取决于实施细节，在信源和目的地视频处理器24和32(即，所有实线箭头)中示出的某些或者全部信号可以被缓存(或者双重缓存)。或者，做为选择，多个信号处理功能可以在需要极少缓存的单个步骤中处理。在该图中为了清楚，缓冲器已经省略。

除了丢失确定“期望全或者空”的子频带之外，带外机制(例如来自发送者的明确的消息)可以对于该队列设置期望全或者空的标记。

在一个实施例中，使用四个子频带。显然是，子频带的数目可以通过增加滤波器组的级增减，或者相反以公知的方法重新设计滤波器组。这种结构可以是动态的，也就是，子频带的数目可以在呼叫建立时间确定，而不是在给定的端点固定。

也就是说，所描述的装置的任何一个可以包括硬件电路和/或固件，例如，现场可编程门阵列、专用集成电路等等。该装置可以包括加载到存储器，例如，由处理器包括的存储器等等上的软件。该处理器和存储器可以具有除了所描述的那些之外的用途。例如，该装置可以在个人计算机、膝上型电脑、蜂窝设备、便携式多媒体设备等等上实现。

本领域读者应该理解，任何电路或者特定的装置的特征可以由装置提供，该装置安排使得它们变为配置去只有当启用(例如，接通)等等时执行想要的操作。在此情况下，它们不能必然地具有在不允许状态(例如，关闭状态)下加载进有源存储器中适宜的软件，和仅仅在允许状态(例如，接通状态)下加载适宜的软件。

如已经描述的，在传送视频信号之前，其可以被首先使用滤波器组分解为子频带。在描述的例子中，子频带，诸如视频子频带然后被分别地使用编码器编码。这些一个或多个视频子频带被传送给目的地。

当然，某些子频带可能在传输中丢失。但是，接收的那些可以被重建为视频数据流用于显示。

子频带被选择使得一个或多个构成“基础”。子基带可以在有或者没有非子基带的重建中使用。仅仅使用子基带导致低的分辨率的图像。如果一个以上的子频带被使用，那么，在重建之前所有子频带被重新校准。如果所有子频带被在重建时使用，如果不均等，视频的质量类似于原始视频信号的质量。

本领域读者应该理解，以上描述的方法可以是独立的编解码器。也就是说，与使用在编码器内的滤波器组相反(其可以是相关的编解码器)，其可以与任何编解码器(例如，H264、H263、MPEG4、MPEG2、MPEG1、未来的编解码器、H264可升级的视频编码(SVC))工作。此外，提供了低的延迟，因为每个子频带被独立地编码，并且不取决于其他层的编码。类似地，该实施例可以独立的实现。也就是说，一旦实现，H264AVC或者SVC的任何实施例可以与其一起使用以具有空间可缩放性。

以上描述的实施例可以被认为是允许空间地可升级的视频。

应该理解，前面提到的电路装置、设备等等的任何一个可以具有除了提及的功能之外的其他的功能，并且这些功能可以由相同的电路/装置/设备执行。

本申请人在此孤立地公开了在此处描述的每个独立的特征，并且两个或更多个上述的特征的任何组合达到这样的程度，这样的特征或者组合能够鉴于所属技术领域的专业人员的公用常识整个地基于本说明书执行，不管是否这样的特征或者特征的组合解决在此处公开的任何问题，并且不局限于权利要求书的范围。

本申请人指示本发明的许多方面可以由任何这样的独立特征或者特征的组合组成。鉴于先前的描述，对于本领域技术人员来说很显然，可以在本发明的范围内进行各种各样的改进。

虽然已经示出和描述以及指出了本发明作为适用于其优选实施例的主要的新颖性特征，应该明白，可以由那些本领域技术人员不脱离本发明的精神，在所描述的设备和方法的形式和细节方面进行各种各样的删节和置换以及改变。

例如，其明显地意欲，以实现相同的结果的大体上相同的方式执行大体上相同功能的那些单元和/或方法步骤的所有组合是在本发明的范围之内。另外，应该认识到，与任何公开的形式，或者本发明的实施例结合示出和/或描述的结构和/或单元和/或方法步骤可以以任何其他公开或者描述或者提出的形式，或者作为设计选择的常规事项的实施例结合。因此，其是仅仅如由到这里所附的权利要求书的范围表示的限制意图。此外，在权利要求书中，任何装置加功能语句意欲覆盖作为执行叙述的功能在此处描述的结构，并且不仅结构等效，而且等效结构。

Claims (34)

1.一种经网络传送可视信息的方法，所述方法包括：

滤除全分辨率图像信号以生成一系列的子频带，其中，至少一个所述子频带构成表示降低分辨率的图像的子基带，并且其中，额外的子频带携带更高的分辨率信息；和

将至少所述子基带传送给远端端点以允许在远端端点上以一个取决于用于重建图像的所述子频带数目的分辨度图像重建。

2.根据权利要求1所述的方法，其中，仅仅将所述子基带传送给所述远端端点以允许重建所述降低分辨率的图像。

3.根据权利要求1所述的方法，其中，一个或多个所述额外的子频带被传送给所述远端端点以允许相对于所述降低分辨率的图像重建提高分辨率的图像。

4.根据权利要求3所述的方法，其中，所有所述子频带被传送给所述远端端点以允许以全分辨率重建图像。

5.根据权利要求1～4任一项所述的方法，其中，所述子频带是动态地可配置的，使得在具有最低的分辨率的所述网络中由所述子基带输送的图像分辨率匹配端点的分辨率。

6.根据权利要求1～5任一项所述的方法，其中，所述图像信息是视频信息，并且进一步包括在帧缓冲器中临时地存储所述全分辨率视频信号，将所述视频信号经由包括下采样器的滤波器组从帧缓冲器传送到包含子频带视频信号的一系列的缓冲器，并且经由用于传输的相应的编解码器在网络上作为单独的视频数据流传送所述子频带视频信号。

7.根据权利要求6所述的方法，其中，包含在所述子频带中的子帧被与时间戳一起传送。

8.根据权利要求6所述的方法，其中，一对高低通滤波器以级联的方案安排，每对滤波器后面有下采样器。

9.根据权利要求所述6的方法，其中，在一个或多个所述相应的编解码器和所述远端端点之间建立虚拟连接。

10.根据权利要求1～9任一项所述的方法，其中所述远端端点形成电视会议的一部分。

11.一种经网络从远程端点接收可视信息的方法，所述远程端点提供作为单独的数据流分解成一系列的子频带的全分辨率图像信号，其中，至少一个所述子频带构成表示降低分辨率的图像的子基带，并且其中，额外的子频带携带更高的分辨率信息，所述方法包括：

确定要显示的图像要求的分辨率；

建立到所述远程端点的一个或多个连接以接收至少所述基带，和至少与以要求的分辨率重建图像可能需要的同样多的额外的子频带；和

从所述接收的子频带中以要求的分辨率重建所述图像。

12.根据权利要求11所述的方法，其中，仅仅接收所述子基带以允许重建降低分辨率的所述图像。

13.根据权利要求11所述的方法，其中，接收一个或多个所述额外的子频带，并且相对于所述降低分辨率的图像的提高分辨率的图像是通过重新组合所述子频带重建的。

14.根据权利要求13所述的方法，其中，接收所有所述子频带，并且以全分辨率的图像是通过重新组合所述子频带重建的。

15.根据权利要求13所述的方法，其中，所述可视信息是视频信息，并且进一步包括将所述子频带传送进收集器，用于在所述子频带中携带的视频子帧临时的校准。

16.根据权利要求14所述的方法，其中，所述子帧在收集器中基于与子帧有关的时间戳。

17.根据权利要求15所述的方法，其中，所述子帧存储在缓冲器中，并且以临时的校准读出缓冲器。

18.根据权利要求17所述的方法，其中，所述缓冲器是FIFO(先入，先出)存储器，并且所述子帧以临时的校准经由FIFO移位。

19.根据权利要求18所述的方法，其中，如果新抵达的子帧比在缓冲器中最老的子帧就预先确定的阈值来说更加新，在缓冲器中所述最老的子帧被丢弃。

20.根据权利要求15～19任一项所述的方法，其中，所述对准的子频带被经由反滤波器组传送以重建要求的分辨率的所述图像。

21.根据权利要求20所述的方法，其中，所述反滤波器组包括上采样器。

22.根据权利要求11～21任一项所述的方法，其中，所述远程端点形成电视会议的一部分。

23.一种用于经网络传送可视信息的装置，所述装置包括：

用于滤除全分辨率图像信号以生成一系列的子频带的滤波器组，其中，至少一个所述子频带构成表示降低分辨率的图像的子基带，并且其中，额外的子频带携带更高的分辨率信息；和

用于将至少所述子基带传送给远端端点以允许在远端端点上以一个取决于用于重建所述图像的子频带数目的分辨度的图像重建的一个或多个发射机。

24.根据权利要求23所述的装置，其中，所述子频带是动态地可配置的，使得在具有所述最低的分辨率的网络中由所述子基带输送的图像分辨率匹配端点的分辨率。

25.根据权利要求23所述的装置，其中，所述滤波器组包括一对高低通滤波器的级联的方案，和用于在每个子频带中临时地存储数据的一系列的缓冲器。

26.根据权利要求23所述的装置，进一步包括一系列的编码器被连接以输出相应的缓冲器，用于在所述子频带中准备数据，供经网络传输。

27.根据权利要求23～26任一项所述的装置，其中，所述一个或多个发射机包括经网络端接虚拟连接。

28.根据权利要求23～27任一项所述的装置，所述装置是可视会议系统的一部分。

29.一种用于经网络从远程端点接收可视信息的装置，所述远程端点提供作为单独的数据流分解成一系列的子频带的全分辨率图像信号，其中，至少一个所述子频带构成表示降低分辨率的图像的子基带，并且其中，额外的子频带携带更高的分辨率信息，所述装置包括：

用于接收所述基带和或者更多额外的子频带的一系列的接收机；

用于临时地对准所述接收的子频带的收集器；和

用于将所述接收的子频带重新组合为具有取决于用于重建图像的子频带数目的分辨度的图像的反滤波器组。

30.根据权利要求29所述的装置，其中，所述反滤波器组包括继之以上采样器的级联的多对高低通滤波器。

31.根据权利要求29所述的装置，其中，所述收集器包括用于临时地存储所述进来的子帧的并联的缓冲器组，并且其中，所述收集器被配置去在缓冲器中基于与所述相应的子帧有关的时间戳按顺序放置所述进来的子帧，并且以临时的校准读取它们。

32.根据权利要求31所述的装置，其中，所述收集器被配置当新抵达的子帧具有比所述最老的子帧按预定的阈值的时间戳新的时候，去丢弃具有最老的时间戳的所述子帧。

33.根据权利要求29～32任一项所述的装置，其中，所述接收机包括经网络端接虚拟连接。

34.根据权利要求29～32任一项所述的装置，其中，所述装置形成电视会议系统的一部分。

Images