CN102823245A - 具有减少的内存需求的视频传输系统 - Google Patents

Abstract

在此披露了一种编码器以及一种利用该编码器对视频流进行编码的方法。该编码器包括一个输入端口，该输入端口接收包括多个帧的一个视频流。一个第一压缩子系统利用一种有损压缩方法产生多个压缩参考帧；这些压缩参考帧被传输至一个远程装置。一个参考帧存储子系统以一种压缩格式存储这些压缩参考帧之一，以用于利用一种有损压缩方法来压缩该视频流中的一个后续帧。一个第二压缩子系统利用在该参考帧存储子系统中存储的压缩参考帧作为参考对第二多个帧进行编码，该第二压缩子系统产生一个压缩视频帧。非参考帧的每个压缩视频帧是直接从这些参考帧之一进行编码的。

Description

具有减少的内存需求的视频传输系统

背景技术

本专利申请要求于2010年4月7日提交的澳大利亚临时专利申请2010901452的优先权，该专利通过引用结合在此。

视频资料的传输和存储方案通常采用压缩方案以减少与视频资料相关的存储和带宽要求。一类压缩方案是利用视频序列的连续帧之间的冗余性。在这些方案中，连续帧根据参考帧的变换形式来表示。例如，在块运动预测方案中，将每个帧分为多个固定尺寸块。有待传输的帧首先根据参考帧的块进行编码，方法是在参考帧中找到与该有待传输的帧对应的块相匹配的块。然后编码帧最初可以通过一个矢量列表来近似，这些矢量指定了参考帧中的一个块向该有待编码的帧的相应块的运动。接着利用适合的压缩算法对该近似形式和实际帧之间的差进行编码。由于近似帧和实际帧之间的差比实际帧包含更少的信息，所以大大节约了需要用来表示新帧的比特数量。

需要存储参考帧的内存量是一个重要问题，尤其是在小型手持式装置的高分辨率视频传输中。小型手持式装置通常取决于片上系统设计，这种设计不具有足够的内存来保存高分辨率传输的参考帧。因此，需要一个独立的存储芯片或多个芯片。这些附加的芯片增加了装置的成本，并且另外耗用了大量额外电能。额外的电能对使用电池的装置而言是一个严重的问题。

内存问题的一个可能解决方案是使用压缩算法来在其内存中存储参考帧。当压缩引擎需要参考帧的像素时，压缩参考帧将被部分地解压缩以便向压缩引擎提供像素。如果使用无损压缩方案来存储参考帧，则在手持式装置(例如以上讨论的那些装置)中的内存节约不足以满足附加内存的需求。

如果使用有损压缩方案存储参考帧，则发射器所使用的参考帧将不同于接收器所使用的参考帧。这使得在接收器产生的视频序列中出现伪影。这些伪影在压缩方案中十分棘手，因为在压缩方案中每个帧都利用前一个帧作为它的“参考”帧。在这种系统中，伪影在每一个帧上变得更为明显。

发明内容

本发明包括一种编码器和一种使用该编码器对视频流进行编码的方法。该编码器包括一个接收视频流的输入端口，该视频流包括有待编码的多个帧。一个第一压缩子系统利用一个第一有损压缩方法产生多个压缩参考帧。一个输出级将该多个压缩参考帧传输至远离该编码器的一个装置。一个参考帧存储子系统以一种压缩格式存储该多个压缩参考帧之一以用于压缩该视频流中的一个后续帧，该压缩参考帧是利用一个第二有损压缩方法进行压缩的。一个第二压缩子系统利用在该参考帧存储子系统中存储的压缩参考帧作为参考对第二多个帧进行编码，该第二压缩子系统产生一个压缩视频帧。非参考帧的每个压缩视频帧是直接从这些参考帧之一进行编码的。该第二多个帧还传输至远程装置。

附图说明

图1展示了一种协议，在该协议中多个P帧直接从相同的I帧中产生。

图2展示了被称为前一帧编码的第二编码模式。

图3是根据本发明的一个编码器系统的一个实施方案的简化方框图。

图4是根据本发明的一个实施方案的一个编码器的更详细的示意图。

图5是根据本发明的一个编码器的另一个实施方案的示意图。

图6是根据本发明的一个编码器的另一个实施方案的示意图。

具体实施方式

为了简化以下讨论，将定义两种类型的视频帧。第一类型的视频帧将被称为参考帧或I帧。I帧并不取决于任何前序或后续帧。第二类型的视频帧将被称为P帧。P帧是参考视频序列中的另一个帧进行编码的。P帧不能根据I帧或根据前一个P帧进行编码。现在参考图1，该图展示了一种协议，在该协议中多个P帧直接从相同的I帧中产生。在这种视频传输方式中，I帧101从编码器发送至解码器。然后根据这种I帧对视频流的每个连续帧102进行编码。当I帧不再良好近似于帧序列时，发送新的I帧103，接着根据该I帧对多个P帧104进行编码。在以下讨论中，这种方式称为直接I帧编码。

现在参考图2，该图展示了称为前一帧编码的第二编码模式。在这种模式中，编码器从发送I帧111开始。接着参考前一个接收的帧对每个下一帧进行解码。利用I帧作为参考对帧112进行编码；利用帧112作为参考对帧113进行编码，以此类推。当情况变化为前一个帧与下一个帧不再良好近似时，发送新的I帧，以114示出。后续的帧再次根据前一个帧进行编码。也就是说，帧115采用帧114作为其参考；帧116采用帧115作为其参考，以此类推。

现在参考图3，该图是根据本发明的编码器系统的一个实施方案的简化方框图。编码器120运行在上述的第一模式中。也就是说，每个P帧直接从一个I帧中产生。编码器系统120接收包括一系列帧的输入视频流。每个帧由编码器121利用有损压缩算法进行编码，以产生传输至于远程解码器的压缩视频输入。如果当前正在编码的帧是I帧，则编码器121压缩该帧，无需参考一个参考帧。如果当前正在编码的帧是P帧，则编码器121访问在内存中存储的参考帧，该内存是参考帧存储组件124的一部分。如果当前帧对于一个或多个后续帧变为一个参考帧，则来自编码器121的编码视频就存储在参考帧存储组件124中。

如上所提及，需要存储一个或多个参考帧的大容量内存产生了一些问题，尤其对于电池供电的小型手持式装置。因此，参考帧存储组件124以压缩格式存储参考帧。为了提供所需等级的压缩，必须采用有损压缩系统。如果损失在编码器系统中产生了不同于远程解码器所用参考帧的一个参考帧，则视频伪影将在远程解码器上产生。这些伪影在以上讨论的每个P帧使用前一个P帧作为其参考的第二传输模式中是严重的问题，因为编码系统和远程解码器所使用的参考帧之间的差随着每个连续P帧而增加。

在本发明的一个方面，用于存储参考帧的有损压缩算法与编码器121所使用的算法同样是用于压缩图像。由于远程解码器还利用这种算法重新产生参考帧，所有通过在编码子系统上压缩参考帧不会产生额外的退化。参考帧存储组件124存储整个压缩参考帧，该参考帧包括需要解码该参考帧的任意附加信息。

现在参考图4，该图是根据本发明的一个实施方案的编码器10的更为详细的示意图，该编码器运行在以上讨论的第一模式中，在该第一模式中根据I帧而不是前序P帧对每个P帧进行压缩。I帧和P帧都是利用变换进行压缩的，该变换取决于所实施的具体压缩协议。对于I帧而言，压缩算法可能更易于理解。在一个示例性方法中，I帧被分为多个像素块。每个块利用二维变换(例如21所示的离散余弦变换(DCT)或小波变换)进行变换。然后量化变换系数，如22所示。也就是说，每个系数由逼近当前的系数值的多个值中的一个来代替。可用于每个系数的可能的量化值的数量取决于将要获得的压缩程度。这种处理在本质上是“有损的”，因为原始的系数值不能再恢复，所以不能从量化系数十分精确地恢复原始帧。例如，如果变换系数值的变化范围从0至10并且只有10个等级可以使用，则每个变换值可以被取整到最近的整数值。因此，变换值6.3将由值6取代。

然后，通常利用无损压缩系统23对系数和其他信息的集合进一步进行压缩，该系统考虑了压缩图像中的冗余和每个值出现在压缩图像中的频率。这种处理完全是可逆的，因此不会导致进一步的图像退化。无损压缩通常提供压缩因子2。有损压缩可以为I帧提供大约12∶1的压缩因子。当控制器25产生新的I帧时，控制器25将压缩的I帧的拷贝存储在参考帧存储组件24的内存27中。

P帧是利用两步处理算法进行压缩的，在该算法中P帧所依赖的I帧用于利用运动补偿系统26产生近似帧。然后从输入帧中减去这种近似图像以提供差值图像。通常利用运动估计和补偿算法来构建近似帧；然而，可以采用减少视频流的多个帧之间的时间冗余度的任何算法。接着如以上所讨论对所得的差值图像进行变换和量化。

在近似帧的产生过程中，I帧存储在参考帧存储组件24中。当运动补偿系统26需要所存储的I帧的像素时，利用恢复当前块的量化系数的解压缩级28对压缩图像中的相关块进行解压缩。接着，利用逆向量化器29对量化进行逆运算。最后利用逆变换30产生块的像素。

本发明基于以下观察：在传输之前用于压缩I帧的同一个有损压缩算法可用于减少编码器所需的存储空间，并且所得的重构参考帧与解码器所使用的帧准确匹配。当在后续的P帧处理过程中需要参考帧值时，存储在内存27中的压缩参考帧的一部分被解压缩并提供给运动估计系统26。解压缩利用解压缩器28、逆向量化器29以及逆变换30。

图4中所示的实施方案采用将I帧传输至解码器以在存储器27中存储I帧所使用的相同无损压缩算法。然而，可以采用其他无损压缩算法或可以取消无损压缩。现在参考图5，该图是根据本发明的一个编码器的另一个实施方案的示意图。在编码器40中，在通过变换21和量化器22已经压缩了I帧之后，控制器25将I帧拷贝至内存系统41。在内存27中存储I帧之前，内存系统41使用独立的无损压缩器42。相应的解压缩器43用于在解码I帧的多个部分之前对无损压缩进行逆运算以便由运动估计系统26使用。

用于无损压缩器和解压缩器的无损压缩算法的最优选择取决于所使用的具体视频压缩算法。使用那些已经由视频压缩算法提供的独立无损压缩器和解压缩器的复杂性在降低编码器的复杂度和需要能够访问所存储的参考帧的各个像素(无需解压比必须的量更多的存储参考帧)之间是一种平衡。

应当注意的是，无损压缩器42和相应的解压缩器46是可选的。如上所提及，无损压缩所提供的压缩量通常约为因子2。因此，相应的内存节约量与利用有损压缩获得的节省量相比更小。如果有损压缩提供足够的压缩以便能够进行I帧的片上存储，就可以取消有损压缩和解压缩。

现在将更详细地讨论运动补偿系统参考I帧产生近似图像的方式。在本发明的一个方面中，运动补偿系统将输入的帧分为多个块。对于每个块，运动补偿系统利用一些适合的块相似度测量方法(例如相关函数或块中相应像素的差的绝对值的总和)试图在参考帧中发现与该块最为匹配的相同尺寸的块。搜索是在参考帧的一个区域上进行的，该区域位于与正在处理的输入帧的块的位置相对应的位置的中心。

现在参考图6，该图是根据本发明的编码器的另一个实施方案的示意图。编码器50包括一个缓存54，压缩参考帧中的块的像素值被解压缩至该缓存中。为了进行讨论，将假设无损压缩算法允许解压缩一个单一块。逆向量化步骤重新产生变换块的系数的幅值。然后，逆变换产生像素块，接着将该像素块存储在缓存54中。在本发明的一个方面中，运动补偿系统26以预定的顺序处理输入视频帧的块。因此，在处理相应的块之前应确切地知道必须在参考帧中搜索的区域。所以控制器56可以对块进行预解压缩，这样在运动补偿系统需要参考像素时将准备好像素。为了简化图示，已经省略了控制器56和其他组件之间的连接件。

考虑参考帧中的搜索区域是3x3块区的情况，该块区位于输入帧的相应位置的中心。原则上，需要9个块进行运动补偿。然而，如果以光栅扫描模式对块进行处理，则在一条线上的每个新块只需要来自参考帧的3个新块，因为处理输入帧中的前一个块时使用的多个块中的6个也用于该块。因此，如果搜索区域是NxN块区，则存储NxM解码块的缓存是有利的。缓存的最小容量是一个块的大小。如果要对块进行预提取和压缩，则缓存空间的额外N个块是需要的。然而，如果整个参考帧无压缩地进行存储，则相比于所需的内存，即使这个缓存空间容量也是比较小的。

在本发明的上述实施方案中，将参考帧存储为压缩帧，该压缩帧与发送至解码器的参考帧的压缩版本是相匹配的。这种安排消除了解码器和编码器不使用完全相同的参考帧时产生的伪影。然而，由于本发明从I帧产生每个P帧，参考帧中的小差异是可以接受的，因为在解码器上重新产生的帧不会逐帧累计误差。

本发明的上述实施方案在编码器上存储参考帧，该编码器采用对图像进行解码的解码器所使用的相同有损算法。因此，在有损编码算法中，解码器和接收器之间所产生的差异导致的误差被消除了。然而，应当注意的是，所存储的参考帧之间的一定程度的差异在每个P帧创建自一个I帧的传输方案中是可以接受的。由于误差不会逐帧传播，因此相比于从先前接收的P帧计算P帧的方案，降低了这种差异的影响。这些额外误差必须权衡经济效益，这种经济效益与在编码器上使用差异参考帧压缩算法有关。例如，如果采用更有损的算法，则可以提高参考帧的压缩度，从而减少必须结合在编码器中的内存的大小和操作那种较大内存所需的电能。

上述的实施方案对I帧采用了特殊的压缩方案，在该方案中I帧被分为多个块，然后对每个块进行编码，无需参考其他块。然而，应当理解的是，假设无需立即解压缩整个I帧就可以恢复压缩I帧像素，本发明可以采用任意算法来压缩I帧。例如，在一些压缩方案中，I帧的每个块首先与一个预测块相匹配，该预测块是从该I帧中的先前遇到的块中推测出来的。然后计算所述预测块和当前块之间的差异并对差异块进行编码。在本发明中，对这种压缩I帧进行解码所需的所有信息存储在参考帧存储子系统中。

已经提供了本发明的上述实施方案以展示本发明的不同方面。然而，应当理解的是，不同具体实施方案中展示的本发明的不同方面可以进行组合以提供本发明的其他实施方案。另外，本发明的不同修改形式从前述描述和附图中将变得明显。因此，不应当仅通过以下权利要求的范围来限制本发明。

Claims (17)

1.一种编码器，包括：

一个输入端口，该输入端口接收一个视频流，该视频流包括有待编码的多个帧；

一个第一压缩子系统，该第一压缩子系统利用一个第一有损压缩方法产生多个压缩参考帧；

一个输出级，该输出级将所述压缩参考帧传输至远离所述编码器的一个装置；

一个参考帧存储子系统，该参考帧存储子系统以一种压缩格式存储所述压缩参考帧中的一个以用于压缩所述视频流中的一个后续帧，所述压缩参考帧是利用一个第二有损压缩算法进行压缩的；以及

一个第二压缩子系统，该第二压缩子系统利用存储在所述参考帧存储子系统中的所述压缩参考帧作为参考对第二多个所述帧进行编码，所述第二压缩子系统产生一个压缩视频帧，其中非参考帧的每个压缩视频帧直接从所述参考帧之一进行编码，该第二多个所述帧传输至所述远程装置。

2.如权利要求1所述的编码器，其中所述第二有损压缩方法是所述第一有损压缩方法。

3.如权利要求1所述的编码器，其中所述第一有损压缩方法包括一个第一无损压缩方法，该第一无损压缩方法压缩所述第一无算压缩的输出以产生传输至所述远程装置的所述压缩参考帧。

4.如权利要求3所述的编码器，其中所述存储的压缩参考帧包含一个压缩参考帧的拷贝，该压缩参考帧是利用所述第一无损方法进行压缩的。

5.如权利要求3所述的编码器，其中所述存储的压缩参考帧包含一个压缩参考帧的拷贝，该压缩参考帧是利用一个第二无损方法进行压缩的，该第二无损方法不同于所述第一无损压缩方法。

6.如权利要求1所述的编码器，其中所述参考存储子系统包括一个解码器，该解码器从所述存储的压缩参考帧恢复像素以便由所述第二压缩子系统使用，无需立即对所有所述压缩参考帧进行解码。

7.如权利要求6所述的编码器，其中所述参考帧被分为多个像素块，并且其中所述参考帧存储子系统包括一个缓存，该缓存存储所述块中的一个所选块的解码像素，所述参考存储子系统对所述块中的所述一个块的全部进行解码。

8.如权利要求7所述的编码器，其中所述缓存进一步存储多个所述块，所述存储块由所述第二压缩子系统确定，并且其中所述参考帧包括N个这样的块，所述缓存存储少于N个的块。

9.如权利要求8所述的编码器，其中所述第二压缩子系统以一个预定的顺序分别压缩一个视频帧的每一个块，并且其中所述存储块由所述预定顺序来确定。

10.一种用于对包含多个帧的视频流进行编码方法，所述方法包括：

在一个编码装置中接收所述视频流；

压缩多个帧以便利用一个第一有损压缩方法产生多个压缩参考帧；

将所述压缩参考帧传输至远离所述编码装置的一个装置；

以一种压缩格式存储所述压缩参考帧之一，在压缩所述视频流中的一个后续帧时使用所述存储的压缩参考帧，所述压缩参考帧是利用一个第二有损压缩方法进行压缩的；

利用所述压缩参考帧作为参考对第二多个所述帧进行编码，以便压缩所述第二多个所述帧中的每一个，从而产生多个压缩视频帧，其中非参考帧的每一个压缩视频帧是直接从所述参考帧之一进行编码的；并且

将所述压缩视频帧传输至所述远程装置。

11.如权利要求10所述的方法，其中所述第二有损压缩方法是所述第一有损压缩方法。

12.如权利要求10所述的方法，其中所述第一有损压缩方法包括一个第一无损压缩方法，该第一无损压缩方法压缩所述第一有损压缩的输出以产生传输至所述远程装置的所述压缩参考帧。

13.如权利要求12所述的方法，其中所述存储的压缩参考帧包含一个压缩参考帧的拷贝，该压缩参考帧是利用所述第一无损方法进行压缩的。

14.如权利要求10所述的方法，其中对所述第二多个所述帧进行编码包括部分地解码所述存储的压缩参考帧以便从所述存储的压缩参考帧恢复像素。

15.如权利要求14所述的方法，其中所述参考帧被分为多个像素块并且部分地解码所述存储的压缩参考帧包括在一个缓存中存储所述块中的一个所选块的像素。

16.如权利要求15所述的方法，其中所述缓存进一步存储多个所述块，所述存储块由一个视频帧中的一个块来确定，该视频帧是利用所述压缩参考帧进行编码的。

17.如权利要求16所述的方法，其中利用所述存储的压缩参考帧编码的一个视频帧的所述每个块是以一个预定的顺序进行编码的，并且其中所述存储块由所述预定顺序来确定。

Images