CN1201594C - 利用小波变换和运动预测的运动图像编码/解码设备和方法 - Google Patents

Abstract

公布了一种使用小波变换和运动预测的编码和解码设备。本设备包括输入模块，用于接收图像数据；小波模块，用于对通过输入模块接收到的图像数据进行小波变换；预测/补偿模块；存储模块，用于存储从输入模块传来的图像数据，并且根据各个模块的请求对所存储的数据进行传输；输出模块，用于对从小波模块输入的数据和对应于从存储模块输入的运动矢量的数据进行耦合，从而输出一比特流；以及控制模块，用于控制各个模块的操作。根据本发明，当实时地对运动图像进行编码和解码时，虽然使用了更少量的存储器，但也能够对整个图像进行小波变换，并且能够实时地对块的运动进行预测。

Description

利用小波变换和运动预测的运动图像编码/解码设备和方法

本申请要求2001年12月12日提出的韩国专利申请No.P2001-81620的优先权，其作为参考包含在本申请中。

技术领域

本发明涉及一种使用小波变换和运动预测而对运动图像进行编码和解码的设备，尤其是，涉及用于对运动图像进行编码和解码的设备，其在将整个图像作为系统而进行小波变换的同时，以块为单位进行运动预测，从而提高运动图像的压缩率。

背景技术

通常，对于运动图像而言，当使用能够以很高的效率对静止图像进行编码的小波变换方法时，需要大量的存储器。同时，也需要很长的时间对运动图像的运动进行预测。因此，当实时地对运动图像进行处理时，对于使用上述的编码和解码方法而言，需要很长的时间和大量的存储器。因此，对于诸如等离子体显示板(PDP)的大屏幕情况，很难使用上述的编码和解码方法。

同时，根据运动预测，以块为单位对数据进行处理，而使用小波变换的方法对整个图像进行处理。因此，很难实时地对整个图像和以块为单位的数据同时进行处理。

发明内容

因此，本发明定位于一种使用小波变换和运动预测而对运动图像进行编码和解码的设备，其充分地消除了由于背景技术的局限和缺点所导致的一个或者多个问题。

本发明的一个目的是提供一种基于包括运动预测的小波变换，具有高压缩率的运动图像编码设备和方法。

本发明的其它优点、目的和特征有一部分将在以下的说明书中进行阐述，有一部分则对于本领域的技术人员经过对以下内容的检验后会变得明了，或者通过本发明的实践而体验到。能够通过此处的书面描述和权利要求、以及所附的附图中所指出的结构，进行和达到本发明的上述目的和其它优点。

为了根据此处所优选的和广泛地描述的本发明的目的，进行上述目的和其它优点，提供了一种利用小波变换和运动预测，而对运动图像进行编码的设备，包括：输入模块，用于接收包括当前帧和先前帧的原始图像数据；小波模块，用于对通过输入模块所接收的当前帧和当前帧与先前帧之间的差分信号数据进行小波变换；运动预测模块，用于获得运动矢量；运动补偿模块，用于利用运动矢量进行运动补偿；存储模块，用于存储从输入模块所传输的包括当前帧和先前帧的原始图像数据，从运动预测模块所传输的运动矢量，从运动补偿模块所传输的差分信号数据，以及根据相应模块的要求，将所存储的包括当前帧和先前帧的原始图像数据、差分信号数据和运动矢量分别传输到输入模块、小波模块和输出模块；输出模块，用于通过对从小波模块输入的数据和从存储模块所输入的运动矢量进行耦合，输出一比特流；控制模块，用于控制各个模块的操作。

输入模块优选地包括输入缓冲器和输出缓冲器。输入缓冲器优选地将输入到输入模块的原始图像数据传输到存储模块。输出缓冲器优选地读取对应于当前帧和从存储模块所传输的先前帧之间差的数据，并且将所读取的数据优选地传输到小波模块。

运动预测模块包括至少一个输入缓冲器，用于存储从存储模块所传输的数据；输入缓冲器控制器，用于控制存储在输入缓冲器中的数据的输出顺序；延迟器，用于根据输入缓冲器控制器，对从输入缓冲器输出的数据进行延迟；复用器，用于传输从延迟器所输出的数据；运动预测器，用于通过处理从复用器所输出的数据，获得运动矢量。

运动补偿模块包括：输入缓冲器，用于接收宏块数据，该宏块存储在由运动矢量所形成的存储模块的地址中；处理部件，用于交替地接收与先前帧有关的数据和与当前帧有关的数据，并且获得输入数据之间的差分；输出缓冲器，用于输出处理部件的结果，以将结果存储到存储模块。

根据本发明另一方面的运动图像解码设备，使用基于块的运动预测和基于帧的小波变换，用于对通过一比特流类型进行编码而输入的图像信号进行解码，运动图像解码设备包括：输入模块，用于接收比特流类型的编码图像信号；小波模块，用于从输入模块接收当前帧和图像信号之间的差分信号，并且对当前帧和差分信号进行小波逆变换；先入先出存储器，用于存储从小波模块输出的信号；存储模块，将图像信号的运动矢量从输入模块传输到存储模块，将小波逆变换的差分信号从先入先出存储器传输到存储模块；运动补偿模块，用于利用从存储模块所传输的运动矢量和差分信号，对运动进行补偿；输出缓冲器，用于通过从存储模块所接收的由运动补偿模块所编码的图像信号进行最终输出。

根据本发明，当实时地对运动图像进行编码和解码时，能够使用更少量的存储器，对整个图像进行小波变换，而对块进行运动预测。

附图说明

下面的附图用于提供本发明的进一步理解，包含于并且构成了此说明书的一部分，说明了本发明的实施例，并且和描述一起用于解释本发明的原理。

附图中：

图1显示的是根据本发明的运动图像编码设备的示意框图；

图2显示的是根据本发明的运动图像编码设备的输入模块的示意框图；

图3显示的是用于输入模块的先进先出(FIFO)存储器记录控制器的计数器的框图；

图4显示的是说明输入到输入模块的输入数据的结构的数据框图；

图5显示的是输入到输入模块的输入数据和实时数据的比较；

图6A到6C显示的是输入到输入模块的输入数据的水平和垂直消隐时间的框图；

图7显示的是输入模块的输入和输出缓冲器的FIFO存储器的框图；

图8A到图8B显示的是所示的先前帧和当前帧的框图，以解释用于运动预测的全部区域搜索算法；

图9显示的是根据本发明的运动图像编码设备中，运动预测模块的框图；

图10A到10B显示的是使用全部区域搜索算法，在用于运动预测的搜索过程中，数据重叠的屏幕框图；

图11显示的是根据本发明的运动预测模块中，运动预测器的框图；

图12和13A到13C顺序显示的是根据本发明的运动预测程序；

图14显示的是在运动预测模块中的PE的框图；

图15显示的是在运动预测模块中，控制信号的状态转换图；

图16显示的是在运动预测模块中，输入缓冲器的存储器映射；

图17显示的是根据本发明的运动图像编码设备中，运动补偿模块的框图；

图18显示的是在运动补偿模块中，PE的框图；

图19显示的是在运动补偿模块中，输入缓冲器的存储器映射；

图20显示的是在运动补偿模块中，输出缓冲器的框图；

图21显示的是根据本发明的存储模块的存储器映射；

图22显示的是对应于所示帧的存储器映射，以解释存储模块对从输入模块输入的数据进行存储的过程；

图23显示的是对应于所示帧的存储器映射，以解释存储模块对与运动补偿模块输入的差分信号相对应的数据进行存储的过程；

图24A到24B显示的是在存储模块中，RANDOM访问的读取和写入时序图；

图25显示的是存储模块的访问时序图；

图26显示的是在根据本发明的运动图像编码设备中，输出模块的框图；

图27显示的是根据本发明的运动图像编码设备的示意框图；

优选实施例详细说明

现在详细地对本发明的优选实施例进行描述，在附图中指出了其实例。附图中相同的标号与同一或者类似部件上的标号相同。

图1显示的是根据本发明，使用小波变换和运动预测的运动图像编码设备的框图。

参考图1，根据本发明的运动图像编码设备100包括输入模块110，原始信号输入到该模块中；运动预测和补偿模块150，用于运动预测和补偿；第一和第二模块120和122，用于进行小波变换；控制模块160，用于控制各个模块的操作；存储模块140，用于存储由各个模块所产生的数据，并且在必要的时间，将数据传输到相应的模块；以及输出模块130，用于输出最后产生的比特流。

依据根据本发明的运动图像编码设备100，运动预测和补偿模块通过运动预测和补偿，生成P模式帧的图像，并且将图像存储在存储模块中，而小波模块处理I模式帧的表单。当小波模块完成对I模式帧的操作时，通过输入模块将存储在存储模块中P模式帧传输到小波模块。将分别从小波模块和存储模块传输的数据和运动矢量转换成为比特流，并且进行最后输出。

根据本发明的运动图像编码设备100包括存储模块140，用于临时存储由各个模块所生成的数据项，并且将所存储的数据项传输到相应的模块，以使得其它的模块能够使用数据项，对下一帧进行编码。

存储模块140必须处理大量的数据。根据本发明，输入和输出模块与运动预测和补偿模块中的数据宽度为8比特。因此，把存储模块的数据宽度设置为32比特，就能够很容易地进行存储模块的时间调度。结果，为了实现存储模块140和运动图像编码设备100的接口，必须对数据宽度进行转换。因此，运动图像编码设备100的输入模块110将基于8比特数据宽度的输入图像转换成为具有32比特数据宽度的输入图像，并且将所转换的输入图像存储在存储模块中。同样，输入模块110将存储模块中的具有32比特数据宽度的数据转换成为8比特宽度的数据，并且将数据传输到两个小波模块。

存储模块140进行时间调度，以顺利地将数据传给各个模块，或者从各个模块中取出数据。存储模块的时间调度由控制模块进行管理。控制模块将操作模式分为表示原始图像的I模式和表示运动和差分图像的P模式。控制模块根据相应的模式，为各个模块生成存储模块和控制信号的地址。在图像的连续压缩期间，在每一帧单独进行I模式“帧内图像”。P模式“预测图像”使用前一幅图像和当前图像之间的差来压缩图像。在根据本发明的运动图像编码设备中，当运动预测和补偿模块以16×16宏块为单位，对运动进行预测时，小波模块接收所有的帧图像，并且对图像进行处理。因此，控制模块必须控制各个模块之间的时间调度。

由于根据本发明的运动图像编码设备在I模式之后，基本进行了P模式，所以在小波模块对I模式帧进行处理时，运动预测和补偿模块通过运动预测和补偿而生成P模式帧图像，并且将图像存储在存储模块中。当由小波模块完成I模式帧的操作时，通过输出模块将存储在存储那块中用于P模式帧的数据传输到小波模块。此时，以宏块为单位对存储模块进行控制。因此，当输入图像为720×480时，为了处理一帧，需要675个宏块单位时间。

根据本发明的运动图像编码设备的输出模块，将从小波模块接收到的数据与从存储模块接收到的移动矢量值混合在一起，将结果转换成为比特流，并且最终输出比特流。

下面结合附图，对根据本发明的运动图像编码设备的各个单元的结构和操作进行详细描述。

图2显示的是根据本发明运动图像编码设备的输出模块110的框图。

参考图2，输入模块110包括输入缓冲器200和输出缓冲器250。输入模块110的输入缓冲器200对从外面输入的原始图像数据进行传输，并且保存原始图像数据。输出缓冲器250从存储模块取出运动预测的数据，并且根据控制模块，将数据传输到小波模块。

输入模块110的输入缓冲器200和输出缓冲器250包括先入先出(FIFO)存储器和一个或者多个用于控制FIFO存储器的输入和输出的控制器。对应于输入到输入缓冲器的原始信号的输入信号具有CCIR601格式，并且Y、Cb和Cr中的每一个均具有8比特的大小。将输入信号以32比特为单位传输到存储模块。此时，当以108MHz与存储模块进行同步通信时，在输入缓冲器的输入操作过程中，以6.75MHz操作输入信号，在输出缓冲器的输出操作过程中，以27MHz操作输入信号。因此，用于输入模块的FIFO存储器必须由使用异步独立输入和输出时钟的FIFO存储器构成。

下面描述输入模块的输入缓冲器和输出缓冲器的结构和操作。

输入缓冲器200存储720×480的数据，其对应于缓冲器中的858×525的输入数据的实时数据，并且将720×480的数据传输到存储模块140。此时，输入数据具有CCIR601格式，并且Y、Cb和Cr中的每一个均具有8比特的大小。输入缓冲器从输入数据中分离出亮度(Y)数据和色度(c)数据，将8比特的数据转换成为32比特，将32比特的输入数据存储到FIFO存储器中，并且将32比特的数据传输到存储模块140。

输入缓冲器200，如图2所示，包括FIFO缓冲器记录控制器210，FIFO存储器读取控制器220，亮度FIFO存储器230，色度FIFO存储器232，复用器242，分解器240和8-32比特转换器244。

仅当输入到FIFO存储器记录控制器210_start信号为‘1’时，输入模块140才进行操作。输入到输入模块的输入信号的构成如图4所示，并且根据CCIR601格式构成858×525(参考图5中的类似参考数字400)。图6A到6C显示的是输入数据的水平和垂直消隐时间。

如图5所示，仅从输入数据(图5中的400)中提取出720×480的数据，其为实时数据(图5中的410)。这样，所提取数据的格式为Y数据以4∶2∶2的形式与Cb和Cr数据进行混合。因此，将Y数据从C数据中进行分类的处理是必需的。同时，将8比特的输入数据构成32比特的输入数据。因此，分别在亮度FIFO存储器230和色度FIFO存储器232中记录所形成为亮度和色度数据项。

当输入到输入缓冲器200的IP_write_en信号为‘1’时，分别对记录在亮度FIFO存储器230和色度FIFO存储器232中的亮度和色度数据项进行顺序输出。

由于当实际操作编码设备时，会出现连续的输入数据，所以必须提取存储在输入缓冲器的FIFO缓冲器中的合适数量的数据项。根据本发明的编码设备，由于存储模块140的输入和输出以32比特的数据宽度与108MHz的频率同步，数据项不会从输入缓冲器的FIFO存储器中溢出。相反，FIFO存储器是空的，其由输入缓冲器200的FIFO读取控制器220进行控制。

输入缓冲器的FIFO存储器记录控制器210控制分解器240和8-32比特转换器244的操作，并且控制输入缓冲器200中的FIFO存储器的记录。此时，仅提取实时数据，使用计数器，把输入数据项中的消隐信号排除在外。图3显示的是从输入数据中选择实时数据的计数器的电路图。参考图3，信号发生器310使用和时钟同步的计数器，在每一个时钟，仅选通D触发器320。因此，当计数器完成一个完整的循环时，完成了32比特的输出。

输入缓冲器中的FIFO存储器读取控制器220控制复用器242的操作，并且控制FIFO存储器的数据输出。仅当状态为“空”和非“满”时，输入缓冲器200的FIFO存储器230和232进行控制。由于FIFO存储器230和232的输入与6.75MHz的频率同步，所以当经过相同的时间时，FIFO存储器为空。因此，一旦观察到“空”信号，则停止FIFO存储器的输出，直到下一个周期的IP_write_en信号变为‘1’。

图2中的输出缓冲器250将以32比特为单位进行传输的存储模块140的差分信号转换成为以8比特为单位的差分信号，并且将差分信号传输到小波模块120和122。输出缓冲器250包括分离器控制器260，32-8比特转换器290，FIFO存储器读取控制器270，亮度奇数FIFO存储器Y_odd_FIFO 280，色度奇数FIFO存储器C_odd_FIFO 282，亮度偶数FIFO存储器Y_even_FIFO 284，色度偶数FIFO存储器C_even_FIFO 286，和复用器292和294。

当IP_start和IP_read_en信号为‘1’时，输出缓冲器250将奇数行数据和偶数行数据区分开来，同时以32比特为单位，将从存储模块140以8比特为单位传输的差分信号进行转换。输出缓冲器250从色度(c)数据中分类出亮度Y数据。这样，分别将所分类的Yeven、Ceven、Yodd、Codd数据项存储为FIFO存储器280，282，284，286。当IP_read_en信号为‘1’时，存储在FIFO存储器中的数据分别连续地将奇数行和偶数行的数据项传输到两个小波目录120和122。为了连接小波模块，将FIFO存储器的输入与108MHz的频率进行同步，将输出与27MHz的频率进行同步。用于输出缓冲器的FIFO存储器的结构与用于输入缓冲器的一样，把8比特数据宽度和128深度的双端口RAM排除在外。

由于在编码设备开始操作之后，输出缓冲器250连续地输出数据，当在FIFO存储器中存储不适当数量的数据时，会发生问题。然而，根据本发明的运动图像编码设备，FIFO存储器不是空的，原因是存储模块140的输入和输出以32比特的数据宽度，与108MHz的频率同步。相反，数据项从FIFO存储器中溢出。为了避免此问题，对输出缓冲器的分离器控制器260的全部信号输出进行监视。一旦出现“满”的状态，则停止到FIFO存储器的输入，直到下一个周期的IP_read_en信号变为‘1’。输出缓冲器中的FIFO存储器读取控制器270控制FIFO存储器280，282，284，286的输出，控制用于选择要输出到小波模块的亮度和色度数据的复用器292和294，并且生成水平同步信号，垂直同步信号，和适合于由小波模块所要求的CCIR601格式的场信号。

图7显示的是FIFO存储器的内部结构框图。下面结合图5详细描述输入模块中FIFO存储器的结构和操作。

对FIFO以与6.75MHz同步的频率进行输入，以与108MHz同步的频率进行输出，以与存储模块140连接。如图5所示，FIFO存储器包括双端口RAM 500，记录控制器510，读取控制器520，和标记控制器530。

双端口RAM 500优选的用于对存储器同时进行读取和写入操作，并且用于具有32比特数据宽度和256深度。

FIFO存储器中的记录控制器510是用于生成在双端口RAM 500中用于记录数据的地址的模块。将格雷码(gray code)用作地址生成代码。

FIFO存储器中的读取控制器520是用于生成在双端口RAM 500中读取数据的地址的模块。同样，将格雷码用作地址生成代码。

标记控制器530是用于监视和声明双端口RAM 500是否为满或者为空的模块。

在根据本发明的运动图像编码设备中，运动预测和补偿模块150包括运动预测模块和运动补偿模块。运动预测模块通过对当前帧进行宏块算法，仅使用亮度部分在搜索区域中搜索最接近于先前帧的块，而检测运动矢量。在根据本发明的一个实施例中，使用全区域搜索算法以搜索最相似的块。现在结合图8A和8B，对用于本发明实施例的全区域搜索算法进行详细描述。

图8A和8B显示的是用于解释全搜索算法的先前帧和当前帧。参考图8A和8B，当前帧分为具有n×n大小的参考块。为从当前帧分离的的各个参考块设定先前帧中的预定搜索区域。先前帧中的预定搜索区域包括位于参考块位置的垂直和水平方向上，预定大小(q)的(2q+1)²个候选区域。在搜索区域的候选块中，选择和参考块最佳匹配的候选块。将块的相对位置确定为运动矢量。

在上述的全区域搜索算法中，使用脉动阵列设计硬件。在此方法中，通过在块匹配算法中重复操作的位置适当地使用移位寄存器，降低了重复操作的数量。为除去了初始延迟时间的各个时钟输出操作结果。因此，能够通过降低由于重复操作而浪费的时间，而提高效率。为了使用利用脉动阵列的块匹配算法，根据本发明的运动图像编码设备需要脉动阵列的前端，当前帧的参考块和先前帧搜索区域中的块可以顺序地输入到该前端。因此，根据本发明的运动图像编码设备中的运动预测模块，将从存储模块240所传输的具有32比特宽度的数据项转换成为能够用于运动预测模块的具有8比特宽度的数据项。

图9显示的是根据本发明的运动预测模块的框图。参考图9，根据本发明的运动预测模块包括使用具有四个静态存储器的SRAM的输入缓冲器910，延迟器920，复用器930，运动预测器940，和输入缓冲器控制器900。

输入缓冲器910使用具有四个静态存储器的SRAM。经常在输入缓冲器910中分别进行输入和输出。因此，不必要使用FIFO存储器。结果，降低了运动预测模块中的存储器容量。由输入缓冲器控制器900控制输入缓冲器910。

从输入缓冲器910输入对应于当前帧参考筷的数据和先前帧的搜索区域。在将所有的输入数据项存储到输入缓冲器之后，将数据项输出到延迟器920和复用器930，其对块进行处理，以按照由输入缓冲器控制器900所确定的顺序进行运动预测。这样，由运动预测器940对输出数据进行处理，以获得运动矢量。此时，运动预测器940利用脉动阵列进行块匹配算法，而搜索最佳的运动矢量。因此，将所获得的运动数量传输到存储模块140。

图10A和10B显示的是在使用全区域搜索算法搜索预测运动的过程中，数据重叠的屏幕。图11显示的是运动预测模块的运动预测器的框图。

用于进行块匹配算法的顺序输入并行处理结构使用移位寄存器阵列，以基于二维脉动结构，使用全搜索算法常规数据流的重叠。数据重叠表示再次输入了曾经输入到系统的数据。图10A和10B显示的是存在于全区域搜索块匹配算法的数据重叠。

图10A显示的是由脉动结构用作重叠区域的候选块的数据之间的重叠。图10B的重叠区域表示用于本发明的线之间的数据重叠。

图11显示的是在根据本发明的运动预测模块150中，运动预测器940的示意框图。如图11所示，与简单的脉动结构不同，二维脉动结构使用一组移位寄存器阵列。运动预测器940具有连续输入并行处理结构，其由通过数据重叠和利用仅一个输入，而连接到操作设备右侧的移位寄存器阵列组，保持并行处理特征。下面的公式1表示的是预测块运动所需要的时间。

公式1

C＝(2q+1)×(2q+n)+(n+2q-1)×(n-1)

其中，C，q和n分别表示预测块运动所需要的时间，运动预测搜索区域，块的大小。

在根据本发明的运动图像编码设备的实施例中，将参考块的大小设置为16×16，将搜索区域设置为参考块＝8，以根据输入数据的时钟信号，在经过1031个时钟脉冲之后，对运动矢量进行预测。

根据连续输入并行处理结构，通过由具有和参考块的水平线长度相同的、图11中的参考号1120所指示的处理部件，进行操作。此时，处理部件线的宽度和参考块的线长度相同。全处理部件的结构与参考块的大小相同。将参考块的像素值输入到由一个或者多个移位寄存器所形成的移位寄存器阵列中。将参考块的输入像素值输入到以相同形状n×n所形成的处理部件。

对搜索区域的数据项进行用于获取数据项和参考块之间差分的操作，和通过处理部件和移位寄存器，将传输到低于处理部件的值添加到数据项的操作。然后将搜索区域的数据项传输到下一个处理部件。此时，移位寄存器阵列(SRA)具有(2p-1)的宽度，其与搜索区域的宽度相同。

下面描述在各个块时域运动搜索区域数据的过程。尤其是，使用具有3×3大小的块作为实例，参考图12和13A到13C。

图12显示的是根据本发明，在具有3×3大小的块中，在各个块时域，在搜索区域中运动数据的过程。图13A到13C显示的是在特定的时间，系统中数据位置图，其方便地显示了系统的操作。在一个时钟之后，图13A中的数据同时处理3个像素。使用在图13B中处理的三个像素的计算结果和在图13C中三个像素的计算结果对此结果进行累加。结果，对具有3×3像素大小的块进行了处理。

图14显示的是用于根据本发明的运动图像编码设备的运动预测模块150的处理部件(PE)1120的框图。PE 1120计算参考块数据和搜索区域数据之间的绝对差分，并且对数据项进行累加。如图14所示，PE 1120包括参考输入移位寄存器1400，绝对差分计算机(ADC)1410，第一延迟器1440，第二延迟器1450，第三延迟器1420，和耦合器1430。

当开始操作时，根据本发明的PE 1120的PSP 1400将作为原始时间输入的参考块传输到下一个PE，并且将输入参考块的数据传输到ADC 1410，以进行数据和搜索区域的输入之间的操作。

ADC 1410计算从RSR 1400输入的参考块中的数据和搜索区域中的数据之间的绝对差分。通过第三延迟器1420，将结果输入到耦合器1430。耦合器1430进行参考块和搜索区域中的数据之间累加功能。第一延迟器1440和第二延迟器1450在时钟期间，保持从前一个PE传输来的数据项，并且将其传输到下一个PE。第三延迟器1420用于将ADC 1410和耦合器1430进行同步。

图15显示的是根据本发明的运动图像编码设备的运动预测模块中，控制信号的状态转换图。

如图15所示，在根据本发明的运动预测模块中，将生成控制信号的状态分为5个部分。有未生成控制信号的空闲状态，和对控制信号进行原始化的原始状态。在各个状态生成控制信号的原则涉及到对连续输入并行处理结构的各个块重新进行时间设定。

根据本发明的运动图像编码设备的运动预测模块从存储模块14C读取数据，并且将数据存储在输入缓冲器910(图9)中，以对运动进行预测。输入缓冲器将从存储模块输入的32比特数据宽度转换未8比特数据宽度，从而允许数据可以由运动预测模块使用(a)，将从存储模块140以108MHz传输的数据时钟降低到54MHz(b)，根据运动预测模块的输入顺序，输出数据(c)。

在上述的运动预测模块中的输入缓冲器910，必须包括能够用于对宏块的运动进行预测所需的保持数据的容量。具体来讲，参考块取决于宏块的大小，而搜索区域必须是四个宏块。由于一个块需要16×16＝256字节的存储器，则全部输入缓冲器需要256×5＝1280字节，其中10240个比特对应于至少5个宏块的大小。由于Xilink的块RAM的最小值为2048比特，而必须将32比特数据输入转换成为8比特数据输入，所以必须使用8块RAM。因此，根据本发明的运动预测模块中的输入缓冲器910使用四个具有8比特数据宽度和512个地址的RAM。图16显示的是在运动预测模块中，用作输入缓冲器的四个SRAM的存储器映射。

为了使得从存储模块输入的数据和运动预测和补偿模块的输入顺序相适合，需要统一的数据处理顺序。首先，以由256字节组成的宏块的大小，根据54MHz的频率，在64个时钟中，将当前帧的参考块和先前帧的搜索区域中的块同时输入到运动预测和补偿补偿模块中。在完成参考块的输入和参考块大小的搜索区域数据的输入之后，在256个时钟中，输入其余搜索区域的数据。此时，当同时输入参考块的数据和搜索区域的数据时，必须使用复用器MUX 930和延迟器920，对从四个SRAM 910所输出的数据项进行分布。由于从顶部到底部地将数据项输入到四个SRAM，所以即使同时输出数据项，也必须顺序输入数据。对于输入到运动预测模块的数据输入，如图9所示，对复用器和延迟器进行安排。如图9所示的运动预测模块的延迟器用于从搜索区域的块中分离出参考块，因为参考块和搜索区域的块是从同一个RAM中交替地进行输出。这样，将所分离的数据项通过复用器，顺序地用作运动预测模块的输入。由于必须以54MHz对运动预测模块进行输入，复用器的SEL终端以13.5MHz进行计算。

根据由运动预测模块所生成的运动矢量所生成的存储模块，将对应于8个宏块的数据输入到运动补偿模块。由于整个图像的实时数据具有720×480的大小，很难在给定的时间内，对所有数据项的运动进行预测。因此，仅在720×2440的奇数图像，进行运动预测。然而，为了压缩数据，需要用于整个图像的还原运动和获取差分的处理。对于色度信号和亮度信号，还原运动和获取差分都是必需的。因此，为了补偿运动，并且获取差分信号，分别需要对应于两个宏块的前一幅图像的亮度信号和当前图像的亮度信号。结果，需要全部8个宏块的大小的数据。为了输入数据，基于108MHz，需要64×8＝512个时钟。

图17显示的是本发明的运动图像编码设备的运动补偿模块的框图。

参考图17，根据本发明的运动补偿模块包括输入缓冲器1700，用于操作差分的处理部件(PE)1710，用于在存储模块140中存储PE结果的输出缓冲器1770。

通常，将静态RAM，即SRAM用作运动补偿模块的输入缓冲器1700。由于必须存储8个宏块，并且必须将32比特输入数据分为8比特输入数据项，所以需要四个具有8比特宽度和512比特大小的SRAM。

通过输入缓冲器1700和PE 1710，对输入到运动补偿模块的数据进行处理。通过输出缓冲器1770，将数据输出到存储模块140。此时，为了将数据输出到存储模块，必须对数据的顺序进行重建。为了重建数据的顺序，运动补偿模块的输出缓冲器1770包括复用器，存储器，延迟器，如下文所述。能够将通过成分重建顺序的数据项直接从输入模块输入到小波模块。

图18显示的是包含在上述运动补偿模块中的PE 1710的框图。

参考图18，运动补偿模块中的PE 1710是通过彼此顺序连接的延迟器1800，锁存器1810，减法器1820，组合器1830和D触发器1840而形成的。当从运动补偿模块的输入缓冲器1700交替地输入先前帧的数据和当前帧的数据时，运动补偿模块中的PE利用延迟器1800和锁存器1810而各自对输入的数据项进行划分，和利用减法器1820而获取差分，输出所需的结果。此时，将该数据变为8比特的正数，以使得小波模块的输出为8比特。结果，为了使数据适用于8比特，将通过从当前帧减去先前帧的值而获得的值除以2，并且将结果值加上127。通过这样作，将处于-255和255之间的结果值转换为处于0和254范围之间的值。在设计解码器时，当考虑到这一点而进行还原时，产生±1的误差，其在图像中可以忽略。另外，在使用存储器时，具有8比特的结果值是很有利的。

图19显示的是在根据本发明的运动图像编码设备的运动补偿模块中，输出缓冲器的存储器映射。

参考图19可知，在根据本发明的运动补偿模块中，以输入顺序存储在输入缓冲器中的数据项的存储器映射。运动补偿模块中的输出缓冲器通过包含四个SRAM或者512字节，能够存储8个宏块，以因此具有2048字节的大小。当从存储模块输入数据时，以下面的顺序输入数据“Y1_cur→Y1_prev→C1_cur→C1_prev→Y2_cur→Y2_prev→C2_cur→C2_prev”。因此，能够更平稳地对PE进行操作。

同样，与运动预测模块中的输入缓冲器相同，运动补偿模块使用四个SRAM作为输入缓冲器，这样将从存储模块输入的32比特数据分为8比特数据项。将数据从存储模块140输入到运动补偿模块所需的时间在108MHz时，为512个时钟。为了处理该数据，当输出数据时，需要54MHZ频率的512个时钟。按照“Y1→C1→Y2→C2”的顺序，将当前帧的数据和先前帧的数据交替输出到PE。

图20显示的是在根据本发明的运动图像编码设备的运动补偿模块中，输出缓冲器1770的框图。

参考图20，根据本发明的运动补偿模块包括四个复用器2000，2002，2004，2006，8比特第一和第二存储器2010和2012，两个延迟器2020，和32比特第三存储器2030。输出缓冲器1770改变同时从四个PE输出的结果数据的顺序，将数据以32比特为单位存储在存储模块中，并且当输入控制信号时，将控制信号输出到存储模块。当从输入模块向小波模块传输数据时，改变数据顺序的原因是为了有效利用数据。因此，当将运动补偿数据存储在存储模块中时，改变数据的顺序。对由PE计算的和从PE进行输出的输出进行调整，以按照Y1，C1，Y2，和C2的顺序输入到32比特SRAM中。

现在描述运动补偿模块的输出缓冲器1770的操作。将PE的信号输出与27MHz的频率同步，输入到输出缓冲器，通过第一和第二复用器2000和2002与54MHz的频率同步。利用四个复用器，根据本发明的输出缓冲器允许将信号Y1和C1输入到第一存储器2010，将信号Y2和C2输入到第二存储器2012。此时，第一和第二存储器使用8比特SRAM。将经过此处理的数据分别存储在8比特的第一和第二存储器中。仅将信号Y1和C1存储在第一存储器2010，仅将信号Y2和C2存储在第二存储器2012。由于第一存储器2010和第二存储器2012与由从四个PE输出的结果数据所确定的数据不适合，当将数据存储到存储器时，通过控制地址和改变顺序，将32比特数据输入到第三存储器2030。降低了存储在第三存储器2030中的32比特数据的速度，以与27MHz的频率同步。当将存储在输出缓冲器中的数据项输出到存储模块时，将数据与108MHz的频率进行同步而进行输出。

图21显示的是根据本发明的运动图像编码设备的存储模块140的存储器映射。

下面结合图21，对根据本发明的存储模块140进行描述。

根据本发明的存储模块140是一个存储器，用于在特定时间，对由整个系统所生成的数据进行存储，并且将数据分布到系统中的相应模块。因此，根据本发明的编码设备的各个模块与存储模块进行通信，并且通过编码设备的控制模块160(图1)，控制数据输入和存储模块的输出。在根据本发明的运动图像编码设备中，如图21所示，将具有两个存储器组(bank)的同步图形显示RAM优选的用作存储模块140。

存储模块140对存储器进行保护，该存储器能够存储用于从输入模块110输入帧的图像数据，用于传输到运动预测和补偿模块的前两帧的图像数据，对应于作为运动补偿生成的差分信号的数据，和对应于作为运动预测结果而生成的运动矢量的数据。

参考图21，将存储从输入模块110输入的图像数据的区域标记为“原始Y”和“原始C”。将存储对应于作为运动补偿生成差分信号数据的区域标记为“差分Y块”和“差分C块”。根据存储器映射的结构，将各个模块所生成的数据项交替地存储在两个存储器组中。因此，能够最大程度地利用存储模块的脉冲串模式。

图22显示的是对应于所示帧的存储器映射，以描述将从输入模块输入的数据存储在存储模块的过程。参考图22，下面将详细描述根据本发明，将从输入模块输入的数据存储在存储模块的过程。

由于根据本发明的存储模块的数据总线为32比特，所以需要180列以存储720个像素。在存储模块中，将180列存储在具有256列的各个存储器组中，并且将屏幕的一行存储在存储器组的一行。将由从输入模块输入所处理的原始图像(4∶2∶2)的数据，不管帧图像的类型，按照图像行顺序，存储在存储模块。图像共由480行构成，将图像的两行存储在构成存储模块的两个存储器组的一行中。因此，为了存储所有的数据，需要240行。结果，在存储模块中，由于存储对应于用于原始图像的帧的存储器区域为180×240。将此方法应用到亮度数据和色度数据。

以屏幕的行顺序，将数据存储在存储模块的一行中。当读取数据时，根据编码方法，通过搜索帧图像中的宏块而传输数据。当以宏块为单位读取数据，以进行运动预测时，将数据以场为单位而不是以帧为单位进行读取。因此，如图22所示，将第一奇数行数据奇数1存储在存储器组A，而将连续地第一偶数行数据偶数1存储在存储器组A，而不是存储器组B。将第二奇数行数据奇数2和第二偶数行数据偶数2存储在存储器组B。通过这样作，不能感觉到存储器组操作的益处。然而，当读取数据时，能够感觉到存储器组操作的益处，因为对存储器组A和存储器组B是交替读取的。根据存储方法，当将数据存储在存储模块时，会出现一些缺点。然而，在以场为单位从存储模块为运动预测而读取数据的过程中，能够感觉到存储器组操作的益处。

图23显示的是对应于所示帧的存储器映射，以对将与从运动补偿模块输入的差分信号相对应的数据存储到存储模块的过程进行解释。

由根据本发明的运动补偿模块所生成的720×480÷256差分信号位于大小为16×16的块中。由于数据总线为32比特，所以当将64列存储在具有256列的各个存储器组时，将对应于宏块的数据存储在一个存储器组中。

当将差分信号传输到小波模块时，差分信号的形式必须是行数据，而不能是宏块。因此，当存储差分信号时，在运动预测期间的空余时间是足够的。同时，当将差分信号传输到小波模块时，对差分信号进行连续传输。因此，没有空余时间。结果，当读取差分信号以将差分信号传输到小波模块时，进行脉冲串式操作和存储器组操作是更为合理的。

如图23所示，将第一块的数据①和第二块的数据②存储在存储器组A。将第三块的数据③和第四块的数据④存储在存储器组B。当读取行数据时，在存储器映射中以黑色标记的部分表示顺序读取的数据项。通过采用存储差分信号的方法，当以行的形式读取数据时，能够进行存储器组操作。

图24A和24B显示的是在根据本发明的存储模块中，RANDOM访问的读取和写入的时序图。

参考图24A和24B，当将数据写入到存储模块时，需要设定行、列和地址(tRCD＝RAS到CAS延迟时间)的时间。当读取数据时，除去设定行、列和地址的时间，还需要更多的延迟时间(读取等待时间或者CAS等待时间)。在根据本发明所使用的存储模块中，最小值为2个循环，并且将由系统时钟对读取延迟时间进行限制。根据本发明，将t_RCD设定为2个循环。即，在随机存取时所需的循环数目(1ra)能够根据下面的公式2获得，该公式根据读取和记录脉冲串式。

公式2

1ra(在读取脉冲串式期间)＝4个循环＝t_RCD+CAS等待时间

1ra(在记录脉冲串式期间)＝2个循环＝t_RCD

当访问存储模块的数据项数目相同时，无需通过改变存储模块的脉冲串长度，从外部对存储模块进行停用，即可对数据进行内部处理。

因此，能够连续地访问数据，从而节省访问时间。此时，在双存储器组的情况下，能够对数据进行连续访问。对于通过改变脉冲串长度而访问数据的情况，另外需要设定模式的时间。然而，当数据的长度相同，并且多次读取数据时，改变模式具有更多的优点。

在根据本发明的运动图像编码设备中，必须对存储模块的定时进行合适的分配，原因是输入模块、运动预测模块、运动补偿模块和输出模块共用存储模块。图25显示的是存储模块访问时间的时序表。如图25所示，基于用于宏块的运动预测和运动补偿所需的时间，形成整个循环。输入模块和输出模块从存储模块接收用于读取数据的时间，或者基于处理宏块的时间，在存储模块中记录数据。

图26显示的是包含在根据本发明的运动图像编码设备中的输出模块130(图1)的内部示意框图。下面参考图26对根据本发明的输出模块进行描述。

如图26所示，根据本发明的输出模块130包括FIFO存储器记录控制器2600，FIFO存储器读取控制器2610，耦合器2620，和流FIFO存储器2630。输出模块130将从小波模块传输的两个输入信号和从存储模块传输的运动矢量值进行混合，并且将结果转换成为1个比特长度的数据。

FIFO存储器记录控制器2600将从小波模块传输的奇数数据和偶数数据与代表运动矢量的数据彼此结合起来，从而生成1比特长度数据，并且输出数据。优选的使用通过将从小波模块传输的数据和运动矢量数据结合起来而生成一比特流的过程，以根据传输周期，重复运动矢量数据。由于小波模块输出端的FIFO存储器具有用于存储一帧数据的大小，所以通过经常控制FIFO存储器，而输出数据。

因此，在每个周期，通过76个时钟，将小波模块的数据传输到输出模块。如上所述，将从耦合器2620输出的比特流形式的数据存储在流FIFO存储器2630中，与输出时钟进行同步，并且最终进行输出。

图27显示的是根据本发明的运动图像编码设备的框图。

如图27所示，根据本发明的运动图像编码设备包括输入模块2710，第一和第二小波模块2720和2722，存储模块2740，运动补偿模块2750，FIFO存储器2730，和输出FIFO存储器2760。

将由上述编码设备(图1)进行编码的图像数据，以比特流为单位，输入到运动图像编码设备的输入模块2710。分别将输入数据中的运动矢量传输到存储模块2740，将其它数据传输到第一和第二小波模块2720和2722。

将输入到第一和第二小波模块的数据进行小波逆变换，并且通过FIFO存储器2730传输到存储模块2740。

存储模块2740将从输入模块2710传输而来的运动矢量和从FIFO存储器2730传输而来的小波逆变换数据传输到运动补偿模块2750，并且对运动进行补偿，从而对比特流形式的数据进行解码。通过输出FIFO存储器2760对所解码的数据进行最后输出。

根据本发明，减少了进行小波变换所需的存储器，并且通过一个存储器，使用共享帧信息和块信息，减少运动预测所需的时间。同时，通过使用存储器，对同样地应用于与两个场相对应的图像的运动信息进行存储和共享，能够简化硬件设备。

还有，能够将根据本发明的运动图像编码设备有效地应用于场，其中，场的容量较大，并且很难一次对所有的运动进行预测，如大屏幕图像。同时，能够有效地将基于帧的图像与基于块的图像组合起来，并且进行信息编码。

Claims (10)

1.一种利用基于帧的小波变换和基于块的运动预测对运动图像进行编码的设备，包括：

输入模块，用于接收包括当前帧和先前帧的原始图像数据；

小波模块，用于对通过输入模块接收到的当前帧和当前帧与先前帧之间的差分信号数据进行小波处理；

运动预测模块，用于获得运动矢量；

运动补偿模块，用于利用运动矢量进行运动补偿；

存储模块，用于存储从输入模块传来的包括当前帧和先前帧的原始图像数据、从运动预测模块传来的运动矢量、以及从运动补偿模块传来的差分信号数据，并根据相应模块的请求，将包括当前帧和先前帧的原始图像数据、差分信号数据和运动矢量分别传输到输入模块、小波模块和输出模块；

输出模块，用于对从小波模块输入的数据和从存储模块输入的运动矢量进行耦合，从而输出一比特流；以及

控制模块，用于控制各个模块的操作。

2.根据权利要求1的设备，其特征在于，输入模块包括输入缓冲器和输出缓冲器，

输入缓冲器将输入到输入模块的原始图像数据传输到存储模块，

输出缓冲器读取对应于当前帧和从存储模块传来的先前帧之间差的数据，并且将所读取的数据传输到小波模块。

3.根据权利要求2的设备，其特征在于，输入模块的输入缓冲器包括：

分解器，用于从输入到输入模块的原始图像数据中分别分解出亮度数据和色度数据；

亮度先入先出存储器和色度先入先出存储器，分别用于存储从分解器输出的所分解的亮度数据和所分解的色度数据；

记录控制器，用于控制亮度先入先出存储器和色度先入先出存储器，以及分解器的操作；以及

读取控制器，用于控制是否从亮度先入先出存储器和色度先入先出存储器输出数据。

4.根据权利要求2的设备，其特征在于，输入模块的输出缓冲器包括：

亮度先入先出存储器和色度先入先出存储器，分别用于对从存储模块接收到的亮度数据和所分解的色度数据进行分离和存储；

分离器控制器，用于控制从亮度先入先出存储器和色度先入先出存储器输入的数据；

复用器，用于选择要输入到小波模块的亮度数据和色度数据；以及

先入先出存储器读取控制器，用于控制亮度先入先出存储器和色度先入先出存储器的输出和复用器的操作。

5.根据权利要求1的设备，其特征在于，运动预测模块包括：

至少一个输入缓冲器，用于存储从存储模块传来的数据；

输入缓冲器控制器，用于控制存储在输入缓冲器中的数据的输出顺序；

延迟器，用于根据输入缓冲器控制器，对从输入缓冲器输出的数据进行延迟；

复用器，用于传输从延迟器输出的数据；以及

运动预测器，用于通过处理从复用器输出的数据，获得运动矢量。

6.根据权利要求1的设备，其特征在于，运动补偿模块包括：

输入缓冲器，用于接收宏块数据，该宏块存储在由运动矢量所形成的存储模块地址中；

处理部件，用于交替地接收与先前帧有关的数据和与当前帧有关的数据，并且获得输入数据之间的差分；以及

输出缓冲器，用于输出处理部件的结果，以将结果存储到存储模块。

7.根据权利要求1的设备，其特征在于，存储模块包括存储器，其能够存储与从输入模块传来的一个帧相关的图像数据、与要传输到运动预测模块和补偿模块的两个先前帧相关的图像数据、与作为运动预测模块中的运动预测结果的运动矢量相对应的数据、以及与作为运动补偿模块的运动补偿结果的差分信号相对应的数据。

8.根据权利要求1的设备，其特征在于，存储模块包括由第一和第二存储器组构成的存储器，并且以场为单位，通过在第一存储器组中存储图像数据的第一奇数行数据和第一偶数行数据，在第二存储器组中存储图像数据的第二奇数行数据和第二偶数行数据，而在各个存储器组中存储从输入模块传来的图像数据。

9.根据权利要求1的设备，其特征在于，输出模块包括：

先入先出存储器记录控制器，用于选通流先入先出存储器的输入端，并且监视流先入先出存储器是否已满；

先入先出存储器读取控制器，用于选通流先入先出存储器的输出端，并且监视流先入先出存储器是否已空；

耦合器，用于对从小波模块输入的输入数据和从存储模块输入的运动矢量进行耦合；以及

流先入先出存储器，用于存储从耦合器输入的数据。

10.一种运动图像解码设备，使用基于块的运动预测和基于帧的小波变换，对通过一比特流类型的编码而输入的图像信号进行解码，所述运动图像解码设备包括：

输入模块，用于接收一比特流类型的编码图像信号；

小波模块，用于从输入模块接收当前帧和图像信号之间的差分信号，并且对当前帧和差分信号进行小波逆变换；

先入先出存储器，用于存储从小波模块输出的信号；

存储模块，将图像信号中的运动矢量从输入模块传输到存储模块，将经过小波逆变换的差分信号从先入先出存储器传输到存储模块；

运动补偿模块，用于利用从存储模块传来的运动矢量和差分信号，对运动进行补偿；以及

输出缓冲器，用于最终输出从存储模块接收到的由运动补偿模块所编码的图像信号。

Images