CN102377999A - 一种基于avs编码器的搜索窗缓冲装置 - Google Patents

Abstract

本发明提供一种基于AVS编码器的搜索窗缓冲装置，系统控制模块用于在每一帧的开始处更新系统信息并将这些系统信息传递给搜索窗更新模块，向搜索窗更新模块提供宏块级的控制；搜索窗更新模块用于根据系统控制模块提供的系统信息向外部存储器发送读取请求，并将外部存储器返回的数据依次存入搜索窗存储模块；搜索窗存储模块用于本地保存读入的数据；搜索窗读取模块用于响应客户端的请求，从搜索窗存储模块读取相应的数据，返回给客户端。本发明可以极大的提高带宽利用率，降低运动估计和运动补偿的访存量，提高运动估计和运动补偿的访存效率和AVS编码器的整体性能。

Description

一种基于AVS编码器的搜索窗缓冲装置

技术领域

本发明涉及数字视频编解码技术领域，更具体地，涉及一种基于AVS编码器的搜索窗缓冲装置。

背景技术

由于市场的不断需要，基于不同标准的各类视频编解码芯片得到了广泛使用和飞速发展。AVS是我国具备自主知识产权的第二代信源编码标准。顾名思义，“信源”是信息的“源头”，信源编码技术解决的重点问题是数字音视频海量数据(即初始数据、信源)的编码压缩问题，也称数字音视频编解码技术，它是其后数字信息传输、存储、播放等环节的前提，因此是数字音视频产业的共性基础标准。

传统的基于宏块的运动补偿技术可以有效降低时间冗余，但为了获取更高的编码效率，AVS标准进行了很多方面的改进。其中，AVS标准针对运动补偿引入的新特性包括：变块尺寸、运动矢量预测、多参考帧、直接和对称预测模式、无限制运动矢量、1/4像素插值。这些新特性增加了计算量和存储带宽，从而增加了商用解码器的成本。

对于运动补偿，其中具体的运动处理有两个过程，第一个过程是对运动物体的位移做出估计，即对运动物体从上一帧到当前帧位移的方向和像素数进行估计，求出运动矢量，该过程就叫做运动估计；第二个过程是按照运动矢量，将上一帧位移，求出对当前帧的估计，该过程称为运动补偿。

运动估计用于在使用帧间编码方式时通过参考图像产生对被压缩图像的估计。运动估计的准确程度对帧间编码的压缩效果非常重要，如果估计做得好，那么被压缩图像与估计图像相减后只留下很小的值用来传输。

运动补偿预测用于去掉图像信号的时间冗余信息，图像信号结构上的冗余度表现为很强的空间(帧内的)和时间(帧间的)相关性。统计测量证实了图像信号在相邻像素间、相邻行间、相邻帧间存在强的相关性。一般情况下，图像中的大部分区域信号变化缓慢，尤其是背景部分几乎不变，如电影胶带，连续几十张画面变化甚小。AVS把图像序列分成一个个的图像组，每个图像组中包括I帧、P帧和B帧3种类型的图像帧，对于不同的图像帧采用不同的编码方法。在AVS标准中获得运动补偿的块结构大小不再局限于宏块的基础，可以从宏块的分块或子分块中获取运动矢量。每个宏块可以分解为1个16×16块、2个8×16块、2个16×8块或4个8×8块，并拥有与块相对应的运动矢量。

在AVS-P2解码器中，运动补偿的访存量达到50％，亚像素的处理时间达到25％。运动补偿成为AVS编解码器中数据量最密集的部分，对于HDTV1080p，图像大小为1920×1080，基于CPU的软件应用程序，无法达到高清实时解码的数据要求。

综上所述，在AVS高清编码器中参考像素和当前帧像素的数据量非常巨大，通常放在外存外部存储器中存储。而运动估计和运动补偿的访存量尤其的惊人，使得整个编码器系统存在运行的瓶颈制约。因此，如何提高带宽利用率，降低访存量成为设计编码器的关键。

发明内容

为克服现有AVS编码其中访存量大且使用外置存储所产生的系统性能受限的缺陷，本发明提出一种基于AVS编码器的搜索窗缓冲装置。

根据本发明的一个方面，提供一种基于AVS编码器的搜索窗缓冲装置，包括系统控制模块、搜索窗更新模块、搜索窗读取模块和搜索窗存储模块；

其中，所述系统控制模块用于在每一帧的开始处更新系统信息并将这些系统信息传递给搜索窗更新模块，向搜索窗更新模块提供宏块级的控制；所述搜索窗更新模块用于根据系统控制模块提供的系统信息向外部存储器发送读取请求，并将外部存储器返回的数据依次存入搜索窗存储模块；所述搜索窗存储模块用于本地保存读入的数据；所述搜索窗读取模块用于响应客户端的请求，从搜索窗存储模块读取相应的数据，返回给客户端。

通过本发明，可以极大的提高带宽利用率，降低运动估计和运动补偿的访存量，提高运动估计和运动补偿的访存效率和AVS编码器的整体性能。

附图说明

图1是AVS编码器的搜索窗缓冲装置的结构框图；

图2是AVS编码器的搜索窗缓冲装置的窗口结构示意图；

图3是AVS编码器的搜索窗缓冲装置的更新状态示意图；

图4是搜索窗缓冲装置的本地存储空间结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明提供的一种基于AVS编码器的搜索窗缓冲装置进行详细描述。

在AVS编码器中，运动估计和运动补偿的请求数据量大且频繁进行，部分参考数据会重复读取，严重制约外存访问带宽利用率的提高，本发明提供一种缓冲装置，客户端只需向缓冲装置请求相应的数据，缓冲装置统筹全部的数据请求，由缓冲装置统一访问外存外部存储器，自动完成数据更新，将其存储在本地存储空间中，整合用于更高效的访问。

如图1所示，本发明提出了一种基于AVS编码器的搜索窗缓冲装置(以下简称搜索窗缓冲装置)，包括系统控制模块、搜索窗更新模块、搜索窗读取模块和搜索窗存储模块。

总的来说，系统控制模块用于整个搜索窗缓冲装置的控制，包括三部分功能：第一，用于为装置提供帧级的控制，决定针对每一帧在何时开始处理以及何时结束处理，使得在每一个不同的帧都能及时获得相关的更新的系统信息，保证从外部存储器中读取正确的参考帧数据；第二，用于提供宏块级的控制，在新的宏块位置上移动搜索窗口、记录当前搜索窗口的位置以及更新宏块的位置信息；第三，用于控制从外部存储器中读取参考帧的数据来更新本地存储空间中的数据。

搜索窗更新模块用于在每一帧开始时对搜索窗缓冲装置进行初始化，并且用于更新当前宏块行参考数据和下一宏块行参考数据。在AVS高清编码器中共有三个模块需要搜索窗缓冲装置，它们分别为IME(整像素运动估计)缓存器、FME(亚像素运动估计)缓存器以及MC(运动补偿)缓存器。

搜索窗存储模块用作搜索窗缓冲装置的存储空间，本地保存缓存数据，每一个搜索窗缓冲装置包含4个存储部分，前后向各两个。

搜索窗读取模块用于响应各个客户端发起的请求，根据客户端提供的读取信息，产生相应的地址，从搜索窗存储模块的本地存储空间读取相应的数据，返回给客户端。

搜索窗缓冲装置的请求机制主要分三步：第一，判断当前窗口是否有效，在每个宏块周期开始的时候，要先判断搜索窗口是否可用，如果可用，可以发起读请求，否则要等到搜索窗缓冲装置控制移动搜索窗口，使搜索窗有效之后才可以在本宏块周期之内发起读请求；第二，发起当前窗口的读请求，遵循搜索窗缓冲装置请求时序；第三，在当前窗口请求搜索窗缓冲装置全部结束之后，通知搜索窗缓冲装置已经结束，由此搜索窗缓冲装置来移动当前的窗口到适当的位置，以供下一个宏块读取。

更具体地，继续参考图1，系统控制模块首先为整个搜索窗缓冲装置提供帧级的控制，在每一帧的开始处会更新图像宽度、图像高度、图像类型、图像结构或者参考帧基地址等系统信息并将这些信息传递给搜索窗更新模块，以保证模块及时获得相关的更新的系统信息，并从外部存储器读取正确的参考帧数据；其次是向搜索窗更新模块提供宏块级的控制，在新的宏块位置上记录其搜索窗口的位置(窗口位置用win_x和win_y来表示)以及更新宏块的位置信息(宏块的位置用mb_x和mb_y来表示)；第三，间接通过搜索窗更新模块从外部存储器中读取参考帧的数据，实时更新本地存储空间中的数据。

搜索窗更新模块用于根据系统控制模块提供的系统信息适时的向外部存储器发读取请求，并将外部存储器返回的数据依次存入本地的存储空间中即搜索窗存储模块。需要更新的数据有三种类型：第一种为在每一帧开始时对搜索窗缓冲装置进行初始化填满当前搜索窗的所有位置的数据，第二种为对当前宏块行参考数据的更新的数据，第三种为对下一宏块行参考数据的更新数据。

图2示出搜索窗缓冲装置的搜索窗，当前搜索窗的大小为：[±128，±256]，每一个搜索窗缓冲装置包含的存储大小为：2(两倍)×2(前后向)×(256+16)(搜索窗宽度)×128(搜索窗高度)。在搜索窗缓冲装置的存储空间中还会多留出一部分空间，作为预取之用。斜线和方格线部分区域是第一次初始化的区域，其中的斜线部分是当前的搜索窗口，该窗口对应一宏块大小(16×16像素)的原图像所用的搜索参考像素数据；方格线部分留作下一个窗口移动之用，而交叉斜线部分是正在更新的区域，空白部分是将要更新的区域。每一个搜索窗缓冲装置包含两套搜索窗，每套大小都是2(前后向)×(256+16)(搜索窗宽度)×128(搜索窗高度)。两套搜索窗乒乓操作，当其中一套搜索窗缓存当前宏块行的参考图像数据时，另一套初始化下一宏块行的最左边的参考图像，为了减少初始化对外部存储器带宽的冲击，将初始化的数据分块读入，并分散到各个时间段完成。如当前搜索窗每移动一次，另一搜索窗将读入32(byte)*16的数据，初始化下一宏块行参考图像。

图3示出搜索窗缓冲装置的工作状态，斜线区域表示正在被当前宏块所使用，交叉斜线区域表示目前正在读取中，方格区域表示已经读取，白色区域表示将来可以刷新的。搜索窗缓冲装置当前宏块行(包括初始化)每次向外部存储器发起的读请求都是32(byte)*64的大小，即每次交叉斜线区域更新的大小。读取如此大小的区域需要64*2＝128个周期。下一宏块行每次向外部存储器发起的请求的大小是32(byte)*16，是当前行数据量的1/4。读取如此大小的区域需要16*2＝32个周期。

具体更新流程如下：

1)初始化：读取(160+32)*128个像素。

在一帧的开始处，所需的窗口并不在搜索窗缓冲装置中，此时就需要进行初始化操作，此时的搜索窗缓冲装置中的数据尚未准备好，是不允许被读数的。

对于后向参考帧，要初始化的大小是(160+32)*128，也就是搜索窗缓冲装置要向外部存储器发起12次上面交叉斜线部分那样的请求。

对于前向参考帧，要初始化的大小也是(160+32)*128，也需要向外部存储器发起12次上面交叉斜线部分那样的请求。

2).MB_0y处理(斜线区域)，同时读取交叉斜线区域的像素；

3).MB_1y处理(斜线区域)，同时读取交叉斜线区域的像素；

4).MB_2y处理(斜线区域)，同时读取交叉斜线区域的像素；

5).MB_3y处理(斜线区域)，同时读取交叉斜线区域的像素；

初始化结束，当正在处理斜线的搜索窗部分的时候，同时将交叉斜线部分的像素从外部存储器中读取出来，也就是发起一次外部存储器请求。然而需要更新的有当前宏块行的前向参考帧和后向参考帧，请求的大小是32*64，以及下一宏块行的前向参考帧和后向参考帧，请求的大小是32*16。前向参考帧和后向参考帧拥有自己的mb_x和mb_y。共发起4次读外部存储器的请求，4次请求共需要128*2+32*2＝320个时钟周期才能完成，一个宏块周期是800个时钟周期，那么4次连续的请求需要320个时钟周期，在一个宏块周期即800个时钟周期之内可以完成这4次读请求。

搜索窗读取模块响应各个客户端发起的请求，根据客户端提供的读取信息，产生相应的地址，从本地存储空间中读取相应的数据，返回给客户端。搜索窗缓冲装置的请求机制主要分三步：

1)判断当前窗口是否有效

在每个宏块周期开始的时候，先判断搜索窗口是否可用，如果可用，可以发起读请求，否则，要等到搜索窗缓冲装置控制移动搜索窗口，使搜索窗有效之后，在本宏块周期之内发起读请求。判断当前窗口是否有效，每个宏块周期只需要执行一次。

2)发起当前窗口的读请求

当已经判断当前窗口已经有效之后，可向搜索窗缓冲装置发起读请求，每个搜索窗缓冲装置都有前后向两套的请求。

3)在当前窗口请求搜索窗缓冲装置全部结束后，通知搜索窗缓冲装置已经结束，使用一套结束信号来移动当前的窗口到适当的位置，以供下一个宏块读取。

读取时地址逻辑由搜索窗缓冲装置内部根据请求端提供的x和y来产生。对于请求端，此部分是完全封闭不可见的。要从搜索窗缓冲装置中读出正确的参考数据，需要正确的地址产生逻辑，来生成正确的访存地址。此处读搜索窗缓冲装置的地址产生逻辑和搜索窗缓冲装置更新时写入存储空间的地址产生类似，但其把地址分成基地址和偏移地址两部分。

基地址的求法是：Bwdaddr＝(Rin_x+x)％20，基地址的作用是找到适当的窗口位置。Bwdaddr是基地址，Rin_x是当前窗口相对ram的位置，因为存储空间的最大深度是20，如果超过20，那么将拉回到ram的最初位置存放。

偏移地址的求法是：Owdaddr＝y，Owdaddr是偏移地址，偏移地址的作用是对于一个窗口深度内的地址偏移。

最后将基地址和偏移地址拼接，得到ram的存储地址：

addr＝{Bwdaddr，Owdaddr}，addr是ram的存储地址。

搜索窗存储模块是搜索窗缓冲装置的存储空间，当搜索窗更新模块向外部存储器发读取请求，外部存储器将返回的数据依次存入本模块。如图4所示。每一个搜索窗缓冲装置包含4个存储部分。前后向各两个，每一部分的宽度为128位，也就是16个像素，需要4个存储单元来构成，其深度设计成2560。因此每一个存储部分需要由20个存储单元所组成。这样，一个搜索窗缓冲装置就需要80个存储单元，根据搜索窗的大小要求每一部分至少由5段组成，每一部分就需要20个存储单元。

当正在访问斜线部分的搜索窗时，同时要更新交叉斜线的预读部分，当搜索窗向右移动的过程中，如果紧靠它右侧的预读部分尚没有读完，此时的搜索窗就不能再往右移动，直到右侧的预读部分读取完毕。当搜索窗移动到右边界的时候，会折返到最左边。当然也会出现这样一种情况，就是搜索窗在最右边一部分，同时最左边也会有一部分，此时就要注意对地址越界的处理，把它正确的映射到正确的区域。当前行处理完毕之后，会切换到下一行，存在一个存储单元之间切换的问题，当然不能把其中的像素进行切换，只需切换相关标志就可以了。

最后应说明的是，以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制，本发明在应用上可以延伸为其他的修改、变化、应用和实施例，并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。

Claims (10)

1.一种基于AVS编码器的搜索窗缓冲装置，包括系统控制模块、搜索窗更新模块、搜索窗读取模块和搜索窗存储模块；

其中，所述系统控制模块用于在每一帧的开始处更新系统信息并将这些系统信息传递给搜索窗更新模块，向搜索窗更新模块提供宏块级的控制；所述搜索窗更新模块用于根据系统控制模块提供的系统信息向外部存储器发送读取请求，并将外部存储器返回的数据依次存入搜索窗存储模块；所述搜索窗存储模块用于本地保存读入的数据；所述搜索窗读取模块用于响应客户端的请求，从搜索窗存储模块读取相应的数据，返回给客户端。

2.权利要求1的搜索窗缓冲装置，其中，所述搜索窗更新模块用于在每一帧开始时更新当前宏块行参考数据和下一宏块行参考数据。

3.权利要求1的搜索窗缓冲装置，其中，所述搜索窗更新模块更新的数据包括：每一帧开始时填满当前搜索窗的数据、用于当前宏块行参考数据的更新数据和用于下一宏块行参考数据的更新数据。

4.权利要求1的搜索窗缓冲装置，其中，所述搜索窗更新模块包括乒乓操作的两套搜索窗，其中一套搜索窗缓存当前宏块行的参考图像数据时，而另一套初始化下一宏块行最左边的参考图像。

5.权利要求1的搜索窗缓冲装置，其中，所述搜索窗更新模块正访问当前更新部分的搜索窗时，同步更新预读部分，当搜索窗向右移动过程中移动到右边界时折返到最左边。

6.权利要求1的搜索窗缓冲装置，其中，所述系统信息包括图像宽度、图像高度、图像类型、图像结构或者参考帧基地址。

7.权利要求1的搜索窗缓冲装置，其中，所述系统控制模块在控制所述搜索窗更新模块时在新的宏块位置上记录其搜索窗口的位置和更新宏块的位置信息。

8.权利要求1的搜索窗缓冲装置，其中，所述搜索窗读取模块用于响应客户端的请求，根据客户端提供的读取信息，产生相应的地址，从搜索窗存储模块读取相应的数据。

9.权利要求1的搜索窗缓冲装置，其中，所述搜索窗读取模块在每个宏块周期开始的时候判断搜索窗口可用后发起当前窗口的读请求，根据请求时序读取数据，并在当前窗口请求结束之后移动当前的窗口到适当的位置，以供下一个宏块读取。

10.权利要求1的搜索窗缓冲装置，其中，所述搜索窗存储模块包括4个存储部分，前后向各两个，每一部分的宽度为128位，深度为2560。

Images