CN1589028B - 基于像素流水的帧内预测装置及预测方法 - Google Patents

Abstract

本发明是基于像素流水的帧内预测装置和预测方法，装置包括帧内预测模式推导模块、预测像素生成模块、重建及更新模块；帧内预测模式推导模块根据码流解析出的模式信息和周围模式预测模式信息推导出实际帧内预测模式，并传递给像素生成模块，预测像素生成模块根据周围相邻像素值和模式推导模块输入的帧内预测模式进行方向预测，得到宏块内所有点的帧内预测像素值并交给重建模块进行重建和更新，重建及更新模块将像素生成模块输出的帧内预测值与由反变换模块电路输出的预测残差值相加，得到实际的解码重建值并将这些重建值存于行缓冲和下游模块输入缓冲区中。本发明采用像素级流水线结构，减少了芯片面积占用，满足了高清晰度电视解码实时性需要。

Description

基于像素流水的帧内预测装置及预测方法

技术领域

本发明涉及数字电视图像处理中数字视频的编解码技术和芯上系统(SOC，System on Chip)，尤其是涉及一种视频解码芯片中基于像素流水的帧内预测装置及预测方法。

背景技术

视频编码技术主要试图解决用尽量少的信息位来表示一段视频，并且完全由这些信息位能恢复出或大致恢复出原始图像。为了追求更高的压缩效率，预测技术得到了快速的发展。在最新的视频标准H.264(国际电信联盟最新视频编解码标准)和AVS(中国音视频编解码国家标准)中，都引入了多模式的空间域上的帧内预测。帧内预测利用当前块的左边和上边最邻近解码像素值来预测当前块的所有像素。

请参见图1，空间域上帧内预测的9种预测模式示意图。不同于运动图象专家组标准MPEG-4和以前的视频编码标准中采用的在变换域上的帧内预测，H.264标准率先采用在原图像空间域上的帧内预测，利用与当前块紧邻的已解码像素值，来预测当前块的像素值。这种方式的帧内预测能更好地利用图像中纹理的方向连续性，通过不同的方向来对图像块进行适应性的预测。该标准一共定义了9种预测模式，分别使用8种预测方向和一种直流DC，direct current)模式，DC模式采用边缘像素的平均值作为所有点的预测值。

色度分量采用了4种预测模式，分别是DC、水平、垂直和平面预测模式，如图2所示。垂直模式是用V进行预测。水平模式是用H进测模式，如图2所示。垂直模式是用V进行预测。水平模式是用H进行预测。直流DC模式是用所有的H和V的平均值进行预测。平面模式是用H和V决定的线性插值进行预测，这种模式适合于图像中平滑变化的块。

由于采用了多种预测模式，这些模式信息必须让解码器获得，以便正确解码。而编码这些预测模式亦需要一定的码率。对图像数据进行分析，可以发现纹理的走向有一定的连续性，这使得相邻块之间的预测模式之间还可以预测。预测模式预测见图3所示。当A、B都存在，即当前块C不处于图像边界时，使用A、B两个模块的预测模式的较小值作为预测值，因为较小的模式具有较高的选中概率。如果码流解析出的模式值小于预测模式值，则实际模式等于码流解析值，否则实际模式等于码流解析值加1。码流中另有一个标记表明是否使用码流解析值，如果该标记为0则码流中不编码流解析值，实际模式等于预测模式。另外，色度模式种类较少，不进行模式预测。

为满足高清晰图像实时解码的需求，专用的超大规模集成电路被用来实现解码器芯片。整个解码器芯片分为很多个模块，如同其他模块一样，帧内预测模块的设计也要追求面积，速度，功耗的最佳平衡。现有技术采用的是以行为单位进行处理，一行8个像素并行进行帧内预测，8倍的并行，虽然提高了系统的吞吐率，但使得处理单元个数提高了8倍，使行处理芯片面积大。现有技术的帧内预测的装置设计并不能真正满足帧内预测的需要。

另一种做法是按像素串行进行，做完一个像素的预测，再进行下一个像素的预测，这样所有的像素可以共用处理单元，可以大大减小芯片面积，但串行处理带来的问题是处理速度较慢，通常用多个时钟周期才能流出一个像素数据，很难达到视频特别是高清晰度视频图像解码对实时性的要求.

发明内容

为了克服上述现有技术的不足，本发明的目的是提供一种基于像素流水的帧内预测装置及预测方法，以满足帧内预测的需要。

本发明的另一个目的是提供一种基于像素流水的帧内预测装置及预测方法，使帧内预测模块达到面积、速度、功耗的较好平衡。

为了完成上述发明任务，本发明采用的总体技术方案是：一种基于像素流水的帧内预测装置，包括：

帧内预测模式推导模块，它用于推导出实际的帧内预测模式，决定帧内预测的方向和模式，该模块包括最小值器、比较器、加法器、数据复用器，最小值器连接行缓冲器和左边模式存储器，其输出端连接数据复用器的一端，比较器连接先进先出队列和最小值器输出端，比较器的输出端连接加法器的一端，加法器的另一端与先进先出队列相连，数据复用器的输出端连接预测模式行缓冲器和帧内预测像素生成模块的参考像素获取电路；

预测像素生成模块，该模块用于根据周围相邻像素值和模式推导模块输入的帧内预测模式进行方向预测，得到宏块内所有点的帧内预测像素值，它包括连接帧内预测模式推导模块行缓冲器的参考像素获取电路、像素级三级流水线电路，三级流水线电路包括地址计算电路、滤波电路和预测与更新电路，预测与更新电路与重建及更新模块相连；

重建及更新模块，该模块用于生成实际的解码重建值，并将这些重建值写入下游模块的输入缓冲区，其加法器的两个输入端分别连接像素生成模块帧内预测值输出端和反变换模块电路预测残差值的输出端，加法器的重建值输出端连接帧内预测模式推导模块的行缓冲器。

所述的帧内预测模式推导模块中有一个行缓冲器，以存放上一个整图像行的帧内模式信息，用于模式推导时参考。

所述的帧内预测模式推导模块在像素生成模块给出的宏块开始信号拉高时开始工作。

所述的帧内预测模式推导模块在连续的三个时钟周期中完成预测模式推导，第一个周期完成参考模式的读取，第二个周期完成预测模式的计算，第三个周期将模式解码值存入行缓冲器中。

一种基于像素流水的帧内预测装置的预测方法包括如下步骤：

步骤1、帧内预测模式推导模块通过码流解析出来的模式信息和根据周围模式的预测模式信息推导出实际的帧内预测模式，并将结果传递给像素生成模块，以决定帧内预测的方向和模式；

步骤2、预测像素生成模块根据周围相邻像素值和模式推导模块输入的帧内预测模式进行方向预测，得到宏块内所有点的帧内预测像素值，并交给重建电路进行重建和更新；

步骤3、重建及更新模块将像素生成模块输出的帧内预测值与由反变换模块电路输出的预测残差值相加，得到实际的解码重建值，然后将这些重建值存于行缓冲中，以便像素生成电路以后使用，并将这些重建值拼接成一行，写入下游模块的输入缓冲区。

上述所述步骤1进一步包括如下步骤：

步骤11、取预测模式行缓冲器中的模式解码值和左边模式解码值的较小值；

步骤12、将较小值与从先进先出队列中取出的模式值通过比较器相比较；

步骤13、将比较结果输入加法器；

步骤14、判断从队列中取出的模式值是否大于等于最小值器的输出值，如果是则将从队列中取出的模式值加1作为实际输出值，否则输出最小值器的输出值，并由数据复用器将输出值写入行缓冲器中。

上述所述的步骤2进一步包括下述步骤：

步骤21、在每一个宏块的流水开始之前，从重建模块电路的像素行缓冲器中取出所需要的预测参考点，存于内部寄存器中；

步骤22、判断参考像素是否获取完毕，是则发送信号给一个三级流水线进行帧内预测；

步骤23、三级流水线的第一级根据模式值和当前像素坐标利用查找表得到需要的左边参考像素和上边参考像素的位置，第二级进行滤波，从对应地址的寄存器取得像素参考值，经过加法器和移位器得到滤波后的预测值，第三级根据预测模式产生一个控制信号，由该控制信号控制一个数据复用器对滤波值和原始值进行筛选，之后将得到的预测值锁存，并写出到重建模块电路中。

所述步骤23中的地址计算中，用于预测某一个像素点的参考点位置为两个，一个用来标记上边参考位置，另一个标记左边参考位置，这两个位置根据预测模式计算和当前预测点的位置计算而得。

所述步骤3中的三级流水线从重建模块电路的像素行缓冲器中取出所需要的预测参考点是用5个时钟周期完成，第一周期等待上一块流水结束，第二周期读取上边像素，第三个周期读取右上像素，第四周期锁存上边像素，第五个周期锁存右上像素并启动流水线。

本发明采用像素级流水进行帧内预测，具有明显的优点和积极效果。满足了对于高清晰度电视解码实时性的需要，而且还留有足够的裕量。同时，由于采用像素级流水线结构，同一个像素的处理被分散在三个级别中顺序进行，而相继像素的相继处理步骤在同一时间内进行，在只增加少许寄存器的情况下，却大大提高了基于像素的帧内预测方法的吞吐率。相比于基于行的平行处理办法，因为只采用了一套运算部件，所以大大减少了芯片面积的占用。

附图说明

图1是现有技术中空间域上帧内预测的9种帧内预测亮度模式示意图；

图2是现有技术中色度分量4种预测模式示意图；

图3是现有技术中帧内预测方法图；

图4是本发明帧内预测装置的顶层模块结构示意图；

图5是本发明帧内预测模式推导模块结构示意图；

图6是本发明帧内预测像素生成模块结构示意图；

图7是本发明帧内预测装置的预测像素流水线示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

参阅图4，本发明帧内预测装置的顶层模块结构示意图，本发明帧内预测装置包括模式推导、像素生成和重构与更新三大模块。

图5是本发明帧内预测模式推导模块结构示意图。帧内预测模式推导模块推导出实际的帧内预测模式，决定帧内预测的方向和模式，该模块包括最小值器、比较器、加法器、数据复用器，最小值器连接行缓冲器和左边模式存储器，其输出端连接数据复用器的一端，比较器连接先进先出队列和最小值器输出端，比较器的输出端连接加法器的一端，加法器的另一端与先进先出队列相连，数据复用器的输出端连接预测模式行缓冲器和帧内预测像素生成模块的参考像素获取电路。帧内预测模式推导模块的导出电路通过码流解析出来的模式信息和根据周围模式的预测模式信息，推导出实际的帧内预测模式，并将结果传递给像素生成电路模块，以决定帧内预测的方向和模式。模式推导模块中包含一个行缓冲器，以存放上一个整图像行的帧内模式信息用于模式推导时的参考。

模式推导模块的工作方式是：

首先，等待像素生成模块给出宏块(macro block)开始信号，该信号拉高时开始工作。然后，3个状态启动，在连续的三个时钟周期中完成预测模式推导。第一个周期完成参考模式的读取，第二个周期完成预测模式的计算，计算的电路第三个周期将模式解码值存入行缓冲。当宏块开始信号拉高后，连续计算一个宏块中所有块的模式值，直到宏块结束，等待下一个宏块开始信号。

图5所示的模式计算过程是：上边模式和左边模式的较小值通过比较器与队列取出的模式相比较，其结果输入加法器。如果队列中取出的模式大于等于最小值器的输出，则将队列取出的模式加1作为实际输出值。输出前级有一个数据复用器，由编码标记选择是采用预测值输出，还是队列取出值输出。计算得到的结果更新行缓冲器。

如图6所示，预测像素生成模块包括连接帧内预测模式推导模块行缓冲器的参考像素获取电路、像素级三级流水线电路，三级流水线电路包括地址计算电路、滤波电路和预测与更新电路，预测与更新电路与重建及更新模块相连。预测像素生成模块根据周围相邻像素值和模式推导模块输入的帧内预测模式进行方向预测，得到块内所有点的帧内预测像素值，并交给重建模块进行重建和更新。流水线一旦运行起来，每一时钟周期输出一个预测值，一直到一个块中所有的像素都预测完成。

为了节省访存的时间消耗，在每一个块的流水开始之前，首先参考像素获取电路从重建与更新模块的像素行缓冲器中取出所需要的预测参考点，存于内部寄存器中。这个过程由一5个状态的状态机通过状态转换在相继的5个周期完成数据的读取。当所需数据都已备时，发送信号给一个三级流水线，进行帧内预测。

在图7中，像素的预测过程通过一个三级流水线进行。第一级进行地址计算，根据模式值和当前像素坐标，利用查找表得到需要的左边参考像素和上边参考像素的位置，第二级进行滤波，从对应地址的寄存器取得像素参考值，经过加法器和移位器得到滤波后的预测值。第三级根据预测模式产生一个控制信号，由该控制信号控制一个数据复用器对滤波值和原始值进行筛选，之后将得到的预测值锁存，并写出到重建模块电路中。

流水线启动后，第一个像素的地址计算在第一个时钟周期完成，然后进入第二级，在第二个周期计算第一个像素的滤波值，与此同时即在第二个周期，第二个像素进入流水线，它的地址计算也在流水线的第一级完成。从时间上看，一个像素的预测过程需要三个周期，分别通过流水线的三级，最后输出；从空间上看，同一时刻，流水线的三级在同时处理三个相继像素的帧内预测的不同阶段。不同的级别之间用寄存器保存中间值。

再如图6所示，重建及更新模块加法器的两个输入端分别连接像素生成模块帧内预测值输出端和反变换模块电路预测残差值的输出端，加法器的重建值输出端连接帧内预测模式推导模块的行缓冲器。重建和更新模块将像素生成模块输出的帧内预测值与由反变换电路输出预测残差值通过加法器相加，得到实际的解码重建值。一方面将这些重建值存于行缓冲器中，以便像素生成模块以后使用；另一方面，将这些重建值拼接成一行，并写入下游模块的输入缓冲区中。这种将重建和帧内预测放在一个模块的机制，可以节省模块间的互访。

基于像素流水的帧内预测装置的帧内预测方法主要有以下步骤：

步骤1、帧内预测模式推导模块通过码流解析出来的模式信息和根据周围模式的预测模式信息推导出实际的帧内预测模式，并将结果传递给像素生成模块，以决定帧内预测的方向和模式；

步骤2、预测像素生成模块根据周围相邻像素值和模式推导模块输入的帧内预测模式进行方向预测，得到宏块内所有点的帧内预测像素值，并交给重建模块进行重建和更新；

步骤3、重建及更新模块将像素生成模块输出的帧内预测值与由反变换模块电路输出的预测残差值相加，得到实际的解码重建值，然后将这些重建值存于行缓冲中，以便像素生成电路以后使用，并将这些重建值拼接成一行，写入下游模块的输入缓冲区中。

实施例1：AVS标准的帧内预测。AVS标准采用8x8的块大小，帧内预测模式亮度有5种，分别是水平，垂直，直流，斜左下对角，斜右下对角；色度有4种，直流，水平，垂直，平面内插。对于高清晰度电视如分辨率为1920x1088的要求，行缓冲位宽64比特，可以存一个宏块行的数据，深度480，其亮度为240，色度为240。计算一个8x8块需要流水线周期64+2＝66，计算整个宏块的时钟周期432周期，满足了对于高清晰度电视解码实时性的需要，而且还留有足够的裕量。同时由于采用像素级流水线结构，大大减少了芯片面积的占用。

实施例2：H.264标准的帧内预测。H.264标准的帧内预测与AVS标准类似，不过它使用4x4的块大小，帧内预测模式亮度有9种，分别是水平，垂直，直流，斜左下对角，斜右下对角，水平偏上，水平偏下，垂直偏左，垂直偏右；色度也是4种，直流，水平，垂直，平面内插。虽然预测模式增多，但利用本发明中的框架仍能够高效地实现其帧内预测的模块。在解码实时性的同时，减小了芯片的面积和成本。

最后所应说明的是：以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于像素流水的帧内预测装置，其特征在于，该装置包括：

帧内预测模式推导模块，用于推导实际的帧内预测模式，决定帧内预测的模式，该模块包括最小值器、比较器、加法器、数据复用器，最小值器连接行缓冲器和左边模式存储器，其输出端连接数据复用器的一端，比较器连接先进先出队列和最小值器输出端，比较器的输出端连接加法器的一端，加法器的另一端与先进先出队列相连，数据复用器的输出端连接预测模式行缓冲器和帧内预测像素生成模块的参考像素获取电路；

预测像素生成模块，该模块用于根据周围相邻像素值和模式推导模块输入的帧内预测模式进行方向预测，得到宏块内所有点的帧内预测像素值，它包括连接帧内预测模式推导模块行缓冲器的参考像素获取电路、像素级三级流水线电路，三级流水线电路包括地址计算电路、滤波电路和预测与更新电路，预测与更新电路与重建及更新模块相连；

重建及更新模块，该模块用于生成实际的解码重建值，并将这些重建值写入下游模块的输入缓冲区，其加法器的两个输入端分别连接像素生成模块的帧内预测值输出端和反变换模块电路预测残差值的输出端，加法器的重建值输出端连接帧内预测模式推导模块的行缓冲器。

2.根据权利要求1所述的基于像素流水的帧内预测装置，其特征在于，所述的帧内预测模式推导模块中有一个行缓冲器，以存放上一个整图像行的帧内模式信息，用于模式推导时参考。

3.根据权利要求1所述的基于像素流水的帧内预测装置，其特征在于，所述的帧内预测模式推导模块在像素生成模块给出的宏块开始信号拉高时开始工作。

4.根据权利要求1所述的基于像素流水的帧内预测装置，其特征在于，所述的帧内预测模式推导模块在连续的三个时钟周期中完成预测模式推导，第一个周期完成参考模式的读取，第二个周期完成预测模式的计算，第三个周期将模式解码值存入行缓冲器中。

5.一种基于像素流水的帧内预测装置的帧内预测方法，其特征在于，该方法包括如下步骤：

步骤1、帧内预测模式推导模块通过码流解析出来的模式信息和根据周围模式的预测模式信息推导出实际的帧内预测模式，并将结果传递给像素生成模块，以决定帧内预测的模式；

步骤2、预测像素生成模块根据周围相邻像素值和模式推导模块输入的帧内预测模式进行方向预测，得到宏块内所有点的帧内预测像素值，并交给重建电路进行重建和更新；

步骤3、重建及更新模块将像素生成模块输出的帧内预测值与由反变换模块电路输出的预测残差值相加，得到实际的解码重建值，然后将这些重建值存于行缓冲中，以便像素生成电路以后使用，并将这些重建值拼接成一个宏块行，写入下游模块的输入缓冲区。

6.根据权利要求5所述的基于像素流水的帧内预测装置的帧内预测方法，其特征在于，所述步骤1进一步包括如下步骤：

步骤11、取预测模式行缓冲器中的模式解码值和左边模式解码值的较小值；

步骤12、将较小值与从先进先出队列中取出的模式值通过比较器相比较；

步骤13、将比较结果输入加法器；

步骤14、判断从队列中取出的模式值是否大于等于最小值器的输出值，如果是则将从队列中取出的模式值加1作为实际输出值，否则输出最小值器的输出值，并由数据复用器将输出值写入行缓冲器中.

7.根据权利要求5所述的基于像素流水的帧内预测装置的帧内预测方法，其特征在于，所述步骤2进一步包括下述步骤：

步骤21、在每一个宏块的流水开始之前，从重建模块电路的像素行缓冲器中取出所需要的预测参考点，存于内部寄存器中；

步骤22、判断参考像素是否获取完毕，是则发送信号给一个三级流水线进行帧内预测；

步骤23、三级流水线的第一级根据模式值和当前像素坐标利用查找表得到需要的左边参考像素和上边参考像素的位置，第二级进行滤波，从对应地址的寄存器取得像素参考值，经过加法器和移位器得到滤波后的预测值，第三级根据预测模式产生一个控制信号，由该控制信号控制一个数据复用器对滤波值和原始值进行筛选，之后将得到的预测值锁存，并写出到重建模块电路中。

8.根据权利要求5所述的基于像素流水的帧内预测装置的帧内预测方法，其特征在于，所述步骤23中的地址计算中，用于预测某一个像素点的参考点位置为两个，一个用来标记上边参考位置，另一个标记左边参考位置，这两个位置根据预测模式计算和当前预测点的位置计算而得。

9.根据权利要求5所述的基于像素流水的帧内预测装置的帧内预测方法，其特征在于，所述步骤3中的三级流水线从重建模块电路的像素行缓冲器中取出所需要的预测参考点是用5个时钟周期完成，第一周期等待上一块流水结束，第二周期读取上边像素，第三个周期读取右上像素，第四周期锁存上边像素，第五个周期锁存右上像素并启动流水线。

Images