CN101472173A - 一种去块滤波方法、系统及去块滤波器 - Google Patents

Abstract

本发明适用于基于块的视频编解码领域，提供了一种去块滤波方法、系统及去块滤波器。将一个视频或图像帧分为若干个16×16宏块，每个宏块分为16个4×4的子块，将所述宏块按照4个子块为一行的方式分成四行，对宏块中的每个子块的上边界和左边界进行滤波，所述滤波方法包括步骤：读取当前宏块到内部存储器；对当前宏块以行为单位进行滤波；及完成一行滤波后将该行存储。读取16×16宏块的图像信息到内部存储器后，对一行进行垂直边界的水平滤波，之后对该行进行水平边界的垂直滤波，依次再对下一行滤波，当完成一行的滤波后，判断该行是否参与后续滤波过程，根据判断结果，将该行以及上一行滤波得到的图像信息存储到内部或者外部存储器中。

Description

一种去块滤波方法、系统及去块滤波器

技术领域

本发明属于基于块的视频编解码领域，尤其涉及一种去块滤波方法、系统及去块滤波器。

背景技术

传统基于块的视频编解码系统，在相对码率较低的视频编解码时总会遇到块效应问题。块效应的产生严重影响图像的主观质量，究其原因是基于块的预测、补偿、变换、量化而造成的。为了克服这种块效应，新型视频编解码在编码环中引入了去块滤波(Deblocking)系统，简称“滤波”，该系统也是新型视频编解码在相对码率较低的情况下依旧能保持较好的主观视觉效果的重要因素之一，是新型视频编解码中的重要组成部分。

由于新型视频编解码中的整数变换基于4×4点，去块滤波系统在滤波时也以4×4点的子块为单元处理。如图1示出了现有技术提供的宏块边界滤波顺序示意图，其中图1(a)、图1(b)分别表示一个宏块的亮度分量边界和色度分量边界。将整个视频或图像帧分为若干个16×16的宏块(Micro Block，MB)，每个宏块由16个4×4的子块(Sub-block)组成，将所有子块的每列左边界组成的宏块列边界定义为A、B、C、D，子块每行的上边界组成的宏块行边界定义为a、b、c、d。滤波时分别对每个子块的上边界和左边界进行滤波，以先对每列边界水平滤波，再对每行边界垂直滤波，先滤亮度值，再滤色度值的顺序对宏块的子块边界分别处理。对垂直边界进行水平滤波时，从最左侧的边开始，从左到右依次对A、B、C、D四条垂直边界进行水平滤波；对水平边界进行垂直滤波时，从最上方开始，从上到下依次对a、b、c、d四条水平边界进行垂直滤波。滤过亮度值后再滤色度值，色度分为U、V，依次对U、V分量进行滤波，以E、F的顺序对色度分量的垂直边界进行水平滤波，以e、f的顺序对色度分量的水平边界进行垂直滤波。在整个16×16的宏块滤波结束后再将所有滤波数据一起存储到外部存储器中。现有技术的滤波方法中，亮度和色度的处理可以并行处理，但是滤波体系需要采用多个滤波控制单元、滤波单元和内部寄存器以实现并行，这样的方法在减少了滤波时间的同时，增大了芯片的面积。

现有技术中的视频编解码协议所描述的滤波方法，读取整个16×16的宏块后，再进行纵向横向滤波，滤波结束后才能将整个宏块存储到外部存储器，整个宏块的图像信息读取、滤波、存储顺序进行，未将读取、滤波和存储过程最大限度的并行，导致数据处理速度慢，滤波系统利用率不高，严重制约滤波性能，在需要滤波的图像数据量很大时，该缺陷表现得更为明显。

发明内容

本发明实施例的目的在于提供一种去块滤波方法，旨在解决现有技术中将每个宏块横纵滤波完成后再存储的滤波方法影响数据处理速度的问题。

本发明实施例是这样实现的，一种去块滤波方法，所述去块滤波方法将一个视频或图像帧分为若干个16×16宏块，每个宏块分为16个4×4的子块，将所述宏块按照4个子块为一行的方式分成四行，对宏块中的每个子块的上边界和左边界进行滤波，其特征在于，所述滤波方法包括步骤：

读取当前宏块到内部存储器；

对当前宏块以行为单位进行滤波；及

完成一行滤波后将该行存储。

本发明实施例的另一目的在于提供一种采用上述去块滤波方法的去块滤波系统，所述系统包括

滤波控制单元，用于对整个去块滤波各单元进行控制；

内部存储器，包括存储器和寄存器，用于存储参与滤波的宏块的图像数据；

外部存储器，用于存储当前帧所有宏块的视频数据，包括已滤波和未滤波的宏块，即整帧图像数据，通过数据总线与内部存储器进行数据交换或传递；及

滤波单元，用于读取当前宏块进行垂直边界的水平滤波和水平边界的垂直滤波，通过控制单元的控制将滤波结果存储到外部存储器或者内部存储器中。

本发明实施例的另一目的在于提供一种去块滤波器，所述滤波器采用上述去块滤波方法，或者上述去块滤波系统。

本发明实施例的另一目的在于提供一种移动多媒体处理器，包括上述去块滤波器。

本发明的滤波方法为读取16×16宏块的图像信息到内部存储器后，对一行进行垂直边界的水平滤波，之后对该行进行水平边界的垂直滤波，依次再对下一行滤波，当完成一行的滤波后，判断该行是否参与后续滤波过程，根据判断结果，将该行以及上一行滤波得到的图像信息存储到内部或者外部存储器中。本发明的滤波方法节省空间、时间，满足了当前市场的要求。

附图说明

图1是现有技术提供的宏块边界滤波顺序示意图；

图2是本发明实施例提供的去块滤波方法的实现流程图；

图3是本发明实施例提供的去块滤波系统结构图；

图4是本发明实施例提供的内部存储器结构图；

图5是本发明实施例提供的去块滤波方法的16×16的宏块与相邻子块示意图；

图6是本发明实施例提供的宏块A、B行亮度滤波结束后各子块存储区内的图像信息示意图；

图7是本发明实施例提供的宏块C、D行亮度滤波结束后各子块存储区内的图像信息示意图；

图8是本发明实施例提供的宏块色度滤波结束后各子块存储区内的图像信息；

图9是本发明实施例提供的去块滤波流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例中，将整个视频或图像帧存储到外部存储器，然后启动滤波系统，先对每个宏块进行滤波强度计算，并判断是否要对当前宏块进行滤波，之后将需要滤波的宏块读入内部存储器，然后对每个宏块的以行为单位对每一行子块顺次进行亮度和色度的垂直边界的滤波和水平边界滤波滤波，当完成一行子块的滤波后再将不再参与后续滤波的图像信息存储到外部存储器，参与后续滤波的子块留在内部存储器中备用，直到整个视频或图像帧的宏块均滤波完成为止。其中对当前宏块滤波的顺序为对当前宏块第一行先进行垂直边界的水平滤波，再进行水平边界的垂直滤波，对第一行滤波完成后即刻进行第二行的滤波，同时将第一行顶宏块的最后一行图像信息即顶宏块存储器内的图像信息存储到外部存储器中，第二行滤波完成后即刻进行第三行的滤波，同时将第一行的图像信息存储到外部存储器中，其他行依次滤波，先进行亮度的滤波，再进行色度的滤波，直到将整个宏块滤波完成。采用这种横纵交互、边滤边存的滤波方法，改进了现有技术中的先纵后横、整块存储的滤波方法，提高了滤波速度。同时在上述滤波方法基础上，本发明还提供了与之相应的系统及去块滤波器。

滤波强度的提前计算可以提供出完整的宏块滤波信息，在整个滤波过程中，即可获得当前宏块、上方宏块以及下方宏块的信息，去除掉不必要的解码图像数据的读写数据总线(Direct Memory Access，DMA)的操作。

本发明实施例中，整个图像帧图像存储在外部存储器，滤波时将整个图像帧分为若干宏块，对每个宏块进行滤波，由于在基础级别的码流中为零的情况比较多，考虑到实际视频码流中有宏块强度为零的情况，本发明实施例中，滤波开始时先进行滤波强度的计算，再判断该宏块是否需要进行滤波。判断方法为：

判断当前宏块边界强度是否全为零，当前宏块强度不全为0时，对当前宏块进行滤波；若当前宏块边界强度全为零，但当前宏块存在正下方宏块且正下方宏块顶水平边界强度不为零，则将当前宏块亮度的最后一行存储到顶宏块存储器；若当前宏块边界强度全为零，但当前宏块存在右侧宏块且其最左侧垂直边界强度不为零，则将当前宏块亮度最左侧子块存储到侧宏块存储器。

作为本发明的一个实施例，为节省资源，对宏块进行滤波强度计算的过程与将宏块的图像信息存储到内部存储器的过程可以并行进行。

本发明实施例中，完成强度计算，并经判断可以对当前宏块进行滤波后，开始对宏块依次进行滤波。图2示出了本发明实施例提供的去块滤波方法的实现流程，本发明实施例所述的滤波方法，包括以下步骤：

在步骤S201中，读取当前宏块到内部存储器；

在步骤S202中，对当前宏块以行为单位进行滤波；

在步骤S203中，完成一行滤波后将该行存储。

本发明实施例中，所述读取当前宏块到内部存储器，为从外部存储器中将整个视频或图像帧的所有宏块通过数据总线依次读取到内部存储器中。

本发明实施例中，所述对当前宏块以行为单位进行滤波的步骤为：

读取当前宏块第一行进行滤波，即对所述行的四个子块进行垂直边界的水平滤波，再进行水平边界的垂直滤波；

完成第一行滤波后，开始读取当前宏块第二行到内部存储器并进行滤波，同时将当前宏块上方的顶宏块最后一行四个子块的图像信息存储到外部存储器中，对第二行进行滤波，即对所述行的四个子块进行垂直边界的水平滤波，再进行水平边界的垂直滤波；

完成第二行滤波后，开始读取当前宏块第三行到内部存储器并进行滤波，同时将第一行的图像信息存储到外部的存储器中，对第三行进行滤波，即对所述行的四个子块进行垂直边界的水平滤波，再进行水平边界的垂直滤波；

完成第三行滤波后，开始读取当前宏块第四行到内部存储器并进行滤波，同时将第二行的图像信息存储到外部的存储器中，对第四行进行滤波，即对所述行的四个子块进行垂直边界的水平滤波，再进行水平边界的垂直滤波；及

完成第四行滤波后，开始色度U、V宏块的滤波，滤波过程与亮度相同。在完成亮度第四行滤波后，将亮度第三行的图像信息存储到外部存储器中；判断亮度第四行的图像信息是否参与到下行宏块滤波，如果参与到下行宏块的滤波，将其存储到顶宏块存储器中，否则直接存储到外部存储器中，亮度色度宏块滤波结束后，开始对下个宏块进行滤波。

作为本发明的一个实施例，在读取所述当前宏块一行子块进行滤波之前，需要判断所述行是否已经全部读取到内部存储器中，只要所述行图像信息已经成功读取到内部存储器中，即刻对所述行进行滤波。换言之，当读取所述当前宏块图像信息到内部存储器时，可以在完成整个宏块的读取后再启动滤波过程，也可以在完成整个宏块一行图像信息的读取后即刻开始对该行的滤波。

作为本发明的一个实施例，所述完成一行滤波后将该行存储，可以是只要所述行滤波完成便将其写出到内部或者外部存储器，也可以是所述行滤波完成，并且所述当前宏块的图像信息均已完成读取到内部存储器中的过程，再将所述行写出到内部或者外部存储器中。作为本发明的一个实施例，由于外部存储器多选用单端口的外部存储器，读写操作需要串行运行，本实施例的这一处理确保了读写操作不相冲突。

图3示出了本发明实施例提供的去块滤波系统的结构，所述系统包括

滤波控制单元301，用于对整个去块滤波各单元进行控制；

滤波强度计算单元302，用于在滤波开始前对宏块进行滤波强度计算，以判断是否有必要对所述宏块进行滤波；

内部存储器304，包括存储器B和寄存器A，用于存储参与滤波的宏块的图像数据，通过数据总线进行数据交换或传递；

外部存储器306，用于存储当前帧所有宏块的视频数据，包括已滤波和未滤波的宏块，即整帧图像数据；

滤波单元303，用于对当前宏块进行垂直边界的水平滤波和水平边界的垂直滤波，通过控制单元301的控制将滤波结果存储到外部存储器306或者内部存储器304中。

滤波控制单元301、滤波强度计算单元302、内部存储器304、滤波单元303位于去块滤波器的内部，与外部存储器通过数据总线进行数据传递或交换。所述数据总线可以是DMA。

图4示出了本发明实施例提供的内部存储器304结构图。所述内部存储器304用于存储参与滤波过程所需的当前宏块图像信息及与当前宏块滤波相关的所有信息，包括寄存器A和存储器B。

其中所述寄存器A包括寄存器q和寄存器p，用于存储当前宏块滤波数据、从当前宏块存储器403读取的图像数据、从侧宏块存储器402和顶宏块存储器401读取的图像数据。

所述存储器B包括：

顶宏块存储器401，用于存储位于当前宏块上方相邻宏块最下边亮度4×16子块或色度U、V4×8子块的图像信息，并在完成当前宏块滤波过程后换为存储当前宏块最下方亮度4×16子块或色度U、V4×8子块用于后续正下方宏块滤波的图像信息；

侧宏块存储器402，用于存储位于当前宏块左侧相邻宏块最右边亮度16×4子块或色度U、V8×4子块的图像信息，并在完成当前宏块滤波过程后换为存储当前宏块的最右边亮度16×4子块或色度U、V8×4子块用于后续宏块滤波的图像信息；及

当前宏块存储器403，用于存储需要滤波的当前宏块的图像信息。

本发明实施例中，在完成当前宏块滤波过程后侧宏块存储器402换为存储当前宏块的最右边亮度16×4子块或色度U、V8×4子块用于后续宏块滤波的图像信息及顶宏块存储器401换为存储当前宏块最下方亮度4×16子块或色度U、V4×8子块用于正下方宏块滤波的图像信息这一方案，不仅存储空间得以高效利用，而且避免了正下方宏块滤波时再去外部存储器306中读取图像信息，提高了滤波的速度。另外顶宏块存储器401除了滤波时使用外，在解码过程中的帧间预测也得到复用。

由于实际工程中用到的外部存储器306是同步动态随机存储器(Synchronous Dynamic Random Access Memory，SDRAM)，其只支持单端口即读写不能同时发生。为了能更好的满足性能要求，作为本发明的一个实施例，在开始滤波时，从外部存储器306读取当前宏块的图像数据到当前宏块存储器403，当整个亮度的图像信息读完后进行滤波，同时读取色度U、V的图像信息，即对该行垂直边界和水平边界滤波的同时，色度的U、V图像信息读入内部存储器304中为进行色度滤波准备就绪，这样将读取色度图像信息所耗费的时间最大程度上并行在亮度的滤波过程中，而亮度、色度图像滤波都结束后的图像信息即刻通过直接存储器存取(Direct Memory Access，DMA)存储到外部存储器306又与亮度、色度的滤波过程并行。并且本发明实施例中将当前宏块参与到右侧宏块或正下方宏块滤波的子块保留在内部存储器304中，不必存储到外部存储器306的滤波方案，进一步节省了数据的读入写出所耗费的时间。

作为本发明的又一个实施例，另一个方案可以是在开始滤波时，从外部存储器306读取当前宏块的图像数据到当前宏块存储器403，当一行亮度的图像信息读完后即刻对该行进行亮度滤波，边读入下一行边对该行进行滤波，实现并行操作。当整个亮度的图像信息读完后随即一行行读取色度U和V的图像信息，与对亮度滤波相似，完成一行的读取后即可对该行进行色度滤波，当完成一行的滤波后即可将该行上方一行根据用途的不同，分别写出到内部或者外部存储器中，最大程度实现对外部存储器的利用。以下均以本实施例的并行方式为例对本发明的原理进行详细论述，并不丧失一般性。

当读入写出同时发生时，作为本发明的一个实施例，读入的优先级高于写出的优先级。

图5示出了本发明实施例提供的去块滤波方法的16×16的宏块与相邻子块示意图。图5(a)表示要滤波的亮度分量边界，标记为白色的为需要滤波的16×16的宏块，共分为16个4×4的子块，并依照先横后纵的方式将子块依次标记为0、1、3...15，标记有斜线背景的为相邻左侧和上方的一行子块，依照先横后纵的方式依次标记为a、b、c...h，将16×16的宏块和相邻的子块按行对上边界标记，定义为A、B、C及D行，例如A代表第一行子块e、0、1、2、3的上边界。

亮度分量的滤波顺序为：首先对A行进行滤波，对0、1、2、3子块进行垂直边界的水平滤波后，对0、1、2、3子块进行水平边界的垂直滤波。当A行滤波完成后，宏块上方的子块a、b、c、d的图像信息即刻通过DMA存储到外部存储器306中，并同时开始对B行进行滤波。对B行进行滤波的过程与A行相同，即对4、5、6、7子块进行垂直边界的水平滤波，然后对4、5、6、7子块进行水平边界的垂直滤波。当B行滤波完成后，A行的图像信息即刻通过DMA存储到外部的存储器中，同时对C行进行滤波。对8、9、10、11子块进行垂直边界的水平滤波，然后对8、9、10、11子块进行水平边界的垂直滤波。当C行滤波完成后，B行的图像信息即刻通过DMA存储到外部的存储器中，并同时对D行进行滤波。对12、13、14、15子块进行垂直边界的水平滤波，然后对12、13、14、15子块进行水平边界的垂直滤波。C行的图像信息在D行完成滤波后存储到外部存储器306中，D行的图像信息将存入顶宏块存储器401中，参与下面宏块的滤波。

作为本发明的一个实施例，当子块3，7，11，15参与到当前宏块右侧宏块的纵向滤波时，这4个子块不写出到外部存储器306。

作为本发明的一个实施例，当子块12，13，14，15涉及到当前宏块正下方宏块的横向滤波时，这4个子块也不会写出。这样降低了存储器存取所需的周期，提高性能。

图5(b)示出了色度分量的滤波顺序，与亮度分量的滤波顺序相同，简述如下：对16、17子块进行水平滤波后，对16、17进行垂直滤波；当E行垂直滤波完成后，对18、19进行水平滤波，然后对18、19进行垂直滤波。由于色度分量又分为U、V两种，U、V滤波顺序相同。

以下对宏块进行滤波的过程进行详细描述。图6、7、8示出了本发明实施例提供的滤波结束后宏块各子块存储区内的图像信息示意图。

对A行进行垂直边界的水平滤波，详述如下：

滤波开始后，调用当前宏块存储器403中标记为0的子块和侧宏块存储器402中标记为e的子块内的图像信息分别到寄存器q、p中，进行垂直边界的水平滤波，滤波结束后，p寄存器内滤波后的图像信息e’存储到当前宏块存储器403的0子块所在的存储区，q寄存器内滤波后图像信息0’存储到p寄存器；

调用当前宏块存储器403中1子块内图像信息至q寄存器，进行垂直边界的水平滤波，滤波结束后，p寄存器内滤波后的图像信息0’存储到当前宏块存储器403的1子块所在的存储区，q寄存器内滤波后的图像信息1’存储到p寄存器；

调用当前宏块存储器403中2子块内图像信息至q寄存器，进行垂直边界的水平滤波，滤波结束后，p寄存器内滤波后的图像信息1’存储到当前宏块存储器403的2子块所在的存储区，q寄存器内滤波后的图像信息2’存储到p寄存器；

调用当前宏块存储器403中3子块内图像信息至q寄存器，进行垂直边界的水平滤波，滤波结束后，p寄存器内的滤波后图像信息2’存储到当前宏块存储器403的3子块所在的存储区，q寄存器内滤波后的图像信息3’存储到侧宏块存储器402e子块所在的存储区。

以上完成了A行垂直边界的水平滤波，滤波结束后，原各个存储区内的数据实现了错位存储，如图6(a)所示，e’、0’、1’、2’、3’分别表示垂直边界水平滤波结束后的图像信息，即图像的像素值。

对A行进行水平边界的垂直滤波，详述如下：

调用当前宏块存储区内的1子块所在存储区的图像信息，即0’图像信息和顶宏块存储器401的a子块分别存储到q、p寄存器，进行水平边界的垂直滤波，滤波结束后，q寄存器内图像信息0”存储到1子块所在存储区，p寄存器内图像信息a’存储到a子块所在存储区；

调用当前宏块存储区内的2子块所在存储区的图像信息，即1’图像信息和顶宏块存储器401的b子块分别存储到q、p寄存器，进行水平边界的垂直滤波，滤波结束后，q寄存器内图像信息1”存储到2子块所在存储区，p寄存器内图像信息b’存储到b子块所在存储区；

调用当前宏块存储区内的3子块所在存储区的图像信息，即2’图像信息和顶宏块存储器401的c子块分别存储到q、p寄存器，进行水平边界的垂直滤波，滤波结束后，q寄存器内图像信息2”存储到3子块所在存储区，p寄存器内图像信息c’存储到c子块所在存储区；

调用侧宏块存储区内的e子块所在存储区的图像信息，即3’图像信息和顶宏块存储器401的d子块分别存储到q、p寄存器，进行水平边界的垂直滤波，滤波结束后，q寄存器内图像信息存储3”到侧宏块存储器402e子块所在存储区，p寄存器内图像信息d’存储到d子块所在存储区。

以上完成了A行水平边界的垂直滤波，如图6(b)所示，a’、b’、c’、d’、0”，1”，2”，3”分别表示完成水平边界垂直滤波后的图像信息。

以上操作完成A行的垂直边界和水平边界的滤波，此时顶宏块存储器401中a、b、c、d子块所在存储区内滤波后的图像信息a’、b’、c’、d’可以通过DMA存储到外部存储器306中。

完成A行的滤波后，开始B行的垂直边界水平滤波，滤波过程同A行类似，详述如下：

滤波开始后，调用当前宏块存储器403中标记为4的子块和侧宏块存储器402中标记为f的子块分别到寄存器q、p中，进行垂直边界的水平滤波，滤波结束后，p寄存器内滤波后的图像信息存储到当前宏块存储器403的4子块所在的存储区，q寄存器内滤波后的图像信息存储到p寄存器；

调用当前宏块存储器403中5子块至q寄存器，进行垂直边界的水平滤波，滤波结束后，p寄存器内滤波后的图像信息存储到当前宏块存储器403的5子块所在的存储区，q寄存器内滤波后的图像信息存储到p寄存器；

调用当前宏块存储器403中6子块至q寄存器，进行垂直边界的水平滤波，滤波结束后，p寄存器内滤波后的图像信息存储到当前宏块存储器403的6子块所在的存储区，q寄存器内滤波后的图像信息存储到p寄存器；

调用当前宏块存储器403中7子块至q寄存器，进行垂直边界的水平滤波，滤波结束后，p寄存器内滤波后的图像信息存储到当前宏块存储器403的7子块所在的存储区，q寄存器内滤波后的图像信息存储到侧宏块存储器402f子块存储区。

以上完成了B行垂直边界的水平滤波，滤波结束后，原各个存储区内的数据实现错位存储，如图6(c)所示，4’、5’、6’、7’、f’分别是B行垂直边界水平滤波结束后的图像信息。

之后进行B行水平边界的垂直滤波，与A行的滤波过程类似，详述如下：

调用当前宏块存储区内的5子块即4’图像信息和当前宏块存储器403的1子块所在存储区的图像信息，即0”图像信息分别存储到q、p寄存器，进行水平边界的垂直滤波，滤波结束后，q寄存器内滤波后的图像信息存储到5子块所在存储区，p寄存器内滤波后的图像信息存储到1子块所在存储区；

调用当前宏块存储区内的6子块所在存储区的图像信息和2子块所在存储区的图像信息分别存储到q、p寄存器，进行水平边界的垂直滤波，滤波结束后，q寄存器内滤波后的图像信息存储到6子块所在存储区，p寄存器内滤波后的图像信息存储到2子块所在存储区；

调用当前宏块存储区内的7子块所在存储区的图像信息和3子块所在存储区的图像信息分别存储到q、p寄存器，进行水平边界的垂直滤波，滤波结束后，q寄存器内滤波后的图像信息存储到7子块所在存储区，p寄存器内滤波后的图像信息存储到3子块所在存储区；

调用侧宏块存储区内的f子块所在存储区的图像信息和侧宏块存储器402的e子块所在存储区的图像信息分别存储到q、p寄存器，进行水平边界的垂直滤波，滤波结束后，q寄存器内滤波后的图像信息存储到侧宏块存储器402f子块所在存储区，p寄存器内滤波后的图像信息存储到e子块所在存储区。

如图6(d)所示，0”’、1”’、2”’、3”’、4”、5”、6”、7”分别表示完成水平边界垂直滤波后的图像信息。以上操作完成B行的垂直边界和水平边界的滤波，此时标记为e、0、1、2、3子块所在存储区内滤波后的图像信息3”’、e’、0”’、1”’、2”’可以通过DMA存储到外部存储器306中。其中当当前宏块右侧宏块不存在或者其右侧宏块最左侧边界强度为0时，即当前宏块右侧16×4子块不参与右侧宏块滤波，在侧宏块e子块内的3”’图像信息需要通过DMA存储到外部存储器306中，否则不需要写出，将作为下一宏块的侧宏块e存入侧宏块存储器402中。这样节省了不必要的图像信息读取所消耗的时间，滤波性能有所提高。

C行的滤波过程与B行类似。完成C行的垂直边界和水平边界的滤波后，如图7(a)所示，此时标记为f、4、5、6、7子块所在存储区内滤波后的图像信息7”’、f’、4”’、5”’和6”’可以通过DMA存储到外部存储器306中。其中当当前宏块右侧宏块不存在或者其右侧宏块最左侧边界强度为0时，即当前宏块右侧16×4子块不参与右侧宏块滤波，在侧宏块f子块内的7”’图像信息需要通过DMA存储到外部存储器306中，否则不需要写出，将作为下一宏块的侧宏块f存入侧宏块存储器402中。D行的滤波过程与C和B行类似，如图7(b)所示，完成D行的垂直边界和水平边界的滤波后，此时标记为g、8、9、10、11子块所在存储区内滤波后的图像信息11”’、g’、8”’、9”’、10”’可以通过DMA存储到外部存储器306中。其中当当前宏块右侧宏块不存在或者其右侧宏块最左侧边界强度为0时，即当前宏块右侧16×4子块不参与右侧宏块滤波，在侧宏块g子块内的11”’图像信息需要通过DMA存储到外部存储器306中，否则不需要写出，将作为下一宏块的侧宏块g存入侧宏块存储器402中。

若当前宏块所在行是整幅图像最后一行或者当前宏块正下方宏块顶边滤波强度全为0时，即当前宏块最下方的4×16子块不参与正下方宏块的滤波，标记为13、14、15、h子块所在存储区内滤波后的图像信息12”、13”、14”、15”可以通过DMA存储到外部存储器306中；否则标记为13、14、15、h子块所在存储区内滤波后的图像信息存储到顶宏块存储器401相应的存储区内。由于12子块内滤波后的图像信息，即h’的图像信息可能参与当前宏块左下方宏块的滤波，因此当其需要参与当前宏块左下方宏块的滤波时，该子块存储到顶宏块相应的存储区内，否则存储到外部存储器306中。

对当前宏块的亮度滤波完成后，即进行色度的滤波，色度分为U和V两种模式，这两种图像信息的处理模式相同，与亮度滤波过程类似。以U图像滤波为例，详述如下：

进行E行垂直边界的水平滤波：

滤波开始后，调用当前宏块存储器403中标记为16的子块和侧宏块存储器402中标记为k的子块分别至子寄存器q、p中，进行垂直边界的水平滤波，滤波结束后，p寄存器内滤波后的图像信息存储到当前宏块存储器403的16子块所在的存储区，q寄存器内滤波后的图像信息存储到p寄存器；

调用当前宏块存储器403中17子块至q寄存器，进行垂直边界的水平滤波，滤波结束后，p寄存器内滤波后的图像信息存储到当前宏块存储器403的17子块所在的存储区，q寄存器内滤波后的图像信息存储到侧宏块存储器402k子块存储区。

以上完成了E行垂直边界的水平滤波，滤波结束后，原各个存储区内的数据实现了错位存储，如图8(a)所示，17’、k’、16’分别是垂直边界水平滤波结束后的图像信息。

进行E行水平边界的垂直滤波：

调用当前宏块存储区内的17子块和顶宏块存储器401的i子块内的图像信息分别存储到q、p寄存器，进行水平边界的垂直滤波，滤波结束后，q寄存器内滤波后的图像信息存储到17子块所在存储区，p寄存器内像素值存储到i子块所在存储区；

调用侧宏块存储区内的k子块和j子块内的图像信息分别存储到q、p寄存器，进行水平边界的垂直滤波，滤波结束后，q寄存器内滤波后的图像信息存储到侧宏块存储器402k子块所在存储区，p寄存器内滤波后的图像信息存储到顶宏块存储器401j子块所在存储区。

如图8(b)所示，17”、16”、i’、j’分别表示完成水平边界垂直滤波后的图像信息。以上操作完成E行的垂直边界和水平边界的滤波。此时顶宏块存储区标记为i、j子块所在存储区内滤波后的图像信息i’、j’可以通过DMA存储到外部存储器306中。

对F行进行垂直边界的水平滤波：

滤波开始后，调用当前宏块存储器403中标记为18的子块和侧宏块存储器402中标记为1的子块内的图像信息分别至子寄存器q、p中，进行垂直边界的水平滤波，滤波结束后，p寄存器内滤波后的图像信息存储到当前宏块存储器403的18子块所在的存储区，q寄存器内滤波后的图像信息存储到p寄存器；

调用当前宏块存储器403中19子块至q寄存器，进行垂直边界的水平滤波，滤波结束后，p寄存器内滤波后的图像信息存储到当前宏块存储器403的19子块所在的存储区，q寄存器内滤波后的图像信息存储到侧宏块存储器4021子块存储区，以上完成了F行垂直边界的水平滤波，滤波结束后，原各个存储区内的数据实现了错位存储，如7(c)图所示，19’、1’、18’分别表示垂直边界水平滤波结束后的图像信息。

之后进行F行水平边界的垂直滤波：

调用当前宏块存储区内的19子块和17子块分别存储到q、p寄存器，进行水平边界的垂直滤波，滤波结束后，q寄存器内图像信息存储到19子块所在存储区，p寄存器内图像信息存储到17子块所在存储区；

调用侧宏块存储区内的1子块和k子块分别存储到q、p寄存器，进行水平边界的垂直滤波，滤波结束后，q寄存器内图像信息存储到侧宏块存储器4021子块所在存储区，p寄存器内图像信息存储到顶宏块存储器401k子块所在存储区。

如图8(d)所示，17”’、16”’、19”、18”分别表示完成水平边界垂直滤波后的图像信息。以上操作完成F行的垂直边界和水平边界的滤波。此时标记为k、16、17子块所在存储区内滤波后的图像信息17”、k’、16”可以通过DMA存储到外部存储器306中。

其中当当前宏块右侧宏块不存在或者其右侧宏块最左侧边界强度为0时，即当前宏块右侧8×4子块不参与右侧宏块滤波，在侧宏块k子块内的17”’图像信息需要通过DMA存储到外部存储器306中，否则不需要写出，将作为下一宏块的侧宏块k存入侧宏块存储器402中。

若当前宏块所在行是整幅图像最后一行或者当前宏块正下方宏块顶边滤波强度全为0时，标记为1、18、19子块所在存储区内滤波后的图像信息19”、1’、18”可以通过DMA存储到外部存储器306中；否则标记为1、18、19子块所在存储区内滤波后的图像信息存储至顶宏块存储器401相应的存储区内。

作为本发明的一个实施例，若当前宏块所在行是整幅图像最后一行或者当前宏块正下方宏块顶边滤波强度全为0时，即当前宏块最下方的4×8子块不参与正下方宏块的滤波，标记为19、1子块所在存储区内滤波后的图像信息18”、19”可以通过DMA存储到外部存储器306中；否则标记为19、1子块所在存储区内滤波后的图像信息存储至顶宏块存储器401相应的存储区内。

由于18子块内滤波后的图像信息，即1’的图像信息可能参与当前宏块左下方宏块的滤波。因此，当其参与当前宏块左下方宏块的滤波时，该子块存储到顶宏块相应的存储区内；否则存储到外部存储器306中。

V图像滤波的处理方法与U图像完全相同。

对当前宏块的亮度、色度全部滤波完成后，再调入下一个宏块进行滤波，直到整个图像信息滤波完成，将所有有用信息存储到外部存储器306中，释放寄存器401B中数据。

图9示出了本发明实施例提供的去块滤波流程图，具体步骤详述如下：

在步骤S901中，计算当前宏块边界强度是否全为0，是则执行S902，否则执行S908；

在步骤S902中，判断当前宏块是否为该行的最后一个宏块，是则执行S905，否则执行S903；

在步骤S903中，判断当前宏块右侧宏块的最左侧边滤波强度是否全为0，是则执行S905，否则执行S904；

在步骤S904中，从外部存储器306读取当前宏块最右边的16×4子块到侧宏块存储器402中；

在步骤S905中，判断当前宏块位于所在整帧图像的最后一行，是则结束，否则执行S906；

在步骤S906中，判断当前宏块正下方宏块的顶边滤波强度是否全为0，是则结束，否则执行S907；

在步骤S907中，从外部存储器306读取当前宏块最下方4×16子块到顶宏块存储器401中；

在步骤S908中，从外部存储器306读取当前宏块整个16×16亮度图像信息；

在步骤S909中，对宏块的亮度进行滤波，同时并行进行色度U、V图像信息的读入。在滤波过程中，相应行滤波结束后，将需要写出的子块写出到外部存储器306，完成整个亮度、色度图像的滤波；

在步骤S910中，判断当前宏块是否位于所在整帧图像的最后一行，是则结束，否则执行S911；

在步骤S911中，判断当前宏块正下方宏块的顶边滤波强度是否全为0，是则结束，否则执行S912；

在步骤S912中，将当前宏块最下方4×16亮度块和4×8色度子块U、V存入顶宏块存储区相应位置。

作为本发明的一个实施例，本发明的滤波方法可以应用于移动多媒体处理器的编解码中，从实际效果看，可以很好的满足性能的要求。目前，移动多媒体处理器被广泛应用于各种手持设备，市场对性能的要求越来越高，本发明满足了市场对移动多媒体处理器性能的更高要求。

本发明实施例提供的一种去块滤波方法，先计算滤波强度并判断宏块是否需要滤波，将每一个16×16的宏块分成4×16的4行，再将要进行滤波的宏块的图像信息按照整行4×16字块为一个单元逐行读入内部存储器304中，然后当完成第一行读取后即可开始对第一行进行先垂直再水平的滤波，滤波结束后即可将侧宏块的图像信息写出到外部存储器中。在第一行进行滤波的同时，第二行的图像信息通过数据总线存储内部存储器304中，当第二行滤波结束后可将第一行写出；当第三行滤波结束后可将第二行写出；当第四行滤波结束后可将三行写出，第四行是否写出需要判断其是否参与今后的滤波过程。本发明的滤波方法可以是将整个宏块的信息读取完毕后再进行逐行滤波，滤波过程与写出过程实现并行操作，也可以是逐行读取和逐行滤波过程并行进行，待到外部存储器不再进行读取后并行开始进行逐行写出。综上所述，与现有技术的滤波方法相比，本发明实施例的整个16×16宏块通过数据总线的读入、写出的操作包含在整个宏块的滤波过程中，提高了数据总线的利用率，节省时间，从而使整个解码的性能得到很大的提高，以满足当前市场的要求。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (24)

1、一种去块滤波方法，所述去块滤波方法将一个视频或图像帧分为若干个16×16宏块，每个宏块分为16个4×4的子块，将所述宏块按照4个子块为一行的方式分成四行，对宏块中的每个子块的上边界和左边界进行滤波，其特征在于，所述滤波方法包括步骤：

读取当前宏块到内部存储器；

对当前宏块以行为单位进行滤波；及

完成一行滤波后将该行存储。

2、如权利要求1所述的方法，其特征在于，所述读取当前宏块到内部存储器为从外部存储器中将整个视频或图像帧的所有宏块通过数据总线依次读取到内部存储器中。

3、如权利要求1所述的方法，其特征在于，所述对当前宏块以行为单位进行滤波的步骤为：

读取当前宏块第一行进行滤波，即对所述行的四个子块进行垂直边界的水平滤波，再进行水平边界的垂直滤波；

完成第一行滤波后，开始读取当前宏块第二行到内部存储器并进行滤波，同时当前宏块上方的顶宏块最后一行四个子块的图像信息存储到外部存储器中，对第二行进行滤波，即对所述行的四个子块进行垂直边界的水平滤波，再进行水平边界的垂直滤波；

完成第二行滤波后，开始读取当前宏块第三行到内部存储器并进行滤波，同时将第一行的图像信息存储到外部的存储器中，对第三行进行滤波，即对所述行的四个子块进行垂直边界的水平滤波，再进行水平边界的垂直滤波；

完成第三行滤波后，开始读取当前宏块第四行到内部存储器并进行滤波，同时将第二行的图像信息存储到外部的存储器中，对第四行进行滤波，即对所述行的四个子块进行垂直边界的水平滤波，再进行水平边界的垂直滤波；及

完成第四行滤波后，开始读取下一行到内部存储器并进行滤波，同时将第三行的图像信息存储到外部的存储器中，同时将第四行的图像信息存储到顶宏块存储器中，参与下一行滤波。

4、如权利要求3所述的方法，其特征在于，当当前宏块每行的最后一个子块将参与到所述宏块右侧宏块的垂直边界滤波时，所述子块存储到侧宏块存储器。

5、如权利要求3所述的方法，其特征在于，当当前宏块每列的最后一个子块将参与到所述宏块正下方宏块的水平边界滤波时，所述子块存储到顶宏块存储器。

6、如权利要求1所述的方法，其特征在于，当读取所述当前宏块图像信息到内部存储器时，可以为在完成整个宏块的读取后再启动滤波过程，

或者为在完成整个宏块一行图像信息的读取后即刻开始对该行的滤波。

7、如权利要求1所述的方法，其特征在于，所述完成一行滤波后将该行存储，可以为只要所述行滤波完成便将其写出到内部或者外部存储器，

或者为所述行滤波完成，并且所述当前宏块的图像信息均已完成读取到内部存储器中的过程，再将所述行写出到内部或者外部存储器中。

8、如权利要求1-7任一所述的方法，其特征在于，所述对当前宏块进行滤波为进行亮度滤波或者色度滤波。

9、如权利要求8所述的方法，其特征在于，对所述宏块进行亮度和色度滤波时，滤波顺序为先对亮度进行滤波，后对色度进行滤波。

10、如权利要求1所述的方法，其特征在于，所述方法中在对宏块进行滤波之前进一步包括步骤：

对宏块进行滤波强度计算；及

判断是否对当前宏块进行滤波。

11、如权利要求10所述的方法，其特征在于，所述对宏块进行滤波强度计算和将宏块的图像信息存储到内部存储器并行进行。

12、如权利要求10所述的方法，其特征在于，所述判断是否对所述宏块进行滤波的方法为：

判断当前宏块边界强度是否全为零，当前宏块强度不全为0时，对当前宏块进行滤波；

若当前宏块边界强度全为零，但当前宏块存在正下方宏块且正下方宏块顶水平边界强度不为零，则将当前宏块亮度的最后一行存储到顶宏块存储器；以及

若当前宏块边界强度全为零，但当前宏块存在右侧宏块且其最左侧垂直边界强度不为零，则将当前宏块亮度最左侧子块存储到侧宏块存储器。

13、如权利要求1所述的方法，其特征在于，当读取和存储数据同时发生时，读取优先级高于存储优先级。

14、一种采用如权利要求1的方法的去块滤波系统，其特征在于，所述系统包括：

滤波控制单元，用于对整个去块滤波各单元进行控制；

内部存储器，包括存储器和寄存器，用于存储参与滤波的宏块的图像数据；

外部存储器，用于存储当前帧所有宏块的视频数据，包括已滤波和未滤波的宏块，即整帧图像数据，通过数据总线与内部存储器进行数据交换或传递；及

滤波单元，用于读取当前宏块进行垂直边界的水平滤波和水平边界的垂直滤波，通过控制单元的控制将滤波结果存储到外部存储器或者内部存储器中。

15、如权利要求14所述的系统，其特征在于，所述系统进一步包括：

滤波强度计算单元，用于在滤波开始前读取宏块进行滤波强度计算，以判断是否有必要对所述宏块进行滤波。

16、如权利要求15所述的系统，其特征在于，所述滤波强度计算单元与所述内部存储器可以并行使用。

17、如权利要求14所述的系统，其特征在于，所述滤波单元在滤波前可以判断是否对所述宏块进行滤波，所述判断方法为

判断当前宏块边界强度是否全为零，当前宏块强度不全为0时，对当前宏块进行滤波；

若当前宏块边界强度全为零，但当前宏块存在正下方宏块且正下方宏块顶水平边界强度不为零，则将当前宏块亮度的最后一行存储到顶宏块存储器；以及

若当前宏块边界强度全为零，但当前宏块存在右侧宏块且其最左侧垂直边界强度不为零，则将当前宏块亮度最左侧子块存储到侧宏块存储器。

18、如权利要求14所述的系统，其特征在于，当所述系统读取和存储数据同时发生时，读取优先级高于存储优先级。

19、如权利要求14所述的系统，其特征在于，所述数据总线为直接存储器存取DMA。

20、如权利要求14所述的系统，其特征在于，所述内部存储器用于存储参与滤波过程所需的当前宏块图像信息及与当前宏块滤波相关的所有信息，包括存储器和寄存器，

所述寄存器包括寄存器q和寄存器p，用于存储当前宏块滤波数据、从当前宏块存储器读取的图像数据、从侧宏块存储器和顶宏块存储器读取的图像数据，

所述存储器包括：

顶宏块存储器，用于存储位于当前宏块上方相邻宏块最下边亮度4×16子块或色度U、V4×8子块的图像信息，并在完成当前宏块滤波过程后换为存储当前宏块最下方亮度4×16子块或色度U、V4×8子块用于后续正下方宏块滤波的图像信息；

侧宏块存储器，用于存储位于当前宏块左侧相邻宏块最右边亮度16×4子块或色度U、V8×4子块的图像信息，并在完成当前宏块滤波过程后换为存储当前宏块的最右边亮度16×4子块或色度U、V8×4子块用于后续宏块滤波的图像信息；及

当前宏块存储器，用于存储需要滤波的当前宏块的图像信息。

21、如权利要求14所述的系统，其特征在于，所述外部存储器是同步动态随机存储器。

22、如权利要求14或15所述的系统，其特征在于，所述系统应用于移动多媒体处理器。

23、一种采用权利要求14所述的去块滤波系统的去块滤波器。

24、一种移动多媒体处理器，其特征在于，包括如权利要求23所述的去块滤波器。

Images