CN103428487A - 用于高清视频序列帧率提升的块处理方法 - Google Patents

Abstract

本发明揭示了一种用于高清视频序列帧率提升的块处理方法，该方法将一帧图像划分成块组来处理，块组内包含整数个块，块大小根据图像分辨率不同而不同。处理时块按照一定顺序依次处理，当一个块组内所有块都处理完毕后，开始处理下一块组。块组支持从图像的左上到右下的光栅处理顺序，或者从左下到右上的逆处理顺序。对于不同的块组处理顺序，块组内部块处理顺序也相应不同。此外，针对运动估计、矢量细化、平滑和内插三级流水，采取三个块组并行处理的策略，让矢量细化块组总是位于当前运动估计块组左边两个块和上边一个块的地方，让平滑内插块组总是位于当前矢量细化块组左边两个块和上边一个块的地方。这种方法也可以支持标清视频序列，改进了运动矢量的收敛速度，减轻资源，增加系统运行效率。

Description

用于高清视频序列帧率提升的块处理方法

技术领域

本发明涉及一种用于高清视频序列帧率提升的方法，尤其涉及一种在一帧图像中像素块处理顺序方法。

背景技术

数字电视的视频源的帧率通常为24/25/30帧每秒，但是数字电视本身的刷新频率通常为50/60/100/120Hz。于是，就存在一个频率失配的问题。为了解决这个问题，最简单的办法就是帧重复，即直接复制前一帧的图像，来达到所需的频率。但是这样做会产生图像不连续、运动抖动的问题，造成视频质量下降。因此目前比较成熟的方法是基于运动估计和运动补偿的帧速率提升算法。它充分考虑了视频对象的运动信息，将运动估计和内插滤波器紧密结合，可以有效减少运动的抖动和模糊等现象。

在目前的基于运动估计、运动补偿的帧率提升实现方法中，都是以16*16块或8*8块为单位，对每个块依次执行运动估计、运动补偿、内插等操作，执行完得到一个内插块，再开始下一个块的操作。按照这种顺序，处理完一帧图像。但这种方法仅适用于CIF和QCIF等低分辨率视频，若需要实时处理标清720p甚至高清1080p的视频，其处理速度会远远跟不上显示速度。另外，运动估计的准确性将直接影响运动补偿和内插的结果，如果估计不够迅速准确，在块的边缘很容易产生明显的块失真。因此如何迅速准确的找到运动矢量，也是国内外关于帧率提升所研究的热点。

此外，随着高清视频的流行，设计高清视频处理芯片将会变得越来越复杂。如何能减少不断增加的存储容量，如何减少芯片的资源开销，如何在更短的时间内用更少的能源消耗做更多的事情，都是芯片设计中不得不考虑的问题。

发明内容

针对上述技术问题，本发明目的是提供一种用于高清视频序列帧率提升的处理方法，能够迅速准确的找到运动矢量，以一种更有效的流水线块排列方式实现高清视频序列的实时处理。

为实现上述目的，本发明采取以下技术方案：

本发明将一帧图像按块组为单位进行划分，块处理方法包括三级流水：运动估计、矢量细化、平滑和内插，三级流水并行执行，每级流水以块组为单位进行处理。

当前的块组做运动估计时，上一块组做矢量细化，再上一块组做平滑和内插，当三个块组都完成当前操作，流水线推向下一级。

每一帧图像的处理顺序包括两种块组处理顺序，从图像的左上角到右下角，或从图像的左下角到右上角，两种块组处理顺序可以以任意组合形式出现在整个视频序列中。

块组内包含整数个块，当图像分辨率不同时，块组内包含块的个数不同，当图像的宽度或高度不能整除所述块组的宽度和高度时，边界处不全的部分用一个完整的块组补全，并且块组以块为单位进行处理，块的大小随着图像分辨率的不同而不同，当一个块组内所有块都处理完成，开始下一个块组的处理。

对于三级流水块组，每个块组都以同样的块处理顺序处理，并且每个块的处理都保持同步。

对于高清视频序列，当块组处理顺序为从图像左上到右下，则块在块组中处理顺序也是从左上到右下；当块组处理顺序为从图像左下到右上，则块在所述块组中处理顺序也是从左下到右上。

对于非高清视频序列，将块组分成多个小块组，当块组处理顺序为从图像左上到右下，则按照从左上到右下的顺序处理块组内的小块组，对每个小块组内的块也按照从左上到右下的顺序处理；当块组处理顺序为从图像左下到右上，则小块组处理顺序以及小块组内块的处理顺序都是从左下到右上。

当处理方向是从左上到右下时，矢量细化块组位于运动估计块组左上的位置，平滑内插块组位于矢量细化块组左上的位置；当处理方向是从左下到右上时，矢量细化块组位于运动估计块组左下的位置，平滑内插块组位于矢量细化块组左下的位置。

图像处理时以运动估计块组坐标为基准，矢量细化块组、平滑和内插块组的坐标分别在运动估计块组坐标上加偏移，并且处理过程中某些块组或块不在图像内。

从上往下处理时，以运动估计块组位于图像的最左上角端开始，直至平滑和内插块组处理完最右下角端结束；从下往上处理时，以运动估计块组位于图像的最左下角端开始，直至平滑和内插块组处理完最右上角端结束。

给每个块增加三个标志位：运动估计是否启用、矢量细化是否启用、平滑和内插是否启用，当某一块组对应的块不在图像内时，则让块对应的标志位无效，不执行该操作。

当图像宽度不是块宽度的整数倍时，块的对应标志位仍然启用，依然执行对应的操作，对于运动估计和矢量细化，在边界处进行处理，保证所取到的像素数据一定是有效数据；对于平滑和内插，正常内插，在写外存时，只写图像内的数据，将图像外数据舍去。

本发明采取以上用于高清视频序列帧率提升的块处理方法，具有以下优点：

1.增加了系统的并行程度。原本处理一个块需要2500多个周期，现在只需要不到400个周期。减少系统运行周期数，降低系统运行所需频率，增加运行效率。

2.提升了系统的灵活性。现在只需要很小的改动，即可方便的配置系统不内插、内插一帧、内插两帧、内插三帧等情况，增加系统的可维护性。

3.加快运动矢量的收敛速度。块组向上和向下的交替处理过程，保证了运动估计能够更快、更准确的找到运动矢量，增加运动估计的准确性。

4.很好地支持了不同类型的视频序列，在标清视频和高清视频的处理上都起到良好的效果。

5.不同块组的同一位置块处理时使用相同标号，以及标志位的启用，使得整个系统简单，易于控制。

附图说明

在本发明中，相同的附图标记始终表示相同的特征，其中：

图1a是标清从左上到右下处理时块组内块处理顺序；

图1b是高清从左上到右下处理时块组内块处理顺序；

图2a是标清从左下到右上处理时块组内块处理顺序；

图2b是高清从左下到右上处理时块组内块处理顺序；

图3是高清图像中从左上到右下处理时块流水线的示意图；

图4是高清图像中从左下到右上处理时块流水线的示意图；

图5是标清图像中从左上到右下处理时块流水线的示意图；

图6是高清图像从左上到右下处理时块组的处理顺序

图7是高清图像从左下到右上处理时块组的处理顺序

具体实施方式

下面对本发明的实施例作详细说明，本实施例以本发明技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明中，块组大小设为32宽*96高。对于每个块组，如果是高清视频序列(图像宽度大于1024个像素)，则以16*16块为单位处理数据，每个块组内包含6行2列共12个16*16块，当一个块组内所有16*16块都处理完，开始下一个块组的处理；如果是非高清视频序列(图像宽度不大于1024个像素)，则以8*8块为单位处理数据，每个块组内包含12行4列共48个8*8块，当一个块组内所有8*8块都处理完，开始下一个块组的处理。

对于块组在图像内的处理顺序，本发明规定，按照一帧左上到右下，一帧左下到右下的顺序交替处理。这种处理顺序，可以保证运动估计能够更快、更准确的找到运动矢量，有助于运动矢量的收敛。

对于高清视频序列，块在块组中处理顺序和块的处理顺序相同。如果块组处理顺序为从图像左上到右下，则块在块组中处理顺序如图1b所示，其中数字表示处理顺序；如果块组处理顺序为从图像左下到右上，则块在块组中处理顺序如图2b所示，也为从左下到右上。

对于非高清视频序列，处理时将块组内48个块分成4个小块组，每个小块组包含6行2列共12个块。如果块组处理顺序为从图像左上到右下，则按照从左上到右下的顺序处理4个小块组，对每个小块组内的块也按照从左上到右下的顺序处理，如图1a所示，数字表示处理顺序；如果块组处理顺序为从图像左下到右上，则小块组处理顺序和小块组内块的处理顺序都是从左下到右上，如图2a所示。

整个处理过程中分为3级流水：运动估计、矢量细化、平滑和内插，平滑和内插合起来算一级流水。三级流水并行执行，每级流水以块组为单位，即：如果当前块组做运动估计，则上一块组做矢量细化，再上一块组实现平滑和内插。

在做一个块矢量细化的时候，由于需要周围块的运动估计结果，因此要保证周围块的运动估计已经完成。如果按照传统的流水线，当处理矢量细化块组时，旁边运动估计块组相同标号的块也在做运动估计，周围块没法产生运动估计后的结果，就会导致流水线的延迟和阻塞。为了避免这种情况，本发明让矢量细化块组位于运动估计块组左边两个块上边一个块的位置，就可以保证做矢量细化时运动估计数据已经产生。比方说如图3所示，当处理矢量细化块组1号块时，需要已经处理完的运动估计块组0号块的数据，此时0号块运动估计数据已经产生。同理，由于平滑时也需要用到周围块矢量细化的结果，所以平滑内插块组也位于矢量细化块组左边两个块上一边一个块的位置。当块组处理方向是从图像左下到右上时，处理方向上下相反，块组间位置关系也上下相反，如图4所示。

接下来以分辨率为1920*1080的高清视频序列为例，具体介绍图像块处理方法：

在处理第一帧时，由于块组大小32宽*96高，所以水平方向，是1920/32＝60个块组；垂直方向，1080/96＝11.25，不是整数，意味着最后一行块组只有部分在图像内。将图像不完整的部分用一个块组补全，即垂直方向上有12个块组。块组内以16*16块为单位处理数据，每个块组包含6行2列共12个16*16块。

接着，以运动估计块组为基准，从图像的最左上角开始处理第一帧图像，三级流水块组同时开始处理。块组横坐标从0到59递增，纵坐标从0到11递增。块组内按照如图1所示的顺序依次对块处理，从左上到右下。同一时刻，三级流水块组都在处理同一序号的块，当三级块组都处理完当前序号块后，再同时开始处理下一个块。若三个块组都处理完11号块，本块组结束，开始下一个块组的流水处理。

对于第一个块组来说，由于矢量细化块组位于运动估计块组左边两个块和上边一个块的位置，而运动估计块组又位于图像的最左上角，所以矢量细化块组完全处于图像外。同理，平滑内插块组也完全处于图像外。因此，第一个块组的所有块，只有运动估计标志位启用，矢量细化标志位和平滑内插标志位都不启用，表示不做矢量细化、平滑内插处理。

当第一个块组处理完，系统开始处理水平右边的第二个块组。这个时候，矢量细化块组已经有部分在图像内。此时，对于0、1号块，仍然只有运动估计标志位启用，矢量细化和平滑内插不启用；但是从2号块开始，运动估计和矢量细化都开始启用，平滑和内插不启用。

从第三个块组开始，平滑内插块组进入图像，因此一直到第一行最后一个块组——第60个块组，都是第0、1号块做运动估计，第2、3号块做运动估计和矢量细化，从4号块到11号块三种操作都启用。

每次当块组运动到图像边界需要换行时，不同块组间会由于换行而产生垂直方向的偏移。如图6所示，当处理到第121个块组时，运动估计块组已经换到新的一行，而矢量细化块组以及平滑内插块组还位于上一行。因为系统是以运动估计块组为基准，所以此时矢量细化块组相对于运动估计块组垂直方向偏移是一个块组加一个块的大小。同理，若当矢量细化块组刚刚换行时，平滑内插块组与矢量细化块组的偏移也会多一个块组高度的大小。

处理完一帧图像的标志是图像的最后一个块完成平滑和内插。由于平滑内插在相位上滞后于运动估计块组，因此整幅图像最后完成时运动估计块组位置可能完全不在图像内。如图6所示，当处理到第722个块组时，平滑内插块组才处理完整帧图像，此时运动估计块组已经位于超过图像下边界一行的第二个位置，此时运动估计标志位设置为不做运动估计。

整帧图像处理到最下边一行平滑内插块时，每个块只有一半在图像内，此时把块当做完整块来平滑内插，只是最后将内插好的数据存储到DDR时，通过一定的处理，将多余数据舍弃，仅保存图像边界内数据。

当第一帧第722个块组所有操作都完成后，第一帧图像处理完成，开始处理第二帧图像。第二帧图像处理的垂直方向和第一帧相反，从图像的左下到右上方向，即从图7中第1个块组的位置开始处理，到第782个块组的位置结束。块组的横坐标依然是从0到59递增，只是纵坐标从11到0递减。此时，每个块组内块的处理顺序也同第一帧相反，变成从左下到右上，如图2。

另外，第二帧的块组间位置关系也发生了变化。仍然以运动估计块组为基准，不同的是，矢量细化块组位于运动估计块组左边两个块下边一个块的位置，平滑内插块组位于矢量细化块组左边两个块下边一个块的位置，如图4所示。简单来说，第二帧处理方向和第一帧处理方向相比，水平上仍是从左到右，垂直上变为从下往上。

对于第一个运动估计块组来说，0～7号块完全在图像外，8、9号块部分在图像内，10、11号块全部在图像内。所以只有8、9、10、11号块的运动估计启用，其他块设置为运动估计不启用。由于第一个矢量细化块组和平滑内插块组都完全在图像外，因此矢量细化和平滑内插不启用。

第二帧处理过程同第一帧一样，最后当平滑内插块组执行到第782个块组时，才能把一帧图像所有像素处理完，如图7所示。这时的运动估计块组和矢量细化块组都完全在图像外，运动估计块组已经到了图像上边界外第二行第二个块的位置上，此时运动估计和矢量细化都不启用。

当第782个块组处理完成后，系统开始处理第三帧图像，这时又和第一帧一样，按照从左上到右下的顺序。后面就一直按照这种顺序，保持一帧从左上到右下，下一帧从左下到右上，直到处理完整个视频序列。

对于标清视频图像，以分辨率为720*480的视频序列为例，处理方法如下：

标清图像块组大小仍然是32宽*96高。因此水平方向一行有720/32＝22.5即23个块组，垂直方向共有480/96＝5个块组。不同的是，处理单位变为8*8大小的块，因此一个块组内包含12行4列共48个8*8块，当块组内所有块都处理完成，开始下一个块组的处理。

依然将整个处理过程分为3级流水：运动估计、矢量细化、平滑和内插，平滑和内插合起来算一级流水。三级流水并行执行，每级流水以块组为单位，即：如果当前块组做运动估计，则上一块组做矢量细化，再上一块组实现平滑和内插。

同高清图像一样，标清视频的第一帧处理方向是从左上到右下，以运动估计块组为基准，块组横坐标从0到22递增，纵坐标从0到4递增。块组内则按照如图1所示的顺序处理，将块组内48个块分成4个小块组，每个小块组包含6行2列共12个块，按照从左上到右下的顺序处理4个小块组，每个小块组内的块也按照从左上到右下的顺序处理。三级流水并行处理，同一时刻处理相同标号的块。当三个块组都处理完47号块，当前块组处理结束，开始下一个块组的流水。

每个8*8块同样有标志位，当该标志位对应的块不在图像内，标志位不启用，表示该块不做相应操作。

当从左上往右下处理时，矢量细化块组同样位于运动估计块组左边两个块上边一个块的位置。对于高清图像来说，块组宽度是两个块，运动估计块组和矢量细化块组间并无重叠之处；而对于标清图像，块组宽度是四个块，所以运动估计块组和矢量细化块组间有两个块的重叠部分，如图5所示。平滑内插块组同理位于矢量细化块组左边两个块上边一个块的位置，两个块组间有部分重叠。

因此当运动估计块组刚换行，位于新一行的第一个块组位置时，矢量细化块组左半部分两列块仍然位于上一行，右半部分两列块则已经换到新的一行。当运动估计块组位于新一行第二个块组的位置时，平滑内插块组左半两列块仍然位于上一行，右半两列块则已经换到新的一行。

当平滑内插块组处理完图像最后一个块后，整帧图像处理完成。此时，运动估计块组位于超过图像下边界一行的第一个块组位置，运动估计标志位设置为不做运动估计。

同高清视频序列一样，标清视频第二帧处理顺序为从左下到右上。后面也是按照一帧从左上到右下，一帧从左下到右上的顺序交替处理，直到处理完整个视频序列。

上述实施例是本发明最优选实施例，即同时采用块组及块的划分方式、三级流水并行处理、三级块组间的交错位置关系、每个块3个标志位的启用、相邻帧间块组从左上到右下和从左下到右上的交替处理，具有非常好的有益效果：它可以在很短时间内处理完一帧图像，能够以较低的频率实现高清视频的实时处理，同时改进了运动矢量的收敛速度，有很好的内插图像质量。但应当理解的是，本发明也有其他的实施方式，比如单独采用块组及块的划分方式、三级流水并行处理、三级块组间的交错位置关系、每个块3个标志位的启用、相邻帧间块组从左上到右下和从左下到右上的交替处理中的一种技术，或者采用其中几种技术的组合，这些实施方式的过程和原理与上述优选实施例中五种技术实施的过程和原理一致，所以在此不再多做说明，本领域的技术人员在得知上述优选实施例的情况下，单独使用或者两种技术组合使用的实施对他们来说是很容易实现的。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (12)

1.一种用于高清视频序列帧率提升的块处理方法，所述方法包括：

将一帧图像按块组为单位进行划分，所述块处理方法包括三级流水：运动估计、矢量细化、平滑和内插，所述三级流水并行执行，每级流水以块组为单位进行处理。

2.如权利要求1所述的方法，其特征在于，当前的块组做运动估计时，上一块组做矢量细化，再上一块组做平滑和内插，当所述三个块组都完成当前操作，流水线推向下一级。

3.如权利要求1所述的方法，其特征在于，每一帧图像的处理顺序包括两种块组处理顺序，从图像的左上角到右下角，或从图像的左下角到右上角，所述两种块组处理顺序可以以任意组合形式出现在整个视频序列中。

4.如权利要求1所述的方法，其特征在于，所述块组内包含整数个块，当图像分辨率不同时，所述块组内包含块的个数不同，当图像的宽度或高度不能整除所述块组的宽度和高度时，边界处不全的部分用一个完整的所述块组补全；

所述块组以块为单位进行处理，所述块的大小随着图像分辨率的不同而不同，当一个所述块组内所有所述块都处理完成，开始下一个块组的处理。

5.如权利要求1所述的方法，其特征在于，对于所述三级流水块组，每个所述块组都以同样的块处理顺序处理，并且每个所述块的处理都保持同步。

6.如权利要求3所述的方法，其特征在于，对于高清视频序列，当所述块组处理顺序为从图像左上到右下，则所述块在所述块组中处理顺序也是从左上到右下；当所述块组处理顺序为从图像左下到右上，则所述块在所述块组中处理顺序也是从左下到右上。

7.如权利要求3所述的方法，其特征在于，对于非高清视频序列，将所述块组分成多个小块组，当所述块组处理顺序为从图像左上到右下，则按照从左上到右下的顺序处理所述块组内的所述小块组，对每个所述小块组内的所述块也按照从左上到右下的顺序处理；当所述块组处理顺序为从图像左下到右上，则所述小块组处理顺序以及所述小块组内所述块的处理顺序都是从左下到右上。

8.如权利要求3所述的方法，其特征在于，当处理方向是从左上到右下时，所述矢量细化块组位于所述运动估计块组左上的位置，所述平滑内插块组位于所述矢量细化块组左上的位置；当处理方向是从左下到右上时，所述矢量细化块组位于所述运动估计块组左下的位置，所述平滑内插块组位于所述矢量细化块组左下的位置。

9.如权利要求3所述的方法，其特征在于，图像处理时以所述运动估计块组坐标为基准，所述矢量细化块组、所述平滑和内插块组的坐标分别在所述运动估计块组坐标上加偏移，并且处理过程中某些块组或块不在所述图像内。

10.如权利要求9所述的方法，其特征在于，从上往下处理时，以所述运动估计块组位于图像的最左上角端开始，直至平滑和内插块组处理完最右下角端结束；从下往上处理时，以所述运动估计块组位于图像的最左下角端开始，直至所述平滑和内插块组处理完最右上角端结束。

11.如权利要求9所述的方法，其特征在于，给每个所述块增加三个标志位：运动估计是否启用、矢量细化是否启用、平滑和内插是否启用，当某一所述块组对应的所述块不在图像内时，则让所述块对应的所述标志位无效，不执行该操作。

12.如权利要求11所述的方法，其特征在于，当图像宽度不是块宽度的整数倍时，所述块的对应标志位仍然启用，依然执行对应的操作；

对于所述运动估计和所述矢量细化，在边界处进行处理，保证所取到的像素数据一定是有效数据；对于所述平滑和内插，正常内插，在写外存时，只写图像内的数据，将图像外数据舍去。

Images