CN101394559B - 动态图像处理方法、译码方法及其装置 - Google Patents

Abstract

本发明提供一种动态图像处理方法，适用于H.264视频信号标准，用以减少运动向量预测时所需的运动向量，其步骤包括：接收一视频信号流，包含一序列画面，每一画面以宏区块为基本操作单元；将一宏区块依序划分为复数的子区块；比较一宏区块行及一参考画面的一参考宏区块行，以产生该宏区块行的复数运动向量参数；于该宏区块行中，找出每一宏区块最后一行的子区块；于该宏区块行中，依序储存对应于上述最后一行的子区块的运动向量参数；及根据上述储存的运动向量参数，对该宏区块行的下一行宏区块行进行运动向量预测或区块滤波。

Description

动态图像处理方法、译码方法及其装置

技术领域

本发明有关于一种动态图像处理方法及装置，且特别有关于动态图像处理过程中，用以整合运动向量相关参数及减少运动向量储存量的方法及装置。

背景技术

一般而言，视频压缩时，会利用运动向量(motion vector)以减少宏区块(macroblock)运算时所需的数据量。现有技术中，通常是将邻近的宏区块中，所有运动向量的相关信息，直接地连续储存至内存中。对用于高分辨率电视(High Definition TV，HDTV)的影像而言，其分辨率为1920×1088，而每一16像素×16像素的宏区块包含一组运动向量参数，因此，就上述影像而言，则需储存120×68组宏区块的运动向量参数，用以进行运动向量预测的操作。若一宏区块中，包含16个子区块，每一子区块均包含前向及后向的运动向量参数，而每一运动向量以4字节表示，则一宏区块就需128字节(16×4×2)表示运动向量参数，而该影像光是储存运动向量，就需消耗128×(120×68)字节的记忆空间。因此，如何利用运动向量预测(motion vector prediction)，以有效地减少不必要的运动向量参数，并整合所需的运动向量参数，使存取运动向量参数更有效率，成为一个亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种动态图像处理方法、译码方法及装置，以于处理及译码过程中，减少所需的运动向量，以提高运动向量参数的存储效率。

为达成上述目的，本发明提供一种动态图像处理方法，于一实施例中，该方法接收一视频信号流，该视频信号流包含一序列画面，每一画面以宏区块为基本操作单元。首先，将一宏区块依序划分为复数的子区块。接着，比较一宏区块行及一参考画面的一参考宏区块行，以产生该宏区块行的复数运动向量参数。其中，该参考宏区块行对应于该宏区块行，而每一运动向量参数，对应于一宏区块的一子区块。然后于该宏区块行中，找出每一宏区块最后一行的子区块，再依序储存对应于上述每一宏区块最后一行的子区块的运动向量参数。并根据上述储存的运动向量参数，对该宏区块行的下一行宏区块行进行运动向量预测或区块滤波。

为达成上述目的，本发明另外提供一种动态影像译码方法，于一实施例中，该方法接收一比特流，该比特流为一编码视频信号流，该编码视频信号流以宏区块为基本操作单元。接着，译码该比特流以还原复数的运动向量参数，每一运动向量参数，对应于一宏区块的一子区块。对一目前宏区块执行运动向量预测或区块滤波之前，先找出该目前宏区块的上边界邻近宏区块集合，再由该上边界邻近宏区块集合中，产生一第一运动向量集合，对应于该上边界邻近宏区块集合中，每一宏区块最后一行子区块的运动向量参数。然后，由该目前宏区块的左方宏区块，产生一第二运动向量集合。最后，利用该第一及该第二运动向量集合，对该目前宏区块执行运动向量预测或区块滤波。

为达成上述目的，本发明更提供一种动态影像译码装置，于一实施例中，该比特流译码装置包括：一译码单元、一运动向量搜寻单元及一处理单元。该译码单元，用以译码一比特流，以还原复数的运动向量参数。上述比特流为一编码视频信号流，该编码视频信号流以宏区块为基本操作单元，每一运动向量参数，对应于一宏区块的一子区块。该运动向量搜寻单元，接收所述的运动向量参数，搜寻一目前宏区块的上边界邻近宏区块集合，以产生一第一运动向量集合，对应于上边界邻近宏区块集合的每一宏区块最后一行子区块的运动向量参数，以及搜寻该目前宏区块的左方宏区块，以产生一第二运动向量集合。该处理单元，利用该第一及该第二运动向量集合，对该目前宏区块执行运动向量预测或区块滤波。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附图示，详细说明如下。

附图说明

图1为显示动态影像中，H.264影像格式阶层架构图；

图2为显示运动估计一宏区块的运动向量示意图；

图3为显示宏区块划分示意图；

图4为显示依据本发明实施例的动态图像处理方法流程图；

图5为显示将一宏区块划分为16个子区块的示意图；

图6A、图6B、图6C为显示依据本发明实施例，对应图5的一子区块的运动向量参数字段示意图；

图7为显示根据本发明实施例的一动态影像译码装置方块图；及

图8为显示依据本发明实施例的动态影像译码方法流程图。

附图标号：

70～动态影像译码装置；     104～译码单元；

106～运动向量搜寻单元；    108～处理单元；

102～比特流；              110～运动向量参数；

112～输出画面；            114～DCT系数；

118～图像取样数据；        122～预测画面；

124～重建画面              130～反向离散余弦转换单元；

136～影像重建单元；        138～区块滤波单元。

具体实施方式

图1为显示动态影像中，H.264影像格式阶层架构图。一般的动态影像由视频信号流VS(video stream)组成，而该视频信号流VS由一序列画面(pictures)所组成，每一画面P包含多个片段S(slices)，将画面P以固定单位作水平方向的划分，每个片段则由数个16×16的宏区块MB(macroblocks)所组成。每一宏区块为运动估计(motion estimation)及运动补偿(motioncompensation)的基本操作单位。

图2为显示运动估计一宏区块的运动向量示意图。一般而言，动态影像于移动变化过程中，相邻的画面具有相当的关联性，因此，通过计算两画面间的差异，意即运动向量，以减少动态影像的数据量。如图2所示，一宏区块MB为一目前画面中欲处理的宏区块，将该宏区块MB与一参考画面比较，可得到一运动向量MV(motion vector)，此即代表该宏区块MV的运动向量，亦代表该宏区块相对于该参考画面的该宏区块位移量。因此，通过运动向量的记录，可用较小的数据量表示画面间时间和空间的关联性及差异。

进一步地，为得到较细致的运动向量结果，通常将宏区块划分为7种不同大小的区块，如图3所示，分为宏区块(16×16)划分及次宏区块(8×8)划分。其中，宏区块划分包括一宏区块(16×16)、两个16×8的区块、两个8×16的区块及四个8×8的区块。当一宏区块选择8×8的预测模式时，则每一次宏区块可再细分为两个8×4的区块、两个4×8的区块及四个4×4的子区块。当一宏区块为16×16预测模式时，则该宏区块具有一组运动向量参数MV。当一宏区块为16×8预测模式时，则该宏区块具有两组运动向量参数，分别表示为MV2及MV3。以此类推，当一宏区块划分为16个4×4的子区块时，则每一子区块均有一组运动向量参数。然而，由于每一个子区块都有一组运动向量参数，与16×16的预测模式相较下，对一宏区块而言，就需要额外储存15组运动向量参数，亦大幅增加计算的复杂度。

针对上述的问题，在编码一宏区块的运动向量时，可利用邻近已编码的宏区块的运动向量，用以进行运动向量预测，以减少运动向量的数据量。

图4为显示依据本发明实施例的动态图像处理方法40流程图，用以减少运动向量的储存量。如上所述，针对计算运动向量时所产生的缺点，本发明提出一方法，能够有效减少运动向量的存储空间，及存取运动向量的带宽，同时整合与运动向量相关的讯息，提高系统效率。详细的处理步骤如下所述。

首先，接收一视频信号流VS(S402)，如图1所示，该视频信号流VS包含一序列画面，每一画面P以宏区块MB为基本操作单元。接着，将一宏区块MB1依序划分为16个4×4的子区块(S404)，如图5所示，依序标示为子区块0、子区块1、...、子区块15。针对子区块10、子区块11、子区块14及子区块15而言，为下方宏区块的上边界邻近区块。当该宏区块MB1为16×16或16×8预测模式，则子区块10、11、14及15的运动向量参数相同。当该宏区块MB1为8×16或8×8预测模式，则子区块10及11的运动向量参数相同，子区块14及15的运动向量参数相同。当该宏区块MB1为4×4预测模式，则子区块10、11、14及15的运动向量参数各不相同。因此，子区块10、11、14及15具有预测下方宏区块运动向量所需的数据，只需储存子区块10、11、14及15，便可做为下方宏区块的运动向量预测参考。

由上述可知，就相邻两行的宏区块行而言，下方的宏区块行，可利用上方宏区块行的运动向量，进行运动向量预测。请再参考图4，先根据一参考画面的一参考宏区块行，用以产生一宏区块行的复数运动向量参数(S406)。其中，该参考宏区块行对应于该宏区块行，而每一运动向量参数，对应于一宏区块的一子区块。接着，于该宏区块行中，找出每一宏区块最后一行的子区块(S408)，相当于图5所示的子区块10、11、14及15。进一步，于该宏区块行中，依序地储存对应于上述最后一行的子区块的运动向量参数(S410)。最后，根据上述储存的运动向量参数，对该宏区块行的下方宏区块行，进行运动向量预测或区块滤波(S412)。以下进一步说明运动向量参数的整合。

图6A、图6B、图6C为显示依据本发明实施例，对应图5的子区块10、11、14及15的运动向量参数字段示意图。如图6A所示，每一子区块的运动向量参数，包括一32位的前向预测运动向量(FWD)及一32位的后向预测运动向量(BWD)。于一实施例中，该前向预测运动向量，与先前的参考画面相关联，而该后向预测运动向量，与之后的参考画面相关联。

请参考图6B、图6C，该前向或后向预测运动向量，包括一水平向量(MV_X)、一垂直向量(MV_Y)及一对应参数，其中，该对应参数为对应于该前向或后向预测运动向量的一参考图索引值(REFIDX)或一参考图缓冲器位置(BUF_SEL)。该参考图索引值REFIDX，表示该运动向量所在参考图的索引值。该参考图缓冲器位置BUF_SEL，表示该运动向量所在参考图的实际储存位置，为执行区块滤波(deblocking)时所需的数据，因此，将此参数进一步地整合储存于运动向量参数中。

由于H.264视频信号标准中，每一8×8的次宏区块具有相同的参考图索引值REFIDX及参考图缓冲器位置BUF_SEL。因此，可以将该参考图索引值REFIDX及该参考图缓冲器位置BUF_SEL交叉储存于子区块10、11、14及15中。换句话说，当子区块10及14的对应参数储存该参考图索引值REFIDX时，子区块11及15的对应参数则储存该参考图缓冲器位置BUF_SEL。同样地，当子区块10及14的对应参数储存该该参考图缓冲器位置SEL时，子区块11及15的对应参数则储存参考图索引值REFIDX。值得一提的是，H.264视频信号标准中，最多使用32个参考图，该参考图索引值REFIDX及该参考图缓冲器位置BUF_SEL只需以5位表示即可，因此，可于该参考图索引值REFIDX、或者该参考图缓冲器位置BUF_SEL中，进一步设置一无效旗标(未图标)，利用一默认值，表示该前向预测运动向量或该后向预测运动向量为无效。

图7为显示根据本发明实施例的一动态影像译码装置70方块图。如图7所示，该动态影像译码装置70包括：一译码单元104、一运动向量搜寻单元106及一处理单元108。

该译码单元104用以译码一比特流102，以还原复数的运动向量参数110。其中，该比特流102为一编码视频信号流，该编码视频信号流以宏区块为基本操作单元。如前所述，每一宏区块划分为复数子区块，而每一运动向量参数，对应于一宏区块的一子区块。关于运动向量参数的设置，因已详述如前，于此不再赘述。该运动向量搜寻单元106，接收所述的运动向量参数110，搜寻一目前宏区块的上边界邻近宏区块集合，用以产生一第一运动向量集合。该第一运动向量集合，对应于上边界邻近宏区块集合的每一宏区块最后一行子区块的运动向量参数。于一实施例中，该上边界邻近宏区块集合，包括该目前宏区块的一左上宏区块、一上方宏区块及一右上宏区块。进一步地，该运动向量搜寻单元106搜寻该目前宏区块的左方宏区块，以产生一第二运动向量集合。该处理单元108，利用该第一及该第二运动向量集合，对该目前宏区块执行运动向量预测或区块滤波。

另外，该动态影像译码装置70更包括一反向离散余弦转换单元130，接收该译码单元所还原的DCT系数114，将频域系数转换为空间域参数，用以产生图像取样数据118。该处理单元108包括：一运动向量预测及运动补偿单元132、一影像重建单元136及一区块滤波单元138。该运动向量预测及运动补偿单元132，接收该第一及该第二运动向量集合，以产生一预测画面122。该影像重建单元136，利用该预测画面122及该图像取样数据118，以产生一重建画面124。该区块滤波单元138，对该重建画面124执行区块滤波，以消除该重建画面124的区块效应，产生一输出画面112。对于上述译码装置的相关组件，应为此技术领域中具有通常知识者所熟知，于此不多加赘述。

图8为显示依据本发明实施例的动态影像译码方法80流程图。首先，接收一比特流(S802)，该比特流为一编码视频信号流，该编码视频信号流以宏区块为基本操作单元(图1)，每一宏区块包括复数的子区块。其次，对该比特流执行译码，以还原复数的运动向量参数(S804)。每一运动向量参数，对应于一宏区块的一子区块，且已详述如前，于此不加赘述。接着，判断是否对一目前宏区块执行运动向量预测或区块滤波(S806)。若是，则在对该目前宏区块执行运动向量预测或区块滤波之前，找出该目前宏区块的上边界邻近宏区块集合(S808)。然后，利用该上边界邻近宏区块集合，产生一第一运动向量集合(S810)。其中，该第一运动向量集合，对应该上边界邻近宏区块集合中，每一宏区块最后一行子区块的运动向量参数。于一实施例中，该上边界邻近宏区块集合，包括该目前宏区块的一左上宏区块、一上方宏区块及一右上宏区块。接着，利用该目前宏区块的左方宏区块，产生一第二运动向量集合(S812)。最后，利用该第一及该第二运动向量集合，对该目前宏区块执行运动向量预测或区块滤波(S814)。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何于此技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可做些许更动与润饰，因此本发明的保护范围当视权利要求所界定者为准。

Claims (20)

1.一种动态图像处理方法，用以减少运动向量的储存量，其特征在于，接收一视频信号流，该视频信号流包含一序列画面，每一画面以宏区块为基本操作单元；

该方法的步骤包括：

将一宏区块依序划分为复数的子区块；

比较一宏区块行及一参考画面的一参考宏区块行，以产生该宏区块行的复数运动向量参数，其中，该参考宏区块行对应于该宏区块行，而每一运动向量参数，对应于一宏区块的一子区块；

于所述的宏区块行中，找出每一宏区块最后一行的子区块；

于所述的宏区块行中，依序储存对应于上述最后一行的子区块的运动向量参数；以及

根据上述储存的运动向量参数，对所述的宏区块行的下一行宏区块行进行运动向量预测或区块滤波。

2.如权利要求1所述的动态图像处理方法，其特征在于，所述的宏区块划分为16个子区块，而所述的最后一行子区块为一第一子区块、一第二子区块、一第三子区块及一第四子区块。

3.如权利要求2所述的动态图像处理方法，其特征在于，每一子区块的运动向量参数，包括一前向预测运动向量及一后向预测运动向量。

4.如权利要求3所述的动态图像处理方法，其特征在于，所述的前向及后向预测运动向量包括一对应参数，为对应于该前向或后向预测运动向量的一参考图索引值或一参考图缓冲器位置。

5.如权利要求4所述的动态图像处理方法，其特征在于，当所述的第一及所述的第三子区块的运动向量参数的对应参数为所述的参考图索引值时，所述的第二及所述的第四子区块的运动向量参数的对应参数为所述的参考图缓冲器位置。

6.如权利要求4所述的动态图像处理方法，其特征在于，当所述的第一及所述的第三子区块的运动向量参数的对应参数为所述的参考图缓冲器位置时，所述的第二及所述的第四子区块的运动向量参数的对应参数为所述的参考图索引值。

7.如权利要求3所述的动态图像处理方法，其特征在于，所述的运动向量参数，进一步包括一无效旗标，用以表示所述的前向预测运动向量或所述的后向预测运动向量为无效。

8.一种动态影像译码方法，用以于译码过程中，减少所需的运动向量，其特征在于，该方法的步骤包括：

接收一比特流，该比特流为一编码视频信号流，该编码视频信号流以宏区块为基本操作单元，每一宏区块包括复数的子区块；

对所述的比特流执行译码，以还原复数的运动向量参数，每一运动向量参数，对应于一宏区块的一子区块；

判断是否对一目前宏区块执行运动向量预测或区块滤波；

对所述的目前宏区块执行运动向量预测或区块滤波前，找出所述的目前宏区块的上边界邻近宏区块集合；

利用所述的上边界邻近宏区块集合，产生一第一运动向量集合，其中，所述的第一运动向量集合，对应所述的上边界邻近宏区块集合中，每一宏区块最后一行子区块的运动向量参数；

利用所述的目前宏区块的左方宏区块，产生一第二运动向量集合；以及

利用所述的第一及所述的第二运动向量集合，对所述的目前宏区块执行运动向量预测或区块滤波。

9.如权利要求8所述的动态影像译码方法，其特征在于，所述的宏区块划分为16个子区块，而所述的最后一行子区块为一第一子区块、一第二子区块、一第三子区块及一第四子区块。

10.如权利要求9所述的动态影像译码方法，其特征在于，上述最后一行的子区块的运动向量参数，包括一前向预测运动向量、一后向预测运动向量及一无效旗标，该无效旗标用以表示所述的前向预测运动向量或所述的后向预测运动向量为无效。

11.如权利要求10所述的动态影像译码方法，其特征在于，所述的前向及后向预测运动向量包括一对应参数，为对应于该前向或后向预测运动向量的一参考图索引值或一参考图缓冲器位置。

12.如权利要求11所述的动态影像译码方法，其特征在于，当所述的第一及所述的第三子区块的运动向量参数的对应参数为所述的参考图索引值时，所述的第二及所述的第四子区块的运动向量参数的对应参数为所述的参考图缓冲器位置。

13.如权利要求11所述的动态影像译码方法，其特征在于，当所述的第一及所述的第三子区块的运动向量参数的对应参数为所述的参考图缓冲器位置时，所述的第二及所述的第四子区块的运动向量参数的对应参数为所述的参考图索引值。

14.如权利要求8所述的动态影像译码方法，其特征在于，所述的上边界邻近宏区块集合，包括所述的目前宏区块的一左上宏区块、一上方宏区块及一右上宏区块。

15.一种动态影像译码装置，用以减少译码过程中所需的运动向量，其特征在于，该动态影像译码装置包括：

一译码单元，用以译码一比特流，以还原复数的运动向量参数，其中，所述的比特流为一编码视频信号流，该编码视频信号流以宏区块为基本操作单元，每一宏区块包括复数的子区块，而每一运动向量参数，对应于一宏区块的一子区块；

一运动向量搜寻单元，接收所述的运动向量参数，搜寻一目前宏区块的上边界邻近宏区块集合，以产生一第一运动向量集合，对应于上边界邻近宏区块集合的每一宏区块最后一行子区块的运动向量参数，以及搜寻所述的目前宏区块的左方宏区块，以产生一第二运动向量集合；及

一处理单元，利用所述的第一及所述的第二运动向量集合，对所述的目前宏区块执行运动向量预测或区块滤波。

16.如权利要求15所述的动态影像译码装置，其特征在于，所述的宏区块划分为16个子区块，而所述的最后一行子区块为一第一子区块、一第二子区块、一第三子区块及一第四子区块，且其中，所述的上边界邻近宏区块集合，包括所述的目前宏区块的一左上宏区块、一上方宏区块及一右上宏区块。

17.如权利要求16所述的动态影像译码装置，其特征在于，上述最后一行的子区块的运动向量参数，包括一前向预测运动向量、一后向预测运动向量及一无效旗标，其中，所述的无效旗标用以表示所述的前向预测运动向量或所述的后向预测运动向量为无效。

18.如权利要求17所述的动态影像译码装置，其特征在于，所述的前向及后向预测运动向量包括一对应参数，为对应于所述的前向或后向预测运动向量的一参考图索引值或一参考图缓冲器位置。

19.如权利要求18所述的动态影像译码装置，其特征在于，当所述的运动向量搜寻单元将所述的第一及所述的第三子区块的运动向量参数的对应参数设置为所述的参考图索引值时，则所述的第二及所述的第四子区块的运动向量参数的对应参数设置为所述的参考图缓冲器位置。

20.如权利要求18所述的动态影像译码装置，其特征在于，当所述的运动向量搜寻单元将所述的第一及所述的第三子区块的运动向量参数的对应参数设置为所述的参考图缓冲器位置时，则所述的第二及所述的第四子区块的运动向量参数的对应参数设置为所述的参考图索引值。

Images