CN1838774A - 移动图像编码设备及方法、移动图像解码设备及方法 - Google Patents

Abstract

一种移动图像编码设备，其通过位移补偿，将由帧图像时序构成的移动图像进行编码，该设备包括：参考图像生成部件，用于根据待编码预定区域的编码条件，从参考帧图像生成经由预定图像处理的参考图像；以及位移补偿部件，通过使用经过预定图像处理生成的参考图像，为待编码预定区域计算一个位移补偿值。

Description

移动图像编码设备及方法、移动图像解码设备及方法

本申请是基于2004年5月28日递交的国际申请日为2002年11月29日、题为“移动图像编码设备、移动图像解码设备、移动图像编码方法、移动图像解码方法、程序和存储程序的计算机可读记录媒介”的中国专利申请02823828.1提出的分案申请。

技术领域

本发明涉及一种移动图像编码设备、一种移动图像解码设备、一种移动图像编码方法和一种移动图像解码方法。

背景技术

作为传统的移动图像编码系统的实例，下面描述基于“ITU-T SG16VCEG-M81，H.26L Test Model Long Term Number 8(TML-8)”中描述的“H.26L编码系统”的一种移动图像编码设备和一种移动图像解码设备。图1显示了一种前述移动图像编码设备20的配置，图2显示了一种前述移动图像解码设备50的配置。

图1所示的移动图像编码设备通过位移补偿帧间预测，降低了时间方向的冗余表达，并且，进一步通过正交变换降低了空间方向的冗余，从而执行移动图像(一个输入视频信号)的信息压缩。图3显示了一个位移补偿帧间预测的说明图。

下文中，将参考这些附图对图1所示的移动图像编码设备20的操作进行描述。

输入视频信号1由帧图像的时序组成。这里，假设待编码的帧图像被分成16×16像素的正方形区域(宏块)，并且，移动图像编码设备20的编码处理和移动图像解码设备50的解码处理以这些宏块为单位来进行。另外，被分成宏块单位的帧图像被定义为“帧图像信号2”。

根据“H.26L编码系统”，其可作为“预测模式”，是一个“INTRA预测模式”，用于使用同一帧图像中编码过的邻近区域的像素值(例如，邻近待编码的帧图像信号2的左上侧的像素值)进行空间预测，并且使用编码过的帧图像进行位移补偿帧间预测的若干“INTER预测模式”随时间而不同。

这样配置“H.26L编码系统”，能够根据输入视频信号1的位置特点，通过切换宏块的“预测模式”，进行有效的信息压缩。

“位移补偿帧间预测”是一种技术，用于在参考帧图像5的预定查找范围内，查找类似于帧图像信号2中的图像信号模式；用于探测在两个的图像信号模式之间的空间位移量作为“位移向量3”；并用于编码和发送“位移补偿相关信息”，该信息包括“位移向量3”、“预测模式”和“参考帧号”以及根据位移向量3计算的“预测的剩余信号9”。

根据“H.26L编码系统”，如图3所示，7种“INTER预测模式”是可用的。更确切地，实际上，除了这些预测模式，当视频为静态时，“跳跃模式”是可用的，如直接拷贝参考帧图像5(编码过的帧图像)相同位置的像素的预测模式。

如图3所示，位移向量3以“模式1”以16×16像素为单位被探测，以“模式2”以8×16像素为单位被探测，以“模式3”以16×8像素为单位被探测，以“模式4”以8×8像素为单位被探测，以“模式5”以8×4像素为单位被探测，以“模式6”以8×4像素为单位被探测，以及以“模式7”以4×4像素为单位被探测。

也就是说，这7种预测模式能够在宏块中细分位移探测单位，并且，能够达到精确掌握各种宏块中出现的位移。

首先，一个输入部件31将帧图像信号2发送到位移探测部件32和空间预测部件35。

然后，位移探测部件32通过参考来自帧存储器34的参考帧图像5，探测到位移向量3的数目符合接收到的帧图像信号2的预定预测模式4。

与此同时，空间预测部件35使用编码过的来自帧存储器34的同一帧图像邻近区域的像素值进行空间预测。空间预测部件35可以通过若干方法执行空间预测。

第二，位移探测部件32将图3所示所有“INTER预测模式”探测到的位移向量3和符合位移向量3的预测模式(例如，模式1到7)发送给位移补偿部件33。

然后，位移补偿部件33通过位移补偿，生成一个预测图像信号(一个宏块单元)6，该位移补偿使用来自帧存储器34的参考帧图像5和若干位移向量3与来自位移探测部件32的预测模式4的组合。

第三，位移补偿部件33将通过位移补偿生成的预测图像信号6的有关信息、预测模式4、位移向量3和编码效率发送给预测模式判断部件36。另一方面，空间预测部件35将通过空间预测生成的预测图像信号7的有关信息、预测模式(如果存在若干种空间预测)4和编码效率发送给预测模式判断部件36。

第四，预测模式判断单元36以宏块单位评估所有图3所示的“INTER预测模式”，以便选择确定编码效率最高的“INTER预测模式”。

另外，如果“INTRA预测模式”在编码效率方面比“INTER预测模式”更高，则预测模式判断部件36类似地评估“INTRA预测模式”，并选择“INTRA预测模式”。

然后，预测模式判断部件36将通过所选的预测模式4生成的预测图像信号(一个宏块单元)8发送给减法器37。

另外，当“INTER预测模式”被选择作为预测模式4时，预测模式判断部件36将“位移补偿相关信息”发送给可变长编码部件40，其中，位移补偿相关信息包括所选“INTER预测模式”中设置的位移向量3的数目(每宏块16)等。另一方面，当“INTRA预测模式”被选择作为预测模式4时，预测模式判断部件36不发送位移向量3。

第五，一个正交变换部件38，通过将正交变换应用到来自减法器37的帧图像信号2和预测图像信号8之间的差值(一个预测剩余信号9)，生成一个正交变换系数10。

第六，量化部件39通过量化来自正交变换部件38的正交变换系数10，生成一个量化的正交变换系数11。

第七，可变长编码部件40对来自量化部件39的量化过的正交变换系数11和来自预测模式判断部件36的预测模式4(和位移向量3)进行熵编码，以便将它们多路复用到压缩流12中。

可变长编码部件40可以将该压缩流12以宏块为单位发送给移动图像解码设备50，或者以帧图像为单位发送该压缩流12。

另外，一个逆量化部件41，通过将来自量化部件39的量化过的正交变换系数11进行逆量化，生成一个正交变换系数13。然后，一个逆正交变换部件42，通过对来自逆量化部件14的正交变换系数13进行逆正交变换，生成一个预测剩余信号14。

接下来，在一个加法器中，来自逆正交变换部件42的预测剩余信号14和来自预测模式判断部件36的预测图像信号8被加在一起，生成一个帧图像信号15。

宏块单元的帧图像信号15被存储于帧存储器34。在帧存储器34中，已经存储了用于后续编码处理的帧图像单元的参考帧图像5，和当前正在编码的帧图像的编码过的宏块的信息(像素值或位移向量)。

接下来，描述图2所示的移动图像解码设备10的操作。

首先，在接收到压缩流12之后，可变长解码部件71探测到一个指示每帧头的同步字，并且为每个宏块单元恢复位移向量3、预测模式4和量化正交变换系数11。

然后，可变长解码部件71将量化正交变换系数11发送给逆量化部件76，并且将预测模式发送给切换器75。另外，当预测模式4为“INTER预测模式”时，可变长解码部件71将位移向量3和预测模式4发送给位移补偿部件72；当预测模式4为“INTRA预测模式”时，将预测模式4发送给空间预测部件74。

下一步，当预测模式4为“INTER预测模式”时，位移补偿部件72使用来自可变长解码部件71的位移向量3和预测模式4，参考来自帧存储器73的参考帧图像5，生成一个预测图像信号6。

另一方面，当预测模式4为“INTRA预测模式”时，空间预测部件74参考来自帧存储器73的邻近区域的编码图像信号，生成一个预测图像信号7。

下一步，切换器75根据来自可变长解码部件71的预测模式4，选择预测

图像信号6和7中之一，从而确定预测图像信号8。

与此同时，可变长解码部件71解码的量化正交变换系数11由逆量化部件76逆量化，从而被恢复为正交变换系数10。并且，正交变换系数10经由逆正交变换部件77进行逆正交变换，从而被恢复为预测剩余信号9。

然后，在加法器78，来自切换器75的预测图像信号8和来自逆正交变换部件77的预测剩余信号9被加在一起，从而，帧图像信号2被恢复以便发送给输出部件80。输出部件80将该信号连带预定时间输出到显示设备(未示出)，从而复制出输出视频信号(一种移动图像)1A。

另外，恢复帧图像信号2被存储于帧存储器73，以便用于其后的解码处理。

在“TML-8”中，实现了使用“特异位置”概念的位移补偿。图4显示了该“特异位置”以及整数图像位置、1/2图像位置和1/4图像位置。附带地，在“TML-8”中，实现了1/4像素精度的位移补偿。

在图4中，假设位移探测部件32探测到的位移向量3指示一个参考帧图像5中的整数像素位置((1像素，1像素)的像素位置)“D”，其与待编码的帧图像信号2中的整数像素位置“A”相关。在这种情况下，参考帧图像5中的像素位置“D”的像素值变为“位移补偿值”，该值与将待编码的帧图像信号2中的像素位置“A”相关。

下一步，假设位移向量3指示一个参考帧图像5中的1/2像素位置((1/2像素，1/2像素)的像素位置)“E”，其与待编码的帧图像信号2中的整数像素位置“A”相关。在这种情况下，通过独立运行垂直和水平于参考帧图像5中整数像素位置的像素值的6级过滤器(1，-5，20，20，-5，1)/32得到一个内插值，这个内插值作为“位移补偿值”，其与待编码的帧图像信号2中的像素位置“A”相关。

下一步，假设位移向量3指示一个参考帧图像5中的1/4像素位置((1/4像素，1/4像素)的像素位置)“F”或“G”，其与待编码的帧图像信号2中的整数像素位置“A”相关。在这种情况下，一个邻近整数像素位置的像素值和一个邻近1/2像素位置的像素值的线性内插值作为“位移补偿值”，其与待编码的帧图像信号2中像素位置“A”相关。

例如，当位移向量3指示参考帧图像5中的像素位置“F”，其与待编码的帧图像信号2中的像素位置“A”相关，邻近整数像素位置的像素值和邻近1/2像素位置的像素值，这些围绕着像素位置“F”的4点像素值的平均值作为“位移补偿值”，其与待编码的帧图像信号2中像素位置“A”相关。

另外，当位移向量3指示参考帧图像5中的像素位置“G”时，其与待编码帧图像信号2中的整数像素位置A相关，水平夹着像素位置“G”的1/2像素位置的2点像素值的平均值作为“位移补偿值”，其与待编码的帧图像信号2中像素位置A相关。

进一步，当位移向量指示参考帧图像5中的像素位置(N+3/4像素，M+3/4像素：N和M为给定整数)时，其与待编码的帧图像信号2中的整数像素位置A相关，与待编码的帧图像信号2中整数像素位置相关的“位移补偿值”变为参考帧图像5中(N，M)、(N，M+1)、(N+1，M)和(N+1，M+1)像素值的平均值。这里，参考帧图像5中的(N+3/4像素，M+3/4像素：N和M为给定整数)就是前述的“特异位置”。

例如，当位移向量3指示参考帧图像5中的像素位置“H”(例如，一个“特异位置”)时，其与待编码的帧图像信号2中的整数像素位置“A”相关，与待编码的帧图像信号2中像素位置“A”相关的“位移补偿值”不是前述1/4像素位置(例如，像素位置“F”)情况中计算得到的值，而是通过(A+B+C+D)/4计算得到的值。

如上所述，在“H.26L编码系统”中，许多“INTER预测模式”对于精化位移补偿是可用的。另外，基于整数像素位置、1/2像素位置、1/4像素位置和特异位置的位移补偿都是可用的。通过前述配置，当一种预测配置被精化时，引入一种防止预测图像信号8破损的机制，即使输入了其预测没有实现的帧图像信号2，该机制也起作用。

1/4图像精度计算通过邻近像素位置的像素值的线性内插进行。这样，在频域空间，低通类型操作被提供，以便生成平滑的预测图像信号6。

另外，当使用基于特异位置的位移补偿时，“位移补偿值”基于邻近整数像素位置的4个像素值的平均值被计算，从而生成进一步平滑的预测图像信号。如果高斯噪声被叠加在预测图像信号上，当噪声成分变大时，该平滑能够取得减少预测错误的效果。

这样，在“TML-8”定义的“H.26L编码系统”中，如果噪声叠加在参考帧图像5上，或者，如果许多高通成分被包括在参考帧图像5，并且预测中的错误是不能容忍的，通过使用1/4像素精度计算和基于特异位置的位移补偿来改进编码效率。

然而，在传统的“H.26L编码系统”中，下述问题是可以想像能发生的。

首先，当待编码的帧图像信号2中的像素位置具有一个指示等于“特异位置”的像素位置(N+3/4像素，M+3/4像素：N和M为给定整数)的位移向量时，计算的“位移补偿值”总是经过强平滑，并且，特别地，存在高速率时精化位移补偿被阻碍的问题(第一个问题)。

也就是说，在传统的“H.26L编码系统”中，特异位置由位移向量3的绝对值定义。这样，如图5所示，例如，当块A，B，C，D和E以平行于右下侧(3/4像素，3/4像素)移动时，基于位移向量MV＝(MVx，MVy)＝(3/4，3/4)进行平滑位移补偿。可选地，通过基于位移向量MV＝(MVx，MVy)＝(1/2，3/4)或者(4/3，1)，供给不同于实数位移的位移向量进行位移补偿。这里，MVx指示位移向量的X元素，并且MVy指示位移向量的Y元素。

特别地，如图5所示，在传统的“H.26L编码系统”中，当待编码的块为E时，并且块E的位移向量MV为(MVxE，MVyE)时，一个由“MVxE％4＝3”和“MVyE％4＝3”压缩的区域总是一个“特异位置”，并且平滑过的像素值被选择作为块E的“位移补偿值”。这里，“％”是一个商余数计算符号，并且表达位移向量MV的单位是1/4像素。

这样，在“H.26L编码系统”中，由于位移向量(3/4，3/4)指示实数(1/2，1/2)像素位置中出现的平滑像素值，存在等于“特异位置”的像素位置(N+3/4像素，M+3/4像素：N和M为给定整数)的像素值的表达被阻碍的问题。

第二，在生成1/4像素精度预测图像信号中，预测精化和预测平滑的效果分别在高速率和低速率被期望。然而，对于在低速率的预测平滑，1/4像素精度的位移补偿是不必要的，而1/2像素精度的位移补偿就足够了。因此，占据了位移向量一半参数空间的用于平滑预测的1/4像素精度的位移向量的探测是冗余的，这也是一个问题。

因此，本发明基于前述问题，其目的是以轻量开销表达预测图像信号，并提供不同级别像素精度的位移补偿。

发明内容

本发明的第一个特征概括为一种移动图像编码设备，用于通过位移补偿，将由帧图像时序组成的移动图像进行编码。该移动图像编码设备包括：一个位移向量探测部件，用于探测帧图像中待编码的预定区域的位移向量；一个预测部件，通过使用帧图像中编码过的预定区域的位移向量，用于预测待编码的预定区域的位移向量；一个判断部件，用于判断位移向量探测部件探测到的位移向量是否是一个根据预测部件预测到的位移向量进行设置的预定位移向量；以及一个切换部件，基于位移向量探测部件探测到的位移向量是否为预定位移向量，用于切换待编码的预定区域位移补偿值的计算方法。

本发明的第二个特征概括为一种移动图像解码设备，用于通过位移补偿，将由帧图像时序组成的移动图像进行解码。该移动图像解码设备包括：一个位移向量解码部件，用于将帧图像中待解码的预定区域的位移向量进行解码；一个预测部件，通过使用帧图像中解码过的预定区域的位移向量，用于预测待解码的预定区域的位移向量；一个判断部件，用于判断位移向量探测部件探测到的位移向量是否是一个根据预测部件预测到的位移向量进行设置的预定位移向量；以及一个切换部件，基于位移向量解码部件解码过的位移向量是否为预定位移向量，用于切换待解码的预定区域位移补偿值的计算方法。

本发明的第三个特征概括为一种移动图像编码方法，用于通过位移补偿，将由帧图像时序组成的移动图像进行编码。该移动图像编码方法包括：一个步骤A，用于探测帧图像中待编码的预定区域的位移向量；一个步骤B，通过使用帧图像中编码过的预定区域的位移向量，用于预测待编码的预定区域的位移向量；一个步骤C，判断步骤A中探测到的位移向量是否为一个根据步骤B中预测到的位移向量进行设置的预定位移向量；以及一个步骤D，基于步骤A中探测到的位移向量是否为预定位移向量，用于切换待编码的预定区域位移补偿值的计算方法。

本发明的第四个特征概括为一种移动图像解码方法，用于通过位移补偿，将由帧图像时序组成的移动图像进行解码。该移动图像解码方法包括：一个步骤A，用于将帧图像中待解码的预定区域的位移向量进行解码；一个步骤B，通过使用帧图像中解码过的预定区域的位移向量，用于预测待解码的预定区域的位移向量；一个步骤C，判断步骤A中解码过的位移向量是否为一个根据步骤B中预测到的位移向量进行设置的预定位移向量；以及一个步骤D，基于步骤A中解码过的位移向量是否为预定位移向量，用于切换待解码的预定区域位移补偿值的计算方法。

本发明的第五个特征概括为一种程序，其促使计算机起到移动图像编码设备的作用，通过位移补偿，对由帧图像时序构成的移动图像进行编码。该移动图像编码设备包括：一个位移向量探测部件，用于探测帧图像中待编码的预定区域的位移向量；一个预测部件，通过使用帧图像中编码过的预定区域的位移向量，预测待编码的预定区域的位移向量；一个判断部件，用于判断位移向量探测部件探测的位移向量是否为根据预测部件预测的位移向量设定的一个预定位移向量；以及一个切换部件，根据位移向量探测部件探测的位移向量是否为该预定的位移向量，用于切换待编码的预定区域的位移补偿值的计算方法。

本发明的第六个特征概括为一种程序，其促使计算机起到移动图像解码设备的作用，通过位移补偿，对由帧图像时序构成的移动图像进行解码。该移动图像解码设备包括：一个位移向量解码部件，用于将帧图像中待解码的预定区域的位移向量进行解码；一个预测部件，通过使用帧图像中编码过的预定区域的位移向量，预测待解码的预定区域的位移向量；一个判断部件，用于判断位移向量解码部件解码的位移向量是否为根据预测部件预测的位移向量设定的一个预定位移向量；以及一个切换部件，根据位移向量解码部件解码的位移向量是否为该预定的位移向量，用于切换待解码的预定区域的位移补偿值的计算方法。

根据本发明的第七个特征概括为一种计算机可读记录媒介，其存储使计算机起到移动图像编码设备作用的程序，通过位移补偿，对由帧图像时序构成的移动图像进行编码。该移动图像编码设备包括：一个位移向量探测部件，用于探测帧图像中待编码的预定区域的位移向量；一个预测部件，通过使用帧图像中编码过的预定区域的位移向量，预测待编码的预定区域的位移向量；一个判断部件，用于判断位移向量探测部件探测的位移向量是否为根据预测部件预测的位移向量设定的一个预定位移向量；以及一个切换部件，根据位移向量探测部件探测的位移向量是否为该预定的位移向量，用于切换待编码的预定区域的位移补偿值的计算方法。

在本发明的第七个特征中，预定位移向量优选设定为与预测部件预测的位移向量不同的值。

此外，在本发明的第七个特征中，当预测部件预测的位移向量与位移向量探测部件探测的位移向量之间的差信息为一个预定值时，判断部件优选判断位移向量探测部件探测的位移向量是该预定位移向量。

本发明的第八个特征概括为一种计算机可读记录媒介，其存储使计算机起到移动图像解码设备作用的程序，通过位移补偿，对由帧图像时序构成的移动图像进行解码。该移动图像解码设备包括：一个位移向量解码部件，用于将帧图像中待解码的预定区域的位移向量进行解码；一个预测部件，通过使用帧图像中编码过的预定区域的位移向量，预测待解码的预定区域的位移向量；一个判断部件，用于判断位移向量解码部件解码的位移向量是否为根据预测部件预测的位移向量设定的一个预定位移向量；以及一个切换部件，根据位移向量解码部件解码的位移向量是否为该预定的位移向量，用于切换待解码的预定区域的位移补偿值的计算方法。

在本发明的第八个特征中，预定位移向量优选设定为与预测部件预测的位移向量不同的值。

此外，在本发明的第八个特征中，当预测部件预测的位移向量与位移向量解码部件解码的位移向量之间的差信息为一个预定值时，判断部件优选判断位移向量解码部件解码的位移向量是该预定位移向量。

本发明的第九个特征概括为一个移动图像编码设备，其通过位移补偿，将由帧图像时序构成的移动图像进行编码。该移动图像编码设备包括：一个参考图像生成部件，用于通过对一个参考帧图像执行若干不同图像处理，生成若干不同的参考图像；一个位移补偿部件，通过使用生成的参考图像，为待编码的预定区域计算一个位移补偿值；以及一个发送部件，用于发送一个计算位移补偿值所使用的参考图像信息与指示位移补偿值信息的组合。参考图像信息是一个参考帧图像标识信息和指示图像处理的信息的组合。

本发明的第十个特征概括为一个移动图像编码设备，其通过位移补偿，将由帧图像时序构成的移动图像进行编码。该移动图像编码设备包括：一个参考图像生成部件，用于根据待编码的预定区域编码条件，从参考帧图像生成一个经过预定图像处理的参考图像；以及一个位移补偿部件，通过使用生成的经过预定图像处理的参考图像，为待编码的预定区域计算一个位移补偿值。

本发明的第十一个特征概括为一个移动图像解码设备，其通过位移补偿，将由帧图像时序构成的移动图像进行解码。该移动图像解码设备包括：一个参考图像生成部件，用于通过对参考帧图像执行若干不同的图像处理，生成若干不同的参考图像；一个解码部件，用于将移动图像编码设备中计算位移补偿值所使用的参考图像信息进行解码；以及一个位移补偿部件，通过使用生成的参考图像信息指定的参考图像，用于计算待解码的预定区域的位移补偿值。参考图像信息是一个参考帧图像标识信息和图像处理信息的组合。

本发明的第十二个特征概括为一个移动图像解码设备，其通过位移补偿，将由帧图像时序构成的移动图像进行解码。该移动图像解码设备包括：一个参考图像生成部件，用于根据待解码的预定区域的编码条件，从参考帧图像生成经过预定图像处理的参考图像；以及一个位移补偿部件，通过使用生成的经过预定图像处理的参考图像，用于计算待解码的预定区域的位移补偿值。

本发明的第十三个特征概括为一个移动图像编码方法，其通过位移补偿，将由帧图像时序构成的移动图像进行编码。该移动图像编码方法包括：一个步骤A，通过对参考帧图像执行若干不同的图像处理，生成若干不同的参考图像；一个步骤B，通过使用生成的参考图像，计算待编码的预定区域的位移补偿值；以及一个步骤C，用于发送计算位移补偿值所使用的参考图像信息和指示位移补偿值的信息的组合。参考图像信息是一个参考帧图像的标识信息和指示图像处理信息的组合。

本发明的第十四个特征概括为一个移动图像编码方法，其通过位移补偿，将由帧图像时序构成的移动图像进行编码。该移动图像编码方法包括：一个步骤A，用于根据待编码的预定区域的编码条件，从参考帧图像生成经过预定图像处理的参考图像；和一个步骤B，通过使用生成的经过预定图像处理的参考图像，用于计算待编码的预定区域的位移补偿值。

本发明的第十五个特征概括为一个移动图像解码方法，其通过位移补偿，将由帧图像时序构成的移动图像进行解码。该移动图像解码方法包括：一个步骤A，用于通过对参考帧图像执行若干不同的图像处理，生成若干不同的参考图像；一个步骤B，用于将移动图像编码设备中计算位移补偿值所使用的参考图像信息进行解码；和一个步骤C，通过使用生成的参考图像信息指定的参考图像，用于计算待解码的预定区域的位移补偿值。参考图像信息是一个参考帧图像标识信息和图像处理信息的组合。

本发明的第十六个特征概括为一个移动图像解码方法，其通过位移补偿，将由帧图像时序构成的移动图像进行解码。该移动图像解码方法包括：一个步骤A，用于根据待解码的预定区域的编码条件，从参考帧图像生成经过预定图像处理的参考图像；和一个步骤B，通过使用生成的经过预定图像处理的参考图像，用于计算待解码的预定区域的位移补偿值。

本发明的第十七个特征概括为一种程序，其使得计算机起到移动图像编码设备的作用，通过位移补偿，对由帧图像时序构成的移动图像进行编码。该移动图像编码设备包括：一个参考图像生成部件，用于通过对一个参考帧图像执行若干不同的图像处理，生成若干不同的参考图像；一个位移补偿部件，通过使用生成的参考图像，为待编码的预定区域计算一个位移补偿值；以及一个发送部件，用于发送一个计算位移补偿值所使用的参考图像信息与指示位移补偿值信息的组合。参考图像信息是一个参考帧图像标识信息和指示图像处理信息的组合。

本发明的第十八个特征概括为一种程序，其使得计算机起到移动图像编码设备的作用，通过位移补偿，对由帧图像时序构成的移动图像进行编码。该移动图像编码设备包括：一个参考图像生成部件，用于根据待编码的预定区域的编码条件，从参考帧图像生成一个经过预定图像处理的参考图像；以及一个位移补偿部件，通过使用生成的经过预定图像处理的参考图像，为待编码的预定区域计算一个位移补偿值。

本发明的第十九个特征概括为一种程序，其使得计算机起到移动图像解码设备的作用，通过位移补偿，对由帧图像时序构成的移动图像进行解码。该移动图像解码设备包括：一个参考图像生成部件，用于通过对参考帧图像执行若干不同的图像处理，生成若干不同的参考图像；一个解码部件，用于将移动图像编码设备中计算位移补偿值所使用的参考图像信息进行解码；以及一个位移补偿部件，通过使用生成的参考图像信息指定的参考图像，用于计算待解码的预定区域的位移补偿值。参考图像信息是一个参考帧图像标识信息和图像处理信息的组合。

本发明的第二十个特征概括为一种程序，其使得计算机起到移动图像解码设备的作用，通过位移补偿，对由帧图像时序构成的移动图像进行解码。该移动图像解码设备包括：一个参考图像生成部件，用于根据待解码的预定区域的编码条件，从参考帧图像生成经过预定图像处理的参考图像；以及一个位移补偿部件，通过使用生成的经过预定图像处理的参考图像，用于计算待解码的预定区域的位移补偿值。

本发明的第二十一个特征概括为一种计算机可读记录媒介，其存储使计算机起到移动图像编码设备作用的程序，通过位移补偿，对由帧图像时序构成的移动图像进行编码。该移动图像编码设备包括：一个参考图像生成部件，用于通过对一个参考帧图像执行若干不同的图像处理，生成若干不同的参考图像；一个位移补偿部件，通过使用生成的参考图像，为待编码的预定区域计算一个位移补偿值；以及一个发送部件，用于发送一个计算位移补偿值所使用的参考图像信息与指示位移补偿值信息的组合。参考图像信息是一个参考帧图像标识信息和指示图像处理信息的组合。

在本发明的第二十一个特征中，优选地，位移补偿部件以探测位移向量单位切换计算位移补偿值所使用的参考图像，并且，发送部件以探测位移向量单位发送参考图像信息和指示位移补偿值信息的组合。

在本发明的第二十一个特征中，优选地，参考图像信息是一个指示探测位移向量单位的标识信息和指示图像处理信息的组合，并且，发送部件用于发送参考图像信息、参考帧图像标识信息和指示待编码的每个预定区域的位移补偿值信息的组合。

另外，在本发明的第二十一个特征中，优选地，图像处理是一个改变空间分辨率的处理，并且，当使用低空间分辨率的参考图像时，位移补偿部件用于降低计算位移向量所使用的位移向量精度。

另外，在本发明的第二十一个特征中，优选地，根据待编码的预定区域的编码条件，参考图像信息动态改变参考帧图像标识信息和指示图像处理信息的组合。

进一步，在本发明的第二十一个特征中，优选地，根据待编码的预定区域的编码条件，参考图像信息动态改变指示探测位移向量单位的标识信息和指示图像处理信息的组合。

本发明的第二十二个特征概括为一种计算机可读记录媒介，其存储使计算机起到移动图像编码设备作用的程序，通过位移补偿，对由帧图像时序构成的移动图像进行编码。该移动图像编码设备包括：一个参考图像生成部件，用于根据待编码的预定区域编码条件，从参考帧图像生成一个经过预定图像处理的参考图像；以及一个位移补偿部件，通过使用生成的经过预定图像处理的参考图像，为待编码的预定区域计算一个位移补偿值。

在本发明的第二十二个特征中，优选地，根据探测位移向量单位的类型，参考图像生成部件用于生成经过预定图像处理的参考图像。

另外，在本发明的第二十二个特征中，优选地，根据量化步骤，参考图像生成部件用于生成经过预定图像处理的参考图像。

本发明的第二十三个特征概括为一种计算机可读记录媒介，其存储使计算机起到移动图像解码设备作用的程序，通过位移补偿，对由帧图像时序构成的移动图像进行解码。该移动图像解码设备包括：一个参考图像生成部件，用于通过对参考帧图像执行若干不同的图像处理，生成若干不同的参考图像；一个解码部件，用于将移动图像编码设备中计算位移补偿值所使用的参考图像信息进行解码；以及一个位移补偿部件，通过使用生成的参考图像信息指定的参考图像，用于计算待解码的预定区域的位移补偿值。参考图像信息是一个参考帧图像标识信息和图像处理信息的组合。

在本发明的第二十三个特征中，优选地，解码部件以探测位移向量单位对参考图像信息和指示位移补偿值的信息进行解码，并且，位移补偿部件以探测位移向量单位切换计算位移补偿值所使用的参考图像。

在本发明的第二十三个特征中，优选地，参考图像信息是一个指示探测位移向量单位的标识信息和指示图像处理信息的组合，并且，解码部件用于以待解码的预定区域单位对参考图像信息、参考帧图像标识信息和指示位移补偿值的信息进行解码。另外，优选地，位移补偿部件通过使用生成的参考图像信息和参考帧图像标识信息指定的参考图像，用于计算待解码的预定区域的位移补偿值。

另外，在本发明的第二十三个特征中，优选地，图像处理是一个改变空间分辨率的处理，并且，当使用低空间分辨率的参考图像时，位移补偿部件用于降低计算位移补偿值所使用的位移向量精度。

另外，在本发明的第二十三个特征中，优选地，根据待解码的预定区域的编码条件，参考图像信息动态改变参考帧图像的标识信息和指示图像处理信息的组合。

进一步，在本发明的第二十三个特征中，优选地，根据待解码的预定区域的编码条件，参考图像信息动态改变指示探测位移向量单位的标识信息和指示图像处理信息的组合。

本发明的第二十四个特征概括为一种计算机可读记录媒介，其存储使计算机起到移动图像解码设备作用的程序，通过位移补偿，对由帧图像时序构成的移动图像进行解码。该移动图像解码设备包括：一个参考图像生成部件，用于根据待解码的预定区域的编码条件，从参考帧图像生成经过预定图像处理的参考图像；以及一个位移补偿部件，通过使用生成的经过预定图像处理的参考图像，用于计算待解码的预定区域的位移补偿值。

另外，在本发明的第二十四个特征中，优选地，根据探测位移向量单位的类型，参考图像生成部件用于生成经过预定图像处理的参考图像。

进一步，在本发明的第二十四个特征中，优选地，根据量化步骤，参考图像生成部件用于生成经过预定图像处理的参考图像。

本发明的第二十五个特征为一种移动图像编码设备，其通过位移补偿，将由帧图像时序构成的移动图像进行编码。该移动图像编码设备包括：一个参考图像生成部件，用于通过对一个参考帧图像执行若干不同的图像处理，生成若干不同的参考图像；一个3维位移向量生成部件，通过将使用参考图像探测到的位移向量与指示为参考图像执行的图像处理的信息相关联，用于生成一个3维位移向量；一个位移补偿部件，通过使用生成的参考图像，为待编码的预定区域计算一个位移补偿值；以及一个发送部件，用于发送3维位移向量和指示位移补偿值信息的组合。

本发明的第二十六个特征为一种移动图像解码设备，用于通过位移补偿，将由帧图像时序组成的移动图像进行解码。该移动图像解码设备包括：一个参考图像生成部件，用于通过对一个参考帧图像执行若干不同的图像处理，生成若干不同的参考图像；一个解码部件，用于将待解码的预定区域的3维位移向量进行解码；以及一个位移补偿部件，通过使用生成的3维位移向量指定的参考图像，为待解码的预定区域计算一个位移补偿值。

本发明的第二十七个特征为一种移动图像编码方法，其通过位移补偿，将由帧图像时序构成的移动图像进行编码。该移动图像编码方法包括：一个步骤A，通过对参考帧图像执行若干不同的图像处理，生成若干不同的参考图像；一个步骤B，通过将使用参考图像探测到的位移向量与指示为参考图像执行的图像处理的信息相关联，用于生成一个3维位移向量；一个步骤C，通过使用生成的参考图像，计算待编码的预定区域的位移补偿值；以及一个步骤D，用于发送3维位移向量和指示位移补偿值信息的组合。

本发明的第二十八个特征为一种移动图像解码方法，用于通过位移补偿，将由帧图像时序组成的移动图像进行解码。该移动图像解码方法包括：一个步骤A，用于通过对一个参考帧图像执行若干不同的图像处理，生成若干不同的参考图像；一个步骤B，用于将待解码的预定区域的3维位移向量进行解码；和一个步骤C，通过使用生成的3维位移向量指定的参考图像，为待解码的预定区域计算一个位移补偿值。

本发明的第二十九个特征为一种程序，其使得计算机起到移动图像编码设备的作用，通过位移补偿，对由帧图像时序构成的移动图像进行编码。该移动图像编码设备包括：一个参考图像生成部件，用于通过对一个参考帧图像执行若干不同的图像处理，生成若干不同的参考图像；一个3维位移向量生成部件，通过将使用参考图像探测到的位移向量与指示为参考图像执行的图像处理的信息相关联，用于生成一个3维位移向量；一个位移补偿部件，通过使用生成的参考图像，为待编码的预定区域计算一个位移补偿值；以及一个发送部件，用于发送3维位移向量和指示位移补偿值信息的组合。

本发明的第三十个特征为一种程序，其使得计算机起到移动图像解码设备的作用，通过位移补偿，对由帧图像时序构成的移动图像进行解码。该移动图像解码设备包括：一个参考图像生成部件，用于通过对一个参考帧图像执行若干不同的图像处理，生成若干不同的参考图像；一个解码部件，用于将待解码的预定区域的3维位移向量进行解码；以及一个位移补偿部件，通过使用生成的3维位移向量指定的参考图像，为待解码的预定区域计算一个位移补偿值。

本发明的第三十一个特征为一种计算机可读记录媒介，其存储使计算机起到移动图像编码设备作用的程序，通过位移补偿，对由帧图像时序构成的移动图像进行编码。该移动图像编码设备包括：一个参考图像生成部件，用于通过对一个参考帧图像执行若干不同的图像处理，生成若干不同的参考图像；一个3维位移向量生成部件，通过将使用参考图像探测到的位移向量与指示为参考图像执行的图像处理的信息相关联，用于生成一个3维位移向量；一个位移补偿部件，通过使用生成的参考图像，为待编码的预定区域计算一个位移补偿值；以及一个发送部件，用于发送3维位移向量和指示位移补偿值信息的组合。

在本发明的第三十一个特征中，优选地，参考图像生成部件通过使用具有若干不同通带的过滤器执行过滤处理，用于生成若干不同的参考图像，并且，3维位移向量识别过滤器。

另外，在本发明的第三十一个特征中，优选地，3维位移向量预测部件通过使用帧图像中编码过的预定区域和待编码的预定区域的相关性，用于预测3维位移向量，并且，发送部件用于发送3维位移向量生成部件生成的3维位移向量和3维位移向量预测部件预测的3维位移向量的差信息以及指示位移补偿值信息的组合。

另外，在本发明的第三十一个特征中，优选地，3维位移向量预测部件通过切换编码算法中的上下文预测3维位移向量。

进一步，在本发明的第三十一个特征中，优选地，图像处理是改变空间分辨率的处理，并且，3维位移向量生成部件用于降低低空间分辨率参考图像的3维位移向量的精度。

本发明的第三十二个特征为一种计算机可读记录媒介，其存储使计算机起到移动图像解码设备作用的程序，通过位移补偿，对由帧图像时序构成的移动图像进行解码。该移动图像解码设备包括：一个参考图像生成部件，用于通过对一个参考帧图像执行若干不同的图像处理，生成若干不同的参考图像；一个解码部件，用于将待解码的预定区域的3维位移向量进行解码；以及一个位移补偿部件，通过使用生成的3维位移向量指定的参考图像，为待解码的预定区域计算一个位移补偿值。

在本发明的第三十二个特征中，优选地，参考图像生成部件通过使用具有若干不同通带的过滤器执行过滤处理，用于生成若干不同的参考图像，并且，3维位移向量识别过滤器。

另外，在本发明的第三十二个特征中，优选地，3维位移向量预测部件通过使用帧图像中解码过的预定区域和待解码的预定区域的相关性，用于预测3维位移向量，并且，位移补偿部件通过使用解码部件解码过的3维位移向量和3维位移向量预测部件预测的3维位移向量的差信息，用于计算待解码的预定区域的位移补偿值。

进一步，在本发明的第三十二个特征中，优选地，3维位移向量预测部件通过切换编码算法中的上下文预测3维位移向量。

附图说明

图1显示了根据传统技术的移动图像编码设备的示意图；

图2显示了根据传统技术的移动图像解码设备的示意图；

图3显示了根据传统技术的INTER预测模式中宏块的分割模式；

图4显示了根据传统技术的特异位置的概念；

图5显示了根据本发明实施例的移动图像编码设备中计算预测位移向量的方法；

图6显示了根据本发明实施例的移动图像编码设备的位移补偿部件的功能模块图；

图7显示了根据本发明实施例的移动图像编码设备中判断“特异位置”的概念；

图8显示了根据本发明实施例的移动图像编码设备的位移补偿部件的操作流程图；

图9显示了根据本发明实施例的移动图像解码设备中的解码处理的流程图；

图10显示了根据本发明改进实施例的移动图像编码设备中判断“特异位置”的概念；

图11显示了根据本发明改进实施例的移动图像编码设备中判断“特异位置”的概念；

图12显示了根据本发明实施例的移动图像编码设备的示意图；

图13显示了根据本发明实施例的移动图像解码设备的示意图；

图14显示了在本发明实施例中所使用的H.26L编码系统中宏块单元中的编码语法；

图15显示了在该发明实施例中所使用的参考帧码表的例子；

图16显示了在该发明实施例中所使用的参考帧码表的一部分；

图17显示了在本发明改进实施例中所使用的H.26L编码系统中宏块单元中的编码语法；

图18显示了在该发明改进实施例中所使用的宏块模式码表；

图19显示了根据本发明实施例的移动图像编码设备的示意图；

图20显示了根据本发明实施例的移动图像解码设备的示意图；

图21是用于解释根据该发明实施例的分层参考图像；

图22是用于解释根据该发明实施例的生成分层参考图像的方法；

图23是用于显示根据该发明实施例的移动图像编码设备中计算预测位移向量的方法；

图24显示了根据该发明实施例的移动图像编码设备中位移补偿操作的流程图；

图25解释了根据本发明改进实施例的生成分层参考图像的方法；

图26显示了计算机可读记录媒介，其存储该发明实施例的使计算机起到移动图像编码设备或移动图像解码设备作用的程序。

具体实施方式

(实施例1)

在本发明第一实施例中，描述移动图像编码设备20和移动图像解码设备50，其中，在“特异位置”位移补偿方面(第一个问题)引入改进，这里的问题是传统“TML-8”定义的“H.26L编码系统”的问题。

根据该实施例，除了“特异位置”中的位移补偿，其它操作与“TML-8”中描述的移动图像编码设备和移动图像解码设备类似。这样，具体细节将省略，描述将集中在不同之处。

特别地，本发明实施例与传统实施例的移动图像编码设备20和移动图像解码设备50的配置的不同之处在于：本发明和传统技术的位移补偿部件33和72的不同配置。

在本发明实施例中，由于移动图像编码设备20的位移补偿部件33和移动图像编码设备50的位移补偿部件72具有相同的配置。这样，下文中将描述移动图像编码设备20的位移补偿部件33。

顺便提及，该实施例的移动图像编码设备20是用于根据位移补偿，对由帧图像时序组成的移动图像(一个输入视频信号1)进行编码。该实施例的移动图像解码设备50是用于根据位移补偿，对由帧图像时序组成的移动图像(一个输出视频信号1A)进行解码。

另外，在该实施例的移动图像编码设备20中，位移探测部件32组成一个位移向量探测部件，用于探测帧图像中待编码的预定区域(例如，一个宏块)的位移向量3。在该实施例的移动图像解码设备50中，可变长解码部件71组成一个位移向量解码部件，用于将帧图像中待解码的预定区域(例如，一个宏块)的位移向量3进行解码。

如图6所示，该实施例的移动图像编码设备20的位移补偿部件33包括一个位移向量输入部件33a、一个参考帧图像输入部件33b、一个预测位移向量计算部件33c、一个判断部件33d和一个预测图像信号生成部件33e。

根据该实施例，预测位移向量计算部件33c组成一个预测部件，通过使用帧图像中编码过的预定区域的位移向量(例如，MV_A＝(MVx_A，MVy_A)，MV_B＝(MVx_B，MVy_B)，MV_C＝(MVx_C，MVy_C))，用于预测待编码的预定区域(一个宏块E)的预测位移向量PMV_E＝(PMVx_E，PMVy_E)。

另外，判断部件33d组成一个判断部件，用于判断位移向量探测部件(位移探测部件32)探测到的位移向量MV_E＝(MVx_E，MVy_E)是否为根据预测部件(预测位移向量计算部件33c)预测的位移向量MPV_E＝(PMVx_E，PMVy_E)进行设置的预测位移向量(指示“特异位置”的位移向量)。

进一步，预测图像信号生成部件33e组成一个切换部件，其根据位移向量探测部件(位移探测部件32)探测到的位移向量MV_E＝(MVx_E，MVy_E)是否为预定位移向量(指示“特异位置”的位移向量)，用于切换计算待编码的预定区域的“位移补偿值”的方法(预测图像信号6的生成方法)。

位移向量输入部件33a连接到判断部件33d，用于接收位移探测部件32探测到的位移向量MV_E，以便将该位移向量MV_E发送给判断部件33d。

参考帧图像输入部件33b连接到预测位移向量计算部件33c和判断部件33d，用于提取待编码的预定区域的邻近区域(宏块A，B和C)的位移向量，其存储于帧存储器34中，从而将这些向量发送给预测位移向量计算部件33c。同样，参考帧图像输入部件33用于提取存储于帧存储器34的参考帧图像5，从而将该参考帧图像5发送给判断部件33d。

预测位移向量计算部件33c连接到参考帧图像输入部件33b和判断部件33d，例如，通过使用待编码的预定区域的邻近区域(宏块A，B，C)的位移向量(帧图像中编码过的预定区域的位移向量)MV_A、MV_B和MV_C，其存储于帧存储器34中，用于计算预测位移向量PMV_E＝(PMVx_E，PMVy_E)，其为待编码的预定区域(宏块)的位移向量MV_E＝(MVx_E，MVy_E)的预测值。

这里，PMVx_E指示预测位移向量的水平元素(一个X元素)，PMVy_E指示预测位移向量的垂直元素(一个Y元素)。

根据“TML-8”，为了有效地对位移向量进行编码，待编码的预定区域的位移向量被预测，并由称作“中值预测”的预测系统使用包括在参考帧图像5中的编码过的邻近区域的位移向量进行编码。

在图5中，由于邻近区域(宏块)A、B和C的位移向量MV：MV_A＝(MVx_A，MVy_A)，MV_B＝(MVx_B，MVy_B)和MV_C＝(MVx_C，MVy_C)已经被编码，可以获得位移向量水平元素MVx_A、MVx_B和MVx_C的平均值，其被设置为待编码的预定区域(宏块)E的预测位移向量的水平元素PMVx_E，并且也获得位移向量垂直元素MVy_A、MVy_B和MVy_C的平均值，其被设置为待编码的预定区域(宏块)E的预测位移向量的垂直元素PMVy_E。

例如，在预测模式(一个编码模式)的一种情况下，其中，用作计算预测位移向量PMV的邻近区域(宏块)A，B和C在帧图像之外或者没有位移向量，预测位移向量PMV被设置为0向量。

进一步，当用作计算待编码的预定区域(宏块)E的预测位移向量PMV的邻近区域(宏块)A、B和C中没有3个或更多位移向量时，通过使用假设邻近区域(宏块)A、B和C的位移向量被设置为0向量或者其它假设，待编码的预定区域(宏块)E的预测位移向量PMV_E的值总是能够获得。

另外，预测位移向量计算部件33c计算来自位移向量输入部件33a的位移向量MV_E和预测位移向量PMV_E之间的差信息MVD＝(MVDx，MVDy)。这里，差信息的X元素MVDx是由“MVx_E-PMVx_E”计算获得的，差信息的Y元素MVDy是由“MVy_E-PMVy_E”计算获得的。

在“H.26L编码系统”中，为了改进发送效率，位移向量MV以前述差信息MVD的形式进行编码并发送。

判断部件33d连接到位移向量输入部件33a、参考帧图像输入部件33b、预测位移向量计算部件33c和预测图像信号生成部件33e。判断部件33d用于根据来自位移向量输入部件33a的位移向量MV_E和来自预测位移向量计算部件33c的预测位移向量PMV_E，判断生成预测图像信号6的方法(一个计算位移补偿值的方法)，从而将该方法放入预测图像信号生成部件33e。

特别地，如图7所示，判断部件33d根据预测图像信号生成部件33e生成的预测位移向量的垂直分量PMVy_E的相位和位移探测部件32探测到的位移向量MV_E，判断位移向量MV_E是否指示了一个“特异位置”，并将判断结果放入预测图像信号生成部件33e。

下文中，预测位移向量PMV_E和位移向量MV_E的表达式的单位为1/4像素。

首先，在“PMVy_E％4＝0或1”(例如，PMVy_E是处于第一种相位)、“MVx_E％4＝3”和“MVy_E％4＝3”的情况下，判断部件33d判断待编码的预定区域(宏块E)的位移向量MV_E(MVx_E，MVy_E)指示了一个“特异位置”。

第二，在“PMVy_E％4＝2或3”(例如，PMVy_E是处于第二种相位)、“MVx_E％4＝1”和“MVy_E％4＝1”的情况下，判断部件33d判断待编码的预定区域(宏块E)的位移向量MV_E(MVx_E，MVy_E)指示了该“特异位置”。

结果，预测位移向量PMV_E指示的区域被调整，从而不叠加在该“特异位置”。也就是说，预测位移向量计算部件33c(预测部件)预测的预测位移向量PMV_E被设置为与指示“特异位置”的位移向量(预定位移向量)不同。

在PMVy_E处于第一种相位的情况下，实际上，应用了传统“H.26L编码系统”的位移补偿(例如，指示像素位置a(见图7)的位移向量指示“特异位置”)。

另外，在PMVy_E处于第二种相位的情况下，指示不同像素位置b(见图7)的位移向量被假设指示“特异位置”。

然而，获得的“位移补偿值”被平滑，作为围绕位移向量的4个邻近整数像素位置的像素值的平均值，并且，其它位移补偿处理类似于传统“H.26L编码系统”的位移补偿处理。

预测图像信号生成部件33e连接到判断部件33d，通过切换待编码的预定区域(宏块)的“预测图像信号6的生成方法”，用于生成预测图像信号6。

特别地，在其它情况下，当判断位移探测部件32探测的待编码的预定区域(宏块E)的位移向量MV_E指示“特异位置”时，预测图像信号生成部件33e平滑该预定区域的预测图像信号6，作为围绕位移向量MV_E所指示像素位置的4个邻近整数像素位置的像素值的平均值，并通过传统“H.26L编码系统”生成预定区域的预测图像信号6。

另外，在本实施例中，位移补偿部件33和位移探测部件32是分别单独布置的。然而，位移补偿部件33和位移探测部件32可以集成布置。

图8显示了前述位移补偿部件33的操作。

在步骤401中，预测位移向量计算部件33c基于同一帧图像中邻近区域(图5中的宏块A，B和C)的编码过的位移向量MV_A、MV_B和MV_C，计算预测位移向量PMV_E，其为帧图像中待编码预定区域(图5中的宏块E)的位移向量的一个预测值。

在步骤402中，判断部件33d根据来自预测位移向量计算部件33c的预测位移向量的垂直元素PMVy_E的相位和来自位移向量输入部件33a的位移向量MV_E，判断位移向量MV_E是否指示了一个“特异位置”。

在步骤403中，当前述位移向量MV_E指示了“特异位置”时，预测图像信号生成部件33e以平滑的形式生成一个预定区域的预测图像信号6。

在步骤404中，当前述位移向量MV_E没有指示“特异位置”时，预测图像信号生成部件33e通过传统“H.26L编码系统”生成一个预定区域的预测图像信号6。

下一步，下面参考图9描述移动图像解码设备50中的解码处理步骤。

在步骤501中，可变长解码部件71探测指示一个画面(组成输入视频信号1的每帧图像)报头的“同步字”。

在步骤502中，可变长解码部件71解码前述画面的“画面报头”。该“画面报头”包括“画面类型信息”，该“画面类型信息”用于判断该画面是一个“所有组成画面的宏块都经过INTRA预测模式进行编码的画面(下文称作“I画面”)”还是一个“使用INTER预测模式的画面(下文称作“P画面”)”。同样，画面报头包括一个正交变换系数中的量化参数值等。

接下来，进行由预定语法组成的每个宏块层的数据解码处理。

在步骤503中，可变长解码部件71解码宏块层中的“RUN”。该“RUN”指示宏块层数据为0的重复宏块数，并且，生成了与“RUN”数目相同数目的跳跃模式应用于其上的宏块(跳跃MB)。

在步骤505中，如果宏块是一个跳跃MB，实际上，在存储于帧存储器73的预定参考帧图像5上相同位置的16×16像素区域被用于预测图像信号6。通过由可变长解码部件72将一个其值为0的位移向量和一个预定参考帧图像的标识号发送给位移补偿部件72来进行这一处理。

在步骤506中，如果该宏块不是一个跳跃MB，则判断MB的“RUN”是否指示画面的最后一个MB。

在步骤507中，如果MB的“RUN”是最后一个MB，该画面的可变长解码被终止，并且开始下一个画面的可变长解码。

在步骤508中，如果该“RUN”既不是跳跃MB，也不是最后一个MB，例如，如果该“RUN”是一个通常的MB，可变长解码部件71解码“MB_Type”(一个宏块类型)。通过该“MB_Type”，建立待解码的预定区域(宏块)的预测模式4。在步骤509中，判断建立的预测模式4是否为“INTER预测模式”。

在步骤510中，如果预测模式4为“INTRA预测模式”，可变长解码部件71解码“intra_pred_mode”。在步骤511中，空间预测部件74基于“intra_pred_mode”，从邻近区域的像素值执行空间预测，从而生成预测图像信号7。

如果预测模式4为“INTER预测模式”，该预测模式4为图3所示模式1到7中之一。这样，此时，建立待解码的“Ref_frames(参考帧图像数目)”的数目和“MVDs(位移向量的差信息)”。根据这样的信息，可变长解码部件71解码“Ref_frame”和“MVD”的组合。

然而，在步骤512中，由于“Ref_frame”是否已经被复用的判断是集成在前述“画面类型信息”中，因此，需要根据“画面类型信息”值判断“Ref_frame”是否存在。

在步骤513中，如果“Ref_frame”存在，可变长解码部件71解码该“Ref_frame”，然后，在步骤514中，可变长解码部件71解码“MVD”。如果“Ref_frame”不存在，步骤514中只解码“MVD”。

在步骤514中，基于由获得的“Ref_frame”、“MVD”和“MB_Type”建立的预测模式4，MB中相应于所有4×4块的位移向量MV被恢复。

在步骤515中，位移补偿部件72基于该“Ref_frame”和位移向量MV，为每个4×4块生成一个预测图像信号6。关于“特异位置”的处理在这里反映。

在步骤516中，可变长解码部件71恢复量化正交变换系数11。在步骤517中，逆量化部件76恢复正交变换系数10。在步骤518中，逆正交变换部件77恢复预测剩余信号9。

在步骤519中，在加法器78，来自切换器75的预测图像信号8和来自逆正交变换部件77的预测剩余信号9相加而得到MB的帧图像信号2。然后，进行下一个MB的解码处理。

(根据实施例1的移动图像编码和解码设备的操作/效果)

根据该实施例的移动图像编码设备，预测图像信号生成部件33e根据判断部件33d的判断结果，例如预测位移向量计算部件33c预测的预测位移向量，切换待编码预定区域的位移补偿值的计算方法。由于这个原因，有可能将相同像素位置(N+3/4像素，M+3/4像素：N和M为给定整数)的像素值表示成“特异位置”。

另外，有可能解决强平滑总是应用于具有指示相同像素位置作为“特异位置”的位移向量的区域中的“位移补偿值”的问题。

该实施例中描述的生成预测图像信号或位移补偿值的方法仅仅是一个例子。对于实现根据本实施例执行的切换位移补偿值计算方法必要的给定方法也能够使用。

(改进实施例1A)

下面描述前述实施例1的移动图像编码设备20和移动图像解码设备50的改进实施例1A。下文中，仅描述与前述实施例1的不同之处。

关于根据该改进实施例的移动图像编码设备20和移动图像解码设备50，在前述实施例的移动图像编码设备20的位移补偿部件33和移动图像解码设备50的位移补偿部件72中引入改进。移动图像编码设备20的位移补偿部件33和移动图像解码设备50的位移补偿部件72是相同的。这样，下文中，将描述移动图像编码设备20的位移补偿部件33。

根据该改进实施例，位移补偿部件33的判断部件33d根据预测位移向量的水平元素PMVx_E的相位和位移探测部件32探测到的位移向量MV_E＝(MVx_E，MVy_E)，判断位移向量是否指示“特异位置”。然后，判断部件33d将判断结果上报给预测图像信号生成部件33e。下文中，位移向量表达式MV_E＝(MVx_E，MVy_E)的单位为1/4像素。

首先，在“PMVx_E％4＝0或1”(例如，PMVx_E是处于第一种相位)、“MVx_E％4＝3”和“MVy_E％4＝3”的情况下，判断部件33d判断位移向量MV_E(MVx_E，MVy_E)指示了一个“特异位置”。

第二，在“PMVx_E％4＝2或3”(例如，PMVx_E是处于第二种相位)、“MVx_E％4＝1”和“MVy_E％4＝1”的情况下，判断部件33d判断位移向量MV_E(MVx_E，MVy_E)指示了该“特异位置”。

结果，预测位移向量PMV_E指示的区域被调整，从而不叠加在该“特异位置”。也就是说，指示“特异位置”的位移向量被设置为与预测位移向量PMV_E不同。

如上所述，改进实施例1A通过使用位移向量的预测编码结构，具有减少实数位移中变为“特异位置”的位移向量叠加可能的效果。例如，在图5中，当预测位移向量PMV的第二相位为2时，即使块A、B、C、D和E以(3/4像素，3/4像素)沿着右下方平行移动，例如，即使在位移向量MV＝(MVx，MVy)＝(3/4，3/4)的情况下，位移向量MV＝(MVx，MVy)＝(3/4，3/4)也没必要指示“特异位置”。

(改进实施例1B)

下面描述前述实施例1的移动图像编码设备20和移动图像解码设备50的改进实施例1B。下文中，仅描述与实施例1的不同之处。

在根据该改进实施例的移动图像编码设备20和移动图像解码设备50中，在前述实施例的移动图像编码设备20的位移补偿部件33和移动图像解码设备50的位移补偿部件72中发生了变化。移动图像编码设备20的位移补偿部件33和移动图像解码设备50的位移补偿部件72是相同的。这样，下文中，将描述移动图像编码设备20的位移补偿部件33。

根据该改进实施例，位移补偿部件33的判断部件33d根据前述差信息MVD_E＝(MVDx_E，MVDy_E)，判断位移探测部件32探测到的待编码的预定区域(宏块E)的位移向量MV_E是否指示“特异位置”。然后，判断部件33d将判断结果上报给预测图像信号生成部件33e。

也就是说，判断部件33d组成一个判断部件，当预测部件预测(预测位移向量计算部件33c)到的位移向量PMV_E和位移向量探测部件(位移探测部件32)探测到的位移向量MV_E的差信息MVD_E等于预定值时，用于判断位移向量探测部件(位移探测部件32)探测到的位移向量MV_E是预定位移向量(一个指示“特异位置”的位移向量)。

下文中，位移向量表达式MV_E＝(MVx_E，MVy_E)的单位为1/4像素。

例如，在“MVx_E％4＝3”和“MVy_E％4＝3”的情况下，判断部件33d判断位移探测部件32探测到的位移向量MV_E＝(MVx_E，MVy_E)指示一个“特异位置”。

在这种情况下，例如，如果使用位移向量差信息MVD_E的商余进行平滑操作，需要改变“特异位置”中像素值的计算方法。

也就是说，根据传统技术，前述实施例1和改进实施例1，基于围绕“特异位置”的整数像素位置的像素值的平均值进行位移补偿。然而，如果使用位移向量差信息MVD_E的商余进行“特异位置”判断，“特异位置”自身表现为一个整数像素位置，并且，用于获得平均值的整数像素位置可能不能建立。这样，位移补偿操作按照下述执行。

在图11中，由于“MVDxE％4＝3”和“MVDyE％4＝3”(在这种情况下，“PMVxE％4＝1”和“PMVyE％4＝1”)，预测图像生成部件33e判断位移探测部件32探测到的位移向量MV_E＝(MVx_E，MVy_E)指示一个“特异位置”。这里，实际上，位移向量MV_E＝(MVx_E，MVy_E)指示了一个整数像素位置“D”。

如图11所示，在这种情况下，预测图像生成部件33e使得预定区域(一个宏块或子块)的位移补偿值使用参考帧图像5中像素值(MVx_E+2，MVy_E+2)、像素值(MVx_E+2，MVy_E-2)、像素值(MVx_E-2，MVy_E+2)和像素值(MVx_E-2，MVy_E-2)的平均值担当。

可替换地，除了源于参考帧图像5中整数像素位置的像素值，预测图像生成部件33e也可以获得待编码的预定区域(宏块或子块)的位移补偿值。特别地，位移补偿值也可以是像素值((MVx_E/4)*4，(MVy_E/4)*4)、(((MVx_E+4)/4)*4，(MVy_E/4)*4)、((MVx_E/4)*4，((MVy_E+4)/4)*4)和(((MVx_E+4)/4)*4，((MVy_E+4)/4)*4)的平均值。

根据该改进实施例1B，在移动图像编码设备20中，可以在实数位移向量(MVx_E，MVy_E)的发送和用于执行平滑位移补偿的位移向量MV_E＝(MVx_E，MVy_E)＝(1，1)的发送之间进行选择。

(实施例2)

下面描述根据本发明实施例2的移动图像编码设备20和移动图像解码设备50。在该实施例中，不进行使用“特异位置”的位移补偿。

实施例1的描述已经被参考，以应对指示“特异位置”的位移向量MV(或位移向量的差信息MVD)的发送问题，例如，实数位移向量MV的发送受阻问题。然而，仍然存在实数位移向量MV不能被发送的可能。

这样，在本实施例中，下面将描述移动图像编码设备20和移动图像解码设备50。该移动图像编码和解码设备通过单独准备一个像实施例1的“特异位置”中的“位移补偿值”提供的强平滑的预测图像信号，和一个除“特异位置”的通常“位移补偿值”的预测图像信号，并通过将这两种预测图像信号的标识信息与参考帧图像号一起发送信号通知，能够从参考图像进行位移补偿，其平滑级别从一个待编码预定区域到另一个有所不同。这样，能够不使用“特异位置”执行位移补偿。

图12是该实施例的移动图像编码设备20的示意图，图13是一个移动图像解码设备50的示意图。

在实施例中，正如实施例1的情况，下面描述移动图像编码设备20和移动图像解码设备50，其中，在“特异位置”位移补偿方面引入改进，这里的问题是传统“TML-8”定义的“H.26L编码系统”中的一个问题(第一个问题)。

在该实施例2中，除了从参考图像执行位移补偿而不是使用“特异位置”，其它操作与“TML-8”中描述的移动图像编码设备20和移动图像解码设备50的操作类似。这样，详细描述将被省略，下面的描述只集中在不同之处。

除了在位移补偿部件33和72以及可变长编码部件40中引入改进，以及增加了新的参考图像生成部件45和80，根据该实施例的移动图像编码设备20和移动图像解码设备50的基本操作事实上与根据传统技术的移动图像编码设备20和移动图像解码设备50的操作相同。

根据该实施例，参考图像生成部件45和80通过对参考帧图像5执行若干不同的图像处理，用于生成若干不同的参考图像(通常第一参考图像或应用强平滑的第二参考图像)17。这里，正如前述图像处理，改变平滑级别的处理、改变空间分辨率的处理等是可以想像到的。在该实施例中，作为图像处理，下面描述使用改变平滑级别处理的情况。

另外，位移补偿部件33通过使用参考图像17代替参考帧图像5，用于计算待编码预定区域(宏块)的位移补偿值(一个预测图像信号6)。

可变长编码部件40组成发送部件，用于发送计算位移补偿值(预测图像信号6)所使用的“参考图像17的信息(一个参考帧码：Ref_frame)”和“指示位移补偿值的信息(预测剩余信号数据编码语法：文本编码语法)”的组合。

另外，可变长解码部件71组成解码部件，用于解码移动图像编码设备20中计算位移补偿值所使用的“参考图像信息(Ref_frame)”和“指示位移补偿值的信息(预测剩余信号数据编码语法)”。

可变长解码部件71将位移向量3、预测模式4和“参考帧码(一个Ref_frame)”4A发送给位移补偿部件72。

进一步，位移补偿部件72通过使用“参考图像信息(Ref_frame)”指定的参考图像17代替参考帧图像5，用于计算待编码的预定区域(一个宏块)的位移补偿值。

根据该实施例，“参考图像17的信息(参考帧码：Ref_frame)”是一个“参考帧图像的标识信息(参考帧图像号)”和“指示平滑级别信息(第一参考图像或第二参考图像)”的组合。

首先，根据该实施例，参考图像生成部件45生成一个不具有“特异位置”的通常的参考图像(下文称作第一参考图像)。除了一个初始“位移补偿值”被使用，即使对于与“TML-8”的“特异位置”相同位置的“位移补偿值”，第一参考图像的“位移补偿值”等于“TML-8”的整数像素位置、1/2像素位置和1/4像素位置的每个像素位置的“位移补偿值”。

在“位移补偿值”处于位置(1/4像素，1/4像素)而不是“TML-8”的“特异位置”的情况下，与“TML-8”的“特异位置”的相同像素位置的第一参考图像的“位移补偿值”被生成，作为邻近整数像素位置和邻近1/2像素位置的像素值的4点的平均值。

第二，通过使用第一参考图像，生成一个参考图像(下文称作第二参考图像)，其为强平滑过的类似“TML-8”的“特异位置”的“位移补偿值”提供的参考图像。这里，能够通过对第一参考图像的每个像素值使用各种平滑过滤器执行图像处理，生成第二参考图像。例如，通过单独运行3级过滤器(1，4，1)/6，其具有1/4像素精度的第一参考图像的每个像素位置的像素值的垂直和水平平滑效果，能够生成具有1/4像素精度的第二参考图像。

根据“H.26L编码系统”，若干编码过的随时间彼此不同的帧图像被准备作为参考帧图像号5，并且这些能够被用作位移补偿的参考图像。另外，这些编码过的随时间彼此不同的帧图像的标识信息位以参考帧图像号加以区别。

根据该实施例，第一参考图像的标识信息或第二参考图像的标识信息，例如，生成参考图像的信息以及参考帧图像号被组合在一起进行发送。

这样，在不使用“特异位置”的情况下，使用待编码的预定区域(例如，一个宏块)的平滑级别彼此不同的参考图像，能够进行位移补偿。

在这种情况下，对于其为随时间彼此不同的编码过的帧图像的参考帧图像5，参考图像生成部件45和80生成不同平滑级别的第一和第二参考图像。因此，这些参考帧图像能够被用作位移补偿部件33和72中用于位移补偿的“参考图像”。

图14显示了一个该实施例中所使用的“根据H.26L编码系统的每个宏块单元的编码语法”。根据该实施例，H.26L编码系统的每个宏块单元的编码语法没有变化。然而，“Ref_frame”的定义改变为一个“参考帧图像号”和“参考图像生成方法标识信息”的组合，例如，一个“参考帧码”。

如图14所示，即使当应用了要求一个宏块中探测若干位移向量的预测模式(例如，模式7)时，编码仍然能够进行，而不用包含若干“MB_TYPEs”、“Ref_frames”等信息。

也就是说，通过使用编码语法，响应“MB_TYPEs”、“Ref_frames”等的发送动作，重复发送位移向量的差信息MVD和预测剩余信号数据编码语法(一个文本编码语法)是可能的。这里，预测剩余信号数据编码语法由量化正交变换系数11经过可变长编码而获得。

图15显示了一个基于参考帧图像号和参考图像生成方法标识信息的组合的参考帧码(一个Ref_frame)的例子。

这里，如图15所示，与标注传统H.26L的参考帧图像号相同的参考帧码(“0”到“4”)被用于第一参考图像，并且，新增加的参考帧码(“5”到“9”)被用于第二参考图像。

根据该实施例，第二参考图像比作为通常参考图像的第一参考图像更强地被平滑，并且，第二参考图像是一个不具备初始图像(参考帧图像号5)所具有的空间分辨率的参考图像。

这样，当使用更强平滑级别的参考图像，编码失真被抑制了很多时，以及位移补偿效率被改进时，第二参考图像被使用。这样，与第一参考图像相比，选择第二参考图像的可能性很小。

因此，在许多情况下，选择其为通常参考图像的第一参考图像作为用于位移补偿的参考图像。在这种情况下，待发送的用于定义参考帧码的参考帧码表类似于图16所示的“H.26L编码系统”的用于定义参考帧码(Ref_frame)的参考帧码表。这样，与传统“H.26L编码系统”的情况相比，不存在由参考帧码的改变所引起的比特位数量的增加。

进一步，在使用更强平滑级别的第二参考图像执行位移补偿的情况下，待发送的参考帧码需要相对长的编码长度。然而，使用第二参考图像的可能性不大，并且，与使用强平滑级别的第二参考图像增长的位移补偿效率相比，参考帧码增长的比特位数量的影响较小。这样，能够获得高效率的编码。

(根据实施例2的移动图像编码和解码设备的操作/效果)

根据本发明的移动图像编码设备20，通过使用两种不同平滑级别的参考图像，例如，参考图像生成部件45形成的通常参考图像(第一参考图像)和强平滑级别的参考图像(第二参考图像)，能够使用待编码预定区域(例如，一个宏块)彼此不同平滑级别的参考图像进行位移补偿。

另外，根据本发明的移动图像编码设备20，通过生成一个组合“参考图像生成方法标识信息”和“参考帧图像号”的参考帧码，参考图像的平滑级别通过发送信号被通知。另外，可能解决强平滑总是应用于具有指示与“H.26L编码系统”中“特异位置”相同像素位置的位移向量区域的“位移补偿值”的问题。

本实施例中，用于生成其为强平滑级别参考图像的第二参考图像的过滤器仅仅是一个例子。通过将过滤器用于除平滑处理的其它处理，能够实现基于不同特征参考图像的预测。

另外，在图11中，为简化描述，用于参考图像生成的参考帧图像的最大号为“5”。然而，本发明并不限于此数值，参考帧图像号最大号能够可选设置。

根据“TML-8”，移动图像编码设备20和移动图像解码设备50中的用于参考图像生成的参考帧图像最大号是已知给定的。

进一步，在实际应用中，参考帧图像的最大号可以通过一种方法或基于从移动图像编码设备20到移动图像解码设备50的压缩流12的信息被确定。

在任何情况下，在移动图像编码设备20和移动图像解码设备50中，用于参考图像生成的参考帧图像的最大号是唯一确定的。这样，根据用于参考图像生成的参考帧图像的最大号，参考帧码表能够唯一确定。

进一步，在图16中定义参考帧码(Ref_frames)的参考帧码表中，其为“参考帧图像号”和“第二参考图像”的组合的“参考帧码(一个Ref_frame)”，是在其为该“参考帧图像号”和“第一参考图像”的组合的“参考帧码(一个Ref_frame)”之后被分配。然而，基于紧随位移补偿时间关闭参考图像频繁使用的假设，强平滑级别的第二参考图像中的那些较小的参考帧图像号能够被安排在参考帧码表的较高位置。

另外，根据上述待编码的预定区域(宏块)的编码条件，参考帧码表可以被唯一确定。或者，根据前述编码条件，参考帧码可以被动态改变。这里，对于前述编码条件，预测模式(例如，探测位移向量单位种类)、量化步骤(QP值)等是可以想像到的。这里，对于探测位移向量的单位种类，例如，探测位移向量的子块的大小等是可以想像到的。

作为一个特定的例子，下面描述根据量化步骤动态改变参考帧码的情况。这里，当应用低比特速率编码时，强平滑级别的第二参考图像可以被频繁使用。因此，如果量化步骤等于或低于预定门限值，包含“第二参考图像”的“参考帧码”被安排在参考帧码表的较低位置。如果量化步骤超过预定门限值，包含“第二参考图像”的“参考帧码”被安排在参考帧码表的较高位置。

如上所述，图15中显示的定义“参考帧码”的“参考帧码表”仅仅是一个例子，其中的参考帧码是一个“参考帧图像号”和“参考图像生成方法标识信息”的组合。根据该实施例，为实现在“参考帧图像号”和“参考图像生成方法标识信息”之间切换的需要，使用根据该实施例执行的给定参考帧码表是可能的。

另外，根据该实施例，，参考图像的平滑级别可以被自动切换为根据待编码的预定区域(宏块)的编码条件唯一确定，而代替使用参考帧码(Ref_frame)的位移补偿中所使用的参考图像平滑级别的显式信令通知。

也就是说，根据待编码的预定区域(宏块)的编码条件(探测位移向量的单位、量化步骤等)，参考图像生成部件45可以生成预定平滑级别的参考图像17。

例如，在“宏块模式(MB_Type：一个预测模式)”编码的区域中可能发生复合位移，其中，待编码的预定区域(宏块)被很细致地分割，因此，用于位移补偿的参考图像可以不需要高像素值精度。

进一步，在大量化步骤(一个QP值)的宏块中，位移补偿所使用的参考图像可以不需要高像素值精度。

这样，对于那些宏块，其中，探测位移向量的单位(子块)的数目或者量化步骤超过预定门限值，可以总是使用强平滑级别的第二参考图像。

在这种情况下，由于根据编码条件生成的参考图像是唯一确定的，不需要使用参考帧图像号的平滑级别标识信息。这样，与“H.26L编码系统”相比，由改变参考帧码或宏块模式码所引起的比特位数量没有增加。

(改进实施例2A)

下面描述前述实施例2的改进实施例2A。下文中，只描述本改进实施例和实施例2的不同之处。

根据前述实施例2，形成两种不同种类生成方法(平滑级别)的参考图像(第一和第二参考图像)17。结果，形成的“参考图象生成方法标识信息(指示平滑级别信息)”与“参考帧图像号(参考帧图像的标识信息)”被组合生成“参考帧图像码(参考帧图像信息)”。这样，通过使用每个待编码的预定区域(宏块)的平滑级别不同的参考图像进行位移补偿。

然而，仅对于分配参考帧图像号单位的宏块单元，平滑级别的切换是可能的。

这样，在该改进实施例中，下面描述移动图像编码设备20和移动图像解码设备50，其能够发送“参考帧码”和“子块单元(一个探测位移向量单位)”的组合。“参考帧码”通过组合参考帧图像号和参考图像生成方法标识信息而生成。子块是执行位移补偿的宏块的一部分。

根据该改进实施例的移动图像编码和解码设备20和50的基本操作实际上与前述实施例2的移动图像编码和解码设备20和50相同。

根据该改进实施例，位移补偿部件33以探测位移向量单位(宏块单元)切换用于计算的位移补偿值的参考图像(第一参考图像或第二参考图像)17。

可变长编码部件40以一个探测位移向量单位(子块单元)，发送一个“参考图像信息(Ref_frame)”和“指示位移补偿值信息(预测剩余信号数据编码语法)”的组合。

另外，可变长解码部件71以探测位移向量单位(子块单元)对“参考图像信息(参考帧码)”和“指示位移补偿的信息(预测剩余信号数据编码语法)”进行解码。

进一步，位移补偿部件72以探测位移向量单位(子块单元)切换用于计算位移补偿值的参考图像17。

这里，作为基于“参考帧图像号”和“参考图像生成方法标识信息”的组合的“参考帧码(Ref_frame)”的一个例子，假设其类似于实施例2中的参考帧码。

图17显示了根据该根据实施例的基于宏块单元的编码语法。

根据该改进实施例，在宏块中，需要若干次以子块单元发送通过组合“参考帧图像号”和“参考图像生成方法标识信息”生成的“参考帧码(Ref_frame)”。

“参考帧码(Ref_frames)”数目能够通过“宏块类型(一个MB_type)”被通知，因为类型和子块数目是通过“宏块类型(MB_type)”发送的。

例如，如果宏块类型为“INTER预测模式(模式7)”，发送的“参考帧码(Ref_frames)”数目为“16”。

根据该改进实施例，在其为宏块中探测位移向量单位的“子块”单元中，可能通过使用不同平滑级别的参考图像17执行位移补偿。

另外，使用每个子块不同的参考帧图像号5执行位移补偿是可能的。另外，响应帧图像信号2的形状和位移，能够执行更高自由级别的位移补偿。

进一步，根据该改进实施例，参考图像的平滑级别可以自动切换为根据探测位移向量的预定区域(宏块或子块)的编码条件唯一确定，来代替使用参考帧码(Ref_frame)进行位移补偿的参考图像的平滑级别的显式信令通知。

(改进实施例2B)

下面描述实施例2的改进实施例2B。除了使用不同参考图像执行位移补偿而不使用“特异位置”之外，根据本发明实施例的移动图像编码设备20和移动图像解码设备50的操作与“TML-8”中描述的移动图像编码设备20和移动图像解码设备50的操作的类似。因此，省略对其的详细描述，而着重于描述不同的地方。

根据前述实施例2，形成两种不同种类生成方法(平滑级别)的参考图像(第一和第二参考图像)。结果，形成的“参考图像生成方法标识信息”和“参考帧图像号”被组合生成“参考帧码”。这样，能够执行位移补偿，其中，每个待编码的预定区域(例如，一个宏块：分配参考帧图像号的单位)的平滑级别是不同的。

根据该根据实施例，形成两种不同平滑级别的参考图像(第一和第二参考图像)，并且，形成的“参考图像生成方法标识信息”和“宏块模式”被组合生成“宏块模式码”。这样，能够执行位移补偿，其中，每个待编码的预定区域(宏块)的平滑级别是不同的。

根据该改进实施例的移动图像编码设备20和移动图像解码设备50的基本操作事实上与根据前述实施例2的移动图像编码设备20和移动图像解码设备50的操作相同。

根据该改进实施例，“参考图像信息(宏块模式码)”是一个“指示探测位移向量单位单位标识信息(宏块模式：MB_Type)”和“指示平滑级别信息(第一参考图像或第二参考图像)”的组合。

可变长编码部件40以待编码的预定区域(宏块单元)为单位，发送一个“参考图像信息(宏块模式码)”、“参考帧图像标识信息(参考帧图像号：Ref_frame)”和“指示位移补偿值的信息(预测剩余信号数据编码语法)”的组合。

另外，可变长解码部件71以待编码的预定区域(宏块)为单位，对“参考图像信息(宏块模式码：MB_Types)”、“参考帧图像标识信息(Ref_frame)”和“指示位移补偿值的预测剩余信号数据编码语法信息”进行解码。

进一步，位移补偿部件72使用“参考图像信息(MB_Type)”和“参考帧图像标识信息(Ref_frame)”指定的参考图像17代替参考帧图像5，从而计算待编码预定区域(宏块)的位移补偿值。

图14显示了根据H.26L编码系统的基于宏块单元的编码语法。根据该改进实施例，与传统的“H.26L编码系统的以宏块为单位的编码语法”没有变化。然而，“宏块模式(MB_Type)”的定义改变为由“宏块模式”和“参考图像生成方法标识信息”的组合进行表示。

图18显示了一个基于“宏块模式”和“参考图像生成方法标识信息”组合的“宏块模式码(MB_Type)”的例子。

如图18所示，关于与传统H.26L宏块模式相同的宏块模式，位移补偿的执行从第一参考图像指令。关于新增加的宏块模式，位移补偿的执行从强平滑级别的第二参考图像指令。

根据该改进实施例，由于宏块模式被分配给一个宏块单元，以宏块为单位从不同平滑级别的参考图像执行位移补偿是可能的。

进一步，根据该改进实施例，参考图像的平滑级别可以自动切换为根据待编码区域(宏块)的编码条件唯一确定，代替通过使用宏块模式码(MB_Type)的用于位移补偿的参考图像平滑级别的显式信令通知。

(改进实施例2C)

下面描述前述实施例2的改进实施例2C。根据该改进实施例，前述实施例2的第二参考图像经过强平滑，并且，与第一参考图像相同精度的位移向量不总是在位移补偿中需要。这样，下面描述当使用第二参考图像时，位移向量发生改变的一种配置。下文中，描述该改进实施例与前述实施例2的不同之处。

根据该改进实施例，当使用强平滑级别的参考图像(第二帧图像)时，位移补偿部件33降低计算位移补偿值(预测图像信号6)的位移向量精度。特别地，在这种情况下，位移补偿部件33用于降低位移向量的水平和垂直分量的精度。

根据该根据实施例，像在前述实施例2的情况下，在生成第一参考图像之后，参考图像生成部件45生成经过强平滑的参考图像，作为第二参考图像，其中，空间分辨率降低到1/2像素精度或整数像素精度。

作为空间分辨率为1/2像素精度的第二参考图像中经过强平滑的参考图像生成方法的例子，下面描述通过对第一参考图像运行一个(1，2，1)/4过滤器的下行采样方法。

另外，作为经过空间分辨率为整数像素精度的强平滑的参考图像生成方法的例子，下面描述通过对平滑过的1/2像素精度图像运行一个(1，2，1)/4过滤器的下行采样方法。

根据该改进实施例，作为一个基于“参考帧图像号”和“参考图像生成方法标识信息”的组合的“参考帧码”的例子，假设其类似于前述实施例2中的参考帧码。

例如，当一个空间分辨率降低到1/2像素精度的强平滑参考图像被生成作为第二参考图像时，假设第一参考图像的位移向量为(MVx，MVy)，在第二参考图像的位移向量中执行下面的置换。

第一参考图像的像素位置：

MVx，MVy(1/4像素单位)

第二参考图像的像素位置：

MVx//2，MVy//2

这里，“//”表示伴有在零方向上进行取舍操作的整除。

此外，如果空间分辨率降低到整数像素精度的强平滑参考图像作为第二参考图像生成时，假设第一参考图像的位移向量为(MVx，MVy)，在第二参考图像的位移向量中执行下面的置换。

第一参考图像的像素位置：

MVx，MVy(1/4像素单位)

第二参考图像的像素位置：

MVx//4，MVy//4

这里，“//”表示伴有在零方向上进行取舍操作的整除。

这样，第二参考图像对于同一位移向量MV＝(MVx，MVy)具有若干个值。

例如，如果第二参考图像降低到1/2像素精度时，(3，3)、(2，3)、(3，2)和(2，2)表示同一位移向量。

因此，在第二参考图像中，当在可变长编码部件40执行编码时，生成的编码量较小的位移向量(如(2，2))可以作为代表值发送。

可替代地，在第二参考图像中，一个预测位移向量PMV与一个位移向量之间的差信息MVD可以通过使用根据空间分辨率执行置换后的位移向量计算，并且待发送的位移向量的差信息值可以降低。换句话说，可以降低编码量。

在这种情况下，如果在预测位移向量与该位移向量之间的差信息MVD从大分辨率的第二参考图像到第一参考图像计算时，置换被反向执行以增加第二参考图像位移向量的空间分辨率。

通过前述的改变，如果噪声叠加在参考帧图像5上，编码效率可以通过参考低空间分辨率的第二参考图像得到。

此外，该改进实施例的特征在于：在低空间分辨率的第二参考图像中，位移向量的空间分辨率降低了，并且避免了位移向量编码时间的冗余。

进一步，根据该改进的实施例，参考图像的空间分辨率可以自动地切换为根据待编码的区域(宏块)的编码条件唯一确定，代替使用参考帧码(Ref_frame)的用于位移补偿的参考图像的空间分辨率的显式信令通知。

例如，在用“宏块模式(MB_Type：一种预测模式)”编码过的区域中可能发生复合位移，其中待编码的预定区域(宏块)被细致地分割，因此，用于位移补偿的参考图像可以不需要高像素值精度。

此外，在大量化步骤(QP值)的宏块中，用于位移补偿的参考图像可以不需要高像素值精度。

这样，对于宏块，其中探测位移向量单元(子块)或者量化步骤的数目超过预定门限值，可以总是使用强平滑的第二参考图像(如低空间分辨率)。

在这种情况下，因为生成的参考图像是根据编码条件唯一确定的，所以通过使用参考帧图像号来识别平滑级别的信息就不需要了。因此，与“H.26L编码系统”相比，不存在由参考帧码或宏块模式码的变化造成的比特量的增加。

进一步，平滑级别和空间分辨率可以自动切换为根据前述编码条件(宏块模式，量化步骤等)唯一确定。

在这种情况下，对于宏块，其中子块的分割数目或者量化步骤的数目超过预定门限值，通过将空间分辨率降低到1/2像素精度或整数像素精度，通过总是利用一个参考图像，其使用过滤器来应用强平滑级别，以及通过降低位移向量的水平和垂直分量，生成的位移向量的编码量降低了。

(实施例3)

下面将要描述根据实施例3的移动图像编码设备20和移动图像解码设备50。实施例2的描述已经提到了移动图像编码设备20和移动图像解码设备50。移动图像编码和解码设备通过“参考图像信息(参考帧码或宏块模式码)”的信令通知，其为“参考图像生成方法标识信息(第一参考图像或第二参考图像)”和“参考帧图像号”的组合，能够使得对每个待编码预定区域(宏块)使用通常参考图像(第一参考图像)和强平滑参考图像(第二参考图像)执行位移补偿。

在本实施例中，下面描述移动图像编码设备20和移动图像解码设备50，其组成一个对每一空间分辩率的层的金字塔，以使生成具有三种不同像素精度的参考图像。

图19显示了本实施例的移动图像编码设备20的示意图，图20显示了本实施例的移动图像解码设备50的示意图。

除了在位移探测部件32、位移补偿部件33和72，以及可变长编码部件40引入一些改进之外，并且除了加入分层参考图像生成部件46和81之外，根据本实施例的移动图像编码设备20和移动图像解码设备50的基本操作完全和根据传统技术的移动图像编码设备20和移动图像解码设备50相同。

根据本实施例，分层参考图像生成部件46和81组成一个参考图像生成部件，其通过对参考帧图像15执行若干不同的图像处理，用于生成若干不同的参考图像(分层参考图像18)。这里，作为前述图像处理，改变平滑级别的处理、改变空间分辨率的处理等是可以想象的。该实施例的描述将参考用作前述图像处理的改变空间分辨率的处理。

此外，通过执行经过若干不同通带过滤器的过滤处理，每个分层参考图像生成部件46和81生成一个具有若干空间分辨率的参考图像(一个分层参考图像18)。这里，“指示图像处理信息，例如，指示空间分辨率信息(层)”是该过滤器的一个标识。

进一步，位移探测部件32组成一个3维位移向量生成部件，通过将使用参考图像(分层参考图像18)探测到的“位移向量(MVx，MVy)”与“指示参考图像(分层参考图像18)空间分辨率信息(层)”相关联，用于生成一个“3维位移向量(层，MVx，MVy)”。

位移探测部件32可以用于降低低空间分辨率(如层3等)的参考图像的3维位移向量的精度。

另外，位移补偿部件33(72)通过使用参考图像(分层参考图像18)代替参考帧图像5，为待编码(解码)的预定区域(宏块)计算位移补偿值。

进一步，位移补偿部件33组成一个3维位移向量预测部件，通过使用帧图像中编码过的预定区域(编码过的宏块)和待编码的预定区域(待编码的宏块)之间的相关性(如编码算法中上下文的切换)，用于预测3维位移向量。

可变长编码部件40组成一个发送部件，用于发送“3维位移向量”和“指示位移补偿值的信息”的组合。

顺便提及，可变长编码部件40可以发送一个差信息(层D，MVDx，MVDy)和指示位移补偿值信息的组合，其中，该差信息是位移探测部件32生成的3维位移向量(层，MVx，MVy)和位移补偿部件33预测的3维位移向量(P层，PMVx，PMVy)之间的差信息。

另外，可变长解码部件71组成一个解码部件，用于将待解码的预定区域的3维位移向量进行解码。

首先，参考图21和22描述该实施例使用的一个概念。

每个分层参考图像生成部件46和81通过每个位移补偿部件33和72，为用于位移补偿的参考帧图像5生成3层。

首先，如图21和22所示，每个分层参考图像生成部件46和81将参考帧图像5经过8级过滤器上行采样，从而生成一个1/4像素精度层1，其为一个分层参考图像18。这里使用的8级过滤器的例子如下：

对于1/4像素位置：(-3，12，-37，229，71，-21，6，-1)/256

对于2/4像素位置：(-3，12，-39，158，158，-39，12，-3)/256

对于3/4像素位置：(-1，6，-21，71，229，-37，12，-3)/256

这里，对于整数像素位置的像素值，参考帧图像5的相同位置的像素值被拷贝。整数像素位置之间的1/4像素位置、2/4像素位置和3/4像素位置的像素值通过前述整数像素位置的像素值的过滤系数相乘和相加得到。该过滤处理在水平和垂直方向单独进行。

传统“TML-8”的1/8像素精度的上行采样操作中描述了过滤处理，因此，这里省略了详细描述。

第二，每个分层参考图像生成部件46和81将生成的1/4像素精度的层1经过3级过滤器(低通带类型过滤器)下行采样，从而生成一个1/2像素精度层2，其为一个分层参考图像18。这里使用的3级过滤器的例子为“(1，2，1)/4”。

第三，每个分层参考图像生成部件46和81将生成的1/2像素精度的层2经过3级过滤器(低通带类型过滤器)下行采样，从而生成一个整数像素精度的层3，其为一个分层参考图像18。这里使用的3级过滤器与前面使用的相同。

注意，按照传统技术的情况，层1具有1/4像素精度，但是1/4像素位置的像素值不是通过线性内插，而是通过执行前述过滤处理计算得到的，从而维护了初始图像(参考帧图像5)的空间分辨率。

如上所述，每个分层参考图像生成部件46和81通过具有若干不同通带的过滤器的过滤处理，生成具有若干空间分辨率的参考图像(层1到3)。

根据该实施例，位移补偿部件33通过使用以前述方式生成的分层参考图像18执行位移补偿。

在该事件中，位移向量3不是一个(MVx，MVy)的2项组(2维位移向量)，而是一个(层，MVx，MVy)的3项组(3位移向量)。

位移探测部件32探测3维位移向量(层，MVx，MVy)，代替2维位移向量(MVx，MVy)。

层2具有层1一半的空间分辨率，而层3具有层2一半的空间分辨率。因此，执行下述置换。

层1的分辨率：MVx，MVy(1/4像素单位)，

层2的分辨率：MVx//2，MVy//2，

层3的分辨率：MVx//4，MVy//4

其中，“//”表示伴有在零方向上进行取舍操作的整除。

这样，对于相同位移向量，层2和3具有若干值(MVx，MVy)。

例如，在层2和3中，(2，3，3)、(2，2，3)、(2，2，3)和(2，2，2)表示同一位移向量。

因此，在上面层(层2或层3)中，当在可变长编码部件40执行编码时，编码量较小的位移向量(如(2，2，2))可以作为代表值发送。

可替代地，在层2和层3中，在一个预测位移向量PMV与一个位移向量之间的差信息MVD可以通过使用根据每层分辨率置换后的位移向量计算，并且待发送的位移向量的差信息MVD值可以降低。换句话说，可以降低编码量。

在这种情况下，当在该位移向量与层1的大空间分辨率的位移向量的预测位移向量PMV之间的差信息MVD从这样一个层中计算时，置换被反向执行以增加每层的位移向量的空间分辨率。

通过使用前述的概念，如图23所示，通过完全与前述实施例1的相同的方法，位移补偿部件22的预测位移向量计算部件33c预测扩展到若干空间分辨率的3维位移向量。

在图23中，“PMVX_E”表示待编码的预测区域(宏块)E的预测位移向量PMV_E的水平分量，“PMVY_E”表示待编码的预测区域(宏块)E的预测位移向量PMV_E的垂直分量。

“P层E”表示待编码的预测区域(宏块)E的预测空间分辨率。

每个“MVDX_E”和“MVDY_E”表示待编码的预测区域(宏块)E的1/4像素精度的位移向量的差信息。“层D”表示待编码的预测区域(宏块)E的预测空间分辨率差信息。

这样，对(层D，MVDX，PMVY)的3项组执行编码处理。

顺便提及，位移补偿部件33可以通过使用帧图像信号2中编码过的预定区域(宏块)的3维位移向量，预测待编码的预定区域(宏块)的3维位移向量，计算预测3维位移向量和位移向量探测部件32探测的3维位移向量的差信息，并且通过使用所计算的3维位移向量差信息执行位移补偿。

这里，一般预测如果层D向零集中，当从层1或层3看到的转换是不均匀的。

这样，根据该实施例，可以使用传统技术中实现“自适应编码算法”，并且，可以执行增加了P层上下文模型3个状态的进一步扩展，从而使用与邻近区域宏块的相关性。

如上所述，对于该层，执行使用与邻近区域宏块相关性的编码是可能的。

在前述描述中，执行了使用P层和层D的预测差编码。然而预测差编码的执行与上下文模型的执行是相同的。

因此，通过直接使用与邻近区域宏块的相关性或者使用中间值如P层(使用上下文切换)作为上下文模型，不是层D而是该层自身可以使用编码算法被编码。

顺便提及，由于前述的“自适应算法”的概念和细节描述为“基于自适应二进制编码算法上下文”，此处略去详细说明。

类似前述实施例1和2和改进实施例，本发明参考了新的位移补偿，其中，“2维位移向量”被扩展为包含“指示图像处理(空间分辨率)的信息(层)”的“3维位移向量”，代替发送的“2维位移向量”和“指示图像处理的信息(指示空间分辨率的信息)”。

通过参考图24，下面描述本发明实施例的移动图像编码设备20中的位移补偿操作。

在步骤1201中，分层参考图像生成部件46通过使用从帧存储器34提取的参考帧图像5，生成一个分层参考图像18。

在步骤1202中，位移探测部件32通过参考来自分层参考图像生成部件46的分层参考图像18，探测待编码的预定区域(宏块)的3维位移向量。

在步骤1203中，位移补偿部件33基于来自位移探测部件32的3维位移向量和来自分层参考图像生成部件46的分层参考图像18，生成预测图像信号6。

根据该实施例，如果噪声叠加在参考帧图像5，通过参考自适应低空间分辩率的层图像，获得编码效率。

另外，低空间分辩率的层图像(如层2或3)的特征在于3维位移向量的空间分辩率降低了，并且，避免了3维位移向量编码中的冗余。

进一步，根据该实施例，应用了3维位移向量。在3维位移向量参数空间的向量分布在空间上是连续的，并能够改进编码效率。

根据该实施例的预测图像信号和位移补偿值的生成方法，仅仅是一个例子。使用实现切换该实施例中位移补偿值计算方法所需要的可选生成方法是可能的。

(根据实施例3的移动图像编码和解码设备的操作/效果)

根据本发明的移动图像编码设备，由于位移探测部件32根据分层参考图像17生成3维位移向量，执行每个待编码预定区域不同像素精度的位移补偿是可能的。

(改进实施例3A)

下面描述前述实施例3的改进实施例3A。下文参考图25描述该改进实施例和实施例3的不同之处。

首先，该改进实施例与前述实施例3的不同之处在于：是以1/4像素精度而不是1/2像素精度执行位移补偿。

也就是说，根据该改进实施例，每个分层参考图像生成部件46和81通过将传统“TML-8”中使用的6级过滤器(1，-5，20，20，-5，1)/32应用于参考帧图像5执行上行采样，从而生成1/2像素精度的层1。

第二，该改进实施例与前述实施例3的不同之处在于：每个分层参考图像生成部件46和81将平滑过滤器“(1，2，1)/4”分别水平和垂直地应用于层1，从而生成层2。

第三，该改进实施例与前述实施例3的不同之处在于：层数为2(层1和层2)并且两者具有相同空间分辩率。

这样，实现下述情况：

层1的像素位置：MVx，MVy(1/2像素单位)，

层2的像素位置：MVx，MVy(1/2像素单位)

通过增加前述的变化，并且基于与传统技术相同的方法执行“中间值预测”，对3维位移向量(层D，MVDx，MVDy)进行编码。“自适应编码算法”与前述实施例3的不同之处在于：P层E的上下文经历了两个状态。

通过前述变化，当执行1/2像素精度位移补偿时，如果噪声叠加在参考帧图像5，执行切换到自适应低分辨率的位移补偿是可能的。

特别地，在低速率编码中，假设1/4像素精度是不需要的，存在一种使用1/4像素精度位移补偿的平滑过的图像的倾向。因此，这里，将图显式切换到低空间分辩率的系统被描述为该改进的实施例。

顺便提及，根据该改进实施例，用于生成层2图像的过滤器“(1，2，1)/4”是一个简单低通类型的过滤器。然而，可以使用边缘夹持类型的平滑过滤器。

例如，在边缘夹持类型的平滑过滤器中有用于获得3×3像素的区域的中间值的“中间过滤器”，也可以使用美国专利6041145名为“平滑图像信号的设备和方法、编码图像的设备和方法以及解码图像的设备和方法”中描述的“动态加权过滤器”。

前述“动态加权过滤器”是通过计算平滑中心像素值和其近似像素值之间的差绝对值，通过将与差绝对值相反比例的过滤系数提供到周围像素值(邻近8)来执行自适应平滑。

顺便提及，用于使计算机100用作本发明的移动图像编码设备20或移动图像解码设备50的程序可以存储在计算机可读记录媒介中。

作为计算机可读记录媒介，如图26显示，例如，可以列举出软盘101，压密盘102，IC芯片103，盒式磁带104等。根据这种存储了程序的计算机可读记录媒介，前述程序可以很容易地保存、传送、出售等。

工业应用

如上所述，根据本发明，能够用轻量开销表示一个预测的图像信号，并且提供不同像素精度的位移补偿。

Claims (12)

1.一种移动图像编码设备，其通过位移补偿，将由帧图像时序构成的移动图像进行编码，该设备包括：

一个参考图像生成部件，用于根据待编码预定区域的编码条件，从参考帧图像生成一个经由预定图像处理的参考图像；以及

一个位移补偿部件，通过使用经过预定图像处理生成的参考图像，为待编码预定区域计算一个位移补偿值。

2.根据权利要求1的移动图像编码设备，其中，参考图像生成部件根据探测位移向量单位的种类，用于生成经过预定图像处理的参考图像。

3.根据权利要求1的移动图像编码设备，其中，参考图像生成部件根据量化步骤，用于生成经过预定图像处理的参考图像。

4.一种移动图像解码设备，其通过位移补偿，将由帧图像时序构成的移动图像进行解码，该设备包括：

一个参考图像生成部件，用于根据待解码的预定区域的编码条件，从参考帧图像生成经过预定图像处理的参考图像；以及

一个位移补偿部件，通过使用生成的经过预定图像处理的参考图像，用于计算待解码的预定区域的位移补偿值。

5.根据权利要求4的移动图像解码设备，其中，参考图像生成部件根据探测位移向量单位的种类，用于生成经过预定图像处理的参考图像。

6.根据权利要求4的移动图像解码设备，其中，参考图像生成部件根据量化步骤，用于生成经过预定图像处理的参考图像。

7.一种移动图像编码方法，其通过位移补偿，将由帧图像时序构成的移动图像进行编码，该方法包括：

一个步骤A，用于根据待编码的预定区域的编码条件，从参考帧图像生成经过预定图像处理的参考图像；和

一个步骤B，通过使用生成的经过预定图像处理的参考图像，用于计算待编码预定区域的位移补偿值。

8.根据权利要求7的移动图像编码方法，其中，在步骤A中，根据探测位移向量单位的种类，生成经过预定图像处理的参考图像。

9.根据权利要求7的移动图像编码方法，其中，在步骤A中，根据量化步骤，生成经过预定图像处理的参考图像。

10.一种移动图像解码方法，其通过位移补偿，将由帧图像时序构成的移动图像进行解码，该方法包括：

一个步骤A，用于根据待解码的预定区域的编码条件，从参考帧图像生成经过预定图像处理的参考图像；和

一个步骤B，通过使用生成的经过预定图像处理的参考图像，计算待解码的预定区域的位移补偿值。

11.根据权利要求10的移动图像解码方法，其中，在步骤A中，根据探测位移向量单位的种类，生成经过预定图像处理的参考图像。

12.根据权利要求10的移动图像解码方法，其中，在步骤A中，根据量化步骤，生成经过预定图像处理的参考图像。

Images