CN1120631C - 运动补偿编码设备及方法,运动补偿设备 - Google Patents

Abstract

提供用更少的代码量使图像信息数字信号化的高效率编码，特别将运动图像作为对象进行运动补偿图像间预测处理的装置。具有：运动矢量检测装置用输入图像针对编码对象推测出第1运动矢量；第1误差量检测装置，求出根据第1运动矢量的第1图像间预测误差量；运动矢量预测装置，用编码后的运动矢量预测出第2运动矢量；第2误差量检测装置，求出根据第2运动矢量的第2图像间预测误差量；选择装置，比较第1第2误差量，选择误差量变少的一方。

Description

运动补偿编码设备及方法，运动补偿设备

技术领域

本发明涉及为了高效率地传送、存储、显示图像，进行以更少的代码量使图像信息变为数字信号的高效率编码，尤其涉及将运动图像作为对象进行运动补偿图像间预测处理。

背景技术

在运动图像高效率编码中，有在进行运动图像间预测时与运动图像吻合地在每块使图像的各部分移动后进行预测的方法。这样的图像空间的移动处理被称作运动补偿，它在MPBG等国际标准方式中也被广泛使用。

当在图像间预测中使用了运动补偿时，由于在译码中也需要进行与编码相同的运动补偿，所以将与图像的运动有关的信息(运动矢量)编码后传送到译码端。具体地说，就是在每个8×8象素或16×16象素的块中求出的运动矢量中，用赫夫曼(Huffman)码等的可变长度代码编码与相邻块的运动矢量的差值。这是因为运动矢量在块间很少有大的变化的缘故。

图5展示了进行上述那样的运动补偿的编码装置的构成例子。

从图像输入端子1输入的图像信号，在减法器2中减去从运动补偿器8供给的图像间预测信号，变为预测误差后传送给DCT(3)。

DCT(3)以8×8象素为单位进行离散余弦变换(DCT)的变换处理，将得到的系数传送给量化器4。量化器4以规定的间隔大小(step size)量化系数，将成为固定长度的代码的系数传送给可变长度编码器5和逆量化器12。

可变长度编码器5，以称为之字形扫描(zigzag scan)的顺序，将2维的8×8个系数排列变换成1维，将系数作为0的连续数和0以外的系数的值以赫夫曼码编码。

这样形成代码列的图像间预测误差在多路化器6中与运动矢量(MV)的代码列多路化，从代码输出端子7输出。

另一方面，在逆量化器12以及逆DCT(11)中进行量化器4以及DCT(3)的逆处理，再生图像间预测误差。得到的再生图像间预测误差在加法器10中加法运算预测信号，成为再生图像，传送给图像存储器51。存储在图像存储器51中的再生图像被传送给运动补偿器8。

动态推测器15，从输入图像中对每个16×16象素大小的块求出半象素精度的运动矢量(MV)，将该值传送给运动补偿器8和MV编码器13。

运动补偿器8根据MV使再生图像移动，进而用线性内插插入制作半象素精度的运动补偿预测信号。

另一方面，MV编码器13，对于MV在每个x成分y成分上比较编码结束前的值(通常，是左块的值)和成为编码对象的块的矢量值，应用赫夫曼码编码该差分值后输出到多路器6。得到的代码列在多路器6中与图像预测误差的代码列多路化。

<以往例子的运动图像译码装置>

以下，说明与图5的运动补偿编码设备对应的译码装置。

图6是展示该译码装置构成的图。

从代码输入端子61输入的代码在多路分离器62中被分离为图像间预测误差的代码列和运动矢量的代码列，图像间预测误差的代码列在可变长度译码器63中恢复为固定长度的代码，在逆量化器12、逆DCT(11)中变为再生图像间预测误差，在加法器10中加法运算图像间预测信号后变为再生图像。

如此得到的再生图像信号，在从图像输出端子64输出的同时，传送给图像存储器51。

在运动补偿预测器8中，根据从MV译码器65传送来的MV信息，运动补偿图像存储器51的图像，作为图像间预测信号传送给加法器10。

这里，逆量化器12、逆DCT(11)、加法器10、图像存储器51、运动补偿器8的动作与图5的编码装置的动作相同。

另一方面，在多路分离器62中分离后的运动矢量代码，在MV译码器65中可变长度代码被译码为固定长度代码，得到的运动矢量的差分值与前一块的运动矢量值相加，作为运动矢量信息传送给运动补偿器8。

以往的运动补偿编码设备，直接编码在动态推测中求出的运动矢量(MV)。

这种情况下，因为选择图像间预测误差量最小的MV，所以因微小的误差量的不同，MV在每个块变动，有在MV信息的编码中不需要的代码量增多的情况。

另外，因为运动矢量的生成代码量不被控制，所以运动补偿的信息量过多，还有时抑制了图像间预测误差的信息量。这种问题在运动补偿的块尺寸小，而对其进行高精度的运动补偿的情况下尤其显著。

发明内容

本发明就是为了解决上述问题而提出的，其目的在于提供这样一种运动补偿编码设备以及编码记录媒体，从已经完成编码的运动矢量预测编码对象块的运动矢量，如果在动态推测中求出的原本的运动矢量和图像间预测误差量的差别不大，则通过在运动补偿中使用预测产生的运动矢量，就可以使运动矢量的生成代码量少，还可以控制生成代码量。

本发明提供一种运动补偿编码设备，其特征在于：在进行运动补偿，编码此时的运动矢量的运动补偿编码设备中，具有动态推测装置，用输入图像求出针对编码对象块推测的第1运动矢量；第1误差量检测装置，根据上述第1运动矢量求出进行运动补偿图像间预测时的第1图像间预测误差量；运动矢量预测装置，用编码后的运动矢量求出针对编码对象块预测的第2运动矢量；第2误差量检测装置，根据上述第2运动矢量求出进行运动补偿图像间预测时的第2图像间预测误差量；误差量比较装置，比较上述第1图像间预测误差量和第2图像间预测误差量；运动矢量选择开关，根据上述误差量比较装置的比较结果，在上述第1运动矢量和第2运动矢量中，选择误差量变少的一方。

本发明提供一种运动补偿编码方法，其特征在于：在进行运动补偿，编码此时的运动矢量的运动补偿编码方法中，用输入图像求出对编码对象块推测出的第1运动矢量，根据上述第1运动矢量求出进行运动补偿图像间预测时的第1图像间预测误差量，用编码后的运动矢量求出针对编码对象块预测的第2运动矢量，求出根据上述第2运动矢量进行运动补偿图像间预测时的第2图像间预测误差量，比较上述第1图像间预测误差量和第2图像间预测误差量，在上述第1运动矢量和第2运动矢量中，选择误差量变少的一方。

本发明提供一种运动补偿设备，对于由连续的图像构成的运动图像信号以比1个象素更高的精度进行运动补偿，加法运算得到的多个图像、得到运动补偿信号，其特征在于：包含，对于连续的多个输入图像的各图像，以比1个象素更高的精度得到对于基准图像的运动矢量的信息的运动矢量检测装置；象素移动装置，用上述检测出的运动矢量、以象素为单位移动各个上述多个输入图像；微小移动装置，其具有微小移动部分，用于以不足1个象素的量变更上述多个运动矢量，用该变更后的运动矢量对上述象素移动装置的多个输出进行运动补偿，加法运算得到的图像的信号并输出加法运算信号，使在上述微小移动部分中的运动矢量的变更量相互不同；最适宜信号判定装置，从上述微小移动装置的多个加法运算信号中选择基准信号和最类似的加法运算信号。

另外，是在上述选择装置的第1图像间预测误差量和第2图像间预测误差量的比较中，修正误差量使得第2图像间预测误差量的值变为比第1图像间预测误差量的值小的运动补偿编码设备。

另外，是在上述误差量的修正中，当生成代码量大的情况下，修正的程度大，当生成代码量小的情况下，修正的程度小的运动补偿编码设备。

再有，是在上述误差量的修正中，当量化间隔大小大的情况下，修正的程度大，当量化间隔大小小的情况下，修正的程度小的运动补偿编码设备。

另一方面，本发明是一种编码记录媒体，即，在进行运动补偿、记录此时编码运动矢量后的运动图像的高效率编码信息的记录媒体中，记录这样的信息：根据用输入图像对编码对象块推测的第1运动矢量进行运动补偿图像间预测情况下求出第1图像间预测误差量，根据用编码后的运动矢量对编码对象块预测出的第2运动矢量进行运动补偿图像间预测情况下求出第2图像间预测误差，比较第1图像间预测误差量和第2图像间预测误差量，在第1运动矢量和第2运动矢量中，选择误差量变少的一方，编码被选择出的运动矢量信息。

在本发明中，从编码后的运动矢量预测编码对象块的运动矢量，如果在动态推测中求出的原本的运动矢量和图像间预测误差量的差值不大，则将预测的运动矢量用于运动补偿。

这里，由预测产生的运动矢量由于在运动矢量信息的可变长度编码中被分配短代码，所以如果使用由预测产生的运动矢量，则运动矢量的代码量减少。

运动补偿图像间预测的预测误差量，由原来的动态推测得到的运动矢量一般情况下很少，但在由预测产生的运动矢量和由动态推测得到的运动矢量的预测误差量的差值小的情况下，即使使用由预测产生的运动矢量，预测误差的编码量的增加也很少。

另一方面，通过在某处前允许上述图像间预测误差的差，改变选取由预测产生的运动矢量的比例，所以可以控制MV的生成代码量。

附图说明

图1是展示本发明的第1实施例的运动补偿编码设备的构成例子的图。

图2是展示本发明的实施例的运动矢量的形态的图。

图3是展示本发明的第2实施例的运动补偿编码设备的构成例子的图。

图4是展示本发明的实施例的运动矢量的预测方法的图。

图5是展示以往的运动补偿编码设备的构成例子的图。

图6是展示以往的运动补偿译码装置的构成例子的图。

图7是展示本发明的运运动补偿设备的构成例。

以下，说明有关本发明的运动补偿编码设备的一实施例。

具体实施方式

图1展示了其构成，与图5的以往例子相同构成要素标记同样号码。在图1中，与图5比较有误差量检测器16、19，误差量比较器17，误差量修正器18，MV选择开关14，MV预测器20。另外，图像存储器9的动作多少有些不同。

在实施例中，与以往例不同的是运动矢量的判定方法，运动补偿图像间预测编码的主要的处理与以往例相同。

因而，在图1中，图像输入端子1、减法器2、DCT(3)、量化器4、可变长度编码器5、多路化器6、代码输出端子7、逆量化器12、逆DCT(11)、加法器10的动作与以往例相同。

下面说明有关作为本发明的特征的运动矢量判定处理。

用动态推测器15向以往例那样对每个块求出推测运动矢量(MVe)，而后传送给误差量检测器16和MV切换开关14。

另一方面，在MV预测器20中，从输入的过去的MV信息预测作为编码处理对象的块的MV，求出预测运动矢量(MVp)。

作为最简单的预测方法，直接将此前得到的相邻的块的MV作为MVp。MVp被传送给误差量检测器19和MV切换开关14。它们的形态如图2所示，但推测MV和预测MV通常是类似的情况多。

误差量检测器16、19根据传送来的MV，实际运动补偿从图像存储器9传送来的参照图像，得到与输入图像之间的图像间预测误差。MVe的图像间预测误差AEe从误差量检测器16传送给比较器17。

另一方面，MVp的图像间预测误差AEp，从误差量检测器19经在修正器18中被放大kp倍后传送给误差量比较器17。kp的值是0.9左右。

误差量比较器17比较AEe和放大kp倍后的AEp的大小，将误差量少的一方的信息传送给MV开关14，MV选择开关14据此选择MV。

如果AEe＜kp·AEp，则选择MVe，

如果AEe＞kp·AEp，则选择MVp。

这样选择出的MV在用于运动补偿器8的同时，传送给MV编码器13以及MV预测器20。

MV编码器13与MV预测器同样地求出预测MV，取得与被传送来的MV的差分。对差分分配可变长度代码，但在选择预测MV，差分为0的情况下，可以使编码最短。这里，MV的预测在最简单的情况下，MV编码13的动作与以往例相同。

以下，更具体地说明各个构成的动作。

在MV预测器20中的MV预测的方法，除了如图4所示那样直接使用横向相邻块的MV以外，还有使用横向2块部分的MV的倾斜预测的方法。另外，也有从横向相邻块的MV和纵向块的MV中选择适宜的一种的适应预测等的方法。

误差量的修正除了在上述的AEp上乘kp的方法以外，还有平均每个象素减法1至2个的值mp的方法。也可以以乘法和减法两种方法进行。

另外，代替修正AEp，在AEe上乘1.1左右的值，或加上mp也一样。不管使用哪种方法，都将AEp向比AEe少的方向修正。

在误差量检测器16、19中，一般是将运动补偿图像间预测误差绝对值化或平方在1块部分内累积作为误差量。在更高的误差检测中，实际应用中进行与DCT(3)、量化4、可变长度编码5同样的处理，求出块中的生成代码量，将该代码量作为图像间预测误差量用于评价。由代码量评价的一方更正确，但是，处理量相应变大。

<运动补偿编码设备2>

以下说明本发明的第2实施例运动补偿编码设备。

图3展示了其构成，与图1的第1实施例同样的构成要素标记同一号码。在图3中，与图1比较，有量化控制器31、代码量计数器32、34、修正控制器33。另外，误差量修正器35的动作不同。

代码量计数器32观测总体的生成代码量，将该信息传送给量化控制器31。量化控制器31设定与生成代码量对应的量化间隔大小，将该信息传送给量化器4和修正控制器33。

这里，量化间隔大小在生成代码量比目标值多，需要抑制代码量时大，生成代码量少时小。这样的量化控制是一般的控制。

另一方面，MV编码代码计数器32观测MV代码的生成量，将该信息传送给修正控制器33。修正控制器33根据MV代码量变更kp和mp的值，传送给误差量修正器18。如此进行控制，使得在MV代码量多，需要抑制代码量时乘法系数kp小，减法系数mp大。由此，因为在修正中AEp的值变小，所以容易选择MVp，MV的代码量减少。

以下说明由量化间隔大小进行的控制。

图像间预测误差成分(DCT系数)的代码量，根据量化变化。在量化细的情况下，即使是微小的误差量的差也变为大的代码量的差。因而，在量化细的情况下，使kp接近1，使mp小。

进而，当在误差量的评价中使用生成代码量时，通过使求出代码量时的量化间隔大小与实际的量化相匹配，就可以进行这样的控制。

<编码记录媒体>

通过用MPEG系统标准等的方法多路化在图1和图3的编码装置中得到的与图像有关的代码列、声音和控制信息的代码列，在得到的代码列上附加错误修正代码，调制后记录于媒体，就可以得到编码效率改善后的图像信息记录媒体。

进而，在读出专用的编码记录媒体的情况下，可以用自动打印机等高速地记录。

在运动图像的高效率编码中，有利用图像信号的帧间的相关，用已编码的帧预测被编码的帧，只编码预测误差的帧间预测编码。这种情况下，一般是动态地随着图像移动地进行预测的运动补偿帧间预测。另外，即使在从交插信号变换为非交插信号，或转换为不同的帧频率的图像的图像方式变换装置中，如果运动补偿地进行扫描线插入和帧插入处理，则即使图像活动解像度等的劣化也少。这样的运动补偿的动作，在运动矢量的精度是象素单位和比其小的情况下，只使象素的位置移动就结束，但在假设进行比象素单位大的高精度的运动补偿的情况下，运动补偿信号由再取样处理生成。另一方面，如果用多个帧进行预测和插入则是更适宜的处理。

该实施例的运动补偿设备的构成如图7所示。在对于作为处理对象的基准图像，从前后2个帧进行高精度的运动补偿的运动补偿设备中，从前帧信号输入端子3输入的前帧信号，被输入MV(运动矢量)检测器5以及象素移动器7，从后帧信号输入端子4输入的后帧信号，被输入到MV检测器6以及象素移动器8。另外，从基准图像输入端子2输入的基准帧信号，被输入到MV检测器5以及MV检测器6。在MV检测器5中，前帧信号和基准帧信号之间的运动矢量以比1个象素更高的精度求出。同样地在MV检测器6中，后帧信号和基准帧信号之间的运运动矢量以比1个象素更高的精度求出。运动矢量对于预先设定的各运动矢量，在每个16×16象素块进行模式匹配，将误差最少的作为该块的矢量判定。作为MV检测器5的输出的前运动矢量在通过前MV输出端子11输出的同时，传送给象素移动器7。同样地，作为MV检测器6的输出的后运动矢量在通过后MV输出端子12输出的同时，传送给象素移动器8。

进而，运动矢量的信息是在编码装置中为译码而准备的，而在图像变换装置中可以只得到运动补偿的图像信号，不一定要输出。另外，相反当在译码装置中使用本发明的运动补偿设备时，在得到运动矢量的装置中，不进行运动矢量的检出，而从编码装置或编码数据取得作为运动矢量的信息。

在象素移动器7中，根据前运动矢量使前帧信号的象素以象素精度移动，并传送给微小移动器21～24。微小移动器21～24为了进行再取样处理，在各象素上乘上与比1个象素更大的精度的运动矢量对应的系数进行加法运算。即，在运动矢量的信息中，在小于象素精度时，在象素移动器7中使用，比其精度更大的信息在微小移动器21～24中使用。

这样运动补偿的前帧信号被提供给最适宜信号判定器25。同样地在象素移动器8中，根据后运动矢量使后帧信号的象素以图像精度移动，在微小移动器21～24中，乘上与比象素更大的精度的运动矢量对应的系数进行加法运算，作为运动补偿的后帧信号提供给最适宜信号判定器25。

这种处理对于设置成交插扫描信号的各帧及非交插扫描信号的帧是完全相同的。

因为在本发明的运动补偿设备中进行针对数字运动图像的再抽样处理，所以首先简单地说明再抽样处理。数字图像由离散的象素(抽样值)构成。因而，当进行作为图像移动的运动补偿处理时，如果其移动精度是1个象素单位，则通过替换各象素就可以实现。另一方面，就是根据抽样定理抽样数字图像，原本图像信号是连续的，该移动并不在抽样间隔中产生。总之，运动补偿也应该连续地进行，在更正确的处理的情况下，需要用比象素精度更高的精度进行运动补偿。这里，比象素精度更高的精度的运动补偿，应该具有抽样值的变更，即需要再抽样处理。再抽样处理是抽样点的变更，用变换到不同的象素数(象素尺寸)等就可以更好地使用。但是，在运动补偿的情况下，因为象素数不变化所以只是抽样点的移动，可以在数字相位移位滤波器中实现。该滤波器是极普通的FIR型(横向型)，在以后叙述的本实施例中，使用4分支的数字滤波器。另外，众所周知，这样的数字滤波器的分支系数被称作再抽样系数。

保持多个微小移动部分是为了补充MV检测器的准确度(检测出的运动矢量的)的不理想的问题。MV检测器对每帧进行处理，在各微小移动部分中的运动补偿，如针对帧图像的帧图像那样，针对图像密度更高的图像进行，可以检测出更正确的MV。即，各微小移动部分的系数对应于有微小不同的运动矢量。前帧信号、后帧信号、前MV、后MV被输入微小移动部分21～24。

微小移动部分21～24的基本动作相对输入的2个运动矢量有微小的离散，该组合例如设与0和0、0和0.25、0.25和0、0.25和0.25这4种对应的系数。

在此，运动矢量有垂直成分和水平成分，但水平方向直接使用可以在各帧内完全检测出的MV检测器的结果，微小移动部分只与垂直方向对应。各微小移动部分21～24的输出被输入到最适宜信号判定器25。最适宜信号判定器25分别求出从各微小移动部分输出的运动补偿后的信号，和从基准帧信号输入端子2传送来的基准帧信号的匹配值，从这多个匹配值中选择匹配最好(误差少)的信号。选择出的信号作为最终的运动补偿信号，通过运动补偿信号输出端子15输出。

在最适宜信号判定器25中的选择动作与上述的MV检测的情况相同。这里，因为要求出匹配的运动矢量的数大幅度的减少，所以可以进行比MV检测更细致的处理。例如，在MV检测中，与为了处理的高速化而将误差的绝对值(MAD)作为匹配的值相反，这里通过使用运算处理量多的平方误差(MSE)，就可以更正确地进行判定。在选择出的微小移动部分中的运动矢量信息，作为运动矢量的修正信息经过修正MV输出端子26输出。

进而，微小移动部分21～24不必须是如图7所示那样的分别构成，例如，也可以用1个运算电路构成微小移动部分21～24。

本发明，从编码后的运动矢量预测编码对象块的运动矢量，如果在运动矢量推测中求出的原来的运动矢量和图像间预测误差量的差值不大，则通过在运动补偿中使用预测的运动矢量，使在运动矢量信息的可变长度编码中的生成代码量减少。

另一方面，因为只是在各个运动矢量中预测误差量的差值少时才使用预测产生的运动矢量，所以预测误差的代码量的增加很少，因为运动矢量的代码量的削减量多，所以可以削减总的代码量。

另一方面，通过在某处之前允许上述图像间预测误差的差，就可以改变采用由预测产生的运动矢量的比例，控制生成代码量。当运动矢量的代码量增多的情况下，通过在图像间预测误差的差大时也采用预测，就可以抑制运动矢量的生成代码量。

Claims (7)

1、一种运动补偿编码设备，其特征在于：在进行运动补偿，编码此时的运动矢量的运动补偿编码设备中，具有

动态推测装置，用输入图像求出针对编码对象块推测的第1运动矢量；

第1误差量检测装置，根据上述第1运动矢量求出进行运动补偿图像间预测时的第1图像间预测误差量；

运动矢量预测装置，用编码后的运动矢量求出针对编码对象块预测的第2运动矢量；

第2误差量检测装置，根据上述第2运动矢量求出进行运动补偿图像间预测时的第2图像间预测误差量；

误差量比较装置，比较上述第1图像间预测误差量和第2图像间预测误差量；

运动矢量选择开关，根据上述误差量比较装置的比较结果，在上述第1运动矢量和第2运动矢量中，选择误差量变少的一方。

2、权利要求1所述的运动补偿编码设备，其特征在于：包括修正装置，由上述比较装置比较第1图像间预测误差量和第2图像间预测误差量之前，修正上述第1图像间预测误差量和第2图像间预测误差量至少之一，使得第2图像间预测误差量的值比上述第1图像间预测误差量的值小。

3、权利要求2所述的运动补偿编码设备，其特征在于：还包括代码量计算装置，用于测量由所述运动补偿编码设备生成的代码量，及修正控制装置，响应从上述代码量计算装置获得的测量结果，控制所述修正装置，使得在生成代码量相对大的情况下增大修正的幅度，在生成代码量相对小的情况下减小修正的幅度。

4、权利要求2所述的运动补偿编码设备，其特征在于：

在量化间隔大小大的情况下增大修正的幅度，在量化间隔大小小的情况下减小修正的幅度。

5、一种运动补偿编码方法，其特征在于：在进行运动补偿，编码此时的运动矢量的运动补偿编码方法中，

用输入图像求出对编码对象块推测出的第1运动矢量，

根据上述第1运动矢量求出进行运动补偿图像间预测时的第1图像间预测误差量，

用编码后的运动矢量求出针对编码对象块预测的第2运动矢量，

求出根据上述第2运动矢量进行运动补偿图像间预测时的第2图像间预测误差量，

比较上述第1图像间预测误差量和第2图像间预测误差量，

在上述第1运动矢量和第2运动矢量中，选择误差量变少的一方。

6、权利要求5所述的运动补偿编码方法，其特征在于：

在执行所述比较步骤之前，按照使得上述第2图像间预测误差量的值比上述第1图像间预测误差量的值小的方向修正上述第1图像间预测误差量和第2图像间预测误差量至少之一。

7、一种运动补偿设备，对于由连续的图像构成的运动图像信号以比1个象素更高的精度进行运动补偿，加法运算得到的多个图像、得到运动补偿信号，其特征在于：包含，

对于连续的多个输入图像的各图像，以比1个象素更高的精度得到对于基准图像的运动矢量的信息的运动矢量检测装置；

象素移动装置，用上述检测出的运动矢量、以象素为单位移动各个上述多个输入图像；

微小移动装置，其具有微小移动部分，用于以不足1个象素的量变更上述多个运动矢量，用该变更后的运动矢量对上述象素移动装置的多个输出进行运动补偿，加法运算得到的图像的信号并输出加法运算信号，使在上述微小移动部分中的运动矢量的变更量相互不同；

最适宜信号判定装置，从上述微小移动装置的多个加法运算信号中选择基准信号和最类似的加法运算信号。

Images