CN1922886A - 图像编码方法及其设备和其控制程序 - Google Patents

图像编码方法及其设备和其控制程序 Download PDF

Info

Publication number
CN1922886A
CN1922886A CNA2005800054937A CN200580005493A CN1922886A CN 1922886 A CN1922886 A CN 1922886A CN A2005800054937 A CNA2005800054937 A CN A2005800054937A CN 200580005493 A CN200580005493 A CN 200580005493A CN 1922886 A CN1922886 A CN 1922886A
Authority
CN
China
Prior art keywords
image
dead band
skip distance
piece
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800054937A
Other languages
English (en)
Other versions
CN1922886B (zh
Inventor
蝶野庆一
仙田裕三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN1922886A publication Critical patent/CN1922886A/zh
Application granted granted Critical
Publication of CN1922886B publication Critical patent/CN1922886B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

块死区标度生成设备(202)输入图像信号和预测误差，分析目标块的图案或预测性能，并且输出适合于块的图案和预测性能的死区标度。死区生成设备(201)输入来自块死区标度生成设备的死区标度，以及来自量化控制设备(103)的MB量化参数，根据死区标度和MB量化参数来计算死区宽度，并且输出死区宽度。量化设备(102)通过使用来自死区生成设备(201)的死区来对由正交变换设备(101)所提供的正交变换系数进行量化，并且输出量化变换系数。因而，对于每一个变换系数和由多个变换系数形成的每一个块都能执行任意强度的量化，从而提供高质量的图像编码技术。

Description

图像编码方法及其设备和其控制程序
技术领域
本发明涉及图像编码方法及其设备和其控制程序，并且特别涉及用于提高主观图像质量的执行自适应量化的图像编码方法、其设备、以及其控制程序。
背景技术
下面参考附图来讲述现有技术。
首先参考图1来讲述作为基于正交变换设备和预测(帧内预测/帧间预测)设备的现有技术的混合运动图像编码。
根据现有技术，形成运动图像的图像帧被分割成叫做宏块(MB)的多个区域，并且对通过进-步分割每-个MB所得到的每-个块进行编码。图2示出了AVC(高级视频编码：ISO/IEC 14496-10)图像帧的结构，以作为根据现有技术的图像帧结构的具体例子。
从上述MB中，提取出由用于在过去重构的同-图像帧内部进行预测的帧内预测设备5108或由用于在过去重构的过去图像帧之间进行预测的帧间预测设备5109所提供的预测值。从中提取出预测值的MB信号被称为预测误差信号。
上述预测误差信号被分成更小的块(下文中简单称其为块)，并且通过正交变换设备5101将每-个块从空间域变换到频域。
量化设备5102对已经变换到上述频域的块的正交变换系数进行量化，对于每一个MB，量化步长对应于由量化控制设备5103所提供的量化参数。
一般地，量化控制设备5103监视所生成的代码量。如果所生成的代码量大于目标代码量，则量化控制设备5103增大量化参数。如果所生成的代码量小于目标代码量，则量化控制设备5103减小量化参数。因此能够以目标代码量来对运动图像进行编码。
量化的正交变换系数被称为量化变换系数。通过变长编码器5104对该系数进行熵编码，并且将其输出。
在随后的编码中，通过逆量化设备5105对上述量化变换系数进行逆量化，并且进而通过逆正交变换设备5106对其进行逆正交变换，以便将其恢复到原来的空间域中。
将上述预测值添加到恢复到空间域的块，并且将结果数据存储到帧存储器5107中。将由所存储的块重构的图像帧称作参考帧。
帧内预测设备5108根据参考帧检测出当前MB的预测误差信号被最小化的预测方向。帧间预测设备5109根据参考帧检测出当前MB的预测误差信号被最小化所使用的运动矢量。预测确定开关5110将由于上述帧内预测而引起的预测误差与由于帧间预测而引起的预测误差进行比较，并且选择对应于较小预测误差的预测。
为了保持通过上述处理而压缩的运动图像的主观图像质量，除了所生成的代码量以外，量化控制设备5103还监视输入的图像信号和预测误差信号。如果要量化的MB的视觉敏感度较高，则量化控制设备5103减小量化参数(执行更为精细的量化)。如果视觉敏感度较低，则量化控制设备5103增大量化参数(执行更为粗糙的量化)(量化越精细，则图像质量越高)。
在诸如AVC等现有技术中，限制了只允许将一个量化参数发送到一个MB，以便减少要传输的量化参数的信息量。
由于这一限制，以同一量化宽度，即同一量化特性，来对组成MB的块的所有正交变换系数(在亮度信号的情况下，有256个系数)进行量化。
因此，现有技术具有如下三个问题。
第一个问题是，组成MB的各个块不一定具有相同的图案。在这种情况下，现有技术无法执行适合于组成MB的每一个块的图案的量化。
第二个问题是，在组成MB的每一个块允许独立的帧内预测或组成MB的每一个块允许使用独立矢量的帧间预测的运动图像编码操作中，最小化预测误差的性能(下文中称之为预测性能)对于组成MB的每一个块而有不同。在这种情况下，现有技术无法执行适合于组成MB的每一个块的预测性能的量化。
第三个问题是，对应于块中坐标(下文中称之为空间频率)的正交变换系数的分布由于第一和第二个原因而变化，并且组成MB的各个块并不显示出统一的分布。在这种情况下，现有技术无法执行适合于每一个块的正交变换系数分布的量化。
由于存在这些问题，因此在现有技术中，只好根据MB中在频域中的最高视觉敏感度或MB中在空间域中显示出最高视觉敏感度的块来确定MB的量化参数。结果，在频域中显示出低视觉敏感度的其他变换系数，或者在空间域中显示出低视觉敏感度的块被量化得比所需要的更加精细。也就是说，冗余的信息量被分配给显示出低视觉敏感度的变换系数。
日本专利未决公开第2003-230142(参考文献1)中公开了如下技术：通过在帧内预测中对组成MB的所有块中的变换系数中的高频变换系数的剪切多于低频变换系数，并且禁止上述系数在帧间预测中被剪切，来提高整个图像帧的平均主观图像质量，而不传输任何量化特性附加信息。
发明内容
本发明要解决的问题
根据像在现有技术中那样为多个变换系数或作为组成元素的每一个都包括多个变换系数的一组块设置相同量化参数的方法，无法执行适合于块的图案、块的预测性能、以及块的变换系数分布的量化。不过，在为各个变换系数或作为组成元素的每一个都包括多个变换系数的各个块设置和传输量化参数的方法中，量化参数的代码量(下文中称之为量化特性附加信息)变得非常大。因此该技术无法以预定的代码量来进行图像编码。
另外，在参考文献1中所公开的技术无法根据作为图像帧的最小组成元素的每个块(也就是组成MB的每一个块)的图案/每个块的预测性能/在每个块中的系数分布来实施量化。结果，在图像帧中发生局部图像质量恶化。也就是说，无法解决上述的问题1、2和3。
本发明的提出考虑到了上述问题，并且其目的是提出一种高质量图像编码技术，该技术在不使用任何量化特性附加信息的情况下，可以对每一个变换系数和作为组成元素的包括多个变换系数的每一个块实施强度可变的量化。
另外，本发明的一个目的是允许在以相同量化宽度来对多个变换系数进行量化的变换编码技术中，根据频域中变换系数的视觉敏感度来进行量化，并且提供高质量的图像，而不向比特流添加任何信息。
进而，本发明的一个目的是允许在以相同量化宽度来对作为组成元素的每一个都包括多个变换系数的一组块进行量化的变换编码技术中，根据空间域中块的视觉敏感度来进行量化，并且提供更高质量的图像，而不向比特流添加任何信息。
为了解决上述问题，根据本发明的图像编码方法的特征是包括如下步骤：通过将图像从空间域变换到频域来生成变换系数，并且通过使用与解码时的量化宽度相同的量化宽度、以与解码时的量化特性不同的量化特性，来对变换系数进行量化。
另外，根据本发明的图像编码设备的特征是包括：变换装置，用于通过将图像从空间域变换到频域来生成变换系数；以及量化装置，用于通过使用与解码时的量化宽度相同的量化宽度、以与解码时的量化特性不同的量化特性，来对变换系数进行量化。
此外，根据本发明的图像编码控制程序的特征是使计算机起到如下装置的作用：变换装置，用于通过将图像从空间域变换到频域来生成变换系数；以及量化装置，用于通过使用与解码时的量化宽度相同的量化宽度、以与解码时的量化特性不同的量化特性，来对变换系数进行量化。
本发明的效果
本发明包括如下装置，该装置在图像的变换编码技术中用于设置对应于频域中的变换系数的视觉敏感度或空间域中作为组成元素的包括多个变换系数的块的视觉敏感度的死区宽度。因此能够提供对应于频域中的变换系数的视觉敏感度和空间域中作为组成元素的包括多个变换系数的块的视觉敏感度的量化功能。
本发明能够减少在频域中具有较低视觉敏感度的变换系数和在空间域中具有较低视觉敏感度的块所耗费的代码量，而与由量化参数确定的量化宽度无关。与现有方案相比，减少代码量可以对整个图像帧进行更为精细的量化，并且以较高的图像质量对在频域中具有较高视觉敏感度的变换系数和在空间域中具有较高视觉敏感度的块进行编码。
附图说明
图1为示出了现有技术的结构的视图；
图2为示出了图像帧(当分辨率为QCIF时，只有一个亮度信号)的视图；
图3为示出了第一实施例的结构例子的视图；
图4为生成死区的流程图；
图5为生成块死区标度(dead zone scale)的流程图；
图6为对一个正交变换系数进行量化的流程图；
图7为示出了现有方案中的量化特性(量化步长q)的视图；
图8为示出了根据本发明的量化特性(量化步长q，死区宽度dz＝2q)的视图；
图9为示出了现有方案中的量化特性(量化步长q’＝4q)的视图；
图10为用于解释本发明效果的视图，其中a表示每一个块的复杂度(越小越平滑)，b表示现有技术中的量化强度，并且c表示本发明的量化强度(MB的量化强度＝20)；
图11为示出了第二实施例的结构的例子的视图；
图12为示出了空间频率死区标度生成器的结构的例子的视图；
图13为示出了空间频率设备特征类型设置设备的操作的流程图；
图14为用于解释本发明的效果的视图，其中d表示MB中的块空间频率特征类型，e表示现有技术中的量化类型，并且f表示本发明中的量化类型(“1”表示双向预测块，“2”表示非孤立运动块，并且“3”表示正常运动块)。
图15为示出了特定类型的量化强度特征(仅在块内水平方向上)的视图；
图16为示出了第三实施例的结构的例子的视图；
图17为示出了混合死区标度生成器的结构的例子的视图；
图18为示出了第四实施例的结构的例子的视图；
图19为示出了间距(gap)校正死区标度生成器的操作的流程图；以及
图20为示出了使用本发明的信息处理设备的结构的视图。
具体实施方式
根据本发明，在例如如图3所示的图像编码中，通过使用死区生成器201和块死区标度生成器202，通过使用具有与解码时设置的量化宽度相同的量化宽度的死区来量化每一个变换系数，从而以与解码时的量化特征不同的量化特征对每一个变换系数进行量化。
另外，通过自适应地改变每一个变换系数或作为组成元素的包括多个变换系数的每一个块的死区宽度，来提供对应于频域中的变换系数的视觉敏感度和空间域中的作为组成元素的包括多个变换系数的块的视觉敏感度的量化功能。能够进一步减少代码量。
更为具体地说，对于在频域中具有较高视觉敏感度的变换系数，或者在空间域中具有较高视觉敏感度的块，可以将死区宽度设置得较小，并且对于在频域中具有较低视觉敏感度的变换系数，或者在空间域中具有较低视觉敏感度的块，可以将死区宽度设置得较大。另外，根据图像的平滑度，自适应地更改死区宽度。在这种情况下，根据图像的预测模式、图像的帧内预测方向、图像的运动、图像的帧间预测方向、图像的平均绝对误差、图像的变化、图像的最大值与最小值之差、图像的预测误差信号的平均绝对误差、以及图像的预测误差信号的变化中的至少一个计算出图像的平滑度。
下面来讲述具体的实施例。
第一实施例
下面来讲述本发明的第一实施例。
图3示出了第一实施例的结构的例子。
在该实施例中，形成运动图像的图像帧被分割成被称作宏块(MB)的多个区域，并且对通过进一步分割每一个MB所获得的每一个块进行编码。
从上述MB中，提取出由根据在过去重构的同一图像帧内部进行预测的帧内预测设备108或由根据在过去重构的过去图像帧进行预测的帧间预测设备109所提供的预测值。已经从中提取出预测值的MB信号被称为预测误差信号。
上述预测误差信号被分成更小的块(下文中简单称其为块)，并且通过正交变换设备101将每一个块从空间域变换到频域。
量化设备102对已经变换到上述频域的块的正交变换系数进行量化，量化步长对应于量化参数。
对于每一个MB，量化参数由量化控制设备103提供至量化设备102。一般地，量化控制设备103监视所生成的代码量。如果所生成的代码量大于目标代码量，则量化控制设备103增大量化参数。如果所生成的代码量小于目标代码量，则量化控制设备103减小量化参数。因此能够以目标代码量来对运动图像进行编码。
已经量化的正交变换系数被称为量化变换系数。通过变长编码器104对该系数进行熵编码，并且将其输出。
在随后的编码中，通过逆量化设备105对上述量化变换设备进行逆量化，并且进而通过逆正交变换设备106来对其进行逆正交变换，以便将其恢复到原来的空间域中。
将上述预测值添加到恢复到空间域中的块，并且将结果数据存储到帧存储器107中。由存储的块所重构的图像帧被称作参考帧。
帧内预测设备108根据参考帧检测出当前MB的预测误差信号被最小化的预测方向。帧间预测设备109根据参考帧检测出当前MB的预测误差信号被最小化所使用的运动矢量。预测确定开关110将由于上述帧内预测而引起的预测误差与由于帧间预测而引起的预测误差进行比较，并且选择对应于较小预测误差的预测。
另外，在该实施例中，当对由正交变换设备101所提供的正交变换系数进行量化时，量化设备102使用死区。死区是使与输入接近于0(零)相对应的输出为0(零)的区。执行这种操作的输入范围被称为死区宽度。在这种情况下，如果在死区宽度中包括正交变换系数，则量化设备102使通过对正交变换系数进行量化而获得的输出，即量化变换系数为0(零)。
通过死区生成器201和块死区标度生成器202来生成死区宽度。
块死区标度生成器202接收图像信号和预测误差，分析目标块的图案或预测性能，并且将适合于块的图案或预测性能的死区标度输出到死区生成器201。
死区生成器201接收来自块死区标度生成器202的死区标度，以及来自量化控制设备103的MB量化参数，根据死区标度和MB量化参数来计算死区宽度，并且将死区宽度输出到量化设备102。更为确切地说，死区宽度是通过将死区标度乘以MB量化参数而得到的。因此，死区标度是用于获取死区宽度的MB量化参数的系数。
为了解释得更为具体，假设在下面的叙述中，图像帧尺寸为QCIF(176×144)尺寸，MB的尺寸为16×16尺寸，并且块的尺寸为4×4尺寸。显然，本发明还可应用于使用其他尺寸的情况。
下面来讲述作为该实施例的典型特征的死区生成器201和伴随着由块死区标度生成器202和死区生成器201进行的内部操作的改变的量化设备102。
下面来讲述死区生成器201的输入/输出和操作。
死区生成器201的输入是在当前被量化设备102所处理的MB中对应于光栅扫描顺序中的第b个块的死区标度dz_scale(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)，以及由量化控制设备103所提供的量化参数mb_q。
死区生成器201的输出是在当前被量化设备102所处理的MB中对应于光栅扫描顺序中第b个块的正交变换系数cof(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)的死区宽度dz(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)。
下面参考图4来讲述死区生成器201的操作。
在步骤S101中，根据量化参数mb_q计算出参考死区base_dz(i，j)(0≤i≤3，0≤j≤3)。所使用的参考死区的计算方法根据本发明所连接的编码器(下文中称之为基编码器)是否使用量化矩阵WM(i，j)(0≤i≤3，0≤j≤3)而改变。量化矩阵是对应于量化中的除法和逆量化中的乘法的空间频率的权重参数(量化附加信息)。使用量化矩阵，可以改变每一个空间频率的量化宽度。在步骤S101A和步骤S101B中分别描述了当使用量化矩阵时要执行的步骤和当不使用量化矩阵时要执行的步骤。注意，下面所通用的量化步长mb_q_step被设置为mb_q_step＝q_step_table[q]。量化步长q_step_table[q]是对应于由基编码器所定义的量化参数q的量化步长(Q_MIN≤p≤Q_MAX；其中Q_MIN和Q_MAX取决于基编码器)。
在步骤S101A中，使用公式(1)来计算参考死区base_dz(i，j)：
base_dz(i，j)＝mb_q_step x WM(i，j)           …(1)
在步骤S101B中，使用公式(2)来计算参考死区base_dz(i，j)：
base_dz(i，j)＝mb_q_step                      …(2)
在步骤S102中，根据公式(3)，使用参考死区base_dz(i，j)和死区标度dz_scale(b，i，j)来计算死区宽度dz(i，j)：
dz(b，i，j)＝base_dz(i，j)x dz_scale(b，i，j) …(3)
注意，可以根据死区标度dz_scale(b，i，j)的值来任意设置死区宽度dz(b，i，j)。
上面已经讲述了死区生成器201的输入/输出和操作。
对于作为组成元素的包括多个变换系数的每一个块，死区标度生成器202生成适合于每一个块的图案或预测性能的死区标度。
下面来讲述块死区标度生成器202的输入/输出和操作。
块死区标度生成器202的输入是在当前被量化设备102所处理的MB中对应于光栅扫描顺序中的第b个块的输入图像信号org(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)，以及预测误差信号pd(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)。
在这种情况下，输入信号的比特精度对应于无符号的n个比特。
块死区标度生成器202的输出是在当前被量化设备102所处理的MB中对应于光栅扫描顺序中第b个块的死区标度dz_scale(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)。
块死区标度生成器202用来生成死区标度的信号是图像特征量信号imf(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)。
下面参考图5来讲述块死区标度生成器202的操作。
在步骤S301中，选择了图像特征量信号。有下述三种选择：
1(C301A)当除了所生成的代码量以外，基编码器的量化设备102还通过使用输入图像信号来确定量化参数时，输入图像信号org(b，i，j)连接到图像特征量信号imf(b，i，j)。
2(C301B)当除了所生成的代码量和输入图像信号以外，基编码器的量化设备102还通过使用预测误差信号pd来确定量化参数时，预测误差信号pd(b，i，j)连接到图像特征量信号imf(b，i，j)。
3(C301C)在除了C301A和C301B之外的情况下，输入图像信号org(b，i，j)连接到图像特征量信号imf(b，i，j)。
在步骤S302中，通过公式(4)和(5)来计算对应于每一个块号b(0≤b≤15)的平均绝对误差L1AC(b)(0≤b≤15)：
L 1 AC ( b ) = 1 16 x Σ j = 0 3 Σ i = 0 3 abs ( imf ( b , i , j ) - ave ) - - - ( 4 )
ave = 1 16 x Σ j = 0 3 Σ i = 0 3 imf ( b , i , j ) - - - ( 5 )
在这种情况下，abs(x)是返回输入x的绝对值的函数，并且平均绝对误差L1AC(b)(1≤L1AC(b)≤n)表示块b中的图像特征量信号的分散。
在步骤S303中，使用公式(6)来计算对应于每一个块号b(0≤b≤15)的块复杂度bcm(b)(0≤b≤15)：
bcm ( b ) = max ( 1.0 , n 2 n - 1 × L 1 AC ( b ) ) - - - ( 6 )
其中max(x，y)是返回输入x和y的值中的较大一个的函数。
随着块复杂度bcm(b)(1≤bcm(b)≤n)的减小，块就越平滑，并且人的视觉敏感度就越高。另外，随着块复杂度bcm(b)的增大，块变得越复杂，并且人的视觉敏感度就越低。
考虑到这一现象，可以通过随着块复杂度的减小而减小块的量化强度，来根据空间域中块的视觉敏感度(图案或预测性能)设置量化强度，反之亦然。
在步骤S304中，使用公式(7)来计算对应于每一个块号b(0≤b≤15)的块死区标度bdz_scale(b)(0≤b≤15)：
bdz_scale(b)＝clip(bdz_limit，(bcm(b)/min_bcm))    …(7)
min_bcm＝min(bcm(b))                               …(8)
其中bdz_limit是小于n的参数，clip(x，y)是用于返回输入x和y的值中较小一个的函数，并且min(bcm(b))是用于返回bcm(b)(1≤bcm(b)≤n)的最小值的函数。减小bdz_limit就可以减少每一个块的量化强度的改变。增大bdz_limit可以动态改变每一个块的量化强度。
注意，当还考虑到块周围的复杂度来计算死区标度时，可以使用公式(7A)来代替公式(7)：
bdz_scale(b)＝clip(bdz_limit，(local_bcm(b)
              /min_local bcm))                  …(7A)
min_local_bcm＝min(local_bcm(b))                …(8A)
其中local_bcm(b)是用于返回目标块b和其相邻块的的最小bcm值的函数，并且min(local_bcm(b))是用于返回local_bcm(b)(1≤bcm(b)≤n)的最小值的函数。
在步骤S305中，使用公式(9)，在对应于每一个块号b(0≤b≤15)的死区标度dz_scale(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)中，设置块死区标度bdz_scale(b)：
dz_scale(b，i，j)＝bdz_scale(b)(0≤i≤3，0≤j≤3)    …(9)
通过对块死区标度生成器202进行上述操作，随着空间域中块的视觉敏感度的增大，死区标度dz_scale减小，反之亦然。
注意，如果输入图像信号org(b，i，j)被连接到图像特征量信号f(b，i，j)，则可以使用块的像素范围(最大和最小像素值之差)来代替平均绝对误差。也就是说，使用能够从其中获取块的复杂度的任何信息就足够了。
上面已经讲述了块死区标度生成器202的输入/输出和操作。
下面来讲述量化设备102的输入/输出和操作。
量化设备102的输入是由死区生成器201所提供的死区宽度dz(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)，由正交变换设备101所提供的正交变换系数cof(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)，以及由量化控制设备103所提供的量化参数mb_q。
量化设备102的输出是量化变换系数q_cof(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)。
只有死区宽度dz(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)作为输入被添加到现有结构中。不过，由于下面要描述的操作的影响，量化变换系数q_cof(b，i，j)的输出值不同于现有方案中的情况。
下面参考图6来讲述量化设备102的操作。
在步骤S201中，通过比较来检查正交变换系数cof(b，i，j)的绝对值abs_cof是否小于死区宽度dz(b，i，j)。如果在步骤S201中为是，则流程进行到步骤S202；否则，进行到步骤S203。
在步骤S202中，量化变换系数q_cof(b，i，j)被设置为0。
在步骤S203中，通过下述计算方法来获得量化变换系数q_cof(b，i，j)。
所使用的量化变换系数计算方法根据基编码器是否使用了量化矩阵WM(i，j)(0≤i≤3，0≤j≤3)而改变。步骤S203A和步骤S203B分别描述了当使用量化矩阵时要执行的步骤和当不使用量化矩阵时要执行的步骤。
下面所通用的量化步长mb_q_step被设置为mb_q_step＝q_step_table[q]。量化步长q_step_table[q]是对应于由基编码器所定义的量化参数q的量化步长(Q_MIN≤p≤Q_MAX；其中Q_MIN和Q_MAX取决于基编码器)。
在步骤S203A中，通过公式(10A)来计算量化变换系数q_cof(b，i，j)：
Figure A20058000549300211
qc＝(abs(cof(b，i，j))+fx(WM(i，j)x
    mb_q_step))/(WM(i，j)x mb_q_step)             …(11A)
其中abs(x)是返回输入x的绝对值的函数，并且f是取决于基编码器的小于1的参数。如果该参数被四舍五入(round off)，则其被设置为0.5。如果该参数被下舍入(round down)，其被设置为0。
在步骤S203B中，通过公式(10B)来计算量化变换系数q_cof(b，i，j)：
qc＝(abs(cof(b，i，j))+fxmb_q_step)/mb_q_step    …(11B)
其中abs(x)是返回输入x的绝对值的函数，并且f是取决于基编码器的小于1的参数。如果该参数被四舍五入，则其被设置为0.5。如果该参数被下舍入，将其被设置为0。
当将上述处理应用到MB中的所有正交变换系数cof(b，i，j)(0≤i≤3，0≤j≤3)时，就完成了一个MB的量化。
上面已经讲述了量化设备102的输入/输出和操作。
下面来讲述本发明的效果。
首先来讲述通过改变死区来改变量化强度的原理。
下面参考图7、8和9来讲述基于死区dz的量化特性中的差别(当在基编码器中没有设置量化矩阵，并且f是0.5时)。量化特性表示量化设备102的输入cof和逆量化设备105的输出icof之间的关系。
图7示出了具有量化步长q的现有量化特性。图8示出了具有量化步长q和死区宽度dz＝2q的根据本发明的方案的量化特性。图9为具有量化步长q’＝4q的现有量化特性。(如图7和9所示的特性也叫做本发明的具有死区宽度dz＝0的量化特性)。当对如图7和8所示的特性进行相互比较时，由于死区宽度dz，小于dz＝2q的输入cof的输出i_cof被设置为0。参考图9，由于具有四倍量化步长的量化，因此小于2q的输入cof的输出i_cof被设置为0。
这意味着通过本发明，以量化步长q’＝4q来量化等于或小于死区宽度dz的输入，而不改变量化步长q。
另外，在将死区宽度添加到运动图像比特流中时，不需要传输死区宽度。
也就是说，通过为每一个变换系数改变死区宽度dz，可以为每一个变换系数任意执行量化，而不添加任何量化附加信息。
通过在考虑块的图案、块的预测性能、或块中正交变换系数的分布以及块的预测模式的基础上来控制死区宽度dz，可以获得最适合于块的视觉敏感度或块中的变换系数的视觉敏感度的量化。
在本发明的第一实施例中，通过使用由块死区标度生成器202所提供的死区标度dz_scale，可以在考虑块的图案/块的预测性能的基础上来执行控制，而不添加任何量化附加信息。也就是说，如图10所示，可以根据空间域中块的视觉敏感度来执行量化强度设置。
根据本发明，可以设置适合于空间域中块的视觉敏感度的量化强度。可以减少为具有低视觉敏感度的块所生成的冗余代码量。这样减少了在整个图像帧中所生成的代码量，并且减少了图像帧的整体量化参数。结果，在空间域中具有高视觉敏感度的块可以被量化得比现有方案中更为精细，并且因此能够以较高的图像质量进行编码。
上面已经讲述了第一实施例。
第二实施例
下面来讲述本发明的第二实施例。
图11示出了本发明的第二实施例的结构。第二实施例的结构包括空间频率死区标度生成器203，以取代第一实施例的结构中的块死区标度生成器202。空间频率死区标度生成器203将在图像帧中的以光栅扫描顺序对应于第b块的死区标度dz_scale(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)提供给死区生成器201。
为了解释得更为具体，假设在下面的叙述中，图像帧的尺寸为QCIF(176×144)尺寸，MB的尺寸为16×16尺寸，并且块的尺寸为4×4尺寸。显然，本发明还可应用于使用其他尺寸的情况。
下面来讲述作为第二实施例的典型特征的空间频率死区标度生成器203。注意，这里省略了对与第一实施例的结构中相同部分的详细讲述。
空间频率死区标度生成器203生成适合于组成MB的每一个块的正交变换系数分布的死区标度。
下面来讲述空间频率死区标度生成器203的输入/输出。
空间频率死区标度生成器203的输入是在当前被量化设备102所处理的MB中对应于光栅扫描顺序中的第b个块的输入图像信号org(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)，在当前被量化设备102所处理的MB中对应于光栅扫描顺序中的第b个块的预测模式mode(b)(0≤b≤15)，以及运动矢量mv(b，dir)(0≤b≤15，0≤dir≤1)。在这种情况下，dir表示运动矢量的方向，0表示水平方向并且1表示垂直方向。
预测模式包括从同一图像帧内部进行预测的帧内预测模式(零个运动矢量)，由一个过去或未来图像帧进行预测的帧间预测模式(一个运动矢量)，以及从未来和过去两个帧进行预测的双向帧预测模式(两个运动矢量)。
空间频率死区标度生成器203的输出是在当前被量化设备102所处理的MB中对应于光栅扫描顺序中第b个块的死区标度dz_scale(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)。
上面已经讲述了空间频率死区标度生成器203的输入/输出。
图12示出了空间频率死区标度生成器203的内部结构。下面来讲述该生成器的操作。
空间频率死区标度生成器203包括空间频率特性类型设置设备2031和特定特性类型死区标度设备2032。
空间频率特性类型设置设备2031利用输入图像、预测模式和运动矢量，输出在当前被量化设备102所处理的MB中对应于光栅扫描顺序中第b个块的正交变换系数分布的特性type(b)(0≤b≤15，0≤type(b)≤3)。
下面参考图13来讲述空间频率特性类型设置设备2031的操作。
在步骤S4101中，确定块b的预测模式是否为帧内预测。如果确定是帧内预测，则执行步骤S41011。
在步骤S41011中，如果公式(12)的值大于预定的阈值edge_th，则确定块b具有特性type(b)＝4，并且结束处理。否则，确定块b具有特性type(b)＝0，并且结束处理。
Range＝max_v(b，i，j)-min_v(b，i，j)                …(12)
其中max_v(b，i，j)是返回块b的最大像素值org(b，i，j)(0≤i≤3，0≤j≤3)的函数，并且min_v(b，i，j)是返回块b的最小像素值org(b，i，j)(0≤i≤3，0≤j≤3)的函数。
帧内预测块的预测性能低于帧间预测块的预测性能，因此造成较大的预测误差。
如果块是平滑的或纹理性块，优选情况下该块中的低频分量的变换系数被精细量化，而高频分量的变换系数被粗糙量化。
如果该块是边缘，由于在高频处出现主观上比较重要的系数，因此优选情况下以统一的强度来量化各个频率的变换系数。
在步骤S4102中，确定块b的预测模式是否为双向预测模式，如果确定为双向预测模式，则确定块b具有特性type(b)＝1，并且结束处理。否则，执行步骤S4103。
双向预测块的内部为具有较高视觉敏感度的平区域或静止区域。注意，由于具有小功率的预测误差信号是在压缩未来或过去帧时产生的噪声，因此优选情况下设置的量化强度忽略具有较小功率的预测误差信号。
在步骤S4103中，通过公式(13)来计算块b的运动矢量mv(b，dire)(0≤b≤15，0≤dir≤1)的分散度msv。如果运动矢量的分散度小于预定的运动矢量分散度阈值mvs_thres，则确定块b具有特性type(b)＝2，并且结束处理。否则，执行步骤S4104。
mvs＝abs(mv(b，0)-u_mv(b，0)+abs(mv(b，1)-
     u_mv(b，1))+abs(mv(b，0)-1_mv(b，0))+
     abs(mv(b，1)-1_mv(b，1))                        …(13)
其中abs(x)是返回输入x的绝对值的函数，u_mv(b，dir)是返回位于块b的上端的相邻块的dir方向上的运动矢量mv的函数，并且l_mv(b，dir)是返回位于块b的左端的相邻块的dir方向上的运动矢量mv的函数。
非孤立运动块是平区域或静止区域，因此具有高的视觉敏感度。注意，由于具有小功率的预测误差信号是在压缩未来或过去帧时产生的噪声，因此优选情况下设置的量化强度忽略了具有较小功率的预测误差信号。
在步骤S4104中，确定块b的垂直和水平运动矢量长度mv(b，dir)(0≤b≤15，0≤dir≤1)是大于预定快速运动矢量长度阈值hs_mv_thres(是快速运动块)，还是小于该阈值(是一般运动块)。如果确定是快速运动块，则确定块b具有特性type(b)＝0。否则，确定块b具有特性type(b)＝3。然后结束处理。
对于快速运动块，无法进行运动预测，并且因此像在帧内预测的情况中的那样，出现大的预测误差。不过，由于运动非常快，并且人眼很难跟上，因此优选情况下为高频分量的变换系数设置高的量化强度，像在帧内预测中的那样。
一般运动块与帧内预测中的情况相比，趋向于具有较小的预测误差。因此优选情况下，为高频分量的变换系数设置的量化强度比帧内预测中设置的更为适中。
可以通过步骤S4101至S4104中的处理来为各个块的变换系数的特性进行分类。
上面已经讲述了空间频率特性类型设置设备2031的操作。
下面来讲述特定特性类型死区标度设备2032的操作。
特定特性类型死区标度设备2032根据对应于由空间频率特性类型设置设备2031所提供的第b个块的特性type(b)，来计算当前被量化设备102所处理的MB中对应于光栅扫描顺序中的第b个块的死区标度dz_scale(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)。下面是根据不同特性类型(类型0至类型3)来计算块b的死区标度的方法：
类型0(作为非边缘或快速运动块的帧内预测块)
dz_scale(b，i，j)＝B0(i，j)                …(14)
类型1(双向预测块)
dz_scale(b，i，j)＝B1                      …(15)
类型2(非孤立运动块)
dz_scale(b，i，j)＝B2                      …(16)
类型3(一般运动块)
dz_scale(b，i，j)＝B3(i，j)                …(17)
类型4(帧内预测块和边缘)
dz_scale(b，i，j)＝B4                      …(18)
在这种情况下，B0、B1、B2、B3和B4是预测参数。B0(i，j)＝{{0，1.1，1.3，1.6}，{1.1，1.3，1.6，1.8}，{1.3，1.6，1.8，2.0}，{1.6，1.8，2.0，2.8}}，并且B3(x)＝{{0，1.1，1.3，1.4}，{1.1，1.3，1.4，1.6}，{1.3，1.4，1.6，1.8}，{1.4，1.6，1.8，2.0}}，并且B4＞B1＞B2＞1。注意，在该实施例中如果块的宽度bw是除了4以外的数值，则B0和B3的值可以通过公式(19)来计算如下。
B(i，j)＝K(i，j)x(i2+j2)0.25               …(19)
其中K(i，j)的值取决于空间频率(i，j)，并且大于1。注意，如果设置了帧内预测模式，并且可以由预测确定110提供预测方向pred_dir，则优选情况下根据预测方向pred_dir(垂直的、水平的、倾斜的或其他)来改变type(0)的梯度。例如，如果预测方向是水平方向，则在水平方向中，块的图案是平滑的。因此，优选情况下生成死区标度dz_scale，以便对与水平方向i上的频率相对应的变换系数的量化系数比对垂直方向j上的频率的变换系数的量化系数进行更为精细的量化。
上面已经讲述了特定特性类型死区标度设备2032和空间频率死区标度生成器203的操作。
根据本发明的第二实施例，可以通过使用由空间频率死区标度生成器203所提供的死区标度dz_scale来设置对应于每一个块的变换系数分布的死区宽度。也就是说，如图14和15所示，可以在考虑频域中每一个变换系数的视觉敏感度的情况下来执行量化，而不添加任何量化附加信息。
根据本发明，设置了对应于每一个块的变换系数分布的数据区，并且可以减少具有频域中的低视觉敏感度的变换系数的生成代码量。这样可以减少整个图像帧的生成代码量，并且减少了图像帧的整体量化参数。结果，在频域中具有高视觉敏感度的变换系数被量化得比现有方案中更为精细，并且因此能够以较高的图像质量进行编码。
上面已经讲述了第二实施例。
第三实施例
下面来讲述本发明的第三实施例。
图16示出了本发明的第三实施例的结构。第三实施例的结构包括混合死区标度生成器204，以取代第一实施例的结构中的块死区标度生成器202。空间频率死区标度生成器203将对应于图像帧中的光栅扫描顺序中的第b块的死区标度dz_scale(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)提供给死区生成器201。
为了解释得更为具体，假设在下面的叙述中，图像帧尺寸为QCIF(176×144)尺寸，MB的尺寸为16×16尺寸，并且形成MB的块的尺寸为4×4尺寸。显然，本发明还可应用于使用其他尺寸的情况。
此外，下面来讲述作为第三实施例的典型特征的混合死区标度生成器204。注意，这里省略了对与第一实施例的结构中相同部分的详细讲述。
混合死区标度生成器204生成适合于每一个块的图案、每一个块的预测性能以及每一个块的正交变换系数分布的死区标度。
下面来讲述混合死区标度生成器204的输入/输出和操作。
混合死区标度生成器204的输入是在当前被量化设备102所处理的MB中对应于光栅扫描顺序中的第b个块的预测模式mode(b)(0≤b≤15)，运动矢量mv(b，dir)(0≤b≤15，0≤dir≤1)，输入图像信号org(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)，以及预测误差信号pd(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)。
混合死区标度生成器204的输出是在当前被量化设备102所处理的MB中对应于光栅扫描顺序中的第b个块的死区标度dz_scale(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)。
图17示出了混合死区标度生成器204的内部结构。下面来讲述该生成器的操作。
如图17所示，混合死区标度生成器204包括块死区标度生成器202、空间频率死区标度生成器203和混合器2041。
块死区标度生成器202与第一实施例中所述的相同，并且空间频率死区标度生成器203与第二实施例中所述的相同。
因此，下面只讲述了混合器2041的输入/输出和操作。
混合器2041的输入是：在当前被量化设备102所处理的MB中对应于光栅扫描顺序中的第b个块的死区标度1dz_scale 1(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)，它由块死区标度生成器202所提供；在当前被量化设备102所处理的MB中对应于光栅扫描顺序中的第b个块的死区标度2dz_scale 2(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)，它由空间频率死区标度生成器203所提供；以及表示在当前被量化设备102所处理的MB中对应于光栅扫描顺序中的第b个块的变换系数分布的特性type(b)(0≤b≤15，0≤type(b)≤3)，它由空间频率死区标度生成器203所提供。
混合器2041的输出是在当前被量化设备102所处理的MB中对应于光栅扫描顺序中第b个块的死区标度dz_scale(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)。
混合器2041根据块b的特性类型type(b)来计算死区标度dz_scale(b，i，j)。
类型0(作为非边缘或快速运动块的帧内预测块)
dz_scale(b，i，j)＝dz_scale1(b，i，j)x
                   dz_scale2(b，i，j)         …(20)
类型1(双向预测块)
dz_scale(b，i，j)＝max(dz_scale1(b，i，j)，
                   dz_scale2(b，i，j))        …(21)
类型2(非孤立运动块)
dz_scale(b，i，j)＝max(dz_scale1(b，i，j)，
                   dz_scale2(b，i，j))        …(21)
类型3(一般运动块)
dz_scale(b，i，j)＝dz_scale1(b，i，j)x
                   dz_scale2(b，i，j)         …(20)
类型4(帧内预测块和边缘)
dz_scale(b，i，j)＝max(dz_scale1(b，i，j)，
                   dz_scale2(b，i，j))        …(21)
上面已经讲述了混合器2041和混合死区标度生成器204的操作。
本发明可以执行适合于空间域中块的视觉敏感度(图案，预测性能)以及频域中变换系数的视觉敏感度(分布)的量化。这样减少了整个图像帧的生成代码量，并且减少了图像帧的整体量化参数。结果，在空间域中具有高视觉敏感度的块和在频域中具有高视觉敏感度的变换系数被量化得比现有方案中更为精细，并且因此能够以较高的图像质量进行编码。
上面已经讲述了第三实施例。
第四实施例
下面来讲述本发明的第四实施例。
图18示出了本发明的第四实施例的结构。第四实施例的结构包括间距校正死区标度生成器205，以取代第一实施例的结构中的块死区标度生成器202。间距校正死区标度生成器205将对应于图像帧中的光栅扫描顺序中的第b块的死区标度dz_scale(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)提供给死区生成器201。
为了解释得更为具体，假设在下面的叙述中，图像帧尺寸为QCIF(176×144)尺寸，MB的尺寸为16×16尺寸，并且形成MB的块的尺寸为4×4尺寸。显然，本发明还可应用于使用其他尺寸的情况。
下面来讲述作为间距校正死区标度生成器205的输入/输出和操作。
间距校正死区标度生成器205的输入是：当前被量化设备102所处理的MB的真实量化参数mb_q，它由量化控制设备103所提供；以及当前被量化设备102所处理的MB的理想量化参数ideal_q，它由量化控制设备103所提供。
间距校正死区标度生成器205的输出是在当前被量化设备102所处理的MB中对应于光栅扫描顺序中的第b个块的死区标度dz_scale(b，i，j)(0≤b≤15，0≤i≤3，0≤j≤3)。
下面参考图19来讲述间距校正死区标度生成器205的操作。
在步骤S501中，通过使用公式(22)来计算在真实量化参数mb_q和理想量化参数ideal_q之间的间距量化宽度qstep_gap。注意，下面所通用的量化步长mb_q_step被设置为mb_q_step＝q_step_table[q]。量化步长q_step_table[q]是对应于由基编码器所定义的量化参数q的量化步长(Q_MIN≤p≤Q_MAX；Q_MIN和Q_MAX都取决于基编码器)。
Figure A20058000549300331
在步骤S502中，使用公式(23)来从间距量化宽度qstep_gap计算出死区标度dz_scale(b，i，j)：
dz_scale(b，i，j)＝qstep_gap                        …(23)
上面已经讲述了间距校正死区标度生成器205的输入/输出和操作。
当由于间距校正死区标度生成器205的影响而在基编码器中产生如下两个问题时，可以校正在理想MB量化强度和真实MB量化强度之间的间距。
一个问题是由基编码器的预测确定110所选择的MB预测模式无法传输当前MB的量化参数或与该MB的量化参数的差，并且基编码器的量化控制设备103的理想MB量化参数大于真实MB量化参数。
另一个问题是对于每一个MB，对能够传输到基编码器的当前MB的量化参数的差delta_mb_Q施加了限制(例如，-2≤delta_mb_Q≤2)，并且基编码器的量化控制设备103的理想MB量化参数大于真实MB量化参数。
如上所述校正量化强度间距，可以减少具有低视觉敏感度的MB所耗费的冗余代码量。通过减少代码量，减小了整个图像帧的量化参数，并且可以更为精细地量化具有较高视觉敏感度的MB。因此，根据本发明，可以用比现有方案中更高的图像质量来进行编码。
上面已经讲述了第四实施例。
第五实施例
下面来讲述本发明的第五实施例。
从上面的描述中明显可以看出，除了由硬件进行实施以外，还可以通过计算机程序来实施根据本发明的图像编码设备。
图20为示出了实施根据本发明的运动图像编码设备的信息处理系统的结构的一般框图。
图20所示的信息处理系统(计算机)包括处理器A1001、程序存储器A1002以及存储介质A1003和A1004。存储介质A1003和A1004可以是个别的存储介质，或者可以是在同一存储介质中的存储器区域。可以使用诸如硬盘等磁存储介质来作为存储介质。
如上所述，本发明包括如下装置，该装置用于在图像的变换编码技术中设置对应于频域中变换系数的视觉敏感度或在空间域中作为组成元素的包括多个变换系数的块的视觉敏感度的死区宽度。因此可以提供对应于频域中变换系数的视觉敏感度和空间域中作为组成元素的包括多个变换系数的块的视觉敏感度的量化功能。
另外，本发明可以减少在频域中具有低视觉敏感度的变换系数和在空间域中具有低视觉敏感度的块所耗费的代码量，而与由量化参数所确定的量化宽度无关。减少代码量可以比现有方案更加精细地量化整个图像帧，并且可以以高的图像质量来对在频域中具有高视觉敏感度的变换系数和在空间域中具有高视觉敏感度的块进行编码。

Claims (33)

1.一种图像编码方法，其特征是包括如下步骤：
通过将图像从空间域变换到频域来生成变换系数；以及
通过使用与解码时的量化宽度相同的量化宽度、以与解码时的量化特性不同的量化特性，来对变换系数进行量化。
2.如权利要求1所述的图像编码方法，其特征是量化步骤包括使用死区来量化变换系数的步骤。
3.如权利要求2所述的图像编码方法，其特征是进一步包括设置死区宽度的步骤。
4.如权利要求3所述的图像编码方法，其特征是设置死区宽度的步骤包括为所述每一个变换系数设置死区宽度的步骤。
5.如权利要求3所述的图像编码方法，其特征是设置死区宽度的步骤包括如下步骤：当以相同的量化宽度来对作为组成元素的每一个都包括多个变换系数的一组块进行量化时，为所述每一个块设置死区宽度。
6.如权利要求3所述的图像编码方法，其特征是设置死区宽度的步骤包括自适应地改变死区宽度的步骤。
7.如权利要求4所述的图像编码方法，其特征是设置死区宽度的步骤包括如下步骤：对于频域中具有较高视觉敏感度的变换系数，将死区宽度设置成较小的宽度，而对于频域中具有较低视觉敏感度的变换系数，将死区宽度设置成较大的宽度。
8.如权利要求5所述的图像编码方法，其特征是设置死区宽度的步骤包括如下步骤：对于空间域中具有较高视觉敏感度的块，将死区宽度设置成较小的宽度，而对于空间域中具有较低视觉敏感度的块，将死区宽度设置成较大的宽度。
9.如权利要求6所述的图像编码方法，其特征是改变死区宽度的步骤包括根据图像的平滑度来自适应地改变死区宽度的步骤。
10.如权利要求9所述的图像编码方法，其特征是进一步包括如下步骤：根据图像的预测模式、图像的帧内预测的方向、图像的运动、图像的帧间预测的方向、图像的平均绝对误差、图像的变化、图像的最大值与最小值之差、图像的预测误差信号的平均绝对误差、以及图像的预测误差信号的变化中的至少一个，来计算图像的平滑度。
11.如权利要求3所述的图像编码方法，其特征是设置死区宽度的步骤包括根据理想量化宽度和真实量化宽度之间的关系来获得死区宽度的步骤。
12.一种图像编码设备，其特征是包括：
变换装置，用于通过将图像从空间域变换到频域来生成变换系数；以及
量化装置，用于通过使用与解码时的量化宽度相同的量化宽度、以与解码时的量化特性不同的量化特性，来对变换系数进行量化。
13.如权利要求12所述的图像编码设备，其特征是所述量化装置包括使用死区进行量化的装置。
14.如权利要求13所述的图像编码设备，其特征是进一步包括死区生成装置，用于在所述量化装置中设置死区宽度。
15.如权利要求14所述的图像编码设备，其特征是所述死区生成装置包括死区标度生成装置，用于为所述每一个变换系数设置死区宽度。
16.如权利要求14所述的图像编码设备，其特征是所述死区生成装置包括死区标度生成装置，用于当所述量化装置以相同的量化宽度来对作为组成元素的每一个都包括多个变换系数的一组块进行量化时，为所述每一个块设置死区宽度。
17.如权利要求14所述的图像编码设备，其特征是所述死区生成装置包括死区标度生成装置，用于自适应地改变死区宽度。
18.如权利要求15所述的图像编码设备，其特征是所述死区标度生成装置包括如下装置，对于频域中具有较高视觉敏感度的变换系数，该装置将死区宽度设置成较小的宽度，而对于频域中具有较低视觉敏感度的变换系数，该装置将死区宽度设置成较大的宽度。
19.如权利要求16所述的图像编码设备，其特征是所述死区标度生成装置包括如下装置，对于空间域中具有较高视觉敏感度的块，该装置将死区宽度设置成较小的宽度，而对空间域中具有较低视觉敏感度的块，该装置将死区宽度设置成较大的宽度。
20.如权利要求17所述的图像编码设备，其特征是所述死区标度生成装置包括根据图像平滑度来自适应地改变死区宽度的装置。
21.如权利要求20所述的图像编码设备，其特征是进一步包括如下装置，该装置用于从图像的预测模式、图像的帧内预测的方向、图像的运动、图像的帧间预测的方向、图像的平均绝对误差、图像的变化、图像的最大值与最小值之差、图像的预测误差信号的平均绝对误差、以及图像的预测误差信号的变化中的至少一个，来计算图像的平滑度。
22.如权利要求14所述的图像编码设备，其特征是所述死区生成装置包括死区标度生成装置，用于根据理想量化宽度和真实量化宽度之间的关系来获得死区宽度。
23.一种图像编码控制程序，其特征是使计算机起到如下装置的作用：
变换装置，用于通过将图像从空间域变换到频域来生成变换系数；以及
量化装置，用于通过使用与解码时的量化宽度相同的量化宽度、以与解码时的量化特性不同的量化特性，来对变换系数进行量化。
24.如权利要求23所述的图像编码控制程序，其特征是量化装置包括使用死区进行量化的装置。
25.如权利要求24所述的图像编码控制程序，其特征是使计算机起到死区生成装置的作用，用于在量化装置中设置死区宽度。
26.如权利要求25所述的图像编码控制程序，其特征是死区生成装置包括死区标度生成装置，用于为所述每一个变换系数设置死区宽度。
27.如权利要求25所述的图像编码控制程序，其特征是死区生成装置包括死区标度生成装置，用于当以相同的量化宽度来对作为组成元素的每一个都包括多个变换系数的一组块进行量化时，为所述每一个块设置死区宽度。
28.如权利要求25所述的图像编码控制程序，其特征是死区生成装置包括死区标度生成装置，用于自适应地改变死区宽度。
29.如权利要求26所述的图像编码控制程序，其特征是死区标度生成装置包括如下装置，对于频域中具有较高视觉敏感度的变换系数，该装置将死区宽度设置成较小的宽度，而对于频域中具有较低视觉敏感度的变换系数，该装置将死区宽度设置成较大的宽度。
30.如权利要求27所述的图像编码控制程序，其特征是死区标度生成装置包括如下装置，对于空间域中具有较高视觉敏感度的块，该装置将死区宽度设置成较小的宽度，而对于空间域中具有较低视觉敏感度的块，该装置将死区宽度设置成较大的宽度。
31.如权利要求28所述的图像编码控制程序，其特征是死区标度生成装置包括根据图像平滑度来自适应地改变死区宽度的装置。
32.如权利要求31所述的图像编码控制程序，其特征是使计算机起到如下装置的作用，该装置从图像的预测模式、图像的帧内预测的方向、图像的运动、图像的帧间预测的方向、图像的平均绝对误差、图像的变化、图像的最大值与最小值之差、图像的预测误差信号的平均绝对误差、以及图像的预测误差信号的变化中的至少一个，来计算图像的平滑度。
33.如权利要求25所述的图像编码控制程序，其特征是死区生成装置包括死区标度生成装置，用于根据理想量化宽度和真实量化宽度之间的关系来获得死区宽度。
CN2005800054937A 2004-02-20 2005-02-15 图像编码方法及其设备 Expired - Fee Related CN1922886B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004044011 2004-02-20
JP044011/2004 2004-02-20
PCT/JP2005/002243 WO2005081540A1 (ja) 2004-02-20 2005-02-15 画像符号化方法、その装置及びその制御プログラム

Publications (2)

Publication Number Publication Date
CN1922886A true CN1922886A (zh) 2007-02-28
CN1922886B CN1922886B (zh) 2012-08-01

Family

ID=34879326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800054937A Expired - Fee Related CN1922886B (zh) 2004-02-20 2005-02-15 图像编码方法及其设备

Country Status (7)

Country Link
US (1) US8743956B2 (zh)
EP (3) EP2290986A1 (zh)
JP (2) JP4613909B2 (zh)
KR (1) KR100860147B1 (zh)
CN (1) CN1922886B (zh)
TW (1) TWI255651B (zh)
WO (1) WO2005081540A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102007769A (zh) * 2008-04-17 2011-04-06 高通股份有限公司 用于视频编码中的速率控制的死区参数选择
CN101742323B (zh) * 2008-11-05 2013-05-01 上海天荷电子信息有限公司 无再损视频编码和解码的方法和装置
CN107431811A (zh) * 2015-04-13 2017-12-01 高通股份有限公司 用于显示流压缩的量化参数更新分类
CN115278230A (zh) * 2015-11-11 2022-11-01 三星电子株式会社 对视频进行解码的设备和对视频进行编码的设备
US12003761B2 (en) 2021-09-20 2024-06-04 Samsung Electronics Co., Ltd. Method and apparatus for decoding video, and method and apparatus for encoding video

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2290986A1 (en) 2004-02-20 2011-03-02 Nec Corporation Image encoding method, device thereof, and control program thereof
US8422546B2 (en) * 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
JP2007151075A (ja) * 2005-10-31 2007-06-14 Seiko Epson Corp 印刷装置、印刷方法、画像処理装置、画像処理方法、印刷プログラム、画像処理プログラム、及び記録媒体
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US20070237237A1 (en) * 2006-04-07 2007-10-11 Microsoft Corporation Gradient slope detection for video compression
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US20080240257A1 (en) * 2007-03-26 2008-10-02 Microsoft Corporation Using quantization bias that accounts for relations between transform bins and quantization bins
US8498335B2 (en) * 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) * 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US20090060027A1 (en) * 2007-08-30 2009-03-05 Tektronix, Inc. Compressed Signal Subjective Quality Ratings Prediction
JP5055078B2 (ja) * 2007-10-01 2012-10-24 キヤノン株式会社 画像処理装置及びその方法
KR101385957B1 (ko) * 2007-10-04 2014-04-17 삼성전자주식회사 복호화기에서의 양자화 계수 조정 방법 및 장치
EP2046053A1 (en) * 2007-10-05 2009-04-08 Thomson Licensing Method and device for adaptively quantizing parameters for image coding
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
JP5158003B2 (ja) * 2009-04-14 2013-03-06 ソニー株式会社 画像符号化装置と画像符号化方法およびコンピュータ・プログラム
JP5484083B2 (ja) * 2010-01-14 2014-05-07 株式会社メガチップス 画像処理装置
KR101494066B1 (ko) 2010-10-05 2015-02-16 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 공간 광 패턴에 기초한 깊이 데이터의 생성
BR122020015658B1 (pt) 2011-03-09 2023-03-28 Nec Corporation Dispositivo de decodificação de vídeo e método de decodificação de vídeo
WO2013001729A1 (ja) 2011-06-28 2013-01-03 日本電気株式会社 映像符号化装置及び映像復号装置
US20130188691A1 (en) 2012-01-20 2013-07-25 Sony Corporation Quantization matrix design for hevc standard
JPWO2015045301A1 (ja) * 2013-09-27 2017-03-09 日本電気株式会社 映像符号化装置、映像符号化方法および映像符号化プログラム
US20180041870A1 (en) * 2016-08-05 2018-02-08 Wymond Choy Detection Using NFC Open Circuit
KR102636100B1 (ko) 2016-12-16 2024-02-13 삼성전자주식회사 데드존에 기초하여 양자화를 수행하는 인코더 및 이를 포함하는 비디오 처리 시스템

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1066079A (en) * 1906-06-30 1913-07-01 Ashton Valve Company Signal for trains.
JPS6146685A (ja) * 1984-08-13 1986-03-06 Nec Corp 動画像信号の予測符号化装置
CA1277416C (en) * 1984-08-13 1990-12-04 Akihiro Furukawa Inter-frame predictive coding apparatus for video signal
JP2614212B2 (ja) * 1986-03-10 1997-05-28 日本電気株式会社 画像信号の符号化方法およびその装置
JP2664223B2 (ja) * 1988-10-14 1997-10-15 日本電信電話株式会社 直交変換係数量子化回路
JPH0440118A (ja) * 1990-06-05 1992-02-10 Matsushita Electric Ind Co Ltd 量子化器
JPH05308629A (ja) * 1992-05-01 1993-11-19 Olympus Optical Co Ltd 動画像符号化方式
JPH06146685A (ja) * 1992-10-30 1994-05-27 Oi Seisakusho Co Ltd 自動車用ドアロックの操作装置
US5724097A (en) * 1993-10-18 1998-03-03 Mitsubishi Denki Kabushiki Kaisha Adaptive quantization of video based on edge detection
JP3581935B2 (ja) * 1993-10-18 2004-10-27 三菱電機株式会社 高能率符号化装置
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
JP2830855B2 (ja) * 1996-08-22 1998-12-02 日本電気株式会社 適応量子化制御装置
US6434196B1 (en) * 1998-04-03 2002-08-13 Sarnoff Corporation Method and apparatus for encoding video information
US6408026B1 (en) * 1999-08-06 2002-06-18 Sony Corporation Deadzone quantization method and apparatus for image compression
US7003038B2 (en) * 1999-09-27 2006-02-21 Mitsubishi Electric Research Labs., Inc. Activity descriptor for video sequences
JP2003520513A (ja) * 2000-01-12 2003-07-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像データの圧縮
JP4254147B2 (ja) * 2001-11-30 2009-04-15 ソニー株式会社 画像情報符号化方法及び装置、並びにプログラム及び記録媒体
US7280700B2 (en) 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
EP1546994A4 (en) * 2002-07-29 2009-08-12 Qualcomm Inc DIGITAL BILDCODING
US6853318B1 (en) * 2003-12-30 2005-02-08 Eastman Kodak Company Digital image compression utilizing shrinkage of subband coefficients
EP1564997A1 (en) 2004-02-12 2005-08-17 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images based on a quantization with an adaptive dead-zone size
EP2290986A1 (en) 2004-02-20 2011-03-02 Nec Corporation Image encoding method, device thereof, and control program thereof

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102007769A (zh) * 2008-04-17 2011-04-06 高通股份有限公司 用于视频编码中的速率控制的死区参数选择
CN101742323B (zh) * 2008-11-05 2013-05-01 上海天荷电子信息有限公司 无再损视频编码和解码的方法和装置
CN107431811A (zh) * 2015-04-13 2017-12-01 高通股份有限公司 用于显示流压缩的量化参数更新分类
CN115278230A (zh) * 2015-11-11 2022-11-01 三星电子株式会社 对视频进行解码的设备和对视频进行编码的设备
US12003761B2 (en) 2021-09-20 2024-06-04 Samsung Electronics Co., Ltd. Method and apparatus for decoding video, and method and apparatus for encoding video

Also Published As

Publication number Publication date
TW200529672A (en) 2005-09-01
CN1922886B (zh) 2012-08-01
JP2010268508A (ja) 2010-11-25
EP1718080A1 (en) 2006-11-02
WO2005081540A1 (ja) 2005-09-01
US8743956B2 (en) 2014-06-03
EP2290986A1 (en) 2011-03-02
JP4952828B2 (ja) 2012-06-13
KR100860147B1 (ko) 2008-09-24
EP2611157A1 (en) 2013-07-03
JP4613909B2 (ja) 2011-01-19
JPWO2005081540A1 (ja) 2008-03-06
EP1718080A4 (en) 2011-01-12
TWI255651B (en) 2006-05-21
KR20060118593A (ko) 2006-11-23
US20070140333A1 (en) 2007-06-21

Similar Documents

Publication Publication Date Title
CN1922886A (zh) 图像编码方法及其设备和其控制程序
CN1297148C (zh) 动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的适合的编码装置、译码装置、编码方法、译码方法以及程序
CN1251518C (zh) 数字信号转换方法和数字信号转换装置
CN1202650C (zh) 图象处理方法
CN1159916C (zh) 活动图象编码装置及其方法
CN1204751C (zh) 编码数据变换方法、再编码方法、再编码系统以及数据记录媒体
CN1801945A (zh) 编码视频序列变换装置和编码视频序列变换方法
CN1703096A (zh) 预测编码/解码器、预测编码/解码方法和记录介质
CN1257650C (zh) 运动图像编码方法和装置
CN1513268A (zh) 编码方法、译码方法、编码装置、译码装置、图象处理系统、编码程序和译码程序
CN1630374A (zh) 用于前向预测的隔行扫描视频帧的场的预测运动矢量
CN1203679C (zh) 用于自动转码编码的视频图象数据的方法和设备
CN1638484A (zh) 图像编码装置、方法及程序和图像解码装置、方法及程序
CN1993993A (zh) 图像处理设备、其程序、及其方法
CN1719905A (zh) 编码装置、编码方法、编码方法程序及相应的记录媒体
CN1537384A (zh) 用于子像素值内插的方法
CN1705375A (zh) 预测编码器/解码器以及预测编码/解码方法
CN101039421A (zh) 在编解码中的实现量化的方法和装置
CN1578468A (zh) 视频解码设备
CN1216199A (zh) 数字图象填补方法、图象处理装置及数据记录媒体
CN1114126A (zh) 图像编码装置及方法
CN1898965A (zh) 运动图象编码方法和装置
CN1925597A (zh) 图像处理设备、图像处理方法及程序
CN1288641A (zh) 视频信号编码方法、视频信号编码装置及程序记录媒体
CN1163076C (zh) 图像编码装置和图像编码方法及图像解码装置和图像解码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120801

Termination date: 20210215

CF01 Termination of patent right due to non-payment of annual fee