CN100459715C - 数字视频信号块间预测编码/解码装置及编码/解码方法 - Google Patents

数字视频信号块间预测编码/解码装置及编码/解码方法 Download PDF

Info

Publication number
CN100459715C
CN100459715C CNB2003101164621A CN200310116462A CN100459715C CN 100459715 C CN100459715 C CN 100459715C CN B2003101164621 A CNB2003101164621 A CN B2003101164621A CN 200310116462 A CN200310116462 A CN 200310116462A CN 100459715 C CN100459715 C CN 100459715C
Authority
CN
China
Prior art keywords
piece
prediction
interpolation
decoding
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB2003101164621A
Other languages
English (en)
Other versions
CN1501717A (zh
Inventor
高冈胜美
杉山贤二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP21999497A external-priority patent/JP2900998B2/ja
Priority claimed from JP24977097A external-priority patent/JP2900999B2/ja
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Publication of CN1501717A publication Critical patent/CN1501717A/zh
Application granted granted Critical
Publication of CN100459715C publication Critical patent/CN100459715C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

图像编码装置,图像转换为块阵列,其特定的块预定为独立内部编码的块(D),而其余的块预定为预测编码块(A,B,C),从已经编码并包围该预测编码块的至少一对块的象素信号值,通过沿行或列方向或者沿行和列两个方向的内插,导出预测编码块的预测象素信号值。当对从一个块导出的预测误差信号值的阵列编码时,通过沿内插方向施加离散正弦变换处理,并当对于一个块有两个导出预测象素信号值的可能方向时,通过确定优化的内插方向执行自适应预测,提高了编码效率。

Description

数字视频信号块间预测编码/解码装置及编码/解码方法
技术领域
本发明涉及图像编码装置和方法及对应的解码装置和方法,基于把图像划分为多个象素块并对这些块进行解码和编码的操作,这些装置和方法对表示为多个象素的图像进行编码和随后的解码。
背景技术
特别地,本发明涉及块间内插预测编码装置和方法,从而通过应用块间内插而预测某些图像块的象素值提高了编码效率,其中对于这些块只对所得的预测误差值集进行编码。
通常应用于按各个数字视频信号帧传送的图像的数据压缩基本方法之一是把每一图像作为多个象素块处理,并利用通常发生在每一块内的相关性以降低所产生的代码量,即应用块内编码。通常,每一块的象素值受到DCT编码,随后是DCT系数的量化和可变长度编码,从而达到大量数据压缩。
然而,为了利用常常出现在相邻的块之间的相关性还建议块间编码的方法,即基于已经被编码的相邻块的象素值对图像块进行编码的方法。这种方法的一个例子在如下标题的文章中有述“An Image DataCompression Method using Extrapolative Prediction-Discrete SineTransform;in the case of Two-Dimensional Coding”,Conference onElectronic Information Communication document(B).J 71-No.6 pp717-724(July,1998,in Japan)。
这种方法的基本原理在图18的图示中示出,该图表示了划分为块的被编码的图像的一部分,其中画斜线的区域301由已经被编码的各个块组成,而空白区域300由尚待编码的块组成。编号302标记通过基于已经被编码的两个相邻的块303、304的象素值的外推预测而当前正被编码的块。
图16的一般系统框图是表示先有技术型的块内预测编码装置的一个例子,该装置采用了上述文献中所述的原理。在以下的说明中,为了说明的简便,表示象素的视频信号值及预测误差信号值等将简称为象素值、预测误差值等。图16中,光栅扫描数字视频信号从输入端1施加到块转换部分51,其中对应于一图像的每一部分视频信号被划分为对应于各个象素块的象素值的多个集合,这些集合提供到预测减法器4的一个输入端。预测减法器4从每一象素值减去对应的预测值,从而获得输入到编码部分52的预测误差值。如在上述文献中所述,当对各个块象素通过外推预测而获得的预测误差值进行编码时,对于编码部分52最好采用DST(离散正弦变换)处理而不是DCT处理。因而,对块导出来的预测误差值集合受到DST处理,随后是结果DST系数的量化及可变长度编码。结果代码提供给输出端7,并还输入到解码部分55。已经这样被编码部分52编码的预测误差值通过由解码部分55施加的解码处理被顺序地恢复。每一这样获得的被重构的误差值提供给预测加法器17的一个输入端。对该象素的预测值在该时刻由块预测部分53产生(基于对相邻象素重构的象素值,从块行存储器54读出),并提供给预测加法器17的另一输入端,从而该加法器为正被处理的象素输出重构的象素值。重构的象素值存储在块行存储器54中。
块行存储器54存储这样以块为单位导出的象素值,如可从图18理解,即块的相继行的象素值顺序地被导出并存储在块行存储器54中,使得当需要时,为处理当前正在被编码的块所需的象素值总是能够从块行存储器54获得。
图17是对应于图16的块间外推预测编码装置的块间外推预测解码装置的系统总框图。图17中,输入代码流通过输入端21提供给解码部分55,其中执行包含逆DST处理的编码,从而对图像的象素恢复各个预测误差值。在预测加法器17中每一这种预测误差值和由块预测部分53产生的该象素的块间预测值相加,从而获得重构的象素值。这些象素值提供给光栅转换部分61及块行存储器54。光栅转换部分61执行由图16的块转换部分51所执行的处理的逆处理,从而把以块为单位排列的象素值转换为提供给输出端24的通常类型的光栅扫描视频信号。块行存储器54和块预测部分53的操作与图16的编码装置中的操作相同,即重构的象素值作为相继的块行存储在块行存储器54,在需要时适当的重构象素值从块行存储器54读出并提供给块预测部分53供导出每一预测的象素值。
这种块间编码方法能够提供比彼此独立地对图像的所有块进行内部编码所能达到的效率更高的效率。然而,这种基于外推的方法很难产生能够精确跟随图像内容变化的预测象素值。此外,这种方法是完全递归的,从而为一个块导出的所有预测象素值(以及,被编码和传送的结果预测误差值)是基于已经被编码的相邻块的象素值的,如图18的块302中箭头线所示,后面的象素值是类似地依赖于前面块的象素值的。结果,如果在由装置产生的代码中引起误差,即在代码的传输/接收或记录/重放期间出现误差,则在对接收的或重放的代码进行解码时,这种误差的影响将从误差出现的块传播到所有被相继解码的块。这样,既使代码误差的低发生率也能够对最后显示的视频图像有显著的负面影响。
以上的问题是由这样的事实所引起的,即图像的编码是作为连续流发生的,其中每一个预测象素值是以纯粹的递归操作从重构象素值导出来的,其每一个重构象素值又是从预测象素值被导出来,而该预测象素值又是从重构象素值导出来的,依此类推。问题还由于这样的事实而引起,即预测仅是基于靠着正在被编码的块的两个相邻侧的两个相邻的块象素值的外推。这样例如在图18中所示的块302的情形下,如果块305中象素值的总水平显著高于块304和/或303的象素值的总水平(即由于图像内亮度的突然变化),则该事实将不会影响到通过外推预测处理对块302导出来的预测象素值。因此,希望有一种能够提供改进的预测精度的方法。
发明内容
本发明的一个目的是通过提供一种块间内插预测编码装置和对应的块间内插预测解码装置、以及一种块间内插预测编码方法和对应的块间内插预测解码方法以克服以上叙述的先有技术中的缺陷,其中特定比例的图像块被独立地内部编码(这种块在以下说明和权利要求中称为独立块),图像其余的块(这种块这里被称为预测块)是利用从图像内独立块的象素值直接或间接地导出的内插预测象素值被预测编码的。
作为本发明的第一基本特点,第一预测块集合中的每一个块的预测象素值可通过在一个被编码独立块的象素值和已经被编码的块的区域(即,被编码的独立块和被编码的预测块构成的连续延伸的区域,该区域在图像编码进行时连续不断地扩展)的象素值之间进行内插而导出,同时每一其余的预测块的每一预测象素值是通过分别在图像的行和列向上,在预测块的第一集合中的两个最近被编码的块的象素值与上述已经被编码的区域的象素值之间进行内插导出的两个值并组合导出的。当基于邻接的编码独立块的象素值完成这种三个彼此相邻的预测块的操作时,已经编码的块区域由此由四个块(例如,沿图像的行方向)扩展,与已经编码的区域由行和列方向中一个块间隔开的相继的编码独立块用于重复该操作序列,以便对下一组的三个相邻的预测块编码,从而进一步扩展已经编码的区域。该操作序列不断重复直到整个图像被编码。
作为本发明的第二基本特点,可进行自适应预测。与把通过在图像的行和列方向分进行内插导出的两个值的组合作为上述其余预测块的每一个块的每一预测象素值不同的是,可分别对这种预测块获得通过内插沿列向导出的预测象素值的集合与通过内插沿行向导出的预测象素值的集合,并且然后能够判断这两个内插方向中哪一个方向将产生较少的代码量(即,对结果预测误差值编码时,诸如常规方式下DCT处理、量化和可变长度编码)。并选择其结果将产生较少代码量的预测误差值的集合进行编码,并从装置输出。
把改进编码效率作为本发明的第三基本特点,当基于沿特定方向(行或列)进行内插所获得的内插预测象素值已经对预测块导出预测误差值集合时,沿该内插方向使用一维DST(离散正弦变换)处理,并沿与该内插方向垂直的方向使用一维DCT(离散余弦变换)处理对预测误差值进行编码。当预测块的预测误差值的集合是根据这样的值,即每一个预测象素值是分别沿行或列方向内插获得的两个值的组合,导出的时,则使用正交DST处理对预测误差值集合进行编码。
作为本发明的第四基本特点,图像的编码可以如下进行:把图像划分为块阵列,把阵列中每一行中每隔一个的块及每一列中每隔一个的块指定为独立块,并指定其余的块为预测块(使得每一预测块包围在四个独立块的集合之间),对所有的独立块进行编码,并对每一编码的独立块获得且存储结果的重构象素值的各个集合,然后使用这些重构象素值对每一预测块进行编码。由于每一预测块在上、下、左和右侧被包围在编码的独立块之间,故利用包围独立块的象素值,可以为每一预测块从分别沿行向和列向内插而获得的内插值导出预测象素值的集合。这样如上所述,用两个内插值的组合可导出预测块的每一预测象素值。另外,对于预测块可导出分别沿行向和沿列向内插的情形下的完整的预测象素值集合,并如上所述,可对这些集合中哪个集合在编码时能产生最少代码量的预测误差值集合作出判断。
结果,通过使用图像内的象素值的块间内插预测,本发明能够提供块间内插预测编码装置(及对应的块间内插预测解码装置),这种装置具有高的编码效率。当对已经通过自适应预测,即基于沿特定方向的内插,导出的预测误差值阵列进行编码时,通过在对预测误差值进行编码时把一维DST处理沿内插方向施加于预测误差值阵列上,能够进一步提高编码效率。
通过本发明,由于周期提供图像内独立地内部编码的块,能够保证任何代码的误差影响在解码时的传播最多不会超过与引发误差的块相邻的一两个块。
根据一个方面,本发明提供了用于把图像划分为块单元并执行顺序编码处理的块间内插预测编码装置,它包括:
第一编码装置,用于通过对与已经被编码的块分离的独立块进行独立的块内编码而导出代码,并用于对所述代码执行局部解码以获得解码图像,
第一预测装置,用于从已经被编码的所述块的及所述独立块的解码图像,对第一预测块内的各个象素产生第一内插预测信号值,所述第一预测块在上下或左右夹在已经被编码的所述块和所述独立块之间,
第二编码装置,用于对通过从所述第一预测块内的各个所述象素值减去所述第一内插预测信号值而获得的预测误差信号值进行编码而导出代码,并用于对所述代码执行局部解码以获得解码图像,
第二预测装置,用于从已经被编码的并位于所述第二预测块上下左右的块的解码图像,并从所述第一预测块的解码图像,对第二预测块内的象素产生各个第二内插预测信号值,所述第二预测块在上下左右夹在已经被编码的所述块和所述第一预测块之间,以及
第三编码装置,用于从所述第二预测块内的各个象素值减去所述第二内插预测信号值,以获得预测误差信号值,并用于对所述预测误差信号值进行编码。
在这种装置内执行的预测块的编码和解码最好按对该块施加内插预测的方向执行,即当内插预测沿垂直方向的情形下,沿垂直方向施加一维离散正弦变换处理及沿水平方向施加一维离散余弦变换处理,而当内插预测沿水平方向的情形下,沿水平方向施加一维离散正弦变换处理及沿垂直方向施加一维离散余弦变换处理。
本发明进而提供了对应的块间内插预测解码装置,用于把图像划分为块单元,并执行顺序的解码处理,它包括:
第一解码装置,用于通过对与编码的块分离的独立块进行独立的块内解码而导出解码图像,
第一预测装置,用于从已经被解码的所述块的和所述独立块的解码图像,对第一预测块的各个象素产生第一内插预测信号值,其中每一所述第一预测块在上下或左右夹在所述已解码的块和所述独立块之间,
第二解码装置,用于为第一预测块的象素对各个预测误差信号值进行解码,以获得解码的预测误差信号值,并把所述解码的预测误差信号值加到各个所述第一内插预测信号值从而获得解码图像,
第二预测装置,用于从已经被解码的所述块的解码图像并从所述第一预测块的所述解码图像,对第二预测块的各个象素产生第二内插预测信号值,所述第二预测块在上下和左右夹在所述已经解码的块和所述预测块之间,以及
第三解码装置,用于对所述第二预测块的预测误差信号值进行解码,以获得解码的预测误差信号值,并用于把所述解码的预测误差信号值加到各个所述第二内插预测信号值上以获得解码图像。
通过这种解码装置,预测的解码最好按向该块施加内插预测的方向执行,即在内插预测沿垂直方向的情形下,沿垂直方向施加一维离散正弦变换处理及沿水平方向施加一维离散余弦变换处理,而在内插预测沿水平方向的情形下,沿水平方向施加一维离散正弦变换处理及沿垂直方向施加一维余弦离散变换处理。
本发明相应地提供了块间内插预测编码方法,用于把图像划分为块单元,并执行顺序的编码处理,它包括:
通过对与已经被编码的块分离的独立块进行独立的块内编码而导出第一代码,并用于对所述代码执行局部解码以获得解码图像,
从已经被编码的所述块的及所述独立块的解码图像,为第一预测块内的各个象素产生第一内插预测信号值,所述第一预测块的每一个上下左右夹在已经被编码的所述块和所述独立块之间,
对通过从所述第一预测块的各个所述象素值减去所述第一内插预测信号值而获得的预测误差信号值进行编码而导出第二代码,
对所述第二代码执行局部解码以获得解码图像,
从所述已经被编码的块的解码图像为第二预测块的象素产生第二内插预测信号值,所述第二预测块上下左右夹在已经被编码的所述块和所述第一预测块之间,
从所述第二预测块的所述象素的各个值减去所述第二内插预测信号值,以获得对应的预测误差信号值,以及
对所述预测误差信号值进行编码以获得第三代码。
根据另一方面,本发明提供了块间内插预测解码方法,用于把图像划分为块单元,并执行顺序的解码处理,它包括:
通过对与已经被编码的块分离的独立块进行独立的块内解码而导出第一解码图像,
从已经被解码的所述块的和所述独立块的解码图像,为第一预测块的象素产生各个第一内插预测信号值,每一所述第一预测块上下或左右夹在所述已经被解码的块和所述独立块之间,
对第一预测块的各个预测误差信号值进行解码,以获得解码的预测误差信号值,并把所述解码的预测误差信号值加到对应的所述第一内插预测信号值以获得第二解码图像,
从已经被解码的所述块的解码图像并从所述第一预测块的所述解码图像,为第二预测块的象素产生各个第二内插预测信号值,所述第二预测块上下左右夹在所述已经解码的块和所述第一预测块之间,
对所述第二预测块的象素的各个预测误差信号值进行解码,以获得解码的预测误差信号值,以及
把所述解码的预测误差信号值加到所述第二内插预测信号值上以获得第三解码图像。
根据另一方面,本发明提供了块间自适应内插预测编码装置,用于把图像划分为块单元,对所述块的一部分执行独立的内部编码,并对其余的所述块通过块间预测进行编码,该装置包括:
第一编码装置,用于对分布在构成部分或全部所述预测块的各个自适应预测块的上下左右的块执行编码,以获得结果代码,并用于对所述代码执行解码以获得各个解码图像,
自适应减法器装置,用于基于分布在所述自适应预测块的上下左右的所述块的解码图像,判断适当的预测方向,从而为所述自适应预测块内的每一象素,基于分布在上下的所述块的所述解码图像导出垂直内插预测信号值,并基于分布在左右的所述块的所述解码图像导出水平内插预测信号值;基于预测方向的所述判断的结果选择所述内插预测信号值之一;从所述自适应预测块内对应的象素值减去每一个所述内插预测信号值以获得预测误差信号值,以及
第二编码装置,用于对所述预测误差信号值执行编码以获得结果代码。
使用这种块间自适应内插预测编码装置,所有所述预测块可被预定为自适应预测块,所述自适应预测减法器装置包括:
预测装置,用于为其上下左右夹在各个所述独立块之间的自适应块的每一象素,从分布在上下的所述独立块的所述解码图像导出垂直内插预测信号值,并从分布在左右侧的所述独立块的所述解码图像导出水平内插预测信号值,
预测减法器装置,用于从所述自适应预测块内的对应的象素值减去每一所述垂直的内插预测信号值,从而获得对应的垂直预测误差信号值,并用于从所述自适应预测块内的对应的象素值减去每一所述水平的内插预测信号值,从而获得对应的水平预测误差信号值,以及
编码效率判断装置,用于对所述垂直预测误差信号值和所述水平预测误差信号值估计各个编码的效率,并选择能产生较少代码量的预测误差信号值。
此外,这种块间自适应内插预测编码装置可这样配置,即使得每一所述独立块与已经编码的块分离,且所述预测块由非自适应预测块和自适应块组成,每一个非自适应块上下或左右夹在已经编码的所述块和所述独立块之间,每一自适应块上下左右夹在已经编码的所述块和所述独立块之间。
根据另一方面,本发明提供了块间内插预测解码装置,用于对已经划分成块单元的图像执行独立块预测解码,部分块为被独立内部编码的独立块,而其余的块为被预测编码的预测块,该装置包括:
第一解码装置,用于对分布在构成部分或全部的所述预测块的各个自适应预测块的上下左右侧的块执行解码,
预测判断装置,用于对每一所述自适应预测块估计预测方向,以获得判断信息,
预测装置,用于基于所述判断信息选择经使用所述上下块的解码图像获得的垂直内插预测信号值或者选择经使用所述左右块的解码图像获得的水平内插预测信号值,为所述自适应预测块内每一象素导出内插预测信号值,以及
第二解码装置,用于执行所述自适应预测块的预测误差信号值的解码,以获得解码的预测误差信号值,并把所述解码的预测误差信号值加到所述内插预测信号值上以获得解码图像。
这种块间内插预测解码装置可这样配置,即使得每一所述独立块与已经编码的块分离,且所述预测块由非自适应预测块和自适应预测块组成,所述每一非自适应预测块上下或左右夹在已经解码的所述块和独立块之间,而所述每一自适应预测块上下左右夹在已经解码的所述块和独立块之间。
附图说明
图1是根据本发明的块间内插预测编码装置第一实施例的系统总框图;
图2是对应于图1的块间内插预测编码装置的块间内插预测解码装置的实施例系统总框图;
图3是描述以图1实施例在导出相邻预测块各个集合的预测象素值中相继各阶段的概念图;
图4是一概念图,表示根据本发明使用相邻块的象素导出预测象素值时所执行的块间内插处理,以及
图5是一对应图,表示线性内插的情形下这些块中的象素的各个象素值的例子;
图6是用于图1的块间内插预测编码装置中的预测信号产生部分的一个例子的系统总框图;
图7是表示图1的块间内插预测编码装置的编码部分的内部配置的系统框图,其中一维DST(离散正弦变换)处理沿与为导出这些数值执行内插预测中所使用的相同方向施加到一预测误差值阵列上;
图8是图2解码装置实施例的解码部分的系统框图;
图9是根据本发明的块间内插预测编码装置的第二实施例系统总框图,这是一自适应编码装置,由此为导出预测块的预测误差值作出内插优化方向的判断;
图10是对应于图9的块间内插预测编码装置的块间内插预测解码装置的一个实施例的系统总框图;
图11是一流程图,表示由图9实施例的编码效率判断部分所执行的处理的例子,用于通过确定预测象素值的优化内插方向而实现自适应预测;
图12是一流程图,表示为实现自适应预测可由编码效率判断部分执行的处理的第二个例子;
图13是根据本发明的块间内插预测编码装置的第三实施例的系统总框图,从而各个预测块的每一个上下左右被包围在相邻的独立编码块之间;
图14是对应于图13的块间内插预测编码装置的块间内插预测解码装置实施例的系统总框图;
图15是一概念图,用于使用图13的实施例描述通过相邻独立块的内插为各个预测块的每一个导出预测象素值的过程;
图16先有技术型的块间外推预测编码装置的一例的系统总框图;
图17是对应于图16的块间外推预测编码装置的块间外推预测解码装置的一例的系统总框图;以及
图18是一概念图,用于描述借助图16的块间外推预测编码装置通过从已经编码的块的象素值外推而为预测块导出预测象素值的过程。
具体实施方式
以下将参照图1的系统总框图说明根据本发明的块间内插预测编码装置的第一实施例。图1中,普通类型的光栅扫描数字视频信号提供给输入端1,而结果代码提供给输出端7。减法器4和预测加法器17基本上与以上所述图16先有技术的例子中对应规定的部件执行相同的功能。此外,这一实施例包含块转换部分2,开关3、5、10和16,以及编码部分6,块存储器9、11及块行存储器15,乘法器12和14及加法器13,预测信号产生部分20,及预测控制部分8和解码部分18。块转换部分2、编码部分6、预测控制部分8和解码部分18的操作本质上分别不同于上述图16的先有技术例子的块转换部分51、编码部52、块预测部分53和块转换部分55的操作。
开关3、5和19由时钟转换部分2所产生的控制信号2a控制,该控制信号还使得编码部分6的操作与开关3、5的操作同步化。开关10的操作以及由乘法器12、14实现的各个乘法因子由预测控制部分8所产生的控制信号8b、8a控制。预测控制部分8还控制块存储器9、11和块行存储器15的数据读写操作。
这一实施例的操作如下。从输入端1输入的数字视频信号传送着连续图像流,即作为连续帧传送。以下将说明由这一实施例施加到单个图像的处理。通过输入端1提供的图像的象素值由块转换部分2排列成象素的块阵列,其一部分示于图3中,象素值集合分别对应于从块转换部分2按预定顺序产生的这些块。假设在图3的图示(A)所示的状态下,包含在斜线区域700内的块已经由该装置编码,而组成空白区域701的块有待被编码。这种情形下,由A、B、C、D表示的块按D、C、B、A的顺序从块转换部分2顺序地产生。这就是说,块阵列的两个相邻的列的四个块的象素值的相继的集合是作为各个集合产生和处理的。此外,用于开关3、5、16和19的控制信号由块转换部分2与这些块的生产同步产生。同时对四个单元的集合中的块进行处理的方式一般在先有技术中在4:2:0型编码的情形下用于处理视频信号的亮度分量。
如下所述,这种四个块集合的每一D块作为块内被编码,而其余的三个块,即A块、B块和C块每一个作为预测块被编码。
当要对D块编码时,设置开关3、5,使得来自块转换部分2的输出端的D块的象素值的传送被直接输入到编码部分6。在编码部分6中,象素值集合按通常方式被编码,即通过后面接着量化的DCT(离散余弦变换)处理,及量化的DCT系数(诸如可变长度编码)数据压缩编码,从而对该D块获得输出代码,该代码提供给输出端7。
此外,已经这样产生的代码提供给解码部分18,在其中施加与编码部分6相反的操作,从而获得D块的重构象素值。这时,开关16向预测加法器17的一个输入端提供零状态值,同时D块的重构象素值提供给预测加法器17的另一输入端,于是这些象素值被直接传送给每一块存储器9、11和块行存储器15,被分别存储在这些存储器中。
于是能够理解,这种状态下,D块,即在垂直(列)方向用一个块并在水平(行)方向用一个块和已经编码的块的区域700分开的块,的重构象素值的集合已通过独立的内部编码被导出并存储在各个存储器9、11和15中。然后执行的操作由图3的图示表示,即步骤2。对每一C块导出的重构象素值存储在块存储器9、11中之一,且对每一B块导出的重构的象素值存储在其另一存储器。在以下将假设,对每一C块重构的象素值存储在块存储器11,而每一B块的重构象素值存储在块存储器9。
首先,从块转换部分2相继产生C块的象素值,设置开关3以便向预测减法器4的一个输入端传送这些象素值,设置开关5以便把从预测减法器4产生的结果差值(即预测误差值)传送到编码部分6,并设置开关19以便把从加法器13产生的预测象素值传送到预测减法器4的另一输入端。在C块的象素值这样提供给预测减法器4时,控制乘法器12和14与加法器13配合操作,以便通过使用已经编码的区域700的相邻的最近被编码的D块和相邻块706(即,此前已经编码的独立块)的重构象素值,导出对应于C块象素值内插象素值。在水平和垂直方向都进行内插的内插操作示于图4中。在C块的情形,从分别位于正在被编码的块的左侧和右侧的两个相邻块的两个相邻边缘列的两个象素PH1、PH2的重构值,导出象素值314的重构象素值。这通过如图5所示的简单的线性内插能够达到,该图示出位于夹着一个预测块的两个块中的公共行方向或列方向上的象素的象素值的例子,两个包围块的各个边缘象素值分别标记为61、62,而基于象素值61、62导出的内插的象素值由标号60标记。
对乘法器12和14设置的乘法器因子的数值k在1/8到1/9的范围内(假设为8x8元素块的大小),为这些乘法器设置的k的各个数值是相对于正在用于内插的参照象素根据其值正在被预测的象素的位置(沿内插方向),由预测控制部分8确定的。
对于这种编码装置,要使块行存储器15能够存储两倍于图17的先有技术的块间内插预测编码装置的块行存储器54必须存储的象素值。然而应当理解,对于这种内插处理,在存储器9、11和15中存储整个块的象素值是无关紧要的,因为只需使用位于那些在下一内插操作中将要使用的块的各个边缘上的象素,即由图中数码702、703、704指示的边缘区域。
对图3的图(B)中所示的C块的象素的预测象素值的导出是如下执行的。从块行存储器15读出刚刚被编码的D块的左边缘重构象素值中的适当的一个,并提供给乘法器14,同时从块存储器11读出已经被编码的区域中的相对块706的右边缘象素值中的适当的一个,并提供给乘法器12,并通过来自预测控制部分8的控制信号8a建立必要的乘法器因子。从乘法器12、14输出的值在加法器13中求和而获得所需的内插象素值,然后该值由开关19传送到减法器4的一个输入端。这时,从块转换部分2读出象素的实际值并提供给预测减法器4。从而对应的预测误差值从预测减法器4输出,并由开关5传送以便输入到编码部分6。
这样,把C块各个象素的预测误差值的一个完整的集合提供给编码部分6,并被编码。通过本发明,不对预测误差值的这种集合使用正交的DCT处理,而是沿内插方向(即预测误差值阵列的水平方向)执行一维DST(离散正弦变换)处理,并沿垂直于内插方向的方向(即这种情形下是垂直方向)执行一维DCT(离散余弦变换)处理。然后例如通过可变长度编码,所获得的变换系数值在编码部分6中被量化并被编码,以便产生对应于该C块的代码部分,该代码提供给输出端7以及解码部分18。为了达到改进的编码效率,最好沿预测执行的方向施加1维DST处理。这样对该C块导出的代码由解码部分18解码,以产生分别对应于该块的象素的重构预测误差值,这些值顺序地施加到预测加法器17的一个输入端。这时,设置开关16使从加法器13(通过开关19)向预测加法器17的另一输入端传送对应的预测象素值,从而加法器17输出对应的重构象素值。对C块顺序导出的重构象素值存储在块存储器11以及块行存储器15中。
然后图3的图(B)中所示B块类似地被编码,并按类似于对G块所述的方式导出对应的重构象素值集合并被存储。然而,这种情形下内插预测是沿垂直方向的,即内插中所使用的数值是按刚被编码的D块的上边缘象素的重构象素值、及已经编码的区域的块707的下边缘元素获得的,它们是分别从块存储器9和块行存储器15读出的。对减法器4中通过把B块的实际象素值减去这些预测象素值而获得预测误差值阵列,编码部分6再次沿内插方向施以一维DST处理,并在其垂直方向施以一维DCT处理。对B块这样获得的代码提供给输出端7,并且从预测加法器17获得的对应于B块的重构象素值被存储在块行存储器15以及块存储器9中。
现在已经到达图3的图(C)中所示的步骤3,这里使用在上述步骤2中对C块和B块所导出并存储的重构象素值集合对A块编码。其操作基本上与上述对C块和B块的操作相同,然而这种情形下,在垂直和水平两个方向都要执行内插预测。开关3、5和16的状态和其对C块和B块编码下使用的状态保持不变,然而设置开关19使得把由预测信号产生部分20所产生的预测象素值传送到预测减法器4及预测加法器17。
通过沿垂直方向内插,即使用一些适当的C块的边缘重构象素值(从存储器11读出的)和已经编码的块区域的块708的一些适当的下边缘重构象素值,并通过沿水平方向内插,即使用B块的左边缘重构象素值(从存储器9读出)和已编码区域的相对块的右边缘重构象素值(来自存储器15),对A块导出预测象素值。这样通过垂直内插和水平内插对A块的每一象素导出各对预测象素值,并提供给预测信号产生部分20,在这里产生各个组合的预测象素值,并提供给减法器4。
为了组合这种预测象素值对可以设想各种方法,诸如取这些值的平均值,或值的均方根。当A块每一这种组合的预测象素值通过预测信号产生部分20产生并通过开关19提供给预测减法器4时,对应的实际象素值从块转换部分2输出并提供给预测减法器4,从而导出对应的预测误差值,该误差值提供给编码部分6。然后对A块这样导出的预测误差值集合由编码部分6使用DST处理沿列和行两个方向编码,结果系数如同对B块和C块所述那样编码,并且结果代码提供给输出端7。
然后图像相邻四个块的的下一个集合按上述相同的方式编码。这样,块的相继行对被顺序地编码,以便对整个图像编码。
如果顺序地对A块的每一象素导出内插象素值,则第一个值必须暂时保持在预测信号产生部分20内的存储器或数据寄存器中,这种情形下预测信号产生部分20可具有如图6所示的基本配置。
图7表示出以上实施例编码部分6的内部配置。图7中,表示块位置信息的和当前正在执行内插预测的方向的控制信号分别从块转换部分2和预测控制部分8提供给转换控制部分206。从而转换控制部分206产生控制信号,用于控制开关204、205,以便选择适当的DCT和DST处理组合沿垂直和水平方向施加于对块导出的预测误差值集合。结果系数由量化器107量化,且量化的系数由可变长度编码器208编码。图7中所示的“预测方向控制信息”在图1的实施例中没有使用,但是可能用于以下所述本发明的另一实施例。
对于这种块间编码,发现相邻块的各个DC成分彼此相差不大,即通过DCT/DST变换处理对块所获得的各个DC系数在块之间趋于逐渐地变化。因此,通过对图像的块导出的量化DC系数以及对每一块导出的AC系数使用可变长度编码,能够达到编码效率的改进。
能够理解,在上述对于块存储器9、11的存储器分配安排下,控制开关10使得每当要与已经编码的区域(从存储器15读出)的象素值配合使用D块或B块的象素值沿水平方向执行内插时,则从块存储器11向乘法器12传送适当的重构象素值,并控制开关10,使得每当要与已经编码的区域的象素值配合使用D块或C块的象素值沿垂直方向执行内插时,则从块存储器9向乘法器12传送适当的重构象素值。
以下将参照图2的系统总框图,说明与图1的块间内插预测编码装置对应的块间内插预测解码装置的一个实施例的操作。图2中,与图1的实施例或与图17的先有技术例子功能相同的部件以相同的标号标记。这一块间内插预测解码装置的操作基本上与在图1的块间内插预测编码装置中导出重构象素值的操作相同。已经由图1的块间内插预测编码装置产生的代码流通过输入端21提供给解码部分22,其中对应于上述A块、B块、C块和D块的代码流的各个部分被解码,并获得分别对应于A块、B块和C块的预测误差值集合和获得对应于独立块即D块的重构象素组的各个集合。对应于各个块的这些值的集合,按上述对图1的块间内插预测编码装置四个块顺序集合的相同顺序,即D,C,B,A,D,C,B,A,...的顺序,从解码部分22输出。当独立块即D块的解码象素值正在从解码部分22输出时,来自解码部分22的控制信号保持开关3、5处于一种状态,以使得把这些象素值直接传送到光栅转换部分23,并存储在每一块行存储器15和块存储器9和11中。在从解码部分22输出预测块的解码预测误差值时,开关3、5向预测加法器17顺序地传送这些值,以便加到通过开关19提供的对应的象素值上。这样对预测块导出的重构的象素值由开关5传送到光栅转换部分23,并存储在块存储器9或块存储器11。这就是说,按对图1的块间内插预测装置所述相同的方式,可以假设对块B导出的重构象素值存储在块存储器9,而对C块导出的重构象素值存储在块存储器11。
按参照图3上述相同的方式,分别提供垂直内插和水平内插对每一B块和每一C块导出预测象素值集合。然后使用分别存储在块存储器9、11的重构象素值的结果集合,通过在这些象素值和先前已经解码的块的重构象素值(从块行存储器15中读出)之间的水平和垂直的内插,获得对应的A块的各个象素的预测象素值对。从而通过预测信号产生部分20对A块导出结果的组合重构象素值,并通过开关19传送到预测加法器17。
这样,对于构成图像的块集合解码出各个重构的象素值集合,并提供给光栅转换部分23,在其中图像的象素值序列被恢复为常规的光栅扫描视频信号象素值序列。结果的解码数字视频信号提供给输出端24。
图8示出图1的编码装置实施例的解码部分18的适当配置的一例。图2的解码装置的解码部分22的配置可与图8所示的配置类似,但添加了产生必要的开关控制信号的功能。由于如上述图像各个块的的代码部分按预定的顺序由编码装置传送,通过解码部分22易于导出块位置信息,从而其说明从略。图8中所示的“预测方向控制信息”没有对图2的实施例采用,但是可由本发明以下所述的另一实施例采用。
参见图9的系统总框图,以下将说明根据本发明的块间内插预测编码装置第二实施例。图9中,功能与图1的实施例相同的部件由与图1相同的标号标记,且其详细说明从略。这一实施例的整个操作基本上与图1的实施例相同,不同之处仅在于A块的编码,如上参照图3所述顺序处理的四个A、B、C和D块的集合的每一个的编码。基本上,这一实施例不同于图1所示的实施例之处在于实现了自适应预测。为了达到这一点,该实施例包含了编码效率判断部分33,这部分用来确定对A块的内插象素值是要沿图像的水平方向还是要沿垂直方向内插导出来。此外,该实施例包括存储器34,用于提供由编码效率判断部分33执行判断操作中而需要的时间滞后量,及包括两对开关31、32和38、40,分别由来自块转换部分2的控制信号控制。当预测块为B块或C块时,开关31、32直接从预测减法器4向编码部分600传送对预测块导出的预测误差值,当预测块为A块时,向编码效率判断部分33传送待输入的预测误差值,并从编码效率判断部分33通过开关5向编码部分600传送对A块选择的集合或预测误差值。而且,如下所述,本实施例的编码部分600必须对内插方向信息与产生的代码执行多路复用。此外,预测控制部分340控制着内插操作,使得从加法器13分别获得沿水平方向对A块内插导出的预测象素值的整个集合、及沿垂直方向对A块内插导出的这种预测象素值的整个集合,并输入到预测减法器4,使得分别把对应于两个内插方向的两个预测误差值的集合提供给编码效率判断部分33。
对B、C和D每一块所执行的编码处理与对图1的块间内插预测编码装置所述的处理相同。在A块的情形,当基于两个可能的内插方向分别导出的预测误差值的两个集合已经提供给编码效率判断部分33时,编码效率判断部分33对这些预测误差值集合进行运算,以便判断当由编码部分600编码时这些集合中的哪一个将产生较少的代码量。基于这种判断的结果,编码效率判断部分33选择这两个预测误差值集合之一传送给编码部分600,并编码。
在执行A块的解码时,块间内插预测解码装置必须能够知道已经由块间内插预测编码装置对A块选择的内插方向。因此,当A块被编码时,编码效率判断部分33产生指示已经对A块选择出的内插方向的数据(如图9中33a所标记),并把这方向指示数据提供给编码部分600,以便与由编码部分600产生的代码多路复用。
编码效率判断部分的基本操作顺序示于图11的流程图中。
对于被编码的A块,可以设想各种方法用于判断两个误差值集合中的哪一个将产生较少的代码量。当然最明显的方法是按编码部分600执行的相同方式直接对每一集合编码,并对沿水平方向和沿垂直方向内插所产生的各自的代码位数进行计数。第二个可能的方法是计算对A块导出的预测误差值的两个集合的各自的平均值,或它们各自的均方差,并选择获得最小值的集合。
在对独立块即D块所导出的象素值集合进行编码时,编码部分600采用正交DCT处理,并在对B块或C块导出的预测误差值集合的情形下,按对于图1的实施例所述相同的方式,采用沿内插方向的一维DST处理和沿垂直于内插方向的一维DCT处理。在如上所述沿选择出的方向对A块内插导出预测误差值的情形下,编码部分600沿选择的方向对预测误差值集合施加一维DST处理。
图9的实施例的编码部分600可按图7所示配置,即在确定是在垂直方向还是水平方向对A块施加DST处理时由转换控制部分206使用预测方向控制信息。
图10是对应于图9的块间内插预测编码装置的块间内插预测解码装置的一个实施例的系统总框图。图10的解码装置的操作基本上与上述图2的实施例的操作相同,不同之处仅在于对每一A块产生重构象素值的控制。图10中,解码部分45在输入端21接收已经由图9的块间内插预测编码装置所产生的代码流,并按图2的实施例解码部分22相同的方式执行对该代码的解码,同时还执行多路分解,以把表示上述对各个A块的内插方向的数据从代码流中分离出来。图10中,从解码部分45所获得的内插方向数据45a提供给预测控制部分47。预测控制部分47对每一B、C、D块进行与图2的实施例的预测控制部分8相同的处理和控制操作。然而当A块的代码由解码部分45解码时,预测控制部分47从对应的内插方向信息45a确定将要采用的内插方向。具体来说,假设先前所述的把B和C块分配到块存储器9、11,如果指示水平内插方向,则设置开关10使得从块存储器9传送适当的B块的重构象素值,而如果指示垂直内插方向,则设置开关10使得从块存储器11传送适当的C块的重构象素值。对A块这样导出的内插象素值与同步地从解码部分45读出的对应于对该A块解码的预测误差值提供给预测加法器17,从而获得对应的重构象素值,这些值由开关5传送到光栅转换部分23。
在所有其它方面,该块间内插预测解码装置实施例的操作与以上图2所述操作相同。
图10的实施例的解码部分45可按图8中所示那样配置,即通过可变长度解码器210把预测方向控制信息从输入代码流中分出,并由转换控制部分218确定逆DST处理是在垂直方向还是在水平方向施加到对A块导出的预测误差值解码集合上。
作为对图9的块间内插预测编码装置使用的编码效率判断方法的替代,可以通过估计其值可用于内插的两对块的每一对的重构象素值之间的各自的相关程度,来判断当对A块编码时将达到优化编码效率的内插方向。这就是说,参见图3的图(C),例如如果判断出在B块的重构象素值(保存在块存储器9中)和已编码的块709的重构象素值(保存在块行存储器15中)之间,比在C块的重构象素值(保存在块存储器11中)和已编码的块708的重构象素值之间存在更高程度的相关性,那么如果对A块值的预测采用沿水平方向的内插,则预期能够达到最高的编码效率。
这种情形下的基本操作示于图11的流程图中。
对于采用块间相关性判断以对A块确定内插象素值的适当内插方向的这种块间内插预测编码装置实施例,由于判定各相关性程度的操作可由块间内插预测解码装置对由解码装置导出的重构象素值集合执行操作,从而按和编码装置相同的方式获得内插方向信息,故不必对内插方向信息与由编码装置产生的代码一起进行多路复用。
实际上,有可能只判定能够实际用于内插操作的重构象素值集合之间的各相关性程度,即用于A块值的水平内插的两个相邻块(左和右侧)的重构象素值的相对边缘列之间的相关性,以及用于垂直内插的两个相邻块(上侧和下侧)的重构象素值的相对边缘行(左和右侧)之间的相关性。
以下将参照图13的系统总框图,并结合图15的块排布图示,说明根据本发明的块间内插预测编码装置的另一实施例。图13中,具有与前面的块间内插预测编码装置各实施例中的部件相同功能的部件由与前面实施例相同的那些标号标记,并且对其详细的说明从略。图13中,输入的数字视频信号通过输入端1提供给块转换部分402及预测控制部分410,由视频信号表示的各图像的每一个的象素值作为象素值的各个块按预定顺序相继输出。这些是由独立块和预测块组成的,这些块的排布示于图15的图(A)中,图A功能性地表示出本实施例的第一基本操作步骤,其中所有的独立块(每一个标记为“独立”)从块转换部分402被顺序地读出。正如所能够看到的那样,对于这一实施例,当待编码的图像的象素值排布为块阵列时,该阵列沿行方向和沿列方向上的每隔一个的块被预定为独立块,而其余的块预定为预测块,以便形成棋盘的配置,其中每一预测块在其左右侧和上下侧被包围在四个独立块之间。
在对图像进行编码的操作的步骤1中,开关3和5由块转换部分402控制以便传送将由编码部分600连续编码的独立块的各象素值集合。对独立块这样导出的各个代码部分提供给输出端7,并提供给输出重构象素值的对应集合的解码部分18。
图15的图(A)中,字母A和B指定给各独立块,字母C指定给预测块。应当理解,这些块的指定与前面实施例的块的指定(即A块、B块、C块、D块、)没有关系。
在第一步骤中,图像的所有的独立块从块转换部分402顺序地读出,并按顺序A,B,A,B,A,B,A...编码。由解码部分18对A集合的独立块导出重构象素值的每一集合存储在两个1/4帧存储器411、415中预定的一个里,并将假设这些值的集合各存储在1/4帧存储器411中。对B集合的独立块导出的每一重构象素值集合存储在这些存储器的另一个中,即1/4帧存储器415中。正如从图15可以看到的那样,独立块的总数是构成图像的块的总数的一半,对两个存储器411、415的每一个所需的最大存储容量是该总数的1/4,即视频信号帧的1/4。然而实际上,由于只使用对独立块的边缘象素导出的重构象素值来导出预测块的重构象素值,故只需要导出并在1/4帧存储器411、415中存储每一独立块的边缘象素(即两个外行和两个外列)的这些重构象素值。
当步骤1已经完成时,于是所有的独立块已经被编码,传送,且对应的重构象素值存储在存储器中,这时执行第二基本操作步骤,即步骤2。首先,控制开关3和5,以传送来自块转换部分402的输出值以便存储到1/2帧存储器400,并传送来自编码效率判定部分433的输出值以便输入到编码部分600。从1/2帧存储器400读出的值提供到预测减法器的一个输入端,该减法器的输出值提供到编码效率部分433。通过乘法器12、14及加法器13在预测控制部分410的控制下,按与先前的块间内插预测编码装置实施例相同的方式,分别从1/4帧存储器411、415读出对各重构象素值导出的内插预测值。在步骤2的初始阶段,从块转换部分402顺序地读出所有预测块C的象素值的各集合,并存储在1/2帧存储器400中。由于预测块组成形成整个图像的块总数的一半,故对1/2帧存储器400所需的存储容量是形成图像的象素数量的一半,即视频信号帧的一半。当所有的预测块的象素值已经存储到1/2帧存储器400时,与从加法器13的输出对应的内插象素值同步,从1/2帧存储器400顺序读出第一预测块的象素值。从图15的图(B)能够看到,由于每一预测块C在其左右侧和上下侧被包围在对面相邻的独立块之间,故能够通过沿水平或垂直方向的内插对预测块的每一象素导出预测的象素值。这就是说,对这种象素能够获得预测的象素值,其或者如同对以上图1的块间内插预测编码装置的A块所述,是利用这些内插方向的每一个导出的两个预测值的组合,其或者如同对以上图9的块间内插预测编码装置的A块所述,判断水平还是垂直内插方向将提供优化的编码效率,并只选择利用所选择的方向导出的预测值。对于图13的实施例,假设基于优化编码效率判断,使用对预测块进行编码选择单内插方向的方法。
对于图13的实施例,为了对预测块编码,基于沿图像的水平方向内插导出的该块预测误差值集合(使用把预测块在其左右侧包围起来的两个独立块的重构象素值的相对边列,在预测控制部分410的控制之下分别从1/4帧存储器411和1/4帧存储器415读出用来导出一个内插值的一对重构象素值),基于沿图像的垂直方向内插导出的预测误差值集合(使用把预测块在其上下侧包围起来的两个独立块的重构象素值的相对边行)是分别从预测减法器4获得的,并提供给编码效率判断部分433。编码效率判断部分433判断这些预测误差值集合的哪一个在编码时将产生较少的代码量,并把所选择的集合经开关5提供给编码部分600,同时向编码部分600提供指示选择出的预测方向的数据433a。预测方向指示数据与产生的代码由编码部分600多路复用,并提供给输出端7。
当预测块的预测误差值集合与对应的内插方向指示数据一同提供给编码部分600时,编码部分600把一维DST处理沿选择的内插方向施加到该集合,然后进行DST系数的量化和可变长度编码。在独立块象素值编码的情形下,编码部分600施加正交DCT处理,随后进行DCT系数的量化和可变长度编码。
以上处理是对每一预测块按顺序执行的,从而对每一预测块获得并传送与对应的内插方向指示数据组合的顺序代码部分,并完成了对图像编码的处理。
另外,如同对图9的块间内插预测编码装置的A块的说明那样,基于对在其左右侧包围一个预测块的两个块之间的相关性程度和在其上下侧包围一个预测块的两个块之间的相关性程度的比较,即把表现出较高相关性程度的块对选择为用于内插,而能够进行编码效率的判断,以确定内插的优化方向。
图14是对应于图13的块间内插预测编码装置的块间内插预测解码装置的实施例的系统总框图。由图13的装置产生的、在其中包含着所组合的内插方向指示数据的代码流,通过输入端21提供给解码部分440及预测控制部分426。当正在接收独立块的代码时,440控制开关4、5传送解码的结果象素值以暂时保存在1/2帧存储器451中以及1/4帧存储器411或415的一个中。这样,按块从编码装置的块转换部分402输出的系统的顺序,图像的所有独立块顺序地被解码,并暂时存储在1/2帧存储器451,同时按对图13的编码装置所述方式存储在1/4帧存储器411或1/4帧存储器415。然后,解码部分440设置开关3、5,以便向预测加法器17传送解码部分440的输出,并向1/2帧存储器451传送预测加法器17的输出,这时已经编码的图像的第一预测块的预测误差值集合由解码部分440解码并提供给预测加法器17。与此同步,按对图13的编码装置所述的相同方式,通过内插导出该预测块的对应的预测象素值,并提供给预测加法器17,该预测块结果的重构象素值顺序地存储在1/2帧存储器451。
这时,第一独立块(图15中最上面左侧的块)的象素值开始从1/2帧存储器451读出并输入到光栅转换部分423。当这完成时,刚解码的预测块的象素值从1/2帧存储器451读出并传送到光栅转换部分423。然后执行随后的预测块的解码,并重复以上过程。这样,图15所示的块阵列能够作为沿阵列的相继的行的相继的块,即按顺序A,C,B,C,A,...,提供给光栅转换部分423,从而使得光栅转换部分423的配置和操作得以简化。光栅转换部分423对这样接收的图像的块的完整集合进行操作,以便恢复光栅扫描视频信号,该信号提供给输出端24。
从实施例的以上说明能够理解,本发明提供了以下的优点。首先,在图13的块间内插预测编码装置的情形下,用来对图像编码的独立编码块的数目只构成图像象素总数的一半,而其余的象素值是使用基于独立块的内插预测被编码的。因而,与图像所有的块都被内部编码的先有技术型编码装置比较,能够实现编码效率的显著增加。然而,由于在分别分布在要为其导出内插象素值的块的左右侧的两个相邻块之间,和/或在分别分布在上下侧的两个相邻块之间施加了内插,能够达到比使用外推预测实现块间编码的编码装置所能达到的精度高得多的预测精度。
此外在图1的块间内插预测编码装置实施例的情形下,由于独立块数目只是构成图像的块总数的四分之一,故编码效率能够达到更大的改进。通过按如下顺序处理每四个块的集合该改善成为可能,即把其中的一个块作为独立块进行编码,利用该编码的独立块的和先前编码的两个相邻独立块的重构象素值通过内插预测对其余的两个块编码,并通过使用刚刚编码的两个预测块的和两个相邻的先前编码的块的重构象素值进行内插预测对第四个块进行编码。
此外,通过沿和在获得预测误差值集合时进行内插的方向相同的方向上对该值的集合(即对阵列操作)施加一维DST处理以对各预测块导出的预测误差值每一集合进行编码,进一步改进了编码效率。
此外,在其内插象素值可使用两个不同的内插方向导出的预测块的情形下,本发明能够提供一种块间内插预测编码装置,从而判断这些方向中的哪一个将产生较高程度的编码效率,然后选择该内插方向以便使用。
此外,根据本发明,在编码装置和块间内插预测解码装置之间的数据传输(或记录/再生处理)过程中引起的任何代码差错的影响将被限制在引起该差错的块内,并至多影响到该图像的一两个相邻的块。因而,这种代码差错比诸如象素值的外推预测方法对再生的图像具有小得多的负面影响,使用外推预测方法代码差错的影响能够传播到图像的许多块中。

Claims (4)

1.一种块间自适应预测编码装置,用于把图像划分成块单元,并通过应用块间预测编码而进行将各块编码为预测块,其中至少一部分所述预测块是自适应预测块,该装置包括:
第一编码装置,包括用于执行位于构成部分或全部所述预测块的各自适应预测块的上下左右的块的编码以获得结果代码的子装置、和用于执行所述代码的解码以获得各解码图像的子装置;
自适应减法器装置,包括:
用于根据所述位于所述自适应预测块的上下左右的块的所述解码图像,判断要被用于编码自适应预测块的适当预测方向的子装置,以及
用于根据所述判断结果,导出基于所述位于所述自适应预测块的上下的块的所述解码图像的垂直方向预测信号或基于所述位于所述自适应预测块的左右的块的所述解码图像的水平方向预测信号的子装置,以及
用于从构成所述自适应预测块的各像素中减去所述导出的预测信号,从而获得预测误差信号的子装置;以及
第二编码装置,用于编码所述预测误差信号。
2.一种块间自适应预测解码装置,用于应用块间预测解码到已经被通过划分成块单元并执行块间预测编码而编码的图像,其中一部分所述块已经被编码为自适应预测块,该装置包括:
第一解码装置,用于执行位于构成部分或全部所述预测块的各自适应预测块的每一个的上下左右的块的解码,
预测判断装置,用于对每个所述自适应预测块判断要用于解码所述块的预测方向,并用于获得指示所述判断的结果的判断信息,
预测装置,用于根据所述判断信息,导出基于所述位于所述自适应预测块的上下的块的解码图像的垂直方向预测信号或基于所述位于所述自适应预测块的左右的块的解码图像的水平方向预测信号,以及
第二解码装置,用于解码相应于所述自适应预测块的预测误差信号,并用于将所述解码的预测误差信号值加到所述获得的预测信号,以获得解码图像信号。
3.一种块间自适应预测编码方法,用于把图像划分成块单元,并通过应用块间预测编码而进行将各块编码为预测块,其中至少一部分所述预测块是自适应预测块,该方法包括:
执行位于构成部分或全部所述预测块的各自适应预测块的上下左右的块的编码,以获得结果代码,并执行所述代码的解码以获得各解码图像;
根据所述位于所述自适应预测块的上下左右的块的解码图像,判断要被用于编码自适应预测块的适当预测方法,
根据所述判断结果,导出基于所述位于所述自适应预测块的上下的块的解码图像的垂直方向预测信号或基于所述位于所述自适应预测块的左右的块的解码图像的水平方向预测信号,
从构成所述自适应预测块的各像素中减去所述导出的预测信号,从而获得预测误差信号;以及
编码所述预测误差信号。
4.一种块间自适应预测解码方法,用于应用块间预测解码到已经被通过划分成块单元并执行块间预测编码而编码的图像,其中一部分所述块已经被编码为自适应预测块,该方法包括:
执行位于构成部分或全部所述预测块的各自适应预测块的上下左右的块的解码,
对每个所述自适应预测块判断要用于解码所述块的预测方向,并获得指示所述判断的结果的判断信息,
根据所述判断信息,导出基于所述位于所述自适应预测块的上下的块的解码图像的垂直方向预测信号或基于所述位于所述自适应预测块的左右的块的解码图像的水平方向预测信号,以及
解码相应于所述自适应预测块的预测误差信号,并将所述预测误差信号加到所述获得的预测信号,从而获得解码图像信号。
CNB2003101164621A 1997-07-31 1998-07-30 数字视频信号块间预测编码/解码装置及编码/解码方法 Expired - Lifetime CN100459715C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP21999497A JP2900998B2 (ja) 1997-07-31 1997-07-31 ブロック間内挿予測符号化装置、復号化装置、符号化方法及び復号化方法
JP219994/1997 1997-07-31
JP249770/1997 1997-08-29
JP24977097A JP2900999B2 (ja) 1997-08-29 1997-08-29 ブロック間適応内挿予測符号化装置、復号化装置、符号化方法及び復号化方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB981166725A Division CN1134991C (zh) 1997-07-31 1998-07-30 数字视频信号块间内插预测编码/解码装置及高效编码方法

Publications (2)

Publication Number Publication Date
CN1501717A CN1501717A (zh) 2004-06-02
CN100459715C true CN100459715C (zh) 2009-02-04

Family

ID=26523456

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB981166725A Expired - Lifetime CN1134991C (zh) 1997-07-31 1998-07-30 数字视频信号块间内插预测编码/解码装置及高效编码方法
CNB2003101164621A Expired - Lifetime CN100459715C (zh) 1997-07-31 1998-07-30 数字视频信号块间预测编码/解码装置及编码/解码方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNB981166725A Expired - Lifetime CN1134991C (zh) 1997-07-31 1998-07-30 数字视频信号块间内插预测编码/解码装置及高效编码方法

Country Status (5)

Country Link
US (1) US6157676A (zh)
EP (1) EP0895424B1 (zh)
KR (1) KR100289899B1 (zh)
CN (2) CN1134991C (zh)
DE (1) DE69838630T2 (zh)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001049038A1 (de) * 1999-12-23 2001-07-05 Siemens Aktiengesellschaft Verfahren, anordnung und computerprogrammerzeugnis zur prädiktion bei der codierung eines in bildblöcke unterteilten bildes
FI117534B (fi) 2000-01-21 2006-11-15 Nokia Corp Menetelmä digitaalisten kuvien suodattamiseksi ja suodatin
FI116819B (fi) 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
SE521970C2 (sv) * 2000-02-16 2003-12-23 Protan Invest Ltd Kabel-TV-system som alstrar logiska signaler baserat på jämförelse mellan detekterade energinivåer i systemet och en referenssignal
JP2002036636A (ja) * 2000-07-19 2002-02-06 Mitsubishi Electric Corp 画像データ変換装置および画像データ変換方法
US6738980B2 (en) * 2001-11-15 2004-05-18 Industrial Technology Research Institute Methods and systems for video streaming with VCR functionality
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
CN1232126C (zh) * 2002-09-30 2005-12-14 三星电子株式会社 图像编码方法和装置以及图像解码方法和装置
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US20050094882A1 (en) * 2003-11-03 2005-05-05 Jacobsen Dana D. Rebalancing compression predictors
JP4609670B2 (ja) * 2004-12-28 2011-01-12 日本電気株式会社 画像符号化装置、画像符号化方法及びそのプログラム
JP4050754B2 (ja) * 2005-03-23 2008-02-20 株式会社東芝 ビデオエンコーダ及び動画像信号の符号化方法
US7433522B2 (en) * 2005-04-15 2008-10-07 Sunplus Technology Co., Ltd. JBIG coding apparatus and method with low cost, high-performance ping-pong buffer arrangement
KR100727972B1 (ko) * 2005-09-06 2007-06-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100750128B1 (ko) * 2005-09-06 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100728011B1 (ko) 2005-11-09 2007-06-14 삼성전자주식회사 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체
KR101246294B1 (ko) * 2006-03-03 2013-03-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US8036264B2 (en) * 2006-05-23 2011-10-11 Lsi Corporation Memory management in video decoding systems
US8422555B2 (en) * 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
JP4690966B2 (ja) 2006-08-11 2011-06-01 株式会社東芝 動画像符号化装置
JP4592656B2 (ja) * 2006-08-17 2010-12-01 富士通セミコンダクター株式会社 動き予測処理装置、画像符号化装置および画像復号化装置
CN101137065A (zh) * 2006-09-01 2008-03-05 华为技术有限公司 图像编码方法、解码方法、编码器、解码器、编解码方法及编解码器
KR100927733B1 (ko) * 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
US7827450B1 (en) * 2006-11-28 2010-11-02 Marvell International Ltd. Defect detection and handling for memory based on pilot cells
US8199991B2 (en) * 2006-12-01 2012-06-12 Koninklijke Philips Electronics N.V. Method to automatically decode microarray images
CN100551073C (zh) * 2006-12-05 2009-10-14 华为技术有限公司 编解码方法及装置、分像素插值处理方法及装置
KR101380843B1 (ko) * 2006-12-28 2014-04-07 삼성전자주식회사 인트라 예측을 통해 부호화된 블럭들을 포함하는압축영상에 대한 축소영상 생성방법 및 이를 적용한영상기기
JPWO2008120577A1 (ja) * 2007-03-29 2010-07-15 株式会社東芝 画像符号化及び復号化の方法及び装置
US8238428B2 (en) 2007-04-17 2012-08-07 Qualcomm Incorporated Pixel-by-pixel weighting for intra-frame coding
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US8428133B2 (en) 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
CN101904173B (zh) * 2007-12-21 2013-04-03 艾利森电话股份有限公司 用于视频编码的改进像素预测的方法及设备
EP2081386A1 (en) 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
CN102067602B (zh) 2008-04-15 2014-10-29 法国电信公司 通过预先确定基准像素族而进行的图像预测、使用这样的预测的编码和解码
KR101619972B1 (ko) * 2008-10-02 2016-05-11 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
KR20110027238A (ko) * 2009-09-10 2011-03-16 삼성전자주식회사 휴대용 단말기의 영상 데이터 처리 장치 및 방법
WO2011067869A1 (ja) * 2009-12-01 2011-06-09 パナソニック株式会社 画像処理装置及び画像処理方法
US8306343B2 (en) * 2010-04-09 2012-11-06 Newport Media, Inc. Optimized prediction based image compression
US8879619B2 (en) * 2010-07-15 2014-11-04 Sharp Laboratories Of America, Inc. Method of parallel video coding based on scan order
KR20120140181A (ko) * 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
EP2919466A3 (en) * 2011-06-28 2016-02-17 Samsung Electronics Co., Ltd Method and apparatus for image encoding and decoding using intra prediction
KR101943049B1 (ko) * 2011-06-30 2019-01-29 에스케이텔레콤 주식회사 영상 부호화/복호화 방법 및 장치
RU2713699C2 (ru) * 2011-10-17 2020-02-06 Кт Корпорейшен Способ декодирования видеосигнала
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
US9894386B2 (en) * 2012-04-12 2018-02-13 Goldpeak Innovations Inc. Transform method based on block information, and apparatus using said method
US9185414B1 (en) 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9374578B1 (en) 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US10313682B2 (en) 2013-08-26 2019-06-04 Qualcomm Incorporated Determining regions when performing intra block copying
US20150071357A1 (en) * 2013-09-12 2015-03-12 Qualcomm Incorporated Partial intra block copying for video coding
US9154782B2 (en) * 2013-09-16 2015-10-06 Magnum Semiconductor, Inc. Apparatuses and methods for adjusting coefficients using dead zones
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US10484695B2 (en) 2017-10-23 2019-11-19 Google Llc Refined entropy coding for level maps
US10645381B2 (en) * 2018-04-30 2020-05-05 Google Llc Intra-prediction for smooth blocks in image/video
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
TW202129591A (zh) * 2019-09-20 2021-08-01 日商索尼股份有限公司 圖像處理裝置及圖像處理方法以及程式
KR102526582B1 (ko) 2021-05-28 2023-04-27 린나이코리아 주식회사 직류전원공급장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1129882A (zh) * 1994-08-25 1996-08-28 索尼公司 运动矢量检测装置和用其对运动进行补偿的预测编码系统
CN1134090A (zh) * 1995-03-20 1996-10-23 大宇电子株式会社 编码/解码视频信号的方法与装置
CN1134084A (zh) * 1995-03-20 1996-10-23 大宇电子株式会社 用在图象编码系统中的改进的运动补偿装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US36507A (en) * 1862-09-23 George h
US5400076A (en) * 1991-11-30 1995-03-21 Sony Corporation Compressed motion picture signal expander with error concealment
JP3374989B2 (ja) * 1993-03-26 2003-02-10 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、ならびに画像信号復号化方法および画像信号復号化装置
DE69533870T2 (de) * 1994-10-19 2005-05-25 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Bilddekodierung
JP3169783B2 (ja) * 1995-02-15 2001-05-28 日本電気株式会社 動画像の符号化・復号システム
WO1997011562A1 (en) * 1995-09-20 1997-03-27 Philips Electronics N.V. Method and device for decoding coded digital video signals
US6064450A (en) * 1995-12-06 2000-05-16 Thomson Licensing S.A. Digital video preprocessor horizontal and vertical filters
US5963673A (en) * 1995-12-20 1999-10-05 Sanyo Electric Co., Ltd. Method and apparatus for adaptively selecting a coding mode for video encoding
US5973742A (en) * 1996-05-24 1999-10-26 Lsi Logic Corporation System and method for performing motion estimation with reduced memory loading latency
US5818533A (en) * 1996-08-08 1998-10-06 Lsi Logic Corporation Method and apparatus for decoding B frames in video codecs with minimal memory
JP3348612B2 (ja) * 1996-10-31 2002-11-20 日本ビクター株式会社 ブロック間予測符号化装置、ブロック間予測復号化装置、ブロック間予測符号化方法、ブロック間予測復号化方法、及びブロック間予測符号化復号化装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1129882A (zh) * 1994-08-25 1996-08-28 索尼公司 运动矢量检测装置和用其对运动进行补偿的预测编码系统
CN1134090A (zh) * 1995-03-20 1996-10-23 大宇电子株式会社 编码/解码视频信号的方法与装置
CN1134084A (zh) * 1995-03-20 1996-10-23 大宇电子株式会社 用在图象编码系统中的改进的运动补偿装置

Also Published As

Publication number Publication date
CN1501717A (zh) 2004-06-02
DE69838630D1 (de) 2007-12-13
KR19990014322A (ko) 1999-02-25
EP0895424B1 (en) 2007-10-31
US6157676A (en) 2000-12-05
KR100289899B1 (ko) 2001-05-15
EP0895424A3 (en) 2003-07-16
DE69838630T2 (de) 2008-08-28
EP0895424A2 (en) 1999-02-03
CN1207634A (zh) 1999-02-10
CN1134991C (zh) 2004-01-14

Similar Documents

Publication Publication Date Title
CN100459715C (zh) 数字视频信号块间预测编码/解码装置及编码/解码方法
US6339620B1 (en) Video coding and video decoding apparatus according to a reduction ratio setting information signal
US5576845A (en) Encoding apparatus and method for processing color data in blocks
JP3725250B2 (ja) 輪郭符号化方法
JP3356663B2 (ja) 画像符号化装置、画像符号化方法および画像符号化プログラムを記録した記録媒体
CN101690234B (zh) 视频图像编码方法及解码方法、其装置
CN107071419A (zh) 图像编码设备和方法以及图像解码设备和方法
RU2509439C2 (ru) Способ и устройство кодирования и декодирования, сигнал, носитель данных и продукты компьютерной программы
EP1120975A3 (en) Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method, image encoding program recording medium and image decoding program recording medium
JP2010239640A (ja) ビデオ圧縮方法
CN101828405A (zh) 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
WO2009087783A1 (ja) 符号化用データ生成装置、符号化用データ生成方法、復号装置および復号方法
US7515761B2 (en) Encoding device and method
JPH10136376A (ja) ブロック間予測符号化復号化装置及びその方法
JP2006525735A (ja) 適応的な走査順序に基づいてブロックを使用するビデオ情報の符号化
JPH1155530A (ja) 画像読取装置及び画像出力装置
JP3158064B2 (ja) 動画像符号化装置及び動画像復号装置
JP3929623B2 (ja) 映像を走査する方式に従って適応的にボーダーリングする形状情報符号化/復号化装置および方法
US20050036542A1 (en) Computation of compressed video information
JP4935771B2 (ja) 動きベクトル検出装置および動画像符号化装置
JP3811727B2 (ja) 画像符号化・復号化方法及びその装置
JPS62176279A (ja) 映像符号化復号化装置
JPH11331844A (ja) 固定長ブロック符号化装置及び復号装置
JPS6260361A (ja) 自動符号化切換方式
JPH01194584A (ja) テレビジョン信号の高能率符号化方式のデコード装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: JVC KENWOOD CORPORATION

Free format text: FORMER OWNER: VICTORY CO. LTD.

Effective date: 20140307

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140307

Address after: Kanagawa

Patentee after: JVC Kenwood Corp.

Address before: Kanagawa

Patentee before: Victory Co., Ltd.

CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20090204