CN1547854A - 图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号,以及图像传送系统 - Google Patents

图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号,以及图像传送系统 Download PDF

Info

Publication number
CN1547854A
CN1547854A CNA028082478A CN02808247A CN1547854A CN 1547854 A CN1547854 A CN 1547854A CN A028082478 A CNA028082478 A CN A028082478A CN 02808247 A CN02808247 A CN 02808247A CN 1547854 A CN1547854 A CN 1547854A
Authority
CN
China
Prior art keywords
mentioned
coding
image
coding mode
motion compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028082478A
Other languages
English (en)
Other versions
CN1285216C (zh
Inventor
小林充
一
关口俊一
安达悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of CN1547854A publication Critical patent/CN1547854A/zh
Application granted granted Critical
Publication of CN1285216C publication Critical patent/CN1285216C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

对在块内之图像的图像数据D1检测运动，从已准备的多个编码模式中选择适用的编码模式，在对该图像数据进行运动补偿后(步骤S101)，可变长编码正交变换系数D6和编码模式信息D3生成编码数据D7(S103)。而后，在编码模式信息的可变长编码中，参照在相邻块内选择的编码模式，对包含在编码模式信息的2值化图案中的2值化符号，分别切换在算术编码中使用的概率表。由此，实现可以提高被多重化在编码数据上的编码模式信息的数据压缩率的图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号，以及图像传送系统。

Description

图像编码方法、图像译码方法、图像编码装置、图像 译码装置、程序、计算机数据信号，以及图像传送系统
技术领域
本发明涉及可以适合用于移动式视频传送系统等的图像传送系统的图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号，以及图像传送系统。
背景技术
以往，作为运动图像的编码方式，已知有ITU-T H.26x和MPEG序列(series)等的标准运动图像编码方式。在这些图像编码方式中，对于作为编码对象输入的帧图像，和其他的帧图像之间进行运动补偿(MC：Motion Compensation)帧间预测，把图像数据变换为运动向量和差分(预测残差)帧图像。通过这样的运动补偿，可以从成为编码对象的帧图像中除去与时间的变化有关的冗余度，可以提高采用图像编码的数据压缩的效率等。
另外，作为通过运动补偿生成的图像数据的差分帧图像，进一步被正交变换以及可变长编码，成为作为在图像传送中使用的压缩数据的编码数据。作为这样的可变长编码方法之一，使用算术编码(AC：Arithmetic Coding)。
一般，当对组合了多种符号的信息源系列(符号系列)进行算术编码的情况下，首先，在[0.0，1.0]的数直线(概率数直线)上，对于各个符号，根据符号的出现概率分配一定的区间。这时，表示符号和数直线上的区间的对应关系的表，被称为概率表。在根据算术编码对信息源系列可变长度编码时，通过参照该概率表，生成在数直线上表现信息源系列的代码字。
在此，参照图1～图3说明有关算术编码。具体地说，把字符串“ARITHMETIC”作为编码对象的信息源系列，把其算术编码作为例子说明。
在上述的信息源系列内，出现A、C、E、H、I、M、R、T这8种字符(符号)。对于这些字符，如图1的表所示，在[0.0，1.0)的数直线(概率数直线)上，如成为与字符串中的各字符的出现概率成比例的区间那样分别分配区间。在表示该字符和数直线上的区间的对应关系的图1中所示的表，成为在算术编码中使用的概率表。
图2是展示使用了图1所示的概率表的字符串“ARITHMETIC”的编码的图。在算术编码中，通过对包含在信息源系列中的各符号顺序进行根据概率表的区间缩小操作，生成编码信息源系列的代码字。
在图2所示的例子中，首先，对作为编码对象的字符串“ARITHMETIC”的第1字符“A”，参照图1所示的概率表，划分为把数直线上的区间[0，1]与各字符对应的8个区间。而后，在这些区间中，对与字符“A”对应的区间[0.0，0.1]缩小区间。以下，对于第2字符“R”，参照概率表，把区间[0.0，0.1]划分为8个区间。而后，在这些区间中，对与字符“R”对应的区间[0.07，0.08]缩小区间。
以下，对各字符顺序进行采用该区间缩小的编码操作。而后，在最终得到的数直线上的区间[0.0757451536，0.0757451552)中，处于该区间内的数值“0.0757451536”，作为算术编码了字符串“ARITHMETIC”的代码字生成。
图3是展示将使用了图1所示的概率表的代码字“0.0757451536”译码为字符串“ARITHMETIC”的图。
在图3所示的例子中，首先，对作为译码对象的代码字“0.0757451536”，参照图1所示的概率表，特定包含代码字的区间长为0.1的区间[0.0，0.1]。而后，把与特定的区间对应的字符“A”作为第1字符输出，用(代码字-下限)/(区间长)，生成新的代码字“0.0757451536”。以下，对于代码字“0.0757451536”，参照概率表，特定包含代码字的区间长度为0.1的区间[0.7，0.8)。而后，在把与特定的区间对应的字符“R”作为第2字符输出的同时，生成新的代码字“0.757451536”。
以下，对代码字顺序进行该译码操作。而后，从被算术编码后的代码字“0.0757451536”中，译码字符串“ARITHMETIC”。
这样，在使用了算术编码的信息源系列的可变长编码中，通过使包含在信息源系列中的符号和数直线上的区间对应，可以用[0.0，1.0)的数直线上的代码字表现任意的信息源系列。另外，通过根据各符号的出现概率设定使符号和区间对应的概率表，可以高效率地进行信息源系列的可变长编码，可以提高采用编码的数据压缩的效率。
发明内容
图4是展示使用了采用上述的算术编码的可变长编码的图像编码方法一例的流程图。在图4所示的图像编码方法中，通过使用了被称为以ITU-TH.26L视频编码方式(参照VCEG-M10 H.26L TestModel Long Term Number 8(TML-8)draft0)使用的环境模拟的CBAC(Context-based Adaptive Binary Arithmetic Coding)的方法，进行图像数据的算术编码。
在图像数据的编码中，首先，把编码对象的图像分割为规定大小的块，对每块进行帧内编码(Intra-Frame Coding，帧内编码)或帧间编码(Inter-Frame Coding，帧间编码)、DCT等的正交变换等的必要的数据变换处理，生成表示在块内之图像的图像数据。而后，对于该图像数据，使用算术编码等进行可变长编码，生成经数据压缩的编码数据。
在图4所示的图像编码方法中，特别是不用预先被固定设定的条件进行编码，而是在编码每块的图像数据时进行环境建模(步骤S901，Context Modeling)。在使用了环境建模的算术编码中，关于在图像数据的编码中使用的概率表，对在编码对象的块中的图像数据适用的概率表，参照在相邻块中的图像编码的处理结果等的编码条件进行切换设定。
如果结束了采用环境建模的概率表的设定，则2值化符号对象的图像数据(例如多个DCT系数)，生成应该传送的数据系列(S902，Binarization)。而后，对2值化的数据系列进行算术编码(S903，Adaptive Binary Arithmetic Coding)，得到编码数据。
具体地说，对于经2值化的数据系列的各位，分配由环境建模设定的概率表进行概率评价(S904，Probability Estimation)。而后，用分配的概率表算术编码数据系列，生成作为编码数据的数直线上的代码字(S905，Arithmetic Coding)。另外，根据算术编码的处理结果，把编码后的比特的发生频度等的信息反馈到概率表，由此更新概率评价，把编码的倾向反映在概率表中(S906，ProbabilityEstimation Update)。
如果采用使用了环境建模的算术编码的上述图像编码方法，由于根据编码条件或处理结果变换所使用的概率表，因而可以减少在编码数据中的冗余度。
另一方面，当在图像编码中进行上述的运动补偿的情况下，存在准备运动补偿中的补偿条件或方法不同的多个编码模式，从其中选择适用于各图像数据的编码模式进行运动补偿的情况。在这样情况下，表示被选择的编码模式的编码模式信息也和图像数据一同被可变长编码，被多重化在编码数据中。因而，有关在编码数据中的冗余度的降低，需要即使是该编码模式也进行冗余度的除去，提高在编码数据中的数据压缩的效率。
本发明，就是为了解决以上的问题而提出的，其目的在于提供一种可以提高对被多重化在编码数据上的编码模式信息的数据压缩效率的图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号，以及图像传送系统。
为了实现这样的目的，本发明的图像编码方法，是把帧图像分割为规定大小的块，对每块编码图像数据的编码方法，其特征在于：具备(1)把在块内之图像的图像数据和在帧图像或者在其它帧图像中的其它块进行比较，检测运动，对于运动补偿从已准备的多个编码模式中选择适宜图像数据的编码模式，对图像数据进行运动补偿的运动补偿步骤；(2)用规定的2值化表2值化选择的表示编码模式的编码模式信息以及图像数据生成2值化图案，通过使用规定概率表的算术编码可变长编码2值化图案，生成编码数据的编码步骤，(3)在编码步骤中，对于被包含在与编码模式信息对应的2值化图案的2值化符号，分别参照在块的相邻块中选择的编码模式，切换适用的概率表。
同样，本发明的图像编码装置，是把帧图像分割为规定大小的块，为每块编码图像数据的编码装置，其特征在于：具备(1)把在块内之图像的图像数据和在帧图像或者在其它帧图像中的其它块比较检测运动，对于运动补偿从已准备的多个编码模式中选择适宜图像数据的编码模式，对图像数据进行运动补偿的运动补偿装置；(2)用规定的2值化表2值化选择的表示编码模式的编码模式信息以及图像数据生成2值化图案，通过使用规定概率表的算术编码可变长编码2值化图案，生成编码数据的编码装置，(3)在编码步骤中，对于被包含在与编码模式信息对应的2值化图案的2值化符号，分别参照在块的相邻块中选择的编码模式，切换适用的概率表。
另外，本发明的图像编码程序，其特征在于在计算机中执行上述的图像编码方法。另外，其特征在于：本发明的计算机数据信号，包含在载波，承载用于使计算机执行上述的图像编码方法的图像编码程序。
在上述的图像编码方法、装置、程序，以及计算机信号中，在从运动补偿的补偿条件和方法不同的多个编码模式中选择适用的编码模式进行运动补偿后，算术编码被运动补偿后的图像数据，和表示被适用在运动补偿中的编码模式的编码模式信息，并将其多重化，生成经数据压缩的编码数据。而后，在编码模式信息的算术编码中，对于被包含在编码模式信息被2值化的2值化图案中的2值化符号，参照在相邻块中的处理结果切换概率表，进行算术编码。
由此，对应在算术编码中的编码条件反映2值化图案中的2值化符号各自的符号位置，或在相邻块中选择的编码模式等。因而可以有效地除去编码模式信息的冗余度，提高在编码数据中的数据压缩效率。
另外，本发明的图像译码方法，是把帧图像分割为规定大小的块，译码对每块编码了图像数据的编码数据的译码方法，其特征在于：包含(1)在通过使用了规定的概率表的反算数编码可变长译码编码数据生成2值化图案的同时，用规定的2值化表反2值化2值化图案，生成编码模式信息以及块内图像中的图像数据的译码步骤；(2)适用从对运动补偿准备的多个编码模式中选择编码表示模式信息编码模式，对图像数据进行运动补偿的运动补偿步骤，(3)在译码步骤中，对于包含在与编码模式信息对应的2值化图案的2值化符号，分别参照在块的相邻块中选择出的编码模式，切换适用的概率表。
同样，本发明的图像译码装置，是把帧图像分割为规定大小的块，译码为每块编码图像数据的编码数据的译码装置，其特征在于：包含(1)通过使用了规定的概率表的反算数编码可变长译码编码数据生成2值化图案，用规定的2值化表反2值化2值化图案，生成在编码模式信息以及块内之图像的图像数据的译码装置；(2)适用从对运动补偿准备的多个编码模式中选择表示编码模式信息编码模式，对图像数据进行运动补偿的运动补偿装置，(3)在译码装置，对于包含在与编码模式信息对应的2值化图案中的2值化符号，分别参照在块的相邻块中选择出的编码模式，切换适用的概率表。
另外，本发明的图像译码程序，其特征在于使计算机执行上述的图像译码方法。另外，其特征在于：本发明的计算机数据信号，包含在载波上，承载用于使计算机执行上述的图像译码方法的图像译码程序。
在上述的图像编码方法、装置、程序，以及计算机信号中，在通过反算术编码以及反2值化被数据压缩的编码数据译码编码模式信息以及图像数据后，适用编码模式信息表示的编码模式进行运动补偿。而后，在编码数据的反算术编码中，和上述的算术编码情况一样，对于包含在编码模式信息被2值化后的2值化图案的2值化符号，分别参照在相邻块中的处理结果切换概率表，进行反算术编码。
由此，对应在反算术编码中的译码条件反映2值化图案中的2值化符号各自的符号位置，和在相邻块中选择的编码模式等。因而，可以有效地除去编码模式信息的冗余度，从在编码数据中的数据压缩效率提高的编码数据中，适宜地译码数据。
另外，编码方法、译码方法，以及编码装置、译码装置，理想的是使用多个编码模式，包含在进行运动补偿时对处于块内的图像的运动补偿用块的区分方法相互不同的2个以上的编码方式。
运动补偿用块，是在成为编码对象的块内划分为1个或者多个块，对该被划分的每个运动补偿块进行运动向量的付与的块。对于这样的运动补偿用块，涉及包含块划分不同的2个以上的编码方式的上述多个编码模式，通过参照在相邻块中被选择的编码模式进行概率表的切换，根据包含运动补偿用块的划分方法的运动补偿条件降低在编码数据中的冗余度，可以进一步提高该数据压缩的效率。
另外，多个编码模式，理想的是包含复制与在运动补偿中使用的参照帧同位置的图像的跳跃(skip)模式。但是，关于该跳跃模式，其构成最好是在多个编码模式中不包含跳跃模式。
另外，本发明的图像传送系统，是把帧图像分割为规定大小的块，用对每块编码图像数据后的编码数据传送帧图像的图像传送系统，其特征在于：包含(1)从帧图像中生成编码数据并输出的上述图像编码装置；(2)输入来自图像编码装置的编码数据译码帧图像的上述图像译码装置。
如果采用这样的图像传送系统，则使用相对于被多重化在编码数据上的编码模式信息的数据压缩效率提高的编码数据，高效率地传送图像。
附图说明
图1是展示在算术编码中使用的概率表一例的表。
图2是展示使用了图1所示的概率表的字符串的编码的图。
图3是展示使用了图1所示概率表的字符串译码的图。
图4是展示使用了算术编码的图像编码方法一例的流程图。
图5是概略地展示图像编码方法一实施方式的流程图。
图6是展示图像编码装置一实施方式构成的方框图。
图7A～图7J是展示在运动补偿中使用的编码模式一例的模式图。
图8A以及图8B是展示图像数据的正交变换的图。
图9是概略地展示图像译码方法一实施方式的流程图。
图10是展示图像译码装置一实施方式构成的方框图。
图11A～图11D，是展示DCT系数的算术编码的图。
图12是展示在编码模式信息的2值化中使用的2值化表例子的表。
图13是展示对于编码对象块C，参照相邻块A、B的环境建模的图。
图14是展示对图7A～图7J所示的多个编码模式的各自设定的复杂度例子的表。
图15是展示与在相邻块中选择的编码模式对应的复杂度，和在编码对象的块中选择的编码模式的相关的曲线图。
图16是展示采用相对编码模式信息的概率表切换的符号量的减少效果的表。
图17是展示在编码模式信息的2值化中使用的2值化表的另一例子的表。
图18是展示图像传送系统一实施方式构成的模式图。
具体实施方式
以下，和图面一同详细说明本发明的图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号，以及使用它们的图像传送系统的适宜的实施方式。进而，在图面的说明中在同一要素上标注同一符号，并省略重复的说明。另外，图面的尺寸比率，不一定和说明中的一致。
首先，说明图像编码方法以及图像编码装置。
图5是概略展示本发明的图像编码方法一实施方式的流程图。本编码方法，是对作为运动图像等的帧图像的输入帧图像D1进行规定的变换处理操作以及编码处理操作，在移动式视频传送系统等的图像传送系统中生成可以传送的被数据压缩后的编码数据D7的图像编码方法。
在图5所示的图像编码方法中，首先，对输入帧图像D1进行规定的数据处理操作变换图像数据，使之成为用空间坐标表示的图像数据(空间图像数据)D5(步骤S101，运动补偿步骤)。作为这里的数据处理操作，具体地说，进行对运动图像的帧图像进行帧间编码的运动补偿(MC：Motion Compensation)的帧间预测。在对于用规定尺寸(规定像素数)分割帧图像得到的每块，对在块内图像的图像数据进行该运动补偿。
在此，在本实施方式的图像编码方法中，对于该帧图像的运动补偿，准备运动补偿的补偿条件或方法不同的多个编码模式。在运动补偿帧间预测中，把在块内图像的图像数据和在帧图像或者另一帧图像中的另一块比较，检测图像的运动，根据其检测结果，从已准备的多个编码模式中选择适宜图像数据的编码模式。
而后，适用已选择的编码模式进行图像数据的运动补偿，生成运动向量、作为差分帧图像的空间图像数据D5。另外，表示已选择的编码模式的信息，成为编码模式信息D3。
以下，对空间图像数据D5进行正交变换操作，生成用空间频率表现的作为图像数据(频率图像数据)的多个正交变换系数D6(S102，正交变换步骤)。该正交变换，对分割帧图像得到的每块进行，对包含在输入帧图像D1中的各块，各自得到正交变换系数D6。另外，对该正交变换系数，根据需要进一步进行量化操作，生成成为编码对象的正交变换系数(量化系数)。
接着，对多个正交变换系数D6使用算术编码进行可变长编码，生成作为压缩数据的编码数据D7(S103，编码步骤)。另外，表示对运动补偿选择的编码模式的编码模式信息D3，也和正交变换系数D6一同使用算术编码进行可变长编码，被多重化为编码数据D7。
具体地说，首先，编码模式信息D3、作为图像数据的正交变换系数D6分别使用规定的2值化表被2值化，生成2值化图案(S104，2值化步骤)。而后，对于与编码模式信息D3和正交变换系数D6对应的2值化图案，分别把适用的概率表设定为规定的概率表，用该概率表算术编码2值化图案(S105，算术编码步骤)，生成编码数据D7。
在此，在本实施方式的图像编码方法中，在对2值化图案进行算术编码时，对于包含在与编码模式信息对应的2值化图案的2值化符号，分别参照在编码对象的块的相邻块选择的编码模式，切换适用于各2值化符号的概率表。
下面说明采用本实施方式的图像编码方法的效果。
在图5所示的图像编码方法中，在从运动补偿中的补偿条件或方法不同的多个编码模式中选择适用的编码模式进行运动补偿后，算术编码进行了运动补偿的图像数据D6，和表示在运动补偿中使用的编码模式的编码模式信息D3并将其多重化，生成被数据压缩后的编码数据D7。而后，在编码模式信息D3的算术编码中，对于包含在编码模式信息D3被2值化的2值化图案中的2值化符号，分别参照相邻块中的处理结果切换概率表，进行算术编码。
这样，通过对于与编码模式信息对应的2值化模式中的2值化符号分别进行适宜切换概率表的环境建模，由此对于在算术编码中的编码条件适宜地反映在2值化图案中的2值化符号各自的符号位置，和在相邻块中选择出的编码模式等。因而，可以有效地除去编码模式信息D3的冗余度，提高编码数据D7的数据压缩效率。
另外，有关为了选择适用的编码模式而准备的多个编码模式，理想的是在进行运动补偿的同时对包含在块内的图像的运动补偿用块的划分方法相互不同的2个以上的编码模式。
运动补偿用块，是在成为编码对象的块内划分为1个或者多个块，用于对该被划分后的运动补偿用的每块进行运动向量的付与的块。对于这样的运动补偿用块，关于包含块划分不同的2个以上的编码模式的上述多个编码模式，参照在相邻块中选择的编码模式进行概率表的切换，由此，根据包含运动补偿用块的划分方法的运动补偿条件减低在编码数据中的冗余度，进一步提高该数据压缩的效率。
另外，多个编码模式，理想的是包含复制和在运动补偿中使用的参照帧相同位置的图像的跳跃模式(Skip mode)。但是，关于该跳跃模式，最好的构成是在多个编码模式中不包含跳跃模式。进而，有关具体的编码模式，概率表的切换方法等，后面详细叙述。
图6是展示本发明的图像编码装置一实施方式的方框图。以下，参照图6所示的图像编码装置，进一步说明图5所示的图像编码方法。进而，以下，对作为编码对象被输入到图像编码装置中的输入帧图像D1，假设是由时间系列的帧图像组成的运动图像。
作为编码对象输入的输入帧图像D1，首先，用16像素×16行的大小分割为正方形的图像块，该图像块是作为运动补偿的数据处理单位的图像块，被称为宏块(macro block)。进而，在后述的DCT(正交变换)中，例如在H.26L编码方式中，使用4像素×4行大小的DCT块。这种情况下，1个宏块，在DCT中，具有16个亮度(Luma)块，8个色差(Chroma)块。图像编码对这些块的每个进行。
帧图像D1，被输入到由运动检测单元11以及运动补偿单元12组成的运动补偿装置。首先，帧图像D1被输入运动检测单元11，对每个宏块检测图像的运动。运动检测单元11，比较要被检测运动的宏块中的图像数据和在输入帧图像或者另一帧图像中的另一宏块中的图像数据，检测表示图像运动的运动向量D2。
具体地说，在运动检测单元11中，参照作为编码后的帧图像被存储在帧存储器20中的局单元译码图像D8内的规定图像区域，发现与成为现在的编码对象的输入帧图像D1的宏块类似的图案。而后，用该类似图案和宏块之间的空间性移动量，确定运动向量D2。
另外，这时，从对运动补偿准备的多个编码模式中，选择在宏块的运动补偿中使用的编码模式。图7A～图7J是展示对运动补偿准备的编码模式一例的模式图。在该图7A～图7J所示的多个编码模式中，对运动补偿准备1个跳跃(Skip)模式0、7个帧间模式1～7、2个帧内模式8、9这10个编码模式。
其中，跳跃模式0，是不检测图像的运动，复制和在运动补偿中使用的参照帧相同位置的图像的模式。
另外，帧间模式1～7，是通过使用对各个不同的运动补偿用块进行的块划分进行帧间编码情况的模式。对于各运动补偿用块，如图7B～7H所示，在模式1中，以16×16大小使用1个块。在模式2中，以16×8大小使用2个块。在模式3中，以8×16大小使用2个块。在模式4中，以8×8大小使用4个块。在模式5中，以8×4大小使用8个块。在模式6中，以4×8大小使用8个块。在模式7中，以4×4大小使用16个块。
上述的运动图像D2，被付与在已选择的帧间模式中被划分的每个运动补偿块，因而，各宏块被付与已划分的块的个数个的运动向量D2。进而，对于对各运动补偿用块进行运动向量D2付与的顺序，例如，在图7A～图7J中的各符号模式中，以用块内的数字表示的顺序进行。
另外，帧内模式8、9，是用各个不同的块划分进行帧内编码的模式。对于各个块，如图7I、7J所示，在模式8中，以4×4大小使用16个块。在模式9中，以16×16大小使用1个模块。
如果选择了编码模式，对各运动补偿块求运动向量D2，则在运动补偿单元12中，使用来自运动检测单元11的运动向量D2、来自帧存储器20的局单元译码图像D8，生成运动预测图像。通过对于包含在帧图像D1中的全单元的宏块确定运动向量D2生成运动预测图像，可以得到相对输入帧图像D1的预测帧图像D4。
接着，在减法器13中，生成输入帧图像D1和预测帧图像D4之间的差分(预测残差)帧图像D5。另外，当未制作预测帧图像D4的情况下，把输入帧图像D1直接设置为帧图像D5，作为该空间图像数据的帧图像D5，成为以后的正交变换以及算术编码的对象。
差分帧图像D5的图像数据，被输入到正交变换单元(正交变换装置)14。在正交变换单元14中，对于差分帧图像D5，为包含在宏块中的每个正交变换块(例如，16个亮度块和8个色差块)进行正交变换，生成作为频率图像数据的正交变换系数。另外，该正交变换系数，在量化单元15中由规定的量化图案量化，得到成为算术编码对象的图像数据的最终的正交变换系数(量化系数)D6。
图8A以及图8B是展示图像数据的正交变换的图。被分割用于帧图像D5内的正交变换用的各块的图像数据是空间图像数据，如图8A中用4×4的像素成分示例那样，通过以水平坐标和垂直坐标规定的4×4空间像素成分a11～a44表示。正交变换单元14，通过以规定的变换方法正交变换该空间图像数据，变换为图8B所示的图像数据。该图像数据是频率图像数据，是用水平频率和垂直频率规定的作为4×4的频率图像成分的正交变换系数f11～f44表示。
作为具体的正交变换，例如，可以适用离散余弦变换(DCT：Discrete Cosine Transform)。DCT是使用傅立叶变换的余弦之项的正交变换，在图像编码中经常使用。通过对空间图像数据进行DCT，生成作为频率图像数据的DCT系数f11～f44。进而，在DCT中，例如，在H.26L编码方式中，作为正交变换用块，如图8A以及8B所示使用4×4的DCT块。
由正交变换单元14以及量化单元15生成的正交变换系数D6，在可变长编码单元(编码装置)16中，通过使用规定的概率表的算术编码进行可变长编码。由此，生成作为输入帧图像D1的压缩数据的编码数据D7。
另外，在可变长编码单元16中，除了正交变换系数D6外，输入由运动检测单元11检测的运动向量D2，和表示在运动检测单元11中选择的编码模式的编码模式信息D3。这些运动向量D2以及编码模式信息D3，在可变长编码单元16中，和正交变换系数D6一样，通过使用规定的概率表的算术编码进行可变长编码，被多重化在编码数据D7上。
在此，对于在可变长编码单元16中在算术编码中使用的概率表的设定，和有关图5所示的图像编码方法一样。在运动向量D2以及编码模式信息D3的算术编码中，通常，使用和正交变换系数D6的算术编码不同的概率表，对于适用于编码模式信息D3的概率表，如上所述参照在相邻块中的处理结果进行切换。另外，即使在正交变换系数D6的算术编码中，也可以在亮度块的算术编码和色差块的算术编码中，使用不同的概率表。
另外，用正交变换单元14以及量化单元15生成的正交变换系数D6，在本图像编码装置内，用反量化单元17以及反正交变换单元18译码。而后，在加法器19中将被译码后的图像数据和预测帧图像D4相加，生成局单元译码图像D8。该局单元译码图像D8被存储在帧存储器20中，在别的帧图像的运动补偿中使用。
以下，说明图像译码方法以及图像译码装置。
图9是概略展示本发明的图像译码方法一实施方式的流程图。本译码方法，是对由图5所示的图像编码方法生成的编码数据D7进行规定的译码处理操作以及变化处理操作，作为与输入帧图像D1对应的图像译码输出帧图像D10的图像译码方法。
在图9所示的图像译码方法中，首先，对于编码数据D7使用反算术编码进行可变长译码，生成多个正交变换系数(量化系数)D6(S201，译码步骤)。另外，表示对于运动补偿选择的编码模式的编码模式信息D3，也和正交变换系数D6一样使用反算术编码从编码数据D7中译码。
具体地说，首先，把适用于编码数据D7的概率表设定为规定的概率表，使用该概率表反算术编码数据D7(S202，反算术编码步骤)，分别生成与编码模式信息D3和正交变换系数D6对应的2值化图案。而后，与编码模式信息D3和正交变换系数D6对应的2值化图案，分别用规定的2值化表进行反2值化，生成编码数据信息D3以及正交变换系数D6(S203，反2值化步骤)。
在此，在本实施方式的图像译码方法中，在对编码数据D7进行反算术编码时，对于包含在与编码模式信息对应的2值化图案中的2值化符号的各自，参照在编码对象的块的相邻块选择出的编码模式，切换适用于各2值化符号的概率表。
以下，对多个正交变换系数D6顺序进行反量化操作以及反正交变换操作，生成空间图像数据D9(S204，反正交变换步骤)。而后，对空间图像数据D9适用编码模式信息D3表示的编码模式进行运动补偿，复原输出帧图像D10(S205，运动补偿步骤)。
说明本实施方式的图像译码方法的效果。
在图9所示的图像译码方法中，在通过反算术编码以及反2值化被数据压缩后的编码数据D7，译码编码模式信息D3以及图像数据D6后，适用编码模式信息D3表示的编码模式进行运动补偿。而后，在编码模式数据D7的反算术编码中，和上述的算术编码的情况一样，对于包含在编码模式信息D3被2值化后的2值化图案中的2值化符号的各自，参照相邻块中的处理结果切换概率表，进行反算术编码。
这样，通过对在与编码模式信息对应的2值化图案中的2值化符号各自进行适宜切换概率表的环境建模，可以对反算术编码中译码条件适宜地反映在2值化图案中的2值化符号各自的编码位置，和在相邻块中选择的编码模式等。因而，可以有效地除去编码模式信息D3的冗余度，并可以从数据压缩效率提高后的编码数据D7中，适宜地复原数据。
图10是展示本发明的图像译码装置一实施方式构成的方框图。
作为译码对象输入的编码数据D7被输入到可变长译码单元(译码装置)21，通过使用了规定概率表的反算术编码进行可变长译码，生成多个正交变换系数D6等。可变长译码单元21，对于经数据压缩的编码数据D7，检测出表示帧图像的开头的同步字，以后，译码在每个宏块中包含在编码数据D7中的各数据，生成作为频率图像数据的正交变换数据D6、运动向量D2，以及编码模式信息D3等。进而，在算术编码中使用的概率表，如上所述可以适宜切换。
在可变长译码单元21中译码的正交变换系数D6，由反量化单元22以及反正交变换单元(反正交变换装置)23进行反量化、反正交变换。由此，生成作为空间图像数据的复原差分帧图像D9。该复原差分帧图像D9，是与编码前的差分图像D5对应的帧图像。
另一方面，运动向量D2以及编码模式信息D3，被输入到运动补偿单元24。在运动补偿单元24中，由编码模式信息D3表示的编码模式进行图像的运动补偿，使用来自可变长译码单元21的运动向量D2，和被存储在帧存储器25中的别的帧图像，生成预测帧图像D4。而后，在加法器26中，将复原差分帧图像D9和预测帧图像D4相加，把复原后的帧图像作为输出帧图像D10输出。
在此，与在上述的图像编码装置中执行的图像编码方法对应的处理，可以通过用于使计算机执行图像编码的图像编码程序实现。另外，与在图像译码装置中执行的图像译码方法对应的处理，可以通过使计算机执行图像译码的图像译码程序实现。
例如，图像编码装置，由连接存储在图像编码处理动作中所需要的软件程序等的ROM，和在程序执行中暂时存储数据的RAM的CPU构成。在这样的构成中，通过由CPU执行规定的图像编码程序，实现图像编码装置。
同样，图像译码装置，可以由连接存储在图像译码处理动作中所需要的软件程序等的ROM，和在程序执行中暂时存储数据的RAM的CPU构成。在这样的构成中，通过由CPU执行规定的图像译码程序，可以实现图像译码装置。
另外，用于使CPU执行为了图像编码或者图像译码的各处理的上述程序，可以记录在计算机可以读取的记录介质上发布。在这样的记录介质中，例如，包含硬盘以及软盘等的磁性介质、CD-ROM以及DVD-ROM等的光学介质、闪盘等的磁性光学介质，或者，如执行或者存储程序命令那样特别配置的，例如RAM、ROM，以及半导体非易失性存储器等硬盘等。
另外，用于使计算机执行图像编码或者图像译码的上述程序，可以设置成包含在载波中的计算机数据。由此，可以把图像编码程序或者图像译码程序经由有线或者无线传送线路传送。
以下，对于在图5、图6所示的图像编码方法以及图像编码装置中的图像数据以及编码模式信息的算术编码(可变长编码)的顺序，及其适宜的编码条件，以ITU-T H.26L编码方式为例子，以具体例子说明。进而，对于以下说明的编码方法以及编码条件，即使对于图9、图10所示的图像译码方法以及图像译码装置也同样可以适用。另外，有关具体的编码方式，并不限于上述的H.26L编码方式。
首先，参照图11A～图11D说明作为图像数据的正交变换系数的算术编码的顺序。在此，作为把空间图像数据向频率图像数据变换的正交变换，假设是DCT。图11A展示图8所示的4×4的DCT系数(量化系数)f11～f44的具体一数值例子。在图像编码装置的可变长编码单元中，对这样的DCT系数以规定的处理顺序进行算术编码，生成编码数据。
在分别表示系数fij的下标值i，j对应的垂直频率、水平频率的DCT系数f11～f44中，和在空间图像数据中的图像成分a11～a44(参照图8A)不同，各DTC系数，对于其系数值的大小等，具有依赖于对应的空间频率值的数据特性。一般，在自然图像中，可以得到在低频带中大的正交变换的系数值，随着变为高频系数值减小。
在DCT系数的算术编码处理顺序中，首先，作为2维数据的DCT系数f11～f44，用图11B所示的曲折扫描，变换为1维数据。在该曲折扫描中，如变为扫描后的1维数据从低频率带向高频率带转移的数据串那样，扫描DCT系数。由此，得到从低频带向高频带排列DCT系数的图11C所示的1维数据。
对于该DCT系数的1维数据，为了降低其数据量，进一步变换到由图11D所示的级别(Level)以及行程长度(Run)组成的数据。在此，级别(Level)表示在多个DCT系数中是具有非0的系数值的DCT系数的系数级别。另外，Run表示在非0的DCT系数之前的系数值是0的数据个数的行程长度。
例如，在图11A所示的DCT系数的数据例子中，如图11C所示，16个DCT系数f11～f44，根据具有非0的系数值的DCT系数的出现位置，划分由系数f11组成的系数群s1、由系数f12、f21组成的系数群s2、由系数f31～f13组成的系数群s3、由系数f14～f32组成的系数群s4，以及由系数f41～f44组成的系数群s5。
而后，对于这些系数群s1～s5，如图11D所示，分别求级别值以及行程长度值。具体地说，在系数群s1中，级别值是f11＝10，行程长度值是0。另外，在系数群s2中，级别值是f21＝2，行程长度值是1。另外，在系数群s3中，级别值是f13＝-1，行程长度值是2。另外，在级别群s4中，级别值是f32＝1，行程长度值是2。
另外，最后的系数群s5，是全单元系数f41～f44的系数值为0的系数群，为在图11A所示的DCT系数中的有效数据的终端(EOB：End of Block)。因而，在该系数群s5中，把表示EOB符号意义的0作为级别值。
由图11D所示的级别以及行程长度组成的数据，用规定的2值化表2值化，制成成为算术编码对象的2值化图案。如果分别2值化各级别以及行程长度的数据，则把这些数据以s1的级别、s1的行程长度、s2的级别、s2的行程长度、…、s5的级别的顺序，用规定的概率表进行算术编码，生成与图11A的正交变换系数对应的作为编码数据的代码字。
以下，参照图12～图15，说明表示对运动补偿选择的编码数据的编码数据信息的算术编码的顺序。在此，作为对运动补偿准备的多个编码模式，假设为图7A～图7J所示的10个编码模式0～9，即1个跳跃模式0、7个帧间模式1～7，以及2个帧内模式8、9。
在此，图7A～图7J所示的多个编码模式，被设定包含复制和在运动补偿中使用的参照帧相同位置的图像的跳跃模式、在进行运动补偿的同时对在块内的图像的运动补偿用块的划分方法相互不同的2个以上的编码模式。运动补偿块，如上所述，是用于在成为编码对象的块内划分为1或者多个块，对每个该被划分的运动补偿用块进行运动向量的付与的块。
对于这样的运动补偿块，关于包含块划分不同的2个以上的编码模式的图7A～图7J所示的多个编码模式，通过参照在相邻块选择的编码模式进行概率表的切换，根据包含运动补偿用块的划分方法的运动补偿条件降低在编码数据中的冗余度，可以进一步通过该数据压缩的效率。进而，可以设置成对于跳跃模式如果不需要则不设置的结构。
在图7A～图7J所示的10个编码模式0～9中，在用于特定选择哪个编码模式的编码模式信息的可变长编码中，首先，用规定的2值化表2值化编码模式信息，制成成为算术编码的直接对象的2值化图案。图12是展示表示图7A～图7J所示的编码模式的编码模式信息的2值化中使用的2值化表一例的表。
如果编码模式信息被2值化，则使用规定概率表算术编码得到的2值化图案，生成作为与编码模式信息对应的编码数据的代码字。在此，对于适用在编码模式信息的算术编码中的概率表，对于包含在2值化图案中的2值化符号各自的2值化图案内的每个编码位置(图12所示的Bin-no.)，可以使用不同的概率表。或者，可以在各符号位置上使用共用的概率表。
进而，在图5、图6所示的图像编码方法以及图像编码装置中，如上所述，在该编码模式信息的算术编码中，对于包含在编码模式信息的2值化图案中的2值化符号的各自，参照在编码对象的块的相邻块中选择了多个编码模式的哪个编码模式切换概率表，进行算术编码。
在此，在图7A～图7J所示的10个编码模式中，如果考虑运动补偿用块的划分方法不同的7个帧间模式1～7，则是否从这些帧间模式中选择某个编码模式，依赖于被检测出的图像的运动程度。
例如，在帧图像中在背景单元分的某个运动是单纯的图像区域中，作为全体如果付与运动向量则可以充分地进行运动补偿。因而这种情况下，选择16×16模式1等的块划分个数少的帧间模式。另一方面，在运动复杂剧烈的图像区域中，需要细致地付与运动向量进行运动补偿。因而这种情况下，选择4×4的模式7等的块划分数多的帧间模式，或者帧内模式。
而后，在这样的图像中的运动是单纯或者复杂的图像区域，大多是跨越多个宏块宽的图像区域。因此，如果在某个块中选择运动补偿用块的划分数少的帧间模式，则在相邻的块中也选择同样划分数少的帧间模式的可能性高。这对于划分数多的编码模式也一样。即，在相邻的块之间，选择的编码模式之间存在一定的相关。
利用该编码模式选择的特性，参照在相邻块中的编码模式的选择结果，如果切换适用于编码模式信息的概率表进行算术编码，则可以有效地除去编码模式信息的冗余度，可以提高在编码数据中的数据压缩效率。
对于该概率表的切换，具体地说，例如如图13所示，对于编码对象的块C，考虑位于左侧的相邻块A以及位于上侧的相邻块B，有参照在这些相邻块A、B中的处理结果的方法。
即，参照在相邻块A、B中被选择的编码模式，对被包含在块C中的编码模式信息的2值化图案中的2值化符号分别切换适用的概率表。采用这样的环境建模的概率表的切换，例如，可以通过使用了图4所示的环境建模的编码方法(CABAC)等进行。
另外，作为在相邻块中的处理结果的参照方法，可以直接参照在相邻块中选择的编码模式。
或者，对于与运动补偿有关准备的多个编码模式的各自预先设定复杂程度，可以使用参照与在相邻块中选择的编码模式对应的复杂程度，使用切换概率的表。这样，通过对多个编码模式分别设定复杂度，可以对应于在算术编码中的编码条件很好地反映在相邻编码块中选择的编码模式等的条件。
图14是展示相对图7A～图7J所示的多个编码模式各自设定的复杂度例子的表。在图14所示的设定例子中，根据跳跃模式/帧间模式/帧内模式的不同，以及对运动补偿用块的划分的不同，如数字越大复杂度越高那样设定相对各编码模式的复杂度0～7。
具体地说，把跳跃模式0的复杂度设定为0，把划分数为1的帧内模式9的复杂度设定为1，把划分数为1的帧间模式1中的复杂度设定为2，把划分数为2的帧间模式2以及3的复杂度设定为3，把划分数为4的帧间模式4的复杂度设定为4，把划分数为8的帧间模式5以及6的复杂度设定为5，把划分数为16的帧间模式7中的复杂度设定为6，把划分数为16的帧内模式8的复杂度设定为7。
但是，关于相对各编码模式的复杂度的设定，也可以使用图14所示以外的设定。例如，在图14所示的例子中，对于在横方向上进行块划分的模式2(图7C)，和在纵方向上进行块划分的模式3(图7D)，设定为同一复杂度。与此相反，也可以根据划分方向的不同设定不同的复杂度。这对于模式2、3以外的各模式也一样。另外，也可以参照划分方向以外的条件设定复杂度。
图15是展示与在相邻块中选择的编码模式对应的复杂度，和在编码对象的块中选择的编码模式的相关的曲线图。在该曲线图中，横轴表示在编码对象的块中选择的编码模式。但是，在此，展示帧间模式的编码模式1～7。另外，纵轴表示选择各编码模式的概率。
具体地说，在图15中的各曲线中，在图13所示的相邻块的参照方法中，着眼于在相邻块A、B中分别选择的编码模式的复杂度的平均值。而后，相邻块A、B中的复杂度的平均值在图14所示的复杂度的设定中，当是0、1、2、3、4、5的情况下，表示分别在块C中选择的编码模式的选择概率的曲线。
如图15的曲线所示，当在相邻块中选择的编码模式的复杂度在0～2这一低水平的情况下，在编码对象块中选择划分数少的帧间模式1的概率增大。与此相反，当在相邻块中选择的编码模式的复杂度在3～5这一高水平的情况下，在编码对象块中选择划分数少的帧间模式1的概率小。如果利用在相邻的块之间的被选择的编码模式这种关系，则通过切换相对于包含在编码模式信息的2值化图案中的各2值化符号的概率表，可以除去编码模式信息的冗余度。
图16是展示相对于上述的编码模式信息的2值化符号的概率表进行切换的符号量降低效果的表。在该表中，展示用以往的H.26L的编码方式的CABAC进行图像编码时的符号量；用切换相对在编码模式信息的2值化图案中的各2值化符号的概率表的本发明方法编码图像时的编码量；以及通过使用切换概率表的方法的符号量的降低率。
在此，对于用于看符号量的降低率的编码图像数据，以及在图像编码化中使用的量化参数QP，在(a)检查图像“Foreman”中QP＝24，在(b)检查图像“Stefan”中QP＝24，以及在(c)检查图像“Stefan”中QP＝16这3个条件下进行图像编码。
如图16的表所示，在3个条件下的图像编码的全单元中，可以得到采用概率表切换的符号量的降低效果。
进而，有关相对包含在编码模式信息的2值化图案中的2值化符号的概率表的切换，在上述的图像编码方法以及装置中，例如并不是只对Bin-no.1(符号位置1，参照图12)的2值化符号进行概率表的切换，而且对包含在2值化图案中的2值化符号分别切换概率表。
例如，在图12所示的2值化表中，根据被选择的编码模式不同2值化图案的图案长度不同。与此相反，通过对2值化符号分别切换概率表，即使在选择多个编码模式之一的情况下，也可以提高在该编码模式中的数据压缩的效率。但是，有关该概率表的切换，可以作为多个2值化符号的全体切换，或者，也可以对2值化符号分别切换。
在此，关于在2值化符号中使用的概率表的切换，考虑在2值化符号的2值化图案中的符号位置(Bin-no.)，和由该2值化符号区分的编码模式的相关，理想的是切换概率表。这样，通过考虑包含在2值化图案中的2值化符号的，与各个符号位置对应的编码模式的对应关系切换概率表，可以相对在算术编码中的编码条件很好地反映在相邻块中选择的编码模式等的条件。
关于这样的概率表切换方法的具体例子，参照图17说明。图17是展示在表示图7A～图7J所示的编码模式的编码模式信息的2值化中使用的2值化表的另一例子的表。
在图17所示的2值化表中的2值化图案中，作为其第1位的Bin-no.1的2值化符号，是表示编码模式是跳跃模式0，还是此外的模式1～9的位。因而，对于该位，例如，根据相邻块A、B是否是跳跃模式0，切换3个概率表。
另外，作为第2位的Bin-no.2的2值化符号，当第1位是“1”的情况下，是表示编码模式是16×16的帧间模式1，还是此外的模式2～9的位。因而，对于该位，根据相邻块是跳跃模式0或者16×16的帧间模式1，或者此外的模式切换概率表。进而，16×16的帧间模式1，因为多发生在背景等的运动比较单纯的图像单元分，和运动少的图像单元分上，所以和跳跃模式0的相关性高。
具体地说，例如，对于在相邻宏块A、B中的模式，根据如果是跳跃模式0、16×16的帧间模式1、画面外则设置为0，如果是此外则设置成1时的A+B的大小切换3个概率表。当A+B＝0时假设是为0的概率大的概率表，当A+B＝2时假设是为1的概率大的概率表。进而，这种方法，对于第3位以后也同样适用。
作为第3位的Bin-no.3的2值化符号，当第2位是“1”的情况下，为表示编码模式是16×8的帧间模式2或者8×16的帧间模式3，或者此外的模式4～9的位。因而，对于该位，使用和第1位、第2位不同的概率表。
另外，作为第4位的Bin-no.4的2值化符号，当第3位是“1”的情况下，为表示帧间模式4～7，或者帧内模式8、9的位。因而，对于该位，使用和第1位、第2位，以及第3位不同的概率表。
另外，上述以外的位，是为了细致识别粗略分为第1～4位的编码模式信息的位，在帧间模式4～7中使用2位，在帧内模式8、9中使用1位。有关这些位，例如，使用全单元相同的概率表。
图18是展示本发明的图像传送系统(例如移动式视频传送系统)一实施方式的构成的模式图。本图像传送系统，其构成具备实现图5所示的图像编码方法的图像编码装置(例如图6所示的图像编码装置)1，和实现图9所示的图像译码方法的图像译码装置(例如图10所示的图像译码装置)2。
在本系统中，输入帧图像D1，在图像编码装置1中被编码生成编码数据D7，输出到规定的有线或者无线传送线路。而后，从图像编码装置1传送到传送线路的编码数据D7，被输入图像译码装置2，作为输出帧图像D10复原。
如果采用这样的图像传送系统，则使用相对被多重化在编码数据中的编码模式信息提高数据压缩效率后的编码数据，可以高效率地传送图像。
本发明的图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号，以及图像传送系统，可以作为提高针对被多重化在编码数据上的编码模式信息的数据压缩效率的方法以及装置等使用。
即，在编码模式信息和编码数据之间的可变长编码或者译码中，参照在成为编码对象的块的相邻块中被选择出的编码模式，对于包含在与编码模式信息对应的2值化图案中的2值化符号的各自，如果采用切换在算术编码中使用的概率表的2值化符号的各自，则2值化图案中的2值化符号各自的符号位置，和在相邻块中选择出的编码模式等，相对在算术编码中的编码条件可以很好地反映出来。因而，可以有效地除去编码模式信息的冗余度，提高在编码数据中的数据压缩效率。

Claims (25)

1.一种图像编码方法，用于把帧图像分割为规定大小的块，对上述每块编码图像数据，其特征在于：包含，
把在上述块内的图像的图像数据和上述帧图像或者在其它帧图像中的其它块进行比较，检测运动，从对运动补偿准备的多个编码模式中选择适合上述图像数据的编码模式，对上述图像数据进行运动补偿的运动补偿步骤；
用规定的2值化表2值化表示选择的上述编码模式的编码模式信息以及上述图像数据生成2值化图案，通过使用规定的概率表的算术编码可变长编码上述2值化图案，生成编码数据的编码步骤，
在上述编码步骤中，对于包含在与上述编码模式信息对应的上述2值化图案中的2值化符号，分别参照在上述块的相邻块中选择的编码模式，切换适用的上述概率表。
2.权利要求1所述的图像编码方法，其特征在于：上述多个编码模式，包含在进行上述运动补偿时将上述块内之图像划分为运动补偿用块时的划分方法不同的2个以上的编码模式。
3.权利要求1或者2所述的图像编码方法，其特征在于：上述多个编码模式，包含复制和在上述运动补偿中使用的参照帧相同位置的图像的跳跃模式。
4.权利要求1～3的任意项所述的图像编码方法，其特征在于：在上述编码步骤中，对上述多个编码模式分别设定复杂度，参照与在上述相邻块中选择的编码模式对应的上述复杂度，切换上述概率表。
5.权利要求1～4的任意项所述的图像编码方法，其特征在于：在上述编码步骤中，考虑在上述2值化符号的上述2值化图案中的符号位置，和由该2值化符号区别的上述编码模式的相关，切换上述概率表。
6.一种图像译码方法，将把帧图像分割为规定大小的块、对上述每块编码图像数据后得到的编码数据进行译码，其特征在于：
包含，
通过使用规定概率表的反算术编码可变长译码上述编码数据生成2值化图案，使用规定的2值化表反2值化上述2值化图案，生成编码模式信息以及上述块内之图像的图像数据的译码步骤；
适用从对运动补偿准备的多个编码模式中选择的上述编码模式信息表示的编码模式，对上述图像数据进行运动补偿的运动补偿步骤，
在上述译码步骤中，对于包含在与上述编码模式信息对应的上述2值化图案中的2值化符号，分别参照在上述块的相邻块中选择的编码模式，切换适用的上述概率表。
7.权利要求6所述的图像译码方法，其特征在于：上述多个编码模式，包含在进行上述运动补偿时对上述块内之图像划分为运动补偿用块时的划分方法相互不同的2个以上的编码模式。
8.权利要求6或者7所述的图像译码方法，上述多个编码模式，包含复制和在上述运动补偿中使用的参照帧相同位置的图像的跳跃模式。
9.权利要求6～8的任意项所述的图像译码方法，其特征在于：在上述译码步骤中，对上述多个译码模式的分别设定复杂度，参照与在上述相邻块中选择的编码模式对应的上述复杂度，切换上述概率表。
10.权利要求6～9的任意项所述的图像译码方法，其特征在于：在上述译码步骤中，考虑在上述2值化符号的上述2值化图案中的符号位置，和由该2值化符号区别的上述编码模式的相关，切换上述概率表。
11.一种图像编码装置，把帧图像分割为规定大小的块，对上述每块编码图像数据，其特征在于：
包含，
把在上述块内之图像的图像数据和上述帧图像或者在其它帧图像中的其它块进行比较，检测运动，从对运动补偿准备的多个编码模式中选择适合上述图像数据的编码模式，对上述图像数据进行运动补偿的运动补偿装置；
用规定的2值化表2值化表示选择的上述编码模式的编码模式信息以及上述图像数据生成2值化图案，通过使用规定概率表的算术编码可变长编码上述2值化图案，生成编码数据的编码装置，
在上述编码装置，对于包含在与上述编码模式信息对应的上述2值化图案中的2值化符号，分别参照在上述块的相邻块中选择出的编码模式，切换适用的上述概率表。
12.权利要求11所述的图像编码装置，其特征在于：上述多个编码模式，包含在进行上述运动补偿时在将上述块内之图像划分为运动补偿用块时的划分方法不同的2个以上的编码模式。
13.权利要求11或者12所述的图像编码装置，其特征在于：上述多个编码模式，包含复制和在上述运动补偿中使用的参照帧相同位置的图像的跳跃模式。
14.权利要求11～13的任意项所述的图像编码装置，其特征在于：上述编码装置，对上述多个编码模式分别设定复杂度，参照与在上述相邻块中选择出的编码模式对应的上述复杂度，切换上述概率表。
15.权利要求11～14的任意项所述的图像编码装置，其特征在于：上述编码装置，考虑在上述2值化符号的上述2值化图案中的符号位置，和由该2值化符号区别的上述编码模式的相关，切换上述概率表。
16.一种图像译码装置，将把帧图像分割为规定大小的块，对上述每块编码图像数据后得到的编码数据进行译码，其特征在于：
包含，
通过使用规定概率表的反算术编码可变长译码上述编码数据生成2值化图案，使用规定的2值化表反2值化上述2值化图案，生成编码模式信息以及上述块内之图像的图像数据的译码装置；
适用从对运动补偿准备的多个编码模式中选择的表示上述编码模式信息的编码模式，对上述图像数据进行运动补偿的运动补偿装置，
在上述译码装置，对于包含在与上述编码模式信息对应的上述2值化图案中的2值化符号，分别参照在上述块的相邻块中选择的编码模式，切换适用的上述概率表。
17.权利要求16所述的图像译码装置，其特征在于：上述多个编码模式，包含进行上述运动补偿时将在上述块内之图像划分为运动补偿用块时的划分方法相互不同的2个以上的编码模式。
18.权利要求16或者17所述的图像译码装置，上述多个编码模式，包含复制和在上述运动补偿中使用的参照帧位置相同的图像的跳跃模式。
19.权利要求16～18的任意项所述的图像译码装置，其特征在于：在上述译码装置，对上述多个编码模式分别设定复杂度，参照与在上述相邻块中选择的编码模式对应的上述复杂度，切换上述概率表。
20.权利要求16～19的任意项所述的图像译码装置，其特征在于：在上述译码装置，考虑在上述2值化符号的上述2值化图案中的符号位置，和由上述2值化符号区别的上述编码模式的相关，切换上述概率表。
21.一种图像编码程序，用于使计算机执行权利要求1～5的任意项所述的图像编码方法。
22.一种计算机数据信号，包含在载波中，承载用于使计算机执行权利要求1～5的任意项所述的图像编码方法的图像编码程序。
23.一种图像译码程序，用于使计算机执行权利要求6～10的任意项所述的图像译码方法。
24.一种计算机数据信号，包含在载波中，承载用于使计算机执行权利要求6～10的任意项所述的图像译码方法的图像译码程序。
25.一种图像传送系统，是把帧图像分割为规定大小的块，用对上述每块编码图像数据所得的编码数据传送上述帧图像的图像传送系统，包含，
从上述帧图像中生成上述编码数据并输出的权利要求11～15的任意项所述的图像编码装置；
输入来自上述图像编码装置的上述编码数据复原上述帧图像的权利要求16～20的任意项所述的图像译码装置。
CNB028082478A 2001-11-16 2002-11-18 图像编码方法和装置、图像译码方法和装置 Expired - Fee Related CN1285216C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP352379/2001 2001-11-16
JP2001352379 2001-11-16

Publications (2)

Publication Number Publication Date
CN1547854A true CN1547854A (zh) 2004-11-17
CN1285216C CN1285216C (zh) 2006-11-15

Family

ID=19164565

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028082478A Expired - Fee Related CN1285216C (zh) 2001-11-16 2002-11-18 图像编码方法和装置、图像译码方法和装置

Country Status (5)

Country Link
US (1) US7336711B2 (zh)
EP (1) EP1445956A4 (zh)
JP (1) JP3764458B2 (zh)
CN (1) CN1285216C (zh)
WO (1) WO2003043347A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100370834C (zh) * 2005-08-08 2008-02-20 北京中星微电子有限公司 多模图像编解码芯片中的系数缩放计算模块
CN1719900B (zh) * 2004-07-06 2010-06-09 汤姆森许可贸易公司 选择编码模式的方法和设备
CN102077596A (zh) * 2008-07-01 2011-05-25 索尼公司 图像处理设备和图像处理方法
CN102348119A (zh) * 2010-07-30 2012-02-08 佳能株式会社 预测编码装置及其控制方法
CN103907349A (zh) * 2011-11-04 2014-07-02 夏普株式会社 算术解码装置、图像解码装置、算术编码装置、图像编码装置以及算术解码方法
CN103959787A (zh) * 2011-06-24 2014-07-30 奥林奇公司 用于对图像编码和解码的方法、编码和解码设备以及相应的计算机程序
CN104159111A (zh) * 2009-05-29 2014-11-19 三菱电机株式会社 图像解码装置以及图像解码方法
US10382784B2 (en) 2011-03-07 2019-08-13 Dolby International Ab Method of coding and decoding images, coding and decoding device and computer programs corresponding thereto
CN113812155A (zh) * 2019-05-11 2021-12-17 北京字节跳动网络技术有限公司 多种帧间编解码方法之间的交互

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563953B2 (en) * 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
AU2002351389A1 (en) 2001-12-17 2003-06-30 Microsoft Corporation Skip macroblock coding
US7606308B2 (en) * 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7590059B2 (en) * 2004-05-21 2009-09-15 Broadcom Corp. Multistandard video decoder
KR100648258B1 (ko) * 2004-08-02 2006-11-23 삼성전자주식회사 고속의 디코딩을 수행하는 파이프라인 구조의 내용 기반적응적 이진 산술 디코더
US9077960B2 (en) 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
JP4622804B2 (ja) * 2005-10-26 2011-02-02 ソニー株式会社 符号化装置、符号化方法およびプログラム
KR100644713B1 (ko) * 2005-10-31 2006-11-10 삼성전자주식회사 컨텍스트 기반 적응적 이진 산술 코딩 복호기에서 원소구문을 복호화하는 방법 및 이를 위한 복호화 장치
JP4902854B2 (ja) * 2006-09-12 2012-03-21 パナソニック株式会社 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
JP2008118533A (ja) * 2006-11-07 2008-05-22 Toshiba Corp 復号化器、方法およびプログラム
JP4825644B2 (ja) * 2006-11-14 2011-11-30 ルネサスエレクトロニクス株式会社 画像復号装置、画像符号化装置、およびシステムｌｓｉ
GB2457262A (en) * 2008-02-08 2009-08-12 Linear Algebra Technologies Compression / decompression of data blocks, applicable to video reference frames
JP5166339B2 (ja) * 2008-03-28 2013-03-21 三星電子株式会社 画像のイントラ予測モード情報の符号化及び／又は復号化方法及び装置
US8400683B2 (en) * 2008-05-28 2013-03-19 Xerox Corporation Streak compensation using model based projections for run time updates
GB2466666B (en) 2009-01-06 2013-01-23 Skype Speech coding
FI3567855T3 (fi) 2009-03-23 2023-04-12 Kuvan ennustava koodauslaite, kuvan ennustava koodausmenetelmä, kuvan ennustava koodausohjelma, kuvan ennustava dekoodauslaite, kuvan ennustava dekoodausmenetelmä ja kuvan ennustava dekoodausohjelma
US9467705B2 (en) * 2009-12-30 2016-10-11 Ariscale Inc. Video encoding apparatus, video decoding apparatus, and video decoding method for performing intra-prediction based on directionality of neighboring block
RU2573222C2 (ru) 2010-04-09 2016-01-20 Мицубиси Электрик Корпорейшн Устройство кодирования движущихся изображений и устройство декодирования движущихся изображений
CA2903530C (en) 2010-07-20 2018-08-28 Ntt Docomo, Inc. Video prediction encoding and decoding for partitioned regions while determining whether or not to use motion information from neighboring regions
KR20120014676A (ko) * 2010-08-10 2012-02-20 에스케이 텔레콤주식회사 적응적 부호화/복호화 모드 인덱싱 기법을 이용한 영상 부호화/복호화 장치 및 방법
JP6662363B2 (ja) * 2017-07-31 2020-03-11 東洋製罐株式会社 缶製造方法、缶の肩部に立体成形部を形成する装置、缶、缶製造工具セット
CA3101091A1 (en) * 2018-06-06 2019-12-12 Panasonic Intellectual Property Corporation Of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5400075A (en) * 1993-01-13 1995-03-21 Thomson Consumer Electronics, Inc. Adaptive variable length encoder/decoder
JP3222876B2 (ja) * 1996-11-07 2001-10-29 松下電器産業株式会社 画像符号化方法および画像符号化装置並びに画像符号化プログラムを記録した記録媒体
EP1689188A3 (en) 1996-11-07 2008-12-10 Panasonic Corporation Image encoder and image decoder
JP3975629B2 (ja) * 1999-12-16 2007-09-12 ソニー株式会社 画像復号装置及び画像復号方法
US6765964B1 (en) * 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
EP1404133A4 (en) * 2001-06-29 2010-04-21 Ntt Docomo Inc IMAGE ENCODER, IMAGE DECODER, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD
EP2819411B1 (en) * 2001-09-14 2018-08-29 NTT DoCoMo, Inc. Coding method and decoding method
US20040081238A1 (en) * 2002-10-25 2004-04-29 Manindra Parhy Asymmetric block shape modes for motion estimation

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1719900B (zh) * 2004-07-06 2010-06-09 汤姆森许可贸易公司 选择编码模式的方法和设备
CN100370834C (zh) * 2005-08-08 2008-02-20 北京中星微电子有限公司 多模图像编解码芯片中的系数缩放计算模块
CN102077596A (zh) * 2008-07-01 2011-05-25 索尼公司 图像处理设备和图像处理方法
CN104270637B (zh) * 2009-05-29 2018-07-27 三菱电机株式会社 图像解码装置以及图像解码方法
CN104270635B (zh) * 2009-05-29 2018-12-11 三菱电机株式会社 图像解码装置以及图像解码方法
CN104159111A (zh) * 2009-05-29 2014-11-19 三菱电机株式会社 图像解码装置以及图像解码方法
CN104270635A (zh) * 2009-05-29 2015-01-07 三菱电机株式会社 图像解码装置以及图像解码方法
CN104270637A (zh) * 2009-05-29 2015-01-07 三菱电机株式会社 图像解码装置以及图像解码方法
CN104159111B (zh) * 2009-05-29 2018-11-06 三菱电机株式会社 图像解码装置以及图像解码方法
US9113174B2 (en) 2010-07-30 2015-08-18 Canon Kabushiki Kaisha Predictive coding apparatus, control method thereof, and computer program
CN102348119B (zh) * 2010-07-30 2016-06-08 佳能株式会社 预测编码装置及其控制方法
CN102348119A (zh) * 2010-07-30 2012-02-08 佳能株式会社 预测编码装置及其控制方法
US11736723B2 (en) 2011-03-07 2023-08-22 Dolby International Ab Method of coding and decoding images, coding and decoding device and computer programs corresponding thereto
US11343535B2 (en) 2011-03-07 2022-05-24 Dolby International Ab Method of coding and decoding images, coding and decoding device and computer programs corresponding thereto
US10681376B2 (en) 2011-03-07 2020-06-09 Dolby International Ab Method of coding and decoding images, coding and decoding device and computer programs corresponding thereto
US10382784B2 (en) 2011-03-07 2019-08-13 Dolby International Ab Method of coding and decoding images, coding and decoding device and computer programs corresponding thereto
CN105120277A (zh) * 2011-06-24 2015-12-02 杜比国际公司 图像编码和解码的方法、编码和解码设备以及计算机程序
US10362311B2 (en) 2011-06-24 2019-07-23 Dolby International Ab Method of coding and decoding images, coding and decoding device and computer programs corresponding thereto
US10033999B2 (en) 2011-06-24 2018-07-24 Dolby International Ab Method of coding and decoding images, coding and decoding device and computer programs corresponding thereto
CN103959787B (zh) * 2011-06-24 2017-06-20 杜比国际公司 用于对图像编码和解码的方法、编码和解码设备
US10694186B2 (en) 2011-06-24 2020-06-23 Dolby International Ab Method of coding and decoding images, coding and decoding device and computer programs corresponding thereto
CN103959787A (zh) * 2011-06-24 2014-07-30 奥林奇公司 用于对图像编码和解码的方法、编码和解码设备以及相应的计算机程序
CN109120930A (zh) * 2011-11-04 2019-01-01 夏普株式会社 图像解码装置、图像解码方法以及图像编码装置
CN103907349A (zh) * 2011-11-04 2014-07-02 夏普株式会社 算术解码装置、图像解码装置、算术编码装置、图像编码装置以及算术解码方法
CN113812155A (zh) * 2019-05-11 2021-12-17 北京字节跳动网络技术有限公司 多种帧间编解码方法之间的交互
US11509904B2 (en) 2019-05-11 2022-11-22 Beijing Bytedance Network Technology Co., Ltd. Interactions among multiple intra coding methods
CN113812155B (zh) * 2019-05-11 2023-10-27 北京字节跳动网络技术有限公司 多种帧间编解码方法之间的交互
US11876971B2 (en) 2019-05-11 2024-01-16 Beijing Bytedance Network Technology Co., Ltd. Interactions among multiple intra coding methods

Also Published As

Publication number Publication date
CN1285216C (zh) 2006-11-15
US7336711B2 (en) 2008-02-26
US20040179601A1 (en) 2004-09-16
JP3764458B2 (ja) 2006-04-05
JPWO2003043347A1 (ja) 2005-03-10
EP1445956A1 (en) 2004-08-11
WO2003043347A1 (en) 2003-05-22
WO2003043347A8 (en) 2005-03-24
EP1445956A4 (en) 2009-09-02

Similar Documents

Publication Publication Date Title
CN1285216C (zh) 图像编码方法和装置、图像译码方法和装置
CN1633811A (zh) 图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号,以及图像传送系统
CN1305311C (zh) 图像编码装置、图像解码装置、图像编码方法、及图像解码方法
CN1208971C (zh) 运动图像的预测编码方法和译码方法
CN100336401C (zh) 活动图像编码装置和方法以及活动图像解码装置和方法
CN1134992C (zh) 图像预测解码方法
CN101098473B (zh) 一种图像编码方法及装置
CN1659580A (zh) 基于空间预测的帧内编码
CN101032172A (zh) 用于可分级视频比特流的熵编码和解码的方法和系统
JP2015159576A (ja) 映像復号化装置
CN1418436A (zh) 图像编码方法和图像编码器
CN1929611A (zh) 用于视频帧内预测编码和解码的方法和装置
CN1829328A (zh) 预测图像产生方法及设备和图像视频编/解码方法及设备
CN1574970A (zh) 使用图像残余预测编码/解码图像的方法和设备
CN103999460A (zh) 在变换跳过模式中译码有效系数信息
CN1751521A (zh) 图像解码装置、图像解码方法和图像解码程序
CN1529988A (zh) 图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号、以及图像传送系统
AU2009338306A1 (en) Device, method and program for image prediction encoding, device, method and program for image prediction decoding, and encoding/decoding system and method
JP2015156683A (ja) 映像復号化装置
CN1756365A (zh) 基于多重扫描的帧内模式中编码和解码数据的方法和设备
CN1225919C (zh) 编码图像信息的方法和设备及解码图像信息的方法和设备
JP2024019495A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法
CN101040534A (zh) 运动图像转换方法、设备、系统和服务器设备及程序
CN1708135A (zh) 用于预测视频数据单元的直流系数的方法和设备
JP2024019496A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20061115

Termination date: 20141118

EXPY Termination of patent right or utility model