CN103688542B - 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序 - Google Patents

图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序 Download PDF

Info

Publication number
CN103688542B
CN103688542B CN201280036325.4A CN201280036325A CN103688542B CN 103688542 B CN103688542 B CN 103688542B CN 201280036325 A CN201280036325 A CN 201280036325A CN 103688542 B CN103688542 B CN 103688542B
Authority
CN
China
Prior art keywords
picture
segmentation
decoding
image
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280036325.4A
Other languages
English (en)
Other versions
CN103688542A (zh
Inventor
渡边真由子
北原正树
清水淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN103688542A publication Critical patent/CN103688542A/zh
Application granted granted Critical
Publication of CN103688542B publication Critical patent/CN103688542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

比现有的分割图像内编码，一边抑制编码效率的降低，一边削减编码运算量和解码运算量。分割图像生成部，将编码目标的输入图像分割为相同尺寸的块，收集各块内的相对位置相同的像素，分别生成相同尺寸的分割图像。针对一部分的分割图像，分割图像内编码部进行分割图像内编码。参照图像选择部，为了对其它的编码目标分割图像进行编码，将原始图像上的像素位置接近的编码结束分割图像作为参照图像进行选择。分割图像间预测编码部，使用选择后的参照图像生成预测图像，通过以分割图像为单位的分割图像间预测将编码目标分割图像进行编码。

Description

图像编码方法、图像解码方法、图像编码装置、图像解码装置、 图像编码程序以及图像解码程序
技术领域
本发明涉及图像编码/解码技术，特别是，涉及实现对现有的画面内预测编码/解码，一边抑制编码效率的降低一边减少解码运算量的编码及解码的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序。
本申请对2011年8月1日向日本申请的日本特愿2011-167934号要求优先权，并在此援用其内容。
背景技术
在作为视频编码国际标准的H.264中，为了利用块之间的像素相关使编码中的压缩率提高，进行画面内预测编码（参照非专利文献1）。该画面内预测，以汇集了几个像素的块单位来进行，并且变为对亮度信号，能利用4×4、8×8、16×16的三种类的块尺寸。另外，变为在各块尺寸中，分别能选择多个预测模式。
在该H.264中，虽然在画面内预测时使用基于外插预测的方法，但是存在基于它的预测效率降低的问题。为了解决该问题，对全画面由解块滤波器来抑制块失真，因此，运算量变大。
另外，作为使画面内预测中的编码效率提高的手法，熟知非专利文献2中记载的技术。该技术是在画面内预测中，对编码目标块，从编码结束区域搜索误差小的块，并使用对其的预测误差进行编码的手法。
图18是表示基于现有技术的画面内预测编码处理的例子的流程图。在非专利文献2的画面内预测编码中，首先，将编码目标的图像分割为相同尺寸的N个块1～N（步骤S301）。其次，针对最初的块1进行画面内预测编码（步骤S302）。接着，在块2以后的编码中，从编码结束的区域将预测误差小的块作为参照图像，进行画面间预测编码，并且将向该参照图像的运动矢量信息和预测误差进行编码（步骤S303）。将该步骤S303的处理反复进行到最后的块N为止复。
现有技术文献
非专利文献
非专利文献1：ITU-T Rec.H.264，“Advanced video coding for genericaudiovisual services”，March 2005；
非专利文献2：J.Yang，B.Yin，Y.Sun and N.Zhang，“A block-matching basedintra frame prediction for H.264/AVC”，in Proceedings of IEEE InternationalConference on Multimedia and Expo （ICME ′06），pp.705-708，Toronto，Canada，July2006。
发明内容
本发明所要解决的技术问题
虽然非专利文献2的技术是用于提高编码效率的手法，但是，在相同图案反复的区域中由于能抑制预测误差的发生，所以量子化误差也容易变小。为此，认为能减少解块滤波器的处理量。
但是，上述方法虽然在相同图案反复那样的图像中也许有效，但是在几乎不出现相同图案那样的图像中并不有效，在该情况下，认为不太能削减预测误差，并且量子化误差也不会变小。在这种情况下，由于也不能削减解块滤波器的处理量，所以认为在解码运算量的削减中并不有效。进而，由于需要对解码侧发送表示对各块的参照块的相对位置的偏移矢量信息，所以变为在解码侧发生用于参照块信息的解码的运算，其结果，存在变成运算量大这样的问题。
在考虑到并不是进行如非专利文献2那样的运动矢量的搜索，而是以不同的方法选择参照图像，并使用它来制作预测图像，进行预测误差编码的情况下，作为参照图像通过使用怎样的编码结束的图像，对编码效率影响很大。因此，需要作为参照图像使用适当的图像的手法。
本发明的目的在于，谋求上述问题点的解决，一边抑制编码效率的降低，一边削减编码运算量和解码运算量。
用于解决技术问题的技术方案
本发明为了解决技术问题，将输入图像进行压缩编码时，进行以下的处理。
（1）将输入图像分割为n×m像素的块，将分割后的各块分割为n1 ×m1 像素（但是，1≤n1 ＜n，1≤m1 ＜m）的子块，并收集块内的相对位置相同的子块，分别生成相同尺寸的分割图像。
（2）将分割图像的至少一个以上进行分割图像内编码。此处的分割图像内编码是，基于将分割图像作为画面单位进行的画面内预测的编码。
（3）为了将分割图像内编码后的分割图像之外的分割图像进行编码，针对编码目标分割图像和编码结束分割图像中的同一位置的像素，按原始图像上的距离短的顺序将编码结束分割图像作为使用于对编码目标分割图像的分割图像间预测编码的参照图像进行选择。
（4）使用选择后的参照图像生成对编码目标分割图像的预测图像，并进行分割图像间预测编码。在该分割图像间预测编码中，例如，将对参照图像施加了由编码目标分割图像和参照图像的原始图像上的对应像素的相对位置决定的规定的滤波器的图像作为预测图像，进行分割图像间预测编码。此处的分割图像间预测编码是，基于将各分割图像作为画面单位进行的画面间预测的编码。
（5）将基于以上的分割图像内编码和分割图像间预测编码的编码结果作为信息源编码，输出编码位流。
进而，作为上述发明的一方式，在参照图像的选择中，指定排列了选择的多张参照图像的参照列表，在分割图像间预测编码时，使用登记到参照列表中的多张参照图像中的一张或多张参照图像，生成对编码目标分割图像的预测图像。
另外，作为上述发明的一方式，在参照图像的选择中，对编码目标图像，在原始图像上的像素间的距离相同的编码结束分割图像存在多张的情况下，将分割图像内编码结束分割图像比分割图像间预测编码结束分割图像更优先地作为参照图像进行选择也可以。另外，在原始图像上的像素间的距离相同的编码结束分割图像存在多张的情况下，将量子化精度高的编码结束分割图像比量子化精度低的编码结束分割图像更优先地作为参照图像进行选择也可以。
另外，作为上述发明的一方式，在参照图像的选择中，从能作为参照图像使用的多个编码结束分割图像中，基于表示将哪个编码结束分割图像优先地进行选择的参照图像选择规则，选择参照图像，并将该参照图像选择规则的指定信息进行编码，向解码侧通知也可以。例如，作为参照图像选择规则包含：在原始图像上的像素间的距离相同的编码结束分割图像存在多张的情况下，指定将分割图像内编码结束分割图像比分割图像间预测编码结束分割图像更优先地作为参照图像进行选择的规则，或者，在原始图像上的像素间的距离相同的编码结束分割图像存在多张的情况下，指定将量子化精度高的编码结束分割图像比量子化精度低的编码结束分割图像更优先地作为参照图像进行选择的规则等。使用将参照图像选择规则对多张参照图像决定的参照列表生成规则也可以。所谓的参照图像选择规则和参照列表生成规则，在此处作为技术概念但实际上可以认为是同义的。
另外，作为上述发明的一方式，在分割图像间预测编码中，使用合成了从多张参照图像生成的多张预测图像的预测图像，也能进行分割图像间预测编码。
另外，作为上述发明的一方式，在分割图像间预测编码中从多张参照图像的候补中选择特定的参照图像并在预测图像的生成中使用的情况下，将指定参照图像的参照图像索引进行编码，使用向解码侧通知使用了哪个参照图像的方法也可以。
另外，本发明，将压缩编码后的图像的编码数据进行解码时，进行以下的处理。
（1）图像编码装置将输入图像分割为n×m像素的块，并将分割后的各块分割为n1 ×m1 像素（但是，1≤n1 ＜n，1≤m1 ＜m）的子块，收集块内的相对位置相同的子块，分别生成相同尺寸的分割图像并进行了编码，输入编码数据，进行信息源解码。
（2）从解码后的数据，将分割图像的至少一个以上进行分割图像内解码。
（3）在将分割图像内解码的分割图像之外的分割图像进行解码时，针对解码目标分割图像和解码结束分割图像中的同一位置的像素，按原始图像上的距离短的顺序将解码结束分割图像作为使用于对解码目标分割图像的分割图像间预测解码的参照图像进行选择。
（4）使用选择的参照图像，生成对解码目标分割图像的预测图像，进行分割图像间预测解码。
（5）从由分割图像内解码和分割图像间预测解码解码的分割图像，将各分割图像中的各像素返回至原始图像中的原来的位置，构成解码图像。
进而，作为上述发明的一方式，从能作为参照图像使用的多个解码结束分割图像中，将指定表示将哪个解码结束分割图像优先地进行选择的参照图像选择规则（参照列表生成规则也同样）的编码数据进行解码，基于解码的参照图像选择规则，选择参照图像也可以。例如，作为参照图像选择规则包含：在原始图像上的像素间的距离相同的解码结束分割图像存在多张的情况下，指定将分割图像内解码结束分割图像比分割图像间预测解码结束分割图像更优先地作为参照图像进行选择的规则，或者，在原始图像上的像素间的距离相同的解码结束分割图像存在多张的情况下，指定将量子化精度高的解码结束分割图像比量子化精度低的解码结束分割图像更优先地作为参照图像进行选择的规则。
另外，作为上述发明的一方式，在分割图像间预测解码中使用合成了从多张参照图像生成的多张预测图像的预测图像，能进行分割图像间预测解码。
另外，作为上述发明的一方式，若在编码数据中包含指定参照图像的参照图像索引，择将其进行解码，在选择参照图像时，选择表示解码后的参照图像索引的参照图像也可以。
本发明的作用为如下所述。在本发明中，从输入图像等间隔地抽出1或多个像素（子块），通过收集这些子块，生成多个分割图像，对至少一个分割图像，仅使用该分割图像进行编码的分割图像内编码。对其它的分割图像的编码，使用编码结束分割图像进行分割图像间预测编码。即，将编码结束分割图像作为参照图像，以其为基础，根据编码目标分割图像中包含的像素和编码结束分割图像中包含的像素的相对的位置关系，例如通过将在生成小数像素精度的内插图像时使用的滤波器应用于参照图像中来生成预测图像，将该预测图像和编码目标分割图像的误差信号进行编码。
通过用这样的方法进行编码，能实现以比现有更少的运算量抑制了块失真的编码。
特别是在本发明中，将使用于分割图像间预测编码中的参照图像，从编码结束分割图像中选择时，针对编码目标分割图像和编码结束分割图像中同一位置的像素，按原始图像上的像素间的距离短的顺序将编码结束分割图像作为参照图像进行选择。因此，如非专利文献2那样，与仅将相同画面内的编码结束像素使用于预测中的情况相比，能将编码目标的附近的全方向的像素的信息使用于预测中。进而，与将任意的编码结束分割图像作为参照图像进行设定的情况相比，与编码目标分割图像的相关大的编码结束分割图像作为参照图像被选择。因此，预测误差变小，不使解码运算量增加，而能提高预测效率并使编码效率提高。
另外，在本发明的一方式中，在对进行预测误差编码的分割图像的参照图像进行选择时，将使用的编码结束分割图像并不限定于1张，将多张编码结束分割图像作为参照图像。由此，从考虑到与编码目标分割图像相关高的编码结束分割图像适应地选择参照图像能生成预测图像，能提高预测效率。
另外，在本发明的一方式中，在对原始图像上的编码目标图像的像素的相对距离上相等的像素位置的编码结束分割图像有多个的情况下，作为参照图像，将分割图像内编码结束分割图像比分割图像间预测编码结束分割图像更优先地使用。通常，由于画面内编码比画面间编码量子化误差更少地被编码，所以通过将考虑到量子化精度高的分割图像内编码结束分割图像优先地作为参照图像生成预测图像，能提高预测效率。
另外，在本发明的一方式中，在对原始图像上的编码目标图像的像素的相对距离上相等的像素位置的编码结束分割图像有多个的情况下，将量子化步骤小的编码结束分割图像比量子化步骤大的编码结束分割图像更优先地作为参照图像来使用。通过将量子化步骤小作为参照图像，能通过预测效率并使编码效率提高。
在预先编码侧和解码侧，将决定把哪个编码结束分割图像作为参照图像进行选择的几个参照图像选择规则（或参照列表生成规则）预先决定，编码侧，将表示使用其中哪个参照图像选择规则来选择了参照图像的信息进行编码，向解码侧进行通知。由此，对参照图像的选择方法赋予了灵活性，即使在参照图像的候补为多个的情况下，在编码侧和解码侧都能选择相同的参照图像。
另外，在本发明的一方式中，将多张编码结束分割图像作为参照图像，合成从多张参照图像生成的多张预测图像作为预测图像。由此，能提高预测效率。在预测图像的合成中，例如算出从各个参照图像生成的预测图像的平均图像。
另外，在分割图像间预测编码中从多张参照图像的候补中，例如将率失真代价（RD代价）变小的特定的参照图像适应地选择并使用于预测图像的生成中的情况下，将指定该参照图像的参照图像索引进行编码，向解码侧进行通知。由此，在解码侧，能将编码时相同的分割图像作为参照图像来使用，能进行效率高的解码
发明效果
根据本发明，对现有的画面内预测编码，能一边抑制编码效率的降低，一边削减编码运算量和解码运算量。
附图说明
图1是表示图像编码装置的结构例的图；
图2A是表示基于分割图像生成部的分割图像的生成例的图；
图2B是表示基于分割图像生成部的分割图像的生成例的图；
图2C是表示基于分割图像生成部的分割图像的生成例的图；
图2D是表示基于分割图像生成部的分割图像的生成例的图；
图3是表示基于预测图像生成部的预测图像的生成例的图；
图4是表示编码目标图像的分割例的图；
图5是图像编码处理的流程图；
图6是分割图像生成处理的流程图；
图7是表示内插滤波器的应用例的图；
图8是使用参照列表的情况下的图像编码处理的流程图；
图9A是表示预测图像的合成的一例的图；
图9B是表示预测图像的合成的一例的图；
图10是表示生成参照列表的处理的例1的流程图；
图11是表示生成参照列表的处理的例2的流程图；
图12是表示生成参照列表的处理的例3的流程图；
图13是表示图像解码装置的结构例的图；
图14是图像解码处理的流程图；
图15是使用参照列表的情况下的图像解码处理的流程图；
图16是表示使用软件程序实现图像编码装置的情况下的硬件结构例的图；
图17是表示使用软件程序实现图像解码装置的情况下的硬件结构例的图；
图18是表示基于现有技术的画面内预测编码处理的例的流程图。
具体实施方式
以下，对本发明的实施方式，边使用附图边进行说明。
〔图像编码装置〕
图1是表示图像编码装置的结构例的图。图像编码装置10具备：分割图像生成部11、分割图像内编码部12、参照图像选择部13、分割图像间预测编码部14、信息源编码部15。分割图像间预测编码部14具备：预测图像生成部141、预测误差算出部142、预测误差编码部143、图像解码部144。
分割图像生成部11，将输入图像分割为n×m像素的块，将分割后的各块分割为n1 ×m1 像素（但是，1≤n1 ＜n，1≤m1 ＜m）的子块，并收集块内的相对位置相同的子块，分别生成相同尺寸的分割图像。
图2A～图2D是表示基于分割图像生成部11的分割图像的生成例的图。分割图像生成部11，例如将图2A所示的原始图像作为输入图像，并将该原始图像，如图2B所示，分别分割为n×m像素的块Mj（j＝0，1，…，J）。接下来，分割图像生成部11，将各块Mj，如图2C所示，分割为n1 ×m1 像素（但是，1≤n1 ＜n，1≤m1 ＜m）的子块Bjk（k＝0，1，…，K）。
接下来，分割图像生成部11，如图2D所示，从各块Mj，收集块内的相对位置相同的子块Bjk，并分别生成相同尺寸的分割图像Pk（k＝0，1，…，K）。分割图像P0变为收集了子块B00、B10、…、BJ0的分割图像，分割图像P1变为收集了子块B01、B11、…、BJ1的分割图像，…，分割图像PK变为收集了子块B0K、B1K、…、BJK的分割图像。
分割图像内编码部12，将包含由分割图像生成部11生成的第一个分割图像的几个分割图像（仅为第一个分割图像也可以）进行分割图像内编码。此处的分割图像内编码是，仅使用变成当前的编码目标的分割图像的像素信息进行编码的编码方法，只要是不参照其它分割图像的编码方法，使用什么样的编码方法都可以。例如能使用H.264编码方式中的内预测编码等的方法。
参照图像选择部13，针对编码目标分割图像和编码结束分割图像中的同一位置的像素，按原始图像上的距离短的顺序，将编码结束分割图像作为使用于对编码目标分割图像的分割图像间预测编码中的参照图像进行选择。此处，也可以按原始图像上的距离短的顺序将多个编码结束分割图像作为参照图像进行选择。
分割图像间预测编码部14，将在由分割图像生成部11生成的分割图像中还未被编码的分割图像进行分割图像间预测编码。此处的分割图像间预测编码是，将参照图像选择部13选择的编码结束分割图像作为参照图像进行预测编码的编码方法。
分割图像间预测编码部14中的预测图像生成部141，通过对参照图像施加由变成当前的编码目标的分割图像和参照图像的原始图像上的对应像素的相对位置决定的规定的滤波器来生成预测图像。
图3是表示基于预测图像生成部141的预测图像的生成例的图。下面，将分割图像Pi为变成参照图像的编码结束分割图像，分割图像Pk为进行分割图像间预测编码的编码目标分割图像的情况下的预测图像的生成例进行说明。将属于分割图像Pi的子块表示为Bi，将属于分割图像Pk的子块表示为Bk。
当分割图像Pi的子块Bi和分割图像Pk的子块Bk的原始图像中的位置关系为图3（A）所示的样子时，如图3（B）所示，抽出位于子块Bk的周边的子块Bi。在该例中，虽然对一个子块Bk抽出2个子块Bi，但并不限于2个。接下来，如图3（C）所示，将内插滤波器应用于抽出的2个子块Bi的像素值，来算出子块Bk′的像素值。作为内插滤波器的滤波器系数，使用由原始图像上的子块Bi和子块Bk的相对位置预先决定的系数。另外，关于基于内插滤波器的内插方法，从现有技术可知各种方法，使用任何的内插方法生成参照图像都可以。
这样，将收集了通过内插生成的子块Bk′的块，作为使用于分割图像Pk的分割图像间预测编码中的预测图像。
预测误差算出部142，从变为当前的编码目标的分割图像的各像素值减去由预测图像生成部141生成的预测图像的各像素值，来算出预测误差。预测误差编码部143，对算出的预测误差施行正交变换、量子化处理，将预测误差进行编码。
信息源编码部15，将由分割图像内编码部12和分割图像间预测编码部14编码的分割图像的编码信息进行熵编码，输出编码数据。
图像解码部144，为了将由分割图像间预测编码部14编码的分割图像利用于其它的分割图像的编码中的预测图像的生成中的情况，通过在编码后的分割图像的预测中使用的预测图像中加上编码结果的预测误差，对分割图像进行解码，并存储该解码图像，发送给预测图像生成部141。再者，在由预测误差编码部143将预测误差进行正交变换、量子化的情况下，图像解码部144，在对预测误差编码部143的输出施行逆量子化、逆正交变换之后，加上预测图像的像素值来将分割图像进行解码。
〔图像编码处理的流程〕
接下来，根据具体例，将图像编码处理的流程进行说明。
图4中示出编码目标图像的分割例。在下面说明的例中，分割图像生成部11，将作为编码目标的输入图像的1帧，如图4所示，分割为2×2像素的块M0、M1、…、MJ。进而，将各块M0、M1、…、MJ，按每一像素分割为子块B0、B1、B2、B3。从这样分割后的各M0、M1、…、MJ，将收集了左上的子块B0的像素的块作为分割图像P0，将收集了右上的子块B1的像素的块作为分割图像P1，将收集了左下的子块B2的像素的块作为分割图像P2，将收集了右下的子块B3的像素的块作为分割图像P3。
在此处，说明将2×2像素的块分割为1×1像素的子块的例。但并不是将块和子块的尺寸限定于该例中，在块的尺寸或子块的尺寸更大的情况下，也能应用本发明同样地实施。
图5是图像编码处理的流程图。首先，分割图像生成部11，将输入图像，如图4所示，分割为相同尺寸的块M0～MJ，并收集各块中的相对位置相同的像素（子块），来生成分割图像P0～PK（步骤S101）。再者，在图4的例中，K＝3。
接下来，分割图像内编码部12，对分割图像P0～PK中的几个分割图像P0～PM（但是，M＜K），进行分割图像内编码（步骤S102）。在图4的例中，对分割图像P0，使用现有的画面内预测编码方法等，进行分割图像内预测编码。
接下来，为了将第M＋1个以后的分割图像Pk（在图4的例中，为P1～P3）进行编码，参照图像选择部13就选择参照图像。在该参照图像的选择中，针对编码目标的分割图像Pk和编码结束分割图像的同一位置的像素，选择原始图像上的该像素的距离最短的编码结束分割图像（步骤S103）。在图4的例中，假设以分割图像P0、P1、P2、P3的顺序被编码时，作为分割图像P1的参照图像，选择编码结束分割图像P0，作为分割图像P2的参照图像，也选择编码结束分割图像P0。作为分割图像P3的参照图像，变为将分割图像P1或分割图像P2的任一个或者该二个作为参照图像被选择。
接着，分割图像间预测编码部14，针对编码目标的分割图像Pk，进行分割图像间预测编码（步骤S104）。在该分割图像间预测编码中，首先，预测图像生成部141，从图像解码部144读出由参照图像选择部13选择的参照图像，并通过对该参照图像施加由分割图像Pk的原始图像上的相对位置决定的规定的滤波器来生成预测图像。预测误差算出部142算出分割图像Pk与预测图像的误差。预测误差编码部143，将预测误差算出部142的输出进行编码，并向图像解码部144和信息源编码部15进行发送。图像解码部144，以能将编码结束分割图像Pk使用于其后的分割图像间预测编码中的方式，将预测误差编码部143的编码结果进行解码。信息源编码部15将预测误差编码部143的编码结果进行熵编码。
将基于以上的步骤S103、S104的分割图像Pk的编码，直到最后的分割图像PK为止反复进行，当直到最后的分割图像PK为止全部进行编码并结束时，就结束当前的输入图像（帧）的编码（步骤S105）。
图6是分割图像生成处理（图5的步骤S101）的流程图。分割图像生成部11将输入图像分割为相同尺寸的块Mj（j＝0，1，…，J）（步骤S111）。接下来，分割图像生成部11将各块Mj分别分割为同一尺寸的子块Bk（k＝0，1，…，K）（步骤S112）。接着，分割图像生成部11对各k＝0，1，…，K，仅抽出块M0～MJ内的相对位置相同的子块Bk，将其按块M0～MJ的顺序配置，来生成分割图像Pk（步骤S113）。将以上的处理反复进行直到最后的分割图像PK的生成结束为止（步骤S114）。
预测图像生成部141，在图5的步骤S104中，对变为参照图像的分割图像Pi，应用由原始图像上的分割图像Pi的像素位置决定的内插滤波器，来生成分割图像Pk的预测误差编码中使用的预测图像Pk′。
例如，假设在图4所示的输入图像的编码中，以分割图像P0、P1、P2、P3的顺序进行编码，首先，在图5的步骤S102将分割图像P0进行分割图像内编码，之后，在将分割图像P1进行编码时，在图5的步骤S103将分割图像P0作为参照图像进行选择。在后继的步骤S104，为了分割图像P1的编码，对作为参照图像的编码结束的分割图像P0应用内插滤波器，生成分割图像P1的预测图像P1′。作为该内插滤波器，例如能使用H.264的运动补偿预测中用于1／2像素精度的预测信号的生成中的6抽头FIR（Finite Impulse Response）滤波器。
图7是表示内插滤波器的应用例的图。在图7中，由○表示的像素为分割图像P0的整数位置像素。由□、△表示的像素为分割图像P0的1／2位置像素。对P0的编码图像的像素A、B、C、D、E、F应用下式的横向半像素滤波器，算出将分割图像P0作为参照图像的预测图像P1′，来作为图7中由□表示的P0的1／2位置像素。
a1 ＝1／32｛A-5B＋20C＋20D-5E＋F｝
（a2 、a3 、…的运算方式也与a1相同）
在分割图像P2的编码中，编码结束分割图像P0、P1中距离最短的分割图像P0作为参照图像被选择，通过对分割图像P0应用纵向半像素滤波器的内插滤波器，生成预测图像P2′。对P0的编码图像的像素A、G、H、I、J、K，应用下式的纵向半像素滤波器，作为图7中由△所示的P0的1／2位置像素算出该预测图像P2′。
b1 ＝1／32｛A-5G＋20H＋20I-5J＋K｝
（b2 、b3 、…的运算方式也与b1相同）
在下面的分割图像P3的编码中，编码结束分割图像P0、P1、P2中距离最短的分割图像变为存在P1、P2这二个。将其中一个作为参照图像也可以，将两个作为参照图像求出分割图像P3的预测图像P3′也可以。仅将分割图像P1、P2的任一张作为参照图像而使用的处理，与前述的分割图像P1、P2的预测图像的生成是同样的。接下来，对使用多个参照图像的例进行说明。
〔使用参照列表的例〕
上述的参照图像选择部13，并不是选择1张参照图像，而是选择多张参照图像也可以。在这种情况下，将表示选择的多张参照图像的数据作为参照列表生成，并保持。
在需要向解码侧传递参照列表中的哪个参照图像被用于预测图像的生成中的情况下，将参照图像索引进行编码，并向解码侧进行通知。参照图像索引是表示参照列表中的第几个参照图像的数据，由于接近参照列表的前头的参照图像，在预测图像的生成中被使用的概率变大，所以分配短的码长。
将参照图像的最大张数，预先相同地设定在编码侧和解码侧预先也可以，从编码侧向解码侧通过编码流的标题信息等进行通知也可以。
〔使用参照列表的图像编码处理的流程〕
图8是使用参照列表的情况下的图像编码处理的流程图。步骤S121、S122的处理，与前述的图5的步骤S101、S102的处理是相同的。
在接续的步骤S123中，为了将第M＋1个以后的分割图像Pk进行分割图像间预测编码，参照图像选择部13就选择参照图像。在该参照图像的选择中，针对编码目标的分割图像Pk和编码结束分割图像的同一位置的像素，从原始图像上的该像素的距离短的像素按顺序选择编码结束分割图像来制作参照列表。
接着在步骤S124中，分割图像间预测编码部14，使用参照列表所示的1张或多张参照图像，针对编码目标的分割图像Pk，进行分割图像间预测编码。之后，将基于步骤S123、S124的下一个分割图像Pk的编码，直到最后的分割图像PK为止反复进行，当直到最后的分割图像PK为止全部进行编码并结束时，结束当前的输入图像（帧）的编码（步骤S125）。
在图4的输入图像的例中，将使用参照列表的情况下的例进行说明。假设以分割图像P0、P1、P2、P3的顺序进行编码。分割图像P0由于是分割图像内编码，所以不使用参照图像。在下一个分割图像P1的编码中，参照图像仅为分割图像P0，并且为1张。
在下一个分割图像P2的编码中，虽然编码结束分割图像有P0，P1这2张，由于其中分割图像P0的像素的位置接近P2，所以在参照列表中仅存储分割图像P0或者按分割图像P0，P1的顺序进行储存。
在分割图像P3的编码中，作为参照图像考虑到分割图像P0、P1、P2。其中像素的位置最接近分割图像P3的分割图像是P1和P2。在相同距离的分割图像存在多个的情况下，根据规定的参照列表生成规则，决定储存于参照列表中的优先顺序。其结果，作为对分割图像P3的参照列表，使用下面的参照列表的任一个。
｛P1，P2｝、｛P2，P1｝、｛P1，P2，P0｝、｛P2，P1，P0｝
进而，将合成了从多个参照图像生成的预测图像的图像，加到参照列表中也可以。例如，将从编码结束分割图像P1、P2分别生成的分割图像P3的预测图像P3′、P3″的平均图像作为参照图像，加到参照列表中也可以。当将该平均图像表示为Px时，参照列表例如变为如下这样。
｛P1，P2，Px｝、｛P2，P1，Px｝、……
图9A～图9B中示出预测图像的合成的一例。在图9A所示的输入图像中，B1是属于编码结束分割图像P1的子块，B2是属于编码结束分割图像P2的子块，Bk是属于编码目标分割图像Pk的子块。在该例中，子块的尺寸为1×1像素。分割图像P1是收集了B1的子块的分割图像，分割图像P2是收集了B2的子块的分割图像，分割图像Pk是收集了Bk的子块的分割图像。
如图9B所示，通过对P1的编码结束分割图像应用半像素纵向滤波器，来生成Pk的一个预测图像1。另外，通过对P2的编码结束分割图像应用半像素横向滤波器，生成Pk的其它预测图像2。将这些合成图像作为Pk的预测图像3。作为合成的方法，例如求取各像素的平均值。即，算出下式的像素值。
（Pk的预测图像3的（i，j）位置的像素值）＝｛（Pk的预测图像1的（i，j）位置的像素值）＋（Pk的预测图像2的（i，j）位置的像素值）｝／2
对把将合成图像加到参照图像的例一般化后的其它例进行说明。针对从存在的编码结束分割图像制作的参照列表（将其称为原参照列表）的第N个为止的参照图像R，选择其中的第k1个和第k2 个的参照图像，生成各个的预测图像的平均图像。无需第k1个和第k2 个的参照图像，离编码目标分割图像的像素位置的原始图像上的距离相同。
将该平均图像，在新的参照列表（称为新参照列表）上的、原参照列表的第k2 个图像之后，按k1 小的顺序进行配置。当将从k1 、k2 的参照图像得到的平均图像的预测图像方便地表示为（k1 ＋k2 ）／2时，从原参照列表得到的新参照列表，变为下面的式。
・原参照列表
1，2，3，4，…，N
・新参照列表
1，2，（1＋2）／2，3，（1＋3）／2，（2＋3）／2，4，（1＋4）／2，（2＋4）／2，…，N
分割图像间预测编码部14，在给予了以上那样的多个参照图像指定的参照列表的情况下，在适应地决定将其中的哪个参照图像使用于由实际的编码使用的预测图像的生成中的实施例中，例如算出率失真代价（称为RD代价），并且使用其中RD代价变为最小的参照图像也可以。
RD代价通过下式进行定义。在此，D是失真量，R是产生码量，λ是拉格朗日乘子。
RD代价＝D＋λR
当决定编码中的RD代价变为最小的参照图像时，将表示参照列表中的哪个参照图像被使用的参照图像索引进行编码，并向解码侧进行通知。另外，作为参照图像，将表示是否使用前述的合成图像的合成图像使用ON／OFF的标志按每一分割图像进行编码并向解码侧通知也可以。另外，作为合成图像的指定方法，例如，如H.264的图像B那样，通过选择2张参照图像，并使用由宏块语法指定合成方法的方法，也能使用将合成2张参照图像并使用的情况向解码侧通知的方法。
作为在编码侧和解码侧共享参照列表的方法，例如有以下的方法。
（1）按每一编码目标分割图像，使用预先决定的固定的参照列表。
（2）从预先决定的几个参照列表生成规则中，将表示在编码侧进行编码时的参照列表的生成中使用的参照列表生成规则的信息进行编码并向解码侧发送。在解码侧，将参照列表生成规则的编码数据进行解码，并根据相同的参照列表生成规则来生成参照列表。
配置参照列表中的参照图像的顺序，基本上是针对编码目标分割图像和编码结束分割图像中的同一位置的像素，在原始图像上的距离短的编码结束分割图像的顺序。但是，在距离相同的编码结束分割图像有多个的情况下等，由参照列表生成规则决定将哪个分割图像优先地配置于参照列表。
参照列表生成规则，例如在以下的情况下，是决定将哪个编码结束分割图像在参照列表的上位进行配置的规则。
〔规则1〕；在参照图像的候补在同一距离内有多个的情况下，将分割图像内编码结束的分割图像比分割图像间预测编码结束的分割图像更优先。
〔规则2〕：在参照图像的候补在同一距离内有多个的情况下，优先量子化精度高的。
〔规则3〕：在参照图像的候补在同一距离内有多个的情况下，优先编码顺序新的编码结束分割图像。
〔规则4〕：将规则1～3组合几个后的规则。
〔参照列表生成处理的流程图1〕
图10是表示根据规则1生成参照列表的处理的例的流程图。首先，在步骤S131中，针对编码目标的分割图像Pk和编码结束分割图像的同一位置的像素，按原始图像上的该像素的距离短的顺序选择1张编码结束分割图像Pk′。
接下来，在步骤S132中，针对分割图像Pk，调查是否存在其它的关于编码结束分割图像中同一的像素在原始图像上与到Pk′的距离变为同一距离的分割图像Pk″。在不存在处于同一距离的其它的分割图像的情况下，进入到步骤S135。在存在处于同一距离的其它的分割图像的情况下，进入到步骤S133，判定编码结束的分割图像Pk′和Pk″的任一个是否为分割图像内编码结束分割图像，另一个是否为分割图像间预测编码结束分割图像。若判定结果为“真”，则进入到步骤S134，若判定结果为“伪”则进入到步骤S135。
在步骤S134中，在参照列表中，将进行了分割图像内编码的编码结束分割图像配置于参照列表的前部，其后配置进行了分割图像间预测编码的编码结束分割图像。
另一方面，在步骤S135中，针对分割图像Pk和编码结束分割图像的同一位置的像素，从原始图像上的该像素的距离短的像素按顺序，选择编码结束分割图像来制作参照列表。
〔参照列表生成处理的流程图2〕
图11是表示根据规则2生成参照列表的处理的例的流程图。由于与前述的图10的例不同的是步骤S143和步骤S144，所以仅说明该部分，省略其它的步骤的说明。
在根据规则2生成参照列表的情况下，在步骤S143中，针对编码结束分割图像中同一的像素，在存在其它的在原始图像上与到Pk′的距离变为同一距离的分割图像Pk″的情况下，判定这些分割图像Pk′、Pk″的编码时的量子化步骤是否不同。若判定结果为“真”，则进入到步骤S144，若判定结果为“伪”则进入到步骤S145。
在步骤S144中，在参照列表中，将量子化步骤小的编码结束分割图像配置于参照列表的前部，其后配置量子化步骤大的编码结束分割图像。一般情况下，因为量子化精度高则作为参照图像很相应。
在步骤S145中，与前述的步骤S135一样，针对分割图像Pk和编码结束分割图像的同一位置的像素，从原始图像上的该像素的距离短的像素按顺序，选择编码结束分割图像来制作参照列表。
〔参照列表生成处理的流程图3〕
图12是表示根据规则4生成参照列表的处理的例的流程图。首先，在步骤S151中，针对编码目标的分割图像Pk和编码结束分割图像的同一位置的像素，判定原始图像上的该像素的距离相等的编码结束分割图像是否存在2张以上。在判定结果为“真”的情况下，进入到步骤S153。在判定结果为“伪”的情况下，进入到步骤S152，按距离短的顺序分配小的参照图像索引，按参照图像索引顺序制作参照列表，结束参照列表的生成处理。
在步骤S153中，判定在距离相等的编码结束分割图像中是否有量子化步骤不同的图像。在判定结果为“伪”的情况下，进入到步骤S155。在判定结果为“真”的情况下，进入到步骤S154，按量子化步骤小的顺序分配小的参照图像索引，进入到步骤S155。
在步骤S155中，判定在距离相等的编码结束分割图像中，图像类型是否存在分割图像内编码、分割图像间预测编码的任一个的情况。在判定结果为“伪”的情况下，进入到步骤S157。判定结果为“真”的情况下，进入到步骤S156，在分割图像内编码结束的分割图像中，分配比分割图像间预测编码结束的分割图像小的参照图像索引，进入到骤S157。
在步骤S157中，判定在由分割图像间预测编码进行了编码的分割图像中，是否存在参照张数不同的分割图像。在判定结果为“伪”的情况下，进入到步骤S159。在判定结果为“真”的情况下，进入到步骤S158，在参照张数多的分割图像间预测编码结束的分割图像中，分配小的参照图像索引，按参照图像索引顺序制作参照列表并结束处理。
在步骤S159中，针对对应像素的距离相等的编码结束分割图像，按编码顺序新的顺序分配小的参照图像索引，按参照图像索引顺序制作参照列表并结束处理。
在图12所示的流程图中，改变量子化步骤、图像类型等的判定的顺序也可以，另外，仅使用判定手法的几个并使用决定参照图像索引的规则也可以。
〔图像解码装置〕
图13是表示图像解码装置的结构例的图。图像解码装置20具备：信息源解码部21、分割图像内解码部22、参照图像选择部23、分割图像间预测解码部24、解码图像构成部25。分割图像间预测解码部24具备：预测误差解码部241、预测图像生成部242、解码图像算出部243。
图像解码装置20，将通过图1所示的图像编码装置10进行了压缩编码的图像的编码数据通过信息源解码部21输入，信息源解码部21将输入的编码数据进行熵解码。
分割图像内解码部22，将至少一个以上的分割图像内编码后的分割图像的编码数据通过分割图像内预测进行解码。参照图像选择部23选择用于将分割图像间预测编码后的分割图像进行解码的参照图像。
作为参照图像的选择手法，有使用参照列表的情况和不使用参照列表的情况。在参照图像仅为1张的情况下，无需使用参照列表。关键是，作为参照图像，即使将与编码侧在基于分割图像间预测编码的编码时使用的参照图像相同的分割图像放在解码侧中也作为参照图像来使用。
例如，在参照图像仅为1张的情况下，若在编码侧以像素的距离、图像类型（分割图像内编码、分割图像间预测编码）、量子化精度、编码顺序的顺序等选择参照图像，则在解码侧也以相同的顺序从解码结束分割图像中选择参照图像。若该参照图像的选择手法被编码，则通过将该编码数据事先进行解码，在解码侧也使用与编码侧相同的选择手法。
在预先决定了参照图像选择手法的情况下，能在编码侧和解码侧共享固定的参照图像选择手法，在该情况下，不需要选择手法的解码。
另外，在参照图像为多张，并且使用参照列表的情况下，在解码侧也使用与编码侧相同的参照列表。作为该方法，预先决定好固定的参照列表生成规则，在编码侧和解码侧能使用基于共同的参照列表生成规则，生成相同的参照列表的方法。
另外，若参照列表生成规则被编码，则通过将该编码数据事先进行解码，在解码侧也能使用与编码侧相同的参照列表生成规则来生成参照列表。进而，作为参照图像，若使用或不使用合成图像的标志被编码，则将其进行解码，判断是否将合成图像加到参照列表。
另外，在表示参照图像的参照图像索引被编码的情况下，将该参照图像索引进行解码，并将参照图像索引所示的参照列表中的图像作为参照图像进行选择。
分割图像间预测解码部24，针对分割图像内解码的分割图像之外的分割图像，进行分割图像间预测解码。为此，分割图像间预测解码部24的预测误差解码部241，根据需要进行逆量子化、逆正交变换等，将预测误差进行解码。预测图像生成部242，从参照图像选择部23选择的1张或多张参照图像，通过将由解码目标分割图像和解码结束分割图像（参照图像）的原始图像上的相对位置决定的规定的滤波器施加到解码结束分割图像中，生成预测图像。此处，在使用合成图像的情况下，将多个预测图像的平均图像等作为预测图像。
解码图像算出部243，通过在预测误差解码部241的输出中，加上预测图像生成部242生成的预测图像的像素值，算出解码图像的像素值。
解码图像构成部25，通过将由分割图像内解码部22和分割图像间预测解码部24解码的分割图像的各子块，配置在原始图像上的原来的位置，生成解码图像。
〔图像解码处理的例1的流程〕
图14是图像解码处理的例1的流程图。在此处，对在编码侧把将输入图像如图2A～图2D所示那样分割并编码的数据进行解码的情况的例进行说明。在编码侧，如上所述，将输入图像分割为相同尺寸的块M0～MJ，并收集各块内的相对位置相同的像素（子块），生成分割图像P0～PK，对分割图像P0～PM（0≤M＜K）由分割图像内编码进行编码，对分割图像Pk（k＝（M＋1）～K）由以分割图像为单位的分割图像间预测编码进行编码。
在图像解码装置20中，当由信息源解码部21输入编码数据时，信息源解码部21将编码数据进行熵解码（步骤S201）。接下来，分割图像内解码部22，将分割图像P0～PM的编码数据，使用现有的画面内预测解码方法等的方法，进行分割图像内解码（步骤S202）。
接着，参照图像选择部23选择用于将分割图像间预测编码的分割图像Pk（k＝（M＋1）～K）进行解码的参照图像。在此，针对解码目标的分割图像Pk和解码结束分割图像的同一位置的像素将原始图像上的该像素的距离最短的解码结束分割图像作为参照图像进行选择（步骤S203）。
接下来，分割图像间预测解码部24，对参照图像施加由原始图像上的相对位置决定的规定的内插滤波器，生成预测图像，针对分割图像Pk，通过在预测误差解码部241解码的预测误差中加上预测图像的像素值，进行分割图像间预测解码（步骤S204）。
将基于以上的步骤S203、S204的分割图像Pk的解码，直到最后的分割图像PK为止反复进行，如果直到最后的分割图像PK为止全部进行解码并结束时，通过解码图像构成部25，从解码后的分割图像P0～PK生成全体的解码图像，结束1帧量的解码处理（步骤S205）。
〔图像解码处理的例2的流程〕
接下来，根据图15 ，将使用参照列表进行解码的情况的解码处理的例进行说明。图15中的步骤S211、S212的处理，与在图14中说明的步骤S201、S202的处理相同。
在步骤S213中，判定图像解码装置20是否预先保持参照列表生成规则。在判定结果为“真”的情况下，进入到步骤S214。在判定结果为“伪”的情况下，进入到步骤S215。
在步骤S214中，参照图像选择部23，针对分割图像间预测编码的分割图像Pk（k＝（M＋1）～K）和解码结束分割图像的同一位置的像素，基于预先保持的参照列表生成规则，选择解码结束分割图像，制作参照列表。之后，进入到步骤S216。
另一方面，在步骤S215中，参照图像选择部23，针对分割图像间预测编码的分割图像Pk（k＝（M＋1）～K）和解码结束分割图像的同一位置的像素，基于作为编码数据送来的参照列表生成规则，选择解码结束分割图像，制作参照列表。之后，进入到步骤S216。
在步骤S216中，分割图像间预测解码部24，通过预测图像生成部242在由参照列表中的参照图像索引指定的参照图像中应用规定的内插滤波器来生成预测图像，针对分割图像Pk，通过在预测误差解码部241解码的预测误差中加上预测图像的像素值，进行分割图像间预测解码。此处，在编码侧使用合成了从多张参照图像生成的多张预测图像的预测图像进行分割图像间预测编码的情况下，在解码侧中同样也使用以多张参照图像为基础生成的合成预测图像进行分割图像间预测解码。
将基于以上的步骤S213～S216的分割图像Pk的解码，直到最后的分割图像PK为止反复进行，如果直到最后的分割图像PK为止全部进行解码并结束，则通过解码图像构成部25，从解码的分割图像P0～PK生成全体的解码图像，结束1帧量的解码处理（步骤S217）。
〔基于计算机的结构例〕
在图16中示出了由计算机和软件程序构成图1的图像编码装置10的情况下的硬件结构例。本系统通过总线连接如下部件而构成，即，执行程序的CPU（Central ProcessingUnit）30；储存有CPU30访问的程序、数据的RAM（Random Access Memory）等的存储器31；输入来自摄像机等的编码目标的图像信号的图像信号输入部32（基于硬盘装置等的存储图像信号的存储部也可以）；储存了使通过本手法将输入图像进行编码的处理在CPU30中执行的软件程序即图像编码程序34的程序存储装置33；将通过CPU30执行加载于存储器31中的图像编码程序34而生成的编码数据，例如经由网络输出的编码数据输出部35（基于硬盘装置等的存储编码数据的存储部也可以）。
再者，储存于程序存储装置33的图像编码程序，处理通过本手法将输入图像进行编码的程序之外，例如包含以现有的帧单位进行画面间预测的图像编码程序等也可以。
在图17中示出了由计算机和软件程序构成图13的图像解码装置20的情况的硬件结构例。本系统通过总线连接如下部件而构成，即，执行程序的CPU40；储存有CPU40访问的程序、数据的RAM等的存储器41；输入图1的图像编码装置10通过本手法编码的编码数据并存储的编码数据存储部42（经由网络等的输入部也可以）；储存了使通过本手法将编码数据进行解码的处理在CPU40中执行的软件程序即图像解码程序44的程序存储装置43；将通过CPU40执行加载于存储器41中的图像解码程序44把编码数据进行解码而得到的解码图像，输出到再生装置等的解码图像输出部45。
再者，储存于程序存储装置43的图像解码程序，除了通过本手法将编码数据进行解码的程序之外，例如包含以现有的帧单位进行画面间预测的图像解码程序等也可以。
以上，参照附图对本发明的实施方式进行了说明，但上述实施方式只不过是本发明的例示，很明显本发明并不限定于上述实施方式。因此，在不脱离本发明的精神和技术的范围内进行构成要素的追加、省略、替换、其它的变更都可以。
工业实用性
本发明能利用于图像的编码/解码中。根据本发明，对现有的画面内预测编码，能一边抑制编码效率的降低，一边削减编码运算量和解码运算量。
附图标记的说明
10　图像编码装置
11　分割图像生成部
12　分割图像内编码部
13　参照图像选择部
14　分割图像间预测编码部
141　预测图像生成部
142　预测误差算出部
143　预测误差编码部
144　图像解码部
15　信息源编码部
20　图像解码装置
21　信息源解码部
22　分割图像内解码部
23　参照图像选择部
24　分割图像间预测解码部
241　预测误差解码部
242　预测图像生成部
243　解码图像算出部
25　解码图像构成部。

Claims (15)

1.一种图像编码方法，将输入图像进行压缩编码，
该图像编码方法具有：
分割图像生成步骤，当将所述输入图像分割为n×m像素的块并将分割后的各块分割为n1×m1像素的子块时，设定由所述块内的相对位置变为相同的子块的像素的集合构成的、尺寸分别相同的分割图像，其中，1≤n1＜n，1≤m1＜m；
分割图像内编码步骤，将所述分割图像的至少一个以上进行分割图像内编码；
参照图像选择步骤，当将所述分割图像内编码后的分割图像之外的分割图像进行编码时，针对编码目标分割图像的像素和位于同一位置的编码结束分割图像的像素，按原始图像上的与编码目标分割图像的像素的空间的距离短的顺序将编码结束分割图像作为使用于对编码目标分割图像的分割图像间预测编码中的参照图像进行选择；
分割图像间预测编码步骤，使用选择后的参照图像生成对所述编码目标分割图像的预测图像，进行分割图像间预测编码；以及
信息源编码步骤，至少将基于所述分割图像内编码步骤和所述分割图像间预测编码步骤的编码结果进行信息源编码。
2.根据权利要求1所述的图像编码方法，其中，
在所述参照图像选择步骤中，将排列了选择的多张参照图像的参照列表进行指定，并将该参照列表中的参照图像作为选择的参照图像，
在所述分割图像间预测编码步骤中，使用所述参照列表中登记的多张参照图像中的一张或多张参照图像，生成对所述编码目标分割图像的预测图像。
3.根据权利要求1或权利要求2所述的图像编码方法，其中，
在所述参照图像选择步骤中，在所述原始图像上的距离相同的编码结束分割图像存在多张的情况下，将分割图像内编码结束分割图像比分割图像间预测编码结束分割图像更优先地作为参照图像进行选择。
4.根据权利要求1或权利要求2所述的图像编码方法，其中，
在所述参照图像选择步骤中，在所述原始图像上的距离相同的编码结束分割图像存在多张的情况下，将量子化精度高的编码结束分割图像比量子化精度低的编码结束分割图像更优先地作为参照图像进行选择。
5.根据权利要求1或权利要求2所述的图像编码方法，其中，
在所述参照图像选择步骤中，从能作为参照图像使用的多个编码结束分割图像中，基于表示将哪个编码结束分割图像优先地进行选择的参照图像选择规则来选择参照图像，
在所述信息源编码步骤中，将所述参照图像选择规则的指定信息进行编码。
6.根据权利要求5所述的图像编码方法，其中，
所述参照图像选择规则包含：在所述原始图像上的距离相同的编码结束分割图像存在多张的情况下，指定将分割图像内编码结束分割图像比分割图像间预测编码结束分割图像更优先地作为参照图像进行选择的规则，或者，在所述原始图像上的距离相同的编码结束分割图像存在多张的情况下，指定将量子化精度高的编码结束分割图像比量子化精度低的编码结束分割图像更优先地作为参照图像进行选择的规则。
7.根据权利要求1或权利要求2所述的图像编码方法，其中，
在所述分割图像间预测编码步骤中，使用合成了从所述参照图像选择步骤选择的多张参照图像生成的多张预测图像的预测图像进行分割图像间预测编码。
8.根据权利要求1或权利要求2所述的图像编码方法，其中，
在所述信息源编码步骤中，将指定在所述分割图像间预测编码步骤中使用的参照图像的参照图像指定信息进行编码。
9.一种图像解码方法，将压缩编码后的图像的编码数据进行解码，
该图像解码方法具有：
信息源解码步骤，当图像编码装置将输入图像分割为n×m像素的块并将分割后的各块分割为n1×m1像素的子块时，设定由所述块内的相对位置变为相同的子块的像素的集合构成的、尺寸分别相同的分割图像，并按每一分割图像输入编码后的编码数据，进行解码，其中，1≤n1＜n，1≤m1＜m；
分割图像内解码步骤，从在所述信息源解码步骤中解码的数据，将所述分割图像的至少一个以上进行分割图像内解码；
参照图像选择步骤，在将所述分割图像内解码的分割图像之外的分割图像进行解码时，针对解码目标分割图像的像素和位于同一位置的解码结束分割图像的像素，按原始图像上的与解码目标分割图像的像素的空间的距离短的顺序将解码结束分割图像作为使用于对解码目标分割图像的分割图像间预测解码中的参照图像进行选择；
分割图像间预测解码步骤，使用选择后的参照图像生成对所述解码目标分割图像的预测图像，并进行分割图像间预测解码；以及
解码图像构成步骤，从由所述分割图像内解码步骤和所述分割图像间预测解码步骤解码的分割图像构成解码图像。
10.根据权利要求9所述的图像解码方法，其中，
在所述信息源解码步骤中，将从能作为参照图像使用的多个解码结束分割图像中指定表示将哪个解码结束分割图像优先地进行选择的参照图像选择规则的编码数据进行解码，
在所述参照图像选择步骤中，基于解码后的参照图像选择规则来选择参照图像。
11.根据权利要求10所述的图像解码方法，其中，
所述参照图像选择规则包含：在所述原始图像上的距离相同的解码结束分割图像存在多张的情况下，指定将分割图像内解码结束分割图像比分割图像间预测解码结束分割图像更优先地作为参照图像进行选择的规则，或者，在所述原始图像上的距离相同的解码结束分割图像存在多张的情况下，指定将量子化精度高的解码结束分割图像比量子化精度低的解码结束分割图像更优先地作为参照图像进行选择的规则。
12.根据权利要求9、权利要求10或权利要求11所述的图像解码方法，其中，
在所述分割图像间预测解码步骤中，使用合成了从所述参照图像选择步骤选择的多张参照图像生成的多张预测图像的预测图像来进行分割图像间预测解码。
13.根据权利要求9、权利要求10或权利要求11所述的图像解码方法，其中，
在所述信息源解码步骤中，将指定参照图像的参照图像指定信息进行解码，
在所述参照图像选择步骤中，将解码后的参照图像指定信息表示的参照图像进行选择。
14.一种图像编码装置，将输入图像进行压缩编码，
该图像编码装置具备：
分割图像生成部，当将所述输入图像分割为n×m像素的块并将分割后的各块分割为n1×m1像素的子块时，设定由所述块内的相对位置变为相同的子块的像素的集合构成的、尺寸分别相同的分割图像，其中，1≤n1＜n，1≤m1＜m；
分割图像内编码部，将所述分割图像的至少一个以上进行分割图像内编码；
参照图像选择部，当将所述分割图像内编码后的分割图像之外的分割图像进行编码时，针对编码目标分割图像的像素和位于同一位置的编码结束分割图像的像素，按原始图像上的与编码目标分割图像的像素的空间的距离短的顺序将编码结束分割图像作为使用于对编码目标分割图像的分割图像间预测编码中的参照图像进行选择；
分割图像间预测编码部，使用选择后的参照图像生成对所述编码目标分割图像的预测图像，并进行分割图像间预测编码；以及
信息源编码部，至少将所述分割图像内编码部和所述分割图像间预测编码部的编码结果进行信息源编码。
15.一种图像解码装置，将压缩编码后的图像的编码数据进行解码，
该图像解码装置具备：
信息源解码部，当图像编码装置将输入图像分割为n×m像素的块并将分割后的各块分割为n1×m1像素的子块时，设定由所述块内的相对位置变为相同的子块的像素的集合构成的、尺寸分别相同的分割图像，并按每一分割图像输入编码后的编码数据，进行解码，其中，1≤n1＜n，1≤m1＜m；
分割图像内解码部，从所述信息源解码部解码的数据，将所述分割图像的至少一个以上进行分割图像内解码；
参照图像选择部，在将所述分割图像内解码后的分割图像之外的分割图像进行解码时，针对解码目标分割图像的像素和位于同一位置的解码结束分割图像的像素，按原始图像上的与解码目标分割图像的像素的空间的距离短的顺序将解码结束分割图像作为使用于对解码目标分割图像的分割图像间预测解码中的参照图像进行选择；
分割图像间预测解码部，使用选择后的参照图像生成对所述解码目标分割图像的预测图像，并进行分割图像间预测解码；以及
解码图像构成部，从由所述分割图像内解码部和所述分割图像间预测解码部解码后的分割图像构成解码图像。
CN201280036325.4A 2011-08-01 2012-07-31 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序 Active CN103688542B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-167934 2011-08-01
JP2011167934A JP5706264B2 (ja) 2011-08-01 2011-08-01 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
PCT/JP2012/069495 WO2013018806A1 (ja) 2011-08-01 2012-07-31 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム

Publications (2)

Publication Number Publication Date
CN103688542A CN103688542A (zh) 2014-03-26
CN103688542B true CN103688542B (zh) 2017-07-07

Family

ID=47629327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280036325.4A Active CN103688542B (zh) 2011-08-01 2012-07-31 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序

Country Status (12)

Country Link
US (1) US9491455B2 (zh)
EP (1) EP2725801B1 (zh)
JP (1) JP5706264B2 (zh)
KR (1) KR20140031974A (zh)
CN (1) CN103688542B (zh)
BR (1) BR112014001478A2 (zh)
CA (1) CA2842670A1 (zh)
ES (1) ES2909314T3 (zh)
IN (1) IN2014CN00481A (zh)
RU (1) RU2014101694A (zh)
TW (1) TWI524742B (zh)
WO (1) WO2013018806A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6431803B2 (ja) * 2015-03-30 2018-11-28 富士フイルム株式会社 画像記録装置および画像再生装置ならびにそれらの方法およびそれらのプログラム
CN107872671B (zh) * 2016-09-26 2022-01-14 华为技术有限公司 一种图片编码方法及终端
US10911769B2 (en) * 2017-06-23 2021-02-02 Qualcomm Incorporated Motion-based priority for the construction of candidate lists in video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1925619A (zh) * 2005-08-30 2007-03-07 三星电子株式会社 视频编码和解码的装置和方法及其记录介质
KR20090075608A (ko) * 2008-01-03 2009-07-08 한국전자통신연구원 동영상 압축을 위한 서브샘플링기반 화면내 예측 부호화장치 및 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS647854A (en) * 1987-06-30 1989-01-11 Toshiba Corp Encoding device
JPH08307865A (ja) * 1995-05-12 1996-11-22 Kokusai Electric Co Ltd 画像処理方法
US6542547B1 (en) 1995-05-30 2003-04-01 Texas Instruments Incorporated Efficient heuristic based motion estimation method for video compression
US6868186B1 (en) * 2000-07-13 2005-03-15 Ceva D.S.P. Ltd. Visual lossless image compression
JP2003092684A (ja) * 2001-09-17 2003-03-28 Canon Inc 画像符号化装置、及び画像符号化方法、並びにプログラム、記憶媒体
ES2661697T3 (es) 2001-11-06 2018-04-03 Panasonic Intellectual Property Corporation Of America Método de codificación de imágenes en movimiento y método de decodificación de imágenes en movimiento
KR100961313B1 (ko) 2002-11-20 2010-06-04 파나소닉 주식회사 동화상 부호화 방법 및 장치
KR100510137B1 (ko) 2003-04-30 2005-08-26 삼성전자주식회사 고속 움직임 추정을 위한 참조 픽쳐 및 블록 모드 결정방법, 그 장치, 블록 모드 결정 방법 및 그 장치
US20060013305A1 (en) * 2004-07-14 2006-01-19 Sharp Laboratories Of America, Inc. Temporal scalable coding using AVC coding tools
JP3955909B2 (ja) * 2004-09-10 2007-08-08 国立大学法人九州工業大学 画像信号処理装置及びその方法
US7830961B2 (en) 2005-06-21 2010-11-09 Seiko Epson Corporation Motion estimation and inter-mode prediction
JP4606311B2 (ja) 2005-11-21 2011-01-05 シャープ株式会社 画像符号化装置および画像符号化方法
CN101346998B (zh) 2006-01-05 2012-01-11 日本电信电话株式会社 视频编码方法及解码方法、其装置
JP4831372B2 (ja) * 2006-11-24 2011-12-07 日本電気株式会社 符号化および復号装置、符号化および復号方法ならびにプログラム
US8238437B2 (en) * 2007-09-20 2012-08-07 Canon Kabushiki Kaisha Image encoding apparatus, image decoding apparatus, and control method therefor
JP5101962B2 (ja) * 2007-09-20 2012-12-19 キヤノン株式会社 画像符号化装置及びその制御方法並びにコンピュータプログラム
JP5086777B2 (ja) * 2007-11-20 2012-11-28 キヤノン株式会社 画像符号化装置及びその制御方法、コンピュータプログラム並びにコンピュータ可読記憶媒体
JP2009296300A (ja) * 2008-06-05 2009-12-17 Panasonic Corp 画像符号化装置および方法
EP2268030A1 (fr) * 2009-06-22 2010-12-29 Thomson Licensing Codage d'image avec raffinement de la texture en utilisant des sous-régions représentatives

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1925619A (zh) * 2005-08-30 2007-03-07 三星电子株式会社 视频编码和解码的装置和方法及其记录介质
KR20090075608A (ko) * 2008-01-03 2009-07-08 한국전자통신연구원 동영상 압축을 위한 서브샘플링기반 화면내 예측 부호화장치 및 방법

Also Published As

Publication number Publication date
IN2014CN00481A (zh) 2015-04-03
EP2725801A4 (en) 2015-02-25
US20140146887A1 (en) 2014-05-29
EP2725801B1 (en) 2021-12-22
KR20140031974A (ko) 2014-03-13
RU2014101694A (ru) 2015-09-10
JP2013034042A (ja) 2013-02-14
EP2725801A1 (en) 2014-04-30
JP5706264B2 (ja) 2015-04-22
CN103688542A (zh) 2014-03-26
ES2909314T3 (es) 2022-05-06
CA2842670A1 (en) 2013-02-07
BR112014001478A2 (pt) 2017-02-21
US9491455B2 (en) 2016-11-08
TWI524742B (zh) 2016-03-01
WO2013018806A1 (ja) 2013-02-07
TW201320769A (zh) 2013-05-16

Similar Documents

Publication Publication Date Title
US11729420B2 (en) Intra-prediction method using filtering, and apparatus using the method
JP6663520B2 (ja) ビデオ符号化のための簡素化されたイントラ予測
RU2722536C1 (ru) Вывод опорных значений режима и кодирование и декодирование информации, представляющей режимы предсказания
US9172959B2 (en) Method and encoding/decoding of video using common merging candidate set of asymmetric partitions
RU2509436C1 (ru) Способ и устройство для кодирования и декодирования блока кодирования границы картинки
CN107396105B (zh) 图像编解码方法和装置、以及计算机可读介质
CN107318026B (zh) 视频编码器以及视频编码方法
JP2022514870A (ja) 隣接サンプル減少を伴う線形またはアフィン変換を使用するイントラ予測
TW202315408A (zh) 以區塊為基礎之預測技術
JP7283024B2 (ja) 画像の符号化方法、復号化方法、エンコーダ、およびデコーダ
CN103688542B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
JP2012175332A (ja) 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラム
WO2022037583A1 (en) Systems and methods for intra prediction smoothing filter
JP6253564B2 (ja) 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラム
AU2018263982A1 (en) Low-complexity intra prediction for video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant