JP2013034042A - 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム - Google Patents

Abstract

【課題】従来の分割画像内符号化よりも，符号化効率の低下を抑制しつつ，符号化演算量および復号演算量を削減する。
【解決手段】分割画像生成部１１が，符号化対象の入力画像を同じサイズのブロックに分割し，各ブロック内の相対位置が同じ画素を集めてそれぞれ同じサイズの分割画像を生成する。一部の分割画像については，分割画像内符号化部１２が分割画像内符号化する。参照画像選択部１３は，他の符号化対象分割画像について符号化するために，原画像上での画素位置が近い符号化済み分割画像を参照画像として選択する。分割画像間予測符号化部１４は，選択された参照画像を用いて予測画像を生成し，分割画像を単位とする分割画像間予測により符号化対象分割画像を符号化する。
【選択図】図１

Description

本発明は，画像符号化・復号技術に関し，特に従来の画面内予測符号化・復号に対し，符号化効率の低下を抑止しつつ復号演算量を低減させる符号化および復号を実現する画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラムに関するものである。

映像符号化国際標準であるＨ．２６４では，ブロック間の画素相関を利用して符号化での圧縮率を向上させるため，画面内予測符号化が行われている（非特許文献１参照）。この画面内予測は，いくつかの画素をまとめたブロック単位で行われ，輝度信号に対して，４×４，８×８，１６×１６の３種類のブロックサイズが利用可能になっている。また，各ブロックサイズでは，それぞれ複数の予測モードが選択可能になっている。

このＨ．２６４では，画面内予測の際に外挿予測による方法を用いているが，それによる予測効率が悪いという問題がある。これを解決するため，全画面に対しデブロッキングフィルタによりブロック歪みを抑えることが行われており，演算量が多くなっている。

また，画面内予測における符号化効率を向上させる手法として，非特許文献２に記載されている技術が知られている。この技術は，画面内予測において符号化対象ブロックに対し，符号化済み領域から誤差の小さいブロックを探索し，それに対する予測誤差を用いて符号化を行う手法である。

図１８は，従来技術による画面内予測符号化処理の例を示すフローチャートである。非特許文献２の画面内予測符号化では，まず，符号化対象の画像を同じサイズのＮ個のブロック１〜Ｎに分割する（ステップＳ３０１）。次に，最初のブロック１について画面内予測符号化を行う（ステップＳ３０２）。続いて，ブロック２以降の符号化では，符号化済みの領域から予測誤差の小さいブロックを参照画像として，画面間予測符号化を行い，その参照画像への動きベクトル情報と予測誤差を符号化する（ステップＳ３０３）。このステップＳ３０３の処理を最後のブロックＮまで繰り返す。

ITU-T Rec. H.264，"Advanced video coding for generic audiovisual services", March 2005. J. Yang, B. Yin, and N. Zhang,"A block-matching based intra frame prediction for H.264/AVC "，in Proceedings of IEEE International Conference on Multimedia and Expo (ICME '06), pp. 705-708, Toronto, Canada, July 2006．

非特許文献２の技術は符号化効率向上のための手法ではあるが，同じパターンが繰り返される領域では予測誤差の発生を抑えることができるため，量子化誤差も小さくなりやすい。そのため，デブロッキングフィルタの処理量を減らすことができると考えられる。

しかし，上記の方法では，同じパターンが繰り返されるような画像では有効かもしれないが，ほとんど同じパターンが現れないような画像には有効ではなく，その場合には予測誤差をあまり削減できず，量子化誤差も小さくならないと考えられる。この場合，デブロッキングフィルタの処理量も削減できないため，復号演算量の削減には有効でないと考えられる。さらに，各ブロックに対する参照ブロックの相対位置を表すオフセットベクトル情報を復号側に対して送る必要があるため，復号側でも参照ブロック情報の復号のための演算が発生することとなり，その結果，演算量が多いままになっているという問題がある。

非特許文献２のような動きベクトルの探索を行うのではなく，違う方法で参照画像を選択し，それを用いて予測画像を作成し，予測誤差符号化を行うことを考えた場合，参照画像としてどのような符号化済みの画像を用いるかによって，符号化効率に大きく影響する。したがって，参照画像として適切な画像を用いる手法が必要である。

本発明は，上記問題点の解決を図り，符号化効率の低下を抑制しつつ，符号化演算量および復号演算量を削減することを目的とする。

本発明は，上記課題を解決するため，入力画像を圧縮符号化するにあたって，以下の処理を行う。
（１）入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割し，ブロック内の相対位置が同じサブブロックを集めて，それぞれ同じサイズの分割画像を生成する。
（２）分割画像の少なくとも一つ以上を分割画像内符号化する。ここでの分割画像内符号化は，分割画像を画面単位として行う画面内予測による符号化である。
（３）分割画像内符号化された分割画像以外の分割画像を符号化するために，符号化対象分割画像と符号化済み分割画像における同一位置の画素について，原画像上での距離が短い符号化済み分割画像を符号化対象分割画像に対する分割画像間予測符号化に用いる参照画像として選択する。
（４）選択された参照画像を用いて符号化対象分割画像に対する予測画像を生成し，分割画像間予測符号化を行う。この分割画像間予測符号化では，例えば，符号化対象分割画像と参照画像との原画像上での対応画素の相対位置によって決まる所定のフィルタを参照画像に施した画像を予測画像として，分割画像間予測符号化を行う。ここでの分割画像間予測符号化は，各分割画像を画面単位として行う画面間予測による符号化である。
（５）以上の分割画像内符号化と分割画像間予測符号化による符号化結果を情報源符号化して，符号化ビットストリームを出力する。

さらに，上記発明の一態様として，参照画像の選択では，選択された複数枚の参照画像を並べた参照リストを指定し，分割画像間予測符号化の際に，参照リストに記入された複数枚の参照画像の中の一枚または複数枚の参照画像を用いて，符号化対象分割画像に対する予測画像を生成することがある。

また，上記発明の一態様として，参照画像の選択では，符号化対象画像に対して，原画像上での画素間の距離が同じ符号化済み分割画像が複数枚存在した場合に，分割画像内符号化済み分割画像を分割画像間予測符号化済み分割画像よりも優先して参照画像として選択してもよい。また，原画像上での画素間の距離が同じ符号化済み分割画像が複数枚存在した場合に，量子化精度が高い符号化済み分割画像を量子化精度が低い符号化済み分割画像よりも優先して参照画像として選択してもよい。

また，上記発明の一態様として，参照画像の選択では，参照画像として用いることができる複数の符号化済み分割画像の中から，どの符号化済み分割画像を優先して選択するかを示す参照画像選択規則に基づいて参照画像を選択し，この参照画像選択規則の指定情報を符号化して，復号側ヘ通知するようにしてもよい。例えば，参照画像選択規則としては，原画像上での画素間の距離が同じ符号化済み分割画像が複数枚存在した場合に，分割画像内符号化済み分割画像を分割画像間予測符号化済み分割画像よりも優先して参照画像として選択することを指定する規則，または，原画像上での画素間の距離が同じ符号化済み分割画像が複数枚存在した場合に，量子化精度が高い符号化済み分割画像を量子化精度が低い符号化済み分割画像よりも優先して参照画像として選択することを指定する規則などを含むことがある。参照画像選択規則を複数枚の参照画像に対して定める参照リスト生成規則を用いてよい。参照画像選択規則と参照リスト生成規則とは，ここでは技術的概念として実質的に同義であると考えてよい。

また，上記発明の一態様として，分割画像間予測符号化では，複数枚の参照画像から生成される複数枚の予測画像を合成した予測画像を用いて分割画像間予測符号化を行うこともできる。

また，上記発明の一態様として，分割画像間予測符号化で複数枚の参照画像の候補の中から特定の参照画像を選択して予測画像の生成に用いた場合に，参照画像を指定する参照画像インデックスを符号化して，どの参照画像を用いたかを復号側へ通知する方法を用いてもよい。

また，本発明は，圧縮符号化された画像の符号化データを復号するにあって，以下の処理を行う。
（１）画像符号化装置が，入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割し，ブロック内の相対位置が同じサブブロックを集めて，それぞれ同じサイズの分割画像を生成して符号化した，符号化データを入力し，情報源復号する。
（２）復号されたデータから，分割画像の少なくとも一つ以上を分割画像内復号する。
（３）分割画像内復号された分割画像以外の分割画像を復号する際に，復号対象分割画像と復号済み分割画像における同一位置の画素について，原画像上での距離が短い復号済み分割画像を復号対象分割画像に対する分割画像間予測復号に用いる参照画像として選択する。
（４）選択された参照画像を用いて復号対象分割画像に対する予測画像を生成し，分割画像間予測復号を行う。
（５）分割画像内復号および分割画像間予測復号によって復号された分割画像から，各分割画像における各画素を原画像における元の位置に戻し，復号画像を構成する。

さらに，上記発明の一態様として，参照画像として用いることができる複数の復号済み分割画像の中から，どの復号済み分割画像を優先して選択するかを示す参照画像選択規則（参照リスト生成規則も同様）を指定する符号化データを復号し，復号された参照画像選択規則に基づいて参照画像を選択するようにしてもよい。例えば，参照画像選択規則としては，原画像上での画素間の距離が同じ復号済み分割画像が複数枚存在した場合に，分割画像内復号済み分割画像を分割画像間予測復号済み分割画像よりも優先して参照画像として選択することを指定する規則，または，原画像上での画素間の距離が同じ復号済み分割画像が複数枚存在した場合に，量子化精度が高い復号済み分割画像を量子化精度が低い復号済み分割画像よりも優先して参照画像として選択することを指定する規則を含むことがある。

また，上記発明の一態様として，分割画像間予測復号では，複数枚の参照画像から生成される複数枚の予測画像を合成した予測画像を用いて分割画像間予測復号を行うことができる。

また，上記発明の一態様として，参照画像を指定する参照画像インデックスが符号化データに含まれていれば，それを復号し，参照画像を選択する際に，復号された参照画像インデックスが示す参照画像を選択するようにしてもよい。

本発明の作用は，以下のとおりである。本発明では，入力画像から等間隔で１または複数の画素（サブブロック）を抽出し，それらのサブブロックを集めることにより複数の分割画像を生成し，少なくとも一つの分割画像について，その分割画像だけを用いて符号化する分割画像内符号化を行う。他の分割画像の符号化については，符号化済み分割画像を用いて分割画像間予測符号化を行う。すなわち，符号化済み分割画像を参照画像として，それをもとに符号化対象分割画像に含まれる画素と符号化済み分割画像に含まれる画素との相対的な位置関係に従って，例えば小数画素精度の補間画像を生成するときに用いるようなフィルタを参照画像に適用することにより予測画像を生成し，その予測画像と符号化対象分割画像との誤差信号を符号化する。

このような方法で符号化することにより，従来よりも少ない演算量でブロック歪みを抑えた符号化を実現することができる。

特に本発明では，分割画像間予測符号化に用いる参照画像を，符号化済み分割画像の中から選択する際に，符号化対象分割画像と符号化済み分割画像における同一位置の画素について，原画像上での画素間の距離が短い符号化済み分割画像を参照画像として選択する。したがって，非特許文献２のような，同一画面内の符号化済み画素のみを予測に用いる場合に比べて，符号化対象の近傍の全方向の画素の情報を予測に用いることができ，さらに，任意の符号化済み分割画像を参照画像として設定する場合に比べて，符号化対象分割画像との相関が大きい符号化済み分割画像が参照画像として選ばれることになるため，予測誤差が小さくなり，復号演算量を増加させることなく，予測効率を高めて符号化効率を向上させることができる。

また，本発明の一態様では，予測誤差符号化を行う分割画像に対する参照画像を選択する際に，使用する符号化済み分割画像を１枚に限定するのではなく，複数枚の符号化済み分割画像を参照画像とすることにより，符号化対象分割画像と相関が高いと考えられる符号化済み分割画像から適応的に参照画像を選択して予測画像を生成することができ，予測効率を高めることが可能となる。

また，本発明の一態様では，原画像上の符号化対象画像の画素に対する相対距離で等しい画素位置の符号化済み分割画像が複数ある場合に，参照画像として，分割画像内符号化済み分割画像を分割画像間予測符号化済み分割画像より優先して用いる。通常，画面内符号化のほうが画面間符号化より量子化誤差が少なく符号化されるため，量子化精度が高いと考えられる分割画像内符号化済み分割画像を優先的に参照画像として予測画像を生成することにより，予測効率を高めることが可能となる。

また，本発明の一態様では，原画像上の符号化対象画像の画素に対する相対距離で等しい画素位置の符号化済み分割画像が複数ある場合に，量子化ステップが小さい符号化済み分割画像を量子化ステップが大きい符号化済み分割画像より優先して，参照画像として用いる。量子化ステップが小さいほうを参照画像とすることにより，予測効率を高めて符号化効率を向上させることができる。

あらかじめ符号化側と復号側とで，どの符号化済み分割画像を参照画像として選択するかを定めるいくつかの参照画像選択規則（または参照リスト生成規則）を定めておき，符号化側が，その中でどの参照画像選択規則を用いて参照画像を選択したかを示す情報を符号化して，復号側へ通知することにより，参照画像の選択方法に柔軟性を持たせ，参照画像の候補が複数ある場合でも，符号化側と復号側とで同じ参照画像を選択することができる。

また，本発明の一態様において，複数枚の符号化済み分割画像を参照画像とし，複数枚の参照画像から生成される複数枚の予測画像を合成して予測画像とすることにより，予測効率を高めることができる。予測画像の合成では，例えば個々の参照画像から生成される予測画像の平均画像を算出する。

また，分割画像間予測符号化で複数枚の参照画像の候補の中から，例えばレート歪みコスト（ＲＤコスト）が小さくなる特定の参照画像を適応的に選択して予測画像の生成に用いた場合，その参照画像を指定する参照画像インデックスを符号化して，復号側へ通知することにより，復号側で，符号化時と同じ分割画像を参照画像として用いて効率のよい復号を行うことができる。

本発明によれば，従来の画面内予測符号化に対し，符号化効率の低下を抑制しつつ，符号化演算量および復号演算量を削減することができる。

画像符号化装置の構成例を示す図である。 分割画像生成部による分割画像の生成例を示す図である。 予測画像生成部による予測画像の生成例を示す図である。 符号化対象画像の分割例を示す図である。 画像符号化処理のフローチャートである。 分割画像生成処理のフローチャートである。 補間フィルタの適用例を示す図である。 参照リストを用いる場合の画像符号化処理のフローチャートである。 予測画像の合成の一例を示す図である。 参照リストを生成する処理の例１を示すフローチャートである。 参照リストを生成する処理の例２を示すフローチャートである。 参照リストを生成する処理の例３を示すフローチャートである。 画像復号装置の構成例を示す図である。 画像復号処理のフローチャートである。 参照リストを用いる場合の画像復号処理のフローチャートである。 画像符号化装置をソフトウェアプログラムを用いて実現する場合のハードウェア構成例を示す図である。 画像復号装置をソフトウェアプログラムを用いて実現する場合のハードウェア構成例を示す図である。 従来技術による画面内予測符号化処理の例を示すフローチャートである。

以下，本発明の実施の形態について，図面を用いながら説明する。

〔画像符号化装置〕
図１は，画像符号化装置の構成例を示す図である。画像符号化装置１０は，分割画像生成部１１，分割画像内符号化部１２，参照画像選択部１３，分割画像間予測符号化部１４，情報源符号化部１５を備える。分割画像間予測符号化部１４は，予測画像生成部１４１，予測誤差算出部１４２，予測誤差符号化部１４３，画像復号部１４４を備える。

分割画像生成部１１は，入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割し，ブロック内の相対位置が同じサブブロックを集めて，それぞれ同じサイズの分割画像を生成する。

図２は，分割画像生成部１１による分割画像の生成例を示す図である。分割画像生成部１１は，例えば図２（Ａ）に示す原画像を入力画像として，この原画像を，図２（Ｂ）に示すように，それぞれがｎ×ｍ画素のブロックＭｊ（ｊ＝０，１，…，Ｊ）に分割する。次に，各ブロックＭｊを，図２（Ｃ）に示すように，ｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックＢｊｋ（ｋ＝０，１，…，Ｋ）に分割する。

次に，図２（Ｄ）に示すように，各ブロックＭｊから，ブロック内の相対位置が同じサブブロックＢｊｋを集めて，それぞれ同じサイズの分割画像Ｐｋ（ｋ＝０，１，…，Ｋ）を生成する。分割画像Ｐ０は，サブブロックＢ００，Ｂ１０，…，ＢＪ０を集めたもの，分割画像Ｐ１は，サブブロックＢ０１，Ｂ１１，…，ＢＪ１を集めたもの，…，分割画像ＰＫは，サブブロックＢ０Ｋ，Ｂ１Ｋ，…，ＢＪＫを集めたものになる。

分割画像内符号化部１２は，分割画像生成部１１によって生成された一番目の分割画像を含むいくつかの分割画像（一番目の分割画像だけでもよい）を分割画像内符号化する。ここでの分割画像内符号化は，現在の符号化対象となっている分割画像の画素情報だけを用いて符号化する符号化方法であり，他の分割画像を参照しないような符号化方法であれば，どのような符号化方法を用いてもよい。例えばＨ．２６４符号化方式におけるイントラ予測符号化などの方法を用いることができる。

参照画像選択部１３は，符号化対象分割画像と符号化済み分割画像における同一位置の画素について，原画像上での距離が短い符号化済み分割画像を符号化対象分割画像に対する分割画像間予測符号化に用いる参照画像として選択する。ここで，原画像上での距離が短い順に複数の符号化済み分割画像を参照画像として選択してもよい。

分割画像間予測符号化部１４は，分割画像生成部１１によって生成された分割画像の中で，まだ符号化されていない分割画像を分割画像間予測符号化する。ここでの分割画像間予測符号化は，参照画像選択部１３が選択した符号化済み分割画像を参照画像として予測符号化する符号化方法である。

分割画像間予測符号化部１４における予測画像生成部１４１は，現在の符号化対象となっている分割画像と参照画像との原画像上での対応画素の相対位置によって決まる所定のフィルタを参照画像に施すことにより予測画像を生成する。

図３は，予測画像生成部１４１による予測画像の生成例を示す図である。以下では，分割画像Ｐｉが参照画像となる符号化済み分割画像で，分割画像Ｐｋが分割画像間予測符号化する符号化対象分割画像である場合の予測画像の生成例を説明する。分割画像Ｐｉに所属するサブブロックをＢｉ，分割画像Ｐｋに所属するサブブロックをＢｋと表す。

分割画像ＰｉのサブブロックＢｉおよび分割画像ＰｋのサブブロックＢｋの原画像における位置関係が，図３（Ａ）のとおりであったとすると，図３（Ｂ）に示すように，サブブロックＢｋの周辺に位置するサブブロックＢｉを抽出する。この例では，１つのサブブロックＢｋに対して２個のサブブロックＢｉを抽出しているが，２個に限られない。次に，図３（Ｃ）に示すように，抽出した２個のサブブロックＢｉの画素値に，補間フィルタを適用して，サブブロックＢｋ′の画素値を算出する。補間フィルタのフィルタ係数は，原画像上でのサブブロックＢｉとサブブロックＢｋとの相対位置によってあらかじめ決められたものを用いる。なお，補間フィルタによる補間方法については，従来から種々の方法が知られており，どのような補間方法を用いて参照画像を生成してもよい。

このようにして補間により生成されたサブブロックＢｋ′を集めたものを，分割画像Ｐｋの分割画像間予測符号化に用いる予測画像とする。

予測誤差算出部１４２は，現在の符号化対象となっている分割画像の各画素値から予測画像生成部１４１により生成した予測画像の各画素値を減算し，予測誤差を算出する。予測誤差符号化部１４３は，算出された予測誤差について直交変換や量子化処理を施し，予測誤差を符号化する。

情報源符号化部１５は，分割画像内符号化部１２および分割画像間予測符号化部１４で符号化された分割画像の符号化情報をエントロピ符号化し，符号化データを出力する。

画像復号部１４４は，分割画像間予測符号化部１４により符号化された分割画像を他の分割画像の符号化における予測画像の生成に利用する場合のために，符号化された分割画像の予測に用いた予測画像に符号化結果の予測誤差を加算することにより分割画像を復号し，その復号画像を記憶しておき，予測画像生成部１４１に送る。なお，予測誤差符号化部１４３で，予測誤差を直交変換，量子化している場合には，画像復号部１４４は，予測誤差符号化部１４３の出力に，逆量子化，逆直交変換を施した後に，予測画像の画素値を加算して分割画像を復号する。

〔画像符号化処理のフロー〕
次に，画像符号化処理の流れを具体例に従って説明する。

図４に，符号化対象画像の分割例を示す。以下で説明する例では，分割画像生成部１１は，符号化対象である入力画像の１フレームを，図４に示すように，２×２画素のブロックＭ０，Ｍ１，…，ＭＪに分割するものとする。さらに，各ブロックＭ０，Ｍ１，…，ＭＪを，１画素ずつサブブロックＢ０，Ｂ１，Ｂ２，Ｂ３に分割するものとする。このようにして分割した各Ｍ０，Ｍ１，…，ＭＪから，左上のサブブロックＢ０の画素を集めたものを分割画像Ｐ０とし，右上のサブブロックＢ１の画素を集めたものを分割画像Ｐ１とし，左下のサブブロックＢ２の画素を集めたものを分割画像Ｐ２とし，右下のサブブロックＢ３の画素を集めたものを分割画像Ｐ３とする。

ここでは，２×２画素のブロックを１×１画素のサブブロック分割する例を説明するが，ブロックおよびサブブロックのサイズは，この例に限られるわけではなく，ブロックのサイズまたはサブブロックのサイズがもっと大きい場合にも，本発明を適用して同様に実施することができる。

図５は，画像符号化処理のフローチャートである。まず，分割画像生成部１１は，入力画像を図４に示すように，同じサイズのブロックＭ０〜ＭＪに分割し，各ブロックの内の相対位置が同じ画素（サブブロック）を集めて，分割画像Ｐ０〜ＰＫを生成する（ステップＳ１０１）。なお，図４の例では，Ｋ＝３である。

次に，分割画像内符号化部１２は，分割画像Ｐ０〜ＰＫの中のいくつかの分割画像Ｐ０〜ＰＭ（ただし，Ｍ＜Ｋ）について，分割画像内符号化を行う（ステップＳ１０２）。図４の例では，分割画像Ｐ０について，従来の画面内予測符号化方法などを用いて，分割画像内予測符号化を行う。

次に，Ｍ＋１番目以降の分割画像ｋ（図４の例では，Ｐ１〜Ｐ３）を符号化するために，参照画像選択部１３が参照画像を選択する。この参照画像の選択では，符号化対象の分割画像Ｐｋと符号化済み分割画像の同一位置の画素について，原画像上での該当画素の距離が最短の符号化済み分割画像を選択する（ステップＳ１０３）。図４の例では，仮に分割画像Ｐ０，Ｐ１，Ｐ２，Ｐ３の順番で符号化されるものとすると，分割画像Ｐ１の参照画像として，符号化済み分割画像Ｐ０が選択され，分割画像Ｐ２の参照画像としても，符号化済み分割画像Ｐ０が選択される。分割画像Ｐ３の参照画像としては，分割画像Ｐ１または分割画像Ｐ２のいずれか一方，あるいはその双方が参照画像として選択されることになる。

続いて，分割画像間予測符号化部１４が，符号化対象の分割画像Ｐｋについて，分割画像間予測符号化を行う（ステップＳ１０４）。この分割画像間予測符号化では，まず予測画像生成部１４１が，画像復号部１４４から参照画像選択部１３で選択された参照画像を読み出し，その参照画像に対して，分割画像Ｐｋの原画像上での相対位置によって決まる所定のフィルタを施すことにより予測画像を生成する。予測誤差算出部１４２は，分割画像Ｐｋと予測画像との誤差を算出する。予測誤差符号化部１４３は，予測誤差算出部１４２の出力を符号化し，画像復号部１４４と情報源符号化部１５へ送る。画像復号部１４４は，符号化済み分割画像Ｐｋをその後の分割画像間予測符号化に用いることができるように，予測誤差符号化部１４３の符号化結果を復号する。情報源符号化部１５は，予測誤差符号化部１４３の符号化結果をエントロピ符号化する。

以上のステップＳ１０３，Ｓ１０４による分割画像Ｐｋの符号化を，最後の分割画像ＰＫまで繰り返し，最後の分割画像ＰＫまですべて符号化し終えたならば，現在の入力画像（フレーム）の符号化を終了する（ステップＳ１０５）。

図６は，分割画像生成処理（図５のステップＳ１０１）のフローチャートである。分割画像生成部１１は，入力画像を同じサイズのブロックＭｊ（ｊ＝０，１，…，Ｊ）に分割する（ステップＳ１１１）。次に，各ブロックＭｊを，それぞれ同一サイズのサブブロックＢｋ（ｋ＝０，１，…，Ｋ）に分割する（ステップＳ１１２）。続いて，各ｋ＝０，１，…，Ｋに対し，ブロックＭ０〜ＭＪ内の相対位置が同じサブブロックＢｋだけを抽出し，これをブロックＭ０〜ＭＪの順に配置し，分割画像Ｐｋを生成する（ステップＳ１１３）。以上の処理を最後の分割画像ＰＫの生成が終わるまで繰り返す（ステップＳ１１４）。

予測画像生成部１４１は，図５のステップＳ１０４において，参照画像となる分割画像Ｐｉに対し，原画像上の分割画像Ｐｉの画素位置によって定められている補間フィルタを適用し，分割画像Ｐｋの予測誤差符号化に用いる予測画像Ｐｋ′を生成する。

例えば，図４に示す入力画像の符号化において，分割画像Ｐ０，Ｐ１，Ｐ２，Ｐ３の順番で符号化するものとすると，まず，図５のステップＳ１０２で分割画像Ｐ０を分割画像内符号化し，その後，分割画像Ｐ１を符号化する際に，図５のステップＳ１０３で分割画像Ｐ０を参照画像として選択する。続くステップＳ１０４では，分割画像Ｐ１の符号化のために，参照画像である符号化済みの分割画像Ｐ０に対して補間フィルタを適用して，分割画像Ｐ１の予測画像Ｐ１′を生成する。この補間フィルタとしては，例えばＨ．２６４の動き補償予測において１／２画素精度の予測信号の生成に用いる６タップＦＩＲフィルタを用いることができる。

図７は，補間フィルタの適用例を示す図である。図７において，○で示した画素は，分割画像Ｐ０の整数位置画素である。□，△で示した画素は，分割画像のＰ０の１／２位置画素である。分割画像Ｐ０を参照画像とする予測画像Ｐ１′は，Ｐ０の符号化画像の画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆに対して，次式のような横方向半画素フィルタを適用し，図７に□で示したＰ０の１／２位置画素として算出する。

ａ₁ ＝１／３２｛Ａ−５Ｂ＋２０Ｃ＋２０Ｄ−５Ｅ＋Ｆ｝
（ａ₂ ，ａ₃ ，…も，ａ₁ と同様）
分割画像Ｐ２の符号化では，符号化済み分割画像Ｐ０，Ｐ１の中で最も距離が短い分割画像Ｐ０が参照画像として選択され，分割画像Ｐ０に対して横方向半画素フィルタの補間フィルタを適用することにより，予測画像Ｐ２′が生成される。この予測画像Ｐ２′は，Ｐ０の符号化画像の画素Ａ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋに対して，次式のような縦方向半画素フィルタを適用し，図７に△で示したＰ０の１／２位置画素として算出する。

ｂ₁ ＝１／３２｛Ａ−５Ｇ＋２０Ｈ＋２０Ｉ−５Ｊ＋Ｋ｝
（ｂ₂ ，ｂ₃ ，…も，ｂ₁ と同様）
次の分割画像Ｐ３の符号化では，符号化済み分割画像Ｐ０，Ｐ１，Ｐ２の中で最も距離の短い分割画像がＰ１，Ｐ２の二つ存在することになる。この一方を参照画像としてもよいし，両方を参照画像として分割画像Ｐ３の予測画像Ｐ３′を求めてもよい。分割画像Ｐ１，Ｐ２のどちらか１枚だけを参照画像として用いる処理は，前述した分割画像Ｐ１，Ｐ２の予測画像の生成と同様である。次に，複数の参照画像を用いる例について説明する。

〔参照リストを用いる例〕
上述した参照画像選択部１３は，１枚の参照画像を選択するのではなく，複数枚の参照画像を選択してもよい。この場合には，選択した複数枚の参照画像を示すデータを参照リストとして生成し，保持する。

参照リストにおけるどの参照画像を予測画像の生成に用いたかを復号側へ伝達する必要がある場合には，参照画像インデックスを符号化して，復号側へ通知する。参照画像インデックスは，参照リストにおける何番目の参照画像であるかを示すデータであり，参照リストの先頭に近い参照画像ほど，予測画像の生成に用いられる確率が大きくなるので，短い符号長が割り当てられる。

参照画像の最大枚数が，符号化側と復号側とであらかじめ同じく設定されるようにしてもよいし，符号化側から復号側へ符号化ストリームのヘッダ情報などにより通知されるようにしてもよい。

〔参照リストを用いる画像符号化処理のフロー〕
図８は，参照リストを用いる場合の画像符号化処理のフローチャートである。ステップＳ１２１，Ｓ１２２の処理は，前述した図５のステップＳ１０１，Ｓ１０２の処理と同様である。

続くステップＳ１２３では，Ｍ＋１番目以降の分割画像Ｐｋを分割画像間予測符号化するために，参照画像選択部１３が参照画像を選択する。この参照画像の選択では，符号化対象の分割画像Ｐｋと符号化済み分割画像の同一位置の画素について，原画像上での該当画素の距離が短いものから順に符号化済み分割画像を選択して参照リストを作成する。

次にステップＳ１２４では，分割画像間予測符号化部１４が，参照リストが示す１枚または複数枚の参照画像を用いて，符号化対象の分割画像Ｐｋについて，分割画像間予測符号化を行う。その後，ステップＳ１２３，Ｓ１２４による次の分割画像Ｐｋの符号化を，最後の分割画像ＰＫまで繰り返し，最後の分割画像ＰＫまですべて符号化し終えたならば，現在の入力画像（フレーム）の符号化を終了する（ステップＳ１２５）。

図４の入力画像の例で，参照リストを用いる場合の例を説明する。分割画像Ｐ０，Ｐ１，Ｐ２，Ｐ３の順番で符号化するものとする。分割画像Ｐ０は，分割画像内符号化であるので，参照画像は用いない。次の分割画像Ｐ１の符号化では，参照画像は分割画像Ｐ０のみであり，１枚である。

次の分割画像Ｐ２の符号化では，符号化済み分割画像はＰ０，Ｐ１の２枚であるが，このうち分割画像Ｐ０のほうが画素の位置がＰ２に近いため，参照リストには分割画像Ｐ０だけが格納されるか，または分割画像Ｐ０，Ｐ１の順番で格納される。

分割画像Ｐ３の符号化では，参照画像として分割画像Ｐ０，Ｐ１，Ｐ２が考えられる。このうち画素の位置が分割画像Ｐ３に最も近い分割画像は，Ｐ１とＰ２である。同じ距離の分割画像が複数存在する場合には，所定の参照リスト生成規則に従って，参照リスト中に格納される優先順位が決められる。この結果，分割画像Ｐ３に対する参照リストとしては，次のような参照リストのいずれかが用いられる。

｛Ｐ１，Ｐ２｝，｛Ｐ２，Ｐ１｝，｛Ｐ１，Ｐ２，Ｐ０｝，｛Ｐ２，Ｐ１，Ｐ０｝
さらに，複数の参照画像から生成される予測画像を合成した画像を，参照リストに加えてもよい。例えば，符号化済み分割画像Ｐ１，Ｐ２からそれぞれ生成される分割画像Ｐ３の予測画像Ｐ３′，Ｐ３″の平均画像を参照画像として，参照リストに加えてもよい。この平均画像をＰｘと表すと，参照リストは例えば次のようになる。

｛Ｐ１，Ｐ２，Ｐｘ｝，｛Ｐ２，Ｐ１，Ｐｘ｝，……
図９に，予測画像の合成の一例を示す。図９（Ａ）に示す入力画像において，Ｂ１は符号化済み分割画像Ｐ１に所属するサブブロック，Ｂ２は符号化済み分割画像Ｐ２に所属するサブブロックであり，Ｂｋは符号化対象分割画像Ｐｋに所属するサブブロックである。この例では，サブブロックのサイズは１×１画素である。分割画像Ｐ１は，Ｂ１のサブブロックを集めたもの，分割画像Ｐ２は，Ｂ２のサブブロックを集めたもの，分割画像Ｐｋは，Ｂｋのサブブロックを集めたものである。

図９（Ｂ）に示すように，Ｐ１の符号化済み分割画像に対して，半画素縦方向フィルタを適用することにより，Ｐｋの一つの予測画像１が生成される。また，Ｐ２の符号化済み分割画像に対して，半画素横方向フィルタを適用することにより，Ｐｋの他の予測画像２が生成される。これらの合成画像をＰｋの予測画像３とする。合成の方法としては，例えば各画素の平均値を求める。すなわち，次式の画素値を算出する。

（Ｐｋの予測画像３の（ｉ，ｊ）位置の画素値）
＝｛（Ｐ１の予測画像１の（ｉ，ｊ）位置の画素値）＋（Ｐ２の予測画像２の（ｉ，ｊ）位置の画素値）｝／２
合成画像を参照画像に加える例を一般化した他の例について説明する。存在する符号化済み分割画像から作成された参照リスト（これを元参照リストという）のＮ番目までの参照画像Ｒについて，そのうちｋ₁ 番目とｋ₂ 番目の参照画像を選択し，それぞれの予測画像の平均画像を生成する。ｋ₁ 番目とｋ₂ 番目の参照画像は，符号化対象分割画像の画素位置からの原画像上での距離が同一である必要はない。

この平均画像を，新たな参照リスト（新参照リストという）上の，元参照リストのｋ₂ 番目の画像の次に，ｋ₁ が小さい順に配置する。ｋ₁ ，ｋ₂ の参照画像から得られる平均画像の予測画像を便宜的に（ｋ₁ ＋ｋ₂ ）／２と表すと，元参照リストから得られる新参照リストは，次のようになる。
・元参照リスト
１，２，３，４，…，Ｎ
・新参照リスト
１，２，（１＋２）／２，３，（１＋３）／２，（２＋３）／２，４，（１＋４）／２，（２＋４）／２，…，Ｎ
分割画像間予測符号化部１４は，以上のような複数の参照画像が指定された参照リストが与えられた場合，その中のどの参照画像を実際の符号化で使用する予測画像の生成に用いるかを適応的に決定する実施例では，例えばレート歪みコスト（ＲＤコストという）を算出し，その中でＲＤコストが最小となるものを用いるようにしてもよい。

ＲＤコストは，次式によって定義される。ここで，Ｄは歪み量，Ｒは発生符号量，λはラグランジェ未定乗数である。

ＲＤコスト＝Ｄ＋λＲ
符号化におけるＲＤコストが最小となる参照画像が決まると，参照リストにおけるどの参照画像が用いられたかを示す参照画像インデックスが符号化されて，復号側へ通知される。また，参照画像として，前述した合成画像を用いるかどうかを示す合成画像使用ＯＮ／ＯＦＦのフラグを分割画像ごとに符号化して復号側へ通知してもよい。他に，合成画像の指定方法としては，例えばＨ．２６４のＢピクチャのように，参照画像を２枚選択してマクロブロックシンタックスで合成方法を指定するような方法を用いることにより，２枚の参照画像を合成して用いることを復号側へ通知する方法を用いることもできる。

符号化側と復号側とで参照リストを共有する方法として，例えば以下の方法がある。
（１）符号化対象分割画像ごとに，あらかじめ定められた固定の参照リストを用いる。
（２）あらかじめ定められたいくつかの参照リスト生成規則の中から，符号化側で符号化時における参照リストの生成に用いた参照リスト生成規則を示す情報を符号化して復号側へ送る。復号側では，参照リスト生成規則の符号化データを復号し，同じ参照リスト生成規則に従って参照リストを生成する。

参照リストにおける参照画像を配置する順番は，基本的には，符号化対象分割画像と符号化済み分割画像における同一位置の画素について，原画像上での距離が短い符号化済み分割画像の順番であるが，距離が同一の符号化済み分割画像が複数ある場合などに，どの分割画像を優先して参照リストに配置するかを参照リスト生成規則によって定める。

参照リスト生成規則は，例えば以下のような場合に，どの符号化済み分割画像を参照リストの上位に配置するかを定めるルールである。
〔ルール１〕：参照画像の候補が同一距離内に複数ある場合に，分割画像内符号化済みの分割画像を分割画像間予測符号化済みのものより優先する。
〔ルール２〕：参照画像の候補が同一距離内に複数ある場合に，量子化精度の高いものを優先する。
〔ルール３〕：参照画像の候補が同一距離内に複数ある場合に，符号化順が新しい符号化済み分割画像を優先する。
〔ルール４〕：ルール１〜３をいくつかを組み合わせたルール。

〔参照リスト生成処理のフローチャート１〕
図１０は，ルール１に従って参照リストを生成する処理の例を示すフローチャートである。まず，ステップＳ１３１では，符号化対象の分割画像Ｐｋと符号化済み分割画像の同一位置の画素について，原画像上での該当画素の距離が短い符号化済み分割画像Ｐｋ′を１枚選択する。

次に，ステップＳ１３２では，分割画像Ｐｋについて，符号化済み分割画像の中で同一の画素について原画像上でＰｋ′までの距離と同一距離になる分割画像Ｐｋ″が他に存在するかどうかを調べる。同一距離にある他の分割画像が存在しない場合，ステップＳ１３５へ進む。存在する場合には，ステップＳ１３３へ進み，符号化済みの分割画像Ｐｋ′とＰｋ″のどちらか一方が分割画像内符号化済み分割画像で，他方が分割画像間予測符号化済み分割画像であるかどうかを判定する。判定結果が“真”なら，ステップＳ１３４へ進み，“偽”ならステップＳ１３５へ進む。

ステップＳ１３４では，参照リストには，分割画像内符号化を行った符号化済み分割画像を参照リストの先に配置し，その後に分割画像間予測符号化を行った符号化済み分割画像を配置する。

一方，ステップＳ１３５では，分割画像Ｐｋと符号化済み分割画像の同一位置の画素について，原画像上での該当画素の距離が短いものから順に，符号化済み分割画像を選択して参照リストを作成する。

〔参照リスト生成処理のフローチャート２〕
図１１は，ルール２に従って参照リストを生成する処理の例を示すフローチャートである。前述した図１０の例と異なるのは，ステップＳ１４３とステップＳ１４４であるので，この部分だけを説明し，他のステップの説明は省略する。

ルール２に従って参照リストを生成する場合，ステップＳ１４３では，符号化済み分割画像の中で同一の画素について原画像上でＰｋ′までの距離と同一距離になる分割画像Ｐｋ″が他に存在する場合に，それらの分割画像Ｐｋ′，Ｐｋ″の符号化時における量子化ステップが異なるかどうかを判定する。判定結果が“真”なら，ステップＳ１４４へ進み，“偽”ならステップＳ１４５へ進む。

ステップＳ１４４では，参照リストには，量子化ステップが小さい符号化済み分割画像を参照リストの先に配置し，その後に量子化ステップが大きい符号化済み分割画像を配置する。一般に量子化精度が高いほうが参照画像として相応しいからである。

ステップＳ１４５では，前述したステップＳ１３５と同様に，分割画像Ｐｋと符号化済み分割画像の同一位置の画素について，原画像上での該当画素の距離が短いものから順に，符号化済み分割画像を選択して参照リストを作成する。

〔参照リスト生成処理のフローチャート３〕
図１２は，ルール４に従って参照リストを生成する処理の例を示すフローチャートである。まず，ステップＳ１５１では，符号化対象の分割画像Ｐｋと符号化済み分割画像の同一位置の画素について，原画像上での該当画素の距離が等しい符号化済み分割画像が２枚以上存在するかどうかを判定する。判定結果が“真”の場合，ステップＳ１５３へ進む。判定結果が“偽”の場合，ステップＳ１５２へ進み，距離の短い順に小さい参照画像インデックスを割り当て，参照画像インデックス順に参照リストを作成し，参照リストの生成処理を終了する。

ステップＳ１５３では，距離が等しい符号化済み分割画像のうち，量子化ステップが異なるものがあるかどうかを判定する。判定結果が“偽”の場合，ステップＳ１５５へ進む。判定結果が“真”の場合，ステップＳ１５４へ進み，量子化ステップが小さい順に小さい参照画像インデックスを割り当て，ステップＳ１５５へ進む。

ステップＳ１５５では，距離が等しい符号化済み分割画像のうち，ピクチャタイプが分割画像内符号化，分割画像間予測符号化のどちらの場合も存在するかどうかを判定する。判定結果が“偽”の場合，ステップＳ１５７へ進む。判定結果が“真”の場合，ステップＳ１５６へ進み，分割画像内符号化済みの分割画像に，分割画像間予測符号化済みの分割画像よりも小さい参照画像インデックスを割り当て，ステップＳ１５７へ進む。

ステップＳ１５７では，分割画像間予測符号化で符号化された分割画像のうち，参照枚数が異なるものが存在するかどうかを判定する。判定結果が“偽”の場合，ステップＳ１５９へ進む。判定結果が“真”の場合，ステップＳ１５８へ進み，参照枚数が多い分割画像間予測符号化済みの分割画像に，小さい参照画像インデックスを割り当て，参照画像インデックス順に参照リストを作成して処理を終了する。

ステップＳ１５９では，対応画素の距離が等しい符号化済み分割画像について，同一位置画素の原画像上での位置が左上方向にある順に小さい参照画像インデックスを割り当て，参照画像インデックス順に参照リストを作成して処理を終了する。

図１２に示すフローチャートにおいて，量子化ステップやピクチャタイプなどの判定の順番を変えてもよいし，また，判定手法のいくつかだけを用いて参照画像インデックスを定めるようなルールを用いてもよい。

〔画像復号装置〕
図１３は，画像復号装置の構成例を示す図である。画像復号装置２０は，情報源復号部２１，分割画像内復号部２２，参照画像選択部２３，分割画像間予測復号部２４，復号画像構成部２５を備える。分割画像間予測復号部２４は，予測誤差復号部２４１，予測画像生成部２４２，復号画像算出部２４３を備える。

画像復号装置２０は，図１に示す画像符号化装置１０により圧縮符号化された画像の符号化データを情報源復号部２１により入力し，情報源復号部２１は，入力した符号化データをエントロピ復号する。

分割画像内復号部２２は，少なくとも一つ以上の分割画像内符号化された分割画像の符号化データを分割画像内予測により復号する。参照画像選択部２３は，分割画像間予測符号化された分割画像を復号するための参照画像を選択する。

参照画像の選択手法としては，参照リストを用いる場合と参照リストを用いない場合とがある。参照画像が１枚だけの場合には，参照リストを用いる必要がない。要は，参照画像として，符号化側が分割画像間予測符号化による符号化時に用いた参照画像と同じ分割画像を復号側においても参照画像として用いることである。

例えば，参照画像が１枚だけの場合，符号化側において参照画像を，画素の距離，ピクチャタイプ（分割画像内符号化，分割画像間予測符号化），量子化精度，符号化順の順番などで選択していれば，復号側においても同様の順番で復号済み分割画像の中から参照画像を選択する。この参照画像の選択手法が符号化されていれば，その符号化データを事前に復号することにより，復号側においても符号化側と同じ選択手法を用いる。

あらかじめ参照画像選択手法が決まっている場合には，符号化側と復号側とで固定の参照画像選択手法を共有することができ，その場合には選択手法の復号は不要である。

また，参照画像が複数枚あり，参照リストを用いる場合には，復号側においても符号化側と同じ参照リストを用いる。この方法として，あらかじめ固定の参照リスト生成規則を定めておき，符号化側と復号側とで共通の参照リスト生成規則により同じ参照リストを生成する方法を用いることができる。

また，参照リスト生成規則が符号化されていれば，その符号化データを事前に復号することにより，復号側においても符号化側と同じ参照リスト生成規則を用いて参照リストを生成することができる。さらに，参照画像として，合成画像を使用するかしないかのフラグが符号化されていれば，それを復号して，合成画像を参照リストに加えるかどうかを判断する。

また，参照画像を示す参照画像インデックスが符号化されている場合には，その参照画像インデックスを復号し，参照画像インデックスが示す参照リスト中の画像を参照画像として選択する。

分割画像間予測復号部２４は，分割画像内復号された分割画像以外の分割画像について，分割画像間予測復号を行う。そのため，分割画像間予測復号部２４の予測誤差復号部２４１は，必要に応じて逆量子化，逆直交変換などを行い，予測誤差を復号する。予測画像生成部２４２は，参照画像選択部２３が選択した１枚または複数枚の参照画像から，復号対象分割画像と復号済み分割画像（参照画像）との原画像上での相対位置によって決まる所定のフィルタを復号済み分割画像に施すことにより，予測画像を生成する。ここで，合成画像を用いる場合には，複数の予測画像の平均画像等を予測画像とする。

復号画像算出部２４３は，予測誤差復号部２４１の出力に，予測画像生成部２４２が生成した予測画像の画素値を加算することにより，復号画像の画素値を算出する。

復号画像構成部２５は，分割画像内復号部２２および分割画像間予測復号部２４により復号された分割画像の各サブブロックを，原画像上の元の位置に配置することにより，復号画像を生成する。

〔画像復号処理の例１のフロー〕
図１４は，画像復号処理の例１のフローチャートである。ここでは，符号化側で，入力画像を図２に示すように分割して符号化したデータを復号する場合の例を説明する。符号化側では，前述したように，入力サイズを同じサイズのブロックＭ０〜ＭＪに分割し，各ブロックの内の相対位置が同じ画素（サブブロック）を集めて，分割画像Ｐ０〜ＰＫを生成し，分割画像Ｐ０〜ＰＭ（０≦Ｍ＜Ｋ）については分割画像内符号化により符号化し，分割画像Ｐｋ（ｋ＝（Ｍ＋１）〜Ｋ）については分割画像を単位とした分割画像間予測符号化により符号化しているものとする。

画像復号装置２０では，情報源復号部２１で符号化データを入力すると，情報源復号部２１は符号化データをエントロピ復号する（ステップＳ２０１）。次に，分割画像内復号部２２が，分割画像Ｐ０〜ＰＭの符号化データを，従来の画面内予測復号方法などの方法を用いて，分割画像内復号を行う（ステップＳ２０２）。

続いて，参照画像選択部２３が，分割画像間予測符号化された分割画像Ｐｋ（ｋ＝（Ｍ＋１）〜Ｋ）を復号するための参照画像を選択する。ここでは，復号対象の分割画像Ｐｋと復号済み分割画像の同一位置の画素について，原画像上での該当画素の距離が最短の復号済み分割画像を参照画像として選択する（ステップＳ２０３）。

次に，分割画像間予測復号部２４が，参照画像に原画像上での相対位置によって決まる所定の補間フィルタを適用して予測画像を生成し，分割画像Ｐｋについて，予測誤差復号部２４１が復号した予測誤差に予測画像の画素値を加算することにより，分割画像間復号を行う（ステップＳ２０４）。

以上のステップＳ２０３，Ｓ２０４による分割画像Ｐｋの復号を，最後の分割画像ＰＫまで繰り返し，最後の分割画像ＰＫまですべて復号し終えたならば，復号画像構成部２５によって，復号した分割画像Ｐ０〜ＰＫから全体の復号画像を生成し，１フレーム分の復号処理を終了する（ステップＳ２０５）。

〔画像復号処理の例２のフロー〕
次に，参照リストを用いて復号する場合の復号処理の例を，図１５に従って説明する。図１５におけるステップＳ２１１，Ｓ２１２の処理は，図１４で説明したステップＳ２０１，Ｓ２０２の処理と同様である。

ステップＳ２１３では，画像復号装置２０が参照リスト生成規則をあらかじめ保持しているかどうかを判定する。判定結果が“真”の場合，ステップＳ２１４へ進む。“偽”の場合，ステップＳ２１５へ進む。

ステップＳ２１４では，参照画像選択部２３が，分割画像間予測符号化された分割画像Ｐｋ（ｋ＝（Ｍ＋１）〜Ｋ）と復号済み分割画像の同一位置の画素について，あらかじめ保持している参照リスト生成規則に基づき，復号済み分割画像を選択して参照リストを作成する。その後に，ステップＳ２１６へ進む。

一方，ステップＳ２１５では，参照画像選択部２３が，分割画像間予測符号化された分割画像Ｐｋ（ｋ＝（Ｍ＋１）〜Ｋ）と復号済み分割画像の同一位置の画素について，符号化データとして送られた参照リスト生成規則に基づき，復号済み分割画像を選択して参照リストを作成する。その後に，ステップＳ２１６へ進む。

ステップＳ２１６では，分割画像間予測復号部２４が，予測画像生成部２４２によって参照リスト中の参照画像インデックスで指定された参照画像に所定の補間フィルタを適用して予測画像を生成し，分割画像Ｐｋについて，予測誤差復号部２４１が復号した予測誤差に予測画像の画素値を加算することにより，分割画像間復号を行う。ここで，符号化側が複数枚の参照画像から生成される複数枚の予測画像を合成した予測画像を用いて分割画像間予測符号化を行っている場合には，復号側においても同様に複数枚の参照画像をもとに生成した合成予測画像を用いて分割画像間予測復号を行う。

以上のステップＳ２１３〜Ｓ２１６による分割画像Ｐｋの復号を，最後の分割画像ＰＫまで繰り返し，最後の分割画像ＰＫまですべて復号し終えたならば，復号画像構成部２５によって，復号した分割画像Ｐ０〜ＰＫから全体の復号画像を生成し，１フレーム分の復号処理を終了する（ステップＳ２１７）。

〔コンピュータによる構成例〕
図１６に，図１の画像符号化装置１０をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ３０と，ＣＰＵ３０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ３１と，カメラ等からの符号化対象の画像信号を入力する画像信号入力部３２（ディスク装置等による画像信号を記憶する記憶部でもよい）と，本手法により入力画像を符号化する処理をＣＰＵ３０に実行させるソフトウェアプログラムである画像符号化プログラム３４が格納されたプログラム記憶装置３３と，ＣＰＵ３０がメモリ３１にロードされた画像符号化プログラム３４を実行することにより生成された符号化データを，例えばネットワークを介して出力する符号化データ出力部３５（ディスク装置等による符号化データを記憶する記憶部でもよい）とが，バスで接続された構成になっている。

なお，プログラム記憶装置３３に格納される画像符号化プログラムは，本手法により入力画像を符号化するプログラムの他に，例えば従来のフレーム単位で画面間予測を行う画像符号化プログラムなどを含んでいてもよい。

図１７に，図１３の画像復号装置２０をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ４０と，ＣＰＵ４０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ４１と，図１の画像符号化装置１０が本手法により符号化した符号化データを入力して記憶する符号化データ記憶部４２（ネットワーク等を介した入力部でもよい）と，本手法により符号化データを復号する処理をＣＰＵ４０に実行させるソフトウェアプログラムである画像復号プログラム４４が格納されたプログラム記憶装置４３と，ＣＰＵ４０がメモリ４１にロードされた画像復号プログラム４４を実行することにより，符号化データを復号して得られた復号画像を，再生装置などに出力する復号画像出力部４５とが，バスで接続された構成になっている。

なお，プログラム記憶装置４３に格納される画像復号プログラムは，本手法により符号化データを復号するプログラムの他に，例えば従来のフレーム単位で画面間予測を行う画像復号プログラムなどを含んでいてもよい。

以上，図面を参照して本発明の実施の形態を説明してきたが，上記実施の形態は本発明の例示に過ぎず，本発明が上記実施の形態に限定されるものではないことは明らかである。したがって，本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加，省略，置換，その他の変更を行ってもよい。

１０ 画像符号化装置
１１ 分割画像生成部
１２ 分割画像内符号化部
１３ 参照画像選択部
１４ 分割画像間予測符号化部
１４１ 予測画像生成部
１４２ 予測誤差算出部
１４３ 予測誤差符号化部
１４４ 画像復号部
１５ 情報源符号化部
２０ 画像復号装置
２１ 情報源復号部
２２ 分割画像内復号部
２３ 参照画像選択部
２４ 分割画像間予測復号部
２４１ 予測誤差復号部
２４２ 予測画像生成部
２４３ 復号画像算出部
２５ 復号画像構成部

Claims (17)

1. 入力画像を圧縮符号化する画像符号化方法において，
   前記入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定する分割画像生成過程と，
   前記分割画像の少なくとも一つ以上を分割画像内符号化する分割画像内符号化過程と，
   前記分割画像内符号化された分割画像以外の分割画像を符号化する際に，符号化対象分割画像と符号化済み分割画像における同一位置の画素について，原画像上での距離が短い符号化済み分割画像を符号化対象分割画像に対する分割画像間予測符号化に用いる参照画像として選択する参照画像選択過程と，
   選択された参照画像を用いて前記符号化対象分割画像に対する予測画像を生成し，分割画像間予測符号化を行う分割画像間予測符号化過程と，
   少なくとも前記分割画像内符号化過程と前記分割画像間予測符号化過程による符号化結果を情報源符号化する情報源符号化過程とを有する
   ことを特徴とする画像符号化方法。
2. 請求項１に記載の画像符号化方法において，
   前記参照画像選択過程では，選択された複数枚の参照画像を並べた参照リストを指定して，その参照リスト中の参照画像を選択した参照画像とし，
   前記分割画像間予測符号化過程では，前記参照リストに記入された複数枚の参照画像の中の一枚または複数枚の参照画像を用いて，前記符号化対象分割画像に対する予測画像を生成する
   ことを特徴とする画像符号化方法。
3. 請求項１または請求項２に記載の画像符号化方法において，
   前記参照画像選択過程では，前記原画像上での距離が同じ符号化済み分割画像が複数枚存在した場合に，分割画像内符号化済み分割画像を分割画像間予測符号化済み分割画像よりも優先して参照画像として選択する
   ことを特徴とする画像符号化方法。
4. 請求項１または請求項２に記載の画像符号化方法において，
   前記参照画像選択過程では，前記原画像上での距離が同じ符号化済み分割画像が複数枚存在した場合に，量子化精度が高い符号化済み分割画像を量子化精度が低い符号化済み分割画像よりも優先して参照画像として選択する
   ことを特徴とする画像符号化方法。
5. 請求項１または請求項２に記載の画像符号化方法において，
   前記参照画像選択過程では，参照画像として用いることができる複数の符号化済み分割画像の中から，どの符号化済み分割画像を優先して選択するかを示す参照画像選択規則に基づいて参照画像を選択し，
   前記情報源符号化過程では，前記参照画像選択規則の指定情報を符号化する
   ことを特徴とする画像符号化方法。
6. 請求項５に記載の画像符号化方法において，
   前記参照画像選択規則は，前記原画像上での距離が同じ符号化済み分割画像が複数枚存在した場合に，分割画像内符号化済み分割画像を分割画像間予測符号化済み分割画像よりも優先して参照画像として選択することを指定する規則，または，前記原画像上での距離が同じ符号化済み分割画像が複数枚存在した場合に，量子化精度が高い符号化済み分割画像を量子化精度が低い符号化済み分割画像よりも優先して参照画像として選択することを指定する規則を含む
   ことを特徴とする画像符号化方法。
7. 請求項１から請求項６までのいずれか１項に記載された画像符号化方法において，
   前記分割画像間予測符号化過程では，前記参照画像選択過程が選択した複数枚の参照画像から生成される複数枚の予測画像を合成した予測画像を用いて分割画像間予測符号化を行う
   ことを特徴とする画像符号化方法。
8. 請求項１から請求項７までのいずれか１項に記載された画像符号化方法において，
   前記情報源符号化過程では，前記分割画像間予測符号化過程で用いた参照画像を指定する参照画像指定情報を符号化する
   ことを特徴とする画像符号化方法。
9. 圧縮符号化された画像の符号化データを復号する画像復号方法において，
   画像符号化装置が，入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定して，分割画像ごとに符号化した符号化データを入力し，復号する情報源復号過程と，
   前記情報源復号過程で復号されたデータから，前記分割画像の少なくとも一つ以上を分割画像内復号する分割画像内復号過程と，
   前記分割画像内復号された分割画像以外の分割画像を復号する際に，復号対象分割画像と復号済み分割画像における同一位置の画素について，原画像上での距離が短い復号済み分割画像を復号対象分割画像に対する分割画像間予測復号に用いる参照画像として選択する参照画像選択過程と，
   選択された参照画像を用いて前記復号対象分割画像に対する予測画像を生成し，分割画像間予測復号を行う分割画像間予測復号過程と，
   前記分割画像内復号過程および前記分割画像間予測復号過程によって復号された分割画像から復号画像を構成する復号画像構成過程とを有する
   ことを特徴とする画像復号方法。
10. 請求項９に記載の画像復号方法において，
    前記情報源復号過程では，参照画像として用いることができる複数の復号済み分割画像の中から，どの復号済み分割画像を優先して選択するかを示す参照画像選択規則を指定する符号化データを復号し，
    前記参照画像選択過程では，復号された参照画像選択規則に基づいて参照画像を選択する
    ことを特徴とする画像復号方法。
11. 請求項１０に記載の画像復号方法において，
    前記参照画像選択規則は，前記原画像上での距離が同じ復号済み分割画像が複数枚存在した場合に，分割画像内復号済み分割画像を分割画像間予測復号済み分割画像よりも優先して参照画像として選択することを指定する規則，または，前記原画像上での距離が同じ復号済み分割画像が複数枚存在した場合に，量子化精度が高い復号済み分割画像を量子化精度が低い復号済み分割画像よりも優先して参照画像として選択することを指定する規則を含む
    ことを特徴とする画像復号方法。
12. 請求項９，請求項１０または請求項１１に記載の画像復号方法において，
    前記分割画像間予測復号過程では，前記参照画像選択過程が選択した複数枚の参照画像から生成される複数枚の予測画像を合成した予測画像を用いて分割画像間予測復号を行う
    ことを特徴とする画像復号方法。
13. 請求項９から請求項１２までのいずれか１項に記載の画像復号方法において，
    前記情報源復号過程では，参照画像を指定する参照画像指定情報を復号し，
    前記参照画像選択過程では，復号された参照画像指定情報が示す参照画像を選択する
    ことを特徴とする画像復号方法。
14. 入力画像を圧縮符号化する画像符号化装置において，
    前記入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定する分割画像生成部と，
    前記分割画像の少なくとも一つ以上を分割画像内符号化する分割画像内符号化部と，
    前記分割画像内符号化された分割画像以外の分割画像を符号化する際に，符号化対象分割画像と符号化済み分割画像における同一位置の画素について，原画像上での距離が短い符号化済み分割画像を符号化対象分割画像に対する分割画像間予測符号化に用いる参照画像として選択する参照画像選択部と，
    選択された参照画像を用いて前記符号化対象分割画像に対する予測画像を生成し，分割画像間予測符号化を行う分割画像間予測符号化部と，
    少なくとも前記分割画像内符号化部と前記分割画像間予測符号化部の符号化結果を情報源符号化する情報源符号化部とを備える
    ことを特徴とする画像符号化装置。
15. 圧縮符号化された画像の符号化データを復号する画像復号装置において，
    画像符号化装置が，入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定して，分割画像ごとに符号化した符号化データを入力し，復号する情報源復号部と，
    前記情報源復号部が復号したデータから，前記分割画像の少なくとも一つ以上を分割画像内復号する分割画像内復号部と，
    前記分割画像内復号された分割画像以外の分割画像を復号する際に，復号対象分割画像と復号済み分割画像における同一位置の画素について，原画像上での距離が短い復号済み分割画像を復号対象分割画像に対する分割画像間予測復号に用いる参照画像として選択する参照画像選択部と，
    選択された参照画像を用いて前記復号対象分割画像に対する予測画像を生成し，分割画像間予測復号を行う分割画像間予測復号部と，
    前記分割画像内復号部および前記分割画像間予測復号部によって復号された分割画像から復号画像を構成する復号画像構成部とを備える
    ことを特徴とする画像復号装置。
16. 請求項１から請求項８までのいずれか１項に記載の画像符号化方法を，コンピュータに実行させるための画像符号化プログラム。
17. 請求項９から請求項１３までのいずれか１項に記載の画像復号方法を，コンピュータに実行させるための画像復号プログラム。

Images