JP2012147273A - 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び画像予測復号プログラム - Google Patents

Abstract

【課題】参照画像リストの重複による片予測の予測効率低下を防ぐ。
【解決手段】符号化対象とする対象領域の画素信号との相関が高い信号を既再生の参照画面から取得するための動き情報を求める。動き情報は、１つの参照画面を利用する片予測と２つの参照画面を利用する双予測を選択候補とする予測モードを含んでいる。２つの予測モードの候補から１つの予測モードが選択され、片予測が選択される場合には、複数の参照画面のフレーム番号を登録した片予測用の単一の参照画面リストにて定められる一つの参照画面から動き情報が求められる。動き情報としてすくなくとも予測モードが符号化される。
【選択図】図１

Description

本発明は、画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び画像予測復号プログラムに関するものであり、とりわけ、画面間予測に用いる参照画面のリストを生成する画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムに関するものである。

静止画像や動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ−１〜４やＩＴＵ（International Telecommunication Union）Ｈ．２６１〜Ｈ．２６４の方式が広く用いられている。

これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化処理又は復号処理を行う。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（圧縮された画像データが復元されたもの）を用いて予測信号を生成した上で、その予測信号を対象ブロックの信号から引き算することによって得られる差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある既再生の画像信号を参照し、動きの補正を行ない、予測信号を生成し、その予測信号を対象ブロックの信号から引き算することによって得られる差分信号を符号化する。

例えば、Ｈ．２６４の画面内予測符号化では、符号化の対象となるブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。図１６は、ＩＴＵ Ｈ．２６４に用いられる画面内予測方法を説明するための模式図である。図１６の（Ａ）において、対象ブロック８０２は符号化の対象となるブロックであり、その対象ブロック８０２の境界に隣接する画素Ａ〜Ｍからなる画素群８０１は隣接領域であり、過去の処理において既に再生された画像信号である。

図１６の（Ａ）に示す場合には、対象ブロック８０２の真上にある隣接画素である画素群８０１を下方に引き伸ばすことにより予測信号を生成する。また、図１６の（Ｂ）に示す場合では、対象ブロック８０４の左にある既再生画素（Ｉ〜Ｌ）を右に引き伸ばすことにより予測信号を生成する。予測信号を生成する具体的な方法は、例えば特許文献１に記載されている。このように図１６の（Ａ）〜（Ｉ）に示す方法で生成された９つの予測信号のそれぞれと対象ブロックの画素信号との差分をとり、差分値が最も小さいものを最適な予測信号とする。以上のように、画素を外挿することにより予測信号を生成することができる。以上の内容については、下記特許文献１に記載されている。

通常の画面間予測符号化では、符号化の対象となるブロックについて、その画素信号に類似する信号を既に再生済みの画面から探索するという方法で予測信号を生成する。そして、対象ブロックと探索した信号が構成する領域との間の空間的な変位量である動きベクトルと、対象ブロックの画素信号と予測信号との残差信号とを符号化する。このようにブロック毎に動きベクトルを探索する手法はブロックマッチングと呼ばれる。

図１５は、ブロックマッチング処理を説明するための模式図である。以下、符号化対象の画面７０１内の対象ブロック７０２を例に予測信号の生成手順を説明する。画面７０３は既に再生済みであり、領域７０４は対象ブロック７０２と空間的に同一位置の領域である。画面７０３を予測の際に参照するという意味から参照画面と呼ぶ。ブロックマッチングでは、領域７０４を囲む探索範囲７０５を設定し、この探索範囲の画素信号から対象ブロック７０２の画素信号との絶対値誤差和が最小となる領域７０６を検出する。この領域７０６の信号が予測信号となり、領域７０４から領域７０６への変位量が動きベクトル７０７として検出される。また、参照画面７０３を複数用意し、対象ブロック毎にブロックマッチングを実施する参照画面を選択し、参照画面選択情報を検出する方法も用いられることがある。Ｈ．２６４では、画像の局所的な特徴の変化に対応するため、動きベクトルを符号化するブロックサイズが異なる複数の予測タイプを用意している。Ｈ．２６４の予測タイプについては、例えば特許文献２に記載されている。

動画像データの圧縮符号化では、各画面（フレーム、フィールド）の符号化順序は任意でよい。そのため、再生済み画面を参照して予測信号を生成する画面間予測にも、符号化順序について３種類の手法がある。第１の手法は、再生順で過去の再生済み画面を参照して予測信号を生成する前方向予測であり、第２の手法は、再生順で未来の再生済み画面を参照して予測信号を生成する後方向予測であり、第３の手法は、前方向予測と後方向予測を共に行い、２つの予測信号を平均化する双方向予測である。画面間予測の種類については、例えば特許文献３に記載されている。

H．264では、参照画面７０３の候補として、複数の再生済み画面から成る２つの参照画面リストを作成して第３の手法を行う。各参照画面リストに登録される複数の参照画面を対象としてブロックマッチングを行い、領域７０６に相当する領域を２つ検出し、検出した２つの予測信号を平均化する。また、前方向予測や後方向予測においても、作成した２つの参照画面リストの何れかを対象としてブロックマッチングを行い、領域７０６に相当する領域を検出し、その領域の信号を対象ブロックの予測信号とする。

図２と図３にて参照画面リストの例を説明する。図２の（Ａ）では、画面４０３が符号化対象画像、画面４０１、４０２、４０４、及び４０５が再生済み画像を示している。各画像（画面）の識別はフレーム番号（frame_num）にて行われる。図３の（Ａ−１）のL0とL1が２つの参照画面リストを示しており、この例では、２つの参照画面リストにそれぞれ２個の参照画面のフレーム番号が登録されている。各参照画面のフレーム番号は参照画面番号（ref_idx）、つまり参照画面のフレーム番号を指示するインデックス、にて識別される。

参照画面リストに登録できる再生済み画像は、基本的に任意である。図３の（Ａ−１）に示す表451のように、２つの参照画面リストに登録されている参照画面が全て過去の再生済み画像であってもよい。２つの参照画面リストからそれぞれ、１つの参照画面を選択して双方向予測を行うため、この場合、２つの予測信号が共に前方向予測となる。このようなケースに対応するため、近年では、２つの予測信号を平均化する予測手法を双方向予測ではなく双予測と呼んでいる。この双予測では、動きベクトルと参照画面番号の組み合わせ（動き情報）を２つ符号化する。

一方、図２の(Ｂ)では、画面４１１が符号化対象画像、画面４０８、４０９、４１０、及び４１２が再生済み画像を示している。図３の(Ｂ)のL0とL1が２つの参照画面リストを示しており、この例でも、２つの参照画面リストにそれぞれ２個の参照画面のフレーム番号が登録されている。この場合、符号化対象画面４１１に対して過去と未来の画面が１つの参照リストに混在して含まれている。このような予測に対応するため、近年では、１つの参照画面から予測信号を生成する予測手法を前方向予測や後方向予測ではなく、片予測と呼ぶ場合がある。

米国特許公報第６７６５９６４号 米国特許公報第７００３０３５号 米国特許公報第６２５９７３９号

双予測は、２つの信号の平均化によるノイズ除去効果により高い予測性能を示すが、符号化対象画面の物体が２つの参照画面の一方にしか現れないような画面内の領域では予測性能が低下する。そのため、L0とL1の２つの参照画面リストを用いる双予測と、L0、L1の参照画面リストを単独で用いる片予測とが選択的に利用される。つまり、L0を用いる片予測、L1を用いる片予測、及び双予測の３つを予測モードの候補として、ブロック単位で予測性能の高い予測モードを選択する。

２つの参照画面リストに登録されている参照画面に重複がない場合には、L0とL1を用いた２つの片予測を予測モードの候補としても、全体としての片予測の参照画面の候補に重複は発生しない。例えば、図２の（Ａ）に対応する参照画面リストの例である図３の（Ａ−２）によれば、L0を用いる片予測とL1を用いる片予測の２つを予測モードの候補にそのまま加えても、４個の参照画面４０１、４０２、４０４、４０５が片予測に用いる参照画面の候補となる。

しかしながら、双予測では、同じ参照画面から２つの予測信号を生成し、その平均により予測信号が効率よく生成できる場合がある。例えば、図３の（Ｂ）の例のように、２つの参照画面リストに同じ参照画面が重複して登録される。このとき、L0を用いる片予測とL1を用いる片予測の２つを予測モードの候補とすると、全体としての片予測の参照画面の候補に重複が発生する。そのため、例えば、図３の（Ｂ）では、実際の参照画面は４個保存されているにも係わらず、片予測に用いる参照画面の候補は３個のみとなり、４個の参照画面を用いる場合に比較して、予測効率が低下する。

また、片予測は１つの予測方法であるのに対して、参照画面リストを選択するために２つの予測モードを用意することは予測モードの符号量を増加させる要因となる。

そこで、上述の課題を解決するために、本発明は、片予測の予測性能を高めるとともに、参照画面番号と予測モードをより効率良く符号化する画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムを提供することを目的とする。

本発明の一側面に係る画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、上記領域分割手段により分割された符号化対象とする対象領域の画素信号との相関が高い信号を既再生の参照画面から取得するための動き情報を求める動き情報推定手段と、上記動き情報に基づいて、対象領域の予測信号を生成する予測信号生成手段と、上記対象領域の予測信号と上記対象領域の画素信号とに基づく残差信号を生成する残差信号生成手段と、上記残差信号に量子化処理を施し、量子化係数を生成する量子化手段と、上記動き情報と上記残差信号の量子化係数を符号化する符号化手段と、上記量子化手段にて生成した上記量子化係数に逆量子化処理を施し、残差信号を再生する逆量子化手段と、上記予測信号と上記再生残差信号との加算によって生成される上記対象領域の復元画素信号を含む画面を参照画面として保存する記録手段と、を具備し、上記動き情報は、１つの参照画面を利用する片予測と２つの参照画面を利用する双予測を選択候補とする予測モードを含んでおり、上記動き情報推定手段は、上記２つの予測モードの候補から１つを選択し、片予測を選択する場合には、複数の参照画面のフレーム番号を登録した片予測用の単一の参照画面リストにて定められる一つの参照画面から上記動き情報を求め、上記符号化手段は、動き情報としてすくなくとも予測モードを符号化する。

また、本発明の一側面に係る画像予測符号化方法は、領域分割手段が、入力画像を複数の領域に分割するステップと、動き情報推定手段が、上記領域分割手段により分割された符号化対象とする対象領域の画素信号との相関が高い信号を既再生の参照画面から取得するための動き情報を求めるステップと、予測信号生成手段が、上記動き情報に基づいて、対象領域の予測信号を生成すると、上記対象領域の予測信号と上記対象領域の画素信号とに基づく残差信号を生成するステップと、量子化手段が、上記残差信号に量子化処理を施し、量子化係数を生成するステップと、符号化手段が、上記動き情報と上記残差信号の量子化係数を符号化するステップと、逆量子化手段が、上記量子化手段にて生成した上記量子化係数に逆量子化処理を施し、残差信号を再生するステップと、記録手段が、上記予測信号と上記再生残差信号との加算によって生成される上記対象領域の復元画素信号を含む画面を参照画面として保存するステップと、を含み、上記動き情報は、１つの参照画面を利用する片予測と２つの参照画面を利用する双予測を選択候補とする予測モードを含んでおり、上記動き情報推定手段は、上記２つの予測モードの候補から１つを選択し、片予測を選択する場合には、複数の参照画面のフレーム番号を登録した片予測用の単一の参照画面リストにて定められる一つの参照画面から上記動き情報を求め、上記符号化手段は、動き情報としてすくなくとも予測モードを符号化する。

また、本発明の一側面に係る画像予測符号化プログラムは、コンピュータを、入力画像を複数の領域に分割する領域分割手段と、上記領域分割手段により分割された符号化対象とする対象領域の画素信号との相関が高い信号を既再生の参照画面から取得するための動き情報を求める動き情報推定手段と、上記動き情報に基づいて、対象領域の予測信号を生成する予測信号生成手段と、上記対象領域の予測信号と上記対象領域の画素信号とに基づく残差信号を生成する残差信号生成手段と、上記残差信号に量子化処理を施し、量子化係数を生成する量子化手段と、上記動き情報と上記残差信号の量子化係数を符号化する符号化手段と、上記量子化手段にて生成した上記量子化係数に逆量子化処理を施し、残差信号を再生する逆量子化手段と、上記予測信号と上記再生残差信号との加算によって生成される上記対象領域の復元画素信号を含む画面を参照画面として保存する記録手段と、として機能させ、上記動き情報は、１つの参照画面を利用する片予測と２つの参照画面を利用する双予測を選択候補とする予測モードを含んでおり、上記動き情報推定手段は、上記２つの予測モードの候補から１つを選択し、片予測を選択する場合には、複数の参照画面のフレーム番号を登録した片予測用の単一の参照画面リストにて定められる一つの参照画面から上記動き情報を求め、上記符号化手段は、動き情報としてすくなくとも予測モードを符号化する。

これら本発明の一側面に係る画像予測符号化技術によれば、片予測用の単一の参照画面リストが用いられる。したがって、片予測の予測性能が高められ得る。また、片予測が選択される場合に、片予測に利用される双予測用の参照画面リストを特定する情報を符号化する必要がなくなる。したがって、参照画面番号と予測モードをより効率良く符号化することが可能となる。

一実施形態においては、上記動き情報推定手段は、上記２つの予測モードの候補から１つを選択し、上記双予測を選択した場合には、上記記録手段に保存されている複数の参照画面から２つの参照画面を選択し、上記片予測を選択した場合には、上記記録手段に保存されている複数の参照画面から１つの参照画面を選択し、上記符号化手段は、上記予測モードを符号化し、上記動き情報に含まれる予測モードが双予測の場合には、上記双予測に利用可能な複数の参照画面のフレーム番号を登録した第１と第２の参照画面リストにて定められる、２つの参照画面のフレーム番号を識別するインデックスを符号化し、２つの動きベクトルを符号化し、上記動き情報に含まれる予測モードが片予測の場合には、上記片予測に利用可能な複数の参照画面のフレーム番号を登録した第３の参照画面リストにて定められる、１つの参照画面のフレーム番号を識別するインデックスを符号化し、１つの動きベクトルを符号化してもよい。

また、一実施形態においては、上記第３の参照画面リストの参照画面は、上記入力画像のフレーム番号と参照画面のフレーム番号との差の絶対値が小さい順に、第３の参照画面リストに登録されていてもよい。

本発明の別の一側面に係る画像予測復号装置は、複数の領域に分割して符号化された画像の圧縮データを解析し、復号対象となる対象領域の信号の動き情報の復号データと、残差信号の復号データとを復号する復号手段と、上記の復号した動き情報と既再生の参照画面に基づいて、対象領域の予測信号を生成する予測信号生成手段と、上記残差信号の復号データである量子化係数に逆量子化処理を施して、再生残差信号を再生する逆量子化手段と、上記予測信号と上記再生残差信号との加算により生成される上記対象領域の復元画素信号を含む参照画面を保存する記録手段と、を具備し、上記動き情報は、１つの参照画面を利用する片予測と２つの参照画面を利用する双予測を選択候補とする予測モードを含んでおり、上記復号手段は、動き情報として少なくとも上記予測モードを復号し、上記予測信号生成手段は、上記予測モードが片予測である場合には、複数の参照画面のフレーム番号を登録した片予測用の単一の参照画面リストにて定められる一つの参照画面に基づいて、上記予測信号を生成する。

また、本発明の別の一側面に係る画像予測復号方法は、復号手段が、複数の領域に分割して符号化された画像の圧縮データを解析し、復号対象となる対象領域の信号の動き情報の復号データと、残差信号の復号データとを復号するステップと、予測信号生成手段が、上記の復号した動き情報と既再生の参照画面に基づいて、対象領域の予測信号を生成するステップと、逆量子化手段が、上記残差信号の復号データである量子化係数に逆量子化処理を施して、再生残差信号を再生するステップと、記録手段が、上記予測信号と上記再生残差信号との加算により生成される上記対象領域の復元画素信号を含む参照画面を保存するステップと、を含み、上記動き情報は、１つの参照画面を利用する片予測と２つの参照画面を利用する双予測を選択候補とする予測モードを含んでおり、上記復号手段は、動き情報として少なくとも上記予測モードを復号し、上記予測信号生成手段は、上記予測モードが片予測である場合には、上記予測モードが片予測である場合には、複数の参照画面のフレーム番号を登録した片予測用の単一の参照画面リストにて定められる一つの参照画面に基づいて、上記予測信号を生成する。

また、本発明の別の一側面に係る画像予測復号プログラムは、コンピュータを、複数の領域に分割して符号化された画像の圧縮データを解析し、復号対象となる対象領域の信号の動き情報の復号データと、残差信号の復号データとを復号する復号手段と、上記の復号した動き情報と既再生の参照画面に基づいて、対象領域の予測信号を生成する予測信号生成手段と、上記残差信号の復号データである量子化係数に逆量子化処理を施して、再生残差信号を再生する逆量子化手段と、上記予測信号と上記再生残差信号との加算により生成される上記対象領域の復元画素信号を含む参照画面を保存する記録手段と、として機能させ、上記動き情報は、１つの参照画面を利用する片予測と２つの参照画面を利用する双予測を選択候補とする予測モードを含んでおり、上記復号手段は、動き情報として少なくとも上記予測モードを復号し、上記予測信号生成手段は、上記予測モードが片予測である場合には、上記予測モードが片予測である場合には、複数の参照画面のフレーム番号を登録した片予測用の単一の参照画面リストにて定められる一つの参照画面に基づいて、上記予測信号を生成する。

これら本発明の一側面に係る画像予測復号技術によれば、片予測用の単一の参照画面リストが用いられる。したがって、片予測の予測性能が高められ得る。また、片予測が選択される場合に、片予測に用いる双予測用の参照画面リストを特定する情報が圧縮データに含まれている必要がない。したがって、参照画面番号と予測モードに関して効率よく符号化されたデータから、画像を復号することが可能となる。

一実施形態においては、上記復号手段は、上記予測モードを復号し、さらに、上記復号した予測モードが双予測の場合には、第１と第２の参照画面リストにて定められる、２つの参照画面のフレーム番号を識別するインデックスを復号し、２つの動きベクトルを復号し、上記復号した予測モードが片予測の場合には、第３の参照画面リストにて定められる、１つの参照画面のフレーム番号を識別するインデックスを復号し、１つの動きベクトルを復号してもよい。

また、一実施形態においては、上記第３の参照画面リストの参照画面は、上記入力画像のフレーム番号と参照画面のフレーム番号との差の絶対値が小さい順に、第３の参照画面リストに登録されていてもよい。

本発明の画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムによれば、参照画面の重複がない片予測用の参照画面リストを用意することにより、予測モードと参照画面番号の符号化をより効率良く符号化できるという効果がある。

一実施形態に係る画像予測符号化装置を示すブロック図である。 画面の符号化順と参照画面の例を説明する模式図である。 従来の参照画面リストを説明するための図表である。 参照画面リストの例を説明するための図表である。 図１に示す画像予測符号化装置の処理を説明するフローチャートである。 第３の参照画面リストの生成処理を説明するフローチャートである。 一実施形態に係る画像予測復号装置を示すブロック図である。 図７に示す画像予測復号装置の処理を説明するフローチャートである。 第３の参照画面リストの生成処理を説明するフローチャートの第２の例を示すフローチャートである。 第３の参照画面リストの生成処理を説明するフローチャートの第３の例を示すフローチャートである。 一実施形態に係る画像予測符号化方法を実行することができるプログラムを示すブロック図である。 一実施形態に係る画像予測復号方法を実行することができるプログラムを示すブロック図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。 画面間予測におけるブロックマッチング処理を説明するための模式図である。 従来の画面内予測方法を説明するための模式図である。 参照画面リストの第２例を説明するための図表である。

以下、添付図面を参照しながら本実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

図１は、一実施形態に係る画像予測符号化装置１００を示すブロック図である。この画像予測符号化装置１００は、入力端子１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、符号化器１１１、出力端子１１２、動き情報推定器１１３、参照画面リスト管理器１１４を備えている。なお、変換器１０６と量子化器１０７は量子化手段として機能する。また、逆量子化器１０８と逆変換器１０９は逆量子化手段として機能する。参照画面リスト管理器１１４は予測信号生成器１０３と動き情報推定器１１３に含まれていてもよい。

入力端子１０１は、複数枚の画像からなる動画像の信号を入力する端子である。

ブロック分割器１０２は、入力端子１０１から入力された信号で表される、符号化処理の対象となる画像を複数の領域に分割する。本実施形態では、符号化対象の画像を１６ｘ１６の画素からなるブロックに分割するが、それ以外の大きさ又は形状のブロックに分割してもよい。また、画面内にサイズの異なるブロックが混在してもよい。分割されたブロックは符号化順にブロック分割器１０２から対象ブロックとして出力され、Ｌ１０２ａとＬ１０２ｂを経由して、それぞれ動き情報推定器１１３及び減算器１０５に出力される。

動き情報推定器１１３では、対象ブロック内の予測信号を生成するために必要な動き情報を検出する。対象ブロックの予測信号の生成方法（予測方法）については、背景技術で説明したような画面間予測や画面内予測（画面内予測については図示せず）が適用可能であるが、本実施形態では、ブロックマッチング（図１５）にて検出した動き情報を用いて予測する方法を考える。なお、動き情報には、動きベクトル、予測モード（片予測/双予測）、複数の参照画面から予測に利用する参照画面のフレーム番号を指示する参照画面番号が含まれる。

動き情報推定器１１３は、ブロックマッチングを用いて、１つ（片予測）または２つ（双予測）の動きベクトルを検出すると共に、予測モードと参照画面の選択を行い、動き情報を生成する。そして、生成した動き情報を予測信号生成器１０３と符号化器１１１に出力する。

予測信号生成器１０３では、Ｌ１１３経由で入力された対象ブロックの動き情報に基づいて、Ｌ１０４を経由してフレームメモリ１０４から既再生信号を取得し、対象ブロックの予測信号を生成する。

予測信号生成器１０３にて生成された予測信号は、Ｌ１０３経由で減算器１０５と加算器１１０に出力される。

減算器１０５は、ブロック分割器１０２で分割されてＬ１０２ａ経由で入力された対象ブロックの画素信号からＬ１０３を経由して入力される対象ブロックに対する予測信号を減算して、残差信号を生成する。減算器１０５は、減算して得た残差信号を、Ｌ１０５を経由して変換器１０６に出力する。

変換器１０６は、入力された残差信号を離散コサイン変換する部分である。また、量子化器１０７は、変換器１０６により離散コサイン変換された変換係数を量子化する部分であり、量子化変換係数を符号化器１１１に出力する。

逆量子化器１０８は、量子化された変換係数を逆量子化する。逆変換器１０９は、逆離散コサイン変換により残差信号を復元する。加算器１１０は、復元された残差信号とＬ１０３ｂ経由で入力される予測信号とを加算し、対象ブロックの信号を再生し、再生された信号をフレームメモリ１０４に格納する。本実施形態では、変換器１０６と逆変換器１０９とを用いているが、これらの変換器に代わる他の変換処理を用いてもよい。また、変換器１０６及び逆変換器１０９は必須ではない。このように、後続の対象ブロックの予測信号生成に用いるため、符号化された対象ブロックの再生信号は、逆処理にて復元されフレームメモリ１０４に記憶される。

符号化器１１１は、量子化器１０７にＬ１０７経由で入力された量子化変換係数、Ｌ１１３を経由して入力された動き情報をエントロピー符号化する。エントロピー符号化の方法は限定されないが、算術符号化や可変長符号化などが適用できる。

符号化データはＬ１１１を経由して出力端子１１２に出力される。

出力端子１１２は、符号化器１１１から出力された情報をまとめて外部に出力する。

参照画面リスト管理器１１４は、フレームメモリ１０４に保存されている参照画面（例えば、図２の（Ａ）の４０１、４０２、４０４、４０５や図２の（Ｂ）の４０８、４０９、４１０、４１２）に付与されたフレーム番号と動き情報に含まれる参照画面番号を対応づけるための参照画面リストを３つ（L0，L1，L2）作成する。L0とL1は双予測、L2は片予測の際に、参照画面番号から参照画面のフレーム番号を導出し、フレームメモリ１０４から再生信号を取得するために用いられる。

参照画面リストの情報は、動き情報推定器１１３と予測信号生成器１０３に通知される（図示せず）。そのため、動き情報推定器１１３と予測信号生成器１０３はL0とL1の参照画面リストから双予測に利用可能な参照画面番号の情報を取得できる。また、L2の参照画面リストから片予測に利用可能な参照画面番号の情報を取得できる。

予測信号生成器１０３が、フレームメモリ１０４から動き情報に基づく再生信号を取得する際には、予測モードと参照画面番号が参照画面リスト管理器１１４に通知される（Ｌ１１５）。また、動き情報推定器１１３がフレームメモリ１０４から動き情報に基づく再生信号を取得する際にも、予測モードと参照画面番号が参照画面リスト管理器１１４に通知される。フレームメモリでは参照画面のフレーム番号で参照画面を管理しているため、参照画面リスト管理器１１４は、参照画面リストを用いて参照画面のフレーム番号を導出し、Ｌ１１４経由でフレームメモリに取得対象の参照画面のフレーム番号を通知する。このように、予測信号生成器１０３と動き情報推定器１１３は、動き情報に対応する再生信号を取得する。

つまり、参照画面リスト管理器１１４は、予測信号生成器１０３から予測モードと参照画面番号の通知を受けたとき、予測モードが双予測の場合には、L0とL1を用いて、２つの参照画面番号に対応する２つの参照画面のフレーム番号を導出する。一方、予測モードが片予測の場合には、L2を用いて、１つの参照画面番号に対応する１つの参照画面のフレーム番号を導出する。

図４で参照画面リストの例を説明する。

図４の（Ａ）は、図２の（Ａ）に示す参照画面４０１、４０２、４０４と４０５に対する参照画面リストの例である。これら４つの参照画面がフレームメモリ１０４に保存されている。

L0とL1は双予測に用いられる参照画面リストであり、L2は片予測に用いられる参照画面リストである。ref_idxは各リストに登録された参照画面のフレーム番号(frame_num)を指示するためのインデックス（参照画面番号；ref_idx）を示している。

図４の（Ａ）の例では、参照画面リスト管理器１１４は、参照画面リストL2に登録する参照画面を、L0とL1に登録されている参照画面に基づいて決定している。

L0とL1に同じ参照画面が重複して登録されている場合には、参照画面リスト管理器１１４は、L2に１つだけを登録する。図４の（Ａ）の例では、L0とL1に登録されている参照画面に重複がないため、L0とL1に登録されているすべての参照画面をL2に登録する。図４の（Ａ）の例では、４個の参照画面（４０１、４０１、４０４と４０５）のフレーム番号がL2に登録される。L2に登録された参照画面には、符号化対象画面４１１との時間方向の距離差が小さい順、つまり、２つの画面間の参照フレーム番号の差の絶対値が小さい順で、０番からref_idxを付与する。距離差が同じ参照画面がある場合には、値の小さいフレーム番号の参照画面に、値の小さいref_idxを付与する。

図４の（Ｂ）は、図２の（Ｂ）に示す参照画面４０８、４０９、４１０と４１２に対する参照画面リストの例である。図４の（Ｂ）の例では、参照画面リスト管理器１１４は、参照画面リストL2に登録する参照画面を、フレームメモリに保存されている参照画面に基づいて決定している。この例では、４個の参照画面（４０８、４０９、４１０と４１２）のフレーム番号をL2に登録している。L2に登録された参照画面には、符号化対象画面４１１との時間方向の距離差が小さい順、つまり、２つの画面間の参照フレーム番号の差の絶対値が小さい順で、０番からref_idxを付与する。距離差が同じ参照画面がある場合には、値の小さいフレーム番号の参照画面に、値の小さいref_idxを付与する。

図４の（Ｃ）は、図２の（Ｂ）に示す参照画面４０８、４０９、４１０と４１２に対する参照画面リストの例である。図４の（Ｃ）の例では、図４の（Ｂ）と異なり、参照画面リスト管理器１１４は、参照画面リストL2に登録する参照画面を、L0とL1に登録されている参照画面に基づいて決定している。図４の（Ｃ）の例では、L0とL1に登録されている参照画面に重複があるため、３個の参照画面（４０９、４１０と４１２）のフレーム番号がL2に登録される。このように、L0とL1に登録されている参照画面に基づいてＬ２を決定すると、片予測に利用できる参照画面の数が減ってしまう場合がある。

なお、３つの参照画面リストは、フレーム毎に更新してもよいし、複数のブロックをまとめたスライス毎に更新してもよいし、ブロック毎に更新してもよい。

図５は、本実施形態に係る画像予測符号化装置１００における画像予測符号化方法の手順を示すフローチャートである。まず、ブロック分割器１０２にて入力画像を１６ｘ１６の符号化ブロックに分割する（それ以外の大きさ又は形状のブロックに分割してもよい。また、画面内にサイズの異なるブロックが混在してもよい）。

対象ブロックの予測信号の生成方法（予測方法）については、背景技術で説明したような画面間予測や画面内予測（画面内予測については図示せず）が適用可能であるが、本実施形態では、ブロックマッチング（図１５）にて検出した動き情報を用いて予測する方法を考える。なお、動き情報には、動きベクトル、予測モード（片予測/双予測）、複数の参照画面から予測に利用する参照画面のフレーム番号を指示する参照画面番号が含まれる。

まず、参照画面リスト管理器１１４は、フレームメモリ１０４に保存されている参照画面（例えば、図２の４０１、４０２、４０４、４０５や図２の４０８、４０９、４１０、４１２）に付与されたフレーム番号の情報に基づいて、３つの参照画面リストを作成する（ステップＳ１０１）。

次に、動き情報推定器１１３は、動き情報（予測モード、参照画面番号、動きベクトル）を符号化対象の画面とフレームメモリ１０４に保存されている参照画面に基づいて生成する（ステップＳ１０２）。予測信号生成器１０３は、動き情報とフレームメモリ１０４に保存されている参照画面に基づいて対象ブロックの予測信号を生成する（ステップＳ１０４）。

次に、符号化器１１１は、動き情報に含まれる予測モードをエントロピー符号化する（ステップＳ１０４）。予測モードが双予測の場合にはステップＳ１０６に進み、片予測の場合にはステップＳ１０７に進む（ステップＳ１０５）。

ステップＳ１０６では、図４に説明したL0とL1に基づく、動き情報に含まれる２つの参照画面のフレーム番号に対応する参照画面番号（ref_idx）をエントロピー符号化する。加えて、双予測に用いる２本の動きベクトルをエントロピー符号化する。

一方、ステップＳ１０７では、図４に説明したL2に基づく、動き情報に含まれる参照画面のフレーム番号に対応する参照画面番号（ref_idx）をエントロピー符号化する。加えて、片予測に用いる動きベクトルをエントロピー符号化する。

対象ブロックの画素信号と予測信号との差分である残差信号は、変換器１０６、量子化器１０７にて、変換、量子化される。符号化器１１１は、この処理により生成された量子化変換をエントロピー符号化する（ステップＳ１０８）。

後続の対象ブロックを予測符号化するため、これら処理の後に又はこれらの処理と並行して、量子化変換係数に逆量子化器１０８及び逆変換器１０９にて、逆量子化と逆変換を施して残差信号を復元する。そして、加算器１１０にて、復元された残差信号と予測信号とが加算され、対象ブロックの信号が再生される。再生信号はフレームメモリ１０４に参照画面として記憶される（ステップＳ１０９）。そして、すべての対象ブロックの処理が完了していない場合には処理はステップＳ１０２に戻り、次の対象ブロックに対する処理が行われる。すべての対象ブロックの処理が完了している場合には、処理を終了する（ステップＳ１１０）。なお、３つの参照画面リストの更新をブロック単位で行う場合には、ステップＳ１０１はステップＳ１１０の処理ループに含まれる。また、３つの参照画面リストの更新をスライス単位で行う場合には、図５の処理全体をスライス単位で実施する。

図６は、図５における３つの参照画面リスト管理処理手順（ステップＳ１０１）を示すフローチャートである。ここでは、図４の（Ａ）と（Ｃ）に示したように、参照画面リストL2に登録する参照画面を、L0とL1に登録されている参照画面に基づいて決定する場合の手順を例に説明する。

参照画面リスト管理器１１４は、まず、フレームメモリ１０４に保存されている参照画面のフレーム番号の情報に基づいて、図４に示すようなL0とL1の参照画面リストを生成する（ステップＳ７０１）。

次に、参照画面リスト管理器１１４は、パラメータの初期化処理（ステップＳ７０５）を行う。初期化では、i, j, kの各種パラメータを０にリセットする。i, j, kはそれぞれ、L0, L1, L2のref_idxを示している。

初期化後、参照画面リスト管理器１１４は、L0に登録されているＮ個の参照画面をL2に登録するか否かを判定する処理を行う。まず、ref_idx=iが付与されている参照画面L0[i]のフレーム番号が、L2に存在するかを判定する（ステップＳ７２０）。既に存在する場合には、L0[i]をL2に登録せずにＳ７４０に進む。存在しない場合には、L0[i]に登録されている参照画面のフレーム番号をL2[k]に登録する。そして、kの値を１増やした後、ステップＳ７４０に進む（ステップＳ７３０）。ステップＳ７４０では、iの値を１増やす。ステップＳ７１０は、L0に含まれるＮ個の参照画面にＳ７２０、Ｓ７３０、Ｓ７４０の処理が行われたかを判定する。終了している場合には、ステップＳ７５０に進み、終了していない場合には、Ｓ７２０に進み、Ｓ７２０、Ｓ７３０、Ｓ７４０の処理を繰り返す。

次に、L1に登録されているＭ個の参照画面をL2に登録するか否かを判定する処理を行う。まず、ref_idx=jが付与されている参照画面L1[j]のフレーム番号が、L2に存在するかを判定する（ステップＳ７６０）。既に存在する場合には、L1[j]をL2に登録せずにＳ７８０に進む。存在しない場合には、L1[j]に登録されている参照画面のフレーム番号をL2[k]に登録する。そして、kの値を１増やした後、ステップＳ７８０に進む（ステップＳ７７０）。ステップＳ７８０では、jの値を１増やし、ステップＳ７５０にて、L1に含まれるＭ個の参照画面にＳ７６０、Ｓ７７０、Ｓ７８０の処理が行われたかを判定する。終了している場合には、ステップＳ７９０に進み、終了していない場合には、Ｓ７６０に進み、Ｓ７６０、Ｓ７７０、Ｓ７８０の処理を繰り返す。

最後に、参照画面リスト管理器１１４は、L2に登録された参照画面のフレーム番号について、処理対象画面と参照画面間の時間方向な距離差が小さい順に、つまり、２つの画面間の参照フレーム番号の差の絶対値が小さい順に、値の小さいref_idx（参照画面番号）が付与されるように、参照画面のフレーム番号を並び替える。なお、距離差が同じ参照画面が登録されている場合には、値の小さいフレーム番号の参照画面に、値の小さいref_idxを付与する。

このように、双予測に適した２つの参照画面リストL0とL1に加えて、片予測に適した第３の参照画面リストL2を用意することにより、フレームメモリに用意された参照画面を効率良く使うことができるようになる。例えば、４個の参照画面がフレームメモリに保存されているとき、L0とL1の参照画面に重複があると、片予測に用いる参照画面の数（L0とL1に登録された参照画面の数）はトータルで３個以下となってしまう。片予測用に参照画面リストL2を用意することにより、L0とL1の参照画面に重複がある場合でも、４個の参照画面を用いて片予測が実施できるようになる。

また、片予測の参照画面リストが１つとなるため、片予測の際に、予測モードにて参照画面リストを選択する必要がなくなり、予測モードの符号化効率が改善する。

次に、一実施形態に係る画像予測復号について説明する。図７は、一実施形態に係る画像予測復号装置２００を示すブロック図である。この画像予測復号装置２００は、入力端子２０１、復号器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、出力端子２０６、フレームメモリ１０４、予測信号生成器１０３、参照画面リスト管理器１１４を備えている。逆量子化器１０８と逆変換器１０９は逆量子化手段として機能する。なお、逆量子化手段は、これらのもの以外を用いて行ってもよい。また、逆変換器２０４はなくてもよい。参照画面リスト管理器１１４は予測信号生成器１０３に含まれていてもよい。

入力端子２０１は、上述した画像予測符号化方法で圧縮符号化された圧縮データを入力する。この圧縮データには、複数に分割された復号対象のブロック（対象ブロック）について、誤差信号を変換量子化してエントロピー符号化した量子化変換係数と、ブロックの予測信号を生成するための動き情報を復元するための符号化データが含まれている。

対象ブロックの予測信号の生成方法（予測方法）については、背景技術で説明したような画面間予測や画面内予測（画面内予測については図示せず）が適用可能であるが、本実施形態では、ブロックマッチング（図１５）にて検出した動き情報を用いて予測する方法を考える。なお、動き情報には、動きベクトル、予測モード（片予測/双予測）、複数の参照画面から予測に利用する参照画面のフレーム番号を指示する参照画面番号が含まれる。

本実施形態では、復号対象の対象ブロックのサイズを１６ｘ１６とするが、それ以外の大きさ又は形状のブロックに分割でもよい。また、画面内にサイズの異なるブロックが混在してもよい。

復号器２０２は、入力端子２０１に入力された圧縮データを解析して、復号対象の対象ブロックに関する量子化変換係数の符号化データと動き情報の符号化データに分離すると共に、エントロピー復号し、復号データ、即ち量子化変換係数と動き情報をＬ２０２ａ、Ｌ２０２ｂ経由で、それぞれ、逆量子化器２０３と予測信号生成器１０３に出力する。エントロピー復号の方法は限定されないが、算術符号や可変長符号などが適用できる。

動き情報については、復号器２０２は、予測モードと参照画面番号（ref_idx）と動きベクトルを復号する。

予測信号生成器１０３では、Ｌ２０２ｂ経由で入力された動き情報に基づいて、フレームメモリ１０４から既再生信号を取得し、対象ブロックの予測信号を生成する。生成された予測信号はＬ１０３経由で加算器２０５に出力される。

逆量子化器２０３は、ラインＬ２０２ａ経由で入力された量子化変換係数を逆量子化する。逆変換器２０４は、逆量子化したデータを逆離散コサイン変換し、対象ブロックの誤差信号を復元する。

加算器２０５は、予測信号生成器１０３で生成された予測信号を、逆量子化器２０３および逆変換器２０４により復元された残差信号に加算して、対象ブロックの再生画素信号をラインＬ２０５経由で出力端子２０６およびフレームメモリ１０４に出力する。出力端子２０６は、外部に（例えばディスプレイ）出力する。

フレームメモリ１０４は、次の復号処理のための参照用の再生画像として、加算器２０５から出力された再生画像を参照画面として記憶する。

参照画面リスト管理器１１４は、フレームメモリ１０４に保存されている参照画面（例えば、図２の（Ａ）の４０１、４０２、４０４、４０５や図２の（Ｂ）の４０８、４０９、４１０、４１２）に付与されたフレーム番号と動き情報に含まれる参照画面番号を対応づけるための参照画面リストを３つ（L0，L1，L2）作成する。L0とL1は双予測、L2は片予測の際に、参照画面番号から参照画面のフレーム番号を導出し、フレームメモリ１０４から再生信号を取得するために用いられる。

参照画面リストの情報は、予測信号生成器１０３に通知される（図示せず）。そのため、予測信号生成器１０３はL0とL1の参照画面リストから双予測に利用可能な参照画面番号の情報を取得できる。また、L2の参照画面リストから片予測に利用可能な参照画面番号の情報を取得できる。

予測信号生成器１０３がフレームメモリ１０４から動き情報に基づく再生信号を取得する際には、予測モードと参照画面番号が参照画面リスト管理器１１４に通知される（Ｌ１１５）。フレームメモリ１０４では参照画面のフレーム番号を用いて参照画面を管理しているため、参照画面リスト管理器１１４は、参照画面リストに基づいて参照画面のフレーム番号を導出し、Ｌ１１４経由でフレームメモリに取得対象の参照画面のフレーム番号を通知する。このように、予測信号生成器１０３は、動き情報に対応する再生信号を取得する。

つまり、参照画面リスト管理器１１４は、予測信号生成器１０３から予測モードと参照画面番号の通知を受けたとき、予測モードが双予測の場合には、L0とL1を用いて、２つの参照画面番号に対応する２つの参照画面のフレーム番号を導出する。一方、予測モードが片予測の場合には、L2を用いて、１つの参照画面番号に対応する１つの参照画面のフレーム番号を導出する。

図４で参照画面リストの例を説明する。

図４の（Ａ）は、図２の（Ａ）に示す参照画面４０１、４０２、４０４と４０５に対する参照画面リストの例である。これら４つの参照画面がフレームメモリ１０４に保存されている。

L0とL1は双予測に用いられる参照画面リストであり、L2は片予測に用いられる参照画面リストである。ref_idxは各リストに登録された参照画面のフレーム番号(frame_num)を指示するためのインデックス（参照画面番号；ref_idx）を示している。

図４の（Ａ）の例では、参照画面リスト管理器１１４は、参照画面リストL2に登録する参照画面を、L0とL1に登録されている参照画面に基づいて決定している。

L0とL1に同じ参照画面が重複して登録されている場合には、参照画面リスト管理器１１４は、L2にこれら重複する二つの参照画面の１つのフレーム番号だけを登録する。図４の（Ａ）の例では、L0とL1に登録されている参照画面に重複がないため、L0とL1に登録されているすべての参照画面をL2に登録する。図４の（Ａ）の例では、４個の参照画面（４０１、４０１、４０４と４０５）のフレーム番号がL2に登録される。L2に登録された参照画面には、符号化対象画面４１１との時間方向の距離差が小さい順、つまり、２つの画面間の参照フレーム番号の差の絶対値が小さい順で、０番からref_idxを付与する。距離差が同じ参照画面がある場合には、値の小さいフレーム番号の参照画面に、値の小さいref_idxを付与する。

図４の（Ｂ）は、図２の（Ｂ）に示す参照画面４０８、４０９、４１０と４１２に対する参照画面リストの例である。図４の（Ｂ）の例では、参照画面リスト管理器１１４は、参照画面リストL2に登録する参照画面を、フレームメモリに保存されている参照画面に基づいて決定している。この例では、４個の参照画面（４０８、４０９、４１０と４１２）のフレーム番号をL2に登録している。L2に登録された参照画面には、符号化対象画面４１１との時間方向の距離差が小さい順、つまり、２つの画面間の参照フレーム番号の差の絶対値が小さい順で、０番からref_idxを付与する。距離差が同じ参照画面がある場合には、値の小さいフレーム番号の参照画面に、値の小さいref_idxを付与する。

図４の（Ｃ）は、図２の（Ｂ）に示す参照画面４０８、４０９、４１０と４１２に対する参照画面リストの例である。図４の（Ｃ）の例では、図４の（Ｂ）と異なり、参照画面リスト管理器１１４は、参照画面リストL2に登録する参照画面を、L0とL1に登録されている参照画面に基づいて決定している。図４の（Ｃ）の例では、L0とL1に登録されている参照画面に重複があるため、３個の参照画面（４０９、４１０と４１２）のフレーム番号がL2に登録される。このように、L0とL1に登録されている参照画面に基づいてＬ２を決定すると、片予測に利用できる参照画面の数が減ってしまう場合がある。

なお、３つの参照画面リストは、フレーム毎に更新してもよいし、複数のブロックをまとめたスライス毎に更新してもよいし、ブロック毎に更新してもよい。

次に、図８を用いて、図６に示す画像予測復号装置２００における画像予測復号方法を説明する。まず、入力端子２０１を介して、圧縮データが入力される。この圧縮データには、複数に分割された復号対象のブロック（対象ブロック）について、誤差信号を変換量子化してエントロピー符号化した量子化変換係数と、ブロックの予測信号を生成するための動き情報の符号化データが含まれている。

対象ブロックの予測信号の生成方法（予測方法）については、背景技術で説明したような画面間予測や画面内予測（画面内予測については図示せず）が適用可能であるが、本実施形態では、ブロックマッチング（図１５）にて検出した動き情報を用いて予測する方法を考える。なお、動き情報には、動きベクトル、予測モード（片予測/双予測）、複数の参照画面から予測に利用する参照画面のフレーム番号を指示する参照画面番号が含まれる。

本実施形態では、復号対象の対象ブロックのサイズを１６ｘ１６とするが、それ以外の大きさ又は形状のブロックに分割でもよい。また、画面内にサイズの異なるブロックが混在してもよい。

まず、参照画面リスト管理器１１４は、フレームメモリ１０４に保存されている参照画面（例えば、図２の４０１、４０２、４０４、４０５や図２の４０８、４０９、４１０、４１２）に付与されたフレーム番号の情報に基づいて、３つの参照画面リストを生成する（ステップＳ１０１）。

次に、復号器２０２は、入力端子２０１に入力された圧縮データを解析して、復号対象の対象ブロックに関する動き情報をエントロピー復号する。動き情報の復号データには、予測モード、参照画面番号（ref_idx）と動きベクトルが含まれる。

まず、ステップＳ２０１では、復号器２０２は、予測モードをエントロピー復号する。

続いて復号器２０２は、復号した予測モードに基づいて、復号する参照画面と動きベクトルの数を判定する。復号した予測モードが双予測の場合は、ステップＳ２０３に進み、予測モードが片予測の場合はステップＳ２０４に進む（ステップＳ２０２）。

ステップＳ２０３では、双予測のため、L0とL1に基づく２つの参照画面番号（ref_idx）と２つの動きベクトルをエントロピー復号する。一方、ステップＳ２０４では、片予測のため、L2に基づく１つの参照画面番号（ref_idx）と１つの動きベクトルをエントロピー復号する。

次に、予測信号生成器１０３は、復号した動き情報に基づいて、予測信号生成器１０３が対象ブロックの予測信号を生成する（ステップS２０５）。フレームメモリ１０４から動き情報に基づく再生信号を取得する際には、参照画面リスト管理器１１４に予測モードと参照画面番号を通知する。フレームメモリ１０４では、参照画面のフレーム番号を用いて参照画面を管理しているため、参照画面リスト管理器１１４にて、参照画面のフレーム番号を導出し、所望の参照画面の再生信号を取得する。このように、予測信号生成器１０３はステップＳ２０３にて、動き情報に対応する再生信号を取得する。

次に、復号対象の対象ブロックに関する量子化変換係数をエントロピー復号する。復号器２０２にて復号された量子化変換係数は、逆量子化器２０３において逆量子化され、逆変換器２０４において逆変換が行われ、再生残差信号が生成される（ステップＳ２０６）。そして、生成された予測信号と再生残差信号とが加算されることで再生信号が生成され、この再生信号が次の対象ブロックを再生するためにフレームメモリ１０４に格納される（ステップＳ２０７）。次の圧縮データがある場合には、Ｓ２０１〜Ｓ２０７のプロセスを繰り返し（Ｓ２０８）、全データが最後まで処理される。

なお、３つの参照画面リストの更新をブロック単位で行う場合には、ステップＳ１０１はステップＳ２０８の処理ループに含まれる。また、３つの参照画面リストの更新をスライス単位で行う場合には、図８の処理全体をスライス単位で実施する。

図６は、図８における３つの参照画面リスト管理処理手順（ステップＳ１０１）を示すフローチャートである。

参照画面リスト管理器１１４は、まず、フレームメモリ１０４に保存されている参照画面のフレーム番号の情報に基づいて、図４に示すようなL0とL1の参照画面リストを生成する（ステップＳ７０１）。ここでは、図４の（Ａ）と（Ｃ）に示したように、参照画面リストL2に登録する参照画面を、L0とL1に登録されている参照画面に基づいて決定する場合の手順を例に説明する。

次に、参照画面リスト管理器１１４は、パラメータの初期化処理（ステップＳ７０５）を行う。初期化では、i, j, kの各種パラメータを０にリセットする。i, j, kはそれぞれ、L0, L1, L2のref_idxを示している。

初期化後、参照画面リスト管理器１１４は、L0に登録されているＮ個の参照画面をL2に登録するか否かを判定する処理を行う。まず、ref_idx=iが付与されている参照画面L0[i]のフレーム番号が、L2に存在するかを判定する（ステップＳ７２０）。既に存在する場合には、L0[i]をL2に登録せずにＳ７４０に進む。存在しない場合には、L0[i]に登録されている参照画面のフレーム番号をL2[k]に登録する。そして、kの値を１増やした後、ステップＳ７４０に進む（ステップＳ７３０）。ステップＳ７４０では、iの値を１増やす。ステップＳ７１０は、L0に含まれるＮ個の参照画面にＳ７２０、Ｓ７３０、Ｓ７４０の処理が行われたかを判定する。終了している場合には、ステップＳ７５０に進み、終了していない場合には、Ｓ７２０に進み、Ｓ７２０、Ｓ７３０、Ｓ７４０の処理を繰り返す。

次に、L1に登録されているＭ個の参照画面をL2に登録するか否かを判定する処理を行う。まず、ref_idx=jが付与されている参照画面L1[j]のフレーム番号が、L2に存在するかを判定する（ステップＳ７６０）。既に存在する場合には、L1[j]をL2に登録せずにＳ７８０に進む。存在しない場合には、L1[j]に登録されている参照画面のフレーム番号をL2[k]に登録する。そして、kの値を１増やした後、ステップＳ７８０に進む（ステップＳ７７０）。ステップＳ７８０では、jの値を１増やし、ステップＳ７５０にて、L1に含まれるＭ個の参照画面にＳ７６０、Ｓ７７０、Ｓ７８０の処理が行われたかを判定する。終了している場合には、ステップＳ７９０に進み、終了していない場合には、Ｓ７６０に進み、Ｓ７６０、Ｓ７７０、Ｓ７８０の処理を繰り返す。

最後に、参照画面リスト管理器１１４は、L2に登録された参照画面のフレーム番号について、処理対象画面と参照画面間の時間方向な距離差が小さい順に、つまり、２つの画面間の参照フレーム番号の差の絶対値が小さい順に、値の小さいref_idx（参照画面番号）が付与されるように、参照画面のフレーム番号を並び替える。なお、距離差が同じ参照画面が登録されている場合には、値の小さいフレーム番号の参照画面に、値の小さいref_idxを付与する。

本発明では、さらに下記の変形が可能である。

（フレーム番号）

上記では、参照画面や符号対象画面の識別をフレーム番号にて行っているが、フレーム番号には限定されない。任意の画面のフレーム番号からの差分値など、各画面を識別できる情報であればフレーム番号の変わりに利用できる。

（参照画面リストの作成方法）

L0とL1に登録されている参照画面に基づいて参照画面リストを生成する場合について、参照画面リストの生成方法は、図６の手順には限定されない。図９と図１０に別例を示す。これらの例では、図６のように、L2に登録された参照画面の入れ替え処理は行わない。L0とL1の参照画面が、L2の参照画面の入れ替えを行わなくてもよいように整列している場合には有効である。つまり、図９と図１０に示す順番でL0とL1の参照画面をL2に登録する処理を行えば、対象画面に距離が近い参照画面、つまり、２つの画面間の参照フレーム番号の差の絶対値が小さい画面からL2に登録されるようにL0とL1が構成されている場合を想定している。

図９では、参照画面リスト管理器１１４は、まず、フレームメモリ１０４に保存されている参照画面のフレーム番号の情報に基づいて、図４に示すようなL0とL1の参照画面リストを生成する（ステップＳ５０１）。

次に、参照画面リスト管理器１１４は、パラメータの初期化処理（ステップＳ５０５）を行う。初期化では、i, j, kの各種パラメータを０にリセットする。i, j, kはそれぞれ、L0, L1, L2のref_idxを示している。

初期化後、参照画面リスト管理器１１４は、ステップＳ５１０に進む。

ステップＳ５１０では、iがＮより小さいかを判定し、小さい場合は、ステップＳ５２０に進み、大きいか同じ場合にはステップＳ５５０に進む。ステップＳ５２０では、L0に登録されているＮ個の参照画面のうち、ref_idx=iが付与されている参照画面L0[i]のフレーム番号が、L2に存在するかを判定する。既に存在する場合には、L0[i]をL2に登録せずにＳ５４０に進む。存在しない場合には、L0[i]に登録されている参照画面のフレーム番号をL2[k]に登録する。そして、kの値を１増やした後、ステップＳ５４０に進む（ステップＳ５３０）。ステップＳ５４０では、iの値を１増やし、ステップＳ５５０に進む。

ステップＳ５５０では、jがＭより小さいかを判定し、小さい場合は、ステップＳ５６０に進み、大きいか同じ場合にはステップＳ５９０に進む。ステップＳ５６０では、L0に登録されているＭ個の参照画面のうち、ref_idx=jが付与されている参照画面L1[j]のフレーム番号が、L2に存在するかを判定する。既に存在する場合には、L1[j]をL2に登録せずにＳ５８０に進む。存在しない場合には、L1[j]に登録されている参照画面のフレーム番号をL2[k]に登録する。そして、kの値を１増やした後、ステップＳ５８０に進む（ステップＳ５７０）。ステップＳ５８０では、jの値を１増やし、ステップＳ５９０に進む。

ステップＳ５９０にて、i=Nでかつj=Mであるかを判定する。条件を満たす場合には、終了し、満たさない場合は、ステップＳ５１０に戻る。

図１０では、参照画面リスト管理器１１４は、まず、フレームメモリ１０４に保存されている参照画面のフレーム番号の情報に基づいて、図４に示すようなL0とL1の参照画面リストを生成する（ステップＳ６０１）。

次に、参照画面リスト管理器１１４は、パラメータの初期化処理（ステップＳ６０５）を行う。初期化では、i, j, kの各種パラメータを０にリセットする。i, j, kはそれぞれ、L0, L1, L2のref_idxを示している。

初期化後、参照画面リスト管理器１１４は、L0に登録されているＮ個の参照画面をL2に登録するか否かを判定する処理を行う。まず、ref_idx=iが付与されている参照画面L0[i]のフレーム番号が、L2に存在するかを判定する（ステップＳ６２０）。既に存在する場合には、L0[i]をL2に登録せずにＳ６４０に進む。存在しない場合には、L0[i]に登録されている参照画面のフレーム番号をL2[k]に登録する。そして、kの値を１増やした後、ステップＳ６４０に進む（ステップＳ６３０）。ステップＳ６４０では、iの値を１増やし、ステップＳ６１０にて、L0に含まれるＮ個の参照画面にＳ６２０、Ｓ６３０、Ｓ６４０の処理が行われたかを判定し、終了している場合には、ステップＳ６５０に進み、終了していない場合には、Ｓ６２０に進み、Ｓ６２０、Ｓ６３０、Ｓ６４０の処理を繰り返す。

次に、L1に登録されているＭ個の参照画面をL2に登録するか否かを判定する処理を行う。まず、ref_idx=jが付与されている参照画面L1[j]のフレーム番号が、L2に存在するかを判定する（ステップＳ６６０）。既に存在する場合には、L1[j]をL2に登録せずにＳ６８０に進む。存在しない場合には、L1[j]に登録されている参照画面のフレーム番号をL2[k]に登録する。そして、kの値を１増やした後、ステップＳ６７０に進む（ステップＳ６３０）。ステップＳ６８０では、jの値を１増やし、ステップＳ６５０にて、L1に含まれるＭ個の参照画面にＳ７６０、Ｓ７７０、Ｓ７８０の処理が行われたかを判定し、条件を満たす場合には処理を終了し、条件を満たさない場合には、Ｓ６６０に進み、Ｓ６６０、Ｓ６７０、Ｓ６８０の処理を繰り返す。

（参照画面リストの利用方法）

上記では、参照画面リストL2を片予測に利用し、L0とL1を双予測に利用していたが３つの参照画面リストの利用方法はこれには限定されない。例えば、L2のみを作成し、双予測の参照画面番号の導出にもL2を用いるようにしてもよい。すなわち、L0とL1は双予測の際に使用しない。

この際には、２つの異なる参照画面番号を選択するように制限をかけてもよい。未来に表示される参照画面がフレームメモリに存在する場合では、双方向予測（過去と未来の参照画面から予測信号を生成する）が効果的である。そこで、双予測の第１の予測信号の生成に利用した参照画面は、第２の予測信号を生成するための参照画面の候補から外す。

この例を図１７の(Ａ−１)と(Ａ−２)で説明する。図２の（Ａ）に示すように、符号化対象画面４０３に対して、４つの参照画面４０１、４０２、４０４、４０５がフレームメモリに保存されている場合を想定する。

第１の予測信号の生成に用いる参照画面番号を扱う際には、図１７の（Ａ−１）に示す参照画面リスト４６０を使う。ここで、参照画面４０２を第１の予測信号生成のために選択した場合には、参照画面リスト４６０に基づいて、ref_idx=0（frame_num=1）が第１の参照画面番号となる。

一方、第２の予測信号の生成に用いる参照画面を選択する際には、図１７の（Ａ−２）に示すように参照画面４０２を除いた参照画面リスト４６１を利用する。画面４０４を第２の予測信号の生成に用いる参照画面と決定した場合には、ref_idx=0（frame_num=3）が第２の参照画面番号になる。このように、第２の参照画面を符号化する際の参照画面の候補が実質的に少なくなるため、第２の参照画面番号の符号化に要する符号量が削減される。

復号側では、第１の予測信号の参照画面番号としてref_idx=（frame_num=1）0を復号した後、ref_idx=0に対応する画面４０１を外した参照画面リスト４６１を作成する。第２の予測信号の参照画面番号としてref_idx=0（frame_num=3）を復号すると、参照画面リスト４６１から第２の参照画面が画面４０４であることが分かる。

また、L2を双予測に用いる別の方法として、双予測用の２つの参照画面番号ref_idx_0（ここでは、ref_idx_0は0か1とするが限定されない）とref_idx_1（ここでは、ref_idx_0は0か1とするが限定されない）をL2の参照画面リストのref_idxに変換する関数を用意してもよい。例えば、第１の参照画面番号をref_idx = ref_idx_0+offset_0、第２の参照画面番号ref_idx_1をref_idx = ref_idx_1+offset_1で算出するものとする。L2が図１７の（Ａ）の参照画面リスト４６２であるとき、offset_0=0、ofset_1=2とすれば、図４の（Ａ）のL0とL1と同じように、第１の参照画面の候補を画面４０２と４０１、第２の参照画面の候補を画面４０３、４０４に設定することができる。

別の例として、第１の参照画面番号をref_idx = ref_idx_0 ×２+ offset_0、第２の参照画面番号をref_idx = ref_idx_1 ×２+ offset_1で算出する場合を考える。L2が図１７の（Ｃ）の参照画面リスト４６３であるとき、このとき、offset_0=0、offset_1=1とすれば、図４の（Ａ）のL0とL1と同じように、第１の参照画面の候補を画面４０２と４０１、第２の参照画面の候補を画面４０３、４０４に設定することができる。

このように、双予測用の２つの参照画面番号ref_idx_0とref_idx_1をL2の参照画面リストのref_idxに変換する関数を用意することにより、１つの参照画面リストでも効率を損なうことなく双予測の２つの参照画面番号を符号化できる。

なお、このような関数を複数用意し、フレーム単位、スライス単位、ブロック単位で適応的に選択して用いるようにしてもよい。このとき、選択に必要な情報は符号化される。

また、L2とは異なる１つの双予測用の参照画面リストを生成し、上記で説明したような関数を用いてもよい。つまり、片予測用と双予測用の２つの参照画面リストを用いて、参照画面番号の符号化及び参照画面のフレーム番号の導出処理を実施する。

（参照画面リストの符号化）

上記では、参照画面リストは予め定めたルールで自動的に生成されているが、Ｌ２の参照画面リストを、ブロック毎、フレーム毎あるいはスライス毎に符号化してもよい。この場合は、参照画面リストを生成する処理は復号装置では不要となる。Ｌ０とＬ１の参照画面リストも同様に符号化してもよい。復号側では、参照画面リストを復号器２０２にて再生する。

また、参照画面リストの生成方法を複数用意し、ブロック毎、フレーム毎あるいはスライス毎にどの生成方法を用いるか指示する選択情報を符号化してもよい。生成方法は各リストで個別に用意して符号化してもよい。復号側では、復号器２０２が、復号した生成方法を参照画面リスト管理器１１４に出力する。参照画面リスト管理器１１４は、入力された参照画面リストの生成方法に従って、３つの参照画面リストを生成する。

（参照画面のフレーム番号の符号化）

参照画面リストの利用は、予測に用いる参照画面を識別する情報を効率良くエントロピー符号化するための仕組みに他ならない。そのため、図４に示すような参照画面リストを、可変長符号化の符号化テーブルや、算術符号化の符号化要素のバイナリー化テーブルとして用い、参照画面のフレーム番号を直接符号化し、復号するにようにしてもよい。この場合、図４のref_idxの欄が、可変長符号やバイナリーコードに置き換わる。なお、可変長符号やバイナリーコードについては、双予測の第１と第２の参照画面用と、片予測の参照画面用に個別に３種類用意してよい。

（動きベクトルの符号化）

動きベクトルは、通常、対象ブロックに隣接するブロックに付随する動きベクトル（予測動きベクトル）との差分値で符号化される。動きベクトルを差分符号化する場合においても、第３の参照画面リストを用いた片予測の参照画面のフレーム番号を符号化し、復号する手法は利用できる。

このため、符号化器及び復号器では、参照画面リスト、参照画面番号、及び動きベクトルの組、あるいは、参照画面のフレーム番号、及び動きベクトルの組で動きベクトルを保存する。

予測動きベクトルには、通常、対象ブロックの動きベクトルが指示する参照画面と同じ参照画面を指示する動きベクトルを用いる。複数の隣接ブロック（例えば、対象ブロックの直上、直左、左上、右上のブロックなど）からこの条件を満たす動きベクトルが予測動きベクトルとして選ばれる。

この際、参照画面のフレーム番号を用いて対象ブロックと隣接ブロックの動きベクトルが指示する参照画面を比較する方法では、参照画面のフレーム番号が同じであれば、異なる参照画面リストの動きベクトルも予測動きベクトルとして選択可能となる。なお、対象ブロックの予測動きベクトルを、対象ブロックの予測モードと同じ予測モードで予測された隣接ブロックの動きベクトルから選ぶようにしてもよい。この場合、同じ参照画面リストの参照画面番号を比較すればよいため、動きベクトルの予測処理は簡単になる。つまり、参照画面のフレーム番号ではなく、片予測の場合はL2に登録されている参照画面番号を比較すればよい。双予測の場合には、ブロックが保有する２つの動きベクトルはそれぞれ、L0とL1に基づいて参照画面を指示している。そのため、L0に登録されている参照画面番号とL1に登録されている参照画面番号をそれぞれ比較すればよい。

この方法では、参照画面リストL2を、予測モードと参照画面番号の符号化/復号のみではなく、動きベクトルの符号化/復号などの参照画面を参照する処理にも利用できる。

一方、動きベクトルの符号化/復号の際には、L0とL1の参照画面番号と参照画面リストを用いて対象ブロックと隣接ブロックの動きベクトルが指示する参照画面を比較してもよい。この場合、符号化器と復号器は、予測モードが片予測のとき、参照画面番号の符号化後または復号後に、参照画面リストL2の参照画面番号を参照画面リストL0あるいはL1の参照画面番号に変換しておく。符号化器と復号器にて実施する図６、図９や図１０の処理にて、L2の参照画面番号とL0あるいはL1の参照画面番号の関係は明確であるため、符号化器と復号器は矛盾なく、参照画面リストL2の参照画面番号から参照画面リストL0あるいはL1の参照画面番号への変換は実施できる。また、参照画面リスト管理器１１４が、参照画面リストL2に登録する参照画面を、フレームメモリに保存されている参照画面に基づいて決定するような場合には、L2の参照画面番号とL0あるいはL1の参照画面番号の関係を符号化するようにしてもよい。この場合、L0とL1の参照画面番号とL2の参照画面との間の変換処理は符号化器のみで行えばよい。

このように、L2の参照画面番号とL0あるいはL1の参照画面番号の関係を明確することで、参照画面リストL2を予測モードと参照画面番号の符号化/復号のみに利用し、動きベクトルの符号化/復号のように動きベクトルを用いる処理ではL0とL1を利用するように、符号化処理ならびに復号処理を構成することが可能となる。

（変換器、逆変換器）

残差信号の変換処理は、固定のブロックサイズで行っても良いし、部分領域にあわせて対象領域を再分割して変換処理を行ってもよい。

（色信号）

上述した説明では、色フォーマットについては特に述べていないが、色信号あるいは色差信号についても、輝度信号と個別に予測信号の生成処理を行ってもよい。また、輝度信号の処理と連動して予測信号の生成処理を行ってもよい。輝度信号とは別に予測信号を生成する場合には、片予測用の第３の参照画面リストについても、輝度信号とは別に、色信号用の参照画面リストを用意してもよい。

本実施形態に係る画像予測符号化方法及び画像予測復号方法を、プログラムとして記録媒体に格納して提供することもできる。記録媒体としては、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。

図１１は、画像予測符号化方法を実行することができるプログラムのモジュールを示すブロック図である。画像予測符号化プログラムＰ１００は、ブロック分割モジュールＰ１０１、動き情報推定モジュールＰ１０２、予測信号生成モジュールＰ１０３、記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０、符号化モジュールＰ１１１、及び参照画面リスト管理モジュールＰ１１２を備えている。上記各モジュールがコンピュータで実行されることにより実現される機能は、上述した画像予測符号化装置１００の機能と同じである。すなわち、ブロック分割モジュールＰ１０１、動き情報推定モジュールＰ１０２、予測信号生成モジュールＰ１０３、記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０、符号化モジュールＰ１１１、参照画面リスト管理モジュールＰ１１２は、ブロック分割器１０２、動き情報推定器１１３、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、符号化器１１１、参照画面リスト管理器１１４とそれぞれ同様の機能をコンピュータに実行させる。

また、図１２は、画像予測復号方法を実行することができるプログラムのモジュールを示すブロック図である。画像予測復号プログラムＰ２００は、復号モジュールＰ２０１、参照画面リスト管理モジュールＰ２０２、予測信号生成モジュールＰ２０３、記憶モジュールＰ２０４、逆量子化モジュールＰ２０５、逆変換モジュールＰ２０６及び加算モジュールＰ２０７を備えている。

上記各モジュールが実行されることにより実現される機能は、上述した画像予測復号装置２００の各構成要素と同じである。すなわち、復号モジュールＰ２０１、参照画面リスト管理モジュールＰ２０２、予測信号生成モジュールＰ２０３、記憶モジュールＰ２０４、逆量子化モジュールＰ２０５、逆変換モジュールＰ２０６、加算モジュールＰ２０７は、復号器２０２、参照画面リスト管理器１１４、予測信号生成器１０３、フレームメモリ１０４、逆量子化器２０３、逆変換器２０４、加算器２０５と、それぞれ同様の機能をコンピュータに実行させる。

このように構成された画像予測符号化プログラムＰ１００または画像予測復号プログラムＰ２００は、記録媒体１０に記憶され、後述するコンピュータで実行される。

図１３は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１４は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。なお、記録媒体に記憶されたプログラムを実行するものはコンピュータに限定されず、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などでもよい。

図１４に示すように、コンピュータ３０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された画像予測符号化・復号プログラムにアクセス可能になり、当該画像符号化又は復号プログラムによって、本実施形態に係る画像符号化装置又は画像復号装置として動作することが可能になる。

図１３に示すように、画像予測符号化プログラム及び画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した画像予測符号化プログラムもしくは画像復号プログラをメモリ１６に格納し、当該画像予測符号化プログラムもしくは画像予測復号プログラムを実行することができる。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明はさらに上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

１００…画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…符号化器、１１２…出力端子、１１３…動き情報推定器、１１４…参照画面リスト管理器、２０１…入力端子、２０２…復号器、２０３…逆量子化器、２０４…逆変換器、２０５…加算器、２０６…出力端子。

Claims (10)

1. 入力画像を複数の領域に分割する領域分割手段と、
   前記領域分割手段により分割された符号化対象とする対象領域の画素信号との相関が高い信号を既再生の参照画面から取得するための動き情報を求める動き情報推定手段と、
   前記動き情報に基づいて、対象領域の予測信号を生成する予測信号生成手段と、
   前記対象領域の予測信号と前記対象領域の画素信号とに基づく残差信号を生成する残差信号生成手段と、
   前記残差信号に量子化処理を施し、量子化係数を生成する量子化手段と、
   前記動き情報と前記残差信号の量子化係数を符号化する符号化手段と、
   前記量子化手段にて生成した前記量子化係数に逆量子化処理を施し、残差信号を再生する逆量子化手段と、
   前記予測信号と前記再生残差信号との加算によって生成される前記対象領域の復元画素信号を含む画面を参照画面として保存する記録手段と、
   を具備し、
   前記動き情報は、１つの参照画面を利用する片予測と２つの参照画面を利用する双予測を選択候補とする予測モードを含んでおり、
   前記動き情報推定手段は、前記２つの予測モードの候補から１つを選択し、片予測を選択する場合には、複数の参照画面のフレーム番号を登録した片予測用の単一の参照画面リストにて定められる一つの参照画面から前記動き情報を求め、
   前記符号化手段は、動き情報としてすくなくとも予測モードを符号化することを特徴とする画像予測符号化装置。
2. 前記動き情報推定手段は、前記２つの予測モードの候補から１つを選択し、前記双予測を選択した場合には、前記記録手段に保存されている複数の参照画面から２つの参照画面を選択し、前記片予測を選択した場合には、前記記録手段に保存されている複数の参照画面から１つの参照画面を選択し、
   前記符号化手段は、
   前記予測モードを符号化し、
   前記動き情報に含まれる予測モードが双予測の場合には、前記双予測に利用可能な複数の参照画面のフレーム番号を登録した第１と第２の参照画面リストにて定められる、２つの参照画面のフレーム番号を識別するインデックスを符号化し、２つの動きベクトルを符号化し、
   前記動き情報に含まれる予測モードが片予測の場合には、前記片予測に利用可能な複数の参照画面のフレーム番号を登録した第３の参照画面リストにて定められる、１つの参照画面のフレーム番号を識別するインデックスを符号化し、１つの動きベクトルを符号化する、
   ことを特徴とする請求項１に記載の画像予測符号化装置。
3. 前記第３の参照画面リストの参照画面は、前記入力画像のフレーム番号と参照画面のフレーム番号との差の絶対値が小さい順に、第３の参照画面リストに登録されていることを特徴とする、
   請求項２に記載の画像予測符号化装置。
4. 複数の領域に分割して符号化された画像の圧縮データを解析し、復号対象となる対象領域の信号の動き情報の復号データと、残差信号の復号データとを復号する復号手段と、
   前記の復号した動き情報と既再生の参照画面に基づいて、対象領域の予測信号を生成する予測信号生成手段と、
   前記残差信号の復号データである量子化係数に逆量子化処理を施して、再生残差信号を再生する逆量子化手段と、
   前記予測信号と前記再生残差信号との加算により生成される前記対象領域の復元画素信号を含む参照画面を保存する記録手段と、
   を具備し、
   前記動き情報は、１つの参照画面を利用する片予測と２つの参照画面を利用する双予測を選択候補とする予測モードを含んでおり、
   前記復号手段は、動き情報として少なくとも前記予測モードを復号し、
   前記予測信号生成手段は、前記予測モードが片予測である場合には、複数の参照画面のフレーム番号を登録した片予測用の単一の参照画面リストにて定められる一つの参照画面に基づいて、前記予測信号を生成する、
   ことを特徴とする画像予測復号装置。
5. 前記復号手段は、
   前記予測モードを復号し、さらに、
   前記復号した予測モードが双予測の場合には、第１と第２の参照画面リストにて定められる、２つの参照画面のフレーム番号を識別するインデックスを復号し、２つの動きベクトルを復号し、
   前記復号した予測モードが片予測の場合には、第３の参照画面リストにて定められる、１つの参照画面のフレーム番号を識別するインデックスを復号し、１つの動きベクトルを復号する、
   ことを特徴とする請求項４に記載の画像予測復号装置。
6. 前記第３の参照画面リストの参照画面は、前記入力画像のフレーム番号と参照画面のフレーム番号との差の絶対値が小さい順に、第３の参照画面リストに登録されていることを特徴とする、
   請求項５に記載の画像予測復号装置。
7. 領域分割手段が、入力画像を複数の領域に分割するステップと、
   動き情報推定手段が、前記領域分割手段により分割された符号化対象とする対象領域の画素信号との相関が高い信号を既再生の参照画面から取得するための動き情報を求めるステップと、
   予測信号生成手段が、前記動き情報に基づいて、対象領域の予測信号を生成すると、
   前記対象領域の予測信号と前記対象領域の画素信号とに基づく残差信号を生成するステップと、
   量子化手段が、前記残差信号に量子化処理を施し、量子化係数を生成するステップと、
   符号化手段が、前記動き情報と前記残差信号の量子化係数を符号化するステップと、
   逆量子化手段が、前記量子化手段にて生成した前記量子化係数に逆量子化処理を施し、残差信号を再生するステップと、
   記録手段が、前記予測信号と前記再生残差信号との加算によって生成される前記対象領域の復元画素信号を含む画面を参照画面として保存するステップと、
   を含み、
   前記動き情報は、１つの参照画面を利用する片予測と２つの参照画面を利用する双予測を選択候補とする予測モードを含んでおり、
   前記動き情報推定手段は、前記２つの予測モードの候補から１つを選択し、片予測を選択する場合には、複数の参照画面のフレーム番号を登録した片予測用の単一の参照画面リストにて定められる一つの参照画面から前記動き情報を求め、
   前記符号化手段は、動き情報としてすくなくとも予測モードを符号化することを特徴とする画像予測符号化方法。
8. コンピュータを、
   入力画像を複数の領域に分割する領域分割手段と、
   前記領域分割手段により分割された符号化対象とする対象領域の画素信号との相関が高い信号を既再生の参照画面から取得するための動き情報を求める動き情報推定手段と、
   前記動き情報に基づいて、対象領域の予測信号を生成する予測信号生成手段と、
   前記対象領域の予測信号と前記対象領域の画素信号とに基づく残差信号を生成する残差信号生成手段と、
   前記残差信号に量子化処理を施し、量子化係数を生成する量子化手段と、
   前記動き情報と前記残差信号の量子化係数を符号化する符号化手段と、
   前記量子化手段にて生成した前記量子化係数に逆量子化処理を施し、残差信号を再生する逆量子化手段と、
   前記予測信号と前記再生残差信号との加算によって生成される前記対象領域の復元画素信号を含む画面を参照画面として保存する記録手段と、
   として機能させ、
   前記動き情報は、１つの参照画面を利用する片予測と２つの参照画面を利用する双予測を選択候補とする予測モードを含んでおり、
   前記動き情報推定手段は、前記２つの予測モードの候補から１つを選択し、片予測を選択する場合には、複数の参照画面のフレーム番号を登録した片予測用の単一の参照画面リストにて定められる一つの参照画面から前記動き情報を求め、
   前記符号化手段は、動き情報としてすくなくとも予測モードを符号化することを特徴とする画像予測符号化プログラム。
9. 復号手段が、複数の領域に分割して符号化された画像の圧縮データを解析し、復号対象となる対象領域の信号の動き情報の復号データと、残差信号の復号データとを復号するステップと、
   予測信号生成手段が、前記の復号した動き情報と既再生の参照画面に基づいて、対象領域の予測信号を生成するステップと、
   逆量子化手段が、前記残差信号の復号データである量子化係数に逆量子化処理を施して、再生残差信号を再生するステップと、
   記録手段が、前記予測信号と前記再生残差信号との加算により生成される前記対象領域の復元画素信号を含む参照画面を保存するステップと、
   を含み、
   前記動き情報は、１つの参照画面を利用する片予測と２つの参照画面を利用する双予測を選択候補とする予測モードを含んでおり、
   前記復号手段は、動き情報として少なくとも前記予測モードを復号し、
   前記予測信号生成手段は、前記予測モードが片予測である場合には、複数の参照画面のフレーム番号を登録した片予測用の単一の参照画面リストにて定められる一つの参照画面に基づいて、前記予測信号を生成する、
   ことを特徴とする画像予測復号方法。
10. コンピュータを、
    複数の領域に分割して符号化された画像の圧縮データを解析し、復号対象となる対象領域の信号の動き情報の復号データと、残差信号の復号データとを復号する復号手段と、
    前記の復号した動き情報と既再生の参照画面に基づいて、対象領域の予測信号を生成する予測信号生成手段と、
    前記残差信号の復号データである量子化係数に逆量子化処理を施して、再生残差信号を再生する逆量子化手段と、
    前記予測信号と前記再生残差信号との加算により生成される前記対象領域の復元画素信号を含む参照画面を保存する記録手段と、
    として機能させ、
    前記動き情報は、１つの参照画面を利用する片予測と２つの参照画面を利用する双予測を選択候補とする予測モードを含んでおり、
    前記復号手段は、動き情報として少なくとも前記予測モードを復号し、
    前記予測信号生成手段は、前記予測モードが片予測である場合には、複数の参照画面のフレーム番号を登録した片予測用の単一の参照画面リストにて定められる一つの参照画面に基づいて、前記予測信号を生成する、
    ことを特徴とする画像予測復号プログラム。

Images