JP2004088737A - 画像符号化方法および画像復号化方法 - Google Patents
画像符号化方法および画像復号化方法 Download PDFInfo
- Publication number
- JP2004088737A JP2004088737A JP2003161262A JP2003161262A JP2004088737A JP 2004088737 A JP2004088737 A JP 2004088737A JP 2003161262 A JP2003161262 A JP 2003161262A JP 2003161262 A JP2003161262 A JP 2003161262A JP 2004088737 A JP2004088737 A JP 2004088737A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- block
- image
- reference picture
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】符号化効率の向上を図った画像符号化方法及び画像復号化方法を提供する。
【解決手段】画像符号化方法は、前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャの中から何れかを第２参照ピクチャとして選択する第２参照ピクチャ選択ステップ（Ｓ１００）と、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップ（Ｓ１０２，Ｓ１０４）と、前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップ（Ｓ１０６，Ｓ１０８）と、前記第２参照ピクチャを特定するための特定情報を、前記符号化ステップの符号化結果とともに出力する出力ステップとを含む。
【選択図】 図３
【解決手段】画像符号化方法は、前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャの中から何れかを第２参照ピクチャとして選択する第２参照ピクチャ選択ステップ（Ｓ１００）と、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップ（Ｓ１０２，Ｓ１０４）と、前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップ（Ｓ１０６，Ｓ１０８）と、前記第２参照ピクチャを特定するための特定情報を、前記符号化ステップの符号化結果とともに出力する出力ステップとを含む。
【選択図】 図３
Description
【０００１】
【発明の属する技術分野】
本発明は、画像信号を符号化する画像符号化方法、符号化された画像信号を復号する画像復号化方法に関するものである。
【０００２】
【従来の技術】
近年、マルチメディアアプリケーションの発展に伴い、画像、音声、及びテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。これにより、全てのメディアをディジタル化することにより統一的にメディアを扱うことが可能になる。
【０００３】
しかしながら、ディジタル化された画像は膨大なデータ量を持つため、蓄積又は伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、ＩＳＯ（国際標準化機構）のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４などがある（例えば、非特許文献１参照。）。また、ＩＴＵでは、現在、最新の画像符号化規格としてＨ．２６４が標準化中であり、標準化過程におけるドラフト案はＨ．２６Ｌと呼ばれる。
【０００４】
ＭＰＥＧ−１，２，４及びＨ．２６３などの動画像符号化方式に共通の技術として動き補償を伴うピクチャ間予測がある。これらの動画像符号化方式の動き補償では、入力画像のピクチャを所定のサイズの矩形領域（以降、ブロックと呼ぶ）に分割し、各ブロック毎にピクチャ間の動きを示す動きベクトルから予測画素を生成する。
【０００５】
以下、動き補償を伴うピクチャ間予測を説明するため、次の（１）〜（６）に示す内容を説明する。
（１）Ｂピクチャの概念
（２）補間予測
（３）ピクチャ番号と参照インデックス
（４）ダイレクトモード
（５）従来の画像符号化装置
（６）従来の画像復号化装置
【０００６】
（１）Ｂピクチャの概念
Ｈ．２６ＬのＢピクチャ（２方向予測［Ｂｉ−ｐｒｅｄｉｃｔｉｖｅ］ピクチャ）について、図３０を用いて説明する。
【０００７】
図３０は、Ｂピクチャの概念図である。
ピクチャＴＰは符号化対象のＢピクチャであり、ピクチャＲＰ１，ＲＰ２，ＲＰ３，ＲＰ４はそれぞれ符号化済のピクチャである。ブロックＢ１は、ブロックＲＢ１とブロックＲＢ２とを参照してピクチャ間予測されたブロックであり、ブロックＢ２は、ブロックＲＢ２１とブロックＲＢ２２とを参照してピクチャ間予測されたブロックであり、ブロックＢ３は、ブロックＲＢ３１とブロックＲＢ３２とを参照してピクチャ間予測されたブロックである。
【０００８】
このように、Ｂピクチャである符号化対象ピクチャＴＰは、他の２つのピクチャにそれぞれ含まれるブロックを参照してピクチャ間予測されるブロックを含んでいる。
【０００９】
（２）補間予測
補間予測について、図３１を用いて説明する。
図３１は、補間予測の説明図である。
ブロックＲＢ１とブロックＲＢ２は、補間予測に使用される２つの参照ブロックであり、ブロックＰＢは補間処理により得られた予測ブロックを示す。ここでは、ブロックサイズは４×４画素として説明する。
【００１０】
Ｘ１（ｉ）は参照ブロックＲＢ１の画素値を示し、Ｘ２（ｉ）は参照ブロックＲＢ２の画素値を示し、Ｐ（ｉ）は予測ブロックＰＢの画素値を示す。画素値Ｐ（ｉ）は次式のような線形予測式により得ることができる。
Ｐ（ｉ）＝Ａ・Ｘ１（ｉ）＋Ｂ・Ｘ２（ｉ）＋Ｃ
【００１１】
ここで、Ａ，Ｂ，Ｃは線形予測係数である。この線形予測係数には、ＭＰＥＧ−１，２のように、平均値（Ａ＝１／２，Ｂ＝１／２，Ｃ＝０の場合）のみが使用される場合もあるし（厳密には、Ｘ１（ｉ）＋Ｘ２（ｉ）を１／２した値を最も近い整数値に丸めた値）、明示的に他の値に設定される場合もある。他の値に設定される場合には、その値は、画像符号化信号中に格納されて画像符号化装置から画像復号化装置に伝送される。
【００１２】
このように複数の参照ピクチャから画素補間によりピクチャ間予測されるブロックを「補間予測ブロック」と呼ぶ。Ｂピクチャは、補間予測ブロックをピクチャ内に含むことが可能なピクチャである。
【００１３】
ＭＰＥＧ−１，ＭＰＥＧ−２などの画像符号化方式のＢピクチャに含まれる補間予測ブロックは、図３０に示すブロックＢ１のように符号化対象ピクチャＴＰに対し表示順が前の参照ピクチャＲＰ１と、後の参照ピクチャＲＰ３とから予測される補間予測ブロックしかなかった。
【００１４】
一方、最近検討されている新しいＢピクチャでは、加えて、図３０に示すブロックＢ２，Ｂ３のように、参照ピクチャが２枚とも符号化対象ピクチャより前又は後となる補間予測ブロックも含むことができる。
【００１５】
図３２は、補間予測ブロックの２枚の参照ピクチャが、補間予測ブロックを有する符号化対象ピクチャより表示順が前にある場合の一例を説明するための説明図である。
【００１６】
ピクチャＰ７は符号化対象ピクチャであって、各ピクチャは、ピクチャＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７の順に符号化される。つまり、ピクチャＰ１，Ｐ２，Ｐ５，Ｐ６は、符号化対象ピクチャＰ７よりも先に符号化されてマルチフレームバッファ（メモリ）に格納されている。
【００１７】
そして、符号化対象ピクチャＰ７に含まれる補間予測ブロックは、ピクチャＰ１及びピクチャＰ６に含まれる画素を参照して符号化される。
【００１８】
図３３は、補間予測ブロックの２枚の参照ピクチャが、補間予測ブロックを有する符号化対象ピクチャより表示順が後にある場合の一例を説明するための説明図である。
ピクチャＰ４は符号化対象ピクチャであって、各ピクチャは、ピクチャＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５の順に符号化される。つまり、ピクチャＰ１，Ｐ２，Ｐ３は、符号化対象ピクチャＰ４よりも先に符号化されてマルチフレームバッファに格納されている。
【００１９】
そして、符号化対象ピクチャＰ４に含まれる補間予測ブロックは、ピクチャＰ２及びピクチャＰ３に含まれる画素を参照して符号化される。
なお、補間予測ブロックを含まずに、１枚の参照ピクチャからピクチャ間予測を行うブロックを含むことが可能なピクチャをＰピクチャと呼び、ピクチャ間予測を行わない面内予測ブロックのみから構成されるピクチャをＩピクチャと呼ぶ。
【００２０】
Ｈ．２６Ｌでは、Ｂピクチャのブロックの符号化には、最大２枚の参照ピクチャが使用される。そこで、２枚の参照ピクチャを区別するため、各参照ピクチャを第１参照ピクチャ及び第２参照ピクチャと呼ぶ。また、第１参照ピクチャ及び第２参照ピクチャのそれぞれに基づく動きベクトルを、第１動きベクトル及び第２動きベクトルと呼ぶ。
【００２１】
例えば図３０では、符号化対象ブロックＢ１に対して、ピクチャＲＰ１が第１参照ピクチャとなり、ピクチャＲＰ３が第２参照ピクチャとなり、動きベクトルＭＶ１が第１動きベクトルとなり、動きベクトルＭＶ２が第２動きベクトルとなる。また、第１参照ピクチャのみからの予測を第１参照ピクチャ予測、第２参照ピクチャのみからの予測を第２参照ピクチャ予測と呼ぶ。
【００２２】
なお、１枚の参照ピクチャからピクチャ間予測されたブロックに対しては、参照ピクチャや動きベクトルを第１、第２に区別する必要はないが、説明の都合上、１枚の参照ピクチャからピクチャ間予測されたブロックの参照ピクチャ及び動きベクトルを、第１参照ピクチャ及び第１動きベクトルと呼ぶ。
【００２３】
（３）ピクチャ番号及び参照インデックス
図３４は、ピクチャ番号と参照インデックスを説明するための説明図である。
ピクチャ番号及び参照インデックスは、マルチフレームバッファに格納された参照ピクチャを一意に識別するための情報である。Ｈ．２６Ｌでは、ピクチャが参照ピクチャとしてメモリに蓄積される毎に１増加する値が、その参照ピクチャに対するピクチャ番号として割り当てられる。
【００２４】
一方、参照インデックスは、符号化対象ブロックのピクチャ間予測に使用される参照ピクチャを指示するために使用される。
また、参照インデックスは、第１参照ピクチャを指示するための第１参照インデックスと、第２参照ピクチャを指示するための第２参照インデックスとから構成される。
【００２５】
以下、第１参照インデックス、第２参照インデックスの割り当て方法について、図３４の（ａ）を用いて説明する。
まず、符号化対象ピクチャより前の表示時刻を持つ参照ピクチャに対し、符号化対象ピクチャに近い順より０から始まる値が、第１参照インデックスとして割り当てられる。符号化対象ピクチャより前の表示時刻を持つ参照ピクチャの全てに対し０から始まる値が割り当てられたら、次に符号化対象ピクチャより後の表示時刻を持つ参照ピクチャに対し、符号化対象ピクチャに近い順から、その続きの値が割り当てられる。
【００２６】
そして、符号化対象ピクチャより後の表示時刻を持つ参照ピクチャに対し、符号化対象ピクチャに近い順より０から始まる値が、第２参照インデックスの値として割り当てられる。符号化対象ピクチャより後の表示時刻を持つ参照ピクチャの全てに対し０から始まる値が割り当てられたら、次に符号化対象ピクチャより前の表示時刻を持つ参照ピクチャに対し、符号化対象ピクチャに近い順から、その続きの値が割り当てられる。
【００２７】
例えば、図３４の（ａ）に示すように、第１参照インデックスが０として指示された場合、第１参照ピクチャはピクチャ番号「１４」のＢピクチャであり、第２参照インデックスが１として指示された場合、第２参照ピクチャはピクチャ番号「１３」のＢピクチャである。
【００２８】
一方、Ｈ．２６Ｌでは、画像符号化信号中のバッファ制御信号（図３７中に示すヘッダ１内のＲＰＳＬ７）を用いて明示的に指示することにより、参照ピクチャに対する第１参照インデックス及び第２参照インデックスの割り当てを任意に変更することができる。この割り当ての変更により、第２参照インデックスが０の参照ピクチャをマルチフレームバッファ内の任意の参照ピクチャにすることが可能で、例えば、図３４の（ｂ）に示すように、ピクチャ番号に対する第１参照インデックス及び第２参照インデックスの割り当てが変更される。
【００２９】
なお、ブロック中の参照インデックスは、可変長符号語により表現され、値が小さいほど短い符号長のコードが割り当てられている。
【００３０】
（４）ダイレクトモード
ダイレクトモードについて、図３５を用いて説明する。
図３５は、従来の画像符号化装置が行うダイレクトモードの説明図である。
ここでダイレクトモードとは、符号化対象ブロックに対する参照ピクチャ及び動きベクトルを、参照ピクチャの符号化時に使用した動きベクトル及び参照ピクチャの符号化時に参照したピクチャから以下に説明する方法により決定し、画素補間によりピクチャ間予測を行うモードである。
【００３１】
ピクチャＴＰは符号化対象のＢピクチャであり、ピクチャＲＰ１，ＲＰ２，ＲＰ３，ＲＰ４は参照ピクチャとして用いられるようにマルチフレームバッファ内にある復号済のピクチャである。また、図３５中点線に示すピクチャは、非参照ピクチャであって、マルチフレームバッファに含まれないものである。
【００３２】
そして、ピクチャＲＰ１の第１参照インデックスＲＩ１は０であり、ピクチャＲＰ２の第１参照インデックスＲＩ１は１であり、ピクチャＲＰ３の第２参照インデックスＲＩ２は０であり、ピクチャＲＰ４の第２参照インデックスＲＩ２は１である。
【００３３】
ブロックＢ０はダイレクトモードで符号化されるブロックであり、ブロックＢ００はピクチャＲＰ３内で符号化対象ブロックＢ０と相対的に同じ位置にあるブロックである。また、ブロックＲＢ０１はピクチャＲＰ１に含まれる参照ブロックであり、ブロックＲＢ０２は参照ピクチャＲＰ３に含まれる参照ブロックである。動きベクトルＭＶ０は、ブロックＢ００を符号化した際の第１動きベクトルであって、ピクチャＲＰ１を参照先とする。また、動きベクトルＭＶ０をスケーリング用ベクトルと呼ぶ。
【００３４】
符号化対象ブロックＢ０の予測に使用される第１動きベクトルＭＶ０１と第２動きベクトルＭＶ０２とは、次の式により計算される。
ＭＶ０１＝ＴＲ１×ＭＶ０／ＴＲ０
ＭＶ０２＝−ＴＲ２×ＭＶ０／ＴＲ０
【００３５】
上式において、係数ＴＲ１，ＴＲ２，ＴＲ０は、ダイレクトモード用の動きベクトルの計算時に使用される値であり、例えばピクチャ間の表示時刻差が用いられる。図３５の場合、ＴＲ１＝２，ＴＲ２＝１，ＴＲ０＝３となる。
【００３６】
画面内での符号化対象ブロックを含む物体の動きが一定であると仮定した場合、第１動きベクトルＭＶ０１と第２動きベクトルＭＶ０２は、符号化対象ピクチャＴＰと第１参照ピクチャＲＰ１の表示時刻差と、符号化対象ピクチャＴＰと第２参照ピクチャＲＰ２の表示時刻差とによって、動きベクトルＭＶ０を内分することによって求められる。
【００３７】
なお、表示時刻差に限らずピクチャ番号の差や、ピクチャ間のピクチャ枚数等を用いても第１動きベクトルＭＶ０１及び第２動きベクトルＭＶ０２を求めることができる。
また、上述のような係数ＴＲ１，ＴＲ２，ＴＲ０の値の組をダイレクトモード用スケーリング係数ＳＰと呼ぶ。
【００３８】
ＭＰＥＧ−４では、ダイレクトモードにおける後方参照ピクチャは最大１枚しかないため、第２参照ピクチャとして使用されるピクチャは一意に決まる。しかし、Ｈ．２６Ｌでは、第２参照ピクチャと成り得るピクチャが複数あるため、第２参照インデックスＲＩ２が０のピクチャを、ダイレクトモード時の第２参照ピクチャとしている。
【００３９】
また、ダイレクトモードにおいては、各ピクチャごとに伝送されたダイレクトモード用スケーリング係数ＳＰが、ピクチャに含まれる全ブロックに共通して使用される。または、各ピクチャの表示時刻情報を用いて、表示時刻差に比例するようにスケーリングを行う。
【００４０】
なお、図３５を図３４の（ａ）と対応させるとすると、図３５のピクチャＴＰは図３４の（ａ）の中央のＢピクチャ（点線のピクチャ）に対応し、図３５のピクチャＲＰ３は図３４の（ａ）のピクチャ番号「１５」のＢピクチャに対応し、図３５のピクチャＲＰ４は図３４の（ａ）のピクチャ番号「１３」のＢピクチャに対応し、図３５のピクチャＲＰ１は図３４の（ａ）のピクチャ番号「１４」のＢピクチャに対応し、図３５のピクチャＲＰ２は図３４の（ａ）のピクチャ番号「１２」のＢピクチャに対応する。図３５のピクチャＴＰ等の点線で示されている非参照ピクチャは、他のピクチャから参照されることがないため、マルチフレームバッファには保存されない。よって、図３４の（ａ）に示すピクチャのようにそのピクチャを参照するための参照インデックスが割り当てられることは無い。
【００４１】
なお、図３５では、模式的に第１動きベクトルＭＶ０を参照ピクチャＲＰ３から参照ピクチャＲＰ１への、時空間を超えたベクトルとしているが、実際に記憶されている第１動きベクトルＭＶ０は、図１９を用いて説明すると、ブロックＢ００からブロックＢ３への位置の変化量である。よって、図３５で示す第１動きベクトルＭＶ０は、ブロックＢ００からブロックＢ３へのベクトルと、ＲＰ１とＲＰ３の時間的な距離とによって求められる。
本明細書では説明を簡略化するため、図３５に示す第１動きベクトルＭＶ０が実際に記憶されているものとする。
【００４２】
（５）従来の画像符号化装置
次に従来の画像符号化装置について、図３６を参照して説明する。
図３６は、従来の画像符号化装置の構成を示すブロック図である。以下、この画像符号化装置について説明する。
画像符号化装置９００は、ブロックに分割された画像信号Ｉｍｇを入力し、ブロック毎に処理を行う。
【００４３】
減算器９０１は、画像信号Ｉｍｇから予測画像信号Ｐｒｅを減算し、残差信号Ｒｅｓを出力する。
画像符号化部９０２は、残差信号Ｒｅｓを取得して、ＤＣＴ変換及び量子化などの画像符号化処理を行い、量子化済ＤＣＴ係数などを含む残差符号化信号ＥＲを出力する。
【００４４】
画像復号化部９０４は、残差符号化信号ＥＲを取得し、逆量子化及び逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号ＤＲを出力する。
加算器９０５は、残差復号信号ＤＲと予測画像信号Ｐｒｅを加算し、再構成画像信号Ｒｅｃを出力する。
【００４５】
再構成画像信号Ｒｅｃで、以降のピクチャ間予測で参照される可能性がある信号は、マルチフレームバッファ９０７に格納される。マルチフレームバッファ９０７のメモリ量は有限なため、マルチフレームバッファ９０７内で以降のピクチャ間予測に使用されないピクチャのデータはマルチフレームバッファ９０７から除去される。
【００４６】
動き推定部９０９は、マルチフレームバッファ９０７に格納された参照ピクチャＲＰを取得して動き推定を行い、面内予測、第１参照ピクチャ予測、第２参照ピクチャ予測、補間予測による予測の中から所定の方法で最適な予測種別を選択し（ピクチャ種別により選択できる予測種別は異なる）、符号化対象ブロックに対する第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、第１参照インデックスＲＩ１、及び第２参照インデックスＲＩ２を出力する。
【００４７】
動き推定部９０９における予測種別の選択方法には、例えば、各予測種別による予測誤差が最小となる予測種別を選択する方法がある。選択された予測種別が面内予測の場合には、動きベクトル及び参照インデックスは出力されず、第１参照ピクチャ予測の場合には、第１参照インデックス及び第１動きベクトルのみが出力され、第２参照ピクチャ予測の場合には、第２参照インデックス及び第２動きベクトルのみが出力され、補間予測の場合には、第１参照インデックス、第２参照インデックス、第１動きベクトル、及び第２動きベクトルが出力される。
【００４８】
上述のように、Ｈ．２６Ｌでは、ダイレクトモード時の第２参照ピクチャとして第２参照インデックスｒＲＩ２が０の参照ピクチャが使用される。よって、値０の第２参照インデックスｒＲＩ２はベクトル用バッファ９１４とダイレクトモード処理部９１０とに入力される。
【００４９】
ベクトル用バッファ９１４には、スケーリング用ベクトルｒＭＶとスケーリング用ベクトルｒＭＶの参照先となるピクチャを示すピクチャ番号とが記憶されている。スケーリング用ベクトルｒＭＶにより符号化されたブロックを含む参照ピクチャは、第２参照インデックスｒＲＩ２により示される参照ピクチャであるため、ベクトル用バッファ９１４は、値０の第２参照インデックスｒＲＩ２を入力し、スケーリング用ベクトルｒＭＶと、スケーリング用ベクトルｒＭＶの参照先となるピクチャを示す第１参照インデックスｒＲＩ１とを出力する。
【００５０】
ダイレクトモード処理部９１０は、ダイレクトモード用スケーリング係数ＳＰ、スケーリング用ベクトルｒＭＶ、第１参照インデックスｒＲＩ１、及び第２参照インデックスｒＲＩ２を入力し、上記に説明したダイレクトモードの処理により、ダイレクトモード時の第１動きベクトルｓＭＶ１、第２動きベクトルｓＭＶ２、第１参照インデックスｒＲＩ１、及び第２参照インデックスｒＲＩ２を出力する。
【００５１】
予測種別選択部９０８は、画像信号Ｉｍｇと、参照ピクチャＲＰと、「ダイレクトモード」の参照ブロックの位置を示す参照インデックスｒＲＩ１，ｒＲＩ２及び動きベクトルｓＭＶ１，ｓＭＶ２と、「ダイレクトモード以外」の予測時に使用する参照ブロックの位置を示す参照インデックスＲＩ１，ＲＩ２及び動きベクトルＭＶ１，ＭＶ２を入力する。そして、予測種別選択部９０８は、ブロックの予測にダイレクトモードを使用すべきか否かを決定し、決定した予測種別を示す種別情報ＰＴを可変長符号化部９０３に出力する。
【００５２】
ここで、予測種別選択部９０８は、例えば、入力画素に対する「ダイレクトモード時」の予測誤差と、「ダイレクトモード以外の予測時」の予測誤差とで、予測誤差の小さい方を選択することで、予測種別の選択を行う。
【００５３】
よって、予測種別には、動き推定部９０９で選択される面内予測、第１参照ピクチャ予測、第２参照ピクチャ予測、ダイレクトモード以外の補間予測に加えて、ダイレクトモードが加わることになる。
【００５４】
そして、予測種別がダイレクトモードを示す場合には、スイッチ９１１は”１”側に切り替わり、参照インデックスｒＲＩ１，ｒＲＩ２及び動きベクトルｓＭＶ１，ｓＭＶ２が参照インデックスＲＩ１，ＲＩ２、動きベクトルＭＶ１，ＭＶ２として使用される。
【００５５】
一方、予測種別がダイレクトモード以外を示す場合には、スイッチ９１１は”０”側に切り替わる。
【００５６】
また、ダイレクトモード時には、符号化済ピクチャのブロックを符号化した際に用いられた第１動きベクトルｓＭＶ１がスケーリング用ベクトルとして使用される。そして、その第１動きベクトルｓＭＶ１の参照先となるピクチャが、ダイレクトモードの一方の参照ピクチャとして使用される。従って、符号化した第１参照インデックスＲＩ１、第１動きベクトルＭＶ１の中で、符号化したピクチャ以降のピクチャでダイレクトモードで使用される可能性がある第１参照インデックスＲＩ１、第１動きベクトルＭＶ１はベクトル用バッファ９１４に格納される。
【００５７】
予測種別の決定後、マルチフレームバッファ９０７に第１参照インデックスＲＩ１と第１動きベクトルＭＶ１とが入力され、入力された第１参照インデックスＲＩ１と第１動きベクトルＭＶ１とに対応する参照ブロックＲＢ１がマルチフレームバッファ９０７から画素補間部９０６に出力される。予測種別により２つの参照ブロックが必要とされるときには、さらに第２参照インデックスＲＩ２と第２動きベクトルＭＶ２とに対応する参照ブロックＲＢ２がマルチフレームバッファ９０７から画素補間部９０６に出力される。
【００５８】
画素補間部９０６は、補間予測時には、２個の参照ブロックＲＢ１，ＲＢ２の互いに対応する位置の画素値を補間し、補間ブロックＲｅＰを出力する。
【００５９】
スイッチ９１２は、予測種別が補間予測を示す場合には、”１”側に切り替わり、補間ブロックＲｅＰを予測画像信号Ｐｒｅとして扱う。
【００６０】
マルチフレームバッファ９０７は、第１参照ピクチャ予測時には、第１参照インデックスＲＩ１と第１動きベクトルＭＶ１とに対応する参照ブロックＲＢを出力する。また、第２参照ピクチャ予測時には、マルチフレームバッファ９０７は第２参照インデックスＲＩ２と第２動きベクトルＭＶ２とに対応する参照ブロックＲＢを出力する。なお、面内予測時には、面内予測結果の画素からなるブロックＲＢがマルチフレームバッファ９０７から出力される。
【００６１】
そして予測種別が補間予測以外の予測方法を示す場合には、スイッチ９１２は”０”側に切り替わり、参照ブロックＲＢを予測画像信号Ｐｒｅとして扱う。
【００６２】
可変長符号化部９０３は、残差符号化信号ＥＲ、参照インデックスＲＩ１，ＲＩ２、動きベクトルＭＶ１，ＭＶ２、ダイレクトモード用スケーリング係数ＳＰ、及び種別情報ＰＴを可変長符号化し、その結果を画像符号化信号ＢＳ０に含めて出力する。
【００６３】
図３７は、画像符号化信号ＢＳ０のフォーマットの概念図である。
この図３７は、画像符号化信号ＢＳ０中の１ピクチャ分の情報が含まれる部分のフォーマットを示す。
この部分は、ヘッダ１と、ダイレクトモードにより符号化されたブロックの第１ブロック符号化信号２と、ダイレクトモード以外の補間予測により符号化されたブロックの第２ブロック符号化信号３とを含む。
【００６４】
第２ブロック符号化信号３は、種別情報ＰＴが符号化された種別符号化信号９と、参照インデックスＲＩ１，ＲＩ２が符号化された第１インデックス符号化信号１０及び第２インデックス符号化信号１１と、動きベクトルＭＶ１，ＭＶ２が符号化されたＭＶ１符号化信号１２及びＭＶ２符号化信号１３とを含む。第２ブロック符号化信号３では、第１インデックス符号化信号１０及び第２インデックス符号化信号１１と、ＭＶ１符号化信号１２及びＭＶ２符号化信号１３とが、画像符号化信号ＢＳ０中に、図３７に示す順で含まれる。
【００６５】
また、参照インデックスＲＩ１，ＲＩ２のいずれを使用するかは種別符号化信号９により判断され、第１参照ピクチャと第２参照ピクチャとは、画像符号化信号ＢＳ０中の第１インデックス符号化信号１０及び第２インデックス符号化信号１１のデータ位置で決まる。
【００６６】
一方、第１ブロック符号化信号２は、ブロックがダイレクトモードで符号化された場合を示しており、種別情報ＰＴが符号化された種別符号化信号８を含むが、参照インデックス及び動きベクトルを示す情報を含まない。
【００６７】
また、ヘッダ１には、図３５に示す係数ＴＲ１，ＴＲ２，ＴＲ０がそれぞれ符号化された第１時間差情報４、第２時間差情報５、及び時間差情報６と、参照ピクチャに対する第１参照インデックス又は第２参照インデックスの割り当て変更を示す内容のＲＰＳＬ７が含まれる。ただし、ダイレクトモードでの動きベクトルのスケーリングの際に、各ピクチャの表示時刻情報を用いる場合には、これらの情報はヘッダ中には記述されず、ヘッダには表示時刻情報のみが記述される。
【００６８】
（６）従来の画像復号化装置
図３８は、従来の画像復号化装置の構成を示すブロック図である。
ここで、この画像復号化装置９５０が備えるマルチフレームバッファ９５８、画素補間部９５７、ベクトル用バッファ９６０、及びダイレクトモード処理部９５４はそれぞれ、図３６に示す画像符号化装置９００のマルチフレームバッファ９０７、画素補間部９０６、ベクトル用バッファ９１４、及びダイレクトモード処理部９１０のそれぞれと同様の機能を有するため、詳細な説明を省略する。また、図３８中、図３６に示す信号と同一の信号に対しては同一の符号を付して説明を省略する。
【００６９】
可変長復号部９５１は、画像符号化信号ＢＳ０を入力し可変長復号を行い、残差符号化信号ＥＲ、動きベクトルＭＶ１，ＭＶ２、参照インデックスＲＩ１，ＲＩ２、ダイレクトモード用スケーリング係数ＳＰ（または、各ピクチャの表示時刻情報）、及び種別情報ＰＴを出力する。画像復号部９５２は、残差符号化信号ＥＲを入力し、これに対して逆量子化及び逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号ＤＲを出力する。加算器９５３は、残差復号信号ＤＲと予測画像信号Ｐｒｅを加算し、復号画像信号ＤＩｍを画像復号化装置９５０外に出力する。マルチフレームバッファ９５８は、ピクチャ間予測のために必要な復号画像信号ＤＩｍを格納する。
【００７０】
ベクトル用バッファ９６０には、スケーリング用ベクトルｒＭＶと、スケーリング用ベクトルｒＭＶの参照先となるピクチャを識別するための情報（第１参照インデックスｒＲＩ１）とが記憶されている。また、ベクトル用バッファ９６０は値０の第２参照インデックスｒＲＩ２を入力し、スケーリング用ベクトルｒＭＶと第１参照インデックスｒＲＩ１とを出力する。
【００７１】
ダイレクトモード処理部９５４は、図３６のダイレクトモード処理部９１０と同じ処理を行う。
予測種別がダイレクトモード以外を示す場合、スイッチ９５５は”０”側に切り替わる。そして、マルチフレームバッファ９５８は、参照インデックスＲＩ１，ＲＩ２及び動きベクトルＭＶ１，ＭＶ２を取得する。
【００７２】
予測種別がダイレクトモードを示す場合、スイッチ９５５は”１”側に切り替わる。そして、マルチフレームバッファ９５８は、参照インデックスｒＲＩ１，ｒＲＩ２及び動きベクトルｓＭＶ１，ｓＭＶ２を、参照インデックスＲＩ１，ＲＩ２及び動きベクトルＭＶ１，ＭＶ２として取得する。
【００７３】
マルチフレームバッファ９５８は、補間予測時は、第１参照インデックスＲＩ１及び第１動きベクトルＭＶ１に対応する参照ブロックＲＢ１と、第２参照インデックスＲＩ２及び第２動きベクトルＭＶ２に対応する参照ブロックＲＢ２とを出力する。そして、画素補間部９５７は２個の参照ブロックＲＢ１，ＲＢ２のそれぞれに対応する画素値を補間して、補間ブロックＲｅＰを出力する。
【００７４】
マルチフレームバッファ９５８は、第１参照ピクチャ予測時には、第１参照インデックスＲＩ１と第１動きベクトルＭＶ１に対応する参照ブロックＲＢを出力する。また、第２参照ピクチャ予測時には、マルチフレームバッファ９５８は、第２参照インデックスＲＩ２と第２動きベクトルＭＶ２に対応する参照ブロックＲＢを出力する。なお、面内予測時には面内予測結果の画素からなるブロックＲＢがマルチフレームバッファ９５８から出力される。
【００７５】
予測種別が補間予測を示す場合には、スイッチ９５６は”０”側に切り替わり、補間ブロックＲｅＰが予測画像信号Ｐｒｅとして使用される。
予測種別が補間予測以外の予測方法を示す場合には、スイッチ９５６は”１”側に切り替わり、参照ブロックＲＢが予測画像信号Ｐｒｅとして使用される。
【００７６】
そして、復号された第１参照インデックスＲＩ１及び第１動きベクトルＭＶ１のうち、復号されたピクチャ以降のピクチャでダイレクトモードに使用される可能性がある第１参照インデックスＲＩ１及び第１動きベクトルＭＶ１はベクトル用バッファ９６０に格納される。
【００７７】
このような画像復号化装置９５０は、上述のように説明した処理により画像符号化信号ＢＳ０を復号して、これを画像復号信号ＤＩｍとして出力する。
ここで、上記従来の画像符号化装置９００及び画像復号化装置９５０では、Ｂピクチャは、上述のように、前方向２枚のピクチャを参照して符号化されたり、後方向２枚のピクチャを参照して符号化されたり、前後１枚ずつのピクチャを参照して符号化されたりするが、一般的な映像に対しては、前方向２枚又は後方向２枚のピクチャを参照する場合よりも、前後１枚ずつのピクチャを参照する場合の方が、高精度に補間予測が可能なために符号化効率が高い。
【００７８】
【非特許文献１】
ＭＰＥＧ−４ビジュアル規格書（１９９９年、ＩＳＯ／ＩＥＣ １４４９６−２：１９９９ Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ −− Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ −− Ｐａｒｔ２： Ｖｉｓｕａｌ， ｐ．１５４）
【００７９】
【発明が解決しようとする課題】
しかしながら、上記従来の画像符号化装置９００及び画像復号化装置９５０では、図３４の（ｂ）を用いて説明したように、第２参照インデックスｒＲＩ２の０は、マルチフレームバッファ９０７，９６０内の任意の参照ピクチャに割り当てられるため、ダイレクトモードでＢピクチャを符号化するような場合に、前方向２枚のピクチャを参照して符号化したり、後方向２枚のピクチャを参照して符号化したりする場合が多く、Ｂピクチャの符号化において符号化効率が低くなるという問題がある。
【００８０】
また、図３５に示すように、ダイレクトモードでは、第１参照ピクチャＲＰ１及び第２参照ピクチャＲＰ３並びにスケーリング用ベクトルＭＶ０（第１動きベクトルＭＶ０）を用いて、符号化対象ピクチャＴＰが符号化される。ここで、第２参照ピクチャは、第２参照インデックスＲＩ２＝０に対応するピクチャであって、第１参照ピクチャは、第２参照ピクチャ中のブロックＢ００の第１動きベクトルＭＶ０の参照先となるピクチャである。
【００８１】
そのため、ダイレクトモードを実現するためには、画像符号化装置９００は、第２参照ピクチャＲＰ３を符号化した際に使用した第１動きベクトルＭＶ０と、第１動きベクトルＭＶ０の参照先となるピクチャＲＰ１を識別するための情報とを保持しておく必要がある。
【００８２】
同様に、画像復号化装置９５０においても、ダイレクトモードのために、復号済ピクチャの第１動きベクトルＭＶ０と、第１動きベクトルＭＶ０の参照先となるピクチャＲＰ１を識別するための情報とを保持する必要がある。
【００８３】
即ち、Ｈ．２６３では、動きベクトルは最小４×４ブロック単位で切り替えられることが可能で、参照ピクチャは最小８×８ブロック単位で切り替えられることが可能なため、例えば、ＱＣＩＦ（１７６×１４４ブロック）サイズの画像の場合には、１参照ピクチャ当り１５８４個の動きベクトルと３９６個の参照ピクチャを識別するための情報とを保持できる量のメモリが必要になる。
【００８４】
さらに、Ｈ．２６Ｌでは、参照ピクチャに対する参照インデックスの割り当ては自由に変更できるため、マルチフレームバッファ内の全参照ピクチャが第２参照インデックスＲＩ２＝０に対応した参照ピクチャとなり得る。そのため、画像符号化装置９００及び画像復号化装置９５０は、マルチフレームバッファ９０７，９５８内の全参照ピクチャ分の第１動きベクトルと、第１動きベクトルの参照先となるピクチャを識別するための情報とを保持しておく必要がある。
【００８５】
このような第１動きベクトル及びピクチャの識別情報の保持に必要な記憶容量は参照ピクチャ枚数に比例するため、このような情報を保持するベクトル用バッファ９１４，９６０には非常に大きな記憶容量を要するという問題がある。つまり、ベクトル用バッファ９１４，９６０に記憶される情報量が多くなるために、その情報の入出力に負担がかかって符号化処理が煩雑になり、符号化効率の低下を招くという問題がある。
【００８６】
そこで、本発明では、符号化効率の向上を図った画像符号化方法及び画像復号化方法を提供することを目的とする。
【００８７】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る画像符号化方法は、既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャの中から何れかを第２参照ピクチャとして選択する第２参照ピクチャ選択ステップと、前記第２参照ピクチャ内の所定のブロックの符号化に用いられた動きベクトルに基づいて、符号化済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップと、前記第２参照ピクチャを特定するための特定情報を、前記符号化ステップの符号化結果とともに出力する出力ステップとを含むことを特徴とする。
【００８８】
ここで、前記出力ステップでは、前記第２参照ピクチャを指し示す第２参照インデックスから前記特定情報を構成して出力することを特徴としても良い。また、前記出力ステップでは、前記各符号化済ピクチャを識別するためにそれぞれに割り当てられる第２参照インデックスの変更方法を示す情報を前記特定情報として出力することを特徴としても良い。
【００８９】
これにより、符号化対象ピクチャよりも表示順が後の符号化済ピクチャが第２参照ピクチャとして選択されるため、リマッピングが生じたときに従来例のように符号化対象ピクチャよりも表示順が前の２つの符号化済ピクチャを参照してしまうのを防いで、符号化対象ピクチャの前後にある２つの符号化済ピクチャを参照する確率を高めて符号化効率を向上することができる。また、特定情報が出力されるため、符号化ステップでの符号化結果を復号するときには、符号化処理で選択された第２参照ピクチャと同一のピクチャをその特定情報に基づいて選択して、正確に復号することができる。
【００９０】
また、本発明に係る画像符号化方法は、既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャのうち、前記各符号化済ピクチャを識別するためにそれぞれに割り当てられる第２参照インデックスが最小の符号化済ピクチャを、第２参照ピクチャとして選択する第２参照ピクチャ選択ステップと、前記第２参照ピクチャ内の所定のブロックの符号化に用いられた動きベクトルに基づいて、符号化済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップとを含むことを特徴とする。
【００９１】
ここで、前記第２参照ピクチャ選択ステップでは、前記第２インデックスの割り当て方を示す内容の割当情報に基づいて、前記第２参照インデックスが最小の符号化済ピクチャを特定し、特定した前記符号化済ピクチャを第２参照ピクチャとして選択することを特徴としても良い。
【００９２】
これにより、符号化対象ピクチャよりも表示順が後の符号化済ピクチャが第２参照ピクチャとして選択されるため、リマッピングが生じたときに従来例のように符号化対象ピクチャよりも表示順が前の２つの符号化済ピクチャを参照してしまうのを防いで、符号化対象ピクチャの前後にある２つの符号化済ピクチャを参照する確率を高めて符号化効率を向上することができる。また、第２参照インデックスが最小の符号化済ピクチャが第２参照ピクチャとして選択されるため、符号化ステップでの符号化結果を復号するときには、符号化処理で選択された第２参照ピクチャと同一のピクチャを一意に選択して、正確に復号することができる。
【００９３】
ここで、本発明に係る画像符号化方法は、既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、符号化済ピクチャを識別するための第２参照インデックスを前記各符号化済ピクチャに割り当て、このとき、前記符号化対象ピクチャよりも表示順が後の何れかの符号化済ピクチャに対して０を示す第２参照インデックスが割り当てられるように制限する割当ステップと、前記割当ステップと異なる割り当て方で前記第２参照インデックスを割り当て直すことができ、割り当て直すときには、前記符号化対象ピクチャよりも表示順が後の何れかの符号化済ピクチャに対して０を示す第２参照インデックスが割り当てられるように制限する再割当ステップと、前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャのうち、前記０を示す第２参照インデックスが割り当てられた符号化済ピクチャを、第２参照ピクチャとして選択する第２参照ピクチャ選択ステップと、前記第２参照ピクチャ内の所定のブロックの符号化に用いられた動きベクトルに基づいて、符号化済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップとを含むことを特徴とする。
【００９４】
ここで、前記再割当ステップでは、前記割当ステップにおいて０を示す第２参照インデックスが割り当てられる符号化済ピクチャに対して、前記第２参照インデックスの変更を禁止することを特徴としても良い。
【００９５】
これにより、前記割当ステップ及び再割当ステップでは、符号化対象ピクチャよりも表示順が後の符号化済ピクチャに対して０を示す第２参照インデックスが割り当てられるため、符号化対象ピクチャよりも表示順が後の符号化済ピクチャが第２参照ピクチャとして選択される。その結果、リマッピングが生じたときに従来例のように符号化対象ピクチャよりも表示順が前の２つの符号化済ピクチャを参照してしまうのを防いで、符号化対象ピクチャの前後にある２つの符号化済ピクチャを参照する確率を高めて符号化効率を向上することができる。
【００９６】
さらに、本発明に係る画像符号化方法は、既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、符号化済ピクチャを識別するための第１参照インデックスを前記各符号化済ピクチャに割り当てる割当ステップと、所定の符号化済ピクチャまたはスライスに対して、前記割当ステップと異なる割り当て方で前記第１参照インデックスを割り当て直す再割当ステップと、前記符号化対象ピクチャよりも表示順が前の符号化済ピクチャのうち、所定の値を示す第１参照インデックスが割り当てられた符号化済ピクチャを、第１参照ピクチャとして選択する第１参照ピクチャ選択ステップと、前記第１参照ピクチャ内の所定のブロックに基づいて画素補間により予測画像を生成する予測画像生成ステップと、前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップとを含み、前記再割当ステップでは、長時間にわたって参照される前記符号済ピクチャから優先的に、前記所定の値を示す第１参照インデックスを割り当てることを特徴とする。
【００９７】
これにより、シーンの変化が生じたときには、長時間にわたって参照される符号化済ピクチャを保持するメモリ内のその符号済ピクチャから優先的に０を示す第１参照インデックスが割り当てられるようにリマッピングされて、その第１参照インデックスが０の符号化済ピクチャが第１参照ピクチャとして選択されるため、符号化対象ピクチャと類似する符号化済ピクチャが参照される確率を高めて符号化効率を向上することができる。
【００９８】
また、本発明に係る画像符号化方法は、既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、符号化済ピクチャを識別するための第２参照インデックスを前記各符号化済ピクチャに割り当てる割当ステップと、前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャのうち、０を示す第２参照インデックスが割り当てられた符号化済ピクチャを、第２参照ピクチャとして選択する第２参照ピクチャ選択ステップと、前記第２参照ピクチャ内の所定のブロックの符号化に用いられた動きベクトルに基づいて、符号化済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップとを含み、前記割当ステップでは、表示順が前記符号化対象ピクチャよりも前になったことがある符号化済ピクチャに対して、０を示す第２参照インデックスが割り当てられるのを禁止することを特徴とする。
【００９９】
これにより、表示順が符号化対象ピクチャよりも前になったことがある符号化済ピクチャに対して、０を示す第２参照インデックスが割り当てられるのが禁止されるため、表示順が前になったことがあるその符号化済ピクチャは第２参照ピクチャとして選択されることがなく、その符号化済ピクチャ上のブロックの符号化に用いられた動きベクトルを、符号化対象ピクチャの符号化のためにわざわざメモリに保存しておく処理を省くことができ、符号化効率を向上することができる。
【０１００】
ここで、前記画像符号化方法は、さらに、符号化済ピクチャの符号化に用いられた動きベクトルを記憶しているメモリから、表示順が前記符号化対象ピクチャよりも前になったことがある符号化済ピクチャの符号化に用いられた動きベクトルを削除する削除ステップを含むことを特徴としても良い。
【０１０１】
これにより、符号化処理に不要な動きベクトルがメモリに保存されるのを防いで、メモリの記憶容量を小さくすることができる。
【０１０２】
さらに、本発明に係る画像符号化方法は、既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、記憶部に格納されている複数の符号化済ピクチャから、前記複数の符号化済ピクチャに対して付与された第１参照インデックスと第２参照インデックスとを用いて、前記第１参照インデックスに対応する符号化済ピクチャを第１参照ピクチャとして選択し、前記第２参照インデックスに対応する符号化済ピクチャを第２参照ピクチャとして選択する選択ステップと、前記第１参照ピクチャ上のブロックと前記第２参照ピクチャ上のブロックに基づいて画素補間により予測画像を生成する予測画像生成ステップと、前記符号化対象ピクチャと前記予測画像との差である予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する出力ステップとを含み、前記選択ステップでは、前記符号化済ピクチャのうち前記符号化対象ピクチャより表示順が前で前記第１参照インデックスが最小の符号化済ピクチャを第１参照ピクチャとして選択し、前記予測画像生成ステップでは、前記第２参照ピクチャ内で前記符号化対象ピクチャ上の符号化対象ブロックと同じ位置のブロックの符号化に使用された第１動きベクトルに基づいて、前記ブロックに対して前記第１参照ピクチャを参照先とする第２動きベクトルを算出するとともに、前記第２動きベクトルに基づいて、前記符号化対象ブロックに対して第１参照ピクチャを参照先とする第３動きベクトルと、前記符号化対象ブロックに対して第２参照ピクチャを参照先とする第４動きベクトルとを算出し、前記第３動きベクトルの参照先となる前記第１参照ピクチャ上のブロックと、前記第４動きベクトルの参照先となる前記第２参照ピクチャ上のブロックとから画素補間により予測画像を生成することを特徴とする。
【０１０３】
これにより、符号化対象ピクチャ内の各ブロックに対して参照先となる第１参照ピクチャが、第２参照ピクチャの第１動きベクトルの参照先に関わらず共通化されるため、従来例のように第１参照ピクチャを識別するための情報をわざわざメモリに保存しておく必要がなく、そのメモリの記憶容量を小さくすることができるとともに、符号化処理を簡略化して符号化効率の向上を図ることができる。
【０１０４】
また、本発明に係る画像復号化方法は、符号化されたピクチャを、既に復号されたピクチャを参照することによりブロック毎に復号する画像復号化方法であって、復号対象のピクチャの復号に参照される復号済ピクチャを第２参照ピクチャとして特定するための特定情報、及び前記復号対象ピクチャに関する符号化信号を取得する取得ステップと、前記復号対象ピクチャよりも表示順が後の復号済ピクチャの中から、前記特定情報に基づいて第２参照ピクチャを選択する第２参照ピクチャ選択ステップと、前記第２参照ピクチャ内の所定のブロックの復号に用いられた動きベクトルに基づいて、復号済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、前記予測画像及び前記符号化信号に基づいて復号対象ブロックを復号する復号ステップとを含むことを特徴とする。
【０１０５】
ここで、前記取得ステップでは、前記第２参照ピクチャを指し示す第２参照インデックスから構成される特定情報を取得し、前記第２参照ピクチャ選択ステップでは、前記第２参照インデックスにより示される前記第２参照ピクチャを選択することを特徴としても良い。また、前記取得ステップでは、前記各復号済ピクチャを識別するためにそれぞれに割り当てられる第２参照インデックスの変更方法を示す特定情報を取得し、前記第２参照ピクチャ選択ステップでは、前記第２参照インデックスの変更方法から特定される復号済ピクチャを前記第２参照ピクチャとして選択することを特徴としても良い。
【０１０６】
これにより、特定情報に基づいて第２参照ピクチャを一意に選択して、
本発明に係る画像符号化方法により符号化されたピクチャを正確に復号することができる。
【０１０７】
また上記以外にも、本発明に係る画像符号化方法は、記憶部に格納されている複数の符号化済フレームから、符号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記符号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第一のステップと、前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第二のステップと、入力された符号化対象フレームと前記予測画像との差である予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する第三のステップとを有する画像符号化方法における第一のステップにおいて、前記符号化済フレームのうち前記符号化対象フレームより表示順が後で前記第２相対インデックスが最小の参照フレームを前記第２の参照フレームとして選択し、前記第二のステップにおいて、前記第２の参照フレーム内で、前記符号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、この動きベクトルから所定の方法により前記第１の参照フレームへの動きベクトルと前記第２の参照フレームへの動きベクトルとを算出し、前記第１の参照フレームに対する動きベクトルから得られるブロックと、前記第２の参照フレームに対する動きベクトルから得られるブロックと、から画素補間により予測画像を生成することを特徴としても良い。
【０１０８】
また上記以外にも、本発明に係る画像復号化方法は、予測誤差の符号化信号を含む画像符号化信号を入力する第一のステップと、記憶部に格納されている複数の復号化済フレームから、復号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記復号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第二のステップと、前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第三のステップと、前記予測画像と復号した予測誤差からフレームの復号画像を生成する第四のステップと、フレーム間予測に使用される可能性があるフレームの復号画像を前記記憶部に格納する第五のステップとを有する画像復号化方法における第二のステップにおいて、前記復号化済フレームのうち前記復号化対象フレームより表示順が後で前記第２相対インデックスが最小の参照フレームを前記第２の参照フレームとして選択し、前記第三のステップにおいて、前記第２の参照フレーム内で、前記復号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、この動きベクトルから所定の方法により前記第１の参照フレームへの動きベクトルと前記第２の参照フレームへの動きベクトルとを算出し、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成することを特徴としても良い。
【０１０９】
また上記以外にも、本発明に係る画像符号化方法は、記憶部に格納されている複数の符号化済フレームから、符号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記符号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第一のステップと、前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第二のステップと、入力された符号化対象フレームと前記予測画像との差である予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する第三のステップとを有する画像符号化方法における第一のステップにおいて、前記符号化済フレームで前記符号化対象フレームより表示順が後のフレームから前記第２の参照フレームを選択し、前記第二のステップにおいて、前記第２の参照フレーム内で、前記符号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、この動きベクトルから所定の方法により前記第１の参照フレームへの動きベクトルと前記第２の参照フレームへの動きベクトルとを算出し、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成し、前記第三のステップにおいて、前記第一のステップで選択された前記第２の参照フレームを示す第２相対インデックスを画像符号化信号中に含めることを特徴としても良い。
【０１１０】
また上記以外にも、本発明に係る画像復号化方法は、予測誤差の符号化信号を含む画像符号化信号を入力する第一のステップと、記憶部に格納されている複数の復号化済フレームから、復号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記復号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第二のステップと、前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第三のステップと、前記予測画像と復号した予測誤差からフレームの復号画像を生成する第四のステップと、フレーム間予測に使用される可能性があるフレームの復号画像を記憶部に格納する第五のステップとを有する画像復号化方法における第一のステップにおいて、第２相対インデックスを有する前記画像符号化信号から前記第２相対インデックスを取得し、前記第二のステップにおいて、前記第一ステップで取得した前記第２相対インデックスが示すフレームを前記第２の参照フレームとし、前記第三のステップにおいて、前記第２の参照フレーム内で、前記復号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、この動きベクトルから所定の方法により前記第１の参照フレームへの動きベクトルと前記第２の参照フレームへの動きベクトルとを算出し、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成することを特徴としても良い。
【０１１１】
また上記以外にも、本発明に係る画像符号化方法は、記憶部に格納されている複数の符号化済フレームから、符号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記符号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第一のステップと、前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第二のステップと、入力された符号化対象フレームと前記予測画像との差である予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する第三のステップとを有する画像符号化方法における第一のステップにおいて、前記符号化済フレームのうち前記符号化対象フレームより表示順が前で前記第１相対インデックスが最小の参照フレームを第１の参照フレームとして選択し、前記第二のステップにおいて、前記第２の参照フレーム内で前記符号化対象フレーム上の所定のブロックと同じ位置の第１のブロックの動き補償で使用した第１の動きベクトルと、前記第１の参照フレームと前記第２の参照フレームとの間隔とから、前記第一のブロックから第１の参照フレーム上で前記前記第１の動きベクトルが参照するブロックと同じ位置にあるブロックへの第２の動きベクトルを算出し、算出された前記第２の動きベクトルを用いて所定の方法により前記第１の参照フレームへの動きベクトルと前記第２の参照フレームへの動きベクトルとを算出し、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成することを特徴としても良い。
【０１１２】
また上記以外にも、本発明に係る画像復号化方法は、予測誤差の符号化信号を含む画像符号化信号を入力する第一のステップと、記憶部に格納されている複数の復号化済フレームから、復号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記復号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第二のステップと、前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第三のステップと、前記予測画像と復号した予測誤差からフレームの復号画像を生成する第四のステップと、フレーム間予測に使用される可能性があるフレームの復号画像を記憶部に格納する第五のステップとを有する画像復号化方法における第二のステップにおいて、前記符号化済フレームのうち前記符号化対象フレームより表示順が前で前記第１相対インデックスが最小の参照フレームを前記第１の参照フレームとして選択し、前記第三のステップにおいて、前記第２の参照フレーム内で前記復号化対象フレーム上の所定のブロックと同じ位置の第１のブロックの動き補償で使用した第１の動きベクトルと、前記第１の参照フレームと前記第２の参照フレームとの時間間隔とから、前記第一のブロックから第１の参照フレーム上で前記前記第１の動きベクトルが参照するブロックと同じ位置にあるブロックへの第２の動きベクトルを算出し、算出された前記第２の動きベクトルを用いて所定の方法により前記第１の参照フレームへの動きベクトルと前記第２の参照フレームへの動きベクトルとを算出し、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成することを特徴としても良い。
【０１１３】
また上記以外にも、本発明に係る画像符号化方法は、記憶部に格納されている複数の符号化済フレームから、符号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記符号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第一のステップと、各前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第二のステップと、入力された符号化対象フレームと前記予測画像との差である予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する第三のステップとを有する画像符号化方法における第一のステップにおいて、前記符号化済フレームで前記符号化対象フレームより表示順が前のフレームから前記第１の参照フレームを選択し、前記第二のステップにおいて、前記第２の参照フレーム内で前記符号化対象フレーム上の所定のブロックと同じ位置の第１のブロックの動き補償で使用した第１の動きベクトルと、前記第一のステップで選択された前記第１の参照フレームと前記第２の参照フレームとの時間間隔とから、前記第一のブロックから第１の参照フレーム上で前記前記第１の動きベクトルが参照するブロックと同じ位置にあるブロックへの第２の動きベクトルを算出し、算出された前記第２の動きベクトルを用いて所定の方法により前記第一のステップで選択された前記第１の参照フレームへの動きベクトルと前記第２の参照フレームへの動きベクトルとを算出し、前記第一のステップで選択された前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成し、前記第三のステップにおいて、前記第一のステップで選択された前記第１の参照フレームを示す第１相対インデックスを画像符号化信号中に含めることを特徴としても良い。
【０１１４】
ここで、前記第１の動きベクトルが参照するフレームの番号は格納しないことを特徴としても良く、さらに、前記記憶部に格納されている複数の符号化済フレームのうち前記符号化対象フレームに対して表示順で前になった前記第２の参照フレームの内で前記符号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した前記第一の動きベクトルを削除するステップを有することを特徴としても良い。
【０１１５】
また上記以外にも、本発明に係る画像復号化方法は、予測誤差の符号化信号を含む画像符号化信号を入力する第一のステップと、記憶部に格納されている複数の復号化済フレームから、復号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記復号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第二のステップと、前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第三のステップと、前記予測画像と復号した予測誤差からフレームの復号画像を生成する第四のステップと、フレーム間予測に使用される可能性があるフレームの復号画像を記憶部に格納する第五のステップとを有する画像復号化方法における第一のステップにおいて、第１相対インデックスを有する前記画像符号化信号から前記第１相対インデックスを取得し、前記第二のステップにおいて、前記第２の参照フレーム内で前記符号対象フレーム上の所定のブロックと同じ位置の第１のブロックの動き補償で使用した第１の動きベクトルと、前記第一のステップで取得された前記第１の参照フレームと前記第２の参照フレームとの時間間隔とから、前記第一のブロックから第１の参照フレーム上で前記前記第１の動きベクトルが参照するブロックと同じ位置にあるブロックへの第２の動きベクトルを算出し、算出された前記第２の動きベクトルを用いて所定の方法により前記第一のステップで取得された前記第１の参照フレームへの動きベクトルと前記第２の参照フレームへの動きベクトルとを算出し、前記第一のステップで取得された前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成することを特徴としても良い。
【０１１６】
また上記以外にも、本発明に係る画像符号化装置は、画像信号を入力し、前記画像信号と予測画像との差分を行い残差信号として出力する差分器と、前記差分信号に画像符号化処理を行い残差符号化信号として出力する画像符号化手段と、前記残差符号化信号を復号して残差復号信号として出力する画像復号手段と、前記残差復号信号と予測画像を加算して再構成画像を出力する加算器と、前記記憶部内の符号化済フレームのうちで符号化対象フレームより表示順が後で第２相対インデックスが最小の参照フレームを第２の参照フレームとして選択するダイレクトモード用第２参照フレーム選択手段と、前記第２の参照フレーム内で符号化対象フレーム上の所定のブロックの動き補償で使用した動きベクトルが参照するフレームを第１の参照フレームとし、この動きベクトルから所定の方法により前記第１の参照フレームと前記第２の参照フレームへの動きベクトルを生成するダイレクトモード用ベクトル・相対インデックス生成手段と、前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームに対する動きベクトルが参照する２つの参照ブロックの画素補間を行い予測画像として出力する画素補間手段と、予測誤差を可変長符号化して符号化信号として出力する可変長符号化手段を備えたものであることを特徴としても良い。
【０１１７】
また上記以外にも、本発明に係る画像復号化装置は、画像符号化信号を入力し可変長復号を行い、残差符号化信号を出力する可変長復号手段と、前記残差符号化信号を復号し復号残差信号を出力する画像復号手段と、前記残差復号信号と予測画像信号を加算し復号画像を出力する加算器と、前記復号画像を格納する記憶部と、第２相対インデックスが最小の参照フレームを第２の参照フレームとして選択するダイレクトモード用第２参照フレーム選択手段と、前記第２の参照フレーム内で符号化対象ブロックと同一位置のブロックの動きベクトルが参照するフレームを第１の参照フレームとし、この動きベクトルから所定の方法により第１の参照フレームと第２の参照フレームへの動きベクトルを生成するダイレクトモード用ベクトル・相対インデックスと生成手段と、前記第１および第２の参照フレームと各参照フレームに対応する動きベクトルが参照する２つの参照ブロックの画素補間を行い前記予測画像信号として出力する画素補間手段を備えたものであることを特徴とする画像復号化装置。
【０１１８】
さらに、本発明に係る記憶媒体は、コンピュータにより、上述の画像符号化方法及び画像復号化方法のいずれかに記載された動画像の符号化または復号化の処理を行うためのプログラムを格納した記録媒体であって、上記プログラムはコンピュータに上述の画像符号化方法及び画像復号化方法のいずれかに記載の動画像の符号化または復号化の処理を行わせるものであることを特徴としても良い。
【０１１９】
なお、本発明は、上記画像符号化方法や画像復号化方法を用いる画像符号化装置、画像復号化装置、プログラム、及びそのプログラムを格納する記憶媒体としても実現することができる。
【０１２０】
【発明の実施の形態】
（実施の形態１）
本発明の実施の形態１における画像符号化装置について、以下図面を参照しながら説明する。
【０１２１】
図１は、実施の形態１における画像符号化装置のブロック図である。
この画像符号化装置１００は、画像を示す内容の画像信号Ｉｍｇを取得して、その画像信号Ｉｍｇをブロック毎に符号化処理するものであって、減算器１０１と、画像復号化部１０４と、可変長符号化部１０３と、動き推定部１０９と、予測種別選択部１０８と、スイッチ１１１，１１２と、画素補間部１０６と、ダイレクトモード処理部１１０と、ベクトル用バッファ１１４と、マルチフレームバッファ１０７と、ピクチャ選択部１１３とを備えている。
【０１２２】
減算器１０１は、画像信号Ｉｍｇから予測画像信号Ｐｒｅを減算し、その減算結果を残差信号Ｒｅｓとして出力する。
【０１２３】
画像符号化部１０２は、残差信号Ｒｅｓを減算器１０１から取得して、その残差信号Ｒｅｓに対してＤＣＴ変換及び量子化などの画像符号化処理を行い、量子化済ＤＣＴ係数などを含む残差符号化信号ＥＲを出力する。
【０１２４】
画像復号化部１０４は、画像符号化部１０２から残差符号化信号ＥＲを取得して、その残差符号化信号ＥＲに対して逆量子化及び逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号ＤＲを出力する。
【０１２５】
加算器１０５は、残差復号信号ＤＲと予測画像信号Ｐｒｅとを加算し、その加算結果を再構成画像信号Ｒｅｃとして出力する。
【０１２６】
マルチフレームバッファ１０７は、加算器１０５から再構成画像信号Ｒｅｃを取得すると、その再構成画像信号Ｒｅｃのうち、以降のピクチャ間予測で参照される可能性がある信号を格納する。つまり、マルチフレームバッファ１０７の記憶容量は有限なため、マルチフレームバッファ１０７は、加算器１０５から取得した再構成画像信号Ｒｅｃのうち、以降のピクチャ間予測に使用されないピクチャのデータを除去する。
【０１２７】
動き推定部１０９は、マルチフレームバッファ１０７に格納されているピクチャを参照ピクチャＲＰとして取得して動き推定を行い、面内予測、第１参照ピクチャ予測、第２参照ピクチャ予測、及び補間予測の予測種別の中から、所定の方法で最適な予測種別を選択する（なお、選択可能な予測種別はピクチャ種別によって異なる）。ここで、動き推定部１０９は、最適な予測種別を選択するときには、例えば、各予測種別による予測誤差が最小となる予測種別を選択する。
【０１２８】
そして、動き推定部１０９は、補間予測を選択したときには、符号化対象のブロックに対する第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、第１参照インデックスＲＩ１、第２参照インデックスＲＩ２を出力する。また、動き推定部１０９は、面内予測を選択したときには、上述のような動きベクトルや参照インデックスを出力せず、第１参照ピクチャ予測を選択したときには、第１動きベクトルＭＶ１及び第１参照インデックスＲＩ１のみを出力し、第２参照ピクチャ予測を選択したときには、第２動きベクトルＭＶ２及び第２参照インデックスＲＩ２のみを出力する。
【０１２９】
ベクトル用バッファ１１４は、第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、第１参照インデックスＲＩ１、及び第２インデックスＲＩ２を動き推定部１０９から取得する。そして、ベクトル用バッファ１１４は、その取得結果に基づいて、ダイレクトモードに用いられるスケーリング用ベクトルｒＭＶと、そのスケーリング用ベクトルｒＭＶの参照先となるピクチャを示すピクチャ番号及び参照インデックスを記憶している。
【０１３０】
つまり、ダイレクトモード時には、符号化済ピクチャのブロックを符号化したときに用いられた第１動きベクトルがスケーリング用ベクトルｒＭＶとして使用され、その第１動きベクトルの参照先となるピクチャが第１参照ピクチャとして扱われるため、ベクトル用バッファ１１４は、動き推定部１０９から出力された第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、第１参照インデックスＲＩ１、及び第２インデックスＲＩ２のうち、ダイレクトモードに使用される可能性がある第１動きベクトルＭＶ１及び第１参照インデックスＲＩ１を記憶している。
【０１３１】
また、ベクトル用バッファ１１４は、第２参照インデックスｒＲＩ２をピクチャ選択部１１３から取得する。そして、ベクトル用バッファ１１４は、ピクチャ選択部１１３からその第２参照インデックスｒＲＩ２を取得すると、記憶している内容に基づいて、その第２参照インデックスｒＲＩ２により指し示されるピクチャ内の所定のブロックに対応する第１動きベクトルＭＶ１を、スケーリング用ベクトルｒＭＶとして出力するとともに、そのスケーリング用ベクトルｒＭＶの参照先となるピクチャを示す第１参照インデックスＲＩ１を、第１参照インデックスｒＲＩ１として出力する。
【０１３２】
ダイレクトモード処理部１１０は、ダイレクトモード用スケーリング係数ＳＰ、スケーリング用ベクトルｒＭＶ、第１参照インデックスｒＲＩ１、及び第２参照インデックスｒＲＩ２を取得すると、符号化対象のブロックに対して上述のダイレクトモードに基づく処理を行い、その結果として、第１動きベクトルｓＭＶ１、第２動きベクトルｓＭＶ２、第１参照インデックスｒＲＩ１、及び第２参照インデックスｒＲＩ２を出力する。ここで、ダイレクトモード処理部１１０は、ダイレクトモードスケーリング係数ＳＰを取得する代わりに、第１参照インデックスｒＲＩ１に示される参照ピクチャの表示時刻を示す表示時刻情報と、第２参照インデックスｒＲＩ２に示される参照ピクチャの表示時刻を示す表示時刻情報と、符号化対象ピクチャの表示時刻を示す表示時刻情報とを取得しても良い。このときには、ダイレクトモード処理部１１０は、これらの表示時刻情報に示される各ピクチャの表示時刻から、各ピクチャ間の表示時刻差を算出し、それらの表示時刻差の比を用いてスケーリング用ベクトルｒＭＶに対するスケーリングを行う。これにより、ダイレクトモード処理部１１０は、ダイレクトモードスケーリング係数ＳＰを用いたときと同様に、第１動きベクトルｓＭＶ１及び第２動きベクトルｓＭＶ２を算出する。
【０１３３】
予測種別選択部１０８は、画像信号Ｉｍｇと、参照ピクチャＲＰと、ダイレクトモード処理部１１０から出力される第１参照インデックスｒＲＩ１、第２参照インデックスｒＲＩ２、第１動きベクトルｓＭＶ１、及び第２動きベクトルｓＭＶ２を取得するとともに、動き推定部１０９から出力される第１参照インデックスＲＩ１、第２参照インデックスＲＩ２、第１動きベクトルＭＶ１、及び第２動きベクトルＭＶ２を取得する。そして、予測種別選択部１０８は、取得した内容に基づいて符号化対象ブロックに対する予測種別を選択する。つまり、予測種別選択部１０８は、符号化対象ブロックに対してダイレクトモードを適用すべきか否かを判別する。さらに、予測種別選択部１０８は、選択した予測種別を示す内容の種別情報ＰＴを可変長符号化部１０３に出力する。
【０１３４】
ここで、予測種別選択部１０８は、予測種別を選択するときには、例えば、符号化対象ブロックに対してダイレクトモードを適用したときの予測誤差と、ダイレクトモードを適用していないときの予測誤差とを比較する。そして、予測種別選択部１０８は、ダイレクトモードを適用したときの予測誤差の方が小さいと判別したときには、ダイレクトモードを適用する予測種別を選択し、ダイレクトモードを適用しないときの予測誤差の方が小さいと判別したときには、ダイレクトモードを適用しない予測種別を選択する。
【０１３５】
さらに、予測種別選択部１０８は、ダイレクトモードの適用を予測種別として選択したときには、スイッチ１１１の接点を接点０から接点１に切り替えさせる。これにより、ダイレクトモード処理部１１０から出力された第１参照インデックスｒＲＩ１、第２参照インデックスｒＲＩ２、第１動きベクトルｓＭＶ１、及び第２動きベクトルｓＭＶ２は、スイッチ１１１を介してマルチフレームバッファ１０７に、第１参照インデックスＲＩ１、第２参照インデックスＲＩ２、第１動きベクトルＭＶ１、及び第２動きベクトルＭＶ２として送信される。
【０１３６】
一方、予測種別選択部１０８は、ダイレクトモードの不適用を予測種別として選択したときには、スイッチ１１１の接点を接点１から接点０に切り替えさせる。これにより、動き推定部１０９から出力された第１参照インデックスＲＩ１、第２参照インデックスＲＩ２、第１動きベクトルＭＶ１、及び第２動きベクトルＭＶ２は、スイッチ１１１を介して可変長符号化部１０３及びマルチフレームバッファ１０７に送信される。
【０１３７】
また、予測種別選択部１０８は、補間予測以外の予測を予測種別として選択したときには、スイッチ１１２の接点を接点１から接点０に切り替え、補間予測を予測種別として選択したときには、スイッチ１１２の接点を接点０から接点１に切り替えさせる。その結果、減算器１０１及び加算器１０５に取得される予測画像信号Ｐｒｅは予測種別に応じ、マルチフレームバッファ１０７からの出力によるものと、画素補間部１０６からの出力によるものとに切り替えられる。
【０１３８】
マルチフレームバッファ１０７は、補間予測時には、動き推定部１０９及びダイレクトモード処理部１１０からの出力に基づいて第１参照インデックスＲＩ１（ｒＲＩ１）及び第１動きベクトルＭＶ１（ｓＭＶ１）を取得すると、その第１参照インデックスＲＩ１及び第１動きベクトルＭＶ１に対応する参照ブロックＲＢ１を画素補間部１０６に出力する。さらに、マルチフレームバッファ１０７は、動き推定部１０９及びダイレクトモード処理部１１０からの出力に基づいて第２参照インデックスＲＩ２（ｒＲＩ２）及び第２動きベクトルＭＶ２（ｓＭＶ２）を取得すると、その第２参照インデックスＲＩ２及び第２動きベクトルＭＶ２に対応する参照ブロックＲＢ２を画素補間部１０６に出力する。
【０１３９】
そして、マルチフレームバッファ１０７は、第１参照ピクチャ予測時には、第１参照インデックスＲＩ１と第１動きベクトルＭＶ１とに対応する参照ブロックＲＢを出力する。また、マルチフレームバッファ１０７は、第２参照ピクチャ予測時には、第２参照インデックスＲＩ２と第２動きベクトルＭＶ２とに対応する参照ブロックＲＢを出力する。なお、面内予測時には、マルチフレームバッファ１０７は、面内予測結果を示す画素からなるブロックＲＢを出力する。
【０１４０】
画素補間部１０６は、マルチフレームバッファ１０７から参照ブロックＲＢ１，ＲＢ２を取得すると、その参照ブロックＲＢ１，ＲＢ２の中の互いに位置が等しい画素の画素値を補間し、その補間結果を補間ブロックＲｅＰとして出力する。
【０１４１】
そして上述のように、スイッチ１１２の接点は、予測種別選択部１０８からの予測種別に応じて切り替えられるため、補間予測以外の予測が予測種別として選択されたときには、マルチフレームバッファ１０７からのブロックＲＢがスイッチ１１２を介して予測画像信号Ｐｒｅとして減算器１０１及び加算器１０５に送信され、補間予測が予測種別として選択されたときには、画素補間部１０６からの補間ブロックＲｅＰがスイッチ１１２を介して予測画像信号Ｐｒｅとして減算器１０１及び加算器１０５に送信される。
【０１４２】
可変長符号化部１０３は、残差符号化信号ＥＲ、第１参照インデックスＲＩ１、第２参照インデックスＲＩ２、第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、ダイレクトモード用スケーリング係数ＳＰ、及び種別信号ＰＴを可変長符号化し、その結果を画像符号化信号ＢＳとして出力する。ここで、ダイレクトモード処理部１１０での処理に、ダイレクトモード用スケーリング係数ＳＰが用いられずに、表示時刻情報が用いられたときには、可変長符号化部１０３は、ダイレクトモード用スケーリング係数ＳＰを可変長符号化することなく、上述のスケーリングに用いた表示時刻情報を可変長符号化して、その可変長符号化された表示時刻情報を画像符号化信号ＢＳに含める。
【０１４３】
図２は、画像符号化信号ＢＳの一部の構成を示す構成図である。
画像符号化信号ＢＳはピクチャ単位で構成されており、その１つのピクチャ単位には、ヘッダと各ブロックに関する情報が含まれる。
この図２に示す画像符号化信号ＢＳの一部は、ダイレクトモードで符号化されたブロックを含むピクチャに相当するものであって、ヘッダ２１と、第１ブロック符号化信号２２と、第２ブロック符号化信号２３とが含まれている。
【０１４４】
第１ブロック符号化信号２２は、ダイレクトモードで符号化されたブロックを示すものであって、ダイレクトモードの適用を示す種別情報ＰＴが符号化された種別符号化信号２８が含まれている。
【０１４５】
第２ブロック符号化信号２３は、ダイレクトモード以外の補間予測で符号化されたブロックを示すものであって、ダイレクトモードの不適用を示す種別情報ＰＴが符号化された種別符号化信号２９と、第１参照インデックスＲＩ１が符号化された第１インデックス符号化信号３０と、第２参照インデックスＲＩ２が符号化された第２インデックス符号化信号３１と、第１動きベクトルＭＶ１が符号化されたＭＶ１符号化信号３２と、第２動きベクトルＭＶ２が符号化されたＭＶ２符号化信号３３とを含んでいる。
【０１４６】
ヘッダ２１には、そのピクチャに対する参照インデックスの割り当ての変更内容を示すリマッピング情報が符号化されたリマッピング符号化情報２７と、ダイレクトモード用スケーリング係数ＳＰに含まれる図３５に示す係数ＴＲ１、つまり符号化対象ピクチャと第１参照ピクチャとの表示時刻差が符号化された第１時間差情報２４と、ダイレクトモード用スケーリング係数ＳＰに含まれる係数ＴＲ２、つまり符号化対象ピクチャと第２参照ピクチャとの表示時刻差が符号化された第２時間差情報２５と、ダイレクトモード用スケーリング係数ＳＰに含まれる係数ＴＲ０、つまり第１参照ピクチャと第２参照ピクチャとの表示時刻差が符号化された時間差情報２６とを含んでいる。また、ダイレクトモード処理部１１０での処理に、ダイレクトモード用スケーリング係数ＳＰが用いられずに、表示時刻情報が用いられる場合には、上述の第１時間差情報２４と第２時間差情報２５と時間差情報２６の代わりに、当該ピクチャの表示時刻情報が符号化された信号が上記ヘッダ２１に含まれる。
【０１４７】
ここで、本実施の形態におけるピクチャ選択部１１３は、マルチフレームバッファ１０７に格納されているピクチャから、ダイレクトモードに用いられるピクチャを第２参照ピクチャとして選択する。
即ち、ピクチャ選択部１１３は、符号化対象ピクチャに対して表示順が後のピクチャのうち、第２参照インデックスが最小のピクチャを、ダイレクトモードに用いられる第２参照ピクチャとして選択する。
【０１４８】
そしてピクチャ選択部１１３は、選択した第２参照ピクチャの第２参照インデックスｒＲＩ２をベクトル用バッファ１１４及びダイレクトモード処理部１１０に対して出力する。なお、ピクチャ選択部１１３は、表示順に関する情報が各ピクチャ毎に付随しているので、これを利用して各ピクチャの表示順序を知得する。
【０１４９】
図３は、本実施の形態におけるダイレクトモードにより画像を符号化するときの動作を示すフロー図である。
まず、画像符号化装置１００は、ピクチャ選択部１１３により、符号化対象ピクチャよりも表示順が後のピクチャのうち、第２参照インデックスが最小のピクチャを第２参照ピクチャとして選択する（ステップＳ１００）。
【０１５０】
次に、画像符号化装置１００は、ベクトル用バッファ１１４により、上述のように選択された第２参照ピクチャの中における符号化対象ブロックと同じ位置にあるブロックの第１動きベクトルＭＶ１を、スケーリング用ベクトルｒＭＶとして特定するとともに、その第１動きベクトルＭＶ１の参照先となるピクチャを第１参照ピクチャとして特定する（ステップＳ１０２）。
【０１５１】
そして、画像符号化装置１００は、ダイレクトモード処理部１１０、マルチフレームバッファ１０７、及び画素補間部１０６により、上述のように選択された第２参照ピクチャと、上述のように特定された第１参照ピクチャ及びスケーリング用ベクトルｒＭＶとを用いて、ダイレクトモードによる予測画像を生成する（ステップＳ１０４）。
【０１５２】
予測画像を生成すると、画像符号化装置１００は、符号化対象ブロックと予測画像から予測誤差を生成して（ステップＳ１０６）、その生成された予測誤差を符号化する（ステップＳ１０８）。
【０１５３】
ここで、符号化対象ピクチャを基準に他の各ピクチャに対して割り当てられる第１参照インデックス及び第２参照インデックスが変更される場合（このような場合を以下「リマッピング」という）における、本実施の形態の動作について説明する。
【０１５４】
図４は、リマッピングが生じたときにおける本実施の形態の動作について説明するための説明図である。
図４の（ａ）は、リマッピングが生じる前（デフォルトの状態）において、各ピクチャに対して割り当てられた第１参照インデックス及び第２参照インデックスを示す。
【０１５５】
リマッピングが生じる前、つまりデフォルトでは、まず、図４中の点線で示される符号化対象ピクチャよりも表示順が前にある全てのピクチャに対して、符号化対象ピクチャに近いピクチャから順に、０，１，２が第１参照インデックスとして割り当てられる。つまり、ピクチャ番号が１４のピクチャに対しては、第１参照インデックスとして０が割り当てられ、ピクチャ番号が１２のピクチャに対しては、第１参照インデックスとして１が割り当てられ、ピクチャ番号が１０のピクチャに対しては、第１参照インデックスとして２が割り当てられる。
【０１５６】
上述のような割り当てが符号化対象ピクチャよりも表示順が前にある全てのピクチャに対して行われると、次に、符号化対象ピクチャよりも表示順が後にある全てのピクチャに対して、符号化対象ピクチャに近いピクチャから順に、３，４，５が第１参照インデックスとして割り当てられる。つまり、ピクチャ番号が１５のピクチャに対しては、第１参照インデックスとして３が割り当てられ、ピクチャ番号が１３のピクチャに対しては、第１参照インデックスとして４が割り当てられ、ピクチャ番号が１１のピクチャに対しては、第１参照インデックスとして５が割り当てられる。
【０１５７】
そして、符号化対象ピクチャよりも表示順が後にある全てのピクチャに対して、符号化対象ピクチャに近いピクチャから順に、０，１，２が第２参照インデックスとして割り当てられる。つまり、ピクチャ番号が１５のピクチャに対しては、第２参照インデックスとして０が割り当てられ、ピクチャ番号が１３のピクチャに対しては、第２参照インデックスとして１が割り当てられ、ピクチャ番号が１１のピクチャに対しては、第２参照インデックスとして２が割り当てられる。
【０１５８】
上述のような割り当てが符号化対象ピクチャよりも表示順が後にある全てのピクチャに対して行われると、次に、符号化対象ピクチャよりも表示順が前にある全てのピクチャに対して、符号化対象ピクチャに近いピクチャから順に、３，４，５が第２参照インデックスとして割り当てられる。つまり、ピクチャ番号が１４のピクチャに対しては、第２参照インデックスとして３が割り当てられ、ピクチャ番号が１２のピクチャに対しては、第２参照インデックスとして４が割り当てられ、ピクチャ番号が１０のピクチャに対しては、第２参照インデックスとして５が割り当てられる。
【０１５９】
図４の（ｂ）は、リマッピングが生じた場合において、各ピクチャに対して割り当てられる第１参照インデックス及び第２参照インデックス並びにリマッピング情報を示す。
【０１６０】
リマッピングが生じると、例えば、ピクチャ番号「１４」のピクチャに対して割り当てられる第１参照インデックスは「０」から「２」に変更され、ピクチャ番号「１２」のピクチャに対して割り当てられる第１参照インデックスは「１」から「０」に変更され、ピクチャ番号「１０」のピクチャに対して割り当てられる第１参照インデックスは「２」から「１」に変更される。また、ピクチャ番号「１４」のピクチャに対して割り当てられる第２参照インデックスは「３」から「０」に変更され、ピクチャ番号「１５」のピクチャに対して割り当てられる第２参照インデックスは「０」から「２」に変更され、ピクチャ番号「１１」のピクチャに対して割り当てられる第２参照インデックスは「２」から「３」に変更される。
【０１６１】
また、リマッピング情報は、参照インデックスに変更が生じた各ピクチャに対してその変更内容を示す数値から構成される。図４の（ｂ）では、第２参照インデックスに対するリマッピング情報を示している。例えば、第２参照インデックス「０」が割り当てられるピクチャが、ピクチャ番号「１５」のピクチャからピクチャ番号「１４」のピクチャに変更されると、ピクチャ番号「１４」からピクチャ番号「１５」を減算した数値「−１」が、ピクチャ番号「１４」に対応してリマッピング情報に含まれる。さらに、第２参照インデックス「２」が割り当てられるピクチャが、ピクチャ番号「１１」のピクチャからピクチャ番号「１５」のピクチャに変更されると、ピクチャ番号「１５」からピクチャ番号「１１」を減算した数値「＋４」が、ピクチャ番号「１５」に対応してリマッピング情報に含まれる。同様に、第２参照インデックス「３」が割り当てられるピクチャが、ピクチャ番号「１４」のピクチャからピクチャ番号「１１」のピクチャに変更されると、ピクチャ番号「１１」からピクチャ番号「１４」を減算した数値「−３」が、ピクチャ番号「１１」に対応してリマッピング情報に含まれる。なお、図４の（ｂ）に示すようなリマッピングの場合、第２参照インデックス「１」が割り当てられるピクチャは変更されないが、数値「０」がピクチャ番号「１３」に対応してリマッピング情報に含まれる。
【０１６２】
このようなリマッピング情報は、画像符号化装置１００の図示しない管理部などに管理されており、動き推定部１０９、予測種別選択部１０８、マルチフレームバッファ１０７、及びピクチャ選択部１１３は、そのリマッピング情報に基づいて第１参照インデックス及び第２参照インデックスを特定する。
【０１６３】
このような本実施の形態では、上述のようにピクチャ選択部１１３が、符号化対象ピクチャよりも表示順が後のピクチャのうち、第２参照インデックスが最小のピクチャを第２参照ピクチャとして選択するため、リマッピングが生じていないときには、第２参照インデックスが０であるピクチャ番号「１５」のピクチャがダイレクトモードの第２参照ピクチャとして用いられ、リマッピングが生じたときには、第２参照インデックスが１であるピクチャ番号「１３」のピクチャがダイレクトモードの第２参照ピクチャとして用いられる。
【０１６４】
その結果、リマッピングが生じてもダイレクトモードによる符号化時には、符号化対象ピクチャよりも後にあるピクチャが第２参照ピクチャとして用いられるために、前方向２枚又は後方向２枚のピクチャが第１参照ピクチャ及び第２参照ピクチャとして用いられることがなく、必ず前方向にあるピクチャと後方向にあるピクチャがそれぞれ第１参照ピクチャ及び第２参照ピクチャとして用いられるので、符号化効率を向上することができる。
【０１６５】
ここで、本実施の形態における画像符号化装置１００の記憶容量に関して説明する。
図５は、ピクチャの表示順序の一例を説明するための説明図である。
ピクチャＰ１〜Ｐ７は、図５に示すように、ピクチャＰ１，ピクチャＰ３，ピクチャＰ４，ピクチャＰ２，ピクチャＰ６，ピクチャＰ７，ピクチャＰ５の順に表示され、ピクチャＰ１，ピクチャＰ２，ピクチャＰ３，ピクチャＰ４，ピクチャＰ５，ピクチャＰ６，ピクチャＰ７の順に符号化されてマルチフレームバッファ１０７に格納される。
【０１６６】
ここでは、Ｂピクチャは参照ピクチャとして使われることはないとする。よって、マルチフレームバッファ１０７は、参照ピクチャとして扱われるＩピクチャ又はＰピクチャであるピクチャＰ１，Ｐ２，Ｐ５を保存し、参照ピクチャとして扱われることのないＢピクチャであるピクチャＰ３，Ｐ４，Ｐ６，Ｐ７を削除する。
【０１６７】
ピクチャＰ３，Ｐ４の符号化時には、参照ピクチャＰ２は符号化対象ピクチャよりも表示順が後の参照ピクチャである。一方、ピクチャＰ６，Ｐ７の符号化時には、参照ピクチャＰ２は符号化対象ピクチャよりも表示順が前の参照ピクチャとなる。
【０１６８】
よって、図５に示すようなピクチャの関係を有する場合、参照ピクチャＰ２以降のピクチャの符号化では、参照ピクチャＰ２が符号化対象ピクチャよりも表示順が後の参照ピクチャとなることはない。つまり、一度、符号化対象ピクチャに対し表示順が前になった参照ピクチャは、再び符号化対象ピクチャに対し表示順が後になることはない。
【０１６９】
即ち、マルチフレームバッファ１１４に保持されているピクチャが符号化対象ピクチャに対して表示順で前になった時点で、ベクトル用バッファ１１４に格納されている、その参照ピクチャの第１動きベクトルと、その第１動きベクトルの参照先となるピクチャを識別する情報とを破棄することができる。
【０１７０】
従って、図５に示すようなピクチャの関係を有する場合、ベクトル用バッファ１１４は、符号化対象ピクチャより表示順が後の参照ピクチャの第１動きベクトルと、その第１動きベクトルの参照先となるピクチャを識別する情報のみ保持すればよい。これにより、図５に示すようなピクチャの関係を有する場合、ベクトル用バッファ１１４に必要なメモリ量を削減できる。
【０１７１】
なお、本実施の形態では、符号化対象ピクチャよりも表示順が後のピクチャのうち、第２参照インデックスが最小のピクチャを、ダイレクトモード時の第２参照ピクチャとして選択したが、符号化対象ピクチャよりも表示順が後の参照ピクチャの中から、ダイレクトモード時の第２参照ピクチャを一意に決定できる条件であれば、第２参照インデックスが最小のピクチャでなくともその条件により決定されるピクチャを、第２参照ピクチャとして選択しても良い。この場合においても、符号化対象ピクチャより前方のピクチャのみを参照する可能性がなくなり、符号化効率の向上を図ることができる。また、符号化対象ピクチャよりも表示順が後の参照ピクチャの中で、符号化対象ピクチャに表示順が最も近いピクチャをダイレクトモード時の第２参照ピクチャとしてもよい。この場合にも、上述と同様に符号化効率を高めることができる。
【０１７２】
また、ダイレクトモード時の第２参照ピクチャを、符号化対象ピクチャよりも表示順が後のピクチャの中の第２参照インデックスが最小のピクチャとし、さらに、ダイレクトモード時の第１参照ピクチャを、符号化対象ピクチャに対し表示順が前のピクチャの中の第１参照インデックスが最小の参照ピクチャとしても良い。この場合にも、上述と同様に符号化効率を高めることができる。
【０１７３】
（実施の形態２）
本発明の実施の形態２における画像復号化装置について、以下図面を参照しながら説明する。
図６は、実施の形態２における画像復号化装置のブロック図である。
【０１７４】
この画像復号化装置１５０は、実施の形態１の画像符号化装置１００から出力される画像符号化信号ＢＳを復号するものであって、可変長復号部１５１と、画像復号部１５２と、加算器１５３と、スイッチ１５５，１５６と、ダイレクトモード処理部１５４と、画素補間部１５７と、マルチフレームバッファ１５８と、ベクトル用バッファ１６０と、ピクチャ選択部１５９とを備えている。
【０１７５】
可変長復号部１５１は、画像復号化装置１５０外部から画像符号化信号ＢＳを取得して、その画像符号化信号ＢＳに対して可変長復号を行い、残差符号化信号ＥＲ、動きベクトルＭＶ１，ＭＶ２、参照インデックスＲＩ１，ＲＩ２、ダイレクトモード用スケーリング係数ＳＰ、及び種別情報ＰＴを出力する。ここで、画像符号化信号ＢＳに、符号化されたダイレクトモードスケーリング係数ＳＰが含まれずに、符号化された表示時刻情報が含まれているときには、可変長復号部１５１は、ダイレクトモード用スケーリング係数ＳＰの代わりに表示時刻情報を出力する。
【０１７６】
また、可変長復号部１５１は、種別情報ＰＴにより示される予測種別に応じて、スイッチ１５５，１５６の接点を切り換える。つまり、可変長復号部１５１は、予測種別がダイレクトモードであるときには、スイッチ１５５の接点を接点０から接点１に切り替え、予測種別がダイレクトモード以外であるときには、スイッチ１５５の接点を接点１から接点０に切り替える。また、可変長復号部１５１は、予測種別が補間予測であるときには、スイッチ１５６の接点を接点１から接点０に切り替え、予測種別が補間予測以外の予測であるときには、スイッチ１５６の接点を接点０から接点１に切り替える。
【０１７７】
画像復号部１５２は、可変長復号部１５１から残差符号化信号ＥＲを取得し、残差符号化信号ＥＲに対して逆量子化及び逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号ＤＲを出力する。
【０１７８】
加算器１５３は、残差復号信号ＤＲと予測画像信号Ｐｒｅを加算して、その加算結果を復号画像信号ＤＩｍとして画像復号化装置１５０外に出力する。
【０１７９】
マルチフレームバッファ１５８は、復号画像信号ＤＩｍを取得すると、その復号画像信号ＤＩｍのうち、以降のピクチャ間予測で参照される可能性がある信号を格納する。つまり、マルチフレームバッファ１５８の記憶容量は有限なため、マルチフレームバッファ１５８は、取得した符号画像信号ＤＩｍのうち、以降のピクチャ間予測に使用されないピクチャのデータを除去する。
【０１８０】
ベクトル用バッファ１６０は、第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、第１参照インデックスＲＩ１、及び第２インデックスＲＩ２を動き推定部１０９から取得する。そして、ベクトル用バッファ１６０は、その取得結果に基づいて、ダイレクトモードに用いられるスケーリング用ベクトルと、そのスケーリング用ベクトルの参照先となるピクチャを示すピクチャ番号及び参照インデックスを記憶している。
【０１８１】
つまり、ダイレクトモード時には復号対象ピクチャに対し、復号済ピクチャのブロックを復号したときに用いられた第１動きベクトルＭＶ１がスケーリング用ベクトルとして使用され、その第１動きベクトルの参照先となるピクチャが第１参照ピクチャとして扱われるため、ベクトル用バッファ１６０は、可変長復号部１５１から出力された第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、第１参照インデックスＲＩ１、及び第２インデックスＲＩ２のうち、ダイレクトモードに使用される可能性がある第１動きベクトルＭＶ１及び第１参照インデックスＲＩ１を記憶している。
【０１８２】
また、ベクトル用バッファ１６０は、第２参照インデックスｒＲＩ２をピクチャ選択部１５９から取得する。そして、ベクトル用バッファ１６０は、ピクチャ選択部１５９からその第２参照インデックスｒＲＩ２を取得すると、記憶している内容に基づいて、その第２参照インデックスｒＲＩ２により指し示されるピクチャ内の所定のブロックに対応する第１動きベクトルＭＶ１を、スケーリング用ベクトルｒＭＶとして出力するとともに、そのスケーリング用ベクトルｒＭＶの参照先となるピクチャを示す第１参照インデックスＲＩ１を、第１参照インデックスｒＲＩ１として出力する。
【０１８３】
ダイレクトモード処理部１５４は、ダイレクトモード用スケーリング係数ＳＰ、スケーリング用ベクトルｒＭＶ、及び第１参照インデックスｒＲＩ１を取得すると、復号対象のブロックに対して上述のダイレクトモードに基づく処理を行い、その結果として、第１動きベクトルｓＭＶ１、第２動きベクトルｓＭＶ２、第１参照インデックスｒＲＩ１、及び第２参照インデックスｒＲＩ２を出力する。ここで、ダイレクトモード処理部１５４は、ダイレクトモード用スケーリング係数ＳＰの代わりに各ピクチャの表示時刻情報を取得したときには、これらの表示時刻情報に示される表示時刻から、各ピクチャ間の表示時刻差を算出し、それらの表示時刻差の比を用いてスケーリング用ベクトルｒＭＶに対するスケーリングを行う。これにより、ダイレクトモード処理部１５４は、ダイレクトモードスケーリング係数ＳＰを用いたときと同様に、第１動きベクトルｓＭＶ１及び第２動きベクトルｓＭＶ２を算出する。
【０１８４】
また、マルチフレームバッファ１５８は、補間予測時には、可変長復号部１５１及びダイレクトモード処理部１５４からの出力に基づいて第１参照インデックスＲＩ１（ｒＲＩ１）及び第１動きベクトルＭＶ１（ｓＭＶ１）を取得すると、その第１参照インデックスＲＩ１及び第１動きベクトルＭＶ１に対応する参照ブロックＲＢ１を画素補間部１５７に出力する。さらに、マルチフレームバッファ１５８は、可変長復号部１５１及びダイレクトモード処理部１５４からの出力に基づいて第２参照インデックスＲＩ２（ｒＲＩ２）及び第２動きベクトルＭＶ２（ｓＭＶ２）を取得すると、その第２参照インデックスＲＩ２及び第２動きベクトルＭＶ２に対応する参照ブロックＲＢ２を画素補間部１５７に出力する。
【０１８５】
そして、マルチフレームバッファ１５８は、第１参照ピクチャ予測時には、第１参照インデックスＲＩ１と第１動きベクトルＭＶ１とに対応する参照ブロックＲＢを出力する。また、マルチフレームバッファ１５８は、第２参照ピクチャ予測時には、第２参照インデックスＲＩ２と第２動きベクトルＭＶ２とに対応する参照ブロックＲＢを出力する。なお、面内予測時には、マルチフレームバッファ１５８は、面内予測結果を示す画素からなるブロックＲＢを出力する。
【０１８６】
画素補間部１５７は、マルチフレームバッファ１５８から参照ブロックＲＢ１，ＲＢ２を取得すると、その参照ブロックＲＢ１，ＲＢ２の中の互いに位置が等しい画素の画素値の平均値を求めることにより補間画素を生成し、その補間結果を補間ブロックＲｅＰとして出力する。
【０１８７】
そして上述のように、スイッチ１５６の接点は、予測種別に応じて切り換えられるため、予測種別が補間予測以外の予測であるときには、マルチフレームバッファ１５８からのブロックＲＢがスイッチ１５６を介して予測画像信号Ｐｒｅとして加算器１５５に送信され、予測種別が補間予測であるときには、画素補間部１５７からの補間ブロックＲｅＰがスイッチ１５６を介して予測画像信号Ｐｒｅとして加算器１５３に送信される。
【０１８８】
ここで、本実施の形態におけるピクチャ選択部１５９は、マルチフレームバッファ１５８に格納されているピクチャから、ダイレクトモードに用いられるピクチャを第２参照ピクチャとして選択する。
即ち、ピクチャ選択部１５９は、復号対象ピクチャよりも表示順が後のピクチャのうち、第２参照インデックスが最小のピクチャを、ダイレクトモードに用いられる第２参照ピクチャとして選択する。
【０１８９】
そしてピクチャ選択部１５９は、上述の第２参照ピクチャを示す第２参照インデックスｒＲＩ２をベクトル用バッファ１６０に対して出力する。なお、ピクチャ選択部１６０は、表示時刻に関する情報が各ピクチャ毎に付随しているので、これを利用して表示順序を知る。
【０１９０】
これにより、本実施の形態の画像復号化装置１５０は、実施の形態１の画像符号化装置１００が出力する画像符号化信号ＢＳを正確に復号することができる。つまり、符号化対象ピクチャよりも表示順が後のピクチャのうち、第２参照インデックスが最小のピクチャをダイレクトモード時の第２参照ピクチャとして選択する画像符号化装置が出力する画像符号化信号を正確に復号することができる。
【０１９１】
図７は、本実施の形態におけるダイレクトモードにより画像を復号するときの動作を示すフロー図である。
まず、画像復号化装置１５０は、ピクチャ選択部１５９により、復号対象ピクチャよりも表示順が後のピクチャのうち、第２参照インデックスが最小のピクチャを第２参照ピクチャとして選択する（ステップＳ１５０）。
【０１９２】
次に、画像復号化装置１５０は、ベクトル用バッファ１６０により、上述のように選択された第２参照ピクチャの中における復号対象ブロックと同じ位置にあるブロックの第１動きベクトルを、スケーリング用ベクトルｒＭＶとして特定するとともに、その第１動きベクトルＭＶ１の参照先となるピクチャを第１参照ピクチャとして特定する（ステップＳ１５２）。
【０１９３】
そして、画像復号化装置１５０は、ダイレクトモード処理部１５４、マルチフレームバッファ１５８、及び画素補間部１５７により、上述のように選択された第２参照ピクチャと、上述のように特定された第１参照ピクチャ及びスケーリング用ベクトルｒＭＶとを用いて、ダイレクトモードによる予測画像を生成する（ステップＳ１５４）。
【０１９４】
そして、画像復号化装置１５０は、画像符号化信号ＢＳを復号処理して生成された画像の残差に対して、上記予測画像を加算する（ステップＳ１５６）。
このように、本実施の形態では、復号対象ピクチャより表示順が後のピクチャのうち、参照インデックスが最小のピクチャを第２参照ピクチャとして選択するため、実施の形態１で説明した本発明の画像符号化装置で符号化した画像符号化信号を正しく復号することができる。また、実施の形態１で説明した効果と同様の効果を得ることができる。
【０１９５】
なお、画像符号化信号ＢＳには、実施の形態１で説明したように、リマッピング符号化情報２７が含まれており、マルチフレームバッファ１５８は、そのリマッピング符号化情報２７が復号されたリマッピング情報に基づいて、第１参照インデックス及び第２参照インデックスにより示されるピクチャを特定している。
【０１９６】
（実施の形態３）
本発明の実施の形態３における画像符号化装置について、以下図面を参照しながら説明する。
図８は、実施の形態３における画像符号化装置のブロック図である。
【０１９７】
この画像符号化装置２００は、画像を示す内容の画像信号Ｉｍｇを取得して、その画像信号Ｉｍｇをブロック毎に符号化処理するものであって、減算器１０１と、画像復号化部１０４と、可変長符号化部２０３と、動き推定部１０９と、予測種別選択部１０８と、スイッチ１１１，１１２と、画素補間部１０６と、ダイレクトモード処理部１１０と、ベクトル用バッファ１１４と、マルチフレームバッファ１０７と、ピクチャ選択部２１３とを備えている。
【０１９８】
ここで、画像符号化装置２００の減算器１０１、画像復号化部１０４、動き推定部１０９、予測種別選択部１０８、スイッチ１１１，１１２、画素補間部１０６、ダイレクトモード処理部１１０、マルチフレームバッファ１０７、及びベクトル用バッファ１１４の各構成要素は、実施の形態１の画像符号化装置１００が備える各構成要素と同一の機能を有する。
つまり、本実施の形態では、ピクチャ選択部２１３及び可変長符号化部２０３の機能に特徴がある。
【０１９９】
ピクチャ選択部２１３は、マルチフレームバッファ１０７に格納されているピクチャから、符号化対象ピクチャよりも表示順が後のピクチャを、ダイレクトモードに用いられる第２参照ピクチャとして選択する。
【０２００】
そしてピクチャ選択部２１３は、上述の第２参照ピクチャを示す第２参照インデックスｒＲＩ２をベクトル用バッファ１１４及びダイレクトモード処理部１１０並びに可変長符号化部２０３に対して出力する。
【０２０１】
なお、ピクチャ選択部２１３は、表示順に関する情報が各ピクチャ毎に付随しているので、これを利用して各ピクチャの表示順序を知る。また、ピクチャ選択部２１３は、符号化対象ピクチャに対してダイレクトモードに用いられる第２参照ピクチャを１つ選択する。つまり、ダイレクトモードが適用される符号化対象ピクチャに含まれる全てのブロックに対しては、同一の第２参照ピクチャが選択される。
【０２０２】
ここで、本実施の形態においても実施の形態１と同様、リマッピングが生じたときには、ピクチャ選択部２１３は、マルチフレームバッファ１０７内の各ピクチャに割り当てられる第１参照インデックス及び第２参照インデックスをリマッピング情報に基づいて特定する。
【０２０３】
例えば、ピクチャ選択部２１３は、リマッピングが生じていないときには、図４の（ａ）に示すように、符号化対象ピクチャよりも表示順が後の何れかのピクチャ、つまり、ピクチャ番号「１５」のピクチャ、ピクチャ番号「１３」のピクチャ、及びピクチャ番号「１１」のピクチャのうち何れかを、符号化対象ピクチャに対するダイレクトモード時の第２参照ピクチャとして選択し、選択したピクチャを示す第２参照インデックスｒＲＩ２を出力する。例えば、ピクチャ選択部２１３は、ピクチャ番号「１５」のピクチャを第２参照ピクチャとして特定したときには、０を示す第２参照インデックスｒＲＩ２を出力する。
【０２０４】
そして、ピクチャ選択部２１３は、リマッピングが生じたときにも、上述と同様、図４の（ｂ）に示すように、符号化対象ピクチャよりも表示順が後の何れかのピクチャ、つまりピクチャ番号「１５」のピクチャ、ピクチャ番号「１３」のピクチャ、及びピクチャ番号「１１」のピクチャの何れかを、符号化対象ピクチャに対するダイレクトモード時の第２参照ピクチャとして選択し、選択したピクチャを示す第２参照インデックスｒＲＩ２を、リマッピング情報に基づいて特定してこれを出力する。
【０２０５】
その結果、本実施の形態では、リマッピングが生じても、ダイレクトモードにおける第２参照ピクチャを、符号化対象ピクチャよりも表示順が後のピクチャとすることにより、実施の形態１と同様、符号化効率の向上を図ることができる。
【０２０６】
可変長符号化部２０３は、残差符号化信号ＥＲ、第１参照インデックスＲＩ１、第２参照インデックスＲＩ２、第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、ダイレクトモード用スケーリング係数ＳＰ、種別信号ＰＴ、及びリマッピング情報を可変長符号化するとともに、ピクチャ選択部２１３により選択された第２参照ピクチャを示す第２参照インデックスｒＲＩ２も可変長符号化し、その結果を画像符号化信号ＢＳ１として出力する。ここで、ダイレクトモード処理部１１０での処理に、ダイレクトモード用スケーリング係数ＳＰが用いられずに、表示時刻情報が用いられたときには、可変長符号化部２０３は、ダイレクトモード用スケーリング係数ＳＰを可変長符号化することなく、上述のスケーリングに用いた表示時刻情報を可変長符号化して、その可変長符号化された表示時刻情報を画像符号化信号ＢＳに含める。
【０２０７】
図９は、画像符号化信号ＢＳ１のヘッダの構成を示す構成図である。
画像符号化信号ＢＳ１は、実施の形態１の画像符号化信号ＢＳと同様、ピクチャ単位で構成されてその１つのピクチャ単位には、ヘッダ４１と各ブロックに関する情報が含まれている。
【０２０８】
ここで、その画像符号化信号ＢＳ１のピクチャ単位毎に含まれるヘッダ４１は、実施の形態１の画像符号化信号ＢＳのピクチャ単位毎に含まれるヘッダ２１と異なっている。
即ち、画像符号化信号ＢＳ１のヘッダ４１には、第１時間差情報２４、第２時間差情報２５、時間差情報２６、及びリマッピング符号化情報２７が含まれるとともに、上述のピクチャ選択部２１３から出力された第２参照インデックスｒＲＩ２が符号化された第２インデックス情報４２が含まれる。
【０２０９】
なお、上述のように、第２参照インデックスｒＲＩ２は、符号化対象ピクチャ内のダイレクトモードが適用される全てのブロックに対し同じ値を持つ。従って、第２参照インデックスｒＲＩ２は１ピクチャに対し１回のみ符号化される。また、画像符号化信号ＢＳ１を復号する画像復号化装置は、画像符号化信号ＢＳ１の中から、この第２参照インデックスｒＲＩ２及びリマッピング情報を取得することにより、ダイレクトモード時の第２参照ピクチャを一意に選択することができる。
【０２１０】
また、ダイレクトモード処理部１１０での処理に、ダイレクトモード用スケーリング係数ＳＰが用いられずに、表示時刻情報が用いられたときには、第１時間差情報２４及び第２時間差情報２５並びに時間差情報２６の代わりに、そのピクチャの表示時刻情報が符号化された情報がヘッダ４１に含まれる。
【０２１１】
図１０は、本実施の形態におけるダイレクトモードにより画像を符号化するときの動作を示すフロー図である。
まず、画像符号化装置２００は、ピクチャ選択部２１３により、符号化対象ピクチャよりも表示順が後の何れかのピクチャを第２参照ピクチャとして選択する（ステップＳ２００）。
【０２１２】
次に、画像符号化装置２００は、ベクトル用バッファ１１４により、上述のように選択された第２参照ピクチャの中における符号化対象ブロックと同じ位置にあるブロックの第１動きベクトルＭＶ１を、スケーリング用ベクトルｒＭＶとして特定するとともに、その第１動きベクトルＭＶ１の参照先となるピクチャを第１参照ピクチャとして特定する（ステップＳ２０２）。
【０２１３】
そして、画像符号化装置２００は、ダイレクトモード処理部１１０、マルチフレームバッファ１０７、及び画素補間部１０６により、上述のように選択された第２参照ピクチャと、上述のように特定された第１参照ピクチャ及びスケーリング用ベクトルｒＭＶとを用いて、ダイレクトモードによる予測画像を生成する（ステップＳ２０４）。
【０２１４】
予測画像を生成すると、画像符号化装置２００は、符号化対象ブロックと予測画像から予測誤差を生成して（ステップＳ２０６）、その生成された予測誤差、第２参照ピクチャを示す第２参照インデックスｒＲＩ２、及びリマッピング情報を符号化する（ステップＳ２０８）。
【０２１５】
このように、本実施の形態では、符号化対象ピクチャに対して表示順が後の何れかの参照ピクチャを、ダイレクトモード時の第２参照ピクチャとして選択し、選択した参照ピクチャの第２参照インデックスｒＲＩ２を符号化して画像符号化信号ＢＳ１中に格納する。
【０２１６】
ここで、実施の形態１では、符号化対象ピクチャよりも表示順が後のピクチャのうち、第２参照インデックスが最小のピクチャを、ダイレクトモード時の第２参照ピクチャをとして選択した。
つまり、実施の形態３では、実施の形態１と同様に、符号化対象ピクチャよりも表示順が後のピクチャを、ダイレクトモード時の第２参照ピクチャとして選択することにより符号化効率の向上を図ることができる。
【０２１７】
そして、実施の形態１と実施の形態３との違いは以下の通りである。実施の形態１では、画像符号化装置１００にダイレクトモード時の第２参照ピクチャを一意に決定するための手順を予め保持させておき、同様の手順を実施の形態２の画像復号化装置１５０にも保持させておくことによって、ダイレクトモード時の第２参照ピクチャが画像符号化装置１００及び画像復号化装置１５０の相互間で一意に決定されていた。一方、実施の形態３では、ダイレクトモード時の第２参照ピクチャを一意に決定するための情報を符号列に含め、その情報に基づいて、画像符号化装置２００とその符号列を復号する画像復号化装置とが処理を行うことによって、ダイレクトモード時の第２参照ピクチャが画像符号化装置２００及び画像復号化装置の相互間で一意に決定される。
【０２１８】
このように、本実施の形態によれば、符号化処理において決定された第２参照ピクチャを特定するための情報を符号化することによって、符号化処理及び復号処理の整合性をとることができる。
【０２１９】
なお、本実施の形態では、符号化対象ピクチャよりも表示順が後の何れかのピクチャを、第２参照ピクチャとして選択したが、実施の形態１と同様、表示順が後のピクチャのうち第２参照インデックスが最小のピクチャを、第２参照ピクチャとして選択しても良い。また、ピクチャ選択部２１３は、さらに、符号化対象ピクチャに対するダイレクトモード時の第１参照ピクチャを選択しても良い。この場合には、第１参照インデックスｒＲＩ１と第２参照インデックスｒＲＩ２とが符号化されて、図３４に示すヘッダ４１に含められる。また、画像符号化信号ＢＳ１を復号する画像復号化装置は、画像符号化信号ＢＳ１の中からこの第１参照インデックスｒＲＩ１と第２参照インデックスｒＲＩ２とを取得することにより、ダイレクトモード時の第１参照ピクチャと第２参照ピクチャとを特定することができる。
【０２２０】
また、本実施の形態における画像符号化信号ＢＳ１のフォーマットでは、第２参照インデックスｒＲＩ２が符号化された第２インデックス情報４２が、ピクチャ単位のヘッダ４１に含められたが、例えば、ＭＰＥＧのスライス構造のようにピクチャより小さな符号化単位のヘッダや、ＭＰＥＧのＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）のように複数のピクチャからな符号化単位のヘッダや、シーケンス全体のヘッダに格納されてもよい。また、上述のように第１参照ピクチャを選択するような場合も同様に、その第１参照ピクチャを示す第１参照インデックスｒＲＩ１が符号化された情報が、上述のようなヘッダに格納される。
【０２２１】
（実施の形態４）
本発明の実施の形態４における画像復号化装置について、以下図面を参照しながら説明する。
図１１は、実施の形態４における画像復号化装置のブロック図である。
【０２２２】
この画像復号化装置２５０は、実施の形態３の画像符号化装置２００から出力される画像符号化信号ＢＳ１を復号するものであって、可変長復号部２５１と、画像復号部１５２と、加算器１５３と、スイッチ１５５，１５６と、ダイレクトモード処理部１５４と、画素補間部１５７と、マルチフレームバッファ１５８と、ベクトル用バッファ１６０とを備えている。
【０２２３】
ここで、画像復号化装置２５０の画像復号部１５２、加算器１５３、スイッチ１５５，１５６、ダイレクトモード処理部１５４、画素補間部１５７、マルチフレームバッファ１５８、及びベクトル用バッファ１６０の各構成要素は、実施の形態２の画像復号化装置１５０が備える各構成要素と同一の機能を有する。
【０２２４】
つまり、本実施の形態では、可変長復号部２５１の機能に特徴がある。
可変長復号部２５１は、画像復号化装置２５０外部から画像符号化信号ＢＳ１を取得して、その画像符号化信号ＢＳ１に対して可変長復号を行い、残差符号化信号ＥＲ、動きベクトルＭＶ１，ＭＶ２、参照インデックスＲＩ１，ＲＩ２、ダイレクトモード用スケーリング係数ＳＰ、及び種別情報ＰＴを出力する。ここで、画像符号化信号ＢＳに、符号化されたダイレクトモードスケーリング係数ＳＰが含まれずに、符号化された表示時刻情報が含まれているときには、可変長復号部２５１は、ダイレクトモード用スケーリング係数ＳＰの代わりに表示時刻情報を出力する。
【０２２５】
さらに、可変長復号部２５１は、画像符号化信号ＢＳ１のヘッダ４１に含まれる第２インデックス情報４２に対して復号処理を行い第２参照インデックスｒＲＩ２をベクトル用バッファ１６０及びダイレクトモード処理部１５４に対して出力する。また、そのヘッダ４１に符号化されたリマッピング符号化情報２７が含まれているときには、可変長復号部２５１はリマッピング符号化情報２７に対して復号処理を行い、リマッピング情報を生成する。そして、可変長復号部２５１は、マルチフレームバッファ１５８に対し、第１参照インデックスＲＩ１（ｒＲＩ１）及び第２参照インデックスＲＩ２（ｒＲＩ２）により示されるピクチャを、そのリマッピング情報に基づいて特定させる。
【０２２６】
ベクトル用バッファ１６０は、第２参照インデックスｒＲＩ２を可変長復号部２５１から取得と、実施の形態２と同様、記憶している内容に基づいて、その第２参照インデックスｒＲＩ２により指し示されるピクチャを、復号対象ピクチャに対する第２参照ピクチャとして特定する。そしてベクトル用バッファ１６０は、第２参照ピクチャ内の所定のブロックに対応する第１動きベクトルＭＶ１を、スケーリング用ベクトルｒＭＶとして出力するとともに、その第１動きベクトルＭＶ１の参照先となるピクチャを示す第１参照インデックスＲＩ１を、第１参照インデックスｒＲＩ１として出力する。
【０２２７】
このように、本実施の形態では、画像符号化信号ＢＳ１の第２インデックス情報４２及びリマッピング符号化情報２７により、復号対象ピクチャより表示順が後のピクチャの中から、ダイレクトモードに用いられる第２参照ピクチャが一意に選択される。
【０２２８】
このような本実施の形態におけるダイレクトモードにより画像を復号するときの動作について説明する。
図１２は、本実施の形態におけるダイレクトモードにより画像を復号するときの動作を示すフロー図である。
【０２２９】
まず、画像復号化装置２５０は、可変長復号部２５１により、画像符号化信号ＢＳ１を可変長復号することで、第２参照インデックスｒＲＩ２を取得する（ステップＳ２５０）。ここで、画像符号化信号ＢＳ１にリマッピング符号化情報２７が含まれているときには、画像復号化装置２５０は、そのリマッピング符号化情報２７に対する復号処理により、リマッピング情報を取得する。
【０２３０】
次に、画像復号化装置２５０は、ベクトル用バッファ１６０により、上述の第２参照インデックスｒＲＩ２により示される第２参照ピクチャの中において復号対象ブロックと同じ位置にあるブロックの第１動きベクトルを、復号対象ブロックに対するスケーリング用ベクトルｒＭＶとして特定するとともに、その第１動きベクトルＭＶ１の参照先となるピクチャを、復号対象ブロックに対する第１参照ピクチャとして特定する（ステップＳ２５２）。
【０２３１】
そして、画像復号化装置１５０は、ダイレクトモード処理部１５４、マルチフレームバッファ１５８、及び画素補間部１５７により、上述のように取得された第２参照インデックスｒＲＩ２により示される第２参照ピクチャと、上述のように特定された第１参照ピクチャ及びスケーリング用ベクトルｒＭＶとを用いて、ダイレクトモードによる予測画像を生成する（ステップＳ２５４）。
【０２３２】
そして、画像復号化装置１５０は、画像符号化信号ＢＳを復号処理して生成された画像の残差に対して、上記予測画像を加算する（ステップＳ２５６）。
【０２３３】
このように本実施の形態では、画像符号化信号ＢＳ１に含まれる第２インデックス情報４２及びリマッピング情報４１に基づいて、ダイレクトモード時の第２参照ピクチャを特定することにより、実施の形態３の画像符号化装置２００からの画像符号化信号ＢＳ１を正しく復号することができる。また、実施の形態３で説明した効果と同様の効果を得ることができる。
【０２３４】
（実施の形態５）
本発明の実施の形態５における画像符号化装置について、以下図面を参照しながら説明する。
図１３は、実施の形態５における画像符号化装置のブロック図である。
【０２３５】
この画像符号化装置３００は、画像を示す内容の画像信号Ｉｍｇを取得して、その画像信号Ｉｍｇをブロック毎に符号化処理するものであって、実施の形態１の画像符号化装置１００と同様、減算器１０１と、画像復号化部１０４と、スイッチ１１１，１１２と、画素補間部１０６と、ダイレクトモード処理部１１０と、ベクトル用バッファ１１４とを備えるとともに、さらに、管理部３０４と、動き推定部３０２と、予測種別選択部３０１と、マルチフレームバッファ３０３と、可変長符号化部３０５とを備えている。
【０２３６】
ここで、画像符号化装置３００の減算器１０１、画像復号化部１０４、スイッチ１１１，１１２、画素補間部１０６、ダイレクトモード処理部１１０、及びベクトル用バッファ１１４の各構成要素は、実施の形態１の画像符号化装置１００が備える各構成要素と同一の機能を有する。
【０２３７】
ここで、ベクトル用バッファ１１４は、常に０を示す第２参照インデックスｒＲＩ２を取得して、その第２参照インデックスｒＲＩ２「０」に対するスケーリング用ベクトルｒＭＶと第１参照インデックスｒＲＩ１とを出力する。
【０２３８】
また、本実施の形態におけるマルチフレームバッファ３０３は、実施の形態１及び３のマルチフレームバッファ１０７と同様の機能を有するが、自らが格納している情報は管理部３０４に管理されている。
【０２３９】
さらに、マルチフレームバッファ３０３内には、短時間メモリと長時間メモリとが確保され、ピクチャは短時間メモリと長時間メモリとに適宜分別して保存される。
【０２４０】
短時間メモリは、先入れ先出し方式（ＦＩＦＯ）のメモリであり、新規の信号が短時間メモリに記録されると、記録された時刻が古い順から記録内容が破棄され、短時間メモリには常に最新の一定数のピクチャが参照ピクチャとして保存される。
【０２４１】
長時間メモリは、ランダムアクセス方式のメモリであり、任意の領域に参照ピクチャを格納したり、任意の領域に格納された参照ピクチャの読み出しが可能な構成を有する。この長時間メモリは、背景画像や、シーン変化前の画像など、主に長時間に渡って参照されるピクチャを保存し、短時間メモリよりも長い時間分のピクチャを保存する。また、長時間メモリへのピクチャの保存は、短時間メモリに保存されたものが長時間メモリに移動するという形式で行われる。
【０２４２】
管理部３０４は、上述のようにマルチフレームバッファ３０３に格納されている情報を管理しており、その管理結果からリマッピングの必要性が生じたときには、リマッピングを生じさせる。つまり、管理部３０４はリマッピング情報を生成し、そのリマッピング情報を予測種別選択部３０１、動き推定部３０２、可変長符号化部３０５、及びマルチフレームバッファ３０３に出力する。
【０２４３】
例えば、管理部３０４は、後述するシーンチェンジ情報の取得結果から、シーンの変化（以下「シーンチェンジ」という）が生じたと判別したときには、リマッピング情報を生成する。
【０２４４】
予測種別選択部３０１は、実施の形態１及び３の予測種別選択部１０１と同様の機能を有するとともに、管理部３０４からリマッピング情報を取得したときには、そのリマッピング情報に基づいて各参照ピクチャに割り当てられる第１参照インデックス及び第２参照インデックスを特定する。
【０２４５】
動き推定部３０２は、実施の形態１及び３の動き推定部１０２と同様の機能を有するとともに、管理部３０４からリマッピング情報を取得したときには、そのリマッピング情報に基づいて各参照ピクチャに割り当てられる第１参照インデックス及び第２参照インデックスを特定する。
【０２４６】
つまり、予測種別選択部３０１及び動き推定部３０２は、管理部３０４からリマッピング情報を取得しないときには、符号化対象ピクチャの前後にある各参照ピクチャに対して、デフォルトで設定された順、つまり図４の（ａ）に示す順に数値を割り当てて、第１参照インデックス及び第２参照インデックスを特定する。一方、予測種別選択部３０１及び動き推定部３０２は、管理部３０４からリマッピング情報を取得したときには、符号化対象ピクチャの前後にある各参照ピクチャに対して、デフォルトにリマッピング情報が考慮された順に数値を割り当てて、第１参照インデックス及び第２参照インデックスを特定する。
【０２４７】
可変長符号化部３０５は、実施の形態１及び３の可変長符号化部１０５と同様、残差符号化信号ＥＲ、第１参照インデックスＲＩ１、第２参照インデックスＲＩ２、第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、ダイレクトモード用スケーリング係数ＳＰ、及び種別信号ＰＴを可変長符号化し、その結果を画像符号化信号ＢＳ２として出力する。そして可変長符号化部３０５は、管理部３０４からリマッピング情報を取得したときには、そのリマッピング情報を符号化して、その符号化されたリマッピング情報を画像符号化信号ＢＳ２のヘッダに含める。また、ダイレクトモード処理部１１０での処理に、ダイレクトモード用スケーリング係数ＳＰが用いられずに、表示時刻情報が用いられたときには、可変長符号化部１０３は、ダイレクトモード用スケーリング係数ＳＰを可変長符号化することなく、上述のスケーリングに用いた表示時刻情報を可変長符号化して、その可変長符号化された表示時刻情報を画像符号化信号ＢＳ２に含める。
【０２４８】
ここで本実施の形態の管理部３０４は、リマッピング情報を生成するときには、各参照ピクチャに割り当てられる第１参照インデックス及び第２参照インデックスが一定の条件を満たすようにリマッピング情報を生成する。
【０２４９】
管理部３０４は、ダイレクトモード以外の補間予測により符号化対象ブロックを符号化するときに、シーンチェンジが生じている場合には、長時間メモリに保持されている参照ピクチャに第１参照インデックスの０が優先的に割り当てられるようにリマッピング情報を生成する。ここでシーンチェンジが生じたか否かは、画像符号化装置３００の外部で入力画像Ｉｍｇを用いて判定され、その判定結果がシーンチェンジ情報として管理部３０４に供給されるとする。シーンチェンジの検出方法（判定方法）には、時間的に連続するピクチャ間で位置的に対応する画素毎の差分値の絶対値を求め、その差分絶対値をピクチャ内の全画素について加算し、その加算値が所定のしきい値を超えた場合に、シーンチェンジと判定する方法がある。また、シーンチェンジと検出されたフレーム（ピクチャ）は、Ｉピクチャとして符号化されることができる。そして、Ｉピクチャをサーチすることによりシーンチェンジのポイントを探すことが可能にもなる。
【０２５０】
さらに、管理部３０４は、ダイレクトモードの補間予測により符号化対象ブロックを符号化するときには、符号化対象ピクチャよりも表示順が後にある参照ピクチャに対して第２参照インデックスの０が割り当てられるようにリマッピング情報を生成する。
【０２５１】
ここで、管理部３０４は、第２参照インデックスの０がデフォルトで割り当てられる参照ピクチャに対しては、その第２参照インデックス「０」が変更されないようにリマッピング情報を生成しても良い。
これにより、リマッピングが生じても、第２参照インデックスの０は、常に符号化対象ピクチャよりも表示順が後の参照ピクチャに割り当てられる。
【０２５２】
このような管理部３０４により行われるリマッピングについて、図１４を参照して説明する。
図１４は、管理部３０４により行われるリマッピングを説明するための説明図である。
【０２５３】
図１４の（ａ）は、符号化対象ピクチャ及び参照ピクチャを表示順に示すピクチャ配列図である。
Ｂピクチャである符号化対象ピクチャＴＰが符号化されるときには、その符号化対象ピクチャＴＰの前後にあるＰピクチャ、例えば、参照ピクチャＲＰ１，ＲＰ２，ＲＰ３，ＲＰ４，ＲＰ５の何れかが利用される。また、例えば、符号化対象ピクチャＴＰの表示順で近くにある参照ピクチャＲＰ２，ＲＰ３，ＲＰ４，ＲＰ５は、マルチフレームバッファ３０３の短時間メモリに格納されており、符号化対象ピクチャＴＰから遠くにある参照ピクチャＲＰ１は、マルチフレームバッファ３０３の長時間メモリに格納されている。
【０２５４】
そして、参照ピクチャＲＰ１，ＲＰ２，ＲＰ３，ＲＰ４，ＲＰ５を特定するために、これらの参照ピクチャに対してデフォルトでは、図１４の（ｂ）に示すように第１参照インデックス及び第２参照インデックスが割り当てられる。
【０２５５】
図１４の（ｂ）に示すように、参照ピクチャＲＰ１には第１参照インデックス「４」及び第２参照インデックス「４」が割り当てられ、参照ピクチャＲＰ２には第１参照インデックス「１」及び第２参照インデックス「３」が割り当てられ、参照ピクチャＲＰ３には第１参照インデックス「０」及び第２参照インデックス「２」が割り当てられ、参照ピクチャＲＰ４には第１参照インデックス「２」及び第２参照インデックス「０」が割り当てられ、参照ピクチャＲＰ５には第１参照インデックス「３」及び第２参照インデックス「１」が割り当てられる。
【０２５６】
ここで、管理部３０４は、符号化対象ピクチャＴＰをダイレクトモード以外の補間予測により符号化するときに、符号化対象ピクチャＴＰを含むシーンＡ’と類似するシーンＡが、シーンＡ’と非類似のシーンＢを挟んで過去にあり、時間的に前の直前の参照ピクチャ（この場合は参照ピクチャＲＰ３）が非類似シーンＢに属すると判断すると、つまり時間的に前の直前の参照ピクチャの後にシーンチェンジがあったと判断すると、長時間メモリに格納されている参照ピクチャから第１参照インデックスの０が割り当てられるようにリマッピング情報を生成する。
【０２５７】
即ち、図１４の（ｃ）に示すように、長時間メモリに格納されている参照ピクチャＲＰ１に第１参照インデックスの０が割り当てられる。
このように、本実施の形態では、符号化対象ピクチャをダイレクトモード以外の補間予測により符号化するときにシーンチェンジがあると、長時間メモリに保持されている参照ピクチャに第１参照インデックスの０が優先的に割り当てられるようにリマッピング情報が生成されるため、補間予測に用いられる第１参照インデックス「０」の第１参照ピクチャは符号化対象ピクチャと良く似た画像情報を有することとなり、その結果、符号化効率を向上することができる。
【０２５８】
つまり、このようなリマッピング情報が生成されない場合には、図１４の（ｂ）に示すように、第１参照インデックス「０」により示される参照ピクチャＲＰ３が符号化対象ピクチャＴＰの符号化に利用されるが、
その参照ピクチャＲＰ３は、符号化対象ピクチャＴＰとシーンが異なって非類似であるために符号化効率が低下してしまうのである。
【０２５９】
また、管理部３０４は、符号化対象ピクチャＴＰをダイレクトモードにより符号化するときには、図１４の（ｄ）に示すように、符号化対象ピクチャＴＰよりも表示順が後にある参照ピクチャ、例えば参照ピクチャＲＰ５に対して第２参照インデックスの０が割り当てられるようにリマッピング情報を生成する。また、管理部３０４は、図１４の（ｂ）に示すように、第２参照インデックスの０がデフォルトで割り当てられる参照ピクチャＲＰ４に対しては、その第２参照インデックス「０」が変更されないようにリマッピング情報を生成しても良い。
【０２６０】
このように、本実施の形態では、ダイレクトモードの補間予測により符号化対象ブロックを符号化するときには、符号化対象ピクチャよりも表示順が後にある参照ピクチャに対して第２参照インデックスの０が割り当てられ、その第２参照インデックス「０」の参照ピクチャを第２参照ピクチャとして利用されるため、符号化効率を向上することができる。
【０２６１】
図１５は、本実施の形態における動作の一例を示すフロー図である。
まず、画像符号化装置３００は、上述のシーンチェンジ情報が管理部３０４に取得されたか否かに応じて、シーンチェンジの有無を判別する（ステップＳ３００）。
【０２６２】
ここで、シーンチェンジが有ったと判別すると（ステップＳ３００のＹ）、画像符号化装置３００は、長時間メモリにある参照ピクチャに第１参照インデックスの０が優先的に割り当てられるように、且つ、符号化対象ピクチャよりも後にある何れかの参照ピクチャに対して第２参照インデックスの０が割り当てられるようにリマッピングを行う（ステップＳ３０２）。また、画像符号化装置３００は、シーンチェンジがなかったと判別したときには（ステップＳ３００のＮ）、リマッピングをすることなくデフォルトで第１参照インデックス及び第２参照インデックスを割り当てる（ステップＳ３０４）。
【０２６３】
次に、画像符号化装置３００は、上述のように割り当てられた第１参照インデックス及び第２参照インデックスに基づいて、第１参照ピクチャ及び第２参照ピクチャを特定して、これらの参照ピクチャに基づいて予測画像を生成する（ステップＳ３０６）。
そして、画像符号化装置３００は、予測画像から予測誤差を生成して（ステップＳ３０８）、これを符号化する（ステップＳ３１０）。
【０２６４】
（変形例）
ここで、本実施の形態における管理部についての変形例について説明する。
図１６は、本実施の形態の変形例に係る画像符号化装置３００’の構成を示す構成図である。
【０２６５】
この変形例に係る画像符号化装置３００’は、上述の画像符号化装置３００と同様、画像符号化部１０２、画像復号化部１０４、及び管理部３０４’などを備えている。
【０２６６】
ここで、上記本実施の形態では、ダイレクトモードの補間予測により符号化対象ブロックを符号化するときには、符号化対象ピクチャよりも表示順が後にある参照ピクチャに対して第２参照インデックスの０が割り当てられる。つまり、符号化対象ピクチャよりも表示順が前になったことがある参照ピクチャに対して、第２参照インデックスの０が割り当てられるのが管理部３０４’により禁止されることとなる。その結果、符号化対象ピクチャよりも表示順が前になったことがある参照ピクチャのブロックの符号化に用いた第１動きベクトルは、スケーリング用ベクトルとして用いられることはない。
【０２６７】
そこで、本変形例では、符号化対象ピクチャよりも表示順が前になったことがある参照ピクチャのブロックの第１動きベクトルを、符号化対象ピクチャの符号化のためにわざわざベクトル用バッファ１１４に保存しておく処理を省いて、符号化効率を向上することができる。即ち、本変形例では、画像符号化装置３００’の管理部３０４’は、一度表示順で符号化対象ピクチャよりも前になった参照ピクチャの第１動きベクトルをベクトル用バッファ１１４から削除する。
【０２６８】
これにより、本変形例では、符号化処理に不要な動きベクトルがベクトル用バッファ１１４に保存されるのを防いで、ベクトル用バッファ１１４の記憶容量を小さくすることができる。
【０２６９】
（実施の形態６）
本発明の実施の形態６における画像復号化装置について、以下図面を参照しながら説明する。
図１７は、実施の形態６における画像復号化装置のブロック図である。
【０２７０】
この画像復号化装置３５０は、実施の形態５の変形例に係る画像符号化装置３００’から出力される画像符号化信号ＢＳ２に対して復号処理を行うものであって、実施の形態２と同様、可変長復号部１５１と、画像復号部１５２と、加算器１５３と、スイッチ１５５，１５６と、ダイレクトモード処理部１５４と、画素補間部１５７と、マルチフレームバッファ１５８と、ベクトル用バッファ１６０とを備えるとともに、さらに管理部３５４を備えている。
【０２７１】
この画像復号化装置３５０は、実施の形態２においてピクチャ選択部１５９が常に０を示す第２参照インデックスｒＲＩ２をベクトル用バッファ１６０に対して出力しているのと同様の構成を有する。
【０２７２】
また、可変長復号部１５１は、画像符号化信号ＢＳ２を取得して、その画像符号化信号ＢＳ２にリマッピング情報が含まれていれば、マルチフレームバッファ１５８に対し、第１参照インデックスＲＩ１（ｒＲＩ１）及び第２参照インデックスＲＩ２（ｒＲＩ２）により示されるピクチャを、そのリマッピング情報に基づいて特定させる。
【０２７３】
ここで、管理部３５４は、マルチフレームバッファ１５８に格納されている参照ピクチャを監視しており、一度表示順で復号対象ピクチャよりも前になった参照ピクチャの第１動きベクトルＭＶ１をベクトル用バッファ１６０から削除する。
【０２７４】
これにより、本実施の形態においても、実施の形態５の変形例と同様、復号処理に不要な動きベクトルがベクトル用バッファ１６０に保存されるのを防いで、ベクトル用バッファ１６０の記憶容量を小さくすることができる。
【０２７５】
（実施の形態７）
図１８は、実施の形態７における画像符号化装置のブロック図である。
ここで、図１８中に示すユニット及び信号のうち、図３７に示す従来の画像符号化装置９００のユニット及び信号と同様のものに対しては、画像符号化装置９００のユニット及び信号の符号と同一の符号を付して、説明を省略する。
【０２７６】
本実施の形態の特徴は、第１参照ピクチャ選択部６０１が、ダイレクトモード時に符号化対象ピクチャ内のブロックに共通して使用する第１参照ピクチャを選択する点である。これにより、ダイレクトモードにおいてスケーリング用ベクトルの参照先となる第１参照ピクチャを所定の参照ピクチャに共通化させる。
【０２７７】
図１９は実施の形態７のダイレクトモードの概念図である。
この図１９では、参照ピクチャＲＰ１を、ダイレクトモード時に共通に使用される第１参照ピクチャとしている。つまり、ブロックＢ００の第１動きベクトルＭＶ１０は参照ピクチャＲＰｎを参照先としているが、ダイレクトモードが適用されるブロックＢ０の第１動きベクトルＭＶ０１は上述の参照ピクチャＲＰ１を参照先とする。
【０２７８】
即ち、近似的に得られる共通の参照ピクチャＲＰ１上のブロックＢ１に基づく動きベクトルＭＶ０をスケーリング用ベクトルとし、そのスケーリング用ベクトルに対するスケーリングに基づき、符号化対象ピクチャＴＰ上のブロックＢ０の符号化に用いる動きベクトルＭＶ０１，ＭＶ０２を導出する。言い換えれば、符号化対象ピクチャＴＰ上のブロックＢ０の、ピクチャＲＰ１上のブロックＲＢ０１に基づく動きベクトルＭＶ０１と、ピクチャＲＰ３上のブロックＲＢ０２に基づく動きベクトルＭＶ０２とは、動きベクトルＭＶ０をスケーリング用ベクトルとして用いることにより求められる。
【０２７９】
なお、本実施の形態では、ダイレクトモード処理部９１０’が上述のようなダイレクトモードによる処理を行う。
また、従来では、動きベクトルＭＶ１０の参照先となる参照ピクチャＲＰｎを識別するための情報がスケーリングするために必要であり、その情報がメモリ上に保存される必要があった。
【０２８０】
ここで、動きベクトルＭＶ０１，ＭＶ０２の算出の仕方を、図２０を用いて説明する。
図２０は、動きベクトルＭＶ０１，ＭＶ０２の算出過程を示すフロー図である。
【０２８１】
まず、画像符号化装置６００は、第１参照ピクチャＲＰ１上で、ブロックＢ００の動きベクトルＭＶ１０の参照先となるブロックＢｎと同じ位置にあるブロックＢ１を求める（ステップＳ１）。
次に、画像符号化装置６００は、ブロックＢ００からブロックＢ１に対する動きベクトルＭＶ０をスケーリング用ベクトルとする（ステップＳ２）。
【０２８２】
そして、画像符号化装置６００は、このスケーリング用ベクトルＭＶ０から、動きベクトルＭＶ０１，ＭＶ０２を求める（ステップＳ３）。
【０２８３】
このように、動きベクトルＭＶ１０の参照先となる参照ピクチャに関わらず、ダイレクトモードの第１参照ピクチャを１つのピクチャに共通化すると、ベクトル用バッファ９１４には動きベクトルＭＶ１０の参照先となる参照ピクチャのピクチャ番号（図１９では参照ピクチャＲＰｎのピクチャ番号が該当する）を格納する必要がなくなる。その代わり、図１８に示すように、第１参照ピクチャ選択部６０１は、ダイレクトモード時に共通に使用される第１参照ピクチャを選択し、その第１参照ピクチャの第１参照インデックスｒＲＩ１を出力する。なお、ダイレクトモード時に共通に使用される第１参照ピクチャの選択方法は、例えば、符号化対象ピクチャより表示順が前で、第１参照インデックスが最小の参照ピクチャを選択する。
【０２８４】
以上のように、本実施の形態によれば、ダイレクトモードで符号化されるピクチャ内の全ブロックに対し第１参照ピクチャを共通にすることで、スケーリング用ベクトルの参照先となる参照ピクチャを識別する情報をメモリ上に保存しておく必要がなくなる。つまり、メモリ量を削減することができる。また、ダイレクトモードで符号化されるピクチャ内の全ブロックに対し第１参照ピクチャを共通にすることにより、符号化処理を簡略化して符号化効率を向上することができる。なお、第１動きベクトルが参照するピクチャを識別する情報とは、例えば図４に示すピクチャ番号であるが、動きベクトルの参照先となるピクチャを一意に決めることができる情報であれば、他の情報であっても良い。
【０２８５】
なお、本実施の形態では、符号化対象ピクチャより表示順が前で、第１参照インデックスが最小の参照ピクチャを、ダイレクトモード時に共通に使用される第１参照ピクチャとして選択したが、符号化対象ピクチャより表示順が前で、符号化対象ピクチャに最も表示順が近い参照ピクチャを、上記第１参照ピクチャとして選択しても良い。
【０２８６】
また、本実施の形態では、Ｂピクチャである符号化対象ピクチャが参照する参照ピクチャのうち少なくとも１つをその符号化対象ピクチャより前方のものとすることにより、符号化対象ピクチャより後方のピクチャのみを参照する可能性がなくなり、符号化効率を高める可能性を上げることができる。
【０２８７】
さらに、本実施の形態では、第２参照ピクチャを実施の形態１のように選択しても良い。この場合には、実施の形態１で示した符号化方法と本実施の形態で示した符号化方法とを組み合わせることにより、符号化効率をより高めることができる。
【０２８８】
また、本実施の形態では、ダイレクトモード処理部９１０’は、ダイレクトモード用スケーリング係数ＳＰを用いてスケーリング用ベクトルｒＭＶに対するスケーリングを行ったが、上記他の実施の形態と同様、表示時刻情報を用いてスケーリング用ベクトルｒＭＶに対するスケーリングを行っても良い。この場合、図１９を用いて説明すると、動きベクトルＭＶ０ではなく動きベクトルＭＶ１０がスケーリング用ベクトルとして用いられる。つまり、ピクチャＲＰ３とピクチャＲＰｎの表示時刻差に対する、ピクチャＴＰとピクチャＲＰｎの表示時刻差の比に応じて、動きベクトルＭＶ１０がスケーリングされることで、符号化対象ブロックＢ０の第１動きベクトルＭＶ０１が算出されるとともに、ピクチャＲＰ３とピクチャＲＰｎの表示時刻差に対する、ピクチャＴＰとピクチャＲＰ３の表示時刻差の比に応じて、動きベクトルＭＶ１０がスケーリングされることで、符号化対象ブロックＢ０の第２動きベクトルＭＶ０２が算出される。
【０２８９】
（実施の形態８）
図２１は、実施の形態８における画像復号化装置のブロック図である。
ここで、図２１中に示すユニット及び信号のうち、図３８に示す従来の画像符号化装置９５０のユニット及び信号と同様のものに対しては、画像符号化装置９５０のユニット及び信号の符号と同一の符号を付して、説明を省略する。
【０２９０】
本実施の形態の画像復号化装置６５０は、実施の形態７で説明した画像符号化装置６００が出力する画像符号化信号ＢＳ０を復号する。
【０２９１】
第１参照ピクチャ選択部６５１は、図１８の第１参照ピクチャ選択部６０１と同じ方法で第１参照ピクチャを選択する。そして、第１参照ピクチャ選択部６５１は、選択した第１参照ピクチャを示す第１参照インデックスｒＲＩ１をダイレクトモード処理部９５４’に出力する。
【０２９２】
そして、ダイレクトモード処理部９５４’は、図１９に示すダイレクトモードによる処理を実行する。
【０２９３】
このように、ピクチャ内に含まれる全てのダイレクトモードで符号化されるブロックに対し第１参照ピクチャを共通にすることにより、ダイレクトモード用に参照ピクチャを識別する情報を保持する必要がなくなる。また、従来と比べてベクトル用バッファ９６０のメモリ量を削減できる。
【０２９４】
以上のように本実施の形態によれば、実施の形態７の画像符号化装置６００で符号化した画像符号化信号ＢＳ０を正しく復号できる。また、実施の形態７で説明した効果と同様の効果を得ることができる。
【０２９５】
（実施の形態９）
図２２は、実施の形態９の画像符号化装置のブロック図である。
ここで、図２２中に示すユニット及び信号のうち、図３７に示す従来の画像符号化装置９００のユニット及び信号と同様のものに対しては、画像符号化装置９００のユニット及び信号の符号と同一の符号を付して、説明を省略する。
【０２９６】
実施の形態７では、ダイレクトモード時に共通に使用される第１参照ピクチャを画像符号化装置６００及び画像復号化装置６５０で予め決められた同一の方法により選択し、画像符号化信号ＢＳ０中に選択した第１参照ピクチャを示す情報を格納しなかった。一方、本実施の形態では、選択した第１参照ピクチャの第１参照インデックスを画像符号化信号中に格納する。
【０２９７】
つまり、実施の形態７と実施の形態９との違いは以下の通りである。実施の形態７では、画像符号化装置６００にダイレクトモード時の第１参照ピクチャを一意に決定するための手順を保持させ、同様の手順を実施の形態８の画像復号化装置６５０にも保持させることによって、ダイレクトモード時の第１参照ピクチャを一意に決定させていた。一方、実施の形態９では、ダイレクトモード時の第１参照ピクチャを一意に決定するための情報を画像符号化信号に含めることによって、その画像符号化信号を復号する画像復号化装置及び画像符号化装置７００の相互間において、ダイレクトモード時の第１参照ピクチャを一意に決定させる。
【０２９８】
第１参照ピクチャ選択部７０１は、参照ピクチャの中からダイレクトモードの第１参照ピクチャを選択し、選択した参照ピクチャを示す第１参照インデックスｒＲＩ１をダイレクトモード処理部９１０’と可変長符号化部９０３とに出力する。
【０２９９】
可変長符号化部９０３は、残差符号化信号ＥＲ、第１参照インデックスＲＩ１、第２参照インデックスＲＩ２、第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、ダイレクトモード用スケーリング係数ＳＰ、種別情報ＰＴ、第１参照ピクチャ選択部７０１から出力された第１参照インデックスｒＲＩ１を可変長符号化し、画像符号化信号ＢＳ３として出力する。ここで、ダイレクトモード処理部９１０’での処理に、ダイレクトモード用スケーリング係数ＳＰが用いられずに、表示時刻情報が用いられたときには、可変長符号化部９０３は、ダイレクトモード用スケーリング係数ＳＰを可変長符号化することなく、上述のスケーリングに用いた表示時刻情報を可変長符号化して、その可変長符号化された表示時刻情報を画像符号化信号ＢＳ３に含める。
【０３００】
図２３は、実施の形態９の画像符号化信号ＢＳ３のフォーマットである。
画像符号化信号ＢＳ３のフォーマットは、図３５に示す従来の画像符号化装置９００の画像符号化信号ＢＳ０のフォーマットとヘッダのみが異なる。
【０３０１】
第１参照インデックスｒＲＩ１は、ピクチャ内の全てのダイレクトモードのブロックに対し同じ値を持つとする。従って、第１参照インデックスｒＲＩ１は１ピクチャに対し１回のみ符号化すれば十分である。そこで、可変長符号化部９０３は、第１参照インデックスｒＲＩ１を符号化して、符号化された第１参照インデックスｒＲＩ１を、第１インデックス情報５２として画像符号化信号ＢＳ３のヘッダ５１に含める。なお、図２３中に示す第１時間差情報４及び第２時間差情報５並びに時間差情報６の代わりに表示時間情報がヘッダ５１に含まれていても良い。この画像符号化信号ＢＳ３を復号する画像復号化装置は、画像符号化信号ＢＳ３の中から第１インデックス情報５２に基づく第１参照インデックスｒＲＩ１を取得することにより、ダイレクトモード時の第１参照ピクチャを特定することができる。
【０３０２】
このように、本実施の形態によれば、ダイレクトモードで符号化されるピクチャ内の全てのブロックに対し第１参照ピクチャを共通にすることで、スケーリング用ベクトルの参照先となる参照ピクチャを識別する情報を保存しておく必要がなくなる。つまり、ベクトル用バッファ９１４のメモリ量を従来と比べて削減することができる。また、ダイレクトモードで符号化されるピクチャ内の全ブロックに対し第１参照ピクチャを共通にすることにより、符号化処理を簡略にできる。また、ダイレクトモードに用いられる第１参照ピクチャを示す情報を符号化して画像符号化信号ＢＳ３に含めることにより、符号化処理と復号処理との整合性をとることができる。
【０３０３】
なお、符号化対象ピクチャより表示順が前で、第１参照インデックスが最小の参照ピクチャを、ダイレクトモード時に共通に使用される第１参照ピクチャとして選択しても良い。
【０３０４】
また、本実施の形態では、Ｂピクチャである符号化対象ピクチャが参照する参照ピクチャのうち少なくとも１つを符号化対象ピクチャより前方のものとすることにより、符号化対象ピクチャより後方のピクチャのみを参照する可能性がなくなり、符号化効率を高めることができる。
【０３０５】
さらに、本実施の形態では、第２参照ピクチャを実施の形態３のように選択しても良い。この場合には、第１参照インデックスｒＲＩ１が符号化された第１インデックス情報５２と、第２参照インデックスｒＲＩ２が符号化された第２インデックス情報とが、図２３に示すヘッダ５１に含まれる。また、画像符号化信号ＢＳ３を復号する画像復号化装置は、画像符号化信号ＢＳ３の中から、この第１インデックス情報５２により示される第１参照インデックスｒＲ１と、第２インデックス情報により示される第２参照インデックスｒＲ２とを取得することにより、ダイレクトモード時の第１参照ピクチャと第２参照ピクチャとを特定することができる。
【０３０６】
また、本実施の形態における画像符号化信号ＢＳ３のフォーマットでは、第１参照インデックスｒＲＩ１が符号化された第１インデックス情報５２を、ピクチャ単位のヘッダ５１に含めたが、例えば、ＭＰＥＧのスライス構造のようにピクチャより小さな符号化単位のヘッダや、ＭＰＥＧのＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）のように複数のピクチャからなる符号化単位のヘッダや、シーケンス全体のヘッダに格納してもよい。
【０３０７】
（実施の形態１０）
図２４は、実施の形態１０における画像復号化装置のブロック図である。
ここで、図２４中に示すユニット及び信号のうち、図３８に示す従来の画像復号化装置９５０のユニット及び信号と同様のものに対しては、画像復号化装置９５０のユニット及び信号の符号と同一の符号を付して、説明を省略する。
【０３０８】
本実施の形態の画像復号化装置７５０は、実施の形態９で説明した画像符号化装置７００が出力する画像符号化信号ＢＳ３、つまり、ダイレクトモード時に共通に使用される第１参照ピクチャの第１参照インデックスを示す情報が含まれた画像符号化信号を復号する。
【０３０９】
可変長復号部９５１は、画像符号化信号ＢＳ３を取得して、これに対して可変長復号を行い、残差符号化信号ＥＲ、第１参照インデックスＲＩ１、第２参照インデックスＲＩ２、第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、ダイレクトモード用スケーリング係数ＳＰ、種別情報ＰＴ、及びダイレクトモード用の第１参照インデックスｒＲＩ１を出力する。ここで、画像符号化信号ＢＳ３に、符号化されたダイレクトモードスケーリング係数ＳＰが含まれずに、符号化された表示時刻情報が含まれているときには、可変長復号部９５１は、ダイレクトモード用スケーリング係数ＳＰの代わりに表示時刻情報を出力する。
【０３１０】
ダイレクトモード用の第１参照インデックスｒＲＩ１は、ダイレクトモード時に共通して使用される第１参照ピクチャを示す。よって、ベクトル用バッファ９６０は、ダイレクトモード用に参照ピクチャを識別するための情報を保持する必要がないため、ベクトル用バッファ９６０のメモリ量を従来と較べて削減することができる。
【０３１１】
以上のように本実施の形態によれば、実施の形態９の画像符号化装置７００から出力される画像符号化信号ＢＳ３を正しく復号できる。また、ダイレクトモードで符号化されるピクチャ内の全ブロックに対し第１参照ピクチャを共通にすることで、スケーリング用ベクトルの参照先となる参照ピクチャを識別する情報をメモリ上に保存しておく必要がなくなる。つまり、ベクトル用バッファ９６０のメモリ量を従来と較べて削減することができる。また、実施の形態９で説明した効果と同様の効果を得ることができる。
【０３１２】
（実施の形態１１）
さらに、上記各実施の形態で示した画像符号化方法及び画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０３１３】
図２５は、実施の形態１〜１０の画像符号化方法及び画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納する記憶媒体についての説明図である。
図２５中の（ｂ）は、フレキシブルディスクＦＤの正面からみた外観、断面構造、及びディスク本体ＦＤ１を示し、図２５中の（ａ）は、記録媒体の本体であるディスク本体ＦＤ１の物理フォーマットの例を示している。
【０３１４】
ディスク本体ＦＤ１はケースＦ内に内蔵され、ディスク本体ＦＤ１の表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクＦＤでは、上記ディスク本体ＦＤ１上に割り当てられた領域に、上記プログラムとしての画像符号化方法や画像復号化方法が記録されている。
【０３１５】
また、図２５中の（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。
上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓが上記プログラムとしての画像符号化方法または画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスクＦＤ内のプログラムにより上記画像符号化方法又は画像復号化方法をコンピュータシステムＣｓ中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムがフレキシブルディスクＦＤから読み出され、コンピュータシステムＣｓに転送される。
【０３１６】
なお、上記説明では、記録媒体としてフレキシブルディスクＦＤを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０３１７】
（実施の形態１２）
さらにここで、上記実施の形態で示した画像符号化方法や画像復号化方法の応用例とそれを用いたシステムを説明する。
図２６は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０３１８】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０３１９】
しかし、コンテンツ供給システムｅｘ１００は図２６のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【０３２０】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０３２１】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０３２２】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０３２３】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
【０３２４】
図２７は、上記実施の形態で説明した画像符号化方法と画像復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０３２５】
さらに、携帯電話ｅｘ１１５について図２８を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０３２６】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０３２７】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０３２８】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０３２９】
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０３３０】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０３３１】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０３３２】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０３３３】
次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０３３４】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２９に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報のビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録したビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０３３５】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０３３６】
なお、カーナビゲーションｅｘ４１３の構成は例えば図２８に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
【０３３７】
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０３３８】
このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０３３９】
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【０３４０】
【発明の効果】
以上の説明から明らかなように、本発明に係る画像符号化方法によれば、符号化対象ピクチャよりも表示順が後の符号化済ピクチャが第２参照ピクチャとして選択されるため、リマッピングが生じたときに従来例のように符号化対象ピクチャよりも表示順が前の２つの符号化済ピクチャを参照してしまうのを防いで、符号化対象ピクチャの前後にある２つの符号化済ピクチャを参照する確率を高めて符号化効率を向上することができる。また、特定情報が出力されるため、符号化ステップでの符号化結果を復号するときには、符号化処理で選択された第２参照ピクチャと同一のピクチャをその特定情報に基づいて選択して、正確に復号することができる。
【０３４１】
また、本発明に係る画像符号化方法及び画像復号化方法は、動画像を符号化する画像符号化装置及び符号化された動画像を復号する画像復号化装置や、これらの装置を備えたシステム、例えばディジタル著作物などのコンテンツを供給するコンテンツ供給システムやディジタル放送用システムに用いるのに適している。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像符号化装置のブロック図である。
【図２】同上の画像符号化信号の一部の構成を示す構成図である。
【図３】同上のダイレクトモードにより画像を符号化するときの動作を示すフロー図である。
【図４】同上のリマッピングが生じたときにおける動作について説明するための説明図である。
【図５】同上のピクチャの表示順序の一例を説明するための説明図である。
【図６】本発明の実施の形態２における画像復号化装置のブロック図である。
【図７】同上のダイレクトモードにより画像を復号するときの動作を示すフロー図である。
【図８】本発明の実施の形態３における画像符号化装置のブロック図である。
【図９】同上の画像符号化信号のヘッダの構成を示す構成図である。
【図１０】同上のダイレクトモードにより画像を符号化するときの動作を示すフロー図である。
【図１１】本発明の実施の形態４における画像復号化装置のブロック図である。
【図１２】同上のダイレクトモードにより画像を復号するときの動作を示すフロー図である。
【図１３】本発明の実施の形態５における画像符号化装置のブロック図である。
【図１４】同上の管理部により行われるリマッピングを説明するための説明図である。
【図１５】同上の動作を示すフロー図である。
【図１６】同上の変形例に係る画像符号化装置の構成を示す構成図である。
【図１７】本発明の実施の形態６における画像復号化装置のブロック図である。
【図１８】本発明の実施の形態７における画像符号化装置のブロック図である。
【図１９】同上のダイレクトモードの概念図である。
【図２０】同上の動きベクトルの算出過程を示すフロー図である。
【図２１】本発明の実施の形態８における画像復号化装置のブロック図である。
【図２２】本発明の実施の形態９における画像符号化装置のブロック図である。
【図２３】同上の画像符号化信号ＢＳ３のフォーマットである。
【図２４】本発明の実施の形態１０における画像復号化装置のブロック図である。
【図２５】本発明の実施の形態１１における記憶媒体についての説明図である。
【図２６】本発明の実施の形態１２におけるコンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。
【図２７】同上の携帯電話を示す図である。
【図２８】同上の携帯電話のブロック図である。
【図２９】同上のディジタル放送用システムの全体構成を示すブロック図である。
【図３０】Ｂピクチャの概念図である。
【図３１】補間予測の説明図である。
【図３２】補間予測ブロックの２枚の参照ピクチャが、補間予測ブロックを有する符号化対象ピクチャより表示順が前にある場合の一例を説明するための説明図である。
【図３３】補間予測ブロックの２枚の参照ピクチャが、補間予測ブロックを有する符号化対象ピクチャより表示順が後にある場合の一例を説明するための説明図である。
【図３４】ピクチャ番号と参照インデックスを説明するための説明図である。
【図３５】従来の画像符号化装置が行うダイレクトモードの説明図である。
【図３６】従来の画像符号化装置の構成を示すブロック図である。
【図３７】画像符号化信号のフォーマットの概念図である。
【図３８】従来の画像復号化装置の構成を示すブロック図である。
【符号の説明】
１００ 画像符号化装置
１０２ 画像符号化部
１０３ 可変長符号化部
１０４ 画像復号化部
１０６ 画素補間部
１０７ マルチフレームバッファ
１０８ 予測種別選択部
１０９ 動き推定部
１１０ ダイレクトモード処理部
１１３ ピクチャ選択部
１１４ ベクトル用バッファ
【発明の属する技術分野】
本発明は、画像信号を符号化する画像符号化方法、符号化された画像信号を復号する画像復号化方法に関するものである。
【０００２】
【従来の技術】
近年、マルチメディアアプリケーションの発展に伴い、画像、音声、及びテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。これにより、全てのメディアをディジタル化することにより統一的にメディアを扱うことが可能になる。
【０００３】
しかしながら、ディジタル化された画像は膨大なデータ量を持つため、蓄積又は伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、ＩＳＯ（国際標準化機構）のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４などがある（例えば、非特許文献１参照。）。また、ＩＴＵでは、現在、最新の画像符号化規格としてＨ．２６４が標準化中であり、標準化過程におけるドラフト案はＨ．２６Ｌと呼ばれる。
【０００４】
ＭＰＥＧ−１，２，４及びＨ．２６３などの動画像符号化方式に共通の技術として動き補償を伴うピクチャ間予測がある。これらの動画像符号化方式の動き補償では、入力画像のピクチャを所定のサイズの矩形領域（以降、ブロックと呼ぶ）に分割し、各ブロック毎にピクチャ間の動きを示す動きベクトルから予測画素を生成する。
【０００５】
以下、動き補償を伴うピクチャ間予測を説明するため、次の（１）〜（６）に示す内容を説明する。
（１）Ｂピクチャの概念
（２）補間予測
（３）ピクチャ番号と参照インデックス
（４）ダイレクトモード
（５）従来の画像符号化装置
（６）従来の画像復号化装置
【０００６】
（１）Ｂピクチャの概念
Ｈ．２６ＬのＢピクチャ（２方向予測［Ｂｉ−ｐｒｅｄｉｃｔｉｖｅ］ピクチャ）について、図３０を用いて説明する。
【０００７】
図３０は、Ｂピクチャの概念図である。
ピクチャＴＰは符号化対象のＢピクチャであり、ピクチャＲＰ１，ＲＰ２，ＲＰ３，ＲＰ４はそれぞれ符号化済のピクチャである。ブロックＢ１は、ブロックＲＢ１とブロックＲＢ２とを参照してピクチャ間予測されたブロックであり、ブロックＢ２は、ブロックＲＢ２１とブロックＲＢ２２とを参照してピクチャ間予測されたブロックであり、ブロックＢ３は、ブロックＲＢ３１とブロックＲＢ３２とを参照してピクチャ間予測されたブロックである。
【０００８】
このように、Ｂピクチャである符号化対象ピクチャＴＰは、他の２つのピクチャにそれぞれ含まれるブロックを参照してピクチャ間予測されるブロックを含んでいる。
【０００９】
（２）補間予測
補間予測について、図３１を用いて説明する。
図３１は、補間予測の説明図である。
ブロックＲＢ１とブロックＲＢ２は、補間予測に使用される２つの参照ブロックであり、ブロックＰＢは補間処理により得られた予測ブロックを示す。ここでは、ブロックサイズは４×４画素として説明する。
【００１０】
Ｘ１（ｉ）は参照ブロックＲＢ１の画素値を示し、Ｘ２（ｉ）は参照ブロックＲＢ２の画素値を示し、Ｐ（ｉ）は予測ブロックＰＢの画素値を示す。画素値Ｐ（ｉ）は次式のような線形予測式により得ることができる。
Ｐ（ｉ）＝Ａ・Ｘ１（ｉ）＋Ｂ・Ｘ２（ｉ）＋Ｃ
【００１１】
ここで、Ａ，Ｂ，Ｃは線形予測係数である。この線形予測係数には、ＭＰＥＧ−１，２のように、平均値（Ａ＝１／２，Ｂ＝１／２，Ｃ＝０の場合）のみが使用される場合もあるし（厳密には、Ｘ１（ｉ）＋Ｘ２（ｉ）を１／２した値を最も近い整数値に丸めた値）、明示的に他の値に設定される場合もある。他の値に設定される場合には、その値は、画像符号化信号中に格納されて画像符号化装置から画像復号化装置に伝送される。
【００１２】
このように複数の参照ピクチャから画素補間によりピクチャ間予測されるブロックを「補間予測ブロック」と呼ぶ。Ｂピクチャは、補間予測ブロックをピクチャ内に含むことが可能なピクチャである。
【００１３】
ＭＰＥＧ−１，ＭＰＥＧ−２などの画像符号化方式のＢピクチャに含まれる補間予測ブロックは、図３０に示すブロックＢ１のように符号化対象ピクチャＴＰに対し表示順が前の参照ピクチャＲＰ１と、後の参照ピクチャＲＰ３とから予測される補間予測ブロックしかなかった。
【００１４】
一方、最近検討されている新しいＢピクチャでは、加えて、図３０に示すブロックＢ２，Ｂ３のように、参照ピクチャが２枚とも符号化対象ピクチャより前又は後となる補間予測ブロックも含むことができる。
【００１５】
図３２は、補間予測ブロックの２枚の参照ピクチャが、補間予測ブロックを有する符号化対象ピクチャより表示順が前にある場合の一例を説明するための説明図である。
【００１６】
ピクチャＰ７は符号化対象ピクチャであって、各ピクチャは、ピクチャＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７の順に符号化される。つまり、ピクチャＰ１，Ｐ２，Ｐ５，Ｐ６は、符号化対象ピクチャＰ７よりも先に符号化されてマルチフレームバッファ（メモリ）に格納されている。
【００１７】
そして、符号化対象ピクチャＰ７に含まれる補間予測ブロックは、ピクチャＰ１及びピクチャＰ６に含まれる画素を参照して符号化される。
【００１８】
図３３は、補間予測ブロックの２枚の参照ピクチャが、補間予測ブロックを有する符号化対象ピクチャより表示順が後にある場合の一例を説明するための説明図である。
ピクチャＰ４は符号化対象ピクチャであって、各ピクチャは、ピクチャＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５の順に符号化される。つまり、ピクチャＰ１，Ｐ２，Ｐ３は、符号化対象ピクチャＰ４よりも先に符号化されてマルチフレームバッファに格納されている。
【００１９】
そして、符号化対象ピクチャＰ４に含まれる補間予測ブロックは、ピクチャＰ２及びピクチャＰ３に含まれる画素を参照して符号化される。
なお、補間予測ブロックを含まずに、１枚の参照ピクチャからピクチャ間予測を行うブロックを含むことが可能なピクチャをＰピクチャと呼び、ピクチャ間予測を行わない面内予測ブロックのみから構成されるピクチャをＩピクチャと呼ぶ。
【００２０】
Ｈ．２６Ｌでは、Ｂピクチャのブロックの符号化には、最大２枚の参照ピクチャが使用される。そこで、２枚の参照ピクチャを区別するため、各参照ピクチャを第１参照ピクチャ及び第２参照ピクチャと呼ぶ。また、第１参照ピクチャ及び第２参照ピクチャのそれぞれに基づく動きベクトルを、第１動きベクトル及び第２動きベクトルと呼ぶ。
【００２１】
例えば図３０では、符号化対象ブロックＢ１に対して、ピクチャＲＰ１が第１参照ピクチャとなり、ピクチャＲＰ３が第２参照ピクチャとなり、動きベクトルＭＶ１が第１動きベクトルとなり、動きベクトルＭＶ２が第２動きベクトルとなる。また、第１参照ピクチャのみからの予測を第１参照ピクチャ予測、第２参照ピクチャのみからの予測を第２参照ピクチャ予測と呼ぶ。
【００２２】
なお、１枚の参照ピクチャからピクチャ間予測されたブロックに対しては、参照ピクチャや動きベクトルを第１、第２に区別する必要はないが、説明の都合上、１枚の参照ピクチャからピクチャ間予測されたブロックの参照ピクチャ及び動きベクトルを、第１参照ピクチャ及び第１動きベクトルと呼ぶ。
【００２３】
（３）ピクチャ番号及び参照インデックス
図３４は、ピクチャ番号と参照インデックスを説明するための説明図である。
ピクチャ番号及び参照インデックスは、マルチフレームバッファに格納された参照ピクチャを一意に識別するための情報である。Ｈ．２６Ｌでは、ピクチャが参照ピクチャとしてメモリに蓄積される毎に１増加する値が、その参照ピクチャに対するピクチャ番号として割り当てられる。
【００２４】
一方、参照インデックスは、符号化対象ブロックのピクチャ間予測に使用される参照ピクチャを指示するために使用される。
また、参照インデックスは、第１参照ピクチャを指示するための第１参照インデックスと、第２参照ピクチャを指示するための第２参照インデックスとから構成される。
【００２５】
以下、第１参照インデックス、第２参照インデックスの割り当て方法について、図３４の（ａ）を用いて説明する。
まず、符号化対象ピクチャより前の表示時刻を持つ参照ピクチャに対し、符号化対象ピクチャに近い順より０から始まる値が、第１参照インデックスとして割り当てられる。符号化対象ピクチャより前の表示時刻を持つ参照ピクチャの全てに対し０から始まる値が割り当てられたら、次に符号化対象ピクチャより後の表示時刻を持つ参照ピクチャに対し、符号化対象ピクチャに近い順から、その続きの値が割り当てられる。
【００２６】
そして、符号化対象ピクチャより後の表示時刻を持つ参照ピクチャに対し、符号化対象ピクチャに近い順より０から始まる値が、第２参照インデックスの値として割り当てられる。符号化対象ピクチャより後の表示時刻を持つ参照ピクチャの全てに対し０から始まる値が割り当てられたら、次に符号化対象ピクチャより前の表示時刻を持つ参照ピクチャに対し、符号化対象ピクチャに近い順から、その続きの値が割り当てられる。
【００２７】
例えば、図３４の（ａ）に示すように、第１参照インデックスが０として指示された場合、第１参照ピクチャはピクチャ番号「１４」のＢピクチャであり、第２参照インデックスが１として指示された場合、第２参照ピクチャはピクチャ番号「１３」のＢピクチャである。
【００２８】
一方、Ｈ．２６Ｌでは、画像符号化信号中のバッファ制御信号（図３７中に示すヘッダ１内のＲＰＳＬ７）を用いて明示的に指示することにより、参照ピクチャに対する第１参照インデックス及び第２参照インデックスの割り当てを任意に変更することができる。この割り当ての変更により、第２参照インデックスが０の参照ピクチャをマルチフレームバッファ内の任意の参照ピクチャにすることが可能で、例えば、図３４の（ｂ）に示すように、ピクチャ番号に対する第１参照インデックス及び第２参照インデックスの割り当てが変更される。
【００２９】
なお、ブロック中の参照インデックスは、可変長符号語により表現され、値が小さいほど短い符号長のコードが割り当てられている。
【００３０】
（４）ダイレクトモード
ダイレクトモードについて、図３５を用いて説明する。
図３５は、従来の画像符号化装置が行うダイレクトモードの説明図である。
ここでダイレクトモードとは、符号化対象ブロックに対する参照ピクチャ及び動きベクトルを、参照ピクチャの符号化時に使用した動きベクトル及び参照ピクチャの符号化時に参照したピクチャから以下に説明する方法により決定し、画素補間によりピクチャ間予測を行うモードである。
【００３１】
ピクチャＴＰは符号化対象のＢピクチャであり、ピクチャＲＰ１，ＲＰ２，ＲＰ３，ＲＰ４は参照ピクチャとして用いられるようにマルチフレームバッファ内にある復号済のピクチャである。また、図３５中点線に示すピクチャは、非参照ピクチャであって、マルチフレームバッファに含まれないものである。
【００３２】
そして、ピクチャＲＰ１の第１参照インデックスＲＩ１は０であり、ピクチャＲＰ２の第１参照インデックスＲＩ１は１であり、ピクチャＲＰ３の第２参照インデックスＲＩ２は０であり、ピクチャＲＰ４の第２参照インデックスＲＩ２は１である。
【００３３】
ブロックＢ０はダイレクトモードで符号化されるブロックであり、ブロックＢ００はピクチャＲＰ３内で符号化対象ブロックＢ０と相対的に同じ位置にあるブロックである。また、ブロックＲＢ０１はピクチャＲＰ１に含まれる参照ブロックであり、ブロックＲＢ０２は参照ピクチャＲＰ３に含まれる参照ブロックである。動きベクトルＭＶ０は、ブロックＢ００を符号化した際の第１動きベクトルであって、ピクチャＲＰ１を参照先とする。また、動きベクトルＭＶ０をスケーリング用ベクトルと呼ぶ。
【００３４】
符号化対象ブロックＢ０の予測に使用される第１動きベクトルＭＶ０１と第２動きベクトルＭＶ０２とは、次の式により計算される。
ＭＶ０１＝ＴＲ１×ＭＶ０／ＴＲ０
ＭＶ０２＝−ＴＲ２×ＭＶ０／ＴＲ０
【００３５】
上式において、係数ＴＲ１，ＴＲ２，ＴＲ０は、ダイレクトモード用の動きベクトルの計算時に使用される値であり、例えばピクチャ間の表示時刻差が用いられる。図３５の場合、ＴＲ１＝２，ＴＲ２＝１，ＴＲ０＝３となる。
【００３６】
画面内での符号化対象ブロックを含む物体の動きが一定であると仮定した場合、第１動きベクトルＭＶ０１と第２動きベクトルＭＶ０２は、符号化対象ピクチャＴＰと第１参照ピクチャＲＰ１の表示時刻差と、符号化対象ピクチャＴＰと第２参照ピクチャＲＰ２の表示時刻差とによって、動きベクトルＭＶ０を内分することによって求められる。
【００３７】
なお、表示時刻差に限らずピクチャ番号の差や、ピクチャ間のピクチャ枚数等を用いても第１動きベクトルＭＶ０１及び第２動きベクトルＭＶ０２を求めることができる。
また、上述のような係数ＴＲ１，ＴＲ２，ＴＲ０の値の組をダイレクトモード用スケーリング係数ＳＰと呼ぶ。
【００３８】
ＭＰＥＧ−４では、ダイレクトモードにおける後方参照ピクチャは最大１枚しかないため、第２参照ピクチャとして使用されるピクチャは一意に決まる。しかし、Ｈ．２６Ｌでは、第２参照ピクチャと成り得るピクチャが複数あるため、第２参照インデックスＲＩ２が０のピクチャを、ダイレクトモード時の第２参照ピクチャとしている。
【００３９】
また、ダイレクトモードにおいては、各ピクチャごとに伝送されたダイレクトモード用スケーリング係数ＳＰが、ピクチャに含まれる全ブロックに共通して使用される。または、各ピクチャの表示時刻情報を用いて、表示時刻差に比例するようにスケーリングを行う。
【００４０】
なお、図３５を図３４の（ａ）と対応させるとすると、図３５のピクチャＴＰは図３４の（ａ）の中央のＢピクチャ（点線のピクチャ）に対応し、図３５のピクチャＲＰ３は図３４の（ａ）のピクチャ番号「１５」のＢピクチャに対応し、図３５のピクチャＲＰ４は図３４の（ａ）のピクチャ番号「１３」のＢピクチャに対応し、図３５のピクチャＲＰ１は図３４の（ａ）のピクチャ番号「１４」のＢピクチャに対応し、図３５のピクチャＲＰ２は図３４の（ａ）のピクチャ番号「１２」のＢピクチャに対応する。図３５のピクチャＴＰ等の点線で示されている非参照ピクチャは、他のピクチャから参照されることがないため、マルチフレームバッファには保存されない。よって、図３４の（ａ）に示すピクチャのようにそのピクチャを参照するための参照インデックスが割り当てられることは無い。
【００４１】
なお、図３５では、模式的に第１動きベクトルＭＶ０を参照ピクチャＲＰ３から参照ピクチャＲＰ１への、時空間を超えたベクトルとしているが、実際に記憶されている第１動きベクトルＭＶ０は、図１９を用いて説明すると、ブロックＢ００からブロックＢ３への位置の変化量である。よって、図３５で示す第１動きベクトルＭＶ０は、ブロックＢ００からブロックＢ３へのベクトルと、ＲＰ１とＲＰ３の時間的な距離とによって求められる。
本明細書では説明を簡略化するため、図３５に示す第１動きベクトルＭＶ０が実際に記憶されているものとする。
【００４２】
（５）従来の画像符号化装置
次に従来の画像符号化装置について、図３６を参照して説明する。
図３６は、従来の画像符号化装置の構成を示すブロック図である。以下、この画像符号化装置について説明する。
画像符号化装置９００は、ブロックに分割された画像信号Ｉｍｇを入力し、ブロック毎に処理を行う。
【００４３】
減算器９０１は、画像信号Ｉｍｇから予測画像信号Ｐｒｅを減算し、残差信号Ｒｅｓを出力する。
画像符号化部９０２は、残差信号Ｒｅｓを取得して、ＤＣＴ変換及び量子化などの画像符号化処理を行い、量子化済ＤＣＴ係数などを含む残差符号化信号ＥＲを出力する。
【００４４】
画像復号化部９０４は、残差符号化信号ＥＲを取得し、逆量子化及び逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号ＤＲを出力する。
加算器９０５は、残差復号信号ＤＲと予測画像信号Ｐｒｅを加算し、再構成画像信号Ｒｅｃを出力する。
【００４５】
再構成画像信号Ｒｅｃで、以降のピクチャ間予測で参照される可能性がある信号は、マルチフレームバッファ９０７に格納される。マルチフレームバッファ９０７のメモリ量は有限なため、マルチフレームバッファ９０７内で以降のピクチャ間予測に使用されないピクチャのデータはマルチフレームバッファ９０７から除去される。
【００４６】
動き推定部９０９は、マルチフレームバッファ９０７に格納された参照ピクチャＲＰを取得して動き推定を行い、面内予測、第１参照ピクチャ予測、第２参照ピクチャ予測、補間予測による予測の中から所定の方法で最適な予測種別を選択し（ピクチャ種別により選択できる予測種別は異なる）、符号化対象ブロックに対する第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、第１参照インデックスＲＩ１、及び第２参照インデックスＲＩ２を出力する。
【００４７】
動き推定部９０９における予測種別の選択方法には、例えば、各予測種別による予測誤差が最小となる予測種別を選択する方法がある。選択された予測種別が面内予測の場合には、動きベクトル及び参照インデックスは出力されず、第１参照ピクチャ予測の場合には、第１参照インデックス及び第１動きベクトルのみが出力され、第２参照ピクチャ予測の場合には、第２参照インデックス及び第２動きベクトルのみが出力され、補間予測の場合には、第１参照インデックス、第２参照インデックス、第１動きベクトル、及び第２動きベクトルが出力される。
【００４８】
上述のように、Ｈ．２６Ｌでは、ダイレクトモード時の第２参照ピクチャとして第２参照インデックスｒＲＩ２が０の参照ピクチャが使用される。よって、値０の第２参照インデックスｒＲＩ２はベクトル用バッファ９１４とダイレクトモード処理部９１０とに入力される。
【００４９】
ベクトル用バッファ９１４には、スケーリング用ベクトルｒＭＶとスケーリング用ベクトルｒＭＶの参照先となるピクチャを示すピクチャ番号とが記憶されている。スケーリング用ベクトルｒＭＶにより符号化されたブロックを含む参照ピクチャは、第２参照インデックスｒＲＩ２により示される参照ピクチャであるため、ベクトル用バッファ９１４は、値０の第２参照インデックスｒＲＩ２を入力し、スケーリング用ベクトルｒＭＶと、スケーリング用ベクトルｒＭＶの参照先となるピクチャを示す第１参照インデックスｒＲＩ１とを出力する。
【００５０】
ダイレクトモード処理部９１０は、ダイレクトモード用スケーリング係数ＳＰ、スケーリング用ベクトルｒＭＶ、第１参照インデックスｒＲＩ１、及び第２参照インデックスｒＲＩ２を入力し、上記に説明したダイレクトモードの処理により、ダイレクトモード時の第１動きベクトルｓＭＶ１、第２動きベクトルｓＭＶ２、第１参照インデックスｒＲＩ１、及び第２参照インデックスｒＲＩ２を出力する。
【００５１】
予測種別選択部９０８は、画像信号Ｉｍｇと、参照ピクチャＲＰと、「ダイレクトモード」の参照ブロックの位置を示す参照インデックスｒＲＩ１，ｒＲＩ２及び動きベクトルｓＭＶ１，ｓＭＶ２と、「ダイレクトモード以外」の予測時に使用する参照ブロックの位置を示す参照インデックスＲＩ１，ＲＩ２及び動きベクトルＭＶ１，ＭＶ２を入力する。そして、予測種別選択部９０８は、ブロックの予測にダイレクトモードを使用すべきか否かを決定し、決定した予測種別を示す種別情報ＰＴを可変長符号化部９０３に出力する。
【００５２】
ここで、予測種別選択部９０８は、例えば、入力画素に対する「ダイレクトモード時」の予測誤差と、「ダイレクトモード以外の予測時」の予測誤差とで、予測誤差の小さい方を選択することで、予測種別の選択を行う。
【００５３】
よって、予測種別には、動き推定部９０９で選択される面内予測、第１参照ピクチャ予測、第２参照ピクチャ予測、ダイレクトモード以外の補間予測に加えて、ダイレクトモードが加わることになる。
【００５４】
そして、予測種別がダイレクトモードを示す場合には、スイッチ９１１は”１”側に切り替わり、参照インデックスｒＲＩ１，ｒＲＩ２及び動きベクトルｓＭＶ１，ｓＭＶ２が参照インデックスＲＩ１，ＲＩ２、動きベクトルＭＶ１，ＭＶ２として使用される。
【００５５】
一方、予測種別がダイレクトモード以外を示す場合には、スイッチ９１１は”０”側に切り替わる。
【００５６】
また、ダイレクトモード時には、符号化済ピクチャのブロックを符号化した際に用いられた第１動きベクトルｓＭＶ１がスケーリング用ベクトルとして使用される。そして、その第１動きベクトルｓＭＶ１の参照先となるピクチャが、ダイレクトモードの一方の参照ピクチャとして使用される。従って、符号化した第１参照インデックスＲＩ１、第１動きベクトルＭＶ１の中で、符号化したピクチャ以降のピクチャでダイレクトモードで使用される可能性がある第１参照インデックスＲＩ１、第１動きベクトルＭＶ１はベクトル用バッファ９１４に格納される。
【００５７】
予測種別の決定後、マルチフレームバッファ９０７に第１参照インデックスＲＩ１と第１動きベクトルＭＶ１とが入力され、入力された第１参照インデックスＲＩ１と第１動きベクトルＭＶ１とに対応する参照ブロックＲＢ１がマルチフレームバッファ９０７から画素補間部９０６に出力される。予測種別により２つの参照ブロックが必要とされるときには、さらに第２参照インデックスＲＩ２と第２動きベクトルＭＶ２とに対応する参照ブロックＲＢ２がマルチフレームバッファ９０７から画素補間部９０６に出力される。
【００５８】
画素補間部９０６は、補間予測時には、２個の参照ブロックＲＢ１，ＲＢ２の互いに対応する位置の画素値を補間し、補間ブロックＲｅＰを出力する。
【００５９】
スイッチ９１２は、予測種別が補間予測を示す場合には、”１”側に切り替わり、補間ブロックＲｅＰを予測画像信号Ｐｒｅとして扱う。
【００６０】
マルチフレームバッファ９０７は、第１参照ピクチャ予測時には、第１参照インデックスＲＩ１と第１動きベクトルＭＶ１とに対応する参照ブロックＲＢを出力する。また、第２参照ピクチャ予測時には、マルチフレームバッファ９０７は第２参照インデックスＲＩ２と第２動きベクトルＭＶ２とに対応する参照ブロックＲＢを出力する。なお、面内予測時には、面内予測結果の画素からなるブロックＲＢがマルチフレームバッファ９０７から出力される。
【００６１】
そして予測種別が補間予測以外の予測方法を示す場合には、スイッチ９１２は”０”側に切り替わり、参照ブロックＲＢを予測画像信号Ｐｒｅとして扱う。
【００６２】
可変長符号化部９０３は、残差符号化信号ＥＲ、参照インデックスＲＩ１，ＲＩ２、動きベクトルＭＶ１，ＭＶ２、ダイレクトモード用スケーリング係数ＳＰ、及び種別情報ＰＴを可変長符号化し、その結果を画像符号化信号ＢＳ０に含めて出力する。
【００６３】
図３７は、画像符号化信号ＢＳ０のフォーマットの概念図である。
この図３７は、画像符号化信号ＢＳ０中の１ピクチャ分の情報が含まれる部分のフォーマットを示す。
この部分は、ヘッダ１と、ダイレクトモードにより符号化されたブロックの第１ブロック符号化信号２と、ダイレクトモード以外の補間予測により符号化されたブロックの第２ブロック符号化信号３とを含む。
【００６４】
第２ブロック符号化信号３は、種別情報ＰＴが符号化された種別符号化信号９と、参照インデックスＲＩ１，ＲＩ２が符号化された第１インデックス符号化信号１０及び第２インデックス符号化信号１１と、動きベクトルＭＶ１，ＭＶ２が符号化されたＭＶ１符号化信号１２及びＭＶ２符号化信号１３とを含む。第２ブロック符号化信号３では、第１インデックス符号化信号１０及び第２インデックス符号化信号１１と、ＭＶ１符号化信号１２及びＭＶ２符号化信号１３とが、画像符号化信号ＢＳ０中に、図３７に示す順で含まれる。
【００６５】
また、参照インデックスＲＩ１，ＲＩ２のいずれを使用するかは種別符号化信号９により判断され、第１参照ピクチャと第２参照ピクチャとは、画像符号化信号ＢＳ０中の第１インデックス符号化信号１０及び第２インデックス符号化信号１１のデータ位置で決まる。
【００６６】
一方、第１ブロック符号化信号２は、ブロックがダイレクトモードで符号化された場合を示しており、種別情報ＰＴが符号化された種別符号化信号８を含むが、参照インデックス及び動きベクトルを示す情報を含まない。
【００６７】
また、ヘッダ１には、図３５に示す係数ＴＲ１，ＴＲ２，ＴＲ０がそれぞれ符号化された第１時間差情報４、第２時間差情報５、及び時間差情報６と、参照ピクチャに対する第１参照インデックス又は第２参照インデックスの割り当て変更を示す内容のＲＰＳＬ７が含まれる。ただし、ダイレクトモードでの動きベクトルのスケーリングの際に、各ピクチャの表示時刻情報を用いる場合には、これらの情報はヘッダ中には記述されず、ヘッダには表示時刻情報のみが記述される。
【００６８】
（６）従来の画像復号化装置
図３８は、従来の画像復号化装置の構成を示すブロック図である。
ここで、この画像復号化装置９５０が備えるマルチフレームバッファ９５８、画素補間部９５７、ベクトル用バッファ９６０、及びダイレクトモード処理部９５４はそれぞれ、図３６に示す画像符号化装置９００のマルチフレームバッファ９０７、画素補間部９０６、ベクトル用バッファ９１４、及びダイレクトモード処理部９１０のそれぞれと同様の機能を有するため、詳細な説明を省略する。また、図３８中、図３６に示す信号と同一の信号に対しては同一の符号を付して説明を省略する。
【００６９】
可変長復号部９５１は、画像符号化信号ＢＳ０を入力し可変長復号を行い、残差符号化信号ＥＲ、動きベクトルＭＶ１，ＭＶ２、参照インデックスＲＩ１，ＲＩ２、ダイレクトモード用スケーリング係数ＳＰ（または、各ピクチャの表示時刻情報）、及び種別情報ＰＴを出力する。画像復号部９５２は、残差符号化信号ＥＲを入力し、これに対して逆量子化及び逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号ＤＲを出力する。加算器９５３は、残差復号信号ＤＲと予測画像信号Ｐｒｅを加算し、復号画像信号ＤＩｍを画像復号化装置９５０外に出力する。マルチフレームバッファ９５８は、ピクチャ間予測のために必要な復号画像信号ＤＩｍを格納する。
【００７０】
ベクトル用バッファ９６０には、スケーリング用ベクトルｒＭＶと、スケーリング用ベクトルｒＭＶの参照先となるピクチャを識別するための情報（第１参照インデックスｒＲＩ１）とが記憶されている。また、ベクトル用バッファ９６０は値０の第２参照インデックスｒＲＩ２を入力し、スケーリング用ベクトルｒＭＶと第１参照インデックスｒＲＩ１とを出力する。
【００７１】
ダイレクトモード処理部９５４は、図３６のダイレクトモード処理部９１０と同じ処理を行う。
予測種別がダイレクトモード以外を示す場合、スイッチ９５５は”０”側に切り替わる。そして、マルチフレームバッファ９５８は、参照インデックスＲＩ１，ＲＩ２及び動きベクトルＭＶ１，ＭＶ２を取得する。
【００７２】
予測種別がダイレクトモードを示す場合、スイッチ９５５は”１”側に切り替わる。そして、マルチフレームバッファ９５８は、参照インデックスｒＲＩ１，ｒＲＩ２及び動きベクトルｓＭＶ１，ｓＭＶ２を、参照インデックスＲＩ１，ＲＩ２及び動きベクトルＭＶ１，ＭＶ２として取得する。
【００７３】
マルチフレームバッファ９５８は、補間予測時は、第１参照インデックスＲＩ１及び第１動きベクトルＭＶ１に対応する参照ブロックＲＢ１と、第２参照インデックスＲＩ２及び第２動きベクトルＭＶ２に対応する参照ブロックＲＢ２とを出力する。そして、画素補間部９５７は２個の参照ブロックＲＢ１，ＲＢ２のそれぞれに対応する画素値を補間して、補間ブロックＲｅＰを出力する。
【００７４】
マルチフレームバッファ９５８は、第１参照ピクチャ予測時には、第１参照インデックスＲＩ１と第１動きベクトルＭＶ１に対応する参照ブロックＲＢを出力する。また、第２参照ピクチャ予測時には、マルチフレームバッファ９５８は、第２参照インデックスＲＩ２と第２動きベクトルＭＶ２に対応する参照ブロックＲＢを出力する。なお、面内予測時には面内予測結果の画素からなるブロックＲＢがマルチフレームバッファ９５８から出力される。
【００７５】
予測種別が補間予測を示す場合には、スイッチ９５６は”０”側に切り替わり、補間ブロックＲｅＰが予測画像信号Ｐｒｅとして使用される。
予測種別が補間予測以外の予測方法を示す場合には、スイッチ９５６は”１”側に切り替わり、参照ブロックＲＢが予測画像信号Ｐｒｅとして使用される。
【００７６】
そして、復号された第１参照インデックスＲＩ１及び第１動きベクトルＭＶ１のうち、復号されたピクチャ以降のピクチャでダイレクトモードに使用される可能性がある第１参照インデックスＲＩ１及び第１動きベクトルＭＶ１はベクトル用バッファ９６０に格納される。
【００７７】
このような画像復号化装置９５０は、上述のように説明した処理により画像符号化信号ＢＳ０を復号して、これを画像復号信号ＤＩｍとして出力する。
ここで、上記従来の画像符号化装置９００及び画像復号化装置９５０では、Ｂピクチャは、上述のように、前方向２枚のピクチャを参照して符号化されたり、後方向２枚のピクチャを参照して符号化されたり、前後１枚ずつのピクチャを参照して符号化されたりするが、一般的な映像に対しては、前方向２枚又は後方向２枚のピクチャを参照する場合よりも、前後１枚ずつのピクチャを参照する場合の方が、高精度に補間予測が可能なために符号化効率が高い。
【００７８】
【非特許文献１】
ＭＰＥＧ−４ビジュアル規格書（１９９９年、ＩＳＯ／ＩＥＣ １４４９６−２：１９９９ Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ −− Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ −− Ｐａｒｔ２： Ｖｉｓｕａｌ， ｐ．１５４）
【００７９】
【発明が解決しようとする課題】
しかしながら、上記従来の画像符号化装置９００及び画像復号化装置９５０では、図３４の（ｂ）を用いて説明したように、第２参照インデックスｒＲＩ２の０は、マルチフレームバッファ９０７，９６０内の任意の参照ピクチャに割り当てられるため、ダイレクトモードでＢピクチャを符号化するような場合に、前方向２枚のピクチャを参照して符号化したり、後方向２枚のピクチャを参照して符号化したりする場合が多く、Ｂピクチャの符号化において符号化効率が低くなるという問題がある。
【００８０】
また、図３５に示すように、ダイレクトモードでは、第１参照ピクチャＲＰ１及び第２参照ピクチャＲＰ３並びにスケーリング用ベクトルＭＶ０（第１動きベクトルＭＶ０）を用いて、符号化対象ピクチャＴＰが符号化される。ここで、第２参照ピクチャは、第２参照インデックスＲＩ２＝０に対応するピクチャであって、第１参照ピクチャは、第２参照ピクチャ中のブロックＢ００の第１動きベクトルＭＶ０の参照先となるピクチャである。
【００８１】
そのため、ダイレクトモードを実現するためには、画像符号化装置９００は、第２参照ピクチャＲＰ３を符号化した際に使用した第１動きベクトルＭＶ０と、第１動きベクトルＭＶ０の参照先となるピクチャＲＰ１を識別するための情報とを保持しておく必要がある。
【００８２】
同様に、画像復号化装置９５０においても、ダイレクトモードのために、復号済ピクチャの第１動きベクトルＭＶ０と、第１動きベクトルＭＶ０の参照先となるピクチャＲＰ１を識別するための情報とを保持する必要がある。
【００８３】
即ち、Ｈ．２６３では、動きベクトルは最小４×４ブロック単位で切り替えられることが可能で、参照ピクチャは最小８×８ブロック単位で切り替えられることが可能なため、例えば、ＱＣＩＦ（１７６×１４４ブロック）サイズの画像の場合には、１参照ピクチャ当り１５８４個の動きベクトルと３９６個の参照ピクチャを識別するための情報とを保持できる量のメモリが必要になる。
【００８４】
さらに、Ｈ．２６Ｌでは、参照ピクチャに対する参照インデックスの割り当ては自由に変更できるため、マルチフレームバッファ内の全参照ピクチャが第２参照インデックスＲＩ２＝０に対応した参照ピクチャとなり得る。そのため、画像符号化装置９００及び画像復号化装置９５０は、マルチフレームバッファ９０７，９５８内の全参照ピクチャ分の第１動きベクトルと、第１動きベクトルの参照先となるピクチャを識別するための情報とを保持しておく必要がある。
【００８５】
このような第１動きベクトル及びピクチャの識別情報の保持に必要な記憶容量は参照ピクチャ枚数に比例するため、このような情報を保持するベクトル用バッファ９１４，９６０には非常に大きな記憶容量を要するという問題がある。つまり、ベクトル用バッファ９１４，９６０に記憶される情報量が多くなるために、その情報の入出力に負担がかかって符号化処理が煩雑になり、符号化効率の低下を招くという問題がある。
【００８６】
そこで、本発明では、符号化効率の向上を図った画像符号化方法及び画像復号化方法を提供することを目的とする。
【００８７】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る画像符号化方法は、既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャの中から何れかを第２参照ピクチャとして選択する第２参照ピクチャ選択ステップと、前記第２参照ピクチャ内の所定のブロックの符号化に用いられた動きベクトルに基づいて、符号化済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップと、前記第２参照ピクチャを特定するための特定情報を、前記符号化ステップの符号化結果とともに出力する出力ステップとを含むことを特徴とする。
【００８８】
ここで、前記出力ステップでは、前記第２参照ピクチャを指し示す第２参照インデックスから前記特定情報を構成して出力することを特徴としても良い。また、前記出力ステップでは、前記各符号化済ピクチャを識別するためにそれぞれに割り当てられる第２参照インデックスの変更方法を示す情報を前記特定情報として出力することを特徴としても良い。
【００８９】
これにより、符号化対象ピクチャよりも表示順が後の符号化済ピクチャが第２参照ピクチャとして選択されるため、リマッピングが生じたときに従来例のように符号化対象ピクチャよりも表示順が前の２つの符号化済ピクチャを参照してしまうのを防いで、符号化対象ピクチャの前後にある２つの符号化済ピクチャを参照する確率を高めて符号化効率を向上することができる。また、特定情報が出力されるため、符号化ステップでの符号化結果を復号するときには、符号化処理で選択された第２参照ピクチャと同一のピクチャをその特定情報に基づいて選択して、正確に復号することができる。
【００９０】
また、本発明に係る画像符号化方法は、既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャのうち、前記各符号化済ピクチャを識別するためにそれぞれに割り当てられる第２参照インデックスが最小の符号化済ピクチャを、第２参照ピクチャとして選択する第２参照ピクチャ選択ステップと、前記第２参照ピクチャ内の所定のブロックの符号化に用いられた動きベクトルに基づいて、符号化済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップとを含むことを特徴とする。
【００９１】
ここで、前記第２参照ピクチャ選択ステップでは、前記第２インデックスの割り当て方を示す内容の割当情報に基づいて、前記第２参照インデックスが最小の符号化済ピクチャを特定し、特定した前記符号化済ピクチャを第２参照ピクチャとして選択することを特徴としても良い。
【００９２】
これにより、符号化対象ピクチャよりも表示順が後の符号化済ピクチャが第２参照ピクチャとして選択されるため、リマッピングが生じたときに従来例のように符号化対象ピクチャよりも表示順が前の２つの符号化済ピクチャを参照してしまうのを防いで、符号化対象ピクチャの前後にある２つの符号化済ピクチャを参照する確率を高めて符号化効率を向上することができる。また、第２参照インデックスが最小の符号化済ピクチャが第２参照ピクチャとして選択されるため、符号化ステップでの符号化結果を復号するときには、符号化処理で選択された第２参照ピクチャと同一のピクチャを一意に選択して、正確に復号することができる。
【００９３】
ここで、本発明に係る画像符号化方法は、既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、符号化済ピクチャを識別するための第２参照インデックスを前記各符号化済ピクチャに割り当て、このとき、前記符号化対象ピクチャよりも表示順が後の何れかの符号化済ピクチャに対して０を示す第２参照インデックスが割り当てられるように制限する割当ステップと、前記割当ステップと異なる割り当て方で前記第２参照インデックスを割り当て直すことができ、割り当て直すときには、前記符号化対象ピクチャよりも表示順が後の何れかの符号化済ピクチャに対して０を示す第２参照インデックスが割り当てられるように制限する再割当ステップと、前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャのうち、前記０を示す第２参照インデックスが割り当てられた符号化済ピクチャを、第２参照ピクチャとして選択する第２参照ピクチャ選択ステップと、前記第２参照ピクチャ内の所定のブロックの符号化に用いられた動きベクトルに基づいて、符号化済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップとを含むことを特徴とする。
【００９４】
ここで、前記再割当ステップでは、前記割当ステップにおいて０を示す第２参照インデックスが割り当てられる符号化済ピクチャに対して、前記第２参照インデックスの変更を禁止することを特徴としても良い。
【００９５】
これにより、前記割当ステップ及び再割当ステップでは、符号化対象ピクチャよりも表示順が後の符号化済ピクチャに対して０を示す第２参照インデックスが割り当てられるため、符号化対象ピクチャよりも表示順が後の符号化済ピクチャが第２参照ピクチャとして選択される。その結果、リマッピングが生じたときに従来例のように符号化対象ピクチャよりも表示順が前の２つの符号化済ピクチャを参照してしまうのを防いで、符号化対象ピクチャの前後にある２つの符号化済ピクチャを参照する確率を高めて符号化効率を向上することができる。
【００９６】
さらに、本発明に係る画像符号化方法は、既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、符号化済ピクチャを識別するための第１参照インデックスを前記各符号化済ピクチャに割り当てる割当ステップと、所定の符号化済ピクチャまたはスライスに対して、前記割当ステップと異なる割り当て方で前記第１参照インデックスを割り当て直す再割当ステップと、前記符号化対象ピクチャよりも表示順が前の符号化済ピクチャのうち、所定の値を示す第１参照インデックスが割り当てられた符号化済ピクチャを、第１参照ピクチャとして選択する第１参照ピクチャ選択ステップと、前記第１参照ピクチャ内の所定のブロックに基づいて画素補間により予測画像を生成する予測画像生成ステップと、前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップとを含み、前記再割当ステップでは、長時間にわたって参照される前記符号済ピクチャから優先的に、前記所定の値を示す第１参照インデックスを割り当てることを特徴とする。
【００９７】
これにより、シーンの変化が生じたときには、長時間にわたって参照される符号化済ピクチャを保持するメモリ内のその符号済ピクチャから優先的に０を示す第１参照インデックスが割り当てられるようにリマッピングされて、その第１参照インデックスが０の符号化済ピクチャが第１参照ピクチャとして選択されるため、符号化対象ピクチャと類似する符号化済ピクチャが参照される確率を高めて符号化効率を向上することができる。
【００９８】
また、本発明に係る画像符号化方法は、既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、符号化済ピクチャを識別するための第２参照インデックスを前記各符号化済ピクチャに割り当てる割当ステップと、前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャのうち、０を示す第２参照インデックスが割り当てられた符号化済ピクチャを、第２参照ピクチャとして選択する第２参照ピクチャ選択ステップと、前記第２参照ピクチャ内の所定のブロックの符号化に用いられた動きベクトルに基づいて、符号化済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップとを含み、前記割当ステップでは、表示順が前記符号化対象ピクチャよりも前になったことがある符号化済ピクチャに対して、０を示す第２参照インデックスが割り当てられるのを禁止することを特徴とする。
【００９９】
これにより、表示順が符号化対象ピクチャよりも前になったことがある符号化済ピクチャに対して、０を示す第２参照インデックスが割り当てられるのが禁止されるため、表示順が前になったことがあるその符号化済ピクチャは第２参照ピクチャとして選択されることがなく、その符号化済ピクチャ上のブロックの符号化に用いられた動きベクトルを、符号化対象ピクチャの符号化のためにわざわざメモリに保存しておく処理を省くことができ、符号化効率を向上することができる。
【０１００】
ここで、前記画像符号化方法は、さらに、符号化済ピクチャの符号化に用いられた動きベクトルを記憶しているメモリから、表示順が前記符号化対象ピクチャよりも前になったことがある符号化済ピクチャの符号化に用いられた動きベクトルを削除する削除ステップを含むことを特徴としても良い。
【０１０１】
これにより、符号化処理に不要な動きベクトルがメモリに保存されるのを防いで、メモリの記憶容量を小さくすることができる。
【０１０２】
さらに、本発明に係る画像符号化方法は、既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、記憶部に格納されている複数の符号化済ピクチャから、前記複数の符号化済ピクチャに対して付与された第１参照インデックスと第２参照インデックスとを用いて、前記第１参照インデックスに対応する符号化済ピクチャを第１参照ピクチャとして選択し、前記第２参照インデックスに対応する符号化済ピクチャを第２参照ピクチャとして選択する選択ステップと、前記第１参照ピクチャ上のブロックと前記第２参照ピクチャ上のブロックに基づいて画素補間により予測画像を生成する予測画像生成ステップと、前記符号化対象ピクチャと前記予測画像との差である予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する出力ステップとを含み、前記選択ステップでは、前記符号化済ピクチャのうち前記符号化対象ピクチャより表示順が前で前記第１参照インデックスが最小の符号化済ピクチャを第１参照ピクチャとして選択し、前記予測画像生成ステップでは、前記第２参照ピクチャ内で前記符号化対象ピクチャ上の符号化対象ブロックと同じ位置のブロックの符号化に使用された第１動きベクトルに基づいて、前記ブロックに対して前記第１参照ピクチャを参照先とする第２動きベクトルを算出するとともに、前記第２動きベクトルに基づいて、前記符号化対象ブロックに対して第１参照ピクチャを参照先とする第３動きベクトルと、前記符号化対象ブロックに対して第２参照ピクチャを参照先とする第４動きベクトルとを算出し、前記第３動きベクトルの参照先となる前記第１参照ピクチャ上のブロックと、前記第４動きベクトルの参照先となる前記第２参照ピクチャ上のブロックとから画素補間により予測画像を生成することを特徴とする。
【０１０３】
これにより、符号化対象ピクチャ内の各ブロックに対して参照先となる第１参照ピクチャが、第２参照ピクチャの第１動きベクトルの参照先に関わらず共通化されるため、従来例のように第１参照ピクチャを識別するための情報をわざわざメモリに保存しておく必要がなく、そのメモリの記憶容量を小さくすることができるとともに、符号化処理を簡略化して符号化効率の向上を図ることができる。
【０１０４】
また、本発明に係る画像復号化方法は、符号化されたピクチャを、既に復号されたピクチャを参照することによりブロック毎に復号する画像復号化方法であって、復号対象のピクチャの復号に参照される復号済ピクチャを第２参照ピクチャとして特定するための特定情報、及び前記復号対象ピクチャに関する符号化信号を取得する取得ステップと、前記復号対象ピクチャよりも表示順が後の復号済ピクチャの中から、前記特定情報に基づいて第２参照ピクチャを選択する第２参照ピクチャ選択ステップと、前記第２参照ピクチャ内の所定のブロックの復号に用いられた動きベクトルに基づいて、復号済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、前記予測画像及び前記符号化信号に基づいて復号対象ブロックを復号する復号ステップとを含むことを特徴とする。
【０１０５】
ここで、前記取得ステップでは、前記第２参照ピクチャを指し示す第２参照インデックスから構成される特定情報を取得し、前記第２参照ピクチャ選択ステップでは、前記第２参照インデックスにより示される前記第２参照ピクチャを選択することを特徴としても良い。また、前記取得ステップでは、前記各復号済ピクチャを識別するためにそれぞれに割り当てられる第２参照インデックスの変更方法を示す特定情報を取得し、前記第２参照ピクチャ選択ステップでは、前記第２参照インデックスの変更方法から特定される復号済ピクチャを前記第２参照ピクチャとして選択することを特徴としても良い。
【０１０６】
これにより、特定情報に基づいて第２参照ピクチャを一意に選択して、
本発明に係る画像符号化方法により符号化されたピクチャを正確に復号することができる。
【０１０７】
また上記以外にも、本発明に係る画像符号化方法は、記憶部に格納されている複数の符号化済フレームから、符号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記符号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第一のステップと、前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第二のステップと、入力された符号化対象フレームと前記予測画像との差である予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する第三のステップとを有する画像符号化方法における第一のステップにおいて、前記符号化済フレームのうち前記符号化対象フレームより表示順が後で前記第２相対インデックスが最小の参照フレームを前記第２の参照フレームとして選択し、前記第二のステップにおいて、前記第２の参照フレーム内で、前記符号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、この動きベクトルから所定の方法により前記第１の参照フレームへの動きベクトルと前記第２の参照フレームへの動きベクトルとを算出し、前記第１の参照フレームに対する動きベクトルから得られるブロックと、前記第２の参照フレームに対する動きベクトルから得られるブロックと、から画素補間により予測画像を生成することを特徴としても良い。
【０１０８】
また上記以外にも、本発明に係る画像復号化方法は、予測誤差の符号化信号を含む画像符号化信号を入力する第一のステップと、記憶部に格納されている複数の復号化済フレームから、復号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記復号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第二のステップと、前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第三のステップと、前記予測画像と復号した予測誤差からフレームの復号画像を生成する第四のステップと、フレーム間予測に使用される可能性があるフレームの復号画像を前記記憶部に格納する第五のステップとを有する画像復号化方法における第二のステップにおいて、前記復号化済フレームのうち前記復号化対象フレームより表示順が後で前記第２相対インデックスが最小の参照フレームを前記第２の参照フレームとして選択し、前記第三のステップにおいて、前記第２の参照フレーム内で、前記復号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、この動きベクトルから所定の方法により前記第１の参照フレームへの動きベクトルと前記第２の参照フレームへの動きベクトルとを算出し、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成することを特徴としても良い。
【０１０９】
また上記以外にも、本発明に係る画像符号化方法は、記憶部に格納されている複数の符号化済フレームから、符号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記符号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第一のステップと、前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第二のステップと、入力された符号化対象フレームと前記予測画像との差である予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する第三のステップとを有する画像符号化方法における第一のステップにおいて、前記符号化済フレームで前記符号化対象フレームより表示順が後のフレームから前記第２の参照フレームを選択し、前記第二のステップにおいて、前記第２の参照フレーム内で、前記符号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、この動きベクトルから所定の方法により前記第１の参照フレームへの動きベクトルと前記第２の参照フレームへの動きベクトルとを算出し、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成し、前記第三のステップにおいて、前記第一のステップで選択された前記第２の参照フレームを示す第２相対インデックスを画像符号化信号中に含めることを特徴としても良い。
【０１１０】
また上記以外にも、本発明に係る画像復号化方法は、予測誤差の符号化信号を含む画像符号化信号を入力する第一のステップと、記憶部に格納されている複数の復号化済フレームから、復号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記復号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第二のステップと、前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第三のステップと、前記予測画像と復号した予測誤差からフレームの復号画像を生成する第四のステップと、フレーム間予測に使用される可能性があるフレームの復号画像を記憶部に格納する第五のステップとを有する画像復号化方法における第一のステップにおいて、第２相対インデックスを有する前記画像符号化信号から前記第２相対インデックスを取得し、前記第二のステップにおいて、前記第一ステップで取得した前記第２相対インデックスが示すフレームを前記第２の参照フレームとし、前記第三のステップにおいて、前記第２の参照フレーム内で、前記復号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、この動きベクトルから所定の方法により前記第１の参照フレームへの動きベクトルと前記第２の参照フレームへの動きベクトルとを算出し、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成することを特徴としても良い。
【０１１１】
また上記以外にも、本発明に係る画像符号化方法は、記憶部に格納されている複数の符号化済フレームから、符号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記符号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第一のステップと、前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第二のステップと、入力された符号化対象フレームと前記予測画像との差である予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する第三のステップとを有する画像符号化方法における第一のステップにおいて、前記符号化済フレームのうち前記符号化対象フレームより表示順が前で前記第１相対インデックスが最小の参照フレームを第１の参照フレームとして選択し、前記第二のステップにおいて、前記第２の参照フレーム内で前記符号化対象フレーム上の所定のブロックと同じ位置の第１のブロックの動き補償で使用した第１の動きベクトルと、前記第１の参照フレームと前記第２の参照フレームとの間隔とから、前記第一のブロックから第１の参照フレーム上で前記前記第１の動きベクトルが参照するブロックと同じ位置にあるブロックへの第２の動きベクトルを算出し、算出された前記第２の動きベクトルを用いて所定の方法により前記第１の参照フレームへの動きベクトルと前記第２の参照フレームへの動きベクトルとを算出し、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成することを特徴としても良い。
【０１１２】
また上記以外にも、本発明に係る画像復号化方法は、予測誤差の符号化信号を含む画像符号化信号を入力する第一のステップと、記憶部に格納されている複数の復号化済フレームから、復号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記復号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第二のステップと、前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第三のステップと、前記予測画像と復号した予測誤差からフレームの復号画像を生成する第四のステップと、フレーム間予測に使用される可能性があるフレームの復号画像を記憶部に格納する第五のステップとを有する画像復号化方法における第二のステップにおいて、前記符号化済フレームのうち前記符号化対象フレームより表示順が前で前記第１相対インデックスが最小の参照フレームを前記第１の参照フレームとして選択し、前記第三のステップにおいて、前記第２の参照フレーム内で前記復号化対象フレーム上の所定のブロックと同じ位置の第１のブロックの動き補償で使用した第１の動きベクトルと、前記第１の参照フレームと前記第２の参照フレームとの時間間隔とから、前記第一のブロックから第１の参照フレーム上で前記前記第１の動きベクトルが参照するブロックと同じ位置にあるブロックへの第２の動きベクトルを算出し、算出された前記第２の動きベクトルを用いて所定の方法により前記第１の参照フレームへの動きベクトルと前記第２の参照フレームへの動きベクトルとを算出し、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成することを特徴としても良い。
【０１１３】
また上記以外にも、本発明に係る画像符号化方法は、記憶部に格納されている複数の符号化済フレームから、符号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記符号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第一のステップと、各前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第二のステップと、入力された符号化対象フレームと前記予測画像との差である予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する第三のステップとを有する画像符号化方法における第一のステップにおいて、前記符号化済フレームで前記符号化対象フレームより表示順が前のフレームから前記第１の参照フレームを選択し、前記第二のステップにおいて、前記第２の参照フレーム内で前記符号化対象フレーム上の所定のブロックと同じ位置の第１のブロックの動き補償で使用した第１の動きベクトルと、前記第一のステップで選択された前記第１の参照フレームと前記第２の参照フレームとの時間間隔とから、前記第一のブロックから第１の参照フレーム上で前記前記第１の動きベクトルが参照するブロックと同じ位置にあるブロックへの第２の動きベクトルを算出し、算出された前記第２の動きベクトルを用いて所定の方法により前記第一のステップで選択された前記第１の参照フレームへの動きベクトルと前記第２の参照フレームへの動きベクトルとを算出し、前記第一のステップで選択された前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成し、前記第三のステップにおいて、前記第一のステップで選択された前記第１の参照フレームを示す第１相対インデックスを画像符号化信号中に含めることを特徴としても良い。
【０１１４】
ここで、前記第１の動きベクトルが参照するフレームの番号は格納しないことを特徴としても良く、さらに、前記記憶部に格納されている複数の符号化済フレームのうち前記符号化対象フレームに対して表示順で前になった前記第２の参照フレームの内で前記符号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した前記第一の動きベクトルを削除するステップを有することを特徴としても良い。
【０１１５】
また上記以外にも、本発明に係る画像復号化方法は、予測誤差の符号化信号を含む画像符号化信号を入力する第一のステップと、記憶部に格納されている複数の復号化済フレームから、復号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記復号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第二のステップと、前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第三のステップと、前記予測画像と復号した予測誤差からフレームの復号画像を生成する第四のステップと、フレーム間予測に使用される可能性があるフレームの復号画像を記憶部に格納する第五のステップとを有する画像復号化方法における第一のステップにおいて、第１相対インデックスを有する前記画像符号化信号から前記第１相対インデックスを取得し、前記第二のステップにおいて、前記第２の参照フレーム内で前記符号対象フレーム上の所定のブロックと同じ位置の第１のブロックの動き補償で使用した第１の動きベクトルと、前記第一のステップで取得された前記第１の参照フレームと前記第２の参照フレームとの時間間隔とから、前記第一のブロックから第１の参照フレーム上で前記前記第１の動きベクトルが参照するブロックと同じ位置にあるブロックへの第２の動きベクトルを算出し、算出された前記第２の動きベクトルを用いて所定の方法により前記第一のステップで取得された前記第１の参照フレームへの動きベクトルと前記第２の参照フレームへの動きベクトルとを算出し、前記第一のステップで取得された前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成することを特徴としても良い。
【０１１６】
また上記以外にも、本発明に係る画像符号化装置は、画像信号を入力し、前記画像信号と予測画像との差分を行い残差信号として出力する差分器と、前記差分信号に画像符号化処理を行い残差符号化信号として出力する画像符号化手段と、前記残差符号化信号を復号して残差復号信号として出力する画像復号手段と、前記残差復号信号と予測画像を加算して再構成画像を出力する加算器と、前記記憶部内の符号化済フレームのうちで符号化対象フレームより表示順が後で第２相対インデックスが最小の参照フレームを第２の参照フレームとして選択するダイレクトモード用第２参照フレーム選択手段と、前記第２の参照フレーム内で符号化対象フレーム上の所定のブロックの動き補償で使用した動きベクトルが参照するフレームを第１の参照フレームとし、この動きベクトルから所定の方法により前記第１の参照フレームと前記第２の参照フレームへの動きベクトルを生成するダイレクトモード用ベクトル・相対インデックス生成手段と、前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームに対する動きベクトルが参照する２つの参照ブロックの画素補間を行い予測画像として出力する画素補間手段と、予測誤差を可変長符号化して符号化信号として出力する可変長符号化手段を備えたものであることを特徴としても良い。
【０１１７】
また上記以外にも、本発明に係る画像復号化装置は、画像符号化信号を入力し可変長復号を行い、残差符号化信号を出力する可変長復号手段と、前記残差符号化信号を復号し復号残差信号を出力する画像復号手段と、前記残差復号信号と予測画像信号を加算し復号画像を出力する加算器と、前記復号画像を格納する記憶部と、第２相対インデックスが最小の参照フレームを第２の参照フレームとして選択するダイレクトモード用第２参照フレーム選択手段と、前記第２の参照フレーム内で符号化対象ブロックと同一位置のブロックの動きベクトルが参照するフレームを第１の参照フレームとし、この動きベクトルから所定の方法により第１の参照フレームと第２の参照フレームへの動きベクトルを生成するダイレクトモード用ベクトル・相対インデックスと生成手段と、前記第１および第２の参照フレームと各参照フレームに対応する動きベクトルが参照する２つの参照ブロックの画素補間を行い前記予測画像信号として出力する画素補間手段を備えたものであることを特徴とする画像復号化装置。
【０１１８】
さらに、本発明に係る記憶媒体は、コンピュータにより、上述の画像符号化方法及び画像復号化方法のいずれかに記載された動画像の符号化または復号化の処理を行うためのプログラムを格納した記録媒体であって、上記プログラムはコンピュータに上述の画像符号化方法及び画像復号化方法のいずれかに記載の動画像の符号化または復号化の処理を行わせるものであることを特徴としても良い。
【０１１９】
なお、本発明は、上記画像符号化方法や画像復号化方法を用いる画像符号化装置、画像復号化装置、プログラム、及びそのプログラムを格納する記憶媒体としても実現することができる。
【０１２０】
【発明の実施の形態】
（実施の形態１）
本発明の実施の形態１における画像符号化装置について、以下図面を参照しながら説明する。
【０１２１】
図１は、実施の形態１における画像符号化装置のブロック図である。
この画像符号化装置１００は、画像を示す内容の画像信号Ｉｍｇを取得して、その画像信号Ｉｍｇをブロック毎に符号化処理するものであって、減算器１０１と、画像復号化部１０４と、可変長符号化部１０３と、動き推定部１０９と、予測種別選択部１０８と、スイッチ１１１，１１２と、画素補間部１０６と、ダイレクトモード処理部１１０と、ベクトル用バッファ１１４と、マルチフレームバッファ１０７と、ピクチャ選択部１１３とを備えている。
【０１２２】
減算器１０１は、画像信号Ｉｍｇから予測画像信号Ｐｒｅを減算し、その減算結果を残差信号Ｒｅｓとして出力する。
【０１２３】
画像符号化部１０２は、残差信号Ｒｅｓを減算器１０１から取得して、その残差信号Ｒｅｓに対してＤＣＴ変換及び量子化などの画像符号化処理を行い、量子化済ＤＣＴ係数などを含む残差符号化信号ＥＲを出力する。
【０１２４】
画像復号化部１０４は、画像符号化部１０２から残差符号化信号ＥＲを取得して、その残差符号化信号ＥＲに対して逆量子化及び逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号ＤＲを出力する。
【０１２５】
加算器１０５は、残差復号信号ＤＲと予測画像信号Ｐｒｅとを加算し、その加算結果を再構成画像信号Ｒｅｃとして出力する。
【０１２６】
マルチフレームバッファ１０７は、加算器１０５から再構成画像信号Ｒｅｃを取得すると、その再構成画像信号Ｒｅｃのうち、以降のピクチャ間予測で参照される可能性がある信号を格納する。つまり、マルチフレームバッファ１０７の記憶容量は有限なため、マルチフレームバッファ１０７は、加算器１０５から取得した再構成画像信号Ｒｅｃのうち、以降のピクチャ間予測に使用されないピクチャのデータを除去する。
【０１２７】
動き推定部１０９は、マルチフレームバッファ１０７に格納されているピクチャを参照ピクチャＲＰとして取得して動き推定を行い、面内予測、第１参照ピクチャ予測、第２参照ピクチャ予測、及び補間予測の予測種別の中から、所定の方法で最適な予測種別を選択する（なお、選択可能な予測種別はピクチャ種別によって異なる）。ここで、動き推定部１０９は、最適な予測種別を選択するときには、例えば、各予測種別による予測誤差が最小となる予測種別を選択する。
【０１２８】
そして、動き推定部１０９は、補間予測を選択したときには、符号化対象のブロックに対する第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、第１参照インデックスＲＩ１、第２参照インデックスＲＩ２を出力する。また、動き推定部１０９は、面内予測を選択したときには、上述のような動きベクトルや参照インデックスを出力せず、第１参照ピクチャ予測を選択したときには、第１動きベクトルＭＶ１及び第１参照インデックスＲＩ１のみを出力し、第２参照ピクチャ予測を選択したときには、第２動きベクトルＭＶ２及び第２参照インデックスＲＩ２のみを出力する。
【０１２９】
ベクトル用バッファ１１４は、第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、第１参照インデックスＲＩ１、及び第２インデックスＲＩ２を動き推定部１０９から取得する。そして、ベクトル用バッファ１１４は、その取得結果に基づいて、ダイレクトモードに用いられるスケーリング用ベクトルｒＭＶと、そのスケーリング用ベクトルｒＭＶの参照先となるピクチャを示すピクチャ番号及び参照インデックスを記憶している。
【０１３０】
つまり、ダイレクトモード時には、符号化済ピクチャのブロックを符号化したときに用いられた第１動きベクトルがスケーリング用ベクトルｒＭＶとして使用され、その第１動きベクトルの参照先となるピクチャが第１参照ピクチャとして扱われるため、ベクトル用バッファ１１４は、動き推定部１０９から出力された第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、第１参照インデックスＲＩ１、及び第２インデックスＲＩ２のうち、ダイレクトモードに使用される可能性がある第１動きベクトルＭＶ１及び第１参照インデックスＲＩ１を記憶している。
【０１３１】
また、ベクトル用バッファ１１４は、第２参照インデックスｒＲＩ２をピクチャ選択部１１３から取得する。そして、ベクトル用バッファ１１４は、ピクチャ選択部１１３からその第２参照インデックスｒＲＩ２を取得すると、記憶している内容に基づいて、その第２参照インデックスｒＲＩ２により指し示されるピクチャ内の所定のブロックに対応する第１動きベクトルＭＶ１を、スケーリング用ベクトルｒＭＶとして出力するとともに、そのスケーリング用ベクトルｒＭＶの参照先となるピクチャを示す第１参照インデックスＲＩ１を、第１参照インデックスｒＲＩ１として出力する。
【０１３２】
ダイレクトモード処理部１１０は、ダイレクトモード用スケーリング係数ＳＰ、スケーリング用ベクトルｒＭＶ、第１参照インデックスｒＲＩ１、及び第２参照インデックスｒＲＩ２を取得すると、符号化対象のブロックに対して上述のダイレクトモードに基づく処理を行い、その結果として、第１動きベクトルｓＭＶ１、第２動きベクトルｓＭＶ２、第１参照インデックスｒＲＩ１、及び第２参照インデックスｒＲＩ２を出力する。ここで、ダイレクトモード処理部１１０は、ダイレクトモードスケーリング係数ＳＰを取得する代わりに、第１参照インデックスｒＲＩ１に示される参照ピクチャの表示時刻を示す表示時刻情報と、第２参照インデックスｒＲＩ２に示される参照ピクチャの表示時刻を示す表示時刻情報と、符号化対象ピクチャの表示時刻を示す表示時刻情報とを取得しても良い。このときには、ダイレクトモード処理部１１０は、これらの表示時刻情報に示される各ピクチャの表示時刻から、各ピクチャ間の表示時刻差を算出し、それらの表示時刻差の比を用いてスケーリング用ベクトルｒＭＶに対するスケーリングを行う。これにより、ダイレクトモード処理部１１０は、ダイレクトモードスケーリング係数ＳＰを用いたときと同様に、第１動きベクトルｓＭＶ１及び第２動きベクトルｓＭＶ２を算出する。
【０１３３】
予測種別選択部１０８は、画像信号Ｉｍｇと、参照ピクチャＲＰと、ダイレクトモード処理部１１０から出力される第１参照インデックスｒＲＩ１、第２参照インデックスｒＲＩ２、第１動きベクトルｓＭＶ１、及び第２動きベクトルｓＭＶ２を取得するとともに、動き推定部１０９から出力される第１参照インデックスＲＩ１、第２参照インデックスＲＩ２、第１動きベクトルＭＶ１、及び第２動きベクトルＭＶ２を取得する。そして、予測種別選択部１０８は、取得した内容に基づいて符号化対象ブロックに対する予測種別を選択する。つまり、予測種別選択部１０８は、符号化対象ブロックに対してダイレクトモードを適用すべきか否かを判別する。さらに、予測種別選択部１０８は、選択した予測種別を示す内容の種別情報ＰＴを可変長符号化部１０３に出力する。
【０１３４】
ここで、予測種別選択部１０８は、予測種別を選択するときには、例えば、符号化対象ブロックに対してダイレクトモードを適用したときの予測誤差と、ダイレクトモードを適用していないときの予測誤差とを比較する。そして、予測種別選択部１０８は、ダイレクトモードを適用したときの予測誤差の方が小さいと判別したときには、ダイレクトモードを適用する予測種別を選択し、ダイレクトモードを適用しないときの予測誤差の方が小さいと判別したときには、ダイレクトモードを適用しない予測種別を選択する。
【０１３５】
さらに、予測種別選択部１０８は、ダイレクトモードの適用を予測種別として選択したときには、スイッチ１１１の接点を接点０から接点１に切り替えさせる。これにより、ダイレクトモード処理部１１０から出力された第１参照インデックスｒＲＩ１、第２参照インデックスｒＲＩ２、第１動きベクトルｓＭＶ１、及び第２動きベクトルｓＭＶ２は、スイッチ１１１を介してマルチフレームバッファ１０７に、第１参照インデックスＲＩ１、第２参照インデックスＲＩ２、第１動きベクトルＭＶ１、及び第２動きベクトルＭＶ２として送信される。
【０１３６】
一方、予測種別選択部１０８は、ダイレクトモードの不適用を予測種別として選択したときには、スイッチ１１１の接点を接点１から接点０に切り替えさせる。これにより、動き推定部１０９から出力された第１参照インデックスＲＩ１、第２参照インデックスＲＩ２、第１動きベクトルＭＶ１、及び第２動きベクトルＭＶ２は、スイッチ１１１を介して可変長符号化部１０３及びマルチフレームバッファ１０７に送信される。
【０１３７】
また、予測種別選択部１０８は、補間予測以外の予測を予測種別として選択したときには、スイッチ１１２の接点を接点１から接点０に切り替え、補間予測を予測種別として選択したときには、スイッチ１１２の接点を接点０から接点１に切り替えさせる。その結果、減算器１０１及び加算器１０５に取得される予測画像信号Ｐｒｅは予測種別に応じ、マルチフレームバッファ１０７からの出力によるものと、画素補間部１０６からの出力によるものとに切り替えられる。
【０１３８】
マルチフレームバッファ１０７は、補間予測時には、動き推定部１０９及びダイレクトモード処理部１１０からの出力に基づいて第１参照インデックスＲＩ１（ｒＲＩ１）及び第１動きベクトルＭＶ１（ｓＭＶ１）を取得すると、その第１参照インデックスＲＩ１及び第１動きベクトルＭＶ１に対応する参照ブロックＲＢ１を画素補間部１０６に出力する。さらに、マルチフレームバッファ１０７は、動き推定部１０９及びダイレクトモード処理部１１０からの出力に基づいて第２参照インデックスＲＩ２（ｒＲＩ２）及び第２動きベクトルＭＶ２（ｓＭＶ２）を取得すると、その第２参照インデックスＲＩ２及び第２動きベクトルＭＶ２に対応する参照ブロックＲＢ２を画素補間部１０６に出力する。
【０１３９】
そして、マルチフレームバッファ１０７は、第１参照ピクチャ予測時には、第１参照インデックスＲＩ１と第１動きベクトルＭＶ１とに対応する参照ブロックＲＢを出力する。また、マルチフレームバッファ１０７は、第２参照ピクチャ予測時には、第２参照インデックスＲＩ２と第２動きベクトルＭＶ２とに対応する参照ブロックＲＢを出力する。なお、面内予測時には、マルチフレームバッファ１０７は、面内予測結果を示す画素からなるブロックＲＢを出力する。
【０１４０】
画素補間部１０６は、マルチフレームバッファ１０７から参照ブロックＲＢ１，ＲＢ２を取得すると、その参照ブロックＲＢ１，ＲＢ２の中の互いに位置が等しい画素の画素値を補間し、その補間結果を補間ブロックＲｅＰとして出力する。
【０１４１】
そして上述のように、スイッチ１１２の接点は、予測種別選択部１０８からの予測種別に応じて切り替えられるため、補間予測以外の予測が予測種別として選択されたときには、マルチフレームバッファ１０７からのブロックＲＢがスイッチ１１２を介して予測画像信号Ｐｒｅとして減算器１０１及び加算器１０５に送信され、補間予測が予測種別として選択されたときには、画素補間部１０６からの補間ブロックＲｅＰがスイッチ１１２を介して予測画像信号Ｐｒｅとして減算器１０１及び加算器１０５に送信される。
【０１４２】
可変長符号化部１０３は、残差符号化信号ＥＲ、第１参照インデックスＲＩ１、第２参照インデックスＲＩ２、第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、ダイレクトモード用スケーリング係数ＳＰ、及び種別信号ＰＴを可変長符号化し、その結果を画像符号化信号ＢＳとして出力する。ここで、ダイレクトモード処理部１１０での処理に、ダイレクトモード用スケーリング係数ＳＰが用いられずに、表示時刻情報が用いられたときには、可変長符号化部１０３は、ダイレクトモード用スケーリング係数ＳＰを可変長符号化することなく、上述のスケーリングに用いた表示時刻情報を可変長符号化して、その可変長符号化された表示時刻情報を画像符号化信号ＢＳに含める。
【０１４３】
図２は、画像符号化信号ＢＳの一部の構成を示す構成図である。
画像符号化信号ＢＳはピクチャ単位で構成されており、その１つのピクチャ単位には、ヘッダと各ブロックに関する情報が含まれる。
この図２に示す画像符号化信号ＢＳの一部は、ダイレクトモードで符号化されたブロックを含むピクチャに相当するものであって、ヘッダ２１と、第１ブロック符号化信号２２と、第２ブロック符号化信号２３とが含まれている。
【０１４４】
第１ブロック符号化信号２２は、ダイレクトモードで符号化されたブロックを示すものであって、ダイレクトモードの適用を示す種別情報ＰＴが符号化された種別符号化信号２８が含まれている。
【０１４５】
第２ブロック符号化信号２３は、ダイレクトモード以外の補間予測で符号化されたブロックを示すものであって、ダイレクトモードの不適用を示す種別情報ＰＴが符号化された種別符号化信号２９と、第１参照インデックスＲＩ１が符号化された第１インデックス符号化信号３０と、第２参照インデックスＲＩ２が符号化された第２インデックス符号化信号３１と、第１動きベクトルＭＶ１が符号化されたＭＶ１符号化信号３２と、第２動きベクトルＭＶ２が符号化されたＭＶ２符号化信号３３とを含んでいる。
【０１４６】
ヘッダ２１には、そのピクチャに対する参照インデックスの割り当ての変更内容を示すリマッピング情報が符号化されたリマッピング符号化情報２７と、ダイレクトモード用スケーリング係数ＳＰに含まれる図３５に示す係数ＴＲ１、つまり符号化対象ピクチャと第１参照ピクチャとの表示時刻差が符号化された第１時間差情報２４と、ダイレクトモード用スケーリング係数ＳＰに含まれる係数ＴＲ２、つまり符号化対象ピクチャと第２参照ピクチャとの表示時刻差が符号化された第２時間差情報２５と、ダイレクトモード用スケーリング係数ＳＰに含まれる係数ＴＲ０、つまり第１参照ピクチャと第２参照ピクチャとの表示時刻差が符号化された時間差情報２６とを含んでいる。また、ダイレクトモード処理部１１０での処理に、ダイレクトモード用スケーリング係数ＳＰが用いられずに、表示時刻情報が用いられる場合には、上述の第１時間差情報２４と第２時間差情報２５と時間差情報２６の代わりに、当該ピクチャの表示時刻情報が符号化された信号が上記ヘッダ２１に含まれる。
【０１４７】
ここで、本実施の形態におけるピクチャ選択部１１３は、マルチフレームバッファ１０７に格納されているピクチャから、ダイレクトモードに用いられるピクチャを第２参照ピクチャとして選択する。
即ち、ピクチャ選択部１１３は、符号化対象ピクチャに対して表示順が後のピクチャのうち、第２参照インデックスが最小のピクチャを、ダイレクトモードに用いられる第２参照ピクチャとして選択する。
【０１４８】
そしてピクチャ選択部１１３は、選択した第２参照ピクチャの第２参照インデックスｒＲＩ２をベクトル用バッファ１１４及びダイレクトモード処理部１１０に対して出力する。なお、ピクチャ選択部１１３は、表示順に関する情報が各ピクチャ毎に付随しているので、これを利用して各ピクチャの表示順序を知得する。
【０１４９】
図３は、本実施の形態におけるダイレクトモードにより画像を符号化するときの動作を示すフロー図である。
まず、画像符号化装置１００は、ピクチャ選択部１１３により、符号化対象ピクチャよりも表示順が後のピクチャのうち、第２参照インデックスが最小のピクチャを第２参照ピクチャとして選択する（ステップＳ１００）。
【０１５０】
次に、画像符号化装置１００は、ベクトル用バッファ１１４により、上述のように選択された第２参照ピクチャの中における符号化対象ブロックと同じ位置にあるブロックの第１動きベクトルＭＶ１を、スケーリング用ベクトルｒＭＶとして特定するとともに、その第１動きベクトルＭＶ１の参照先となるピクチャを第１参照ピクチャとして特定する（ステップＳ１０２）。
【０１５１】
そして、画像符号化装置１００は、ダイレクトモード処理部１１０、マルチフレームバッファ１０７、及び画素補間部１０６により、上述のように選択された第２参照ピクチャと、上述のように特定された第１参照ピクチャ及びスケーリング用ベクトルｒＭＶとを用いて、ダイレクトモードによる予測画像を生成する（ステップＳ１０４）。
【０１５２】
予測画像を生成すると、画像符号化装置１００は、符号化対象ブロックと予測画像から予測誤差を生成して（ステップＳ１０６）、その生成された予測誤差を符号化する（ステップＳ１０８）。
【０１５３】
ここで、符号化対象ピクチャを基準に他の各ピクチャに対して割り当てられる第１参照インデックス及び第２参照インデックスが変更される場合（このような場合を以下「リマッピング」という）における、本実施の形態の動作について説明する。
【０１５４】
図４は、リマッピングが生じたときにおける本実施の形態の動作について説明するための説明図である。
図４の（ａ）は、リマッピングが生じる前（デフォルトの状態）において、各ピクチャに対して割り当てられた第１参照インデックス及び第２参照インデックスを示す。
【０１５５】
リマッピングが生じる前、つまりデフォルトでは、まず、図４中の点線で示される符号化対象ピクチャよりも表示順が前にある全てのピクチャに対して、符号化対象ピクチャに近いピクチャから順に、０，１，２が第１参照インデックスとして割り当てられる。つまり、ピクチャ番号が１４のピクチャに対しては、第１参照インデックスとして０が割り当てられ、ピクチャ番号が１２のピクチャに対しては、第１参照インデックスとして１が割り当てられ、ピクチャ番号が１０のピクチャに対しては、第１参照インデックスとして２が割り当てられる。
【０１５６】
上述のような割り当てが符号化対象ピクチャよりも表示順が前にある全てのピクチャに対して行われると、次に、符号化対象ピクチャよりも表示順が後にある全てのピクチャに対して、符号化対象ピクチャに近いピクチャから順に、３，４，５が第１参照インデックスとして割り当てられる。つまり、ピクチャ番号が１５のピクチャに対しては、第１参照インデックスとして３が割り当てられ、ピクチャ番号が１３のピクチャに対しては、第１参照インデックスとして４が割り当てられ、ピクチャ番号が１１のピクチャに対しては、第１参照インデックスとして５が割り当てられる。
【０１５７】
そして、符号化対象ピクチャよりも表示順が後にある全てのピクチャに対して、符号化対象ピクチャに近いピクチャから順に、０，１，２が第２参照インデックスとして割り当てられる。つまり、ピクチャ番号が１５のピクチャに対しては、第２参照インデックスとして０が割り当てられ、ピクチャ番号が１３のピクチャに対しては、第２参照インデックスとして１が割り当てられ、ピクチャ番号が１１のピクチャに対しては、第２参照インデックスとして２が割り当てられる。
【０１５８】
上述のような割り当てが符号化対象ピクチャよりも表示順が後にある全てのピクチャに対して行われると、次に、符号化対象ピクチャよりも表示順が前にある全てのピクチャに対して、符号化対象ピクチャに近いピクチャから順に、３，４，５が第２参照インデックスとして割り当てられる。つまり、ピクチャ番号が１４のピクチャに対しては、第２参照インデックスとして３が割り当てられ、ピクチャ番号が１２のピクチャに対しては、第２参照インデックスとして４が割り当てられ、ピクチャ番号が１０のピクチャに対しては、第２参照インデックスとして５が割り当てられる。
【０１５９】
図４の（ｂ）は、リマッピングが生じた場合において、各ピクチャに対して割り当てられる第１参照インデックス及び第２参照インデックス並びにリマッピング情報を示す。
【０１６０】
リマッピングが生じると、例えば、ピクチャ番号「１４」のピクチャに対して割り当てられる第１参照インデックスは「０」から「２」に変更され、ピクチャ番号「１２」のピクチャに対して割り当てられる第１参照インデックスは「１」から「０」に変更され、ピクチャ番号「１０」のピクチャに対して割り当てられる第１参照インデックスは「２」から「１」に変更される。また、ピクチャ番号「１４」のピクチャに対して割り当てられる第２参照インデックスは「３」から「０」に変更され、ピクチャ番号「１５」のピクチャに対して割り当てられる第２参照インデックスは「０」から「２」に変更され、ピクチャ番号「１１」のピクチャに対して割り当てられる第２参照インデックスは「２」から「３」に変更される。
【０１６１】
また、リマッピング情報は、参照インデックスに変更が生じた各ピクチャに対してその変更内容を示す数値から構成される。図４の（ｂ）では、第２参照インデックスに対するリマッピング情報を示している。例えば、第２参照インデックス「０」が割り当てられるピクチャが、ピクチャ番号「１５」のピクチャからピクチャ番号「１４」のピクチャに変更されると、ピクチャ番号「１４」からピクチャ番号「１５」を減算した数値「−１」が、ピクチャ番号「１４」に対応してリマッピング情報に含まれる。さらに、第２参照インデックス「２」が割り当てられるピクチャが、ピクチャ番号「１１」のピクチャからピクチャ番号「１５」のピクチャに変更されると、ピクチャ番号「１５」からピクチャ番号「１１」を減算した数値「＋４」が、ピクチャ番号「１５」に対応してリマッピング情報に含まれる。同様に、第２参照インデックス「３」が割り当てられるピクチャが、ピクチャ番号「１４」のピクチャからピクチャ番号「１１」のピクチャに変更されると、ピクチャ番号「１１」からピクチャ番号「１４」を減算した数値「−３」が、ピクチャ番号「１１」に対応してリマッピング情報に含まれる。なお、図４の（ｂ）に示すようなリマッピングの場合、第２参照インデックス「１」が割り当てられるピクチャは変更されないが、数値「０」がピクチャ番号「１３」に対応してリマッピング情報に含まれる。
【０１６２】
このようなリマッピング情報は、画像符号化装置１００の図示しない管理部などに管理されており、動き推定部１０９、予測種別選択部１０８、マルチフレームバッファ１０７、及びピクチャ選択部１１３は、そのリマッピング情報に基づいて第１参照インデックス及び第２参照インデックスを特定する。
【０１６３】
このような本実施の形態では、上述のようにピクチャ選択部１１３が、符号化対象ピクチャよりも表示順が後のピクチャのうち、第２参照インデックスが最小のピクチャを第２参照ピクチャとして選択するため、リマッピングが生じていないときには、第２参照インデックスが０であるピクチャ番号「１５」のピクチャがダイレクトモードの第２参照ピクチャとして用いられ、リマッピングが生じたときには、第２参照インデックスが１であるピクチャ番号「１３」のピクチャがダイレクトモードの第２参照ピクチャとして用いられる。
【０１６４】
その結果、リマッピングが生じてもダイレクトモードによる符号化時には、符号化対象ピクチャよりも後にあるピクチャが第２参照ピクチャとして用いられるために、前方向２枚又は後方向２枚のピクチャが第１参照ピクチャ及び第２参照ピクチャとして用いられることがなく、必ず前方向にあるピクチャと後方向にあるピクチャがそれぞれ第１参照ピクチャ及び第２参照ピクチャとして用いられるので、符号化効率を向上することができる。
【０１６５】
ここで、本実施の形態における画像符号化装置１００の記憶容量に関して説明する。
図５は、ピクチャの表示順序の一例を説明するための説明図である。
ピクチャＰ１〜Ｐ７は、図５に示すように、ピクチャＰ１，ピクチャＰ３，ピクチャＰ４，ピクチャＰ２，ピクチャＰ６，ピクチャＰ７，ピクチャＰ５の順に表示され、ピクチャＰ１，ピクチャＰ２，ピクチャＰ３，ピクチャＰ４，ピクチャＰ５，ピクチャＰ６，ピクチャＰ７の順に符号化されてマルチフレームバッファ１０７に格納される。
【０１６６】
ここでは、Ｂピクチャは参照ピクチャとして使われることはないとする。よって、マルチフレームバッファ１０７は、参照ピクチャとして扱われるＩピクチャ又はＰピクチャであるピクチャＰ１，Ｐ２，Ｐ５を保存し、参照ピクチャとして扱われることのないＢピクチャであるピクチャＰ３，Ｐ４，Ｐ６，Ｐ７を削除する。
【０１６７】
ピクチャＰ３，Ｐ４の符号化時には、参照ピクチャＰ２は符号化対象ピクチャよりも表示順が後の参照ピクチャである。一方、ピクチャＰ６，Ｐ７の符号化時には、参照ピクチャＰ２は符号化対象ピクチャよりも表示順が前の参照ピクチャとなる。
【０１６８】
よって、図５に示すようなピクチャの関係を有する場合、参照ピクチャＰ２以降のピクチャの符号化では、参照ピクチャＰ２が符号化対象ピクチャよりも表示順が後の参照ピクチャとなることはない。つまり、一度、符号化対象ピクチャに対し表示順が前になった参照ピクチャは、再び符号化対象ピクチャに対し表示順が後になることはない。
【０１６９】
即ち、マルチフレームバッファ１１４に保持されているピクチャが符号化対象ピクチャに対して表示順で前になった時点で、ベクトル用バッファ１１４に格納されている、その参照ピクチャの第１動きベクトルと、その第１動きベクトルの参照先となるピクチャを識別する情報とを破棄することができる。
【０１７０】
従って、図５に示すようなピクチャの関係を有する場合、ベクトル用バッファ１１４は、符号化対象ピクチャより表示順が後の参照ピクチャの第１動きベクトルと、その第１動きベクトルの参照先となるピクチャを識別する情報のみ保持すればよい。これにより、図５に示すようなピクチャの関係を有する場合、ベクトル用バッファ１１４に必要なメモリ量を削減できる。
【０１７１】
なお、本実施の形態では、符号化対象ピクチャよりも表示順が後のピクチャのうち、第２参照インデックスが最小のピクチャを、ダイレクトモード時の第２参照ピクチャとして選択したが、符号化対象ピクチャよりも表示順が後の参照ピクチャの中から、ダイレクトモード時の第２参照ピクチャを一意に決定できる条件であれば、第２参照インデックスが最小のピクチャでなくともその条件により決定されるピクチャを、第２参照ピクチャとして選択しても良い。この場合においても、符号化対象ピクチャより前方のピクチャのみを参照する可能性がなくなり、符号化効率の向上を図ることができる。また、符号化対象ピクチャよりも表示順が後の参照ピクチャの中で、符号化対象ピクチャに表示順が最も近いピクチャをダイレクトモード時の第２参照ピクチャとしてもよい。この場合にも、上述と同様に符号化効率を高めることができる。
【０１７２】
また、ダイレクトモード時の第２参照ピクチャを、符号化対象ピクチャよりも表示順が後のピクチャの中の第２参照インデックスが最小のピクチャとし、さらに、ダイレクトモード時の第１参照ピクチャを、符号化対象ピクチャに対し表示順が前のピクチャの中の第１参照インデックスが最小の参照ピクチャとしても良い。この場合にも、上述と同様に符号化効率を高めることができる。
【０１７３】
（実施の形態２）
本発明の実施の形態２における画像復号化装置について、以下図面を参照しながら説明する。
図６は、実施の形態２における画像復号化装置のブロック図である。
【０１７４】
この画像復号化装置１５０は、実施の形態１の画像符号化装置１００から出力される画像符号化信号ＢＳを復号するものであって、可変長復号部１５１と、画像復号部１５２と、加算器１５３と、スイッチ１５５，１５６と、ダイレクトモード処理部１５４と、画素補間部１５７と、マルチフレームバッファ１５８と、ベクトル用バッファ１６０と、ピクチャ選択部１５９とを備えている。
【０１７５】
可変長復号部１５１は、画像復号化装置１５０外部から画像符号化信号ＢＳを取得して、その画像符号化信号ＢＳに対して可変長復号を行い、残差符号化信号ＥＲ、動きベクトルＭＶ１，ＭＶ２、参照インデックスＲＩ１，ＲＩ２、ダイレクトモード用スケーリング係数ＳＰ、及び種別情報ＰＴを出力する。ここで、画像符号化信号ＢＳに、符号化されたダイレクトモードスケーリング係数ＳＰが含まれずに、符号化された表示時刻情報が含まれているときには、可変長復号部１５１は、ダイレクトモード用スケーリング係数ＳＰの代わりに表示時刻情報を出力する。
【０１７６】
また、可変長復号部１５１は、種別情報ＰＴにより示される予測種別に応じて、スイッチ１５５，１５６の接点を切り換える。つまり、可変長復号部１５１は、予測種別がダイレクトモードであるときには、スイッチ１５５の接点を接点０から接点１に切り替え、予測種別がダイレクトモード以外であるときには、スイッチ１５５の接点を接点１から接点０に切り替える。また、可変長復号部１５１は、予測種別が補間予測であるときには、スイッチ１５６の接点を接点１から接点０に切り替え、予測種別が補間予測以外の予測であるときには、スイッチ１５６の接点を接点０から接点１に切り替える。
【０１７７】
画像復号部１５２は、可変長復号部１５１から残差符号化信号ＥＲを取得し、残差符号化信号ＥＲに対して逆量子化及び逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号ＤＲを出力する。
【０１７８】
加算器１５３は、残差復号信号ＤＲと予測画像信号Ｐｒｅを加算して、その加算結果を復号画像信号ＤＩｍとして画像復号化装置１５０外に出力する。
【０１７９】
マルチフレームバッファ１５８は、復号画像信号ＤＩｍを取得すると、その復号画像信号ＤＩｍのうち、以降のピクチャ間予測で参照される可能性がある信号を格納する。つまり、マルチフレームバッファ１５８の記憶容量は有限なため、マルチフレームバッファ１５８は、取得した符号画像信号ＤＩｍのうち、以降のピクチャ間予測に使用されないピクチャのデータを除去する。
【０１８０】
ベクトル用バッファ１６０は、第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、第１参照インデックスＲＩ１、及び第２インデックスＲＩ２を動き推定部１０９から取得する。そして、ベクトル用バッファ１６０は、その取得結果に基づいて、ダイレクトモードに用いられるスケーリング用ベクトルと、そのスケーリング用ベクトルの参照先となるピクチャを示すピクチャ番号及び参照インデックスを記憶している。
【０１８１】
つまり、ダイレクトモード時には復号対象ピクチャに対し、復号済ピクチャのブロックを復号したときに用いられた第１動きベクトルＭＶ１がスケーリング用ベクトルとして使用され、その第１動きベクトルの参照先となるピクチャが第１参照ピクチャとして扱われるため、ベクトル用バッファ１６０は、可変長復号部１５１から出力された第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、第１参照インデックスＲＩ１、及び第２インデックスＲＩ２のうち、ダイレクトモードに使用される可能性がある第１動きベクトルＭＶ１及び第１参照インデックスＲＩ１を記憶している。
【０１８２】
また、ベクトル用バッファ１６０は、第２参照インデックスｒＲＩ２をピクチャ選択部１５９から取得する。そして、ベクトル用バッファ１６０は、ピクチャ選択部１５９からその第２参照インデックスｒＲＩ２を取得すると、記憶している内容に基づいて、その第２参照インデックスｒＲＩ２により指し示されるピクチャ内の所定のブロックに対応する第１動きベクトルＭＶ１を、スケーリング用ベクトルｒＭＶとして出力するとともに、そのスケーリング用ベクトルｒＭＶの参照先となるピクチャを示す第１参照インデックスＲＩ１を、第１参照インデックスｒＲＩ１として出力する。
【０１８３】
ダイレクトモード処理部１５４は、ダイレクトモード用スケーリング係数ＳＰ、スケーリング用ベクトルｒＭＶ、及び第１参照インデックスｒＲＩ１を取得すると、復号対象のブロックに対して上述のダイレクトモードに基づく処理を行い、その結果として、第１動きベクトルｓＭＶ１、第２動きベクトルｓＭＶ２、第１参照インデックスｒＲＩ１、及び第２参照インデックスｒＲＩ２を出力する。ここで、ダイレクトモード処理部１５４は、ダイレクトモード用スケーリング係数ＳＰの代わりに各ピクチャの表示時刻情報を取得したときには、これらの表示時刻情報に示される表示時刻から、各ピクチャ間の表示時刻差を算出し、それらの表示時刻差の比を用いてスケーリング用ベクトルｒＭＶに対するスケーリングを行う。これにより、ダイレクトモード処理部１５４は、ダイレクトモードスケーリング係数ＳＰを用いたときと同様に、第１動きベクトルｓＭＶ１及び第２動きベクトルｓＭＶ２を算出する。
【０１８４】
また、マルチフレームバッファ１５８は、補間予測時には、可変長復号部１５１及びダイレクトモード処理部１５４からの出力に基づいて第１参照インデックスＲＩ１（ｒＲＩ１）及び第１動きベクトルＭＶ１（ｓＭＶ１）を取得すると、その第１参照インデックスＲＩ１及び第１動きベクトルＭＶ１に対応する参照ブロックＲＢ１を画素補間部１５７に出力する。さらに、マルチフレームバッファ１５８は、可変長復号部１５１及びダイレクトモード処理部１５４からの出力に基づいて第２参照インデックスＲＩ２（ｒＲＩ２）及び第２動きベクトルＭＶ２（ｓＭＶ２）を取得すると、その第２参照インデックスＲＩ２及び第２動きベクトルＭＶ２に対応する参照ブロックＲＢ２を画素補間部１５７に出力する。
【０１８５】
そして、マルチフレームバッファ１５８は、第１参照ピクチャ予測時には、第１参照インデックスＲＩ１と第１動きベクトルＭＶ１とに対応する参照ブロックＲＢを出力する。また、マルチフレームバッファ１５８は、第２参照ピクチャ予測時には、第２参照インデックスＲＩ２と第２動きベクトルＭＶ２とに対応する参照ブロックＲＢを出力する。なお、面内予測時には、マルチフレームバッファ１５８は、面内予測結果を示す画素からなるブロックＲＢを出力する。
【０１８６】
画素補間部１５７は、マルチフレームバッファ１５８から参照ブロックＲＢ１，ＲＢ２を取得すると、その参照ブロックＲＢ１，ＲＢ２の中の互いに位置が等しい画素の画素値の平均値を求めることにより補間画素を生成し、その補間結果を補間ブロックＲｅＰとして出力する。
【０１８７】
そして上述のように、スイッチ１５６の接点は、予測種別に応じて切り換えられるため、予測種別が補間予測以外の予測であるときには、マルチフレームバッファ１５８からのブロックＲＢがスイッチ１５６を介して予測画像信号Ｐｒｅとして加算器１５５に送信され、予測種別が補間予測であるときには、画素補間部１５７からの補間ブロックＲｅＰがスイッチ１５６を介して予測画像信号Ｐｒｅとして加算器１５３に送信される。
【０１８８】
ここで、本実施の形態におけるピクチャ選択部１５９は、マルチフレームバッファ１５８に格納されているピクチャから、ダイレクトモードに用いられるピクチャを第２参照ピクチャとして選択する。
即ち、ピクチャ選択部１５９は、復号対象ピクチャよりも表示順が後のピクチャのうち、第２参照インデックスが最小のピクチャを、ダイレクトモードに用いられる第２参照ピクチャとして選択する。
【０１８９】
そしてピクチャ選択部１５９は、上述の第２参照ピクチャを示す第２参照インデックスｒＲＩ２をベクトル用バッファ１６０に対して出力する。なお、ピクチャ選択部１６０は、表示時刻に関する情報が各ピクチャ毎に付随しているので、これを利用して表示順序を知る。
【０１９０】
これにより、本実施の形態の画像復号化装置１５０は、実施の形態１の画像符号化装置１００が出力する画像符号化信号ＢＳを正確に復号することができる。つまり、符号化対象ピクチャよりも表示順が後のピクチャのうち、第２参照インデックスが最小のピクチャをダイレクトモード時の第２参照ピクチャとして選択する画像符号化装置が出力する画像符号化信号を正確に復号することができる。
【０１９１】
図７は、本実施の形態におけるダイレクトモードにより画像を復号するときの動作を示すフロー図である。
まず、画像復号化装置１５０は、ピクチャ選択部１５９により、復号対象ピクチャよりも表示順が後のピクチャのうち、第２参照インデックスが最小のピクチャを第２参照ピクチャとして選択する（ステップＳ１５０）。
【０１９２】
次に、画像復号化装置１５０は、ベクトル用バッファ１６０により、上述のように選択された第２参照ピクチャの中における復号対象ブロックと同じ位置にあるブロックの第１動きベクトルを、スケーリング用ベクトルｒＭＶとして特定するとともに、その第１動きベクトルＭＶ１の参照先となるピクチャを第１参照ピクチャとして特定する（ステップＳ１５２）。
【０１９３】
そして、画像復号化装置１５０は、ダイレクトモード処理部１５４、マルチフレームバッファ１５８、及び画素補間部１５７により、上述のように選択された第２参照ピクチャと、上述のように特定された第１参照ピクチャ及びスケーリング用ベクトルｒＭＶとを用いて、ダイレクトモードによる予測画像を生成する（ステップＳ１５４）。
【０１９４】
そして、画像復号化装置１５０は、画像符号化信号ＢＳを復号処理して生成された画像の残差に対して、上記予測画像を加算する（ステップＳ１５６）。
このように、本実施の形態では、復号対象ピクチャより表示順が後のピクチャのうち、参照インデックスが最小のピクチャを第２参照ピクチャとして選択するため、実施の形態１で説明した本発明の画像符号化装置で符号化した画像符号化信号を正しく復号することができる。また、実施の形態１で説明した効果と同様の効果を得ることができる。
【０１９５】
なお、画像符号化信号ＢＳには、実施の形態１で説明したように、リマッピング符号化情報２７が含まれており、マルチフレームバッファ１５８は、そのリマッピング符号化情報２７が復号されたリマッピング情報に基づいて、第１参照インデックス及び第２参照インデックスにより示されるピクチャを特定している。
【０１９６】
（実施の形態３）
本発明の実施の形態３における画像符号化装置について、以下図面を参照しながら説明する。
図８は、実施の形態３における画像符号化装置のブロック図である。
【０１９７】
この画像符号化装置２００は、画像を示す内容の画像信号Ｉｍｇを取得して、その画像信号Ｉｍｇをブロック毎に符号化処理するものであって、減算器１０１と、画像復号化部１０４と、可変長符号化部２０３と、動き推定部１０９と、予測種別選択部１０８と、スイッチ１１１，１１２と、画素補間部１０６と、ダイレクトモード処理部１１０と、ベクトル用バッファ１１４と、マルチフレームバッファ１０７と、ピクチャ選択部２１３とを備えている。
【０１９８】
ここで、画像符号化装置２００の減算器１０１、画像復号化部１０４、動き推定部１０９、予測種別選択部１０８、スイッチ１１１，１１２、画素補間部１０６、ダイレクトモード処理部１１０、マルチフレームバッファ１０７、及びベクトル用バッファ１１４の各構成要素は、実施の形態１の画像符号化装置１００が備える各構成要素と同一の機能を有する。
つまり、本実施の形態では、ピクチャ選択部２１３及び可変長符号化部２０３の機能に特徴がある。
【０１９９】
ピクチャ選択部２１３は、マルチフレームバッファ１０７に格納されているピクチャから、符号化対象ピクチャよりも表示順が後のピクチャを、ダイレクトモードに用いられる第２参照ピクチャとして選択する。
【０２００】
そしてピクチャ選択部２１３は、上述の第２参照ピクチャを示す第２参照インデックスｒＲＩ２をベクトル用バッファ１１４及びダイレクトモード処理部１１０並びに可変長符号化部２０３に対して出力する。
【０２０１】
なお、ピクチャ選択部２１３は、表示順に関する情報が各ピクチャ毎に付随しているので、これを利用して各ピクチャの表示順序を知る。また、ピクチャ選択部２１３は、符号化対象ピクチャに対してダイレクトモードに用いられる第２参照ピクチャを１つ選択する。つまり、ダイレクトモードが適用される符号化対象ピクチャに含まれる全てのブロックに対しては、同一の第２参照ピクチャが選択される。
【０２０２】
ここで、本実施の形態においても実施の形態１と同様、リマッピングが生じたときには、ピクチャ選択部２１３は、マルチフレームバッファ１０７内の各ピクチャに割り当てられる第１参照インデックス及び第２参照インデックスをリマッピング情報に基づいて特定する。
【０２０３】
例えば、ピクチャ選択部２１３は、リマッピングが生じていないときには、図４の（ａ）に示すように、符号化対象ピクチャよりも表示順が後の何れかのピクチャ、つまり、ピクチャ番号「１５」のピクチャ、ピクチャ番号「１３」のピクチャ、及びピクチャ番号「１１」のピクチャのうち何れかを、符号化対象ピクチャに対するダイレクトモード時の第２参照ピクチャとして選択し、選択したピクチャを示す第２参照インデックスｒＲＩ２を出力する。例えば、ピクチャ選択部２１３は、ピクチャ番号「１５」のピクチャを第２参照ピクチャとして特定したときには、０を示す第２参照インデックスｒＲＩ２を出力する。
【０２０４】
そして、ピクチャ選択部２１３は、リマッピングが生じたときにも、上述と同様、図４の（ｂ）に示すように、符号化対象ピクチャよりも表示順が後の何れかのピクチャ、つまりピクチャ番号「１５」のピクチャ、ピクチャ番号「１３」のピクチャ、及びピクチャ番号「１１」のピクチャの何れかを、符号化対象ピクチャに対するダイレクトモード時の第２参照ピクチャとして選択し、選択したピクチャを示す第２参照インデックスｒＲＩ２を、リマッピング情報に基づいて特定してこれを出力する。
【０２０５】
その結果、本実施の形態では、リマッピングが生じても、ダイレクトモードにおける第２参照ピクチャを、符号化対象ピクチャよりも表示順が後のピクチャとすることにより、実施の形態１と同様、符号化効率の向上を図ることができる。
【０２０６】
可変長符号化部２０３は、残差符号化信号ＥＲ、第１参照インデックスＲＩ１、第２参照インデックスＲＩ２、第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、ダイレクトモード用スケーリング係数ＳＰ、種別信号ＰＴ、及びリマッピング情報を可変長符号化するとともに、ピクチャ選択部２１３により選択された第２参照ピクチャを示す第２参照インデックスｒＲＩ２も可変長符号化し、その結果を画像符号化信号ＢＳ１として出力する。ここで、ダイレクトモード処理部１１０での処理に、ダイレクトモード用スケーリング係数ＳＰが用いられずに、表示時刻情報が用いられたときには、可変長符号化部２０３は、ダイレクトモード用スケーリング係数ＳＰを可変長符号化することなく、上述のスケーリングに用いた表示時刻情報を可変長符号化して、その可変長符号化された表示時刻情報を画像符号化信号ＢＳに含める。
【０２０７】
図９は、画像符号化信号ＢＳ１のヘッダの構成を示す構成図である。
画像符号化信号ＢＳ１は、実施の形態１の画像符号化信号ＢＳと同様、ピクチャ単位で構成されてその１つのピクチャ単位には、ヘッダ４１と各ブロックに関する情報が含まれている。
【０２０８】
ここで、その画像符号化信号ＢＳ１のピクチャ単位毎に含まれるヘッダ４１は、実施の形態１の画像符号化信号ＢＳのピクチャ単位毎に含まれるヘッダ２１と異なっている。
即ち、画像符号化信号ＢＳ１のヘッダ４１には、第１時間差情報２４、第２時間差情報２５、時間差情報２６、及びリマッピング符号化情報２７が含まれるとともに、上述のピクチャ選択部２１３から出力された第２参照インデックスｒＲＩ２が符号化された第２インデックス情報４２が含まれる。
【０２０９】
なお、上述のように、第２参照インデックスｒＲＩ２は、符号化対象ピクチャ内のダイレクトモードが適用される全てのブロックに対し同じ値を持つ。従って、第２参照インデックスｒＲＩ２は１ピクチャに対し１回のみ符号化される。また、画像符号化信号ＢＳ１を復号する画像復号化装置は、画像符号化信号ＢＳ１の中から、この第２参照インデックスｒＲＩ２及びリマッピング情報を取得することにより、ダイレクトモード時の第２参照ピクチャを一意に選択することができる。
【０２１０】
また、ダイレクトモード処理部１１０での処理に、ダイレクトモード用スケーリング係数ＳＰが用いられずに、表示時刻情報が用いられたときには、第１時間差情報２４及び第２時間差情報２５並びに時間差情報２６の代わりに、そのピクチャの表示時刻情報が符号化された情報がヘッダ４１に含まれる。
【０２１１】
図１０は、本実施の形態におけるダイレクトモードにより画像を符号化するときの動作を示すフロー図である。
まず、画像符号化装置２００は、ピクチャ選択部２１３により、符号化対象ピクチャよりも表示順が後の何れかのピクチャを第２参照ピクチャとして選択する（ステップＳ２００）。
【０２１２】
次に、画像符号化装置２００は、ベクトル用バッファ１１４により、上述のように選択された第２参照ピクチャの中における符号化対象ブロックと同じ位置にあるブロックの第１動きベクトルＭＶ１を、スケーリング用ベクトルｒＭＶとして特定するとともに、その第１動きベクトルＭＶ１の参照先となるピクチャを第１参照ピクチャとして特定する（ステップＳ２０２）。
【０２１３】
そして、画像符号化装置２００は、ダイレクトモード処理部１１０、マルチフレームバッファ１０７、及び画素補間部１０６により、上述のように選択された第２参照ピクチャと、上述のように特定された第１参照ピクチャ及びスケーリング用ベクトルｒＭＶとを用いて、ダイレクトモードによる予測画像を生成する（ステップＳ２０４）。
【０２１４】
予測画像を生成すると、画像符号化装置２００は、符号化対象ブロックと予測画像から予測誤差を生成して（ステップＳ２０６）、その生成された予測誤差、第２参照ピクチャを示す第２参照インデックスｒＲＩ２、及びリマッピング情報を符号化する（ステップＳ２０８）。
【０２１５】
このように、本実施の形態では、符号化対象ピクチャに対して表示順が後の何れかの参照ピクチャを、ダイレクトモード時の第２参照ピクチャとして選択し、選択した参照ピクチャの第２参照インデックスｒＲＩ２を符号化して画像符号化信号ＢＳ１中に格納する。
【０２１６】
ここで、実施の形態１では、符号化対象ピクチャよりも表示順が後のピクチャのうち、第２参照インデックスが最小のピクチャを、ダイレクトモード時の第２参照ピクチャをとして選択した。
つまり、実施の形態３では、実施の形態１と同様に、符号化対象ピクチャよりも表示順が後のピクチャを、ダイレクトモード時の第２参照ピクチャとして選択することにより符号化効率の向上を図ることができる。
【０２１７】
そして、実施の形態１と実施の形態３との違いは以下の通りである。実施の形態１では、画像符号化装置１００にダイレクトモード時の第２参照ピクチャを一意に決定するための手順を予め保持させておき、同様の手順を実施の形態２の画像復号化装置１５０にも保持させておくことによって、ダイレクトモード時の第２参照ピクチャが画像符号化装置１００及び画像復号化装置１５０の相互間で一意に決定されていた。一方、実施の形態３では、ダイレクトモード時の第２参照ピクチャを一意に決定するための情報を符号列に含め、その情報に基づいて、画像符号化装置２００とその符号列を復号する画像復号化装置とが処理を行うことによって、ダイレクトモード時の第２参照ピクチャが画像符号化装置２００及び画像復号化装置の相互間で一意に決定される。
【０２１８】
このように、本実施の形態によれば、符号化処理において決定された第２参照ピクチャを特定するための情報を符号化することによって、符号化処理及び復号処理の整合性をとることができる。
【０２１９】
なお、本実施の形態では、符号化対象ピクチャよりも表示順が後の何れかのピクチャを、第２参照ピクチャとして選択したが、実施の形態１と同様、表示順が後のピクチャのうち第２参照インデックスが最小のピクチャを、第２参照ピクチャとして選択しても良い。また、ピクチャ選択部２１３は、さらに、符号化対象ピクチャに対するダイレクトモード時の第１参照ピクチャを選択しても良い。この場合には、第１参照インデックスｒＲＩ１と第２参照インデックスｒＲＩ２とが符号化されて、図３４に示すヘッダ４１に含められる。また、画像符号化信号ＢＳ１を復号する画像復号化装置は、画像符号化信号ＢＳ１の中からこの第１参照インデックスｒＲＩ１と第２参照インデックスｒＲＩ２とを取得することにより、ダイレクトモード時の第１参照ピクチャと第２参照ピクチャとを特定することができる。
【０２２０】
また、本実施の形態における画像符号化信号ＢＳ１のフォーマットでは、第２参照インデックスｒＲＩ２が符号化された第２インデックス情報４２が、ピクチャ単位のヘッダ４１に含められたが、例えば、ＭＰＥＧのスライス構造のようにピクチャより小さな符号化単位のヘッダや、ＭＰＥＧのＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）のように複数のピクチャからな符号化単位のヘッダや、シーケンス全体のヘッダに格納されてもよい。また、上述のように第１参照ピクチャを選択するような場合も同様に、その第１参照ピクチャを示す第１参照インデックスｒＲＩ１が符号化された情報が、上述のようなヘッダに格納される。
【０２２１】
（実施の形態４）
本発明の実施の形態４における画像復号化装置について、以下図面を参照しながら説明する。
図１１は、実施の形態４における画像復号化装置のブロック図である。
【０２２２】
この画像復号化装置２５０は、実施の形態３の画像符号化装置２００から出力される画像符号化信号ＢＳ１を復号するものであって、可変長復号部２５１と、画像復号部１５２と、加算器１５３と、スイッチ１５５，１５６と、ダイレクトモード処理部１５４と、画素補間部１５７と、マルチフレームバッファ１５８と、ベクトル用バッファ１６０とを備えている。
【０２２３】
ここで、画像復号化装置２５０の画像復号部１５２、加算器１５３、スイッチ１５５，１５６、ダイレクトモード処理部１５４、画素補間部１５７、マルチフレームバッファ１５８、及びベクトル用バッファ１６０の各構成要素は、実施の形態２の画像復号化装置１５０が備える各構成要素と同一の機能を有する。
【０２２４】
つまり、本実施の形態では、可変長復号部２５１の機能に特徴がある。
可変長復号部２５１は、画像復号化装置２５０外部から画像符号化信号ＢＳ１を取得して、その画像符号化信号ＢＳ１に対して可変長復号を行い、残差符号化信号ＥＲ、動きベクトルＭＶ１，ＭＶ２、参照インデックスＲＩ１，ＲＩ２、ダイレクトモード用スケーリング係数ＳＰ、及び種別情報ＰＴを出力する。ここで、画像符号化信号ＢＳに、符号化されたダイレクトモードスケーリング係数ＳＰが含まれずに、符号化された表示時刻情報が含まれているときには、可変長復号部２５１は、ダイレクトモード用スケーリング係数ＳＰの代わりに表示時刻情報を出力する。
【０２２５】
さらに、可変長復号部２５１は、画像符号化信号ＢＳ１のヘッダ４１に含まれる第２インデックス情報４２に対して復号処理を行い第２参照インデックスｒＲＩ２をベクトル用バッファ１６０及びダイレクトモード処理部１５４に対して出力する。また、そのヘッダ４１に符号化されたリマッピング符号化情報２７が含まれているときには、可変長復号部２５１はリマッピング符号化情報２７に対して復号処理を行い、リマッピング情報を生成する。そして、可変長復号部２５１は、マルチフレームバッファ１５８に対し、第１参照インデックスＲＩ１（ｒＲＩ１）及び第２参照インデックスＲＩ２（ｒＲＩ２）により示されるピクチャを、そのリマッピング情報に基づいて特定させる。
【０２２６】
ベクトル用バッファ１６０は、第２参照インデックスｒＲＩ２を可変長復号部２５１から取得と、実施の形態２と同様、記憶している内容に基づいて、その第２参照インデックスｒＲＩ２により指し示されるピクチャを、復号対象ピクチャに対する第２参照ピクチャとして特定する。そしてベクトル用バッファ１６０は、第２参照ピクチャ内の所定のブロックに対応する第１動きベクトルＭＶ１を、スケーリング用ベクトルｒＭＶとして出力するとともに、その第１動きベクトルＭＶ１の参照先となるピクチャを示す第１参照インデックスＲＩ１を、第１参照インデックスｒＲＩ１として出力する。
【０２２７】
このように、本実施の形態では、画像符号化信号ＢＳ１の第２インデックス情報４２及びリマッピング符号化情報２７により、復号対象ピクチャより表示順が後のピクチャの中から、ダイレクトモードに用いられる第２参照ピクチャが一意に選択される。
【０２２８】
このような本実施の形態におけるダイレクトモードにより画像を復号するときの動作について説明する。
図１２は、本実施の形態におけるダイレクトモードにより画像を復号するときの動作を示すフロー図である。
【０２２９】
まず、画像復号化装置２５０は、可変長復号部２５１により、画像符号化信号ＢＳ１を可変長復号することで、第２参照インデックスｒＲＩ２を取得する（ステップＳ２５０）。ここで、画像符号化信号ＢＳ１にリマッピング符号化情報２７が含まれているときには、画像復号化装置２５０は、そのリマッピング符号化情報２７に対する復号処理により、リマッピング情報を取得する。
【０２３０】
次に、画像復号化装置２５０は、ベクトル用バッファ１６０により、上述の第２参照インデックスｒＲＩ２により示される第２参照ピクチャの中において復号対象ブロックと同じ位置にあるブロックの第１動きベクトルを、復号対象ブロックに対するスケーリング用ベクトルｒＭＶとして特定するとともに、その第１動きベクトルＭＶ１の参照先となるピクチャを、復号対象ブロックに対する第１参照ピクチャとして特定する（ステップＳ２５２）。
【０２３１】
そして、画像復号化装置１５０は、ダイレクトモード処理部１５４、マルチフレームバッファ１５８、及び画素補間部１５７により、上述のように取得された第２参照インデックスｒＲＩ２により示される第２参照ピクチャと、上述のように特定された第１参照ピクチャ及びスケーリング用ベクトルｒＭＶとを用いて、ダイレクトモードによる予測画像を生成する（ステップＳ２５４）。
【０２３２】
そして、画像復号化装置１５０は、画像符号化信号ＢＳを復号処理して生成された画像の残差に対して、上記予測画像を加算する（ステップＳ２５６）。
【０２３３】
このように本実施の形態では、画像符号化信号ＢＳ１に含まれる第２インデックス情報４２及びリマッピング情報４１に基づいて、ダイレクトモード時の第２参照ピクチャを特定することにより、実施の形態３の画像符号化装置２００からの画像符号化信号ＢＳ１を正しく復号することができる。また、実施の形態３で説明した効果と同様の効果を得ることができる。
【０２３４】
（実施の形態５）
本発明の実施の形態５における画像符号化装置について、以下図面を参照しながら説明する。
図１３は、実施の形態５における画像符号化装置のブロック図である。
【０２３５】
この画像符号化装置３００は、画像を示す内容の画像信号Ｉｍｇを取得して、その画像信号Ｉｍｇをブロック毎に符号化処理するものであって、実施の形態１の画像符号化装置１００と同様、減算器１０１と、画像復号化部１０４と、スイッチ１１１，１１２と、画素補間部１０６と、ダイレクトモード処理部１１０と、ベクトル用バッファ１１４とを備えるとともに、さらに、管理部３０４と、動き推定部３０２と、予測種別選択部３０１と、マルチフレームバッファ３０３と、可変長符号化部３０５とを備えている。
【０２３６】
ここで、画像符号化装置３００の減算器１０１、画像復号化部１０４、スイッチ１１１，１１２、画素補間部１０６、ダイレクトモード処理部１１０、及びベクトル用バッファ１１４の各構成要素は、実施の形態１の画像符号化装置１００が備える各構成要素と同一の機能を有する。
【０２３７】
ここで、ベクトル用バッファ１１４は、常に０を示す第２参照インデックスｒＲＩ２を取得して、その第２参照インデックスｒＲＩ２「０」に対するスケーリング用ベクトルｒＭＶと第１参照インデックスｒＲＩ１とを出力する。
【０２３８】
また、本実施の形態におけるマルチフレームバッファ３０３は、実施の形態１及び３のマルチフレームバッファ１０７と同様の機能を有するが、自らが格納している情報は管理部３０４に管理されている。
【０２３９】
さらに、マルチフレームバッファ３０３内には、短時間メモリと長時間メモリとが確保され、ピクチャは短時間メモリと長時間メモリとに適宜分別して保存される。
【０２４０】
短時間メモリは、先入れ先出し方式（ＦＩＦＯ）のメモリであり、新規の信号が短時間メモリに記録されると、記録された時刻が古い順から記録内容が破棄され、短時間メモリには常に最新の一定数のピクチャが参照ピクチャとして保存される。
【０２４１】
長時間メモリは、ランダムアクセス方式のメモリであり、任意の領域に参照ピクチャを格納したり、任意の領域に格納された参照ピクチャの読み出しが可能な構成を有する。この長時間メモリは、背景画像や、シーン変化前の画像など、主に長時間に渡って参照されるピクチャを保存し、短時間メモリよりも長い時間分のピクチャを保存する。また、長時間メモリへのピクチャの保存は、短時間メモリに保存されたものが長時間メモリに移動するという形式で行われる。
【０２４２】
管理部３０４は、上述のようにマルチフレームバッファ３０３に格納されている情報を管理しており、その管理結果からリマッピングの必要性が生じたときには、リマッピングを生じさせる。つまり、管理部３０４はリマッピング情報を生成し、そのリマッピング情報を予測種別選択部３０１、動き推定部３０２、可変長符号化部３０５、及びマルチフレームバッファ３０３に出力する。
【０２４３】
例えば、管理部３０４は、後述するシーンチェンジ情報の取得結果から、シーンの変化（以下「シーンチェンジ」という）が生じたと判別したときには、リマッピング情報を生成する。
【０２４４】
予測種別選択部３０１は、実施の形態１及び３の予測種別選択部１０１と同様の機能を有するとともに、管理部３０４からリマッピング情報を取得したときには、そのリマッピング情報に基づいて各参照ピクチャに割り当てられる第１参照インデックス及び第２参照インデックスを特定する。
【０２４５】
動き推定部３０２は、実施の形態１及び３の動き推定部１０２と同様の機能を有するとともに、管理部３０４からリマッピング情報を取得したときには、そのリマッピング情報に基づいて各参照ピクチャに割り当てられる第１参照インデックス及び第２参照インデックスを特定する。
【０２４６】
つまり、予測種別選択部３０１及び動き推定部３０２は、管理部３０４からリマッピング情報を取得しないときには、符号化対象ピクチャの前後にある各参照ピクチャに対して、デフォルトで設定された順、つまり図４の（ａ）に示す順に数値を割り当てて、第１参照インデックス及び第２参照インデックスを特定する。一方、予測種別選択部３０１及び動き推定部３０２は、管理部３０４からリマッピング情報を取得したときには、符号化対象ピクチャの前後にある各参照ピクチャに対して、デフォルトにリマッピング情報が考慮された順に数値を割り当てて、第１参照インデックス及び第２参照インデックスを特定する。
【０２４７】
可変長符号化部３０５は、実施の形態１及び３の可変長符号化部１０５と同様、残差符号化信号ＥＲ、第１参照インデックスＲＩ１、第２参照インデックスＲＩ２、第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、ダイレクトモード用スケーリング係数ＳＰ、及び種別信号ＰＴを可変長符号化し、その結果を画像符号化信号ＢＳ２として出力する。そして可変長符号化部３０５は、管理部３０４からリマッピング情報を取得したときには、そのリマッピング情報を符号化して、その符号化されたリマッピング情報を画像符号化信号ＢＳ２のヘッダに含める。また、ダイレクトモード処理部１１０での処理に、ダイレクトモード用スケーリング係数ＳＰが用いられずに、表示時刻情報が用いられたときには、可変長符号化部１０３は、ダイレクトモード用スケーリング係数ＳＰを可変長符号化することなく、上述のスケーリングに用いた表示時刻情報を可変長符号化して、その可変長符号化された表示時刻情報を画像符号化信号ＢＳ２に含める。
【０２４８】
ここで本実施の形態の管理部３０４は、リマッピング情報を生成するときには、各参照ピクチャに割り当てられる第１参照インデックス及び第２参照インデックスが一定の条件を満たすようにリマッピング情報を生成する。
【０２４９】
管理部３０４は、ダイレクトモード以外の補間予測により符号化対象ブロックを符号化するときに、シーンチェンジが生じている場合には、長時間メモリに保持されている参照ピクチャに第１参照インデックスの０が優先的に割り当てられるようにリマッピング情報を生成する。ここでシーンチェンジが生じたか否かは、画像符号化装置３００の外部で入力画像Ｉｍｇを用いて判定され、その判定結果がシーンチェンジ情報として管理部３０４に供給されるとする。シーンチェンジの検出方法（判定方法）には、時間的に連続するピクチャ間で位置的に対応する画素毎の差分値の絶対値を求め、その差分絶対値をピクチャ内の全画素について加算し、その加算値が所定のしきい値を超えた場合に、シーンチェンジと判定する方法がある。また、シーンチェンジと検出されたフレーム（ピクチャ）は、Ｉピクチャとして符号化されることができる。そして、Ｉピクチャをサーチすることによりシーンチェンジのポイントを探すことが可能にもなる。
【０２５０】
さらに、管理部３０４は、ダイレクトモードの補間予測により符号化対象ブロックを符号化するときには、符号化対象ピクチャよりも表示順が後にある参照ピクチャに対して第２参照インデックスの０が割り当てられるようにリマッピング情報を生成する。
【０２５１】
ここで、管理部３０４は、第２参照インデックスの０がデフォルトで割り当てられる参照ピクチャに対しては、その第２参照インデックス「０」が変更されないようにリマッピング情報を生成しても良い。
これにより、リマッピングが生じても、第２参照インデックスの０は、常に符号化対象ピクチャよりも表示順が後の参照ピクチャに割り当てられる。
【０２５２】
このような管理部３０４により行われるリマッピングについて、図１４を参照して説明する。
図１４は、管理部３０４により行われるリマッピングを説明するための説明図である。
【０２５３】
図１４の（ａ）は、符号化対象ピクチャ及び参照ピクチャを表示順に示すピクチャ配列図である。
Ｂピクチャである符号化対象ピクチャＴＰが符号化されるときには、その符号化対象ピクチャＴＰの前後にあるＰピクチャ、例えば、参照ピクチャＲＰ１，ＲＰ２，ＲＰ３，ＲＰ４，ＲＰ５の何れかが利用される。また、例えば、符号化対象ピクチャＴＰの表示順で近くにある参照ピクチャＲＰ２，ＲＰ３，ＲＰ４，ＲＰ５は、マルチフレームバッファ３０３の短時間メモリに格納されており、符号化対象ピクチャＴＰから遠くにある参照ピクチャＲＰ１は、マルチフレームバッファ３０３の長時間メモリに格納されている。
【０２５４】
そして、参照ピクチャＲＰ１，ＲＰ２，ＲＰ３，ＲＰ４，ＲＰ５を特定するために、これらの参照ピクチャに対してデフォルトでは、図１４の（ｂ）に示すように第１参照インデックス及び第２参照インデックスが割り当てられる。
【０２５５】
図１４の（ｂ）に示すように、参照ピクチャＲＰ１には第１参照インデックス「４」及び第２参照インデックス「４」が割り当てられ、参照ピクチャＲＰ２には第１参照インデックス「１」及び第２参照インデックス「３」が割り当てられ、参照ピクチャＲＰ３には第１参照インデックス「０」及び第２参照インデックス「２」が割り当てられ、参照ピクチャＲＰ４には第１参照インデックス「２」及び第２参照インデックス「０」が割り当てられ、参照ピクチャＲＰ５には第１参照インデックス「３」及び第２参照インデックス「１」が割り当てられる。
【０２５６】
ここで、管理部３０４は、符号化対象ピクチャＴＰをダイレクトモード以外の補間予測により符号化するときに、符号化対象ピクチャＴＰを含むシーンＡ’と類似するシーンＡが、シーンＡ’と非類似のシーンＢを挟んで過去にあり、時間的に前の直前の参照ピクチャ（この場合は参照ピクチャＲＰ３）が非類似シーンＢに属すると判断すると、つまり時間的に前の直前の参照ピクチャの後にシーンチェンジがあったと判断すると、長時間メモリに格納されている参照ピクチャから第１参照インデックスの０が割り当てられるようにリマッピング情報を生成する。
【０２５７】
即ち、図１４の（ｃ）に示すように、長時間メモリに格納されている参照ピクチャＲＰ１に第１参照インデックスの０が割り当てられる。
このように、本実施の形態では、符号化対象ピクチャをダイレクトモード以外の補間予測により符号化するときにシーンチェンジがあると、長時間メモリに保持されている参照ピクチャに第１参照インデックスの０が優先的に割り当てられるようにリマッピング情報が生成されるため、補間予測に用いられる第１参照インデックス「０」の第１参照ピクチャは符号化対象ピクチャと良く似た画像情報を有することとなり、その結果、符号化効率を向上することができる。
【０２５８】
つまり、このようなリマッピング情報が生成されない場合には、図１４の（ｂ）に示すように、第１参照インデックス「０」により示される参照ピクチャＲＰ３が符号化対象ピクチャＴＰの符号化に利用されるが、
その参照ピクチャＲＰ３は、符号化対象ピクチャＴＰとシーンが異なって非類似であるために符号化効率が低下してしまうのである。
【０２５９】
また、管理部３０４は、符号化対象ピクチャＴＰをダイレクトモードにより符号化するときには、図１４の（ｄ）に示すように、符号化対象ピクチャＴＰよりも表示順が後にある参照ピクチャ、例えば参照ピクチャＲＰ５に対して第２参照インデックスの０が割り当てられるようにリマッピング情報を生成する。また、管理部３０４は、図１４の（ｂ）に示すように、第２参照インデックスの０がデフォルトで割り当てられる参照ピクチャＲＰ４に対しては、その第２参照インデックス「０」が変更されないようにリマッピング情報を生成しても良い。
【０２６０】
このように、本実施の形態では、ダイレクトモードの補間予測により符号化対象ブロックを符号化するときには、符号化対象ピクチャよりも表示順が後にある参照ピクチャに対して第２参照インデックスの０が割り当てられ、その第２参照インデックス「０」の参照ピクチャを第２参照ピクチャとして利用されるため、符号化効率を向上することができる。
【０２６１】
図１５は、本実施の形態における動作の一例を示すフロー図である。
まず、画像符号化装置３００は、上述のシーンチェンジ情報が管理部３０４に取得されたか否かに応じて、シーンチェンジの有無を判別する（ステップＳ３００）。
【０２６２】
ここで、シーンチェンジが有ったと判別すると（ステップＳ３００のＹ）、画像符号化装置３００は、長時間メモリにある参照ピクチャに第１参照インデックスの０が優先的に割り当てられるように、且つ、符号化対象ピクチャよりも後にある何れかの参照ピクチャに対して第２参照インデックスの０が割り当てられるようにリマッピングを行う（ステップＳ３０２）。また、画像符号化装置３００は、シーンチェンジがなかったと判別したときには（ステップＳ３００のＮ）、リマッピングをすることなくデフォルトで第１参照インデックス及び第２参照インデックスを割り当てる（ステップＳ３０４）。
【０２６３】
次に、画像符号化装置３００は、上述のように割り当てられた第１参照インデックス及び第２参照インデックスに基づいて、第１参照ピクチャ及び第２参照ピクチャを特定して、これらの参照ピクチャに基づいて予測画像を生成する（ステップＳ３０６）。
そして、画像符号化装置３００は、予測画像から予測誤差を生成して（ステップＳ３０８）、これを符号化する（ステップＳ３１０）。
【０２６４】
（変形例）
ここで、本実施の形態における管理部についての変形例について説明する。
図１６は、本実施の形態の変形例に係る画像符号化装置３００’の構成を示す構成図である。
【０２６５】
この変形例に係る画像符号化装置３００’は、上述の画像符号化装置３００と同様、画像符号化部１０２、画像復号化部１０４、及び管理部３０４’などを備えている。
【０２６６】
ここで、上記本実施の形態では、ダイレクトモードの補間予測により符号化対象ブロックを符号化するときには、符号化対象ピクチャよりも表示順が後にある参照ピクチャに対して第２参照インデックスの０が割り当てられる。つまり、符号化対象ピクチャよりも表示順が前になったことがある参照ピクチャに対して、第２参照インデックスの０が割り当てられるのが管理部３０４’により禁止されることとなる。その結果、符号化対象ピクチャよりも表示順が前になったことがある参照ピクチャのブロックの符号化に用いた第１動きベクトルは、スケーリング用ベクトルとして用いられることはない。
【０２６７】
そこで、本変形例では、符号化対象ピクチャよりも表示順が前になったことがある参照ピクチャのブロックの第１動きベクトルを、符号化対象ピクチャの符号化のためにわざわざベクトル用バッファ１１４に保存しておく処理を省いて、符号化効率を向上することができる。即ち、本変形例では、画像符号化装置３００’の管理部３０４’は、一度表示順で符号化対象ピクチャよりも前になった参照ピクチャの第１動きベクトルをベクトル用バッファ１１４から削除する。
【０２６８】
これにより、本変形例では、符号化処理に不要な動きベクトルがベクトル用バッファ１１４に保存されるのを防いで、ベクトル用バッファ１１４の記憶容量を小さくすることができる。
【０２６９】
（実施の形態６）
本発明の実施の形態６における画像復号化装置について、以下図面を参照しながら説明する。
図１７は、実施の形態６における画像復号化装置のブロック図である。
【０２７０】
この画像復号化装置３５０は、実施の形態５の変形例に係る画像符号化装置３００’から出力される画像符号化信号ＢＳ２に対して復号処理を行うものであって、実施の形態２と同様、可変長復号部１５１と、画像復号部１５２と、加算器１５３と、スイッチ１５５，１５６と、ダイレクトモード処理部１５４と、画素補間部１５７と、マルチフレームバッファ１５８と、ベクトル用バッファ１６０とを備えるとともに、さらに管理部３５４を備えている。
【０２７１】
この画像復号化装置３５０は、実施の形態２においてピクチャ選択部１５９が常に０を示す第２参照インデックスｒＲＩ２をベクトル用バッファ１６０に対して出力しているのと同様の構成を有する。
【０２７２】
また、可変長復号部１５１は、画像符号化信号ＢＳ２を取得して、その画像符号化信号ＢＳ２にリマッピング情報が含まれていれば、マルチフレームバッファ１５８に対し、第１参照インデックスＲＩ１（ｒＲＩ１）及び第２参照インデックスＲＩ２（ｒＲＩ２）により示されるピクチャを、そのリマッピング情報に基づいて特定させる。
【０２７３】
ここで、管理部３５４は、マルチフレームバッファ１５８に格納されている参照ピクチャを監視しており、一度表示順で復号対象ピクチャよりも前になった参照ピクチャの第１動きベクトルＭＶ１をベクトル用バッファ１６０から削除する。
【０２７４】
これにより、本実施の形態においても、実施の形態５の変形例と同様、復号処理に不要な動きベクトルがベクトル用バッファ１６０に保存されるのを防いで、ベクトル用バッファ１６０の記憶容量を小さくすることができる。
【０２７５】
（実施の形態７）
図１８は、実施の形態７における画像符号化装置のブロック図である。
ここで、図１８中に示すユニット及び信号のうち、図３７に示す従来の画像符号化装置９００のユニット及び信号と同様のものに対しては、画像符号化装置９００のユニット及び信号の符号と同一の符号を付して、説明を省略する。
【０２７６】
本実施の形態の特徴は、第１参照ピクチャ選択部６０１が、ダイレクトモード時に符号化対象ピクチャ内のブロックに共通して使用する第１参照ピクチャを選択する点である。これにより、ダイレクトモードにおいてスケーリング用ベクトルの参照先となる第１参照ピクチャを所定の参照ピクチャに共通化させる。
【０２７７】
図１９は実施の形態７のダイレクトモードの概念図である。
この図１９では、参照ピクチャＲＰ１を、ダイレクトモード時に共通に使用される第１参照ピクチャとしている。つまり、ブロックＢ００の第１動きベクトルＭＶ１０は参照ピクチャＲＰｎを参照先としているが、ダイレクトモードが適用されるブロックＢ０の第１動きベクトルＭＶ０１は上述の参照ピクチャＲＰ１を参照先とする。
【０２７８】
即ち、近似的に得られる共通の参照ピクチャＲＰ１上のブロックＢ１に基づく動きベクトルＭＶ０をスケーリング用ベクトルとし、そのスケーリング用ベクトルに対するスケーリングに基づき、符号化対象ピクチャＴＰ上のブロックＢ０の符号化に用いる動きベクトルＭＶ０１，ＭＶ０２を導出する。言い換えれば、符号化対象ピクチャＴＰ上のブロックＢ０の、ピクチャＲＰ１上のブロックＲＢ０１に基づく動きベクトルＭＶ０１と、ピクチャＲＰ３上のブロックＲＢ０２に基づく動きベクトルＭＶ０２とは、動きベクトルＭＶ０をスケーリング用ベクトルとして用いることにより求められる。
【０２７９】
なお、本実施の形態では、ダイレクトモード処理部９１０’が上述のようなダイレクトモードによる処理を行う。
また、従来では、動きベクトルＭＶ１０の参照先となる参照ピクチャＲＰｎを識別するための情報がスケーリングするために必要であり、その情報がメモリ上に保存される必要があった。
【０２８０】
ここで、動きベクトルＭＶ０１，ＭＶ０２の算出の仕方を、図２０を用いて説明する。
図２０は、動きベクトルＭＶ０１，ＭＶ０２の算出過程を示すフロー図である。
【０２８１】
まず、画像符号化装置６００は、第１参照ピクチャＲＰ１上で、ブロックＢ００の動きベクトルＭＶ１０の参照先となるブロックＢｎと同じ位置にあるブロックＢ１を求める（ステップＳ１）。
次に、画像符号化装置６００は、ブロックＢ００からブロックＢ１に対する動きベクトルＭＶ０をスケーリング用ベクトルとする（ステップＳ２）。
【０２８２】
そして、画像符号化装置６００は、このスケーリング用ベクトルＭＶ０から、動きベクトルＭＶ０１，ＭＶ０２を求める（ステップＳ３）。
【０２８３】
このように、動きベクトルＭＶ１０の参照先となる参照ピクチャに関わらず、ダイレクトモードの第１参照ピクチャを１つのピクチャに共通化すると、ベクトル用バッファ９１４には動きベクトルＭＶ１０の参照先となる参照ピクチャのピクチャ番号（図１９では参照ピクチャＲＰｎのピクチャ番号が該当する）を格納する必要がなくなる。その代わり、図１８に示すように、第１参照ピクチャ選択部６０１は、ダイレクトモード時に共通に使用される第１参照ピクチャを選択し、その第１参照ピクチャの第１参照インデックスｒＲＩ１を出力する。なお、ダイレクトモード時に共通に使用される第１参照ピクチャの選択方法は、例えば、符号化対象ピクチャより表示順が前で、第１参照インデックスが最小の参照ピクチャを選択する。
【０２８４】
以上のように、本実施の形態によれば、ダイレクトモードで符号化されるピクチャ内の全ブロックに対し第１参照ピクチャを共通にすることで、スケーリング用ベクトルの参照先となる参照ピクチャを識別する情報をメモリ上に保存しておく必要がなくなる。つまり、メモリ量を削減することができる。また、ダイレクトモードで符号化されるピクチャ内の全ブロックに対し第１参照ピクチャを共通にすることにより、符号化処理を簡略化して符号化効率を向上することができる。なお、第１動きベクトルが参照するピクチャを識別する情報とは、例えば図４に示すピクチャ番号であるが、動きベクトルの参照先となるピクチャを一意に決めることができる情報であれば、他の情報であっても良い。
【０２８５】
なお、本実施の形態では、符号化対象ピクチャより表示順が前で、第１参照インデックスが最小の参照ピクチャを、ダイレクトモード時に共通に使用される第１参照ピクチャとして選択したが、符号化対象ピクチャより表示順が前で、符号化対象ピクチャに最も表示順が近い参照ピクチャを、上記第１参照ピクチャとして選択しても良い。
【０２８６】
また、本実施の形態では、Ｂピクチャである符号化対象ピクチャが参照する参照ピクチャのうち少なくとも１つをその符号化対象ピクチャより前方のものとすることにより、符号化対象ピクチャより後方のピクチャのみを参照する可能性がなくなり、符号化効率を高める可能性を上げることができる。
【０２８７】
さらに、本実施の形態では、第２参照ピクチャを実施の形態１のように選択しても良い。この場合には、実施の形態１で示した符号化方法と本実施の形態で示した符号化方法とを組み合わせることにより、符号化効率をより高めることができる。
【０２８８】
また、本実施の形態では、ダイレクトモード処理部９１０’は、ダイレクトモード用スケーリング係数ＳＰを用いてスケーリング用ベクトルｒＭＶに対するスケーリングを行ったが、上記他の実施の形態と同様、表示時刻情報を用いてスケーリング用ベクトルｒＭＶに対するスケーリングを行っても良い。この場合、図１９を用いて説明すると、動きベクトルＭＶ０ではなく動きベクトルＭＶ１０がスケーリング用ベクトルとして用いられる。つまり、ピクチャＲＰ３とピクチャＲＰｎの表示時刻差に対する、ピクチャＴＰとピクチャＲＰｎの表示時刻差の比に応じて、動きベクトルＭＶ１０がスケーリングされることで、符号化対象ブロックＢ０の第１動きベクトルＭＶ０１が算出されるとともに、ピクチャＲＰ３とピクチャＲＰｎの表示時刻差に対する、ピクチャＴＰとピクチャＲＰ３の表示時刻差の比に応じて、動きベクトルＭＶ１０がスケーリングされることで、符号化対象ブロックＢ０の第２動きベクトルＭＶ０２が算出される。
【０２８９】
（実施の形態８）
図２１は、実施の形態８における画像復号化装置のブロック図である。
ここで、図２１中に示すユニット及び信号のうち、図３８に示す従来の画像符号化装置９５０のユニット及び信号と同様のものに対しては、画像符号化装置９５０のユニット及び信号の符号と同一の符号を付して、説明を省略する。
【０２９０】
本実施の形態の画像復号化装置６５０は、実施の形態７で説明した画像符号化装置６００が出力する画像符号化信号ＢＳ０を復号する。
【０２９１】
第１参照ピクチャ選択部６５１は、図１８の第１参照ピクチャ選択部６０１と同じ方法で第１参照ピクチャを選択する。そして、第１参照ピクチャ選択部６５１は、選択した第１参照ピクチャを示す第１参照インデックスｒＲＩ１をダイレクトモード処理部９５４’に出力する。
【０２９２】
そして、ダイレクトモード処理部９５４’は、図１９に示すダイレクトモードによる処理を実行する。
【０２９３】
このように、ピクチャ内に含まれる全てのダイレクトモードで符号化されるブロックに対し第１参照ピクチャを共通にすることにより、ダイレクトモード用に参照ピクチャを識別する情報を保持する必要がなくなる。また、従来と比べてベクトル用バッファ９６０のメモリ量を削減できる。
【０２９４】
以上のように本実施の形態によれば、実施の形態７の画像符号化装置６００で符号化した画像符号化信号ＢＳ０を正しく復号できる。また、実施の形態７で説明した効果と同様の効果を得ることができる。
【０２９５】
（実施の形態９）
図２２は、実施の形態９の画像符号化装置のブロック図である。
ここで、図２２中に示すユニット及び信号のうち、図３７に示す従来の画像符号化装置９００のユニット及び信号と同様のものに対しては、画像符号化装置９００のユニット及び信号の符号と同一の符号を付して、説明を省略する。
【０２９６】
実施の形態７では、ダイレクトモード時に共通に使用される第１参照ピクチャを画像符号化装置６００及び画像復号化装置６５０で予め決められた同一の方法により選択し、画像符号化信号ＢＳ０中に選択した第１参照ピクチャを示す情報を格納しなかった。一方、本実施の形態では、選択した第１参照ピクチャの第１参照インデックスを画像符号化信号中に格納する。
【０２９７】
つまり、実施の形態７と実施の形態９との違いは以下の通りである。実施の形態７では、画像符号化装置６００にダイレクトモード時の第１参照ピクチャを一意に決定するための手順を保持させ、同様の手順を実施の形態８の画像復号化装置６５０にも保持させることによって、ダイレクトモード時の第１参照ピクチャを一意に決定させていた。一方、実施の形態９では、ダイレクトモード時の第１参照ピクチャを一意に決定するための情報を画像符号化信号に含めることによって、その画像符号化信号を復号する画像復号化装置及び画像符号化装置７００の相互間において、ダイレクトモード時の第１参照ピクチャを一意に決定させる。
【０２９８】
第１参照ピクチャ選択部７０１は、参照ピクチャの中からダイレクトモードの第１参照ピクチャを選択し、選択した参照ピクチャを示す第１参照インデックスｒＲＩ１をダイレクトモード処理部９１０’と可変長符号化部９０３とに出力する。
【０２９９】
可変長符号化部９０３は、残差符号化信号ＥＲ、第１参照インデックスＲＩ１、第２参照インデックスＲＩ２、第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、ダイレクトモード用スケーリング係数ＳＰ、種別情報ＰＴ、第１参照ピクチャ選択部７０１から出力された第１参照インデックスｒＲＩ１を可変長符号化し、画像符号化信号ＢＳ３として出力する。ここで、ダイレクトモード処理部９１０’での処理に、ダイレクトモード用スケーリング係数ＳＰが用いられずに、表示時刻情報が用いられたときには、可変長符号化部９０３は、ダイレクトモード用スケーリング係数ＳＰを可変長符号化することなく、上述のスケーリングに用いた表示時刻情報を可変長符号化して、その可変長符号化された表示時刻情報を画像符号化信号ＢＳ３に含める。
【０３００】
図２３は、実施の形態９の画像符号化信号ＢＳ３のフォーマットである。
画像符号化信号ＢＳ３のフォーマットは、図３５に示す従来の画像符号化装置９００の画像符号化信号ＢＳ０のフォーマットとヘッダのみが異なる。
【０３０１】
第１参照インデックスｒＲＩ１は、ピクチャ内の全てのダイレクトモードのブロックに対し同じ値を持つとする。従って、第１参照インデックスｒＲＩ１は１ピクチャに対し１回のみ符号化すれば十分である。そこで、可変長符号化部９０３は、第１参照インデックスｒＲＩ１を符号化して、符号化された第１参照インデックスｒＲＩ１を、第１インデックス情報５２として画像符号化信号ＢＳ３のヘッダ５１に含める。なお、図２３中に示す第１時間差情報４及び第２時間差情報５並びに時間差情報６の代わりに表示時間情報がヘッダ５１に含まれていても良い。この画像符号化信号ＢＳ３を復号する画像復号化装置は、画像符号化信号ＢＳ３の中から第１インデックス情報５２に基づく第１参照インデックスｒＲＩ１を取得することにより、ダイレクトモード時の第１参照ピクチャを特定することができる。
【０３０２】
このように、本実施の形態によれば、ダイレクトモードで符号化されるピクチャ内の全てのブロックに対し第１参照ピクチャを共通にすることで、スケーリング用ベクトルの参照先となる参照ピクチャを識別する情報を保存しておく必要がなくなる。つまり、ベクトル用バッファ９１４のメモリ量を従来と比べて削減することができる。また、ダイレクトモードで符号化されるピクチャ内の全ブロックに対し第１参照ピクチャを共通にすることにより、符号化処理を簡略にできる。また、ダイレクトモードに用いられる第１参照ピクチャを示す情報を符号化して画像符号化信号ＢＳ３に含めることにより、符号化処理と復号処理との整合性をとることができる。
【０３０３】
なお、符号化対象ピクチャより表示順が前で、第１参照インデックスが最小の参照ピクチャを、ダイレクトモード時に共通に使用される第１参照ピクチャとして選択しても良い。
【０３０４】
また、本実施の形態では、Ｂピクチャである符号化対象ピクチャが参照する参照ピクチャのうち少なくとも１つを符号化対象ピクチャより前方のものとすることにより、符号化対象ピクチャより後方のピクチャのみを参照する可能性がなくなり、符号化効率を高めることができる。
【０３０５】
さらに、本実施の形態では、第２参照ピクチャを実施の形態３のように選択しても良い。この場合には、第１参照インデックスｒＲＩ１が符号化された第１インデックス情報５２と、第２参照インデックスｒＲＩ２が符号化された第２インデックス情報とが、図２３に示すヘッダ５１に含まれる。また、画像符号化信号ＢＳ３を復号する画像復号化装置は、画像符号化信号ＢＳ３の中から、この第１インデックス情報５２により示される第１参照インデックスｒＲ１と、第２インデックス情報により示される第２参照インデックスｒＲ２とを取得することにより、ダイレクトモード時の第１参照ピクチャと第２参照ピクチャとを特定することができる。
【０３０６】
また、本実施の形態における画像符号化信号ＢＳ３のフォーマットでは、第１参照インデックスｒＲＩ１が符号化された第１インデックス情報５２を、ピクチャ単位のヘッダ５１に含めたが、例えば、ＭＰＥＧのスライス構造のようにピクチャより小さな符号化単位のヘッダや、ＭＰＥＧのＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）のように複数のピクチャからなる符号化単位のヘッダや、シーケンス全体のヘッダに格納してもよい。
【０３０７】
（実施の形態１０）
図２４は、実施の形態１０における画像復号化装置のブロック図である。
ここで、図２４中に示すユニット及び信号のうち、図３８に示す従来の画像復号化装置９５０のユニット及び信号と同様のものに対しては、画像復号化装置９５０のユニット及び信号の符号と同一の符号を付して、説明を省略する。
【０３０８】
本実施の形態の画像復号化装置７５０は、実施の形態９で説明した画像符号化装置７００が出力する画像符号化信号ＢＳ３、つまり、ダイレクトモード時に共通に使用される第１参照ピクチャの第１参照インデックスを示す情報が含まれた画像符号化信号を復号する。
【０３０９】
可変長復号部９５１は、画像符号化信号ＢＳ３を取得して、これに対して可変長復号を行い、残差符号化信号ＥＲ、第１参照インデックスＲＩ１、第２参照インデックスＲＩ２、第１動きベクトルＭＶ１、第２動きベクトルＭＶ２、ダイレクトモード用スケーリング係数ＳＰ、種別情報ＰＴ、及びダイレクトモード用の第１参照インデックスｒＲＩ１を出力する。ここで、画像符号化信号ＢＳ３に、符号化されたダイレクトモードスケーリング係数ＳＰが含まれずに、符号化された表示時刻情報が含まれているときには、可変長復号部９５１は、ダイレクトモード用スケーリング係数ＳＰの代わりに表示時刻情報を出力する。
【０３１０】
ダイレクトモード用の第１参照インデックスｒＲＩ１は、ダイレクトモード時に共通して使用される第１参照ピクチャを示す。よって、ベクトル用バッファ９６０は、ダイレクトモード用に参照ピクチャを識別するための情報を保持する必要がないため、ベクトル用バッファ９６０のメモリ量を従来と較べて削減することができる。
【０３１１】
以上のように本実施の形態によれば、実施の形態９の画像符号化装置７００から出力される画像符号化信号ＢＳ３を正しく復号できる。また、ダイレクトモードで符号化されるピクチャ内の全ブロックに対し第１参照ピクチャを共通にすることで、スケーリング用ベクトルの参照先となる参照ピクチャを識別する情報をメモリ上に保存しておく必要がなくなる。つまり、ベクトル用バッファ９６０のメモリ量を従来と較べて削減することができる。また、実施の形態９で説明した効果と同様の効果を得ることができる。
【０３１２】
（実施の形態１１）
さらに、上記各実施の形態で示した画像符号化方法及び画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０３１３】
図２５は、実施の形態１〜１０の画像符号化方法及び画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納する記憶媒体についての説明図である。
図２５中の（ｂ）は、フレキシブルディスクＦＤの正面からみた外観、断面構造、及びディスク本体ＦＤ１を示し、図２５中の（ａ）は、記録媒体の本体であるディスク本体ＦＤ１の物理フォーマットの例を示している。
【０３１４】
ディスク本体ＦＤ１はケースＦ内に内蔵され、ディスク本体ＦＤ１の表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクＦＤでは、上記ディスク本体ＦＤ１上に割り当てられた領域に、上記プログラムとしての画像符号化方法や画像復号化方法が記録されている。
【０３１５】
また、図２５中の（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。
上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓが上記プログラムとしての画像符号化方法または画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスクＦＤ内のプログラムにより上記画像符号化方法又は画像復号化方法をコンピュータシステムＣｓ中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムがフレキシブルディスクＦＤから読み出され、コンピュータシステムＣｓに転送される。
【０３１６】
なお、上記説明では、記録媒体としてフレキシブルディスクＦＤを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０３１７】
（実施の形態１２）
さらにここで、上記実施の形態で示した画像符号化方法や画像復号化方法の応用例とそれを用いたシステムを説明する。
図２６は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０３１８】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０３１９】
しかし、コンテンツ供給システムｅｘ１００は図２６のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【０３２０】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０３２１】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０３２２】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０３２３】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
【０３２４】
図２７は、上記実施の形態で説明した画像符号化方法と画像復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０３２５】
さらに、携帯電話ｅｘ１１５について図２８を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０３２６】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０３２７】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０３２８】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０３２９】
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０３３０】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０３３１】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０３３２】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０３３３】
次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０３３４】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２９に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報のビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録したビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０３３５】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０３３６】
なお、カーナビゲーションｅｘ４１３の構成は例えば図２８に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
【０３３７】
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０３３８】
このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０３３９】
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【０３４０】
【発明の効果】
以上の説明から明らかなように、本発明に係る画像符号化方法によれば、符号化対象ピクチャよりも表示順が後の符号化済ピクチャが第２参照ピクチャとして選択されるため、リマッピングが生じたときに従来例のように符号化対象ピクチャよりも表示順が前の２つの符号化済ピクチャを参照してしまうのを防いで、符号化対象ピクチャの前後にある２つの符号化済ピクチャを参照する確率を高めて符号化効率を向上することができる。また、特定情報が出力されるため、符号化ステップでの符号化結果を復号するときには、符号化処理で選択された第２参照ピクチャと同一のピクチャをその特定情報に基づいて選択して、正確に復号することができる。
【０３４１】
また、本発明に係る画像符号化方法及び画像復号化方法は、動画像を符号化する画像符号化装置及び符号化された動画像を復号する画像復号化装置や、これらの装置を備えたシステム、例えばディジタル著作物などのコンテンツを供給するコンテンツ供給システムやディジタル放送用システムに用いるのに適している。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像符号化装置のブロック図である。
【図２】同上の画像符号化信号の一部の構成を示す構成図である。
【図３】同上のダイレクトモードにより画像を符号化するときの動作を示すフロー図である。
【図４】同上のリマッピングが生じたときにおける動作について説明するための説明図である。
【図５】同上のピクチャの表示順序の一例を説明するための説明図である。
【図６】本発明の実施の形態２における画像復号化装置のブロック図である。
【図７】同上のダイレクトモードにより画像を復号するときの動作を示すフロー図である。
【図８】本発明の実施の形態３における画像符号化装置のブロック図である。
【図９】同上の画像符号化信号のヘッダの構成を示す構成図である。
【図１０】同上のダイレクトモードにより画像を符号化するときの動作を示すフロー図である。
【図１１】本発明の実施の形態４における画像復号化装置のブロック図である。
【図１２】同上のダイレクトモードにより画像を復号するときの動作を示すフロー図である。
【図１３】本発明の実施の形態５における画像符号化装置のブロック図である。
【図１４】同上の管理部により行われるリマッピングを説明するための説明図である。
【図１５】同上の動作を示すフロー図である。
【図１６】同上の変形例に係る画像符号化装置の構成を示す構成図である。
【図１７】本発明の実施の形態６における画像復号化装置のブロック図である。
【図１８】本発明の実施の形態７における画像符号化装置のブロック図である。
【図１９】同上のダイレクトモードの概念図である。
【図２０】同上の動きベクトルの算出過程を示すフロー図である。
【図２１】本発明の実施の形態８における画像復号化装置のブロック図である。
【図２２】本発明の実施の形態９における画像符号化装置のブロック図である。
【図２３】同上の画像符号化信号ＢＳ３のフォーマットである。
【図２４】本発明の実施の形態１０における画像復号化装置のブロック図である。
【図２５】本発明の実施の形態１１における記憶媒体についての説明図である。
【図２６】本発明の実施の形態１２におけるコンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。
【図２７】同上の携帯電話を示す図である。
【図２８】同上の携帯電話のブロック図である。
【図２９】同上のディジタル放送用システムの全体構成を示すブロック図である。
【図３０】Ｂピクチャの概念図である。
【図３１】補間予測の説明図である。
【図３２】補間予測ブロックの２枚の参照ピクチャが、補間予測ブロックを有する符号化対象ピクチャより表示順が前にある場合の一例を説明するための説明図である。
【図３３】補間予測ブロックの２枚の参照ピクチャが、補間予測ブロックを有する符号化対象ピクチャより表示順が後にある場合の一例を説明するための説明図である。
【図３４】ピクチャ番号と参照インデックスを説明するための説明図である。
【図３５】従来の画像符号化装置が行うダイレクトモードの説明図である。
【図３６】従来の画像符号化装置の構成を示すブロック図である。
【図３７】画像符号化信号のフォーマットの概念図である。
【図３８】従来の画像復号化装置の構成を示すブロック図である。
【符号の説明】
１００ 画像符号化装置
１０２ 画像符号化部
１０３ 可変長符号化部
１０４ 画像復号化部
１０６ 画素補間部
１０７ マルチフレームバッファ
１０８ 予測種別選択部
１０９ 動き推定部
１１０ ダイレクトモード処理部
１１３ ピクチャ選択部
１１４ ベクトル用バッファ
Claims (25)
- 既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、
前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャの中から何れかを第２参照ピクチャとして選択する第２参照ピクチャ選択ステップと、
前記第２参照ピクチャ内の所定のブロックの符号化に用いられた動きベクトルに基づいて、符号化済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、
前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、
前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップと、
前記第２参照ピクチャを特定するための特定情報を、前記符号化ステップの符号化結果とともに出力する出力ステップと
を含むことを特徴とする画像符号化方法。 - 前記出力ステップでは、
前記第２参照ピクチャを指し示す第２参照インデックスから前記特定情報を構成して出力する
ことを特徴とする請求項１記載の画像符号化方法。 - 前記出力ステップでは、
前記各符号化済ピクチャを識別するためにそれぞれに割り当てられる第２参照インデックスの変更方法を示す情報を前記特定情報として出力する
ことを特徴とする請求項１記載の画像符号化方法。 - 既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、
前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャのうち、前記各符号化済ピクチャを識別するためにそれぞれに割り当てられる第２参照インデックスが最小の符号化済ピクチャを、第２参照ピクチャとして選択する第２参照ピクチャ選択ステップと、
前記第２参照ピクチャ内の所定のブロックの符号化に用いられた動きベクトルに基づいて、符号化済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、
前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、
前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップと、
を含むことを特徴とする画像符号化方法。 - 前記第２参照ピクチャ選択ステップでは、
前記第２インデックスの割り当て方を示す内容の割当情報に基づいて、前記第２参照インデックスが最小の符号化済ピクチャを特定し、特定した前記符号化済ピクチャを第２参照ピクチャとして選択する
ことを特徴とする請求項４記載の画像符号化方法。 - 既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、
符号化済ピクチャを識別するための第２参照インデックスを前記各符号化済ピクチャに割り当て、前記符号化対象ピクチャよりも表示順が後の何れかの符号化済ピクチャに対して０を示す第２参照インデックスが割り当てられるようにする割当ステップと、
前記割当ステップと異なる割り当て方で前記第２参照インデックスを割り当て直すことができ、前記符号化対象ピクチャよりも表示順が後の何れかの符号化済ピクチャに対して０を示す第２参照インデックスが割り当てられるように制限する再割当ステップと、
前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャのうち、前記０を示す第２参照インデックスが割り当てられた符号化済ピクチャを、第２参照ピクチャとして選択する第２参照ピクチャ選択ステップと、
前記第２参照ピクチャ内の所定のブロックの符号化に用いられた動きベクトルに基づいて、符号化済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、
前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、
前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップとを含む
ことを特徴とする画像符号化方法。 - 前記再割当ステップでは、
前記割当ステップにおいて０を示す第２参照インデックスが割り当てられる符号化済ピクチャに対して、前記第２参照インデックスの変更を禁止する
ことを特徴とする請求項６記載の画像符号化方法。 - 既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、
符号化済ピクチャを識別するための第１参照インデックスを前記各符号化済ピクチャに割り当てる割当ステップと、
所定の符号化済ピクチャまたはスライスに対して、前記割当ステップと異なる割り当て方で前記第１参照インデックスを割り当て直す再割当ステップと、
前記符号化対象ピクチャよりも表示順が前の符号化済ピクチャのうち、所定の値を示す第１参照インデックスが割り当てられた符号化済ピクチャを、第１参照ピクチャとして選択する第１参照ピクチャ選択ステップと、
前記第１参照ピクチャ内の所定のブロックに基づいて画素補間により予測画像を生成する予測画像生成ステップと、
前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップとを含み、
前記再割当ステップでは、
長時間にわたって参照される前記符号済ピクチャから優先的に、前記所定の値を示す第１参照インデックスを割り当てる
ことを特徴とする画像符号化方法。 - 既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、
符号化済ピクチャを識別するための第２参照インデックスを前記各符号化済ピクチャに割り当てる割当ステップと、
前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャのうち、０を示す第２参照インデックスが割り当てられた符号化済ピクチャを、第２参照ピクチャとして選択する第２参照ピクチャ選択ステップと、
前記第２参照ピクチャ内の所定のブロックの符号化に用いられた動きベクトルに基づいて、符号化済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、
前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、
前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップとを含み、
前記割当ステップでは、
表示順が前記符号化対象ピクチャよりも前になったことがある符号化済ピクチャに対して、０を示す第２参照インデックスが割り当てられるのを禁止する
ことを特徴とする画像符号化方法。 - 前記画像符号化方法は、さらに、
符号化済ピクチャの符号化に用いられた動きベクトルを記憶しているメモリから、表示順が前記符号化対象ピクチャよりも前になったことがある符号化済ピクチャの符号化に用いられた動きベクトルを削除する削除ステップを含む
ことを特徴とする請求項９記載の画像符号化方法。 - 既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、
記憶部に格納されている複数の符号化済ピクチャから、前記複数の符号化済ピクチャに対して付与された第１参照インデックスと第２参照インデックスとを用いて、前記第１参照インデックスに対応する符号化済ピクチャを第１参照ピクチャとして選択し、前記第２参照インデックスに対応する符号化済ピクチャを第２参照ピクチャとして選択する選択ステップと、
前記第１参照ピクチャ上のブロックと前記第２参照ピクチャ上のブロックに基づいて画素補間により予測画像を生成する予測画像生成ステップと、
前記符号化対象ピクチャと前記予測画像との差である予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する出力ステップとを含み、
前記選択ステップでは、
前記符号化済ピクチャのうち前記符号化対象ピクチャより表示順が前で前記第１参照インデックスが最小の符号化済ピクチャを第１参照ピクチャとして選択し、
前記予測画像生成ステップでは、
前記第２参照ピクチャ内で前記符号化対象ピクチャ上の符号化対象ブロックと同じ位置のブロックの符号化に使用された第１動きベクトルに基づいて、前記ブロックに対して前記第１参照ピクチャを参照先とする第２動きベクトルを算出するとともに、前記第２動きベクトルに基づいて、前記符号化対象ブロックに対して第１参照ピクチャを参照先とする第３動きベクトルと、前記符号化対象ブロックに対して第２参照ピクチャを参照先とする第４動きベクトルとを算出し、前記第３動きベクトルの参照先となる前記第１参照ピクチャ上のブロックと、前記第４動きベクトルの参照先となる前記第２参照ピクチャ上のブロックとから画素補間により予測画像を生成する
ことを特徴とする画像符号化方法。 - 既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法であって、
記憶部に格納されている複数の符号化済ピクチャから、前記複数の符号化済ピクチャに対して付与された第１参照インデックスと第２参照インデックスとを用いて、前記第１参照インデックスに対応する符号化済ピクチャを第１参照ピクチャとして選択し、前記第２参照インデックスに対応する符号化済ピクチャを第２参照ピクチャとして選択する選択ステップと、
前記第１参照ピクチャ上のブロックと前記第２参照ピクチャ上のブロックに基づいて画素補間により予測画像を生成する予測画像生成ステップと、
前記符号化対象ピクチャと前記予測画像との差である予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する出力ステップとを含み、
前記選択ステップでは、
前記符号化済ピクチャのうち前記符号化対象ピクチャより表示順が前の符号化済ピクチャを第１参照ピクチャとして選択し、
前記予測画像生成ステップでは、
前記第２参照ピクチャ内で前記符号化対象ピクチャ上の符号化対象ブロックと同じ位置のブロックの符号化に使用された第１動きベクトルに基づいて、前記ブロックに対して前記第１参照ピクチャを参照先とする第２動きベクトルを算出するとともに、前記第２動きベクトルに基づいて、前記符号化対象ブロックに対して第１参照ピクチャを参照先とする第３動きベクトルと、前記符号化対象ブロックに対して第２参照ピクチャを参照先とする第４動きベクトルとを算出し、前記第３動きベクトルの参照先となる前記第１参照ピクチャ上のブロックと、前記第４動きベクトルの参照先となる前記第２参照ピクチャ上のブロックとから画素補間により予測画像を生成し、
前記出力ステップでは、
前記選択ステップで選択された前記第１参照ピクチャを指し示す第１参照インデックスを画像符号化信号中に含める
ことを特徴とする画像符号化方法。 - 前記画像符号化方法は、さらに、
前記第１動きベクトルの参照先となる符号化済ピクチャを指し示す情報がメモリ上に記録されるのを禁止するステップを含む
ことを特徴とする請求項１２記載の画像符号化方法。 - 符号化されたピクチャを、既に復号されたピクチャを参照することによりブロック毎に復号する画像復号化方法であって、
復号対象のピクチャの復号に参照される復号済ピクチャを第２参照ピクチャとして特定するための特定情報、及び前記復号対象ピクチャに関する符号化信号を取得する取得ステップと、
前記復号対象ピクチャよりも表示順が後の復号済ピクチャの中から、前記特定情報に基づいて第２参照ピクチャを選択する第２参照ピクチャ選択ステップと、
前記第２参照ピクチャ内の所定のブロックの復号に用いられた動きベクトルに基づいて、復号済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、
前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、
前記予測画像及び前記符号化信号に基づいて復号対象ブロックを復号する復号ステップと、
を含むことを特徴とする画像復号化方法。 - 前記取得ステップでは、
前記第２参照ピクチャを指し示す第２参照インデックスから構成される特定情報を取得し、
前記第２参照ピクチャ選択ステップでは、
前記第２参照インデックスにより示される前記第２参照ピクチャを選択する
ことを特徴とする請求項１４記載の画像復号化方法。 - 前記取得ステップでは、
前記各復号済ピクチャを識別するためにそれぞれに割り当てられる第２参照インデックスの変更方法を示す特定情報を取得し、
前記第２参照ピクチャ選択ステップでは、
前記第２参照インデックスの変更方法から特定される復号済ピクチャを前記第２参照ピクチャとして選択する
ことを特徴とする請求項１４記載の画像復号化方法。 - 符号化されたピクチャを、既に復号されたピクチャを参照することによりブロック毎に復号する画像復号化方法であって、
復号対象のピクチャに関する符号化信号を取得する取得ステップと、
前記復号対象ピクチャよりも表示順が後の復号済ピクチャのうち、前記各復号済ピクチャを識別するためにそれぞれに割り当てられる第２参照インデックスが最小の復号済ピクチャを、第２参照ピクチャとして選択する第２参照ピクチャ選択ステップと、
前記第２参照ピクチャ内の所定のブロックの復号に用いられた動きベクトルに基づいて、復号済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、
前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、
前記予測画像及び前記符号化信号に基づいて復号対象ブロックを復号する復号ステップと、
を含むことを特徴とする画像復号化方法。 - 前記第２参照ピクチャ選択ステップでは、
前記第２インデックスの割り当て方を示す内容の割当情報に基づいて、前記第２参照インデックスが最小の復号済ピクチャを特定し、特定した前記復号済ピクチャを第２参照ピクチャとして選択する
ことを特徴とする請求項１７記載の画像復号化方法。 - 符号化されたピクチャを、既に復号されたピクチャを参照することによりブロック毎に復号する画像復号化方法であって、
復号対象のピクチャに関する符号化信号を取得する取得ステップと、
前記復号対象ピクチャよりも表示順が後の復号済ピクチャのうち、前記各復号済ピクチャを識別するためにそれぞれに割り当てられる第２参照インデックスが０の復号済ピクチャを、第２参照ピクチャとして選択する第２参照ピクチャ選択ステップと、
前記第２参照ピクチャ内の所定のブロックの復号に用いられた動きベクトルに基づいて、復号済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、
前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、
前記予測画像及び前記符号化信号に基づいて復号対象ブロックを復号する復号ステップと、
復号済ピクチャの復号に用いられた動きベクトルを記憶しているメモリから、表示順が前記復号対象ピクチャよりも前になったことがある復号済ピクチャの復号に用いられた動きベクトルを削除する削除ステップと
を含むことを特徴とする画像復号化方法。 - 符号化されたピクチャを、既に復号されたピクチャを参照することによりブロック毎に復号する画像復号化方法であって、
予測誤差を示す符号化信号を取得する取得ステップと、
記憶部に格納されている複数の復号済ピクチャから、前記複数の復号済ピクチャに対して付与された第１参照インデックスと第２参照インデックスとを用いて、前記第１参照インデックスに対応する復号済ピクチャを第１参照ピクチャとして選択し、前記第２参照インデックスに対応する復号済ピクチャを第２参照ピクチャとして選択する選択ステップと、
前記第１参照ピクチャ上のブロックと前記第２参照ピクチャ上のブロックに基づいて画素補間により予測画像を生成する予測画像生成ステップと、
前記予測画像と前記予測誤差から前記復号対象ピクチャを復号する復号ステップと、
参照される可能性がある復号済ピクチャを記憶部に格納する格納ステップとを含み、
前記選択ステップでは、
前記復号済ピクチャのうち前記復号対象ピクチャより表示順が前で前記第１参照インデックスが最小の符号化済ピクチャを第１参照ピクチャとして選択し、
前記予測画像生成ステップでは、
前記第２参照ピクチャ内で前記復号対象ピクチャ上の復号対象ブロックと同じ位置のブロックの復号に使用した第１動きベクトルに基づいて、前記ブロックに対して前記第１参照ピクチャを参照先とする第２動きベクトルを算出するとともに、前記第２動きベクトルに基づいて、前記復号対象ブロックに対して第１参照ピクチャを参照先とする第３動きベクトルと、前記復号対象ブロックに対して第２参照ピクチャを参照先とする第４動きベクトルとを算出し、前記第３動きベクトルの参照先となる前記第１参照ピクチャ上のブロックと、前記第４動きベクトルの参照先となる前記第２参照ピクチャ上のブロックとから画素補間により予測画像を生成する
ことを特徴とする画像復号化方法。 - 符号化されたピクチャを、既に復号されたピクチャを参照することによりブロック毎に復号する画像復号化方法であって、
予測誤差を示す符号化信号を含む画像符号化信号を取得する取得ステップと、
記憶部に格納されている複数の復号済ピクチャから、前記複数の復号済ピクチャに対して付与された第１参照インデックスと第２参照インデックスとを用いて、前記第１参照インデックスに対応する復号済ピクチャを第１参照ピクチャとして選択し、前記第２参照インデックスに対応する復号済ピクチャを第２参照ピクチャとして選択する選択ステップと、
前記第１参照ピクチャ上のブロックと前記第２参照ピクチャ上のブロックに基づいて画素補間により予測画像を生成する予測画像生成ステップと、
前記予測画像と前記予測誤差から前記復号対象ピクチャを復号する復号ステップと、
参照される可能性がある復号済ピクチャを記憶部に格納する格納ステップとを含み、
前記選択ステップでは、
前記復号済ピクチャのうち前記画像符号化信号に含まれる第１参照インデックスにより示される復号済ピクチャを第１参照ピクチャとして選択し、
前記予測画像生成ステップでは、
前記第２参照ピクチャ内で前記復号対象ピクチャ上の復号対象ブロックと同じ位置のブロックの復号に使用された第１動きベクトルに基づいて、前記ブロックに対して前記第１参照ピクチャを参照先とする第２動きベクトルを算出するとともに、前記第２動きベクトルに基づいて、前記復号対象ブロックに対して第１参照ピクチャを参照先とする第３動きベクトルと、前記復号対象ブロックに対して第２参照ピクチャを参照先とする第４動きベクトルとを算出し、前記第３動きベクトルの参照先となる前記第１参照ピクチャ上のブロックと、前記第４動きベクトルの参照先となる前記第２参照ピクチャ上のブロックとから画素補間により予測画像を生成する
ことを特徴とする画像復号化方法。 - 既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化装置であって、
前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャの中から何れかを第２参照ピクチャとして選択する第２参照ピクチャ選択手段と、
前記第２参照ピクチャ内の所定のブロックの符号化に用いられた動きベクトルに基づいて、符号化済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定手段と、
前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成手段と、
前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化手段と、
前記第２参照ピクチャを特定するための特定情報を、前記符号化手段の符号化結果とともに出力する出力手段と
を備えることを特徴とする画像符号化装置。 - 符号化されたピクチャを、既に復号されたピクチャを参照することによりブロック毎に復号する画像復号化装置であって、
復号対象のピクチャの復号に参照される復号済ピクチャを第２参照ピクチャとして特定するための特定情報、及び前記復号対象ピクチャに関する符号化信号を取得する取得手段と、
前記復号対象ピクチャよりも表示順が後の復号済ピクチャの中から、前記特定情報に基づいて第２参照ピクチャを選択する第２参照ピクチャ選択手段と、
前記第２参照ピクチャ内の所定のブロックの復号に用いられた動きベクトルに基づいて、復号済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定手段と、
前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成手段と、
前記予測画像及び前記符号化信号に基づいて復号対象ブロックを復号する復号手段と
を備えることを特徴とする画像復号化装置。 - 既に符号化されたピクチャを参照することにより符号化対象のピクチャをブロック毎に符号化する画像符号化方法をコンピュータに実行させるプログラムであって、
前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャの中から何れかを第２参照ピクチャとして選択する第２参照ピクチャ選択ステップと、
前記第２参照ピクチャ内の所定のブロックの符号化に用いられた動きベクトルに基づいて、符号化済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、
前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、
前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップと、
前記第２参照ピクチャを特定するための特定情報を、前記符号化ステップの符号化結果とともに出力する出力ステップと
を含むことを特徴とするプログラム。 - 符号化されたピクチャを、既に復号されたピクチャを参照することによりブロック毎に復号する画像復号化方法をコンピュータに実行させるプログラムであって、
復号対象のピクチャの復号に参照される復号済ピクチャを第２参照ピクチャとして特定するための特定情報、及び前記復号対象ピクチャに関する符号化信号を取得する取得ステップと、
前記復号対象ピクチャよりも表示順が後の復号済ピクチャの中から、前記特定情報に基づいて第２参照ピクチャを選択する第２参照ピクチャ選択ステップと、
前記第２参照ピクチャ内の所定のブロックの復号に用いられた動きベクトルに基づいて、復号済ピクチャの中から何れかを第１参照ピクチャとして特定する第１参照ピクチャ特定ステップと、
前記動きベクトルに基づいて、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップと、
前記予測画像及び前記符号化信号に基づいて復号対象ブロックを復号する復号ステップと、
を含むことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003161262A JP2004088737A (ja) | 2002-07-02 | 2003-06-05 | 画像符号化方法および画像復号化方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002193027 | 2002-07-02 | ||
| JP2003161262A JP2004088737A (ja) | 2002-07-02 | 2003-06-05 | 画像符号化方法および画像復号化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004088737A true JP2004088737A (ja) | 2004-03-18 |
Family
ID=32071911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003161262A Pending JP2004088737A (ja) | 2002-07-02 | 2003-06-05 | 画像符号化方法および画像復号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004088737A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005533465A (ja) * | 2002-07-15 | 2005-11-04 | アップル コンピュータ、インコーポレイテッド | デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置 |
| WO2006019093A1 (ja) * | 2004-08-16 | 2006-02-23 | Nippon Telegraph And Telephone Corporation | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム |
| JP2006238374A (ja) * | 2005-02-28 | 2006-09-07 | Sony Corp | 符号化装置および方法、復号装置および方法、画像処理システムおよび方法、記録媒体、並びにプログラム |
| JP2006324906A (ja) * | 2005-05-18 | 2006-11-30 | Canon Inc | 画像符号化方法、及び画像符号化装置 |
| JP2007517437A (ja) * | 2003-12-31 | 2007-06-28 | 中国科学院▲計▼算技▲術▼研究所 | 直接符号化モードでの参照画像ブロックの確定方法 |
| JP2007517438A (ja) * | 2003-12-31 | 2007-06-28 | 中国科学院計算技木研究所 | 参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法 |
| JP2012023652A (ja) * | 2010-07-16 | 2012-02-02 | Sony Corp | 画像処理装置と画像処理方法 |
| WO2012102045A1 (ja) * | 2011-01-28 | 2012-08-02 | パナソニック株式会社 | 画像符号化方法および画像復号化方法 |
| US10123037B2 (en) | 2002-07-24 | 2018-11-06 | Apple Inc. | Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations |
-
2003
- 2003-06-05 JP JP2003161262A patent/JP2004088737A/ja active Pending
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011024245A (ja) * | 2002-07-15 | 2011-02-03 | Apple Inc | デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置 |
| JP2011097617A (ja) * | 2002-07-15 | 2011-05-12 | Apple Inc | デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置 |
| JP4676450B2 (ja) * | 2002-07-15 | 2011-04-27 | アップル インコーポレイテッド | デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置 |
| US7903730B2 (en) | 2002-07-15 | 2011-03-08 | Apple Inc. | Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding |
| JP2005533465A (ja) * | 2002-07-15 | 2005-11-04 | アップル コンピュータ、インコーポレイテッド | デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置 |
| JP2007181227A (ja) * | 2002-07-15 | 2007-07-12 | Apple Computer Inc | デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置 |
| US10123037B2 (en) | 2002-07-24 | 2018-11-06 | Apple Inc. | Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations |
| JP4642033B2 (ja) * | 2003-12-31 | 2011-03-02 | 中国科学院計算技木研究所 | 参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法 |
| JP2007517438A (ja) * | 2003-12-31 | 2007-06-28 | 中国科学院計算技木研究所 | 参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法 |
| JP2007517437A (ja) * | 2003-12-31 | 2007-06-28 | 中国科学院▲計▼算技▲術▼研究所 | 直接符号化モードでの参照画像ブロックの確定方法 |
| JP4670085B2 (ja) * | 2003-12-31 | 2011-04-13 | 中国科学院▲計▼算技▲術▼研究所 | 直接符号化モードでの参照画像ブロックの確定方法 |
| KR100941495B1 (ko) * | 2004-08-16 | 2010-02-10 | 니폰덴신뎅와 가부시키가이샤 | 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치 |
| WO2006019093A1 (ja) * | 2004-08-16 | 2006-02-23 | Nippon Telegraph And Telephone Corporation | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム |
| US9402087B2 (en) | 2004-08-16 | 2016-07-26 | Nippon Telegraph And Telephone Corporation | Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, and picture decoding program |
| JPWO2006019093A1 (ja) * | 2004-08-16 | 2008-05-08 | 日本電信電話株式会社 | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム |
| JP5052134B2 (ja) * | 2004-08-16 | 2012-10-17 | 日本電信電話株式会社 | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム |
| JP2006238374A (ja) * | 2005-02-28 | 2006-09-07 | Sony Corp | 符号化装置および方法、復号装置および方法、画像処理システムおよび方法、記録媒体、並びにプログラム |
| JP4577043B2 (ja) * | 2005-02-28 | 2010-11-10 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2006324906A (ja) * | 2005-05-18 | 2006-11-30 | Canon Inc | 画像符号化方法、及び画像符号化装置 |
| JP4594163B2 (ja) * | 2005-05-18 | 2010-12-08 | キヤノン株式会社 | 画像符号化方法、及び画像符号化装置 |
| JP2012023652A (ja) * | 2010-07-16 | 2012-02-02 | Sony Corp | 画像処理装置と画像処理方法 |
| WO2012102045A1 (ja) * | 2011-01-28 | 2012-08-02 | パナソニック株式会社 | 画像符号化方法および画像復号化方法 |
| JP5893570B2 (ja) * | 2011-01-28 | 2016-03-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像符号化方法および画像復号化方法 |
| US9560352B2 (en) | 2011-01-28 | 2017-01-31 | Sun Patent Trust | Image coding method and image decoding method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4767991B2 (ja) | 画像符号化方法および画像符号化装置 | |
| EP1427216A1 (en) | Image encoding method and image decoding method | |
| DK2271108T3 (en) | Method for encoding moving pictures and procedure to decode moving pictures | |
| CA2473897C (en) | Motion compensation method, picture coding method and picture decoding method | |
| EP1578137A2 (en) | Moving picture coding apparatus with multistep interpolation process | |
| KR100557911B1 (ko) | 화상 부호화 방법 및 화상 복호화 방법 | |
| EP1443772B1 (en) | Moving picture encoding device and moving picture decoding device | |
| JP2004096705A (ja) | 動きベクトル符号化方法および動きベクトル復号化方法 | |
| JP4129374B2 (ja) | 画像符号化方法および画像復号化方法 | |
| JP2004088737A (ja) | 画像符号化方法および画像復号化方法 | |
| JP4495013B2 (ja) | 動画符号化装置 | |
| JP2004242286A (ja) | 動画像符号化方法および動画像復号化方法 | |
| JP3824268B2 (ja) | 動きベクトル導出方法、および動きベクトル導出装置 | |
| JP2004040512A (ja) | 画像符号化方法および画像復号方法 | |
| JP2004215215A (ja) | 動きベクトル検出方法 | |
| JP2005142986A (ja) | 動画像符号化方法、動画像符号化装置および動画像符号化プログラム | |
| JP4406239B2 (ja) | 動き補償方法および動き補償装置 | |
| KR20050018729A (ko) | 화상 부호화 방법 및 화상 복호화 방법 | |
| JP2005341545A (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラムおよび動画像復号プログラム | |
| JP4503959B2 (ja) | 画像符号化方法 |