JP2007049746A - 動画像の符号化方法および復号化方法 - Google Patents
動画像の符号化方法および復号化方法 Download PDFInfo
- Publication number
- JP2007049746A JP2007049746A JP2006285721A JP2006285721A JP2007049746A JP 2007049746 A JP2007049746 A JP 2007049746A JP 2006285721 A JP2006285721 A JP 2006285721A JP 2006285721 A JP2006285721 A JP 2006285721A JP 2007049746 A JP2007049746 A JP 2007049746A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- frame
- field
- reference index
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】マクロブロック単位フレームフィールド切り替え符号化において、参照インデックスをフレーム符号化、フィールド符号化の何れであっても適切に活用する画像符号化方法、画像復号化方法を提供する。
【解決手段】本発明の画像符号化方法は、ブロック単位でフレーム符号化とフィールド符号化を切り替えて、ブロックを符号化する画像符号化方法であって、それぞれの参照フレームにそれぞれのフレーム符号化用参照インデックスを割り当てるコマンド列を生成するコマンド生成ステップと、前記コマンド列により割り当てられたフレーム符号化用参照インデックスを用いて、前記ブロックを符号化する際に参照する参照フレームを特定し、前記参照フレームを特定する前記フレーム符号化用参照インデックスを符号化する参照インデックス符号化ステップとを有する。
【選択図】図５
【解決手段】本発明の画像符号化方法は、ブロック単位でフレーム符号化とフィールド符号化を切り替えて、ブロックを符号化する画像符号化方法であって、それぞれの参照フレームにそれぞれのフレーム符号化用参照インデックスを割り当てるコマンド列を生成するコマンド生成ステップと、前記コマンド列により割り当てられたフレーム符号化用参照インデックスを用いて、前記ブロックを符号化する際に参照する参照フレームを特定し、前記参照フレームを特定する前記フレーム符号化用参照インデックスを符号化する参照インデックス符号化ステップとを有する。
【選択図】図５
Description
本発明は、動画像の符号化方法および復号化方法に関するものであり、特に既に符号化済みのピクチャを参照して画像間予測を行う符号化方法および復号化方法に関するものである。
近年、マルチメディアアプリケーションの発展に伴い、画像・音声・テキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。ディジタル化された画像は膨大なデータ量を持つため、蓄積・伝送のためには、画像の情報圧縮技術が不可欠である。圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、ＩＳＯ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などがある。また、ＩＴＵでは、現在、最新の画像符号化規格としてＨ．２６Ｌが標準化中である。
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とするピクチャ間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と現在のピクチャとの差分値に対して符号化を行う。
ここで、ピクチャとは、１枚の画像を表す用語であり、プログレッシブ画像ではフレームを意味し、インターレース画像ではフレームもしくはフィールドを意味する。ここで、インターレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インターレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。
なお、以下で示すピクチャはプログレッシブ画像でのフレームの意味で説明するが、インターレース画像でのフレームもしくはフィールドであっても同様に説明することができる。
図３５はピクチャの種類とその参照関係を説明するための図である。
ピクチャＩ１のように参照ピクチャを持たずピクチャ内予測符号化を行うものをＩピクチャと呼ぶ。また、ピクチャＰ１０のように１枚のピクチャのみを参照しピクチャ間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照してピクチャ間予測符号化を行うことのできるものをＢピクチャと呼ぶ。ＢピクチャはピクチャＢ６、Ｂ１２、Ｂ１８のように時間的に任意の方向にある２枚のピクチャを参照することが可能である。参照ピクチャは動き検出の単位であるブロックごとに指定することができるが、符号化を行った符号列中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。図３６（ａ）および図３６（ｂ）はＢピクチャを符号化および復号化する場合の順番の例である。図３６（ａ）は表示される順番、図３６（ｂ）は（ａ）を符号化および復号化する順番に並び替えたものである。ピクチャＢ３、Ｂ６によって参照されるピクチャは全て先に符号化および復号化されているように並び替えられているのが分かる。
ピクチャＩ１のように参照ピクチャを持たずピクチャ内予測符号化を行うものをＩピクチャと呼ぶ。また、ピクチャＰ１０のように１枚のピクチャのみを参照しピクチャ間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照してピクチャ間予測符号化を行うことのできるものをＢピクチャと呼ぶ。ＢピクチャはピクチャＢ６、Ｂ１２、Ｂ１８のように時間的に任意の方向にある２枚のピクチャを参照することが可能である。参照ピクチャは動き検出の単位であるブロックごとに指定することができるが、符号化を行った符号列中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。図３６（ａ）および図３６（ｂ）はＢピクチャを符号化および復号化する場合の順番の例である。図３６（ａ）は表示される順番、図３６（ｂ）は（ａ）を符号化および復号化する順番に並び替えたものである。ピクチャＢ３、Ｂ６によって参照されるピクチャは全て先に符号化および復号化されているように並び替えられているのが分かる。
次に、参照ピクチャを指定するための参照インデックスについて図３７、図３８を用いて説明する。ここでは簡単化のために、実際のピクチャを識別する番号をピクチャ番号、画面間予測において参照するピクチャを指定する際に使用する番号を参照インデックスと呼ぶ。その際、第１参照ピクチャを示すものを第１参照インデックス、第２参照ピクチャを示すものを第２参照インデックスとする。参照インデックスは初期状態として図３７のようなデフォルト値が割り当てられているが、コマンドによって割り当てを変更することが可能となっている。
図３７は、フレーム符号化におけるピクチャ番号に対する２つの参照インデックスの初期状態における割り当て結果を示すものであり、図３８はコマンドを用いて図３７の参照インデックスの割り当てを更新したものである。図のような符号化される順に並べられたピクチャ列があったとき、メモリ内に保持されているピクチャに対してピクチャ番号は符号化の順に割り振られている。参照インデックスをピクチャ番号に割り当てるためのコマンドはピクチャをさらに分割した符号化単位であるスライスのヘッダに記述され、１つのスライスを符号化する毎に割り当て方を更新することが可能である。前記コマンドとして、元のピクチャ番号と更新後のピクチャ番号の差分値を使用し、任意の個数のコマンドをコマンド列として符号化することが可能である。コマンド列の先頭のコマンドは、符号化対象のピクチャのピクチャ番号に適用され、参照インデックス番号０に対応するピクチャ番号を示す。コマンド列の２番目のコマンドは、参照インデックス番号０に対応するピクチャ番号に適用され、参照インデックス番号１に対応するピクチャ番号を示す。３番目のコマンドは、参照インデックス番号１に対応するピクチャ番号に適用され、参照インデックス番号２に対応するピクチャ番号を示す。４番目以降のコマンドも同様である。図３８の第１参照インデックスの例を用いると、まずコマンドとして"−２"が与えられたので、参照インデックス番号０には、符号化対象ピクチャのピクチャ番号１３に−２を足すことによって、１１番のピクチャが割り当てられる。次にコマンドとして"＋１"が与えられたので、参照インデックス番号１には、参照インデックス番号０に対応するピクチャの番号１１に＋１を足すことによって、１２番のピクチャが割り当てられている。以下同様の処理によって各ピクチャ番号の割り当てが行われる。第２参照インデックスの場合も同様である。
図３９は、上記の符号化を行ったときの符号列の例を示す模式図である。図に示すように符号列のピクチャ共通情報に第１参照インデックス（ｒｅｆ１）用の参照インデックスの最大個数Ｍａｘ＿ｉｄｘ１と、第１参照インデックス（ｒｅｆ２）用の参照インデックスの最大個数Ｍａｘ＿ｉｄｘ２が記述され、スライスヘッダにはｒｅｆ１用とｒｅｆ２用の参照インデックス割り当てコマンド列ｉｄｘ＿ｃｍｄ１およびｉｄｘ＿ｃｍｄ２が記述されている。
かかる先行技術に関する文献として非特許文献１がある。
ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC Joint Final Committee Draft of Joint Video Specification(2002-8-10)(P.54 8.3.6.3 Default index orders / P.56 8.3.6.4 Changing the default index orders)
ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC Joint Final Committee Draft of Joint Video Specification(2002-8-10)(P.54 8.3.6.3 Default index orders / P.56 8.3.6.4 Changing the default index orders)
ところで、インターレース画像を符号化する方法として、フレーム符号化とフィールド符号化を１つの画像の中でマクロブロックごとに切り替えて使用することが可能とされている。これを"マクロブロック単位フレームフィールド切り替え符号化（ＭＢＡＦＦ：MacroBlocks Adaptive Frame/Field coding）"と呼ぶことにする。この方法では、図４０に示すように、縦方向に並ぶ２つのマクロブロックを１つのペアとして、このペアごとに切り替えることが可能となる。フレーム符号化の場合は両方ともフレームで符号化し、フィールド符号化の場合は奇数ラインのみからなるマクロブロックと偶数ラインのみからでなるマクロブロックとに分けて符号化を行う。
マクロブロック単位フレームフィールド切り替え符号化では、図４１（ａ）および図４１（ｂ）に示すように、マクロブロックペアの符号化方法に応じて、参照ピクチャをフレーム構造およびフィールド構造にその都度切り替えて参照に用いる。図４１（ａ）のように符号化対象のマクロブロックペアをフレームとして符号化する場合、参照ピクチャをＰ１からＰ３のようにフレームとして参照する。また、図４１（ｂ）のように符号化対象のマクロブロックペアをフィールドとして符号化する場合、参照ピクチャをＰ１ＴからＰ３Ｂのように各ピクチャをトップフィールドとボトムフィールドとに分けてフィールドとして参照する。このとき、参照ピクチャの枚数はフィールド単位で数えるとフレームの場合の２倍となる。
しかしながら、それぞれのピクチャに参照インデックスを割り当てる際に使用する、参照インデックスの最大個数（ｍａｘ＿ｉｄｘ１およびｍａｘ＿ｉｄｘ２、図３９参照）および割り当て更新のためのコマンド列（ｉｄｘ＿ｃｍｄ１およびｉｄｘ＿ｃｍｄ２、図３９参照）は、フレームとフィールドの両方に同時に対応することができないため、マクロブロック単位フレームフィールド切り替え符号化を行う場合に、参照インデックスの最大個数および割り当てのためのコマンドをうまく判別できないという問題がある。
そこで本発明は、マクロブロック単位フレームフィールド切り替え符号化の場合に参照インデックスをフレーム符号化、フィールド符号化の何れであっても適切に活用する画像符号化方法、画像復号化方法を提供することを目的とする。
そしてこの目的を達成するために、本発明の符号化方法は、ピクチャ内でブロック単位にフレーム符号化とフィールド符号化とを切り替えて符号化を行う動画像符号化方法であって、フレーム符号化時に参照するフレームを指定するフレーム符号化用参照インデックスを用いて、フィールド符号化時に参照するフィールドを指定するフィールド符号化用参照インデックスをフィールドに割り当てる。
この構成によれば、フィールド符号化用参照インデックスの割り当てに、フレーム符号化用参照インデックスを利用することができる。言い換えれば、フレーム符号化用参照インデックスを、フレーム符号化だけでなくフィールド符号化にも適切に活用することができる。
ここで、前記動画像符号化方法は、フレーム符号化用参照インデックスにより指定されるフレームを構成する２つのフィールドを特定する特定ステップと、特定された２つのフィールドのうち、符号化対象のブロックと同じパリティを持つフィールドに対しては前記フレーム符号化用参照インデックスの値を２倍した値をフィールド符号化用参照インデックスとして割り当て、符号化対象のブロックと異なるパリティを持つフィールドに対しては前記フレーム符号化用参照インデックスの値を２倍して１加算した値をフィールド符号化用参照インデックスとして割り当てる割当ステップとを有する構成としてもよい。
この構成によれば、フィールド符号化用参照インデックスは、フィールドのパリティに応じてフレーム符号化用参照インデックスの２倍と２倍＋１の値に割り当てられるので、フレーム符号化用参照インデックスを利用してフィールド符号化用参照インデックスを極めて簡単に割り当てることができる。
ここで、前記動画像符号化方法は、さらに、フィールド符号化用参照インデックスの最大個数を、フレーム符号化用参照インデックスの最大個数の２倍の値に決定する決定ステップを有し、前記割当ステップにおいて、決定された最大個数内でフレーム符号化用参照インデックスを割り当てる構成としてもよい。
この構成によれば、フィールド符号化用参照インデックスは、フレーム符号化用参照インデックスの最大個数の２倍の個数を割り当て可能なので、フレーム符号化用参照インデックスを最大限有効に活用することができる。
ここで、前記動画像符号化方法は、フレーム符号化用参照インデックスにより指定されるフレームを構成する２つのフィールドを特定する特定ステップと、特定された２つのフィールドのうち、トップフィールドに対しては前記フレーム符号化用参照インデックスの値を２倍した値をフィールド符号化用参照インデックスとして割り当て、ボトムフィールドに対しては前記フレーム符号化参照インデックスの値を２倍して１加算した値をフィールド符号化用参照インデックスとして割り当てる割当ステップとを有する構成としてもよい。
また、前記動画像符号化方法は、フレーム符号化用参照インデックスにより指定されるフレームを構成する２つのフィールドを特定する特定ステップと、特定した２つのフィールドのうち、符号化対象のブロックと同じパリティを持つフィールドに対してのみ前記フレーム符号化用参照インデックスと同じ値をフィールド符号化用参照インデックスとして割り当てる割当ステップと有する構成としてもよい。
ここで、前記動画像符号化方法は、さらに、フレーム符号化用参照インデックスの割り当て方法を示すコマンド列と、フィールド符号化用参照インデックスの割り当て方法を示すコマンド列とをそれぞれ独立に生成し、前記２組のコマンド列を符号化し符号化信号に付加する付加ステップを有する構成としてもよい。
また、前記動画像符号化方法は、さらに、フレーム符号化用参照インデックスの割り当て方法を示すコマンド列と、トップフィールド符号化用参照インデックスの割り当て方法を示すコマンド列と、ボトムフィールド符号化用参照インデックスの割り当て方法を示すコマンド列とをそれぞれ独立に生成し、前記３組のコマンド列を符号化し符号化信号に付加する付加ステップを有する構成としてもよい。
また、前記動画像符号化方法は、フィールド符号化用参照インデックスの最大個数を決定する決定ステップと、決定された最大個数の範囲内で、フレーム符号化時に参照するフレームを指定するフレーム符号化用参照インデックスを用いて、フィールド符号化時に参照するフィールドを指定するフィールド符号化用参照インデックスをフィールドに割り当てる割当ステップとを有する構成としてもよい。
ここで、前記決定ステップにおいて、フィールド符号化用参照インデックスの最大個数を、フレーム符号化用参照インデックスの最大個数の２倍に決定する構成としてもよい。
この構成によれば、フィールド符号化用参照インデックスは、フレーム符号化用参照インデックスの最大個数の２倍の範囲内の個数で、フレーム符号化用参照インデックスを最大限有効に活用することができる。
ここで、前記決定ステップにおいて、フィールド符号化用参照インデックスの最大個数を、フレーム符号化用参照インデックスの最大個数と同じ値に決定する構成としてもよい。
この構成によれば、フィールド符号化用参照インデックスは、フレーム符号化用参照インデックスの最大個数と同じ個数の範囲内で、フレーム符号化用参照インデックスを最大限有効に活用することができる。
ここで、前記動画像符号化方法は、さらに、フレーム符号化用参照インデックスの最大個数とフィールド符号化用参照インデックスの最大個数とをそれぞれ独立に決定し、前記２つの最大個数を符号化し符号化信号に付加する付加する付加ステップを有する構成としてもよい。
この構成によれば、フィールド符号化用参照インデックスの最大個数は、フレーム符号化用参照インデックスの最大個数に依存することなく独立に決定することができ、符号化信号を介して復号化装置において当該最大個数を通知することができる。
ここで、前記動画像符号化方法は、さらに、フレーム符号化用参照インデックスの最大個数とトップフィールド用の最大個数とボトムフィールド用の最大個数をそれぞれ独立に決定し、前記３つの最大個数を符号化し符号化信号に付加する付加ステップを有する構成としてもよい。
以上説明してきたように本発明における符号化方法によれば、マクロブロック単位フレームフィールド切り替え符号化を行う場合に、元々はフレーム用の参照インデックス、その最大個数及びフレーム用のコマンドをフレーム符号化だけでなく、フィールド符号化に対しても適切に活用することができる。
また、本発明の動画像復号化方法、動画像符号化装置、動画像復号化装置およびプログラムについても上記と同様の構成、作用、効果を有する。
（実施の形態１）
＜符号化装置及び復号化装置の概要＞
まず、本実施の形態における符号化装置及び復号化装置の概要について説明する。
＜符号化装置及び復号化装置の概要＞
まず、本実施の形態における符号化装置及び復号化装置の概要について説明する。
本実施の形態における符号化装置及び復号化装置は、マクロブロック単位フレームフィールド切り替え符号化を行い、その際、参照インデックスの最大個数及びコマンド列について次の（１．１）、（１．２）のように取り扱う。ここで、参照インデックス及びコマンドは図３８に、参照インデックスの最大個数は図３９に示したものと同様である。
（１．１） 参照インデックスの最大個数について、符号化装置はフィールド符号化とフレーム符号化が混在する場合に、伝送される符号中にはフレーム用の参照インデックスの最大個数を記述しておく。符号化装置は、フレーム符号化の場合には、当該最大個数を使用可能な参照インデックスの個数として扱う。一方、フィールド符号化の場合には、当該最大個数が示す２倍の値をフィールド用の参照インデックスの個数とみなす。例えば、フレーム用の参照インデックスが０から２まで割り当てられた場合は、フレーム用の参照インデックスの最大個数は３である。フレーム符号化の場合は、当然そのままそのものを意味する。フィールド符号化の場合には、フレーム符号化用参照インデックスの最大個数の２倍した６をフィールド符号化用参照インデックスの最大個数であるとみなす。復号化装置においても同様である。
（１．２） コマンド列については、符号化装置は、伝送される符号中にフレーム用のコマンドを記述しておく。符号化装置は、フレーム符号化に際して、図３８で説明したようにフレーム用の参照インデックスの割り当てを行う。なお、コマンド列を符号化しない場合は、図３７で説明したように、デフォルトの割り当て方法によって参照インデックスが対応付けられる。
さらに、フィールド符号化に際しては、割り当ての行われたフレーム用の参照インデックスを前提にして、フィールド符号化用に参照インデックスの割り当てを更新する。
すなわち、１つのフレームを構成する２つのフィールドのうち、符号化対象のマクロブロックと同じパリティのフィールドに対して当該フレーム用参照インデックスの値を２倍した値を、符号化対象のマクロブロックと異なるパリティのフィールドに対して、当該参照インデックスの値を２倍して１を加算した値（２倍＋１）を、フィールド用参照インデックスとしてそれぞれ割り当てる（図４参照）。ここで、パリティとはフィールドの偶奇性（奇数ラインからなるトップフィールドと偶数ラインからなるボトムフィールドの区別）をいう。
言い換えれば、符号化対象のマクロブロックがトップフィールドに属する場合は上記２つのフィールドのうちのトップフィールドに対して当該フレーム用参照インデックスの値を２倍した値を割り当て、上記２つのフィールドのうちのボトムフィールドに対して（２倍＋１）を割り当てる。符号化対象のマクロブロックがボトムフィールドに属する場合は上記２つのフィールドのうちのボトムフィールドに対して当該フレーム用参照インデックスの値を２倍した値を割り当て、上記２つのフィールドのうちのトップフィールドに対して（２倍＋１）を割り当てる。
一方、復号化装置は、伝送される符号中に含まれるフレーム用の参照インデックスの最大個数および割り当てコマンドを復号化し、それらを用いて符号化装置と全く同様の方法により参照ピクチャと参照インデックスの割り当てを行う。
＜符号化装置の構成＞
次に、符号化装置の構成について説明する。
次に、符号化装置の構成について説明する。
図１は、本発明の実施の形態１における動画像符号化装置の構成を示すブロック図である。同図を用いて（１）符号化の概要、（２）フレーム用の参照インデックス及びコマンド、フィールド用の参照インデックスの割り当て方法の順で説明する。
（１）符号化の概要
ここでは、符号化対象がフレーム又はフィールドの何れかを意味するピクチャであるとし、フレーム符号化とフィールド符号化とで共通する符号化の概要について説明する。
ここでは、符号化対象がフレーム又はフィールドの何れかを意味するピクチャであるとし、フレーム符号化とフィールド符号化とで共通する符号化の概要について説明する。
符号化対象となる動画像は表示を行う順にピクチャ単位でピクチャメモリ１０１に入力され、符号化を行う順にピクチャの並び替えを行う。図３６（ａ）（ｂ）は並び替えの例を示した図である。図３６（ａ）は表示される順に並べられたピクチャであり、図３６（ｂ）は符号化を行う順に並び替えたピクチャの例である。ここでのＢ３、Ｂ６は時間的に前方および後方の両方を参照しているため、これらのピクチャを符号化する前に参照の対象となるピクチャを先に符号化する必要があることから、図３６（ｂ）ではＰ４、Ｐ７が先に符号化されるように並び替えられている。さらに各々のピクチャはマクロブロックと呼ばれる例えば水平１６×垂直１６画素のブロックに分割されブロック単位で以降の処理が行われる。
ピクチャメモリ１０１から読み出された入力画像信号は差分演算部１１０に入力され、動き補償符号化部１０７の出力である予測画像信号との差分を取ることによって得られる差分画像信号を予測残差符号化部１０２に出力する。予測残差符号化部１０２では周波数変換、量子化等の画像符号化処理を行い残差符号化信号を出力する。残差符号化信号は予測残差復号化部１０４に入力され、逆量子化、逆周波数変換等の画像復号化処理を行い残差復号化信号を出力する。加算演算部１１１では前記残差復号化信号と予測画像信号との加算を行い再構成画像信号を生成し、得られた再構成画像信号の中で以降の画像間予測で参照される可能性がある信号をピクチャメモリ１０５に格納する。
一方、ピクチャメモリ１０１から読み出されたマクロブロック単位の入力画像信号は動きベクトル検出部１０６にも入力される。ここでは、ピクチャメモリ１０５に格納されている再構成画像信号を探索対象とし、最も入力画像信号に近い画像領域を検出することによってその位置を指し示す動きベクトルを決定する。動きベクトル検出はマクロブロックをさらに分割したブロック単位で行われ、得られた動きベクトルは動きベクトル記憶部１０８に格納される。このとき、現在標準化中のＨ．２６Ｌでは複数のピクチャを参照対象として使用することができるため、参照するピクチャを指定するための識別番号がブロックごとに必要となる。その識別番号を参照インデックスと呼び、参照インデックス・ピクチャ番号変換部１０９において、ピクチャメモリ中のピクチャの持つピクチャ番号との対応を取ることにより参照ピクチャを指定することを可能にしている。
動き補償符号化部１０７では、上記処理によって検出された動きベクトルおよび参照インデックスを用いて、ピクチャメモリ１０５に格納されている再構成画像信号から予測画像に最適な画像領域を取り出す。その際に、マクロブロックごとにフレーム単位で予測を行う方法とフィールド単位で予測を行う方法のどちらが効率が良いかを判定し、選択された方法を用いて符号化を行う。 上記の一連の処理によって出力された参照インデックス、動きベクトル、残差符号化信号等の符号化情報に対して符号列生成部１０３において可変長符号化を施すことにより、この符号化装置が出力する符号列が得られる。
以上の処理の流れは画像間予測符号化を行った場合の動作であったが、スイッチ１１２およびスイッチ１１３によって画像内予測符号化との切り替えがなされる。画像内符号化を行う場合は、動き補償による予測画像の生成は行わず、同一画像内の符号化済み領域から符号化対象領域の予測画像を生成し差分を取ることによって差分画像信号を生成する。差分画像信号は画像間予測符号化の場合と同様に、予測残差符号化部１０２において残差符号化信号に変換され、符号列生成部１０３において可変長符号化を施されることにより出力される符号列が得られる。
（２）参照インデックス割り当て方法
＜参照インデックスの割り当て例＞
まず、フレーム用の参照インデックスとフィールド用の参照インデックスの割り当て例を図２〜図４に示す。
＜参照インデックスの割り当て例＞
まず、フレーム用の参照インデックスとフィールド用の参照インデックスの割り当て例を図２〜図４に示す。
図２は、符号化対象のピクチャのブロックがフレーム符号化を行う場合のデフォルトの参照インデックスの割り当ての例であり、ピクチャ番号の値の大きい方から順にインデックスが割り当てられている。割り当てコマンドを符号化しない場合は常にこのような割り当てが行われる。また図３は、図２のデフォルトの参照インデックスに対して、割り当てコマンドによる参照インデックスの更新を行った場合の例である。まずコマンドとして"−２"が与えられたので、０番の参照インデックスに対しては、符号化対象ピクチャの番号１３に−２を足すことによって１１というピクチャ番号のピクチャが割り当てられる。次にコマンドとして"＋１"が与えられ、参照インデックス番号１番にピクチャ番号１２のピクチャが割り当てられている。以下同様の処理によって各ピクチャ番号の割り当てが行われる。第２参照インデックスの場合も同様である。以下では、デフォルトの割り当てを行った図２を元に説明するが、コマンドによって割り当てが変更されている場合も全く同様に扱うことが可能である。なお、上記のコマンドは一例であり、これ以外の割り当て方法を持つコマンドによってインデックスを更新した場合も全く同様に扱うことが可能である。
図４は、上記の（１．１）（１．２）に従って、図２に示したフレーム用の第１、第２参照インデックスに対してトップフィールド用、ボトムフィールド用それぞれの第１、第２参照インデックスを対応付けた結果を示す説明図である。図４では、符号化対象のマクロブロックと同じパリティのフィールドには、フレーム用の参照インデックスの２倍、異なるパリティのフィールドには、フレーム用の参照インデックスの値の２倍＋１の値が割り当てられていることがわかる。
本実施の形態では、フィールド符号化とフレーム符号化とが１つのピクチャの中に混在する場合、フィールド符号化を行うときは参照インデックスの最大個数をフレーム符号化を行うときの２倍の値として扱うため、図２ではインデックスの個数が３つであったが、図４ではインデックスの個数が６つとなっている。
＜参照インデックスの割り当て処理＞
図５は、符号化装置の参照インデックス・ピクチャ番号変換部における参照インデックス割り当て処理を示すフローチャート図である。
図５は、符号化装置の参照インデックス・ピクチャ番号変換部における参照インデックス割り当て処理を示すフローチャート図である。
参照インデックス・ピクチャ番号変換部１０９は、マクロブロック単位フレームフィールド切り替え符号化を行う場合には、スライス毎に参照インデックス割り当て処理を行う。ここで、スライスとは、１つのピクチャを１つもしくは複数の領域に分けたときの各領域のことを示す。参照インデックス・ピクチャ番号変換部１０９は、参照インデックスの変更がない場合（デフォルトの場合）は全ての同図の処理を省略する。
同図に示すように参照インデックス・ピクチャ番号変換部１０９は、まず、フレーム用参照インデックス及びコマンドをフレームに対して割り当てる処理を行う（S１１）。この処理は、既に説明した図３７と同様であるので省略する。次に参照インデックス・ピクチャ番号変換部１０９は、当該スライスにフレーム符号化とフィールド符号化が混在するか否かを判定し（S１２）、混在する場合には、フィールド用参照インデックス割り当て処理を行う（Ｓ１３）。
図６は、フレーム用の参照インデックスにフィールド用参照インデックスを対応付けて、フィールドに割り当てる処理を示すフローチャート図である。同図では、変数ｊはＢピクチャの場合はｊ＝１、２であり、Ｐピクチャの場合はｊ＝１であり、ｍａｘ＿ｉｄｘｊはフレーム用の第ｊ参照インデックスの最大個数を、ｉｄｘｊ（ｉ）はフレーム用のｉ番目の第ｊ参照インデックスの値を表す。ループ２はＢピクチャの場合とＰピクチャの場合とで共通に適用できるようにしてある。ループ１はフレーム用の参照インデックスの最大個数（ｍａｘ＿ｉｄｘｊ）回のループであり、１回あたり２個のフィールド用参照インデックスを割り当てている。
以下、ループ１のループ１回分、つまり１個のフレーム用の参照インデックスについて２つのフィールド用参照インデックスを割り当てる処理について説明する。参照インデックス・ピクチャ番号変換部１０９は、図５のＳ１１で割り当てられたフレーム用のｉ番目の第ｊ参照インデックスの値ｉｄｘｊ（ｉ）を読み出し（Ｓ２３）、符号化対象のマクロブロックがトップフィールドに属するか否かを判定する（Ｓ２６）。
トップフィールドに属すると判定された場合は、フレーム用の当該参照インデックスｉｄｘｊ（ｉ）を２倍した値（Ｓ２７）を、Ｓ２５で特定された２つのフィールドのうちトップフィールドに割り当て（Ｓ２８）、ｉｄｘｊ（ｉ）を２倍して１加算した値（Ｓ２９）を、Ｓ２５で特定された２つのフィールドのうちボトムフィールドに割り当てる（Ｓ３０）。
また、ボトムフィールドと判定された場合は、フレーム用の当該参照インデックスｉｄｘｊ（ｉ）を２倍した値（Ｓ３１）を、Ｓ２５で特定された２つのフィールドのうちボトムフィールドに割り当て（Ｓ３２）、ｉｄｘｊ（ｉ）を２倍して１加算した値（Ｓ３３）を、Ｓ２５で特定された２つのフィールドのうちトップフィールドに割り当てる（Ｓ３４）。
このようにフレーム用の参照インデックスに対して２倍した値と（２倍＋１）とがフィールド用の参照インデックスに割り当てられる。これにより、図４に示したように、フィールド用の参照インデックスの最大個数は、フレーム用の参照インデックスの最大個数（ｍａｘ＿ｉｄｘｊ）の２倍が割り当てられることになる。
マクロブロックの符号化に際して、フィールド符号化されたマクロブロックにおける参照フィールドとして使用されたフィールド用の参照インデックスはｒｅｆ１、ｒｅｆ２（図３９参照）として符号中に設定される。一方、フレーム符号化されたマクロブロックにおける参照フレームとして使用されたフレーム用の参照インデックスはｒｅｆ１、ｒｅｆ２（図３９参照）として符号中に設定される。
図２の例では、フレーム用参照インデックスは３個であり、図４の例では、フィールド用の参照インデックスは６個になる。
なお、図６では、フィールド符号化される符号化対象の個々のピクチャにフィールド用の参照インデックスを割り当てる処理を示したが、事前にテーブルを作成するようにしてもよい。すなわち、フレーム用の参照インデックスとフレームのピクチャ番号との対応テーブルをコマンドに従って作成し、さらに、図６と同様にしてトップフィールド用とボトムフィールド用に参照インデックスを割り当てて、トップフィールド用の参照インデックスとフィールドのピクチャ番号との対応テーブルと、ボトム用の参照インデックスとフィールドのピクチャ番号との対応テーブルとを作成する構成とすればよい。また、このテーブル作成は、ピクチャを符号化および復号化する際に始めに１度だけ行なっておけば、その後は、参照インデックスについて、このテーブルを参照すれば、参照ピクチャを決定するができる。
＜復号化装置の構成＞
図７は、本発明の実施の形態１における復号化装置の構成を示すブロック図である。同図を用いて、（１）復号化の概要、（２）参照インデックス変換処理の順で説明する。ここで、本復号化装置には、図１の符号化装置からの符号が伝送されてくるものとする。
図７は、本発明の実施の形態１における復号化装置の構成を示すブロック図である。同図を用いて、（１）復号化の概要、（２）参照インデックス変換処理の順で説明する。ここで、本復号化装置には、図１の符号化装置からの符号が伝送されてくるものとする。
（１）復号の概要
まず入力された符号列から符号列解析部２０１によって、ピクチャ共通情報領域から参照インデックスの最大個数が、スライスヘッダ領域から参照インデックス割り当て用コマンド列が、さらにブロック符号化情報領域から参照インデックスおよび動きベクトル情報および予測残差符号化信号等の各種の情報が抽出される。
まず入力された符号列から符号列解析部２０１によって、ピクチャ共通情報領域から参照インデックスの最大個数が、スライスヘッダ領域から参照インデックス割り当て用コマンド列が、さらにブロック符号化情報領域から参照インデックスおよび動きベクトル情報および予測残差符号化信号等の各種の情報が抽出される。
符号列解析部２０１で抽出された参照インデックスの最大個数および参照インデックス割り当て用コマンド列は参照インデックス・ピクチャ番号変換部２０６に、参照インデックスは動き補償復号化部２０４に、動きベクトル情報は動きベクトル記憶部２０５に、予測残差符号化信号は予測残差復号化部２０２にそれぞれ出力される。
予測残差復号化部２０２では入力された残差符号化信号に対して、逆量子化、逆周波数変換等の画像復号化処理を施し残差復号化信号を出力する。加算演算部２０７では前記残差復号化信号と動き補償復号化部２０４から出力される予測画像信号との加算を行い再構成画像信号を生成し、得られた再構成画像信号は以降の画面間予測での参照に使用するため、および表示用に出力するためにピクチャメモリ２０３に格納される。
動き補償復号化部２０４では、動きベクトル記憶部２０５から入力される動きベクトルおよび符号列解析部２０１から入力される参照インデックスを用いて、ピクチャメモリ２０３に格納されている再構成画像信号から予測画像に最適な画像領域を取り出す。このとき、参照インデックス・ピクチャ番号変換部２０６において、与えられた参照インデックスとピクチャ番号との対応を取ることによりピクチャメモリ２０３中の参照ピクチャを指定する。その際、フィールド符号化が混在する場合には、フレーム用の参照インデックスをフィールド用の参照インデックスに変換してから参照フィールドを指定する。
さらに、得られた画像領域の画素値に対して動き補償復号化部２０４において線形予測による補間処理等の画素値変換処理を施すことによって最終的な予測画像を作成する。上記の一連の処理によって生成された復号化画像はピクチャメモリ２０３に格納され、表示されるタイミングに従って表示用画像信号として出力される。
以上の処理の流れは画面間予測復号化を行った場合の動作であったが、スイッチ２０８によって画面内予測復号化との切り替えがなされる。画面内復号化を行う場合は、動き補償による予測画像の生成は行わず、同一画面内の復号化済み領域から復号化対象領域の予測画像を生成し加算を行うことによって復号化画像を生成する。復号化画像は画面間予測復号化の場合と同様に、ピクチャメモリ２０３に格納され、表示されるタイミングに従って表示用画像信号として出力される。
（２）参照インデックス変換処理
参照インデックス・ピクチャ番号変換部２０６では、入力された参照インデックスの最大個数および参照インデックス割り当てコマンドを使用して、ピクチャ番号と参照インデックスの割り当てを行う。割り当て方法は符号化装置の場合と全く同様である。本実施の形態では、フレーム符号化用参照インデックスの最大個数の２倍の値をフィールド符号化用参照インデックスの最大個数としている。そのため、フレーム符号化において図２のような割り当てが行われた場合は、フィールド符号化では図４のようになる。
参照インデックス・ピクチャ番号変換部２０６では、入力された参照インデックスの最大個数および参照インデックス割り当てコマンドを使用して、ピクチャ番号と参照インデックスの割り当てを行う。割り当て方法は符号化装置の場合と全く同様である。本実施の形態では、フレーム符号化用参照インデックスの最大個数の２倍の値をフィールド符号化用参照インデックスの最大個数としている。そのため、フレーム符号化において図２のような割り当てが行われた場合は、フィールド符号化では図４のようになる。
以上説明してきたように本実施の形態における符号化装置及び復号化装置によれば、マクロブロック単位フレームフィールド切り替え符号化を行う場合に、参照インデックスの最大個数および割り当てコマンドをフレーム符号化用のもののみを符号化だけで、フレーム符号化のみならずフィールド符号化においても適切に適用することができる。また、フィールド用の参照インデックスの最大個数は、フレーム用の２倍にしているので、符号化および復号化に際してメモリ中に保持されているフィールドの全てを有効に活用することができる。
（実施の形態２）
＜符号化装置及び復号化装置の概要＞
まず、本実施の形態における符号化装置及び復号化装置の概要について説明する。
＜符号化装置及び復号化装置の概要＞
まず、本実施の形態における符号化装置及び復号化装置の概要について説明する。
本実施の形態における符号化装置及び復号化装置は、マクロブロック単位フレームフィールド切り替え符号化を行い、その際、参照インデックスの最大個数及びコマンド列について次の（２．１）、（２．２）のように取り扱う。
（２．１） 参照インデックスの最大個数については、実施の形態１冒頭で説明した（１．１）と同じなので説明を省略する。
（２．２） コマンド列については、符号化装置は、伝送される符号中にフレーム用のコマンドを記述しておく。符号化装置は、フレーム符号化に際して、図３７、図３８で説明したようにフレーム用の参照インデックスの割り当てを行う。なお、コマンド列を符号化しない場合は、図３７で説明したように、デフォルトの割り当て方法によって参照インデックスが対応付けられる。
さらに、フィールド符号化に際しては、割り当ての行われたフレーム用の参照インデックスを前提にして、フィールド符号化用に参照インデックスの割り当てを更新する。
本実施の形態では、実施の形態１とは異なり、符号化対象マクロブロックがトップであってもボトムであっても、１つのフレームを構成する２つのフィールドのうち、トップフィールドに対して当該フレーム用参照インデックスの値を２倍した値を、ボトムフィールドに対して、当該参照インデックスの値を２倍して１加算した値（２倍＋１）を、フィールド用参照インデックスとしてそれぞれ割り当てる（図９参照）。
＜符号化装置の構成＞
図８は、本発明の実施の形態２における符号化装置の構成を示すブロック図である。同図の符号化装置は、図１と比較して、参照インデックス・ピクチャ番号変換部１０９の代わりに参照インデックス・ピクチャ番号変換部１０９ａを備える点が異なっている。図１と同じ点は説明を省略して、主に異なる点について説明する。参照インデックス・ピクチャ番号変換部１０９ａは、（１．２）のマッピング（参照インデックスの割り当て）ではなく（２．２）のマッピングを行う点のみ図１と異なっている。
図８は、本発明の実施の形態２における符号化装置の構成を示すブロック図である。同図の符号化装置は、図１と比較して、参照インデックス・ピクチャ番号変換部１０９の代わりに参照インデックス・ピクチャ番号変換部１０９ａを備える点が異なっている。図１と同じ点は説明を省略して、主に異なる点について説明する。参照インデックス・ピクチャ番号変換部１０９ａは、（１．２）のマッピング（参照インデックスの割り当て）ではなく（２．２）のマッピングを行う点のみ図１と異なっている。
＜参照インデックスの割り当て例＞
図９は、上記の（２．１）（２．２）に従って、図２に示したフレーム用の第１、第２参照インデックスに対してフィールド用の第１、第２参照インデックスを対応付けた結果を示す図である。図９のように、本実施の形態における参照インデックス・ピクチャ番号変換部１０９ａによるマッピングは、トップフィールド用とボトムフィールド用とに別個に参照インデックスを割り当てるのではなく、トップとボトムとに共通の参照インデックスを割り当てるようになっている。
図９は、上記の（２．１）（２．２）に従って、図２に示したフレーム用の第１、第２参照インデックスに対してフィールド用の第１、第２参照インデックスを対応付けた結果を示す図である。図９のように、本実施の形態における参照インデックス・ピクチャ番号変換部１０９ａによるマッピングは、トップフィールド用とボトムフィールド用とに別個に参照インデックスを割り当てるのではなく、トップとボトムとに共通の参照インデックスを割り当てるようになっている。
本実施の形態では、フィールド符号化とフレーム符号化とが１つのピクチャの中に混在する場合、フィールド符号化を行うときは参照インデックスの最大個数をフレーム符号化を行うときの２倍の値として扱うため、図２ではインデックスの個数が３つであったが、図９ではインデックスの個数が６つとなっている。
＜参照インデックス割り当て処理＞
図１０は、符号化装置の参照インデックス・ピクチャ番号変換部における参照インデックス割り当て処理を示すフローチャート図である。
図１０は、符号化装置の参照インデックス・ピクチャ番号変換部における参照インデックス割り当て処理を示すフローチャート図である。
同図は、図６のフローチャートと同じ処理には同じステップ番号を付与してあり、また、図６のフローチャートと比べて、図６のＳ２６、Ｓ３１〜Ｓ３４が削除された点と、Ｓ２３の次にＳ２７を実行する点とが異なる。この相違により、フレーム用の参照インデックス数の２倍のフィールド用の参照インデックスを割り当てるとともに、図９に示したように、トップフィールド用とボトムフィールド用とに共通のフィールド用の参照インデックスを割り当てている。
＜復号化装置の構成＞
図１１は、本発明の実施の形態２における復号化装置の構成を示すブロック図である。同図の復号化装置は、図７と比較して、参照インデックス・ピクチャ番号変換部２０６の代わりに参照インデックス・ピクチャ番号変換部２０６ａを備える点が異なっている。参照インデックス・ピクチャ番号変換部２０６ａは、（１．２）のマッピングではなく（２．２）のマッピングに対応する参照インデックス変換処理を行う点のみ図７と異なっている。
図１１は、本発明の実施の形態２における復号化装置の構成を示すブロック図である。同図の復号化装置は、図７と比較して、参照インデックス・ピクチャ番号変換部２０６の代わりに参照インデックス・ピクチャ番号変換部２０６ａを備える点が異なっている。参照インデックス・ピクチャ番号変換部２０６ａは、（１．２）のマッピングではなく（２．２）のマッピングに対応する参照インデックス変換処理を行う点のみ図７と異なっている。
＜参照インデックス変換処理＞
参照インデックス・ピクチャ番号変換部２０６ａでは、入力された参照インデックスの最大個数および参照インデックス割り当てコマンドを使用して、ピクチャ番号と参照インデックスの割り当てを行う。割り当て方法は符号化装置の場合と全く同様である。本実施の形態では、フレーム符号化用参照インデックスの最大個数の２倍の値をフィールド符号化用参照インデックスの最大個数としている。そのため、フレーム符号化において図２のような割り当てが行われた場合は、フィールド符号化では図９のようになる。
参照インデックス・ピクチャ番号変換部２０６ａでは、入力された参照インデックスの最大個数および参照インデックス割り当てコマンドを使用して、ピクチャ番号と参照インデックスの割り当てを行う。割り当て方法は符号化装置の場合と全く同様である。本実施の形態では、フレーム符号化用参照インデックスの最大個数の２倍の値をフィールド符号化用参照インデックスの最大個数としている。そのため、フレーム符号化において図２のような割り当てが行われた場合は、フィールド符号化では図９のようになる。
（実施の形態３）
＜符号化装置及び復号化装置の概要＞
まず、本実施の形態における符号化装置及び復号化装置の概要について説明する。
＜符号化装置及び復号化装置の概要＞
まず、本実施の形態における符号化装置及び復号化装置の概要について説明する。
本実施の形態における符号化装置及び復号化装置は、マクロブロック単位フレームフィールド切り替え符号化を行い、その際、参照インデックスの最大個数及びコマンド列について次の（３．１）、（３．２）のように取り扱う。
（３．１） 参照インデックスの最大個数について、符号化装置はフィールド符号化とフレーム符号化が混在する場合に、伝送される符号中にはフレーム用の参照インデックスの最大個数を記述しておく。符号化装置は、フレーム符号化の場合は当該最大個数を使用可能な参照インデックスの個数として扱い、フィールド符号化の場合でも、フレーム用と同数をフィールド符号化用参照インデックスの個数として扱う。例えば、フレーム用の参照インデックスの最大個数が３であれば、フィールド用の参照インデックスの最大個数も３と扱う。
（３．２） コマンド列については、実施の形態１冒頭で説明した（１．２）と同じなので説明を省略する。ただし、（３．１）によって与えられた参照インデックスの最大個数が、フレーム符号化用とフィールド符号化用とで同じ値を用いるため、フィールド符号化の場合でも図２と同じ個数しか割り当てることができない（図１３参照）。
＜符号化装置の構成＞
図１２は、本発明の実施の形態３における符号化装置の構成を示すブロック図である。同図の符号化装置は、図１と比較して、参照インデックス・ピクチャ番号変換部１０９の代わりに参照インデックス・ピクチャ番号変換部１０９ｂを備える点が異なっている。参照インデックス・ピクチャ番号変換部１０９ｂは、（１．１）ではなく（３．１）のに従って参照インデックスの個数を扱う点のみ図１と異なっている。
図１２は、本発明の実施の形態３における符号化装置の構成を示すブロック図である。同図の符号化装置は、図１と比較して、参照インデックス・ピクチャ番号変換部１０９の代わりに参照インデックス・ピクチャ番号変換部１０９ｂを備える点が異なっている。参照インデックス・ピクチャ番号変換部１０９ｂは、（１．１）ではなく（３．１）のに従って参照インデックスの個数を扱う点のみ図１と異なっている。
＜参照インデックスの割り当て例＞
図１３は、上記の（３．１）（３．２）に従って、図２に示したフレーム用の第１、第２参照インデックスに対してフィールド用の第１、第２参照インデックスを対応付けた結果を示す図である。図１３のように、本実施の形態における参照インデックス・ピクチャ番号変換部１０９ｂによるマッピングは、実施の形態１と同様に、トップフィールド用とボトムフィールド用とに別個に参照インデックスを割り当てるが、フィールド用の参照インデックスの最大数がフレーム用の参照インデックスの最大数と同数である点が異なっている。
図１３は、上記の（３．１）（３．２）に従って、図２に示したフレーム用の第１、第２参照インデックスに対してフィールド用の第１、第２参照インデックスを対応付けた結果を示す図である。図１３のように、本実施の形態における参照インデックス・ピクチャ番号変換部１０９ｂによるマッピングは、実施の形態１と同様に、トップフィールド用とボトムフィールド用とに別個に参照インデックスを割り当てるが、フィールド用の参照インデックスの最大数がフレーム用の参照インデックスの最大数と同数である点が異なっている。
＜復号化装置の構成＞
図１４は、本発明の実施の形態３における復号化装置の構成を示すブロック図である。同図の復号化装置は、図７と比較して、参照インデックス・ピクチャ番号変換部２０６の代わりに参照インデックス・ピクチャ番号変換部２０６ｂを備える点が異なっている。参照インデックス・ピクチャ番号変換部２０６ｂは、（１．１）の最大数ではなく（３．２）の最大数に対応する参照インデックス変換処理を行う点のみ図７と異なっている。
図１４は、本発明の実施の形態３における復号化装置の構成を示すブロック図である。同図の復号化装置は、図７と比較して、参照インデックス・ピクチャ番号変換部２０６の代わりに参照インデックス・ピクチャ番号変換部２０６ｂを備える点が異なっている。参照インデックス・ピクチャ番号変換部２０６ｂは、（１．１）の最大数ではなく（３．２）の最大数に対応する参照インデックス変換処理を行う点のみ図７と異なっている。
（実施の形態４）
<符号化装置及び復号化装置の概要>
まず、本実施の形態における符号化装置及び復号化装置の概要について説明する。
<符号化装置及び復号化装置の概要>
まず、本実施の形態における符号化装置及び復号化装置の概要について説明する。
本実施の形態における符号化装置及び復号化装置は、マクロブロック単位フレームフィールド切り替え符号化を行い、その際、参照インデックスの最大個数及びコマンド列について次の（４．１）、（４．２）のように取り扱う。
（４．１） 参照インデックスの最大個数については、実施の形態３冒頭で説明した（３．１）と同じなので説明を省略する。
（４．２） 実施の形態２冒頭で説明した（２．２）と同じなので説明を省略する。ただし、（４．１）によって与えられた参照インデックスの最大個数が、フレーム符号化用とフィールド符号化用とで同じ値を用いるため、フィールド符号化の場合でも図２と同じ個数しか割り当てることができない（図１６参照）。
＜符号化装置の構成＞
図１５は、本発明の実施の形態４における符号化装置の構成を示すブロック図である。同図の符号化装置は、図８と比較して、参照インデックス・ピクチャ番号変換部１０９ａの代わりに参照インデックス・ピクチャ番号変換部１０９ｃを備える点が異なっている。参照インデックス・ピクチャ番号変換部１０９ｃは、（２．１）ではなく（４．１）に従って参照インデックスの最大個数を扱う点のみ図８と異なっている。
図１５は、本発明の実施の形態４における符号化装置の構成を示すブロック図である。同図の符号化装置は、図８と比較して、参照インデックス・ピクチャ番号変換部１０９ａの代わりに参照インデックス・ピクチャ番号変換部１０９ｃを備える点が異なっている。参照インデックス・ピクチャ番号変換部１０９ｃは、（２．１）ではなく（４．１）に従って参照インデックスの最大個数を扱う点のみ図８と異なっている。
＜参照インデックスの割り当て例＞
図１６は、上記の（４．１）（４．２）に従って、図２に示したフレーム用の第１、第２参照インデックスに対してフィールド用の第１、第２参照インデックスを対応付けた結果を示す図である。図１６のように、本実施の形態における参照インデックス・ピクチャ番号変換部１０９ｂによるマッピングは、実施の形態２と同様に、符号化対象マクロブロックのトップとボトムとで共通の参照インデックスを割り当てるが、フィールド用の参照インデックスの最大数がフレーム用の参照インデックスの最大数と同数である点が異なっている。
図１６は、上記の（４．１）（４．２）に従って、図２に示したフレーム用の第１、第２参照インデックスに対してフィールド用の第１、第２参照インデックスを対応付けた結果を示す図である。図１６のように、本実施の形態における参照インデックス・ピクチャ番号変換部１０９ｂによるマッピングは、実施の形態２と同様に、符号化対象マクロブロックのトップとボトムとで共通の参照インデックスを割り当てるが、フィールド用の参照インデックスの最大数がフレーム用の参照インデックスの最大数と同数である点が異なっている。
＜復号化装置の構成＞
本実施形態における復号化装置は、実施の形態２における復号化装置と同じでよい。ただし、フィールド用の参照インデックスの最大個数がフレーム用の最大数の２倍ではなく、同数であると扱う点のみ異なる。
本実施形態における復号化装置は、実施の形態２における復号化装置と同じでよい。ただし、フィールド用の参照インデックスの最大個数がフレーム用の最大数の２倍ではなく、同数であると扱う点のみ異なる。
（実施の形態５）
＜符号化装置及び復号化装置の概要＞
まず、本実施の形態における符号化装置及び復号化装置の概要について説明する。
＜符号化装置及び復号化装置の概要＞
まず、本実施の形態における符号化装置及び復号化装置の概要について説明する。
本実施の形態における符号化装置及び復号化装置は、マクロブロック単位フレームフィールド切り替え符号化を行い、その際、参照インデックスの最大個数及びコマンド列について次の（５．１）、（５．２）のように取り扱う。
（５．１） 参照インデックスの最大個数については、実施の形態３冒頭で説明した（３．１）と同じなので説明を省略する。
（５．２） コマンド列については、符号化装置は、伝送される符号中にフレーム用のコマンドを記述しておく。符号化装置は、フレーム符号化に際して、図３７、図３８で説明したようにフレーム用の参照インデックスの割り当てを行う。なお、コマンド列を符号化しない場合は、図３７で説明したように、デフォルトの割り当て方法によって参照インデックスが対応付けられる。
さらに、フィールド符号化に際しては、割り当ての行われたフレーム用の参照インデックスを前提にして、フィールド符号化用に参照インデックスの割り当てを更新する。
本実施の形態では、実施の形態１とは異なり、１つのフレームを構成する２つのフィールドのうち、符号化対象のマクロブロックと同じパリティのフィールドに対してのみ当該フレーム用参照インデックスの値をフィールド用参照インデックスとしてそのまま割り当て、異なるパリティのフィールドには割り当てない（図１８参照）。
言い換えれば、符号化対象のマクロブロックがトップフィールドに属する場合は上記２つのフィールドのうちのトップフィールドに対して当該フレーム用参照インデックスの値を、フィールド用の参照インデックスとしてを割り当てる。符号化対象のマクロブロックがボトムフィールドに属する場合は上記２つのフィールドのうちのボトムフィールドに対して当該フレーム用参照インデックスの値を、フィールド用の参照インデックスとしてを割り当てる。
一方、復号化装置は、伝送される符号中に含まれるフレーム用の参照インデックスの最大個数および割り当てコマンドを復号化し、それらを用いて符号化装置と全く同様の方法により参照ピクチャと参照インデックスの割り当てを行う。
＜符号化装置の構成＞
図１７は、本発明の実施の形態５における符号化装置の構成を示すブロック図である。上記（５．１）（５．２）に対応するために図１における参照インデックス・ピクチャ番号変換部１０９を参照インデックス・ピクチャ番号変換部１０９ｄとした点が異なっている。
図１７は、本発明の実施の形態５における符号化装置の構成を示すブロック図である。上記（５．１）（５．２）に対応するために図１における参照インデックス・ピクチャ番号変換部１０９を参照インデックス・ピクチャ番号変換部１０９ｄとした点が異なっている。
＜参照インデックスの割り当て例＞
図１８は、上記の（５．１）（５．２）に従って、図２に示したフレーム用の第１、第２参照インデックスに対してフィールド用の第１、第２参照インデックスを対応付けた結果を示す図である。図１８のように、符号化対象のマクロブロックと同じパリティのフィールドに対して当該フレーム用参照インデックスの値をフィールド用参照インデックスとして割り当て、異なるパリティのフィールドには割り当てないようにしている。
図１８は、上記の（５．１）（５．２）に従って、図２に示したフレーム用の第１、第２参照インデックスに対してフィールド用の第１、第２参照インデックスを対応付けた結果を示す図である。図１８のように、符号化対象のマクロブロックと同じパリティのフィールドに対して当該フレーム用参照インデックスの値をフィールド用参照インデックスとして割り当て、異なるパリティのフィールドには割り当てないようにしている。
＜参照インデックス割り当て処理＞
図１９は、符号化装置の参照インデックス・ピクチャ番号変換部における参照インデックス割り当て処理を示すフローチャート図である。同図は図６と比べて、図６のＳ２７〜Ｓ３０の代わりにＳ８１を設けている点と、Ｓ３１〜Ｓ３４の代わりにＳ８２を設けている点とがことなる。
図１９は、符号化装置の参照インデックス・ピクチャ番号変換部における参照インデックス割り当て処理を示すフローチャート図である。同図は図６と比べて、図６のＳ２７〜Ｓ３０の代わりにＳ８１を設けている点と、Ｓ３１〜Ｓ３４の代わりにＳ８２を設けている点とがことなる。
＜復号化装置の構成＞
図２０は、本発明の実施の形態５における復号化装置の構成を示すブロック図である。同図は図７と比べて参照インデックス・ピクチャ番号変換部２０６の代わりに参照インデックス・ピクチャ番号変換部２０６ｄを備える点が異なっている。
図２０は、本発明の実施の形態５における復号化装置の構成を示すブロック図である。同図は図７と比べて参照インデックス・ピクチャ番号変換部２０６の代わりに参照インデックス・ピクチャ番号変換部２０６ｄを備える点が異なっている。
参照インデックス・ピクチャ番号変換部２０６ｄは、フィールド用のインデックスを（５．２）のマッピング同様の操作によって、復号対象がトップであればトップのフィールドのみを、復号対象がボトムあればボトムのフィールドのみをマッピングする。
（実施の形態６）
＜符号化装置及び復号化装置の概要＞
まず、本実施の形態における符号化装置及び復号化装置の概要について説明する。
＜符号化装置及び復号化装置の概要＞
まず、本実施の形態における符号化装置及び復号化装置の概要について説明する。
本実施の形態における符号化装置及び復号化装置は、マクロブロック単位フレームフィールド切り替え符号化を行い、その際、参照インデックスの最大個数及びコマンド列について次の（６．１）、（６．２）のように取り扱う。ここで、参照インデックス及びコマンドは図３７で、参照インデックスの最大個数は図３９に示したものと同様である。
（６．１） 参照インデックスの最大個数について、符号化装置はフィールド符号化とフレーム符号化が混在する場合に、伝送される符号中にはフレーム用の参照インデックスの最大個数を記述しておくだけでなく、トップフィールド用の参照インデックスの最大個数とボトムフィールド用の参照インデックスの最大個数をも記述しておく。
復号化装置は、符号中に記述されたトップフィールド用の参照インデックスの最大個数とボトムフィールド用の参照インデックスの最大個数に従う。
（６．２） コマンド列については、（１．２）と同様であるので説明を省略する。ただし、トップフィールド用の参照インデックスは、符号中に記述された最大個数を超えないように取り扱う。ボトムフィールド用の参照インデックスについても同様である。
一方、復号化装置は、伝送される符号中に含まれるフレーム用およびトップフィールド用およびボトムフィールド用の参照インデックスの最大個数および割り当てコマンドを復号化し、それらを用いて符号化装置と全く同様の方法により参照ピクチャと参照インデックスの割り当てを行う。
＜符号化装置及び復号化装置の構成＞
本実施形態における符号化装置及び復号化装置は、実施の形態１における符号化装置及び復号化装置と同じでよい。ただし、トップフィールド用の参照インデックスの最大個数とボトムフィールド用の参照インデックスの最大個数は、フレーム用の参照インデックスの２倍ではなく、符号中に記述されているのでそれに従う。
本実施形態における符号化装置及び復号化装置は、実施の形態１における符号化装置及び復号化装置と同じでよい。ただし、トップフィールド用の参照インデックスの最大個数とボトムフィールド用の参照インデックスの最大個数は、フレーム用の参照インデックスの２倍ではなく、符号中に記述されているのでそれに従う。
＜データ構成＞
図２１は、本発明の実施の形態６における符号列のデータ構成を示す図である。同図において、ピクチャ共通情報に含まれるＭａｘ＿ｉｄｘ１には、第１参照ピクチャｒｅｆ１が対応しており、フレーム用の参照インデックスの最大個数（Ｍａｘ＿ｉｄｘ＿ｆｒｍ）、トップフィールド用の参照インデックスの最大個数（Ｍａｘ＿ｉｄｘ＿ｔｏｐ）、ボトムフィールド用の参照インデックスの最大個数（Ｍａｘ＿ｉｄｘ＿ｂｔｍ）が記述される。
図２１は、本発明の実施の形態６における符号列のデータ構成を示す図である。同図において、ピクチャ共通情報に含まれるＭａｘ＿ｉｄｘ１には、第１参照ピクチャｒｅｆ１が対応しており、フレーム用の参照インデックスの最大個数（Ｍａｘ＿ｉｄｘ＿ｆｒｍ）、トップフィールド用の参照インデックスの最大個数（Ｍａｘ＿ｉｄｘ＿ｔｏｐ）、ボトムフィールド用の参照インデックスの最大個数（Ｍａｘ＿ｉｄｘ＿ｂｔｍ）が記述される。
図２２は、フィールド符号化する場合のフィールドのピクチャ番号に第１、第２参照インデックスを割り当てた例を示す図である。同図の場合、Ｍａｘ＿ｉｄｘ＿ｔｏｐは５であるのに対し、Ｍａｘ＿ｉｄｘ＿ｂｔｍは６と記述される。このように、本実施形態の符号化装置、復号化装置では、トップとボトムとで最大参照フィールド数を柔軟に設定することができる。
なお、トップフィールド用の参照インデックスの最大個数とボトムフィールド用の参照インデックスの最大個数とを個別に符号中に記述している（（６．１）参照）が、この代わりにトップとボトムに最大個数を共通にして１つ記述する構成としてもよい。
また、（６．２）では、（１．２）と同じくフレーム用参照インデックスとコマンドとにより指定された参照フレームを構成する２つのフィールドのうち、符号化対象のマクロブロックと同じパリティのフィールドに対して当該フレーム用参照インデックスの値を２倍した値を、符号化対象のマクロブロックと異なるパリティのフィールドに対して、当該参照インデックスの値を２倍して１加算した値（２倍＋１）を、フィールド用参照インデックスとしてそれぞれ割り当てている（図４参照）。この代わりに、（２．２）と同じくフレーム用参照インデックスとコマンドとにより指定された参照フレームを構成する２つのフィールドのうち、トップフィールドに対して当該フレーム用参照インデックスの値を２倍した値を、ボトムフィールドに対して、当該参照インデックスの値を２倍して１加算した値（２倍＋１）を、フィールド用参照インデックスとしてそれぞれ割り当てる（図９参照）構成としてもよい。
（実施の形態７）
＜符号化装置及び復号化装置の概要＞
まず、本実施の形態における符号化装置及び復号化装置の概要について説明する。
＜符号化装置及び復号化装置の概要＞
まず、本実施の形態における符号化装置及び復号化装置の概要について説明する。
本実施の形態における符号化装置及び復号化装置は、マクロブロック単位フレームフィールド切り替え符号化を行い、その際、参照インデックスの最大個数及びコマンド列について次の（７．１）、（７．２）のように取り扱う。ここで、参照インデックス及びコマンドは図３７で、参照インデックスの最大個数は図３９に示したものと同様である。
（７．１） 参照インデックスの最大個数については、（６．１）と全く同様であるので説明を省略する。
（７．２） コマンド列については、符号化装置は、伝送される符号中にフレーム用の参照インデックス及びコマンドだけでなく、トップフィールド用の参照インデックス及びコマンドとボトムフィールド用の参照インデックス及びコマンドも記述しておく。符号化装置は、フレーム符号化に際してフレーム用の参照インデックスを割り当て、フィールド符号化に際してトップフィールド用の参照インデックスと、ボトムフィールド用の参照インデックスとを割り当てる。
一方、復号化装置は、伝送される符号中に含まれるフレーム用およびトップフィールド用およびボトムフィールド用の参照インデックスの最大個数および割り当てコマンドを復号化し、それらを用いて符号化装置と全く同様の方法により参照ピクチャと参照インデックスの割り当てを行う。
＜符号化装置の構成＞
図２３は、本発明の実施の形態７における符号化装置の構成を示すブロック図である。同図は図１にと比べて参照インデックス・ピクチャ番号変換部１０９の代わりに参照インデックス・ピクチャ番号変換部１０９ｅを備える点が異なる。
図２３は、本発明の実施の形態７における符号化装置の構成を示すブロック図である。同図は図１にと比べて参照インデックス・ピクチャ番号変換部１０９の代わりに参照インデックス・ピクチャ番号変換部１０９ｅを備える点が異なる。
図２４は、本実施の形態における符号列のデータ構成例を示す図である。同図において、ｉｄｘ＿ｃｍｄ１は、第１参照ピクチャｒｅｆ１用のコマンド群であり、ｉｄｘ＿ｃｍｄ＿ｆｒｍと、ｉｄｘ＿ｃｍｄ＿ｔｏｐと、ｉｄｘ＿ｃｍｄ＿ｂｔｍとを含む。ｉｄｘ＿ｃｍｄ＿ｆｒｍはフレーム用の参照インデックスに対するコマンド列である。ｉｄｘ＿ｃｍｄ＿ｔｏｐはトップフィールド用の参照インデックスに対するコマンド列である。ｉｄｘ＿ｃｍｄ＿ｂｔｍはボトムフィールド用の参照インデックスに対するコマンド列である。
図２５は、フィールド符号化する場合のフィールドのピクチャ番号に第１、第２参照インデックスを割り当てた例を示す説明図である。同図では、トップフィールド用の参照インデックスと、ボトムフィールド用の参照インデックスとを、独立して任意のフィールドに割り当てることができる。
図２６は、図２５の場合の参照インデックス、コマンド及びフィールドのピクチャ番号の対応関係の一例を示す図である。
図２７は、参照インデックス・ピクチャ番号変換部１０９ｅにおける参照インデックス及びコマンドの割り当て処理を示すフローチャートである。同図のように、参照インデックス・ピクチャ番号変換部１０９ｅは、フレーム用の参照インデックス及びコマンドを割り当て（Ｓ１１）、さらにフレームとフィールドとが混在する場合には（Ｓ１２）、トップフィールド用の参照インデックス及びコマンドを割り当て（Ｓ９３）、さらにボトムフィールド用の参照インデックス及びコマンドを割り当てる（Ｓ９４）。
なお、図２７では、参照インデックスをデフォルトで使用する場合には、図２７中のＳ１１、Ｓ９３、Ｓ９４においてコマンドの割り当てを行わない。
＜復号化装置の構成＞
図２８は、本発明の実施の形態７における復号化装置の構成を示すブロック図である。同図は図７と比べて参照インデックス・ピクチャ番号変換部２０６の代わりに参照インデックス・ピクチャ番号変換部２０６ｅを備える構成としている。参照インデックス・ピクチャ番号変換部２０６ｅでは、符号列解析部２０１から入力された、フレーム用およびトップフィールド用およびボトムフィールド用のインデックス割り当てコマンドを使用して、それぞれ独立にピクチャ番号と参照インデックスとの対応付けを行う。
図２８は、本発明の実施の形態７における復号化装置の構成を示すブロック図である。同図は図７と比べて参照インデックス・ピクチャ番号変換部２０６の代わりに参照インデックス・ピクチャ番号変換部２０６ｅを備える構成としている。参照インデックス・ピクチャ番号変換部２０６ｅでは、符号列解析部２０１から入力された、フレーム用およびトップフィールド用およびボトムフィールド用のインデックス割り当てコマンドを使用して、それぞれ独立にピクチャ番号と参照インデックスとの対応付けを行う。
なお、本実施の形態では、符号中に、トップフィールド用とボトムフィールド用に個別のコマンド列を記述しているが、共通のコマンド列としてもよい。図２９は、その場合の符号列のデータ構成の示す図である。図中のｉｄｘ＿ｆｌｄは、トップフィールド用とボトムフィールド用とに共通のコマンド列である。
なお、（７．１）で説明したフィールド用の参照インデックスの最大個数を、トップフィールド用と、ボトムフィールド用とで個別にする代わりに、トップ、ボトムに共通としてもよい。
また、（７．２）で説明したフィールド用の参照インデックス及びコマンドを、トップフィールド用と、ボトムフィールド用とで個別にする代わりに、トップ、ボトムに共通としてもよい。
また、上記各実施の形態の復号化装置は、スライスの復号開始前に、フィールド用の参照インデックスとフィールドのピクチャ番号との対応表を作成し、フィールド符号化されたマクロブロックの復号時に参照するようにしてもよい。
（実施の形態８）
さらに、上記各実施の形態で示した画像符号化方法または画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
さらに、上記各実施の形態で示した画像符号化方法または画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図３０（ａ）（ｂ）（ｃ）は、上記実施の形態１から実施の形態７の画像符号化方法または画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
図３０（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図３０（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。
また、図３０（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法または画像復号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
（実施の形態９）
図３１から図３４は、上記実施の形態で示した符号化処理または復号化処理を行う機器、およびこの機器を用いたシステムを説明する図である。
図３１から図３４は、上記実施の形態で示した符号化処理または復号化処理を行う機器、およびこの機器を用いたシステムを説明する図である。
図３１は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムex１００は図３１のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図３２は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等
が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
図３２は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等
が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ex１１５について図３３を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図３４に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
なお、カーナビゲーションex４１３の構成は例えば図３３に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。
本発明は、ピクチャ内でブロック単位にフレーム符号化とフィールド符号化とを切り替えて符号化を行う画像符号化装置、画像復号化装置に適しており、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可能なデジタルカメラ、カメラ付き携帯電話機、ＤＶＤ録画／再生機、ＰＤＡ、パーソナルコンピュータ等に適している。
１０１ ピクチャメモリ
１０２ 予測残差符号化部
１０３ 符号列生成部
１０４ 予測残差復号化部
１０５ ピクチャメモリ
１０６ ベクトル検出部
１０７ 補償符号化部
１０８ ベクトル記憶部
１０９ 参照インデックス・ピクチャ番号変換部
１１０ 差分演算部
１１１ 加算演算部
１１２ スイッチ
１１３ スイッチ
２０１ 符号列解析部
２０２ 予測残差復号化部
２０３ ピクチャメモリ
２０４ 補償復号化部
２０５ ベクトル記憶部
２０６ 参照インデックス・ピクチャ番号変換部
２０７ 加算演算部
２０８ スイッチ
１０２ 予測残差符号化部
１０３ 符号列生成部
１０４ 予測残差復号化部
１０５ ピクチャメモリ
１０６ ベクトル検出部
１０７ 補償符号化部
１０８ ベクトル記憶部
１０９ 参照インデックス・ピクチャ番号変換部
１１０ 差分演算部
１１１ 加算演算部
１１２ スイッチ
１１３ スイッチ
２０１ 符号列解析部
２０２ 予測残差復号化部
２０３ ピクチャメモリ
２０４ 補償復号化部
２０５ ベクトル記憶部
２０６ 参照インデックス・ピクチャ番号変換部
２０７ 加算演算部
２０８ スイッチ
Claims (6)
- ブロック単位でフレーム符号化とフィールド符号化を切り替えて、ブロックを符号化する画像符号化方法であって、
それぞれの参照フレームにそれぞれのフレーム符号化用参照インデックスを割り当てるコマンド列を生成するコマンド生成ステップと、
前記コマンド列により割り当てられたフレーム符号化用参照インデックスを用いて、前記ブロックを符号化する際に参照する参照フレームを特定し、
前記参照フレームを特定する前記フレーム符号化用参照インデックスを符号化する参照インデックス符号化ステップと、
を有することを特徴とする画像符号化方法。 - ブロック単位でフレーム符号化とフィールド符号化を切り替えて、ブロックを符号化する画像符号化方法であって、
それぞれの参照フレームにそれぞれのフレーム符号化用参照インデックスを割り当てるコマンド列を生成するコマンド生成ステップと、
前記ブロックをフレーム符号化する場合には、前記コマンド列により割り当てられたフレーム符号化用参照インデックスを用いて、前記ブロックを符号化する際に参照する参照フレームを特定し、
前記ブロックをフィールド符号化する場合には、前記フレーム符号化用参照インデックスを用いて生成されたフィールド符号化用参照インデックスを用いて、前記ブロックを符号化する際に参照する参照フィールドを特定する、参照フレーム・フィールド特定ステップと、
前記参照フレームを特定する前記フレーム符号化用参照インデックスあるいは前記参照フィールドを特定する前記フィールド符号化用参照インデックスを符号化する参照インデックス符号化ステップと、
を有することを特徴とする画像符号化方法。 - 前記参照フレーム・フィールド特定ステップにおいて、前記ブロックをフィールド符号化する場合には、
前記ブロックと同じパリティを持つ前記参照フィールドに対しては、前記参照フィールドが含まれるフレームを特定する前記フレーム符号化用参照インデックスの値を２倍した値をフィールド符号化用参照インデックスとして特定し、
前記ブロックと異なるパリティを持つ前記参照フィールドに対しては、前記参照フィールドが含まれるフレームを特定する前記フレーム符号化用参照インデックスの値を２倍して１を加算した値をフィールド符号化用参照インデックスとして特定することを特徴とする請求項２記載の画像符号化方法。 - 前記画像符号化方法は、さらに、
フレーム符号化用参照インデックスの最大個数を示す情報を得るステップと、
フレーム符号化用参照インデックスの最大個数を示す情報を符号化する参照インデックスの最大個数符号化ステップと、
前記フィールド符号化用参照インデックスの最大個数を、前記フレーム符号化用参照インデックスの最大個数の２倍の値に決定するステップとを有し、
前記参照フレームフィールド特定ステップにおいて、前記決定されたフィールド符号化用参照インデックスの最大個数内で前記参照フィールドを特定するように前記フィールド符号化用参照インデックスを決定することを特徴とする、請求項３記載の画像符号化方法。 - ブロック単位でフレーム符号化とフィールド符号化を切り替えて、ブロックを符号化する画像符号化装置であって、
それぞれの参照フレームにそれぞれのフレーム符号化用参照インデックスを割り当てるコマンド列を生成するコマンド生成手段と、
前記ブロックをフレーム符号化する場合には、前記コマンド列により割り当てられたフレーム符号化用参照インデックスを用いて、前記ブロックを符号化する際に参照する参照フレームを特定し、
前記ブロックをフィールド符号化する場合には、前記フレーム符号化用参照インデックスを用いて生成されたフィールド符号化用参照インデックスを用いて、前記ブロックを符号化する際に参照する参照フィールドを特定する、参照フレーム・フィールド特定手段と、
前記参照フレームを特定する前記フレーム符号化用参照インデックスあるいは前記参照フィールドを特定する前記フィールド符号化用参照インデックスを符号化する参照インデックス符号化手段と、
を有することを特徴とする画像符号化装置。 - 画像信号を符号化処理するプログラムを格納したデータ記憶媒体であって、
前記プログラムは、コンピュータに、請求項１〜４のいずれか一項に記載の動画像符号化方法により前記符号化処理を行なわせることを特徴とする、データ記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006285721A JP2007049746A (ja) | 2002-11-25 | 2006-10-20 | 動画像の符号化方法および復号化方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002340392 | 2002-11-25 | ||
| JP2006285721A JP2007049746A (ja) | 2002-11-25 | 2006-10-20 | 動画像の符号化方法および復号化方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003363024A Division JP2004194297A (ja) | 2002-11-25 | 2003-10-23 | 動画像の符号化方法および復号化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007049746A true JP2007049746A (ja) | 2007-02-22 |
Family
ID=37852147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006285721A Pending JP2007049746A (ja) | 2002-11-25 | 2006-10-20 | 動画像の符号化方法および復号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007049746A (ja) |
-
2006
- 2006-10-20 JP JP2006285721A patent/JP2007049746A/ja active Pending
Non-Patent Citations (3)
| Title |
|---|
| JPN6009064143, Ｔｈｏｍａｓ Ｗｉｅｇａｎｄ, "Ｊｏｉｎｔ Ｆｉｎａｌ Ｃｏｍｍｉｔｔｅｅ Ｄｒａｆｔ （ＪＦＣＤ） ｏｆ Ｊｏｉｎｔ Ｖｉｄｅｏ Ｓｐｅｃｉｆｉｃａｔｉｏｎ （ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４ ｜ ＩＳＯ／ＩＥＣ １４４９６−１０", Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ａｎｄ ＩＴＵ−Ｔ ＶＣＥＧ ４ｔｈ Ｍｅｅｔｉｎｇ： Ｋｌａｇｅｎｆｕｒｔ， Ａｕｓｔｒｉａ, 20020722, ｐ． ５６−５７， ６０ * |
| JPN6009064147, Ｌ． Ｗａｎｇ， Ｋ． Ｐａｎｕｓｏｐｏｎｅ， Ｒ． Ｇａｎｄｈｉ， Ｙ． Ｙｕ ａｎｄ Ａ． Ｌｕｔｈｒａ, "Ｉｎｔｅｒｌａｃｅ Ｃｏｄｉｎｇ Ｔｏｏｌｓ ｆｏｒ Ｈ．２６Ｌ Ｖｉｄｅｏ Ｃｏｄｉｎｇ", ＩＴＵ − Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ ＳＴＵＤＹ ＧＲＯＵＰ １６ Ｑｕｅｓｔｉｏｎ ６ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ, 20011204 * |
| JPN6010058573, Ｔｈｏｍａｓ Ｗｉｅｇａｎｄ, "Ｊｏｉｎｔ Ｆｉｎａｌ Ｃｏｍｍｉｔｔｅｅ Ｄｒａｆｔ （ＪＦＣＤ） ｏｆ Ｊｏｉｎｔ Ｖｉｄｅｏ Ｓｐｅｃｉｆｉｃａｔｉｏｎ （ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４ ｜ ＩＳＯ／ＩＥＣ １４４９６−１０", Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ａｎｄ ＩＴＵ−Ｔ ＶＣＥＧ ４ｔｈ Ｍｅｅｔｉｎｇ： Ｋｌａｇｅｎｆｕｒｔ， Ａｕｓｔｒｉａ, 20020722, ｐ． ２０−２１， ５６−５７， ６０ * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2011091846A (ja) | 画像復号化方法、画像復号化装置および記憶媒体 | |
| JP4767991B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP5167232B2 (ja) | 動きベクトル符号化方法、装置およびデータ記憶媒体 | |
| JP4114859B2 (ja) | 動きベクトル符号化方法および動きベクトル復号化方法 | |
| JP4672751B2 (ja) | 動きベクトル復号化方法 | |
| JP2005277968A (ja) | 画像符号化方法および画像復号化方法 | |
| JP2004194297A (ja) | 動画像の符号化方法および復号化方法 | |
| JP2007049746A (ja) | 動画像の符号化方法および復号化方法 | |
| JP2006187039A (ja) | 動画像符号化方法および動画像復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091208 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101012 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110222 |