JP2008092328A - 動画像符号化の動き情報変換装置及び動き情報変換プログラム - Google Patents

Abstract

【課題】動画像の階層符号化方式を非階層符号化方式に変換する場合、変換後の動きベクトル差を算出するために、ベースレイヤの動きベクトルや、エンハンスメントレイヤの動きベクトルといった情報を復号する必要があり、計算量を膨大とし、回路規模も大きくさせてしまう。
【解決手段】変換ＭＶＤ算出部１０７は、ベースＭＶＤ取得部１０４から供給されるベースＭＶＤと、ＥｎｈＭＶＤ取得部１０６から供給されるＥｎｈＭＶＤとを加算し、その加算結果からラストＭＶＤ記憶部１０８から供給されるＥｎｈラストＭＶＤを減算することにより、出力符号化方式の構文に合致した、変換ＭＶＤを算出する。これにより、変換元の階層符号化方式ビットストリームからベースレイヤの動きベクトルやエンハンスメントレイヤの動きベクトルを復号することなく、変換ＭＶＤを生成することができる。
【選択図】図１

Description

本発明は動画像符号化の動き情報変換装置及び動き情報変換プログラムに係り、特に動画像の階層符号化方式のビットストリームに含まれる動き情報を変換する動画像符号化の動き情報変換装置及び動き情報変換プログラムに関する。

動画像の符号化には、単純な１階層のみの符号化に対し、多重の符号化構成を有する階層符号化がある。階層符号化は、下位階層の符号化系列のみで復号が可能であり、上位階層の符号化系列を復号し、下位階層の符号化結果と合成することで、より高画質な再生画像を得ることができるものであり、このような階層符号化の一般的な構成が従来開示されている（例えば、特許文献１参照）。

このような符号化方式は、スケーラブル符号化を実現するための方法として広く用いられており、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）との共同チームであるＪＶＴ（Joint Video Team）により、現在ＳＶＣ（Scalable Video Coding）として規格化作業を行っている。

図５は一般的な動画像階層符号化方式の復号装置の一例のブロック図を示す。図５に示すように、この復号装置は、分離化部６０１、ベースデコード部６０２、Ｅｎｈデコード部６０３、ビットストリーム入力端子６０４、エンハンスメントレイヤ復号画像出力端子６０５、ベースレイヤ復号画像出力端子６０６、拡大部６０７からなる。

分離化部６０１はビットストリーム入力端子６０４、ベースデコード部６０２、Ｅｎｈデコード部６０３とそれぞれ接続しており、ビットストリーム入力端子６０４から入力された、動画像階層符号化信号である多重化されたビットストリームを、上位階層（エンハンスメントレイヤ）のビットストリーム（Ｅｎｈビットストリーム）と、下位階層（ベースレイヤ）のビットストリーム（Ｂａｓｅビットストリーム）とに分割し、ＥｎｈビットストリームはＥｎｈデコード部６０３に、Ｂａｓｅビットストリームはベースデコード部６０２へ供給する機能を有する。

ベースデコード部６０２は、分離化部６０１、拡大部６０７、ベースレイヤ復号画像出力端子６０６にそれぞれ接続された下位階層符号化画像復号部であり、分離化部６０１から取得したＢａｓｅビットストリームを復号し、ベースレイヤ復号画像と、エンハンスメントレイヤを復号するために必要な予測情報であるコード化情報（Coding Information）とをそれぞれ生成し、ベースレイヤ復号画像（以下、ベースレイヤピクチャともいう）をベースレイヤ復号画像出力端子６０６へ、コード化情報をＥｎｈデコード部６０３へそれぞれ供給する。

ベースデコード部６０２で復号するビットストリームは、例えばＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４規格で符号化されたものであり、画面内予測、画面間予測、直交変換、量子化、エントロピー符号化のすべて、若しくはいずれかによって符号化されたビットストリームである。なお、上記のＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４規格は、前述したＪＶＴでの規格化作業によって制定された動画像圧縮符号化方式の国際標準である。

上記のコード化情報は、Ｅｎｈビットストリームを復号するために使用する、ベースレイヤからの予測情報であり、例えば、ベースレイヤの復号画像や動きベクトル、残差情報といったものを用いることができるが、本発明は動き情報に関するものであるため、ベースレイヤの復号画像、残差情報に関しては説明を割愛する。ベースレイヤの動きベクトルの符号化には、対象ベクトルと、最後に符号化（復号）したベクトルとの差分値であるＭＶＤが用いられる。

Ｅｎｈデコード部６０３は、分離化部６０１、拡大部６０７、エンハンスメントレイヤ復号画像出力端子６０５にそれぞれ接続された上位階層符号化画像復号部であり、分離化部６０１からＥｎｈビットストリームを、拡大部６０７からコード化情報をそれぞれ入力として受け、Ｅｎｈビットストリームを復号し、エンハンスメントレイヤ復号画像を生成し、そのエンハンスメントレイヤ復号画像（以下、エンハンスメントレイヤピクチャともいう）をエンハンスメントレイヤ復号画像出力端子６０５へ供給する。エンハンスメントレイヤでは、動きベクトルの符号化に、対象ベクトルとコード化情報に含まれるベースレイヤの動きベクトルとの差分値が用いられる。

ビットストリーム入力端子６０４は多重化したビットストリームを入力する端子である。ビットストリーム入力端子６０４は、分離化部６０１に接続している。エンハンスメントレイヤ復号画像出力端子６０５、ベースレイヤ復号画像出力端子６０６は、それぞれエンハンスメントレイヤ復号画像、ベースレイヤ復号画像を出力するための端子である。エンハンスメントレイヤ復号画像出力端子６０５、ベースレイヤ復号画像出力端子６０６は、Ｅｎｈデコード部６０３、ベースデコード部６０２に接続している。

拡大部６０７は、ベースレイヤの符号化情報、例えばテクスチャや、動き情報等を拡大する機能と、エンハンスメントレイヤピクチャの空間解像度とベースレイヤピクチャの空間解像度の比率に応じて拡大を行う機能とを有する。拡大部６０７は、拡大した符号化情報を、エンハンスメントレイヤピクチャを構成するための予測情報を使用してコード化情報を出力する。

テクスチャを予測情報として用いる場合は、ベースレイヤピクチャを拡大し、差分情報を足し合わせることで、エンハンスメントレイヤピクチャを構成することができる。動き情報を予測情報として用いる場合は、ベースレイヤの動きベクトルを拡大し、エンハンスメントレイヤの空間的に対応するブロックの動きベクトルの基本値とする。エンハンスメントレイヤでは、動きベクトルの基本値からの差分を足し合わせることで、エンハンスメントレイヤの動きベクトルを構成することができる。

次に、図５の階層符号化方式の復号装置の動作を、図６のフローチャートを参照して説明する。復号装置は、図５のビットストリーム入力端子６０４から多重化されたビットストリームが分離化部６０１に送られ、分離化部６０１で入力ビットストリームを、ＢａｓｅビットストリームとＥｎｈビットストリームとに分割する（ステップＳ３１）。分離化部６０１は、分離したＢａｓｅビットストリームとＥｎｈビットストリームを、それぞれベースデコード部６０２とＥｎｈデコード部６０３へ供給する。

続いて、ベースレイヤの復号を行う（ステップＳ３２）。ステップＳ３２ではベースデコード部６０２がＢａｓｅビットストリームを復号し、ベースレイヤピクチャとコード化情報とを生成する。ベースレイヤピクチャはベース復号画像出力端子６０６を通して外部へ送られ、コード化情報はＥｎｈデコード部６０３へ送られる。

続いて、拡大部６０７が、ベースレイヤピクチャとエンハンスメントレイヤピクチャ（エンハンスメント復号画像）の空間解像度の比率に応じて、入力されたコード化情報を拡大する（ステップＳ３３）。ここで、拡大するコード化情報は、例えばテクスチャや、動きベクトル、ベースレイヤの差分情報であり、エンハンスメントレイヤピクチャを復号するために予測情報として使用する情報である。

そして、Ｅｎｈデコード部６０３がＥｎｈビットストリームを復号する（ステップＳ３４）。すなわち、Ｅｎｈデコード部６０３はＥｎｈビットストリームと、拡大後のコード化情報とを入力として受け、エンハンスメント復号画像（エンハンスメントレイヤピクチャ）を生成し、処理を終了する。以上が階層符号化方式の復号装置の説明である。

また一方、動画像の符号化方式の変換装置も従来提案されている（例えば、特許文献２参照）。図７は一般的な動画像の符号化方式変換装置の一例のブロック図を示す。動画像の符号化方式変換装置は、図７に示すように、デコード部７０１と、符号化方式変換部７０２と、エンコード部７０３と、入力端子７０４、出力端子７０５からなる。デコード部７０１は、入力端子７０４、符号化方式変換部７０２とそれぞれ接続しており、入力端子７０４を通してビットストリームを入力し、パース、または復号して得たコード化情報を符号化方式変換部７０２へ出力する。デコード部７０１は少なくともエントロピー復号機能、ビットストリームパース機能を有する。それに加え、例えば逆直交変換、逆量子化といった画像復号機能を有している場合もある。

符号化方式変換部７０２は、デコード部７０１とエンコード部７０３に接続しており、入力方式の構文で記述されたコード化情報を出力方式の構文に変換する機能を有する。符号化方式変換部７０２により構文が変換されたコード化情報には、例えば、画像サイズ、直交変換係数、動きベクトル、残差情報と言った動画像を復号するために必要となる情報が含まれている。

エンコード部７０３は、符号化方式変換部７０２と出力端子７０５にそれぞれ接続しており、少なくともエントロピー符号化機能を有する。エンコード部７０３は、符号化方式変換部７０２からの、出力方式の構文で記述されたコード化情報を基に動画像の符号化を行い、符号化動画像信号であるビットストリームを生成し、出力端子７０５を通して生成したビットストリームを出力する。

次に、図７の動画像の符号化方式の変換装置の動作を図８のフローチャートを参照して説明する。まず、図７のデコード部７０１により入力端子７０４を介して入力されたビットストリームがパース、または復号処理されて、入力方式の構文で記述された動画像情報がデコードされる（ステップＳ４１）。

続いて、符号化方式変換部７０２がデコード部７０１から入力された、入力方式の構文で記述された動画像情報を出力方式の構文に変換し、エンコード部７０３に供給する（ステップＳ４２）。そして、エンコード部７０３が、符号化方式変換部７０２から入力された、出力方式の構文で記述された動画像情報に対して、エントロピー符号化処理を施し、ビットストリームを生成する（ステップＳ４３）。生成されたビットストリームは、出力端子７０５を通して出力され、処理を終了する。以上が従来の動画像符号化の動き情報変換装置の説明である。

以上説明した動画像階層符号化方式の復号装置と動画像符号化の動き情報変換装置とを組み合わせることにより、階層符号化方式から非階層符号化方式への符号化方式変換装置を構成することができる。

図９は階層符号化方式を非階層符号化方式に変換する従来の符号化方式変換装置の一例のブロック図を示す。同図に示すように、この符号化方式変換装置は、ビットストリーム入力端子３０１、分離化部３０２、ベースデコード部３０３、拡大部３０４、Ｅｎｈデコード／符号化方式変換部３０５、エンコード部３０６、ビットストリーム出力端子３０７より構成される。

ビットストリーム入力端子３０１は、変換元の階層符号化画像信号のビットストリームを入力する端子である。分離化部３０２は、既に説明した図５の分離化部６０１と同様の機能を有するので、詳しい説明は割愛する。ベースデコード部３０３は、分離化部３０２で分離されたベースレイヤビットストリームを復号し、ベースレイヤ復号画像を得る機能と、エンハンスメントレイヤビットストリーム（Ｅｎｈビットストリーム）を復号するために必要な予測情報のコード化情報を生成する機能とを有する。ベースデコード部３０３は、分離化部３０２、拡大部３０４、ベースレイヤ復号画像出力端子にそれぞれ接続されており、コード化情報を拡大部３０４へ供給する機能を有する。

拡大部３０４は、図５の拡大部６０７と同様の機能を有する。Ｅｎｈデコード／符号化方式変換部３０５は、分離化部３０２、拡大部３０４、エンコード部３０６と接続しており、分離化部３０２で分離されたＥｎｈビットストリームをパースまたは復号し、動画像情報のコード化情報を生成する機能と、入力方式の構文で記述されたコード化情報を出力方式の構文に変換する機能とを有する。ここで、Ｅｎｈデコード／符号化方式変換部３０５に入力されるビットストリームは、例えばブロックタイプ、動き情報、量子化された直交変換係数といったものが挙げられる。一般的には、変換前のそれらの値を、変換後の構文に従って置き換えるという処理を行う。

エンコード部３０６は、コード化情報を基に動画像の符号化を行い、ビットストリームを生成する機能と、少なくともエントロピー符号化機能を有する。エンコード部３０６は、Ｅｎｈデコード／符号化方式変換部３０５と、ビットストリーム出力端子３０７とそれぞれ接続している。エンコード部３０６は、Ｅｎｈデコード／符号化方式変換部３０５から、出力方式の構文で記述されたコード化情報を入力として受け、符号化及び符号化方式の変換を行ってビットストリームを生成し、それをビットストリーム出力端子３０７を介して外部へ出力する。ビットストリーム出力端子３０７は、変換後のビットストリームを出力する端子である。

次に、図９の動画像の階層符号化方式を非階層符号化方式に変換する符号化方式変換装置の動作を、図１０のフローチャートを参照して説明する。まず、図９のビットストリーム入力端子３０１から階層符号化画像信号のビットストリームが分離化部３０２に送られ、分離化部３０２で入力ビットストリームの分離化が行われ、下位階層符号化画像信号であるベースビットストリームと、上位階層符号化画像信号であるＥｎｈビットストリームとに分離される（ステップＳ５１）。分離されたベースビットストリームはベースデコード部３０３に供給され、分離されたＥｎｈビットストリームはＥｎｈデコード／符号化方式変換部３０５に供給される。

続いて、図９のベースデコード部３０３により、入力されたベースビットストリームの復号処理が行われ、ベースレイヤのコード化情報が生成される（ステップＳ５２）。生成されたベースレイヤのコード化情報は拡大部３０４へ送られる。拡大部３０４はベースレイヤのコード化情報を入力として受け、ベースレイヤピクチャとエンハンスメントレイヤピクチャの空間解像度の比率に応じて、入力コード化情報を拡大する（ステップＳ５３）。ここで、拡大するコード化情報は、例えばテクスチャや、動きベクトル、ベースレイヤの差分情報であり、エンハンスメントレイヤピクチャを復号するために予測情報として使用する情報である。

続いて、Ｅｎｈデコード／符号化方式変換部３０５が、入力Ｅｎｈビットストリームをパース、または復号して動画像情報を生成すると共に、拡大部３０４からの拡大後の入力ビットストリームの構文で記述された動画像情報のコード化情報を、出力ビットストリームの構文に変換する（ステップＳ５４）。復号された動画像情報はエンコード部３０６に供給される。

そして、図９のエンコード部３０６は、Ｅｎｈデコード／符号化方式変換部３０５からの動画像情報に対してエントロピー符号化処理を施して非階層符号化画像信号であるビットストリームを生成し（ステップＳ５５）、生成したビットストリームを、ビットストリーム出力端子３０７を通して外部に出力し、処理を終了する。

次に、上記の従来の階層符号化方式を非階層符号化方式に変換する符号化方式変換装置のベースデコード部３０３とＥｎｈデコード／符号化方式変換部３０５における、動きベクトルを変換する手段について詳細に説明する。

まず、動きベクトルの階層間予測方法についての説明を行う。図１１は、階層間動き予測を説明するための図で、エンハンスメントレイヤピクチャ８０１がベースレイヤピクチャ８０２の縦横それぞれ２倍の例である。ベースレイヤピクチャ８０２のあるブロック８０７に対応するエンハンスメントレイヤピクチャ８０１のブロックは、Ｅｎｈブロック８０３、Ｅｎｈブロック８０４、Ｅｎｈブロック８０５、Ｅｎｈブロック８０６の４つである。ただし、ブロック８０３〜８０７は全て同じ大きさである。また、ブロック８０７の動きベクトル８１２に対応するベクトルはそれぞれ、動きベクトル８０８〜８１１である。エンハンスメントレイヤでは各Ｅｎｈブロック８０３〜８０６に対して、ベースレイヤの動きベクトル８１２からの差分を符号化情報として持つ。

次に、従来の動き変換装置について説明する。図１２は従来の動き変換装置の一例のブロック図を示す。同図に示すように、動き変換装置は、ベースビットストリーム入力端子４０１、Ｅｎｈビットストリーム入力端子４０２、ベースデコード部４０３、Ｅｎｈデコード／符号化方式変換部４０４、動き拡大部４０８、変換ＭＶＤ出力端子４１３により構成される。また、ベースデコード部４０３は、ベースＭＶＤ取得部４０５、ベースＭＶ算出部４０６及びベースラストＭＶ記憶部４０７からなる。更に、Ｅｎｈデコード／符号化方式変換部４０４は、ＥｎｈＭＶＤ取得部４０９、ＥｎｈＭＶ算出部４１０、ＥｎｈラストＭＶ記憶部４１１及び変換ＭＶＤ算出部４１２からなる。

ベースデコード部４０３、Ｅｎｈデコード／符号化方式変換部４０４はそれぞれ、図９のベースデコード部３０３、Ｅｎｈデコード／符号化方式変換部３０５に対応する。また、動き拡大部４０８は、図９の拡大部３０４に対応する。ベースビットストリーム入力端子４０１とＥｎｈビットストリーム入力端子４０２は図９の分離化部３０２と接続し、変換ＭＶＤ出力端子４１３は図９のエンコード部３０６と接続している。

図１２のＥｎｈＭＶＤ取得部４０９は、Ｅｎｈビットストリームから、動きベクトル差ＥｎｈＭＶＤを取得する機能を有する。ＥｎｈＭＶＤは、ベースレイヤの対応する位置の動きベクトルとの差としてＥｎｈビットストリーム中に符号化されているものである。

ＥｎｈＭＶ算出部４１０は、ＥｎｈＭＶＤ取得部４０９と動き拡大部４０８、ＥｎｈラストＭＶ記憶部４１１、変換ＭＶＤ算出部４１２に接続しており、エンハンスメントレイヤの動きベクトル（ＥｎｈＭＶ）を算出する機能を有する。すなわち、ＥｎｈＭＶ算出部４１０は、ＥｎｈＭＶＤ取得部４０９から送られるＥｎｈＭＶＤと、動き拡大部４０８によりベースレイヤのＭＶを２倍に拡大した２ＭＶとを加算し、ＥｎｈＭＶを算出する。そして、算出したＥｎｈＭＶを変換ＭＶＤ算出部４１２と、ＥｎｈラストＭＶ記憶部４１１に送る。ＥｎｈラストＭＶ記憶部４１１は、時間的に一つ前に符号化したエンハンメントレイヤの動きベクトルであるＥｎｈラストＭＶ（これをＭＶ（−１）と記す）を記憶する機能を有する。ＥｎｈラストＭＶは変換ＭＶＤを算出するために使用する。

変換ＭＶＤ算出部４１２は、出力符号化方式の構文に合致した、変換ＭＶＤを算出する機能を有し、変換ＭＶＤ算出部４１２は、ＥｎｈラストＭＶ記憶部４１１、ＥｎｈＭＶ算出部４１０と、変換ＭＶＤ出力端子４１３に接続している。この変換ＭＶＤ算出部４１２はＥｎｈＭＶ算出部４１０から送られるＥｎｈＭＶから、ＥｎｈラストＭＶ記憶部４１１から送られるＥｎｈラストＭＶを減算し、エンハンメントレイヤの動きベクトル差（ＥｎｈＭＶＤ）を算出する。そして、算出したＥｎｈＭＶＤを、変換ＭＶＤ出力端子４１３を通し、図９のエンコード部３０６に送る。

ベースＭＶＤ取得部４０５は、入力端子４０１からのベースビットストリームから、ベースレイヤの動きベクトル差（ベースＭＶＤ）を取得する機能を有する。ベースＭＶＤは、ベースレイヤで最後に符号化した動きベクトルとの差としてベースビットストリーム中に符号化されているものである。ベースラストＭＶ記憶部４０７は、時間的に一つ前に符号化した動きベクトル（ＭＶ）であるベースラストＭＶ（これをＭＶ（−１）と記す）を記憶する機能を有する。ベースラストＭＶはベースＭＶを算出するために使用する。

ベースＭＶ算出部４０６は、ベースレイヤの動きベクトルを算出する機能を有する。ベースＭＶ算出部４０６は、ベースＭＶＤ取得部４０５とベースラストＭＶ記憶部４０７、動き拡大部４０８に接続しており、ベースＭＶＤ取得部４０５から送られるベースＭＶＤとベースラストＭＶ記憶部４０７から送られるベースラストＭＶ（ＭＶ（−１））とを加算し、ベースレイヤの動きベクトル（ベースＭＶ）を算出する。そして、算出したベースＭＶを動き拡大部４０８と、ベースラストＭＶ記憶部４０７に送る。

動き拡大部４０８は、動きベクトルを拡大する機能を有し、ベースレイヤピクチャとエンハンスメントレイヤピクチャの拡大率に応じ、ベースレイヤの動きベクトル（ベースＭＶ）を拡大する。ここでは、図１１に示したようなエンハンスメントレイヤがベースレイヤの縦横それぞれ２倍の例であるので、動き拡大部４０８はベースＭＶを２倍に拡大しているが、拡大率が２でない場合も同様の構成を実現できる。

次に、図１２の従来の動き変換装置の動作を図１３のフローチャートを参照して説明する。まず、図１２のベースＭＶＤ取得部４０５が、ベースビットストリーム入力端子４０１から入力されたベースビットストリームをエントロピー復号し、ベースＭＶＤを取り出す（ステップＳ６１）。続いて、図１２のベースＭＶ算出部４０６に、ベースＭＶＤ取得部４０５からベースＭＶＤが、ベースラストＭＶ記憶部４０７からベースラストＭＶがそれぞれ送られ、ベースＭＶ算出部４０６は、これらを加算し、ベースＭＶを算出する（ステップＳ６２）。そして、算出したベースＭＶを、動き拡大部４０８とベースラストＭＶ記憶部４０７にそれぞれ供給する。ベースラストＭＶ記憶部４０７はベースＭＶ算出部４０６から供給されたＭＶをベースラストＭＶ（ＭＶ（−１））として記憶する（ステップＳ６３）。また、図１２の動き拡大部４０８はベースＭＶ算出部４０６からベースＭＶが供給され、そのベースＭＶを拡大処理して２ベースＭＶを生成する（ステップＳ６４）。

一方、図１２のＥｎｈＭＶＤ取得部４０９が、Ｅｎｈビットストリーム入力端子４０２から入力されたＥｎｈビットストリームをエントロピー復号し、ＥｎｈＭＶＤを取り出す（ステップＳ６５）。続いて、ＥｎｈＭＶ算出部４１０は、ＥｎｈＭＶＤ取得部４０９からのＥｎｈＭＶＤと動き拡大部４０８からの２ベースＭＶとを加算し、ＥｎｈＭＶを算出する（ステップＳ６６）。そして、ＥｎｈＭＶ算出部４１０は、算出したＥｎｈＭＶをＥｎｈラストＭＶ記憶部４１１に供給して、それ以前に記憶しているＥｎｈラストＭＶ（ＭＶ（−１））を更新すると共に、算出したＥｎｈＭＶを変換ＭＶＤ算出部４１２にも供給する。

変換ＭＶＤ算出部４１２は、ＥｎｈＭＶ算出部４１０からＥｎｈＭＶが供給され、ＥｎｈラストＭＶ記憶部４１１からＥｎｈラストＭＶが供給され、ＥｎｈＭＶからＥｎｈラストＭＶを減算し、出力符号化方式の構文に合致した変換ＭＶＤを算出する（ステップＳ６８）。算出した変換ＭＶＤは、変換ＭＶＤ出力端子４１３を通して図９のエンコード部３０６に出力される。

最後に、図１２のＥｎｈラストＭＶ記憶部４１１にＥｎｈＭＶ算出部４１０からＥｎｈＭＶが供給され、そのＥｎｈＭＶをＥｎｈラストＭＶ（ＭＶ（−１））として更新させ（ステップＳ６８）、処理を終了する。

特許第３１８９２５８号公報 特許第２８６０８８０号公報

しかるに、上述した図９の従来の階層符号化方式を非階層符号化方式に変換する符号化方式変換装置には、以下の問題がある。エンハンスメントレイヤの動きベクトル差（ＥｎｈＭＶＤ）は、ベースレイヤの対応する位置の動きベクトルＭＶとの差である。それに対し、変換後の非階層符号化方式の動きベクトル差ＭＶＤは、最後の符号化（復号）動きベクトルＭＶとの差である。そのため、変換後の非階層符号化方式のＭＶＤを算出するために、ベースレイヤの動きベクトルＭＶをベースデコード部３０３で復号し、Ｅｎｈデコード／符号化方式変換部３０５でエンハンスメントレイヤの動きベクトルＥｎｈＭＶを復号し、それらに基づいて変換後の動きベクトル差ＭＶＤを算出するという一連の処理、すなわち、変換元ビットストリームより取得した動きベクトル差から、動きベクトルを算出した後、変換先ビットストリームの動きベクトル差を算出するという処理が必要である。

このように、従来は符号化するＭＶＤを算出するために、ベースレイヤの動きベクトルＭＶや、エンハンスメントレイヤの動きベクトルＥｎｈＭＶといった情報を復号する必要があるが、符号化方式変換という観点からいって、途中で発生するこれらの動きベクトルは最終的に必要な情報ではなく、あくまでも変換動きベクトル差を算出するためのみに復号されるものであり、結局は破棄される情報であるにも拘らず、これらの動きベクトルの復号は動きベクトル変換装置の処理の大部分を占めており、計算量を膨大とし、回路規模も大きくさせてしまうという課題がある。

本発明は以上の点に鑑みなされたもので、階層符号化方式のビットストリームに含まれる動きベクトルなどの動き情報の変換について、計算量を削減し、回路規模を削減することができる動画像符号化の動き情報変換装置及び動き情報変換プログラムを提供することを目的とする。

上記の目的を達成するため、第１の発明の動画像符号化の動き情報変換装置は、多重化されて階層符号化方式のビットストリームを構成するベースビットストリームとＥｎｈビットストリームとのうち、ベースビットストリームは、符号化対象の動画像信号を符号化して得られた下位階層の動画像符号化画像と、この下位階層の動画像符号化画像を生成する際に用いた第１のコード化情報とからなり、この第１のコード化情報として第１の所定画素数のブロック単位で得られる動きベクトルのうち隣接する２つの動きベクトルの差であるベースＭＶＤを少なくとも含むビットストリームであり、Ｅｎｈビットストリームは、符号化対象の動画像信号を下位階層と同じ空間解像度で符号化して得られた上位階層の動画像符号化画像と、この上位階層の動画像符号化画像を生成する際に用いた第２のコード化情報とからなり、この第２のコード化情報として第２の所定画素数のブロック単位で得られる動きベクトルと空間的に対応する下位階層のブロックの動きベクトルとの差であるＥｎｈＭＶＤを少なくとも含むビットストリームである、階層符号化方式のビットストリームの動き情報を変換する動画像符号化の動き情報変換装置であって、
階層符号化方式のビットストリームをベースビットストリームとＥｎｈビットストリームとに分離する分離化手段と、分離されたベースビットストリームからベースＭＶＤを取得する第１の取得手段と、分離されたＥｎｈビットストリームからＥｎｈＭＶＤを取得する第２の取得手段と、第１の取得手段で取得されたベースＭＶＤと、第２の取得手段で取得されたＥｎｈＭＶＤと、時間的に一つ前に変換した動きベクトル差であるラストＭＶＤとに基づいて、出力符号化方式の構文に合致した変換ＭＶＤを算出する算出手段と、算出された変換ＭＶＤを記憶して算出手段にラストＭＶＤとして供給する記憶手段とを有することを特徴とする。

この発明では、変換元の階層符号化方式のビットストリームからベースＭＶＤとＥｎｈＭＶＤとを取得し、更に変換したＭＶＤから時間的に一つ前に変換した動きベクトル差であるラストＭＶＤを生成して、そのラストＭＶＤとベースＭＶＤとＥｎｈＭＶＤとに基づいて変換ＭＶＤを算出するようにしたため、ベースレイヤの動きベクトルＭＶや、エンハンスメントレイヤの動きベクトルＥｎｈＭＶといった情報の復号を不要にできる。

ここで、第２の発明は、第１の発明における算出手段を、第１の取得手段で取得されたベースＭＶＤと、第２の取得手段で取得されたＥｎｈＭＶＤとを加算し、かつ、ラストＭＶＤを減算することにより、これから変換するブロックに対応する上位階層の動きベクトルと、時間的に一つ前に変換したブロックに対応する上位階層の動きベクトルとの差分である変換ＭＶＤを算出する手段としたことを特徴とする。

また、上記の目的を達成するため、第３の発明は、多重化されて階層符号化方式のビットストリームを構成するベースビットストリームとＥｎｈビットストリームとブロックナンバーとのうち、ベースビットストリームは、符号化対象の動画像信号を符号化して得られた下位階層の動画像符号化画像と、この下位階層の動画像符号化画像を生成する際に用いた第１のコード化情報とからなり、この第１のコード化情報として第１の所定画素数のブロック単位で得られる動きベクトルのうち隣接する２つの動きベクトルの差であるベースＭＶＤとを少なくとも含むビットストリームであり、Ｅｎｈビットストリームは、符号化対象の動画像信号を下位階層よりも空間解像度高く符号化して得られた上位階層の動画像符号化画像と、この上位階層の動画像符号化画像を生成する際に用いた第２のコード化情報とからなり、この第２のコード化情報として第２の所定画素数のブロック単位で得られる上位階層の動きベクトルのうち、第１の所定画素数の下位階層のブロックと空間的に対応する上位階層の複数のブロックの各動きベクトルと下位階層の動きベクトルとの差であるＥｎｈＭＶＤを少なくとも含むビットストリームであり、ブロックナンバーは、下位階層のブロックと空間的に対応する上位階層の複数のブロックの位置を示す情報である、階層符号化方式のビットストリームの動き情報を変換する動画像符号化の動き情報変換装置であって、
階層符号化方式のビットストリームをベースビットストリームとＥｎｈビットストリームとブロックナンバーとに分離する分離化手段と、分離されたベースビットストリームからベースＭＶＤを取得する第１の取得手段と、分離されたＥｎｈビットストリームからＥｎｈＭＶＤを取得する第２の取得手段と、第１の取得手段で取得されたベースＭＶＤを、上位階層と下位階層との空間解像度の比率に応じた倍率で拡大する拡大手段と、第２の取得手段で取得されたＥｎｈＭＶＤと、拡大手段で拡大された拡大後のベースＭＶＤと、時間的に一つ前に変換した動きベクトル差であるラストＭＶＤとに基づいて、出力符号化方式の構文に合致した第１の変換ＭＶＤを算出する第１の算出手段と、第２の取得手段で取得されたＥｎｈＭＶＤと、ラストＭＶＤとに基づいて、出力符号化方式の構文に合致した第２の変換ＭＶＤを算出する第２の算出手段と、分離されたブロックナンバーに応じて、第１の算出手段及び第２の算出手段のいずれか一方を選択して、選択後の第１又は第２の変換ＭＶＤを最終的に算出された変換ＭＶＤとする切替手段と、切替手段により選択され、最終的に算出された変換ＭＶＤを記憶して第１及び第２の算出手段にラストＭＶＤとして供給する記憶手段とを有することを特徴とする。

この発明では、変換元の階層符号化方式のビットストリームからベースＭＶＤとＥｎｈＭＶＤとを取得し、ベースＭＶＤは上位階層と下位階層との空間解像度の比率に応じた倍率で拡大すると共に、変換したＭＶＤから時間的に一つ前に変換した動きベクトル差であるラストＭＶＤを生成し、そのラストＭＶＤと拡大後のベースＭＶＤとＥｎｈＭＶＤとに基づいて、又はラストＭＶＤとＥｎｈＭＶＤとに基づいて、変換ＭＶＤを算出するようにしたため、ベースレイヤの動きベクトルＭＶや、エンハンスメントレイヤの動きベクトルＥｎｈＭＶといった情報の復号を不要にできる。

また、上記の目的を達成するため、第４の発明は、第３の発明における切替手段を、ブロックナンバーが、上位階層の複数のブロックのうち、そのブロックを復号する直前に復号したブロックが下位階層のブロックと空間的に対応する位置にないブロックであることを示す値であるときは第１の算出手段を選択し、そのブロックを復号する直前に復号したブロックが下位階層のブロックと空間的に対応する位置にあるブロックであることを示す値であるときは第２の算出手段を選択する、ことを特徴とする。

また、上記の目的を達成するため、第５の発明は、第３又は第４の発明における第１の算出手段は、第２の取得手段で取得されたＥｎｈＭＶＤと、拡大後のベースＭＶＤとを加算し、かつ、ラストＭＶＤを減算することにより第１の変換ＭＶＤを算出する手段であり、第２の算出手段は、第２の取得手段で取得されたＥｎｈＭＶＤからラストＭＶＤを減算することにより第２の変換ＭＶＤを算出する手段であり、第１の変換ＭＶＤ及び第２の変換ＭＶＤは、それぞれこれから変換するブロックに対応する上位階層の動きベクトルと、時間的に一つ前に変換したブロックに対応する上位階層の動きベクトルとの差分であることを特徴とする。

この発明では、これから変換するブロックに対応する上位階層の動きベクトルと、時間的に一つ前に変換したブロックに対応する上位階層の動きベクトルとの差分である第１の変換ＭＶＤ及び第２の変換ＭＶＤを、ベースレイヤの動きベクトルＭＶや、エンハンスメントレイヤの動きベクトルＥｎｈＭＶといった情報の復号を行うことなく、階層符号化方式ビットストリームから取得したベースＭＶＤとＥｎｈＭＶＤとを用いて生成することができ、この第１の変換ＭＶＤ又は第２の変換ＭＶＤをエンコードすることにより非階層符号化方式のビットストリームを生成することができる。

また、上記の目的を達成するため、第６の発明は第１の発明を構成する各構成要素の機能をコンピュータにより実行させる動画像符号化の動き情報変換プログラムであり、第１の発明と同様の作用が得られる。また、第７の発明は第２の発明を構成する各構成要素の機能をコンピュータにより実行させる動画像符号化の動き情報変換プログラムであり、第８の発明は第３の発明を構成する各構成要素の機能をコンピュータにより実行させる動画像符号化の動き情報変換プログラムであり、第９の発明は第４の発明を構成する各構成要素の機能をコンピュータにより実行させる動画像符号化の動き情報変換プログラムであり、第１０の発明は第５の発明を構成する各構成要素の機能をコンピュータにより実行させる動画像符号化の動き情報変換プログラムである。

本発明によれば、変換元の階層符号化方式ビットストリームからベースレイヤの動きベクトルやエンハンスメントレイヤの動きベクトルを復号することなく、階層符号化方式のビットストリームから取得したベースＭＶＤやＥｎｈＭＶＤに基づいて変換ＭＶＤを生成するようにしたため、変換ＭＶＤの生成に際して計算量やメモリ量を削減でき、全体として従来に比べ、演算量が少なく、回路規模も小さい変換装置を実現することができる。

次に、本発明の各実施の形態について図面と共に説明する。

（第１の実施の形態）
図１は本発明になる動画像符号化の動き情報変換装置の第１の実施の形態の要部のブロック図を示す。同図に示すように、本実施の形態の動画像符号化の動き情報変換装置の要部は、ベースビットストリーム入力端子１０１、Ｅｎｈビットストリーム入力端子１０２、ベースデコード部１０３、Ｅｎｈデコード／符号化方式変換部１０４、ベースＭＶＤ取得手段１０５、ＥｎｈＭＶＤ取得部１０６、変換ＭＶＤ算出部１０７、ラストＭＶＤ記憶部１０８、エンコード部１０９、出力端子１１０により構成される。なお、本発明の動き情報変換装置では、エンコード部１０９は不要であるが、本実施の形態では符号化方式変換のために設けてある。

また、本実施の形態では、ベースビットストリーム入力端子１０１、Ｅｎｈビットストリーム入力端子１０２は図９の分離化部３０２と同様の構成の分離化部（図示せず）と接続し、エンコード部１０９は図９のエンコード部３０６と同様の構成のエンコード部である。ベースデコード部１０３、Ｅｎｈデコード／符号化方式変換部１０４はそれぞれ、図９のベースデコード部３０３、Ｅｎｈデコード／符号化方式変換部３０５に対応する。本実施の形態は、ベースレイヤとエンハンスメントレイヤで空間解像度が変わらない場合の例であり、ベースレイヤからエンハンスメントレイヤへの符号化情報の拡大を含まない。

図１において、ベースデコード部１０３はベースＭＶＤ取得手段１０５からなり、ベースＭＶＤ取得手段１０５は、ベースビットストリームから、動きベクトル差であるベースＭＶＤを取得する機能を有する。ベースＭＶＤは、ベースレイヤで最後に符号化した動きベクトルとの差としてベースビットストリーム中に符号化されているものである。また、ベースＭＶＤ取得手段１０５は、変換ＭＶＤ算出部１０７と接続しており、取得したベースＭＶＤを変換ＭＶＤ算出部１０７に送る機能を有する。

Ｅｎｈデコード／符号化方式変換部１０４は、ＥｎｈＭＶＤ取得部１０６、変換ＭＶＤ算出部１０７及びラストＭＶＤ記憶部１０８から構成されている。ＥｎｈＭＶＤ取得部１０６は、図１２のＥｎｈＭＶＤ取得部４０９と同様の機能を有する。ＥｎｈＭＶＤ取得部１０６は、Ｅｎｈビットストリームから、動きベクトル差ＥｎｈＭＶＤを取得する機能を有する。ＥｎｈＭＶＤは、ベースレイヤの対応する位置の動きベクトルとの差としてＥｎｈビットストリーム中に符号化されているものである。

変換ＭＶＤ算出部１０７は、出力符号化方式の構文に合致した、変換ＭＶＤを算出する機能を有する。変換ＭＶＤ算出部１０７は、ＥｎｈＭＶＤ取得部１０６、ラストＭＶＤ記憶部１０８、エンコード部１０９に接続している。変換ＭＶＤ算出部１０７は、ＥｎｈＭＶＤ取得部１０６から送られるＥｎｈＭＶＤと、ベースＭＶＤ取得手段１０５から送られるベースＭＶＤを加算し、さらにラストＭＶＤ記憶部１０８から送られるエンハンスメントレイヤのラストＭＶＤを減算することにより変換ＭＶＤを算出する。そして、算出したＥｎｈＭＶＤをエンコード部１０９に送る。ラストＭＶＤ記憶部１０８は、時間的に一つ前に変換したＭＶＤを記憶する機能を有する。ＥｎｈラストＭＶＤは変換ＭＶＤを算出するために使用する。エンコード部１０９は、図９のエンコード部３０６と同様の動作を行う。

次に、図１の本発明になる動画像符号化の動き情報変換装置の第１の実施の形態の要部の動作を、図２のフローチャートと共に説明する。まず、符号化対象の動画像信号を符号化して得られた下位階層（ベースレイヤ）の動画像符号化画像と、この下位階層の動画像符号化画像を生成する際に用いたコード化情報として第１の所定画素数のブロック単位で得られる動きベクトルのうち隣接する２つの動きベクトルの差であるベースＭＶＤを少なくとも含むベースビットストリームと、符号化対象の動画像信号を下位階層と同じ空間解像度で符号化して得られた上位階層（エンハンスメントレイヤ；以下、Ｅｎｈとも記す）の動画像符号化画像と、この上位階層の動画像符号化画像を生成する際に用いたコード化情報として第２の所定画素数のブロック単位で得られる動きベクトルのうち下位階層の対応するブロックの動きベクトルとの差であるＥｎｈＭＶＤを少なくとも含むＥｎｈビットストリームとが多重化された階層符号化方式のビットストリームが、図９の分離化部３０２と同様の分離化部（図示せず）により分離され、分離されたベースビットストリームがベースビットストリーム入力端子１０１に入力されると共に、分離されたＥｎｈビットストリームがＥｎｈビットストリーム入力端子１０２に入力される。

まず、ベースＭＶＤ取得手段１０５により、ベースビットストリーム入力端子１０１から入力されたベースビットストリームがエントロピー復号され、その中のベースＭＶＤが取り出される（ステップＳ１１）。

また、図１のＥｎｈＭＶＤ取得部１０６が、Ｅｎｈビットストリーム入力端子１０２から入力されＥｎｈビットストリームをエントロピー復号し、その中のＥｎｈＭＶＤを取り出す（ステップＳ１２）。

続いて、図１の変換ＭＶＤ算出部１０７により、ステップＳ１１で取得されたベースＭＶＤ取得部１０４から供給されるベースＭＶＤと、ステップＳ１２で取得されたＥｎｈＭＶＤ取得部１０６から供給されるＥｎｈＭＶＤとを加算し、その加算結果から後述するラストＭＶＤ記憶部１０８から供給されるＥｎｈラストＭＶＤを減算することにより、出力符号化方式の構文に合致した、変換ＭＶＤが算出される（ステップＳ１３）。

そして、算出された変換ＭＶＤはエンコード部１０９に送られると共に、図１のラストＭＶＤ記憶部１０８に変換ＭＶＤ算出部１０７から変換ＭＶＤが送られ、変換ＭＶＤをＥｎｈラストＭＶＤ（ＥｎｈＭＶＤ（−１））として更新記憶させ（ステップＳ１４）、処理を終了する。

次に、本実施の形態により、変換ＭＶＤが得られる理由を以下に述べる。以下の計算式中、ビットストリームから取得する変数を太字で表す。ある時点において、ベースレイヤのあるブロックの動きベクトルであるベースＭＶは、
ベースＭＶ＝ベースＭＶＤ＋ベースＭＶ（−１） （１）
で与えられる。ここで、ベースＭＶ（−１）は、時間的に一つ前のブロックのベースＭＶである。

また、エンハンスメントレイヤのあるブロックの動きベクトルＥｎｈＭＶは、
ＥｎｈＭＶ＝ＥｎｈＭＶＤ＋ベースＭＶ
＝ＥｎｈＭＶＤ＋ベースＭＶＤ＋ベースＭＶ（−１） （２）
で与えられる。

符号化すべき変換ＭＶＤは、定義より、ＥｎｈＭＶ−ＥｎｈＭＶ（−１）で与えられるため、（１）式及び（２）式を用いて整理すると、次式が得られる。
変換ＭＶＤ＝ＥｎｈＭＶ−ＥｎｈＭＶ（−１）
＝ＥｎｈＭＶＤ＋ベースＭＶＤ＋ベースＭＶ（−１）
−ＥｎｈＭＶ（−１） （３）
ただし、ＥｎｈＭＶ（−１）はエンハンスメントレイヤの一つ前のブロックのＭＶを表す。また、ＥｎｈＭＶＤ（−１）は、エンハンスメントレイヤの一つ前のブロックのＭＶＤを表すものとする。ここで、
ベースＭＶ（−１）−ＥｎｈＭＶ（−１）
＝ベースＭＶＤ（−１）＋ベースラストＭＶ（−１）−ＥｎｈＭＶＤ（−１）
−ベースＭＶＤ（−１）−ベースラストＭＶ（−１）
＝−ＥｎｈＭＶＤ（−１） （４）
である。この（４）式を（３）式に代入すると、次式が得られる。

変換ＭＶＤ＝ＥｎｈＭＶＤ＋ベースＭＶＤ＋ベースＭＶ（−１）
−ＥｎｈＭＶ（−１）
＝ＥｎｈＭＶＤ＋ベースＭＶＤ−ＥｎｈＭＶＤ（−１） （５）

（５）式から分かるように、変換ＭＶＤを算出する手順において、ベースＭＶ、ＥｎｈＭＶを算出することなく、ビットストリームから取得した各種ＭＶＤに対して、加減算を行うのみで、変換ＭＶＤを算出することができる。本実施の形態は（５）式により変換ＭＶＤを算出するものであり、これにより正しく変換ＭＶＤを算出することが証明された。

また、本実施の形態によれば、ベースレイヤの動きベクトルであるベースＭＶと、エンハンスメントレイヤの動きベクトルであるＥｎｈＭＶをそれぞれ復号しなくてもよいので、従来に比べて変換途中に用いるメモリ量を削減することができ、演算量、回路規模を小さくすることができるという特長が得られる。

（第２の実施の形態）
図３は本発明になる動画像符号化の動き情報変換装置の第２の実施の形態の要部のブロック図を示す。同図に示すように、本実施の形態の動画像符号化の動き情報変換装置の要部は、ベースビットストリーム入力端子２０１、Ｅｎｈビットストリーム入力端子２０２、ブロックナンバー入力端子２０３、ベースデコード部２０４、Ｅｎｈデコード／符号化方式変換部２０５、ベースＭＶＤ取得手段２０６、動き拡大部２０７、ＥｎｈＭＶＤ取得部２０８、変換ＭＶＤ算出手段切替部２０９、変換ＭＶＤ算出部２１０、ラストＭＶＤ記憶部２１１、エンコード部２１２、出力端子２１３により構成される。なお、本発明の動き情報変換装置では、エンコード部２１２は不要であるが、本実施の形態では符号化方式変換のために設けてある。

また、本実施の形態では、ベースビットストリーム入力端子２０１、Ｅｎｈビットストリーム入力端子２０２及びブロックナンバー入力端子２０３は図９の分離化部３０２と同様の構成の分離化部（図示せず）と接続している。ブロックナンバー自体はストリームに含まれておらず、ブロックの処理順をカウンタしたものである。このブロックナンバーは、ある８×８ブロックが更に４×４ブロックに分割されている場合、その処理順（ブロックナンバー）は規格で定められているものであり、常に固定であり、ブロックナンバー”０”は、そのブロックが、今処理しているマクロブロック（サブマクロブロック）内で一番最初に処理するブロックであるということを意味する。具体的には、マクロブロック（サブマクロブロック）内の左上のブロックである。

ベースデコード部２０４、Ｅｎｈデコード／符号化方式変換部２０５はそれぞれ、図１２のベースデコード部４０３、Ｅｎｈデコード／符号化方式変換部４０４に対応する。本実施の形態は、エンハンスメントレイヤの画像がベースレイヤの画像の縦横各２倍の場合の例について説明を行う。拡大率が２倍でない場合に関しても、本実施の形態と同様の構成で実現することができる。

図３において、ベースデコード部２０４はベースＭＶＤ取得手段２０６からなり、ベースＭＶＤ取得手段２０６は、ベースビットストリームから、動きベクトル差ベースＭＶＤを取得する機能を有する。ベースＭＶＤは、ベースレイヤで最後に符号化した動きベクトルとの差としてベースビットストリーム中に符号化されているものである。また、ベースＭＶＤ取得手段２０６は、動き拡大部２０７と接続しており、取得したベースＭＶＤを動き拡大部２０７に送る機能を有する。

動き拡大部２０７は、ベースレイヤのＭＶＤを拡大する機能を有する。動き拡大部２０７は、ベースＭＶＤ取得手段２０６、変換ＭＶＤ算出手段切替部２０９と接続しており、ベースＭＶＤ取得手段２０６から入力したベースＭＶＤを縦横それぞれ２倍し、変換ＭＶＤ算出手段切替部２０９に送る。

Ｅｎｈデコード／符号化方式変換部２０５は、ＥｎｈＭＶＤ取得部２０８、変換ＭＶＤ算出手段切替部２０９、変換ＭＶＤ算出部２１０、ラストＭＶＤ記憶部２１１から構成されている。ＥｎｈＭＶＤ取得部２０８は、図１２のＥｎｈＭＶＤ取得部４０９と同様の機能を有する。ＥｎｈＭＶＤ取得部２０８は、Ｅｎｈビットストリームから、動きベクトル差ＥｎｈＭＶＤを取得する機能を有する。ＥｎｈＭＶＤは、ベースレイヤの対応する位置の動きベクトルとの差としてＥｎｈビットストリーム中に符号化されているものである。

変換ＭＶＤ算出手段切替部２０９は、変換ＭＶＤ算出部２１０の入力を制御する機能を有する。ブロックナンバー入力端子２０３から入力されるブロックナンバーが”０”のとき、変換ＭＶＤ算出手段切替部２０９はオンになり、変換ＭＶＤ算出部２１０へ、２ベースＭＶＤを送る。このときは変換ＭＶＤ算出部２１０の入力は、ＥｎｈＭＶＤ、ラストＭＶＤ、２ベースＭＶＤの３入力となる。ブロックナンバーが”０”でないとき、変換ＭＶＤ算出手段切替部２０９はオフになり、変換ＭＶＤ算出部２１０の入力は、ＥｎｈＭＶＤ、ラストＭＶＤの２入力となる。

変換ＭＶＤ算出部２１０は、出力符号化方式の構文に合致した、変換ＭＶＤを算出する機能を有する。変換ＭＶＤ算出部２１０は、ＥｎｈＭＶＤ取得部２０８、ＥｎｈラストＭＶＤ記憶部２１１、エンコード部２１２、変換ＭＶＤ算出手段切替部２０９に接続しており、ＥｎｈＭＶＤ取得部２０８から送られるＥｎｈＭＶＤから、ラストＭＶＤ記憶部２１１から送られるラストＭＶＤを減算し、変換ＭＶＤ算出手段切替部２０９がオンであった場合は、さらに２ベースＭＶＤを加算することにより変換ＭＶＤを算出する。

換言すると、変換ＭＶＤ算出手段切替部２０９は、変換ＭＶＤ算出部２１０によるＥｎｈＭＶＤからラストＭＶＤを減算し、かつ、２ベースＭＶＤを加算する第１の算出動作と、ＥｎｈＭＶＤからラストＭＶＤを減算する第２の算出動作とを、後述するように、上位階層復号領域（ブロック）の直前に復号した領域（ブロック）が、下位階層復号領域（ブロック）と空間的に同じ領域にあるか否かを示すブロックナンバーに応じて切り替え、同じ領域にある場合は第２の算出動作を選択し、同じ領域にない場合は第１の算出動作を選択させる切替手段を構成しているといえる。

そして、変換ＭＶＤ算出部２１０により算出された変換ＭＶＤはエンコード部２１２に送られると共に、ラストＭＶＤ記憶部２１１に入力されてＥｎｈラストＭＶＤとして記憶される。ラストＭＶＤ記憶部２１１は、時間的に一つ前に変換したＭＶＤを記憶する機能を有する。これは変換ＭＶＤを算出するために使用する。エンコード部２１２は、図９のエンコード部３０６と同様の動作を行う。

次に、図３に示した本発明になる動画像符号化の動き情報変換装置の第２の実施の形態の要部の動作を、図４のフローチャートを併せ参照して説明する。まず、符号化対象の動画像信号を符号化して得られた下位階層（ベースレイヤ）の動画像符号化画像と、この下位階層の動画像符号化画像を生成する際に用いたコード化情報として第１の所定画素数のブロック単位で得られる動きベクトルのうち隣接する２つの動きベクトルの差であるベースＭＶＤを少なくとも含むベースビットストリームと、前記符号化対象の動画像信号を下位階層よりも空間解像度高く符号化して得られた上位階層の動画像符号化画像と、この上位階層の動画像符号化画像を生成する際に用いたコード化情報として第２の所定画素数のブロック単位で得られる動きベクトルのうち下位階層の対応する複数のブロックの動きベクトルとの差であるＥｎｈＭＶＤを少なくとも含むＥｎｈビットストリームと、下位階層のブロックと空間的に対応する上位階層の複数のブロックの位置を示すブロックナンバーとが多重化された階層符号化方式のビットストリームが、図９の分離化部３０２と同様の分離化部（図示せず）により分離され、分離されたベースビットストリームがベースビットストリーム入力端子２０１に入力されると共に、分離されたＥｎｈビットストリームがＥｎｈビットストリーム入力端子２０２に入力される。更に、分離されたブロックナンバーがブロックナンバー入力端子２０３に入力される。

まず、ブロックナンバー入力端子２０３に入力されるブロックナンバーが”０”であるかどうかが判定され（ステップＳ２１）、”０”であるときには、変換ＭＶＤ算出手段切替部２０９はオンになり、ステップＳ２２に進み、”０”でないときには変換ＭＶＤ算出手段切替部２０９はオフになり、ステップＳ２４に進む。ブロックナンバーの詳細については後述するが、ブロックナンバーが”１”のときは、一つ前のブロックは”０”であり、ブロックナンバー”１”のブロックとブロックナンバー”０”のブロックとは同じブロックを参照するため、ブロックナンバー”１”のＭＶとブロックナンバー”０”のＭＶの差分の変換ＭＶＤ１を算出する段において、（９ｂ）式に示すようにベースレイヤのＭＶがキャンセルされる。同様に、同じマクロブロック内においてブロック間のＭＶの差分を算出するときには、後述する（９ｃ）式、（９ｄ）式に示すように、ベースレイヤのＭＶがキャンセルされるため、スイッチ２０９はオフとされる。

これに対し、ブロックナンバー”０”のブロックの一つ前のブロックは一つ前の８画素×８画素のマクロブロック（サブマンロブロック）のブロックナンバー”３”のブロックである。ブロックナンバー”０”のブロックと一つ前のマクロブロックのブロックナンバー”３”のブロックとはベースレイヤの異なるブロックを参照しているため、ブロックナンバー”０”のブロックのＭＶと一つ前のマクロブロックのブロックナンバー”３”のブロックのＭＶとの差分の変換ＭＶＤ０を算出するときには、ベースレイヤのＭＶが必要となるため、スイッチ２０９をオンとするのである。

図４のステップＳ２１では、ベースＭＶＤ取得手段２０６により、ベースビットストリーム入力端子２０１から入力されたベースビットストリームをエントロピー復号し、復号データ中からベースＭＶＤを取得する。続いて、図３の動き拡大部２０７により、ベースＭＶＤ取得手段２０６から入力したベースＭＶＤを縦横それぞれ２倍する拡大処理が行われ、２ベースＭＶＤが作成される（ステップＳ２３）。この２ベースＭＶＤは変換ＭＶＤ算出手段切替部２０９を通して変換ＭＶＤ算出部２１０へ送られ、ステップＳ２４へ進む。

ステップＳ２４は、ＥｎｈＭＶＤを取得するステップである。ステップＳ２４では、ステップＳ２１でブロックナンバーが”０”でないと判定された場合、又はステップＳ２３で２ベースＭＶＤが作成されると、図３のＥｎｈＭＶＤ取得部２０８が、Ｅｎｈビットストリーム入力端子２０２から入力されＥｎｈビットストリームをエントロピー復号し、その復号データ中からＥｎｈＭＶＤを取り出す（ステップＳ２４）。

続いて、図３の変換ＭＶＤ算出部２１０が、ＥｎｈＭＶＤ取得部２０８により取得されて供給されるＥｎｈＭＶＤと、変換ＭＶＤ算出手段切替部２０９がオンの場合は、動き拡大部２０７で作成されて供給される２ベースＭＶＤとを加算し、更にラストＭＶＤ記憶部２１１からのラストＭＶＤを減算することにより、出力符号化方式の構文に合致した、変換ＭＶＤを算出する（ステップＳ２５）。なお、変換ＭＶＤ算出手段切替部２０９がオフの場合は、変換ＭＶＤ算出部２１０は、ＥｎｈＭＶＤからラストＭＶＤを減算することにより、変換ＭＶＤを算出する。

この算出された変換ＭＶＤは、図９のエンコード部３０６と同様の構成のエンコード部２１２に送られる一方、図３のＭＶＤ記憶部２１１に送られて、エンハンスメントレイヤのラストＭＶＤとして更新記憶され（ステップＳ２６）、処理を終了する。

次に、本実施の形態により、変換ＭＶＤが得られる理由を以下に述べる。図１１と共に説明したように、ベースレイヤピクチャ８０２のあるブロック８０７に対応するエンハンスメントレイヤピクチャ８０１のブロックは、それぞれブロック８０７と同一の大きさのＥｎｈブロック８０３、Ｅｎｈブロック８０４、Ｅｎｈブロック８０５、Ｅｎｈブロック８０６の４つである（縦横２倍の場合）。また、ブロック８０７の動きベクトル８１２に対応するベクトルはそれぞれ、動きベクトル８０８〜８１１である。エンハンスメントレイヤでは各Ｅｎｈブロック８０３〜８０６に対して、ベースレイヤの動きベクトル８１２からの差分を符号化情報として持つ。

ここで、Ｅｎｈブロック８０３、Ｅｎｈブロック８０４、Ｅｎｈブロック８０５、Ｅｎｈブロック８０６をまとめてマクロブロックと呼ぶこととする。マクロブロック、ブロックの処理手順は、動画像符号化方式のＭＰＥＧ（Moving Picture Experts Group）で一般的な処理手順に順ずる。Ｅｎｈブロック８０３、Ｅｎｈブロック８０４、Ｅｎｈブロック８０５、Ｅｎｈブロック８０６には、ブロックナンバー”０”、”１”、”２”、”３”が付与されており、左上から右下に向かいラスタスキャン順でマクロブロック処理を行い、各マクロブロック内では、ブロックナンバー順で昇順に処理を行う。

ここで、上位階層の複数のＥｎｈブロック８０３〜８０６のうち、そのブロックを復号する直前に復号したブロックが下位階層のブロック８０７と空間的に対応する位置にないＥｎｈブロック８０３にはブロックナンバー”０”が付与され、そうでないＥｎｈブロック８０４〜８０６には”０”以外の”１”〜”３”のブロックナンバーが付与される。

以下の計算式中、ビットストリームから取得する変数を太字で表す。ベースレイヤのあるブロックの動きベクトルであるベースＭＶは、
ベースＭＶ＝ベースＭＶＤ＋ベースＭＶ（−１） （６）
で与えられる。ここで、ベースＭＶ（−１）は、一つ前のブロックのベースＭＶである。

また、エンハンスメントレイヤは、空間解像度がベースレイヤの縦横それぞれ２倍であるから、エンハンスメントレイヤのあるブロックの動きベクトルＥｎｈＭＶ０〜ＥｎｈＭＶ３は、次式で与えられる。

ＥｎｈＭＶ０＝２×ベースＭＶ＋ＥｎｈＭＶＤ０ （７ａ）
ＥｎｈＭＶ１＝２×ベースＭＶ＋ＥｎｈＭＶＤ１ （７ｂ）
ＥｎｈＭＶ２＝２×ベースＭＶ＋ＥｎｈＭＶＤ２ （７ｃ）
ＥｎｈＭＶ３＝２×ベースＭＶ＋ＥｎｈＭＶＤ３ （７ｄ）

変換ＭＶＤ０は、（７ａ）、（７ｄ）式を用いて次式で表される。
変換ＭＶＤ０＝ＥｎｈＭＶ０−ＥｎｈＭＶ３（−１）
＝２×ベースＭＶ＋ＥｎｈＭＶＤ０−ＥｎｈＭＶ３（−１）
＝２×ベースＭＶ＋ＥｎｈＭＶＤ０
−２×ベースＭＶ（−１）−ＥｎｈＭＶＤ３（−１）
＝ＥｎｈＭＶＤ０−ＥｎｈＭＶＤ３（−１）
＋２×（ベースＭＶ−ベースＭＶ（−１）） （８）

ただし、上式中、ＥｎｈＭＶ３（−１）はエンハンスメントレイヤのあるマクロブロック内のブロックナンバー”０”のブロック（以下、ブロック０）の一つ前のマクロブロックのブロックナンバー”３”のブロック（以下、ブロック３）の動きベクトルを示す。また、ＥｎｈＭＶＤ３（−１）は、エンハンスメントレイヤのあるマクロブロック内のブロック０の一つ前のマクロブロックのブロック３の動きベクトル差を示す。

（８）式に（６）式を代入すると次式が得られる。
変換ＭＶＤ０＝ＥｎｈＭＶＤ０−ＥｎｈＭＶＤ３（−１）
＋２×ベースＭＶＤ (9a)

また、変換ＭＶＤ１は、（７ａ）式、（７ｂ）式から次式で表される。
変換ＭＶＤ１＝ＥｎｈＭＶ１−ＥｎｈＭＶ０
＝２×ベースＭＶ＋ＥｎｈＭＶＤ１
−２×ベースＭＶ−ＥｎｈＭＶＤ０
＝ＥｎｈＭＶＤ１−ＥｎｈＭＶＤ０ (9b)

変換ＭＶＤ２、変換ＭＶＤ３も変換ＭＶＤ１と同様に、次式で表される。
変換ＭＶＤ２＝ＥｎｈＭＶＤ２−ＥｎｈＭＶＤ１ (9c)
変換ＭＶＤ３＝ＥｎｈＭＶＤ３−ＥｎｈＭＶＤ２ (9d)

（９ａ）式〜（９ｄ）式から分かるように、ブロックナンバー”０”のときの変換ＭＶＤ０は、動き拡大部２０７で拡大した２×ベースＭＶＤを、オンとされている変換ＭＶＤ算出手段切替部２０９を通して変換ＭＶＤ算出部２１０に供給してＥｎｈＭＶＤ０に加算し、更にラストＭＶＤから記憶部２１１からのラストＭＶＤであるＥｎｈＭＶＤ３（−１）を減算することにより、（９ａ）式で表される変換ＭＶＤ０を算出することができる。

また、ブロックナンバー”０”以外のときの変換ＭＶＤ１、変換ＭＶＤ２、変換ＭＶＤ３は、変換ＭＶＤ算出手段切替部２０９をオフとし、変換ＭＶＤ算出部２１０がＥｎｈＭＶＤ取得部２０８により取得されて供給されるＥｎｈＭＶＤからラストＭＶＤ記憶部２１１からのエンハンスメントレイヤのラストＭＶＤを減算することにより、（９ｂ）式、（９ｃ）式、（９ｄ）式で算出することができる。

また、（９ａ）式〜（９ｄ）式から分かるように、変換ＭＶＤ０〜変換ＭＶＤ３を算出する手順において、ベースＭＶ、ＥｎｈＭＶを算出することなく、ビットストリームから取得した各種ＭＶＤに対して、加減算を行うのみで、変換ＭＶＤを算出することができるものであり、これにより正しく変換ＭＶＤ０〜変換ＭＶＤ３を算出することが証明された。

また、本実施の形態によれば、第１の実施の形態と同様に、ベースレイヤの動きベクトルであるベースＭＶと、エンハンスメントレイヤの動きベクトルであるＥｎｈＭＶをそれぞれ復号しなくてもよいので、従来に比べて変換途中に用いるメモリ量を削減することができ、演算量、回路規模を小さくすることができるという特長が得られる。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば、図１や図３の各構成要素の機能、更には入力側に分離化部を、出力側にエンコーダ部を含めた構成の機能をコンピュータにより実行させるコンピュータプログラムである動画像符号化の動き情報変換プログラムも包含するものである。この動画像符号化の動き情報変換プログラムは、記憶媒体に記憶されてコンピュータに取り込まれてもよいし、通信ネットワークを介して配信されてコンピュータに取り込まれてもよい。また、予め装置内に組み込まれていてもよい。

本発明の動画像符号化の動き情報変換装置の第１の実施の形態の要部のブロック図である。 図１に示す装置の動作を説明するためのフローチャートである。 本発明の動画像符号化の動き情報変換装置の第２の実施の形態の要部のブロック図である。 図３に示す装置の動作を説明するためのフローチャートである。 一般的な階層符号化方式の復号装置を示すブロック図である。 階層符号化方式の復号装置の動作を説明するためのフローチャートである。 一般的な符号化方式変換装置の一例のブロック図である。 図７の装置の動作を説明するためのフローチャートである。 階層符号化方式を非階層符号化方式に変換する従来の符号化方式変換装置の一例のブロック図である。 図９の符号化方式変換装置の動作を説明するためのフローチャートである。 階層間動き予測を説明するための図である。 従来の動き変換装置の一例のブロック図である。 図１２の動き変換装置の動作を説明するためのフローチャートである。

符号の説明

１０１、２０１ ベースビットストリーム入力端子
１０２、２０２ Ｅｎｈビットストリーム入力端子
１０３、２０４ ベースデコード部
１０４、２０５ Ｅｎｈデコード／符号化方式変換部
１０５、２０６ ベースＭＶＤ取得手段
１０６、２０８ ＥｎｈＭＶＤ取得部
１０７、２１０ 変換ＭＶＤ算出部
１０８、２１１ ラストＭＶＤ記憶部
１０９、２１２ エンコード部
２０３ ブロックナンバー入力端子
２０７ 動き拡大部

Claims (10)

1. 多重化されて階層符号化方式のビットストリームを構成するベースビットストリームとＥｎｈビットストリームとのうち、前記ベースビットストリームは、符号化対象の動画像信号を符号化して得られた下位階層の動画像符号化画像と、この下位階層の動画像符号化画像を生成する際に用いた第１のコード化情報とからなり、この第１のコード化情報として第１の所定画素数のブロック単位で得られる動きベクトルのうち隣接する２つの動きベクトルの差であるベースＭＶＤを少なくとも含むビットストリームであり、前記Ｅｎｈビットストリームは、前記符号化対象の動画像信号を下位階層と同じ空間解像度で符号化して得られた上位階層の動画像符号化画像と、この上位階層の動画像符号化画像を生成する際に用いた第２のコード化情報とからなり、この第２のコード化情報として第２の所定画素数のブロック単位で得られる動きベクトルと空間的に対応する下位階層のブロックの動きベクトルとの差であるＥｎｈＭＶＤを少なくとも含むビットストリームである、前記階層符号化方式のビットストリームの動き情報を変換する動画像符号化の動き情報変換装置であって、
   前記階層符号化方式のビットストリームを前記ベースビットストリームと前記Ｅｎｈビットストリームとに分離する分離化手段と、
   分離された前記ベースビットストリームから前記ベースＭＶＤを取得する第１の取得手段(105)と、
   分離された前記Ｅｎｈビットストリームから前記ＥｎｈＭＶＤを取得する第２の取得手段(106)と、
   前記第１の取得手段で取得された前記ベースＭＶＤと、前記第２の取得手段で取得された前記ＥｎｈＭＶＤと、時間的に一つ前に変換した動きベクトル差であるラストＭＶＤとに基づいて、出力符号化方式の構文に合致した変換ＭＶＤを算出する算出手段(107)と、
   算出された前記変換ＭＶＤを記憶して前記算出手段に前記ラストＭＶＤとして供給する記憶手段(108)と、
   を有することを特徴とする動画像符号化の動き情報変換装置。
2. 前記算出手段は、前記第１の取得手段で取得された前記ベースＭＶＤと、前記第２の取得手段で取得された前記ＥｎｈＭＶＤとを加算し、かつ、前記ラストＭＶＤを減算することにより、これから変換するブロックに対応する上位階層の動きベクトルと、時間的に時間的に一つ前に変換したブロックに対応する上位階層の動きベクトルとの差分である前記変換ＭＶＤを算出することを特徴とする請求項１記載の動画像符号化の動き情報変換装置。
3. 多重化されて階層符号化方式のビットストリームを構成するベースビットストリームとＥｎｈビットストリームとブロックナンバーとのうち、前記ベースビットストリームは、符号化対象の動画像信号を符号化して得られた下位階層の動画像符号化画像と、この下位階層の動画像符号化画像を生成する際に用いた第１のコード化情報とからなり、この第１のコード化情報として第１の所定画素数のブロック単位で得られる動きベクトルのうち隣接する２つの動きベクトルの差であるベースＭＶＤとを少なくとも含むビットストリームであり、前記Ｅｎｈビットストリームは、前記符号化対象の動画像信号を前記下位階層よりも空間解像度高く符号化して得られた上位階層の動画像符号化画像と、この上位階層の動画像符号化画像を生成する際に用いた第２のコード化情報とからなり、この第２のコード化情報として第２の所定画素数のブロック単位で得られる上位階層の動きベクトルのうち、前記第１の所定画素数の下位階層のブロックと空間的に対応する上位階層の複数のブロックの各動きベクトルと前記下位階層の動きベクトルとの差であるＥｎｈＭＶＤを少なくとも含むビットストリームであり、前記ブロックナンバーは、前記下位階層のブロックと空間的に対応する前記上位階層の複数のブロックの位置を示す情報である、前記階層符号化方式のビットストリームの動き情報を変換する動画像符号化の動き情報変換装置であって、
   前記階層符号化方式のビットストリームを前記ベースビットストリームと前記Ｅｎｈビットストリームと前記ブロックナンバーとに分離する分離化手段と、
   分離された前記ベースビットストリームから前記ベースＭＶＤを取得する第１の取得手段(206)と、
   分離された前記Ｅｎｈビットストリームから前記ＥｎｈＭＶＤを取得する第２の取得手段(208)と、
   前記第１の取得手段で取得された前記ベースＭＶＤを、前記上位階層と前記下位階層との空間解像度の比率に応じた倍率で拡大する拡大手段(207)と、
   前記第２の取得手段で取得された前記ＥｎｈＭＶＤと、前記拡大手段で拡大された拡大後のベースＭＶＤと、時間的に一つ前に変換した動きベクトル差であるラストＭＶＤとに基づいて、出力符号化方式の構文に合致した第１の変換ＭＶＤを算出する第１の算出手段(210)と、
   前記第２の取得手段で取得された前記ＥｎｈＭＶＤと、前記ラストＭＶＤとに基づいて、出力符号化方式の構文に合致した第２の変換ＭＶＤを算出する第２の算出手段(210)と、
   分離された前記ブロックナンバーに応じて、前記第１の算出手段及び前記第２の算出手段のいずれか一方を選択して、選択後の前記第１又は第２の変換ＭＶＤを最終的に算出された変換ＭＶＤとする切替手段(209)と、
   前記切替手段により選択され、最終的に算出された前記変換ＭＶＤを記憶して前記第１及び第２の算出手段に前記ラストＭＶＤとして供給する記憶手段(211)と、
   を有することを特徴とする動画像符号化の動き情報変換装置。
4. 前記切替手段は、
   前記ブロックナンバーが、前記上位階層の複数のブロックのうち、そのブロックを復号する直前に復号したブロックが前記下位階層のブロックと空間的に対応する位置にないブロックであることを示す値であるときは前記第１の算出手段を選択し、そのブロックを復号する直前に復号したブロックが前記下位階層のブロックと空間的に対応する位置にあるブロックであることを示す値であるときは前記第２の算出手段を選択する、
   ことを特徴とする請求項３記載の動画像符号化の動き情報変換装置。
5. 前記第１の算出手段は、前記第２の取得手段で取得された前記ＥｎｈＭＶＤと、前記拡大後のベースＭＶＤとを加算し、かつ、前記ラストＭＶＤを減算することにより前記第１の変換ＭＶＤを算出する手段であり、
   前記第２の算出手段は、前記第２の取得手段で取得された前記ＥｎｈＭＶＤから前記ラストＭＶＤを減算することにより前記第２の変換ＭＶＤを算出する手段であり、
   前記第１の変換ＭＶＤ及び前記第２の変換ＭＶＤは、それぞれこれから変換するブロックに対応する上位階層の動きベクトルと、時間的に一つ前に変換したブロックに対応する上位階層の動きベクトルとの差分であることを特徴とする請求項３又は４記載の動画像符号化の動き情報変換装置。
6. 多重化されて階層符号化方式のビットストリームを構成するベースビットストリームとＥｎｈビットストリームとのうち、前記ベースビットストリームは、符号化対象の動画像信号を符号化して得られた下位階層の動画像符号化画像と、この下位階層の動画像符号化画像を生成する際に用いた第１のコード化情報とからなり、この第１のコード化情報として第１の所定画素数のブロック単位で得られる動きベクトルのうち隣接する２つの動きベクトルの差であるベースＭＶＤを少なくとも含むビットストリームであり、前記Ｅｎｈビットストリームは、前記符号化対象の動画像信号を下位階層と同じ空間解像度で符号化して得られた上位階層の動画像符号化画像と、この上位階層の動画像符号化画像を生成する際に用いた第２のコード化情報とからなり、この第２のコード化情報として第２の所定画素数のブロック単位で得られる動きベクトルと空間的に対応する下位階層のブロックの動きベクトルとの差であるＥｎｈＭＶＤを少なくとも含むビットストリームであり、前記階層符号化方式のビットストリームの動き情報を変換する動作を、コンピュータにより実行させる符号化方式変換プログラムであって、
   前記コンピュータを、
   前記階層符号化方式のビットストリームを前記ベースビットストリームと前記Ｅｎｈビットストリームとに分離する分離化手段と、
   分離された前記ベースビットストリームから前記ベースＭＶＤを取得する第１の取得手段と、
   分離された前記Ｅｎｈビットストリームから前記ＥｎｈＭＶＤを取得する第２の取得手段と、
   前記第１の取得手段で取得された前記ベースＭＶＤと、前記第２の取得手段で取得された前記ＥｎｈＭＶＤと、時間的に一つ前に変換した動きベクトル差であるラストＭＶＤとに基づいて、出力符号化方式の構文に合致した変換ＭＶＤを算出する算出手段と、
   算出された前記変換ＭＶＤを記憶して前記算出手段に前記ラストＭＶＤとして供給する記憶手段と、
   して機能させることを特徴とする動画像符号化の動き情報変換プログラム。
7. 前記算出手段は、前記第１の取得手段で取得された前記ベースＭＶＤと、前記第２の取得手段で取得された前記ＥｎｈＭＶＤとを加算し、かつ、前記ラストＭＶＤを減算することにより、これから変換するブロックに対応する上位階層の動きベクトルと、時間的に時間的に一つ前に変換したブロックに対応する上位階層の動きベクトルとの差分である前記変換ＭＶＤを算出することを特徴とする請求項６記載の動画像符号化の動き情報変換プログラム。
8. 多重化されて階層符号化方式のビットストリームを構成するベースビットストリームとＥｎｈビットストリームとブロックナンバーとのうち、前記ベースビットストリームは、符号化対象の動画像信号を符号化して得られた下位階層の動画像符号化画像と、この下位階層の動画像符号化画像を生成する際に用いた第１のコード化情報とからなり、この第１のコード化情報として第１の所定画素数のブロック単位で得られる動きベクトルのうち隣接する２つの動きベクトルの差であるベースＭＶＤを少なくとも含むビットストリームであり、前記Ｅｎｈビットストリームは、前記符号化対象の動画像信号を下位階層と同じ空間解像度で符号化して得られた上位階層の動画像符号化画像と、この上位階層の動画像符号化画像を生成する際に用いた第２のコード化情報とからなり、この第２のコード化情報として第２の所定画素数のブロック単位で得られる動きベクトルと空間的に対応する下位階層のブロックの動きベクトルとの差であるＥｎｈＭＶＤを少なくとも含むビットストリームであり、前記ブロックナンバーは、前記下位階層のブロックと空間的に対応する前記上位階層の複数のブロックの位置を示す情報である、前記階層符号化方式のビットストリームの動き情報を変換する動作を、コンピュータにより実行させる符号化方式変換プログラムであって、
   前記コンピュータを、
   前記階層符号化方式のビットストリームを前記ベースビットストリームと前記Ｅｎｈビットストリームと前記ブロックナンバーとに分離する分離化手段と、
   分離された前記ベースビットストリームから前記ベースＭＶＤを取得する第１の取得手段と、
   分離された前記Ｅｎｈビットストリームから前記ＥｎｈＭＶＤを取得する第２の取得手段と、
   前記第１の取得手段で取得された前記ベースＭＶＤを、前記上位階層と前記下位階層との空間解像度の比率に応じた倍率で拡大する拡大手段と、
   前記第２の取得手段で取得された前記ＥｎｈＭＶＤと、前記拡大手段で拡大された拡大後のベースＭＶＤと、時間的に一つ前に変換した動きベクトル差であるラストＭＶＤとに基づいて、出力符号化方式の構文に合致した第１の変換ＭＶＤを算出する第１の算出手段と、
   前記第２の取得手段で取得された前記ＥｎｈＭＶＤと、前記ラストＭＶＤとに基づいて、出力符号化方式の構文に合致した第２の変換ＭＶＤを算出する第２の算出手段と、
   分離された前記ブロックナンバーに応じて、前記第１の算出手段及び前記第２の算出手段のいずれか一方を選択して、選択後の前記第１又は第２の変換ＭＶＤを最終的に算出された変換ＭＶＤとする切替手段と、
   前記切替手段により選択され、最終的に算出された前記変換ＭＶＤを記憶して前記第１及び第２の算出手段に前記ラストＭＶＤとして供給する記憶手段と、
   して機能させることを特徴とする動画像符号化の動き情報変換プログラム。
9. 前記切替手段は、
   前記ブロックナンバーが、前記上位階層の複数のブロックのうち、そのブロックを復号する直前に復号したブロックが前記下位階層のブロックと空間的に対応する位置にないブロックであることを示す値であるときは前記第１の算出手段を選択し、そのブロックを復号する直前に復号したブロックが前記下位階層のブロックと空間的に対応する位置にあるブロックであることを示す値であるときは前記第２の算出手段を選択する、
   ことを特徴とする請求項８記載の動画像符号化の動き情報変換プログラム。
10. 前記第１の算出手段は、前記第２の取得手段で取得された前記ＥｎｈＭＶＤと、前記拡大後のベースＭＶＤとを加算し、かつ、前記ラストＭＶＤを減算することにより前記第１の変換ＭＶＤを算出する手段であり、
    前記第２の算出手段は、前記第２の取得手段で取得された前記ＥｎｈＭＶＤから前記ラストＭＶＤを減算することにより前記第２の変換ＭＶＤを算出する手段であり、
    前記第１の変換ＭＶＤ及び前記第２の変換ＭＶＤは、それぞれこれから変換するブロックに対応する上位階層の動きベクトルと、時間的に一つ前に変換したブロックに対応する上位階層の動きベクトルとの差分であることを特徴とする請求項８又は９記載の動画像符号化の動き情報変換プログラム。

Images