JP2007074215A - 階層的画像符号化装置、トランスコーダ、階層的画像符号化方法およびトランスコーディング方法 - Google Patents

Abstract

【課題】高解像度の画像符号化データを生成する際に、後段のトランスコーダにおいて、少ない演算量かつ高い符号化効率で、高解像度の画像符号化データから、より空間解像度の低い画像符号化データを生成できるようにするための階層的画像符号化装置を得る。
【解決手段】入力画像と低解像度画像の解像度情報とを入力し、低解像度画像を最適に符号化する際の符号化パラメータを生成する低解像度符号化パラメータ生成部１１０と、符号化パラメータの一部を高解像度画像に適用するためにスケール変換した符号化補助情報を生成するパラメータ変換部１２０と、高解像度の画像符号化データを出力する高解像度符号化部１３０と、符号化パラメータ埋め込み情報を生成して出力する符号化パラメータ埋め込み情報符号化部１４０とを備える。
【選択図】図１

Description

本発明は、デジタル画像の符号化に関し、特に、デジタル画像の階層的符号化装置、トランスコーダおよびそれらの方法に関する。

動き補償と変換符号化を組み合わせたハイブリッド符号化方式で圧縮符号化された第一の画像符号化データ（高解像度の画像符号化データに相当）を、時間及び空間解像度の異なる低ビットレートの第二の画像符号化データ（低解像度の画像符号化データに相当）に再符号化する方法がある（例えば、非特許文献１参照）。また、変換係数に逆変換を施すことなく、画像符号化データの再符号化を行う方法もある（例えば、特許文献１参照）。

S. J. Wee, J. G. Apostolopoulos, and N. Feamster, "Field-to-frame transcoding with temporal and spatial downsampling," in Proceedings of the IEEE International Conference on Image Processing, (Kobe, Japan), October 1999 特開２００２−１５２７５５号広報

しかしながら、従来技術には次のような課題がある。非特許文献１の方式では、空間解像度の低い第２の画像符号化データへの再符号化を行うため、圧縮された第１の画像符号化データを逆変換によりいったん伸長した後、画素領域で画像サイズを縮小するとともに、再度、動き補償と変換符号化による符号化を行っている。従って、このような冗長な構成を取るため、トランスコード処理時間が増大するという問題があった。

また、このようなトランスコードに伴う処理時間の短縮を目的とした、逆変換を伴わない変換方式の提案である特許文献１の方式では、第１の画像符号化データを復号して得られた動きベクトルを画像縮小の縮小率に合わせてスケーリングし、第２の画像符号化データの符号化に適用するため、第２の画像符号化データにとって最適でない動きベクトルとなるため、符号化効率がよくないという問題があった。

本発明は上述のような課題を解決するためになされたもので、高解像度に相当する第１の画像符号化データを生成する際に、後段のトランスコーダにおいて、少ない演算量かつ高い符号化効率で、第１の画像符号化データから、より空間解像度の低い第２の画像符号化データを生成できるようにするための階層的画像符号化装置およびその方法を得ることを目的とする。

さらに、階層的画像符号化装置によって生成された高解像度に相当する第１の画像符号化データから、より空間解像度の低い第２の画像符号化データを少ない演算量かつ高い符号化効率で生成するトランスコーダおよびその方法を得ることを目的とする。

本発明に係る階層的画像符号化装置は、入力画像と、入力画像の縮小画像である低解像度画像の解像度情報とを入力し、低解像度画像を最適に符号化する際の符号化パラメータを生成する低解像度符号化パラメータ生成部と、低解像度画像の解像度情報に基づいて符号化パラメータの一部を高解像度画像に適用するためにスケール変換した符号化補助情報を生成するパラメータ変換部と、低解像度画像の解像度情報およびあらかじめ定められたパラメータ埋め込み規則に従って、符号化補助情報を高解像度に相当する入力画像の符号化に適用し、高解像度の画像符号化データを出力する高解像度符号化部と、低解像度画像の解像度情報およびパラメータ埋め込み規則を符号化した符号化パラメータ埋め込み情報を出力する符号化パラメータ埋め込み情報符号化部とを備えるものである。

また、本発明に係るトランスコーダは、入力した符号化パラメータ埋め込み情報を復号することによりパラメータ埋め込み規則および低解像度画像の解像度情報を生成する埋め込み情報データ復号部と、入力した高解像度の画像符号化データを復号することにより高解像度復号画像を生成するとともに、パラメータ埋め込み規則および低解像度画像の解像度情報に基づいて低解像度符号化パラメータを生成する高解像度復号部と、高解像度復号画像を低解像度画像の解像度情報に基づいて縮小変換し、低解像度処理対象画像を生成する復号画像縮小部と、低解像度符号化パラメータを低解像度画像の解像度情報に基づいて変換処理し、低解像度符号化補助情報を生成するパラメータ復元部と、低解像度処理対象画像を低解像度符号化補助情報を用いて符号化し、低解像度の画像符号化データを出力する低解像度符号化データ生成部とを備えるものである。

本発明によれば、高解像度に相当する第１の画像符号化データを出力する際に、あらかじめ解像度の低い第２の画像符号化データの情報も合わせて出力することにより、後段のトランスコーダにおいて、少ない演算量かつ高い符号化効率で、第１の画像符号化データから、より空間解像度の低い第２の画像符号化データを生成できるようにするための階層的画像符号化装置およびその方法を得ることができる。

また、本発明によれば、解像度の高い第１の画像符号化データとともに入力した解像度の低い第２の画像符号化データの情報を用いてトランスコード処理を行うため、階層的画像符号化装置によって生成された高解像度に相当する第１の画像符号化データから、より空間解像度の低い第２の画像符号化データを少ない演算量かつ高い符号化効率で生成するトランスコーダおよびその方法を得ることができる。

以下、本発明の階層的画像符号化装置、トランスコーダ、およびそれらの方法に好適な実施の形態につき図面を用いて説明する。

実施の形態１．
図１は、本発明の実施の形態１に係る階層的画像符号化装置の構成を示すブロック図である。階層的画像符号化装置１００は、入力画像を階層的画像に符号化して得られる画像符号化データを出力するとともに、後段のトランスコーダで使用するための符号化パラメータ埋め込み情報を出力する装置である。この階層的画像符号化装置１００は、低解像度符号化パラメータ生成部１１０、パラメータ変換部１２０、高解像度符号化部１３０、および符号化パラメータ埋め込み情報符号化部１４０から構成される。

なお、本実施の形態１においては、説明を分かりやすくするために、入力画像である高解像度画像としては、水平解像度１９２０画素×垂直解像度１０８０画素の動画像を想定し、低解像度画像としては、水平解像度３２０画素×垂直解像度１８０画素の動画像を想定して説明する。なお、これらの数値は一例であり、いかなるサイズであっても本発明を適用することが可能である。

低解像度符号化パラメータ生成部１１０は、入力される高解像度画像および低解像度画像の解像度情報に基づいて、低解像度画像の最適符号化を行うための符号化パラメータを生成し、低解像度符号化パラメータとして出力する。符号化方式として、ここではＨ．２６４を例に説明を行うが、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１、Ｈ．２６３などの国際標準となっている動画像符号化方式を適用することも可能である。さらに、他のブロックベースの符号化方式であってもよい。

低解像度符号化パラメータとしては、例えば、マクロブロックの種別を特定するマクロブロックタイプ、サブマクロブロックタイプ、動きベクトル、参照画像番号、イントラ予測モードなど、いかなる符号化パラメータであっても含めることができる。

図２は、本発明の実施の形態１における低解像度符号化パラメータ生成部１１０の構成を示すブロック図である。図２に示すように、低解像度符号化パラメータ生成部１１０は、入力画像縮小部１１１と低解像度符号化部１１２とを備えるように構成することができる。

入力画像縮小部１１１は、低解像度画像の解像度情報として６分の１の縮小率の情報を得ることにより、入力画像である１９２０×１０８０画素の画像を水平および垂直方向にそれぞれ６分の１に縮小して３２０×１８０画素の低解像度入力画像を生成する。

低解像度符号化部１１２は、入力画像縮小部１１１で生成された低解像度入力画像に対して符号化処理を行うことによって得られる各マクロブロックのマクロブロックタイプおよびサブマクロブロックタイプ、ならびに、各ブロックの動きベクトル、参照画像番号、イントラ予測モードなどを低解像度符号化パラメータとして出力する。

次に、図１のパラメータ変換部１２０は、低解像度画像の解像度情報に基づいて、低解像度符号化パラメータ生成部１１０で生成された低解像度符号化パラメータの一部を高解像度画像に適用するためのスケーリング処理を行い、符号化補助情報として出力する。例えば、上記で説明したように、高解像度画像が１９２０×１０８０画素、低解像度画像が３２０×１８０画素の場合には、低解像度画像の解像度情報として与えられる縮小率は、水平および垂直方向ともに６分の１となっているため、動きベクトル情報については、スケーリング処理によって水平および垂直方向とも６倍とする。

図３は、本発明の実施の形態１における低解像度符号化パラメータ生成部１１０で生成される符号化パラメータの具体例を示す図であり、処理対象のマクロブロックの一例を示したものである。図３の具体例において、低解像度符号化パラメータ生成部１１０は、８×８画素ブロックからなる４つのマクロブロックを生成している。さらに、左上の８×８画素ブロックは、２つの４×８画素ブロックに分割され、右下の８×８画素ブロックは、４つの４×４画素ブロックに分割されている。

分割されたそれぞれのブロックに対応する動きベクトルは、図３に示された次の値であるとする。すなわち、左上の８×８画素ブロックにおいては、２つに分割されたうちの左側の４×８画素ブロックの動きベクトルが（−１，５）であり、右側の４×８画素ブロックの動きベクトルが（３，７）であるとする。また、右上の８×８画素ブロックの動きベクトルが（０，０）であるとする。また、左下の８×８画素ブロックの動きベクトルが（１６，３）であるとする。

さらに、右下の８×８画素ブロックにおいては、４つに分割されたうちの左上の４×４画素ブロックの動きベクトルが（７，−３）であり、右上の４×４画素ブロックの動きベクトルが（−２，０）であり、左下の４×４画素ブロックの動きベクトルが（５，−３）であり、右下の４×４画素ブロックの動きベクトルが（−１，−１）であるとする。

また、８×８画素ブロックからなる４つのマクロブロックにおいて、左上の８×８画素ブロックの参照画像番号が０、右上の８×８画素ブロックの参照画像番号が３、左下の８×８画素ブロックの参照画像番号が１、右下の８×８画素ブロックの参照画像番号が０であるとする。

パラメータ変換部１２０は、動きベクトルについて水平方向および垂直方向に６倍のスケーリング処理を行うため、それぞれの動きベクトルの値を６倍する。具体的には、左上の８×８画素ブロック内の左側の４×８画素ブロックの動きベクトルが（−６，３０）、左上の８×８画素ブロック内の右側の４×８画素ブロックの動きベクトルが（１８，４２）、右上の８×８画素ブロックの動きベクトルが（０，０）、左下の８×８画素ブロックの動きベクトルが（９６，１８）となる。

同様に、右下の８×８画素ブロック内において、左上の４×４画素ブロックの動きベクトルが（４２，−１８）、右上の４×４画素ブロックの動きベクトルが（−１２，０）、左下の４×４画素ブロックの動きベクトルが（３０，−１８）、右下の４×４画素ブロックの動きベクトルが（−６，−６）となる。

また、マクロブロックタイプ、サブマクロブロックタイプ、参照画像番号およびイントラ予測モードについては、変換処理を行わずに出力する。パラメータ変換部１２０は、このようにして一部のデータについて必要な変換を施した符号化補助情報を出力する。

次に、図１の高解像度符号化部１３０は、高解像度に相当する入力画像の符号化を行い、その結果として得られる画像符号化データを出力する。その際、高解像度符号化部１３０は、低解像度画像の解像度情報およびあらかじめ決定された埋め込み規則に従って、パラメータ変換部１２０から得られる符号化補助情報によって特定される符号化パラメータを所定部分領域の符号化に適用する。

例えば、上記で説明したように高解像度画像が１９２０×１０８０画素、低解像度画像が３２０×１８０画素の場合、縮小率は、水平方向および垂直方向ともに６分の１となっている。従って、低解像度画像において１個のマクロブロック（１６×１６画素）は、高解像度画像において水平方向および垂直方向にそれぞれ６個、すなわち３６個のマクロブロック（９６×９６画素）に対応する。

このように、低解像度画像の１個のマクロブロックに対応する高解像度画像における部分領域をマクロブロック対応領域と呼ぶこととする。また、低解像度画像における各ブロックに対応する高解像度画像における部分領域をブロック対応領域と呼ぶこととする。図４は、本発明の実施の形態１に係る処理対象マクロブロックに対する対応マクロブロックの一例を示す図である。図４における１６×１６画素で示された３６個の領域がマクロブロック対応領域に相当し、破線で示された８個の領域がブロック対応領域に相当する。

ここで、あらかじめ決定された埋め込み規則について、具体的に説明する。高解像度符号化部１３０は、次のような規則に従って符号化補助情報を高解像度符号化に適用することによって、埋め込みを施した高解像度の画像符号化データを生成する。

（規則１）符号化補助情報に含まれるマクロブロックタイプおよびサブマクロブロックタイプは、マクロブロック対応領域内の最左上のマクロブロックのマクロブロックタイプおよびサブマクロブロックタイプとして適用する。

（規則２）符号化補助情報に含まれる各ブロックの動きベクトル、参照画像番号およびイントラ予測モードは、ブロック対応領域の最左上の画素（図４において●で示したＭＶ対応点に相当）を含むブロックの動きベクトル、参照画像番号およびイントラ予測モードとして適用する。

本規則を適用した結果を図４に示す。これらの埋め込み規則は、一例を示したものであり、ブロック対応領域内のどの位置に適用するかあらかじめ取り決めておけばよい。従って、例えば、上記「最左上」と記した部分を「中央」「最右上」「最左下」「最右下」などとしてもよいし、その他の位置であってももちろん本発明を適用することができる。また、次のような（規則３）および（規則４）を適用してもよい。

（規則３）符号化補助情報に含まれるマクロブロックタイプおよびサブマクロブロックタイプは、マクロブロック対応領域内の中で最も多く選択されるマクロブロックタイプおよびサブマクロブロックタイプとする。

（規則４）符号化補助情報に含まれる各ブロックの動きベクトル、参照画像番号およびイントラ予測モードは、ブロック対応領域に含まれる全てのブロックにおいて最も多く選択される動きベクトル、参照画像番号およびイントラ予測モードとする。

高解像度符号化部１３０は、このようにして規定される埋め込み規則を適用しながら高解像度符号化を行う。なお、上記埋め込み規則において、マクロブロックタイプ、サブマクロブロックタイプ、動きベクトル、参照画像番号およびイントラ予測モードが特定されない場合には、高解像度符号化部１３０は、通常の符号化処理によってそれぞれの符号化パラメータを決定して符号化を行う。

そして、高解像度符号化部１３０は、上述の埋め込み規則に従った一連の処理によって生成した画像符号化データを出力する。一方、符号化パラメータ埋め込み情報符号化部１４０は、埋め込み規則と低解像度画像の解像度情報とを符号化することにより生成した埋め込み情報データを出力する。

符号化パラメータ埋め込み情報符号化部１４０は、例えば、上述の（規則１）および（規則２）を適用する場合には「０」を、（規則３）および（規則４）を適用する場合には「１」を埋め込み情報データとして出力することができる。また、符号化パラメータ埋め込み情報符号化部１４０は、低解像度画像の解像度情報を符号化して、埋め込み情報データに含めることができる。

具体的には、例えば、水平方向および垂直方向の縮小率を固定長符号化することも可能である。また、別の例では、低解像度画像の水平方向および垂直方向の解像度、またはマクロブロック数を固定長符号化することも可能である。もしくは、水平方向および垂直方向の縮小率、または解像度の組み合わせをテーブルにしておき、そのインデックス番号を符号化するよう構成してもよい。

これらの埋め込み情報データは、低解像度画像の解像度情報に関しては、シーケンスまたはピクチャ単位に、また、埋め込み規則については、シーケンス、ピクチャ、スライス、またはマクロブロック対応領域単位に出力するよう構成する。

高解像度符号化部１３０で生成された画像符号化データ、および符号化パラメータ埋め込み情報符号化部１４０で生成された埋め込み情報データは、多重化して１つのビットストリームとして出力するように構成してもよく、あるいは、それぞれ別回線で伝送するように構成してもよい。

次に、一連の処理動作について説明する。図５は、本発明の実施の形態１における階層的画像符号化装置１００の一連の処理を示すフローチャートである。まず始めに、階層的画像符号化装置１００に高解像度に相当する画像が入力される（ステップＳ５０１）。

次に、低解像度符号化パラメータ生成部１１０は、取り込んだ入力画像を処理し、低解像度符号化パラメータを出力する（ステップＳ５０２）。より具体的には、低解像度符号化パラメータ生成部１１０内の入力画像縮小部１１１は、入力画像を低解像度画像に縮小する（ステップＳ５０２Ａ）。さらに、低解像度符号化部１１２は、縮小された低解像度画像を符号化し、低解像度符号化パラメータを生成する（ステップＳ５０２Ｂ）。

次に、パラメータ変換部１２０は、生成された低解像度符号化パラメータのスケーリング処理を行い、符号化補助情報を生成する（ステップＳ５０３）。次に、高解像度符号化部１３０は、符号化補助情報を用いてあらかじめ決定された埋め込み規則に従って入力画像を符号化することにより、高解像度の画像符号化データを生成する（ステップＳ５０４）。

さらに、符号化パラメータ埋め込み情報符号化部１４０は、高解像度符号化部１３０で適用した符号化パラメータの埋め込み規則および低解像度画像の解像度情報、すなわち縮小率または低解像度画像の解像度を符号化し、埋め込み情報データとして出力する（ステップＳ５０５）。

実施の形態１によれば、階層的画像符号化装置は、埋め込み規則を適用して符号化を行い、画像符号化データに加えて埋め込み情報データを伝送することにより、後段のトランスコーディングに適した階層的な画像符号化データを生成することができる。

実施の形態２．
実施の形態１では、高解像度の画像符号化データおよび符号化パラメータ埋め込み情報を生成する階層的画像符号化装置１００について説明した。本実施の形態２では、階層的画像符号化装置１００で生成された高解像度の画像符号化データおよび符号化パラメータ埋め込み情報に基づいて、時間および空間解像度の異なる低ビットレートの画像データに、少ない演算量かつ高い符号化効率で再符号化するトランスコーダについて説明する。

図６は、本発明の実施の形態２に係るトランスコーダ２００の構成を示すブロック図である。トランスコーダ２００は、高解像度の画像を符号化した第１の画像符号化データおよび埋め込み情報データからなる入力データをトランスコードし、その結果得られる低解像度の画像を符号化した第２の画像符号化データを出力する装置である。

このトランスコーダ２００は、埋め込み情報データ復号部２１０、高解像度復号部２２０、パラメータ復元部２３０、復号画像縮小部２４０、および低解像度符号化データ生成部２５０から構成される。

なお、本実施の形態２においては、説明を分かりやすくするために、実施の形態１と同様に、高解像度画像としては、水平解像度１９２０画素×垂直解像度１０８０画素の動画像を想定し、低解像度画像としては、水平解像度３２０画素×垂直解像度１８０画素の動画像を想定して説明する。なお、これらの数値は、一例であり、いかなるサイズであっても本発明を適用することが可能である。

埋め込み情報データ復号部２１０は、階層的画像符号化装置１００で生成された符号化パラメータ埋め込み情報に含まれている埋め込み情報データを復号し、符号化パラメータの埋め込み規則および低解像度画像の解像度情報を出力する。

高解像度復号部２２０は、階層的画像符号化装置１００で生成された高解像度に相当する第１の画像符号化データを復号し、高解像度復号画像を出力するとともに、埋め込み情報データ復号部２１０で復号された埋め込み規則および低解像度画像の解像度情報に基づき、低解像度符号化パラメータを出力する。

一例として、実施の形態１において説明した（規則１）および（規則２）に従ってマクロブロックの符号化パラメータが埋め込まれて符号化されている場合について説明する。

まず始めに、高解像度復号部２２０は、低解像度画像の解像度情報により、縮小率が６分の１であることを解読する。さらに、高解像度復号部２２０は、埋め込み規則として（規則１）および（規則２）が適用されていることを解読する。

さらに、高解像度復号部２２０は、これらの情報に基づいて、実施の形態１において説明したように低解像度画像のマクロブロックに対応するマクロブロック対応領域、およびブロックに対応するブロック対応領域における復号された符号化パラメータから、低解像度符号化パラメータの生成を行う。

具体的には、高解像度復号部２２０は、まず、当該処理対象マクロブロックに対応するマクロブロック対応領域において（規則１）に基づき、マクロブロック対応領域の最左上のマクロブロックタイプおよびサブマクロブロックタイプを当該処理対象マクロブロックのマクロブロックタイプおよびサブマクロブロックタイプとする。

実施の形態１において示した例では、この処理によって、当該処理対象マクロブロックは４つの８×８画素ブロックに分割され、さらに、左上の８×８画素ブロックが２つの４×８画素ブロックに分割され、右下の８×８画素ブロックが４つの４×４画素ブロックに分割される。

また、高解像度復号部２２０は、（規則２）に基づき当該処理対象マクロブロック内の各ブロックに対する動きベクトル、参照画像番号およびイントラ予測モードを決定する。すなわち、高解像度復号部２２０は、それぞれのブロックに対するブロック対応領域内の最左上の画素を含むブロックの動きベクトル、参照画像番号およびイントラ予測モードを各ブロックに対する低解像度符号化パラメータとして生成する。

上記の例の場合には、左上の８×８画素ブロック内の左側の４×８画素ブロックの動きベクトルが（−６，３０）、左上の８×８画素ブロック内の右側の４×８画素ブロックの動きベクトルが（１８，４２）、右上の８×８画素ブロックの動きベクトルが（０，０）、左下の８×８画素ブロックの動きベクトルが（９６，１８）となる。

同様に、右下の８×８画素ブロック内において、左上の４×４画素ブロックの動きベクトルが（４２，−１８）、右上の４×４画素ブロックの動きベクトルが（−１２，０）、左下の４×４画素ブロックの動きベクトルが（３０，−１８）、右下の４×４画素ブロックの動きベクトルが（−６，−６）となる。

また、左上の８×８画素ブロックの参照画像番号が０、右上の８×８画素ブロックの参照画像番号が３、左下の８×８画素ブロックの参照画像番号が１、右下の８×８画素ブロックの参照画像番号が０となる。

次に、パラメータ復元部２３０は、高解像度復号部２２０で生成された低解像度符号化パラメータの一部を低解像度画像に適用するためのスケーリング処理を行い、低解像度符号化補助情報として出力する。例えば、上記で説明したように、高解像度画像が１９２０×１０８０画素、低解像度画像が３２０×１８０画素の場合には、縮小率は、水平方向および垂直方向ともに６分の１となっているため、動きベクトル情報については、スケーリング処理によって水平方向および垂直方向とも６分の１とする。

具体的には、左上の８×８画素ブロック内の左側の４×８画素ブロックの動きベクトルが（−１、５）、左上の８×８画素ブロック内の右側の４×８画素ブロックの動きベクトルが（３，７）、右上の８×８画素ブロックの動きベクトルが（０，０）、左下の８×８画素ブロックの動きベクトルが（１６，３）と変換される。

同様に、右下の８×８画素ブロック内において、左上の４×４画素ブロックの動きベクトルが（７，−３）、右上の４×４画素ブロックの動きベクトルが（−２，０）、左下の４×４画素ブロックの動きベクトルが（５，−３）、右下の４×４画素ブロックの動きベクトルが（−１，−１）と変換される。

また、マクロブロックタイプ、サブマクロブロックタイプ、参照画像番号およびイントラ予測モードについては、変換処理を行わずに出力する。パラメータ復元部２３０は、このようにして必要な変換を施した低解像度符号化補助情報を出力する。

次に、復号画像縮小部２４０は、高解像度復号部２２０によって復号された高解像度復号画像を、埋め込み情報データ復号部２１０によって出力された低解像度画像の解像度情報に基づいて縮小変換し、低解像度処理対象画像を生成する。すなわち、上記で説明した例のように、高解像度復号画像が１９２０×１０８０画素であり、縮小率が水平方向および垂直方向ともに６分の１である場合には、復号画像縮小部２４０は、３２０×１８０画素の画像データとして低解像度処理対象画像を生成し、出力する。

低解像度符号化データ生成部２５０は、復号画像縮小部２４０で生成された低解像度処理対象画像を、パラメータ復元部２３０で生成された低解像度符号化補助情報に基づいて符号化し、低解像度の画像を符号化した第２の画像符号化データを出力する。

すなわち、前記の例では、低解像度符号化データ生成部２５０は、当該処理対象マクロブロックとして４つの８×８画素ブロックに分割する。さらに、左上の８×８画素ブロックは、２つの４×８画素ブロックに分割され、右下の８×８画素ブロックは、４つの４×４画素ブロックに分割される。

分割されたそれぞれのブロックに対応する動きベクトルは、次の値に決定される。すなわち、左上の８×８画素ブロックにおいては、２つに分割されたうちの左側の４×８画素ブロックの動きベクトルが（−１，５）に、右側の４×８画素ブロックの動きベクトルが（３，７）に決定される。また、右上の８×８画素ブロックの動きベクトルが（０，０）に、左下の８×８画素ブロックの動きベクトルが（１６，３）に決定される。

さらに、右下の８×８画素ブロックにおいては、４つに分割されたうちの左上の４×４画素ブロックの動きベクトルが（７，−３）に、右上の４×４画素ブロックの動きベクトルが（−２，０）に、左下の４×４画素ブロックの動きベクトルが（５，−３）に、右下の４×４画素ブロックの動きベクトルが（−１，−１）に決定される。

また、８×８画素ブロックからなる４つのマクロブロックにおいて、左上の８×８画素ブロックの参照画像番号が０、右上の８×８画素ブロックの参照画像番号が３、左下の８×８画素ブロックの参照画像番号が１、右下の８×８画素ブロックの参照画像番号が０とし、その他の変換処理、量子化、可変長符号化などが実行される。

本実施の形態２では、これらの処理は、Ｈ．２６４符号化方式に基づくものとして説明したが、他の符号化方式を適用してもよい。

次に、一連の処理動作について説明する。図７は、本発明の実施の形態２におけるトランスコーダ２００の一連の処理を示すフローチャートである。まず始めに、トランスコーダ２００に高解像度の画像を符号化した第１の画像符号化データおよび埋め込み情報データが入力される（ステップＳ７０１）。

次に、埋め込み情報データ復号部２１０は、取り込んだ埋め込み情報データを復号し、符号化パラメータの埋め込み規則および低解像度画像の解像度情報を出力する（ステップＳ７０２）。一方、高解像度復号部２２０は、高解像度に相当する第１の画像符号化データを復号し、高解像度復号画像を出力するとともに、埋め込み情報データ復号部２１０から読み込んだ埋め込み規則および低解像度画像の解像度情報に基づき、低解像度符号化パラメータを出力する（ステップＳ７０３）。

次に、パラメータ復元部２３０は、低解像度画像の解像度情報に基づいて低解像度符号化パラメータを変換処理し、低解像度符号化補助情報として出力する（ステップＳ７０４）。一方、復号画像縮小部２４０は、低解像度画像の解像度情報に基づいて高解像度復号画像を縮小処理し、低解像度処理対象画像として出力する（ステップＳ７０５）。

さらに、低解像度符号化データ生成部２５０は、低解像度符号化補助情報に基づいて低解像度処理対象画像を符号化処理し、低解像度の画像を符号化した第２の画像符号化データを出力する（ステップＳ７０６）。

実施の形態２によれば、トランスコーダは、前段の階層的画像符号化装置から、解像度の高い第１の画像符号化データとともに符号化パラメータ埋め込み情報を入力することにより、符号化パラメータ埋め込み情報に基づいて階層的な画像符号化データを処理することができ、低解像度画像の符号化データを高い符号化効率で生成することができる。

本発明の実施の形態１に係る階層的画像符号化装置の構成を示すブロック図である。 本発明の実施の形態１に係る低解像度符号化パラメータ生成部の構成を示すブロック図である。 本発明の実施の形態１に係る処理対象マクロブロックの一例を示す図である。 本発明の実施の形態１に係る処理対象マクロブロックに対する対応マクロブロックの一例を示す図である。 本発明の実施の形態１に係る階層的画像符号化装置の一連の処理を示すフローチャートである。 本発明の実施の形態２に係るトランスコーダの構成を示すブロック図である。 本発明の実施の形態２に係るトランスコーダの一連の処理を示すフローチャートである。

符号の説明

１００ 階層的画像符号化装置、１１０ 低解像度符号化パラメータ生成部、１１１ 入力画像縮小部、１１２ 低解像度符号化部、１２０ パラメータ変換部、１３０ 高解像度符号化部、１４０ 符号化パラメータ埋め込み情報符号化部、２００ トランスコーダ、２１０ 埋め込み情報データ復号部、２２０ 高解像度復号部、２３０ パラメータ復元部、２４０ 復号画像縮小部、２５０ 低解像度符号化データ生成部。

Claims (6)

1. 入力画像と、入力画像の縮小画像である低解像度画像の解像度情報とを入力し、低解像度画像を最適に符号化する際の符号化パラメータを生成する低解像度符号化パラメータ生成部と、
   前記低解像度画像の解像度情報に基づいて前記符号化パラメータの一部を高解像度画像に適用するためにスケール変換した符号化補助情報を生成するパラメータ変換部と、
   前記低解像度画像の解像度情報およびあらかじめ定められたパラメータ埋め込み規則に従って、前記符号化補助情報を高解像度に相当する前記入力画像の符号化に適用し、高解像度の画像符号化データを出力する高解像度符号化部と、
   前記低解像度画像の解像度情報および前記パラメータ埋め込み規則を符号化した符号化パラメータ埋め込み情報を出力する符号化パラメータ埋め込み情報符号化部と
   を備えることを特徴とする階層的画像符号化装置。
2. 請求項１に記載の階層的画像符号化装置において、
   前記低解像度符号化パラメータ生成部は、前記低解像度画像の解像度情報に基づいて前記入力画像の縮小画像である低解像度画像を生成する入力画像縮小部と、
   前記低解像度画像を符号化し、低解像度符号化パラメータを生成する低解像度符号化部と
   を備えることを特徴とする階層的画像符号化装置。
3. 請求項１または２に記載の階層的画像符号化装置において、
   前記高解像度符号化部は、低解像度画像における所定のマクロブロックの符号化パラメータを、高解像度画像において対応する領域の特定の位置におけるマクロブロックの符号化パラメータとして適用する規則を前記パラメータ埋め込み規則として用いることを特徴とする階層的画像符号化装置。
4. 入力した符号化パラメータ埋め込み情報を復号することによりパラメータ埋め込み規則および低解像度画像の解像度情報を生成する埋め込み情報データ復号部と、
   入力した前記高解像度の画像符号化データを復号することにより高解像度復号画像を生成するとともに、前記パラメータ埋め込み規則および前記低解像度画像の解像度情報に基づいて低解像度符号化パラメータを生成する高解像度復号部と、
   前記高解像度復号画像を前記低解像度画像の解像度情報に基づいて縮小変換し、低解像度処理対象画像を生成する復号画像縮小部と、
   前記低解像度符号化パラメータを前記低解像度画像の解像度情報に基づいて変換処理し、低解像度符号化補助情報を生成するパラメータ復元部と、
   前記低解像度処理対象画像を前記低解像度符号化補助情報を用いて符号化し、低解像度の画像符号化データを出力する低解像度符号化データ生成部と
   を備えることを特徴とするトランスコーダ。
5. 入力画像と、入力画像の縮小画像である低解像度画像の解像度情報とを入力し、低解像度画像を最適に符号化する際の符号化パラメータを生成するステップと、
   前記低解像度画像の解像度情報に基づいて前記符号化パラメータの一部を高解像度画像に適用するためにスケール変換した符号化補助情報を生成するステップと、
   前記低解像度画像の解像度情報およびあらかじめ定められたパラメータ埋め込み規則に従って、前記符号化補助情報を高解像度に相当する前記入力画像の符号化に適用し、高解像度の画像符号化データを出力するステップと、
   前記低解像度画像の解像度情報および前記パラメータ埋め込み規則を符号化した符号化パラメータ埋め込み情報を出力するステップと
   を備えることを特徴とする階層的画像符号化方法。
6. 入力した符号化パラメータ埋め込み情報を復号することによりパラメータ埋め込み規則および低解像度画像の解像度情報を生成するステップと、
   入力した前記高解像度の画像符号化データを復号することにより高解像度復号画像を生成するとともに、前記パラメータ埋め込み規則および前記低解像度画像の解像度情報に基づいて低解像度符号化パラメータを生成するステップと、
   前記高解像度復号画像を前記低解像度画像の解像度情報に基づいて縮小変換し、低解像度処理対象画像を生成するステップと、
   前記低解像度符号化パラメータを前記低解像度画像の解像度情報に基づいて変換処理し、低解像度符号化補助情報を生成するステップと、
   前記低解像度処理対象画像を前記低解像度符号化補助情報を用いて符号化し、低解像度の画像符号化データを出力するステップと
   を備えることを特徴とするトランスコーディング方法。

Images