JP2008147998A - 動画像階層符号化装置、動画像階層符号化プログラム、動画像階層復号化装置及び動画像階層復号化プログラム - Google Patents

動画像階層符号化装置、動画像階層符号化プログラム、動画像階層復号化装置及び動画像階層復号化プログラム Download PDF

Info

Publication number
JP2008147998A
JP2008147998A JP2006332817A JP2006332817A JP2008147998A JP 2008147998 A JP2008147998 A JP 2008147998A JP 2006332817 A JP2006332817 A JP 2006332817A JP 2006332817 A JP2006332817 A JP 2006332817A JP 2008147998 A JP2008147998 A JP 2008147998A
Authority
JP
Japan
Prior art keywords
signal
orthogonal transform
prediction
coefficient information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006332817A
Other languages
English (en)
Other versions
JP4626608B2 (ja
Inventor
Motoharu Ueda
基晴 上田
Satoshi Sakazume
智 坂爪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2006332817A priority Critical patent/JP4626608B2/ja
Publication of JP2008147998A publication Critical patent/JP2008147998A/ja
Application granted granted Critical
Publication of JP4626608B2 publication Critical patent/JP4626608B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】従来の動画像階層符号化における直交変換では、下位階層の復号データを拡大した信号と上位階層の画像信号の間での階層間予測効率が、下位階層の符号化品質の劣化により、低下する問題がある。また、上位階層に関して、動き補償予測と階層間予測を選択的に使用した場合に、ブロック間での信号の不連続性による符号化効率の低下がある。
【解決手段】多重調和局所直交変換器１０８は、符号化対象のブロックの隣接する他のブロックとの境界におけるＤＣＴ係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、符号化対象のブロック内の推定信号に対してＤＣＴを行うことで得られる近似ＤＣＴ係数情報を、直交変換器１０５からのＤＣＴ係数情報を利用して生成する。これにより、ＤＣＴを導入した際により高い周波数のＤＣＴ係数を早く収束させることが可能となり、結果として符号化効率を向上させることができる。
【選択図】図１

Description

本発明は動画像階層符号化装置、動画像階層符号化プログラム、動画像階層復号化装置及び動画像階層復号化プログラムに係り、特に動画像に対して階層符号化を行う際に、ポアソン方程式を満たす条件を境界条件及び拡張情報成分に適したソースモデルに基づいて導出し、その結果を符号化及び復号化に適用することで、従来法よりも符号化効率を向上させることを可能にするための動画像階層符号化装置、動画像階層符号化プログラム、動画像階層復号化装置及び動画像階層復号化プログラムに関する。
従来、映像符号化において空間解像度、時間解像度及びＳＮＲ（信号対雑音比）それぞれのスケーラビリティを実現する階層符号化方式が数多く提案されており、様々な分野でこれらの実用化がなされている。なかでも、空間解像度のスケーラビリティに関しては、解像度の異なる表示装置に対する符号化情報のスケーラビリティ性を可能とし、重要な機能となっている。
映像の空間解像度スケーラビリティを実現する符号化装置及び復号化装置が従来から知られている（例えば、特許文献１参照）。図１５は上記の特許文献１記載の符号化装置及び復号化装置の一例のブロック図を示す。同図において、階層符号化部１５０１には、入力端子１５０４よりオリジナルの映像信号が入力され、階層符号化部１５０１で生成されたビットストリームが通信回線またはメディア１５０２を介して階層復号化部１５０３に伝送される。階層復号化部１５０３では供給されたビットストリームから必要な情報を取り出して、ディスプレイ等の性能に合った空間解像度のデコード映像信号を出力する。図１５の構成例では、低解像度のデコード映像信号が、出力端子１５１４より、高解像度のデコード映像信号が、出力端子１５１５より出力される。
階層符号化部１５０１は、空間的縮小部１５０５、下位階層符号化（ベースレイヤエンコード）部１５０６、空間的拡大部１５０７、上位階層符号化（エンハンスメントレイヤエンコード）部１５０８及び多重化部１５０９から構成される。空間的縮小部１５０５は、オリジナルの映像信号を入力として受け付け、入力された映像信号を所望の空間解像度に空間的縮小（空間デシメーション）する機能と、所望の空間解像度に空間解像度デシメーションされた信号を下位階層符号化部１５０６に出力する機能とを有する。
下位階層符号化部１５０６は、空間的縮小部１５０５の出力信号を入力として受け付け、入力された信号を符号化してビットストリームを生成し、多重化部１５０９へ出力する機能を有する。ここで、施される符号化としては、ＭＰＥＧ−２(Moving Picture Experts Group 2)等の動画像符号化処理が用いられる。また、下位階層符号化部１５０６は、ＭＰＥＧ−２等におけるローカルデコードを行った信号を空間的拡大部１５０７へ出力する機能を有する。
空間的拡大部１５０７は、下位階層符号化部１５０６から出力されるローカルデコード信号を入力として受け付け、入力された信号を上位階層（エンハンスメントレイヤ）の信号の解像度に空間的拡大する（空間インターポレーションする）機能と、上位階層の信号の解像度に空間的拡大した信号を上位階層符号化（エンハンスメントレイヤエンコード）部１５０８へ出力する機能を有する。
上位階層符号化部１５０８は、オリジナルの映像信号と空間的拡大部１５０７より出力される信号を入力として受け付け、入力されるそれぞれの信号を用いて、空間解像度間および時間の相関を利用した予測を行い、それに伴って生じる予測誤差信号を符号化する機能と、符号化されて生成したビットストリームを多重化部１５０９に出力する機能とを有する。
多重化部１５０９は、下位階層符号化部１５０６及び上位階層符号化部１５０８より出力されるそれぞれのビットストリームを入力として受け付け、多重化して一つのビットストリームを生成し、階層符号化部１５０１の外部、例えば通信回線やメディア１５０２へ出力する機能を有する。
階層復号化部１５０３は、領域分割（エクストラクト）部１５１０、下位階層復号化（ベースレイヤデコード）部１５１１、空間的拡大（空間インターポレーション）部１５１２および上位階層復号化（エンハンスメントレイヤデコード）部１５１３から構成される。
領域分割部１５１０は、ビットストリームを入力として受け付け、階層復号化部１５０３またはディスプレイ等の性能に合わせて、入力されたビットストリーム全体から復号に必要なものを切り出し、分割してそれぞれを下位階層復号化部１５１１および上位階層復号化部１５１３に出力する機能を有する。
下位階層復号化部１５１１は、領域分割部１５１０で切り出された下位階層（ベースレイヤ）のビットストリームを入力として受け付け、入力されたビットストリームを復号し、デコード映像信号を空間的拡大部１５１２と必要に応じて低解像度映像信号として出力端子１５１４を介してディスプレイ等への出力を行う機能を有する。ここで、復号にはＭＰＥＧ−２デコーダなどを用いる。
空間的拡大部１５１２は、下位階層復号化部１５１１から出力される下位階層復号化信号を入力として受け付け、入力された信号を上位階層（エンハンスメントレイヤ）の信号の解像度に空間的拡大（空間インターポレーション）する機能と、上位階層の信号の解像度に空間的拡大された信号を上位階層復号化部１５１３へ出力する機能を有する。
上位階層復号化部１５１３は、領域分割部１５１０から得られるビットストリームおよび空間的拡大部１５１２から出力される信号を入力として受け付け、入力されるそれぞれの信号を用いて、オリジナル映像信号の空間解像度の信号を復号する機能を有する。復号された映像信号は、高解像度塩蔵信号として出力端子１５１６からディスプレイ等へ出力される。
次に、図１５に示した階層符号化部１５０１の構成例を用いて、映像信号を空間スケーラブル符号化する手順を図１６に示す。階層符号化部１５０１はオリジナルの映像信号を、まず、空間的縮小部１５０５において空間解像度の空間的縮小（デシメーション）を行う（ステップＳ１６０１）。続いて、空間解像度をデシメーションした信号を、下位階層符号化部１５０６を用いて符号化し、ビットストリームを生成する（ステップＳ１６０２）。生成されたビットストリームは多重化部１５０９へ送られ、符号化過程で得られる下位階層のローカルデコード信号は空間的拡大部１５０７へ送られる。
下位階層符号化部１５０６より得られる下位階層のローカルデコード信号は空間的拡大部１５０７において空間解像度の空間的拡大（インターポレーション）される（ステップＳ１６０３）。そして、空間的拡大部１５０７は、空間的拡大した信号を上位階層符号化部１５０８に送る。上位階層符号化部１５０８では、オリジナルの映像信号と空間的拡大部１５０７の出力信号を用いて、空間解像度間および時間の相関を利用した予測を行い、それに伴って生じる予測誤差信号を符号化する（ステップＳ１６０４）。そして、上位階層符号化部１５０８は符号化により生成されたビットストリームを、多重化部１５０９へ送る。下位階層符号化部１５０６および上位階層符号化部１５０８より得られたそれぞれのビットストリームは多重化部１５０９において、多重化され、一つのビットストリームを生成する（ステップＳ１６０５）。
次に、図１５に示した階層復号化部１５０３の構成例を用いて空間スケーラブル構成のビットストリームを復号してデコード映像信号を得る手順を図１７のフローチャーと共に説明する。まず、通信回線やメディア等１５０２からビットストリームを領域分割部１５１０が受信すると、その受信したビットストリームを解析し、階層復号化部１５０３およびディスプレイ等の性能に合わせて必要な符号データを抽出する。そして、下位階層復号化部１５１１、上位階層復号化部１５１３それぞれに対応したデータに分割して出力する（ステップＳ１７０１）。
続いて、領域分割部１５１０で分割したベースレイヤに対応するデータ（下位階層信号）を下位階層復号化部１５１１で復号する（ステップＳ１７０２）。位階層復号化部１５１１はこの復号した下位階層復号化映像信号を空間的拡大部１５１２に出力し、必要があればディスプレイ等にも出力する。下位階層復号化部１５１１より得られる下位階層復号化映像信号は、空間的拡大部１５１２において空間解像度のインターポレーション（空間的拡大）される（ステップＳ１７０３）。そして、空間的拡大した信号を上位階層復号化部１５１３に送る。領域分割部１５１０で分割したエンハンスメントレイヤに対応するデータ（上位階層信号）および空間的拡大部１５１２で空間的拡大した信号を上位階層復号化部１５１３で復号する（ステップＳ１７０４）。そして、復号したデコード映像信号をディスプレイ等へ出力する。
次に、下位階層符号化部１５０６の構成の一例として、ＭＰＥＧ−２エンコーダの符号化処理に関しての説明を行う。まず、時間的に連続する画像フレームを、基準フレームと予測フレームに振り分ける。基準フレームは空間方向の相関のみを用いて符号化する事で、そのフレームの符号化データのみで復元する事ができる。予測フレームは、基準となるフレームからの時間方向の相関と空間方向の相関を共に用いて符号化する事により、基準フレームに対してより符号化効率を高める事ができる。予測フレームの符号化データは、復元された基準フレームと予測フレームの符号化データより復元される。
基準フレームの画像信号は、輝度信号で水平１６画素×垂直１６画素のマクロブロックと呼ばれる処理単位に分割される。分割されたマクロブロックのデータは、更に８×８画素単位の２次元ブロックに分割され、直交変換の一種であるＤＣＴ（Discrete Cosine Transform：離散コサイン変換）処理が行われる。ＤＣＴ変換後の信号はその２次元ブロックの周波数成分に準じた値を示すため、一般的な画像では低域に成分が集中する。また、高周波数成分の情報劣化は低周波数成分の情報劣化よりも視覚的に目立ちにくい性質がある。よって、低域成分を細かく高域成分を粗く量子化し、その係数成分と成分が無い係数０の連続する長さを可変長符号化する事により、情報量を圧縮している。
予測フレームの画像信号は、基準フレームと同様に、輝度信号で水平１６画素×垂直１６画素のマクロブロックの単位に分割される。予測フレームにおいては、マクロブロック毎に基準フレームとの間の動きベクトルが求められ、マクロブロックの各画素に対して、動きベクトルにより切り出された２次元ブロックの各画素との差分ブロックが生成される。
正確な動きベクトルが検出された場合には、差分ブロックの情報量は元のマクロブロックの持っている情報量よりも大幅に少なくなるため、基準フレームよりも粗い量子化処理が可能となる。動きベクトルの検出は、一般的にブロックマッチングにより求められる。このブロックマッチングでは、マクロブロックの各画素と、動きベクトル値だけマクロブロックの存在する水平・垂直の位置を動かした場所の基準フレームを水平１６×垂直１６画素にブロック化した各画素の差分絶対値総和（もしくは差分二乗総和）を求め、その最小値を取る動きベクトルの値を、検出された動きベクトルとして出力する。画面の動きによっては、予測フレームとマッチングする画像が参照フレーム内に存在しない場合もあるため、差分ブロックを符号化するか非差分ブロック（Intraブロック）を符号化するかを選択し（予測モード判定）、選択されたブロックに対して基準フレームと同様のＤＣＴ・可変長符号化処理を施し、情報量が圧縮される。
次に、階層符号化装置にＭＰＥＧ−２画像符号化を使用した従来技術として、図１８のブロック図に示すＭＰＥＧ−２エンコーダを下位階層符号化部１５０６として用いた場合について説明する。同図において、入力端子１８０１より入力されたデジタル画像信号は、入力画像メモリ１８０２に供給されて記憶され、符号化シンタックスに従って符号化される順番に並べ替えを行うため遅延される。入力画像メモリ１８０２から出力されたデジタル画像信号は、２次元ブロック変換器１８０３にてマクロブロックが切り出される。
基準フレームにおいては、マクロブロックデータは減算器１８０４を介して直交変換器１８０５に供給され、ここで水平８画素×垂直８画素単位でＤＣＴ変換が行われてＤＣＴ係数が出力される。ＤＣＴ係数はさらに輝度信号で水平１６画素×垂直１６画素のマクロブロック単位にまとめられて、量子化器１８０６に送られる。量子化器１８０６においては、ＤＣＴ係数を周波数成分毎に異なった値を持つ量子化マトリクスにより、係数毎に異なった値で除算することにより、量子化処理する。量子化処理されたＤＣＴ係数は、エントロピー符号化器１８１０において、符号化テーブル１８０９の係数に対応したアドレスを参照する事により、可変長または固定長の符号化が行われる。エントロピー符号化器１８１０から出力されたビットストリームは、ストリームバッファ１８１１に格納された後、出力端子１８１７を介して、記録媒体もしくは伝送路に出力される。
一方、量子化器１８０６において量子化されたＤＣＴ係数は、逆量子化器１８０７及び逆直交変換器１８０８において逆量子化及び逆ＤＣＴ処理が行われ、量子化されたＤＣＴ係数が復号され、加算器１８１９及び２次元ブロック逆変換器１８１３を介してローカルデコードデータが生成され、参照画像メモリ１８１４に供給されて格納される。ローカルデコードデータは同時に出力端子１８１８から出力され、上位階層（エンハンスメントレイヤ）における予測信号に使用される。参照画像メモリ１８１４に格納されたローカルデコードデータは、予測フレームの符号化処理時に使用される。
続いて、予測フレームにおいては、入力画像メモリ１８０２から切り出されたマクロブロックデータと参照画像メモリ１８１４に格納されている画像との間で、ＭＥ（動き推定）器１８１５によって、画像間での動きベクトルが求められる。ＭＥ器１８１５から出力された動きベクトルは、ＭＣ（動き補償）器１８１６に供給され、ここで参照画像メモリ１８１４内の参照画像から予測ブロックを切り出す。ＭＣ器１８１６では、複数切り出された予測ブロックの中から最適な予測モードの選択を行い、予測ブロックを減算器１８０４及び加算器１８１９に供給する。
減算器１８０４では、入力画像ブロックと予測ブロックとの差分信号を直交変換器１８０５に送り出す。差分信号は、前記基準フレームの各ブロックと同様の処理が行われ、ＤＣＴ係数が量子化処理されエントロピー符号化される。エントロピー符号化器１８１０では、ＭＣ器１８１６から出力される動きベクトルや予測モードを符号化処理されたＤＣＴ係数と共に、所定の構文構造に基づいて符号化し出力することで、符号化ビットストリームを生成する。生成された符号化ビットストリームは、ストリームバッファ１８１１を介して出力端子１８１７に出力される。
一方、量子化器１８０６において量子化されたＤＣＴ係数は、逆量子化器１８０７及び逆直交変換器１８０８において逆量子化及び逆ＤＣＴ処理が行われ、量子化されたＤＣＴ係数が復号され、加算器１８１９において予測ブロックと加算され、ローカルデコードデータが生成される。ローカルデコードデータは、参照を受ける画像の場合には２次元ブロック逆変換器１８１３を介して参照画像メモリ１８１４に供給されて格納される。参照画像メモリ１８１４に格納された画像が、続く予測フレームの符号化処理時に使用される。ＭＰＥＧ−２エンコード部が、図１５の下位階層符号化部１５０６に用いられた場合には、多重化部１５０９にビットストリームが出力され、出力端子１８１８より出力されたローカルデコードデータが空間的拡大部１５０７に供給される。
符号量の制御に関しては、符号量制御器１８１２においてエントロピー符号化器１８１０からストリームバッファ１８１１に出力されたビットストリームの符号量と、目標とする符号量との間で比較がとられ、目標符号量に近づけるために量子化器１８０６の量子化の細かさ（量子化スケール）を制御する。結果として、ＤＣＴ変換後の信号の高い周波数の収束度合いにより量子化スケールが上下する事になり、高周波数成分の多い画像や、動き補償予測の精度が十分でない画像に関しては、量子化スケールが大きくなり、エッジ部などの高周波数成分が存在する領域やブロックの境界において符号化歪を生じる。
特許文献１においては、図１５の上位階層符号化部１５０８においても、ＭＰＥＧ−２エンコード部と同様の機能を有したエンコード部が想定されている。従来のＭＰＥＧ−２エンコード部と異なる部分は、ＤＣＴを行う信号が下位階層のローカルデコード信号に対して空間解像度のインターポレーションを行った拡大ブロックと、動き補償予測された予測ブロックとを適応的に選択、または重み付けを加えた加算ブロックを用いて予測を行った結果の差分ブロックを用いている部分である。
次に従来の上位階層符号化部１５０８の構成を示し、説明する。図１９は上位階層符号化部１５０８の一例のブロック図を示す。この上位階層符号化部１５０８は、図１８に示した下位階層符号化部と比較すると、入力端子１９１３より入力された空間的拡大処理された画像信号（インターポレーション画像信号）を、２次元ブロックに切り出す階層間予測器１９１４と、階層間予測と動き補償予測との間で、両者の重み付け予測を含めて最適な予測方式を選択するモード判定器１９１５が追加された構成になる。
インターポレーション画像信号は、図１５の空間的拡大部１５０７から出力される拡大されたベースレイヤのローカルデコードデータである。動きベクトルや予測モード情報は、モード判定器１９１５により、エントロピー符号化器１９０７に送られ、量子化されたＤＣＴ係数と共に符号化され、ビットストリームとしてストリームバッファ１９０９に出力される。ストリームバッファ１９０９を介して出力端子１９２１からは、エンハンスメントレイヤのビットストリームが、図１５における多重化部１５０９に対して出力される。
図１９の入力画像メモリ１９０２、２次元画像ブロック変換器１９０３、減算器１９０４、直交変換器１９０５、量子化器１９０６、エントロピー符号化器１９０７、符号化テーブル１９０８、ストリームバッファ１９０９、符号量制御器１９１０、逆量子化器１９１１、逆直交変換器１９１２、加算器１９１６、２次元ブロック逆変換器１９１７、参照画像メモリ１９１８、ＭＥ器１９１９、ＭＣ器１９２０の動作は、図１８の入力画像メモリ１８０２、２次元画像ブロック変換器１８０３、減算器１８０４、直交変換器１８０５、量子化器１８０６、エントロピー符号化器１８１０、符号化テーブル１８０９、ストリームバッファ１８１１、符号量制御器１８１２、逆量子化器１８０７、逆直交変換器１８０８、加算器１８１９、２次元ブロック逆変換器１８１３、参照画像メモリ１８１４、ＭＥ器１９１５、ＭＣ器１８１６の動作と同様である。
次に、上記階層符号化装置を復号する階層復号化装置に関して、まずベースレイヤをＭＰＥＧ−２で符号化した場合の復号処理を実現した従来技術を、図２０にＭＰＥＧ−２デコーダを使用した下位階層復号化部の形態を示す構成図を示し説明する。図１５における領域分割部１５１０から出力されて図２０の入力端子２００１に入力された下位階層符号化信号（ベースレイヤビットストリーム）は、ストリームバッファ２００２に蓄えられ、エントロピー復号器２００３に供給される。
エントロピー復号器２００３では、符号化テーブル２００４を用いて可変長または固定長の符号を復号し、量子化されたＤＣＴ係数と動きベクトルや予測モードを復元する。量子化されたＤＣＴ係数は、逆量子化器２００５及び逆直交変換器２００６において逆量子化及び逆ＤＣＴ処理が行われ、復号データが生成される。基準フレームの場合には、加算器２００７、２次元ブロック逆変換器２００８を介してベースレイヤのデコード画像信号として出力画像メモリ２０１１に蓄えられ出力時刻順に並べ替えられ、出力端子２０１３より出力される。これは、図１５における出力端子１５１４と同じである。また、デコード画像信号は、参照画像メモリ２００９にも供給されて格納されると共に、出力端子２０１２より図１５の空間的拡大部１５１２に供給され、上位階層（エンハンスメントレイヤ）における予測信号に使用される。
予測フレームにおいては、予測ブロックがエントロピー復号器２００３から出力される動きベクトル及びモード信号をＭＣ器２０１０に入力して、ここで参照画像メモリ２００９よりの参照画像を切り出す事により生成される。ＭＣ器２０１０で生成された予測ブロックは加算器２００７に供給され、逆直交変換器２００６からの復号データと加算される。加算された復号データは、基準フレームと同様に２次元ブロック逆変換器２００８を介してベースレイヤのデコード画像信号として出力画像メモリ２０１１に蓄えられ出力時刻順に並べ替えられ、出力端子２０１３より出力される。また、デコード画像信号は出力端子２０１２より出力され、上位階層（エンハンスメントレイヤ）における予測信号に使用されると共に、該当フレームが参照を受ける画像の場合には、参照画像メモリ２００９にも供給されて格納される。
次に、上位階層（エンハンスメントレイヤ）の復号処理に関して、図２１に示す図１５の上位階層復号化部１５１３の一例のブロック図と共に説明する。図２１の上位階層復号化部１５１３は、図２０に示した下位階層復号化部１５１１と比較すると、下位階層復号化部１５１１から出力されて、図１５の空間的拡大部１５１２で空間的拡大処理されたベースレイヤの復号インターポレーション画像信号が入力端子２１１３を介して供給されて２次元ブロックを切り出す階層間予測器２１１４と、エントロピー復号器から入力された予測モード情報を基に、階層間予測と動き補償予測との間で、両者の重み付け予測を含めて選択された予測方式による予測ブロックを生成する、予測生成器２１１５が下位階層復号化部１５１１と同様の構成に追加された構成になる。出力画像メモリ２１０９から出力端子２１１０に出力される画像信号が、高解像度映像出力となる。これは、図１５における出力端子１５１５と同じである。
なお、図２１の入力端子２１０１には上位階層符号化信号（エンハンスメントレイヤビットストリーム）が入力される以外は、ストリームバッファ２１０２、エントロピー復号器２１０３、符号化テーブル２１０４、逆量子化器２１０５、逆直交変換器２１０６、加算器２１０７、２次元ブロック逆変換器２１０８、出力画像メモリ２１０９、参照画像メモリ２１１１は、図２０のストリームバッファ２００２、エントロピー復号器２００３、符号化テーブル２００４、逆量子化器２００５、逆直交変換器２００６、加算器２００７、２次元ブロック逆変換器２００８、出力画像メモリ２０１１、参照画像メモリ２００９と同様の動作を行う。
ところで、近年、自然画像の符号化方式として知られるＪＰＥＧ(Joint Photographic Experts Group)方式の符号化において、多重調和局所直交変換、特に多重調和局所余弦変換を用いて更なる符号化効率の向上を試みる手法が提案されている（例えば、非特許文献１参照）。この多重調和局所余弦変換手法では、ポアソン方程式の概念を導入してブロック内の原信号に対する推定信号を求め、原信号と求めた推定信号との差分である残差信号を生成することで、ＤＣＴを導入した際により高い周波数のＤＣＴ係数を早く収束させることが可能となり、結果として符号化効率を向上させることができる。
図２２は、この多重調和局所余弦変換手法の基本概念を示すための概念図である。図２２は、原画像フレーム内のある特定のブロックにおいて、その中のある特定のラインに注目し、注目したラインの原信号と、ブロック境界上にあるその原信号の境界の状態が、この手法によってどのように推移するかを示している。
図２２（ａ）に示す原信号２２０１に対して、ブロック境界２２０４、２２０５に対応する原信号の両端部分における画像信号の傾き２２０２、２２０３を求める。この両端部分の画像信号の傾き２２０２、２２０３を境界条件とする。多重調和局所余弦変換手法では、ブロック内の信号の振る舞いを規定する所定のソースモデルを適用し、ブロック内の信号をブロックの境界条件に基づいて推定信号を生成する。
ここでは、図２２（ｂ）に示すような原信号の両端部分における画像信号の傾きを境界条件として、ポアソン方程式を満たすような推定信号２２０６を生成する。所定のソースモデルは、境界条件の下で原信号２２０１に最も近い信号を推定することができるモデルを採用することが望ましい。一般に、図２２のような１次元の信号の場合には所定のソースモデルとして２次関数を適用することで容易に求めることが可能であるが、ここでは特にこのモデルに限定されるものではない。このように所定のソースモデルを導入することで膨大な演算量を費やしてポアソン方程式を数値的に解くことなく、解析的にブロック内の推定信号を生成している。
図２２（ｂ）のような境界条件に基づいた推定信号２２０６を生成した後、原信号２２０１と推定信号２２０６との間で差分を求めることで、図２２（ｃ）に示すような残差信号２２０７を生成する。このようにして求めた残差信号２２０７に対して通常の直交変換であるＤＣＴや量子化およびエントロピー符号化を行うことで、この多重調和局所余弦変換手法を用いた自然画像の符号化が完了する。
図２３および図２４は、多重調和局所余弦変換手法を用いることで通常のＤＣＴとどのような違いが生じるかを示すための図である。図２３は、図２２（ａ）の原信号に対して、通常のＤＣＴを行った場合の例である。図２３中、横軸はｘ方向にのみ注目した際の画像信号のｘ方向のｘ、縦軸は画像信号の１ラインの各画素の値（輝度値）を示す。また、図２３では便宜上、波形を連続関数で示しているが、実際は離散値である（図２４も同様）。
通常、ＤＣＴのタイプは、ＤＣＴ−IIを利用することから、図２３（ａ）が示すようなブロックで区切られた有限な原信号に対してＤＣＴを行う場合には、原信号のブロック境界の片方、ここでは右側を軸として原信号を偶接続し、図２３（ｂ）に示すような原信号の周期波形信号とする。
このような周期波形信号とすることにより図２３（ｃ）のようなＤＣＴ級数で表現することが可能となる。通常、図２３（ｂ）の点線部２３０１、２３０２、２３０３が示すように、原信号を偶接続した場合に信号の滑らかさが必ずしも十分でない部分が生じる。この影響から、図２３（ｃ）で示すＤＣＴ級数の各振幅であるＤＣＴ係数は、信号の偶接続によって本来原信号がもつ信号成分とは異なる信号成分が混入することから、図２３（ｃ）の点線部２３０４が示すような高い周波数成分領域であってもＤＣＴ係数の収束が必ずしも十分ではない状態となる。従って、このようなＤＣＴ係数に対して所定の量子化及びエントロピー符号化を行った場合には相応の符号量が発生することになる。
次に、多重調和局所余弦変換手法を用いた場合が図２４である。この手法を用いて図２２（ｂ）に示すような推定信号２２０６を生成した後、図２２（ａ）に示す原信号２２０１との差分をとることで図２２（ｃ）及び図２４（ａ）のような残差信号２２０７を得る。この残差信号２２０７を利用することで、図２４（ａ）に示すように、図２３（ａ）と同様に、この残差信号２２０７を仮に信号の右側を軸として偶接続し、図２４（ｂ）に示すような残差信号の周期波形信号が得られる。
得られた残差信号の周期波形信号は、周期接続部分である図２４（ｂ）の点線部２４０１、２４０２、２４０３において、図２３（ｂ）に示した原信号の周期波形信号の対応する部分の波形よりも滑らかさが向上すると共に、本来原信号には含まれない不要な信号成分の混入を防ぐことが可能となる。従って、図２４（ｂ）に示した残差信号の周期波形信号を離散周期波形と見做してＤＣＴを行い、そのスペクトルを表現すると、図２４（ｃ）にIで示すようなＤＣＴ係数列、すなわち残差直交変換係数（ここでは、残差ＤＣＴ係数情報）が得られる。
図２４（ｃ）にIで示す残差ＤＣＴ係数情報は、通常のＤＣＴを行った場合の同図（ｃ）にIIで示すＤＣＴ係数列と比較すると、図２４（ｃ）の点線部２４０４が示すような高い周波数成分領域でＤＣＴ係数が十分収束し、より低い周波数成分をもつＤＣＴ係数に偏った状態となる。
従って、このように多重調和局所余弦変換手法を用いたＤＣＴ係数に対して所定の量子化及びエントロピー符号化を行うことで、通常のＤＣＴによる符号化を行った場合よりも発生する符号量を抑制することが可能となり、符号化効率の向上につながる。
以上が多重調和局所余弦変換手法を用いた場合の基本概念である。ここでは、多重調和局所余弦変換手法の基本概念を簡単に説明するために、原信号の境界条件に基づいて推定信号を生成し、原信号との差分により残差信号を生成した後にＤＣＴを行うことで実現することを示した。
また非特許文献１では、ブロック内の原信号と境界条件からの推定信号に対してそれぞれＤＣＴを行うことでそれぞれのＤＣＴ係数を求めた後に差分をとることで、上記残差信号に対してＤＣＴを行った場合と同様の結果が得られるような方法が示されている。
以下に簡単ではあるが非特許文献１で示される上記の方法について説明する。まず、入力される画像フレームに対して、数１によって表現される図２５が示すような各ブロックとして画像フレーム信号をとらえる。
Figure 2008147998
 図２５のΩ（０，０）が現在処理対象となっているブロックであるものとする。また、各ブロック内の各画素は、数２で表現される。
Figure 2008147998
 まず、各ブロックの画像信号に対して直交変換を行う。ここでは数３に示すようなＤＣＴを行う。
Figure 2008147998
 次に、境界条件である画像信号の傾きを周波数領域で議論することができるように、ＤＣＴ級数で表現する。ここでは数４に示した境界条件のＤＣＴ級数展開の式を利用して画像信号の傾きをｇとした場合に数４に示した式中のＧｋのようなＤＣＴ係数で表現する。
Figure 2008147998
 また、ポアソン方程式の概念を導入してブロック内の原信号に対する推定信号を求める。ここで、ポアソン方程式は、処理対象ブロックΩｊにおいて、ブロック内の推定信号ｕのラプラシアンであるΔｕｊがソース項Ｋｊとの間において、次式が成立する方程式である。
Δｕｊ＝Ｋｊ
ブロック内の推定信号ｕはノイマンの境界条件とＤＣＴ級数表記を用いることで、数６のように表現することができる。これは、数５で示されるような各境界からの推定信号のＤＣＴ級数展開成分を足し合わせることで求められる。
Figure 2008147998
Figure 2008147998
 このような推定信号ｕに対してＤＣＴを行うことで、次式で表される推定信号Ｕを得ることができる。
Ｕk1,k2＝Ｇk1 (1)ηk1,k2＋Ｇk1 (2)η* k1,k2＋Ｇk2 (3)ηk2,k1＋Ｇk2 (4)η* k2,k1 （１）
ただし、（１）式中、ηk,m、η* k,mは次式で表される。
Figure 2008147998
 ここで、数７に示した式から、η及びη*はブロック内の位置情報のみに依存し、ブロック内の画像信号には依存しないことから、予め一意に計算して求めておくことができる。従って、推定信号Ｕを求めるためには、傾きのＤＣＴ係数情報Ｇｋを求めることが重要となる。
ここで、Ｇｋをブロック内の原信号に対してＤＣＴを行った後のＤＣＴ係数情報を利用して求めることを可能にするため、境界条件であるブロック境界における画像信号の傾きを求める際に、数８の式で示されるようなブロック内の各方向の信号成分の平均値を代表値としてブロック間の傾きを算出し、この傾きをブロック境界での傾きとして近似することでｇを求める。
Figure 2008147998
 続いて、この近似されたｇに対してＤＣＴを行うことでＧを求める。ここで、Ｇを求める際に数８に示した式を考慮して数９に示した式変形を行うことで、ＧをＦ、つまりブロック内のＤＣＴ係数情報を利用して求めることが可能となる。
Figure 2008147998
 特開平７-１６２８７０号公報 山谷 克、斉藤 直樹、"Improvement of DCT-based Compression Algorithms Using Poisson's Equation"
従来は階層符号化を行う際に、エンハンスメントレイヤ（上位階層）の符号化対象となる高い空間解像度を含む画像フレームと、この高い空間解像度を含む画像フレームを画像フレームの縮小処理を伴ってエンハンスメントレイヤ（上位階層）の符号化対象となる高い空間解像度以下に縮小してベースレイヤ（下位階層）の符号化対象とした画像フレームとを用意し、それらの画像フレームに対してベースレイヤの符号化を行う。その後、ベースレイヤの符号化結果を復号化して生成した復号画像フレームとエンハンスメントレイヤ（上位階層）で符号化対象となっている画像フレームとの相関を利用して予測処理を行い、その結果生じる差分画像フレームをエンハンスメントレイヤ（上位階層）の符号化として符号化することで情報量の削減を行っている。
しかし、下位階層で利用する画像フレームにおいては、上位階層で扱う画像フレームに含まれるような高い周波数成分は、下位階層用の画像フレームを縮小処理によって生成する際に周波数の帯域制限によって除去される。また、下位階層における符号化の結果、あまり重要でないと判断された周波数成分が量子化などの符号化処理の過程で除去される。
このような画像フレームを利用して符号化を行う際に、下位階層と上位階層との間で相関を利用するために予測処理を行って差分画像フレームを生成した場合に、低周波数成分を多く含む領域に対しては上位階層において、階層間の正しい予測処理が行われて生成される差分情報の信号振幅を抑えることが可能であるが、画像フレーム中の比較的大きな高周波数成分が連続した領域、つまりエッジ部などを含む領域においては、下位階層から得られる画像フレームでは十分な予測処理を行うことができない。
更にＤＣＴでは、解析単位であるブロック領域を変換する際に、このブロック領域を周期波形とみなして直交変換を行う。つまりブロック領域に対して周期拡張を行うために、ブロック境界で滑らかな接続とはならずに不連続点が生じる。つまり、このブロック境界で画像全体としてみた場合には不必要な高周波数成分が発生し、符号化の際に障害となる。
また、符号量を制御することにより、大きな量子化スケールで符号化された下位階層を用いた場合の差分画像フレームにおいては、低周波数成分を含めて差分情報の成分が残存すると共に、下位階層における符号化歪が予測成分に混入する事による、差分情報の増大が生じる。
また、上位階層の符号化においても、差分情報に対してＤＣＴを施し符号化を行うために、下位階層と同様にブロック境界で滑らかな接続とはならずに不連続点が生じる問題が生じ、不必要な高周波数成分の発生により符号化効率が低下する。
なお、従来、ＪＰＥＧに対して更なる符号化効率の向上を試みる多重調和局所余弦変換手法を適用することで自然画像に対する符号化の問題点を改善している。しかし、この手法では一般的な自然画像に対する適用を想定しており、ブロックノイズの発生を抑制するために、ブロック間の低周波数成分に依存した符号化が行われる。また、この多重調和局所余弦変換手法は、一般的な自然画像のように、符号化対象となる画像フレームのブロック間の連続性が保たれていることを想定している。
ここで、上位階層における差分情報に対して、従来の多重調和局所余弦変換手法の適用を考えると、下位階層においてブロックの境界において符号化歪を生じた場合に、上位階層において空間解像度のインターポレーション（空間的拡大）を行った拡大ブロックの隣接ブロック間において必ずしも連続性が保たれていないため、拡大ブロックを予測ブロックとして用いた差分ブロックに対しても、隣接ブロック間の連続性が保たれなくなる。
このような差分ブロックに対して従来の多重調和局所余弦変換手法を適用すると、本来ブロック間の不連続な状態を保つように符号化を行う必要があるにも拘らず、ブロック間の相関が高く、連続性が保たれていることを想定して符号化処理を行うため、自然画像の場合と比較して十分な符号化効率が得られない場合がある。
また、上位階層の予測ブロックが拡大ブロックと動き補償ブロックとから適応的に選択されている場合に、拡大ブロックより予測された差分ブロックと、動き補償ブロックより予測された差分ブロックの間においても、隣接ブロック間において連続性が保たれない場合が生じる。つまり、差分ブロックにおいても視覚上ブロック状の歪みが生じ、一般的な自然画像のようなブロック間や画素間に強い相関がある場合とは性質の異なる情報になる。
また、符号化時にブロック間の不連続性を再現するために必要な符号量を量子化などの処理によって削減してしまった場合、従来の多重調和局所余弦変換手法を適用すると、復号化側ではブロック間の連続性を想定して復号してしまうため、ブロック間の不連続性を再現することができず、上位階層の復号画像において、ブロック間の不連続性が解消できずにブロック歪として現れる問題が生じる。
本発明は以上の点に鑑みなされたもので、下位階層の符号化劣化がブロック間の連続性を破壊する事を回避するために、下位階層の符号化において多重調和局所余弦変換手法を適用する事により、下位階層の符号化効率の向上とブロック間の連続性保持を実現し、上位階層の予測効率を向上し得る動画像階層符号化装置、動画像階層符号化プログラム、動画像階層復号化装置及び動画像階層復号化プログラムを提供することを目的とする。
また、本発明の他の目的は、上位階層の符号化において多重調和局所余弦変換手法を適用する事により、上位階層の符号化効率を向上させる動画像階層符号化装置、動画像階層符号化プログラム、動画像階層復号化装置及び動画像階層復号化プログラムを提供することにある。
更に、本発明の他の目的は、符号化する差分ブロックが、下位階層のローカルデコードデータに対する空間的拡大された予測ブロックを用いて生成される場合に、隣接するブロックが上位階層での動き補償予測により符号化された場合には、隣接するブロックの復号データと、隣接ブロックの下位階層のローカルデコードデータに対する空間的拡大された予測ブロックより生成した隣接ブロックの仮想差分ブロック情報を用いて多重調和局所余弦変換処理を行うことにより、差分ブロックのブロック間の連続性を確保し、効率のよい多重調和局所余弦変換処理を実現し得る上位階層の符号化効率を向上させる動画像階層符号化装置、動画像階層符号化プログラム、動画像階層復号化装置及び動画像階層復号化プログラムを提供することにある。
上記の目的を達成するため、第１の発明の動画像階層復号化装置は、動画像の画像信号の一画面を構成する画像フレーム又は画像フィールドを画像単位としたとき、第１の空間解像度の第１の画像単位信号を符号化して得られた下位階層の第１の符号化信号と、第１の空間解像度よりも高い第２の空間解像度の１又は２以上の第２の画像単位信号を符号化して得られた上位階層の第２の符号化信号とを多重して出力する動画像階層符号化装置において、
画像信号の空間的縮小処理を伴って第１の空間解像度に縮小した下位階層の符号化対象となる第１の画像単位信号に対して符号化を行って、第１の符号化信号を生成する下位階層符号化手段と、下位階層符号化手段内にて第１の符号化信号をローカルデコードして得られた局所復号画像信号に対して空間的拡大処理を行って、少なくとも１階層上の上位階層が持つ空間解像度と同じ空間解像度の拡大復号画像信号に変換する空間的拡大手段と、画像信号と拡大復号画像信号とを入力として受け、拡大復号画像信号を予測情報として用い、上位階層の符号化対象となる第２の空間解像度の１又は２以上の第２の画像単位信号に対して符号化を行って、１又は２以上の第２の符号化信号を生成する上位階層符号化手段とを有する。
更に、第１の発明は、上位階層符号化手段は、符号化対象の画像信号の画像単位を所定の画素数から構成される矩形領域に分割し、その矩形領域を最小単位として拡大復号画像信号を切り出して階層間予測信号を生成する階層間予測手段と、階層間予測信号と第１の動き補償予測信号とのうち、それらの予測差分の情報量に基づいて選択して得た最適予測信号と符号化対象の画像信号との差分信号である第１の予測差分画像信号を生成する第１の予測差分生成手段と、第１の予測差分画像信号に対して、矩形領域を処理単位として直交変換を行い、第１の直交変換係数情報を生成する第１の直交変換手段と、符号化対象となっている矩形領域の隣接する他の矩形領域との境界における、第１の直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、符号化対象となっている矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、第１の直交変換手段から取得した第１の直交変換係数情報を利用して生成した後、第１の直交変換係数情報と生成した近似直交変換係数情報との差分をとることで第１の残差直交変換係数情報を生成する第１の多重調和局所直交変換手段と、第１の残差直交変換係数情報を所定の量子化パラメータに基づいて量子化する第１の量子化手段と、第１の量子化手段から出力された量子化後の第１の残差直交変換係数情報に対して、画像単位でエントロピー符号化を行うことで、所定の構文構造に従って第２の画像単位信号に対して符号化された第２の符号化信号である符号化ビットストリームを生成する第１のエントロピー符号化手段と、第１の量子化手段から出力された量子化後の第１の残差直交変換係数情報を、所定の量子化パラメータに基づいて逆量子化する第１の逆量子化手段と、復号化対象となっている矩形領域の隣接する他の矩形領域との境界における、逆量子化後の第１の残差直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている矩形領域内の推定信号に対して、直交変換した第１の近似直交変換係数情報を、第１の直交変換手段から取得した第１の直交変換係数情報もしくは第１の逆量子化手段によって生成された逆量子化後の第１の残差直交変換係数情報を利用して生成し、逆量子化後の第１の残差直交変換係数情報と生成した第１の近似直交変換係数情報との合成を行うことで、第１の復号直交変換係数情報を生成する第１の逆多重調和局所直交変換手段と、第１の逆多重調和局所直交変換手段により生成された第１の復号直交変換係数情報を逆直交変換することにより、第１の局所復号画像信号を生成する第１の逆直交変換手段と、第１の復号予測差分信号と最適予測信号との加算を行うことで、第１の局所復号画像信号を生成する第１の局部復号画像生成手段と、第１の局所復号画像信号と符号化対象の画像信号とに基づいて、矩形領域を処理単位として第１の動き補償予測信号を生成する第１の動き補償予測手段とを具備することを特徴とする。
この発明では、動画像における階層符号化において多重調和局所直交変換手法を適用することにより、符号化対象となっている矩形領域の隣接する他の矩形領域との境界における、上位階層符号化において第１の直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、符号化対象となっている矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、第１の直交変換手段から取得した第１の直交変換係数情報を利用して生成した後、第１の直交変換係数情報と生成した近似直交変換係数情報との差分をとることで第１の残差直交変換係数情報を生成する。すなわち、この発明では、動画像における階層符号化において多重調和局所直交変換手法を適用することにより、直交変換を行う際に生じる矩形領域の境界部分の不連続性を相殺し、境界部分における波形の滑らかさを向上させるような近似波形を矩形領域間の境界条件から特定し、特定した近似波形の直交変換係数である第１の近似直交変換係数情報を利用して、元の第１の直交変換係数情報との差分から第１の残差直交変換係数情報を生成することで、従来法で問題となっていた不必要な高周波数成分の発生を抑制するものである。また、この発明では生成した第１の残差直交変換係数情報を、従来の直交変換係数情報の替わりに符号化対象として所定の量子化および所定のエントロピー符号化を行う。
また、上記の目的を達成するため、第２の発明は、上記の下位階層符号化手段を、
第１の空間解像度に縮小した符号化対象の画像信号の画像単位を所定の画素数から構成される矩形領域に分割し、その矩形領域を処理単位として第２の動き補償予測信号と第１の空間解像度に縮小した符号化対象の画像信号との差分信号である第２の予測差分画像信号を生成する第２の予測差分生成手段と、第２の予測差分画像信号に対して、矩形領域を処理単位として直交変換を行い、第２の直交変換係数情報を生成する第２の直交変換手段と、符号化対象となっている矩形領域の隣接する他の矩形領域との境界における、第２の直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、符号化対象となっている矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、第２の直交変換手段から取得した第２の直交変換係数情報を利用して生成した後、第２の直交変換係数情報と生成した近似直交変換係数情報との差分をとることで第２の残差直交変換係数情報を生成する第２の多重調和局所直交変換手段と、第２の残差直交変換係数情報を所定の量子化パラメータに基づいて量子化する第２の量子化手段と、第２の量子化手段から出力された量子化後の第２の残差直交変換係数情報に対して、画像単位でエントロピー符号化を行うことで、所定の構文構造に従って第１の画像単位信号に対して符号化された第１の符号化信号である符号化ビットストリームを生成する第２のエントロピー符号化手段と、第２の量子化手段から出力された量子化後の第２の残差直交変換係数情報を、所定の量子化パラメータに基づいて逆量子化する第２の逆量子化手段と、復号化対象となっている矩形領域の隣接する他の矩形領域との境界における、逆量子化後の第２の残差直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている矩形領域内の推定信号に対して、直交変換した第２の近似直交変換係数情報を、第２の直交変換手段から取得した第２の直交変換係数情報もしくは第２の逆量子化手段によって生成された逆量子化後の第２の残差直交変換係数情報を利用して生成し、逆量子化後の第２の残差直交変換係数情報と生成した第２の近似直交変換係数情報との合成を行うことで、第２の復号直交変換係数情報を生成する第２の逆多重調和局所直交変換手段と、第２の逆多重調和局所直交変換手段により生成された第２の復号直交変換係数情報を逆直交変換することにより、第２の復号予測差分信号を生成する第２の逆直交変換手段と、第２の復号予測差分信号と第２の動き補償予測信号との加算を行うことで、第２の局所復号画像信号を生成する第２の局部復号画像生成手段と、第２の局所復号画像信号と第１の空間解像度に縮小した符号化対象の画像信号とに基づいて、矩形領域を処理単位として第２の動き補償予測信号を生成する第２の動き補償予測手段とを具備することを特徴とする。
この発明では、下位階層符号化手段においても、動画像における階層符号化において多重調和局所直交変換手法を適用することにより、直交変換を行う際に生じる矩形領域の境界部分の不連続性を相殺し、境界部分における波形の滑らかさを向上させるような近似波形を矩形領域間の境界条件から特定し、特定した近似波形の直交変換係数である第２の近似直交変換係数情報を利用して、元の第２の直交変換係数情報との差分から第２の残差直交変換係数情報を生成することで、従来法で問題となっていた不必要な高周波数成分の発生を抑制する。
また、上記の目的を達成するため、第３の発明は、第１の発明の第１の多重調和局所直交変換手段は、ポアソン方程式を満たすような符号化対象となっている矩形領域内の推定信号を直交変換して得た第１の近似直交変換係数情報を、直交変換後の第１の直交変換係数情報を利用して生成する際に、直交変換後の第１の直交変換係数情報に対して量子化で用いる量子化パラメータに基づいて量子化後の第１の直交変換係数情報を推定し、この推定結果に基づいて第１の近似直交変換係数情報を生成する手段であることを特徴とする。
また、上記の目的を達成するため、第４の発明は、上記の第１の予測差分生成手段は、第１の予測差分画像信号を生成するために、階層間予測信号と第１の動き補償予測信号とを、矩形領域単位でそれらの予測差分の情報量を比較することにより最適予測方式を選択して最適予測信号を生成するモード判定手段を含んでおり、上記の上位階層符号化部は、最適予測方式が第１の動き補償予測信号による予測方式である場合に、復号後の第１の局所復号画像信号と階層間予測手段からの階層間予測信号との間の仮想差分信号を矩形領域単位で生成し、この矩形領域の仮想差分信号に対して直交変換処理を行い、仮想差分直交変換係数情報を生成する局所復号・階層間予測差分生成手段を更に有し、局所復号・階層間予測差分生成手段で生成された仮想差分直交変換係数情報を用いて、第１の多重調和局所直交変換手段及び第１の逆多重調和局所直交変換手段における、矩形領域内の推定信号を生成するための情報とすることを特徴とする。
この発明では、符号化対象の矩形領域の差分情報が下位階層の局所復号画像信号に対して空間的拡大処理した拡大符号画像信号を用いて生成する際に、隣接する矩形領域が上位階層での動き補償予測信号を用いて符号化される場合には、局所復号・階層間予測差分生成手段により、復号後の第１の局所復号画像信号と階層間予測手段からの階層間予測信号との間の仮想差分信号を矩形領域単位で生成し、この矩形領域の仮想差分信号に対して直交変換処理を行い、仮想差分直交変換係数情報を生成する。
また、上記の目的を達成するため、第５の発明の動画像階層符号化プログラムは、第１の発明をコンピュータにより実行させ、第６の発明の動画像階層符号化プログラムは、第２の発明の下位階層符号化手段をコンピュータにより実行させる。また、第７の発明の動画像階層符号化プログラムは、第３の発明の第１の多重調和局所直交変換手段をコンピュータにより実行させ、第８の発明の動画像階層符号化プログラムは、第４の発明の第１の直交変換手段をコンピュータにより実行させると共に、コンピュータに実行させる上位階層符号化部は、第４の発明の局所復号・階層間予測差分生成手段を有することを特徴とする。
また、上記の目的を達成するため、第９の発明は、第１、第３又は第４の発明の動画像階層符号化装置、又は第５、第７又は第８の発明の動画像階層符号化プログラムにより動作する情報処理装置によって生成された、動画像の画像信号の一画面を構成する画像フレーム又は画像フィールドを画像単位としたとき、第１の空間解像度の第１の画像単位信号を符号化して得られた下位階層の第１の符号化信号と、第１の空間解像度よりも高い第２の空間解像度の１又は２以上の第２の画像単位信号を符号化して得られた上位階層の第２の符号化信号との多重信号を、所定の蓄積媒体又は所定の伝送路から取得し、取得した多重信号に対して復号化動作を行う動画像階層復号化装置であって、
多重信号から第１の符号化信号と第２の符号化信号とを分離して出力する分離手段と、分離手段からの第１の符号化信号に対して復号化処理を行い、第１の空間解像度の第１の画像単位信号を復号して出力する下位階層復号化手段と、下位階層復号化手段内にてローカルデコードして得られた第１の画像単位信号に対して空間的拡大処理を行って、少なくとも１階層上の上位階層が持つ空間解像度と同じ空間解像度の拡大復号画像信号に変換する空間的拡大手段と、分離手段からの第２の符号化信号と拡大復号画像信号とを入力として受け、拡大復号画像信号を予測情報として用い、上位階層の復号化対象となる第２の空間解像度の１又は２以上の第２の画像単位信号を生成する上位階層復号化手段とを有する構成としたものである。
また、この発明では上記の上位階層復号化手段は、入力された第２の符号化信号に対して、所定の構文情報に基づいて符号化情報の多重化分離とエントロピー復号化を行い、量子化後情報、動きベクトル情報、予測モード情報、および所定の構文構造を構成するために必要なパラメータ情報を生成する第１のエントロピー復号化手段と、第１のエントロピー復号化手段から取得した量子化後情報に対して逆量子化を行うことにより、逆量子化後の第１の残差直交変換係数情報を生成する第１の逆量子化手段と、復号化対象となっている矩形領域の隣接する他の矩形領域との境界における、復号後の第１の直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている矩形領域内の推定信号に対して、直交変換した第１の近似直交変換係数情報を、逆量子化後の第１の残差直交変換係数情報を利用して生成した後、逆量子化後の第１の残差直交変換係数情報と生成した第１の近似直交変換係数情報との合成を行うことで、第１の復号直交変換係数情報を生成する第１の逆多重調和局所直交変換手段と、第１の逆多重調和局所直交変換手段により生成された第１の復号直交変換係数情報を逆直交変換することにより、第１の復号予測差分信号を生成する逆直交変換手段と、入力された拡大復号画像信号に対して矩形領域を最小単位として切り出して階層間予測信号を取り出す階層間予測手段と、第１のエントロピー復号化手段から取得した予測モード情報に基づき、階層間予測手段から出力された階層間予測信号と、第１のエントロピー復号化手段から取得した動きベクトル情報を利用して第２の画像単位信号の復号信号に対して所定の動き補償を行うことによって生成する動き補償予測信号とのうちの一方の予測信号を選択して出力する予測生成手段と、予測生成手段により選択された予測信号と第１の復号予測差分信号との加算を行うことで、第２の画像単位信号の復号信号を生成する第１の復号手段とを具備すること特徴とする。
この発明では、本発明の動画像階層符号化装置又は動画像階層符号化プログラムで生成された第１の符号化信号及び第２の符号化信号からなる多重信号から第１の空間階層度の第１の画像単位信号を低解像度画像信号として復号できると共に、第２の空間解像度の第２の画像単位信号を高解像度画像信号として復号できる。
また、上記の目的を達成するため、第１０の発明は、第２又は第４の発明の動画像階層符号化装置、又は第６又は第８の発明の動画像階層符号化プログラムにより動作する情報処理装置によって生成された、下位階層の第１の符号化信号と上位階層の第２の符号化信号との多重信号を、所定の蓄積媒体又は所定の伝送路から取得し、取得した多重信号に対して復号化動作を行う。この発明では、下位階層復号化手段として、入力された第１の符号化信号に対して、所定の構文構造に基づいて符号化情報の多重化分離とエントロピー復号化を行い、量子化後情報および動きベクトル情報、および所定の構文構造を構成するために必要なパラメータ情報を生成する第２のエントロピー復号化手段と、第２のエントロピー復号化手段から取得した量子化後情報に対して逆量子化を行うことにより、逆量子化後の第２の残差直交変換係数情報を生成する第２の逆量子化手段と、復号化対象となっている矩形領域の隣接する他の矩形領域との境界における、復号後の第２の直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている矩形領域内の推定信号に対して、直交変換した第２の近似直交変換係数情報を、逆量子化後の第２の残差直交変換係数情報を利用して生成した後、逆量子化後の第２の残差直交変換係数情報と生成した第２の近似直交変換係数情報との合成を行うことで、第２の復号直交変換係数情報を生成する第２の逆多重調和局所直交変換手段と、第２の逆多重調和局所直交変換手段により生成された第２の直交変換係数情報を逆直交変換することにより、第２の復号予測差分信号を生成する逆直交変換手段と、第２のエントロピー復号化手段から取得した動きベクトル情報を利用して第１の画像単位信号の復号信号に対して所定の動き補償を行うことによって動き補償予測信号を生成して出力する動き補償予測手段と、上記の動き補償予測信号と第２の復号予測差分信号との加算を行うことで、第１の画像単位信号の復号信号を生成する第２の復号手段とを具備することを特徴とする。
この発明では、本発明の動画像階層符号化装置又は動画像階層符号化プログラムで生成された第１の符号化信号及び第２の符号化信号からなる多重信号から第１の空間階層度の第１の画像単位信号を低解像度画像信号として復号できると共に、第２の空間解像度の第２の画像単位信号を高解像度画像信号として復号できる。
また、上記の目的を達成するため、第１１の発明は、第９又は第１０の発明の上位階層復号化部に、予測生成手段により動き補償予測信号が選択されたときに、矩形領域の復号後の第２の画像単位信号の復号信号と階層間予測手段から出力される階層間予測信号との間で差分情報を生成する局所復号・階層間予測差分生成手段を更に有し、局所復号・階層間予測差分生成手段で生成された差分情報を用いて、第１の逆多重調和局所直交変換手段における、矩形領域内の推定信号を生成するための情報とすることを特徴とする。
また、上記の目的を達成するため、第１２の発明の動画像階層復号化プログラムは、第９の発明の動画像階層復号化装置をコンピュータにより実行させ、第１３の発明の動画像階層復号化プログラムは、第１１の発明の動画像階層復号化装置をコンピュータにより実行させる。
第１、第３、第５、第７の発明によれば、動画像における階層符号化に対して多重調和局所直交変換手法を適用することで、従来の動画像符号化で用いられてきた所定の矩形領域単位での直交変換における問題点を改善するために、矩形領域に対して直交変換を行う際に境界部分の不連続性を相殺し、境界部分における波形の滑らかさを向上させるような近似波形を矩形領域間の境界条件から特定し、特定した近似波形の直交変換係数情報を利用して、元の直交変換係数との差分から残差直交変換係数情報を生成し、更にこのような残差直交変換係数情報を生成するようにしたため、従来法で問題となっていた不必要な高周波数成分の発生を抑制することができ、上位階層の符号化において多重調和局所余弦変換手法を適用する事により、上位階層の符号化効率を向上させることができる。
また、第１乃至第８の発明によれば、生成した残差直交変換係数情報を、従来の直交変換係数情報の替わりに符号化対象として所定の量子化及び所定のエントロピー符号化を行うことで、従来の動画像符号化における符号化効率を改善することができる。
また、第２、第６の発明によれば、階層符号化装置において、下位階層の符号化劣化が矩形領域間の連続性を破壊する事を回避するために、下位階層の符号化においても多重調和局所余弦変換手法を適用することにより、下位階層の符号化効率の向上と矩形領域間の連続性保持を実現し、上位階層の予測効率を向上し、符号化劣化を低減させることができる。
また、第４、第８の発明によれば、符号化対象の矩形領域の差分情報が下位階層の局所復号画像信号に対して空間的拡大処理した拡大符号画像信号を用いて生成する際に、隣接する矩形領域が上位階層での動き補償予測信号を用いて符号化される場合には、局所復号・階層間予測差分生成手段により、復号後の第１の局所復号画像信号と階層間予測手段からの階層間予測信号との間の仮想差分信号を矩形領域単位で生成し、この矩形領域の仮想差分信号に対して直交変換処理を行い、仮想差分直交変換係数情報を生成するようにしたため、矩形領域の差分信号の矩形領域間の連続性を確保し、効率の良い多重調和局所余弦変換処理を実現し、符号化効率を向上させることができる。
また、本発明の動画像階層符号化プログラムでは、このような本発明の階層符号化装置を実現するための手段によって構成した符号化装置をコンピュータによって実現することで、従来よりも符号化効率の良い階層符号化を行うことができる。
また、第９乃至第１４の発明では、本発明の動画像階層符号化装置又は動画像階層符号化プログラムによって生成された第１及び第２の符号化信号の多重信号を所定の伝送路または記録媒体から取得し、復号化するようにしたため、従来よりも少ない符号量をもつ多重信号を効率良く伝送、受信、再生することを可能にすることができる。
さらに、本発明の動画像階層復号化プログラムでは、このような本発明の階層復号化装置を実現するための手段によって構成した復号化装置をコンピュータによって実現することで、従来よりも符号化効率の良い階層復号化を行うことができる。
なお、本発明において、多重調和局所直交変換の変換基底としてＤＣＴを用いた場合は、従来の動画像符号化方式で一般的に用いられる直交変換との互換性を保ちながら、従来の動画像符号化における符号化効率を改善することができる。
次に、本発明の各実施の形態について図面と共に説明する。本発明の動画像階層符号化装置は、図１５に示した階層符号化部１５０１と同じブロック図の構成であり、また、本発明の動画像階層復号化装置は、図１５に示した階層復号化部１５０３と同じブロック図の構成であるが、本発明の動画像階層符号化装置は、階層符号化部１５０１内の下位階層符号化部１５０６及び上位階層符号化部１５０８の構成を図１８、図１９と異なる構成とした点に特徴があり、また、本発明の動画像階層復号化装置は、階層復号化部１５０３内の下位階層復号化部１５１１及び上位階層復号化部１５１３の構成を図２０、図２１と異なる構成とした点に特徴がある。
すなわち、本発明の動画像階層符号化装置の第１の実施の形態は、図１５の下位階層符号化部（ベースレイヤエンコード部）１５０６を図１のブロック図に示す構成とし、かつ、図１５の上位階層符号化部（エンハンスメントレイヤエンコード部）１５０８を図３のブロック図に示す構成としたものである。まず、本発明になる動画像階層符号化装置の第１の実施の形態の下位階層符号化部について、図１のブロック図と共に説明する。本実施の形態は、図１８に示した従来の下位階層符号化部と比較すると、直交変換器１０５と量子化器１０９の間に多重調和局所直交変換器１０８が設けられ、逆量子化器１８１０と逆直交変換器１１２の間に逆多重調和直交変換器１１１が設けられている点が異なる。
図１５の空間的縮小部１５０５により空間的縮小処理されて図１の入力端子１０１より入力された動画像に関するデジタル画像信号（デシメーション画像信号）は、入力画像メモリ１０２に供給されて記憶され、符号化シンタックスに従って符号化される順番に並べ替えを行うため遅延される。入力画像メモリ１０２から出力されたデジタル画像信号は、２次元ブロック変換器１０３にてマクロブロックが切り出される。切り出されたマクロブロックデータは、動き補償予測を行う場合にはＭＣ（動き補償）器１０６より出力される予測ブロックデータとの差分が減算器１０４において算出され、直交変換器１０５に供給される。直交変換器１０５では、２次元ＤＣＴ変換を行い、ＤＣＴ係数情報を多重調和局所直交変換器１０８に出力する。
多重調和局所直交変換器１０８は、直交変換器１０５から入力されたＤＣＴ係数情報を取得し、各ブロックの境界条件に基づいてポアソン方程式を解析的に解くことでブロック内の近似直交変換係数情報（ここでは近似ＤＣＴ係数情報）を求める機能を有する。更に多重調和局所直交変換器１０８は、取得したＤＣＴ係数情報と、求めた近似ＤＣＴ係数情報との差分から残差直交変換係数情報、ここでは残差ＤＣＴ係数情報を生成する機能を有し、生成した残差ＤＣＴ係数情報を量子化器１０９に出力する。
また、多重調和局所直交変換器１０８は、符号化対象となっている所定のブロックの隣接する他のブロックとの境界における直交変換係数情報（ここではＤＣＴ係数情報）から求める画像信号の傾きを境界条件とする前記ポアソン方程式を満たすような、符号化対象となっている所定のブロック内の推定信号に対して直交変換（ここではＤＣＴ）を行うことで得られる近似ＤＣＴ係数情報を、直交変換後のＤＣＴ係数情報を利用して生成する際に、符号量制御器１１６により設定する量子化パラメータを受信し、該当するＤＣＴ係数情報の量子化処理に用いられる量子化パラメータに基づいて量子化後のＤＣＴ係数情報を推定し、この推定結果に基づいて近似ＤＣＴ係数情報を生成するような機能を有すると更に良い構成となる。
この多重調和局所余弦変換手法では、図２２、図２４と共に説明したようにポアソン方程式の概念を導入してブロック内の原信号に対する推定信号を求め、原信号と求めた推定信号との差分である残差信号を生成することで、ＤＣＴを導入した際により高い周波数のＤＣＴ係数を早く収束させることが可能となり、結果として符号化効率を向上させることができる。本実施の形態では、従来の符号化装置からの拡張が比較的容易であることから、一例として前述したブロック内の原信号と境界条件からの推定信号に対してそれぞれＤＣＴを行うことでそれぞれのＤＣＴ係数を求めた後に差分をとる構成を採用している。ただし、本発明は特にこの構成に限定されるものではなく、上述の原信号と推定信号との差分である残差信号に対してＤＣＴを行うような構成であっても構わない。
量子化器１０９においては、多重調和局所直交変換器１０８から出力されたＤＣＴ係数を周波数成分毎に異なった値を持つ量子化マトリクスにより、係数毎に異なった値で除算することにより、量子化処理したＤＣＴ係数を生成する。この量子化処理したＤＣＴ係数は、エントロピー符号化器１１８において、符号化テーブル１１７の係数に対応したアドレスを参照する事により、可変長または固定長の符号化が行われる。エントロピー符号化器１１８では、さらにＭＣ器１０６から出力される動きベクトルや予測モードを上記符号化されたＤＣＴ係数と共に所定の構文構造に基づいて符号化し出力することで、符号化ビットストリームを生成する。生成された符号化ビットストリームは、ストリームバッファ１１９に格納された後、出力端子１２０を介して、記録媒体もしくは伝送路に出力される。
一方、量子化器１０９において量子化されたＤＣＴ係数は、逆量子化器１１０において逆量子化処理が行われ、逆量子化後の情報を逆多重調和局所直交変換器１１１に出力する。逆多重調和局所直交変換器１１１は、入力された逆量子化後の情報に対して、所定の逆多重調和局所直交変換を行うことで、逆量子化後の残差ＤＣＴ係数情報から復号して得られた復号ＤＣＴ係数情報を生成する。
ここで、逆多重調和局所直交変換器１１１は、復号化対象となるブロックの隣接する他のブロックとの境界における逆量子化後の残差直交変換係数情報（ここでは、残差ＤＣＴ係数情報）の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっているブロック内の推定信号に対して、直交変換した近似直交変換係数情報（ここでは、近似ＤＣＴ係数情報）を逆量子化器１１０によって生成された逆量子化後の残差直交変換係数情報（ここでは、残差ＤＣＴ係数情報）を利用して生成する。そして、逆量子化後の残差直交変換係数情報（ここでは、残差ＤＣＴ係数情報）と、生成した近似直交変換係数情報（ここでは、近似ＤＣＴ係数情報）を合成する事で、復号直交変換係数情報（ここでは、復号ＤＣＴ係数情報）を生成する。また、逆多重調和局所直交変換器１１１は、生成した復号ＤＣＴ係数情報を、逆直交変換器１１２に出力する。
逆直交変換器１１２においては、入力された復号ＤＣＴ係数情報に対して逆ＤＣＴ処理を行い、これにより復号ブロック（復号予測差分信号）を生成する。加算器１１３では、逆直交変換器１１２からの復号ブロックとＭＣ器１０６からの予測ブロックとの加算を行い、加算したデータを２次元ブロック逆変換器１１４に供給して２次元ブロック逆変換処理させる。これにより、ローカルデコードデータ（参照画像信号）が生成され、このローカルデコードデータは参照画像メモリ１１５に供給されて格納される一方、同時に出力端子１２１から出力され、上位階層における予測信号に使用される。参照画像メモリ１１５に格納されたローカルデコードデータは、予測フレームの符号化処理時に使用される。
予測フレームにおいては、入力画像メモリ１０２から切り出されたマクロブロックデータと参照画像メモリ１１５に格納されているローカルデコードデータとの間で、ＭＥ（動き推定）器１０７によって、画像間での動きベクトルが求められる。ＭＥ器１０７から出力された動きベクトルは、ＭＣ（動き補償）器１０６に供給され、ここで参照画像メモリ１１５内の参照画像から予測ブロックを切り出す。ＭＣ器１０６では、複数切り出された予測ブロックの中から最適な予測モードの選択を行い、予測ブロックを減算器１０４及び加算器１１３に供給する。
符号量の制御に関しては、符号量制御器１１６においてエントロピー符号化器１１８からストリームバッファ１１９に出力されたビットストリームの符号量と、目標とする符号量との間で比較がとられ、目標符号量に近づけるために量子化器１０９の量子化の細かさを制御する量子化スケールを生成する。量子化スケールは、量子化器１０９と多重調和局所直交変換器１０８に送られる。
次に、図１の本発明の要部の下位階層符号化部の第１の実施の形態の動作を、図２のフローチャートに従って説明する。まず入力端子１０１に入力される、符号化対象となる画像フレームを準備する（ステップＳ２０１）。続いて、２次元ブロック変換器１０３で、画像フレームを２次元画像ブロックに切り出すためのブロック変換処理を行う（ステップＳ２０２）。
続いて、符号化するフレームが基準フレームであるか参照フレームであるかを判定する（ステップＳ２０３）。参照フレームである場合には、ＭＥ器１０７が、入力画像メモリ１０２にある符号化対象となっている画像フレームと、参照画像メモリ１１５に格納されている所定の参照画像フレームを取得し、動き推定処理を行い（ステップＳ２０４）、その動き推定処理によって生成した動きベクトル情報をＭＣ器１０６に通知する。
ＭＣ器１０６は、ＭＥ器１０７が動き推定処理によって生成した動きベクトル情報を取得する。また、ＭＥ器１０７が動きベクトル情報を生成した際に利用した参照画像フレームを参照画像メモリ１１５から取得する。取得した動きベクトル情報、参照画像フレームから、予測画像ブロックを生成する（ステップＳ２０５）。また、ＭＣ器１０６は、動きベクトル情報をエントロピー符号化するために、エントロピー符号化器１１８に通知する。
減算器１０４では、２次元ブロック変換器１０３から得られる２次元画像ブロックと、ＭＣ器１０６から得られる動き補償予測画像ブロックとの差分画像ブロック（予測差分画像信号）を生成する。基準フレームの場合には、２次元画像ブロックがそのまま保持される。その後ステップＳ２０６に進む。直交変換器１０５は、減算器１０４から取得した差分画像ブロックもしくは２次元画像ブロックに対して所定の直交変換（例えば、ＤＣＴ）を行い（ステップＳ２０６）、得られた直交変換後の係数情報を多重調和局所直交変換器１０８に通知する。ここで直交変換後の係数情報は、ＤＣＴ係数情報であるものとする。
次に、符号量制御器１１６が、ストリームバッファ１１９から供給されたビットストリームの符号量と、予め設定されている目標とする符号量とより、量子化処理に用いる量子化パラメータを算出する（ステップＳ２０７）。多重調和局所直交変換器１０８は、直交変換器１０５から直交変換後の係数情報（ここではＤＣＴ係数情報）を取得すると共に、符号量制御器１１６よりの量子化パラメータを取得し、多重調和局所直交変換処理を行い（ステップＳ２０８）、これにより生成した残差ＤＣＴ係数情報を量子化器１０９に通知する。
量子化器１０９は、多重調和局所直交変換器１０８から残差ＤＣＴ係数情報を取得し、取得した残差ＤＣＴ係数情報に対して所定の量子化を行う（ステップＳ２０９）ことで量子化後の残差ＤＣＴ係数情報である量子化後情報を生成する。生成した量子化後情報は逆量子化器１１０、エントロピー符号化器１１８に供給される。逆量子化器１１０は、量子化器１０９から量子化後情報を取得し、取得した量子化後情報に対して所定の逆量子化を行う（ステップＳ２１０）ことで、逆量子化後の残差ＤＣＴ係数情報である逆量子化後情報を生成する。生成した逆量子化後情報は逆多重調和局所直交変換器１１１に供給される。
逆多重調和局所直交変換器１１１は、逆量子化器１１０から逆量子化後情報を取得し、取得した逆量子化後情報に対して、所定の逆多重調和局所直交変換処理を行う（ステップＳ２１１）。これにより、逆量子化後の残差ＤＣＴ係数情報からＤＣＴ係数情報が復号され、その復号ＤＣＴ係数情報は逆直交変換器１１２に供給される。
逆直交変換器１１２は、逆多重調和局所直交変換器１１１から復号ＤＣＴ係数情報を取得し、取得した復号ＤＣＴ係数情報に対して逆直交変換を行う（ステップＳ２１２）ことで復号差分画像ブロックを生成する。続いて、符号化するフレームが基準フレームであるか参照フレームであるかを判定する（ステップＳ２１３）。
参照フレームである場合には、ＭＣ器１０６が生成した予測画像ブロックと、逆直交変換器１１２からの復号差分画像ブロックとを加算器１１３にて加算する事により、動き補償復号を行う（ステップＳ２１４）。動き補償復号によって生成された復号画像ブロック（局所復号画像信号）もしくは、基準フレームの場合には逆直交変換器１１２で逆直交変換を施された結果生成された復号画像ブロック（局所復号画像信号）が、２次元ブロック逆変換器１１４において、ブロック逆変換によりブロック解除され（ステップＳ２１５）、得られた復号画像データが参照画像フレームとして利用できるようにするために、参照画像メモリ１１５に格納される（ステップＳ２１６）。そして、復号画像ブロックを上位階層の予測信号として利用するために、出力端子１２１よりローカルデコードデータとして出力する（ステップＳ２１７）。
エントロピー符号化器１１８は、量子化器１０９からの量子化後情報と、ＭＣ器１０６からの動きベクトル情報と予測モード情報とを少なくとも取得し、取得した量子化後情報および動きベクトル情報、予測モード情報に対して、所定のエントロピー符号化を行う（ステップＳ２１８）ことで、符号化ビットストリームを生成する。生成された符号化ビットストリームは、ストリームバッファ１１９を介して、ベースレイヤビットストリーム（下位階層符号化信号）として出力端子１２０より図１５における多重化器１５０９に対して出力される。
以上のような下位階層の符号化処理を符号化対象となる動画像フレームに対して順次行うことで、本実施の形態の階層符号化装置は従来の階層符号化装置よりも符号化効率の良いベースレイヤビットストリーム（下位階層符号化信号）を出力符号として得ることができる。下位階層（ベースレイヤ）の符号化効率が向上する事で、同一符号量での符号化を行う際の量子化スケールが低く抑えられるため、下位階層（ベースレイヤ）において符号化処理の過程で除去される低周波成分が少なくなり、上位階層（エンハンスメントレイヤ）において、階層間の予測処理の精度が向上する。また、符号量が低く抑えられ、大きな量子化スケールにおいて下位階層（ベースレイヤ）が符号化された場合においても、ブロック間の信号連続性を保つＤＣＴ係数成分が復元できるため、下位階層（ベースレイヤ）におけるブロック歪が生じにくく、ブロック歪の影響による上位階層の予測精度の劣化と、上位階層（エンハンスメントレイヤ）の復号画像においてブロック間の不連続性が解消できなくなる問題を防ぐ事が可能となる。
次に、本発明になる動画像階層符号化装置の第１の実施の形態の上位階層符号化部について、図３のブロック図と共に説明する。本実施の形態は、図１９に示した従来の上位階層符号化部と比較すると、直交変換器３０５と量子化器３０７の間に多重調和局所直交変換器３０６が設けられ、逆量子化器３０８と逆直交変換器３１０の間に逆多重調和直交変換器３０９が設けられている点が異なる。
入力端子３０１より入力された空間的縮小処理されていないデジタル画像信号は、入力画像メモリ３０２に供給されて記憶され、符号化シンタックスに従って符号化される順番に並べ替えを行うため遅延される。入力画像メモリ３０２から出力されたデジタル画像信号は、２次元ブロック変換器３０３にてマクロブロックが切り出される。
また、入力端子３２１より入力された図１５の空間的拡大部１５０７で空間的拡大処理された画像信号（インターポレーション画像信号）は、階層間予測器３２２により切り出されたマクロブロックと画面内で同一位置におけるベースレイヤローカルデコードデータ（下位階層の局所復号画像信号）のインターポレーション画像信号を２次元ブロックで切り出し、階層間予測ブロックを生成する。
また、上位階層における動き補償予測を行うために、ＭＥ（動き推定）器３１５において、入力画像メモリ３０２から切り出されたマクロブロックデータと参照画像メモリ３１３に格納されている画像との間で、動きベクトルが検出される。ＭＥ（動き補償）器３１４から出力された動きベクトルはＭＣ器３１４に供給され、この動きベクトルに基づき、参照画像メモリ３１３から供給された参照画像から動き補償予測ブロックを切り出す。更に、ＭＣ器３１４では、複数切り出された動き補償予測ブロックの中から最適な予測モードの選択を行い、動き補償予測ブロックを動きベクトル、予測モードと共にモード判定器３２３へ供給する。
モード判定器３２３は、階層間予測ブロックと動き補償予測ブロックの内、予測差分の情報量が少ない予測ブロックを選択し（最適予測方式の予測ブロックを選択し）、選択された予測ブロック（最適予測信号）を減算器３０４及び加算器３１１に供給する。更に、モード判定器３２３は、上記選択された結果に基づいて、予測モードをエントロピー符号化器３１８へ出力し、動き補償予測が選択された場合には、動きベクトルもエントロピー符号化器３１８へ出力する。
減算器３０４では、２次元ブロック変換器３０３から出力されたマクロブロックデータとモード判定器３２３から出力された最適予測方式の予測ブロック（最適予測信号）との差分を算出し、直交変換器３０５に供給する。直交変換器３０５では、２次元ＤＣＴ変換を行い、得られたＤＣＴ係数情報を多重調和局所直交変換器３０６に出力する。
多重調和局所直交変換器３０６は、直交変換器３０５から入力されたＤＣＴ係数情報を取得し、各ブロックの境界条件に基づいてポアソン方程式を解析的に解くことでブロック内の直交変換した近似直交変換係数情報（ここでは近似ＤＣＴ係数情報）を求める機能を有する。更に多重調和局所直交変換器３０６は、直交変換器３０５から取得したＤＣＴ係数情報と、求めた近似ＤＣＴ係数情報との差分から残差直交変換係数情報（ここでは残差ＤＣＴ係数情報）を生成する機能を有し、生成した残差ＤＣＴ係数情報を量子化器３０７に出力する。また、多重調和局所直交変換器３０６は、符号量制御器３１６より入力される量子化器３０７において使用される量子化パラメータを用いて、量子化後のＤＣＴ係数情報を推定し、この推定結果に基づいて近似ＤＣＴ係数情報を生成するような機能を有する。
量子化器３０７においては、多重調和局所直交変換器３０６から取得した近似ＤＣＴ係数情報を周波数成分毎に異なった値を持つ量子化マトリクスにより、係数毎に異なった値で除算することにより、量子化処理する。量子化処理された近似ＤＣＴ係数情報は、エントロピー符号化器３１８において、符号化テーブル３１７の係数に対応したアドレスを参照する事により、可変長または固定長の符号化が行われる。
エントロピー符号化器３１８では、モード判定器３２３から供給される動きベクトルや予測モードを、上記量子化処理された近似ＤＣＴ係数情報と共に所定の構文構造に基づいて符号化し出力することで、符号化ビットストリームを生成する。生成された符号化ビットストリームは、ストリームバッファ３１９に格納された後、出力端子３２０を介して、エンハンスメントレイヤの符号化ビットストリーム（上位階層符号化信号）として、図１５における多重化部１５０９に出力される。
一方、量子化器３０９において量子化された近似ＤＣＴ係数情報は、逆量子化器３０８において逆量子化処理が行われ、逆量子化後の情報を逆多重調和局所直交変換器３０９に出力する。逆多重調和局所直交変換器３０９は、入力された逆量子化後の情報に対して、所定の逆多重調和局所直交変換を行うことで、逆量子化後の残差ＤＣＴ係数情報から復号して得られた復号ＤＣＴ係数情報を生成する。
ここで、逆多重調和局所直交変換器３０９は、復号化対象となるブロックの隣接する他のブロックとの境界における逆量子化後の残差直交変換係数情報（ここでは、残差ＤＣＴ係数情報）から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっているブロック内の推定信号に対して、直交変換した近似直交変換係数情報（ここでは、近似ＤＣＴ係数情報）を、逆量子化器３０８によって生成された逆量子化後の残差直交変換係数情報（ここでは、残差ＤＣＴ係数情報）を利用して生成する。更に、逆多重調和局所直交変換器３０９は、逆量子化後の残差直交変換係数情報（ここでは、残差ＤＣＴ係数情報）と、生成した近似直交変換係数情報（ここでは、近似ＤＣＴ係数情報）を合成する事で、復号直交変換係数情報（ここでは、復号ＤＣＴ係数情報）を生成する。また、逆多重調和局所直交変換器３０９は、生成した復号ＤＣＴ係数情報を、逆直交変換器３１０に出力する。
逆直交変換器３１０においては逆ＤＣＴ処理を行うことにより復号ブロック（復号予測差分信号）が生成される。加算器３１１では、逆直交変換器３１０からの復号ブロックとモード判定器３２３からの予測ブロックとの加算を行い、得られた加算後のデータを２次元ブロック逆変換器３１２に供給され、ここで２次元ブロック変換処理されることによりローカルデコードデータ（局所復号画像信号）が生成される。このローカルデコードデータは参照画像メモリ３１３に供給されて格納される。
次に、図３の第１の実施の形態の上位階層符号化部（エンハンスメントレイヤエンコード部）の動作を、図４のフローチャートに従って説明する。まず、入力端子３０１に入力される、符号化対象となる画像フレームを準備する（ステップＳ４０１）。続いて、２次元ブロック変換器３０３で、画像フレームを２次元画像ブロックに切り出すためのブロック変換処理を行う（ステップＳ４０２）。
続いて、ベースレイヤのローカルデコードデータ（下位階層の局所復号画像信号）を図１５における空間的拡大部１５０７にてインターポレーション（空間的拡大処理）された拡大画像信号が図３の入力端子３２１を介して階層間予測器３２２に供給され、ここでエンハンメントレイヤ（上位階層）のマクロブロックと画面内で同一位置、すなわち、上位階層の入力画像と同一時刻の下位階層の局所復号画像信号を拡大した拡大復号画像の同一位置における拡大画像ブロックが切り出されて、階層間予測ブロックが生成される（ステップＳ４０３）。
また、ＭＥ器３１５が、入力画像メモリ３０２にある符号化対象となっている画像フレームと、参照画像メモリ３１３に格納されている所定の参照画像フレームを取得し、動き推定を行う（ステップＳ４０４）。動き推定処理によって生成した動きベクトル情報をＭＣ器３１４に通知する。
ＭＣ器３１４は、ＭＥ器３１５が動き推定処理によって生成した動きベクトル情報を取得する。また、ＭＥ器３１５が動きベクトル情報を生成した際に利用した参照画像フレームを参照画像メモリ３１３から取得する。ＭＣ器３１４は、取得した動きベクトル情報、参照画像フレームから、動き補償予測ブロックを生成する（ステップＳ４０５）。
モード判定器３２３は、ＭＣ器３１４から取得した動き補償予測ブロック、動きベクトル情報と、階層間予測器３２２から取得した階層間予測ブロックとより、動き補償予測ブロックと階層間予測ブロックの各予測差分の情報量を比較して、情報量の少ない方の予測ブロックを選択し、選択された予測ブロックを減算器３０４及び加算器３１１に供給する（ステップＳ４０６）。
減算器３０４では、２次元ブロック変換器３０３から得られる２次元画像ブロックと、モード判定器３２３から得られる予測ブロックとの差分ブロックを取得する。また、モード判定器３２３は、動きベクトル情報と予測モードをエントロピー符号化するために、選択した予測ブロックをエントロピー符号化器３１８に通知する。直交変換器３０５は、取得した差分画像ブロックに対して所定の直交変換を行う（ステップＳ４０７）。直交変換器３０５は、直交変換後の係数情報を多重調和局所直交変換器３０６に通知する。ここで直交変換後の係数情報は、ＤＣＴ係数情報であるものとする。
次に、符号量制御器３１６が、ストリームバッファ３１９に出力されたビットストリームの符号量と、予め設定された目標とする符号量とより、量子化処理に用いる量子化パラメータを算出する（ステップＳ４０８）。多重調和局所直交変換器３０６は、直交変換器３０５から直交変換係数情報（ここではＤＣＴ係数情報）を取得し、符号量制御器３１６より量子化パラメータを取得し、多重調和局所直交変換処理を行う（ステップＳ４０９）。すなわち、この多重調和局所直交変換器３０６は、符号化対象となっている矩形領域であるブロックの隣接する他のブロックとの境界における直交変換係数情報（ここではＤＣＴ係数情報）から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、符号化対象となっているブロック内の推定信号に対して、直交変換した近似直交変換係数情報を、直交変換器３０５から取得した直交変換係数情報（ここではＤＣＴ係数情報）を利用して生成した後、直交変換係数情報（ここではＤＣＴ係数情報）と生成した上記の直交変換した近似直交変換係数情報との差分をとることで残差直交変換係数情報（ここでは残差ＤＣＴ係数情報）を生成して、量子化器３０７に供給する。
量子化器３０７は、多重調和局所直交変換器３０６から残差ＤＣＴ係数情報を取得し、取得した残差ＤＣＴ係数情報に対して所定の量子化を行う（ステップＳ４１０）ことで量子化後の残差ＤＣＴ係数情報である量子化後情報を生成する。生成した量子化後情報は逆量子化器３０８、エントロピー符号化器３１８に供給される。
逆量子化器３０８は、量子化器３０７から量子化後情報を取得し、取得した量子化後情報に対して所定の逆量子化を行う（ステップＳ４１１）。これにより、逆量子化後の残差ＤＣＴ係数情報である逆量子化後情報が生成され、その逆量子化後情報を逆多重調和局所直交変換器３０９に供給する。
逆多重調和局所直交変換器３０９は、逆量子化器３１０から逆量子化後情報を取得する。取得した逆量子化後情報に対して、所定の逆多重調和局所直交変換処理を行う（ステップＳ４１２）ことで、逆量子化後の残差ＤＣＴ係数情報から復号して得られた復号ＤＣＴ係数情報を生成する。生成した復号ＤＣＴ係数情報を逆直交変換器３１０に通知する。逆直交変換器３１０は、逆多重調和局所直交変換器３０９から復号ＤＣＴ係数情報を取得し、取得した復号ＤＣＴ係数情報に対して逆直交変換を行う（ステップＳ４１３）ことで復号差分画像ブロックを生成する。
続いて、モード判定器３２３から出力された予測ブロックと、逆直交変換器３１０から出力された復号差分ブロックを加算器３１１にて加算する事により、予測復号を行い復号画像ブロックが生成される（ステップＳ４１４）。復号画像ブロックは、２次元ブロック逆変換器３１２において、ブロック解除され（ステップＳ４１５）、参照画像フレームとして利用できるようにするために、参照画像メモリ３１３に格納される（ステップＳ４１６）。
一方、エントロピー符号化器３１８は、量子化器３０７から量子化後情報、モード判定器３２３から予測モード情報を少なくとも取得し、動き補償予測モードが選択された場合には動きベクトルも取得し、取得した量子化後情報および動きベクトル情報、予測モード情報に対して、所定のエントロピー符号化を行う（ステップＳ４１７）ことで、符号化ビットストリームを生成する。生成した符号化ビットストリームはストリームバッファ３１９を介して、エンハンスメントレイヤビットストリーム（上位階層符号化信号）として出力端子３２０より図１５における多重化部１５０９に対して出力される。
本実施の形態の上位階層符号化部は以上のような上位階層の符号化処理を符号化対象となる動画像フレームに対して順次行うことで、従来の階層符号化装置よりも符号化効率の良いエンハンスメントレイヤの符号化ビットストリーム（上位階層符号化信号）を出力符号として得ることができる。
次に、本発明の動画像階層復号化装置の第１の実施の形態について説明する。本実施の形態の動画像階層復号化装置は、図１５の階層復号化部１５０３と同様のブロック構成であるが、図１５の下位階層復号化部（ベースレイヤデコード部）１５１１を図５のブロック図に示す構成とし、かつ、図１５の上位階層復号化部（エンハンスメントレイヤデコード部）１５１３を図７のブロック図に示す構成としたものである。
まず、本発明になる動画像階層復号化装置の第１の実施の形態の下位階層復号化部について、図５のブロック図と共に説明する。本実施の形態の下位階層復号化部は、図２０に示した従来の下位階層復号化部と比較して、逆量子化器５０６と逆直交変換器５０８の間に逆多重調和直交変換器５０７が設けられている点に特徴がある。
図１５における領域分割部１５１０により分割されて図５の入力端子５０１に入力されたベースレイヤビットストリーム（下位階層符号化信号）は、ストリームバッファ５０２に一時格納された後、エントロピー復号器５０３に供給される。エントロピー復号器５０３では、符号化テーブル５０４を用いて可変長または固定長の符号を復号し、量子化された残差ＤＣＴ係数と動きベクトルや予測モードを復元する。
逆量子化器５０６は量子化された残差ＤＣＴ係数を入力として受け、逆量子化後の残差ＤＣＴ係数情報である逆量子化後情報を生成する。また、逆量子化器５０６は、生成した逆量子化後情報を逆多重調和局所直交変換器５０７に供給する機能を有する。逆多重調和局所直交変換器５０７は、逆量子化器５０６から逆量子化後情報を取得し、取得した逆量子化後情報に対して、所定の逆多重調和局所直交変換を行うことで、逆量子化後の残差ＤＣＴ係数情報から復号して得られた復号ＤＣＴ係数情報を生成する。また、逆多重調和局所直交変換器５０７は、生成した復号ＤＣＴ係数情報を逆直交変換器５０８に出力する。
逆直交変換器５０８は、逆多重調和局所直交変換器５０７から取得した復号ＤＣＴ係数情報に対して逆直交変換を行うことで復号差分画像ブロックを生成する。生成した復号差分画像ブロックは基準フレームの場合には、そのまま復号画像ブロックとなり、加算器５０９、２次元ブロック逆変換器５１０を介してデコード画像信号として出力画像メモリ５１２に蓄えられた後、出力時刻順に並べ替えられ、出力端子５１４より低解像度映像信号として出力される。この出力端子５１４は、図１５における出力端子１５１４と同じである。また、デコード画像信号は、参照画像メモリ５１１にも供給されて格納されると共に、出力端子５１３より図１５の空間的拡大部１５１２に供給され、上位階層（エンハンスメントレイヤ）の復号における予測信号に使用される。
予測フレームにおいては、エントロピー復号器５０３から出力される動きベクトル及びモード信号をＭＣ器５０５が取得し、参照画像メモリ５１１より参照画像を切り出す事により、予測ブロックが生成される。生成された予測ブロックは加算器５０９に供給され、逆直交変換器５０８から出力される復号差分画像ブロックと加算される。加算された復号ブロックは、基準フレームと同様に２次元ブロック逆変換器５１０を介してデコード画像信号として出力画像メモリ５１２に蓄えられた後、出力時刻順に並べ替えられ、出力端子５１４より出力される。また、デコード画像信号は出力端子５１３より出力され、上位階層（エンハンスメントレイヤ）における予測信号に使用されると共に、該当フレームが参照を受ける画像の場合には、参照画像メモリ５１１にも供給されて格納される。
次に、図５の本実施の形態による下位階層復号化部の動作を、図６のフローチャートに従って説明する。まず、エントロピー復号器５０３は、入力端子５０１より入力された、本実施の形態の階層符号化装置および階層符号化方法によって生成したベースレイヤビットストリーム（下位階層符号化信号）を取得し、取得したビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行い（ステップＳ６０１）、符号化テーブル５０４のデータを用いて所定のエントロピー復号化を行う（ステップＳ６０２）。このエントロピー復号化により生成された、量子化後情報および動きベクトル情報、およびその他の所定の構文構造を構成するために必要なパラメータ情報などのうち、少なくとも量子化後情報が逆量子化器５０６に供給されるともに、動きベクトル情報がＭＣ器５０５に供給される。
逆量子化器５０６は、エントロピー復号器５０３から量子化後情報を取得し、取得した量子化後情報に対して所定の逆量子化を行う（ステップＳ６０３）ことで、逆量子化後の残差ＤＣＴ係数情報である逆量子化後情報を生成し、生成した逆量子化後情報を逆多重調和局所直交変換器５０７に通知する。
続いて、符号化するフレームが基準フレームであるか参照フレームであるかを判定する（ステップＳ６０４）。予測フレームの場合には、ＭＣ器５０５がエントロピー復号器５０３から取得した動きベクトル情報を用いて、動きベクトルが検出された参照フレームを構成するように復号および格納された参照フレームを参照画像メモリ５１１から取得し、取得したその動きベクトル情報、参照画像フレームを用いて、動き補償を行い（ステップＳ６０５）、これにより生成した予測画像ブロック（動き補償予測信号）を加算器５０９に出力する。基準フレームの場合には、予測画像ブロックは生成されず、加算器５０９にはＭＣ器５０５からゼロデータが供給される。
次に、逆多重調和局所直交変換器５０７は逆量子化器５０６から逆量子化後情報を取得し、取得したその逆量子化後情報に対して、所定の逆多重調和局所直交変換を行い（ステップＳ６０６）、逆量子化後の残差ＤＣＴ係数情報から復号して得られた復号ＤＣＴ係数情報を生成し、生成した復号ＤＣＴ係数情報を逆直交変換器５０８に供給する。逆直交変換器５０８は、逆多重調和局所直交変換器５０７から復号ＤＣＴ係数情報を取得し、取得した復号ＤＣＴ係数情報に対して逆直交変換を行い（ステップＳ６０７）、復号差分ブロックを生成する。
生成した復号差分画像ブロックは、ＭＣ器５０５から出力された予測画像ブロックと加算器５０９にて加算されて復号画像ブロックが生成される（ステップ６０８）。この復号画像ブロックは、２次元ブロック逆変換器５０８により２次元逆ブロック変換処理が施されて（ステップＳ６０９）、デコード画像信号が生成される。
このデコード画像信号は、出力画像メモリ５１２に蓄えられて出力時刻順に並べ替えられた後、低解像度復号画像（ベースレイヤデコード画像信号）として出力端子５１４より出力される（ステップＳ６１０）。また、デコード画像信号は、参照画像メモリ５１１にも供給されて格納される（ステップＳ６１１）と共に、出力端子５１３より図１５の空間的拡大部１５１２にベースレイヤのローカルデコードデータとして供給され、エンハンスメントレイヤにおける予測信号に使用される（ステップＳ６１２）。その後、更に復号化対象となる符号化ビットストリームが存在するかを判定する（ステップＳ６１３）。復号化の必要がある場合にはステップＳ６０１に進むことで復号化処理を継続し、復号化の必要がない場合には一連の復号化処理を終了する。
次に、本発明になる動画像階層復号化装置の第１の実施の形態の上位階層復号化部について、図７のブロック図と共に説明する。本実施の形態の上位階層復号化部は、図２１に示した従来の上位階層復号化部と比較して、逆量子化器７０６と逆直交変換器７０８の間に逆多重調和直交変換器７０７が設けられている点に特徴がある。
図１５における領域分割部１５１０より図７の入力端子７０１に入力されたエンハンスメントレイヤビットストリーム（上位階層符号化信号）は、ストリームバッファ７０２に一時格納された後、エントロピー復号器７０３に供給される。エントロピー復号器７０３では、符号化テーブル７０４を用いて可変長または固定長の符号を復号し、量子化された残差ＤＣＴ係数と動きベクトルや予測モードを復元する。残差ＤＣＴ係数は、逆量子化器７０６に供給され、動きベクトルや予測モードは予測生成器７１１に供給される。
また、図１５の空間的拡大部１５１２から図７の入力端子７０９に拡大された下位階層復号画像であるインターポレーション画像信号が入力され、階層間予測器７１０により２次元ブロックに切り出され、階層間予測ブロックが生成される。
予測生成器７１１においては、エントロピー復号器７０３より入力された予測モードより、動き補償予測を行うか階層間予測を行うかを判断し、階層間予測が選択された場合には、階層間予測器７１０から階層間予測ブロックを受け取る。動き補償予測が選択された場合には、ＭＣ器７１２に動きベクトルを供給し、動き補償予測ブロックを受け取る。ＭＣ器７１２は、予測生成器７１１より入力された動きベクトルを用いて、参照画像メモリ７１５内の参照画像から動き補償予測ブロックを切り出す。予測生成器７１１は、上記選択した予測ブロックを加算器７１３に出力する。
逆量子化器７０６は量子化された残差ＤＣＴ係数を入力し、逆量子化後の残差ＤＣＴ係数情報である逆量子化後情報を生成する。また、逆量子化器７０６は、生成した逆量子化後情報を逆多重調和局所直交変換器７０７に通知する機能を有する。逆多重調和局所直交変換器７０７は、逆量子化器７０６から逆量子化後情報を取得し、取得した逆量子化後情報に対して、所定の逆多重調和局所直交変換を行うことで、逆量子化後の残差ＤＣＴ係数情報から復号した復号ＤＣＴ係数情報を生成する。また、逆多重調和局所直交変換器７０７は、生成した復号ＤＣＴ係数情報を逆直交変換器７０８に出力する。逆直交変換器７０８は、逆多重調和局所直交変換器７０７から取得した復号ＤＣＴ係数情報に対して逆直交変換を行うことで復号差分画像ブロック（復号予測差分信号）を生成する。
加算器７１３は、予測生成器７１１から供給される予測ブロックと、逆直交変換器７０８より供給される復号差分画像ブロックとを加算し、復号ブロックを生成する。生成された復号ブロックは、２次元ブロック逆変換器７１４を介してデコード画像信号として出力画像メモリ７１６に蓄えられ出力時刻順に並べ替えられた後、出力端子７１７より出力される。出力端子７１７に出力されるエンハンスメントレイヤデコード画像信号（上位階層復号画像信号）が、高解像度映像出力となる。この出力端子７１７は、図１５における出力端子１５１５と同じである。また、２次元ブロック逆変換器７１４から出力されたデコード画像信号は参照画像メモリ７１５にも供給され、続く画像信号の動き補償予測信号に使用するために格納される。
次に、図７の第１の実施の形態による上位階層復号化部の動作を、図８のフローチャートに従って説明する。まず、エントロピー復号器７０３は、入力端子７０１より入力された、本発明の階層符号化装置および階層符号化方法によって生成したエンハンスメントレイヤビットストリーム（上位階層符号化信号）を取得し、取得したビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行い（ステップＳ８０１）、符号化テーブル７０４のデータを用いて所定のエントロピー復号化を行う（ステップＳ８０２）ことで、量子化後情報、予測モードおよび動きベクトル情報、およびその他の所定の構文構造を構成するために必要なパラメータ情報などを生成する。その後、少なくとも量子化後情報は逆量子化器７０６に供給されると共に、予測モード情報、動きベクトル情報が予測生成器７１１に供給される。
逆量子化器７０６は、エントロピー復号器７０３から量子化後情報を取得し、取得したその量子化後情報に対して所定の逆量子化を行い（ステップＳ８０３）、逆量子化後の残差ＤＣＴ係数情報である逆量子化後情報を生成し、生成した逆量子化後情報を逆多重調和局所直交変換器７０７に供給する。
続いて、予測生成器７１１において予測ブロックの生成方法が階層間予測であるか、動き補償予測であるかを判定する（ステップＳ８０４）。階層間予測の場合には、階層間予測器７１０が入力端子７０９より受信した、図１５における空間的拡大部１５１２より供給されたインターポレーション画像信号より、階層間予測ブロックを生成する（ステップＳ８０５）。
動き補償予測の場合には、予測生成器７１１がＭＣ器７１２に対してエントロピー復号器７０３からの動きベクトルを供給し、ＭＣ器７１２がその動きベクトルを用いて、動きベクトルが検出された参照フレームを構成するように復号及び格納された参照フレーム（上位階層の復号信号であるデコード画像信号）を参照画像メモリ７１５から取得し、取得したその動きベクトル情報、参照画像フレームを用いて、動き補償を行う（ステップＳ８０６）。これにより、ＭＣ器７１２は動き補償予測画像ブロックを生成し、その動き補償予測画像ブロックを予測生成器７１１に出力する。予測生成器７１１は、選択して受信した動き補償予測画像ブロックを、加算器７１３に出力する。
一方、逆多重調和局所直交変換器７０７は逆量子化器７０６から逆量子化後情報を取得し、取得した逆量子化後情報に対して、所定の逆多重調和局所直交変換を行い（ステップＳ８０７）、逆量子化後の残差ＤＣＴ係数情報から復号して得られた復号ＤＣＴ係数情報を生成し、生成した復号ＤＣＴ係数情報を逆直交変換器７０８に供給する。逆直交変換器７０８は、逆多重調和局所直交変換器７０７から復号ＤＣＴ係数情報を取得し、取得した復号ＤＣＴ係数情報に対して逆直交変換を行い（ステップＳ８０８）、復号差分ブロックを生成する。
続いて、予測生成器７１１から出力された予測画像ブロックと、逆直交変換器７０８から出力された復号差分画像ブロックとが加算器７１３に供給されて加算され、復号画像ブロックが生成される（ステップＳ８０９）。この復号画像ブロックは、２次元ブロック逆変換器７１４により逆ブロック変換処理が施されて（ステップＳ８１０）、デコード画像信号が生成される。
このデコード画像信号は、出力画像メモリ７１６に蓄えられて出力時刻順に並べ替えられ、高解像度復号画像信号（エンハンスメントレイヤデコード画像信号）として出力端子７１７より出力される（ステップＳ８１１）。また、上記のデコード画像信号は、参照画像メモリ７１５にも供給されて、動き補償予測の参照画像として格納される（ステップＳ８１２）。その後、更に復号化対象となる符号化ビットストリームが存在するかを判定する（ステップＳ８１３）。復号化の必要がある場合にはステップＳ８０１に進むことで復号化処理を継続し、復号化の必要がない場合には一連の復号化処理を終了する。
以上のような構成に基づいて動画像フレームに対する階層符号化・階層復号化処理を行うことで、本実施の形態では符号化対象となる動画像フレーム内の下位階層（ベースレイヤ）及び上位階層（エンハンスメントレイヤ）のブロック領域に対して直交変換を行う際に境界部分の不連続性を相殺し、境界部分における波形の滑らかさを向上させるような近似波形をブロック間の境界条件から特定できる。その後、元の直交変換係数との差分から残差直交変換係数を生成できる。本実施の形態では、このような残差直交変換係数を生成することで、従来法で問題となっていた不必要な高周波数成分の発生を抑制できる。
また、生成した残差直交変換係数を、従来の直交変換係数の替わりに符号化対象として所定の量子化及び所定のエントロピー符号化を行うことで、従来の階層符号化に対して、下位階層における符号化効率改善と、上位階層における階層間予測効率の向上による符号化効率改善を可能とする。
次に、本発明の階層符号化装置及び階層符号化方法を実現するための第２の実施の形態について説明する。本発明の動画像階層符号化装置の第２の実施の形態は、図１５の下位階層符号化部（ベースレイヤエンコード部）１５０６を図１のブロック図に示す構成とし、かつ、図１５の上位階層符号化部（エンハンスメントレイヤエンコード部）１５０８を図９のブロック図に示す構成としたものである。すなわち、第２の実施の形態は、下位階層の符号化処理に対しては、第１の実施の形態と同一処理が行われるのに対し、上位階層の符号化処理に対して追加処理を施すことで、更に符号化効率を向上させるようにしたものである。
図９は本発明になる動画像階層符号化装置の第２の実施の形態の上位階層符号化部のブロック図を示す。同図中、図３と同一構成部分には同一符号を付し、その説明を省略する。上位階層の符号化処理においては、ブロック単位で動き補償予測と階層間予測とが選択されて、予測差分情報が少ない予測方式を用いて符号化される。動き補償予測の場合には、他のフレームの同一物体を検出して動き補償を行うが、必ずしも正確な動きを検出できずに、最終的に予測差分が少ない動きベクトルを選択して、予測処理が行われる。一方、階層間予測の場合には、同じ時刻の低解像度情報より予測されるため、同一物体の情報間での予測となっている。よって、階層間予測で予測されているブロック間における信号の連続性は保たれているが、動き補償予測で予測されたブロックと階層間予測で予測されたブロックの間においては、連続性が保たれていない予測画像ブロックが生成される。
この場合、ブロック境界で不連続な状態となり、従来の多重調和局所直交変換手法を適用すると、本来ブロック間の不連続な状態を保つように符号化を行う必要があるにも拘らず、ブロック間の相関が高く、連続性が保たれていることを想定して符号化処理を行うため、自然画像の場合と比較して十分な符号化効率が得られないことがある。
そこで、このような問題点を解決するために、この第２の実施の形態においては、階層符号化装置、階層復号化装置における上位階層の処理に機能追加を行う。すなわち、図９に示す第２の実施の形態の上位階層符号化部では、図３に示した第１の実施の形態の上位階層符号化部に対して、少なくとも局所復号・階層間予測差分生成器９０１を更に追加したものである。
図９において、局所復号・階層間予測差分生成器９０１は、モード判定器３２３よりモード情報と階層間予測ブロックを受信し、モード情報が動き補償予測モードを示した場合には、加算器３１１から出力される復号画像ブロックを取得し、モード判定器３２３より受信した階層間予測ブロックとの間で仮想差分ブロックを生成する。この生成した仮想差分ブロックは、続くブロックが階層間予測モードである場合の多重調和局所直交変換器３０６における境界条件に用いる周辺ブロック情報として使用する。
図９においては、多重調和局所直交変換器３０６において、境界条件からの推定信号に対してそれぞれＤＣＴを行うことでそれぞれのＤＣＴ係数を求めた後に差分をとる構成を採用しているため、局所復号・階層間予測差分生成器９０１では、生成した上記の仮想差分ブロックに対して更に直交変換を行って仮想差分ＤＣＴ係数を生成し、その仮想差分ＤＣＴ係数を多重調和局所直交変換器３０６に供給する。
ここでは、境界条件として必要となるＤＣＴ成分のみを供給すればよいので、必要な成分に関する演算のみを行う処理を具備することも可能である。原信号と推定信号との差分である残差信号に対して、ＤＣＴを行うような構成である場合であれば、局所復号・階層間予測差分生成器９０１において直交変換を行う必要はなく、ブロックで連続性が保たれている推定信号を、動き補償予測モードの場合に仮想的に生成することで、階層間予測モードの場合の予測差分に対する効率の良い多重調和局所余弦変換処理が実現できる。
局所復号・階層間予測差分生成器９０１で生成された仮想差分ＤＣＴ係数は、多重調和局所直交変換器３０６に供給される一方、逆多重調和局所直交変換器３０９にも供給され、復号時の推定処理に使用される。
次に、図９の上位階層符号化部の第２の実施形態の動作を、図１０のフローチャートに従って説明する。図１０中、図４と同一処理ステップには同一符号を付し、その説明を省略する。図１０では、少なくとも仮想差分ＤＣＴ係数を取得するための処理（ステップＳ１０１９、Ｓ１０２０、Ｓ１０２１）を更に追加する。以下、追加された処理に関するのみ説明を行う。
モード判定器３２３から出力された予測ブロックと、逆直交変換器３１０から出力された復号差分ブロックとを加算器３１１にて加算することにより生成された復号画像ブロックが、局所復号・階層間予測差分生成器９０１に入力される。また、モード判定器３２３からは、階層間予測ブロックと予測モード情報が局所復号・階層間予測差分生成器９０１に供給される。局所復号・階層間予測差分生成器９０１では、入力された予測モードが動き補償予測モードであるかどうか判定し（ステップＳ１０１９）、動き補償予測モードである場合は復号画像ブロックと階層間予測ブロックの間の仮想差分ブロックを生成する（ステップＳ１０２０）。そして、局所復号・階層間予測差分生成器９０１は、この仮想差分ブロックに対して直交変換処理を行い、仮想差分ＤＣＴ係数を生成して多重調和局所直交変換器３０６および逆多重調和局所直交変換器３０９にそれぞれ供給する（ステップＳ１０２１）。その後、ステップＳ４１５以降の処理が行われる。
なお、ステップＳ１０１９で局所復号・階層間予測差分生成器９０１は、入力された予測モードが動き補償予測モードでないと判定したときは、ステップＳ１０２０及びＳ１０２１の処理を行わず、ステップＳ４１５以降の処理を行う。
次に、本発明の階層復号化装置及び階層復号化方法を実現するための第２の実施の形態について説明する。本発明の動画像階層復号化装置の第２の実施の形態は、図１５の下位階層復号化部（ベースレイヤデコード部）１５１１を図５のブロック図に示す構成とし、かつ、図１５の上位階層復号化部（エンハンスメントレイヤデコード部）１５１３を図１１のブロック図に示す構成としたものである。すなわち、第２の実施の形態の動画像階層復号化装置は、下位階層の復号化処理に対しては、第１の実施の形態と同一処理が行われるのに対し、上位階層の復号化処理に対して追加処理を施すようにしたものである。
図１１は本発明の動画像階層復号化装置の第２の実施の形態の上位階層復号化部のブロック図を示す。同図中、図７と同一構成部分には同一符号を付し、その説明を省略する。図１１の第２の実施の形態の上位階層復号化部においては、図７に示した第１の実施の形態の上位階層復号化部に対して、少なくとも局所復号・階層間予測差分生成器１１０１を追加した構成である。
図１１において、局所復号・階層間予測差分生成器１１０１は、予測生成器７１１よりモード情報を受信すると共に、階層間予測器７１０より階層間予測ブロックを受信する。局所復号・階層間予測差分生成器１１０１は、モード情報が動き補償予測モードを示した場合には、加算器７１３から出力される復号画像ブロックを取得し、階層間予測ブロックとの間で仮想差分ブロックを生成する。この仮想差分ブロックは、続くブロックが階層間予測モードである場合の逆多重調和局所直交変換器７０７における境界条件に用いる周辺ブロック情報として使用する。
図１１においては、逆多重調和局所直交変換器７０７において、境界条件からの推定信号に対してそれぞれＤＣＴを行うことでそれぞれのＤＣＴ係数を求めた後に差分をとる構成を採用しているため、局所復号・階層間予測差分生成器１１０１では更に上記の仮想差分ブロックに対して直交変換を行うことにより、仮想差分ＤＣＴ係数を生成して逆多重調和局所直交変換器７０７に供給する。ここでは境界条件として必要となるＤＣＴ成分のみを供給すればよいので、必要な成分に関する演算のみを行う処理を具備することも可能である。
なお、原信号と推定信号との差分である残差信号に対して、ＤＣＴを行うような構成である場合であれば、局所復号・階層間予測差分生成器１１０１において直交変換を行う必要はなく、ブロックで連続性が保たれている推定信号を、動き補償予測モードの場合に仮想的に生成することで、階層間予測モードの場合の予測差分に対する効率の良い多重調和局所余弦変換処理が実現できる。
次に、図１１に示す上位階層復号化部の第２の実施の形態の動作を、図１２のフローチャートに従って説明する。図１２中、図８と同一処理ステップには同一符号を付し、その説明を省略する。図１２のフローチャートは、図８に示したフローチャートに対して、少なくとも仮想差分ＤＣＴ係数を取得するための処理（ステップＳ１２１４、Ｓ１２１５、Ｓ１２１６）を更に追加したものである。以下、追加された処理に関するのみ説明を行う。
図１１において、階層間予測器７１０から出力された階層間予測ブロックと逆直交変換器７０８から出力された復号差分ブロックとを加算器７１３にて加算することにより生成された復号画像ブロックが局所復号・階層間予測差分生成器１１０１に入力される。また、階層間予測器７１０から出力された階層間予測ブロックと共に予測生成器７１１から出力された予測モード情報も局所復号・階層間予測差分生成器１１０１に供給される。
局所復号・階層間予測差分生成器１１０１では、予測モードが動き補償予測モードであるかどうか判定し（ステップＳ１２１４）、動き補償予測モードである場合は復号差分ブロックと階層間予測ブロックの間の仮想差分ブロックを生成する（ステップＳ１２１５）。そして、生成した仮想差分ブロックに対して直交変換処理を行い、仮想差分ＤＣＴ係数を生成して逆多重調和局所直交変換器７０７に供給する（ステップＳ１２１６）。ステップＳ１２１６に続いて図１２のステップＳ８１０以降の処理が行われる。
一方、局所復号・階層間予測差分生成器１１０１は、ステップＳ１２１４で予測モードが動き補償予測モードでないと判定したときは、ステップＳ１２１５及びＳ１２１６の処理を行うことなく、図１２のステップＳ８１０以降の処理を行う。
以上の第２の実施の形態では、符号化する差分ブロックが、下位階層のローカルデコードデータに対する空間的拡大された予測ブロックを用いて生成される場合に、隣接するブロックが上位階層での動き補償予測により符号化された場合には、隣接するブロックの復号データと、隣接ブロックの下位階層のローカルデコードデータに対する空間的拡大された予測ブロックより生成した隣接ブロックの仮想差分ブロック情報を用いて多重調和局所余弦変換処理を行う。これにより、差分ブロックのブロック間の連続性を確保し、効率の良い多重調和局所余弦変換処理を実現し、符号化効率を向上させることができる。
なお、本発明は、上記図１、図３、図５、図７、図９、図１１が示す階層符号化装置および階層復号化装置の機能を図１３、図１４に示すコンピュータである中央処理制御装置１３０３，１４０３に実現させるためのプログラムを含むものである。
図１３は本発明になる動画像階層符号化プログラムにより動作する情報処理装置の一例の構成図を示す。同図において、情報処理装置１３００は、各種の情報を入力するための入力装置１３０１と、各種の情報を出力するための出力装置１３０２と、本発明の動画像階層符号化プログラムにより動作する中央処理制御装置１３０３と、外部記憶装置１３０４と、中央処理制御装置１３０３による演算処理の際の作業領域など用いる一時記憶装置１３０５と、外部と通信するための通信装置１３０６とが、双方向のバス１３０７により接続された構成とされている。
中央処理制御装置１３０３は、本発明の動画像階層符号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置１３０６により取り込まれ、図１、図３の直交変換器１０５、３０５に相当する直交変換手段１３０８、多重調和局所直交変換器１０８、３０６に相当する多重調和局所直交変換手段１３０９、量子化器１０９、３０７に相当する量子化手段１３１０、逆量子化器１１０、３０８に相当する逆量子化手段１３１１、逆多重調和局所直交変換器１１１、３０９に相当する逆多重調和局所直交変換手段１３１２、逆直交変換器１１２、３１０に相当する逆直交変換手段１３１３、２次元ブロック変換器１０３、３０３に相当する２次元ブロック変換手段１３１４、ＭＥ器１０７、３１５に相当するＭＥ手段１３１５、ＭＣ器１０６、３１４に相当するＭＣ手段１３１６、２次元ブロック逆変換器１１４、３１２に相当する２次元ブロック逆変換手段１３１７、エントロピー符号化器１１８、３１８に相当するエントロピー符号化手段１３１８、符号量制御器１１６、３１６に相当する符号量制御手段１３１９の各機能を少なくとも有し、さらに図１５における空間的縮小部１５０５に相当する空間的縮小手段１３２０、空間的拡大部１５０７に相当する空間的拡大手段１３２１、多重化部１５０９に相当する多重化手段１３２２による階層符号化機能を有し、それに加えてモード判定器３２３に相当するエンハンスメントレイヤ予測モード判定手段１３２３、階層間予測器３２２に相当する階層間予測手段１３２４、図９の局所復号・階層間予測差分生成器９０１に相当する局所復号・階層間予測差分生成手段１３２５を有し、図１、図３もしくは図９に示す動画像階層符号化装置と同様の動作をソフトウェア処理により実行する。
図１４は本発明になる動画像階層復号化プログラムにより動作する情報処理装置の一例の構成図を示す。同図において、情報処理装置１４００は、各種の情報を入力するための入力装置１４０１と、各種の情報を出力するための出力装置１４０２と、本発明の動画像階層復号化プログラムにより動作する中央処理制御装置１４０３と、外部記憶装置１４０４と、中央処理制御装置１４０３による演算処理の際の作業領域など用いる一時記憶装置１４０５と、外部と通信するための通信装置１４０６とが、双方向のバス１４０７により接続された構成とされている。
中央処理制御装置１４０３は、本発明の動画像階層復号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置１４０６により取り込まれ、図５、図７のエントロピー復号器５０３、７０３に相当するエントロピー復号化手段１４０８、逆量子化器５０６、７０６に相当する逆量子化手段１４０９、逆多重調和局所直交変換器５０７、７０７に相当する逆多重調和局所直交変換手段１４１０、逆直交変換器５０８、７０８に相当する逆直交変換手段１４１１、２次元ブロック逆変換器５１０、７１４に相当する２次元ブロック逆変換手段１４１２、ＭＣ器５０５、７１２に相当するＭＣ手段１４１３の各機能を少なくとも有し、さらに図１５における領域分割部１５１０に相当するエクストラクト手段１４１４、空間的拡大部１５１２に相当する空間的拡大手段１４１５による階層復号化機能を有し、それに加えて図７の予測生成器７１１に相当するエンハンスメントレイヤ予測ブロック生成手段１４１６、階層間予測器７１０に相当する階層間予測手段１４１７、図１１の局所復号・階層間予測差分生成器１１０１に相当する局所復号・階層間予測差分生成手段１４１８を有し、図５、図７もしくは図１１に示す動画像階層復号化装置と同様の動作をソフトウェア処理により実行する。
本発明による動画像階層符号化装置及び動画像階層復号化装置においては、下位階層と上位階層のそれぞれにおいて、多重調和局所余弦変換手法を適用しているが、下位階層に適用されることによる効果と、上位階層に適用されることによる効果は、それぞれ独立して発揮され、どちらか一方の階層に対して適用した場合にも効果は発揮される。
また、本発明による動画像階層符号化装置においては、下位階層の符号化において多重調和局所余弦変換手法を適用する事により、下位階層の符号化効率の向上が実現できると共に、ブロック間の連続性保持が実現されることで、下位階層の復号データを階層間予測に用いる上位階層の予測効率を向上する事ができ、上位階層の符号化劣化を低減させる事が可能となる。
また、本発明の動画像階層符号化装置においては、上位階層の符号化において多重調和局所余弦変換手法を適用する事により、予測差分ブロックに対する不必要な高周波数成分の発生を抑制し、符号化効率を向上させることができる。更に、符号化する差分ブロックが、下位階層の復号データに対する空間的拡大された階層間予測ブロックを用いて生成される場合に、隣接するブロックが上位階層での動き補償予測ブロックとの差分により符号化された場合には、隣接するブロックの復号データと、隣接ブロックの下位階層の復号データに対する空間的拡大された階層間予測ブロックの差分を生成し、隣接ブロックの仮想差分ブロック情報として用い、多重調和局所余弦変換処理を行う。これにより、差分ブロックのブロック間の連続性を確保し、効率の良い多重調和局所余弦変換処理を実現し、更なる符号化効率を可能とする。
なお、以上の本発明の実施の形態では説明を簡単にするために、下位階層と上位階層の２階層構造の動画像階層符号化装置および動画像階層復号化装置について説明を行った。ただし、動画像階層符号化装置および動画像階層復号化装置の構成例としては、本発明は階層数に関しては特に限定するものではなく、本実施の形態の上位階層の符号化・復号化処理を複数階層に拡張することにより、容易に拡張できる。この場合、例えば動画像の画像信号の一画面を構成する画像フレーム又は画像フィールドを画像単位信号としたとき、上記画像信号から上位階層の符号化対象となる互いに異なる空間解像度を含む複数の第１の画像単位信号と、上記画像信号の縮小処理を伴って、複数の上位階層の符号化対象となる第１の画像単位信号の空間解像度以下の空間解像度に縮小した下位階層の符号化対象となる第２の画像単位信号とを用意し、空間方向、時間方向及び階層間の相関を利用して符号化を行うことなる。
また、本発明の実施の形態は動画像符号化の構成としてＭＰＥＧ−２符号化方式を用いたが、ＭＰＥＧ−１、ＭＰＥＧ−４、Ｈ.２６４などの、直交変換を用いた他の動画像符号化規格を用いても同様の効果を期待でき、適用することが可能である。
本発明の動画像階層符号化装置の第１の実施の形態の下位階層符号化部を示すブロック図である。 図１の動作を説明するフローチャートである。 本発明の動画像階層符号化装置の第１の実施の形態の上位階層符号化部を示すブロック図である。 図３の動作を説明するフローチャートである。 本発明の動画像階層復号化装置の第１の実施の形態の下位階層復号化部を示すブロック図である。 図６の動作を説明するフローチャートである。 本発明の動画像階層復号化装置の第１の実施の形態の上位階層復号化部を示すブロック図である。 図７の動作を説明するフローチャートである。 本発明の動画像階層符号化装置の第２の実施の形態の上位階層符号化部を示すブロック図である。 図９の動作を説明するフローチャートである。 本発明の動画像階層復号化装置の第２の実施の形態の上位階層復号化部を示すブロック図である。 図１１の動作を説明するフローチャートである。 本発明の動画像階層符号化装置が備える機能を、本発明の動画像階層符号化プログラムを実行させることにより実現する情報処理装置の基本構成を表す機能ブロック図である。 本発明の動画像階層復号化装置が備える機能を、本発明の動画像階層復号化プログラムを実行させることにより実現する情報処理装置の基本構成を表す機能ブロック図である。 動画像階層符号化装置及び動画像階層復号化装置の一例を示す構成図である。 従来の動画像階層符号化部の動作を説明するフローチャートである。 従来の動画像階層復号化部の動作を説明するフローチャートである。 従来のＭＰＥＧ−２エンコーダを使用した下位階層符号化部の一例を示すブロック図である。 従来の上位階層符号化部の一例を示すブロック図である。 従来のＭＰＥＧ−２デコーダを使用した下位階層復号化部の一例を示すブロック図である。 従来の上位階層復号化部の一例を示すブロック図である。 多重調和局所直交変換の基本概念を表す概念図である。 通常のＤＣＴを行った場合の信号の取り扱いと影響を示す概念図である。 多重調和局所直交変換を行った場合の信号の取り扱いと影響を示す概念図である。 各ブロック及びブロック間の境界に関する定義を示すための概念図である。
符号の説明
１０２、３０２ 入力画像メモリ
１０３、３０３ ２次元ブロック変換器
１０４、３０４ 減算器
１０５、３０５ 直交変換器
１０６、３１４、５０５、７１２ ＭＣ（動き補償）器
１０７、３１５ ＭＥ（動き推定）器
１０８、３０６ 多重調和局所直交変換器
１０９、３０７ 量子化器
１１０、３０８、５０６、７０６ 逆量子化器
１１１、３０９、５０７、７０７ 逆多重調和局所直交変換器
１１２、３１０、５０８、７０８ 逆直交変換器
１１３、３１１、５０９、７１３ 加算器
１１４、３１２、５１０、７１４ ２次元ブロック逆変換器
１１５、３１３、５１１、７１５ 参照画像メモリ
１１８、３１８ エントロピー符号化器
３２１、７０９ インターポレーション画像信号入力端子
３２２、７１０ 階層間予測器
３２３ モード判定器
５０３、７０３ エントロピー復号器
５１２、７１６ 出力画像メモリ
７１１ 予測生成器
９０１、１１０１ 局所復号・階層間予測差分生成器
１３００、１４００ 情報処理装置
１３０３、１４０３ 中央処理制御装置
１３０８ 直交変換手段
１３０９ 多重調和局所直交変換手段
１３１０ 量子化手段
１３１１、１４０９ 逆量子化手段
１３１２、１４１０ 逆多重調和局所直交変換手段
１３１３、１４１１ 逆直交変換手段
１３１４ ２次元ブロック変換手段
１３１５ ＭＥ手段
１３１６、１４１３ ＭＣ手段
１３１７、１４１２ ２次元ブロック逆変換手段
１３１８ エントロピー符号化手段
１３１９ 符号量制御手段
１３２０ 空間デシメーション手段
１３２１、１４１５ 空間インターポレーション手段
１３２２ 多重化手段
１３２３ エンハンスメントレイヤ予測モード手段
１３２４、１４１７ 階層間予測手段
１３２５ 局所復号階層間予測差分手段
１４０８ エントロピー復号化手段
１４１４ エクストラクト手段
１４１６ エンハンスメントレイヤ予測ブロック生成手段
１４１８ 局所復号階層間予測差分生成手段
１５０１ 階層符号化部
１５０２ 通信回線またはメディア
１５０３ 階層復号化部
１５０５ 空間的縮小（空間デシメーション）部
１５０６ 下位階層符号化（ベースレイヤエンコード）部
１５０７、１５１２ 空間的拡大（空間インターポレーション）部
１５０８ 上位階層符号化（エンハンスメントレイヤエンコード）部
１５０９ 多重化部
１５１０ 領域分割（エクストラクト）部
１５１１ 下位階層復号化（ベースレイヤデコード）部
１５１３ 上位階層復号化（エンハンスメントレイヤデコード）部

Claims (14)

  1. 動画像の画像信号の一画面を構成する画像フレーム又は画像フィールドを画像単位としたとき、第１の空間解像度の第１の画像単位信号を符号化して得られた下位階層の第１の符号化信号と、前記第１の空間解像度よりも高い第２の空間解像度の１又は２以上の第２の画像単位信号を符号化して得られた上位階層の第２の符号化信号とを多重して出力する動画像階層符号化装置において、
    前記画像信号の空間的縮小処理を伴って前記第１の空間解像度に縮小した下位階層の符号化対象となる第１の画像単位信号に対して符号化を行って、前記第１の符号化信号を生成する下位階層符号化手段と、
    前記下位階層符号化手段内にて前記第１の符号化信号をローカルデコードして得られた局所復号画像信号に対して空間的拡大処理を行って、少なくとも１階層上の上位階層が持つ空間解像度と同じ空間解像度の拡大復号画像信号に変換する空間的拡大手段と、
    前記画像信号と前記拡大復号画像信号とを入力として受け、前記拡大復号画像信号を予測情報として用い、前記上位階層の符号化対象となる前記第２の空間解像度の１又は２以上の前記第２の画像単位信号に対して符号化を行って、１又は２以上の前記第２の符号化信号を生成する上位階層符号化手段とを有し、
    前記上位階層符号化手段は、
    符号化対象の前記画像信号の前記画像単位を所定の画素数から構成される矩形領域に分割し、その矩形領域を最小単位として前記拡大復号画像信号を切り出して階層間予測信号を生成する階層間予測手段と、
    前記階層間予測信号と第１の動き補償予測信号とのうち、それらの予測差分の情報量に基づいて選択して得た最適予測信号と符号化対象の前記画像信号との差分信号である第１の予測差分画像信号を生成する第１の予測差分生成手段と、
    前記第１の予測差分画像信号に対して、前記矩形領域を処理単位として直交変換を行い、第１の直交変換係数情報を生成する第１の直交変換手段と、
    符号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における、前記第１の直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、前記符号化対象となっている矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、前記第１の直交変換手段から取得した前記第１の直交変換係数情報を利用して生成した後、前記第１の直交変換係数情報と生成した前記近似直交変換係数情報との差分をとることで第１の残差直交変換係数情報を生成する第１の多重調和局所直交変換手段と、
    前記第１の残差直交変換係数情報を所定の量子化パラメータに基づいて量子化する第１の量子化手段と、
    前記第１の量子化手段から出力された量子化後の第１の残差直交変換係数情報に対して、前記画像単位でエントロピー符号化を行うことで、所定の構文構造に従って前記第２の画像単位信号に対して符号化された前記第２の符号化信号である符号化ビットストリームを生成する第１のエントロピー符号化手段と、
    前記第１の量子化手段から出力された量子化後の第１の残差直交変換係数情報を、所定の量子化パラメータに基づいて逆量子化する第１の逆量子化手段と、
    復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における、前記逆量子化後の第１の残差直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した第１の近似直交変換係数情報を、前記第１の直交変換手段から取得した前記第１の直交変換係数情報もしくは前記第１の逆量子化手段によって生成された逆量子化後の前記第１の残差直交変換係数情報を利用して生成し、前記逆量子化後の第１の残差直交変換係数情報と生成した前記第１の近似直交変換係数情報との合成を行うことで、第１の復号直交変換係数情報を生成する第１の逆多重調和局所直交変換手段と、
    前記第１の逆多重調和局所直交変換手段により生成された前記第１の復号直交変換係数情報を逆直交変換することにより、第１の復号予測差分信号を生成する第１の逆直交変換手段と、
    前記第１の復号予測差分信号と前記最適予測信号との加算を行うことで、第１の局所復号画像信号を生成する第１の局所復号画像生成手段と、
    前記第１の局所復号画像信号と符号化対象の前記画像信号とに基づいて、前記矩形領域を処理単位として前記第１の動き補償予測信号を生成する第１の動き補償予測手段と
    を具備することを特徴とする動画像階層符号化装置。
  2. 前記下位階層符号化手段は、
    前記第１の空間解像度に縮小した符号化対象の前記画像信号の前記画像単位を所定の画素数から構成される矩形領域に分割し、その矩形領域を処理単位として第２の動き補償予測信号と前記第１の空間解像度に縮小した符号化対象の前記画像信号との差分信号である第２の予測差分画像信号を生成する第２の予測差分生成手段と、
    前記第２の予測差分画像信号に対して、前記矩形領域を処理単位として直交変換を行い、第２の直交変換係数情報を生成する第２の直交変換手段と、
    符号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における、前記第２の直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、前記符号化対象となっている矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、前記第２の直交変換手段から取得した前記第２の直交変換係数情報を利用して生成した後、前記第２の直交変換係数情報と生成した前記近似直交変換係数情報との差分をとることで第２の残差直交変換係数情報を生成する第２の多重調和局所直交変換手段と、
    前記第２の残差直交変換係数情報を所定の量子化パラメータに基づいて量子化する第２の量子化手段と、
    前記第２の量子化手段から出力された量子化後の第２の残差直交変換係数情報に対して、前記画像単位でエントロピー符号化を行うことで、所定の構文構造に従って前記第１の画像単位信号に対して符号化された前記第１の符号化信号である符号化ビットストリームを生成する第２のエントロピー符号化手段と、
    前記第２の量子化手段から出力された量子化後の第２の残差直交変換係数情報を、所定の量子化パラメータに基づいて逆量子化する第２の逆量子化手段と、
    復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における、前記逆量子化後の第２の残差直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した第２の近似直交変換係数情報を、前記第２の直交変換手段から取得した前記第２の直交変換係数情報もしくは前記第２の逆量子化手段によって生成された逆量子化後の前記第２の残差直交変換係数情報を利用して生成し、前記逆量子化後の第２の残差直交変換係数情報と生成した前記第２の近似直交変換係数情報との合成を行うことで、第２の復号直交変換係数情報を生成する第２の逆多重調和局所直交変換手段と、
    前記第２の逆多重調和局所直交変換手段により生成された前記第２の復号直交変換係数情報を逆直交変換することにより、第２の復号予測差分信号を生成する第２の逆直交変換手段と、
    前記第２の復号予測差分信号と前記第２の動き補償予測信号との加算を行うことで、第２の局所復号画像信号を生成する第２の局所復号画像生成手段と、
    前記第２の局所復号画像信号と前記第１の空間解像度に縮小した符号化対象の前記画像信号とに基づいて、前記矩形領域を処理単位として前記第２の動き補償予測信号を生成する第２の動き補償予測手段と
    を具備することを特徴とする請求項１記載の動画像階層符号化装置。
  3. 前記第１の多重調和局所直交変換手段は、前記ポアソン方程式を満たすような符号化対象となっている前記矩形領域内の推定信号を直交変換して得た前記第１の近似直交変換係数情報を、前記直交変換後の第１の直交変換係数情報を利用して生成する際に、前記直交変換後の第１の直交変換係数情報に対して量子化で用いる量子化パラメータに基づいて量子化後の第１の直交変換係数情報を推定し、この推定結果に基づいて前記第１の近似直交変換係数情報を生成する手段であることを特徴とする請求項１記載の動画像階層符号化装置。
  4. 前記第１の予測差分生成手段は、前記第１の予測差分画像信号を生成するために、前記階層間予測信号と前記第１の動き補償予測信号とを、前記矩形領域単位でそれらの予測差分の情報量を比較することにより最適予測方式を選択して前記最適予測信号を生成するモード判定手段を含んでおり、
    前記上位階層符号化部は、前記最適予測方式が前記第１の動き補償予測信号による予測方式である場合に、復号後の前記第１の局所復号画像信号と前記階層間予測手段からの前記階層間予測信号との間の仮想差分信号を前記矩形領域単位で生成し、この矩形領域の仮想差分信号に対して直交変換処理を行い、仮想差分直交変換係数情報を生成する局所復号・階層間予測差分生成手段を更に有し、
    前記局所復号・階層間予測差分生成手段で生成された前記仮想差分直交変換係数情報を用いて、前記第１の多重調和局所直交変換手段及び前記第１の逆多重調和局所直交変換手段における、前記矩形領域内の前記推定信号を生成するための情報とすることを特徴とする請求項１乃至３のうちいずれか一項記載の動画像階層符号化装置。
  5. 動画像の画像信号の一画面を構成する画像フレーム又は画像フィールドを画像単位としたとき、第１の空間解像度の第１の画像単位信号を符号化して得られた下位階層の第１の符号化信号と、前記第１の空間解像度よりも高い第２の空間解像度の１又は２以上の第２の画像単位信号を符号化して得られた上位階層の第２の符号化信号とを多重して出力することをコンピュータにより実行させるための動画像階層符号化プログラムにおいて、
    前記コンピュータを、
    前記画像信号の空間的縮小処理を伴って前記第１の空間解像度に縮小した下位階層の符号化対象となる第１の画像単位信号に対して符号化を行って、前記第１の符号化信号を生成する下位階層符号化手段と、
    前記下位階層符号化手段にて前記第１の符号化信号をローカルデコードして得られた局所復号画像信号に対して空間的拡大処理を行って、少なくとも１階層上の上位階層が持つ空間解像度と同じ空間解像度の拡大復号画像信号に変換する空間的拡大手段と、
    前記画像信号と前記拡大復号画像信号とを入力として受け、前記拡大復号画像信号を予測情報として用い、前記上位階層の符号化対象となる前記第２の空間解像度の１又は２以上の前記第２の画像単位信号に対して符号化を行って、１又は２以上の前記第２の符号化信号を生成する上位階層符号化手段として機能させると共に、
    前記上位階層符号化手段を、
    符号化対象の前記画像信号の前記画像単位を所定の画素数から構成される矩形領域に分割し、その矩形領域を最小単位として前記拡大復号画像信号を切り出して階層間予測信号を生成する階層間予測手段と、
    前記階層間予測信号と第１の動き補償予測信号とのうち、それらの予測差分の情報量に基づいて選択して得た最適予測信号と符号化対象の前記画像信号との差分信号である第１の予測差分画像信号を生成する第１の予測差分生成手段と、
    前記第１の予測差分画像信号に対して、前記矩形領域を処理単位として直交変換を行い、第１の直交変換係数情報を生成する第１の直交変換手段と、
    符号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における、前記第１の直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、前記符号化対象となっている矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、前記第１の直交変換手段から取得した前記第１の直交変換係数情報を利用して生成した後、前記第１の直交変換係数情報と生成した前記近似直交変換係数情報との差分をとることで第１の残差直交変換係数情報を生成する第１の多重調和局所直交変換手段と、
    前記第１の残差直交変換係数情報を所定の量子化パラメータに基づいて量子化する第１の量子化手段と、
    前記第１の量子化手段から出力された量子化後の第１の残差直交変換係数情報に対して、前記画像単位でエントロピー符号化を行うことで、所定の構文構造に従って前記第２の画像単位信号に対して符号化された前記第２の符号化信号である符号化ビットストリームを生成する第１のエントロピー符号化手段と、
    前記第１の量子化手段から出力された量子化後の第１の残差直交変換係数情報を、所定の量子化パラメータに基づいて逆量子化する第１の逆量子化手段と、
    復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における、前記逆量子化後の第１の残差直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した第１の近似直交変換係数情報を、前記第１の直交変換手段から取得した前記第１の直交変換係数情報もしくは前記第１の逆量子化手段によって生成された逆量子化後の前記第１の残差直交変換係数情報を利用して生成し、前記逆量子化後の第１の残差直交変換係数情報と生成した前記第１の近似直交変換係数情報との合成を行うことで、第１の復号直交変換係数情報を生成する第１の逆多重調和局所直交変換手段と、
    前記第１の逆多重調和局所直交変換手段により生成された前記第１の復号直交変換係数情報を逆直交変換することにより、第１の復号予測差分信号を生成する第１の逆直交変換手段と、
    前記第１の復号予測差分信号と前記最適予測信号との加算を行うことで、第１の局所復号画像信号を生成する第１の局所復号画像生成手段と、
    前記第１の局所復号画像信号と符号化対象の前記画像信号とに基づいて、前記矩形領域を処理単位として前記第１の動き補償予測信号を生成する第１の動き補償予測手段と
    を実行させることを特徴とする動画像階層符号化プログラム。
  6. 前記コンピュータを、
    前記下位階層符号化手段として、
    前記第１の空間解像度に縮小した符号化対象の前記画像信号の前記画像単位を所定の画素数から構成される矩形領域に分割し、その矩形領域を処理単位として第２の動き補償予測信号と前記第１の空間解像度に縮小した符号化対象の前記画像信号との差分信号である第２の予測差分画像信号を生成する第２の予測差分生成手段と、
    前記第２の予測差分画像信号に対して、前記矩形領域を処理単位として直交変換を行い、第２の直交変換係数情報を生成する第２の直交変換手段と、
    符号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における、前記第２の直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、前記符号化対象となっている矩形領域内の推定信号に対して、直交変換した近似直交変換係数情報を、前記第２の直交変換手段から取得した前記第２の直交変換係数情報を利用して生成した後、前記第２の直交変換係数情報と生成した前記近似直交変換係数情報との差分をとることで第２の残差直交変換係数情報を生成する第２の多重調和局所直交変換手段と、
    前記第２の残差直交変換係数情報を所定の量子化パラメータに基づいて量子化する第２の量子化手段と、
    前記第２の量子化手段から出力された量子化後の第２の残差直交変換係数情報に対して、前記画像単位でエントロピー符号化を行うことで、所定の構文構造に従って前記第１の画像単位信号に対して符号化された前記第１の符号化信号である符号化ビットストリームを生成する第２のエントロピー符号化手段と、
    前記第２の量子化手段から出力された量子化後の第２の残差直交変換係数情報を、所定の量子化パラメータに基づいて逆量子化する第２の逆量子化手段と、
    復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における、前記逆量子化後の第２の残差直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した第２の近似直交変換係数情報を、前記第２の直交変換手段から取得した前記第２の直交変換係数情報もしくは前記第２の逆量子化手段によって生成された逆量子化後の前記第２の残差直交変換係数情報を利用して生成し、前記逆量子化後の第２の残差直交変換係数情報と生成した前記第２の近似直交変換係数情報との合成を行うことで、第２の復号直交変換係数情報を生成する第２の逆多重調和局所直交変換手段と、
    前記第２の逆多重調和局所直交変換手段により生成された前記第２の復号直交変換係数情報を逆直交変換することにより、第２の復号予測差分信号を生成する第２の逆直交変換手段と、
    前記第２の復号予測差分信号と前記第２の動き補償予測信号との加算を行うことで、第２の局所復号画像信号を生成する第２の局所復号画像生成手段と、
    前記第２の局所復号画像信号と前記第１の空間解像度に縮小した符号化対象の前記画像信号とに基づいて、前記矩形領域を処理単位として前記第２の動き補償予測信号を生成する第２の動き補償予測手段と
    して機能させることを特徴とする請求項５記載の動画像階層符号化プログラム。
  7. 前記コンピュータに実行させる前記第１の多重調和局所直交変換手段は、前記ポアソン方程式を満たすような符号化対象となっている前記矩形領域内の推定信号を直交変換して得た前記第１の近似直交変換係数情報を、前記直交変換後の第１の直交変換係数情報を利用して生成する際に、前記直交変換後の第１の直交変換係数情報に対して量子化で用いる量子化パラメータに基づいて量子化後の第１の直交変換係数情報を推定し、この推定結果に基づいて前記第１の近似直交変換係数情報を生成する手段であることを特徴とする請求項５記載の動画像階層符号化プログラム。
  8. 前記コンピュータに実行させる前記第１の予測差分生成手段は、前記第１の予測差分画像信号を生成するために、前記階層間予測信号と前記第１の動き補償予測信号とを、前記矩形領域単位でそれらの予測差分の情報量を比較することにより最適予測方式を選択して前記最適予測信号を生成するモード判定手段を含んでおり、
    前記コンピュータに実行させる前記上位階層符号化部は、前記最適予測方式が前記第１の動き補償予測信号による予測方式である場合に、復号後の前記第１の局所復号画像信号と前記階層間予測手段からの前記階層間予測信号との間の仮想差分信号を前記矩形領域単位で生成し、この矩形領域の仮想差分信号に対して直交変換処理を行い、仮想差分直交変換係数情報を生成する局所復号・階層間予測差分生成手段を更に有し、
    前記局所復号・階層間予測差分生成手段で生成された前記仮想差分直交変換係数情報を用いて、前記第１の多重調和局所直交変換手段及び前記第１の逆多重調和局所直交変換手段における、前記矩形領域内の前記推定信号を生成するための情報とすることを特徴とする請求項５乃至７のうちいずれか一項記載の動画像階層符号化プログラム。
  9. 請求項１、３又は４記載の動画像階層符号化装置、又は請求項５、７又は８記載の動画像階層符号化プログラムにより動作する情報処理装置によって生成された、動画像の画像信号の一画面を構成する画像フレーム又は画像フィールドを画像単位としたとき、第１の空間解像度の第１の画像単位信号を符号化して得られた下位階層の第１の符号化信号と、前記第１の空間解像度よりも高い第２の空間解像度の１又は２以上の第２の画像単位信号を符号化して得られた上位階層の第２の符号化信号との多重信号を、所定の蓄積媒体又は所定の伝送路から取得し、取得した前記多重信号に対して復号化動作を行う動画像階層復号化装置であって、
    前記多重信号から前記第１の符号化信号と前記第２の符号化信号とを分離して出力する分離手段と、
    前記分離手段からの前記第１の符号化信号に対して復号化処理を行い、前記第１の空間解像度の前記第１の画像単位信号を復号して出力する下位階層復号化手段と、
    前記下位階層復号化手段内にてローカルデコードして得られた前記第１の画像単位信号に対して空間的拡大処理を行って、少なくとも１階層上の上位階層が持つ空間解像度と同じ空間解像度の拡大復号画像信号に変換する空間的拡大手段と、
    前記分離手段からの前記第２の符号化信号と前記拡大復号画像信号とを入力として受け、前記拡大復号画像信号を予測情報として用い、前記上位階層の復号化対象となる前記第２の空間解像度の１又は２以上の前記第２の画像単位信号を生成する上位階層復号化手段とを有し、
    前記上位階層復号化手段は、
    入力された前記第２の符号化信号に対して、所定の構文情報に基づいて符号化情報の多重化分離とエントロピー復号化を行い、量子化後情報、動きベクトル情報、予測モード情報、および所定の構文構造を構成するために必要なパラメータ情報を生成する第１のエントロピー復号化手段と、
    前記第１のエントロピー復号化手段から取得した前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の前記第１の残差直交変換係数情報を生成する第１の逆量子化手段と、
    復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における、復号後の前記第１の直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した前記第１の近似直交変換係数情報を、逆量子化後の前記第１の残差直交変換係数情報を利用して生成した後、逆量子化後の前記第１の残差直交変換係数情報と生成した前記第１の近似直交変換係数情報との合成を行うことで、第１の復号直交変換係数情報を生成する第１の逆多重調和局所直交変換手段と、
    前記第１の逆多重調和局所直交変換手段により生成された前記第１の復号直交変換係数情報を逆直交変換することにより、第１の復号予測差分信号を生成する第１の逆直交変換手段と、
    入力された前記拡大復号画像信号に対して前記矩形領域を最小単位として切り出して階層間予測信号を取り出す階層間予測手段と、
    前記第１のエントロピー復号化手段から取得した前記予測モード情報に基づき、前記階層間予測手段から出力された前記階層間予測信号と、前記第１のエントロピー復号化手段から取得した前記動きベクトル情報を利用して前記第２の画像単位信号の復号信号に対して所定の動き補償を行うことによって生成する動き補償予測信号とのうちの一方の予測信号を選択して出力する予測生成手段と、
    前記予測生成手段により選択された前記予測信号と前記第１の復号予測差分信号との加算を行うことで、前記第２の画像単位信号の復号信号を生成する第１の復号手段と
    を具備すること特徴とする動画像階層復号化装置。
  10. 請求項２又は４記載の動画像階層符号化装置、又は請求項６又は８記載の動画像階層符号化プログラムにより動作する情報処理装置によって生成された、動画像の画像信号の一画面を構成する画像フレーム又は画像フィールドを画像単位としたとき、第１の空間解像度の第１の画像単位信号を符号化して得られた下位階層の第１の符号化信号と、前記第１の空間解像度よりも高い第２の空間解像度の１又は２以上の第２の画像単位信号を符号化して得られた上位階層の第２の符号化信号との多重信号を、所定の蓄積媒体又は所定の伝送路から取得し、取得した前記多重信号に対して復号化動作を行う動画像階層復号化装置であって、
    前記多重信号から前記第１の符号化信号と前記第２の符号化信号とを分離して出力する分離手段と、
    前記分離手段からの前記第１の符号化信号に対して復号化処理を行い、前記第１の空間解像度の前記第１の画像単位信号を復号して出力する下位階層復号化手段と、
    前記下位階層復号化手段内にてローカルデコードして得られた前記第１の画像単位信号に対して空間的拡大処理を行って、少なくとも１階層上の上位階層が持つ空間解像度と同じ空間解像度の拡大復号画像信号に変換する空間的拡大手段と、
    前記分離手段からの前記第２の符号化信号と前記拡大復号画像信号とを入力として受け、前記拡大復号画像信号を予測情報として用い、前記上位階層の復号化対象となる前記第２の空間解像度の１又は２以上の前記第２の画像単位信号を生成する上位階層復号化手段とを有し、
    前記下位階層復号化手段は、
    入力された前記第１の符号化信号に対して、所定の構文構造に基づいて符号化情報の多重化分離とエントロピー復号化を行い、量子化後情報および動きベクトル情報、および所定の構文構造を構成するために必要なパラメータ情報を生成する第２のエントロピー復号化手段と、
    前記第２のエントロピー復号化手段から取得した前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の前記第２の残差直交変換係数情報を生成する第２の逆量子化手段と、
    復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における、復号後の前記第２の直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した前記第２の近似直交変換係数情報を、逆量子化後の前記第２の残差直交変換係数情報を利用して生成した後、逆量子化後の前記第２の残差直交変換係数情報と生成した前記第２の近似直交変換係数情報との合成を行うことで、第２の復号直交変換係数情報を生成する第２の逆多重調和局所直交変換手段と、
    前記第２の逆多重調和局所直交変換手段により生成された前記第２の直交変換係数情報を逆直交変換することにより、第２の復号予測差分信号を生成する第２の逆直交変換手段と、
    前記第２のエントロピー復号化手段から取得した前記動きベクトル情報を利用して前記第１の画像単位信号の復号信号に対して所定の動き補償を行うことによって動き補償予測信号を生成して出力する動き補償予測手段と、
    前記動き補償予測手段により選択された前記動き補償予測信号と前記第２の復号予測差分信号との加算を行うことで、前記第１の画像単位信号の復号信号を生成する第２の復号手段と
    を具備することを特徴とする動画像階層復号化装置。
  11. 前記上位階層復号化部は、前記予測生成手段により前記動き補償予測信号が選択されたときに、前記矩形領域の復号後の前記第２の画像単位信号の復号信号と前記階層間予測手段から出力される前記階層間予測信号との間で差分情報を生成する局所復号・階層間予測差分生成手段を更に有し、
    前記局所復号・階層間予測差分生成手段で生成された前記差分情報を用いて、前記第１の逆多重調和局所直交変換手段における、前記矩形領域内の前記推定信号を生成するための情報とすることを特徴とする請求項９又は１０記載の動画像階層復号化装置。
  12. 請求項１、３又は４記載の動画像階層符号化装置、又は請求項５、７又は８記載の動画像階層符号化プログラムにより動作する情報処理装置によって生成された、動画像の画像信号の一画面を構成する画像フレーム又は画像フィールドを画像単位としたとき、第１の空間解像度の第１の画像単位信号を符号化して得られた下位階層の第１の符号化信号と、前記第１の空間解像度よりも高い第２の空間解像度の１又は２以上の第２の画像単位信号を符号化して得られた上位階層の第２の符号化信号との多重信号を、所定の蓄積媒体又は所定の伝送路から取得し、取得した前記多重信号に対して復号化動作をコンピュータに実行させる動画像階層復号化プログラムであって、
    前記コンピュータを、
    前記多重信号から前記第１の符号化信号と前記第２の符号化信号とを分離して出力する分離手段と、
    前記分離手段からの前記第１の符号化信号に対して復号化処理を行い、前記第１の空間解像度の前記第１の画像単位信号を復号して出力する下位階層復号化手段と、
    前記下位階層復号化手段内にてローカルデコードして得られた前記第１の画像単位信号に対して空間的拡大処理を行って、少なくとも１階層上の上位階層が持つ空間解像度と同じ空間解像度の拡大復号画像信号に変換する空間的拡大手段と、
    前記分離手段からの前記第２の符号化信号と前記拡大復号画像信号とを入力として受け、前記拡大復号画像信号を予測情報として用い、前記上位階層の復号化対象となる前記第２の空間解像度の１又は２以上の前記第２の画像単位信号を生成する上位階層復号化手段として機能させると共に、
    前記上位階層復号化手段を、
    入力された前記第２の符号化信号に対して、所定の構文情報に基づいて符号化情報の多重化分離とエントロピー復号化を行い、量子化後情報、動きベクトル情報、予測モード情報、および所定の構文構造を構成するために必要なパラメータ情報を生成する第１のエントロピー復号化手段と、
    前記第１のエントロピー復号化手段から取得した前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の前記第１の残差直交変換係数情報を生成する第１の逆量子化手段と、
    復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における、復号後の前記第１の直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した前記第１の近似直交変換係数情報を、逆量子化後の前記第１の残差直交変換係数情報を利用して生成した後、逆量子化後の前記第１の残差直交変換係数情報と生成した前記第１の近似直交変換係数情報との合成を行うことで、第１の復号直交変換係数情報を生成する第１の逆多重調和局所直交変換手段と、
    前記第１の逆多重調和局所直交変換手段により生成された前記第１の復号直交変換係数情報を逆直交変換することにより、第１の復号予測差分信号を生成する第１の逆直交変換手段と、
    入力された前記拡大復号画像信号に対して前記矩形領域を最小単位として切り出して階層間予測信号を取り出す階層間予測手段と、
    前記エントロピー復号化手段から取得した前記予測モード情報に基づき、前記階層間予測手段から出力された前記階層間予測信号と、前記エントロピー復号化手段から取得した前記動きベクトル情報を利用して前記第２の画像単位信号の復号信号に対して所定の動き補償を行うことによって生成する動き補償予測信号とのうちの一方の予測信号を選択して出力する予測生成手段と、
    前記予測生成手段により選択された前記予測信号と前記第１の復号予測差分信号との加算を行うことで、前記第２の画像単位信号の復号信号を生成する第１の復号手段と
    して機能させること特徴とする動画像階層復号化プログラム。
  13. 請求項２又は４記載の動画像階層符号化装置、又は請求項６又は８記載の動画像階層符号化プログラムにより動作する情報処理装置によって生成された、動画像の画像信号の一画面を構成する画像フレーム又は画像フィールドを画像単位としたとき、第１の空間解像度の第１の画像単位信号を符号化して得られた下位階層の第１の符号化信号と、前記第１の空間解像度よりも高い第２の空間解像度の１又は２以上の第２の画像単位信号を符号化して得られた上位階層の第２の符号化信号との多重信号を、所定の蓄積媒体又は所定の伝送路から取得し、取得した前記多重信号に対して復号化動作をコンピュータにより実行させる動画像階層復号化プログラムであって、
    前記コンピュータを、
    前記多重信号から前記第１の符号化信号と前記第２の符号化信号とを分離して出力する分離手段と、
    前記分離手段からの前記第１の符号化信号に対して復号化処理を行い、前記第１の空間解像度の前記第１の画像単位信号を復号して出力する下位階層復号化手段と、
    前記下位階層復号化手段内にてローカルデコードして得られた前記第１の画像単位信号に対して空間的拡大処理を行って、少なくとも１階層上の上位階層が持つ空間解像度と同じ空間解像度の拡大復号画像信号に変換する空間的拡大手段と、
    前記分離手段からの前記第２の符号化信号と前記拡大復号画像信号とを入力として受け、前記拡大復号画像信号を予測情報として用い、前記上位階層の復号化対象となる前記第２の空間解像度の１又は２以上の前記第２の画像単位信号を生成する上位階層復号化手段として機能させると共に、
    前記下位階層復号化手段を、
    入力された前記第１の符号化信号に対して、所定の構文構造に基づいて符号化情報の多重化分離とエントロピー復号化を行い、量子化後情報および動きベクトル情報、および所定の構文構造を構成するために必要なパラメータ情報を生成する第２のエントロピー復号化手段と、
    前記第２のエントロピー復号化手段から取得した前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の前記第２の残差直交変換係数情報を生成する第２の逆量子化手段と、
    復号化対象となっている前記矩形領域の隣接する他の矩形領域との境界における、復号後の前記第２の直交変換係数情報から求める画像信号の傾きを境界条件とするポアソン方程式を満たすような、復号化対象となっている前記矩形領域内の推定信号に対して、直交変換した前記第２の近似直交変換係数情報を、逆量子化後の前記第２の残差直交変換係数情報を利用して生成した後、逆量子化後の前記第２の残差直交変換係数情報と生成した前記第２の近似直交変換係数情報との合成を行うことで、第２の復号直交変換係数情報を生成する第２の逆多重調和局所直交変換手段と、
    前記第２の逆多重調和局所直交変換手段により生成された前記第２の直交変換係数情報を逆直交変換することにより、第２の復号予測差分信号を生成する第２の逆直交変換手段と、
    前記第２のエントロピー復号化手段から取得した前記動きベクトル情報を利用して前記第１の画像単位信号の復号信号に対して所定の動き補償を行うことによって動き補償予測信号を生成して出力する動き補償予測手段と、
    前記動き補償予測手段により選択された前記動き補償予測信号と前記第２の復号予測差分信号との加算を行うことで、前記第１の画像単位信号の復号信号を生成する第２の復号手段と
    して機能させることを特徴とする動画像階層復号化プログラム。
  14. 前記コンピュータに実行させる前記上位階層復号化部は、前記予測生成手段により前記動き補償予測信号が選択されたときに、前記矩形領域の復号後の前記第２の画像単位信号の復号信号と前記階層間予測手段から出力される前記階層間予測信号との間で差分情報を生成する局所復号・階層間予測差分生成手段を更に有し、
    前記局所復号・階層間予測差分生成手段で生成された前記差分情報を用いて、前記第１の逆多重調和局所直交変換手段における、前記矩形領域内の前記推定信号を生成するための情報とすることを特徴とする請求項１２又は１３記載の動画像階層復号化プログラム。
JP2006332817A 2006-12-11 2006-12-11 動画像階層符号化装置、動画像階層符号化プログラム、動画像階層復号化装置及び動画像階層復号化プログラム Expired - Fee Related JP4626608B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006332817A JP4626608B2 (ja) 2006-12-11 2006-12-11 動画像階層符号化装置、動画像階層符号化プログラム、動画像階層復号化装置及び動画像階層復号化プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006332817A JP4626608B2 (ja) 2006-12-11 2006-12-11 動画像階層符号化装置、動画像階層符号化プログラム、動画像階層復号化装置及び動画像階層復号化プログラム

Publications (2)

Publication Number Publication Date
JP2008147998A true JP2008147998A (ja) 2008-06-26
JP4626608B2 JP4626608B2 (ja) 2011-02-09

Family

ID=39607681

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006332817A Expired - Fee Related JP4626608B2 (ja) 2006-12-11 2006-12-11 動画像階層符号化装置、動画像階層符号化プログラム、動画像階層復号化装置及び動画像階層復号化プログラム

Country Status (1)

Country Link
JP (1) JP4626608B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011121938A1 (ja) * 2010-03-31 2011-10-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、ならびに画像復号装置、画像復号方法及び画像復号プログラム
JP2011217084A (ja) * 2010-03-31 2011-10-27 Jvc Kenwood Corp 画像復号装置、画像復号方法及び画像復号プログラム
JP2011217083A (ja) * 2010-03-31 2011-10-27 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP2014131210A (ja) * 2012-12-28 2014-07-10 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
KR101606852B1 (ko) 2014-05-15 2016-04-11 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9402079B2 (en) 2008-07-02 2016-07-26 Samsung Electronics Co., Ltd. Image encoding method and device, and decoding method and device therefor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162870A (ja) * 1993-09-21 1995-06-23 At & T Corp ビデオ信号符号化装置
WO2006054667A1 (ja) * 2004-11-17 2006-05-26 National University Corporation Shizuoka University データ圧縮伸張方法、プログラム及び装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162870A (ja) * 1993-09-21 1995-06-23 At & T Corp ビデオ信号符号化装置
WO2006054667A1 (ja) * 2004-11-17 2006-05-26 National University Corporation Shizuoka University データ圧縮伸張方法、プログラム及び装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9402079B2 (en) 2008-07-02 2016-07-26 Samsung Electronics Co., Ltd. Image encoding method and device, and decoding method and device therefor
WO2011121938A1 (ja) * 2010-03-31 2011-10-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、ならびに画像復号装置、画像復号方法及び画像復号プログラム
JP2011217084A (ja) * 2010-03-31 2011-10-27 Jvc Kenwood Corp 画像復号装置、画像復号方法及び画像復号プログラム
JP2011217083A (ja) * 2010-03-31 2011-10-27 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム
US9225992B2 (en) 2010-03-31 2015-12-29 JVC Kenwood Corporation Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program
JP2014131210A (ja) * 2012-12-28 2014-07-10 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
KR101606852B1 (ko) 2014-05-15 2016-04-11 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치

Also Published As

Publication number Publication date
JP4626608B2 (ja) 2011-02-09

Similar Documents

Publication Publication Date Title
JP4844449B2 (ja) 動画像符号化装置、方法、プログラム、動画像復号化装置、方法、およびプログラム
JP4922391B2 (ja) 多階層基盤のビデオエンコーディング方法および装置
JP5369893B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム
RU2479939C2 (ru) Способ кодирования и декодирования видеосигнала с использованием взвешенного предсказания и устройство для его осуществления
KR100763181B1 (ko) 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
US20100118945A1 (en) Method and apparatus for video encoding and decoding
JP2008536440A (ja) ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法
JP5971010B2 (ja) 動画像復号装置及びプログラム、並びに、動画像符号化システム
JP4626608B2 (ja) 動画像階層符号化装置、動画像階層符号化プログラム、動画像階層復号化装置及び動画像階層復号化プログラム
JPWO2011039931A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR102163477B1 (ko) 비디오 부호화 및 복호화 방법, 그를 이용한 장치
WO2018055910A1 (ja) 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
JP4844455B2 (ja) 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
KR20150034699A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
JP4844456B2 (ja) 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
JP2008536393A (ja) 少なくとも一のデジタル画像をエンコードする方法、エンコーダ、及びコンピュータプログラム製品
JP4719854B2 (ja) 動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラム
JP2008205865A (ja) スケーラブル動画像符号化方法，装置，そのプログラムおよびその記録媒体
JP4561688B2 (ja) 動画像符号化装置、動画像符号化プログラム、動画像復号化装置、及び動画像復号化プログラム
KR20150056679A (ko) 다중 계층 비디오 코딩을 위한 계층 간 참조 픽쳐 생성 방법 및 장치
JP4243205B2 (ja) 動画像符号化装置、その方法及びそのプログラム
JP2018032913A (ja) 映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システム
KR101934840B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101810198B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
JP2008011009A (ja) 映像信号符号化装置、映像信号復号化装置、映像信号符号化プログラム及び映像信号復号化プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101012

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101025

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4626608

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees