JP2008022402A - ウェーブレット変換装置および方法、ウェーブレット逆変換装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】外部メモリを必要とすることなく、高速なウェーブレット変換を行うことができるようにする。
【解決手段】ウェーブレット変換装置１は、ウェーブレット変換における分割レベル毎に独立したレベル１バッファ１２乃至レベル４バッファ１５を内蔵して構成される。ウェーブレット変換装置１においては、YとCとがインターリーブされた画像信号D12に対して、分割レベル１の水平分析フィルタリングを行い、その結果である低域成分と高域成分を生成し、各分割レベルに対応するバッファに記憶させ、水平分析フィルタリングの結果の周波数成分が所定のライン数まで溜まった時点で、直ちに周波数成分に対してYとCとを別々に垂直分析フィルタリングを行うことが所定の分割レベルまで繰り返されることで、ウェーブレット変換が行われる。本発明は、ウェーブレット変換を圧縮の前処理として行う画像符号化装置に適用できる。
【選択図】図１

Description

本発明は、ウェーブレット変換装置および方法、ウェーブレット逆変換装置および方法、プログラム、並びに記録媒体に関し、特に、内蔵メモリとの間でデータをやり取りすることで、高速なウェーブレット変換を行うことができるようにしたウェーブレット変換装置および方法、ウェーブレット逆変換装置および方法、プログラム、並びに記録媒体に関する。

従来の代表的な画像圧縮方法として、ISO(International Standards Organization)によって標準化されたJPEG(Joint Photographic Experts Group)方式がある。これは離散コサイン変換(Discrete Cosine Transform ; DCT)を用い、比較的高いビットが割り当てられる場合には、良好な符号化画像および復号画像を供することが知られている。しかしながら、ある程度以上に符号化ビット数を少なくすると、DCT変換特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。

一方、近年では、フィルタバンクと呼ばれるハイパスフィルタとローパスフィルタとを組み合わせたフィルタによって画像を複数の帯域（サブバンド）に分割し、帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、DCT変換のように高圧縮でブロック歪みが顕著になるという欠点がないことから、DCT変換に代わる新たな技術として有力視されている。

2001年1月に国際標準化が完了したJPEG2000方式は、このウェーブレット変換と、高能率なエントロピ符号化（ビットプレーン単位のビットモデリングと算術符号化）とを組み合わせた方式を採用しており、JPEG方式に較べて符号化効率の大きな改善を実現している。

ウェーブレット変換は、基本的に画像データを入力して、水平方向のフィルタリングと垂直方向のフィルタリングを行いながら、低域成分を階層的に分割する手法を用いる。この際、画像データの読み出し、フィルタリングの結果生成された周波数係数のメモリへの書き込み、周波数係数の再度の読み出しなど、データの読み出しと書き込みが高頻度で必要になる。

この問題に対して、画像信号は大量のデータを持っていることから、ウェーブレット変換を高速に行う手法が必要とされてきた。また、外部メモリに周波数係数を書き出して、再度読み込む手法もこれまでに多く提案されている（特許文献１参照）。

特開平１０−２８３３４２号公報

しかしながら、外部メモリに周波数係数を書き出して、再度読み込みを行う手法は、外部メモリとウェーブレット変換部との間でデータをやり取りするため、バンド幅を十分に取ることができず、高速にウェーブレット変換を行うことが困難であった。

また、外部メモリとウェーブレット変換部との間でデータの高速化のためには、クロック（動作周波数）を上げることが有効であるが、単にクロックを上げてしまうと、消費電力が大きくなる欠点だけでなく、FPGA(Field Programmable Gate Array)やPLD(Programmable Logic Device)のようなハードウェアでは対応が困難となってしまっていた。

本発明は、このような状況に鑑みてなされたものであり、外部メモリを必要とすることなく、高速なウェーブレット変換を行うことができるようにするものである。

本発明の第１の側面のウェーブレット変換装置は、画像信号に対して複数のレベルのウェーブレット変換を実行するウェーブレット変換装置において、前記画像信号に対して、水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行う水平フィルタリング手段と、前記水平フィルタリング手段による前記水平方向の分析フィルタリングの結果生成される周波数成分を、前記レベル毎にそれぞれ保持する前記レベル毎に独立したバッファとを備える。

前記バッファには、前記水平方向の分析フィルタリングの結果の周波数成分における低域成分と高域成分とが並び替えられて保持されることができる。

前記画像信号の要素である輝度信号と色差信号との並び替えを行う並び替え手段をさらに備え、前記水平フィルタリング手段は、前記並び替え手段により並び替えられた画像信号に対して、前記水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行うことができる。

前記水平フィルタリング手段による前記水平方向の分析フィルタリングの結果生成される輝度信号の周波数成分および色差信号の周波数成分は、前記バッファに別々に保持されることができる。

前記バッファに保持された前記水平方向の分析フィルタリングの結果生成される周波数成分に対して、垂直方向の低域分析フィルタリングおよび高域分析フィルタリングを行う垂直フィルタリング手段をさらに備えることができる。

前記垂直フィルタリング手段は、前記画像信号の要素である輝度信号の周波数成分に対して、前記垂直方向の低域分析フィルタリングおよび高域分析フィルタリングを行う輝度信号用垂直フィルタリング手段と、前記画像信号の要素である色差信号の周波数成分に対して、前記垂直方向の低域分析フィルタリングおよび高域分析フィルタリングを行う色差信号用垂直フィルタリング手段とを備えることができる。

前記輝度信号用垂直フィルタリング手段および前記色差信号用垂直フィルタリング手段は並列に動作されることができる。

前記輝度信号用垂直フィルタリング手段による前記垂直方向の分析フィルタリングの結果生成される輝度信号の周波数成分、並びに前記色差信号用垂直フィルタリング手段による前記垂直方向の分析フィルタリングの結果生成される色差信号の周波数成分の各低域成分の並び替えを行う並び替え手段をさらに備え、前記水平フィルタリング手段は、前記並び替え手段により並び替えられた低域成分に対して、前記水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行うことができる。

前記並び替え手段による並び替えの前に、前記輝度信号用垂直フィルタリング手段および前記色差信号用垂直フィルタリング手段のいずれか一方は、他方の前記分析フィルタリングが終了するまでの時間を待機していることができる。

前記水平フィルタリング手段は、前記水平方向の低域分析フィルタリングおよび高域分析フィルタリングを所定のレベル数まで行うことができる。

前記水平フィルタリング手段による前記水平方向の分析フィルタリングの結果生成される輝度信号の周波数成分および色差信号の周波数成分は、前記バッファに別々に保持されることができる。

前記水平フィルタリング手段および前記垂直フィルタリング手段は、最低域の周波数成分に対して階層的に分析フィルタリングを行うことができる。

前記水平フィルタリング手段および前記垂直フィルタリング手段は、前記ウェーブレット変換のリフティング構成により実現されることができる。

前記水平フィルタリング手段は、前記画像信号をライン単位で入力し、水平方向のサンプル数が所定数に達する度に、前記水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行い、前記垂直フィルタリング手段は、前記水平フィルタリング手段による前記水平方向の分析フィルタリングの結果の周波数成分の垂直方向のライン数が所定数に達する度に、前記垂直方向の低域分析フィルタリングおよび高域分析フィルタリングを行うことができる。

前記画像信号は、複数のピクチャからなるビデオ信号であり、前記ビデオ信号の垂直同期信号を検出することにより各ピクチャの終端を検知する検知手段をさらに備え、前記水平フィルタリング手段および前記垂直フィルタリング手段は、ピクチャ毎に分析フィルタリングを行うことができる。

本発明の第１の側面のウェーブレット変換方法は、画像信号に対して複数のレベルのウェーブレット変換を実行するウェーブレット変換装置のウェーブレット変換方法において、前記画像信号に対して、水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行い、前記レベル毎に独立したバッファに、前記水平方向の分析フィルタリングの結果生成される周波数成分を、前記レベル毎にそれぞれ保持させるステップを含む。

本発明の第１の側面のプログラムは、画像信号に対して複数のレベルのウェーブレット変換を実行する処理を行うコンピュータに、前記画像信号に対して、水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行い、前記レベル毎に独立したバッファに、前記水平方向の分析フィルタリングの結果生成される周波数成分を、前記レベル毎にそれぞれ保持させるステップを含む処理を行わせる。

本発明の第１の側面のプログラムが記録されている記録媒体は、画像信号に対して複数のレベルのウェーブレット変換を実行する処理を行うコンピュータに、前記画像信号に対して、水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行い、前記レベル毎に独立したバッファに、前記水平方向の分析フィルタリングの結果生成される周波数成分を、前記レベル毎にそれぞれ保持させるステップを含む処理を行わせる。

本発明の第２の側面のウェーブレット逆変換装置は、画像信号に対して複数のレベルのウェーブレット変換が実行されて生成された周波数成分をウェーブレット逆変換し、画像を復元するウェーブレット逆変換装置において、前記周波数成分に対して、水平方向の低域合成フィルタリングおよび高域合成フィルタリングを行う水平フィルタリング手段と、前記水平フィルタリング手段による前記水平方向の合成フィルタリングの結果生成される周波数成分を前記レベル毎にそれぞれ保持する、最低域以外のレベル毎に独立したバッファとを備える。

前記周波数成分に対して、垂直方向の低域合成フィルタリングおよび高域合成フィルタリングを行う垂直フィルタリング手段をさらに備え、前記水平フィルタリング手段は、前記垂直フィルタリング手段による前記垂直方向の合成フィルタリングの結果生成される周波数成分に対して、前記水平方向の低域合成フィルタリングおよび高域合成フィルタリングを行うことができる。

前記垂直フィルタリング手段および前記水平フィルタリング手段は、前記ウェーブレット逆変換のリフティング構成により実現されることができる。

前記水平フィルタリング手段は、前記周波数成分をライン単位で入力し、水平方向のサンプル数が所定数に達する度に、前記水平方向の低域合成フィルタリングおよび高域合成フィルタリングを行い、前記垂直フィルタリング手段は、前記水平フィルタリング手段による前記水平方向の合成フィルタリングの結果の周波数成分の垂直方向のライン数が所定数に達する度に、前記垂直方向の低域合成フィルタリングおよび高域合成フィルタリングを行うことができる。

前記画像信号は、複数のピクチャからなるビデオ信号であり、最低域の周波数成分に対して階層的に分析フィルタリングを行うことにより複数の周波数成分に分割されており、前記垂直フィルタリング手段および前記水平フィルタリング手段は、複数の周波数成分のうち、最低域の周波数成分を含む所定数の周波数成分から階層的に合成フィルタリングを行い、最終的にピクチャを生成することができる。

前記垂直フィルタリング手段および前記水平フィルタリング手段により生成された各ピクチャ間に垂直同期信号を挿入し、ビデオ信号を生成する垂直同期信号挿入手段をさらに備えることができる。

前記垂直フィルタリング手段、前記水平フィルタリング手段、および前記バッファは、前記画像信号の要素である輝度信号用および色差信号用に別々に備えられ、前記輝度信号用および前記色差信号用は、並行に動作されることができる。

本発明の第２の側面のウェーブレット逆変換方法は、画像信号に対して複数のレベルのウェーブレット変換が実行されて生成された周波数成分をウェーブレット逆変換し、画像を復元するウェーブレット逆変換装置のウェーブレット逆変換方法において、前記周波数成分に対して、水平方向の低域合成フィルタリングおよび高域合成フィルタリングを行い、最低域以外の前記レベル毎に独立したバッファに、前記水平方向の合成フィルタリングの結果生成される周波数成分を前記レベル毎にそれぞれ保持させるステップを含む。

本発明の第２の側面のプログラムは、画像信号に対して複数のレベルのウェーブレット変換が実行されて生成された周波数成分をウェーブレット逆変換し、画像を復元する処理を行うコンピュータに、前記周波数成分に対して、水平方向の低域合成フィルタリングおよび高域合成フィルタリングを行い、最低域以外の前記レベル毎に独立したバッファに、前記水平方向の合成フィルタリングの結果生成される周波数成分を前記レベル毎にそれぞれ保持させるステップを含む処理を行わせる。

本発明の第２の側面のプログラムが記録されている記録媒体は、画像信号に対して複数のレベルのウェーブレット変換が実行されて生成された周波数成分をウェーブレット逆変換し、画像を復元する処理を行うコンピュータに、前記周波数成分に対して、水平方向の低域合成フィルタリングおよび高域合成フィルタリングを行い、最低域以外の前記レベル毎に独立したバッファに、前記水平方向の合成フィルタリングの結果生成される周波数成分を前記レベル毎にそれぞれ保持させるステップを含む処理を行わせる。

第１の本発明においては、画像信号に対して、水平方向の低域分析フィルタリングおよび高域分析フィルタリングが行われる。そして、レベル毎に独立したバッファに、前記水平方向の分析フィルタリングの結果生成される周波数成分が、前記レベル毎にそれぞれ保持される。

第２の本発明においては、画像信号に対して複数のレベルのウェーブレット変換が実行されて生成された周波数成分に対して、水平方向の低域合成フィルタリングおよび高域合成フィルタリングが行われる。そして、最低域以外のレベル毎に独立したバッファに、前記水平方向の合成フィルタリングの結果生成される周波数成分が前記レベル毎にそれぞれ保持される。

第１の本発明によれば、外部メモリを必要とすることなく、高速なウェーブレット変換を行うことができる。

第２の本発明によれば、外部メモリを必要とすることなく、高速なウェーブレット逆変換を行うことができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の第１の側面のウェーブレット変換装置は、画像信号に対して複数のレベルのウェーブレット変換を実行するウェーブレット変換装置（例えば、図１のウェーブレット変換装置１）において、前記画像信号に対して、水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行う水平フィルタリング手段（例えば、図１の水平分析フィルタ部１１または水平分析フィルタ部２０）と、前記水平フィルタリング手段による前記水平方向の分析フィルタリングの結果生成される周波数成分を、前記レベル毎にそれぞれ保持する前記レベル毎に独立したバッファ（例えば、図１のレベル１バッファ１２乃至レベル４バッファ１５）とを備える。

前記画像信号の要素である輝度信号と色差信号との並び替えを行う並び替え手段（例えば、図１のインターリーブ部１０）をさらに備え、前記水平フィルタリング手段（例えば、図１の水平分析フィルタ部１１）は、前記並び替え手段により並び替えられた画像信号に対して、前記水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行うことができる。

前記バッファに保持された前記水平方向の分析フィルタリングの結果生成される周波数成分に対して、垂直方向の低域分析フィルタリングおよび高域分析フィルタリングを行う垂直フィルタリング手段（例えば、図１のY用垂直分析フィルタ部１７またはC用垂直分析フィルタ部１８）をさらに備えることができる。

前記垂直フィルタリング手段は、前記画像信号の要素である輝度信号の周波数成分に対して、前記垂直方向の低域分析フィルタリングおよび高域分析フィルタリングを行う輝度信号用垂直フィルタリング手段（例えば、図１のY用垂直分析フィルタ部１７）と、前記画像信号の要素である色差信号の周波数成分に対して、前記垂直方向の低域分析フィルタリングおよび高域分析フィルタリングを行う色差信号用垂直フィルタリング手段（例えば、図１のC用垂直分析フィルタ部１８）とを備えることができる。

前記輝度信号用垂直フィルタリング手段による前記垂直方向の分析フィルタリングの結果生成される輝度信号の周波数成分、並びに前記色差信号用垂直フィルタリング手段による前記垂直方向の分析フィルタリングの結果生成される色差信号の周波数成分の各低域成分の並び替えを行う並び替え手段（例えば、図１のインターリーブ部１９）をさらに備え、前記水平フィルタリング手段（例えば、図１の水平分析フィルタ部２０）は、前記並び替え手段により並び替えられた低域成分に対して、前記水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行うことができる。

前記水平フィルタリング手段および前記垂直フィルタリング手段は、前記ウェーブレット変換のリフティング構成（例えば、図１１のリフティング構成）により実現されることができる。

前記画像信号は、複数のピクチャからなるビデオ信号であり、前記ビデオ信号の垂直同期信号を検出することにより各ピクチャの終端を検知する検知手段（図１７の垂直同期信号を検出する垂直同期信号検出部）をさらに備え、前記水平フィルタリング手段および前記垂直フィルタリング手段は、ピクチャ毎に分析フィルタリングを行うことができる。

本発明の第１の側面のウェーブレット変換方法またはプログラムは、画像信号に対して複数のレベルのウェーブレット変換を実行するウェーブレット変換装置のウェーブレット変換方法またはプログラムにおいて、前記画像信号に対して、水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行い（例えば、図２のステップＳ１３）、前記レベル毎に独立したバッファに、前記水平方向の分析フィルタリングの結果生成される周波数成分を、前記レベル毎にそれぞれ保持させる（例えば、図２のステップＳ１４）ステップを含む。

本発明の第２の側面のウェーブレット逆変換装置は、画像信号に対して複数のレベルのウェーブレット変換が実行されて生成された周波数成分をウェーブレット逆変換し、画像を復元するウェーブレット逆変換装置（例えば、図１８のウェーブレット逆変換装置５１）において、前記周波数成分に対して、水平方向の低域合成フィルタリングおよび高域合成フィルタリングを行う水平フィルタリング手段（例えば、図１８の水平合成フィルタ部６６）と、前記水平フィルタリング手段による前記水平方向の合成フィルタリングの結果生成される周波数成分を前記レベル毎にそれぞれ保持する、最低域（例えば、レベル４）以外のレベル毎に独立したバッファ（例えば、図１８のレベル３バッファ６１乃至レベル１バッファ６３）とを備える。

前記周波数成分に対して、垂直方向の低域合成フィルタリングおよび高域合成フィルタリングを行う垂直フィルタリング手段（例えば、図１８の垂直合成フィルタ部６５）をさらに備え、前記水平フィルタリング手段は、前記垂直フィルタリング手段による前記垂直方向の合成フィルタリングの結果生成される周波数成分に対して、前記水平方向の低域合成フィルタリングおよび高域合成フィルタリングを行うことができる。

前記垂直フィルタリング手段および前記水平フィルタリング手段は、前記ウェーブレット逆変換のリフティング構成（例えば、図２３のリフティング構成）により実現されることができる。

前記垂直フィルタリング手段および前記水平フィルタリング手段により生成された各ピクチャ間に垂直同期信号を挿入し、ビデオ信号を生成する垂直同期信号挿入手段（図１７の垂直同期信号を挿入する垂直同期信号挿入部）をさらに備えることができる。

本発明の第２の側面のウェーブレット逆変換方法またはプログラムは、画像信号に対して複数のレベルのウェーブレット変換が実行されて生成された周波数成分をウェーブレット逆変換し、画像を復元するウェーブレット逆変換装置のウェーブレット逆変換方法またはプログラムにおいて、前記周波数成分に対して、水平方向の低域合成フィルタリングおよび高域合成フィルタリングを行い（例えば、図１９のステップＳ６３）、最低域以外の前記レベル毎に独立したバッファに、前記水平方向の合成フィルタリングの結果生成される周波数成分を前記レベル毎にそれぞれ保持させる（例えば、図１９のステップＳ６５）ステップを含む。

以下、図を参照して本発明の実施の形態について説明する。

図１は、本発明を適用したウェーブレット変換装置の一実施形態に係る構成例を示す図である。このウェーブレット変換装置１は、入力された画像信号に対して、水平方向のフィルタリングと垂直方向のフィルタリングを行いながら、低域成分を、所定の分割レベル（図１の例の場合、分割レベル４）まで階層的に分割する帯域分析装置である。

図１のウェーブレット変換装置１は、インターリーブ部１０、水平分析フィルタ部１１、レベル１バッファ１２、レベル２バッファ１３、レベル３バッファ１４、レベル４バッファ１５、セレクタ１６、Y（輝度）用垂直分析フィルタ部１７、C（色差）用垂直分析フィルタ部１８、インターリーブ部１９、水平分析フィルタ部２０、および制御部２１により構成されている。

インターリーブ部１０には、画像信号の要素である輝度信号（輝度成分の信号）D10と色差信号（色差成分の信号）D11が入力される。なお、以下、輝度（成分）を適宜Yとも称し、色差（成分）を適宜Cとも称する。インターリーブ部１０は、輝度信号D10と色差信号D11とをインターリーブする。なお、図１２を参照して後述するビデオ信号のように、既にYとCとがインターリーブされている画像信号が入力される場合には、もちろん、インターリーブ部１０の処理は必要とされない。インターリーブされた画像信号D12は、水平分析フィルタ部１１に入力される。

水平分析フィルタ部１１は、YとCとがインターリーブされた画像信号D12に対して、分割レベル１の水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行い、水平分析フィルタリング結果である、低域成分の係数と高域成分の係数からなる周波数成分の係数（以下、適宜、低域成分、高域成分、周波数成分とも称する）を生成する。

このとき、水平分析フィルタ部１１においては、図示せぬ内蔵メモリ（またはレジスタ）から、ベースバンド上の飛び飛びの位置にあるYまたはCのデータが交互に読み出されながら、YまたはCに対しての水平方向の低域分析フィルタリングおよび高域分析フィルタリングが交互に行われる。

レベル１バッファ１２は、分割レベル１の水平分析フィルタリングの結果を記憶、保持する。すなわち、レベル１バッファ１２には、水平分析フィルタ部１１による分割レベル１の水平分析フィルタリングの結果のYの周波数成分（低域成分と高域成分）およびCの周波数成分（低域成分と高域成分）が別々に記憶、保持される。そして、レベル１バッファ１２に垂直方向の分析フィルタリングを実行できるだけの所定の垂直ライン分のデータ（周波数成分）が溜まり次第、垂直ライン分の周波数成分D14は、セレクタ１６を介して読み出される。

レベル２バッファ１３は、分割レベル２の水平分析フィルタリングの結果を記憶、保持する。すなわち、レベル２バッファ１３には、水平分析フィルタ部２０による分割レベル２の水平分析フィルタリングの結果のYの周波数成分（低域成分と高域成分）およびCの周波数成分（低域成分と高域成分）が別々に記憶、保持される。そして、レベル２バッファ１３に垂直方向の分析フィルタリングを実行できるだけの所定の垂直ライン分の周波数成分が溜まり次第、垂直ライン分の周波数成分D15は、セレクタ１６を介して読み出される。

レベル３バッファ１４は、分割レベル３の水平分析フィルタリングの結果を記憶、保持する。すなわち、レベル３バッファ１４には、水平分析フィルタ部２０による分割レベル３の水平分析フィルタリングの結果のYの周波数成分（低域成分と高域成分）およびCの周波数成分（低域成分と高域成分）が別々に記憶、保持される。そして、レベル３バッファ１４に垂直方向の分析フィルタリングを実行できるだけの所定の垂直ライン分の周波数成分が溜まり次第、垂直ライン分の周波数成分D16は、セレクタ１６を介して読み出される。

レベル４バッファ１５は、分割レベル４の水平分析フィルタリングの結果を記憶、保持する。すなわち、レベル４バッファ１５には、水平分析フィルタ部２０による分割レベル４の水平分析フィルタリングの結果のYの周波数成分（低域成分と高域成分）およびCの周波数成分（低域成分と高域成分）が別々に記憶、保持される。そして、レベル４バッファ１５に垂直方向の垂直方向の分析フィルタリングを実行できるだけの所定の垂直ライン分の周波数成分が溜まり次第、垂直ライン分の周波数成分D17は、セレクタ１６を介して読み出される。

セレクタ１６は、Y用垂直分析フィルタ部１７およびC用垂直分析フィルタ部１８の制御のもと、レベル１バッファ１２乃至レベル４バッファ１５のうち、対応する分割レベルのバッファからの出力を選択し、選択した出力を、周波数成分D18として、Y用垂直分析フィルタ部１７およびC用垂直分析フィルタ部１８に出力する。

Y用垂直分析フィルタ部１７およびC用垂直分析フィルタ部１８は、セレクタ１６からの所定の垂直ライン分の周波数成分D18に対して、YおよびCの垂直分析フィルタリングをそれぞれ行う。

すなわち、Y用垂直分析フィルタ部１７は、対応する分割レベルのバッファから、Yの所定の垂直ライン分の周波数成分D18を読み出し、Yの垂直方向の低域分析フィルタリングおよび高域分析フィルタリングを行い、Yの垂直分析フィルタリング結果の周波数成分のうち、Yの水平方向も垂直方向も低域である低域成分D19のみをインターリーブ部１９に出力し、Yのそれ以外の高域成分D23をウェーブレット変換装置１の図示せぬ外部（以下、単に外部と称する）に出力する。

C用垂直分析フィルタ部１８は、対応する分割レベルのバッファから、Cの所定の垂直ライン分の周波数成分D18を読み出し、Cの垂直方向の低域分析フィルタリングおよび高域分析フィルタリングを行い、Cの垂直分析フィルタリング結果の周波数成分のうち、Cの水平方向も垂直方向も低域である低域成分D20のみをインターリーブ部１９に出力し、Cのそれ以外の高域成分D24を外部に出力する。

インターリーブ部１９は、Y用垂直分析フィルタ部１７からのYの低域成分D19と、C用垂直分析フィルタ部１８からのCの低域成分D20をインターリーブする。インターリーブされた低域成分D21は、水平分析フィルタ部２０に入力される。

水平分析フィルタ部２０は、処理する対象の周波数成分の分割レベルが異なるだけであり、基本的に、水平分析フィルタ部１１と同様に構成される。すなわち、水平分析フィルタ部２０においては、図示せぬ内蔵メモリから、ベースバンド上の飛び飛びの位置にあるYまたはCの低域成分D21が交互に読み出されながら、YまたはCの低域成分D21に対しての水平方向の低域分析フィルタリングおよび高域分析フィルタリングが交互に行われる。

そして、水平分析フィルタ部２０は、水平分析フィルタリング結果である周波数成分（低域成分と高域成分）D22を、対応するレベルのバッファ（レベル２バッファ１３乃至レベル４バッファ１５のうちのいずれか）に記憶、保持させる。

制御部２１は、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、およびRAM（Random Access Memory）を含むマイクロコンピュータなどにより構成され、各種のプログラムなどを実行することにより、ウェーブレット変換装置１の各部の処理を制御する。

次に、図２のフローチャートを参照して、図１のウェーブレット変換装置１の動作について説明する。すなわち、図２の例においては、ウェーブレット変換装置１により実行されるウェーブレット変換処理が示されている。

外部（例えば、後述する図２８のビデオカメラ部３０３など）から、インターリーブ部１０に画像信号が入力される。インターリーブ部１０は、ステップＳ１１において、インターリーブするか否かを判定する。例えば、画像信号の要素である輝度信号D10および色差信号D11が入力された場合、ステップＳ１１において、インターリーブすると判定され、処理は、ステップＳ１２に進み、インターリーブ部１０は、内蔵するメモリにおいて、輝度信号D10および色差信号D11をインターリーブする。インターリーブされた画像信号D12は、水平分析フィルタ部１１に入力される。

また、図１２を参照して後述するビデオ信号のように、YとCとがインターリーブされている画像信号（すなわち、画像信号D12に相当）が入力された場合、ステップＳ１１において、インターリーブしないと判定され、YとCとがインターリーブされている画像信号D12がインターリーブ部１０を介してそのまま水平分析フィルタ部１１に入力される。そして、処理は、ステップＳ１２をスキップし、ステップＳ１３に進む。

ステップＳ１３において、水平分析フィルタ部１１は、YとCとがインターリーブされた画像信号D12に対して、分割レベル１の水平分析フィルタリングを行う。

すなわち、水平分析フィルタ部１１は、図示せぬ内蔵メモリ（またはレジスタ）を備えており、内蔵メモリには、図３に示されるように、YとCとが交互にインターリーブされた画像信号が展開されていく。図３の例においては、メモリに、四角で示されるYとCとが交互に展開された画像信号のベースバンドが示されている。

水平分析フィルタ部１１は、内蔵メモリに展開されたベースバンド上の飛び飛びの位置にある所定の数（図３の場合、３サンプル数）のYのデータまたは所定の数のCのデータを、位置をずらしながら順番に読み出し、Yの水平方向の低域分析フィルタリングおよび高域分析フィルタリングと、Cの水平方向の低域分析フィルタリングおよび高域分析フィルタリングを交互に行う。

水平方向のデータは、メモリの番地に容易に展開しやすい。したがって、水平分析フィルタ部１１において、メモリからYのデータとCのデータを交互に読み出しながら、YとCの水平分析フィルタリングを順番に実行することは、容易に可能である。

水平分析フィルタ部１１は、ステップＳ１４において、分割レベル１の水平分析フィルタリング結果の周波数成分を、対応するレベルのバッファ（いまの場合、レベル１バッファ１２）に記憶させる。

このとき、水平分析フィルタ部１１は、図４に示されるように、Yの水平分析フィルタリング結果であるYの高域成分(H)と低域成分(L)をインターリーブさせて、レベル１バッファ１２にCとは別に記憶させ、次に、Cの水平分析フィルタリング結果であるCの高域成分と低域成分をインターリーブさせて、レベル１バッファ１２にYとは別に記憶させる。

なお、従来においては、水平分析フィルタリングの結果は、図５に示されるように、YについてもCについても、低域と高域の両成分に分割されて、バッファに記憶されていた。しかしながら、従来のように、低域成分と高域成分をバッファの別のアドレスにマッピングするには、それを分配するためのコントローラが別途必要になる。

これに対して、本発明の例が示される図４の例においては、レベル１バッファ１２に、Yの高域成分(H)と低域成分(L)が交互に記憶されており、Yとは別のアドレスに、Cの高域成分(H)と低域成分(L)が交互に記憶されている。すなわち、水平分析フィルタ部１１により、YおよびC毎に水平分析フィルタリング結果である高域成分と低域成分がインターリーブされて、レベル１バッファ１２に記憶されるので、このレベル１バッファ１２に記憶されている周波数成分を読み出す際に、レベル１バッファ１２の先頭から順番に読み出すだけでよく、制御を単純（シンプル）にすることができる。

図２に戻り、例えば、図４に示されるレベル１バッファ１２に水平分析フィルタリング結果の周波数成分が、垂直分析フィルタリングを実行できるだけの所定の垂直ライン分（図４の場合、３ライン分）溜まると、ステップＳ１５において、Y用垂直分析フィルタ部１７およびC用垂直分析フィルタ部１８は、セレクタ１６がレベル１バッファ１２の出力を選択するように制御することで、必要な垂直ライン分の周波数成分をレベル１バッファ１２から読み出させる。読み出された周波数成分は、YおよびCの周波数成分D18として、セレクタ１６を介して、Y用垂直分析フィルタ部１７およびC用垂直分析フィルタ部１８にそれぞれ入力される。

ステップＳ１６において、Y用垂直分析フィルタ部１７は、所定の垂直ライン分（図４の場合、３ライン分）のYの周波数成分に対して、対応する分割レベル（いまの場合、分割レベル１）のYの垂直分析フィルタリングを行う。ステップＳ１７において、C用垂直分析フィルタ部１８は、所定の垂直ライン分（図４の場合、３ライン分）のCの周波数成分に対して、対応する分割レベル（いまの場合、分割レベル１）のCの垂直分析フィルタリングを行う。なお、これらのステップＳ１６およびＳ１７は並行に実行される処理であり、これらの処理については、図８を参照して詳しく後述する。

分割レベル１のYとCの垂直分析フィルタリングの結果（すなわち、分割レベル１のYとCの分析フィルタリングの結果）、図６に示されるように、YとCについて、それぞれ、低域成分(1LL)および高域成分(1HH,1LH,1HH)からなる４つの周波数成分が生成される。なお、図６の例における「L」および「H」の順序は、前側が水平分析フィルタリングを行った結果の帯域（低域または高域）を示し、後側が垂直分析フィルタリングを行った結果の帯域を示す。また、「L」および「H」の前の数字は分割レベルを表す。

以上が分割レベル１の分析フィルタリングであり、その結果、Y用垂直分析フィルタ部１７においては、Yの低域成分(1LL)D19と高域成分(1HL,1LH,1HH)D23が生成され、C用垂直分析フィルタ部１８においては、Cの低域成分(1LL)D20と高域成分(1HL,1LH,1HH)D24が生成される。なお、これらのうち、各低域成分(1LL) だけは設定されている分割レベル（最終レベル）まで再度分析されるが、高域成分は、通常それ以上に分析されない。すなわち、低域成分は、最終レベルまでさらに分割されるので、最終レベルは、最低域を出力する最低域レベルとも言える。

ステップＳ１８において、Y用垂直分析フィルタ部１７およびC用垂直分析フィルタ部１８は、分析フィルタリングが、設定されている分割レベルの最終レベル（図１の場合、分割レベル４）まで終了したか否かを判定する。分割レベル１の場合、まだ、最終レベルまで終了していないので、処理は、ステップＳ１９に進む。

ステップＳ１９において、Y用垂直分析フィルタ部１７およびC用垂直分析フィルタ部１８は、Yの高域成分(1HL,1LH,1HH)D23とCの高域成分(1HL,1LH,1HH)D24を、外部（例えば、後述する図２４の量子化部１１２）に出力する。

一方、Yの低域成分(1LL)D19とCの低域成分(1LL)D20は、インターリーブ部１９に出力される。したがって、ステップＳ２０において、インターリーブ部１９は、Yの低域成分(1LL)D19とCの低域成分(1LL)D20をインターリーブし、インターリーブした低域成分D21を水平分析フィルタ部２０に入力する。

すなわち、図７に示されるように、Yの各周波数成分のうちの低域成分(1LL)D19とCの各周波数成分のうちの低域成分(1LL)D20は、交互にインターリーブ合成される。なお、図７の例においては、図中下部に示されるYとCがインターリーブされた後の低域成分(1LL)の大きさが、点線に示されるインターリーブ前のYまたはCのみの低域成分(1LL)と同じサイズで示されているが、実際には、YまたはCのみの低域成分の２倍の大きさとなる。

ステップＳ２１において、水平分析フィルタ部２０は、YとCとがインターリーブされた低域成分D21に対して、対応する分割レベル（いまの場合、分割レベル２）の水平分析フィルタリング（水平方向の低域分析フィルタリングおよび高域分析フィルタリング）を行い、水平分析フィルタリング結果である低域成分と高域成分を生成する。なお、ステップＳ２１の処理は、処理対象の周波数成分の分割レベルが異なるだけであり、上述したステップＳ１３の処理と基本的に同様の処理である。

ステップＳ２１の後、処理は、ステップＳ１４に戻り、それ以降の処理が繰り返される。すなわち、ステップＳ１４において、水平分析フィルタ部２０は、水平分析フィルタリング結果の周波数成分（低域成分と高域成分）D22を、図４を参照して上述したように、対応するレベルのバッファ（いまの場合、レベル２バッファ１３）に記憶、保持させる。

そして、レベル２バッファ１３に水平分析フィルタリング結果の周波数成分が、垂直分析フィルタリングを実行できるだけの所定の垂直ライン分溜まると、ステップＳ１５において、所定の垂直ライン分の周波数成分がレベル２バッファ１３から読み出され、セレクタ１６を介して、Y用垂直分析フィルタ部１７およびC用垂直分析フィルタ部１８に入力される。そして、ステップＳ１６において、所定の垂直ライン分のYの周波数成分に対して、分割レベル２のYの垂直分析フィルタリングが行われ、ステップＳ１７において、所定の垂直ライン分のCの周波数成分に対して、分割レベル２のCの垂直分析フィルタリングが行われる。

これらのレベル２のYとCの垂直分析フィルタリングの結果、YとCについて、それぞれ、低域成分(2LL)および高域成分(2HH,2LH,2HH)からなる４つの周波数成分が生成され、ステップＳ１８において、最終レベルまで終了していないと判定され、ステップＳ１９において、高域成分(2HH,2LH,2HH)が外部に出力される。そして、ステップＳ２０において、低域成分(2LL)のYおよびCがインターリーブされ、ステップＳ２１において、YとCとがインターリーブされた低域成分(2LL)に対して、分割レベル２の水平分析フィルタリングが行われて、水平分析フィルタリング結果である低域成分と高域成分が生成され、再度、処理は、ステップＳ１４に戻り、生成された低域成分と高域成分が、レベル３バッファ１４に記憶、保持され、それ以降の処理が予め設定された分割レベルの最終レベルまで繰り返される。

以上の一連の処理が、予め設定された分割レベルの最終レベル（分割レベル４）のYとCの垂直分析フィルタリングまで、同様に行われる。その後、ステップＳ１８において、最終レベルまで終了したと判定され、処理は、ステップＳ２２に進む。

ステップＳ２２において、Y用垂直分析フィルタ部１７およびC用垂直分析フィルタ部１８は、最終レベルの輝度の周波数成分 (4LL,4HL,4LH,4HH)D23と、最終レベルの色差の周波数成分(4LL,4HL,4LH,4HH)D24を、外部に出力する。これにより、分割レベル４の画像信号のウェーブレット変換は終了される。

以上のように、図１のウェーブレット変換装置１においては、レベル１から所定のレベル数までの分割レベル毎のバッファを備え、水平分析フィルタリングを行いながら、水平分析フィルタリングの結果を、分割レベル毎のバッファに記憶させている。したがって、この水平分析フィルタリングの結果を、分割レベル毎のバッファから読み出しながら、垂直方向のフィルタリングを行うことができる。すなわち、水平方向と垂直方向のフィルタリングを同時並行的に動作させることができる。

これにより、動画像や解像度が大きい画像に対しても、高速にウェーブレット変換を実行することができる。

また、レベル１から所定のレベル数までの分割レベル毎のバッファを内蔵メモリで対応するようにしたので、上述した特許文献１のように外部メモリが不要になる。

これにより、外部メモリとのデータのやり取りが必要なくなり、外部メモリに対してアクセスを行う場合よりさらに高速にウェーブレット変換を行うことができるようになる。この結果、外部メモリとウェーブレット変換装置との間でデータの高速化のための手段として、クロック（周波数）を上げる必要もないので、省電力化することができる。

また、水平方向の分析フィルタリングを、YとCがインターリーブされた周波数成分に対して行うようにしたので、水平分析フィルタ部を１つで構成することができ、ハードウェアの規模縮小に大きく寄与することができる。この水平方向にインターリーブされたデータは、レジスタやメモリに容易に展開することができ、しかも、読み書きを高速に行うことができるので、ウェーブレット変換の高速化にも寄与することができる。

さらに、図４および図５を参照して上述したように、水平分析フィルタリング結果である高域成分と低域成分を、YおよびC毎にそれぞれインターリーブして、対応するレベルのバッファにYおよびC毎に記憶するようにしたので、データの読み出しの際には、そのレベルのバッファの先頭から順番に読み出すだけでよく、制御を単純（シンプル）にすることができる。

また、垂直方向の分析フィルタリングについては、YとCで別々に行うようにしたので、図８に示される垂直方向の分析フィルタリングをYとCで別々に行わない場合に必要となってしまう大容量のメモリは必要なくなるため、コストの急増を防ぐことができる。また、処理時間がかかることも抑制することができる。

すなわち、図８を参照して、本発明との差を比較するために、垂直方向の分析フィルタリングをYとCで別々に行わない場合、すなわち、水平分析フィルタ部１１および１９のように、YとCをインターリーブさせてから、YとCの垂直フィルタリングがずらしながら交互に行われる場合を具体的に説明する。

図８の例においては、インターリーブされたYとCが展開されるラインバッファの例が示されている。例えば、画像がｎラインで構成される場合、ラインバッファには、まず、１ライン目の輝度成分Y1が展開され、次に、１ライン目の色差成分C1が展開され、２ライン目の輝度成分Y2が展開され、次に、２ライン目の色差成分C2が展開され、３ライン目の輝度成分Y3が展開され、次に、３ライン目の色差成分C3が展開され、…、ｎライン目の輝度成分Ynが展開され、次に、ｎライン目の色差成分Cnが展開されて、インターリーブされたYとCがラインバッファに展開されていく。

すなわち、図１のY用垂直分析フィルタ部１７とC用垂直分析フィルタ部１８のように、YとCを別々に処理する場合には、YとCを別々に読み出してくればよいが、YとCを一緒に処理するためには、YとCをインターリーブして展開する必要があるため、C（またはY）用のラインバッファが余計に必要となってしまう。

また、例えば、垂直分析フィルタリングは、それを実行できるだけのライン（例えば、３ライン）が溜まり次第行われるので、図８の例においては、実質的には、上から５ライン目の輝度成分Y3が溜まったところで、Yの垂直分析フィルタリングが行われ、上から６メイン目の色差信成分C3が溜まったところで、Cの垂直分析フィルタリングが行われるというように、交互にYとCの垂直分析フィルタリングが行われる。

これに対して、図１のY用垂直分析フィルタ部１７とC用垂直分析フィルタ部１８の場合、YとCの垂直分析フィルタリングが並行で行われるので、単位時間あたりの処理速度が、図８の例の場合より速い。

以上のように、YとCをインターリーブさせてから、YとCの垂直分析フィルタリングを行う場合、垂直分析フィルタ部が１つで済むというメリットはあるが、本発明の場合と比較して、C用（またはY用）のラインバッファが余計に必要になる。このラインバッファを、内蔵メモリに構成する場合には、水平解像度が大きい画像（例えば、HDTV(High Definition TeleVision)では1920画素）では、非常に大容量のメモリが必要になり、コストが急増してしまう。また、図８の例の場合、垂直分析フィルタ部１つでCおよびYの処理を交互に行わなければならないため、Y用とC用の２つの垂直分析フィルタ部で並列して処理を行う本発明の場合と比較して処理時間がかかってしまう。

以上のことから、YとCをインターリーブさせてから、YとCの垂直分析フィルタリングを行う場合、メリットよりもデメリットが大きくなってしまう。これに対して、本発明のように、Y用およびC用の２つの垂直分析フィルタ部で処理を並列して行う場合には、それぞれ他方のラインバッファは必要ないので、コストの急増を抑制することができ、さらに、２つの垂直分析フィルタ部での処理を並列で行うことができるので、処理時間を早くすることができる。

なお、上述したように、Y用垂直分析フィルタ部１７によるYの垂直分析フィルタリングと、C用垂直分析フィルタ部１８によるCの垂直分析フィルタリングは、並行で処理されるが、一般的に、輝度成分の方が色差成分よりもデータ量が大きいので、フィルタリングの実行時間も長くなる傾向があり、これらの処理を同時に開始させても同時には終了しない。

そこで、YおよびCの垂直分析フィルタリングの結果のうち、高域成分D23およびD24は、再度、水平分析フィルタリングを行うことがないので、図９に示されるように、一方が他方を待つことなく次々に行われる。

すなわち、図９の例においては、１ライン目の色差成分C1の処理と同時に開始された１ライン目の輝度成分Y1の処理の後に、２ライン目の輝度成分Y2の処理、３ライン目の輝度成分Y3の処理、…、ｎライン目の輝度成分Ynの処理が次々行われて、Yの垂直分析フィルタリングが終了されている。

また、２ライン目の色差成分C2の処理は、１ライン目の色差成分C1の処理と同時に開始された１ライン目の輝度成分Y1の処理の終了を待つことなく、１ライン目の色差成分C1の処理の後に行われ、２ライン目の色差成分C2の処理の後に、３ライン目の色差成分C3の処理、…、ｎライン目の色差成分Cnの処理が次々行われて、Cの垂直分析フィルタリングが、Yの垂直分析フィルタリングの終了よりも前に終了されている。

一方、YおよびCの垂直分析フィルタリングの結果のうち、低域成分D19およびD20は、その後に、インターリーブ部１９においてインターリーブを行う必要があるので、図１０に示されるように、両方のデータの出力タイミングを合わせる必要がある。

すなわち、図１０の例においては、図９の例の場合と同様に、１ライン目の色差成分C1の処理が同時に開始された１ライン目の輝度成分Y1の処理の後に、２ライン目の輝度成分Y2の処理、３ライン目の輝度成分Y3の処理、…、ｎライン目の輝度成分Ynの処理が次々行われて、Yの垂直分析フィルタリングが終了されている。

これに対して、２ライン目の色差成分C2の処理は、１ライン目の色差成分C1の処理の後すぐではなく、１ライン目の色差成分C1の処理が同時に開始された１ライン目の輝度成分Y1の処理の終了を待ってから行われる。３ライン目の色差成分C3の処理は、２ライン目の色差成分C2の処理の後すぐではなく、２ライン目の輝度成分Y2の処理の終了を待ってから行われる。そして、ｎライン目の色差成分Cnの処理は、ｎ−１ライン目の色差成分Cn-1の処理の後すぐではなく、ｎ−１ライン目の輝度成分Y n-1の処理の終了を待ってから行われる。

以上のように、垂直方向の分析フィルタリングをYとCで別々（並行）に行うためには、YとCの結果の低域成分の出力タイミングを合わせることが必要である。これにより、図７を参照して上述したYとCの低域成分のインターリーブをスムーズに行うことができる。

次に、上述した分析フィルタリングにおける演算方法について説明する。分析フィルタリングにおける演算方法で最も一般的な演算方法は、畳み込み演算と呼ばれる方法である。この畳み込み演算は、デジタルフィルタの最も基本的な実現手段であり、フィルタのタップ係数に、実際の入力データを畳み込み乗算するものである。しかしながら、この畳み込み演算では、タップ長が長いとその分、計算負荷が増えてしまう場合もある。

これに対応する方法として、論文「W.Swelden,“The lifting scheme :A custom-design construction of Biorthogonal wavelets.”, Appl. Comput. Harmon. Anal., vol3, no.2, pp.186-200, 1996」で紹介されたウェーブレット変換のリフティング技術が知られている。

図１１は、JPEG(Joint Photographic Experts Group)2000規格でも採用されている５×３分析フィルタのリフティング構成を示している。この５×３分析フィルタに対してリフティング技術を適用したときの分析フィルタリングについて説明する。

図１１の例において、最上段部、中段部、および最下段部は、それぞれ、入力画像の画素列、高域成分出力、および低域成分出力を示している。最上段部は、入力画像の画素列に限らず、前の分析フィルタリングで得られた係数（周波数成分）であってもよい。ここでは、最上段部が入力画像の画素列であるものとし、四角印（■）が偶数番目の画素またはライン、丸印（●）が奇数番目の画素またはラインとする。

まず、第１段階として、次の式（１）のように、入力画素列から、高域成分の係数が生成される。

次に、第２段階として、この生成された高域成分の係数と、入力画素列の奇数番目の画素とを用いて、次の式（２）のように低域成分の係数が生成される。

このように、分析フィルタリングにおいては、まず高域成分の係数が生成された後に、低域成分の係数が生成される。この際に用いられる２種類のフィルタバンクは、式（１）および式（２）に示されるように、加算とシフト演算のみで実現できる。また、Ｚ変換表現すれば、次の式（３）に示されるように、僅か２タップのフィルタになる。すなわち、本来５タップ必要なフィルタが２タップで済むことになり、計算量を大幅に低減することができる。そこで、ウェーブレット変換装置１においても、水平分析フィルタリングおよび垂直分析フィルタリングに、このリフティング技術を適用することが好ましい。

ところで、上記説明においては、一般の画像信号を用いて、図１のウェーブレット変換装置１の構成や動作を説明したが、次に、動画像であるビデオ信号がウェーブレット変換装置１に入力される場合について説明する。

ビデオ信号は、通常規格で定められており、例えば、現在我々が視聴しているテレビジョン放送の規格は、NTSC(National Television Standards Committee)方式である。また、HDTV方式は、米国の規格化団体SMPTE(The Society of Motion Picture and Television Engineers)によって、SMPTE274Mという規格番号で標準化されている。ここでは、HDTV方式(1920×1080の解像度)を用いて説明する。

図１２は、HDTV方式のビデオ信号のデータの構成要素を示している。ビデオ信号のうち、輝度成分Yの実サンプルデータ数は、１ライン当り1,920サンプルであり、Yの実サンプルデータの前に、EAV(End of Active Video)、SAV(Start of Active Video)のサンプルデータが配置される。これらは、計280サンプルからなる。この構成は、色差成分Cb,Crについても同様であるが、4:2:2のフォーマットであり、Cb,Crの実サンプルデータ数は、各々Yの半分であるため、CbとCrを合わせてYと同数になる。

このYとCb,Crを多重化すると、EAVおよびSAVで計560サンプル、Y,Cb,Crで計3840サンプルのデータが生成される。このように、HDTV方式のSMPTE274M規格（通称HD-SDI I(High Definition-Serial Data Interface)規格）の信号は、既にYとCとがインターリーブされている。したがって、この多重化されたサンプルデータは、図１の例における画像信号D12に相当することになる。すなわち、図１のインターリーブ部１０には、画像信号D12が入力され、図２のステップＳ１１を参照して上述したように、この画像信号D12は、そのまま水平分析フィルタ部１１に入力されることになる。以降、これを前提として説明を続ける。

ウェーブレット変換装置１に、画像信号として、ビデオ信号が入力される場合には、１秒間に60フィールドのピクチャが１/60秒の速度で入力されるので、この短い時間内に、図２を参照して上述したウェーブレット変換処理を完了させなければならない。すなわち、高速にウェーブレット変換を行う必要がある。

その１つの方法として、図１３に示されるように、水平分析フィルタ部１１においては、ビデオ信号（画像信号D12）を入力しながら、水平方向の列数（サンプル数）が所定数に達した時点で直ちに水平方向の低域分析フィルタおよび高域分析フィルタリングが行われるようにする。なお、図１３の例においては、輝度信号Yの場合が示されているが、色差信号Cの場合も同様に処理される。また、説明は省略するが、水平分析フィルタ部２０についても同様である。

例えば、水平分析フィルタ部１１は、内蔵メモリに、YとCがインターリーブされた画像信号D12が２Ｍコラム（列）分だけ入力されて展開されるまで待機している。このＭの値は、水平分析フィルタリングのタップ数に対応しており、タップ数が大きければその分だけＭの値は大きくなる。なお、画像信号D12は、YとCがインターリーブされているので、Ｍの２倍のコラム分の記憶が待たれる。

水平分析フィルタ部１１は、内蔵メモリにYがＭコラム分溜まった時点で直ちに水平分析フィルタリングを行う。すなわち、水平分析フィルタ部１１は、内蔵メモリよりYのＭコラム分（例えば、図３の場合、Ｍ＝３）を順次読み出し、Yの水平方向の低域分析フィルタリングと高域分析フィルタリングとを行う。そして、その水平分析フィルタリングの結果であるYの低域成分と高域成分がインターリーブされて、レベル１バッファ１２に記憶される。レベル１バッファ１２に記憶されているYの低域成分および高域成分は、ライン数がＮラインになり次第、読み出され、Y用垂直分析フィルタ部１７に入力される。

そして、Y用垂直分析フィルタ部１７は、Yの低域および高域成分のライン数がＮライン（図４の場合、Ｎ＝３）分溜まった時点で、直ちに、垂直方向の低域分析フィルタリングおよび高域分析フィルタリングを行う。このＮの値は、垂直分析フィルタリングのタップ数に対応しており、タップ数が大きければその分だけＮの値は多くなる。この垂直分析フィルタリングにより、図１３および図１４に示すように、Yの垂直分析フィルタリング結果の低域成分(1LL)D19と、高域成分(1HL,1LH,1HH)D23とが生成される。

なお、説明は省略するが、水平分析フィルタ部１１においては、Yの水平分析フィルタリングの後、Yの水平分析フィルタリングと同様に、Cの水平分析フィルタリングが位置をずらして行われ、C用垂直分析フィルタ部１８においては、Y用垂直分析フィルタ部１７の処理と並行して、水平分析フィルタリングの結果に対して、Yの垂直分析フィルタリングと同様に、Cの垂直分析フィルタリングが行われ、Cの垂直分析フィルタリング結果の低域成分(1LL)D20と、高域成分(1HL,1LH,1HH)D24が生成されている。

そして、垂直分析フィルタリングの後、インターリーブ部１９において、Yの低域成分D19とC低域成分D20がインターリーブされ、水平分析フィルタ部２０においては、インターリーブ部１９のメモリに、YとCとがインターリーブされた低域成分D21が水平方向の分析フィルタリングが可能になるだけのコラム数が溜まった時点で、直ちに、分割レベル２の水平分析フィルタリングが行われる。なお、このように、低域成分が繰り返し分析されるのは、画像信号のエネルギの大部分が低域成分に集中しているためである。

水平分析フィルタ部２０は、分割レベル２の水平分析フィルタリングとして、内蔵メモリよりYのＭコラム分を順次読み出し、Yの水平方向の低域分析フィルタリングと高域分析フィルタリングとを行い、その水平分析フィルタリングの結果であるYの低域成分と高域成分をインターリーブして、レベル２バッファ１３に記憶する。説明は省略するが、Cについても同様である。

そして、垂直分析フィルタ部１８は、図１４に示すように、レベル２バッファ１３の低域成分および高域成分のライン数がＮ／２ラインになり次第、Yの垂直方向の低域分析フィルタリングおよび高域分析フィルタリングを行う。この垂直フィルタリングにより、図１５に示すように、低域成分(2LL)と高域成分(2HL,2LH,2HH)が生成される。すなわち、図１５の例においては、分割レベル１の1LLの周波数成分が、2LL, 2HL,2LH,2HHの４つの周波数成分に分割されている。

以上のように、所定の分割レベルまで繰り返し実行されるウェーブレット変換が、後続するビデオ信号を入力しながら、１ピクチャのビデオ信号の終端まで繰り返し実行されることで、１画像が所定の分割レベルまで帯域分割される。

なお、さらに分割レベル数を増やす場合には、低域成分に対して繰り返し分析フィルタリングを行えばよい。図１６は、実際の画像が、Ｎ＝４とした分析フィルタリングによって分割レベル３まで分割された例を示す図である。

すなわち、この画像に対して、分割レベル１の垂直分析フィルタリングにおいては、４ライン分の周波数成分が溜まった時点ですぐに、垂直分析フィルタリングが行われ、分割レベル２の垂直分析フィルタリングにおいては、２ライン分の周波数成分が溜まった時点ですぐに、垂直分析フィルタリングが行われ、分割レベル３の垂直分析フィルタリングにおいては、１ライン分の周波数成分が溜まった時点ですぐに、垂直分析フィルタリングが行われることにより、分割レベル３まで分割されたことがわかる。

以上のように、所定の列数分または所定のライン数分の周波数成分が溜まった時点ですぐに分析フィルタリングを行うようにしたので、１ピクチャのビデオ信号の分析フィルタリングを効率的に行うことができる。すなわち、高速にウェーブレット変換を行うことができる。

また、このように、最低域成分１ライン分の係数データが得られるだけの分析フィルタリングを、画面全体のラインに対して複数回に分けて段階的に行うことで、さらに、図２８などで後述するが、例えば、ウェーブレット変換後の周波数成分を符号化し伝送して、復号を行うようなシステムにおいて、低遅延で復号画像を得ることができる。

なお、以上のビデオ信号に対しての分析フィルタリングは、ビデオ信号を構成するピクチャ（フィールドまたはフレーム）単位で行われるため、ピクチャの終端を検知し、分析フィルタリングの動作を停止してリセットする必要がある。この場合、その図示は省略するが、ピクチャの終端を検知するために、例えば、インターリーブ部１０などに、ビデオ信号の垂直同期信号を検出する垂直同期信号検出部を内蔵させるようにウェーブレット変換装置１が構成される。

図１７は、SMPTE274M規格の信号のうち、インタレース信号の信号分布図である。図１７の例において、上段は、第１フィールド、下段は、第２フィールドを示す。第１フィールドの先頭には、２２ライン分の垂直同期信号が存在しており、第２フィールドの先頭には、２３ライン分の垂直同期信号が存在している。

したがって、ウェーブレット変換装置１においては、インターリーブ部１０などに、ビデオ信号の垂直同期信号を検出する垂直同期信号検出部を内蔵させ、内蔵された垂直同期信号検出部に、これらの垂直同期信号を検出させる。

これにより、容易にピクチャの終端を検出することができ、検出次第、分析フィルタリングの動作を停止させることができる。すなわち、ビデオ信号に対しての分析フィルタリングを、ビデオ信号を構成するピクチャ（フィールドまたはフレーム）単位で行うことができる。

図１８は、図１のウェーブレット変換装置に対応したウェーブレット逆変換装置の一実施形態に係る構成例を示す図である。このウェーブレット逆変換装置５１は、図１のウェーブレット変換装置１により画像信号が所定の分割レベル（図１８の例の場合、分割レベル４）までウェーブレット変換して分割された周波数成分を入力して、合成フィルタリングを行う帯域合成装置である。なお、もちろん、ウェーブレット変換の分割レベル数が異なれば、その分割レベル数分だけのウェーブレット逆変換が行われる。

図１８のウェーブレット逆変換装置５１は、レベル３バッファ６１、レベル２バッファ６２、レベル３バッファ６３、セレクタ６４、垂直合成フィルタ部６５、水平合成フィルタ部６６、セレクタ６７、および制御部６８により構成されている。すなわち、ウェーブレット逆変換装置５１には、最低域レベル（分割レベル４）以外の分割レベル毎に独立したバッファ（レベル３バッファ６１乃至レベル３バッファ６３）が構成されている。

図示せぬ外部（例えば、後述する図２８のディジタル復調部３１３など）より、分割レベル４の周波数成分(4LH,4HH)D61と分割レベル４の周波数成分(4LL,4HL)D62が、セレクタ６４に入力される。分割レベル３の周波数成分(3LH,3HH)D63と分割レベル３の周波数成分(3HL)D64が、レベル３バッファ６１に入力される。分割レベル２の周波数成分(2LH,2HH)D65と分割レベル２の周波数成分(2HL)D66が、レベル２バッファ６２に入力される。分割レベル１の周波数成分(1LH,1HH)D67と分割レベル１の周波数成分(1HL)D68が、レベル１バッファ６３に入力される。

レベル３バッファ６１は、分割レベル４の垂直合成フィルタリングの結果に対して水平合成フィルタリングが行われた結果の分割レベル３の低域成分(3LL)D80と、外部からの分割レベル３の周波数成分(3LH,3HH)D63と分割レベル３の周波数成分(3HL)D64を記憶、保持する。分割レベル３の低域成分(3LL)D80と分割レベル３の周波数成分(3HL)D64とは、レベル３バッファ６１においてまとめられて、分割レベル３の周波数成分(3LL,3HL)D70としてレベル３バッファ６１から出力され、分割レベル３の周波数成分(3LH,3HH)D63は、そのまま、分割レベル３の周波数成分(3LH,3HH)D69としてレベル３バッファ６１から出力される。

レベル２バッファ６２は、分割レベル３の垂直合成フィルタリングの結果に対して水平合成フィルタリングが行われた結果の分割レベル２の低域成分(2LL)D80と、外部からの分割レベル２の周波数成分(2LH,2HH)D65と分割レベル２の周波数成分(2HL)D66を記憶、保持する。分割レベル２の低域成分(2LL)D80と分割レベル２の周波数成分(2HL)D66とは、レベル２バッファ６２においてまとめられて、分割レベル２の周波数成分(2LL,2HL)D72としてレベル２バッファ６２から出力され、分割レベル２の周波数成分(2LH,2HH)D65は、そのまま、分割レベル２の周波数成分(2LH,2HH)D71としてレベル２バッファ６２から出力される。

レベル１バッファ６３は、分割レベル２の垂直合成フィルタリングの結果に対して水平合成フィルタリングが行われた結果の分割レベル１の低域成分(1LL)D80と、外部からの分割レベル１の周波数成分(1LH,1HH)D67と分割レベル１の周波数成分(1HL)D68を記憶、保持する。分割レベル２の低域成分(1LL)D80と分割レベル１の周波数成分(1HL)D68とは、レベル１バッファ６３においてまとめられて、分割レベル１の周波数成分(1LL,1HL)D74としてレベル１バッファ６３から出力され、分割レベル１の周波数成分(1LH,1HH)D67は、そのまま、分割レベル１の周波数成分(1LH,1HH)D73としてレベル１バッファ６３から出力される。

セレクタ６４は、垂直合成フィルタ部６５の制御のもと、外部、およびレベル３バッファ６１乃至レベル１バッファ６３のうち、外部または対応する分割レベルのバッファからの出力を選択し、選択した出力を、周波数成分(LH,HH)D75と周波数成分(LL,HL)D76として垂直分析フィルタ部６５に出力する。

垂直合成フィルタ部６５は、水平方向の帯域がLで共通する周波数成分LLと周波数成分LHの両方の同一位置にある係数を参照して、垂直方向に所定数（垂直合成フィルタリングを実行可能だけの数）を集めて垂直合成フィルタリングを行う。同様に、垂直合成フィルタ部６５は、水平方向の帯域がHで共通である周波数成分HLと周波数成分HHの両方の同一位置にある係数を参照して、垂直方向に所定数（垂直合成フィルタリングを実行可能だけの数）を集めて垂直合成フィルタリングを行う。垂直合成フィルタリングの結果生成された水平方向の低域(L)成分D77と水平方向の高域(H)成分D78は、水平合成フィルタ部６６に出力される。

水平合成フィルタ部６６は、水平方向の低域(L)成分D77と、水平方向の高域(H)成分D78の同一位置にある係数を参照して、水平方向に所定数（水平合成フィルタリングを実行可能だけの数）を集めて水平合成フィルタリングを行う。この結果、画像の上位ラインから順番に低域成分のラインが生成されて、低域成分（または画像）D79が、セレクタ６７に出力される。

セレクタ６７は、制御部６８の制御のもと、次の分割レベルに進む場合には、低域成分D80を、次の分割レベルに対応するレベルバッファに記憶させるため、次の分割レベルに対応するレベルバッファ側へ出力し、ウェーブレット逆変換が、ウェーブレット変換における最初の分割レベル（すなわち、分割レベル１）まで完了した場合には、ベースバンド画像D81を外部に出力する。

制御部６８は、例えばCPU、ROM、およびRAMを含むマイクロコンピュータなどにより構成され、各種のプログラムなどを実行することにより、ウェーブレット逆変換装置５１の各部の処理を制御する。

なお、図１のウェーブレット変換装置１においては、YとCをインターリーブして水平分析フィルタリングを行っていたが、図１８のウェーブレット逆変換装置５１においては、YとCとを完全に分離して処理を行っている。すなわち、実際には、ウェーブレット逆変換装置５１は、図１８の構成をYとCとで別々に備える。

このように、ウェーブレット変換装置１と異なり、YとCとをインターリーブしない理由としては、ウェーブレット逆変換装置５１においては、最初に垂直分析フィルタリングを施して、その後、水平分析フィルタリングを行うためである。すなわち、図８を参照して上述したように、垂直分析フィルタリングは、ラインバッファが余分に必要となり、また、処理時間が多くかかるからである。

次に、図１９のフローチャートを参照して、図１８のウェーブレット逆変換装置５１の動作について説明する。すなわち、図１９の例においては、ウェーブレット逆変換装置５１により実行されるウェーブレット逆変換処理が示されており、このウェーブレット逆変換処理においては、１番解像度の小さい低域成分から高域成分の順番で逆変換が行われていく。分割レベルでいえば、レベル４、レベル３、レベル２、およびレベル１の順番で実行される。なお、図１９の例においては、YまたはCのどちらにも特定せず説明を行うが、実際には、図１９の処理は、YとCとは別々に並行で行われている。

ステップＳ６１において、セレクタ６４は、外部からの分割レベル４の周波数成分(4LH,4HH)D61と分割レベル４の周波数成分(4LL,4HL)D62を入力する。そして、セレクタ６４は、垂直分析フィルタ部６５の制御のもと、この外部からの出力を選択し、選択した出力（分割レベル４の周波数成分(4LH,4HH)D61と周波数成分(4LL,4HL)D62）を、周波数成分(4LH,4HH)D75および周波数成分(4LL,4HL)D76として、垂直分析フィルタ部６５に出力する。

ステップＳ６２において、垂直合成フィルタ部６５は、周波数成分(4LH,4HH)D75および周波数成分(4LL,4HL)D76に対して、分割レベル４の垂直合成フィルタリングを行う。

すなわち、図２０に示されるように、垂直合成フィルタ部６５は、水平方向の帯域がLで垂直方向の帯域がLである周波数成分4LLと、水平方向の帯域がLで垂直方向の帯域がHである周波数成分4LH（共に水平方向の帯域がLである）の両方の同一位置にある係数（図中の丸）を参照して、垂直方向に、垂直合成フィルタリングを実行可能なだけの所定数（図２０の場合、６つ）を集めて垂直合成フィルタリングを行う。

また、垂直合成フィルタ部６５は、水平方向の帯域がHで垂直方向の帯域がLである周波数成分4HLと、水平方向の帯域がHで垂直方向の帯域がHである周波数成分4HH（共に水平方向の帯域がHである）の両方の同一位置にある係数（図中の丸）を参照して、垂直方向に、垂直合成フィルタリングを実行可能なだけの所定数（図２０の場合、６つ）を集めて垂直合成フィルタリングを行う。

図２０の例においては、周波数成分4LLの係数３つと、周波数成分4LHにおいて周波数成分4LLの３つの係数と同一位置にある係数３つが用いられて垂直合成フィルタリングが行われる例が示されており、周波数成分4HLの係数３つと、周波数成分4HHの、周波数成分4HLと同一位置にある係数３つが用いられて垂直合成フィルタリングが行われる例が示されている。

この結果、水平方向の低域(L)成分D77と、水平方向の高域(H)成分D78が生成され、生成され、水平合成フィルタ部６６に出力される。

ステップＳ６３において、水平合成フィルタ部６６は、水平方向の低域(L)成分D77と、水平方向の高域(H)成分D78に対して、分割レベル４の水平合成フィルタリングを行う。

すなわち、図２１に示されるように、水平合成フィルタ部６６は、水平方向の低域(L)成分D77と、水平方向の高域(H)成分D78の同一位置にある係数（図中の丸）を参照して、水平方向に、水平合成フィルタリングを実行可能だけの数（図２１の例の場合、６つ）を集めて水平合成フィルタリングを行う。

図２１の例においては、低域成分の係数３つと、高域成分において、低域成分の３つの係数と同一位置にある係数３つが用いられて水平合成フィルタリングが行われる例が示されている。

この結果、図２２に示されるように、画像の上位ラインから順番に低域成分のラインが生成されていくことで、分割レベル３の低域成分(3LL)D79が生成され、セレクタ６７に出力される。すなわち、図２２の例においては、1ライン目の低域成分が画像の上位ラインから順番に低域成分のラインが生成された結果の各レベルの低域成分またはベースバンド画像が示されている。

制御部６８は、ステップＳ６４において、ウェーブレット変換における最初のレベル（換言するに、ウェーブレット逆変換における最終レベル）である分割レベル１まで終了したか否かを判定し、まだ分割レベル１まで終了していないと判定した場合、処理は、ステップＳ６５に進む。

ステップＳ６５において、制御部６８は、セレクタ６７がレベル３バッファ６１への出力を選択するように制御し、水平合成フィルタリング結果の分割レベル３の低域成分(3LL)D80を対応するレベルバッファ（いまの場合、レベル３バッファ６１）に記憶させる。

ステップＳ６６において、制御部６８は、外部からの分割レベル３の周波数成分(3LH,3HH)D63と分割レベル３の周波数成分(3HL)D64を、レベル３バッファ６１に転送させ、記憶させる。

ステップＳ６７において、垂直分析フィルタ部６５は、セレクタ６４にレベル３バッファ６１からの出力を選択するように制御することで、周波数成分を、レベル３バッファ６１から読み出させ、読み出された周波数成分が、周波数成分(3LH,3HH)D75および周波数成分(3LL,3HL)D76として、垂直分析フィルタ部６５に出力される。

すなわち、レベル３バッファ６１においては、分割レベル３の低域成分(3LL)D80と分割レベル３の周波数成分(3HL)D64とがまとめられて、分割レベル３の周波数成分(3LL,3HL)D70としてレベル３バッファ６１から出力され、分割レベル３の周波数成分(3LH,3HH)D63は、そのまま、分割レベル３の周波数成分(3LH,3HH)D69としてレベル３バッファ６１から出力される。したがって、セレクタ６４より、分割レベル３の周波数成分(3LL,3HL)D70および分割レベル３の周波数成分(3LH,3HH)D69が、それぞれ、周波数成分(3LH,3HH)D75および周波数成分(3LL,3HL)D76として、垂直分析フィルタ部６５に出力される。

その後、処理は、ステップＳ６２に戻り、それ以降の処理が繰り返される。すなわち、ステップＳ６２において、分割レベル３の垂直合成フィルタリングが行われ、ステップＳ６３において、分割レベル３の水平合成フィルタリングが行われて、分割レベル２の低域成分(2LL)が生成される。

この場合、ステップＳ６４において、まだ分割レベル１まで終了していないと判定されるので、水平合成フィルタリング結果の分割レベル２の低域成分(2LL)D80は、対応するレベルバッファ（いまの場合、レベル２バッファ６２）に記憶される。同様に、外部からの分割レベル２の周波数成分(2LH,2HH)D65と分割レベル２の周波数成分(2HL)D66が、レベル３バッファ６１に転送される。

このとき、レベル３バッファ６１の場合と同様に、レベル２バッファ６２においては、分割レベル２の低域成分(2LL)D80と分割レベル２の周波数成分(2HL)D64とがまとめられて、分割レベル２の周波数成分(3LL,3HL)D70としてレベル２バッファ６２から出力され、分割レベル２の周波数成分(2LH,2HH)D63は、そのまま、分割レベル２の周波数成分(2LH,2HH)D69としてレベル２バッファ６２から出力される。

以上の一連の処理が、分割レベル１の周波数成分がレベル１バッファ６３に記憶され、読み出されるまで同様に行われる。その後、ステップＳ６２において、分割レベル１の垂直合成フィルタリングが行われ、ステップＳ６３において、分割レベル１の水平合成フィルタリングが行われる。この結果、分割レベル１まで合成フィルタリングが終了したベースバンド画像が生成され、ステップＳ６４において、分割レベル１まで終了したと判定されるので、処理は、ステップＳ６８に進み、ステップＳ６８において、セレクタ６７を介して、水平合成フィルタ部６６からのベースバンド画像D81が外部（例えば、後述する図２６の逆量子化部１６２）へ出力される。

以上のように、図１８のウェーブレット逆変換装置５１においても、最低域レベル以外の分割レベル毎のバッファを内蔵メモリで対応するようにしたので、水平合成フィルタリングを行いながら、水平合成フィルタリングの結果を、分割レベル毎のバッファに記憶させている。したがって、この水平合成フィルタリングの結果を、分割レベル毎のバッファから読み出しながら、垂直方向のフィルタリングを行うことができる。すなわち、水平方向と垂直方向のフィルタリングを同時並行的に動作させることができる。

これにより、動画像や解像度が大きい画像に対しても、高速にウェーブレット変換を実行することができる。

また、最低域レベル以外の分割レベル毎のバッファを内蔵メモリで対応するようにしたので、上述した特許文献１のように外部メモリが不要になる。

これにより、外部メモリとのデータのやり取りが必要なくなり、高速にウェーブレット逆変換を行うことができるようになる。この結果、外部メモリとウェーブレット逆変換装置との間でデータの高速化のための手段として、クロック（周波数）を上げる必要もないので、省電力化することができる。

さらに、ウェーブレット逆変換装置においては、垂直合成フィルタリングを、水平合成フィルタリングの前に行うことから、YとCとを完全に分離して処理を行うようにしたので、図８を参照して上述したように、垂直合成フィルタリングにおいて、余分なラインバッファが必要となることを防ぐとともに、処理時間がかかることを抑制することができる。

なお、ウェーブレット変換装置の場合でも、図１１を参照して上述したが、分析フィルタリングは、リフティング技術を使うことで効率的にフィルタリングを実行することができる。したがって、ウェーブレット逆変換の合成フィルタリングにおいても、同様にリフティング技術を用いることが好ましい。

図２３は、JPEG2000規格でも採用されている５×３分析フィルタのリフティング構成を示している。この５×３分析フィルタに対してリフティング技術を適用したときの合成フィルタリングについて説明する。

図２３の例において、最上段部は、ウェーブレット変換により生成された係数であり、丸印（●）が高域成分の係数を示し、四角印（■）が低域成分の係数を示す。

まず、第１段階として、次の式（４）のように、入力された低域成分および高域成分の係数から、偶数番目（最初を０番目とする）の係数を生成する。

次に、第２段階として、次の式（５）のように、第１段階で生成された偶数番目の係数と、入力された高域成分の係数とから、奇数番目の係数を生成する。

このように、合成フィルタリングにおいては、まず偶数番目の係数を生成した後に奇数版目の係数を生成する。この合成フィルタリングに用いる２種類のフィルタバンクは、図１１で上述したのと同様に、２タップであり、本来必要な５タップよりも短いため、計算量を大幅に低減することができる。

また、上記説明においては、図１２乃至図１６を参照して、動画像であるビデオ信号をウェーブレット変換する例を説明したが、ビデオ信号を構成するピクチャ単位でウェーブレット変換して生成（分割）された周波数成分の係数をウェーブレット逆変換する場合にも、同様に、高速にウェーブレット逆変換を行う必要がある。

したがって、ウェーブレット逆変換装置５１における垂直合成フィルタ部６５も、ウェーブレット変換装置１におけるY用垂直分析フィルタ部１７、およびC用垂直分析フィルタ部１８と同様に、周波数成分の係数が、垂直方向に所定数（垂直合成フィルタリングを実行可能だけの数）分溜まった時点で、直ちに、垂直方向の合成フィルタリングを行う。

ウェーブレット逆変換装置５１における水平合成フィルタ部６６も、ウェーブレット変換装置１における水平分析フィルタ部１１と同様に、周波数成分の係数が、水平方向に所定数（水平合成フィルタリングを実行可能だけの数）に達した時点で直ちに水平方向の合成フィルタリングを行う。

以上のように、周波数成分の係数が、垂直方向および水平方向に所定数溜まった時点ですぐに合成フィルタリングを行うようにしたので、１ピクチャのビデオ信号の合成フィルタリングを効率的に行うことができる。すなわち、高速にウェーブレット逆変換を行うことができる。

さらに、上記説明においては、図１７を参照して、図１のウェーブレット変換装置１において、動画像であるビデオ信号をウェーブレット変換する場合には、ビデオ信号の垂直同期信号を検出する手段が備えることで、ピクチャの終端を検知するように説明した。

図１７で説明したようにしてピクチャの終端を検知して、ビデオ信号を構成するピクチャ単位でウェーブレット変換して生成された周波数成分を、ウェーブレット逆変換する場合には、その図示は省略するが、ウェーブレット逆変換装置５１のセレクタ６７の後段には、ウェーブレット逆変換によって生成されたピクチャ信号（すなわち、上述したベースバンド画像D81）の後ろに、ビデオの垂直同期信号を挿入する垂直同期信号挿入部が構成される。

すなわち、ウェーブレット逆変換装置５１のセレクタ６７の後段に垂直同期信号挿入部を構成させ、垂直同期信号挿入部に、例えば、セレクタ６７からのベースバンド画像D81の後ろに、ビデオの垂直同期信号を挿入させ、生成したビデオ信号を外部に出力させる。

以上のようにして、後続のピクチャにも同様に、ビデオの垂直同期信号を継続して挿入することで、生成されたビデオ信号を順次出力することができる。これにより、動画像を再現することができる。

以上のように、本発明のウェーブレット変換装置においては、レベル１から所定のレベル数までの分割レベル毎のバッファを備え、水平分析フィルタリングを行いながら、水平分析フィルタリングの結果を、分割レベル毎のバッファに記憶させるようにしたので、この水平分析フィルタリングの結果を、分割レベル毎のバッファから読み出しながら、垂直方向のフィルタリングを行うことができる。すなわち、水平方向と垂直方向のフィルタリングを同時並行的に動作させることができる。これにより、動画像や解像度が大きい画像に対しても、高速にウェーブレット変換を実行することができる。

さらに、レベル１から所定のレベル数までの分割レベル毎のバッファは、内蔵メモリで対応されているので、外部メモリが不要になるとともに、外部メモリとのデータのやり取りが必要なくなり、高速にウェーブレット変換を行うことができるようになる。この結果、外部メモリとウェーブレット変換装置との間でデータの高速化のための手段として、クロック（周波数）を上げる必要もないので、省電力化することができる。

また、水平方向の分析フィルタリングを、YとCがインターリーブされた周波数成分に対して行うようにしたので、水平分析フィルタ部を１つで構成することができ、ハードウェアの規模縮小に大きく寄与することができる。

さらに、水平分析フィルタリング結果である高域成分と低域成分を、YおよびC毎にそれぞれインターリーブして、対応するレベルのバッファにYおよびC毎に記憶するようにしたので、データの読み出しの際には、そのレベルのバッファの先頭から順番に読み出すだけでよく、制御を単純（シンプル）にすることができる。

また、垂直方向の分析フィルタリングをYとCで別々に行うようにしたので、例えば、垂直方向の分析フィルタリングをYとCで別々に行わない場合よりも、大容量のメモリの必要性がなくなり、コストの急増を防ぐことができる。また、処理時間がかかることも抑制することができる。

一方、本発明のウェーブレット逆変換装置においても、最低域レベル以外の分割レベル毎のバッファを備え、水平合成フィルタリングを行いながら、水平合成フィルタリングの結果を、分割レベル毎のバッファに記憶させるようにしたので、この水平合成フィルタリングの結果を、分割レベル毎のバッファから読み出しながら、垂直方向のフィルタリングを行うことができる。すなわち、水平方向と垂直方向のフィルタリングを同時並行的に動作させることができる。これにより、動画像や解像度が大きい画像に対しても、高速にウェーブレット変換を実行することができる。

さらに、最低域レベル以外の分割レベル毎のバッファは、内蔵メモリで対応されているので、外部メモリが不要になるとともに、外部メモリとのデータのやり取りが必要なくなり、高速にウェーブレット逆変換を行うことができるようになる。この結果、外部メモリとウェーブレット逆変換装置との間でデータの高速化のための手段として、クロック（周波数）を上げる必要もないので、省電力化することができる。

また、ウェーブレット変換とは異なり、YとCをインターリーブすることなく、YとCとを完全に分離して処理を行うようにしたので、垂直合成フィルタリングにおいて、Cのメモリが余分に必要となることを防ぐとともに、処理時間がかかることを抑制することができる。

さらに、本発明のウェーブレット変換装置およびウェーブレット逆変換装置においては、所定の数の周波数成分が溜まった時点ですぐに分析フィルタリングおよび合成フィルタリングを行うようにしたので、分析フィルタリングおよび合成フィルタリングを効率的に行うことができる。すなわち、高速にウェーブレット変換および逆変換を行うことができ、１秒間に60フィールドのピクチャが１/60秒の速度で入力されるビデオ信号のウェーブレット変換および逆変換にも対応することができる。

これにより、さらに、後述するウェーブレット変換を用いた符号化処理およびウェーブレット逆変換を用いた復号処理を含む伝送システムにおいて、ライン毎の並行処理が可能になり、低遅延での復号画像を得ることができるようになる。

また、本発明のウェーブレット変換装置において、垂直同期信号を検出する手段を備え、本発明のウェーブレット逆変換装置において、垂直同期信号を挿入する手段を備えるようにしたので、ビデオ信号に対しての分析フィルタリングを、ビデオ信号を構成するピクチャ（フィールドまたはフレーム）単位で行うことができる。

以上説明した本発明は、画像またはビデオ信号をウェーブレット変換する装置または方法に関するものであり、また、帯域分析された情報を合成フィルタバンクリングして画像またはビデオ信号に復元するウェーブレット逆変換する装置または方法に関するものであり、そのような装置または方法であれば、様々なものに適用することができる。

すなわち、上記説明においては、ウェーブレット変換を行って、画像信号やビデオ信号を複数の周波数成分に分割するウェーブレット変換装置１、および、ウェーブレット変換装置１に対応し、ウェーブレット変換装置１により生成された周波数成分をウェーブレット逆変換するウェーブレット逆変換装置５１について説明したが、ウェーブレット変換は、通常、画像圧縮の前処理として多用されている。そこで、次に、ウェーブレット変換により生成される周波数成分（以下、係数データとも称する）を圧縮符号化する画像符号化装置と、画像符号化装置により圧縮符号化された係数データを復号する画像復号装置について説明する。

図２４は、本発明を適用した画像符号化装置の一実施形態に係る構成例を示す図である。すなわち、画像符号化装置においては、本発明のウェーブレット変換を圧縮の前処理として行う。

図２４の例において、画像符号化装置１０１は、ウェーブレット変換部１１１、量子化部１１２、エントロピ符号化部１１３、およびレート制御部１１４により構成されている。

ウェーブレット変換部１１１は、図１のウェーブレット変換装置１と基本的に同様の構成とされる。すなわち、ウェーブレット変換部１１１は、分割レベル毎に独立したバッファ（レベル１バッファ１２乃至レベル４バッファ１５）を備えており、入力したビデオ信号D110（YとCがインターリーブされている画像信号D12に相当）が所定のコラム数まで溜まった時点で、直ちにビデオ信号D110に対して水平分析フィルタリングを行い、水平分析フィルタリングの結果の係数データ（周波数成分）を各レベルに対応したバッファに記憶する。そして、水平分析フィルタリングの結果の係数データが、各レベルに対応したバッファに所定のライン数まで溜まった時点で、直ちに係数データに対してYとC別々に垂直分析フィルタリングを行うことを所定の分割レベルまで繰り返し、分析後の係数データD111を量子化部１１２に供給する。

例えば、分割レベル２の分析フィルタリングでは、図１６に示したように、分割レベル１の分析フィルタリングで生成される1LLの４ラインをウェーブレット変換することで、2LL,2HL,2LH,2HHの２ラインが得られる。分割レベル３の分析フィルタリングでは、2LLの２ラインをウェーブレット変換することで、3LL,3HL,3LH,3HHの１ラインが得られる。分割レベル３の最終の分析フィルタリングであった場合には、3LLが最低域となる。

なお、図１７を参照して上述したように、ビデオ信号の入力時には、ビデオ信号の垂直同期信号（すなわち、ピクチャの終端）を検出することにより、ピクチャの終端で分析フィルタリングの動作が停止され、ピクチャ毎にウェーブレット変換が行われている。

量子化部１１２は、ウェーブレット変換部１１１により生成される係数データD111を、例えば量子化ステップサイズで除算することにより量子化し、量子化係数データD112を生成する。

この際、量子化部１１２は、生成された周波数成分の最低域（図１６の場合、3LL）の１ライン分と、この１ラインを生成するために必要になった他の周波数成分の複数ラインとから構成される単位をラインブロックとし、このラインブロック毎に量子化ステップサイズを設定することができる。このラインブロックは、ある画像領域のすべての周波数成分（図１６の場合、3LL乃至1HHまでの１０個の周波数成分）の係数を包含しているため、ラインブロック毎に量子化を行えば、ウェーブレット変換の特徴である多重解像度分析の利点を活かすことができる。また、全画面でラインブロック数だけを決めればよいため、画像符号化装置１０１の負荷も小さくて済む。

さらに、画像信号のエネルギは一般的に低域成分に集中しており、また、人間の視覚上、低域成分の劣化が目立ちやすいという特性があるため、量子化に際しては、低域成分のサブバンドでの量子化ステップサイズが結果的に小さな値になるように、重み付けを行うことが有効である。この重み付けにより、低域成分には相対的に多くの情報量が割り当てられるようになり、全体の主観的な画質が向上する。

エントロピ符号化部１１３は、量子化部１１２で生成された量子化係数データD112を情報源符号化し、圧縮された符号化コードストリームD113を生成する。情報源符号化としては、例えばJPEG方式やMPEG（Moving Picture Experts Group）方式で用いられているハフマン符号化や、JPEG2000方式で用いられているさらに高精度な算術符号化を用いることができる。

ここで、エントロピ符号化をどの範囲の係数に対して行うかは、圧縮効率に直接関係する非常に重要な要素になる。例えば、JPEG方式やMPEG方式では、８×８のブロックに対してDCT（Discrete Cosine Transform）変換を施し、生成された６４個のDCT変換係数に対してハフマン符号化を行うことで、情報を圧縮している。すなわち、６４個のDCT変換係数がエントロピ符号化の範囲になる。

ウェーブレット変換部１１１では、８×８ブロックに対するDCT変換とは異なり、ライン単位でウェーブレット変換を施しているため、エントロピ符号化部１１３では、各周波数帯域独立に、且つ各周波数帯域内をＰライン毎に情報源符号化する。

Ｐは１ラインが最低であるが、ライン数が少ない場合には参照情報が少なくて済み、メモリ容量を減らすことができる。逆に、ライン数が多い場合には情報量がその分増えるため、符号化効率が向上させることができる。しかしながら、Ｐが各周波数帯域内のラインブロックのライン数を超えた値になると、次のラインブロックのラインまで必要になる。このため、このラインブロックの量子化係数データがウェーブレット変換及び量子化によって生成されるまで待たなければならず、この時間が遅延時間となってしまう。

したがって、低遅延のためには、Ｐはラインブロックのライン数以下である必要がある。例えば、図１６の例では、3LL,3HL,3LH,3HHの周波数帯域については、ラインブロックのライン数＝１ラインであるためＰ＝１となる。また、2HL,2LH,2HHのサブバンドについては、ラインブロックのライン数＝２ラインであるためＰ＝１または２となる。

レート制御部１１４は、最終的に目標のビットレート又は圧縮率に合わせるための制御を行い、レート制御後の符号化コードストリームD114を外部に出力する。例えば、このレート制御部１１４は、ビットレートを上げる場合には量子化ステップサイズを小さくし、ビットレートを下げる場合には量子化ステップサイズを大きくするように、量子化部１１２に対して制御信号D115を送信する。

次に、図２５のフローチャートを参照して、図２４の画像符号化装置１０１の画像符号化処理について説明する。

図示せぬ外部（例えば、後述する図２８のビデオカメラ部３０３など）から、ウェーブレット変換部１１１には、ビデオ信号D110が入力される。ステップＳ１１１において、ウェーブレット変換部１１１は、入力したビデオ信号D110に対して、ウェーブレット変換処理を実行する。なお、このウェーブレット変換処理は、ビデオ信号D110から垂直同期信号が検出されることでピクチャ毎に、かつライン単位で行われる処理であるが、図２を参照して上述したウェーブレット変換処理と基本的に略同様な処理を行うので、その説明は省略する。

ステップＳ１１１のウェーブレット変換処理により、入力したビデオ信号D110（YとCがインターリーブされている画像信号D12に相当）が所定のコラム数まで溜まった時点で、直ちにビデオ信号D110に対して水平分析フィルタリングを行い、水平分析フィルタリングの結果の係数データ（周波数成分）を各レベルに対応したバッファに記憶し、水平分析フィルタリングの結果の係数データが各レベルに対応したバッファに所定のライン数まで溜まった時点で、直ちに係数データに対してYとC別々に垂直分析フィルタリングを行うことが、所定の分割レベルまで繰り返されることで、分析後の係数データD111が量子化部１１２に供給される。

すなわち、ウェーブレット変換部１１１は、図１３乃至図１６を参照して上述したように、最低域分１ライン分の係数データが得られるだけのフィルタ処理を段階的に、画面全体のラインに対して複数回に分けて行っている。

ステップＳ１１２において、量子化部１１２は、前回の後述するステップＳ１１４のレート制御部１１４からの制御のもと、ウェーブレット変換部１１１により生成される係数データD111を、例えば量子化ステップサイズで除算することにより量子化し、量子化係数データD112を生成する。

この際、量子化部１１２は、生成された周波数成分の最低域（図１６の場合、3LL）の１ライン分と、この１ラインを生成するために必要になった他の周波数成分の複数ラインとから構成される単位をラインブロックとし、このラインブロック毎に量子化ステップサイズを設定し、量子化を行っている。すなわち、量子化部１１２も所定のライン数が溜まった時点で、直ちにラインブロック毎に量子化を行っている。

ステップＳ１１３において、エントロピ符号化部１１３は、量子化部１１２で生成された量子化係数データD112をエントロピ符号化（情報源符号化）し、圧縮された符号化コードストリームD113を生成する。

ここで、ウェーブレット変換部１１１においては、ライン単位でウェーブレット変換を施しているため、エントロピ符号化部１１３でも、各周波数帯域独立に、かつ各周波数帯域内をＰライン毎に情報源符号化している。すなわち、エントロピ符号化部１１３も、Ｐライン（ラインブロックのライン数以下）が溜まった時点で直ちに情報源符号化を行っている。

ステップＳ１１４において、レート制御部１１４は、レート制御（すなわち、最終的に目標のビットレートまたは圧縮率に合わせるための制御）を行い、レート制御後の符号化コードストリームD114を外部に出力する。

以上のように、画像符号化装置においては、ライン単位でウェーブレット変換が行われ、ラインブロック毎に量子化が行われ、ラインブロックのライン数以下のＰライン毎に、情報源符号化が行われて、外部に、Ｐライン毎に符号化された符号化コードストリームD114が外部に出力されている。すなわち、ウェーブレット変換処理、量子化処理、および情報源符号化処理を、各所定のライン単位で並列に動作させることができる。

これにより、例えば、画像符号化装置により符号化された符号化データを伝送した際には、Ｐライン毎に符号化されたデータが次々に伝送されるので、符号化データを受信し復号する画像復号装置（図２６の画像復号装置１５１）においては、低遅延で復号画像を得ることができる。

図２６は、図２４の画像符号化装置に対応する画像復号装置の一実施形態に係る構成例を示す図である。

図２６の例において、画像復号装置１５１は、エントロピ復号部１６１、逆量子化部１６２、ウェーブレット逆変換部１６３により構成されている。

エントロピ復号部１６１は、入力した符号化コードストリームD160を情報源復号し、量子化係数データD161を生成する。情報源復号としては、画像符号化装置１０１の情報源符号化に対応して、ハフマン復号や、高効率な算術復号などを用いることができる。なお、図２４で上述したように、画像符号化装置１０１においてＰラインごとに情報源符号化されている場合には、エントロピ復号部１６１においても同様に、各サブバンドが独立に、かつ各サブバンド内がＰライン毎に情報源復号される。

逆量子化部１６２は、量子化係数データD161に量子化ステップサイズを乗算することにより逆量子化し、係数データD162を生成する。この量子化ステップサイズは、通常、符号化コードストリームのヘッダなどに記述されている。なお、図２４で上述したように、画像符号化装置１０１において、ラインブロック毎に量子化ステップサイズが設定されている場合には、逆量子化部１６２においても同様に、ラインブロック毎に逆量子化ステップサイズが設定されて、逆量子化される。

ウェーブレット逆変換部１６３は、図１８のウェーブレット逆変換装置５１と基本的に同様の構成とされる。すなわち、ウェーブレット逆変換部１６３は、最低域のレベル以外の分割レベル毎に独立したバッファ（レベル３バッファ６１乃至レベル１バッファ６３）を備えており、係数データD162に対して、垂直合成フィルタリングと水平合成フィルタリングを行い、水平分析フィルタリングの結果の係数データを各レベルに対応したバッファに記憶し、各レベルに対応したバッファに記憶された係数データが所定数溜まった時点で直ちに垂直合成フィルタリングと水平合成フィルタリングを行うことをレベル１まで繰り返して、ベースバンド画像を生成する。このとき、さらに、ウェーブレット逆変換部１６３においては、ベースバンド画像に、垂直同期信号が挿入されて、ビデオ信号D163が生成され、外部に出力される。

次に、図２７のフローチャートを参照して、図２６の画像復号装置１５１の画像復号処理について説明する。

エントロピ復号部１６１には、外部（例えば、後述する図２８のディジタル復調部３１３）から、図２５を参照して上述した画像符号化処理により符号化された符号化コードストリームD160が入力される。エントロピ復号部１６１は、ステップＳ１６１において、入力した符号化コードストリームD160を、エントロピ復号（情報源復号）し、量子化係数データD161を生成する。

このとき、画像符号化装置１０１においてＰライン毎に情報源符号化されているので、エントロピ復号部１６１においても同様に、各サブバンドが独立に、かつ各サブバンド内がＰライン毎に情報源復号される。

逆量子化部１６２は、ステップＳ１６２において、量子化係数データD161に量子化ステップサイズを乗算することにより逆量子化し、係数データD162を生成する。

このとき、画像符号化装置１０１において、ラインブロック毎に量子化ステップサイズが設定されているので、逆量子化部１６２においても同様に、ラインブロック毎に逆量子化ステップサイズが設定されて、逆量子化される。

ウェーブレット逆変換部１６３は、ステップＳ１６３において、係数データD162に対して、ウェーブレット逆変換処理を実行する。なお、このウェーブレット逆変換処理は、ライン単位で行われ、画像が生成された後に垂直同期信号が挿入される処理であるが、図１９を参照して上述したウェーブレット逆変換処理と基本的に略同様な処理を行うので、その説明は省略する。

ステップＳ１６３のウェーブレット変換処理により、係数データD162に対して、垂直合成フィルタリングと水平合成フィルタリングを行い、水平分析フィルタリングの結果の係数データを各レベルに対応したバッファに記憶し、各レベルに対応したバッファに記憶された係数データが所定数溜まった時点で直ちに垂直合成フィルタリングと水平合成フィルタリングを行うことが、レベル１まで繰り返されることで、ベースバンド画像が生成される。このとき、さらに、生成されたベースバンド画像に、垂直同期信号が挿入されて、ビデオ信号D163が生成され、外部（例えば、後述する図２８のビデオカメラ部３０３）に出力される。

すなわち、画像符号化装置１０１において、ライン単位でウェーブレット変換処理が行われているので、ウェーブレット逆変換部１６３においても同様に、ライン単位で、ウェーブレット逆変換処理が行われる。

以上のように、画像復号装置１５１においては、入力された符号化コードストリームがＰライン毎に情報源復号され、ラインブロック毎に逆量子化が行われ、ライン単位でウェーブレット逆変換が行われて、ベースバンド画像が生成され、ベースバンド画像に、垂直同期信号が挿入されて、ビデオ信号D163が生成され、外部に出力される。すなわち、復号処理、逆量子化処理、およびウェーブレット逆変換処理は、各所定のライン単位で並列に動作させることができる。

これにより、符号化データを伝送した際には、次々に伝送されてきた符号化され、データが、次々に、Ｐライン毎に復号され、ライン単位で生成されるので、低遅延で復号画像を得ることができる。

以上のように、図２４および図２６を参照して上述した画像符号化装置１０１および画像復号装置１５１における各処理は、ライン単位で並列的に動作させることで、画像の圧縮符号化および復号処理をより低遅延で行うことが可能である。

次に、図２４および図２６を参照して上述した画像符号化装置１０１および画像復号装置１５１を様々なシステムに適用した例について説明する。

図２８は、本発明のウェーブレット変換を含む画像符号化およびウェーブレット逆変換を含む画像復号方法を適用可能なディジタルトライアックスシステムの一例の構成を示している。

トライアックスシステムは、テレビジョン放送局や制作スタジオなどにおいて、スタジオ収録や中継などの際に、ビデオカメラと、カメラコントロールユニットやスイッチャとを接続する１本の同軸ケーブルで、映像信号、音声信号、送り返し（リターン）の映像信号、同期信号など複数の信号を重畳させて送信すると共に、電源の供給も行うようにしたシステムである。

従来のトライアックスシステムは、アナログ信号を用いて上述の各信号の伝送を行うようにした例が大部分であった。一方、近年では、システム全体のディジタル化に伴い、放送局内などで用いるトライアックスシステムのディジタル化が進んでいる。

既存のディジタルトライアックスシステムでは、トライアックスケーブルを介して伝送されるディジタルビデオ信号は、非圧縮のビデオ信号であった。これは、特に放送局などにおいては信号の遅延時間に対する要求スペックが厳しく、基本的に、撮像から例えばモニタ出力までの遅延時間が１フィールド（16.67msec）以内であることが要求されるためである。高圧縮率および高画質を実現したMPEG２やMPEG４といった圧縮符号化方式は、ビデオ信号の圧縮符号化や圧縮ビデオ信号の復号に際して数フレーム分の時間を要し、遅延時間が大きいため、トライアックスシステムに採用されることはなかった。

本発明のウェーブレット変換を含む画像符号化およびウェーブレット逆変換を含む画像復号方法は、図２および図１９を参照して上述したように水平フィルタリングと垂直フィルタリングの並行動作が可能であるとともに、図２５および図２７を参照して上述したように、ライン単位で行われることから並行動作が可能であり、画像データの入力から出力画像が得られるまでの遅延時間が短くできるため、ディジタルトライアックスシステムに対して用いて好適なものである。

図２８のディジタルトライアックスシステムは、送信ユニット３００とカメラ制御部３０２とがトライアックスケーブル（同軸ケーブル）３０１を介して接続される。送信ユニット３００からカメラ制御部３０２に対する、実際に放映されたり、素材として用いられるディジタルビデオ信号およびディジタルオーディオ信号（以下、本線信号と呼ぶ）の送出、カメラ制御部３０２から送信ユニット３００に対する、インカム用のオーディオ信号およびリターン用のディジタルビデオ信号の送出が、トライアックスケーブル３０１を介して行われる。

送信ユニット３００は、例えば図示されないビデオカメラ装置に内蔵される。これに限らず、送信ユニット３００がビデオカメラ装置に対する外部装置として、ビデオカメラ装置と所定に接続されて用いられるものとしてもよい。また、カメラ制御部３０２は、例えば一般的にCCU(Camera Control Unit)と呼ばれる装置である。

なお、ディジタルオーディオ信号については、この発明の主旨と関わりが少ないので、繁雑さを避けるための説明を省略する。

ビデオカメラ部３０３は、例えば図示されないビデオカメラ装置内に構成され、レンズ、フォーカス機構、ズーム機構、アイリス調整機構などを有する光学系３５０を介して入射された被写体からの光を、CCD(Charge Coupled Device)などからなる図示されない撮像素子で受光する。撮像素子は、受光された光を光電変換で電気信号に変換し、さらに所定の信号処理を施してベースバンドのディジタルビデオ信号を出力する。このディジタルビデオ信号は、例えばHD-SDI(High Definition-Serial Data Interface)のフォーマットにマッピングして出力される。

また、ビデオカメラ部３０３は、モニタ用に用いられる表示部３５１と、外部と音声によるやりとりを行うためのインカム３５２が接続される。

送信ユニット３００は、ビデオ信号符号化部３１０およびビデオ信号復号部３１１、ディジタル変調部３１２およびディジタル復調部３１３、アンプ３１４および３１５、並びに、ビデオ分離／合成部３１６を有する

送信ユニット３００において、ビデオカメラ部３０３から、例えばHD-SDIのフォーマットにマッピングされたベースバンドのディジタルビデオ信号が供給される。このディジタルビデオ信号は、ビデオ信号符号化部３１０で圧縮符号化され、符号化ストリームとされてディジタル変調部３１２に供給される。ディジタル変調部３１２は、供給された符号化ストリームを、トライアックスケーブル３０１を介した伝送に適した形式の信号に変調して出力する。ディジタル変調部３１２から出力された信号は、アンプ３１４を介してビデオ分離／合成部３１６に供給される。ビデオ分離／合成部３１６は、供給された信号をトライアックスケーブル３０１に送出する。この信号は、トライアックスケーブル３０１を介してカメラ制御部３０２に受信される。

カメラ制御部３０２から出力された信号が、トライアックスケーブル３０１を介して送信ユニット３００に受信される。受信された信号は、ビデオ分離／合成部３１６に供給され、ディジタルビデオ信号の部分とその他の信号の部分とが分離される。受信信号のうちディジタルビデオ信号の部分は、アンプ３１５を介してディジタル復調部３１３に供給され、カメラ制御部３０２側でトライアックスケーブル３０１を介した伝送に適した形式の信号に変調された信号を復調し、符号化ストリームを復元する。

符号化ストリームは、ビデオ信号復号部３１１に供給され、圧縮符号が復号され、ベースバンドのディジタルビデオ信号とされる。この復号されたディジタルビデオ信号は、HD-SDIのフォーマットにマッピングされて出力され、リターン用のディジタルビデオ信号としてビデオカメラ部３０３に供給される。このリターン用のディジタルビデオ信号は、ビデオカメラ部３０３に接続される表示部３５１に供給され、撮影者のためのモニタなどに利用される。

カメラ制御部３０２は、ビデオ分離／合成部３２０、アンプ３２１および３２２、フロントエンド部３２３、ディジタル復調部３２４およびディジタル変調部３２５、並びに、ビデオ信号復号部３２６およびビデオ信号符号化部３２７を有する。

送信ユニット３００から出力された信号が、トライアックスケーブル３０１を介してカメラ制御部３０２に受信される。受信された信号は、ビデオ分離／合成部３２０に供給される。ビデオ分離／合成部３２０は、供給された信号を、アンプ３２１およびフロントエンド部３２３を介してディジタル復調部３２４に供給する。なお、フロントエンド部３２３は、入力信号のゲインを調整するゲイン制御部や、入力信号に対して所定のフィルタ処理を施すフィルタ部などを有する。

ディジタル復調部３２４は、送信ユニット３００側でトライアックスケーブル３０１を介した伝送に適した形式の信号に変調された信号を復調し、符号化ストリームを復元する。この符号化ストリームは、ビデオ信号復号部３２６に供給され、圧縮符号を復号され、ベースバンドのディジタルビデオ信号にとされる。この復号されたディジタルビデオ信号は、HD-SDIのフォーマットにマッピングされて出力され、本線信号として外部に出力される。

外部からカメラ制御部３０２に対して、リターン用のディジタルビデオ信号と、ディジタルオーディオ信号とが供給される。ディジタルオーディオ信号は、例えば、撮影者のインカム３５２に供給され、外部から撮影者に対する音声による指示を伝達するのに用いられる。

リターン用のディジタルビデオ信号は、ビデオ信号符号化部３２７に供給されて圧縮符号化され、ディジタル変調部３２５に供給される。ディジタル変調部３２５は、供給された符号化ストリームを、トライアックスケーブル３０１を介した伝送に適した形式の信号に変調して出力する。ディジタル変調部３２５から出力された信号は、フロントエンド部３２３およびアンプ３２２を介してビデオ分離／合成部３２０に供給される。ビデオ分離／合成部３２０は、この信号を他の信号と多重化し、トライアックスケーブル３０１に送出する。この信号は、トライアックスケーブル３０１を介して送信ユニット３００に受信される。

図２８の例においては、ビデオ信号符号化部３１０および３２７、ならびに、ビデオ信号復号部３１１および３２６に対して、図２４の画像符号化装置１０１および図２６の画像復号装置１５１がそれぞれ適用される。すなわち、ビデオ信号符号化部３１０および３２７は、図２４の画像符号化装置１０１と基本的に同様の構成とされ、ビデオ信号復号部３１１および３２６は、図２６の画像復号装置１５１と基本的に同様の構成とされる。

すなわち、送信ユニット３００側において、ビデオ信号符号化部３１０は、供給されたディジタルビデオ信号に対して、図２５を参照して上述したウェーブレット変換およびエントロピ符号化を施し、符号化ストリームを出力する。図１３乃至図１６を参照して上述したように、ビデオ信号符号化部３１０は、ウェーブレット変換に用いるフィルタのタップ数およびウェーブレット変換の分解レベル数に応じたライン数が入力されると、ウェーブレット変換を開始する。さらに、図２５および図２７を参照して上述したように、画像符号化装置および画像復号装置において、各要素に必要な係数データが蓄積されると、順次、各要素による処理が行われる。１フレームまたは１フィールドの下端のラインまで処理が終了したら、次の１フレームまたは１フィールドの処理が開始される。

以上のように、図２４および図２６の画像符号化装置１０１および画像復号装置１５１においては、それらの各要素の処理が並列的に行われるため、画像符号化装置１０１および画像復号装置１５１は、ビデオカメラ部３０３で撮影された映像がカメラ制御部３０２から出力される際の遅延や、外部から供給されカメラ制御部３０２からビデオカメラ部３０３に送信されるリターン用のディジタルビデオ信号の遅延を低く抑えることができ、図２８のディジタルトライアックスシステムに用いて好適である。

カメラ制御部３０２側から送信ユニット３００側に、リターン用のディジタルビデオ信号を送信する場合も同様である。すなわち、カメラ制御部３０２側において、ビデオ信号符号化部３２７は、外部から供給されたリターン用のディジタルビデオ信号に対して、図２５を参照して上述したウェーブレット変換およびエントロピ符号化を施し、符号化ストリームを出力する。

ここで、リターン用のディジタルビデオ信号は、本線信号のディジタルビデオ信号よりも画質が低くても構わないとされている場合が多い。そこで、ビデオ信号符号化部３２７において、符号化時のビットレートを下げるようにするとよい。

例えば、ビデオ信号符号化部３２７において、レート制御部１１４により、エントロピ符号化部１１３でのエントロピ符号化処理をより低ビットレートになるまで行うように制御する。また例えば、カメラ制御部３０２側では、ビデオ信号符号化部３２７においてウェーブレット変換部１１１でより高い分解レベルまで変換処理を行い、送信ユニット３００側では、ビデオ信号復号部３１１のウェーブレット逆変換部１６３におけるウェーブレット逆変換を、より低い分解レベルまでに止める方法も考えられる。カメラ制御部３０２側のビデオ信号符号化部３２７における処理は、この例に限らず、ウェーブレット変換における分解レベルをより低く抑えて変換処理による負担を軽減することも考えられる。

図２９は、本発明のウェーブレット変換を含む画像符号化およびウェーブレット逆変換を含む画像復号方法を適用可能な無線伝送システムの一例の構成を示している。すなわち、図２９の例においては、本発明のウェーブレット変換を含む画像符号化装置で符号化された符号化データの画像復号装置側への伝送を、無線通信を用いて行うようにしている。

なお、この図２９の例では、ビデオ信号は、ビデオカメラまたは送信ユニット４００（以下、送信ユニット４００と略称する）側から受信装置４０１側に、一方向的に送信される。オーディオ信号およびその他の信号は、送信ユニット４００と受信装置４０１との間で双方向の通信が可能である。

送信ユニット４００は、例えばビデオカメラ部４０２を有する図示されないビデオカメラ装置に内蔵される。これに限らず、送信ユニット４００がビデオカメラ部４０２を有するビデオカメラ装置に対する外部装置として、ビデオカメラ装置と所定に接続されて用いられるものとしてもよい。

ビデオカメラ部４０２は、例えば所定の光学系と、例えばCCDからなる撮像素子と、撮像素子から出力された信号をディジタルビデオ信号として出力する信号処理部とを有する。ビデオカメラ部４０２から、例えばHD-SDIのフォーマットにマッピングされてディジタルビデオ信号が出力される。これはこの例に限らず、ビデオカメラ部４０２から出力されるディジタルビデオ信号は、他のフォーマットでもよい。

送信ユニット４００は、ビデオ信号符号化部４１０、ディジタル変調部４１１、および無線モジュール部４１２を有する。このビデオ信号符号化部４１０は、図２４の画像符号化装置１０１と基本的に同様の構成とされる。

送信ユニット４００において、ビデオカメラ部４０２から、ベースバンドのディジタルビデオ信号が例えばHD-SDIのフォーマットにマッピングされて出力される。このディジタルビデオ信号は、ビデオ信号符号化部４１０において、図２５を参照して上述したウェーブレット変換およびエントロピ符号化により圧縮符号化され、符号化ストリームとされてディジタル変調部４１１に供給される。ディジタル変調部４１１は、供給された符号化ストリームを、無線通信を行うために適した形式の信号にディジタル変調して出力する。

また、ディジタル変調部４１１には、ディジタルオーディオ信号やその他の信号、例えば所定のコマンドやデータも供給される。例えば、ビデオカメラ部４０２は、マイクロフォンを有し、集音された音声を音声信号に変換し、さらに当該音声信号をA/D変換してディジタルオーディオ信号として出力する。また、ビデオカメラ部４０２は、所定のコマンドやデータを出力できるようになっている。コマンドやデータは、ビデオカメラ部４０２の内部で発生するようにしても良いし、ビデオカメラ部４０２に操作部を設け、当該操作部に対するユーザの操作に応じてコマンドやデータを生成するようにしてもよい。ビデオカメラ部４０２に対してコマンドやデータを入力する入力装置を接続するようにしてもよい。

ディジタル変調部４１１は、これらディジタルオーディオ信号やその他の信号をディジタル変調し、出力する。ディジタル変調部４１１から出力されたディジタル変調信号は、無線モジュール部４１２に供給されアンテナ４１３から電波として無線送信される。

なお、無線モジュール部４１２は、受信装置４０１側からの自動再送要求(ARQ：Auto Repeat Request)を受信すると、ディジタル変調部４１１に対してこのARQを通知し、データの再送を要求する。

アンテナ４１３から送信された電波は、受信装置４０１側のアンテナ４２０で受信され、無線モジュール部４２１に供給される。受信装置４０１は、無線モジュール部４２１、フロントエンド部４２２、ディジタル復調部４２３、およびビデオ信号復号部４２４を有する。このビデオ信号復号部４２４は、図２６の画像復号装置１５１と基本的に同様の構成とされる。

無線モジュール部４２１は、受信された電波に基づくディジタル変調信号をフロントエンド部４２２に供給する。フロントエンド部４２２は、供給されたディジタル変調信号に対して例えばゲイン制御といった所定の信号処理を施して、ディジタル復調部４２３に供給する。ディジタル復調部４２３は、供給されたディジタル変調信号を復調し、符号化ストリームを復元する。

ディジタル復調部４２３で復元された符号化ストリームは、ビデオ信号復号部４２４に供給され、図２７を参照して上述した復号方法で以て圧縮符号を復号され、ベースバンドのディジタルビデオ信号とされる。この復号されたディジタルビデオ信号は、例えばHD-SDIのフォーマットにマッピングされて出力される。

ディジタル復調部４２３には、送信ユニット４００側でディジタル変調され送信された、ディジタルオーディオ信号やその他の信号も供給される。ディジタル復調部４２３は、これらディジタルオーディオ信号やその他の信号がディジタル変調された信号を復調し、ディジタルオーディオ信号やその他の信号を復元して出力する。

また、フロントエンド部４２２は、無線モジュール部４２１から供給された受信信号に対して所定の方法でエラー検出を行い、例えば誤ったフレームが受信されたといったエラーが検出されると、ARQを出力する。ARQは、無線モジュール部４２１に供給され、アンテナ４２０から送信される。

このような構成において、送信ユニット４００を例えばビデオカメラ部４０２を有する比較的小型のビデオカメラ装置に内蔵させ、受信装置４０１にはモニタ装置を接続し、ビデオ信号復号部４２４から出力されたディジタルビデオ信号をモニタ装置に供給する。受信装置４０１に対して、送信ユニット４００の内蔵されたビデオカメラ装置が無線モジュール部４１２から送信される電波の到達範囲内にあれば、ビデオカメラ装置で撮影された映像を、低遅延、例えば１フィールドまたは１フレーム時間以内の遅延でモニタ装置により見ることができる。

なお、図２９の例においては、送信ユニット４００と受信装置４０１との間の通信を、無線通信を用いて行い、ビデオ信号を無線通信を介して伝送するようにしているが、これはこの例に限定されない。例えば、送信ユニット４００と受信装置４０１は、インターネットなどのネットワークを介して接続するようにしてもよい。この場合、送信ユニット４００側の無線モジュール部４１２および受信装置４０１側の無線モジュール部４２１は、それぞれIP(Internet Protocol)を用いた通信が可能な通信インタフェースとされる。

以上の図２９の無線伝送システムは、様々な応用が考えられる。例えば、この無線伝送システムは、テレビジョン会議システムに応用することができる。例えば、USB(Universal Serial Bus)接続が可能な簡易的なビデオカメラ装置をパーソナルコンピュータといったコンピュータ装置に接続すると共に、コンピュータ装置側にビデオ信号符号化部４１０およびビデオ信号復号部４２４を搭載する。コンピュータ装置に搭載されるビデオ信号符号化部４１０およびビデオ信号復号部４２４は、ハードウェアで構成してもよいし、コンピュータ装置上で動作するソフトウェアとして実現することも可能である。

例えば、会議に参加するメンバそれぞれに、コンピュータ装置と、このコンピュータ装置に接続されるビデオカメラ装置が用意され、コンピュータ装置が例えばテレビジョン会議システムのサービスを提供するサーバ装置に、有線および／または無線によるネットワークを介して接続される。ビデオカメラ装置から出力されたビデオ信号は、USBケーブルを介してコンピュータ装置に供給され、コンピュータ装置内のビデオ信号符号化部４１０で、図２５を参照して上述した符号化処理を施される。コンピュータ装置は、ビデオ信号が符号化された符号化ストリームを、ネットワークを介してサーバ装置などに送信する。

サーバ装置は、受信した符号化ストリームを、参加メンバそれぞれのコンピュータ装置にネットワークを介して送信する。この符号化ストリームは、参加メンバそれぞれのコンピュータ装置に受信され、コンピュータ装置内のビデオ信号復号部４２４において、図２７を参照して上述した復号処理がなされる。ビデオ信号復号部４２４から出力された画像データが、コンピュータ装置の表示部に映像として表示される。

すなわち、各参加メンバのコンピュータ装置の表示部には、他の参加メンバのビデオカメラ装置で撮影されたそれぞれの映像が表示されることになる。したがって、本発明を適用する無線伝送システムによれば、ビデオカメラ装置での撮影によるビデオ信号の符号化から、他の参加メンバのコンピュータ装置で復号されるまでの遅延時間が短く、参加メンバのコンピュータ装置の表示部に表示される他の参加メンバそれぞれの映像の違和感を少なくできる。

さらに、ビデオ信号符号化部４１０をビデオカメラ装置側に搭載することも考えられる。例えば、ビデオカメラ装置に送信ユニット４００を内蔵させる。このように構成することで、ビデオカメラ装置にコンピュータ装置などの他の装置を接続する必要が無くなる。

このような、送信ユニット４００が内蔵されたビデオカメラ装置と受信装置４０１とからなるシステムは、上述したテレビジョン会議システムの他にも、様々な応用が考えられる。例えば、図３０に概略的に示されるように、このシステムを家庭用ゲーム機器に適用することができる。図３０において、ビデオカメラ装置５００には、図２９の送信ユニット４００が内蔵される。

家庭用ゲーム機器の本体５０１は、例えばCPU、RAMおよびROMや、CD-ROM(Compact Disc-Read Only Memory)やDVD-ROM(Digital Versatile Disc-ROM)に 対応したディスクドライブ装置、CPUにより生成された表示制御信号をビデオ信号に変換して出力するグラフィック制御部、オーディオ信号を再生するオーディオ再生部などが例えばバスで接続され、コンピュータ装置と略同様の構成とされる。

家庭用ゲーム機器の本体５０１は、ROMに予め記憶されたプログラムや、ディスクドライブ装置に装填されたCD-ROMやDVD-ROMに記録されたプログラムに従い、CPUにより全体が制御される。RAMは、CPUのワークメモリとして用いられる。この家庭用ゲーム機器の本体５０１に対して、受信装置４０１を内蔵する。受信装置４０１から出力されるディジタルビデオ信号やその他の信号は、例えばバスを介してCPUに供給される。

このようなシステムにおいて、例えば、家庭用ゲーム機器の本体において、外部から供給されたディジタルビデオ信号による画像を、ゲーム内の画像として用いることができるようにされたゲームソフトウェアが起動されているものとする。例えば、このゲームソフトウェアは、外部から供給されたディジタルビデオ信号による画像をゲーム内の画像として用いることができると共に、当該画像内での人物（プレーヤ）などの動きを識別し、識別された動きに応じた動作を行うことが可能とされている。

ビデオカメラ装置５００は、撮影されたディジタルビデオ信号を、内蔵される送信ユニット４００において、ビデオ信号符号化部４１０で、図２５を参照して上述した符号化方法で符号化し、符号化ストリームをディジタル変調部４１１で変調して無線モジュール部４１２に供給し、アンテナ４１３から送信する。送信された電波は、家庭用ゲーム機器の本体５０１に内蔵される受信装置４０１においてアンテナ４２０で受信され、受信信号が無線モジュール部４２１およびフロントエンド部４２２を介してディジタル復調部４２３に供給される。

受信信号は、ディジタル復調部４２３で復調された符号化ストリームとされ、ビデオ信号復号部４２４に供給される。ビデオ信号復号部４２４では、供給された符号化ストリームを、図２７を参照して上述した復号方法で復号し、ベースバンドのディジタルビデオ信号を出力する。

ビデオ信号復号部４２４から出力されたベースバンドのディジタルビデオ信号は、家庭用ゲーム機器の本体５０１において、バスに送出され、例えばRAMに一時的に記憶される。CPUは、所定のプログラムに従い、RAMに記憶されたディジタルビデオ信号を読み出すことで、このディジタルビデオ信号による画像内の人物の動きを検出したり、当該画像をゲーム内で用いることができるようにされる。

ビデオカメラ装置５００で撮影され、得られたディジタルビデオ信号が符号化されてから、家庭用ゲーム機器の本体５０１で符号化ストリームが復号され画像が得られるまでの遅延時間が短いので、家庭用ゲーム機器の本体５０１上で動作するゲームソフトウェアにおける、プレーヤの動きに対する応答性が良くなり、ゲームの操作性を向上させることができる。

なお、このような、家庭用ゲーム機器と共に用いられるビデオカメラ装置５００は、価格や大きさなどの面からみても簡易な構成とされることが多く、コンピュータ装置などのように、処理能力の高いCPUや、記憶容量の大きなメモリを搭載できないことが想定される。したがって、本発明のウェーブレット変換を含む符号化処理を用いることで、大きな容量の外部メモリが必要とされないので、メモリ容量が少なくて済む。また、例えば、ビデオカメラ装置５００に内蔵される送信ユニット４００のビデオ信号符号化部４１０において、ウェーブレット変換を低い分解レベルで抑えて行うことが考えられる。こうすることで、メモリ容量がさらに少なくて済む。

また、上記説明では、ビデオカメラ装置５００と家庭用ゲーム機器の本体５０１とは、無線通信で接続されるように説明したが、これはこの例に限られない。すなわち、ビデオカメラ装置５００と家庭用ゲーム機器の本体５０１とは、USBやIEEE1394といったインタフェースにより、有線で接続されていてもよい。

以上、上述した本発明は、画像またはビデオ信号をウェーブレット変換する装置または方法、並びに、帯域分析された情報を合成フィルタバンクリングして画像またはビデオ信号に復元するウェーブレット逆変換する装置または方法であれば、様々なものに適用することができる。

すなわち、上述した図２４の画像符号化装置１０１に示されるように、ウェーブレット変換の後段に符号化手段を付加することで、本発明は、図２８乃至図３０を参照して上述したような画像信号やビデオ信号の画像を圧縮して伝送、受信し、伸張して画像を出力する装置やシステムに用いて好適である。この発明は、特に、画像の圧縮符号化から復号および出力までの遅延が短いことが要求されるような装置またはシステムに用いて好適である。

本発明は、例えば、ビデオカメラで撮影された映像を見ながらマジックハンドを操作して治療行為を行うような、医用遠隔医療診断の用途に用いて好適である。また、この発明は、放送局内などのシステムにおける、ディジタルビデオ信号の圧縮符号化および伝送、ならびに、圧縮符号化されたディジタルビデオ信号の復号に用いて好適である。

さらに、実況中継されるライブ映像の配信を行うシステム、教育現場において生徒と教師との間でインタラクティブな通信を可能としたシステムなどに、本発明を適用することができる。

また、カメラ機能付き携帯電話端末といった、撮像機能を有するモバイル端末で撮影された画像データの送信するシステム、テレビジョン会議システム、監視カメラおよび監視カメラで撮影された映像を記録するレコーダによるシステム、無線での画像伝送システム、並びに対話型ゲームアプリケーションなどに、本発明を適用することができる。

上述した一連の処理は、図３０でも上述したように、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図３１は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ７０１の構成の例を示すブロック図である。CPU７１１は、ROM７１２、または記憶部７１８に記憶されているプログラムに従って各種の処理を実行する。RAM７１３には、CPU７１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU７１１、ROM７１２、およびRAM７１３は、バス７１４により相互に接続されている。

CPU７１１にはまた、バス７１４を介して入出力インタフェース７１５が接続されている。入出力インタフェース７１５には、キーボード、マウス、マイクロフォンなどよりなる入力部７１６、ディスプレイ、スピーカなどよりなる出力部７１７が接続されている。CPU７１１は、入力部７１６から入力される指令に対応して各種の処理を実行する。そして、CPU７１１は、処理の結果を出力部７１７に出力する。

入出力インタフェース７１５に接続されている記憶部７１８は、例えばハードディスクからなり、CPU７１１が実行するプログラムや各種のデータを記憶する。通信部７１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部７１９を介してプログラムを取得し、記憶部７１８に記憶してもよい。

入出力インタフェース７１５に接続されているドライブ７２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７１８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図３１に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM,DVDを含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア７２１、または、プログラムが一時的もしくは永続的に格納されるROM７１２や、記憶部７１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部７１９を介して、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明を適用したウェーブレット変換装置の一実施形態に係る構成例を示す図である。 図１のウェーブレット変換装置のウェーブレット変換処理を説明するフローチャートである。 YとCとがインターリーブされた画像信号を水平分析フィルタリングする例を説明する図である。 YとCとを別々に垂直分析フィルタリングする例を説明する図である。 図４との比較のため、従来の低域および高域にわけてYとCとを垂直分析フィルタリングする例を説明するである。 YとCとを別々に分割レベル１まで分析フィルタリングした結果を示す図である。 分割レベル１の低域成分をYとCでインターリーブする例を説明する図である。 図４との比較のため、垂直分析フィルタリングをYとCでインターリーブして実行する例を説明する図である。 YとCを別々に垂直分析フィルタリングした場合のタイミングチャートの例を示す図である。 YとCを別々に垂直分析フィルタリングした場合のタイミングチャートの他の例を示す図である。 ５×３分析フィルタのリフティング構成の例を説明する図である。 HDTV規格の輝度と色差信号のデータ配列の例を説明する図である。 ライン単位の分析フィルタリングを説明する図である。 分割レベル１の分析フィルタリングにおける垂直フィルタリングを説明する図である。 分割レベル２まで分析フィルタリングを行った結果を示す図である。 実際の画像に対して分割レベル３まで分析フィルタリングを行った結果を示す図である。 ビデオ信号の垂直同期信号を説明する図である。 図１のウェーブレット変換装置に対応するウェーブレット逆変換装置の一実施形態に係る構成例を示す図である。 図１８のウェーブレット逆変換装置のウェーブレット逆変換処理を説明するフローチャートである。 垂直合成フィルタリングを説明する図である。 水平合成フィルタリングを説明する図である。 合成フィルタリングを行った結果を示す図である。 ５×３分析フィルタのリフティング構成の他の例を説明する図である。 本発明を適用した画像符号化装置の一実施形態に係る構成例を示す図である。 図２４の画像符号化装置の画像符号化処理を説明するフローチャートである。 図２４の画像符号化装置に対応する画像復号装置の一実施形態に係る構成例を示す図である。 図２６の画像復号装置の画像復号処理を説明するフローチャートである。 本発明を適用したディジタルトライアックスシステムの一例の構成を示すブロック図である。 本発明を適用した無線伝送システムの一例の構成を示すブロック図である。 図２９の無線伝送システムを、家庭用ゲーム機器に適用した例を示す略線図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１ ウェーブレット変換装置， １０ インターリーブ部， １１ 水平分析フィルタ部， １２ レベル１バッファ， １３ レベル２バッファ， １４ レベル３バッファ， １５ レベル４バッファ， １６ セレクタ， １７ Y用垂直分析フィルタ部， １８ C用垂直分析フィルタ部， １９ インターリーブ部， ２０ 水平分析フィルタ部， ２１ 制御部， ５１ ウェーブレット逆変換装置， ６１ レベル３バッファ， ６２ レベル３バッファ， ６３ レベル１バッファ， ６４ セレクタ， ６５ 垂直合成フィルタ部， ６６ 水平合成フィルタ部， ６７ セレクタ， １０１ 画像符号化装置， １５１ 画像復号装置

Claims (28)

1. 画像信号に対して複数のレベルのウェーブレット変換を実行するウェーブレット変換装置において、
   前記画像信号に対して、水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行う水平フィルタリング手段と、
   前記水平フィルタリング手段による前記水平方向の分析フィルタリングの結果生成される周波数成分を、前記レベル毎にそれぞれ保持する前記レベル毎に独立したバッファと
   を備えるウェーブレット変換装置。
2. 前記バッファには、前記水平方向の分析フィルタリングの結果の周波数成分における低域成分と高域成分とが並び替えられて保持される
   請求項１に記載のウェーブレット変換装置。
3. 前記画像信号の要素である輝度信号と色差信号との並び替えを行う並び替え手段をさらに備え、
   前記水平フィルタリング手段は、前記並び替え手段により並び替えられた画像信号に対して、前記水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行う
   請求項１に記載のウェーブレット変換装置。
4. 前記水平フィルタリング手段による前記水平方向の分析フィルタリングの結果生成される輝度信号の周波数成分および色差信号の周波数成分は、前記バッファに別々に保持される
   請求項３に記載のウェーブレット変換装置。
5. 前記バッファに保持された前記水平方向の分析フィルタリングの結果生成される周波数成分に対して、垂直方向の低域分析フィルタリングおよび高域分析フィルタリングを行う垂直フィルタリング手段
   をさらに備える請求項１に記載のウェーブレット変換装置。
6. 前記垂直フィルタリング手段は、
   前記画像信号の要素である輝度信号の周波数成分に対して、前記垂直方向の低域分析フィルタリングおよび高域分析フィルタリングを行う輝度信号用垂直フィルタリング手段と、
   前記画像信号の要素である色差信号の周波数成分に対して、前記垂直方向の低域分析フィルタリングおよび高域分析フィルタリングを行う色差信号用垂直フィルタリング手段と
   を備える請求項５に記載のウェーブレット変換装置。
7. 前記輝度信号用垂直フィルタリング手段および前記色差信号用垂直フィルタリング手段は並列に動作される
   請求項６に記載のウェーブレット変換装置。
8. 前記輝度信号用垂直フィルタリング手段による前記垂直方向の分析フィルタリングの結果生成される輝度信号の周波数成分、並びに前記色差信号用垂直フィルタリング手段による前記垂直方向の分析フィルタリングの結果生成される色差信号の周波数成分の各低域成分の並び替えを行う並び替え手段をさらに備え、
   前記水平フィルタリング手段は、前記並び替え手段により並び替えられた低域成分に対して、前記水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行う
   請求項７に記載のウェーブレット変換装置。
9. 前記並び替え手段による並び替えの前に、前記輝度信号用垂直フィルタリング手段および前記色差信号用垂直フィルタリング手段のいずれか一方は、他方の前記分析フィルタリングが終了するまでの時間を待機している
   請求項８に記載のウェーブレット変換装置。
10. 前記水平フィルタリング手段は、前記水平方向の低域分析フィルタリングおよび高域分析フィルタリングを所定のレベル数まで行う
    請求項８に記載のウェーブレット変換装置。
11. 前記水平フィルタリング手段による前記水平方向の分析フィルタリングの結果生成される輝度信号の周波数成分および色差信号の周波数成分は、前記バッファに別々に保持される
    請求項８に記載のウェーブレット変換装置。
12. 前記水平フィルタリング手段および前記垂直フィルタリング手段は、最低域の周波数成分に対して階層的に分析フィルタリングを行う
    請求項５に記載のウェーブレット変換装置。
13. 前記水平フィルタリング手段および前記垂直フィルタリング手段は、前記ウェーブレット変換のリフティング構成により実現される
    請求項５に記載のウェーブレット変換装置。
14. 前記水平フィルタリング手段は、前記画像信号をライン単位で入力し、水平方向のサンプル数が所定数に達する度に、前記水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行い、
    前記垂直フィルタリング手段は、前記水平フィルタリング手段による前記水平方向の分析フィルタリングの結果の周波数成分の垂直方向のライン数が所定数に達する度に、前記垂直方向の低域分析フィルタリングおよび高域分析フィルタリングを行う
    請求項５に記載のウェーブレット変換装置。
15. 前記画像信号は、複数のピクチャからなるビデオ信号であり、
    前記ビデオ信号の垂直同期信号を検出することにより各ピクチャの終端を検知する検知手段をさらに備え、
    前記水平フィルタリング手段および前記垂直フィルタリング手段は、ピクチャ毎に分析フィルタリングを行う
    請求項５に記載のウェーブレット変換装置。
16. 画像信号に対して複数のレベルのウェーブレット変換を実行するウェーブレット変換装置のウェーブレット変換方法において、
    前記画像信号に対して、水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行い、
    前記レベル毎に独立したバッファに、前記水平方向の分析フィルタリングの結果生成される周波数成分を、前記レベル毎にそれぞれ保持させる
    ステップを含むウェーブレット変換方法。
17. 画像信号に対して複数のレベルのウェーブレット変換を実行する処理を行うコンピュータに、
    前記画像信号に対して、水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行い、
    前記レベル毎に独立したバッファに、前記水平方向の分析フィルタリングの結果生成される周波数成分を、前記レベル毎にそれぞれ保持させる
    ステップを含む処理を行わせるプログラム。
18. 請求項１７に記載のプログラムが記録されている記録媒体。
19. 画像信号に対して複数のレベルのウェーブレット変換が実行されて生成された周波数成分をウェーブレット逆変換し、画像を復元するウェーブレット逆変換装置において、
    前記周波数成分に対して、水平方向の低域合成フィルタリングおよび高域合成フィルタリングを行う水平フィルタリング手段と、
    前記水平フィルタリング手段による前記水平方向の合成フィルタリングの結果生成される周波数成分を前記レベル毎にそれぞれ保持する、最低域以外のレベル毎に独立したバッファと
    を備えるウェーブレット逆変換装置。
20. 前記周波数成分に対して、垂直方向の低域合成フィルタリングおよび高域合成フィルタリングを行う垂直フィルタリング手段
    をさらに備え、
    前記水平フィルタリング手段は、前記垂直フィルタリング手段による前記垂直方向の合成フィルタリングの結果生成される周波数成分に対して、前記水平方向の低域合成フィルタリングおよび高域合成フィルタリングを行う
    請求項１９に記載のウェーブレット逆変換装置。
21. 前記垂直フィルタリング手段および前記水平フィルタリング手段は、前記ウェーブレット逆変換のリフティング構成により実現される
    請求項２０に記載のウェーブレット逆変換装置。
22. 前記水平フィルタリング手段は、前記周波数成分をライン単位で入力し、水平方向のサンプル数が所定数に達する度に、前記水平方向の低域合成フィルタリングおよび高域合成フィルタリングを行い、
    前記垂直フィルタリング手段は、前記水平フィルタリング手段による前記水平方向の合成フィルタリングの結果の周波数成分の垂直方向のライン数が所定数に達する度に、前記垂直方向の低域合成フィルタリングおよび高域合成フィルタリングを行う
    請求項２０に記載のウェーブレット逆変換装置。
23. 前記画像信号は、複数のピクチャからなるビデオ信号であり、最低域の周波数成分に対して階層的に分析フィルタリングを行うことにより複数の周波数成分に分割されており、
    前記垂直フィルタリング手段および前記水平フィルタリング手段は、複数の周波数成分のうち、最低域の周波数成分を含む所定数の周波数成分から階層的に合成フィルタリングを行い、最終的にピクチャを生成する
    請求項２０に記載のウェーブレット逆変換装置。
24. 前記垂直フィルタリング手段および前記水平フィルタリング手段により生成された各ピクチャ間に垂直同期信号を挿入し、ビデオ信号を生成する垂直同期信号挿入手段をさらに備える
    請求項２３に記載のウェーブレット逆変換装置。
25. 前記垂直フィルタリング手段、前記水平フィルタリング手段、および前記バッファは、前記画像信号の要素である輝度信号用並びに色差信号用に別々に備えられ、
    前記輝度信号用並びに前記色差信号用は、並行に動作される
    請求項２０に記載のウェーブレット逆変換装置。
26. 画像信号に対して複数のレベルのウェーブレット変換が実行されて生成された周波数成分をウェーブレット逆変換し、画像を復元するウェーブレット逆変換装置のウェーブレット逆変換方法において、
    前記周波数成分に対して、水平方向の低域合成フィルタリングおよび高域合成フィルタリングを行い、
    最低域以外の前記レベル毎に独立したバッファに、前記水平方向の合成フィルタリングの結果生成される周波数成分を前記レベル毎にそれぞれ保持させる
    ステップを含むウェーブレット逆変換方法。
27. 画像信号に対して複数のレベルのウェーブレット変換が実行されて生成された周波数成分をウェーブレット逆変換し、画像を復元する処理を行うコンピュータに、
    前記周波数成分に対して、水平方向の低域合成フィルタリングおよび高域合成フィルタリングを行い、
    最低域以外の前記レベル毎に独立したバッファに、前記水平方向の合成フィルタリングの結果生成される周波数成分を前記レベル毎にそれぞれ保持させる
    ステップを含む処理を行わせるプログラム。
28. 請求項２７に記載のプログラムが記録されている記録媒体。

Images