JP2011114592A - 情報処理装置および方法 - Google Patents

Abstract

【課題】画像のフォーマットによらず、不要な画質劣化を抑制しながら、低遅延でのウェーブレット変換を実現する。
【解決手段】許容遅延時間受付部１０１は、許容遅延時間を受け付ける。フレームレート検出部１０２は、ウェーブレット変換される動画像のフレームレートを検出する。垂直ライン数検出部１０３は、ウェーブレット変換される動画像について垂直ライン数を検出する。分割レベル決定部１０５は、分割レベル毎の遅延時間と許容遅延時間とを比較し、その比較結果に基づいて、制御対象であるウェーブレット変換処理の分割レベル数を、遅延時間が許容遅延時間より短い分割レベル数に決定する。本発明は、例えば、画像処理装置に適用することができる。
【選択図】図１

Description

本発明は、情報処理装置および方法に関し、特に、画像に対するウェーブレット変換を制御し、その画像のフォーマットによらず、不要な画質劣化を抑制しながら、低遅延でのウェーブレット変換を実現することができるようにした情報処理装置および方法に関する。

従来の代表的な画像圧縮方式として、ISO（International Standards Organization）によって標準化されたJPEG（Joint Photographic Experts Group）やJPEG2000がある。

近年では画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタとを組み合わせたフィルタによって複数の帯域に分割し、帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、DCT（Discrete Cosine Transform）変換で問題になる高圧縮でのブロック歪みが無いことから、DCTに代わる新たな技術として有力視されている。

2001年１月に国際標準化が完了したJPEG2000は、このウェーブレット変換に高能率なエントロピ符号化（ビットプレーン単位のビット・モデリングと算術符号化）を組み合わせた方式を採用しており、JPEGに比べて符号化効率の大きな改善を実現している。

このJPEG2000はデジタルシネマ規格（DCI（Digital Cinema Initiative）規格）用の標準コーデックとしても選定されており、映画の様な動画像用の圧縮にも使われ始めている。また各メーカからJPEG2000を監視カメラや放送局用の取材カメラ、セキュリティ・レコーダなどに応用した製品も出始めている。

しかしながら、JPEG2000は基本的にピクチャ単位の符号化・復号を行うため、リアルタイム送受信に使うために低遅延を実現しようとした場合、エンコード（符号化）で最低１ピクチャ分、デコード（復号）でも最低１ピクチャ分の遅延が生じる。

これはJPEG2000のみならず、AVC（Advanced Video Coding）イントラ、JPEG等どのコーデックについても同様である。但し、最近になって、画面を幾つかの矩形スライスまたはタイルに分けて、それらを独立にエンコード・デコードを行うことで遅延時間を短縮する手段が提案されている（例えば、特許文献１参照）。

特開２００７−３１１９２４号公報

しかしながら、このように入力画像（ピクチャ）をスライスやタイルに分割して処理する方法の場合、その入力画像（ピクチャ）のフォーマット（解像度やフレームレート等）によって、エンコード・デコードの遅延時間が変動してしまう恐れがあった。

例えば、あるライン数の画像データをウェーブレット変換する際の処理時間（遅延時間）は、画像の解像度やフレームレートによって変動する。この変動（遅延時間の増大）により、遅延時間が許容される範囲の最大値を超えてしまい、低遅延でのウェーブレット変換処理が実現できずに、システムが破たんしてしまう恐れがあった。

そこで、例えば、MPEG（Moving Picture Experts Group）、AVC（Advanced Video Coding）、Motion-JPEG（Joint Photographic Experts Group）等においては、スライスのライン数によって遅延時間を制御している。

しかしながら、このような遅延時間の増大に備えて、スライス当たりのライン数を不要に低減させると、画質が不要に劣化する恐れがあった。また、スライス間の境界が目立ちやすくなる恐れもあった。

つまり、例えば、低解像度の画像に最適なスライス当たりのライン数を高解像度の画像に適用すると、遅延時間に余裕があるにも関わらず、不要に低遅延にウェーブレット変換処理が行われるようになり、復号画像における不要な画質劣化を招く恐れがあった。

本発明は、このような状況に鑑みて提案されたものであり、ウェーブレット変換される画像のフォーマットによらず、不要な画質劣化を抑制しながら、低遅延でのウェーブレット変換を実現するように、そのウェーブレット変換を制御することを目的とする。

本発明の一側面は、画像データを低域成分と高域成分に分解する分析フィルタ処理を、前記分析フィルタ処理により得られる前記低域成分に対して再帰的に繰り返すことにより、画像データを周波数帯域毎の係数データに変換する変換処理による遅延時間として許容される時間である許容遅延時間を受け付ける許容遅延時間受付手段と、前記分析フィルタ処理を繰り返す回数を示す分割レベル数毎に、前記変換処理による遅延時間を算出する遅延時間算出手段と、前記許容遅延時間受付手段により受け付けられた前記許容遅延時間と、前記遅延時間算出手段により算出される前記分割レベル数毎の前記遅延時間とを比較し、前記遅延時間が前記許容遅延時間以下となるように前記変換処理の前記分割レベル数を決定する分割レベル数決定手段とを備える情報処理装置である。

前記遅延時間は、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロックを前記周波数帯域毎の係数データに変換する前記変換処理の所要時間であるようにすることができる。

前記遅延時間算出手段は、前記画像データの垂直ライン数およびフレームレートを用いて前記分割レベル数毎の前記遅延時間を算出することができる。

前記分割レベル数決定手段は、垂直ライン数およびフレームレートと前記遅延時間とが対応付けられたテーブル情報を用いて、前記画像データの垂直ライン数および前記フレームレートから求められた前記分割レベル数毎の遅延時間と、前記許容遅延時間とを比較し、前記遅延時間が前記許容遅延時間以下となるように前記変換処理の前記分割レベル数を決定することができる。

前記分析フィルタ処理を、前記分割レベル数決定手段により決定される前記分割レベル数の回数繰り返す前記変換処理を行う変換処理手段をさらに備えることができる。

前記変換処理を行う変換処理手段と、前記変換処理手段により行われる前記変換処理による遅延時間を測定する測定手段とをさらに備え、前記分割レベル数決定手段は、前記測定手段により測定された前記遅延時間と、前記許容遅延時間とを比較し、前記遅延時間が前記許容遅延時間以下となるように前記変換処理の前記分割レベル数を決定することができる。

前記分析フィルタ処理を、前記分割レベル数決定手段により決定される前記分割レベル数の回数繰り返す前記変換処理を行う変換処理手段と、前記変換処理手段により生成された前記係数データを符号化する符号化手段とをさらに備えることができる。

前記符号化手段は、前記分割レベル数決定手段により決定された前記分割レベル数を符号化データに含めることができる。

前記分割レベル数決定手段は、前記画像データのコンポーネント毎に、前記遅延時間が前記許容遅延時間以下となるように、前記変換処理の前記分割レベル数を決定することができる。

本発明の一側面は、また、情報処理装置の許容遅延時間受付手段が、画像データを低域成分と高域成分に分解する分析フィルタ処理を、前記分析フィルタ処理により得られる前記低域成分に対して再帰的に繰り返すことにより、画像データを周波数帯域毎の係数データに変換する変換処理による遅延時間として許容される時間である許容遅延時間を受け付け、前記情報処理装置の遅延時間算出手段が、前記分析フィルタ処理を繰り返す回数を示す分割レベル数毎に、前記変換処理による遅延時間を算出し、前記情報処理装置の分割レベル数決定手段が、受け付けられた前記許容遅延時間と、算出される前記分割レベル数毎の前記遅延時間とを比較し、前記遅延時間が前記許容遅延時間以下となるように前記変換処理の前記分割レベル数を決定する情報処理方法である。

本発明の他の側面は、画像データを低域成分と高域成分に分解する分析フィルタ処理を、前記分析フィルタ処理により得られる前記低域成分に対して再帰的に繰り返すことにより、画像データを周波数帯域毎の係数データに変換する変換処理による遅延時間として許容される時間である許容遅延時間を受け付ける許容遅延時間受付手段と、前記分析フィルタ処理に用いられるフィルタとして予め用意された複数のフィルタのそれぞれについて、前記変換処理による遅延時間を算出する遅延時間算出手段と、前記許容遅延時間受付手段により受け付けられた前記許容遅延時間と、前記遅延時間算出手段により算出される各フィルタの遅延時間とを比較し、前記遅延時間が前記許容遅延時間以下となるように前記変換処理に用いるフィルタを決定するフィルタ決定手段とを備える情報処理装置である。

前記遅延時間は、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロックを前記周波数帯域毎の係数データに変換する前記変換処理の所要時間であるようにすることができる。

前記遅延時間算出手段は、前記画像データの垂直ライン数およびフレームレートを用いて各フィルタの遅延時間を算出することができる。

前記フィルタ決定手段は、垂直ライン数およびフレームレートと前記遅延時間とが対応付けられたテーブル情報を用いて、前記画像データの垂直ライン数および前記フレームレートから求められた各フィルタの遅延時間と、前記許容遅延時間とを比較し、前記遅延時間が前記許容遅延時間以下となるように前記変換処理に用いるフィルタを決定することができる。

前記分析フィルタ処理を、前記フィルタ決定手段により決定される前記フィルタを用いる前記変換処理を行う変換処理手段をさらに備えることができる。

前記変換処理を行う変換処理手段と、前記変換処理手段により行われる前記変換処理による遅延時間を測定する測定手段とをさらに備え、前記フィルタ決定手段は、前記測定手段により測定された前記遅延時間と、前記許容遅延時間とを比較し、前記遅延時間が前記許容遅延時間以下となるように前記変換処理に用いるフィルタを決定することができる。

前記分析フィルタ処理を、前記フィルタ決定手段により決定される前記フィルタを用いる前記変換処理を行う変換処理手段と、前記変換処理手段により生成された前記係数データを符号化する符号化手段とをさらに備えることができる。

前記符号化手段は、前記フィルタ決定手段により決定された前記フィルタを示す情報を符号化データに含めることができる。

前記フィルタ決定手段は、前記画像データのコンポーネント毎に、前記遅延時間が前記許容遅延時間以下となるように、前記変換処理に用いるフィルタを決定することができる。

本発明の他の側面は、また、情報処理装置の許容遅延時間受付手段が、画像データを低域成分と高域成分に分解する分析フィルタ処理を、前記分析フィルタ処理により得られる前記低域成分に対して再帰的に繰り返すことにより、画像データを周波数帯域毎の係数データに変換する変換処理による遅延時間として許容される時間である許容遅延時間を受け付け、前記情報処理装置の遅延時間算出手段が、前記分析フィルタ処理に用いられるフィルタとして予め用意された複数のフィルタのそれぞれについて、前記変換処理による遅延時間を算出し、前記情報処理装置のフィルタ決定手段が、受け付けられた前記許容遅延時間と、算出される各フィルタの遅延時間とを比較し、前記遅延時間が前記許容遅延時間以下となるように前記変換処理に用いるフィルタを決定する情報処理方法である。

本発明の一側面においては、画像データを低域成分と高域成分に分解する分析フィルタ処理を、分析フィルタ処理により得られる低域成分に対して再帰的に繰り返すことにより、画像データを周波数帯域毎の係数データに変換する変換処理による遅延時間として許容される時間である許容遅延時間が受け付けられ、分析フィルタ処理を繰り返す回数を示す分割レベル数毎に、変換処理による遅延時間が算出され、受け付けられた許容遅延時間と、算出される分割レベル数毎の遅延時間とが比較され、遅延時間が許容遅延時間以下となるように変換処理の分割レベル数が決定される。

本発明の他の側面においては、画像データを低域成分と高域成分に分解する分析フィルタ処理を、分析フィルタ処理により得られる低域成分に対して再帰的に繰り返すことにより、画像データを周波数帯域毎の係数データに変換する変換処理による遅延時間として許容される時間である許容遅延時間が受け付けられ、分析フィルタ処理に用いられるフィルタとして予め用意された複数のフィルタのそれぞれについて、変換処理による遅延時間が算出され、受け付けられた許容遅延時間と、算出される各フィルタの遅延時間とが比較され、遅延時間が許容遅延時間以下となるように変換処理に用いるフィルタが決定される。

本発明によれば、ウェーブレット変換処理を制御することができる。特に、ウェーブレット変換される画像のフォーマットによらず、不要な画質劣化を抑制しながら、低遅延でのウェーブレット変換を実現することができる。

本発明を適用した分割レベル制御装置の主な構成例を示すブロック図である。 サブバンドを説明する図である。 ラインブロックを説明する図である。 ５×３フィルタの例を示す図である。 リフティング演算例を説明する図である。 定常状態における係数データの出力順を説明する図である。 分割レベル４までのウェーブレット変換における係数データの出力順を説明する図である。 分割レベル３までのウェーブレット変換における係数データの出力順を説明する図である。 分割レベル制御処理の流れの例を説明するフローチャートである。 本発明を適用した分割レベル制御装置の他の構成例を示すブロック図である。 分割レベル制御処理の流れの、他の例を説明するフローチャートである。 本発明を適用したウェーブレット変換装置の主な構成例を示すブロック図である。 ウェーブレット変換処理の流れの例を説明するフローチャートである。 本発明を適用したウェーブレット変換装置の他の構成例を示すブロック図である。 ウェーブレット変換処理の流れの、他の例を説明するフローチャートである。 本発明を適用したウェーブレット変換装置の、さらに他の構成例を示すブロック図である。 本発明を適用した符号化装置の主な構成例を示すブロック図である。 係数並び替えの様子を説明する図である。 図１７の符号化装置に対応する復号装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 本発明を適用した符号化装置の他の構成例を示すブロック図である。 コンポーネントの構成例を説明する図である。 本発明を適用した分割レベル制御装置の、さらに他の構成例を示すブロック図である。 分割レベル制御処理の流れの、さらに他の例を説明するフローチャートである。 本発明を適用したフィルタ選択装置の主な構成例を示すブロック図である。 ９×７フィルタの例を示す図である。 ９×７フィルタを用いる場合のラインブロックの例を説明する図である。 フィルタ選択処理の流れの例を説明するフローチャートである。 本発明を適用したフィルタ選択装置の他の構成例を示すブロック図である。 フィルタ選択処理の流れの、他の例を説明するフローチャートである。 本発明を適用したウェーブレット変換装置の、さらに他の構成例を示すブロック図である。 ウェーブレット変換処理の流れの、さらに他の例を説明するフローチャートである。 本発明を適用したウェーブレット変換装置の、さらに他の構成例を示すブロック図である。 ウェーブレット変換処理の流れの、さらに他の例を説明するフローチャートである。 本発明を適用したウェーブレット変換装置の、さらに他の構成例を示すブロック図である。 本発明を適用した符号化装置の、さらに他の構成例を示すブロック図である。 図３７の符号化装置に対応する復号装置の主な構成例を示すブロック図である。 符号化処理の流れの、他の例を説明するフローチャートである。 復号処理の流れの、他の例を説明するフローチャートである。 本発明を適用した分割レベル・フィルタ制御装置の主な構成例を示すブロック図である。 分割レベル・フィルタ制御処理の流れの例を説明するフローチャートである。 本発明を適用したパーソナルコンピュータの主な構成例を示すブロック図である。

以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（分割レベル制御装置）
２．第２の実施の形態（分割レベル制御を適用したウェーブレット変換装置）
３．第３の実施の形態（分割レベル制御を適用した符号化装置）
４．第４の実施の形態（複数コンポーネント構成）
５．第５の実施の形態（フィルタ選択装置）
６．第６の実施の形態（フィルタ選択を適用したウェーブレット変換装置）
７．第７の実施の形態（フィルタ選択を適用した符号化装置）
８．第８の実施の形態（分割レベル・フィルタ制御装置）
９．第９の実施の形態（パーソナルコンピュータ）

＜１．第１の実施の形態＞
［分割レベル制御装置の構成］
最初に、本発明を適用した情報処理装置としての分割レベル制御装置の構成について説明する。図１に示される分割レベル制御装置１００は、動画像の各フレーム画像（ピクチャとも称する）に対して行われるウェーブレット変換処理の分割レベル数を制御する装置である。

この制御対象となるウェーブレット変換処理は、分割レベル制御装置１００の外部にて行われる。

分割レベル制御装置１００は、低遅延を維持しつつ（不要に遅延時間を増大させずに）、不要に画質を劣化させないように、ウェーブレット変換される画像のフォーマット（例えば、解像度やフレームレート等）や許容遅延時間等に応じて、分割レベル数を決定（指定）する。

分割レベル制御装置１００は、後述するように、分割レベル数を制御することにより、ウェーブレット変換による遅延時間や画質劣化の度合いを制御することができる。

したがって、分割レベル制御装置１００は、以上のような分割レベル数を用いたウェーブレット変換の制御を行うことにより、画像の解像度によらず、不要な画質劣化を抑制しながら、低遅延でのウェーブレット変換を実現することができる。

分割レベル制御装置１００は、許容遅延時間受付部１０１、フレームレート検出部１０２、垂直ライン数検出部１０３、遅延時間算出部１０４、および分割レベル決定部１０５を有する。

許容遅延時間受付部１０１は、外部から入力される許容遅延時間に関する情報を受け付ける（矢印１２１）。

許容遅延時間は、ウェーブレット変換処理に許容される処理時間（遅延時間）の範囲（上限）を示す情報である。この許容遅延時間は、許容される遅延時間の上限値を示すものであれば、どのような情報であってもよく、その上限値を、直接的に示すものであってもよいし、間接的に示すものであってもよい。

例えば、許容遅延時間そのものであってもよいし、許容遅延時間を含む情報（例えば動画像のメタデータ等）であってもよい。また、時間の表現方法も任意であり、所定のタイミングを基準とする時間幅で表すようにしてもよいし、クロック数で表すようにしてもよいし、所定の基準時間に対する比で表すようにしてもよい。もちろんこれら以外の方法で表現されるようにしてもよい。

また、この許容遅延時間は、どのように生成されてもよい。例えば、ユーザにより入力されるようにしてもよいし、動画像のメタデータ等に予め含められているようにしてもよいし、動画像のメタデータ等に含まれるその他の情報に基づいて決定されるようにしてもよい。例えば、ウェーブレット変換される動画像が準拠する規格等によって定められるようにしてもよいし、動画像の用途やハードウェアの性能等のように、システム要件に基づいて決定されるようにしてもよい。

許容遅延時間受付部１０１は、受け付けた許容遅延時間を分割レベル決定部１０５に供給する（矢印１２２）。

フレームレート検出部１０２は、ウェーブレット変換される動画像のフレームレートを検出する。フレームレート検出部１０２は、例えば、外部からフレームレートを取得する（矢印１２３）ことにより、ウェーブレット変換される動画像のフレームレートを検出する。フレームレートを検出すると、フレームレート検出部１０２は、そのフレームレートを遅延時間算出部１０４に供給する（矢印１２４）。

このフレームレートは、動画像のフレームレート（単位時間当たりのフレーム数）を示す情報であれば、どのような情報であってもよく、直接的に示すものであってもよいし、間接的に示すものであってもよい。

例えば、フレームレートそのものであってもよいし、フレームレートを含む情報（例えば動画像のメタデータ等）であってもよい。もちろん、値の表現方法も任意である。

なお、この情報の生成方法は任意である。例えば、ユーザにより入力されるようにしてもよいし、動画像のメタデータ等に予め含められているようにしてもよいし、動画像のメタデータ等に含まれるその他の情報に基づいて決定されるようにしてもよい。どのような生成方法であっても、その値は、動画像の実際のフレームレートを示す。

また、フレームレート検出部１０２が、ウェーブレット変換される動画像から、そのフレームレートを検出するようにしてもよい。この場合、フレームレート検出部１０２には、ウェーブレット変換される動画像の各フレーム画像が入力画像として供給される（矢印１２５）。

フレームレート検出部１０２は、その供給される入力画像のフレームレートを計測し、検出する。このように検出されたフレームレートは、上述した場合と同様に、遅延時間算出部１０４に供給される（矢印１２４）。

垂直ライン数検出部１０３は、ウェーブレット変換される動画像について垂直ライン数を、外部から取得することにより検出する（矢印１２６）。垂直ライン数検出部１０３は、垂直ライン数を検出すると、それを遅延時間算出部１０４に供給する（矢印１２７）。

垂直ライン数は、ウェーブレット変換される動画像のフレーム画像（ピクチャ）の垂直方向に数えられる、ライン（水平方向の画素列）の数である。つまり、この垂直ライン数が大きいほど、フレーム画像の垂直方向の解像度が高い。

この垂直ライン数は、フレーム画像の垂直方向に数えられるライン数を示す情報であれば、どのような情報であってもよく、そのライン数を、直接的に示すものであってもよいし、間接的に示すものであってもよい。

例えば、ライン数そのものであってもよいし、ライン数を含む情報（例えば動画像のメタデータ等）であってもよい。もちろん、値の表現方法も任意である。

なお、この情報の生成方法は任意である。例えば、ユーザにより入力されるようにしてもよいし、動画像のメタデータ等に予め含められているようにしてもよいし、動画像のメタデータ等に含まれるその他の情報に基づいて決定されるようにしてもよい。

また、垂直ライン数検出部１０３が、ウェーブレット変換される動画像のフレーム画像から、その垂直ライン数を検出するようにしてもよい。この場合、垂直ライン数検出部１０３には、ウェーブレット変換される動画像の各フレーム画像が入力画像として供給される（矢印１２５）。

垂直ライン数検出部１０３は、その供給される入力画像の垂直ライン数を計測し、検出する。このように検出された垂直ライン数は、上述した場合と同様に、遅延時間算出部１０４に供給される（矢印１２７）。

遅延時間算出部１０４は、フレームレート検出部１０２から供給されるフレームレート、および、垂直ライン数検出部１０３から供給される垂直ライン数に基づいて、分割レベル毎にウェーブレット変換処理の遅延時間を算出する。

詳細については、後述するが、ウェーブレット変換処理の処理時間、すなわち、ウェーブレット変換処理による遅延時間は、ウェーブレット変換の分割レベル数に依存する。したがって、分割レベル制御装置１００は、この分割レベル数を指定することにより、ウェーブレット変換の遅延時間を制御する。

そのために、遅延時間算出部１０４は、候補となる各分割レベル数について、それぞれ遅延時間を算出する。

遅延時間を算出すると、遅延時間算出部１０４は、その分割レベル毎に算出された遅延時間を分割レベル決定部１０５に供給する（矢印１２８）。

分割レベル決定部１０５は、分割レベル毎の遅延時間と、許容遅延時間とを比較し、その比較結果に基づいて、制御対象であるウェーブレット変換処理の分割レベル数を決定する。つまり、分割レベル決定部１０５は、遅延時間が許容遅延時間より短い分割レベル数に決定する。

遅延時間が許容遅延時間より短い分割レベル数が複数存在する場合、分割レベル決定部１０５は、その中で、復号画像の画質が最も良くなる分割レベル数を採用する。

一般的には、分割レベル数が多くなるほど、符号化効率は向上し、復号画像の画質の劣化が低減される。

そこで、分割レベル決定部１０５は、例えば、遅延時間が許容遅延時間内となる分割レベル数のうち、最も大きな値を採用する。つまり、分割レベル決定部１０５は、与えられた許容遅延時間をウェーブレット変換による遅延時間の上限としつつ、できるだけ分割レベル数を大きくするように、分割レベル数の決定を行う。

このようにすることにより、分割レベル決定部１０５は、復号画像の画質劣化をより抑制することができる。

なお、分割レベル決定部１０５が採用する分割レベル数は、その遅延時間が許容遅延時間内であればよく、必ずしも可能な限り大きくするようにしなくてもよい。例えば、分割レベル決定部１０５が、許容遅延時間だけでなく、その他の任意の条件にも従い、分割レベル数を選択するようにしてもよい。

分割レベル決定部１０５は、ウェーブレット変換処理の分割レベル数を決定すると、その決定した値を含む、ウェーブレット変換処理の分割レベル数を指定する情報である分割レベル数指定情報を外部に供給する（矢印１２９）。

この分割レベル数指定情報の供給先は任意である。例えば、分割レベル数を指定したウェーブレット変換処理を行うウェーブレット変換装置であってもよいし、分割レベル数指定情報を一時的に保持する記憶装置などであってもよい。

［サブバンド］
次に、分割レベル制御装置１００が分割レベル数を制御するウェーブレット変換について説明する。ウェーブレット変換は、画像データを空間周波数の高い成分（高域成分）と低い成分（低域成分）とに分割する分析フィルタリングを、再帰的に繰り返すことにより、画像データを、階層的に構成される周波数成分毎の係数データに変換する処理である。なお、以下において、分割レベルは、高域成分の階層ほど下位とし、低域成分の階層ほど上位とする。

１つの階層（分割レベル）において、分析フィルタリングは、水平方向と垂直方向の両方について行われる。最初に水平方向の分析フィルタリング（水平分析フィルタリング）が行われ、画像データ（係数データ）は、水平方向に高域成分と低域成分に分割される。

その後、垂直方向の分析フィルタリング（垂直分析フィルタリング）が行われ、その高域成分および低域成分は、それぞれ、垂直方向に高域成分と低域成分に分割される。

もちろん、先に垂直分析フィルタリングを行ってから水平分析フィルタリングを行うようにしてもよい。

いずれにしろ、１つの階層の係数データ（画像データ）は、１階層分の分析フィルタリングにより４種類の成分に分割される。４種類の成分とは、すなわち、水平方向および垂直方向の両方について高域な成分（ＨＨ）、水平方向に高域で垂直方向に低域な成分（ＨＬ）、水平方向に低域で垂直方向に高域な成分（ＬＨ）、および、水平方向および垂直方向の両方について低域な成分（ＬＬ）である。

各成分の集合を、それぞれサブバンド（ＬＬ、ＬＨ、ＨＬ、およびＨＨ）と称する。

そして、次の階層の分析フィルタリングは、生成された４つのサブバンドのうち、水平方向および垂直方向の両方について低域な成分（ＬＬ）に対して行われる。

このように分析フィルタリングが再帰的に繰り返されることにより、空間周波数の低い帯域の係数データは、より小さな領域（低域成分）に追い込まれる。したがって、このようにウェーブレット変換された係数データを符号化するようにすることにより、効率的な符号化が可能となる。

図２は、分析フィルタリングを４回繰り返して生成される係数データの構成について説明する図である。

ベースバンドの画像データに対して分割レベル１の分析フィルタリングが行われると、画像データは、分割レベル１の４つのサブバンド（１ＬＬ、１ＬＨ、１ＨＬ、および１ＨＨ）に変換される。

この分割レベル１の、水平方向および垂直方向の両方に対して低域成分のサブバンド１ＬＬに対して、分割レベル２の分析フィルタリングが行われ、分割レベル２の４つのサブバンド（２ＬＬ、２ＬＨ、２ＨＬ、および２ＨＨ）に変換される。

この分割レベル２の、水平方向および垂直方向の両方に対して低域成分のサブバンド２ＬＬに対して、分割レベル３の分析フィルタリングが行われ、分割レベル３の４つのサブバンド（３ＬＬ、３ＬＨ、３ＨＬ、および３ＨＨ）に変換される。

この分割レベル３の、水平方向および垂直方向の両方に対して低域成分のサブバンド３ＬＬに対して、分割レベル４の分析フィルタリングが行われ、分割レベル４の４つのサブバンド（４ＬＬ、４ＬＨ、４ＨＬ、および４ＨＨ）に変換される。

図２は、このようにして、１３個のサブバンドに分割された係数データの構成を示している。

［ラインブロック］
次に、ラインブロックについて説明する。図３は、ラインブロックを説明する図である。分割レベル制御装置１００の制御対象となるウェーブレット変換処理においては、分析フィルタリングが繰り返し行われる。

この分析フィルタリングは、処理対象となる２ラインの画像データまたは係数データから、１階層上の４つのサブバンドの係数データを１ラインずつ生成する処理である。

例えば、分割レベル数が４の場合、図３の斜線部分で示されるように、最上位階層である分割レベル４のサブバンドの係数データが１ラインずつ生成されるのに、サブバンド３ＬＬは２ライン必要であり、サブバンド２ＬＬは４ライン必要であり、サブバンド１ＬＬは８ライン必要である。つまり、１６ラインのベースバンドの画像データが必要になる。

この最低域成分のサブバンドの１ライン分の係数データを生成するために必要なライン数の画像データを、ラインブロック（またはプレシンクト）と称する。

例えば、分割レベル数がＮの場合、最低域成分のサブバンドの１ライン分の係数データを生成するためには、ベースバンドの画像データが２のＮ乗ライン必要になる。これがラインブロックのライン数である。

なお、ラインブロックは、その１ラインブロックの画像データをウェーブレット変換して得られる各サブバンドの係数データの集合のことも示す。

また、ラインとは、フレーム画像（ピクチャ）の１列分の水平方向の画素列を示す。また、ラインは、サブバンドの１列分の水平方向の係数列のことを示す場合もある。この１ライン分の係数データを係数ラインとも称する。以下において、より詳細に区別して説明する必要がある場合、適宜表現を変える。

例えば、あるサブバンドのある１ラインを「あるサブバンドの係数ライン」と称し、１つ下位の階層の同じ２係数ラインから生成された、ある階層（分割レベル）の全サブバンド（ＬＨ，ＨＬ、およびＨＨ（最上位層の場合ＬＬも含む））のライン（各サブバンドの互いに対応するラインの集合）を「ある分割レベル（または階層）の係数ライン」と称する場合もある。

図３の例の場合、「分割レベル４（最上位層）の係数ライン」は、サブバンド４ＬＬ，４ＬＨ，４ＨＬ、および４ＨＨの、互いに対応する（１つ下位の分割レベルの同じ係数ラインから生成された）ある１ラインを示す。また、「分割レベル３の係数ライン」は、サブバンド３ＬＨ，３ＨＬ、および３ＨＨの、互いに対応するある１ラインを示す。さらに、「サブバンド２ＨＨの係数ライン」は、サブバンド２ＨＨのある１ラインを示す。

なお、１係数ライン（１ライン分の係数データ）が符号化された１ライン分の符号化データを符号ラインとも称する。

このラインブロックは、ウェーブレット変換処理による遅延時間の長さに対応する。

ウェーブレット変換においては、上述したように分析フィルタリングが繰り返されるので、各サブバンドの係数データは、より下位の（より高域の）サブバンドから先に生成される。

これに対して、ウェーブレット変換された係数データに対して合成フィルタリングを行うウェーブレット逆変換処理においては、より上位の（より低域の）サブバンドの係数データから先に処理される。すなわち、より上位の階層のサブバンドが優先的に合成フィルタリングされる。

したがって、ウェーブレット逆変換処理を開始するタイミングは、ウェーブレット変換処理が開始された時刻から（ウェーブレット変換される最初の画像ラインが入力されてから）、少なくとも、最上位階層（再低域）の係数ラインが少なくとも１ライン生成されるまでの時間が経過した後となる。この時間がウェーブレット変換処理による遅延時間に相当する。

分割レベル制御装置１００が分割レベル数を制御するウェーブレット変換処理は、２ラインずつ画像データ（若しくは係数データ）に対して分析フィルタリングを行うが、このとき、できるだけ低遅延に処理を行うような順序で、その２ラインを選択する。

より具体的には、より上位の（より低域の）サブバンドの係数データをできるだけ優先的に生成するような順序で各画像データ（係数データ）を２ラインずつ選択し、それらを分析フィルタリングする。

このようにすることにより、ウェーブレット変換処理による遅延時間は、最上位階層（再低域）の係数ラインが少なくとも１ライン生成されるまでの時間となる。つまり、１ラインブロック分の処理時間がウェーブレット変換処理による遅延時間となる。

分割レベル数が大きいほど、最低域成分のサブバンドの１ライン分の係数データを生成するために必要な画像データのライン数が増大するので、１ラインブロック当たりのライン数が増大する。

つまり、ライン数が多いほど分析フィルタリングの回数が増大するので、分割レベル数が大きいほど、ウェーブレット変換処理による遅延時間が長くなる。

したがって、分割レベル制御装置１００は、制御対象のウェーブレット変換の分割レベル数を制御することにより、１ラインブロック当たりのライン数を制御し、ウェーブレット変換処理による遅延時間を制御する。

［５×３フィルタ］
次に、ウェーブレット変換処理の内容について説明する。

ウェーブレット変換処理は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクを用いて行われる。

なお、デジタルフィルタは、通常、複数タップ長のインパルス応答すなわちフィルタ係数を持っているため、フィルタ処理を行えるだけの入力画像データまたは係数データを予めバッファリングしておく必要がある。

また、ウェーブレット変換を多段にわたって行う場合も同様に、前段で生成したウェーブレット変換係数を、フィルタ処理が行える数だけバッファリングしておく必要がある。

このウェーブレット変換の具体的な例として、５×３フィルタを用いる方法について説明する。この５×３フィルタを用いる方法は、従来技術で既に説明したJPEG（Joint Photographic Experts Group）2000規格でも採用されており、少ないフィルタタップ数でウェーブレット変換を行うことができる点で、優れた方法である。

５×３フィルタのインパルス応答（Ｚ変換表現）は、次の式（１）および式（２）に示すように、低域フィルタＨ _０ （ｚ）と、高域フィルタＨ_１（ｚ）とから構成される。式（１）および式（２）から、低域フィルタＨ_０（ｚ）は、５タップで、高域フィルタＨ_１（ｚ）は、３タップであることが分かる。

Ｈ_０（ｚ）＝（−１＋２ｚ^−１＋６ｚ^−２＋２ｚ^−３−ｚ^−４）/８ ・・・（１）
Ｈ_１（ｚ）＝（−１＋２ｚ^−１−ｚ^−２）/２ ・・・（２）

これら式（１）および式（２）によれば、低域成分および高域成分の係数を、直接的に算出することができる。ここで、リフティング(Lifting)技術を用いることで、フィルタ処理の計算を減らすことができる。

図４は、５×３フィルタをリフティング表現した図である。図中、最上部の一列が入力信号列である。データ処理は画面上から下方向に流れ、以下の式（３）および式（４）により、高域成分の係数（高域係数）と、低域成分の係数（低域係数）とが出力される。

ｄ_ｉ ^１＝ｄ_ｉ ^０−１／２（ｓ_ｉ ^０＋ｓ_ｉ＋１ ^０） ・・・（３）
ｓ_ｉ ^１＝ｓ_ｉ ^０＋１／４（ｄ_ｉ−１ ^１＋ｄ_ｉ ^１） ・・・（４）

［リフティング演算］
次に、このリフティング演算について説明する。図５は、５×３分析フィルタを用いて、縦方向のラインに対して行われるフィルタリングをリフティング表現した図である。

横方向は、演算過程とそれによって生成される低域・高域係数を図示したものである。図４の場合と照らし合わせて見れば水平が垂直に変わっただけであり、演算の方法は全く同様であることがわかる。

画像の上端においては、矢印１４１に示されるように、Line-１から最上位ラインが点線の様に対称拡張され、１ラインが補填される。枠１４２で示されるように、これとLine-0、Line-１の合計３ラインを用いてリフティング演算が行われ、Step-1の演算で係数ａが生成される。これは高域係数（Ｈ０）である。

Line-1,Line-2,Line-3が入力されると、この３ラインを用いて、式（３）により次の高域係数ａが算出される。これは高域係数（Ｈ１）である。そして、上記の１番目の高域係数ａ（Ｈ０）と２番目高域係数ａ（Ｈ１）、及びLine-1の係数の合計３つの係数を用いて、式（４）に従い計算すると係数ｂが生成される。これは低域係数（Ｌ１）である。つまり、枠１４３で示されるように、Line-1,Line-2,Line-3の３ラインと、高域係数（Ｈ０）とを用いて、低域係数（Ｌ１）および高域係数（Ｈ１）が生成される。

その後、２ラインが入力される毎に、上記のリフティング演算が後続のラインに対しても同様に繰り返され、低域係数と高域係数とが出力される。そして、枠１４４に示されるように、低域係数（Ｌ（Ｎ−１））および高域係数（Ｈ（Ｎ−１））が生成されると、高域係数（Ｈ（Ｎ−１））が矢印１４５のように対称拡張され、枠１４６のように演算が行われ、低域成分（Ｌ（Ｎ））が生成される。

なお、図５は垂直方向のラインに対してフィルタリングを行った例であるが、水平方向のフィルタリングの場合でも全く同様に考えることができることは自明である。

以上のリフティング演算は、各階層について行われる。ただし、分析フィルタリングは、上述したように、より低域な成分をより優先的に生成するような順序で行われる。図５を参照して説明した順序は、分析フィルタリングされるデータ間の依存関係を示すものであり、実際の処理実行順とは異なる。

［１ラインブロックの処理］
次に、この分析フィルタリングの実行手順について説明する。

処理対象の画像データ（係数データ）は、ピクチャ（サブバンド）の上のラインから順に処理される。分析フィルタリングのリフティング演算は、処理対象の画像データ（係数データ）が２ライン準備される毎に（つまり、実行可能となり次第）実行される。ただし、より低域のサブバンドを優先的に処理対象とする。

以下に説明するように、分析フィルタリングは、ラインブロック毎に同じ手順で繰り返し実行される。そこで、２ライン準備される毎に分析フィルタリングが実行されるラインブロック（定常状態のラインブロック）における分析フィルタリングの手順を以下に説明する。

なお、初期状態となるピクチャやサブバンドの上端を含むラインブロック（初期状態のラインブロック）においては、分析フィルタリングに必要なライン数が他のラインブロック（定常状態のラインブロック）と異なる。しかしながら、この初期状態のラインブロックの場合も、分析フィルタリングの処理手順は、基本的には他のラインブロックと同様のであるので、その説明は省略する。

図６は、定常状態における係数データの出力順を説明する図である。図６においては、ウェーブレット変換された係数データが、図中、上から下に向かう方向に時系列順に並べられている。

定常状態のラインブロックにおいて、まず、ベースバンドの画像データの、そのラインブロック内において上から２ラインが分析フィルタリングされ、分割レベル１のラインＬ（上からＬ番目の係数ライン）が生成される。１ライン分の係数データでは分析フィルタリングできないので、その次のタイミングにおいて、ベースバンドの画像データの次の２ラインが分析フィルタリングされ、分割レベル１のライン（Ｌ＋１）（上から（Ｌ＋１）番目の係数ライン）が生成される。

この時点で分割レベル１の係数データが２ライン分用意されたので、次に、その分割レベル１の係数データの２ラインに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のラインＭ（上からＭ番目の係数ライン）が生成される。しかしながら、１ライン分なので分割レベル２の分析フィルタリングはまだ実行できない。また、このとき、分割レベル１の係数データが用意されていないので、分割レベル１の分析フィルタリングも実行できない。

そこで、ベースバンドの画像データの次の２ラインが分析フィルタリングされ、分割レベル１のライン（Ｌ＋２）（上から（Ｌ＋２）番目の係数ライン）が生成される。１ライン分の係数データでは分析フィルタリングできないので、続いて、ベースバンドの画像データの次の２ラインが分析フィルタリングされ、分割レベル１のライン（Ｌ＋３）（上から（Ｌ＋３）番目の係数ライン）が生成される。

分割レベル１の係数データが２ライン分用意されたので、次に、その分割レベル１の係数データの２ラインに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン（Ｍ＋１）（上から（Ｍ＋１）番目の係数ライン）が生成される。

すると、分割レベル２の係数データが２ライン分用意されたので、次に、その分割レベル２の係数データの２ラインに対して分割レベル２の分析フィルタリングが行われ、分割レベル３のラインＮ（上からＮ番目の係数ライン）が生成される。

以下、同様にして、分割レベル１のライン（Ｌ＋４）（上から（Ｌ＋４）番目の係数ライン）およびライン（Ｌ＋５）（上から（Ｌ＋５）番目の係数ライン）、分割レベル２のライン（Ｍ＋２）（上から（Ｍ＋２）番目の係数ライン）、分割レベル１のライン（Ｌ＋６）（上から（Ｌ＋６）番目の係数ライン）およびライン（Ｌ＋７）（上から（Ｌ＋７）番目の係数ライン）、分割レベル２のライン（Ｍ＋３）（上から（Ｍ＋３）番目の係数ライン）、並びに、分割レベル３のライン（Ｎ＋１）（上から（Ｎ＋１）番目の係数ライン）が、順次、生成される。

すると、分割レベル３の係数データが２ライン分用意されたので、次に、その分割レベル３の係数データの２ラインに対して分割レベル３の分析フィルタリングが行われ、分割レベル４のラインＰ（上からＰ番目の係数ライン）が生成される。

以上のように１ラインブロック分の分析フィルタリングが行われる。つまり、ラインブロック毎に、以上のような手順が繰り返される。

このウェーブレット変換の間、常時画像がライン毎に供給される（分析フィルタリングされる）。つまり、１ラインブロック分の分析フィルタリングの処理時間（遅延時間）は、この供給される画像のライン数によって表すことができる。

例えば、１ラインブロックが１００ラインであるとする。また、ウェーブレット変換される画像が、Full-HD（High-Definition）TV（１ピクチャが１９２０［画素］×１０８０［ライン］、毎秒３０フレーム、プログレッシブ方式）であるとする。

この画像の場合、１ピクチャの時間は、１０００［msec］÷３０［ピクチャ］＝３３［msec/ピクチャ］である。したがって、１００ライン分の時間は、３３［msec］×（１００［ライン］÷１０８０［ライン］）＝３．０５［msec］である。

上述した１ラインブロック分の分析フィルタリングは、この１ラインブロック分の画像データが供給される間に実行されるようにすると、破綻無く実行することができる。つまり、この場合、ウェーブレット変換の遅延時間は、３．０５［msec］である。

仮に、この３．０５［msec］が、図１を参照して説明した許容遅延時間（Ｔ）より短ければ、１ラインブロックのライン数（Line_Baseband）を１００［ライン］とすることができる。

換言するに、図１の様に外部からラインブロック出力の許容遅延時間（Ｔ）が与えられて、画像の解像度も確定している場合、ウェーブレット変換の遅延時間がその許容遅延時間（Ｔ）よりも短くなるように、１ラインブロック当たりのライン数を設定する必要がある。

上述したように、１ラインブロック当たりのライン数は、分割レベル数によって決まる。そこで、分割レベル制御装置１００は、ウェーブレット変換の遅延時間がその許容遅延時間（Ｔ）よりも短くなるように、分割レベル数を設定する。

［分割レベル４の場合の遅延時間］
図７は、分割レベル４までのウェーブレット変換における係数データの出力順を説明する図である。縦軸がベースバンド（BB）画像入力のライン番号で、横軸はサブバンド・レベルを示している。以下順番に説明する。

ライン０入力：上述した図５のリフティング演算がまだ出来ない。
ライン１入力：最初のリフティング演算を行い、ライン０の１ＨＨと１ＬＨの係数が出力される（上述したように高域成分の係数が最初に生成される）。
ライン２入力：リフティング演算は、ラインの偶数番目の入力時には行うことができず、必ず２ライン単位で入力した時に行われる。以後、偶数ライン入力時の説明は適宜省略する。
ライン３入力：ライン０の１ＨＬ、ライン１の１ＨＨ、１ＬＨの係数が出力される。
ライン５入力：ライン１の１ＨＬ、ライン２の１ＨＨ、１ＬＨの係数が出力される。
ライン６入力：ライン０の２ＨＨ、２ＬＨの係数が出力される。
ライン７入力：ライン２の１ＨＬ、ライン３の１ＨＨ、１ＬＨの係数が出力される。
ライン９入力：ライン３の１ＨＬ、ライン４の１ＨＨ、１ＬＨの係数が出力される。
ライン１０入力：ライン０の２ＨＬ、ライン１の２ＨＨ、２ＬＨの係数が出力される。
ライン１１入力：ライン４の１ＨＬ、ライン５の１ＨＨ、１ＬＨの係数が出力される。
ライン１３入力：ライン５の１ＨＬ、ライン６の１ＨＨ、１ＬＨの係数が出力される。
ライン１４入力：ライン０の３ＨＨ、３ＬＨ、ライン１の２ＨＬ、ライン２の２ＨＨ、２ＬＨの係数が出力される。
ライン１５入力：ライン６の１ＨＬ、ライン７の１ＨＨ、１ＬＨの係数が出力される。
ライン１７入力：ライン７の１ＨＬ、ライン８の１ＨＨ、１ＬＨの係数が出力される。
ライン１８入力：ライン２の２ＨＬ、ライン３の２ＨＨ、２ＬＨの係数が出力される。
ライン１９入力：ライン８の１ＨＬ、ライン９の１ＨＨ、１ＬＨの係数が出力される。
ライン２１入力：ライン９の１ＨＬ、ライン１０の１ＨＨ、１ＬＨの係数が出力される。
ライン２２入力：ライン０の３ＨＬ、ライン１の３ＨＨ、３ＬＨ、ライン３の２ＨＬ、ライン４の２ＨＨ、２ＬＨの係数が出力される。
ライン２３入力：ライン１０の１ＨＬ、ライン１１の１ＨＨ、１ＬＨの係数が出力される。
ライン２５入力：ライン１１の１ＨＬ、ライン１２の１ＨＨ、１ＬＨの係数が出力される。
ライン２６入力：ライン４の２ＨＬ、ライン５の２ＨＨ、２ＬＨの係数が出力される。
ライン２７入力：ライン１２の１ＨＬ、ライン１３の１ＨＨ、１ＬＨの係数が出力される。
ライン２９入力：ライン１３の１ＨＬ、ライン１４の１ＨＨ、１ＬＨの係数が出力される。
ライン３０入力：ライン０の４ＨＨ、４ＬＨ、ライン１の３ＨＬ、ライン２の３ＨＨ、３ＬＨ、ライン５の２ＨＬ、ライン６の２ＨＨ、２ＬＨの係数が出力される。
ライン３１入力：ライン１４の１ＨＬ、ライン１５の１ＨＨ、１ＬＨの係数が出力される。
ライン３３入力：ライン１５の１ＨＬ、ライン１６の１ＨＨ、１ＬＨの係数が出力される。
ライン３４入力：ライン６の２ＨＬ、ライン７の２ＨＨ、２ＬＨの係数が出力される。
ライン３５入力：ライン１６の１ＨＬ、ライン１７の１ＨＨ、１ＬＨの係数が出力される。
ライン３７入力：ライン１７の１ＨＬ、ライン１８の１ＨＨ、１ＬＨの係数が出力される。
ライン３８入力：ライン２の３ＨＬ、ライン３の３ＨＨ、３ＬＨ、ライン７の２ＨＬ、ライン８の２ＨＨ、２ＬＨの係数が出力される。
ライン３９入力：ライン１８の１ＨＬ、ライン１９の１ＨＨ、１ＬＨの係数が出力される。
ライン４１入力：ライン１９の１ＨＬ、ライン２０の１ＨＨ、１ＬＨの係数が出力される。
ライン４２入力：ライン８の２ＨＬ、ライン９の２ＨＨ、２ＬＨの係数が出力される。
ライン４３入力：ライン２０の１ＨＬ、ライン２１の１ＨＨ、１ＬＨの係数が出力される。
ライン４５入力：ライン２１の１ＨＬ、ライン２２の１ＨＨ、１ＬＨの係数が出力される。
ライン４６入力：ライン０の４ＨＬ、４ＬＬ、ライン１の４ＨＨ、４ＬＨ、ライン３の３ＨＬ、ライン４の３ＨＨ、３ＬＨ、ライン９の２ＨＬ、ライン１０の２ＨＨ、２ＬＨの係数が出力される。

［分割レベル３の場合の遅延時間］
図８は、分割レベル３までのウェーブレット変換における係数データの出力順を説明する図である。図７の場合と同様に、以下順番に説明する。

ライン０入力：上述した図５のリフティング演算がまだ出来ない。
ライン１入力：最初のリフティング演算を行い、ライン０の１ＨＨ、１ＬＨの係数が出力される。
ライン３入力：ライン０の１ＨＬ、ライン１の１ＨＨ、１ＬＨの係数が出力される。
ライン５入力：ライン１の１ＨＬ、ライン２の１ＨＨ、１ＬＨの係数が出力される。
ライン６入力：ライン６の２ＨＨ、２ＬＨの係数が出力される。
ライン７入力：ライン２の１ＨＬ、ライン３の１ＨＨ、１ＬＨの係数が出力される。
ライン９入力：ライン３の１ＨＬ、ライン４の１ＨＨ、１ＬＨの係数が出力される。
ライン１０入力：ライン０の２ＨＬ、ライン１の２ＨＨ、２ＬＨの係数が出力される。
ライン１１入力：ライン４の１ＨＬ、ライン５の１ＨＨ、１ＬＨの係数が出力される。
ライン１３入力：ライン５の１ＨＬ、ライン６の１ＨＨ、１ＬＨの係数が出力される。
ライン１４入力：ライン０の３ＨＨ、３ＬＨ、ライン１の２ＨＬ、ライン２の２ＨＨ、２ＬＨの係数が出力される。
ライン１５入力：ライン６の１ＨＬ、ライン７の１ＨＨ、１ＬＨの係数が出力される。
ライン１７入力：ライン７の１ＨＬ、ライン８の１ＨＨ、１ＬＨの係数が出力される。
ライン１８入力：ライン２の２ＨＬ、ライン３の２ＨＨ、２ＬＨの係数が出力される。
ライン１９入力：ライン８の１ＨＬ、ライン９の１ＨＨ、１ＬＨの係数が出力される。
ライン２１入力：ライン９の１ＨＬ、ライン１０の１ＨＨ、１ＬＨの係数が出力される。
ライン２２入力：ライン０の３ＨＬ、３ＬＬ、ライン１の３ＨＨ、３ＬＨ、ライン３の２ＨＬ、ライン４の２ＨＨ、２ＬＨの係数が出力される。

以上のように、ウェーブレット変換が４分解（分割レベル数が４）の場合、最低域のサブバンド４ＬＬの係数データが出力されるまでに必要なライン数は４７ラインなので、３３［msec］×（４７［ライン］÷１０８０［ライン］）＝１．４３［msec］となる。

これに対して、ウェーブレット変換が３分解（分割レベル数が３）の時には、３LLが出力されるまでに必要なライン数は、２３ラインである。３３［msec］×（２３ライン÷１０８０ライン）＝０．７０［msec］となる。

図１の遅延時間算出部１０４は、このような分割レベル毎の遅延時間を算出する。また、分割レベル決定部１０５は、許容遅延時間（Ｔ）と、上記の１．４３［msec］または０．７０［msec］との大小関係によって、ウェーブレット変換の分割レベル数を決定する。

つまり、分割レベル決定部１０５は、その遅延時間が許容遅延時間（Ｔ）より短くなる分割レベル数を採用する。なお、一般的に、分割レベル数が小さいほど、復号画像の画質は劣化する。したがって、分割レベル決定部１０５は、可能な限り（その遅延時間が許容遅延時間（Ｔ）より長くならない範囲において）大きな値の分割レベル数を選択する。

以上のように、分割レベル制御装置１００は、ウェーブレット変換処理を制御することができる。特に、分割レベル制御装置１００は、分割レベル数を指定することにより、画像のフォーマットによらず、不要な画質劣化を抑制しながら、システムを破たんさせることなく、低遅延でのウェーブレット変換を実現することができる。

［処理の流れ］
図９は、以上のような制御を行うために分割レベル制御装置１００が実行する分割レベル制御処理の流れの例を説明するフローチャートである。

分割レベル制御処理が開始されると、分割レベル制御装置１００の許容遅延時間受付部１０１は、ステップＳ１０１において、許容遅延時間を受け付ける。ステップＳ１０２において、フレームレート検出部１０２は、入力画像のフレームレートを検出する。ステップＳ１０３において、垂直ライン数検出部１０３は、入力画像の垂直ライン数を検出する。

ステップＳ１０４において、遅延時間算出部１０４は、フレームレートと垂直ライン数に基づいて、分割レベルごとの遅延時間を算出する。

ステップＳ１０５において、分割レベル決定部１０５は、遅延時間と許容遅延時間を比較し、その遅延時間が、許容遅延時間より短く、かつ、できるだけ長くなるように分割レベル数を決定する。

ステップＳ１０５の処理が終了すると、分割レベル制御処理が終了される。

以上のように分割レベル制御処理が行われることにより、分割レベル制御装置１００は、ウェーブレット変換する画像の解像度によらず、不要な画質劣化を抑制しながら、低遅延でのウェーブレット変換を実現することができる。

［他の構成例］
なお、分割レベル数の決定は、テーブル情報に基づいて行うようにしてもよい。図１０は、本発明を適用した分割レベル制御装置の他の構成例を示すブロック図である。

図１０に示される分割レベル制御装置１５０は、図１に示される分割レベル制御装置１００に対応する装置である。分割レベル制御装置１５０は、基本的に分割レベル制御装置１００と同様の構成を有し、同様の処理を行うが、分割レベル制御装置１５０の場合、図１の遅延時間算出部１０４および分割レベル決定部１０５の代わりに、テーブル保持部１５４および分割レベル決定部１５５を有する。

図１の場合と同様に、許容遅延時間受付部１０１は、受け付けた許容遅延時間（矢印１７１）を分割レベル決定部１５５に供給する（矢印１７２）。フレームレート検出部１０２は、検出したフレームレート（矢印１７３または矢印１７５）を分割レベル決定部１５５に供給する（矢印１７４）。垂直ライン数検出部１０３は、検出した垂直ライン数（矢印１７５または矢印１７６）を分割レベル決定部１５５に供給する（矢印１７７）。

テーブル保持部１５４は、テーブル１６１を保持している。テーブル１６１は、フレームレートおよび垂直ライン数と、想定される複数の分割レベル数の各遅延時間とが対応付けられたテーブル情報である。

分割レベル決定部１５５は、このテーブル保持部１５４からテーブル１６１を取得し、そのテーブル１６１を用いて、供給されたフレームレートおよび垂直ライン数から、分割レベル数毎の遅延時間を求める。

分割レベル決定部１５５は、テーブル１６１を用いて求めた各分割レベル数の遅延時間と、供給された許容遅延時間を比較し、その比較結果からウェーブレット変換処理の分割レベル数を決定し、その値を分割レベル数指定情報として出力する。

より具体的には、分割レベル決定部１５５は、図１の分割レベル決定部１０５の場合と同様に、分割レベル決定部１５５は、可能な限り（その遅延時間が許容遅延時間（Ｔ）より長くならない範囲において）大きな値の分割レベル数を選択する。

以上のように、分割レベル制御装置１５０は、分割レベル制御装置１００の場合と同様に、ウェーブレット変換処理を制御することができる。つまり、分割レベル制御装置１５０は、画像のフォーマットによらず、不要な画質劣化を抑制しながら、システムを破たんさせることなく、低遅延でのウェーブレット変換を実現することができる。

特に、分割レベル制御装置１５０は、テーブル１６１を用いることにより、より容易に分割レベル数を求めることができる。

テーブル１６１を用いて遅延時間が求められる分割レベル数の値は任意であるが、ウェーブレット変換処理において使用される可能性の高い値（換言すれば、遅延時間がシステム上現実的な値をとる分割レベル数）にするのが望ましい。

現実的には、分割レベル数が取りうる値の範囲は、例えば０乃至５程度の狭い範囲であり、かつ、フレームレートや垂直ライン数の種類も数パターンであることがほとんどである。つまり、これらの値の組み合わせのパターンは多くはないので、それぞれについて予め遅延時間をテーブル化することは困難ではないし、テーブル１６１の情報量も比較的少ない。

したがって、テーブル１６１を用いて分割レベル毎の遅延時間を求めるようにすることにより、分割レベル制御装置１５０は、より容易に分割レベル数を指定することができる。

［処理の流れ］
図１１は、分割レベル制御処理の流れの、他の例を説明するフローチャートである。この場合も、分割レベル制御処理の流れは、図９のフローチャートを参照して説明した場合と基本的に同様である。

すなわち、許容遅延時間受付部１０１は、図９のステップＳ１０１の場合と同様に、ステップＳ１２１の処理を実行する。フレームレート検出部１０２は、図９のステップＳ１０２の場合と同様に、ステップＳ１２２の処理を実行する。垂直ライン数検出部１０３は、図９のステップＳ１０３の場合と同様に、ステップＳ１２３の処理を実行する。

ステップＳ１２４において、分割レベル決定部１５５は、テーブル保持部１５４からテーブル１６１を取得し、そのテーブル１６１を参照し、上述したように、許容遅延時間、垂直ライン数、およびフレームレートから分割レベル数を決定する。

ウェーブレット変換の分割レベル数を決定し、分割レベル数指定情報が出力されると、分割レベル制御処理が終了する。

以上のように分割レベル制御処理が行われることにより、分割レベル制御装置１５０は、ウェーブレット変換する画像の解像度によらず、不要な画質劣化を抑制しながら、低遅延でのウェーブレット変換を実現することができる。

＜２．第２の実施の形態＞
［ウェーブレット変換装置の構成］
以上のような分割レベル制御装置は、ウェーブレット変換装置にも適用することができる。すなわち、制御対象であるウェーブレット変換処理を実行する処理部を、装置内に組み込むようにしてもよい。

図１２は、本発明を適用したウェーブレット変換装置の主な構成例を示すブロック図である。

図１２に示されるウェーブレット変換装置２００は、入力画像に対してウェーブレット変換を行い、係数データを生成する。図１２に示されるように、ウェーブレット変換装置２００は、分割レベル制御部２０１およびウェーブレット変換部２０２を有する。

分割レベル制御部２０１は、基本的に第１の実施の形態において説明した分割レベル制御装置１００や分割レベル制御装置１５０と同様の構成を有し、同様の処理を行う。

つまり、分割レベル制御部２０１は、許容遅延時間や入力画像を受け付け（矢印２２１および矢印２２２）、それらから分割レベル数指定情報を生成し、それをウェーブレット変換部２０２に供給する（矢印２２３）。

より具体的には、分割レベル制御部２０１は、取得した入力画像からフレームレートや垂直ライン数を検出し、それらから分割レベル数毎の遅延時間を求める。分割レベル制御部２０１は、求めた各分割レベル数の遅延時間を許容遅延時間と比較し、現在ウェーブレット変換処理に最も適した分割レベル数を選択する。

なお、この遅延時間は、図１の分割レベル制御装置１００のように演算により求めるようにしてもよいし、図１０の分割レベル制御装置１５０のようにテーブル情報を用いて求めるようにしてもよい。もちろん、その他の方法であってもよい。

分割レベル制御部２０１は、分割レベル数指定情報をウェーブレット変換部２０２に供給する。

ウェーブレット変換部２０２は、分割レベル制御部２０１から供給される分割レベル数師弟情報により指定される分割レベル数で、入力画像（矢印２２２）に対してウェーブレット変換を行う。

ウェーブレット変換部２０２は、ウェーブレット変換により画像データが変換されて生成された係数データを処理結果としてウェーブレット変換装置２００の外部に出力する（矢印２２４）。

以上のように、ウェーブレット変換装置２００は、分割レベル制御部２０１を用いて、ウェーブレット変換部２０２によるウェーブレット変換処理の分割レベル数を制御することができる。

［処理の流れ］
次に図１３のフローチャートを参照して、このようなウェーブレット変換処理の流れの例を説明する。

ウェーブレット変換処理が開始されると、分割レベル制御部２０１は、分割レベル制御処理を行う。この分割レベル制御処理は、図９や図１１のフローチャートと参照して説明した分割レベル制御利と同様の処理が同様に実行される。したがって、この分割レベル制御処理の詳細についての説明は省略する。

分割レベル制御処理が終了すると、ウェーブレット変換部２０２は、求められた分割レベル数に従って、入力画像に対するウェーブレット変換処理を行う。ウェーブレット変換が終了するとウェーブレット変換処理が終了される。

以上のように分割レベル制御処理を行ってからウェーブレット変換処理を行うことにより、ウェーブレット変換装置２００は、ウェーブレット変換する画像の解像度によらず、不要な画質劣化を抑制しながら、低遅延でのウェーブレット変換を実現することができる。

なお、入力画像が動画像であっても、基本的にその動画像の途中でフォーマットが変化することはない。したがって、一般的には、ステップＳ１４１の分割レベル制御処理は、例えば、入力される動画像の入力時またはその前等に、１回だけ行われるようにしてもよい。この場合、ステップＳ１４２のウェーブレット変換処理は、各フレーム画像に対して、その動画像が終了するまで繰り返し実行される。

［他の構成例］
なお、遅延時間を実際に測定し、その測定結果に基づいて分割レベル数を決定するようにしてもよい。

図１４は、本発明を適用したウェーブレット変換装置の他の構成例を示すブロック図である。図１４において、ウェーブレット変換装置２５０は、ウェーブレット変換部２０２および分割レベル制御部２５１を有する。

すなわち、ウェーブレット変換装置２５０は、図１２のウェーブレット変換装置２００の分割レベル制御部２０１の代わりに分割レベル制御部２５１を有する。

分割レベル制御部２５１は、ウェーブレット変換部２０２による、１分割レベル分の分析フィルタリングの所要時間（遅延時間）を測定し、その測定結果と許容遅延時間を比較することにより分割レベル数を決定する。

分割レベル制御部２５１は、許容遅延時間受付部２６１、係数保持部２６２、所要時間測定部２６３、および分割レベル決定部２６４を有する。

許容遅延時間受付部２６１は、許容遅延時間受付部１０１（図１）等と同様に、許容遅延時間を受け付け（矢印２７１）、それを分割レベル決定部２６４に供給する（矢印２７２）。

ウェーブレット変換部２０２は、供給される入力画像（矢印２７３）に対してウェーブレット変換処理を行う。ウェーブレット変換部２０２は、分割レベル制御部２５１の分割レベル決定部２６４から供給される制御情報（矢印２７７）に従って、分析フィルタリングを行う。

例えば、分割レベル数を決定する際において、制御情報により分析フィルタリングの実行が指示されると、ウェーブレット変換部２０２は、当該分割レベルの分析フィルタリングを行い、得られた１つ上位の分割レベルの各サブバンド（ＨＨ，ＨＬ，ＬＨ，ＬＬ）の係数データ（１ラインブロック分）を係数保持部２６２に供給する（矢印２７４）。

なお、ウェーブレット変換部２０２は、第１の実施の形態において、図７や図８等を参照して説明したような手順で分析フィルタリングを行う。分析フィルタリングにより生成された係数データは、係数保持部２６２に供給されるが、次回以降の分析フィルタリングに必要な係数データは、さらにウェーブレット変換部２０２においても保持される。

遅延時間の測定は、１ラインブロックに対するウェーブレット変換処理について行われる。しかしながら、第１の実施の形態において説明したように、ラインブロックのライン数は分割レベル数によって異なる。

すなわち、ある分割レベルのラインブロックの係数データに対しさらに分析フィルタリングを行って上位の分割レベルの係数データを生成するためには、そのラインブロックの係数データだけでなく、新たなベースバンドの画像データが必要になる。

つまり、ウェーブレット変換部２０２は、その分割レベルでの分析フィルタリングだけでなく、下位の分割レベルにおける分析フィルタリングも実行しなければならない。分割レベル決定部２６４からさらなる分析フィルタリングの実行を指示された場合、ウェーブレット変換部２０２は、上位の分割レベルの係数データを得るために必要な分析フィルタリングを全て行う。

ウェーブレット変換部２０２は、以上のように制御情報の実行指示に従って分析フィルタリングを行うことにより、１ラインブロック分の係数データを１分割レベルずつ生成し、制御情報の終了指示に従って分析フィルタリングを終了する。

係数保持部２６２は、ウェーブレット変換部２０２において生成される係数データを記憶（保持）する。係数保持部２６２は、新たな係数データを保持すると、その旨を、保持状況として所要時間測定部２６３に通知する（矢印２７５）。

所要時間測定部２６３は、係数保持部２６２から供給される係数データの保持状況に関する情報に基づいて、ウェーブレット変換処理の開始から今回の分析フィルタリングにより４つのサブバンドの係数が出力されるまでの所要時間、すなわち、当該分割レベル数のウェーブレット変換の遅延時間を測定する。

所要時間測定部２６３は、その測定結果（所要時間を示す情報）を、分割レベル決定部２６４に供給する（矢印２７６）。

分割レベル決定部２６４は、所要時間測定部２６３により測定された遅延時間と、許容遅延時間受付部２６１から供給された許容遅延時間とを比較し、その比較結果に基づいて、ウェーブレット変換処理の分割レベル数を決定する。

より具体的には、所要時間測定部２６３から供給された遅延時間が、許容遅延時間受付部２６１から供給された許容遅延時間よりも短い場合、分割レベル決定部２６４は、ウェーブレット変換部２０２に、さらに分析フィルタリングを実行させる指示を制御情報として供給する（矢印２７７）。

また、所要時間測定部２６３から供給された遅延時間が、許容遅延時間受付部２６１から供給された許容遅延時間を超えた場合、分割レベル決定部２６４は、分割レベル数を１つ前の分割レベルに決定する。

そして、分割レベル決定部２６４は、分析フィルタリングを終了させるとともに、分割レベル数を１つ前の分割レベルに設定する指示を制御情報としてウェーブレット変換部２０２に対して供給する（矢印２７７）。

また、分割レベル決定部２６４は、係数保持部２６２に対して制御情報を供給し（矢印２７８）、係数保持部２６２に保持されている１つ前の分割レベルにおけるラインブロックに属する係数データを出力させる（矢印２７９）とともに、最後の分割レベルの係数データを破棄させる。なお、それ以外の係数データは、次のラインブロックに属する係数データとして適宜利用するようにしてもよい。

分割レベル数決定後は、ウェーブレット変換部２０２は、その決定された分割レベル数でウェーブレット変換を行い、生成した係数データを適宜係数保持部２６２に供給する。係数保持部２６２は、ウェーブレット変換部２０２から供給される係数データを保持し、任意のタイミングで適宜出力する（矢印２７９）。

以上のように、分割レベル制御部２５１が、実際に遅延時間を測定し、その実際の遅延時間に基づいて分割レベル数を決定するので、ウェーブレット変換装置２５０は、入力画像に対してより適切な分割レベル数でウェーブレット変換処理を行うことができる。

つまり、ウェーブレット変換装置２５０は、ウェーブレット変換部２０２によるウェーブレット変換処理の分割レベル数をより適切に制御することができる。

例えば、入力画像のフォーマットが一般的でなく、解像度やフレームレート等の仕様が不明であり、かつ、メタデータ等も存在せず、それらの情報が得にくいような場合、上述したように実際に遅延時間を測定することでより正確な分割レベル数制御を行うことができるので、より有効である。

［処理の流れ］
次に図１５のフローチャートを参照して、このようなウェーブレット変換処理の流れの例を説明する。

ウェーブレット変換処理が開始されると、許容遅延時間受付部２６１は、ステップＳ１６１において、許容遅延時間を受け付ける。

ステップＳ１６２において、ウェーブレット変換部２０２は、１ラインブロック、１分割レベル分のウェーブレット変換処理を行う。ステップＳ１６３において、係数保持部２６２は、ステップＳ１６２の処理により生成された係数データを保持する。

ステップＳ１６４において、所要時間測定部２６３は、ウェーブレット変換処理が開始されてから、次の分割レベルの４つのサブバンドの係数が出力されるまでの所要時間（遅延時間）を測定する。

ステップＳ１６５において、分割レベル決定部２６４は、ステップＳ１６４において算出された所要時間が、ステップＳ１６１において受け付けられた許容遅延時間を超えたか否かを判定する。

所要時間が許容遅延時間を超えていないと判定された場合、ステップＳ１６６に進む。ステップＳ１６６において、分割レベル決定部２６４は、制御情報をウェーブレット変換部２０２に供給することにより、さらに１分割レベル分のウェーブレット変換処理を実行させる。

処理はステップＳ１６２に戻り、ウェーブレット変換部２０２は、その指示に従ってウェーブレット変換処理を進める。

このようにステップＳ１６２乃至ステップＳ１６５の処理が繰り返し実行され、ステップＳ１６５において、所要時間が許容遅延時間を超えたと判定された場合、ステップＳ１６７に進む。

ステップＳ１６７において、係数保持部２６２は、分割レベル決定部２６４の制御に従い、１つ前の分割レベルにおける処理対象ラインブロックに属する係数データを出力する。

ステップＳ１６８において、分割レベル決定部２６４は、ウェーブレット変換処理の分割レベル数を１つ前の分割レベルに決定する。

ステップＳ１６９において、ウェーブレット変換部２０２は、決定された分割レベル数で以降のラインブロックのウェーブレット変換を行う。

ステップＳ１６９の処理が終了するとウェーブレット変換処理が終了する。

以上のように、ウェーブレット変換処理を行うことにより、ウェーブレット変換装置２５０は、ウェーブレット変換する画像の解像度によらず、不要な画質劣化を抑制しながら、低遅延でのウェーブレット変換を実現することができる。

なお、以上のようなウェーブレット変換処理の所要時間（遅延時間）の測定および分割レベル数の設定は、どのようなタイミングで行うようにしてもよい。例えば、入力画像に対するウェーブレット変換処理開始時に行うようにしても良いし、例えば、シーン毎、GOP毎、若しくはフレーム毎のように、所定のタイミングで定期的または不定期に繰り返し行うようにしても良いし、全ラインブロックにつてい行うようにしても良い。

また、分割レベル決定部２６４は、ステップＳ１６５において所要時間が許容遅延時間を超えていないと判定された場合、係数保持部２６２に保持されている係数データを出力させるようにしてもよい。

この場合、各分割レベルにおいて係数データが順次出力されることになる。各分割レベルにおいて出力される係数データは、１つ前の分割レベルとの差分（今回の分割レベルにおける処理により新たに保持された係数データ）のみとなる。

この場合、所要時間が許容遅延時間を超えると、係数保持部２６２に保持されている係数データが破棄される。これにより、１つ前の分割レベルのラインブロックの係数データのみが出力されたことになる。

［他の構成例２］
なお、ウェーブレット変換部２０２において生成された係数データは、係数保持部２６２において保持せずに後段の処理部に供給するようにしてもよい。図１６は、本発明を適用したウェーブレット変換装置の、さらに他の構成例を示すブロック図である。

図１６に示されるウェーブレット変換装置３００は、ウェーブレット変換装置２５０と同様に、ウェーブレット変換部２０２を有するが、分割レベル制御部２５１の代わりに、係数保持部２６２を有していない分割レベル制御部３０１を有する。

ウェーブレット変換部２０２において生成された係数データは、ウェーブレット変換装置３００の外部の処理部３３０に供給される（矢印３２４）。処理部３３０は、供給された係数データを、内蔵する記憶部（図示せず）に保持しても良いし、所定の処理を施してから、その処理結果を、内蔵する記憶部（図示せず）に保持してもよい。

分割レベル制御部３０１は、分割レベル制御部２５１の場合と同様に、許容遅延時間受付部２６１と所要時間測定部２６３を有し、分割レベル決定部２６４の代わりに分割レベル決定部３１４を有する。

ウェーブレット変換部２０２において生成された係数データは、所要時間測定部２６３にも供給される。所要時間測定部２６３は、ウェーブレット変換処理の開始から今回の分析フィルタリングにより４つのサブバンドの係数が出力されるまでの所要時間、すなわち、当該分割レベル数のウェーブレット変換の遅延時間を測定し、その測定結果（所要時間を示す情報）を、分割レベル決定部３１４に供給する（矢印３２５）。

分割レベル決定部３１４は、その測定結果、すなわち、遅延時間と、許容遅延時間受付部２６１から供給される許容遅延時間（矢印３２２）とを比較する。

遅延時間が許容遅延時間を超えていない場合、分割レベル決定部３１４は、ウェーブレット変換部２０２に制御情報を供給し（矢印３２６）、次の分割レベルの係数データを生成するための分析フィルタリングを実行させる。

遅延時間が許容遅延時間を超えた場合、分割レベル決定部３１４は、ウェーブレット変換部２０２に制御情報を供給し（矢印３２６）、分析フィルタリングの終了を通知するとともに、ウェーブレット変換の分割レベル数を、１つ前の分割レベルに設定させる。

また、分割レベル決定部３１４は、制御情報を後段の処理部３３０に供給し（矢印３２７）、保持している係数データ、若しくは、処理部３３０における係数データの処理結果のうち、現在の分割レベルのラインブロックのみに属するデータを破棄させ、１つ前の分割レベルのラインブロックに属するデータに対する処理を進めさせる。

このようにすることにより、ウェーブレット変換装置３００は、ウェーブレット変換装置２５０の場合と同様に、入力画像に対してより適切な分割レベル数でウェーブレット変換処理を行うことができる。

また、ウェーブレット変換装置３００は、ウェーブレット変換装置２５０の場合と比べて係数保持部２６２が省略されているので、コストを低減させることができる。ただし、この場合、ウェーブレット変換装置３００は、後段の処理部３３０を制御する機能を有する必要があり、後段の処理部３３０も、そのウェーブレット変換装置３００による制御に対応する機能を有する必要がある。

＜３．第３の実施の形態＞
［符号化装置の構成］
以上のような、遅延時間を分割レベル数で制御するウェーブレット変換は、符号化装置にも適用することができる。

図１７は、本発明を適用した符号化装置の主な構成例を示すブロック図である。

図１７に示される符号化装置３５０は、画像データをウェーブレット変換して符号化し、符号化データを生成する装置である。符号化装置３５０は、ウェーブレット変換の分割レベル数を制御することにより、符号化処理の遅延時間を制御する。

図１７において、符号化装置３５０は、画像ライン入力部３５１、ラインバッファ部３５２、ウェーブレット変換部３５３、係数ライン並び替え部３５４、量子化部３５５、エントロピ符号化部３５６、およびレート制御部３５７を有する。

画像ライン入力部３５１は、入力される画像データ（矢印３６２）を、ライン毎にラインバッファ部３５２に供給し（矢印３６２）、ラインバッファ部３５２に蓄積させる。ラインバッファ部３５２は、画像ライン入力部３５１から供給される画像データや、ウェーブレット変換部３５３から供給される係数データを保持し、所定のタイミングにおいてその画像データや係数データをウェーブレット変換部３５３に供給する（矢印３６４）。

ウェーブレット変換部３５３は、ラインバッファ部３５２から供給される画像データや係数データに対してウェーブレット変換を行い、次の階層の低域成分と高域成分の係数データを生成する。

ウェーブレット変換部３５３は、生成した係数データの、垂直方向および水平方向に低域な成分をラインバッファ部３５２に供給して保持させ（矢印３６５）、その他の成分を係数ライン並び替え部３５４に供給する（矢印３６６）。なお、ウェーブレット変換部３５３は、生成した係数データが最上位層である場合、垂直方向および水平方向に低域な成分も係数ライン並び替え部３５４に供給する。

また、ウェーブレット変換部３５３は、上述したようにリフティング演算を行う場合、計算途中のデータを保持し、次回の分析フィルタリングに利用する。

さらに、ウェーブレット変換部３５３には、外部より許容遅延時間が供給される（矢印３６１）。ウェーブレット変換部３５３は、第１の実施の形態や第２の実施の形態において上述したように、その許容遅延時間を用いて、ウェーブレット変換の分割レベル数を決定する。ウェーブレット変換部３５３は、例えば、第１の実施の形態において上述したように、所定の演算を行ったり、テーブル情報を参照したりして、分割レベル数を決定する。また、ウェーブレット変換部３５３は、例えば、第２の実施の形態において上述したように、実際に遅延時間を測定することにより、分割レベル数を決定するようにしてもよい。もちろん、上述した以外の方法により分割レベル数を決定するようにしてもよい。

ウェーブレット変換部３５３は、このように自分自身が決定した分割レベル数でウェーブレット変換を実行する。

係数ライン並び替え部３５４には、ウェーブレット変換部３５３から係数データ（係数ライン）が供給される（矢印３６６）。係数ライン並び替え部３５４は、その係数データ（係数ライン）の順序を、ウェーブレット逆変換処理の順序に並び替える。

係数ライン並び替え部３５４は、ウェーブレット変換部３５３から供給される係数ラインを内蔵する記憶部に保持し、さらに、その保持された係数ラインを読み出す。このとき、係数ライン並び替え部３５４は、保持された係数ラインをウェーブレット逆変換処理の順序で読み出すことにより、並び替えを行う。この並び替えの詳細については後述する。

係数ライン並び替え部３５４は、順序を並び替えた係数データを量子化部３５５に供給する（矢印３６７）。

量子化部３５５は、係数ライン並び替え部３５４から供給された係数データに対して、量子化を行う。この量子化の方法としてはどのようなものを用いても良く、例えば、一般的な手段、つまり、以下の式（５）に示されるような、係数データＷを量子化ステップサイズＱで除算する手法を用いれば良い。

量子化係数＝Ｗ／Ｑ ・・・（５）

なお、この量子化ステップサイズＱは、レート制御部３５７により指定される。量子化部３５５は、量子化された係数データをエントロピ符号化部３５６に供給する（矢印３６８）。

エントロピ符号化部３５６は、量子化部３５５から供給される係数データを、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。エントロピ符号化部３５６は、生成した符号化データを符号化装置３５０の外部に出力する（矢印３６９）。符号化装置３５０の外部に出力された符号化データは、例えばネットワーク等を介して、後述する復号装置に供給される。

この符号化データは、係数ライン並び替え部３５４により、ウェーブレット逆変換の順に並び替えられている。これにより、例えば、復号装置による復号処理の遅延時間を低減させることができる。

また、ウェーブレット変換部３５３は、低遅延で処理を行うように、図７や図８を参照して説明したような手順でウェーブレット変換処理を行う。これにより、符号化装置３５０は、低遅延に画像データを符号化することができる。

さらに、ウェーブレット変換部３５３は、上述したようにウェーブレット変換の分割レベル数を制御することにより、ウェーブレット変換される画像のフォーマットによらず、不要な画質劣化を抑制しながら、低遅延でのウェーブレット変換を実現するように、そのウェーブレット変換の遅延時間を制御することができる。

これにより、符号化装置３５０は、符号化される画像のフォーマットによらず、不要な画質劣化を抑制しながら、低遅延での符号化を実現することができる。

なお、係数ライン並び替え部３５４は、ウェーブレット変換処理の分割レベル数を把握していないと、供給される係数ラインをどのように並び替えてよいか把握できなくなる。そこで、ウェーブレット変換部３５３は、係数ライン並び替え部３５４に対して、決定した分割レベル数を示す情報を供給する（点線矢印３７１）。係数ライン並び替え部３５４は、その分割レベル数に基づいて、各ラインブロックを把握し、係数ラインの並び替えを行う。

また、ウェーブレット変換部３５３は、決定した分割レベル数を示す情報を、エントロピ符号化部３５６にも供給する。エントロピ符号化部３５６は、その分割レベル数を示す情報を符号化データのヘッダ等に含め、コードストリームとして復号装置に供給する。つまり、ウェーブレット変換部３５３において決定された分割レベル数は、復号装置にも供給される。

ところで、エントロピ符号化部３５６は、各符号ラインの符号量を、レート制御部３５７にも供給する（点線矢印３７２）。

レート制御部３５７は、エントロピ符号化部３５６から供給される符号ライン毎の符号量に基づいて、画像の符号化難易度を推定し、その符号化難易度に応じて量子化部３５５により用いられる量子化ステップサイズＱを指定する（点線矢印３７３）。つまり、レート制御部３５７は、量子化ステップサイズＱを指定することにより、符号化データのレート制御を行う。

［係数並び替え］
係数ライン並び替え部３５４は、各係数ラインを、図１８に示されるように、ウェーブレット逆変換処理の順序で読み出すことにより、係数ラインの並び替えを行う。

図１８において、各係数ラインは、その処理順に並べられている。図中上から下に向かう向きに時系列が示されている。つまり、図１８に示される各係数ラインは、図中上から順に処理される。

つまり、図１８の左側に示されるような順序（ウェーブレット変換出力順）でウェーブレット変換部３５３から出力された各係数ラインは、係数ライン並び替え部３５４により、図１８の右側に示されるようなウェーブレット逆変換処理の順に並び替えられる。

より具体的には、係数ライン並び替え部３５４は、分割レベル４のラインＰの係数ラインを読み出し、分割レベル３のラインＮの係数ラインを読み出し、分割レベル２のラインＭの係数ラインを読み出し、分割レベル１のラインＬおよびライン（Ｌ＋１）の係数ラインを読み出し、読み出した各係数ラインを、その読み出し順に量子化部３５５に供給する。

また、係数ライン並び替え部３５４は、次に、分割レベル２のライン（Ｍ＋１）の係数ラインを読み出し、分割レベル１のライン（Ｌ＋２）およびライン（Ｌ＋３）の係数ラインを読み出し、読み出した各係数ラインを、その読み出し順に量子化部３５５に供給する。

さらに、係数ライン並び替え部３５４は、分割レベル３のライン（Ｎ＋１）の係数ラインを読み出し、分割レベル２のライン（Ｍ＋２）の係数ラインを読み出し、分割レベル１のライン（Ｌ＋４）およびライン（Ｌ＋５）の係数ラインを読み出し、読み出した各係数ラインを、その読み出し順に量子化部３５５に供給する。

また、係数ライン並び替え部３５４は、次に、分割レベル２のライン（Ｍ＋３）の係数ラインを読み出し、分割レベル１のライン（Ｌ＋６）およびライン（Ｌ＋７）の係数ラインを読み出し、読み出した各係数ラインを、その読み出し順に量子化部３５５に供給する。

量子化部３５５やエントロピ符号化部３５６は、各係数ラインを、供給された順に処理する。つまり、量子化部３５５やエントロピ符号化部３５６は、図１８の左に示される順に、各係数ラインを処理することになる。

［復号装置の構成］
次に、図１７の符号化装置３５０に対応する復号装置について説明する。図１９は、図１７の符号化装置に対応する復号装置の主な構成例を示すブロック図である。図１９に示される復号装置４００は、符号化装置３５０により画像データが符号化された符号化データを復号する。

図１９に示されるように、復号装置４００は、分割レベル数検出部４０１、エントロピ復号部４０２、係数バッファ部４０３、およびウェーブレット逆変換部４０４を有する。

分割レベル数検出部４０１は、符号化装置３５０から供給される符号化データを取得し（矢印４１１）、その符号化データのヘッダ等に含められている分割レベル数を示す情報を、コードストリームから検出し、抽出し、ウェーブレット逆変換部４０４に供給する（点線矢印４２１）。

また、分割レベル数検出部４０１は、符号化データをエントロピ復号部４０２に供給する（矢印４１２）。

エントロピ復号部４０２は、供給された符号化データをエントロピ符号化部３５６による符号化方法に対応する復号方法で復号し、係数データを得る。その係数データは、係数バッファ部４０３に供給されて（矢印４１３）格納される。

ウェーブレット逆変換部４０４は、係数バッファ部４０３に格納された係数データを取得し（矢印４１４）、その係数データを用いて合成フィルタによる合成フィルタ処理（ウェーブレット逆変換）を行い、合成フィルタ処理の結果を再び係数バッファ部４０３に供給して（矢印４１５）格納させる。

ウェーブレット逆変換部４０４は、この処理を、分割レベル数検出部４０１から供給される情報により示される分割レベル数に応じて繰り返し、復号された画像データ（出力画像データ）を得ると、それを外部に出力する（矢印４１６）。

このように、復号装置４００は、低遅延に符号化データを復号することができる。

［処理の流れ］
次に、符号化装置３５０および復号装置４００により実行される処理の流れの例について説明する。最初に、図２０のフローチャートを参照して符号化装置３５０により実行される符号化処理の流れの例を説明する。

符号化処理が開始されると、ステップＳ１８１において、ウェーブレット変換部３５３は、ウェーブレット変換の分割レベル数を決定する。この分割レベル数制御処理の詳細は、例えば、図９や図１１のフローチャートを参照して説明した分割レベル制御処理と同様であるので、その説明は省略する。

ウェーブレット変換処理の分割レベル数が決定すると、ステップＳ１８２において、ウェーブレット変換部３５３は、その決定した分割レベル数を、係数ライン並び替え部３５４やエントロピ符号化部３５６に通知する。

ステップＳ１８３において、ウェーブレット変換部３５３は、ラインバッファ部３５２からラインを入力しながらウェーブレット変換を行う。

ステップＳ１８４において、ウェーブレット変換部３５３は、１ラインブロック分の処理を行ったか否かを判定し、まだラインブロック内に未処理のラインが存在すると判定された場合、ステップＳ１８３に戻り、それ以降の処理を繰り返す。

ステップＳ１８４において１ラインブロック分の処理が行われたと判定された場合、ステップＳ１８５に進む。

ステップＳ１８５において、係数ライン並び替え部３５４は、１ラインブロック分の係数データを並び替える。ステップＳ１８６において、量子化部３５５は、係数データに対して量子化を行う。

エントロピ符号化部３５６は、ステップＳ１８７において、量子化された係数データをエントロピ符号化し、ステップＳ１８８において、生成した符号化データを出力する。

ステップＳ１８９において、レート制御部３５７は、エントロピ符号化部３５６から供給される情報に基づいて量子化部３５５を制御し、レート制御を行う。

ステップＳ１９０において、ウェーブレット変換部３５３は、ピクチャ内において、最終ラインブロックまで処理したか否かを判定し、未処理のラインブロックが存在すると判定された場合、ステップＳ１８３に戻り、それ以降の処理を繰り返す。

ステップＳ１８３乃至ステップＳ１９０の処理が繰り返し実行され、ステップＳ１９０において、最終ラインブロックまで処理したと判定された場合、符号化処理が終了する。

この符号化処理は、フレーム（ピクチャ）毎に繰り返し実行される。

以上のように符号化処理を行うことにより、符号化装置３５０は、符号化される画像のフォーマットによらず、不要な画質劣化を抑制しながら、低遅延での符号化を実現することができる。

次に、図１９の復号装置４００により実行される復号処理の流れの例を、図２１のフローチャートを参照して説明する。

復号処理が開始されると、ステップＳ２０１において、分割レベル数検出部４０１は、供給される符号化データの分割レベル数を検出する。

ステップＳ２０２において、エントロピ復号部４０２は、符号化データをエントロピ復号し、係数データを復元する。ステップＳ２０３において、係数バッファ部４０３は、係数データを保持する。ステップＳ２０４において、係数バッファ部４０３に蓄積されている係数データに対して、ウェーブレット逆変換部４０４は、分割レベル数検出部４０１から供給された分割レベル数でウェーブレット逆変換を行い、復号画像を生成し、出力する。

ステップＳ２０５において、ウェーブレット逆変換部４０４は、最終ラインブロックまで処理したか否かを判定する。未処理のラインブロックが存在すると判定された場合、ステップＳ２０２に戻り、それ以降の処理を繰り返す。また、ステップＳ２０５において、最終ラインブロックまで処理されたと判定された場合、復号処理が終了する。

このような復号処理がフレーム（ピクチャ）毎に繰り返される。

以上のように復号処理を行うことにより、復号装置４００は、符号化装置３５０が設定した分割レベル数に応じて復号画像を生成することができる。

［他の構成例］
なお、図１７の符号化装置３５０においては、ウェーブレット変換部３５３から出力される係数ラインが並び替えられるように説明したが、この並び替えのタイミングは、ウェーブレット逆変換が行われるまでの間であれば、任意のタイミングにて行うことができる。

図２２は、本発明を適用した符号化装置の他の構成例を示すブロック図である。例えば、図２２に示される符号化装置４５０のように、エントロピ符号化処理後に、符号化データを並び替えるようにしても良い。

符号化装置４５０は、符号化装置３５０と基本的に同様の構成を有するが、符号化装置３５０の係数ライン並び替え部３５４の代わりに、符号並び替え部４５４を有する。

したがって、ウェーブレット変換部３５３から出力される係数データは、量子化部３５５に供給される（矢印４６６）つまり、この場合、量子化部３５５およびエントロピ符号化部３５６は、係数データを、ウェーブレット変換処理により生成された順に処理する。

符号並び替え部４５４は、並び替えを行う対象が符号化データであること以外は、係数ライン並び替え部３５４と基本的に同様である。つまり、符号並び替え部４５４は、基本的に、係数ライン並び替え部３５４と同様の構成を有し、同様に処理を行う。

符号並び替え部４５４は、そのウェーブレット変換部３５３からの出力順に供給される符号化データ（矢印４６８）の並び順を、ウェーブレット逆変換処理される順に並び替えて出力する（矢印４６９）。

つまり、符号化装置４５０から出力される符号化データの並び順は、符号化装置３５０から出力される符号化データの並び順と同一である。つまり、これらの符号化データの仕様は互いに同一である。したがって、符号化装置４５０において生成された符号化データは、上述した復号装置４００により復号することができる。

このような符号化装置４５０も、符号化装置３５０の場合と同様に、符号化される画像のフォーマットによらず、不要な画質劣化を抑制しながら、低遅延での符号化を実現することができる。

＜４．第４の実施の形態＞
［コンポーネント例］
以上においては単一のピクチャの実施形態について述べたが、一般に画像は複数のコンポーネントから構成されている。例えば、RGBやYCｂCrなどが代表的な例である。一般にRGBはR,G,Bの３つのコンポーネントの画像サイズがすべて同じであるが、YCｂCrでは、図２３に示されるように4：2：2フォーマットの場合には垂直ライン数が同じであるが、4：2：0フォーマットの場合には垂直ライン数が２分の１になる。

４：２：２フォーマットの場合には垂直ライン数がY，Cb，Crともに同一であるので問題はないが、４：２：０の場合にはCb及びCrの垂直ライン数はYの２分の１しかないので、ベースバンドの１ライン当たりの時間は２倍になる。従って、CbやCrに対してウェーブレット変換を、Yと同一の分割レベル数で行うと、その所要時間も２倍になる。従って、CbおよびCrに影響を受けて遅延時間が増えてしまうことになる。

つまり、図２３の下段に示される４：２：０フォーマットの場合、より低遅延にウェーブレット変換を行うためには、CbおよびCrに対するウェーブレット変換の遅延時間を、Yに対するウェーブレット変換の遅延時間と同一にすることが望ましい。

図２３の下段に示される４：２：０フォーマットの場合、CbとCrのウェーブレット変換の分割レベル数を、Yよりも１つだけ少なくすることにより、遅延時間を互いに同一とすることができる。しかも、Cb、Crは一般にYに比べて圧縮効率が高く取れるため、ウェーブレット変換の分割レベル数を１つ減らしても性能劣化は少ない。

つまり、不要な画質劣化を抑制しながら、低遅延での符号化を実現することができるようになる。

［分割レベル制御装置の構成］
図２４は、本発明を適用した分割レベル制御装置の、さらに他の構成例を示すブロック図である。

図２４に示される分割レベル制御装置５００は、図１を参照して説明した分割レベル制御装置１００を複数コンポーネントに対応させたものである。

分割レベル制御装置５００は、基本的に分割レベル制御装置１００と同様の構成を有するが、分割レベル決定部１０５の代わりに分割レベル決定部５０５を有し、さらに、フォーマット検出部５０１を有する。

フォーマット検出部５０１は、外部から供給されるフォーマットに関する情報を取得し（矢印５２３）、ウェーブレット変換される画像のコンポーネントについてのフォーマットを検出する。なお、フォーマット検出部５０１は、入力画像から（矢印５２５）、そのフォーマットを検出するようにしてもよい。

フォーマット検出部５０１は、検出したフォーマットを分割レベル決定部５０５に供給する（矢印５２４）。

分割レベル決定部５０５は、複数のコンポーネットよりなる画像データに対するウェーブレット変換処理の分割レベル数を決定する。分割レベル決定部５０５は、各コンポーネントについて、それぞれ分割レベル数を決定する。

分割レベル決定部５０５は、例えば、Y分割レベル決定部５１１、Cb分割レベル決定部５１２、およびCr分割レベル決定部５１３を有する。

Y分割レベル決定部５１１は、輝度成分Yについての分割レベル数を決定する。Cb分割レベル決定部５１２は、色差成分Cbについての分割レベル数を決定する。Cr分割レベル決定部５１３は、色差成分Crについての分割レベル数を決定する。

Y分割レベル決定部５１１は、輝度成分Yについて、上述した分割レベル制御装置１００の分割レベル決定部１０５の場合と同様に、分割レベル数毎の遅延時間と許容遅延時間とから、分割レベル数の決定を行う。Cb分割レベル決定部５１２およびCr分割レベル決定部５１３は、それぞれ、Y分割レベル決定部５１１により決定された分割レベル数を基準とし、フォーマット検出部５０１において検出されたフォーマットに応じた比となるように分割レベル数を決定する。

各コンポーネントについて分割レベル数が決定すると、分割レベル決定部５０５は、決定した各分割レベル数を指定するYCbCr分割レベル指定情報を、分割レベル決定部１０５の場合と同様に、外部に出力する（矢印５３１）。

このように、分割レベル制御装置５００は、コンポーネントのフォーマットに応じて分割レベル数を適切に設定することができる。これにより、分割レベル制御装置５００は、ウェーブレット変換される画像のフォーマットによらず、不要な画質劣化を抑制しながら、低遅延でのウェーブレット変換を実現することができる。

［処理の流れ］
このような分割レベル制御装置５００により実行される分割レベル制御処理の流れの例について、図２５のフローチャートを参照して説明する。

分割レベル制御処理が開始されると、ステップＳ２２１において、許容遅延時間算出部１０１は、図９のステップＳ１０１の場合と同様に、許容遅延時間を受け付ける。

ステップＳ２２２において、フォーマット検出部５０１は、入力画像のコンポーネントについてフォーマット（例えば、４：２：０や４：２：２等）を検出する。

ステップＳ２２３において、フレームレート検出部１０２は、図９のステップＳ１０２の場合と同様に、入力画像のフレームレートを検出する。

ステップＳ２２４において、垂直ライン数検出部１０３は、図９のステップＳ１０３の場合と同様に、入力画像の垂直ライン数を検出する。

ステップＳ２２５において、遅延時間算出部１０４は、輝度Yについて、図９のステップＳ１０４の場合と同様に、フレームレートと垂直ライン数に基づいて、分割レベル毎の遅延時間を算出する。

ステップＳ２２６において、Y分割レベル決定部５１１は、輝度Yについて、図９のステップＳ１０５の場合と同様に、遅延時間と許容遅延時間を比較し、分割レベル数を決定する。

ステップＳ２２７において、Cb分割レベル決定部５１２およびCr分割レベル決定部５１３は、コンポーネントのフォーマットに応じた比で、輝度Yの分割レベル数から、色差Cb、Crの分割レベル数をそれぞれ決定する。

各コンポーネントの分割レベル数が決定すると、分割レベル制御処理が終了する。

このような分割レベル制御処理が行われることにより、コンポーネントのフォーマットに応じて分割レベル数が適切に設定されるので、ウェーブレット変換される画像のフォーマットによらず、不要な画質劣化を抑制しながら、低遅延でのウェーブレット変換を実現することができる。

なお、以上においては、５×３フィルタを用いてウェーブレット変換処理が行われるように説明したが、ウェーブレット変換処理に用いられるフィルタは、例えば９×７フィルタ等、これ以外であっても良い。

＜５．第５の実施の形態＞
［フィルタ選択装置の構成］
また、以上においては、分割レベル数の制御によって、遅延時間を制御するように説明したが、これに限らず、ウェーブレット変換処理に用いられるフィルタの選択によって、遅延時間を制御するようにしてもよい。

図２６は、本発明を適用したフィルタ選択装置の主な構成例を示すブロック図である。

後述するように、ウェーブレット変換処理に使用されるフィルタによって、ラインブロックのライン数が異なる。したがって、ウェーブレット変換による遅延時間も変化する。

図２６に示されるフィルタ選択装置５５０は、このことを利用し、ウェーブレット変換処理において使用されるフィルタを選択することにより、そのウェーブレット変換処理の遅延時間を制御する装置である。

フィルタ選択装置５５０は、フィルタ選択により遅延時間を制御すること以外、図１の分割レベル制御装置１００と基本的に同様の装置である。

フィルタ選択装置５５０は、低遅延を維持しつつ（不要に遅延時間を増大させずに）、不要に画質を劣化させないように、ウェーブレット変換される画像のフォーマット（例えば、解像度やフレームレート等）や許容遅延時間等に応じて、使用するフィルタを決定（指定）する。

この制御対象となるウェーブレット変換処理は、フィルタ選択装置５５０の外部にて行われる。また、この制御対象となるウェーブレット変換処理は、使用するフィルタを変更することができる。使用されるフィルタの候補として、複数種類のフィルタが予め用意されており、ウェーブレット変換処理は、その中から１つを選択して使用することができる。

このようなウェーブレット変換処理を制御するフィルタ選択装置５５０は、分割レベル制御装置１００と基本的に同様の構成を有する。ただし、分割レベル決定部１０５の代わりにフィルタ決定部５５５を有する。

また、フィルタ選択装置５５０の遅延時間算出部１０４は、フレームレート検出部１０２から供給されたフレームレート（矢印５６４）、および、垂直ライン数検出部１０３から供給された垂直ライン数（矢印５６７）に基づいて、分割レベル毎の遅延時間の代わりに、各フィルタを用いた場合のウェーブレット変換処理の遅延時間（フィルタ毎の遅延時間）を算出し、フィルタ決定部５５５に供給する（矢印５６８）。

フィルタ決定部５５５は、遅延時間算出部１０４において算出されたフィルタ毎の遅延時間と、許容遅延時間受付部１０１から供給された許容遅延時間（矢印５６２）とを比較し、その比較結果に基づいて、ウェーブレット変換処理に使用するフィルタを決定する。

フィルタ決定部５５５は、フィルタを指定するフィルタ指定情報を、外部（例えばウェーブレット変換処理部や記憶部等）に出力する（矢印５６４）。つまり、フィルタ決定部５５５は、遅延時間が許容遅延時間より短いフィルタを選択する。

一般的に、フィルタは、タップ長が長いほど、周波数分解特性が高く、圧縮性能が良好である傾向がある。しかしながら、タップ長が長いほどラインブロックのライン数が増大するので、ウェーブレット変換処理の遅延時間は増大する。

従って、この圧縮性能と遅延時間のトレードオフを考慮しながら最適な分析フィルタを決定することが望ましい。例えば、ウェーブレット変換処理を実現する分析フィルタを予め複数個用意しておいて、各分析フィルタでウェーブレット変換を特定レベル数（Level）だけ行った場合のラインブロックのライン数を記憶しておき、最初のラインブロックのライン数分のウェーブレット変換を上記レベル（Level）数分だけ実行した場合の時間（T)以内に、最初のラインブロックのウェーブレット変換が完了する分析フィルタを選択する。

この場合、複数個の候補が選択された場合には、最もフィルタタップ長の長いものが、圧縮効率が高いので、それを選べばよい。

フィルタ決定部５５５は、例えば、遅延時間が許容遅延時間内となるフィルタのうち、最もタップ長の長いフィルタを採用する。つまり、分割レベル決定部１０５は、与えられた許容遅延時間をウェーブレット変換による遅延時間の上限としつつ、できるだけタップ数の長いフィルタを選択する。

このようにすることにより、フィルタ決定部５５５は、復号画像の画質劣化をより抑制することができる。

フィルタを選択するとフィルタ決定部５５５は、フィルタを指定するフィルタ指定情報を外部に出力する（矢印５６９）。

このフィルタ指定情報の供給先は任意である。例えば、フィルタを指定したウェーブレット変換処理を行うウェーブレット変換装置であってもよいし、フィルタ指定情報を一時的に保持する記憶装置などであってもよい。

［９×７フィルタ］
ここで、５×７フィルタ以外の例として９×７フィルタを説明する。図２７は、９×７フィルタのリフティング表現を示す図である。実数型９×７フィルタは、５×３フィルタに比べてタップ長が長く、JPEG2000 Part-1でも採用されている。通常の畳み込み演算と異なり、リフティング手段による方法では、以下のStep-1〜Step-4までの4個のステップを経て、低域成分と高域成分を算出する。

Step-1: di1= di0 + α(si0 + si+10) ・・・（６）
Step-2: si1= si0 + β(di-11 + di1) ・・・（７）
Step-3: di2= di1 + γ(si1 + si+11) ・・・（８）
Step-４: si2= si1 + σ(di-12 + di2) ・・・（９）
（α=-1.586134342, β=-0.05298011857, γ=0.8829110755, σ=0.4435068520）

［ラインブロック］
図２８は、９×７フィルタを用いる場合のラインブロックの例を説明する図である。

９×７フィルタを用いた分析フィルタリングの場合、図２８に示されるように、次の分割レベルの１ライン目の係数データを生成するのに、現在の分割レベルの係数データが５ライン必要であり、次の分割レベルの２ライン目以降の係数データ１ラインを生成するのに、現在の分割レベルの係数データが２ライン必要である。

従って、ウェーブレット変換において分割レベル１まで分析フィルタリングを行う場合、ベースバンドの画像データにおけるラインブロックのライン数は５ラインである。同様に、ベースバンドの画像データにおけるラインブロックのライン数は、分割レベル２までの分析フィルタリングの場合１３ライン、分割レベル３までの分析フィルタリングの場合２９ライン、分割レベル４までの分析フィルタリングの場合６１ラインとなる。

このように、９×７フィルタの場合、ラインブロックのライン数は、５×３フィルタの場合よりも多くなる。つまり、ウェーブレット変換処理において９×７フィルタを使用する方が、５×３フィルタを用いる場合よりも、その遅延時間が増大する。

例えば、フィルタ選択装置５５０は、許容遅延時間や画像のフォーマット等に応じて、予め用意された９×７フィルタと５×３フィルタのいずれか一方を選択する。制御対象のウェーブレット変換処理は、その選択された方のフィルタを用いて分析フィルタリングを行う。

［処理の流れ］
図２９は、以上のような制御を行うためにフィルタ選択装置５５０が実行するフィルタ選択処理の流れの例を説明するフローチャートである。

フィルタ選択処理が開始されると、ステップＳ２４１乃至ステップＳ２４３の各処理が、分割レベル制御処理のステップＳ１０１乃至ステップＳ１０３（図９）と同様に実行される。

ステップＳ２４４において、遅延時間算出部１０４は、フレームレートと垂直ライン数に基づいて、フィルタごとの遅延時間を算出する。

ステップＳ２４５において、フィルタ決定部５５５は、遅延時間と許容遅延時間を比較し、その遅延時間が許容遅延時間より短く、かつ、タップ数ができるだけ長くなるようにフィルタを決定する。

ステップＳ２４５の処理が終了すると、フィルタ選択処理が終了される。

以上のように処理を行うことにより、フィルタ選択装置５５０は、ウェーブレット変換する画像の解像度によらず、不要な画質劣化を抑制しながら、低遅延でのウェーブレット変換を実現することができる。

［他の構成例］
分割レベル数の決定の場合と同様に、フィルタ選択もテーブル情報に基づいて行うようにしてもよい。その場合、図３０に示されるフィルタ選択装置６００のように、遅延時間算出部１０４およびフィルタ決定部５５５の代わりに、テーブル保持部６０４およびフィルタ決定部６０５を有する。

テーブル保持部６０４は、フレームレートおよび垂直ライン数と、予め用意された複数のフィルタの各遅延時間とが対応付けられたテーブル６１１を保持する。

フィルタ決定部６０５は、このテーブル保持部６０４からテーブル６１１を取得し、そのテーブル６１１を用いて、供給されたフレームレートおよび垂直ライン数から、フィルタ毎の遅延時間を求め、その各フィルタの遅延時間と許容遅延時間を比較し、その比較結果からウェーブレット変換処理に用いられるフィルタを決定し、そのフィルタを指定するフィルタ指定情報を出力する（矢印６２９）。

つまり、テーブル６１１を用いてフィルタを決定すること以外は、フィルタ選択装置５５０の場合と同様である。

［処理の流れ］
したがって、フィルタ選択装置６００が実行するフィルタ選択処理の流れも、図２９のフローチャートを参照して説明したのと基本的に同様である。

つまり、フィルタ選択処理が開始されると、ステップＳ２６１乃至ステップＳ２６３の各処理が、ステップＳ２４１乃至ステップＳ２４３と同様に実行される。

ステップＳ２６４において、フィルタ決定部６０５は、テーブル保持部１５４からテーブル１６１を取得し、そのテーブル１６１を参照し、上述したように、許容遅延時間、垂直ライン数、およびフレームレートから、ウェーブレット変換処理において使用するフィルタを決定する。

ウェーブレット変換において使用されるフィルタを決定し、フィルタ指定情報が出力されると、フィルタ選択処理が終了する。

＜６．第６の実施の形態＞
［ウェーブレット変換装置の構成］
もちろん、フィルタを選択する制御は、ウェーブレット変換装置にも適用することができる。その場合、ウェーブレット変換装置６５０は、図３２に示されるように、図２６のフィルタ選択装置５５０またはフィルタ選択装置６００と同様の構成を有し、同様の処理を行うフィルタ選択部６５１と、フィルタ選択部６５１により選択されたフィルタを用いてウェーブレット変換を行うウェーブレット変換部６５２を有する。

［処理の流れ］
ウェーブレット変換装置６５０は、図３３に示されるように、ウェーブレット変換処理を行う。つまり、フィルタ選択部６５１は、ステップＳ２８１において、図２９または図３１のフローチャートを参照して説明したようにフィルタ選択処理を行う。

ウェーブレット変換部６５２は、ステップＳ２８２において、選択されたフィルタを使用してウェーブレット変換処理を行う。

以上のようにフィルタ選択処理を行ってからウェーブレット変換処理を行うことにより、ウェーブレット変換装置６５０は、ウェーブレット変換する画像の解像度によらず、不要な画質劣化を抑制しながら、低遅延でのウェーブレット変換を実現することができる。

なお、入力画像が動画像であっても、基本的にその動画像の途中でフォーマットが変化することはない。したがって、一般的には、ステップＳ２８１のフィルタ選択処理は、例えば、入力される動画像の入力時またはその前等に、１回だけ行われるようにしてもよい。この場合、ステップＳ２８２のウェーブレット変換処理は、各フレーム画像に対して、その動画像が終了するまで繰り返し実行される。

［他の構成例］
なお、以上のようにフィルタを選択する場合も、遅延時間を実際に測定し、その測定結果に基づいて行うようにしてもよい。

その場合のウェーブレット変換装置の構成例は、図３４に示されるように、図３２に示されるウェーブレット変換装置６５０の場合と基本的に同様である。ただし、図３４に示されるウェーブレット変換装置７００の場合、フィルタ選択部６５１の代わりにフィルタ選択部７０１を有する。

このフィルタ選択部７０１は、ウェーブレット変換処理に使用されるフィルタを選択する処理部であるが、図３４に示されるように、基本的に図１４の分割レベル制御部２５１と同様の構成を有する。ただし、フィルタ選択部７０１は、分割レベル決定部２６４の代わりに、フィルタ決定部７１４を有する。

フィルタ決定部７１４は、所要時間測定部２６３により測定された遅延時間（矢印７２６）と、許容遅延時間受付部２６１から供給された許容遅延時間（矢印７２２）とを比較し、その比較結果に基づいて、ウェーブレット変換処理に用いるフィルタを決定する。

このフィルタの決定方法は、図２６や図３０を参照して説明した場合と同様である。ただし、フィルタを選択するためには、予め用意されている全てのフィルタについて遅延時間を測定する必要があるので、フィルタ決定部７１４は、その全てのフィルタを（１つずつ）使用してウェーブレット変換を行うように繰り返し実行させる。

全てのフィルタについて遅延時間が得られると、フィルタ決定部７１４は、上述したように比較結果に基づいて最適なフィルタを選択し、ウェーブレット変換部６５２に制御情報を供給することにより（矢印７２７）、そのフィルタを使用するようにウェーブレット変換部６５２を制御する。

また、フィルタ決定部７１４は、係数保持部２６２に制御情報を供給し（矢印７２８）、選択したフィルタを用いて行われたウェーブレット変換により得られた係数データを出力させる（矢印７２９）。

なお、各フィルタの遅延時間を測定する際に、例えば、ウェーブレット変換部６５２が、遅延時間の短いフィルタから順に（各フィルタの遅延時間の長さ順に）選択してウェーブレット変換を繰り返すようにしてもよい。つまり、フィルタ決定部７１４がそのようにウェーブレット変換部６５２を制御するようにしてもよい。

この場合、フィルタ決定部７１４は、遅延時間が得られるたびにその遅延時間を許容遅延時間と比較し、遅延時間が許容遅延時間を超えた時点で遅延時間の測定を終了させ、１つ前に遅延時間を測定したフィルタを、ウェーブレット変換処理に使用するフィルタとして決定する。そしてフィルタ決定部７１４は、ウェーブレット変換部６５２にそのフィルタを用いてウェーブレット変換処理を行わせるように制御する。

つまり、この場合、予め用意された複数のフィルタの全てについて遅延時間を測定するとは限らない。

［処理の流れ］
ウェーブレット変換装置７００は、図３５に示されるフローチャートのように、ウェーブレット変換処理を行う。

ウェーブレット変換処理が開始されると、許容遅延時間受付部２６１は、ステップＳ３０１において、許容遅延時間を受け付ける。ステップＳ３０２において、フィルタ決定部７１４は、ウェーブレット変換部６５２が使用するフィルタを選択する。

ステップＳ３０３において、ウェーブレット変換部６５２は、選択されたフィルタを用いてウェーブレット変換処理を行う。ステップＳ３０４において、係数保持部２６２は、ステップＳ３０３の処理により生成された係数データを保持する。ステップＳ３０５において、所要時間測定部２６３は、そのウェーブレット変換処理の所要時間（遅延時間）を測定する。

ステップＳ３０６において、フィルタ決定部７１４は、全てのフィルタについて遅延時間を測定したか否かを判定する。未処理のフィルタが存在すると判定された場合、ステップＳ３０７に進む。

ステップＳ３０７において、フィルタ決定部７１４は、制御情報をウェーブレット変換部６５２に供給することにより、ウェーブレット変換部６５２に未処理のフィルタを選択させる。処理は、ステップＳ３０３に戻り、ウェーブレット変換部６５２は、その指示に従ってウェーブレット変換処理を進める。

このようにステップＳ３０３乃至ステップＳ３０７の処理が繰り返し実行され、ステップＳ３０６において、予め用意されたフィルタの全てについて遅延時間が測定されたと判定された場合、ステップＳ３０８に進む。

ステップＳ３０８において、フィルタ決定部７１４は、測定された各遅延時間と許容遅延時間を比較し、許容遅延時間より短く、かつ、許容遅延時間に最も近い遅延時間のフィルタを選択する。フィルタ決定部７１４は、制御情報をウェーブレット変換部６５２に供給することにより、決定したフィルタを、ウェーブレット変換部６５２に通知する。

ステップＳ３０９において、係数保持部２６２は、フィルタ決定部７１４の制御に従い、フィルタ決定部７１４により選択されたフィルタを用いてウェーブレット変換された係数データを出力する。

ステップＳ３１０において、ウェーブレット変換部６５２は、フィルタ決定部７１４の制御に従い、フィルタ決定部７１４により選択されたフィルタを用いてウェーブレット変換を行う。

ステップＳ３１０の処理が終了するとウェーブレット変換処理が終了する。

以上のように、ウェーブレット変換処理を行うことにより、ウェーブレット変換装置７００は、ウェーブレット変換する画像の解像度によらず、不要な画質劣化を抑制しながら、低遅延でのウェーブレット変換を実現することができる。

例えば、入力画像のフォーマットが一般的でなく、解像度やフレームレート等の仕様が不明であり、かつ、メタデータ等も存在せず、それらの情報が得にくいような場合、上述したように実際に遅延時間を測定することでより正確なフィルタ選択を行うことができるので、より有効である。

なお、以上のようなウェーブレット変換処理の所要時間（遅延時間）の測定およびフィルタの設定は、どのようなタイミングで行うようにしてもよい。例えば、入力画像に対するウェーブレット変換処理開始時に行うようにしても良いし、例えば、シーン毎、GOP毎、若しくはフレーム毎のように、所定のタイミングで定期的または不定期に繰り返し行うようにしても良いし、全ラインブロックにつてい行うようにしても良い。

［他の構成例２］
なお、分割レベル数制御の場合と同様に、ウェーブレット変換部６５２において生成された係数データは、係数保持部２６２において保持せずに後段の処理部に供給するようにしてもよい。図３６は、本発明を適用したウェーブレット変換装置の、さらに他の構成例を示すブロック図である。

図３６に示されるウェーブレット変換装置７５０は、ウェーブレット変換装置７００と同様に、ウェーブレット変換部６５２を有するが、フィルタ選択部７０１の代わりに、係数保持部２６２を有していないフィルタ選択部７５１を有する。

ウェーブレット変換部６５２において生成された係数データは、ウェーブレット変換装置７５０の外部の処理部７８０に供給される（矢印７７４）。処理部７８０は、供給された係数データを、内蔵する記憶部（図示せず）に保持しても良いし、所定の処理を施してから、その処理結果を、内蔵する記憶部（図示せず）に保持してもよい。

フィルタ選択部７５１のフィルタ決定部７６４は、フィルタを決定すると、ウェーブレット変換部６５２を制御するとともに、制御情報を後段の処理部７８０に供給し（矢印７７７）、保持している係数データ、若しくは、処理部３３０における係数データの処理結果のうち、選択したフィルタを用いたウェーブレット変換処理により得られた係数データ（若しくはその係数データを処理した処理結果）のみを残し、それ以外のデータを破棄させる。

このようにすることにより、ウェーブレット変換装置７５０は、ウェーブレット変換装置７００の場合と同様に、入力画像に対してより適切なフィルタを用いてウェーブレット変換処理を行うことができる。

＜７．第７の実施の形態＞
［符号化装置の構成］
以上のような、フィルタの選択により遅延時間を制御するウェーブレット変換は、上述した分割レベル数制御の場合と同様に、符号化装置にも適用することができる。

図３７は、本発明を適用した符号化装置の、さらに他の構成例を示すブロック図である。

図３７に示される符号化装置８００は、画像データをウェーブレット変換して符号化し、符号化データを生成する装置である。符号化装置８００は、ウェーブレット変換に用いるフィルタを選択することにより、符号化処理の遅延時間を制御する。

符号化装置８００の構成は、基本的に図１７に示される符号化装置３５０と同様である。ただし、符号化装置８００は、符号化装置３５０のウェーブレット変換部３５３の代わりにウェーブレット変換部８０３を有する。

ウェーブレット変換部８０３は、基本的にウェーブレット変換部３５３と同様に動作し、ラインバッファ部３５２から読み出した画像データや係数データをウェーブレット変換する。

ただし、ウェーブレット変換部８０３は、上述したウェーブレット変換装置６５０やウェーブレット変換装置７００のように、外部から供給される許容遅延時間を用いて、ウェーブレット変換に用いるフィルタを選択する。ウェーブレット変換部８０３は、このように自分自身が決定したフィルタを用いてウェーブレット変換を実行する。

これにより、符号化装置８００は、符号化される画像のフォーマットによらず、不要な画質劣化を抑制しながら、低遅延での符号化を実現することができる。

なお、ウェーブレット変換部８０３は、係数ライン並び替え部３５４に対して、決定したフィルタを示す情報を供給する（点線矢印８２１）。また、ウェーブレット変換部８０３は、決定したフィルタを示す情報を、エントロピ符号化部３５６にも供給する。エントロピ符号化部３５６は、そのフィルタを示す情報を符号化データのヘッダ等に含め、コードストリームとして復号装置に供給する。つまり、ウェーブレット変換部３５３において決定されたフィルタについての情報は、復号装置にも供給される。

［復号装置の構成］
図３８は、その復号装置８５０の主な構成例を示すブロック図である。復号装置８５０は、符号化装置８００に対応する復号装置であり、符号化装置８００の符号化処理に対応する方法で、符号化装置８００により生成された符号化データを復号する。

図３８に示されるように、復号装置８５０は、復号装置４００と基本的に同様の構成を有する。ただし、復号装置８５０は、分割レベル数検出部４０１の代わりにフィルタ検出部８５１を有する。

フィルタ検出部８５１は、符号化装置８００から供給されるコードストリーム（矢印８６１）から、ウェーブレット変換処理に用いられたフィルタを指定するフィルタ情報を検出し、それをウェーブレット逆変換部４０４に供給する（点線矢印８７１）。

ウェーブレット逆変換部４０４は、フィルタ検出部８５１から供給されたフィルタ情報により指定されるフィルタを用いて、係数バッファ部４０３から取得した係数データをウェーブレット逆変換する。

このように、復号装置８５０は、低遅延に符号化データを復号することができる。

［処理の流れ］
次に、以上のような符号化装置８００および復号装置８５０により実行される処理の流れの例について説明する。最初に、図３９のフローチャートを参照して符号化装置８００により実行される符号化処理の流れの例を説明する。

符号化装置８００は、符号化装置３５０と基本的に同様に符号化処理を行う。ただし、符号化装置８００のウェーブレット変換部８０３は、ステップＳ３２１において、ウェーブレット変換処理に用いるフィルタの選択を行う。このフィルタ選択処理の詳細は、例えば図２９や図３１のフローチャートを参照して説明した場合と同様であるので、その説明を省略する。

また、ウェーブレット変換部８０３は、ステップＳ３２２において、使用するフィルタを、係数ライン並び替え部３５４やエントロピ符号化部３５６に通知する。

それ以降のステップＳ３２３乃至ステップＳ３３０の各処理は、図２０のステップＳ１８３乃至ステップＳ１９０の各処理と同様に実行される。

この符号化処理は、フレーム（ピクチャ）毎に繰り返し実行される。

以上のように符号化処理を行うことにより、符号化装置３５０は、符号化される画像のフォーマットによらず、不要な画質劣化を抑制しながら、低遅延での符号化を実現することができる。

次に、図３８の復号装置８５０により実行される復号処理の流れの例を、図４０のフローチャートを参照して説明する。

復号装置８５０は、復号装置４００と基本的に同様に復号処理を行う。ただし、復号装置８５０のフィルタ検出部８５１は、ステップＳ３４１において、ウェーブレット逆変換処理に使用するフィルタを指定するフィルタ情報を検出する。

ステップＳ３４２乃至ステップＳ３４５の各処理は、図２１のステップＳ２０２乃至ステップＳ２０５の各処理と同様に実行される。ただし、ステップＳ３４４において、ウェーブレット逆変換部４０４は、フィルタ情報により指定されるフィルタを用いてウェーブレット逆変換を行う。

このような復号処理がフレーム（ピクチャ）毎に繰り返される。

以上のように復号処理を行うことにより、復号装置８５０は、符号化装置８００が設定したフィルタを用いて復号画像を生成することができる。

なお、第４の実施の形態において説明した分割レベル数制御の場合と同様に、複数コンポーネントのそれぞれについてフィルタを選択することができるようにしてもよい。

＜８．第８の実施の形態＞
［分割レベル・フィルタ制御装置の構成］
なお、上述したような分割レベルの制御とフィルタの選択の両方を行うようにしてもよい。

図４１は、本発明を適用した分割レベル・フィルタ制御装置の主な構成例を示すブロック図である。図４１に示される分割レベル・フィルタ制御装置９００は、図１に示される分割レベル制御装置１００による分割レベルの制御、図２６に示されるフィルタ選択装置５５０によるフィルタの選択の両方を行う装置である。

図４１に示されるように、分割レベル・フィルタ制御装置９００は、分割レベル制御装置１００と基本的に同様の構成を有するが、分割レベル決定部１０５の代わりに、分割レベル・フィルタ決定部９０５を有する。

分割レベル・フィルタ決定部９０５は、外部により行われるウェーブレット変換処理に使用されるフィルタと、そのウェーブレット変換処理の分割レベル数とを決定し、それらを指定する分割レベル数・フィルタ指定情報を出力する。

分割レベル・フィルタ決定部９０５は、フィルタの選択を、フィルタ選択装置５５０のフィルタ決定部５５５の場合と同様に行う。また、分割レベル・フィルタ決定部９０５は、分割レベル数の決定を、分割レベル制御装置１００の分割レベル決定部１０５の場合と同様に行う。

［処理の流れ］
図４２は、以上のような制御を行うために分割レベル・フィルタ決定部９０５が実行する分割レベル・フィルタ制御処理の流れの例を説明するフローチャートである。

分割レベル・フィルタ制御処理が開始されると、ステップＳ３６１乃至ステップＳ３６３の各処理が、図９のステップＳ１０１乃至ステップＳ１０３の各処理と同様に実行される。

ステップＳ３６４において、遅延時間算出部１０４は、フレームレートと垂直ライン数に基づいて、分割レベルおよびフィルタごとの遅延時間を算出する。ステップＳ３６５において、分割レベル・フィルタ決定部９０５は、各遅延時間と許容遅延時間を比較し、分割レベル数およびフィルタを決定する。分割レベル数の決定方法は、例えば分割レベル制御装置１００の場合と同様である。また、フィルタの選択方法は、例えばフィルタ選択装置５５０の場合と同様である。

以上のように分割レベル・フィルタ制御処理が行われることにより、分割レベル・フィルタ制御装置９００は、ウェーブレット変換する画像の解像度によらず、不要な画質劣化を抑制しながら、低遅延でのウェーブレット変換を実現することができる。

なお、第４の実施の形態において説明した分割レベル数制御の場合と同様に、複数コンポーネントのそれぞれについてフィルタの選択および分割レベル数の制御の両方を行うことができるようにしてもよい。

＜９．第９の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図４３に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図４３において、パーソナルコンピュータ９５０のCPU（Central Processing Unit）９５１は、ROM（Read Only Memory）９５２に記憶されているプログラム、または記憶部９６３からRAM（Random Access Memory）９５３にロードされたプログラムに従って各種の処理を実行する。RAM９５３にはまた、CPU９５１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU９５１、ROM９５２、およびRAM９５３は、バス９５４を介して相互に接続されている。このバス９５４にはまた、入出力インタフェース９６０も接続されている。

入出力インタフェース９５０には、キーボード、マウスなどよりなる入力部９６１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部９６２、ハードディスクなどより構成される記憶部９６３、モデムなどより構成される通信部９６４が接続されている。通信部９６４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース９６０にはまた、必要に応じてドライブ９６５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９７１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部９６３にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図４３に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア９７１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM９５２や、記憶部９６３に含まれるハードディスクなどで構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１００ 分割レベル制御装置， １０１ 許容遅延時間受付部， １０２ フレームレート検出部， １０３ 垂直ライン数検出部， １０４ 遅延時間算出部， １０５ 分割レベル決定部， １５０ 分割レベル制御装置， １５４ テーブル保持部， １５５ 分割レベル決定部， ２００ ウェーブレット変換装置， ２０１ 分割レベル制御部， ２０２ ウェーブレット変換部， ２５０ ウェーブレット変換装置， ２５１ 分割レベル制御部， ２６１ 許容遅延時間受付部， ２６２ 係数保持部， ２６３ 所要時間測定部， ２６４ 分割レベル決定部， ３００ ウェーブレット変換装置， ３０１ 分割レベル制御部， ３１４ 分割レベル決定部， ３３０ 処理部， ３５０ 符号化装置， ３５１ 画像ライン入力部， ３５２ ラインバッファ部， ３５３ ウェーブレット変換部， ３５４ 係数ライン並び替え部， ３５５ 量子化部， ３５６ エントロピ符号化部， ３５７ レート制御部， ４００ 復号装置， ４０１ 分割レベル数検出部， ４０２ エントロピ復号部， ４０３ 係数バッファ部， ４０４ ウェーブレット逆変換部， ４５０ 符号化装置， ４５４ 符号並び替え部， ５００ 分割レベル制御装置， ５０５ 分割レベル決定部， ５１１ Y分割レベル決定部， ５１２ Cb分割レベル決定部， ５１３ Cr分割レベル決定部， ５５０ フィルタ選択装置， ５５５ フィルタ決定部， ６００ フィルタ選択装置， ６０４ テーブル保持部， ６０５ フィルタ決定部， ６５０ ウェーブレット変換装置， ６５１ フィルタ選択部， ６５２ ウェーブレット変換部， ７００ ウェーブレット変換装置， ７０１ フィルタ選択部， ７１４ フィルタ決定部， ７５０ ウェーブレット変換装置， ７５１ フィルタ選択部， ７６４ フィルタ決定部， ７８０ 処理部， ８００ 符号化装置， ８０３ ウェーブレット変換部， ８５０ 復号装置， ８５１ フィルタ検出部， ９００ 分割レベル・フィルタ制御装置， ９０５ 分割レベル・フィルタ決定部

Claims (20)

1. 画像データを低域成分と高域成分に分解する分析フィルタ処理を、前記分析フィルタ処理により得られる前記低域成分に対して再帰的に繰り返すことにより、画像データを周波数帯域毎の係数データに変換する変換処理による遅延時間として許容される時間である許容遅延時間を受け付ける許容遅延時間受付手段と、
   前記分析フィルタ処理を繰り返す回数を示す分割レベル数毎に、前記変換処理による遅延時間を算出する遅延時間算出手段と、
   前記許容遅延時間受付手段により受け付けられた前記許容遅延時間と、前記遅延時間算出手段により算出される前記分割レベル数毎の前記遅延時間とを比較し、前記遅延時間が前記許容遅延時間以下となるように前記変換処理の前記分割レベル数を決定する分割レベル数決定手段と
   を備える情報処理装置。
2. 前記遅延時間は、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロックを前記周波数帯域毎の係数データに変換する前記変換処理の所要時間である
   請求項１に記載の情報処理装置。
3. 前記遅延時間算出手段は、前記画像データの垂直ライン数およびフレームレートを用いて前記分割レベル数毎の前記遅延時間を算出する
   請求項１に記載の情報処理装置。
4. 前記分割レベル数決定手段は、垂直ライン数およびフレームレートと前記遅延時間とが対応付けられたテーブル情報を用いて、前記画像データの垂直ライン数および前記フレームレートから求められた前記分割レベル数毎の遅延時間と、前記許容遅延時間とを比較し、前記遅延時間が前記許容遅延時間以下となるように前記変換処理の前記分割レベル数を決定する
   請求項１に記載の情報処理装置。
5. 前記分析フィルタ処理を、前記分割レベル数決定手段により決定される前記分割レベル数の回数繰り返す前記変換処理を行う変換処理手段をさらに備える
   請求項１に記載の情報処理装置。
6. 前記変換処理を行う変換処理手段と、
   前記変換処理手段により行われる前記変換処理による遅延時間を測定する測定手段と
   をさらに備え、
   前記分割レベル数決定手段は、前記測定手段により測定された前記遅延時間と、前記許容遅延時間とを比較し、前記遅延時間が前記許容遅延時間以下となるように前記変換処理の前記分割レベル数を決定する
   請求項１に記載の情報処理装置。
7. 前記分析フィルタ処理を、前記分割レベル数決定手段により決定される前記分割レベル数の回数繰り返す前記変換処理を行う変換処理手段と、
   前記変換処理手段により生成された前記係数データを符号化する符号化手段と
   をさらに備える請求項１に記載の情報処理装置。
8. 前記符号化手段は、前記分割レベル数決定手段により決定された前記分割レベル数を符号化データに含める
   請求項７に記載の情報処理装置。
9. 前記分割レベル数決定手段は、前記画像データのコンポーネント毎に、前記遅延時間が前記許容遅延時間以下となるように、前記変換処理の前記分割レベル数を決定する
   請求項１に記載の情報処理装置。
10. 情報処理装置の許容遅延時間受付手段が、画像データを低域成分と高域成分に分解する分析フィルタ処理を、前記分析フィルタ処理により得られる前記低域成分に対して再帰的に繰り返すことにより、画像データを周波数帯域毎の係数データに変換する変換処理による遅延時間として許容される時間である許容遅延時間を受け付け、
    前記情報処理装置の遅延時間算出手段が、前記分析フィルタ処理を繰り返す回数を示す分割レベル数毎に、前記変換処理による遅延時間を算出し、
    前記情報処理装置の分割レベル数決定手段が、受け付けられた前記許容遅延時間と、算出される前記分割レベル数毎の前記遅延時間とを比較し、前記遅延時間が前記許容遅延時間以下となるように前記変換処理の前記分割レベル数を決定する
    情報処理方法。
11. 画像データを低域成分と高域成分に分解する分析フィルタ処理を、前記分析フィルタ処理により得られる前記低域成分に対して再帰的に繰り返すことにより、画像データを周波数帯域毎の係数データに変換する変換処理による遅延時間として許容される時間である許容遅延時間を受け付ける許容遅延時間受付手段と、
    前記分析フィルタ処理に用いられるフィルタとして予め用意された複数のフィルタのそれぞれについて、前記変換処理による遅延時間を算出する遅延時間算出手段と、
    前記許容遅延時間受付手段により受け付けられた前記許容遅延時間と、前記遅延時間算出手段により算出される各フィルタの遅延時間とを比較し、前記遅延時間が前記許容遅延時間以下となるように前記変換処理に用いるフィルタを決定するフィルタ決定手段と
    を備える情報処理装置。
12. 前記遅延時間は、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロックを前記周波数帯域毎の係数データに変換する前記変換処理の所要時間である
    請求項１１に記載の情報処理装置。
13. 前記遅延時間算出手段は、前記画像データの垂直ライン数およびフレームレートを用いて各フィルタの遅延時間を算出する
    請求項１１に記載の情報処理装置。
14. 前記フィルタ決定手段は、垂直ライン数およびフレームレートと前記遅延時間とが対応付けられたテーブル情報を用いて、前記画像データの垂直ライン数および前記フレームレートから求められた各フィルタの遅延時間と、前記許容遅延時間とを比較し、前記遅延時間が前記許容遅延時間以下となるように前記変換処理に用いるフィルタを決定する
    請求項１１に記載の情報処理装置。
15. 前記分析フィルタ処理を、前記フィルタ決定手段により決定される前記フィルタを用いる前記変換処理を行う変換処理手段をさらに備える
    請求項１１に記載の情報処理装置。
16. 前記変換処理を行う変換処理手段と、
    前記変換処理手段により行われる前記変換処理による遅延時間を測定する測定手段と
    をさらに備え、
    前記フィルタ決定手段は、前記測定手段により測定された前記遅延時間と、前記許容遅延時間とを比較し、前記遅延時間が前記許容遅延時間以下となるように前記変換処理に用いるフィルタを決定する
    請求項１１に記載の情報処理装置。
17. 前記分析フィルタ処理を、前記フィルタ決定手段により決定される前記フィルタを用いる前記変換処理を行う変換処理手段と、
    前記変換処理手段により生成された前記係数データを符号化する符号化手段と
    をさらに備える請求項１１に記載の情報処理装置。
18. 前記符号化手段は、前記フィルタ決定手段により決定された前記フィルタを示す情報を符号化データに含める
    請求項１７に記載の情報処理装置。
19. 前記フィルタ決定手段は、前記画像データのコンポーネント毎に、前記遅延時間が前記許容遅延時間以下となるように、前記変換処理に用いるフィルタを決定する
    請求項１１に記載の情報処理装置。
20. 情報処理装置の許容遅延時間受付手段が、画像データを低域成分と高域成分に分解する分析フィルタ処理を、前記分析フィルタ処理により得られる前記低域成分に対して再帰的に繰り返すことにより、画像データを周波数帯域毎の係数データに変換する変換処理による遅延時間として許容される時間である許容遅延時間を受け付け、
    前記情報処理装置の遅延時間算出手段が、前記分析フィルタ処理に用いられるフィルタとして予め用意された複数のフィルタのそれぞれについて、前記変換処理による遅延時間を算出し、
    前記情報処理装置のフィルタ決定手段が、受け付けられた前記許容遅延時間と、算出される各フィルタの遅延時間とを比較し、前記遅延時間が前記許容遅延時間以下となるように前記変換処理に用いるフィルタを決定する
    情報処理方法。

Images