JP2005102184A - 画像処理装置、画像処理システム、画像処理方法、プログラム、及び、記録媒体 - Google Patents

Abstract

【課題】符号化された静止画又は動画をユーザの意向にそった形で復号し再生する。
【解決手段】条件受取部２０５で、解像度、画質、色成分、位置、重要領域、フレームレート、選択される符号量、処理時間などの条件を受け取る。符号選択制御部２０４は、そのような条件及び復号処理能力に基づいて、解像度、画質、色成分、位置、重要領域に関するパラメータのうちの少なくとも１つのパラメータによる符号の分類を並べた符号分類リストを作成し、符号化データ読込部２０１により読み込まれた符号化データより、符号分類リスト中の分類に合致する符号を選択する。処理部２０３は、選択された符号に対する復号処理、または、選択された符号のみからなる別の符号化データを形成する符号変換処理を行う。
【選択図】図１１

Description

本発明は、静止画又は動画の符号化データの復号処理又は符号変換処理のための装置及び方法、並びに、静止画又は動画の画像データの符号化処理のための装置及び方法に関する。

動画の符号化データを復号する装置において、各フレームの復号が規定時間内に完了しない情勢になった時に、それ以降の復号を簡略化処理に切り替える技術が特許文献１に記載されている。より具体的には、新しい国際標準符号化方式ＪＰＥＧ２０００により符号化された各フレームの符号化データについて、低い周波数のサブバンド係数より復号を実行しつつ、コンポーネント毎又はタイル毎に経過時間を監視し、制限時間に達した後は、そのコンポーネント又はタイルの復号処理を簡略化する例が記載されている。

また、送信装置から動画の符号化データをネットワーク経由で受信装置へ送信し、受信装置で動画の符号化データを復号するシステムにおいて、ネットワークの輻輳に対応するため、送信装置から、各フレームの符号を画質上の重要度の高い順に送信し、フレーム時間内で送信不可能な符号は破棄する技術が特許文献２に記載されている。より具体的には、８×８画素のブロック単位でＤＣＴ（離散コサイン変換）を行い、各ブロックのＤＣＴ係数を低、中、高の周波数帯域に分割して周波数帯域毎に階層符号化し、最も低い周波数帯域の符号から送信し、時間不足となった場合に高い周波数帯域の符号を破棄する例が記載されている。

特開２００２−３２５２５７号公報 特開平１０−２６２２４５号公報

特許文献１の技術によれば、駒落ちなどを防止することができる。しかし、復号される符号と簡略化処理される符号をユーザ側でコントロールすることができないため、必ずしもユーザが望むような画像を再生できるものではない。

例えば、各フレームをＪＰＥＧ２０００により符号化したＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画において、各フレームの符号化データを構成するパケットは、解像度、色成分、位置、画質のインデックスを持ち、それらの組み合わせによってパケットを様々な順序（プログレッション・オーダー）で並べることができる。つまり、各フレームの符号化データにおいて、特許文献１に記載されているように低周波成分の符号から順に並んでいるとは限らない。また、解像度を重視したいユーザ、画質を重視したいユーザ、色再生を重視したいユーザなど、画像の再生品質に対する好みもユーザによって様々であろう。さらに、画像の表示サイズの違いもあろう。したがって、フレームの符号を順に復号し、制限時間を経過したら簡略化処理に切り替えるというような方法では、必ずしもユーザの意図するような再生画像を得られないおそれがある。

なお、ＪＰＥＧ２０００の静止画などを規定時間内でリアルタイム性良く再生したい場合において、特許文献１の技術を応用することも可能であろう。しかし、動画の場合と同様に、必ずしもユーザの意向にそった再生画像を得られるとは限らない。

また、特許文献２に記載の技術は、ネットワークの状況を考慮して送信する符号量を制御するものであるから、必ずしも受信装置（画像表示装置）での駒落ちなどの防止を保証するものではない。受信装置によって復号処理能力に違いがあるため、受信装置側で復号処理能力が不足したり処理負荷が増加したような場合に駒落ちなどが生じる。また、画質、解像度、色成分などについてのユーザの意向が反映されるものではない。

なお、送信装置側で個々の受信装置の復号処理能力に応じて送信符号量を制御するならば、より確実に駒落ちなどを防止できるであろう。しかし、送信装置から多数の受信装置に動画を配信するような場合には、同じ動画について、符号量の異なるデータが重複して送信されることになってしまい、ネットワークの負荷が増大するという問題がある。さらに、個々の受信装置のユーザの意向を反映した構造の符号データを送信することは非現実的であるため、ユーザの意向に沿った画像再生を可能にすることは困難である。したがって、送信側で符号量を調整するのではなく、受信側で復号処理能力、さらにはユーザの意向などを考慮して復号処理を制御することが望まれる。

本発明は、以上の諸点に鑑み、符号化された動画又は静止画に関し、復号処理能力やユーザの意向などを反映した好適な画像再生を可能にするための新規な画像処理装置、画像処理システム及び画像処理方法を提供することを目的とするものである。

ここまでは、動画又は静止画の符号化データを処理対象とする場合について述べたが、符号化されない静止画又は動画の画像データから符号化データを生成する場合についても同様の要請に応えることが望まれる。

よって、本発明のもう１つの目的は、符号化データを復号する機器の復号処理能力やユーザの意向などを反映した符号構造の符号化データを、符号化されていない動画又は静止画の画像データから直接生成する新規な画像処理装置及び画像処理方法を提供することにある。

請求項１に記載の発明は、静止画又は動画の符号化データを処理する画像処理装置であって、解像度、画質、色成分、位置、重要領域に関するパラメータのうちの少なくとも１つによる符号の分類を並べた符号分類リストを作成する手段を含み、符号化データ中の前記符号分類リスト中の分類に合致する符号を選択する符号選択制御手段と、前記符号選択制御手段により選択された符号に対して復号処理を行う処理手段とを有することを特徴とする画像処理装置である。

請求項２に記載の発明は、静止画又は動画の符号化データを処理する画像処理装置であって、解像度、画質、色成分、位置、重要領域に関するパラメータのうちの少なくとも１つによる符号の分類を並べた符号分類リストを作成する手段を含み、符号化データ中の該符号分類リスト中の分類に合致する符号を選択する符号選択制御手段と、前記符号選択制御手段により選択された符号からなる別の符号化データを形成する処理手段とを有することを特徴とする画像処理装置である。

請求項３に記載の発明は、請求項１又は２に記載の発明による画像処理装置であって、前記符号分類リストは符号の分類を選択順に並べたリストであり、前記符号選択制御手段は、符号化データより、前記符号分類リストの分類に合致する符号を前記選択順に選択することを特徴とする画像処理装置である。

請求項４に記載の発明は、請求項１，２又は３に記載の発明による画像処理装置であって、前記符号選択制御手段は、各静止画毎に、又は、動画の各フレーム毎に前記符号分類リストを作成することを特徴とする画像処理装置である。

請求項５に記載の発明は、請求項１，２，３又は４に記載の発明による画像処理装置であって、前記符号選択制御手段は、処理進行状況に応じて前記符号分類リストを修正する手段を含むことを特徴とする画像処理装置である。

請求項６に記載の発明は、請求項１乃至５のいずれか１項に記載の発明による画像処理装置であって、前記符号選択制御手段は、終了要求を受け付けると直ちに符号選択を終了することを特徴とする画像処理装置である。

請求項７に記載の発明は、請求項１乃至６のいずれか１項に記載の発明による画像処理装置であって、前記符号選択制御手段は、解像度、画質、色成分、位置、重要領域、フレームレート、選択される符号量、処理時間のうちの少なくとも１つに関する条件を受け取り、該条件に応じて解像度、画質、色成分、位置、重要領域に関するパラメータのうちの少なくとも１つのパラメータを設定する手段を含み、該手段により設定されたパラメータに基づいて前記符号分類リストを作成することを特徴とする画像処理装置である。

請求項８に記載の発明は、請求項１乃至７のいずれか１項に記載の発明による画像処理装置であって、符号化データはＪＰＥＧ２０００準拠の符号化データであることを特徴とする画像処理装置である。

請求項９に記載の発明は、請求項７に記載の発明による画像処理装置と、この画像処理装置により処理された画像を画像表示装置に表示させる画像表示制御手段とを有し、この記画像表示制御手段は、解像度、画質、色成分、位置、重要領域、フレームレート、選択される符号量、処理時間のうちの少なくとも１つに関する条件を前記画像処理装置に入力することを特徴とする画像処理システムである。

請求項１０に記載の発明は、請求項９に記載の発明による画像処理システムであって、前記画像表示制御手段は、解像度、画質、色成分、位置、重要領域、フレームレート、選択される符号量、処理時間のうちの少なくとも１つに関する条件をユーザが指定するための手段を含むことを特徴とする画像処理システムである。

請求項１１に記載の発明は、静止画又は動画の符号化データを処理する画像処理方法であって、解像度、画質、色成分、位置、重要領域に関するパラメータのうちの少なくとも１つによる符号の分類を並べた符号分類リストを作成するステップを含み、符号化データ中の前記符号分類リスト中の分類に合致する符号を選択する符号選択制御ステップと、前記符号選択制御ステップにより選択された符号に対して復号処理を行う処理ステップとを有することを特徴とする画像処理方法である。

請求項１２に記載の発明は、静止画又は動画の符号化データを処理する画像処理方法であって、解像度、画質、色成分、位置、重要領域に関するパラメータのうちの少なくとも１つによる符号の分類を並べた符号分類リストを作成するステップを含み、符号化データ中の該符号分類リスト中の分類に合致する符号を選択する符号選択制御ステップと、前記符号選択制御ステップにより選択された符号からなる別の符号化データを形成する処理ステップとを有することを特徴とする画像処理方法である。

請求項１３に記載の発明は、請求項１１又は１２に記載の発明による画像処理方法であって、前記符号分類リストは符号の分類を選択順に並べたリストであり、前記符号選択制御ステップは、符号化データより、前記符号分類リストの分類に合致する符号を前記選択順に選択することを特徴とする画像処理方法である。

請求項１４に記載の発明は、請求項１１，１２又は１３に記載の発明による画像処理方法であって、前記符号選択制御ステップは、処理進行状況に応じて前記符号分類リストを修正するステップを含むことを特徴とする画像処理方法である。

請求項１５に記載の発明は、請求項１１，１２，１３又は１４に記載の発明による画像処理方法であって、前記符号選択制御ステップは、与えられた解像度、画質、色成分、位置、重要領域、フレームレート、選択される符号量、処理時間のうちの少なくとも１つに関する条件に応じて、解像度、画質、色成分、位置、重要領域に関するパラメータのうちの少なくとも１つのパラメータを設定するステップを含み、該ステップにより設定されたパラメータに基づいて前記符号分類リストを作成することを特徴とする画像処理方法である。

請求項１６に記載の発明は、請求項１５に記載の発明による画像処理方法であって、前記条件の少なくとも１つはユーザにより指定可能であることを特徴とする画像処理方法である。

請求項１７に記載の発明は、請求項１乃至１０のいずれか１項に記載の発明による画像処理装置の各手段としてコンピュータを機能させるプログラムである。

請求項１８に記載の発明は、請求項１１，１２，１３，１４，１５又は１６に記載の発明による画像処理方法の各ステップをコンピュータに実行させるプログラムである。

請求項１９に記載の発明は、請求項１７又は１８に記載の発明によるプログラムが記録された、コンピュータが読み取り可能な記録媒体である。

請求項２０に記載の発明は、画像データを記憶する画像データ記憶手段と、この画像データ記憶手段より画像データを読み込み、その符号化処理を行う符号化処理手段と、解像度、位置、色成分、画質に関するパラメータのうちの少なくとも１つによる符号の分類を並べた符号分類リストを記憶する符号分類リスト記憶手段と、この符号分類リスト記憶手段に記憶されている符号分類リストに基づいて、前記符号分類リスト上の分類に合致する符号が前記符号分類リスト上の分類の並び順に従って前記符号化処理により生成されるように前記符号化処理手段を制御する符号化制御手段とを有し、前記符号化処理手段は、前記符号化処理により生成された符号をその生成順に整列してなる符号化データを生成することを特徴とする画像処理装置である。

請求項２１に記載の発明は、請求項２０に記載の発明による画像処理装置であって、前記符号化処理はＪＰＥＧ２０００のアルゴリズムに従った符号化処理であり、位置に関するパラメータとしてプレシンクトに関するパラメータが用いられることを特徴とする画像処理装置である。

請求項２２に記載の発明は、請求項２０に記載の発明による画像処理装置であって、前記符号化処理はＪＰＥＧ２０００のアルゴリズムに従った符号化処理であり、位置に関するパラメータとしてコードブロックに関するパラメータが用いられることを特徴とする画像処理装置である。

請求項２３に記載の発明は、請求項２０に記載の発明による画像処理装置であって、前記符号化処理はＪＰＥＧ２０００のアルゴリズムに従った符号化処理であり、画質に関するパラメータとしてレイヤに関するパラメータが用いられることを特徴とする画像処理装置である。

請求項２４に記載の発明は、請求項２０に記載の発明による画像処理装置であって、前記符号化処理はＪＰＥＧ２０００のアルゴリズムに従った符号化処理であり、画質に関するパラメータとしてビットプレーンに関するパラメータが用いられることを特徴とする画像処理装置である。

請求項２５に記載の発明は、請求項２０に記載の発明による画像処理装置であって、前記符号化処理はＪＰＥＧ２０００のアルゴリズムに従った符号化処理であり、画質に関するパラメータとしてサブビットプレーンに関するパラメータが用いられることを特徴とする画像処理装置である。

請求項２６に記載の発明は、請求項２０に記載の発明による画像処理装置であって、前記符号化処理はＪＰＥＧ２０００のアルゴリズムに従った符号化処理であり、解像度に関するパラメータとして解像度レベルに関するパラメータが用いられることを特徴とする画像処理装置である。

請求項２７に記載の発明は、請求項２０に記載の発明による画像処理装置であって、前記符号化処理はＪＰＥＧ２０００のアルゴリズムに従った符号化処理であり、解像度に関するパラメータとしてデコンポジションレベルに関するパラメータが用いられることを特徴とする画像処理装置である。

請求項２８に記載の発明は、画像データの符号化処理を行う符号化処理工程と、解像度、位置、色成分、画質に関するパラメータのうちの少なくとも１つによる符号の分類を並べた符号分類リスト上の分類を解析し、解析結果に基づいて、前記符号分類リスト上の分類に合致する符号が前記符号分類リスト上の分類の並び順に従って前記符号化処理により生成されるように前記符号化処理工程を制御する符号化制御工程とを有し、前記符号化処理工程は、前記符号化処理により生成された符号をその生成順に整列してなる符号化データを生成することを特徴とする画像処理方法である。

請求項２９に記載の発明は、請求項２０乃至２７のいずれか１項に記載の発明による画像処理装置の各手段としてコンピュータを機能させるプログラムである。

請求項３０に記載の発明は、請求項２０乃至２７のいずれか１項に記載の発明による画像処理装置の各手段としてコンピュータを機能させるプログラムが記録されたコンピュータが読み取り可能な情報記録媒体である。

請求項１乃至１９に記載の発明によれば、静止画又は動画の符号化データより、解像度、画質、色成分、位置、重要領域などによる分類に従い符号の選択を制御して、復号処理又は符号変換処理を行うことができる。特に、請求項８に記載の発明によれば、解像度に関しては解像度レベル、デコンポジションレベル、画質に関してはレイヤー、ビットプレーン、サブビットプレーン、周波数成分、位置に関してはタイル、プレシンクト、コードブロック、色成分に関してはコンポーネント、重要領域に関してはＲＯＩ領域の各パラメータによる多様な符号選択制御を行うことができる。したがって、解像度、画質、色成分、位置、重要領域の優先度などを考慮した好適な静止画又は動画の再生が可能となる。

請求項３，１３に記載の発明によれば、解像度、画質、色成分、位置、重要領域の優先度などに応じて符号の選択順を適切に制御することができる。また、符号の選択順を元の符号化データ中の符号の並び順に対応させるならば、符号変換後の符号化データも、予定されたプログレッシブ再生が可能である。

請求項４に記載の発明によれば、静止画毎又は動画のフレーム毎の符号量やデータ構造の違いなどに適応した符号選択が可能である。

請求項５，１４に記載の発明によれば、処理の進行状況に適応した柔軟な符号選択制御が可能である。

請求項６に記載の発明によれば、符号選択を必要に応じ直ちに終了させ、その時点までに選択された符号のみを対象とした復号処理又は符号変換処理を行わせることができる。

請求項７，９，１０，１５，１６に記載の発明によれば、解像度、画質、色成分、位置、重要領域、フレームレート、符号量、処理時間の条件を符号選択に反映させることができる。特に、請求項１０，１６に記載の発明によれば、そのような条件に関するユーザの意向を符号選択に反映させることにより、ユーザの意向にそった形の画像再生が可能である。

請求項２０乃至３０に記載の発明によれば、ユーザの意向や符号化データの復号する機器の復号処理能力などの条件に合致した符号構造の符号化データを、静止画又は動画の画像データから直接生成することができる、等々の効果を得られる。

以下、本発明の実施の形態について図面を用い詳細に説明する。

＜実施形態１＞
本実施形態は、請求項１〜１９の発明に係るものである。本実施形態においては、ＪＰＥＧ２０００の静止画符号化データ又はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画符号化データを対象とする。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画の各フレームは、ＪＰＥＧ２０００により符号化されている。したがって、以下の説明に関連する範囲でＪＰＥＧ２０００の概要について説明する。

図１２はＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。図中、１は色空間変換・逆変換部、２は２次元ウェーブレット変換・逆変換部、３は量子化・逆量子化部、４はエントロピー符号化・復号化部、５はタグ処理部である。

符号化（圧縮）時には、原画像の各コンポーネントは、必要に応じてタイルと呼ばれる重複しない矩形の領域に分割され、各コンポーネントの各タイルのデータが色空間変換・逆変換部１に入力される。

図１３にタイル分割の例を示す。この例では、原画像のＲ，Ｇ，Ｂの各コンポーネントがそれぞれ１６個のタイルに分割されている。このような各コンポーネントの各タイルが圧縮／伸長の処理単位となる。各コンポーネントの各タイルは、そのまま、又は色空間変換・逆変換部１でＹＣｒＣｂもしくはＹＵＶ表色系へ変換された後、２次元ウェーブレット変換・逆変換部２で２次元ウェーブレット変換（順変換）を適用されることにより、周波数帯（サブバンド）に空間分割される。

図１４に、デコンポジションレベル数＝３の場合の、各デコンポジションレベルにおけるサブバンドを示す。すなわち、原画像のタイル分割によって得られたタイル画像（０ＬＬ）（デコンポジションレベル０）に対して、２次元ウェーブレット変換を施すことにより、デコンポジションレベル１のサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）が得られる。この階層における低周波成分である１ＬＬサブバンドの係数に対して２次元ウェーブレット変換を施すことより、デコンポジションレベル２のサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）が得られる。この階層での低周波成分である２ＬＬサブバンド係数に対し２次元ウェーブレット変換を施すことにより、デコンポジションレベル３のサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）が得られる。デコンポジションレベル３の各サブバンドに括弧書きされた数字は解像度レベルである。

各サブバンドの係数は、必要に応じて、量子化・逆量子化部３で線形量子化された後、エントロピー符号化・復号化部４でエントロピー符号化される。ＪＰＥＧ２０００では、各サブバンド係数はビットプレーンに分解され、また、各サブバンドは重複しないプレシンクトと呼ばれる矩形領域に分割され、各プレシンクトはコードブロックと呼ばれる重複しない矩形領域に分割される。そして、各サブバンドの係数は上位のビットプレーンから下位のビットプレーンへ向かってコードブロック毎に符号化される（より正確には、各ビットプレーンは３つのサブビットプレーンに分割されて符号化される）。このエントロピー符号化においては、指定した符号化の順番で符号化対象ビットが定められ、量子化部・逆量子化部３で対象ビットの周辺ビットからコンテキストが生成され、このコンテキストと対象ビットの確率推定による算術符号化が行われる。

タグ処理部５は符号形成プロセスのブロックであり、エントロピー符号をまとめてパケットを生成し、パケットをプログレッション・オーダーに従って並べるとともに必要なタグ及びタグ情報を付加することにより、図１５に示すようなフォーマットの１本のコードストリーム（符号化データ）を生成する。コードストリームの先頭と各タイル部の先頭にはメインヘッダ(Main Header)及びタイルパートヘッダ(Tile-part Header）と呼ばれるタグ情報が付加され、その後に、各タイルの符号（ビットストリーム）が続く。そして、コードストリームの終端に終了タグ(End of codestream)が置かれる。

画像、タイル、サブバンド、プレシンクト、コードブロックの間には
画像≧タイル≧サブバンド≧プレシンクト≧コードブロック
の大小関係がある。

プレシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの空間的に同じ位置にある３つの領域の組が１つのプレシンクトとして扱われる。ただし、ＬＬサブバンドでは、１つの領域が１つのプレシンクトとして扱われる。プレシンクトのサイズをサブバンドと同じサイズにすることも可能である。前述のように、プレシンクトを分割した矩形領域がコードブロックである。図１６にデコンポジションレベル２におけるプレシンクトと、そのコードブロックを例示した。図中のプレシンクトと記された空間的に同じ位置にある３つの領域の組が、１つのプレシンクトとして扱われる。なお、プレシンクトはタイル画像上の特定の矩形領域に対応する。つまり、図１６に示す例では、タイル画像は３×３の矩形領域に分割され、その矩形領域がプレシンクトであると言うこともできる。

プレシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション・オーダーに従ってパケットを並べたものが、図１５中のビットストリームである。

全てのプレシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである（ただし、必ずしも全てのプレシンクトのパケットをレイヤに含めなくともよい）。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位である。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。

タイル分割を行わず、コンポート数＝１、デコンポジションレベル数＝２（解像度レベル数＝３）とした場合のパケットとレイヤの例を図１７に示す。図中の縦長の小さな矩形がパケットであり、その内部に示した数字は便宜的に付与したパケット番号である。図１７では、レイヤを濃淡を付けた横長矩形領域として示している。すなわち、この例では、パケット番号０〜１６のパケットの符号からなるレイヤ０、パケット番号１７〜３３のパケットの符号からなるレイヤ１、パケット番号３４〜５０のパケットの符号からなるレイヤ２、パケット番号５１〜６７のパケットの符号からなるレイヤ３、パケット番号６８〜８４のパケットの符号からなるレイヤ４、パケット番号８５〜１０１のパケットの符号からなるレイヤ５、パケット番号１０２〜１１８のパケットの符号からなるレイヤ６、パケット番号１１９〜１３５のパケットの符号からなるレイヤ７、パケット番号１３６〜１４８のパケットの符号からなるレイヤ８、及び、残りのパケット番号１４９〜１６１のパケットの符号からなるレイヤ９の１０レイヤに分割されている。なお、パケットとプレシンクトとの対応関係などは、プログレッション・オーダーの違いやレイヤ分割数等により様々に変化するものであり、上に示したレイヤ構成はあくまで一例である。

以上の説明から明らかなように、ＪＰＥＧ２０００の符号化データを構成するパケットは解像度、色成分、位置、画質の各パラメータにより分類されているため、符号状態で解像度、色成分、位置、画質の各パラメータで符号の取捨選択が可能である。すなわち、ある符号化データを、伸長することなく、位置（タイル、プレシンクト、コードブロック）、画質（レイヤ、ビットプレーン、サブビットプレーン、周波数成分（サブバンド））、色成分（Ｙ，Ｃｒ，Ｃｂの各コンポーネント、Ｒ，Ｇ，Ｂの各コンポーネントなど）、解像度（解像度レベル、デコンポジションレベル）の各パラメータに関し変更した別の符号化データに再構成可能である。

また、ＪＰＥＧ２０００には、選択した領域（ＲＯＩ領域）の画質を他の領域よりも向上させる機能がある。ＪＰＥＧ２０００の基本仕様では、ＲＯＩ領域のウェーブレット係数のビットシフトによる”Max Shift”方式が規定されている。ＲＯＩ領域に関する情報は、符号化データ中のメインヘッダ又はタイルパートヘッダに記述される。

一方、復号（伸長）時には、符号化時とは逆に、各コンポーネントの各タイルのコードストリームから画像データを生成する。この場合、タグ処理部５は、外部より入力したコードストリームに付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解し、その各コンポーネントの各タイルのコードストリーム毎に復号処理が行われる。コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部４で、このコンテキストとコードストリームから確率推定によって復号化を行って対象ビットを生成し、それを対象ビットの位置に書き込む。

このようにして復元された各サブバンドの係数は、符号化時に量子化が行われているならば量子化・逆量子化部３で逆量子化された後、２次元ウェーブレット変換・逆変換部２で２次元ウェーブレット逆変換を施されることにより、各コンポーネントの各タイルのデータが復元される。復元されたデータは、符号化時に色空間変換が行われたならば色空間変換・逆変換部１で逆色変換を施され、元の表色系のデータに戻される。

請求項１〜１９に係る発明は、パソコンなどの汎用コンピュータや、画像表示機能を有する携帯情報端末、携帯電話などの情報処理機器の内蔵マイクロコンピュータにおいてプログラムの形で実現されるのが、１つの典型的な態様である。

このような態様について、図１に示すような構成のコンピュータを例にさらに説明する。ここに示すコンピュータは、ＣＰＵ１００、メモリ１０２、ディスプレイ装置１０４、ハードディスク等の補助記憶装置１０６、キーボードやポインティングデバイスなどの入力装置１０８、通信インターフェース１１０、入出力インターフェース１１２、各種記録媒体（磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子など）の読み書きのための媒体ドライブ装置１１４などを備え、それらがシステムバス１１６で相互接続された一般的な構成である。

請求項１〜１９に係る発明を実施するためのプログラム１２０（以下、画像処理プログラムと称する）は、それが記録された記録媒体より媒体ドライブ装置１１４によって読み込まれて補助記憶装置１０６に格納され、あるいはネットワーク経由で通信インターフェース１１０より取り込まれて補助記憶装置１０６に格納される。そして、画像処理プログラム１２０は、補助記憶装置１０６よりメモリ１０２にロードされ、ＣＰＵ１００により実行されることにより、コンピュータ上で本発明の画像処理装置又は画像処理方法が実現される。なお、携帯情報端末などの機器では、画像処理プログラム１２０はＲＯＭの形で実装されることもあり、係る態様も本実施形態に含まれる。画像処理プログラム１２０と、これが記録された各種記録媒体（上記ＲＯＭなどの半導体記憶素子も含む）、画像処理プログラム１２０によりコンピュータ上で実現されせる画像処理装置も、本実施形態に包含されることは当然である。

処理対象となる静止画又は動画の符号化データは、例えば、ネットワーク上のサーバーなどから通信インターフェース１１０を通じて取り込まれたり、入出力インターフェース１１２に接続された記憶装置やデジタルカメラ等の画像入力装置から取り込まれ、あるいは、補助記憶装置１０６より取り込まれて処理される。

１つの典型的な態様によれば、画像処理プログラム１２０は、ビューア、ブラウザなどと呼ばれる静止画又は動画の閲覧のための他のプログラム１２２（以下、ビューア／ブラウザと称する）と連携して動作する形をとる。ただし、ビューア／ブラウザ１２２と画像処理プログラム１２０とを統合することも可能である。そのような統合された形のプログラム、それが記録された記録媒体、同プログラムによりコンピュータ上で実現される画像処理システムも本実施形態に包含される。

ビューア／ブラウザ１２２は、ディスプレイ装置１０４の画面上に、例えば図２に模式的に示すように、画像表示ウィンドウ１３０を開き、そこに動画又は静止画を表示させ、また、コントロール領域１３２には、ユーザが各種の指定を行うためのボタンやスライドバーなどを表示する。通常、表示させる画像の指定（ファイル名やＵＲＬの指定）のほか、ユーザ入力装置１０８に含まれるマウスなどのポインティングデバイスの操作により、画像表示ウィンドウ１３０の縦横サイズの変更、画像の表示倍率の変更、画像表示ウィンド１３０より大きな画像のスクロール、特定領域（位置）の指定などが可能である。画像表示ウィンドウ１３０の縦横サイズ、画像表示倍率、画像の領域の位置などの条件は画像処理プログラム１２０に通知される。また、コントロール領域１３２に表示されたボタンやスライドバーなどにより、動画又は静止画に関する様々な条件の指定を行うことができ、その例を示せば、
（１）動画再生のフレームレートの指定
（２）復号処理又は符号変換処理の対象として選択される符号量の指定
（３）復号処理又は符号変換処理の処理時間の指定
（４）復号処理又は符号変換処理の強制終了
（５）カラー再生／モノクロ再生の指定
（６）画質の指定
（７）解像度、画質、色の間の優先順位の指定
（８）重要領域（ＲＯＩ領域）の優先指定
などである。いずれもユーザに指定されないときはデフォルト指定となる。

ビューア／ブラウザ１２２は、以上に述べたような解像度、画質、色成分、位置、重要領域、フレームレート、符号量、処理時間などに関わる条件を画像処理プログラム１２０に通知する。

画像処理プログラム１２０は、その復号処理能力や画像表示ウィンドウのサイズ等々の条件に応じて、かつ、ユーザの意向にそった形で静止画又は動画を表示できるように、静止画又は動画の符号化データの符号を選択的に復号して画像データを再生し、この画像データをビューア／ブラウザ１２２が画像表示ウィンドウ１３０に表示させる。このように、符号化データの符号の選択的な復号処理は画像処理プログラム１２０で行われるが、ディスプレイ装置１０４の画面への画像表示の制御はビューア／ブラウザ１３０により行われる。

あるいは、画像処理プログラム１２０は、符号化データを復号処理するのではなく、元の符号化データから、その選択した符号のみからなる別の符号化データに変換する処理を行う。この符号変換処理を行う場合には、変換後の符号化データの復号処理はビューア／ブラウザ１２２で行われるか、他のプログラム（又はハードウェアのデコーダ）により行われることになる。この符号変換処理の場合においても、復号処理能力や画像表示ウィンドウのサイズ等々の条件に応じて、かつ、ユーザの意向にそった形で静止画又は動画を表示できるように、符号選択を制御する。

画像処理プログラム１２０は、復号処理を行うにしても符号変換処理を行うにしても、各静止画毎に又は動画の各フレーム毎に、元の符号化データより符号を選択するための符号分類リストを作成する。符号化データ中の符号は、解像度、画質、色成分、位置、重要領域に関するパラメータの少なくとも１つに基づいて分類することが可能である。例えば、レイヤー番号もしくはレイヤー数（画質）、ビットプレーン数又はサブビットプレーン数（画質）、周波数成分（画質）、解像度レベル又はデコンポジションレベル（解像度）、コンポーネント番号（色成分）、タイル番号（位置）、プレシンクト番号（位置）、コードブロック番号（位置）、ＲＯＩ領域か否か（重要領域）、等々のパラメータによって、符号を分類することができる。そのような分類とパラメータの例を図３に示す。符号分類リストは、選択したい符号に関する、そのような分類を並べたリストである。

符号分類リスト上の分類の並び順であるが、符号分類リスト上の分類の並び順に従った順序で符号の選択を行う場合には、選択順の早い符号の分類ほど符号分類リストの先頭側に置かれる。符号分類リスト上の分類の並び順に従わずに符号の選択を行う場合には、符号分類リスト上の分類の並び順は基本的には任意である。しかし、後述のように、符号分類リストの並び順の遅い分類を削除するようなリスト修正を行う場合には、そのようなリスト修正を行われても画像の復号に支障が生じないような順番で符号の分類が並べられる。これは、符号の選択順に分類を並べるリストでも同様である。

図４乃至図７に符号分類リストの具体例を示す。ただし、いずれの例も、簡略化のため、分類のパラメータとしてレイヤー番号、解像度レベル、コンポーネント番号、プレシンクト番号のみが示されている。特定のタイルの符号を優先したり、ＲＯＩ領域の符号を優先するような符号選択制御を行う場合には、タイルやＲＯＩ領域に関するパラメータも分類に用いられることは明らかである。

なお、図５の符号分類リストにおいては、先頭の分類に該当する符号から順に符号を選択すると、解像度を優先した復号処理（早い段階で解像度を上げる）を行うことができるような順番で符号の分類が並べられている。図６の符号分類リストにおいては、先頭の分類に該当する符号から順に符号を選択すると、色を優先した復号処理（早い段階で色を再生する）を行うことができるような順番で符号の分類が並べられている。また、図７の符号分類リストにおいては、先頭の分類から該当する符号を順に選択すると、解像度レベル１までは解像度を優先し、次に画質を優先し、再び解像度を優先するような復号処理を行うことができる順番で符号の分類が並べられている。

画像処理プログラム１２０は、ビューア／ブラウザ１２２より通知された各種の条件、並びに、画像処理プログラム自体の復号処理能力あるいはビューア／ブラウザ１２２又は他のプログラム（もしくはハードウェアのデコーダ）の復号処理能力を考慮して、前述の如き符号分類リストを作成する。そして、静止画又は動画のフレームの符号化データより、符号分類リスト上の分類に合致する符号を選択し、復号処理又は符号変換処理を行う。この符号の選択は、符号データ中の符号の並びに沿って行われる場合と、符号分類リスト上の分類の並び順に従った順番で行われる場合とがあることは前述の通りである。

以下、より具体的な処理フローについて説明する。

図８に、一実施例における静止画又は動画の各フレームに対する画像処理プログラム１２０の概略処理フローチャートを示す。なお、復号処理を行う場合と符号変換処理を行う場合とでステップＳ８とステップＳ９の処理内容が異なる。復号処理の場合、ステップＳ８で復号処理の前半処理が実行され、ステップＳ９で前半処理の結果に基づく後半処理が実行される。復号処理の前半処理とは、例えば、符号のエントロピー復号と復号されたウェーブレット係数の逆量子化、後半処理は逆ウェーブレット変換と逆色空間変換である。逆量子化を後半処理に含めてもよい。符号変換処理の場合、ステップＳ８では符号の保存と符号形成の準備処理が行われ、ステップＳ９で保存した符号を用いてＪＰＥＧ２０００フォーマットの符号化データを形成する処理が行われる。

以下、処理フローに沿って説明する。まず、処理対象の符号化データのメインヘッダ（及び最初のタイルパートヘッダ）を解析する（ステップＳ１）。２番目以降のタイルヘッダは処理の途中で随時解析される。ヘッダ解析の結果は、以下のパラメータ設定、符号分類リストの作成、復号処理もしくは符号変換処理に利用される。

次に、ビューア／ブラウザ１２２より通知された各種条件に応じて、解像度、画質、色成分、位置、重要領域に関するパラメータのうちの少なくとも１つのパラメータを設定する（ステップＳ２）。例えば、解像度ならば解像度レベル０〜１、画質ならばレイヤー０，１、色成分ならばコンポーネント０〜２、等々である。画像表示ウインドウのサイズが小さいならば、低解像度でよいので解像度レベルを低くし、画像表示ウィンドウのサイズが大きいならば、それに見合った解像度レベルを設定する。画質優先の指定があったならば、解像度を犠牲にしてもレイヤ数を大きくする。また、画像の中央部分のみ表示させるような設定の場合には、中央部分の特定のプレシンクト（タイル分割されているならば中央部分のタイル、あるいはタイル及びプレシンクト、より詳細な制御を必要とするならば特定のプレシンクトの特定のコードブロックなど）の符号を優先する、といったパラメータの設定を行うわけである。

そして、ビューア／ブラウザ１２２（又は他のプログラムもしくはデコーダ）の復号処理能力を考慮し、設定されたパラメータと、ビューア／ブラウザ１２２より通知された処理時間やフレームレートの条件を満たすような符号選択を行うための、例えば図４に示すような符号分類リストを作成する（ステップＳ３）。

以上の準備処理を終わると、符号化データ中の符号をパケット単位で取り込み（ステップＳ５）、そのパケットの分類と符号分類リスト上の分類とを照合する（ステップＳ６）。分類が一致したときには（ステップＳ７，Ｙｅｓ）、そのパケットを選択し処理する（ステップＳ８）。分類が一致しないパケットは破棄される。

以上のステップＳ５〜Ｓ８をステップＳ４で終了と判断するまで繰り返し、符号分類リスト上の分類に合致するパケット（符号）を順次選択して処理する。なお、タイルヘッダの解析は以上の処理過程で行われる。なお、タイル単位のＲＯＩ領域の有無などはメインヘッダ又はタイルヘッダの解析で認識できるが、パケット単位のＲＯＩ領域の有無などはパケットヘッダの解析により認識される。

符号化データの最後のパケットまで処理済みとなったとき、選択すべき全ての符号の選択が完了したと判断されるとき、ユーザにより指定された処理時間に達したとき、あるいは、ユーザにより処理終了指示がなされ終了要求がビューア／ブラウザ１２２より発行されたときに、ステップＳ４で終了と判断され、ステップＳ９の処理が実行される。このステップＳ９において、復号処理の場合には、選択された符号についての前半処理の結果を用いて画像データを再生する処理が実行される。符号変換処理の場合には、選択された符号を用いた符号形成プロセスが実行され、新しい符号化データが生成される。生成された画像データ又は符号化データはメモリ１０２の特定エリアに書き込まれ、その画像データはビューア／ブラウザ１２２により表示され、その符号化データは復号処理の後に表示されることになる。

なお、パケット中の一部のコードブロック、又は、ビットプレーンもしくはサブビットプレーンの符号を選択する場合には、ステップＳ８において、パケット中の不要なコードブロック又はビットプレーンもしくはサブビットプレーンの符号の破棄が行われる。

以上の説明から明らかなように、本実施例によれば、ビューア／ブラウザ１２２を通じて指定された条件や復号処理能力に応じて符号選択を適切に制御して復号処理又は符号変換処理を行うことにより、静止画又は動画をユーザの意向にそった形で表示することが可能である。

図９に、別の実施例における静止画又は動画の各フレームに対する画像処理プログラム１２０の概略処理フローチャートを示す。

このフローチャートにおいて、ステップＳ２１〜Ｓ２４は図８の対応ステップＳ１〜ＳＳ４と同じ処理ステップであるので説明を省略する。また、ステップＳ２８〜Ｓ３２は図８の対応ステップＳ５〜Ｓ９と同じ処理ステップであるので説明を省略する。

本実施例においては、処理の進行状況を確認する（ステップＳ２５）。進行状況の確認は、単純には、その時点までに処理された符号量（選択された符号量）から行うことができる。あるいは、符号化データ上の処理済みの符号の位置から、符号分類リスト上の処理済みの位置を調べることにより進行状況を確認することができる。そして、進行状況から符号分類リストの修正の要否と修正方法を判断する（ステップＳ２６）。

進行状況から、現在の符号分類リストの内容では、ビューア／ブラウザ１２２より通知された条件を満たすために最低限処理すべき符号に関してフレームレートを維持できそうもないとき、あるいは、そのような符号の処理を指定された処理時間内で完了できないときには、符号分類リストから重要度の低い分類、つまり、リスト末尾側の分類を削除し、それとは逆に時間的に余裕があるときには、符号分類リストの末尾に分類を追加する処理を行う（ステップＳ２７）。追加する分類の決定方法はステップＳ２３と同様でよい。

すなわち、個々の静止画又は動画の各フレーム毎に、同じ条件であっても復号処理に要する時間にばらつきがあるため、処理が間に合わないと予測される場合には、重要度の低い符号を選択しないように制御し、時間的に余裕があると予測される場合には、可能な限り良好な画像再生を可能にするため、重要度の低い符号も選択するように符号選択を制御するわけである。

以上の説明から明らかなように、本実施例によれば、ユーザにより指定された条件などや復号処理能力に応じて、さらに、処理の進行状況に応じて、符号選択を適切に制御することにより、静止画又は動画をユーザの意向にそった形で表示することが可能である。

図１０に、別の実施例における静止画又は動画の各フレームに対する画像処理プログラム１２０の概略処理フローチャートを示す。

本実施例においては、まず、符号化データ全体を読み込み、メインヘッダ及びタイルヘッダの解析を行うとともに、全ての符号（パケット）を分類別に整理してメモリ１０２に記憶する（ステップＳ４１）。したがって、どのような分類の符号がどこに記憶されているか認識可能である。解析結果もメモリ１０２に記憶されることは当然である。

なお、動画の場合に、現フレームの処理中に、バックグラウンド処理として、次フレームに対するステップ４１の処理を行うようにしてもよく、かかる態様も本実施形態に包含される。複数の静止画を順次処理するようなケースでも、次に処理する静止画に対し同様のバックグラウンド処理を行うことも可能である。

続いて、パラメータの設定を行い（ステップＳ４２）、符号分類リストを作成する（ステップＳ４３）。ステップＳ４２の処理内容は図８のステップＳ２と同様である。ステップＳ４３は図８のステップＳ３と同様であるが、ここで作成される符号分類リストは、符号の分類を選択順に並べたものである。すなわち、解像度優先ならば例えば図５のような符号分類リストが作成され、色成分優先ならば例えば図６のような符号分類リストが作成される。

続いてステップＳ４４〜Ｓ４９の処理ループが実行される。この処理ループにおいて、符号分類リスト上の分類の並び順に従って、その分類と合致する符号（パケット）を順次取り込み（ステップＳ４８）、その符号に対し復号処理の前半処理又は符号変換処理の前処理を行う（ステップＳ４９）。また、処理の進行状況を確認し（ステップＳ４５）、進行状況から符号分類リストの修正の要否と修正方法を判断する（ステップＳ４６）。本実施例では、符号分類リスト上の先頭の分類に合致する符号より順に選択し処理されるため、直前に処理した符号の分類の符号分類リスト上の位置を調べることにより、進行状況を確認することができる。もちろん、その時点までに処理（選択）された符号量から進行状況を確認することも可能である。そして、進行状況から、符号分類リストの修正の要否と修正方法を判断し（ステップＳ４６）、符号分類リストの必要な修正を行う（ステップＳ４７）。この修正の方法は図９のステップＳ２７と同様である。

このような処理ループは、ステップＳ４４で終了と判断されるまで繰り返し実行される。符号分類リストの最後の分類に該当する符号が処理済みとなったとき、符号データの全ての符号が処理済みとなったとき、ユーザにより指定された処理時間に達したとき、あるいは、ユーザにより処理終了指示がなされ終了要求がビューア／ブラウザ１２２より発行されたときに、ステップＳ４４で終了と判断される。

終了と判断すると、ステップＳ５０の処理が実行される。復号処理の場合には、選択された符号についての前半処理の結果を用いて画像データを再生する処理が実行される。符号変換処理の場合には、選択された符号を用いた符号形成プロセスが実行され、新しい符号化データが生成される。生成された画像データ又は符号化データはメモリ１０２の特定エリアに書き込まれ、その画像データはビューア／ブラウザ１２２により表示され、その符号化データは復号処理の後に表示されることになる。

以上の説明から明らかなように、本実施例によれば、ユーザにより指定された条件などや復号処理能力に応じて符号選択を適切に制御し、静止画又は動画をユーザの意向にそった形で表示することが可能である。さらに、本実施例によれば、処理の進行状況に適応して符号の選択を柔軟に制御できる利点がある。例えば、次のような処理の制御を容易に実現できる。
（１）動画の場合に、画像の中心部分のタイルについて符号の選択を優先させ、早い段階で符号を処理することにより、中心部分のタイルではフレームレートを維持させ、周辺タイルについては時間的な余裕のある限度で符号を処理させる。同様の制御は、静止画についても可能である。
（２）静止画又は動画において、ＬＬサブバンドの符号を優先的に選択して処理し、時間的な余裕がある限度でＨＬ，ＬＨ，ＨＨサブバンドの順に符号を処理する。
（３）静止画又は動画において、上位のレイヤー又はビットプレーンの符号を優先的に選択して処理し、時間的な余裕の限度で順次下位のレイヤー又はビットプレーンの符号を処理する。
（４）静止画又は動画において、ＲＯＩ領域の符号を優先的に処理し、時間的な余裕の限度で他の符号を処理する。
（５）静止画又は動画において、輝度成分の符号を優先して処理し、時間的な余裕の限度で色差成分の符号を処理する。したがって、動画の場合、輝度成分についてはフレームレートが維持されるが、画像再生に支障のない限度で、色差成分についてはフレームレートを維持できないこともあり得る。
（６）図６の符号分類リストに関連して述べたような、早い段階で色を再生させる順で符号を処理する。
（７）図７の符号分類リストに関連して述べたように、ある解像度レベルまでは解像度を優先し、次に画質を優先し、再び解像度を優先するような順で符号を処理する。
（８）符号化データのプログレッションオーダーに従った符号選択順に設定して符号変換処理を行う。このようにするならば、符号変換後の符号化データも、予定されたプログレッシブ再生が可能である。

以上の説明から理解されるように、本実施形態に係る画像処理装置の典型的な機能ブロック図は図１１のように表すことができる。

図１１において、符号化データ読込部２０１は、動画の各フレームの符号化データ又は静止画の符号化データを、ローカルな画像ソース又はネットワーク上の画像ソースより読み込む手段である。処理部２０３は、復号処理又は符号変換処理、すなわち前記フローチャート中のステップＳ８，Ｓ９，Ｓ３１，Ｓ３２，Ｓ４９，Ｓ５０の処理を実行する手段である。条件受取部２０５は、前記ビューア／ブラウザ１２２より与えられる各種条件を取り込む手段である。符号選択制御部２０４は、前述したようなパラメータ設定、符号分類リストの作成・修正、符号分類リストに基づく符号選択の制御やそれに関連した処理を実行する手段である。記憶部２０２は、読み込まれた符号化データ、復号処理により復元された画像データ、符号変換処理後の符号化データ、符号分類リストなどを一時的に記憶するための手段である。

既に述べたように、かかる画像処理装置と、前記ビューア／ブラウザ１２２に相当する画像表示制御手段を統合した構成の画像処理システムも本実施形態に含まれる。

なお、請求項１〜１９に係る発明は、ＪＰＥＧ２０００の静止画やＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画に好適に適用できるが、他の符号化方式による静止画又は動画に対しても適用し得るものである。例えば、ＪＰＥＧ２０００の規格とは異なっても、ウェーブレット変換を行い、その係数をビットプレーン符号化する符号化方式の静止画や動画ならば、前記各実施例における符号選択制御をほぼそのまま適用し得る。また、周波数変換として例えば８×８画素ブロック単位の離散コサイン変換（ＤＣＴ）を行い、ＤＣＴ係数を複数の周波数帯域に分割し、周波数帯域毎に階層的に符号化された符号化データの場合、８×８画素のブロックを位置のパラメータ、ＤＣＴ係数の周波数帯域を画質のパラメータなどとして符号を分類し、同様の符号選択制御を適用することにより、ユーザの意向などを反映した静止画又は動画の再生が可能となる。

＜実施形態２＞
本実施形態は、請求項２０〜３０に記載の発明に係るものである。本実施形態に係る画像処理装置は、図１８に示すように、画像データ記憶手段３００、符号化処理手段３０１、符号分類リスト記憶手段３０２及び符号化制御手段３０３から構成される。

画像データ記憶手段３００は、符号化されない画像データ（静止画の画像データ又は動画像のフレームの画像データ）を一時的に記憶する手段である。符号化処理手段３０１は、画像データ記憶手段３００より画像データを読み込み、その符号化処理を行う手段である。

符号分類リスト記憶手段３０２は、１つ以上の符号分類リストを記憶する手段である。この符号分類リストは、解像度、位置、色成分、画質に関するパラメータのうちの少なくとも１つによる符号の分類を、符号の生成順に並べたリストである。

符号化制御手段３０３は、符号分類リスト記憶手段３０２より符号分類リストを読み込み、この符号分類リスト上の分類に合致する符号が符号分類リスト上の分類の並び順に従って符号化処理手段３０１の符号化処理により生成されるように符号化処理手段３０１を制御する手段である。符号化処理により生成された符号が生成順に整列された符号化データが符号化処理手段３０１より出力される。

このような本実施形態に係る画像処理装置は、パソコンなどの汎用コンピュータや、デジタルカメラなどの画像処理機能を持つ機器の内蔵マイクロコンピュータのようなコンピュータにおいてプログラムの形で実現されるのが、１つの典型的な態様である。かかる態様について、便宜、図１に示したコンピュータを例に説明する。

本実施形態に係る画像処理装置の各構成手段３００〜３０３としてコンピュータを機能させるためのプログラム（画像処理プログラム）は、それが記録された記録媒体より媒体ドライブ装置１１４によって読み込まれて補助記憶装置１０６に格納され、あるいはネットワーク経由で通信インターフェース１１０より取り込まれて補助記憶装置１０６に格納される。そして、この画像処理プログラムは、補助記憶装置１０６よりメモリ１０２にロードされ、ＣＰＵ１００により実行されることにより、コンピュータ上で本実施形態に係る画像処理装置が実現される。なお、画像処理プログラムがＲＯＭの形で実装される態様も本実施形態に含まれる。画像処理プログラムと、これが記録された各種記録媒体（上記ＲＯＭなどの半導体記憶素子も含む）も本実施形態に包含される。

処理対象となる画像データは、例えば、入出力インターフェース１１２に接続された記憶装置や画像入力装置から取り込まれ、あるいは、補助記憶装置１０６より取り込まれて処理される。

符号分類リストは補助記憶装置１０６に記憶されており、処理時に符号分類リストがメモリ１０２に読み込まれて処理に利用される。なお、複数種類の符号分類リストを補助記憶装置１０６に記憶しておき、ユーザからの指示に応じて最適な符号分類リストを選択して利用するようにしてもよく、かかる態様も本実施形態に包含される。また、前記実施形態１と同様に、ユーザからの指示など応じて、符号分類リストを新規に作成し、あるいは、予め用意された符号分類リストを修正するようにしてもよい。すなわち、本実施形態に係る画像処理装置は、符号分類リストの作成・修正のための手段を備えてもよく、かかる態様も本実施形態に包含される。

以下、本実施形態の一実施例について詳細に説明する。

本実施例においては、符号化処理は前述したＪＰＥＧ２０００のアルゴリズムにより行われる。また、符号分類リストとして、前記実施形態１の場合と同様、レイヤー番号（画質のパラメータ）、解像度レベル（解像度のパラメータ）、コンポーネント番号（色成分のパラメータ）、プレシンクト番号（位置のパラメータ）による符号の分類を並べた図４〜図７に示したようなリストが用いられる。色成分は、色変換を行う場合にはＹＣｒＣｂもしくはＹＵＶ成分であり、色変換を行わない場合には例えばＲＧＢ成分である。

図１９は、本実施例に係る画像処理装置の動作を説明するためのフローチャートである。当該画像処理装置がコンピュータ上で実現される場合、図１９に示すような処理及び制御を行うための画像処理プログラムが用いられるということでもある。

図１９のフローチャートにおいて、ステップＳ３０１〜Ｓ３０４は符号化制御手段３０３に係るステップであり、ステップＳ３０６は符号化処理手段３０１に係るステップである。ステップＳ３０５は処理ループＳ３０５＿１〜Ｓ３０５＿ｎを選択的に実行する、符号化処理手段３０１と符号化制御手段３０３の両方に係るステップである。

ステップＳ３０１で実行される処理ループの基本構造は次のようなネストされたｆｏｒループで表すことができる。

ｆｏｒ（条件１）｛
ｆｏｒ（条件２）｛
ｆｏｒ（条件３）｛
ｆｏｒ（条件４）｛
ｆｏｒ（条件５）｛
符号生成・保存
｝
｝
｝
｝
｝

本実施例では、各ｆｏｒループの条件としてタイル番号、コンポーネント番号、プレシンクト番号、解像度レベル、レイヤ番号のうちのいずれかの最小値と最大値が用いられる。タイル、コンポーネント、プレシンクト、解像度レベル、レイヤの条件をどのような順番で適用するか、つまり、それらをループ条件１〜５のどれに用いるかが後述の「オーダーＯ」であり、最大５！通りのオーダーが考えられる。本実施例では、オーダーＯの値に対応したｎ種類の処理ループＳ３０５＿１〜Ｓ３０５＿ｎが用意されている。

なお、ループ条件１としてタイルの条件を用いる場合、ＪＰＥＧ２０００ではＬＲＣＰ，ＲＬＣＰ，ＲＰＣＬ，ＰＣＲＬ，ＣＰＲＬの５通りのオーダー（プログレッション・オーダー）が規定されている。例えばＬＲＣＰは、ループ条件２，３，４，５としてレイヤ（Ｌ），解像度レベル（Ｒ），コンポーネント（Ｃ），プレシンクト（Ｐ）の条件を順に用いるオーダーである。このような５通りのプログレッション・オーダーのいずれかの処理ループを選択するならば、ＪＰＥＧ２０００標準のプログレッション・オーダーの符号化データを生成することができる利点がある。なお、タイリングを行わない場合には、タイル番号に関するｆｏｒループを省略可能である。

オーダＯ＝１に対応した処理ループＳ３０５＿１の具体的な処理フローを図２０に示す。図２０から明らかなように、この処理ループでは、ループ条件１としてタイルの条件が、ループ条件２としてコンポーネントの条件が、ループ条件３としてプレシンクトの条件が、ループ条件４として解像度レベルの条件が、ループ条件５としてレイヤの条件がそれぞれ用いられている。すなわち、ＪＰＥＧ２０００のＣＰＲＬプログレッション・オーダーに従っている。

図１９を参照して説明する。符号化制御手段３０３は、ステップＳ３０２で、符号分類リストの先頭より（又は前回までに処理済みとなった分類の次の分類より）分類の解析を行う。符号化制御手段３０３は、この解析の結果を基に以下に述べるような符号化処理手段３０１による符号生成の制御を行う。

すなわち、ステップＳ３０３で、解析の結果を基に、オーダーＯを設定し、そのオーダーを適用して一定のループ条件で生成可能な連続した符号の分類の範囲を決定し、その範囲（符号化範囲と呼ぶ）の分類の符号を生成するためのループ条件を設定する。

このループ条件の設定では、タイル番号Ｔの最小値Ｔ０と最大値ＴＭ、コンポーネント番号Ｃの最小値Ｃ０と最大値ＣＭ、プレシンクト番号Ｐの最小値Ｐ０と最大値ＰＭ、解像度レベルＲの最小値Ｒ０と最大値ＲＭ、レイヤ番号Ｌの最小値Ｌ０と最大値ＬＭがそれぞれ設定される。

本実施例で用いる符号分類リストはタイル番号のパラメータを分類に用いないため、タイル番号のループ条件に関しては常に全タイルを含めるように、すなわちＴ０＝０、ＴＭ＝最大タイル番号＋１に設定される。しかし、タイル番号を符号の分類パラメータに加えた符号分類リストを用いることも当然に本実施形態に包含される。この場合、符号分類リスト上の分類の解析の結果に従って、タイル番号のループ条件であるＴ０，ＴＭを設定することになる。

ステップＳ３０４で、符号化制御手段３０３は直前ステップで設定したオーダーＯの値により、次ステップＳ３０５で実行すべき処理ループを選択する。選択された処理ループにおいて、実際に符号の生成・保存が行われ、また、符号分類リストの生成された符号に対応する分類の処理済みフラグがオンに設定される（初期段階では全ての分類の処理済みフラグはオフ状態である）。

ステップＳ３０５での処理ループが終了すると、符号化制御手段３０３は、ステップＳ３０２で、符号分類リスト上の前回の符号化範囲の次の分類より分類の解析を行い、ステップＳ３０３で、解析結果に基づいて、オーダーＯを設定し、そのオーダーＯを適用して一定のループ条件で生成可能な連続した符号の分類の範囲を決定し、その範囲（符号化範囲と呼ぶ）の分類の符号を生成するためのループ条件を設定する。ステップＳ３０４で、オーダーＯの値によりステップＳ３０５で実行する処理ループを選択する。

符号化制御手段３０３は、ステップＳ３０１で終了と判定するまで、具体的には、符号分類リストの全ての分類の処理済みフラグがオン状態となったと判定するまで、又は、符号化中断信号が発生したと判定するまで、ステップＳ３０１〜Ｓ３０５の制御のループを繰り返す。終了と判定すると、符号化制御手段３０３はステップＳ３０６で符号化処理手段３０１にタグ処理を実行させる。このタグ処理は、符号化処理手段３０１の内部に保存されている符号が生成順（保存順）に整列し、必要なヘッダ情報とタグが付加された符号化データを形成する処理である。

ステップＳ３０４で実行される処理ループとしてオーダーＯ＝１に対応する処理ループＳ３０５＿１が選択されたとして、その処理ループ内の処理について図２０を参照し説明する。

符号化制御手段３０３は、タイル番号Ｔ、コンポーネント番号Ｃ、プレシンクト番号Ｐ、レイヤ番号Ｌの符号が生成済みであるか、符号分類リスト上の対応した分類の処理済みフラグを参照して調べる（ステップＳ４１０）。その分類済みの処理済みフラグがオフ状態（未処理）ならば、その分類の符号を生成する符号化処理を符号化処理手段３０１に実行させる（ステップＳ４１２）。生成された符号は符号化処理手段３０１の内部の記憶手段に生成順に保存される（ステップＳ４１３）。符号化制御手段３０３は生成された符号に対応する符号分類リストの分類の処理済みフラグをオン状態（処理済み）に設定する（ステップＳ４１４）。

符号化制御手段３０３は、ステップＳ４１５の後、又はステップＳ４１０で処理済みフラグがオン状態と判定した後に、レイヤ番号Ｌを１だけインクリメントし（ステップＳ４１１）、インクリメント後のレイヤ番号ＬがＬＭより小さいならば（ステップＳ４０８，ＹＥＳ）、ステップＳ４１０以降の制御を繰り返す。

レイヤ番号ＬがＬＭに達すると（ステップＳ４１０，ＮＯ）、符号化制御手段３０３はレイヤ番号Ｌを最小値Ｌ０に戻すとともに解像度レベルＬを１だけインクリメントし（ステップＳ４０９）、解像度レベルＲがＲＭより小さいか判定する（ステップＳ４０６）。Ｒ＜ＴＭと判定したならば、符号化制御手段３０３は、タイル番号Ｔ、コンポーネント番号Ｃ、プレシンクト番号Ｐ、レイヤ番号Ｌの分類の処理済みフラグを調べ（ステップＳ４１０）、その処理済みフラグがオフ状態ならば、その分類の符号を生成する符号化処理を符号化処理手段３０１に実行させ（ステップＳ４１３）、生成した符号を保存させ（ステップＳ４１３）、生成した符号に対応した分類の処理済みフラグをオン状態に設定し（ステップＳ４１４）、レイヤ番号Ｌをインクリメントし（ステップＳ４１１）、レイヤ番号Ｌの判定を行う（ステップＳ４０８）。

ステップＳ４０８でレイヤ番号ＬがＬＭに達したと判定したときには、符号化制御手段３０３はレイヤ番号ＬをＬ０に戻すとともに解像度レベルＲをインクリメントし（ステップＳ４０９）、解像度レベルＲがＲＭより小さいか判定する（ステップＳ４０６）。その判定結果がＮＯならば、解像度レベルＲをＲ０に戻すとともにプレシンクト番号Ｐをインクリメントし（ステップＳ４０７）、プレシンクト番号ＰがＰＭより小さいか判定する（ステップＳ４０４）。Ｐ＜ＰＭと判定されたならば、符号化制御手段３０３は、タイル番号Ｔ、コンポーネント番号Ｃ、プレシンクト番号Ｐ、解像度レベルＲ、レイヤ番号Ｌの分類の処理済みフラグの状態を調べ（ステップＳ４１０）、そのフラグがオフ状態ならば、符号化処理手段３０１に、その分類の符号を生成させ（ステップＳ４１２）、生成された符号を保存させ（ステップＳ４１３）、当該分類の処理済みフラグをオン状態に設定する（ステップＳ４１４）。

符号化制御手段３０３は、ステップＳ４０４でプレシンクト番号ＰがＰＭに達したと判定したときには、プレシンクト番号ＰをＰ０に戻すとともにコンポーネント番号Ｃをインクリメントする（ステップＳ４０５）。そして、インクリメント後のコンポーネント番号ＣがＣＭより小さいとステップＳ４０２で判定したならば、タイル番号Ｔ、コンポーネント番号Ｃ、プレシンクト番号Ｐ、解像度レベルＲ、レイヤ番号Ｌの分類の処理済みフラグの状態を調べ（ステップＳ４１０）、この処理済みフラグかオフ状態ならば、符号化処理手段３０１に当該分類の符号の生成と保存を行わせ（ステップＳ４１２，Ｓ４１３）、当該分類の処理済みフラグをオン状態に設定する（ステップＳ４１５）。

符号化制御手段３０３は、ステップＳ４０２でコンポーネント番号ＣがＣＭに達したと判定したときには、コンポーネント番号ＣをＣ０に戻すとともにタイル番号Ｔをインクリメントする（ステップＳ４０３）。インクリメント後のタイル番号ＴがＴＭより小さいとステップＳ４０１で判定したならば、符号化制御手段３０３は、タイル番号Ｔ、コンポーネント番号Ｃ、プレシンクト番号Ｐ、解像度レベルＲ、レイヤ番号Ｌの分類の処理済みフラグを調べ（ステップＳ４１０）、この処理済みフラグがオフ状態ならば、当該分類の符号の生成と保存を符号化処理手段３０１に行わせ（ステップＳ４１２，Ｓ４１３）、当該分類の処理済みフラグをオン状態に設定する（ステップＳ４１４）。

このような処理ループは、ステップＳ４１５で、符号分類リスト上の現在の符号化範囲の全ての分類の処理済みフラグがオン状態となったと判定されたとき、又は、ステップＳ４０１でタイル番号がＴＭに達したと判定されたときに終了する。また、符号化動作を強制的に中断させる符号化中断信号が発生したときにも処理ループは終了する。

以上の説明から明らかなように、本実施例によれば、ユーザの要求や符号化データの復号する機器側の復号処理能力などの条件に応じた符号分類リストを用いることにより、ユーザの要求や復号処理能力などの条件に合致した符号構造の符号化データを、画像データから直接生成することができる。

なお、符号を分類するための位置のパラメータとして、プレシンクト番号に代えてコードブロック番号を用いることも可能であり、かかる態様も本実施形態に包含される。画質のパラメータとして、レイヤ番号に代えてビットプレーン番号又はサブビットプレーン番号を用いることも可能であり、かかる態様も本実施形態に包含される。解像度のパラメータとして、解像度レベルに代えてデコンポジションレベルを用いることも可能であり、かかる態様も本実施形態に包含される。

請求項２０に記載の発明は、符号化方式としてＪＰＥＧ２０００を用いる場合に好適に適用できるが、他の符号化方式を用いる場合にも適用し得るものである。例えば、ＪＰＥＧ２０００の規格とは異なっても、ウェーブレット変換を行い、その係数をビットプレーン符号化する符号化方式を用いる場合には前記実施例４における符号生成制御をほぼそのまま適用し得る。また、周波数変換として例えば８×８画素ブロック単位の離散コサイン変換（ＤＣＴ）を行い、ＤＣＴ係数を複数の周波数帯域に分割し、周波数帯域毎に階層的に符号化するような符号化方式を用いる場合にも、８×８画素のブロックを位置のパラメータ、ＤＣＴ係数の周波数帯域を画質のパラメータなどとして符号を分類し、同様の符号生成制御を適用することにより、ユーザの意向や復号処理能力などを反映した符号化データを生成可能となる。

本発明の実施形態１に係るコンピュータのブロック図である。 ビューア／ブラウザによる表示画面の一例を模式的に示す図である。 パラメータによる符号の分類の例を示す図である。 符号分類リストの一例を示す図である。 符号分類リストの一例を示す図である。 符号分類リストの一例を示す図である。 符号分類リストの一例を示す図である。 実施形態１の一実施例に係る概略フローチャートである。 実施形態１の他の実施例に係る概略フローチャートである。 実施形態１の他の実施例に係る概略フローチャートである。 実施形態１に係る画像処理装置の機能ブロック図である。 ＪＰＥＧ２０００のアルゴリズム説明のためのブロック図である。 各コンポーネントのタイル分割の説明図である。 ２次元ウェーブレット変換によるサブバンド分割と解像度レベルを示す図である。 ＪＰＥＧ２０００の符号フォーマットの概略図である。 画像、タイル、サブバンド、プレシンクト、コードブロックの関係を説明するための図である。 レイヤーとパケットの関係を例示した図である。 本発明の実施形態２に係る画像処理装置の機能ブロック図である。 実施形態１の一実施例における全体的処理を説明するためのフローチャートである。 図１９中のステップＳ３０５で実行される処理ループの一例を説明するためのフローチャートである。

符号の説明

１００ ＣＰＵ
１０２ メモリ
１０４ ディスプレイ装置
１０６ 補助記憶装置
１０８ ユーザ入力装置
１１０ 通信インターフェース
１１２ 入出力インターフェース
１１４ 媒体ドライブ装置
１２０ 画像処理プログラム
１２２ ビューア／ブラウザ
１３０ 画像表示ウィンドウ
１３２ コントロール領域
２０１ 符号化データ読込部
２０２ 記憶部
２０３ 処理部
２０４ 符号選択制御部
２０５ 条件受取部
３００ 画像データ記憶手段
３０１ 符号化処理手段
３０２ 符号分類リスト記憶手段
３０３ 符号化制御手段

Claims (30)

1. 静止画又は動画の符号化データを処理する画像処理装置であって、
   解像度、画質、色成分、位置、重要領域に関するパラメータのうちの少なくとも１つによる符号の分類を並べた符号分類リストを作成する手段を含み、符号化データ中の前記符号分類リスト中の分類に合致する符号を選択する符号選択制御手段と、
   前記符号選択制御手段により選択された符号に対して復号処理を行う処理手段と、
   を有することを特徴とする画像処理装置。
2. 静止画又は動画の符号化データを処理する画像処理装置であって、
   解像度、画質、色成分、位置、重要領域に関するパラメータのうちの少なくとも１つによる符号の分類を並べた符号分類リストを作成する手段を含み、符号化データ中の該符号分類リスト中の分類に合致する符号を選択する符号選択制御手段と、
   前記符号選択制御手段により選択された符号からなる別の符号化データを形成する処理手段と、
   を有することを特徴とする画像処理装置。
3. 請求項１又は２に記載の画像処理装置において、
   前記符号分類リストは符号の分類を選択順に並べたリストであり、
   前記符号選択制御手段は、符号化データより、前記符号分類リストの分類に合致する符号を前記選択順に選択することを特徴とする画像処理装置。
4. 請求項１，２又は３に記載の画像処理装置において、
   前記符号選択制御手段は、各静止画毎に、又は、動画の各フレーム毎に前記符号分類リストを作成することを特徴とする画像処理装置。
5. 請求項１，２，３又は４に記載の画像処理装置において、
   前記符号選択制御手段は、処理進行状況に応じて前記符号分類リストを修正する手段を含むことを特徴とする画像処理装置。
6. 請求項１乃至５のいずれか１項に記載の画像処理装置において、
   前記符号選択制御手段は、終了要求を受け付けると直ちに符号選択を終了することを特徴とする画像処理装置。
7. 請求項１乃至６のいずれか１項に記載の画像処理装置において、
   前記符号選択制御手段は、解像度、画質、色成分、位置、重要領域、フレームレート、選択される符号量、処理時間のうちの少なくとも１つに関する条件を受け取り、該条件に応じて解像度、画質、色成分、位置、重要領域に関するパラメータのうちの少なくとも１つのパラメータを設定する手段を含み、該手段により設定されたパラメータに基づいて前記符号分類リストを作成することを特徴とする画像処理装置。
8. 請求項１乃至７のいずれか１項に記載の画像処理装置において、
   符号化データはＪＰＥＧ２０００準拠の符号化データであることを特徴とする画像処理装置。
9. 請求項７に記載の画像処理装置と、
   前記画像処理装置により処理された画像をディスプレイ装置に表示させる画像表示制御手段とを有し、
   前記画像表示制御手段は、解像度、画質、色成分、位置、重要領域、フレームレート、選択される符号量、処理時間のうちの少なくとも１つに関する条件を前記画像処理装置に入力することを特徴とする画像処理システム。
10. 請求項９に記載の画像処理システムにおいて、
    前記画像表示制御手段は、解像度、画質、色成分、位置、重要領域、フレームレート、選択される符号量、処理時間のうちの少なくとも１つに関する条件をユーザが指定するための手段を含むことを特徴とする画像処理システム。
11. 静止画又は動画の符号化データを処理する画像処理方法であって、
    解像度、画質、色成分、位置、重要領域に関するパラメータのうちの少なくとも１つによる符号の分類を並べた符号分類リストを作成するステップを含み、符号化データ中の前記符号分類リスト中の分類に合致する符号を選択する符号選択制御ステップと、
    前記符号選択制御ステップにより選択された符号に対して復号処理を行う処理ステップと、
    を有することを特徴とする画像処理方法。
12. 静止画又は動画の符号化データを処理する画像処理方法であって、
    解像度、画質、色成分、位置、重要領域に関するパラメータのうちの少なくとも１つによる符号の分類を並べた符号分類リストを作成するステップを含み、符号化データ中の該符号分類リスト中の分類に合致する符号を選択する符号選択制御ステップと、
    前記符号選択制御ステップにより選択された符号からなる別の符号化データを形成する処理ステップと、
    を有することを特徴とする画像処理方法。
13. 請求項１１又は１２に記載の画像処理方法において、
    前記符号分類リストは符号の分類を選択順に並べたリストであり、
    前記符号選択制御ステップは、符号化データより、前記符号分類リストの分類に合致する符号を前記選択順に選択することを特徴とする画像処理方法。
14. 請求項１１，１２又は１３に記載の画像処理方法において、
    前記符号選択制御ステップは、処理進行状況に応じて前記符号分類リストを修正するステップを含むことを特徴とする画像処理方法。
15. 請求項１１，１２，１３又は１４に記載の画像処理方法において、
    前記符号選択制御ステップは、与えられた解像度、画質、色成分、位置、重要領域、フレームレート、選択される符号量、処理時間のうちの少なくとも１つに関する条件に応じて解像度、画質、色成分、位置、重要領域に関するパラメータのうちの少なくとも１つのパラメータを設定するステップを含み、該ステップにより設定されたパラメータに基づいて前記符号分類リストを作成することを特徴とする画像処理方法。
16. 請求項１５に記載の画像処理方法において、前記条件の少なくとも１つはユーザにより指定可能であることを特徴とする画像処理方法。
17. 請求項１乃至１０のいずれか１項に記載の各手段としてコンピュータを機能させるプログラム。
18. 請求項１１，１２，１３，１４，１５又は１６に記載の各ステップをコンピュータに実行させるプログラム。
19. 請求項１７又は１８に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。
20. 画像データを記憶する画像データ記憶手段と、
    前記画像データ記憶手段より画像データを読み込み、その符号化処理を行う符号化処理手段と、
    解像度、位置、色成分、画質に関するパラメータのうちの少なくとも１つによる符号の分類を並べた符号分類リストを記憶する符号分類リスト記憶手段と、
    前記符号分類リスト記憶手段に記憶されている符号分類リストに基づいて、前記符号分類リスト上の分類に合致する符号が前記符号分類リスト上の分類の並び順に従って前記符号化処理により生成されるように前記符号化処理手段を制御する符号化制御手段とを有し、
    前記符号化処理手段は、前記符号化処理により生成された符号をその生成順に整列してなる符号化データを生成することを特徴とする画像処理装置。
21. 前記符号化処理はＪＰＥＧ２０００のアルゴリズムに従った符号化処理であり、
    位置に関するパラメータとしてプレシンクトに関するパラメータが用いられることを特徴とする請求項２０に記載の画像処理装置。
22. 前記符号化処理はＪＰＥＧ２０００のアルゴリズムに従った符号化処理であり、
    位置に関するパラメータとしてコードブロックに関するパラメータが用いられることを特徴とする請求項２０に記載の画像処理装置。
23. 前記符号化処理はＪＰＥＧ２０００のアルゴリズムに従った符号化処理であり、
    画質に関するパラメータとしてレイヤに関するパラメータが用いられることを特徴とする請求項２０に記載の画像処理装置。
24. 前記符号化処理はＪＰＥＧ２０００のアルゴリズムに従った符号化処理であり、
    画質に関するパラメータとしてビットプレーンに関するパラメータが用いられることを特徴とする請求項２０に記載の画像処理装置。
25. 前記符号化処理はＪＰＥＧ２０００のアルゴリズムに従った符号化処理であり、
    画質に関するパラメータとしてサブビットプレーンに関するパラメータが用いられることを特徴とする請求項２０に記載の画像処理装置。
26. 前記符号化処理はＪＰＥＧ２０００のアルゴリズムに従った符号化処理であり、
    解像度に関するパラメータとして解像度レベルに関するパラメータが用いられることを特徴とする請求項２０に記載の画像処理装置。
27. 前記符号化処理はＪＰＥＧ２０００のアルゴリズムに従った符号化処理であり、
    解像度に関するパラメータとしてデコンポジションレベルに関するパラメータが用いられることを特徴とする請求項２０に記載の画像処理装置。
28. 画像データの符号化処理を行う符号化処理工程と、
    解像度、位置、色成分、画質に関するパラメータのうちの少なくとも１つによる符号の分類を並べた符号分類リストに基づいて、前記符号分類リスト上の分類に合致する符号が前記符号分類リスト上の分類の並び順に従って前記符号化処理により生成されるように前記符号化処理工程を制御する符号化制御工程とを有し、
    前記符号化処理工程は、前記符号化処理により生成された符号をその生成順に整列してなる符号化データを生成することを特徴とする画像処理方法。
29. 請求項２０乃至２７のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。
30. 請求項２０乃至２７のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラムが記録されたコンピュータが読み取り可能な情報記録媒体。

Images