JP2010010802A - 画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体 - Google Patents

Abstract

【課題】複数の画像を表示する表示画面において、表示位置に応じて表示する画像の画像品質を異ならせることにより、複数の画像の画像データを効率良く取得して表示させる画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体を提供すること。
【解決手段】複数の復号画像が一の表示画面に表示される際の前記復号画像毎の表示位置を、第一の表示位置群と第二の表示位置群とに分類する位置分類手段と、前記第一の表示位置群と前記第二の表示位置群とに対し、互いに異なる復号画像の画像品質を決定する品質決定手段と、複数の画像品質に対応する画像符号を格納するサーバに対し、前記表示位置毎に対応する復号画像の前記品質決定手段により決定された画像品質に対応する画像符号を要求する符号要求手段と、前記画像品質に対応する画像符号を取得する符号取得手段と、を有する画像処理装置。
【選択図】図１６

Description

本発明は、画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体に関する。

従来から、画像検索におけるユーザインタフェースの提供方法として、画像のサムネール画像を表示させる技術がある。このような技術によれば、一覧表示されたサムネール画像から操作者の目視によって所望の画像を検索することが容易になる。例えば、特開２００４−１９４１２６号公報（特許文献１）には、一画面に表示されるサムネール画像の数や解像度を、データファイルのフォーマット種別毎に変更するサムネール画像の表示方法が開示されている。

また例えば、特開２００４−１７８３８４号公報（特許文献２）には、コンテンツ毎に対応するサムネールを画面にマップ状に配置させ、ポインタによって選択された範囲に含まれるサムネールに対応する画像の表示を、サムネール間の位置関係に対応させて行うことが開示されている。

特開２００４−１９４１２６号公報 特開２００４−１７８３８４号公報 ＩＳＯ／ＩＥＣ １５４４４−１ ＩＳＯ／ＩＥＣ １５４４４−９

しかしながら、上記特許文献１及び２に開示のサムネール画像の表示方法等では、サムネール画像の画像データ及びそのサムネール画像に対応する画像の画像データが、サーバ等に蓄積されている場合に、それらの画像データを効率良く取得することについては、考慮されていない。

例えば、画像データが、復号画像の画像品質に対応づけられる階層的な符号化方式により生成されたものである場合には、取得する画像データを画像品質に基づいて決定することにより、画像データの取得、復号処理、及び、表示手段への出力処理を効率的に行うことができる。

本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、複数の画像を表示する表示画面において、表示位置に応じて表示する画像の画像品質を異ならせることにより、複数の画像の画像データを効率良く取得して表示させる画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体を提供することを目的としている。

上記目的を達成するために、本発明の画像処理装置は次の如き構成を採用した。

本発明の画像処理装置は、複数の復号画像が一の表示画面に表示される際の前記復号画像毎の表示位置を、第一の表示位置群と第二の表示位置群とに分類する位置分類手段と、前記第一の表示位置群と前記第二の表示位置群とに対し、互いに異なる復号画像の画像品質を決定する品質決定手段と、複数の画像品質に対応する画像符号を格納するサーバに対し、前記表示位置毎に対応する復号画像の前記品質決定手段により決定された画像品質に対応する画像符号を要求する符号要求手段と、前記画像品質に対応する画像符号を取得する符号取得手段と、を有する構成とすることができる。

これにより、複数の画像を表示する表示画面において、表示位置に応じて表示する画像の画像品質を異ならせることにより、複数の画像の画像データを効率良く取得して表示させる画像処理装置を提供することができる。

なお、上記課題を解決するため、本発明は、上記画像処理装置における画像処理方法、その画像処理方法をコンピュータに実行させるコンピュータプログラム、そのコンピュータプログラムを格納した情報記録媒体としてもよい。

本発明の画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体によれば、複数の画像を表示する表示画面において、表示位置に応じて表示する画像の画像品質を異ならせることにより、複数の画像の画像データを効率良く取得して表示させる画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体を提供することが可能になる。

以下、本発明の実施の形態を図面に基づき説明する。
〔本発明の実施の形態〕
本発明の実施の形態の説明に先んじて、本発明の理解を容易にするために、従来の画像検索における画像の提示方法とその課題、及び、一のコードストリームで複数の階層の画像品質の復号画像を再生させることができる画像符号化方式について説明する。

なお、以下の実施の形態では、主としてＪＰＥＧ２０００規格を例にして説明するが、本発明の実施の形態は、この例に限らない。ＦｌａｓｈＰｉｘ、ＪＰＥＧ−ＸＲ等、解像度スケーラビリティ及び／又はＳＮＲスケーラビリティを有する符号を処理する画像処理装置等に適用することができる。

（画像検索における画像の提示方法とその課題）
現在の画像検索の例として、画像とテキストデータとが対応づけられている場合に、そのテキストデータを検索キーとして、キーワード検索を行うことがある。しかし、画像にテキストデータが対応づけられていない場合や、対応づけられたテキストデータが検索キーに適していない場合には、画像のサムネールが一覧表示された画面から、操作者が目視により所望の画像を探すことがある。

目視による画像検索を行う場合に、検索される対象となる画像の数が多いと、一の画面に全てのサムネールを表示することができない。そこで、例えば、一の画面に表示するサムネールの数を制限し、縦横のスクロールを繰り返しながら全てのサムネールを閲覧することを可能にするとよい。一の画面に表示する画像の数は、例えば、３０程度である。

図１は、この方法によるサムネールの提示方法を説明する図である。画面の右及び下に、スクロールバーが設けられ、操作者がポインティングデバイスによりそのスクロールバーを操作することにより、画面をスクロールさせる。図１の画像提示方法は、一のサムネールの表示サイズを大きくすれば、視認性が良くなる。しかし、全てのサムネールを一の画面上で同時には見られないという課題がある。

図２は、一のサムネールの表示サイズを小さくして全てのサムネールを一の画面で表示させる方法を説明する図である。図２のサムネール提示方法は、全てのサムネールを同時に俯瞰的に閲覧することができる。図３は、全てのサムネールを一の画面で表示させる際に、画像毎の視覚的な特徴に基づいて、画像がグループ分けされていることを説明する図である。図３のサムネール提示方法によれば、検索対象の画像を見つけやすい利点がある。より詳細には、例えば、操作者が、まず画面の全体を俯瞰し、次に画像特徴等によってあるサムネールを選択し、最後にそのサムネール付近を中心としたズーム操作を行うことにより、所望の画像を選び出すことができる。なお、図３の例では、例えば、複数のサムネールが同時にズームアップされる表示を行うことにより、目的の画像にたどり着くことが可能である。

図２及び図３のサムネール画像の提示方法では、提示する画像の数が多くなればなるほど１画像当たりの表示サイズは小さくなる。また、提示する画像の数が増えた場合には、各画像が重なりあわせることにより、全ての画像を一の画面で提示することができるが、その場合には、重なっている部分の視認性が劣るという課題が生じる。

さらに、画像データが、操作者が操作する端末に設けられている記憶装置中に無い場合には、例えば、ネットワークを介して接続されているサーバから画像データを取得することになる。そのような場合には、表示する画像の数が多くなればなるほど、表示の開始から終了までの処理時間が長くなる。なお、表示の開始から終了までの処理時間は、画像データの量に依存し、量が多くなれば、転送時間と復号時間とが増加する。

そこで、画像の数が多い場合には、表示する画像又はサムネールの画像データのうち、表示画面上の表示サイズに応じた解像度に対応した画像データを、サーバから受信して処理するとよい。例えば、画像データが、解像度の異なる複数の復号画像に対応している場合に、表示サイズを満たす画素数に最も近い画素数が得られる解像度の画像データを受信するとよい。

このような画像データの例として、例えば、多重解像度の画像フォーマットであるＦｌａｓｈＰｉｘがある。ＦｌａｓｈＰｉｘによる画像データをサーバ上に蓄積しておくことにより、転送容量及び復号時間を軽減することができる。しかしながら、画像の数が増えて多くの画像が重なり合うような場合には、やはり画像の数が増えるほど処理時間が必要となる。

そこで、画像が重なり合う程度に多い場合に、それらの画像を一の画面に表示する際に、処理時間を抑えるには、受信する画像データの解像度を、精緻に制御するとよい。例えば、操作者が、画面の中央やポインティングデバイスのカーソル位置に注目すると仮定すれば、その注目位置に近い位置に表示される画像の解像度を高くし、それ以外の領域に表示する画像の解像度を低くするとよい。その際に、受信される画像データを表示する画像の解像度に対応させるとよい。特に、操作者が、ズームやドラッグの操作を繰返すことにより、要求する画像が頻繁に変わる場合には、この効果が高くなる。

なお、ここでは、表示位置に応じて解像度を異ならせることについて説明したが、画像データが、例えば、ＳＮＲスケーラビリティに対応している場合には、表示位置に応じた復号画像の品質を異ならせてもよい。これにより、転送及び復号する画像データの量を低減することができる。

（ＪＰＥＧ２０００規格及びＪＰＩＰ規格の説明）
図４から図１７は、本実施の形態に係る画像処理装置によって処理される画像データの例、及び、その画像データがサーバから画像処理装置に送信される際の階層構造を説明する図である。図４から図１７は、ＪＰＥＧ２０００規格及びＪＰＩＰ規格に基づく説明である。

本実施の形態では、画像データは、例えば、画像処理装置とネットワークを介して接続されたサーバ又はそのサーバに接続された記憶装置に圧縮符号の状態で格納されている。これらの画像データは、サーバからクライアントである画像処理装置に送信され、伸張後、表示される。この構成では、画像の表示サイズを大きくするズーム操作が重要となる。そこで、ズーム操作の応答速度を向上させるために、ＪＰＥＧ２０００規格による画像データに対して適用可能なＪＰＩＰと呼ばれる部分画像の転送プロトコルを用いる。そこで以下では、ＪＰＥＧ２０００とＪＰＩＰについて説明する。
なお、ＪＰＥＧ２０００規格は、２００１年に国際標準になった、ＪＰＥＧ後継の画像圧縮伸長方式であり、ＩＳＯ／ＩＥＣ１５４４４−１である。

（ＪＰＥＧ２０００符号化処理の説明）
図４は、ＪＰＥＧ２０００規格による符号化処理を説明する図である。図４のステップＳ１１では、画像が矩形のタイルに分割される。分割数は、(分割数≧１)である。ステップＳ１１では、さらに、各タイルが、輝度・色差等のコンポ−ネントへ色変換される。

ステップＳ１１に続いてステップＳ１２に進み、色変換後のコンポ−ネント（以下、「タイルコンポ−ネント」という。）が、ウェーブレット変換によって、低周波成分と高周波成分とのサブバンドに分解される。

ここでは、２次元の分解が行われるため、画像の縦方向及び横方向のそれぞれに対して、低周波成分と高周波成分とに分解される。以下、低周波成分を「Ｌ」と表記し、高周波成分を「Ｈ」と表記する。すなわち、縦方向低周波横方向低周波成分をＬＬ成分又はＬＬサブバンドといい、縦方向高周波横方向低周波成分をＨＬ成分又はＨＬサブバンドといい、縦方向低周波横方向高周波成分をＬＨ成分又はＬＨサブバンドといい、縦方向高周波横方向高周波成分をＨＨ成分又はＨＨサブバンドという。

そしてＬＬサブバンドに対して再帰的にウェーブレット変換、すなわち、デコンポジションを繰返すことにより、１つのＬＬサブバンドと複数のＨＬサブバンド、ＬＨサブバンド、及び、ＨＨサブバンドが生成される。なお、分割のレベルを「デコンポジションレベル」という。
ステップＳ１２に続いてステップＳ１３に進み、サブバンド毎に量子化が行われる。なお、ステップＳ１３の量子化は省略されてもよい。

ステップＳ１４に進み、各サブバンドが、プリシンクトとよばれる矩形に分割される。プリシンクトとは、サブバンドを矩形に分割したものであり、大まかには画像中の場所、すなわち、Ｐｏｓｉｔｉｏｎを表すものである。なお、プリシンクトは、位相が同一のＨＬサブバンド、ＬＨサブバンド、及び、ＨＨサブバンドを集めたものであり、３つのサブバンドで１まとまりである。但し、ＬＬサブバンドを分割したプリシンクトは、１つで１まとまりである。なお、プリシンクトは、サブバンドと同じサイズでもよい。

（画像、タイル、サブバンド、プリシンクト、及び、コードブロックの関係）
プリシンクトを矩形に分割することにより、コードブロックが生成される。図５は、タイル、サブバンド、プリシンクト、及び、コードブロックを説明する図である。図５では、最低解像度に対応するデコンポジションレベルを除く他のデコンポジションレベル毎に、３つのサブバンドがあり、各サブバンドは、プリシンクトに分割され、プリシンクトは、コードブロックに分割されている。図５では、物理的な大きさの序列は、
画像≧タイル＞サブバンド≧プリシンクト≧コードブロック
である。

（デコンポジションレベルと解像度レベルとの対応）
図６は、デコンポジションレベルと解像度レベルとの対応を説明する図である。図６において、１ＨＨは、デコンポジションレベル１のＨＨサブバンドを表す。すなわち、図６では、デコンポジションレベルは１から３までの３レベルである。すなわち、ウェーブレット変換が３回行われている。また図６において、解像度レベルは、解像度レベル０から解像度レベル３までの４レベルである。

図４に戻り、ステップＳ１３に続くステップＳ１４では、サブバンドに含まれているウェーブレット係数のエントロピー符号化が行われる。このエントロピー符号化は、ビットプレーン毎に行われるため「ビットプレーン符号化」ともいう。エントロピー符号化は、コードブロック毎かつビットプレーン順に成される。

ステップＳ１４に続いてステップＳ１５に進み、一のプリシンクトに含まれる全てのコードブロックから、ビットプレーン毎の符号の一部を取り出して集め、所定のヘッダをつけたパケットが生成される。パケットは、例えば、全てのコードブロックのＭＳＢから３枚目までのビットプレーンの符号を集めたものである。なお、ここで生成されるパケットは、パケットに含まれるビットプレーンの符号が全く無い“空（から）”のパケットでもよい。所定のヘッダ、すなわち、パケットヘッダには、パケットに含まれる符号に関する情報が含まれ、各パケットは独立に扱うことができる。いわばパケットは符号の単位である。

全てのプリシンクト、すなわち、全てのコードブロック、すなわち、全てのサブバンドのパケットを集めると、画像全域の符号の一部ができるが、これをレイヤと呼ぶ。例えば、上記の例では、画像全域のウェーブレット係数の、MSBから３枚目までのビットプレーンの符号の集まりとなる。

レイヤは，大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がることになる．すなわち、レイヤは復号画像の画質の単位であるといえる。すべてのレイヤを集めると，画像全域の全てのビットプレーンの符号になる。

（レイヤとパケットとの関係）
図７は、デコンポジションレベル＝２、プリシンクトサイズ＝サブバンドサイズとしたときのレイヤの例を示す図である。また、図８は、図７のレイヤの例において生成されるパケットの例を説明する図である。パケットは、プリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合、ＨＬ〜ＨＨサブバンドをまたいだものとなる。図８では、いくつかのパケットを太線で囲んで例示している。

図４に戻り、ステップＳ１５に続いてステップＳ１６に進み、生成されたパケットやレイヤの区切りに従って，パケットを並べることで最終的な符号が形成される。生成された符号を「コードストリーム」ともいう。

（プログレッションオーダ）
パケットは、
どのコンポ−ネント（記号Ｃ）に属するか、
どの解像度レベル（記号Ｒ）に属するか、
どのプリシンクト（“場所”）（記号Ｐ）に属するか、
どのレイヤ（記号Ｌ）に属するか、
という４つの属性を有する（以下、この属性を「プログレッション属性」という）。

パケットの先頭にはパケットヘッダが存在し、パケットヘッダの後には、ＭＱ符号が続く。なお、ＭＱ符号の部分をパケットデータという。パケットの配列とは、パケットヘッダ及びパケットデータの組を、どの属性の順に階層的に並べるかを意味する。この配列順を「プログレッションオーダ」という。図９は、プログレッションオーダを説明する図であり、ＪＰＥＧ２０００規格では、５通りが規定されている。

（ＬＲＣＰの説明）
エンコーダがプログレッションオーダ順にパケットを並べる手順、及び、デコーダがプログレッションオーダ順にパケットの属性を解釈することについて、説明する。

例えば、「ＬＲＣＰ」は、レイヤ（Ｌ）、解像度（Ｒ）、コンポーネント（Ｃ）、プリシンクト（Ｐ）の順に、プログレッションオーダが適用されることを表す。
すなわち、処理手順は以下のようになる。
ｆｏｒ （レイヤ）｛
ｆｏｒ （解像度）｛
ｆｏｒ （コンポ−ネント）｛
ｆｏｒ （プリシンクト）｛
エンコード時：パケットを配置
デコード時：パケットの属性を解釈
｝
｝
｝
｝

この階層順により、エンコード時には、パケットの配列処理が行われ、デコード時には、解釈がなされる。各パケットはパケットヘッダを有する。パケットヘッダには、以下の情報が含まれている。
・そのパケットが空かどうか
・そのパケットにどのコードブロックが含まれるか
・そのパケットに含まれる各コードブロックのゼロビットプレーン数
・そのパケットに含まれる各コードブロック符号のコーディングパス数（ビットプレーン数）
・そのパケットに含まれる各コードブロックの符号長

パケットヘッダには、レイヤ番号や解像度番号等が含まれない。そこで、デコード時に、そのパケットがどのレイヤのどの解像度の物かを判別するために、メインヘッダ中のＣＯＤマーカ等に記載されたプログレッションオーダから上記のｆｏｒループを形成し、そのパケットに含まれる各コードブロックの符号長の和からパケットの切れ目を判別し、各パケットがｆｏｒループ内のどの位置でハンドリングされたかを判別する。これにより、パケットヘッダ中の符号長を読み出せば、パケットデータのエントロピー符号をデコードしなくても、次のパケットを検出できる。すなわち、パケットヘッダ長の符号長を読み出すことにより、任意のパケットにアクセスすることができる。

（ＲＬＣＰの符号）
図１０は、解像度レベルがｆｏｒループの最も外にある解像度プログレッション符号の概念図である。解像度レベルが最も外側にある符号は、例えば、ＲＬＣＰプログレッションオーダの符号である。図１１は、画像サイズ１００画素×１００画素、解像度レベが３レベル、コンポーネント数が３個、プリシンクトサイズ３２×３２のＲＰＣＬプログレッションの場合の３６個のパケットの配列例を示したものである。

（タイルパートの説明）
各タイルを構成する符号は、パケットの切れ目でさらに複数に分割することができる。「タイルを構成する符号を分割したもの」をタイルパートという。各タイルパートは、タイルパートヘッダを有する。タイルパートヘッダは、ＳＯＴ（ｓｔａｒｔ ｏｆ ｔｉｌｅ−ｐａｒｔ）マーカセグメントで始まり、ＳＯＤ（ｓｔａｒｔ ｏｆ ｄａｔａ）マーカで終わる。図１２及び図１３は、タイルパートヘッダの内のＳＯＴマーカセグメントの詳細を示したものである。なお、マーカセグメントとは、マーカとそのマーカに関連するパラメータとで構成される部分である。

ＳＯＴマーカセグメント中のＰｓｏｔに、そのタイルパートの長さの情報が含まれている。したがって、ＳＯＴマーカを符号中から取得することにより、パケットヘッダをデコードすることなく、タイルパート単位で符号にアクセスすることができる。なお、図１０はタイルパート数が１の場合を示している。

（ＪＰＩＰの説明）
ＪＰＥＧ２０００の符号はパケット単位でのアクセス、あるいはより簡易にはタイルパート単位でのアクセスが可能である。したがって、原符号から必要な符号だけを抜き出して、新たな符号を生成することができる。またさらに、原符号から、必要に応じて部分的な符号だけを復号することができる。

そこで、例えば、サーバに格納されている画像データをクライアント側で再生して表示する場合に、要求された復号画像の画像品質に対応する符号、要求された解像度に対応する符号、再生させたい部分に対応する符号、再生させたいコンポ−ネントに対応する符号、等をそれぞれをサーバから受信し、復号することにより、原符号の全体を復号することなく、要求に対応した画像を再生することができる。

この様に、サーバにあるＪＰＥＧ２０００規格による符号から、必要な符号だけを受信するためのプロトコルをＪＰＩＰ（ＪＰＥＧ２０００ Ｉｎｔｅｒａｃｔｉｖｅ Ｐｒｏｔｏｃｏｌ）という。

ＪＰＩＰでは、クライアントからサーバに対し、描画したい解像度と実際に描画するウィンドウサイズを指定する。サーバは、この指定を受けた場合に、その解像度のその領域を包含するプリシンクトのパケットを送信する。サーバはまた、処理をより簡易にする目的で、その領域を包含するタイルパートを送信してもよい。以下の実施の形態では、例えば、タイルパートを送信するＪＰＩＰシステムを用いる。このＪＰＩＰシステムを、ＪＰＴシステムという。
ＪＰＴシステムにおいて、画像を構成するタイルパートの中から、指定された領域を包含するタイルパートを抽出する手順について、以下説明する。

図１４は、タイルパートに分割された符号の例を説明する図である。図１４は、図１１の１タイル、２レイヤ、ＲＬＣＰプログレッションのパケットを、すべての解像度境界でタイルパートに分けたものであり、図１４に示す３つのタイルパートがある。

サーバには、サーバによって管理される符号が、どのようなタイルパートに分かれているかに係る情報が保持されている。したがって、例えば、図１４の符号に対しては、そのタイルパートの分割に係る情報が対応づけられて保持されている。

ここで、クライアントからサーバに対し「２５×２５画素に相当する解像度部分を、２０×２０のウィンドウサイズで表示したい」というリクエストが送信された場合について、以下説明する。なお、図１１の符号は、画像のサイズが１００×１００画素であるため、２５×２５画素に相当する解像度とは、解像度レベル０の部分を指す。また、２０×２０のウィンドウとは、解像度レベル０の画素のうちの２０×２０の部分だけを表示するということを意味する。
このリクエストのように「表示画素数以上の、最も近い解像度」を選択することを、ＪＰＩＰではＲｏｕｎｄＵＰという。

そこで、サーバは、保持する原符号から、解像度レベル０を包含するタイルパートを抽出し、メインヘッダの情報とともに、クライアントに対して送信する。タイルパートの先頭には、必ずＳＯＴマーカがあり、ＳＯＴマーカによってタイルパートの長さもわかるため、タイルパートの境界は、パケットヘッダ及びパケットデータを解析しなくとも判別することができる。

図１１及び図１４より、何番目までのタイルパートを送信すればよいかは、その符号のプログレッションオーダおよびタイルパートへの分割方法という２つのパラメータに依存する。プログレッションオーダの情報は、メインヘッダやタイルパートヘッダのＣＯＤマーカセグメントに含まれており、ＣＯＤマーカセグメントを解析することにより、取得することができる。また、タイルパートの分割に係る情報は、サーバが保持していることが前提である。

図１５は、ＪＰＥＧ２０００規格によるＣＯＤマーカセグメントの詳細を示したものである。図１５（Ａ）は、ＣＯＤマーカセグメントの構成を示す図である。図１５（Ａ）のＣＯＤマーカセグメント中、ＳＧｃｏｄに、デフォルトのプログレッションオーダの情報が含まれている。図１５（Ｂ）は、ＳＧｃｏｄに含まれるプログレッシブオーダを示す変数の値を説明する図である。図１５（Ｂ）では、５つのプログレッシブオーダに対応する値が示されている。

（画像処理装置の機能構成の例）
図１６は、本実施の形態に係る画像処理装置の機能構成の例を説明するブロック図である。図１６の画像処理装置１００は、ネットワーク等を介してサーバ８００と接続され、また、表示装置２００に対し、表示する画像を出力する。位置分類手段１１０、品質決定手段１２０、符号要求手段１３０、符号取得手段１４０、復号手段１５０、及び、出力手段１６０を有する。

位置分類手段１１０は、表示装置２００が表示する表示画面上に複数設けられた表示位置毎に、第一の表示位置群と第二の表示位置群との何れに属するかを分類する。位置分類手段１１０は、また、表示位置を３つ以上の表示位置群に分類してもよい。位置分類手段１１０は、表示位置毎に、その表示位置が、表示画面の所定の位置から所定の範囲に含まれるか否かの判断により、表示位置群に分類する。

位置分類手段１１０は、例えば、表示画面の中心から所定の範囲に設けられる表示位置を、第一の表示位置群に属するとする。位置分類手段１１０は、また例えば、ポインティングデバイスのカーソル位置から所定の範囲に設けられる表示位置を、第一の表示位置群に属するとする。位置分類手段１１０は、また例えば、ポインティングデバイスのカーソルの軌跡から所定の範囲に設けられる表示位置を、第一の表示位置群とする。位置分類手段１１０は、第一の表示位置群に含まれない表示位置を、第二の表示位置群に属するとしてもよい。

位置分類手段１１０は、また例えば、表示画面内において、他の表示位置よりも背面に位置する表示位置を、第二の表示位置群に属するとする。位置分類手段１１０は、第二の表示位置群に含まれない表示位置を、第一の表示位置群に属するとしてもよい。
位置分類手段１１０は、また例えば、表示画面の所定の位置から近い順に所定数の表示位置を、第一の表示位置群に属するとしてもよい。

位置分類手段１１０は、また例えば、表示画面の所定の位置から近い順に、その表示位置に表示させる画像の画像データの符号量を積算した値に基づいて、その積算した値が所定の値を超えるまでの表示位置を、第一の表示位置群に属するとしてもよい。なお、画像データの符号量の積算値は、画像データを受信する毎に計算されるため、画像データの受信と表示位置が属する表示位置群の分類とは、同期して行われるとよい。

品質決定手段１２０は、位置分類手段１１０によって分類された表示位置群毎に、表示する復号画像の画像品質を決定する。復号画像の画像品質は、例えば、画像の解像度、表示サイズ、及び、復号に要する画像データのデータ量等に依存する。より詳細には、解像度が高いほど、画像品質が高く、表示サイズが大きいほど、画像品質が高い。また例えば、画像データがＳＮＲスケーラビリティを有する場合には、復号に要する画像データのデータ量が多いほど、画像品質が高い。

符号要求手段１３０は、品質決定手段１２０によって決定された画像品質の符号を、サーバ８００に対して要求する。符号要求手段１３０は、例えば、ＪＰＩＰリクエストにより、復号画像の画像品質を指定して要求を行う。復号画像の画像品質は、解像度、表示サイズ、又は、レイヤ数等によって指定されるとよい。

符号取得手段１４０は、サーバ８００から送信される符号を取得する。サーバ８００から送信される符号は、符号要求手段１３０によって出力された要求に対応する符号であり、例えば、ＪＰＥＧ２０００規格による符号である。サーバ８００から送信される符号は、例えば、一の画像に対応する符号が、複数の復号画像の画像品質に対応している場合に、符号要求手段１３０によって要求された画像品質に対応する部分の符号が抜き出されて新たな一の符号として再構成されたものである。

復号手段１５０は、符号取得手段１４０によって取得された符号を復号する。出力手段１６０は、復号手段１５０によって復号された復号画像を、表示装置２００に対して出力する。

表示装置２００は、一の表示画面に複数の画像の表示位置が設けられた画面を表示する。表示装置２００は、画像処理装置１００から出力される復号画像を、その復号画像に対応する表示位置に表示させる。

サーバ８００は、画像処理装置１００とネットワーク等を介して接続され、また、記憶装置９００が接続されている。サーバ８００は、記憶装置９００に格納された画像の符号を管理する。サーバ８００によって管理される画像の符号は、復号画像の画像品質を階層的に異ならせるスケーラビリティを有する。サーバ８００によって管理される符号は、例えば、ＪＰＥＧ２０００規格による符号である。

サーバ８００は、またさらに、管理する符号毎に、タイルパートの分割に係る情報等を管理する。これにより、画像処理装置１００からのＪＰＩＰリクエストに対応して、符号の中から要求されたタイルパートを取得して新たな符号を再構成することができる。記憶装置９００は、サーバ８００によって管理される符号が蓄積されている。

（本実施の形態に係る画像処理装置を実現する装置構成）
図１７は、本実施の形態に係る画像処理装置を実現する装置構成の例を説明する図である。図１７の装置は、ＣＰＵ１、ＲＡＭ２、ＨＤＤ３、及び、クライアントＰＣ９が、データバスを介して接続されている。ＣＰＵ１、ＲＡＭ２、ＨＤＤ３はサーバＰＣに設けられている。

クライアントＰＣ９から、サーバＰＣに対し、画像符号の指定、画像の解像度指定（ｆｓｉｚ）、及び、表示ウィンドウ指定が出力される。サーバＰＣにおいては、次の（１）から（４）の手順で、処理が行われる。なお、図中の（）付き数字は、以下の（１）から（４）に対応する。
（１） ＨＤＤ３上に記録された原画像の符号が、ＣＰＵ１からの命令によってＲＡＭ２上に読み込まれる。
（２） ＣＰＵ１はＲＡＭ２上の符号を読み込む。
（３） 原画像から所望の符号をＲＡＭ上に抽出する。
（４） ＣＰＵ１からの命令によって所望の符号のタイルパートがクライアントＰＣに送信される。
なお、本実施の形態では、複数の表示位置に画像を表示するため、上記の（１）〜（４）の処理は、表示に要する画像の数だけ行われる。

（表示画面の座標系及び表示位置毎の座標系）
図１８は、本実施の形態に係る画像処理装置によって制御される表示画面における表示位置の例を説明する図である。図１８の表示画面は、例えば、１２８０×１０２４ドットの解像度のモニタであり、左上（０，０）〜右下（１２８０，１０２４）の表示用の座標系を持つ。図１７のモニタ上に配置される各表示位置は重心座標Ｇと、表示時の横のサイズｗと縦のサイズｈのパラメータを有する。点Ｏは座標（０，０）の定点、点Ｃは座標（６４０，５１２）の定点である。

本実施の形態では、表示位置ｉには、初期表示時の、重心座標Ｇｉおよび縦のサイズｈｉ、横のサイズｗｉが定義されている。なお、ｉは、画像を識別するカウンタである。

（表示画面における表示位置の説明）
図１９は、初期状態の表示画面における各表示位置を示す図である。

図１９のように一の表示画面に複数の画像を表示させる方法として、例えば、Ｗｅｂページの様に、１つのＨＴＭＬ中に各々の位置と表示サイズを指定して、複数の画像を埋め込む方法がある。また、ユーザによるマウス移動等のイベントを検知し、これに応じてＨＴＭＬ中に埋め込んだオブジェクトの配置等を動的に変更させる手法として、ＤｙｎａｍｉｃＨＴＭＬ（以下、「ＤＨＴＭＬ」という）がある。以下の実施の形態では、主として、ＤＨＴＭＬを用いる例について説明する。

なお、ＨＴＭＬやＤＨＴＭＬ中には、画像そのものではなく、画像のビューア、すなわち、画像を表示するコンポ−ネントを埋め込むこともできる。例えば、動画のビューアが埋め込まれたＷｅｂサイトが、その例としてあげられる。そして、ＤＨＴＭＬ側から、そのビューアに対し、表示位置、表示サイズ、及び、表示対象の画像を変えることができる。

ＨＴＭＬやＤＨＴＭＬ中に埋め込んだ状態で、Ｗｅｂブラウザ経由で使用できるコンポーネントとしては、例えば、ＡｃｔｉｖｅＸコントロールがある。なお、Ｗｅｂブラウザ経由で使用するとは、例えば、画像を表示する等の処理を行わせることである。ビューアは、例えば、ＪＰＥＧ２０００符号の復号および復号後の画像の表示が可能なＡｃｔｉｖｅＸコントロールとして実装するとよい。このビューアは、表示対象の画像の表示サイズと同じ大きさを持ち、画像の表示サイズに応じて，ビューアのサイズが決定される。

ビューアはさらに、ＪＰＩＰサーバに対して、ＪＰＩＰリクエストを送信し、またサーバからのＪＰＩＰレスポンスを受信・解析する。ビューアはさらに、ＪＰＴストリームを解釈するＪＰＩＰクライアントとしての機能を併せ持つ。

ＪＰＩＰにおける表示時の大きさ、すなわち、本実施の形態におけるビューアのサイズは、ｒｓｉｚというパラメータによって指定される。またＪＰＩＰにおける解像度の要求は、ｘ方向の画素数ｆｘと、ｙ方向の画素数ｆｙとからなるｆｓｉｚというパラメータによって指定される。
ＪＰＩＰクライアントからＪＰＩＰサーバへ送信されるＪＰＩＰリクエストの書式は、例えば、
“ｆｓｉｚ“ “＝“ ｘ方向のサイズ “，“ ｙ方向のサイズ ［“，“ “ｃｌｏｓｅｓｔ“］
“ｒｓｉｚ“ “＝“ ｘ方向の表示ウィンドゥサイズ “，“ ｘ方向の表示ウィンドゥサイズ
の様に表現される。

そこで、表示位置ｉの縦のサイズはｈｉ、横のサイズがｗｉであるから、初期表示時に、このサイズに十分な解像度レベルが指定された画像符号を要求するためには、
ｆｓｉｚ ＝ ｗｉ，ｈｉ ＆ ｒｓｉｚ ＝ ｗｉ，ｈｉ
というパラメータが設定される。

（表示位置の分類の例（その１））
図２０は、第一の表示位置群と第二の表示位置群とに分類された表示画面を説明する図である。図２０の太点線で囲まれた領域は、縦横が表示画面全体の半分の長さであり、その領域の中心は表示画面の中心と一致する。図２０の例では、太点線で囲まれた領域内に少なくともその一部が含まれる表示領域iを第一の表示位置群とし、グレーで示している。また、図２０の太点線で囲まれた領域内に全くかからない表示領域を、第二の表示領域群とする。

ここで、第一の表示位置群及び第二の表示位置群に対し、それぞれ、次のパラメータを設定する。
第一の表示位置群
ｆｓｉｚ ＝ ｗｉ，ｈｉ ＆ ｒｓｉｚ ＝ ｗｉ，ｈｉ・・・・・・・（１）
第二の表示位置群
ｆｓｉｚ ＝ ｗｉ／２，ｈｉ／２ ＆ ｒｓｉｚ ＝ ｗｉ，ｈｉ・・・（２）

すなわち、第二の表示位置群の表示位置では、第一の表示位置群の表示位置に対して、表示サイズは変えずに、要求解像度を半分にしている。これにより、第二の表示位置群には、第一の表示位置群の表示位置に表示される画像に対して、半分の解像度の画像が２倍に伸ばされて表示される。

（復号画像の画像品質を異ならせる手法）
図２１から図３２は、表示画面に含まれる表示位置毎に、２つの表示位置群の何れに属するかを判別して分類することにより、それぞれの表示位置群に対応する画像品質の復号画像を表示する処理を説明する図である。なお、図２１から図３２では、画像品質として、解像度と表示サイズを例に説明するが、本発明の実施の形態はこの例に限らない。復号される符号がＳＮＲスケーラビリティに対応している場合には、復号画像のＳＮＲを異ならせることにより、表示位置群毎に対応する画像品質を実現してもよい。より詳細には、例えば、ＪＰＥＧ２０００規格による符号を扱う場合には、復号させるレイヤ数を異ならせることにより、復号画像の画像品質を異ならせるとよい。

（表示位置群毎に、画像品質を決定して表示する処理）
図２１は、表示画面に含まれる表示位置を分類し、画像品質を決定して表示する処理を示すフロー図である。図２１のステップＳ１０１では、位置分類手段１１０が、初期設定を取得する。例えば、ＤＨＴＭＬが、個々のビューアに対する、表示位置、表示サイズ、及び、表示する画像の情報の初期値を取得する。表示する画像の情報は、例えば、ＵＲＬによって表される。

ステップS１０１に続いてステップS１０２に進み、位置分類手段１１０が、表示位置を分類する。ここでは、例えば、表示位置が、所定の領域に含まれているか否かによって、その表示位置が、第一の表示位置群と第二の表示位置群との何れに属するかが決定される。表示位置毎に、対応するフラグの値をセットすることにより、第一の表示位置群と第二の表示位置群との何れに属するかの情報を生成してもよい。なお、フラグの値は、表示位置群の数に応じて定められるとよい。

ステップS１０２に続いてステップS１０３に進み、品質決定手段１２０が、表示位置毎に、解像度、表示サイズの設定が行う。さらに、表示する画像の設定が行われる。より詳細には、ＤＨＴＭＬが、個々のビューアの表示位置群を識別するフラグに基づき、式（１）及び式（２）に基づいて、解像度及び表示サイズをセットし、また表示画像のＵＲＬをセットする。なお、ここでは、表示モニタの表示範囲外の表示位置や、先読み範囲内に存在しない画像についてはセットしない。また、先読み範囲は、規定値として設定されているとよく、その設定は、操作者によって予め行われているとよい。

ステップＳ１０３に続いてステップＳ１０４に進み、符号要求手段１３０が、表示位置毎に対応する画像の符号を、ＪＰＩＰサーバに対してＪＰＩＰリクエストにより要求する。ここでは、各ビューアが、ＪＰＩＰサーバに対して、画像とその画像の解像度及び表示サイズを指定してＪＰＩＰリクエストにより部分符号を要求する。各ビューアは、各画像のフル解像度を必要とはしないが、表示する領域は部分領域ではなく全領域を必要とすることが多い。したがって各ビューアは、ＪＰＩＰでいう表示ウィンドウ領域としては、表示サイズそのものを指定する。

ステップＳ１０４に続いてステップＳ１０５に進み、サーバが、ステップＳ１０４で要求されたＪＰＩＰリクエストに基づいて、対応する部分符号を抽出して送信する。より詳細には、ＪＰＩＰサーバが、受信した各ＪＰＩＰリクエストを解釈し、要求された解像度に最も近い解像度レベルの符号、又は、要求された解像度以上で、かつ最も近い解像度レベルの符号を抽出し、ＪＰＩＰクライアントである各ビューアに送信する。

ステップＳ１０５に続いてステップＳ１０６に進み、符号取得手段１４０が、ＪＰＩＰサーバから受信した符号を復号し、表示サイズに変倍して出力する。より詳細には、各ビューアが、サーバから受信した符号を復号し、復号後の画像を、表示サイズに変倍して表示する。サーバから受信した符号の解像度が表示サイズに対して十分なものであれば縮小変倍になり、そうでない場合には拡大変倍になる。

ステップＳ１０６に続いてステップＳ１０７に進み、ポインティングデバイスからの入力の有無が確認される。入力がある場合には、ステップＳ１０２に進み、入力が無い場合には、ステップＳ１０７を繰り返す。すなわち、ＤＨＴＭＬが、各ビューアによる最初の画像表示が終わった後、ユーザによるズーム操作やドラッグ操作が検知されるまで待機する。

そしてＤＨＴＭＬがユーザによるズーム操作等を検知した場合には、例えばマウスホイールの回転量を表示サイズの倍率Ｚに変換するとよい。ここでは、以下の式（３）から（５）によって、各画像の表示位置と表示サイズを計算する。

ここで、Ｇ０は、表示位置iにおける初期の重心座標、ｗ０は、表示位置ｉの横のサイズ、ｈ０は、表示位置ｉの縦のサイズ、Ｚは、画面がズームされた際の倍率である。また、Ｇ１は、表示位置ｉのズーム後の重心座標、ｗ１は、ズーム後の横のサイズ、ｈ１は、ズーム後の縦のサイズであり、０は、原点座標を表す。また、点Kはカーソル位置を示す。
式（３）から式（５）によって得られた、新たな表示位置により、位置分類手段１１０が、各ビューに対する表示位置群を判別するフラグを更新する。

（表示位置群の判別処理）
図２２は、表示位置群を判別する処理の例を示す図である。図２２の処理は、図２１のステップＳ１０２において実行される。図２２のステップＳ２０１において、重心位置Ｇ、幅ｗ、高さｈの表示位置ｉの、少なくとも一部分が所定の領域内に存在するか否かについての判断がなされる。なお、所定の領域とは、例えば、ポインティングデバイスのカーソル位置若しくは軌跡から所定の範囲の領域、表示画面の中心から所定の範囲の領域、表示画面に表示されている領域等である。

表示位置の少なくとも一部が、所定の領域内に含まれている場合には、ステップＳ２０２に進み、含まれていない場合には、ステップＳ２０３に進む。ステップＳ２０１に続くステップＳ２０２では、表示位置ｉが、第一の表示位置群に属するとして、表示位置群判別フラグの値を１にする。一方、ステップＳ２０１に続くステップＳ２０３では、表示位置ｉが、第二の表示位置群に属するとして、表示位置判別フラグの値を２にする。

ステップＳ２０２又はステップＳ２０３に続くステップＳ２０４では、表示画面内の全ての表示位置に対して、表示位置判別フラグの値が設定されたか否かの判断がなされる。全ての表示位置に対してフラグの値が設定されている場合には、処理を終了し、値が設定されていない表示位置が残っている場合には、ステップＳ２０１に戻って処理を繰り返す。

（表示位置の分類の例（その２））
図２３から図２８は、第一の表示位置群と第二の表示位置群とに分類された表示位置を説明する図である。

図２３では、所定の領域を、ポインティングデバイスのカーソル位置の先を中心とした、表示画面の縦横の半分のサイズの矩形領域とし、太点線で示している。各表示位置が、太点線で囲まれた矩形内に存在するか否かで、表示位置群の分類が行われ、解像度要求等が成される。

図２４は、マウスによるドラッグの軌跡を説明する図である。図２４では、ドラッグの方向を示すために、マウスカーソルの先の軌跡を矢印で表している。本実施の形態では、ドラッグによって、表示画面内に表示される表示位置が変化する。

図２５は、表示画面内に表示される表示位置を説明する図である。図２５では、ドラッグ前に画面に表示されていた領域を、一点鎖線で囲まれた矩形で示している。ドラッグの操作により、図２５の実線で囲まれた領域が、モニタの表示画面に表示される。

図２５では、カーソルの移動方向とは逆の方向、すなわち、図２４における矢印の起点の方向に位置する表示位置群が、第一の表示位置群とされる。そこで、ドラッグ開始時のカーソルの先を頂点とし、ドラッグ方向と点対称の位置に存在する矩形、すなわち、図２５の破線で囲まれた矩形の領域を、第一の表示位置群が存在する領域とする。この領域も、図２３と同様に、表示画面の縦横の半分のサイズの矩形領域である。各表示位置が、図２５の破線で囲まれた矩形内に存在するか否かで、表示位置群の分類が行われ、解像度要求等がなされる。

図２６は、ドラッグの方向が表示画面の水平方向又は垂直方向に一致する場合を説明する図である。図２６の例では、ドラッグ開始時のカーソルの先を、それぞれ、表示画面の縦の辺又は横の辺の中央の点とする。これにより、ドラッグ方向と点対称の位置に存在する矩形、すなわち、図２６における破線で囲まれた領域を、第一の表示位置群が存在する領域とする。この領域も、図２３及び図２５と同様に、表示画面の縦横の半分のサイズの矩形領域である。

図２７は、表示画面の外か内かによって、表示位置群を分類することを説明する図である。図２７では、表示画面の外であって破線の内側である領域を第２の領域し、表示画面の内側が第１の領域とする。ここで、第２の領域は、例えば、先読みを行う領域である。

図２７における破線で囲まれた領域は、中心が表示画面の中心に一致し、縦横の長さが表示画面の1.5倍である。各表示領域が、図２７の表示画面の外かつ破線で囲まれた領域内に存在するか否かにより、表示位置群が第一の表示領域群と第二の表示領域群とに分類され、判断に応じた解像度要求がなされる。

なお、図２７では、表示画面の外かつ破線で囲まれた領域内に存在する表示位置を、第二の表示領域群に属するとしてグレーで着色して示し、表示画面の内に存在する表示位置が、第一の表示位置群に属するとしている。

図２８は、表示画面において、背面に位置するように表示されるか否かにより、表示位置群を分類することを説明する図である。図２８では、他の表示位置と比較して、背面に位置する表示位置を、第二の表示位置群に属するとし、その他の表示位置を、第一の表示位置群に属するとして分類している。このように分類された表示位置群により、分類に応じた解像度要求がなされる。

（表示位置の前後関係による表示位置群の分類）
図２９は、表示位置の前後関係による表示位置群の分類を示すフロー図である。図２９の処理により、図２８で説明した表示位置群の分類が行われる。図２９のステップＳ３０１では、重心位置Ｇ、幅ｗ、高さｈを有する表示位置ｉの少なくとも一部分が、他の表示位置よりも背面に位置するように、表示されるか否かの判断がなされる。他の表示位置よりも背面に位置する場合には、ステップＳ３０２に進み、そうではない場合には、ステップＳ３０３に進む。

ステップＳ３０１に続くステップＳ３０２からステップＳ３０４の処理は、図２２におけるステップＳ２０２からステップＳ２０４の処理と同一であるので、ここでは説明を省略する。

（所定数の表示位置を第一の表示位置群に属させる処理）
図３０は、所定数の表示位置を、第一の表示位置群に属するとして分類して復号画像の表示を行うことを説明するフロー図である。

図３０のステップＳ４０１では、位置分類手段１１０により、初期状態の取得が行われる。より詳細には、例えば、Ｗｅｂページを表現しているＤＨＴＭＬが、画像を表示する個々のビューアに対する、表示位置、表示サイズの初期値と、表示画像のＵＲＬとを設定ファイルから読み込む。

ステップＳ４０１に続いてステップＳ４０２に進み、位置分類手段１１０が、所定数の表示位置を第一の表示位置群に属するとし、品質決定手段１２０が、それらの表示位置に対して、解像度、及び、表示サイズの設定と、表示画像の設定とを行う。

なお、位置分類手段１１０は、表示画面の所定の位置から近い順に所定の数の表示位置を選択することにより、選択された表示位置を、第一の表示位置群に属するとするとよい。

より詳細には、例えば、ＤHTMLが、最初の所定個数、例えば３０個のビューアに対して、要求解像度モードを“通常”にセットする。“通常”とは，表示サイズに十分な解像度レベルを指定するモードであり、式（１）で表される第一の表示位置群に属する表示位置の復号画像の品質を指定するモードである。

ステップＳ４０２に続いてステップＳ４０３に進み、ステップＳ４０２で第一の表示位置群に属するとされなかった表示位置に対し、それらの表示位置を第二の表示位置群に属するとして、解像度、及び、表示サイズの設定と、表示画像の設定とを行う。より詳細には、ＤＨＴＭＬが、ステップＳ４０２で要求解像度が設定されなかったビューアに対し、
要求解像度モードを“低”に設定する。“低”とは、例えば、“通常”の半分の解像度である。

ステップＳ４０３に続いてステップＳ４０４に進み、品質決定手段１２０が、表示位置毎に、要求解像度モードに対応した解像度と表示サイズとを設定し、また表示画像を設定する。なお、ここでは、表示モニタの表示範囲外の表示位置や、先読み範囲内に存在しない表示画像についてはセットしなくてもよい。

ステップＳ４０４に続くステップＳ４０５からステップＳ４０８の処理は、図２１のステップＳ１０４からステップＳ１０７の処理と同一であるので、ここでは説明を省略する。

（符号量の積算に基づいて表示位置群を決定する処理）
図３１は、受信する符号量の総和が所定量以下の場合に、それらの表示位置を第一の表示位置群に属するとして、復号画像の画像品質を決定して表示する処理を示すフロー図である。図３１のステップＳ５０１では、位置分類手段１１０が、表示位置毎の初期設定を取得する。より詳細には、例えば、Ｗｅｂページを表現しているＤＨＴＭＬが、画像を表示する個々のビューアに対する表示位置と表示サイズの初期値、及び、表示画像のＵＲＬを設定ファイルから読み込む。

ステップＳ５０１に続いてステップＳ５０２に進み、品質決定手段１２０が、符号量の積算値を初期化して値を０とする。例えば、ＤＨＴＭＬが、ビューアから通知された符号量の合計値をゼロにリセットし、要求解像度モードを“通常”にセットする。“通常”とは、表示サイズに十分な解像度レベルを指定するモードであり、式（１）で表される第一の表示位置群に属する表示位置の復号画像の品質を指定するモードである。

ステップＳ５０３に続いてステップＳ５０４に進み、全ての表示位置に対して、解像度、表示サイズ、及び、表示画像の設定が終了しているか否かの判断がなされる。終了している場合には、ステップＳ５１２に進み、終了していない場合には、ステップＳ５０５に進む。

ステップＳ５０４に続くステップＳ５０５では、位置分類手段１１０が、所定数の表示位置に対し、要求解像度モード、すなわち、“通常”モードに対応する解像度、表示位置が設定され、表示画像を設定する。より詳細には、例えば、１０個のビューアに対し、要求解像度モードに対応した解像度、表示サイズをセットし、また表示画像をセットする。なお、ここでは、表示モニタの表示範囲外の表示位置や、先読み範囲内に存在しない表示位置についてはセットしなくてよい。

ステップＳ５０５に続いてステップＳ５０６に進み、符号要求手段１３０が、サーバに対し、要求解像度に従う符号を要求する。より詳細には、ステップＳ５０５で要求解像度モードがセットされた各ビューアが、ＪＰＩＰサーバに対し、表示画像、解像度、及び、表示サイズを指定してＪＰＩＰリクエストにより部分符号を要求する。なお、ここでは、各ビューアは、ＪＰＩＰでいう表示ウィンドウ領域として、表示サイズそのものを指定するとよい。

ステップＳ５０６に続いてステップＳ５０７に進み、ＪＰＩＰサーバが、ステップＳ５０６で要求されたＪＰＩＰリクエストに対応する部分符号を、管理している符号の中から抽出して生成し、送信する。より詳細には、ＪＰＩＰサーバが、受信した各ＪＰＩＰリクエストを解釈し、要求された解像度に最も近い解像度レベルの符号、又は、要求された解像度以上で、かつ最も近い解像度レベルの符号を抽出し、ＪＰＩＰクライアントである各ビューアに送信する。

ステップＳ５０７に続いてステップＳ５０８に進み、符号取得手段１４０が、ステップＳ５０６の要求に対応する符号を受信し、復号手段１５０がそれらの符号を復号し、出力手段１６０が、復号された復号画像を、表示画面上の符号に対応する表示位置に出力して表示させる。より詳細には、各ビューアが、ＪＰＩＰサーバから受信した符号を復号し、復号後の画像を、表示サイズに変倍して表示する。

ステップＳ５０８に続いてステップＳ５０９に進み、符号取得手段１４０が、ステップＳ５０８で受信された符号量の総和を、既に積算されている総和に加えることにより、受信した符号量の積算値を更新する。より詳細には、各ビューが、ＪＰＩＰサーバから受信した符号量をＤＨＴＭＬ側に通知する。また、ＤＨＴＭＬは、各ビューアから通知された符号量を積算する。

ステップＳ５０９に続いてステップＳ５１０に進み、位置分類手段１１０が、ステップＳ５０９で更新された符号量の積算値が所定の値以上か否かを判断する。積算値が所定の値以上の場合には、ステップＳ５１１に進み、積算値が所定の値より小さい場合には、ステップＳ５０４に戻って処理を繰り返す。

ステップＳ５１０に続くステップＳ５１１では、品質決定手段１２０が、要求解像度モードを“低”にする。“低”とは、“通常”の半分の解像度の意である。ステップＳ５１１の後、ステップＳ５０４に戻って処理を繰り返す。

ステップＳ５１０又はステップＳ５１１に続くステップＳ５０４からステップＳ５０９の処理では、新たな１０個のビューアに対して要求解像度モードに対応する解像度等のるセットを繰返す。全てのビューアについてのセットを完了すれば、ステップＳ５１２に進む。

ステップＳ５０４に続くステップＳ５１２では、ポインティングデバイスからの入力が検知されたか否かの判断がなされる。ポインティングデバイスからの入力が検知された場合には、ステップＳ５０２に戻って処理を繰り返し、ポインティングデバイスからの入力が検知されない場合には、ステップＳ５１２の処理を繰り返すことにより、入力に対して待機する。

なお、本発明の実施の形態では、全ての表示位置に対する解像度モードの設定と復号画像の表示が行われた後に、ステップＳ５１２の処理が行われているが、本発明の実施の形態はこの例に限らない。ステップＳ５０２からステップＳ５１１の処理を実行中に、ポインティングデバイスからの入力が検知された場合には、ステップＳ５０２に戻って、新たな表示位置に基づく処理を、入力に基づく割り込み処理として行うとよい。

（解像度レベルを算出する処理の例）
図３２は、階層的に解像度を異ならせる符号化方式を用いた符号において、要求された表示サイズに対応する解像度レベルを算出する処理を説明する処理を示すフロー図である。図３２の処理は、例えば、ＪＰＥＧ２０００規格による符号化方式によって符号化された符号に対して適用され、対応する解像度レベルのパケットが選択される。
図３２のステップＳ６０１では、ＪＰＩＰクライアントから、パラメータｆｓｉｚに含まれるｆｘ及びｆｙが入力される。

ステップＳ６０１に続いてステップＳ６０２に進み、ＪＰＩＰサーバが、表示画像に対応する符号から、ＳＩＺマーカセグメントを取り出し、その符号の原画像の横方向の画素数Ｘｓｉｚ及び縦方向の画素数Ｙｓｉｚを取得する。ステップＳ６０２に続いてステップＳ６０３に進み、ＪＰＩＰサーバが、符号中のＣＯＤマーカセグメントを取り出し、デコンポジションレベルの数ｄを取得する。

ステップＳ６０３に続いてステップＳ６０４に進み、ｆｘ及びｆｙが次式（６）及び（７）を満たすか否かの判断がなされる。
ｆｘ≦Ｘｓｉｚ／２＾ｄ・・・（６）
ｆｙ≦Ｙｓｉｚ／２＾ｄ・・・（７）
式（６）及び（７）を満たす場合には、ステップＳ６０５に進み、満たさない場合には、ステップＳ６０６に進む。
ステップＳ６０４に続くステップＳ６０５では、符号から取得する解像度レベルｒを次式（８）により計算する。
ｒ＝ｄ−ｍｉｎ［ｌｏｇ２（Ｘｓｉｚ／ｆｘ）， ｌｏｇ２（Ｙｓｉｚ／ｆｙ）］・・（８）
なお、ｍｉｎ［ａ，ｂ］とは、ａ，ｂの内で大きくない方を与える関数であり、ｌｏｇ２（）とは２がｌｏｇの底であることを示している。
一方、ステップＳ６０４に続くステップＳ６０６では、次式（９）により、解像度レベルｒを決定する。
ｒ＝０・・・（９）
すなわち、解像度が最小の解像度レベルを用いる。
ステップＳ６０５又はステップＳ６０６の処理により、解像度レベルを決定する処理が終了する。

（コンピュータ等による実現）
なお、本発明の実施の形態に係る画像処理装置は、例えばパーソナルコンピュータ（ＰＣ）等で実現されてもよい。また、本発明の実施形態に係る画像処理方法は、例えば、ＣＰＵがＲＯＭやハードディスク装置等に記憶されたプログラムに従い、ＲＡＭ等のメインメモリをワークエリアとして使用し、実行されるとよい。

以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。

サムネールの提示方法を説明する図である。 一のサムネールの表示サイズを小さくして全てのサムネールを一の画面で表示させる方法を説明する図である。 画像毎の視覚的な特徴に基づいて、サムネール画像がグループ分けされていることを説明する図である。 ＪＰＥＧ２０００規格による符号化処理を説明する図である。 タイル、サブバンド、プリシンクト、及び、コードブロックを説明する図である。 デコンポジションレベルと解像度レベルとの対応を説明する図である。 レイヤの例を示す図である。 パケットの例を説明する図である。 プログレッションオーダを説明する図である。 解像度レベルがｆｏｒループの最も外にある解像度プログレッション符号の概念図である。 パケットの配列例を示す図である。 ＳＯＴマーカセグメントの構成の詳細を示す図である。 ＳＯＴマーカセグメントに含まれる変数の値を示す図である。 タイルパートに分割された符号の例を説明する図である。 ＪＰＥＧ２０００規格によるＣＯＤマーカセグメントの詳細を示す図である。 本実施の形態に係る画像処理装置の機能構成の例を説明するブロック図である。 本実施の形態に係る画像処理装置を実現する装置構成の例を説明する図である。 表示画面における表示位置の例を説明する図である。 初期状態の表示画面における各表示位置を示す図である。 第一の表示位置群と第二の表示位置群とに分類された表示画面を説明する図（その１）である。 表示画面に含まれる表示位置を分類し、画像品質を決定して表示する処理を示すフロー図（その１）である。 表示位置群を判別する処理の例を示す図（その１）である。 第一の表示位置群と第二の表示位置群とに分類された表示画面を説明する図（その２）である。 マウスによるドラッグの軌跡を説明する図である。 第一の表示位置群と第二の表示位置群とに分類された表示画面を説明する図（その３）である。 第一の表示位置群と第二の表示位置群とに分類された表示画面を説明する図（その４）である。 第一の表示位置群と第二の表示位置群とに分類された表示画面を説明する図（その５）である。 第一の表示位置群と第二の表示位置群とに分類された表示画面を説明する図（その６）である。 表示位置群を判別する処理の例を示す図（その２）である。 表示画面に含まれる表示位置を分類し、画像品質を決定して表示する処理を示すフロー図（その２）である。 表示画面に含まれる表示位置を分類し、画像品質を決定して表示する処理を示すフロー図（その３）である。 要求された表示サイズに対応する解像度レベルを算出する処理を説明する処理を示すフロー図である。

符号の説明

１ ＣＰＵ
２ ＲＡＭ
３ ＨＤＤ
９ クライアントＰＣ
１００ 画像処理装置
１１０ 位置分類手段
１２０ 品質決定手段
１３０ 符号要求手段
１４０ 符号取得手段
１５０ 復号手段
１６０ 出力手段
２００ 表示装置
８００ サーバ
９００ 記憶装置

Claims (20)

1. 複数の復号画像が一の表示画面に表示される際の前記復号画像毎の表示位置を、第一の表示位置群と第二の表示位置群とに分類する位置分類手段と、
   前記第一の表示位置群と前記第二の表示位置群とに対し、互いに異なる復号画像の画像品質を決定する品質決定手段と、
   複数の画像品質に対応する画像符号を格納するサーバに対し、前記表示位置毎に対応する復号画像の前記品質決定手段により決定された画像品質に対応する画像符号を要求する符号要求手段と、
   前記画像品質に対応する画像符号を取得する符号取得手段と、
   を有する画像処理装置。
2. 前記第一の表示位置群の表示位置に表示される復号画像と、前記第二の表示位置群の表示位置に表示される復号画像と、は、互いに、解像度、画素数、又は、画質が異なる請求項１記載の画像処理装置。
3. 前記第一の表示位置群の各表示位置に表示される復号画像の画像品質は、前記第二の表示位置群の各表示位置に表示される復号画像の画像品質より高く、前記画像品質は、解像度、画素数、又は、画質により表される請求項１又は２記載の画像処理装置。
4. 前記位置分類手段は、前記表示画面の所定の範囲の内に位置する表示位置を、前記第一の表示位置群に属するとし、前記所定の範囲の外に位置する表示位置を、前記第二の表示位置群に属するとして分類する請求項１ないし３何れか一項に記載の画像処理装置。
5. 前記所定の範囲は、前記表示画面の中心部から所定の範囲、前記表示画面におけるポインティングデバイスのカーソル位置から所定の範囲、前記表示画面におけるポインティングデバイスの軌跡から所定の範囲、又は、前記表示画面の中、の何れか一である請求項４記載の画像処理装置。
6. 前記位置分類手段は、前記表示画面において他の表示位置よりも背面に配置された表示である表示位置を、前記第二の表示位置群に属するとし、前記第二の表示位置群に属さない表示位置を前記第一の表示位置群に属するとして分類する請求項１ないし３何れか一項に記載の画像処理装置。
7. 前記位置分類手段は、前記表示画面に含まれる表示位置のうち、所定の位置から近い順に、所定数の表示位置を前記第一の表示位置群に属するとし、前記第一の表示位置群に属さない表示位置を、前記第二の表示位置群に属するとして分類する請求項１ないし３何れか一項に記載の画像処理装置。
8. 前記位置分類手段は、所定の位置から近い表示位置の順に、前記表示位置に表示される画像に対応する符号の符号量を積算し、該符号量が所定の値を超えるまでの表示位置を、前記第一の表示位置群に属するとし、前記第一の表示位置群に属さない表示位置を、前記第二の表示位置群に属するとして分類する請求項１ないし３何れか一項に記載の画像処理装置。
9. 前記所定の位置は、前記表示画面の中心部、前記表示画面におけるポインティングデバイスのカーソル位置、又は、前記表示画面におけるポインティングデバイスの軌跡の何れか一である請求項７又は８記載の画像処理装置。
10. 複数の復号画像が一の表示画面に表示される際の前記復号画像毎の表示位置を、第一の表示位置群と第二の表示位置群とに分類する位置分類ステップと、
    前記第一の表示位置群と前記第二の表示位置群とに対し、互いに異なる復号画像の画像品質を決定する品質決定ステップと、
    複数の画像品質に対応する画像符号を格納するサーバに対し、前記表示位置毎に対応する復号画像の前記品質決定ステップにおいて決定された画像品質に対応する画像符号を要求する符号要求ステップと、
    前記画像品質に対応する画像符号を取得する符号取得ステップと、
    を有する画像処理方法。
11. 前記第一の表示位置群の表示位置に表示される復号画像と、前記第二の表示位置群の表示位置に表示される復号画像と、は、互いに、解像度、画素数、又は、画質が異なる請求項１０記載の画像処理方法。
12. 前記第一の表示位置群の各表示位置に表示される復号画像の画像品質は、前記第二の表示位置群の各表示位置に表示される復号画像の画像品質より高く、前記画像品質は、解像度、画素数、又は、画質により表される請求項１０又は１１記載の画像処理方法。
13. 前記位置分類ステップにおいて、前記表示画面の所定の範囲の内に位置する表示位置を、前記第一の表示位置群に属するとし、前記所定の範囲の外に位置する表示位置を、前記第二の表示位置群に属するとして分類する請求項１０ないし１２何れか一項に記載の画像処理方法。
14. 前記所定の範囲は、前記表示画面の中心部から所定の範囲、前記表示画面におけるポインティングデバイスのカーソル位置から所定の範囲、前記表示画面におけるポインティングデバイスの軌跡から所定の範囲、又は、前記表示画面の中、の何れか一である請求項１３記載の画像処理方法。
15. 前記位置分類ステップにおいて、前記表示画面において他の表示位置よりも背面に配置された表示である表示位置を、前記第二の表示位置群に属するとし、前記第二の表示位置群に属さない表示位置を前記第一の表示位置群に属するとして分類する請求項１０ないし１２何れか一項に記載の画像処理方法。
16. 前記位置分類ステップにおいて、前記表示画面に含まれる表示位置のうち、所定の位置から近い順に、所定数の表示位置を前記第一の表示位置群に属するとし、前記第一の表示位置群に属さない表示位置を、前記第二の表示位置群に属するとして分類する請求項１０ないし１２何れか一項に記載の画像処理方法。
17. 前記位置分類ステップにおいて、所定の位置から近い表示位置の順に、前記表示位置に表示される画像に対応する符号の符号量を積算し、該符号量が所定の値を超えるまでの表示位置を、前記第一の表示位置群に属するとし、前記第一の表示位置群に属さない表示位置を、前記第二の表示位置群に属するとして分類する請求項１０ないし１２何れか一項に記載の画像処理方法。
18. 前記所定の位置は、前記表示画面の中心部、前記表示画面におけるポインティングデバイスのカーソル位置、又は、前記表示画面におけるポインティングデバイスの軌跡の何れか一である請求項１６又は１７記載の画像処理方法。
19. コンピュータに、請求項１０ないし１８何れか一項に記載の画像処理方法を、実行させるコンピュータプログラム。
20. 請求項１９記載のコンピュータプログラムを記録したコンピュータ読み取り可能な情報記録媒体。

Images