JP2010015464A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】ユーザの操作性を向上させた画像閲覧方法を実現する。
【解決手段】クライアント１００で作成された登録画像１１２は、サーバ１１０の画像ＤＢ１１４に登録される。画像配置決定処理部１１７は登録画像のマップ上の画像配置を決定し、集合画像更新処理部１１６は集合画像を更新して画像ＤＢ１１４に登録する。更新処理部１１６が更新処理中に、クライアントから表示画面の生成要求がある場合には、更新処理前の集合画像を表示する。
【選択図】図１

Description

本発明は、画像データベースなどに蓄積された画像データに対して、サムネイル一覧などの複数画像の一覧表示画面を生成する機能を備えた画像処理装置、画像処理方法、プログラムおよび記録媒体に関し、例えば、ファイルサーバ、複写機の複合機（ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｒｉｎｔｅｒ））、画像処理プログラムなどに好適な技術に関する。

近年、スキャナの低価格化やスキャン機能を搭載したＭＦＰの普及やｅ−文書法などの法制化により、紙文書が電子化されている。また、電子化された文書画像データや写真画像データ、ＰＣなどのアプリケーションによって作成された文書データなどをデータベース（以下ＤＢ）化して一元管理する画像ＤＢの利用も増大している。

上記した画像ＤＢは、サーバ装置を設置してインターネットやＬＡＮを介して多数のユーザがアクセスする大規模なものから、個人のＰＣ内にＤＢを構築するパーソナル用途まで様々であり、例えば、近年のＭＦＰは内臓のＨＤＤに文書を蓄積する機能が備えられ、ＭＦＰをベースとした画像ＤＢが構築されている。

複数の画像が蓄積されている画像ＤＢ内の画像を閲覧する場合、ユーザは画像の検索手法を用いて目的の画像を検索する。すなわち、検索対象画像の画像名（ファイル名）が既知であれば、画像名の一覧から検索するが、通常はサムネイルの一覧表示が使用される。例えば、文書画像を検索する場合、キーワード検索した後に、キーワードにヒットした候補画像をサムネイル一覧表示して、最終的に検索対象画像を選択し、あるいは最初からサムネイル一覧表示のみを使用し、検索対象画像を探索する方法が採られている。

サムネイル一覧表示は縮小画像を画面上に複数個配列することにより、画像内容の把握を容易にするものであるが、限られた画面上に複数の画像を一度に表示するため、個々のサムネイルの解像度は一般的に低い。写真画像をサムネイル一覧表示した場合、低解像度の縮小画像でもその内容把握は比較的容易であるが、文字中心の文書画像の場合は、その縮小画像では文字の判読が困難になり文書画像の内容把握が難しい。従って、文書画像の検索では、ユーザは個々の文書画像をビューアなどの機能を使って拡大表示して確認しなければならず、検索時の操作性が非常に悪い。特に、ネットワークを介したサーバ・クライアントシステムの場合では、ビューアで画像を表示する際に新たに解像度の高い画像データの転送が必要となり、この結果、多数の画像の確認に、多くの処理時間を要し、検索効率が著しく低下する。

また、前記した画像ＤＢの蓄積画像数が増加すると、ＤＢに蓄積されている画像の全容の把握が困難になる。通常のサムネイル一覧表示で、蓄積画像数が数千の画像にも及ぶと、ユーザがそれら全てをチェックすることは実際には難しく、仮に実施したとしてもランダムに並んだサムネイル一覧からＤＢの全容を推測することは非常に困難である。これは画像ＤＢのブラックボックス化の現れであり、以下のような弊害が考えられる。例えばＷＷＷなどのように、世界中の莫大な情報が集められているものを情報ＤＢの対象とする場合、ユーザが必要とする情報は、ほぼ確実に存在し得るためユーザは安心して検索などを行うが、ユーザは、「通常のローカルな画像ＤＢにどのような情報がどれだけ蓄積されているか？」という情報はユーザの記憶にのみ依存しており、その記憶を頼りにキーワードや日付などを基にして蓄積画像を検索して目的の情報を得るしかないので、ユーザが忘れてしまった情報の活用機会が失われ、画像ＤＢの利用効率を低下させることになる。

上記した問題を解決する方法として、画像を２次元または３次元のマップ上に配置して閲覧利用者が全体俯瞰やズーム、スクロールなどの機能を使用して地図上を散策するようなイメージで情報空間を散策するマップ探索型の画像閲覧方法がある（特許文献１を参照）。しかし、上記したマップ探索型の画像閲覧方法において、画像ＤＢの全容を把握するためには、ＤＢ内に蓄積された画像が一覧可能となる、多量の表示画像数を一度に表示する必要があるが、多数の画像表示の手法については何ら開示されていない。

また本出願人は、先にマップ探索型の画像閲覧方法を提案した（特願２００８−０２２６０３号）。すなわち、マップ探索型の画像閲覧方法において、一覧表示画面の表示倍率が小さく、表示画面内に表示する画像数が多い場合には、高速に表示が可能な集合画像を表示し、表示倍率が大きく、画面内に表示する画像数が少ない場合には、個々のサムネイル画像を表示し、両者を切り替えることにより、軽快に多量の画像を表示しつつ個々の画像について精細な表示をシームレスに実現する。

特開２００３−７６７１８号公報

しかし、上記した方法は、新規画像登録時における集合画像の更新処理について考慮していない。すなわち、ＤＢに対して新たに画像が登録されると、マップ上の画像の配置を決定し、その配置を参照して集合画像を更新するが、その場合、画像マップ上で、個々の画像表示と集合画像の表示の見えを同じにしなければならない。加えて、操作性を向上させるには、
（ａ）素早く新規登録画像をマップ上に表示し、
（ｂ）エラーが生じた場合、速やかに更新前の状態に戻すとともにユーザに分かりやすく表示する、必要がある。

上記（ａ）により、システムに登録した画像が素早く利用（閲覧）可能となる。画像処理システムは、処理に多くの時間を要し、例えば、登録直後の画像を利用できない場合がある。特に、集合画像を利用したマップ探索型の画像閲覧装置では、集合画像の更新処理に時間がかかることから、システム全体の操作性が損なわれるので、できるだけ早く、登録画像の利用を可能とすることが必要となる。

また、集合画像の更新処理時に集合画像を壊した場合、集合画像を最初から作成しなければならず、リカバリに多大の時間を要する。また、画像の登録時にエラーが発生した場合には、上記（ｂ）のように、ユーザに分かりやすくエラー表示する必要があり、一度に大量の画像を登録した際には、特に必要となる。

（ｃ）サーバ・クライアントシステムで、クライアント側が画像をキャッシュするシステムの場合、集合画像を更新しても更新された集合画像がロードされないことがある。サーバ・クライアントシステムでは、クライアントが毎回画像をサーバから受信すると効率が悪いので、通常画像をキャッシュして不要な通信量を削減している。画像キャッシュ可能なサーバ・クライアントシステムでは、集合画像が更新された場合、クライアント側がキャッシュの内容を破棄して更新後の集合画像をサーバから受信する必要がある。例えば、サーバがクライアントとの接続を管理する方式の場合は、クライアントの状況によりコマンドを発行して対応可能であるが、近年の大規模なＷｅｂシステムにおいては、システムの拡張性を重視するために、サーバはクライアントの接続状態を管理しない方式が主流であり、この方式によりサーバ側で対応するのは困難である。また、クライアント側が、キャッシュの内容がサーバ側のファイル内容と一致するか否かをチェックする方法もあるが、処理が複雑になり、大量の画像データを高速に表示する処理には向いていない。

本発明は上記した問題点に鑑みてなされたもので、
本発明の目的は、集合画像と個々の画像を表示可能としたマップ探索型の画像表示手法における上記（ａ）〜（ｃ）の課題を解決し、ユーザの操作性を向上させた画像閲覧方法を実現する画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

本発明は、複数のサムネイル画像と前記複数のサムネイル画像を集合させた集合画像を表示する一覧表示画面を生成する生成手段と、登録画像からサムネイル画像を生成するサムネイル生成手段と、前記サムネイル画像の生成に応じて前記集合画像の内容を更新する集合画像更新手段と、前記一覧表示画面上の前記サムネイル画像と前記集合画像の画像配置を決定する配置決定手段と、前記サムネイル画像と前記集合画像と前記画像配置を保持する保持手段とを有する第１の処理手段と、
通信手段を介して前記第１の処理手段に接続され、前記一覧表示画面を表示する表示手段と、前記登録画像を入力する入力手段とを有する第２の処理手段とを備えた画像処理装置であって、
前記集合画像更新手段は、更新前の集合画像を保持し、更新後の集合画像を、前記更新前の集合画像と画像配置が同一である別画像として作成し、前記集合画像更新手段が更新処理中に、前記第２の処理手段から一覧表示画面の生成要求がある場合に、前記更新前の集合画像を前記生成手段に供給することを最も主要な特徴とする。

請求項１、６〜９：新規に画像を登録した場合でも画像一覧を表示することができ、ユーザの操作性を向上させることが可能となる。また、更新の前後で、集合画像のリンク先を変更しているので、クライアント側で画像をキャッシュしていても容易に更新されたか否かを判断でき、不具合なく簡易な方法でクラインアント側での画像更新が可能となる。

請求項２：新規登録画像のサムネイル作成と画像配置が決定した時点で、更新前の集合画像と新規に登録されたサムネイル画像をクライアント側に表示しているので、処理時間がかかる集合画像の更新処理を待つことなく、新規登録画像のサムネイル画像と画像配置データが作成された時点から、クライアント側では新規登録画像を表示することができ、ユーザの操作性をさらに向上させることが可能となる。特に、マルチクライアントを対象とするサーバ装置において、一度に複数の新規登録処理の指示コマンドを受けた場合、コマンドを受信した直後に、とりあえず全ての指示コマンドのサムネイルと個別画像の画像配置データを作成し、集合画像の更新処理を後で実行することが可能となるので、上記システムでは特に効果的である。

請求項３〜５：集合画像の更新処理中にエラーが発生した場合に、更新前の集合画像を保持して、更新後の集合画像として、更新前の集合画像と配置が同一の別画像を作成しているので、エラーが発生し、集合画像を壊した場合でもリカバリに時間を浪費することがない。また、一覧表示画面中で、エラー画像を、表示形態を変えて表示しているので、ユーザによるエラー画像の視認性が良くなり、ユーザの操作性がより向上し、特に大量の画像を登録した場合に、多大の効果がある。

以下、発明の実施の形態について図面により詳細に説明する。

実施例１
図１は、本発明の実施例１のシステム構成を示す。図１において、１００はパーソナルコンピュータ（以下ＰＣ）、ＰＤＡや携帯電話などのモバイル端末などのクライアント装置である。１０１はモニタなどの表示デバイス、１０２はユーザ指示の解釈、サーバ装置１１０との通信、表示デバイス１０１の制御を行うアプリケーションプログラム、１０３はユーザからの指示入力手段であるキーボードやマウスなどの入力デバイス、１０４はアプリケーションプログラム１０２がサーバ装置１１０から受信した画像を一時的に蓄積する画像キャッシュ、１０５はＬＡＮやインターネットなどの外部通信路である。

１１０はクライアントからのコマンドに応じて画像の検索などを行い、検索結果をクライアント装置１００へ出力するサーバ装置、１１１は外部通信路１０５とのインターフェース（以下Ｉ／Ｆ）、１１２は画像ＤＢ１１４へ登録する登録画像データ、１１３は登録画像データ１１２を所定サイズ以下に変倍して表示用のサムネイル画像を生成するサムネイル生成処理部、１１４は登録画像１１２の画像データ、登録画像１１２のサムネイル画像データを蓄積する画像ＤＢ、１１６は複数のサムネイルを貼り付けた集合画像を生成するとともに、ユーザ操作に応じたマップ編集処理により集合画像の変更を行う集合画像更新処理部、１１７は登録画像を入力し、マップ画面上の画像配置を決定する画像配置決定処理部、１１８はクライアント装置１００へ表示するための表示画面を生成し、かつ画面制御データ１２０の内容に応じて表示画面を制御する表示画面制御処理部、１１９はクライアント装置１００の表示デバイス１０１上へ表示するための表示画面データ、１２０はクライアント１００によって指定され入力される画面制御データ、１２１は登録画像１１２を所定のサイズに縮小した画像を貼り付け合成して集合した集合画像、１２２は画像ＤＢ１１４に登録された全画像のマップ上の位置、画像の回転角、マップとの相対サイズを表す画像配置データ、１２３は集合画像更新処理部１１６でのエラーを検知し、エラー時の処理を行うエラー処理部、１２４はサムネイル生成処理部１１３で生成されたサムネイル画像である。図中の破線は画像登録時のデータの流れを表し、実線はサムネイル一覧表示画面生成時のデータの流れを表している。

図２は、サーバ装置１１０／クライアント装置１００の構成を示す。図２において、２０１はプログラムに応じた演算や処理を行うＣＰＵ、２０２はプログラムのコードや画像の符号データなどのデータを一時的に記憶、保持するワーク領域として使用される揮発性のメモリ、２０３は画像データやプログラムなどを保存、蓄積するためのハードディスク（以下ＨＤＤ）であり、画像ＤＢ１１４を保持する。２０４はモニタ２０５へ表示するためのデータバッファであるビデオメモリである。ビデオメモリ２０４に書き込まれた画像データは、定期的にモニタ２０５へ表示される。２０６はマウスやキーボードなどの入力デバイス、２０７はインターネットやＬＡＮなどの外部通信路１０４を介してデータを送受信する外部Ｉ／Ｆ、２０８は各々の構成要素を接続するバスである。

本実施例では、サーバ装置１１０がサーバコンピュータにより構成され、表示画面生成などの処理がソフトウェによって実現される例を示す。すなわち、サーバ内の処理は図示しないアプリケーションプログラムによって実現される。本発明の実施形態はこれに限定されず、ＭＦＰなどの装置内にハードウェアによって処理するように構成しても良いし、また、サーバ、クライアント構成を採らずに、例えば１つのＰＣやＭＦＰなどの機器内に、図１の全てを構成するようにしても良い。

以下、本実施例の動作概要を説明する。実施例１のシステムは、大別すると二つの動作に分かれている。一つは画像の登録動作であり、他の一つは所望の画像を検索し、閲覧し、取得（サーバからのダウンロード）する「ＤＢ内の画像を利用する」動作である。画像の利用においては、まず所望の画像を検索し、その後、アプリケーションのビューアを使用して画像を閲覧し、ユーザのＰＣ内へ蓄積する。

本実施例における、画像登録時の動作と、画像のサムネイル一覧表示からの検索動作時の検索結果の表示について説明する。

図３（１）は、画像登録時の動作フローチャートを示す。図１（破線は登録時の動作を示す）、図３（１）を参照して画像登録動作を説明する。

ステップＳ００１において、ユーザは、クライアント装置１００からアプリケーションプログラム１０２を介してサーバ装置１１０に対して画像データの登録を指示し、登録する登録画像データ１１２を指示する。

ステップＳ００２において、登録画像データ１１２は、外部通信路１０５を介してサーバ装置１１０に入力され、外部Ｉ／Ｆ１１１を経由して、ファイル名などの付随するメタ情報などと共にＩＤが付与されて画像ＤＢ１１４に登録される。同時に、サムネイル生成処理部１１３は登録画像１１２に対して縮小処理や画像フォーマットの変換などを実施して表示用のサムネイル画像１２４を生成し、ＩＤを付与して画像ＤＢ１１４に登録する。登録画像データ１１２が複数ページの画像データである場合には、ページ単位でサムネイル画像１２４を生成する。

ステップＳ００３において、ステップＳ００２の処理と並行して、画像配置決定処理部１１７は登録画像データ１１２を基に、所定の処理によりマップ上の登録画像の位置を決定するとともに、画像の回転角、マップとの相対サイズを決定する。本実施例では、マップ上の登録画像の位置、画像の回転角、マップとの相対サイズを、画像配置データという。

また、画像配置決定処理部１１７は、画像ＤＢ１１４に画像データと共に登録されている登録画像データ１１２の画像配置データ１２２を、登録画像データ１１２の画像ＩＤと関連付けて登録する。また、登録画像データ１１２の画像配置データ１２２を集合画像生成処理部１１６へ出力する。

画像のマップ上の位置を決定する処理は、マップの形態によってシステム側で決められる処理であり、例えば順番に画像を配置する場合には、前回登録された画像の次の位置に割り当てられ、画像の特徴によって画像の位置を決定するようなマップの場合、画像から特徴量を抽出して特徴量に応じて画像位置を決定すれば良い。また、文書画像の場合は、文章の形態素解析などによって求めた特徴量に応じて画像位置を決定すれば良い。一例としては、画像から色味や形状、テクスチャ、レイアウトなどの複数の特徴量を抽出して、自己組織化マップなどの公知の手法を用いて、２次元または３次元空間の座標へ変換する手法などが画像の見た目の良さを生かしたマップ探索が可能となる。これらは公知の技術を用いれば良い。

また、画像の回転角度は初期データを０度とし、画像サイズのマップとの相対サイズは、例えばマップ全体のサイズを１０，０００画素×１０，０００画素と規定した上で、画像のサイズをマップと適合するように求めれば良い。ここでの画像サイズは、マップ上に表示する画像数などによってシステムで設定すれば良い。例えば、画像の最大サイズを５００画素×５００画素と規定して画像の長辺のサイズを最大サイズとして、短辺のサイズは長辺と短辺の比率により求めれば良い。画像の相対サイズとしては、画像の幅と高さのデータを保持する方法の他に、マップ上の画像の位置を画像の左上と右下などの２点の座標を保持して、画像の位置データによって画像の相対サイズを規定する方法もある。

ステップＳ００４において、集合画像更新処理部１１６は、登録画像データ１１２と、画像配置決定処理１１７で決定された登録画像データ１１２の画像配置データ１２２と、更新前の集合画像（以下、集合画像Ａ）を入力して、集合画像Ａとは別の画像として更新後の集合画像（以下、集合画像Ｂ）を生成し、集合画像Ｂを画像ＤＢ１１４に新規に登録し、画像配置データ１２２を更新する。

上記画像ＤＢ１１４における、ＩＤやファイル名などの付随するメタ情報は、一般的なリレーショナルデータベースを使用することにより、情報の登録、管理、検索などの処理を簡易に実現できる。また、サムネイルおよび原画像データは、必要に応じて圧縮符号化して蓄積し、上記したメタ情報からリンクされて読み込み可能に構築しておけばよい。また、画像ＤＢ１１４は上述の機能を満たせば、例えばＸＭＬなどの言語を使用し、階層的なデータ構造などを構築して蓄積しても良く、また、異なるサーバ毎にそれぞれＤＢとして蓄積してもよい。画像登録は、スキャナやデジタルカメラなどの画像入力装置から直接、画像データをサーバ装置１１０に登録するようにしても良い。また、サーバ１１０にレンダリングの機能を備えて電子データを入力可能に構成しても良い。

図３（２）は、集合画像更新処理部１１６の処理フローチャートである。以下、図３（１）のステップＳ００４の詳細処理である、集合画像更新処理について詳細に説明する。ここでは、既に画像ＤＢ１１４に複数の画像が登録されている状態での処理について説明する。

ステップＳ０１１において、画像ＤＢ１１４より、登録されている既存の集合画像Ａ１２１を取得し、集合画像Ａのコピー画像を生成する。

ステップＳ０１２において、入力された登録画像１１２を所定サイズに縮小処理する。ここでの所定サイズは、画像配置決定処理部１１７で決定された、マップとの相対サイズによって決定されるサイズである。

ステップＳ０１３において、ステップＳ０１２で縮小された登録画像を、集合画像Ａのコピー画像に合成処理して集合画像Ｂを生成する。ここでの合成処理は、画像配置決定処理部１１７で決定された集合画像の位置に、縮小された登録画像を貼り付けるように上書き処理する。

ステップＳ０１４において、集合画像Ｂを画像ＤＢ１１４に新規登録し、新規の画像ＩＤを付与する。ステップＳ０１５において、画像配置データ１２２のリンク先を集合画像Ａの画像ＩＤから集合画像Ｂの画像ＩＤに変更する。ステップＳ０１６において、集合画像Ａを画像ＤＢ１１４から削除する。

以下、本実施例におけるサムネイル画像と集合画像について説明する。本実施例では、登録画像毎にクライアント装置１００が表示に使用するサムネイル画像と集合画像を生成する。本発明のマップ探索型の表示システムでは、クライアントの表示サイズに応じた画像サイズのサムネイル画像を生成する必要があるが、このような生成手法としては、ＪＰＥＧ２０００などに代表される階層符号化方式を用い、必要な画像サイズ分の画像データ（符号コード）を生成することにより実現され、また、サイズの異なるサムネイル画像を複数用意して表示サイズに対応するサムネイル画像を選択するように構成しても良い。

複数のサムネイル画像を集合させた集合画像についても、個々の画像の縮小画像であるサムネイル画像と同様に階層符号化方式で構成してもよいし、サイズの異なる複数の画像で構成しても良い。集合画像は一般的に膨大なデータ量となるので、階層符号化方式で構成した方が全体的な蓄積容量を節約できる。また、集合画像は１つの画像で構成しても良く、また集合画像全体をいくつかに分割した複数の画像で構成しても良いが、本実施例では、説明の簡単化のため、１つの集合画像を使用した例として説明する。集合画像が複数ある場合には、集合画像の更新や表示に先立って対象の集合画像を、画像配置データ１２２を基に選択すれば良い。図５（３）は、集合画像を分割し、複数の画像として取り扱う例を示す。（３）は１６領域に分割した例であり、図中の太線と丸付き番号は分割の境界を示す。領域の分割方法は等分割に限定されず、その形状も矩形に限定されない。

図４は、画像検索時の動作フローチャートである。図１、４を参照して、本実施例の画像検索動作を説明する。

ステップＳ１０１において、ユーザは、クライアント装置１００のアプリケーションプログラム１０２を使用して、サムネイル画像の一覧表示をサーバ装置１１０へ指示する。

ステップＳ１０２において、サーバ装置１１０は、一覧表示指示を受信すると、表示画面制御処理部１１８は図５（１）に示すように、サムネイル一覧表示画面の初期画面を生成する。図５（１）は、サムネイル一覧表示画面の一例を示し、３０１はサムネイル一覧ビュー３０２の表示領域を規定するウィンドウ、３０２はサムネイル画像の表示フレームであるサムネイル一覧ビュー、３０３はサムネイル画像（一つの矩形が一つのサムネイル画像を表す）、３０４はサムネイル一覧ビューの表示倍率を設定するスライダ、３０５はサムネイル一覧ビューを水平方向へスクロールするスライダ、３０６はサムネイル一覧ビューを垂直方向へスクロールするスライダである。

集合画像を表示する場合、サムネイル一覧ビュー３０２自体が集合画像となり、個々のサムネイル画像を表示する場合、サムネイル一覧ビュー３０２上に表示される各サムネイル画像が個々の画像となる。図５では、マップ上のサムネイル画像の配置がランダムに配置され、マップ上の画像が重なる例であるが、整列して配置しても良い。

本実施例におけるサムネイル一覧表示画面は、大きく二つの画面構造をなしている。一つはサムネイル一覧ビュー３０２であり、他の一つはユーザインターフェースの部分と外枠のフレーム部分である。クライアント装置１００内のアプリケーション１０２は、これら二つのフレームを合成して表示デバイス１０１用の表示画面を生成し、最終的に図５（１）の画面を作成する。

図５（２）は、サムネイル一覧ビュー３０２を示し、３０７はウィンドウ３０１の境界を表す表示領域を示す。表示画面制御処理部１１８は、表示画面を生成する場合、二種類の画面を生成するが、外枠のフレーム部分は、サムネイル一覧ビュー３０２の表示倍率や表示領域のスライダ３０５、３０６の位置を変更する程度であるので、その説明は省略し、サムネイル一覧ビュー３０２の画面生成を詳述する。

表示画面制御処理部１１８が初期画面を生成する場合、サムネイル一覧ビュー３０２の表示倍率（図５（１）は最低倍率）と表示領域３０７を所定の値に設定して、サムネイル一覧ビュー３０２を生成し、外枠のフレーム部分と共に表示画面１１９として外部Ｉ／Ｆ１１１より外部通信路１０５を経由してクライアント装置１００へ送信する。

サムネイル一覧ビュー３０２は、図５（２）に示す画面となるが、表示画面制御処理部１１８では、集合画像を使用する場合は、集合画像の画像配置データ１２２（座標データ）と集合画像のＩＤ情報を保持してサムネイル一覧ビュー３０２として用いればよく、個々のサムネイル画像を使用する場合は、画像配置データ１２２（座標データ）と表示画像のＩＤ情報を保持しておけばよい。また、サムネイル一覧ビュー３０２は、表示領域３０７内の画面のみをクライアント装置１００へ送信する。個々の画像を使用してサムネイル一覧ビューを生成するか、集合画像を使用するかは、例えば表示画像数や表示倍率により切り替え、あるいは表示用の複数のモードを備え、モードにより切り替えればよい。

上記したような表示画面の作成方法やサーバ・クライアント間の通信方法には種々の手法があるが、一般的によく使用される手法としてサーバ装置１１０をＷｅｂサーバとしてＷＷＷベースの技術を使用することにより実現可能となる。そして、表示画面１１９はＨＴＭＬによって記述され、アプリケーション１０２は一般的なＷｅｂブラウザを使用すれば良い。このような方法によれば、サーバは、まず画像の配置や画像のリンク先（Ｗｅｂ上のＵＲＬ）を記載したＨＴＭＬファイルをクライアントに送付し、クライアントは受信したＨＴＭＬファイルのリンク先から画像を取得する。また、本実施例では、表示倍率や表示領域を変更するためのスクロールのスライダを画面内に構成しているが、例えば、クライアント装置１００内のマウスなどの入力デバイスにそれらの機能を設けるように構成しても良い。

図４に戻り、ステップＳ１０３において、クライアント装置１００のアプリケーション１０２は、表示画面１１９を展開（レンダリング）し、表示デバイス１０１上に表示画面１１９を表示する。

ステップＳ１０４において、クライアント装置１００を使用しているユーザは、表示画面１１９を閲覧し、検索対象画像を探すために、表示領域を変更するスライダ３０５、３０６を操作し、また、表示倍率を変更する表示画面倍率設定用スライダ３０４を操作し、画面スクロールや表示倍率の変更を指示する。このスライダの操作は、マウスなどの図示しない入力デバイス１０３により実行される。

ステップＳ１０５において、画面スクロールや表示倍率の変更指示は、画面制御データ１２０として表示倍率と表示領域のデータに変換されてサーバ装置１１０へ送信される。

ステップＳ１０６において、サーバ装置１１０では、画面制御データ１２０を受信すると、後述するように、サムネイル一覧ビュー画面を変更する。ステップＳ１０７において、ステップＳ１０３と同様に、表示デバイス１０１上に変更後の表示画面１１９を表示する。ステップＳ１０８において、ユーザが検索対象画像を見つけられない場合は、ステップＳ１０４〜Ｓ１０７の動作を繰り返す。

図６は、表示デバイス１０１に表示される拡大表示の例を示す。ユーザは、多くのサムネイル画像から検索対象画像の候補画像を、スライダ３０５、３０６を使用して画面中央へ表示させ（図６（２））、徐々に拡大率を上げていく過程で、周囲画像と比較し、画像内容を確認しながら、検索対象画像か否かを確認する（図６（２）、（３））。検索対象画像ではないと確認できた場合は、表示倍率を縮小して候補の画像を探索する。一方、検索対象画像である場合は、サムネイル一覧ビュー３０２の画面の状態で画像内容を詳細に確認することができる（図６（４））。

以上の処理が、実施例１のマップ探索型の画像閲覧手法の基本動作である、画像登録、画像検索、探索動作の例であり、サーバクライアント間の画像一覧表示が達成される。

図７は、実施例１に係る、集合画像更新処理時におけるサーバクライアント間の集合画像表示処理のシーケンス図である。図７のステップＳ０１１〜Ｓ０１６は、図３（２）の各ステップに対応している。

まず、集合画像更新処理部１１６が、集合画像の更新処理を開始した後、集合画像Ｂへの更新が完了していない場合の処理は以下のようになる。

ステップＳ０２１〜０２４において、表示画面制御処理部１１８が画面制御データ１２０により表示画面要求１を受信すると、表示画面制御処理部１１８は、画像配置データ１２２から集合画像Ａの画像配置データと画像ＩＤを取得して、画像の配置と集合画像Ａへのリンクデータをクライアント１００に送信する。

ステップＳ０２５〜０２７において、表示画面データ１を受信したクライアントは、表示画面データの集合画像Ａのリンクデータに基づいて表示画像を表示画面制御処理部１１８へ要求し、表示画面制御処理部１１８を経由して集合画像Ａを取得して表示する。

次に、集合画像Ｂへの更新が完了し（ステップＳ０１３）、画像の配置データの更新が完了（ステップＳ０１５）した後の処理は、以下のようになる。

ステップＳ０２８〜０３１において、表示画面制御処理部１１８が画面制御データ１２０により表示画面要求２を受信すると、表示画面制御処理部１１８は、画像配置データ１２２から集合画像Ｂの画像配置データと画像ＩＤを取得して、画像の配置と集合画像Ｂへのリンクデータをクライアント１００に送信する。

ステップＳ０３２〜０３４において、表示画面データ２を受信したクライアントは、表示画面データの画像リンクデータに基づいて表示画像を表示画面制御処理部１１８へ要求し、表示画面制御処理部１１８を経由して集合画像Ｂを取得して表示する。

以上のように、集合画像更新処理部１１６が画像配置データ１２２を更新した後に、集合画像Ｂが表示されることになる。ここで、集合画像Ａのリンクデータと集合画像Ｂのリンクデータは画像が異なるため異なるリンクデータとなる。このように構成することにより、クライアント装置１００の画像キャッシュ１０４に、集合画像Ａがキャッシュされていても新規に集合画像Ｂがクライアント装置１００によって受信されることになる。特に、画像が階層符号で構成されていて、差分の符号単位で送受信が可能なシステムでは、画像の一部の符号のみをキャッシュしている場合があるが、そのような場合に、集合画像が変更されたことにクライアント側が気づかずに画像の一部の符号を受信すると正確な画像表示ができなくなる問題が生じる。それを回避するため、画像の部分符号ごとに画像の入れ替えをチェックすると情報の転送量が増加するとともにサーバ、クライアント双方の負荷も大きくなる。実施例１の方法によれば、前記したような不具合を発生させることなく、簡易な方法でクラインアント側の画像更新が可能となる。

以上説明したように、本実施例によれば、集合画像を使用するマップ探索型の画像表示システムにおいて、集合画像更新手段が更新前の集合画像Ａを保持し、更新後の集合画像Ｂを、集合画像Ａとは配置が同一の別画像として作成するとともに、集合画像更新手段が更新中に、表示画面生成要求があった場合に更新処理前の集合画像Ａを表示画面生成手段に供給しているので、新規に画像を登録した場合にも画像一覧の表示が可能になり、ユーザの操作性を向上させることが可能となる。

実施例２
実施例１では、ユーザによる新規登録画像の表示画面上での確認は、少なくとも集合画像を表示するモードでは集合画像の更新が完了するまで確認できない。個々の画像を表示するモードでは、図３（１）のステップＳ００３が終了した時点で表示可能となるため、集合画像の表示と個々の画像の表示の同期をとる場合には、個々の画像表示において新規登録画像を表示する場合も集合画像の更新完了まで待つ必要がある。

集合画像は、サイズが大きな画像になることもあり、サムネイル生成よりも処理時間を要するのが一般的である。また、マルチクライアントを対象とするサーバ・クライアントシステムの場合、新規の画像登録処理要求が同時に多数、発行される可能性があり、そのような場合、ユーザは新規に登録した画像が表示されるまで待たされることになり、操作性が低下してしまう。また、仮に個別画像の表示時にのみ、新規登録画像を比較的早く表示することは可能であるが、例えば、表示倍率を集合画像表示と個々の画像表示で切り替えるような場合には不具合が生じる。

そこで、実施例２では、新規登録画像が個々の画像表示画面上で表示可能となった時点で、集合画像表示画面上にも表示する手法を採っている。実施例２の構成は、実施例１と同様である。

図８は、実施例２に係る、集合画像の更新処理時におけるサーバクライアント間の集合画像の表示処理のシーケンス図である。図８は、実施例１の図７に、新規登録画像のサムネイル画像１２４と、サムネイル生成処理部１１３と、画像配置決定処理部１１７のタイミングを付加している。

ステップＳ００２でサムネイル画像１２４の生成が確定し、ステップＳ００３で新規登録画像の画像配置データ１２２が確定すると、個別画像表示は、新規の登録画像を含めた表示が可能となる。しかし、集合画像の表示は、ステップＳ０１３で集合画像Ｂの作成が完了し、ステップＳ０１５で画像配置データの更新が完了するまで表示は不可能である。そのため、ステップＳ００３からＳ０１５の間に、クラインアント装置１００に新規登録画像を表示するために、表示画像要求１（集合画像の表示要求とする）に対して、集合画像Ａと共に新規登録サムネイル画像１２４をクライアント上で重ねて表示するように構成する。これを実現するために、集合画像Ａの画像配置データ１２２上に新規登録サムネイル画像１２４の座標データを追加して、表示画像要求１のタイミングで、ステップＳ０２６の集合画像Ａと共にステップＳ０４０において新規登録サムネイル画像をクライアント装置１００に出力する。

以上説明したように、本実施例では、処理時間がかかる集合画像の更新処理を待つことなく、新規登録画像のサムネイル画像１２４と画像配置データ１２２が作成された時点から、クライアント側で新規登録画像の表示が可能となり、ユーザの操作性をさらに向上させることが可能となる。特に、マルチクライアントを対象とするサーバ装置においては、一度に複数の新規登録処理の指示コマンドを受けた場合、コマンドを受信した直後に、とりあえず全ての指示コマンドのサムネイルと個別画像の画像配置データを作成し、集合画像の更新処理を後で実行することが可能となるので、上記システムでは特に効果的である。

実施例３
上記した実施例２は、集合画像の更新処理の完了を待たずに、サムネイル画像とそのサムネイル画像の画像配置データが作成完了した時点から、新規登録画像を画像一覧表示上に表示する実施例であるが、実施例３は、実施例２のサーバ装置において、集合画像の更新処理中にエラーが生じた場合の実施例である。実施例３の構成は、実施例１と同様である。

図９は、実施例３に係る、集合画像の更新処理のフローチャートであり、図１０は、集合画像更新処理時の集合画像表示処理のシーケンス図である（図１０のステップ０１１〜０１３は、図３（２）のステップ０１１〜０１３と同様である）。

ステップＳ１２０において、エラー処理部１２３は、集合画像更新処理部１１６が集合画像更新処理中にエラーが発生したか否かを検知し、エラーが無い場合は、図３（２）と同様に、ステップＳ０１４〜Ｓ０１６の処理を行い、エラーが有る場合はステップＳ１２１〜Ｓ１２２の処理を行う。

ステップＳ１２１において、集合画像更新処理中にエラーが発生した場合、エラー処理部１２３は、集合画像Ｂ（集合画像Ａのコピー画像）を破棄する。

ステップＳ１２２において、新規登録画像の画像配置データ１２２に、当該画像のエラー発生の情報を付加する。

図１０を参照して、集合画像更新処理時にエラーが発生した場合の集合画像の表示処理の動作を説明する。

ステップＳ０４４〜Ｓ０４３において、エラー発生後に表示画面要求２を受信すると、サーバ装置１１０は、実施例２の集合画像更新処理中と同様の処理を行う。この際に、画像配置データ１２２には、集合画像更新時にエラーが発生したことを示す情報が含まれている。

ステップＳ０４４〜Ｓ０４７における処理は、ステップＳ０２５〜Ｓ０２７、Ｓ０４０と同様の処理であり、更新前の集合画像Ａと新規登録のサムネイル画像を表示画像２としてクライアント装置１００に出力する。

ステップＳ０４８〜Ｓ０５０において、表示画面制御処理部１１８は、エラー情報をクライアント装置１００に出力すると、エラー処理部１２３に通知し、エラー処理部１２３は画像配置データ１２２から新規登録画像の情報を削除し、画像ＤＢ１１４から新規登録したサムネイル画像１２４を削除する。

上記した例では、クライアント装置１００から集合画像更新処理時にエラーが発生した後での表示画面要求を受け取り、画像を出力してすぐに画像配置データとサムネイル画像の削除を実施しているが、一定時間経過後に削除するように構成し、クライアントから再実行要求の有無を確認する等の処理により、削除する時期を判断するように構成しても良い。

図１１は、図１０の表示画像要求２に対する表示画面の例である。図１１（１）の４０１は、新規登録画像を示し、他の画像は集合画像Ａである。表示要求２に対する表示によって、エラー発生をユーザに通知する方法として、図１１（２）のように、新規登録画像を点滅させたり、（３）のように、新規登録画像に斜線をかけるなど、種々の方法がある。

以上説明したように、本実施例によれば、集合画像の更新処理中にエラーが発生した場合に、一覧表示画面中に、エラーの発生をユーザに分かりやすく表示することが可能となり、ユーザの操作性がより向上する。

本発明の実施例１のシステム構成を示す。 実施例１のサーバ装置／クライアント装置の構成を示す。 実施例１の画像登録／集合画像更新処理のフローチャートである。 画像検索時のフローチャートである。 サムネイル一覧表示画面の例を示す。 拡大表示の例を示す。 実施例１に係る、集合画像の表示処理のシーケンス図である。 実施例２に係る、集合画像の表示処理のシーケンス図である。 実施例３に係る、集合画像の更新処理のフローチャートである。 実施例３に係る、集合画像の表示処理のシーケンス図である。 実施例３に係る、エラー時の表示画面例である。

符号の説明

１００ クライアント装置
１０１ 表示デバイス
１０２ アプリケーションプログラム
１０３ 入力デバイス
１０４ 画像キャッシュ
１０５ 外部通信路
１１０ サーバ装置
１１１ 外部インターフェース
１１２ 登録画像データ
１１３ サムネイル生成処理部
１１４ 画像ＤＢ
１１６ 集合画像更新処理部
１１７ 画像配置決定処理部
１１８ 表示画面制御処理部
１１９ 表示画面データ
１２０ 画面制御データ
１２１ 集合画像
１２２ 画像配置データ
１２３ エラー処理部
１２４ サムネイル画像

Claims (9)

1. 複数のサムネイル画像と前記複数のサムネイル画像を集合させた集合画像を表示する一覧表示画面を生成する生成手段と、登録画像からサムネイル画像を生成するサムネイル生成手段と、前記サムネイル画像の生成に応じて前記集合画像の内容を更新する集合画像更新手段と、前記一覧表示画面上の前記サムネイル画像と前記集合画像の画像配置を決定する配置決定手段と、前記サムネイル画像と前記集合画像と前記画像配置を保持する保持手段とを有する第１の処理手段と、
   通信手段を介して前記第１の処理手段に接続され、前記一覧表示画面を表示する表示手段と、前記登録画像を入力する入力手段とを有する第２の処理手段とを備えた画像処理装置であって、
   前記集合画像更新手段は、更新前の集合画像を保持し、更新後の集合画像を、前記更新前の集合画像と画像配置が同一である別画像として作成し、前記集合画像更新手段が更新処理中に、前記第２の処理手段から一覧表示画面の生成要求がある場合に、前記更新前の集合画像を前記生成手段に供給することを特徴とする画像処理装置。
2. 前記集合画像の更新処理中に、一覧表示画面の生成要求がある場合に、前記生成手段は、前記更新前の集合画像と、登録画像から生成されるサムネイル画像によって構成される一覧表示画面を生成することを特徴とする請求項１記載の画像処理装置。
3. 前記第１の処理手段は、前記集合画像の更新処理時のエラーを検出するエラー検知手段を備え、前記エラー検知手段がエラーを検知したとき、前記生成手段は、更新後の集合画像を破棄し、更新前の集合画像と前記生成されたサムネイル画像によって構成される一覧表示画面を生成することを特徴とする請求項２記載の画像処理装置。
4. 前記エラー検知手段がエラーを検知したとき、第２の処理手段へ通知し、前記第２の処理手段の表示手段に、エラーの発生を識別可能に表示することを特徴とする請求項３記載の画像処理装置。
5. 前記表示手段は、新規登録されたサムネイル画像の表示形態を変更することにより、前記エラーの発生を識別可能に表示することを特徴とする請求項４記載の画像処理装置。
6. 前記第２の処理手段は、前記更新前の集合画像と前記更新後の集合画像が別の画像であることを、画像のリンク先が異なることにより識別することを特徴とする請求項１記載の画像処理装置。
7. 複数のサムネイル画像と前記複数のサムネイル画像を集合させた集合画像を表示する一覧表示画面を生成する生成工程と、登録画像からサムネイル画像を生成するサムネイル生成工程と、前記サムネイル画像の生成に応じて前記集合画像の内容を更新する集合画像更新工程と、前記一覧表示画面上の前記サムネイル画像と前記集合画像の画像配置を決定する配置決定工程と、前記サムネイル画像と前記集合画像と前記画像配置を保持する保持工程とを有する第１の処理工程と、
   通信工程を介して前記第１の処理工程に接続され、前記一覧表示画面を表示する表示工程と、前記登録画像を入力する入力工程とを有する第２の処理工程とを備えた画像処理方法であって、
   前記集合画像更新工程は、更新前の集合画像を保持し、更新後の集合画像を、前記更新前の集合画像と画像配置が同一である別画像として作成し、前記集合画像更新工程が更新処理中に、前記第２の処理工程から一覧表示画面の生成要求がある場合に、前記更新前の集合画像を前記生成工程に供給することを特徴とする画像処理方法。
8. 請求項７記載の画像処理方法をコンピュータに実現させるためのプログラム。
9. 請求項７記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images