JP2009182933A - 画像処理システム及び画像処理方法 - Google Patents

Abstract

【課題】一覧画像を短時間で表示し、個々のサムネイルの内容をユーザーに容易に把握してもらうことができ、且つ、クライアント装置１におけるメモリ容量不足の発生を抑えることができる画像処理システムを提供する。
【解決手段】ＨＤＤ１４に記憶されている複数の画像の画面上での配置位置を決定する配置位置決定手段１６と、それら画像についてそれぞれ第１サムネイル及びこれよりも縮小率の大きな第２サムネイルを構築するサムネイル構築手段１３と、それら第２サムネイルを上記配置位置に従って並べて１つにまとめた合成画像を構築する合成画像構築手段１５とをサーバー装置１０に設け、画面上におけるサムネイル表示数に基づいてサーバー装置１０からクライアント装置１に送信するデータについて、合成画像のデータにするのか、あるいは、配置位置のデータ、及び上記表示箇所に含まれる第１サムネイルのデータにするのかを決定するようにした。
【選択図】図１

Description

本発明は、第１データ処理装置に記憶されている複数の画像データファイルに基づいて、複数の表示用画像を並べて配置した一覧画像を表示するための表示データを第２データ処理装置で生成する画像処理システムや画像処理方法に関するものである。

近年、スキャナの低価格化や、いわゆるｅ-文書法の施行などに伴って、グラフィックや紙文書をスキャナによって画像として読み込んで電子化することが広く行われるようになっている。グラフィックや紙文書などを画像データファイルとして電子化することで、それらを少ないスペースで保管することができるからである。プリント機能とスキャン機能とを搭載した複合機(MFP：Multi Function Printer)が安価に市場に出回るようになってからは、オフィスに限らず、一般家庭においても、紙文書をスキャンして電子化することが一般化しつつある。

このように、グラフィックや紙文書などをスキャナで読み込んで画像データファイルとして管理する場合、画像データファイルの数が多くなると、ハードディスク等の記録媒体の中から、目的の画像データファイルを見つけ出すことが困難になる。

そこで、記録媒体の中に記録されている複数の画像データの画像をそれぞれ縮小してサムネイルと呼ばれる複数の表示用画像（縮小画像）を構築し、それらを並べてディスプレイに一覧表示するためのファイル管理用のソフトウエアが広く出回るようになってきた。かかるソフトウエアによれば、ディスプレイに一覧表示されたサムネイルによって個々の画像を大雑把に判別することで、僅かにイメージとして残っている曖昧な記憶を頼りにして目的の画像データファイルを見つけ出すことができる。画面に表示されているサムネイルが目的の画像であることを確信したユーザーは、そのサムネイルをマウスでクリックすることで、画像処理ソフトを起動させて画像の詳細をディスプレイに表示させることも可能である。

サムネイル一覧表示を利用した装置としては、たとえば特許文献１に記載の画像処理システムが知られている。この画像処理システムは、複数の画像データファイルをハードディスク内に記憶しているサーバー装置と、これにネットワーク通紙装置を介して接続されたクライアント装置とを備えている。第１データ処理装置としてのサーバー装置は、データ記憶手段に記憶している複数の画像についてそれぞれ、所定の縮小率で縮小したサムネイルを構築する。そして、クライアント装置からサムネイル送信要求信号が送られてくると、複数のサムネイルのデータを１つずつ送信していく。第２データ処理装置としてのクライアント装置は、サーバー装置から送られてくる複数のサムネイルを一覧表示画面に順々に追加して表示していく。

特開２００５−２２３３８３号公報

この画像処理システムにおけるクライアント装置は、個々のサムネイルがサーバー装置から送られてくる毎に、そのサムネイルを一覧表示画面に順次追加していくという処理を繰り返し行う必要がある。このため、サムネイル数が比較的多い場合には、全てのサムネイルを一覧表示するまでに長時間を要するという不具合があった。

また、画像の種類によっては、サムネイル表示だけからオリジナル画像の内容を把握することが困難になるという不具合もあった。具体的には、縮小処理を施していないオリジナル画像が写真画像である場合には、それよりも解像度の低いサムネイルからでも、画像の内容を比較的容易に把握することが可能である。ところが、文書画像の場合には、解像度の低いサムネイル表示では文字の判読が困難で文書内容を把握することができない場合がある。

そこで、本発明者らは、次のような新規な画像処理システムを開発中である。即ち、サーバー装置は、複数のサムネイルを所定の順序で並べて１つの画像として合成した合成画像を構築する。この合成画像については、サムネイルの縮小率を互いに異ならせたものを複数構築してハードディスク内に記憶しておく。そして、クライアント装置から初期画面表示用のデータ送信要求があった場合には、それら合成画像のうち、サムネイルの縮小率の最も高い初期画面用の合成画像のデータをクライアント装置に送信する。クライアント装置は、送られてきた初期画面用の合成画像を、サムネイル一覧画像として表示手段の画面に表示させる。サムネイル数が比較的多い場合には、画面にサムネイル一覧画像の全体が表示されず、その一部箇所だけが表示されるが、ユーザーはマウス操作などによって画面上におけるサムネイル一覧画像の表示箇所を変更することが可能である。また、所定の操作により、画面の中央付近にあるサムネイルだけを拡大して表示させることも可能である。この際、クライアント装置は、サムネイル一覧画像におけるサムネイル縮小率と、画面上における拡大後のサムネイル表示サイズとに基づいて、既存画像拡大表示処理を行うのか、あるいは、新規画像拡大表示処理を行うのかを決定する。既存画像拡大表示処理は、それまで使用していたサムネイル一覧画像の一部箇所を単に拡大して表示するための処理である。これに対し、新規画像拡大表示処理は、サムネイル縮小率のより低い合成画像をサーバーから取得して、その合成画像に基づくサムネイル一覧画像の一部箇所を拡大して表示するための処理である。

かかる構成においては、サーバー装置からクライアント装置に個々のサムネイルのデータをそれぞれ送信したり、クライアント装置が新たなサムネイルを受信する毎に表示画面を更新したりという処理が不要となる。そして、サーバー装置からクライアント装置に向けて合成画像のデータを送信するだけで、全てのサムネイルを含むサムネイル一覧画像をクライアント装置の表示手段に表示させることが可能となる。これにより、全てのサムネイルを一覧表示するまでの時間を短縮することができる。合成画像であっても、合成画像の縦横の座標（グリッド）を個々のサムネイルに対応する画像のファイルにリンクさせているので、サムネイルに対応するオリジナル画像の送信要求をクライアント装置からサーバー装置に送信させることも可能である。これにより、ユーザーによって任意に選択されたサムネイルに対応するオリジナル画像をそのままの解像度で、新たに起動した画像ビューアーに表示させることもできる。

また、表示手段の画面上におけるサムネイル一覧画像の表示サイズが比較的大きくなった場合には、上述した新規画像拡大表示処理を実施して、縮小率の高い低解像度のサムネイルの代わりに、縮小率の低い高解像度のサムネイルを表示する。これにより、それぞれのサムネイルに対応する複数のオリジナル画像の内容をユーザーに容易に把握してもらうこともできる。

ところが、この開発中の画像処理システムにおいては、次に説明するような改良の余地が残されていた。即ち、サムネイル数が比較的多い場合に、複数の高解像度のサムネイルからなる合成画像のデータ容量が非常に大きくなって、クライアント装置側でメモリ容量不足を引き起こすおそれがでてくるのである。

本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、次のような画像処理システム及び画像処理方法を提供することである。即ち、一覧画像を短時間で表示することができ、個々の表示用画像にそれぞれ対応する複数のオリジナル画像の内容をユーザーに容易に把握してもらうことができ、且つ、第２データ処理装置におけるメモリ容量不足の発生を抑えることができる画像処理システム等である。

上記目的を達成するために、請求項１の発明は、第１データ処理装置に記憶されている複数の画像に基づいて、複数の表示用画像を並べて配置した一覧画像を表示するための表示データを第２データ処理装置で生成する画像処理システムにおいて、データ記憶手段に記憶されている複数の上記画像について、それぞれ画像表示手段の画面上での配置位置を決定する配置位置決定手段と、それらの画像についてそれぞれ、上記表示用画像として、第１表示用画像、及び該第１表示用画像とは異なる画像サイズの第２表示用画像を構築する表示用画像構築手段と、それら第２表示用画像を該配置位置に従って並べて１つにまとめた合成画像を構築する合成画像構築手段とを上記第１データ処理装置に設け、ユーザーによる入力操作を受け付ける入力操作受付手段と、該入力操作受付手段による受付結果に基づいて上記一覧画像における上記画像表示手段での表示箇所、及び該表示箇所における表示用画像の存在条件を特定する特定手段と、該存在条件に基づいて上記第１データ処理装置から上記第２データ処理装置に送信するデータについて、上記合成画像のデータにするのか、あるいは、上記配置位置のデータ、及び少なくとも上記表示箇所に含まれる上記第１表示用画像のデータにするのかを決定するデータ決定手段とを上記第１データ処理装置又は第２データ処理装置に設け、且つ、上記第１データ処理装置から上記合成画像のデータが送られてきた場合には、上記合成画像を上記一覧画像として表示するための表示データを生成する一方で、上記配置位置のデータ及び上記第１表示用画像のデータが送られてきた場合には、これらのデータに基づいて、上記一覧画像のうち、上記表示箇所とは異なる箇所の全て又は一部を除外した部分一覧画像を表示するための表示データを生成する表示データ生成手段を上記第２データ処理装置に設けたことを特徴とするものである。
また、請求項２の発明は、請求項１の画像処理システムであって、上記存在条件が上記表示箇所の表示倍率であることを特徴とするものである。
また、請求項３の発明は、請求項１の画像処理システムであって、上記存在条件が上記表示箇所における表示用画像数であることを特徴とするものである。
また、請求項４の発明は、請求項１の画像処理システムであって、上記存在条件が上記表示箇所の画像データ容量であることを特徴とするものである。
また、請求項５の発明は、データ記憶手段に記憶されている複数の画像に基づいて所定の処理を実施する第１工程と、それら画像に基づいて、複数の表示用画像を並べて配置した一覧画像を表示するための表示データを生成する第２工程とを具備する画像処理方法において、上記データ記憶手段に記憶されている複数の上記画像について、それぞれ画像表示手段の画面上での配置位置を決定する配置位置決定処理と、それらの画像についてそれぞれ、上記表示用画像として、第１表示用画像、及び該第１表示用画像とは異なる画像サイズの第２表示用画像を構築する表示用画像構築処理と、それら第２表示用画像を該配置位置に従って並べて１つにまとめた合成画像を構築する合成画像構築処理とを上記第１工程に設け、ユーザーによる入力操作を受け付ける入力操作受付処理と、該入力操作受付処理における受付結果に基づいて上記一覧画像における上記画像表示手段での表示箇所、及び該表示箇所における表示用画像の存在条件を特定する特定処理と、該存在条件に基づいて上記第１工程から上記第２工程に送信するデータについて、上記合成画像のデータにするのか、あるいは、上記配置位置のデータ、及び少なくとも上記表示箇所に含まれる上記第１表示用画像のデータにするのかを決定するデータ決定処理とを上記第１工程又は第２工程に設け、且つ、上記第１工程から上記合成画像のデータが送られてきた場合には、上記合成画像を上記一覧画像として表示するための表示データを生成する一方で、上記配置位置のデータ及び上記第１表示用画像のデータが送られてきた場合には、これらのデータに基づいて、上記一覧画像のうち、上記表示箇所とは異なる箇所の一部又は全てを除外した部分一覧画像を表示するための表示データを上記配置位置に基づいて生成する表示データ生成処理を上記第２工程に設けたことを特徴とするとするものである。

これらの発明においては、第１データ処理装置が、表示用画像構築手段や合成画像構築手段によって各種の表示用画像や合成画像を構築する。また、第１データ処理装置あるいは第２データ処理装置に設けられた特定手段が、ユーザーによる表示領域変更操作や拡大表示操作などの入力操作に基づいて、画像表示手段に表示する一覧画像における表示箇所と、その表示箇所における表示用画像の表示倍率、数、データ容量などといった存在条件とを特定する。これらの存在条件は、一覧画像の表示箇所に含まれる表示用画像の数を把握するためのパラメータとして機能する。第１データ処理装置あるいは第２データ処理装置に設けられたデータ決定手段は、存在条件に基づいて把握される表示箇所内の表示用画像数が比較的多い場合には、合成画像のデータを、第１データ処理装置から第２データ処理装置に送信するデータとして決定する。この決定に基づいて送信された合成画像のデータを受信した第２データ処理装置の表示データ生成手段は、その合成画像を一覧画像として表示するための表示データを生成する。このように、画像表示手段に表示される表示用画像の数が比較的多い場合には、第１データ処理装置から第２データ処理装置に合成画像のデータを送信することで、個々の表示用画像のデータを１つずつ送信したり、新たな表示用画像を送信する毎に表示画面を更新したりという処理を行うことなく、一覧画像を画像表示手段に短時間で表示することができる。

また、上述のデータ決定手段は、存在条件に基づいて把握される表示箇所内の表示用画像数が比較的少ない場合には、上述した配置位置のデータや、少なくとも一覧画像における画像表示手段での表示箇所に含まれる第１表示用画像のデータを、第１データ処理装置から第２データ処理装置に送信するデータとして決定する。この決定に基づいて送信されたデータを受信した第２データ処理装置の表示データ生成手段は、一覧画像のうち、表示箇所とは異なる箇所の全て又は一部を除外した部分一覧画像の表示データを生成する。この表示データに基づいて表示される部分一覧画像における個々の第１表示用画像については、第２表示用画像に比べて縮小率の低いものとすることが可能である。すると、第１表示用画像は、第２表示用画像に比べて高解像度であるため、オリジナル画像の内容をユーザーに容易に把握してもらうことができる。また、第１データ処理手段から第２データ処理手段に第１表示用画像のデータを送信する際には、一覧画像に含まれる全ての第１表示用画像のうち、一覧画像の表示箇所とは異なる箇所に存在している第１表示用画像のデータを除外して送信することが可能であるので、第１表示用画像の送信数は比較的少ない。このため、第１表示用画像のデータを１つずつ送信しても比較的短時間で送信を終えることが可能である。

更に、上述の部分一覧画像は、一覧画像に含まれる全ての第１表示用画像のうち、一覧画像の表示箇所とは異なる箇所に存在する第１表示用画像の少なくとも一部を除外したものであるため、全ての第１表示用画像を含む一覧画像に比べてデータ容量が小さくなる。これにより、第２データ処理装置におけるメモリ容量不足の発生を抑えることもできる。

以下、本発明を適用した画像処理システムの一実施形態について説明する。まず、実施形態に係る画像処理システムの基本的な構成について説明する。

図１は、実施形態に係る画像処理システムの要部構成を示すブロック図である。同図において、画像処理システムは、第１データ処理装置としてのサーバー装置１０と、第２データ処理装置としてのクライアント装置１とを備えている。そして、サーバー装置１０とクライアント装置１とは、ＬＡＮ（Local Area Network）回線やＬＡＮ ＨＵＢ接続器などからなる通信手段３０によって接続されて、互いにデータ通信が可能になっている。

パーソナルコンピュータからなるクライアント装置１は、外部インターフェース２、データ決定手段たる通信制御手段３、キーボードやマウス等からなる入力デバイス４、特定手段５、表示データ生成手段６などを具備している。表示データ生成手段６によって生成した表示データに基づく画像を、ディスプレイ等の表示で表示バイアス９に表示させることができる。

なお、通信制御手段３、特定手段５及び表示データ生成手段６は、ハード的な回路構成によって構築されたものではなく、専用の画像処理アプリケーションソフトの起動により、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などがソフト的に実現するものである。また、パーソナルコンピュータに代えて、ＰＤＡ（Personal Data Assistance）や携帯電話機などの情報端末機によってクライアント装置１を構成してもよい。

サーバー用コンピュータからなるサーバー装置１０は、外部インターフェース１１、データ決定手段たる通信制御手段１２、サムネイル構築手段１３、データ記憶手段としてのハードディスク１４、合成画像構築手段１５、配置位置決定手段１６等を具備している。クライアント装置１や図示しないスキャナ等から新規の登録画像データＤ３が送られてくると、それをハードディスク１４内の画像データベースＤ５に格納する。また、その登録画像データＤ３に基づく表示用画像としてのサムネイルをサムネイル構築手段１３によって構築して、登録画像データＤ３と関連付けて画像データベースＤ６内に格納する。また、新たな登録画像データＤ３を画像データベースＤ６内に格納すると、画像データベースＤ６内に格納されている個々のサムネイルを一覧表示するための合成画像を構築するために、配置位置決定手段１６により、それぞれのサムネイルの２次元座標あるいは３次元座標における配置位置を決定する。個々のサムネイルの配置位置については、予めハードディスク内に記憶している所定のソート条件に従って決定する。そして、合成画像構築手段１５により、個々のサムネイルをその配置位置に従って描画メモリに展開して、それらサムネイルを１つにまとめた合成画像を構築する。この合成画像についても、画像データベースＤ６内に格納する。

なお、通信制御手段１２、サムネイル構築手段１３、合成画像構築手段１５及び配置位置決定手段１６は、ハード的な回路構成によって構築されたものではなく、専用の画像処理アプリケーションソフトの起動により、ＣＰＵ、ＲＡＭ、ＲＯＭなどがソフト的に実現するものである。また、サーバー用のコンピュータに代えて、ＭＦＰ（Multi Function Printer）によってサーバー装置１０を構成してもよい。

クライアント装置１は、画像処理アプリケーションソフトを起動すると、サムネイル一覧画像の表示データを生成するために、サーバー装置１０に対して初期画像データ送信要求信号を送る。この初期画像データ送信要求信号を受信したサーバー装置１０は、画像データベースＤ６内に格納しているデータのうち、必要なものをクライアント装置１に送信する。

初期画像データ送信要求信号に応答するデータを受信したクライアント装置１は、表示データ生成手段によってそのデータに基づくサムネイル一覧画像の初期画面用の表示データを生成して、表示デバイス９に送る。これにより、表示デバイス９の画面にサムネイル一覧画像の初期画面が表示される。なお、クライアント装置１の特定手段５については、後に詳述する。

図２は、サーバー装置１０の要部回路構成を示すブロック図である。サーバー装置１０は、上述した外部インターフェース１１やハードディスク１４の他に、ＣＰＵ２０、ＲＡＭ等からなる揮発性のメモリ２１、キーボードやマウス等からなる入力デバイス２２、ビデオメモリ２３、バスライン２４などのハードウエアを備えている。外部インターフェース１１、ハードディスク１４、ＣＰＵ２０、メモリ２１、入力デバイス２２、ビデオメモリ２３は、互いにバスライン２４を介して接続されており、相互にデータ通信が可能になっている。ビデオメモリ２３には、ディスプレイ等からなるモニタ８が接続されている。

次に、実施形態に係る画像処理システムの特徴的な構成について説明する。
図３は、本画像処理システムによって実施される、新たな画像データファイルをサーバー装置１０の画像データベースに登録する際の画像登録処理における制御フローを示すフローチャートである。同図において、図中左側の列に記されている各処理は、クライアント装置１によって実施されるものである。また、図中右側の列に記されている各処理は、サーバー装置１０によって実施されるものである。

ユーザーによる入力デバイアス操作により、新たに登録すべき画像データファイルの指定と、登録実行命令とがなされると（ステップ１：以下、ステップをＳと記す）、クライアント装置１の通信制御手段３は、その画像データファイルを登録画像データとしてサーバー装置１０に送信する。この登録画像データは、クライアント装置１の外部インターフェース２と、通信手段３０とを介してサーバー装置１０に送られた後、サーバー装置１０内において、外部インターフェース１１を介してＣＰＵ２０に送られる。

通信制御手段１２、表示用画像構築手段としてのサムネイル構築手段１３、合成画像構築手段１５及び配置位置決定手段１６として機能するＣＰＵ２０は、送られてきた登録画像データに基づいて、その登録画像を互いに異なる縮小率で縮小した複数のサムネイルを構築する（Ｓ２）。本画像処理システムにおいては、１つの登録画像について、次の表１に示す８つのサムネイルを構築する。

同表に示すように、８つのサムネイルは、サムネイル番号が大きくなるに従って、長辺サイズが大きくなる。これは、サムネイル番号が大きくなるほど、縮小率が低く且つ高解像度になることを意味している。サムネイルの短辺サイズについては、オリジナル画像（元の登録画像）の長辺／短辺比と、長辺の縮小率とに従って設定される。例えば、オリジナル画像の長辺×短辺が１２０００［画素］×６０００［画素］である場合、サムネイル番号＝Ｓａｍ１のサムネイルにおける長辺の縮小率は、１／３００（４０／１２０００）となる。よって、この場合、Ｓａｍ１のサムネイルにおける短辺サイズは、２０［画素］に設定される。

８つのサムネイルのいくつかについて、その長辺サイズがオリジナル画像の長辺サイズよりも大きい場合には、オリジナル画像がそのままサムネイルとして登録される。例えば、長辺サイズが２０００［画素］であるオリジナル画像の場合には、長辺サイズがそれよりも小さいＳａｍ１〜Ｓａｍ６のサムネイルについては、それぞれ表１に従った長辺サイズに縮小されて登録されるが、Ｓａｍ７やＳａｍ８のサムネイルは、オリジナル画像と同じ解像度のまま登録される。

サーバー装置１０は、登録画像に対応する８つのサムネイルを構築すると、それらを登録画像のデータとともに関連付けて画像データベースに登録する（Ｓ３）。このとき、それぞれのデータファイルには、ファイル名などのメタ情報や、ＩＤが付される。画像データベースとして、ＲＤＢ（リレーショナルデータベース）方式のものを用いれば、これらメタ情報やＩＤの登録、管理、検索等の処理を容易に行うことができる。

なお、ＸＭＬ（eXtensible Markup Langage）対応のＲＤＢを用いれば、次のようなことも可能になる。即ち、オリジナルの画像データやサムネイルデータに対して圧縮符号化等の処理を施して格納しておき、メタ情報やＩＤからのリンクによって読み込むことも可能になる。オリジナル画像データ、サムネイル、メタ情報、ＩＤのいくつかを、別のデータベースに格納しておき、複数のデータベース間でのデータの関連付けを行ってもよい。

オリジナルの登録画像のデータ形式が、マルチＴＩＦＦ（Tag Image File Format）形式など、複数枚の画像を１つのデータファイルで格納する方式である場合には、サムネイル構築に先立って、各ページの画像が１枚ずつに分割される。そして、それぞれの画像が登録画像として扱われて、それぞれについて８つのサムネイルが構築される。

本画像処理システムにおいては、画像データベースに登録するオリジナル画像やサムネイルのデータファイルのフォーマット形式として、次のようなものを採用している。即ち、同一画像について互いに解像度の異なる複数のものを構築する場合に、低解像度の画像のデータと、低解像度−高解像度間の差分データとに基づいて、高解像度の画像を生成し得る形式を採用している。かかる形式としては、ＪＰＥＧ（Joint Photographic Experts Group）２０００等に代表される階層符号化形式が挙げられる。但し、差分データに基づく高解像度化が不可能なビットマップ形式やＧＩＦ（CompuServe Graphics Interchange File）形式などを採用してもよい。

サムネイル、メタ情報、ＩＤなどの登録を終えると、サーバー装置１０は、新たなサムネイルの一覧表示における配置位置を決定する（Ｓ４）。この配置位置の決定については、様々な方式のものを採用することが可能である。例えば、一覧表示において、個々のサムネイルを登録順に配置する場合には、前回までの一覧表示で配置位置が最後になっていたサムネイルの隣に、新たなサムネイルを配置する方式を採用すればよい。また、画像内に含まれる文書の先頭文字の５０音順に基づいて配置位置を決定する場合には、先頭文字の画像をＯＣＲ（Optical Character Reader）ソフトウエアによって文字コードに変換し、その結果に基づいて配置位置を決定する方式を採用すればよい。また、特徴の似通った画像同士を近くに配置する場合には、画像から特徴量を抽出した結果に基づいて配置位置を決定する方式を採用すればよい。例えば、画像から色調、形状、テクスチャ、レイアウト等の複数の特徴量を抽出し、自己組織化マップ等の既知の技法を用いて２次元空間又は３次元空間の座標での配置位置を決定する方式が挙げられる。

本画像処理システムでは、個々のサムネイルを登録順に配置する方式を採用している。この方式では、前回までの一覧表示における個々のサムネイルの配置位置は変わらず、単に、その一覧表示における最後のサムネイルの隣の位置を、新たなサムネイルを配置位置として決定すればよい。

なお、先頭文字の５０音順で個々のサムネイルの配置位置を決定する方式では、新たなサムネイルの登録に伴って、相当数のサムネイルの配置位置を変更する必要がある。よって、この場合には、新たなサムネイルを含む全てのサムネイルについて、それぞれ配置位置を新たに決定するようにサーバー装置１０を構成する。

また、サムネイル同士の重なりを許容せずに、個々のサムネイルをマトリクス状に配置する条件で、画像の特徴量に基づく配置位置を決定する方式においても、５０音順の方式と同様に、全てのサムネイルの配置位置を新たに決定する必要がある。但し、サムネイル同士の重なりを許容する条件で、画像の特徴量に基づく配置位置を決定する方式では、前回までの一覧表示における個々のサムネイルの配置位置をそのまま採用することが可能なので、新たなサムネイルの配置位置だけを決定すればよい。そして、新たなサムネイルが一覧表示における既存のサムネイルに重なってしまうか否かにかかわらず、既存の一覧表示に新たなサムネイルを単に重ねればよい。

サーバー装置１０は、新たなサムネイルの配置位置を決定すると、次に、合成画像構築処理を実施する。具体的には、先に表１に示したように、本画像処理システムにおいては、個々のオリジナル画像についてそれぞれ、８つのサムネイルを構築して画像データベース内に登録している。これら８つのサムネイルのうち、Ｓａｍ４〜Ｓａｍ８の５つについては、それぞれ必要に応じてサムネイルのままの状態でクライアント装置１に送信される。これに対し、Ｓａｍ１，２，３の３つについては、それぞれ必要に応じて第１，２，３合成画像という形態でクライアント装置１に送信される。このため、サーバー装置１０は、Ｓａｍ１，２，３の３つのサムネイルについては、それぞれに対応する第１，２，３合成画像を予め構築しておくのである。

同図のフローチャートにおいて、Ｓ５〜Ｓ７のフローが合成画像構築処理に相当する。まず、制御フローがＳ４からＳ５に進んで、Ｓ５〜Ｓ６の一連のフローが実行されることで、第１合成画像が構築される。次いで、制御フローがＳ７からＳ５にループした後、Ｓ５〜Ｓ６の一連のフローが再実行されることで、第２合成画像が構築される。更に、制御フローがＳ７からＳ５に再びループした後、Ｓ５〜Ｓ６の一連のフローが再実行されることで、第３合成画像が構築される。

サーバー装置１０は、Ｓ５〜Ｓ７のフローにおいて、まず、画像データベース内に格納されている既存の合成画像を読み込んで、描画メモリに展開する（Ｓ５）。次いで、その合成画像に対して、新たなサムネイルを予め決定しておいた配置位置に従って重ね合わせて、新たな合成画像を構築する（Ｓ６）。上述したように、登録順に従って配置位置を決定する本画像処理システムでは、既存の合成画像に対して新たなサムネイルを重ねるだけで、合成画像を再構築することができる。

第１から第３までの全ての合成画像の再構築が完了していない場合には（Ｓ７でＮ）、制御フローをＳ５にループさせて、再構築が済んでいない合成画像の再構築を行う。第１から第３までの全ての合成画像の再構築を終えると（Ｓ７でＹ）、それまで画像データベースに登録していた第１，２、３合成画像を、再構築したものに更新する。

第１，２，３合成画像については、オリジナル画像やサムネイルと同様に、階層符号化方式のデータフォーマットで記録してもよいし、他のデータフォーマットで記録してもよい。但し、階層符号化方式を採用した方が、データ記憶容量の縮小化を図ることができる。また、サムネイル数が膨大であることにより、合成画像のデータ容量が所定の閾値を超えてしまう場合には、合成画像を複数に分割して登録する方式を採用することが望ましい。

図４は、クライアント装置１に接続された表示デバイアス９における初期サムネイル表示画面の一例を示す模式図である。同図において、サムネイル表示画面９００は、サムネイル一覧画像を表示するための矩形状の空間を中央部に具備する枠部９０１と、サムネイル一覧画像を表示する矩形状の一覧表示部９０５とから構成されている。枠部９０１には、倍率変更スライダー９０２、水平スクロールスライダー９０３、垂直スクロールスライダー９０４などが配設されている。

クライアント装置１６は、枠部９０１、倍率変更スライダー９０２、水平スクロールスライダー９０３、及び垂直スクロールスライダー９０４を表示デバイアス９に表示させるための基礎画面用の画像データを、図示しないデータ記憶手段に記憶している。そして、画像処理ソフトを起動すると、まず、サーバー装置１０に対して、上述の第１合成画像のデータ送信要求信号を送信する。この送信に応答して第１合成画像のデータがサーバー装置１０から送られてくると、その第１合成画像と、上述の基礎画面用の画像データとに基づいて、図示の初期サムネイル表示画面を表示させるための表示データを生成して表示デバイアス９に送る。これにより、図示の初期サムネイル表示画面が表示デバイアス９に表示される。

図５は、第１合成画像の一例を示す模式図である。図示のように、第１合成画像は、マトリクス状に並ぶ複数のサムネイル画像部９０６と、それぞれのサムネイル画像部９０６の間にある余白部９０７とを具備している。余白部９０７は、個々のサムネイルを明確に区別するために設けられている。

図４の初期サムネイル表示画面の一覧表示部９０５内に表示されるサムネイル一覧画像は、第１合成画像が所定の初期倍率で表示されるように展開されたものである。第１合成画像に含まれるサムネイルの数が比較的多い場合には、初期サムネイル表示画面において、全てのサムネイルが一覧表示部９０５内に収まらず、サムネイル一覧画像の左上の領域に存在するサムネイルだけが表示される。この場合、ユーザーはマウス操作により、水平スクロールスライダー９０３のスライドバーや、垂直スクロールスライダー９０４のスライドバーをドラッグアンドドロップすることで、サムネイル一覧画像の一覧表示部９０５内における表示箇所をスクロールすることができる。

上述したように、合成画像に含まれるサムネイル数が膨大であることにより、合成画像のデータ容量が所定の閾値を超えてしまう場合には、合成画像を複数に分割して登録するようになっている。図６は、合成画像を４つに分割して登録した場合におけるそれぞれの分割合成画像を示す模式図である。この場合、初期サムネイル表示画面用としては、左上の第１分割合成画像９０９ａが用いられる。そして、ユーザーによるスクロール操作によって一覧表示部９０５内の表示箇所が合成画像の左下に移行した場合には、クライアント装置１は、サーバー装置１０に対して、第３分割合成画像９０９ｃの送信要求信号が送信する。そして、この送信に応答して送られてきた第３分割合成画像９０９ｃのデータに基づいて、合成画像の左下領域のサムネイル一覧画像を一覧表示部９０５内に表示させる。ユーザーによるスクロール操作によって一覧表示部９０５内の表示箇所が合成画像の右上や右下に移行した場合には、同様にして、クライアント装置１からサーバー装置１０に対して、第２分割合成画像９０９ｂや第３分割合成画像９０９ｄの送信要求信号が送られる。そして、それらに基づいて、合成画像の右上領域や右下領域のサムネイル一覧画像が一覧表示部９０５内に表示される。個々の分割合成画像の大きさを不均等にしてもよい。

ユーザーは、サムネイル一覧画像の一覧表示部９０５内における表示箇所を上下や左右にスクロールしながら、個々のサムネイルを確認することで、目的の画像が存在する一覧箇所のあたりをつける。そして、目的の画像が存在する一覧箇所である可能性が高い場合には、倍率変更スライダー９０２のスライドバーをドラッグアンドドロップ操作によって移動させることで、表示倍率の拡大指示を行う。これにより、それまで一覧表示部９０５内に表示されていた一覧箇所のうち、中央部だけが拡大して一覧表示部９０５内に表示される。

初期サムネイル一覧表示画面におけるサムネイル一覧画像は、上述したように、第１合成画像に基づくものであり、個々のサムネイルの解像度は低い。このため、表示倍率が大きくなってくると、拡大表示によってもサムネイルの画質が悪いために画像の内容を把握することができなくなる。そこで、本画像処理システムにおいては、一覧表示部９０５内の画像表示サイズがユーザーの拡大操作によってある程度大きくなると、より解像度の高い第２合成画像に基づくサムネイル一覧画像を新たに構築する。そして、新たなサムネイル一覧画像の全領域のうち、拡大表示すべき領域を特定して、その領域を一覧表示部９０５に拡大表示する。また、一覧表示部９０５内の画像表示サイズがユーザーの拡大操作によって更に大きくなると、更に解像度の高い第３合成画像に基づくサムネイル一覧画像を新たに構築する。そして、新たなサムネイル一覧画像の全領域のうち、拡大表示すべき領域を特定して、その領域を一覧表示部９０５に拡大表示する。

このように、必要に応じてより高解像度の合成画像に基づくサムネイル一覧画像を新たに構築して拡大表示を行うことで、表示サイズに適した解像度のサムネイルを表示することができる。ところが、サムネイル一覧画像内のサムネイル数が比較的多い場合には、複数の高解像度のサムネイルからなる合成画像のデータ容量が非常に大きくなって、クライアント装置側でメモリ容量不足を引き起こすおそれがでてくる。

そこで、本画像処理システムにおいては、合成画像の高解像度化については、第３合成画像までに留めている。そして、表示倍率の増加に伴って、第３合成画像のサムネイルよりも高解像度のものを使用する必要が生じた場合には、サムネイル一覧画像に代えて、部分一覧画像を構築する。この部分一覧画像とは、サムネイル一覧画像の全領域のうち、一覧表示部９０５内に拡大表示する領域に存在するサムネイルだけを、部分的に一覧表示する画像である。かかる部分一覧画像については、クライアント装置１が、サーバー装置１０の配置位置決定手段１６によって決定された個々のサムネイルの配置位置のデータと、画像データベースに登録されているＳａｍ４、５、６、７又は８のサムネイルとに基づいて構築する。このため、Ｓａｍ４〜８のサムネイルについては、先に表１に示したように、合成画像の形態ではなく、サムネイルそのものの形態でサーバー装置１０からクライアント装置１０に送信されるのである。Ｓａｍ４〜８のサムネイルのうち、どれに基づいて部分一覧画像を構築するのかについては、一覧表示部９０５内の画像表示サイズに応じて決定される。画像表示サイズがより大きくなるほど、サムネイル番号のより大きい（より高解像度の）サムネイルに基づいて部分一覧画像が構築されるのである。

図７は、本画像処理システムによって実施される、サムネイル一覧画像を表示する際の画像表示処理における制御フローを示すフローチャートである。画像処理アプリケーションを起動したクライアント装置１は、初期サムネイル一覧表面画面を生成するために、第１合成画像の送信要求信号をサーバー装置１０に送る（Ｓ１）。これに応答してサーバー装置１０から第１合成画像のデータが送られてくると（Ｓ２）、初期サムネイル一覧表示画面を生成して表示デバイス９に出力する。

次いで、ユーザーによって表示変更操作（表示箇所スクロール操作や表示倍率変更操作）がなされると（Ｓ４でＹ）、一覧表示部内表示変更処理を実施して（Ｓ５）、一覧表示部９０５内における表示を、ユーザーの操作に応じたものに変更する。この一覧表示部内表示変更処理においては、必要に応じてクライアント装置１からサーバー装置１０に向けてデータ送信要求信号が送られた後、その要求信号に応じた応答データがサーバー装置１０からクライアント装置１に送信される（Ｓ６）。なお、一覧表示部内表示変更処理の具体的に内容については、後に詳述する。

クライアント装置１は、一覧表示部内表示変更処理を終えると、サムネイル指定操作の有無を監視する（Ｓ７）。このサムネイル指定操作は、一覧表示部９０５内に表示されている複数のサムネイルのうちの１つについて、目的の画像に対応するサムネイルかもしれないと感じたユーザーが、そのサムネイルをダブルクリックすることによって行われる。サムネイル指定操作が行われると（Ｓ７でＹ）、クライアント装置１は、画像を表示するためのアプリケーションソフトであるビューアーを起動して、表示デバイス９の画面に新たに立ち上げたビューアーウインドウ内に、そのサムネイルに対応する画像を表示する。この際、サーバー装置１０に対して、そのサムネイルに対応する画像データファイルの送信要求信号を送ることで、画像データファイルを取得する。

起動中の画像処理アプリケーションの終了指示がユーザーによってなされた場合には（Ｓ９でＹ）、一連の制御フローを終了させるが、なされない場合には、Ｓ４〜Ｓ８までの処理を繰り返し行う。

図８は、一覧表示部内表示変更処理（Ｓ５）における前半の制御フローを示すフローチャートである。クライアント装置１は、一覧表示部内表示変更処理において、まず、ユーザーによってなされた表示変更操作について、表示箇所スクロール操作であるか否かを判定する（Ｓ５ａ）。そして、表示箇所スクロール操作でない場合には（Ｓ５ａでＮ）、制御フローを後述するＳ５ｉにループさせる。

一方、表示箇所スクロール操作である場合には（Ｓ５ａでＹ）、サムネイル一覧画像の全領域のうち、一覧表示部９０５内に表示すべき新たな表示箇所を特定する（Ｓ５ｂ）。この特定については、特定手段５によって行う。次いで、一覧表示部９０５内に、サムネイル一覧画像ではなく、上述した部分一覧画像を表示しているか否かを判定する（Ｓ５ｃ）。部分一覧画像ではなく、サムネイル一覧画像を表示している場合には、そのサムネイル一覧画像の全領域のうち、新たな表示箇所を一覧表示部９０５にスクロール表示する（Ｓ５ｄ）。

一覧表示部９０５内に表示している画像が、部分一覧画像である場合には（Ｓ５ｃでＹ）、表示中の部分一覧画像における周囲の一覧画像が未構築である。そこで、この場合には、まず、新たな表示箇所の表示に必要なサムネイルを特定手段５によって特定し、それらサムネイルのうち、未取得のものについて、サーバー装置１０に対して送信要求を行う（Ｓ５ｆ）。次いで、その送信要求に応答して未取得のサムネイルのデータがサーバー装置１０から送られてくると、取得済みのサムネイルと、サムネイル一覧における個々のサムネイルの配置位置のデータと、表示箇所とに基づいて、新たな表示箇所の部分一覧画像を生成する（Ｓ５ｇ）。そして、新たに生成した部分一覧画像に基づいて、新たな表示箇所のサムネイル一覧を一覧表示部９０５内に表示させる（Ｓ５ｈ）。

なお、クライアント装置１は、Ｓａｍ４〜８のうち、Ｓａｍ４のサムネイルに基づく部分一覧画像を初めに構築する際には、部分一覧画像の構築に必要なサムネイルの送信要求信号に加えて、全てのサムネイルを含むサムネイル一覧画像における個々のサムネイルの配置位置を示した配置位置データの送信要求信号も送信する。これによって取得した配置位置データについては、他の領域の部分一覧画像を構築する際や、より高解像度のサムネイルに基づく部分一覧画像を構築する際にも使用するため、ＲＡＭ等のデータ記憶手段に記憶しておく。

配置位置データとしては、個々のサムネイルと、サムネイル一覧画像における配置座標のデータとを関連付けたものを例示することができる。また、ＨＴＭＬ（Hyper Text Markup Langage）にて一般的に行われるような、画像の座標情報とリンク情報を構造化文書に記載したものでもよい。また、サーバク〜ライアント間の通信方法には種々の手法があるが、一般的によく使用される好適な方式として、サーバ装置１０をＷｅｂサーバにみたてて、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂベースの技術を採用する方式を例示することができる。この場合、サムネイル一覧画像や部分一覧画像を、ＨＴＭＬ形式の記述によって構築することになり、画像処理プリケーションソフトとして、一般的なＷｅｂブラウザを適用したものを採用することが可能である。

図９は、一覧表示部内表示変更処理（Ｓ５）における後半の制御フローを示すフローチャートである。この制御フローにおいて、クライアント装置１は、ユーザーによって先になされた表示変更操作について、拡大表示操作であるか否かを判定する（Ｓ５ｉ）。そして、拡大表示操作でない場合には（Ｓ５ｉでＮ）、制御フローを上述したＳ７にループさせる。

一方、拡大表示操作である場合には（Ｓ５ｉでＹ）、特定手段５により、新たな表示箇所や表示サイズ条件を特定する（Ｓ５ｊ）。実施形態のクライアント装置１の特定手段５においては、一覧表示部９０５内におけるサムネイルの表示倍率に基づいて、表示サイズを特定するようになっている。クライアント装置１は、表示サイズ条件を特定すると、次に、新たな表示箇所におけるサムネイルの表示サイズについて、所定の合成表示閾値を超えるか否かについて判定する（Ｓ５ｋ）。表示サイズがこの合成表示閾値を超えない場合には、第１、２又は３の合成画像に基づくサムネイル一覧画像の全領域のうち、一覧表示部９０５内に表示すべき表示箇所だけを拡大表示すればよい。そこで、この場合には（Ｓ５ｋでＮ）、次に、新たな表示サイズについて、表示中のサムネイル一覧画像の拡大閾値を超えるか否かを判定する（Ｓ５ｍ）。そして、拡大閾値を超えない場合には（Ｓ５ｍでＮ）、それまで使用していたサムネイル一覧画像を引き続き使用し、一覧表示部９０５内に表示している一覧箇所の中央部だけを拡大表示する（Ｓ５ｌ）。また、拡大閾値を超える場合には（Ｓ５ｍでＹ）、より高解像度のサムネイル一覧画像が必要になるため、１つ上の解像度の合成画像の送信要求信号をサーバー装置１０に送信する（Ｓ５ｎ）。例えば、それまで第１合成画像に基づくサムネイル一覧画像を表示していた場合には、１つ上の解像度の合成画像である第２合成画像の送信要求を行う。送信要求に応答した合成画像のデータがサーバー装置１０から送られてくると、それに基づいて新たなサムネイル一覧画像を構築した後、そのサムネイル一覧画像の全領域のうち、一覧表示部９０５内に表示すべき表示箇所を示すデータと、新たな画像表示サイズ条件などに基づいて、一覧表示部９０５内の表示画像をより拡大したものに変更する（Ｓ５ｏ）。

上述したＳ５ｋの工程において、表示サイズが合成表示閾値を超える場合には、一覧表示部９０５内に部分一覧画像を表示することになる。そこで、この場合には（Ｓ５ｋでＹ）、新たな表示サイズについて、表示中の部分一覧画像の拡大閾値を超えるか否かを判定する（Ｓ５ｐ）。そして、拡大閾値を超えない場合には（Ｓ５ｐでＮ）、それまで使用していた部分一覧画像を引き続き使用し、一覧表示部９０５内に表示している一覧箇所の中央部だけを拡大表示する（Ｓ５ｌ）。また、拡大閾値を超える場合には（Ｓ５ｐでＹ）、より高解像度の部分一覧画像が必要になる。そこで、特定手段５により、その部分一覧画像の構築に必要となる１つ上の解像度のサムネイルを全て特定する（Ｓ５ｑ）。そして、そのサムネイルの送信要求をサーバー装置１０に対して行う（Ｓ５ｒ）。サーバー装置１０は、その送信要求に応答して、１つ上の解像度のサムネイルのデータをクライアント装置１に送信するが、このとき、１つ下の解像度のサムネイルとの差分データだけを送信する。これにより、データ通信時間の短縮化を図ることができる。クライアント装置１は、サーバー装置１０から送られてきた差分データや、表示箇所のデータなどに基づいて、一覧表示部９０５内の表示画像をより拡大したものに変更する（Ｓ５ｓ）。

ユーザーは、図１０に示す初期サムネイル一覧画面の水平スクロールスライダー９０３や垂直スクロールスライダー９０４のスライドバーを操作して目的のサムネイルの存在する可能性が高い一覧箇所を一覧表示部９０５の中央に位置させる。そして、倍率変更スライダー９０２を操作して一覧表示部９０５内の表示倍率を図１１や図１２に示すように徐々に上げていくことで、サムネイルの内容を把握しながら目的の画像であるか否かを容易に確認することができる。図１３に示すように、１つのサムネイルだけを一覧表示部９０５内に拡大して表示させることも可能である。拡大表示によって目的の画像であることが確認できた場合には、そのサムネイルをダブルクリックすることで、ビューアーを立ち上げることも可能である。また、目的の画像でない場合には、今度は逆に表示倍率を徐々に下げていき、他の画像についての確認を同様にして行えばよい。

なお、本画像処理装置においては、先に表１に示したように、第３合成画像内のサムネイルの長辺サイズを１６０［画素］に設定しているのに対し、１つ上の解像度のサムネイルであるＳａｍ４のサムネイルの長辺サイズを３２０［画素］に設定している。そこで、上述した合成表示閾値については、１６０と３２０との中間値である２４０［画素］に設定している。

先に示した図５において、個々のサムネイル９０７の間に存在する余白部９０６の幅は２０［画素］になっている。この条件で、第３合成画像の長辺における最大画素数を１０、０００［画素］とすると、第３合成画像の最大データ容量は、「（１６０＋２０）画素×（１６０＋２０）画素×１０，０００画像×３（バイト／画素）＝０．９７２ＧＢ」となる。この第３合成画像を圧縮処理すれば１００［ＭＢ］程度のデータ容量になるので、サーバー装置１０とクライアント装置１との間のデータ通信時間は、実使用上で問題ないレベルになる。クライアント装置１では、その１００［ＭＢ］のデータをメインメモリにて０．９７２［ＧＢ］の容量で展開する必要があるが、近年のパーソナルコンピュータにおいては、４［ＧＢ］程度のメインメモリ容量を搭載する機種が一般的に普及しているので、問題ない。

以上のように、実施形態に係る画像処理システムにおいては、複数の画像データファイルを記憶するデータ記憶手段としてのハードディスク１４と、それら画像データファイルにそれぞれ基づく複数のサムネイルを構築する表示用画像構築手段としてのサムネイル構築手段１３と、それらサムネイルの多次元座標上における配置位置を決定する配置位置決定手段１６とを、第１データ処理装置としてのサーバー装置１０に設けている。また、サーバー装置１０から送られてくるデータに基づいて、配置位置決定手段１６で決定された配置位置に従って並ぶ複数のサムネイルからなる一覧画像を画像表示手段たる表示デバイアス９に表示させるための表示データを生成する表示データ生成手段６と、ユーザーによる入力操作を受け付ける入力操作受付手段たる入力デバイアス４とを、第２データ処理装置としてのクライアント装置１に設けている。また、両装置間でのデータ通信を制御する通信制御手段３，１２を設けている。また、入力デバイアス４による受付結果に基づいて表示デバイアス９における一覧画像の表示箇所、及び表示箇所内における画像表示サイズ条件を特定する特定手段５をクライアント装置１に設けている。

そして、かかる基本的な構成を備える画像処理システムにおいて、次のような特徴的な構成も設けている。即ち、複数の画像データファイルについてそれぞれ、少なくとも、第２表示用画像としてのＳａｍ１，２，３のサムネイルと、これらよりも低縮小率の第１表示用画像としてのＳａｍ４，５，６，７，８のサムネイルとを構築するように、サムネイル構築手段１３を構成している。また、Ｓａｍ１、２，３のサムネイルを、配置位置決定手段１６によって決定された配置位置に従って並べて１つの画像として合成した第１合成画像，第２合成画像，第３合成画像を構築する合成画像構築手段１５をサーバー装置１０に設けている。更に、特定手段５による画像表示サイズ条件の特定結果に基づいて、サーバー装置１０からクライアント装置１に送信させるデータについて、合成画像にするのか、あるいは、配置位置のデータ、及び表示箇所内に含まれるＳａｍ４、５、６、７又は８のサムネイルのデータにするのかを、を決定するデータ決定処理を実施するように、通信制御手段３，１２を構成している。

かかる構成においては、画像表示サイズが比較的小さい場合には、サーバー装置１０からクライアント装置１に個々のサムネイルのデータをそれぞれ送信したり、クライアント装置１が新たなサムネイルを受信する毎に表示画面を更新したりという煩雑な処理を行うことなく、表示デバイアス９に一覧画像を短時間で表示することができる。また、ユーザーによる操作に伴って、画像表示サイズが比較的大きくなった場合には、高解像度のサムネイルを表示箇所の分だけ並べた部分一覧画像を構築してそれを拡大表示することで、それぞれのサムネイルに対応するオリジナル画像の内容をユーザーに容易に把握してもらうこともできる。更に、部分一覧画像とすることで、高解像度のサムネイルを全て並べたサムネイル一覧画像に比べてデータ容量を小さくして、クライアント装置１におけるメモリ容量不足の発生を抑えることもできる。

次に、実施形態に係る画像処理システムに若干の変更を加えた各変形例の画像処理システムについて説明する。なお、以下に特筆しない限り、各変形例に係る画像処理システムの構成は、実施形態と同様である。
［第１変形例］
図１４は、第１変形例に係る画像処理システムにおける初期サムネイル一覧画面を示す模式図である。この画像処理システムにおいては、個々の画像データから特徴量を抽出した結果に基づいて配置位置を決定することで、互いに似通った画像のサムネイル同士を近くに配設するように、配置位置決定手段１６を構成している。非常に似通った画像のサムネイル同士は、図示のように互いに部分的に重なるように配置される。

図示の一覧表示部９０５内に表示されているサムネイル一覧画像は、合成画像に基づいて生成されたものである。合成画像では、複数のサムネイルが重なっている領域については、一番上のサムネイルの画像情報だけを記録しており、そのサムネイルの下に存在する下位サムネイルの重ね合わせ箇所については、その画像情報を全く記録していない。このため、個々のサムネイルをマトリクス状に配置する場合に比べて、合成画像のデータ容量を低減して、データ通信速度の短縮化を図ることができる。

実施形態に係る画像処理システムのように、個々のサムネイルをマトリクス状に配置する場合には、一覧表示部９０５内における画像表示倍率と一覧表示部９０５内の画像数とが反比例の関係となる。画像表示倍率を高めるほど、一覧表示部９０５内のサムネイル数が少なくなるのである。このため、一覧表示部９０５内のサムネイル数が比較的多くなる低表示倍率のときには、サーバー装置１０からクライアント装置１に合成画像を送信することで、送信速度の高速化を図ったり、クライアント装置１におけるデータ表示処理の簡素化を図ったりすることができる。また、一覧表示部９０５内の画像数が比較的少なくなる高表示倍率のときには、サーバー装置１０からクライアント装置１に必要なサムネイルだけを送信することで、合成画像を送信する場合に比べてデータ通信時間の短縮化を図ることができる。

一方、これに対し、第１変形例に係る画像処理システムのように個々のサムネイルの重ね合わせを許容する場合には、両者の関係が反比例とはならない。これは、図示のように、一覧表示部９０５内において、複数のサムネイルが集中的に配置される領域がある一方で、サムネイルが殆ど存在しない領域もあるからである。画像表示倍率が比較的低くても、サムネイルが殆ど存在しない領域を一覧表示部９０５内に表示しているときには、一覧表示部９０５内のサムネイル数が比較的少なくなる。この一方で、画像表示倍率が比較的高くても、多数のサムネイルが重なっている領域を一覧表示部９０５内に表示しているときには、一覧表示部９０５内のサムネイル数が比較的多くなる。よって、実施形態のように、合成画像を送信するのか、サムネイルを送信するのかについて、画像表示倍率だけに基づいて決定すると、比較的高い画像表示倍率であるにもかかわらず、サムネイル数が比較的多くなってデータ通信時間を十分に短縮することができなくなってしまうことがある。

そこで、第１変形例に係る画像処理システムにおいては、画像表示倍率ではなく、一覧表示部９０５内のサムネイル数に基づいて、合成画像を送信するのか、サムネイルを送信するのかを決定するようになっている。サムネイルの存在条件として、サムネイル数を採用しているのである。より詳しくは、先に図９に示したＳ５ｋの工程において、表示サイズについて合成表示閾値を超えるか否かを判断する代わりに、画像数について合成表示閾値を超えるか否かを判断するようになっている。また、Ｓ５ｍやＳ５ｐの工程において、表示サイズについて拡大閾値を超えるか否かを判断する代わりに、画像数について拡大閾値を超えるか否かを判断するようになっている。

かかる構成においては、比較的高い画像表示倍率であるにもかかわらず、サムネイル数が比較的多い条件下で、合成画像に代えて、多数のサムネイルをサーバー装置１０からクライアント装置１に送信してしまうことによるデータ通信時間の増大化を回避することができる。

本画像処理システムにおけるサムネイルとデータ送信形態との関係を次の表２に示す。

同表に示すように、第１合成画像、第２合成画像及び第３合成画像に加えて、複数のＳａｍ４のサムネイルを合成した第４合成画像も構築するようになっている。この第４合成画像の長辺の最大サイズについては、実施形態における第３合成画像と同様に１０，０００［画素］に設定している。サムネイル数が比較的多いことで、１０，０００［画素］を超えてしまうには、複数の分割第４合成画像に分割する。

Ｓａｍ２、Ｓａｍ３、Ｓａｍ４のサムネイルについては、合成画像の形態で送信する場合と、サムネイルで送信する場合とがある。これは、一覧表示部９０５内でのサムネイル表示サイズが、合成画像に適した大きさであっても、サムネイル数が比較的多い場合には、合成画像の送信に代えて、サムネイルの送信が行われるからである。

なお、合成画像を送信するのか、サムネイルを送信するのかを、画像表示倍率に基づいて決定する方式と、サムネイル数に基づいて決定する方式とを併用してもよい。例えば、合成画像の拡大閾値を超える表示倍率になった場合は、強制的に個々のサムネイルの表示モードに切り替えるなどしても良い。

［第２変形例］
第２変形例に係る画像処理システムは、第１変形例と同様に、個々の画像データから特徴量を抽出した結果に基づいて配置位置を決定することで、互いに似通った画像のサムネイル同士を近くに配設するように、配置位置決定手段１６を構成している。非常に似通った画像のサムネイル同士は、互いに部分的に重なるように配置される。

また、第２変形例に係る画像処理システムは、一覧表示部９０５内のサムネイルデータ容量に基づいて、合成画像を送信するのか、サムネイルを送信するのかを決定するようになっている。サムネイルの存在条件として、一覧表示部９０５内のサムネイルデータ容量を採用しているのである。より詳しくは、先に図９に示したＳ５ｋの工程において、表示サイズについて合成表示閾値を超えるか否かを判断する代わりに、一覧表示部９０５内に存在する全てのサムネイルのデータ容量について合成表示閾値を超えるか否かを判断するようになっている。また、Ｓ５ｍやＳ５ｐの工程において、表示サイズについて拡大閾値を超えるか否かを判断する代わりに、一覧表示部９０５内に存在する全てのサムネイルのデータ容量について拡大閾値を超えるか否かを判断するようになっている。

一覧表示部９０５内に存在する全てのサムネイルのデータ容量については、次のようにして算出すればよい。即ち、一覧表示部９０５内の個々のサムネイルを配置位置のデータに基づいて特定し、それぞれについてサーバー装置１０からデータ容量の情報を取得して合計していけばよい。サムネイルを階層符号化して登録している場合には、メインメモリに展開するときの複合化後の容量を把握することが望ましい。複合化後の容量については、表示画像のサイズから簡易に算出しても良く、表示に必要な階層分の符号量を全画像分積算して求めても良い。

かかる構成においては、サーバー装置１０とクライアント装置１との間のデータ通信容量を制限することで、表示切り替え１回あたりにおけるデータ通信時間を所定時間内に確実に留めることができる。

実施形態に係る画像処理システムの要部構成を示すブロック図。 同画像処理システムのサーバー装置の要部回路構成を示すブロック図。 新たな画像データファイルを同サーバー装置の画像データベースに登録する際の画像登録処理における制御フローを示すフローチャート。 同画像処理システムのクライアント装置に接続された表示デバイアスにおける初期サムネイル表示画面を示す模式図。 第１合成画像の一例を示す模式図。 合成画像を４つに分割して登録した場合におけるそれぞれの分割合成画像を示す模式図。 サムネイル一覧画像を表示する際の画像表示処理における制御フローを示すフローチャート。 一覧表示部内表示変更処理における前半の制御フローを示すフローチャート。 一覧表示部内表示変更処理における後半の制御フローを示すフローチャート。 初期サムネイル一覧表示画面の一例を示す模式図。 一覧表示部内の表示を少し拡大した状態の画面表示を示す模式図。 一覧表示部内の表示をより拡大した状態の画面表示を示す模式図。 一覧表示部内の表示を更に拡大した状態の画面表示を示す模式図。 第１変形例に係る画像処理システムにおける初期サムネイル一覧画面の一例を示す模式図。

符号の説明

１：クライアント装置（第２データ処理装置）
３：通信制御手段（データ決定手段）
４：入力デバイアス（入力操作受付手段）
５：特定手段
６：表示データ生成手段
１２：通信制御手段（データ決定手段）
１３：サムネイル構築手段（表示用画像構築手段）
１４：ハードディスク（データ記憶手段）
１５：合成画像構築手段
１６：配置位置決定手段
９０７：サムネイル（表示用画像）

Claims (5)

1. 第１データ処理装置に記憶されている複数の画像に基づいて、複数の表示用画像を並べて配置した一覧画像を表示するための表示データを第２データ処理装置で生成する画像処理システムにおいて、
   データ記憶手段に記憶されている複数の上記画像について、それぞれ画像表示手段の画面上での配置位置を決定する配置位置決定手段と、それらの画像についてそれぞれ、上記表示用画像として、第１表示用画像、及び該第１表示用画像とは異なる画像サイズの第２表示用画像を構築する表示用画像構築手段と、それら第２表示用画像を該配置位置に従って並べて１つにまとめた合成画像を構築する合成画像構築手段とを上記第１データ処理装置に設け、
   ユーザーによる入力操作を受け付ける入力操作受付手段と、該入力操作受付手段による受付結果に基づいて上記一覧画像における上記画像表示手段での表示箇所、及び該表示箇所における表示用画像の存在条件を特定する特定手段と、該存在条件に基づいて上記第１データ処理装置から上記第２データ処理装置に送信するデータについて、上記合成画像のデータにするのか、あるいは、上記配置位置のデータ、及び少なくとも上記表示箇所に含まれる上記第１表示用画像のデータにするのかを決定するデータ決定手段とを上記第１データ処理装置又は第２データ処理装置に設け、
   且つ、
   上記第１データ処理装置から上記合成画像のデータが送られてきた場合には、上記合成画像を上記一覧画像として表示するための表示データを生成する一方で、上記配置位置のデータ及び上記第１表示用画像のデータが送られてきた場合には、これらのデータに基づいて、上記一覧画像のうち、上記表示箇所とは異なる箇所の全て又は一部を除外した部分一覧画像を表示するための表示データを生成する表示データ生成手段を上記第２データ処理装置に設けた
   ことを特徴とする画像処理システム。
2. 請求項１の画像処理システムであって、
   上記存在条件が上記表示箇所の表示倍率であることを特徴とする画像処理システム。
3. 請求項１の画像処理システムであって、
   上記存在条件が上記表示箇所における表示用画像数であることを特徴とする画像処理システム。
4. 請求項１の画像処理システムであって、
   上記存在条件が上記表示箇所の画像データ容量であることを特徴とする画像処理システム。
5. データ記憶手段に記憶されている複数の画像に基づいて所定の処理を実施する第１工程と、それら画像に基づいて、複数の表示用画像を並べて配置した一覧画像を表示するための表示データを生成する第２工程とを具備する画像処理方法において、
   上記データ記憶手段に記憶されている複数の上記画像について、それぞれ画像表示手段の画面上での配置位置を決定する配置位置決定処理と、それらの画像についてそれぞれ、上記表示用画像として、第１表示用画像、及び該第１表示用画像とは異なる画像サイズの第２表示用画像を構築する表示用画像構築処理と、それら第２表示用画像を該配置位置に従って並べて１つにまとめた合成画像を構築する合成画像構築処理とを上記第１工程に設け、
   ユーザーによる入力操作を受け付ける入力操作受付処理と、該入力操作受付処理における受付結果に基づいて上記一覧画像における上記画像表示手段での表示箇所、及び該表示箇所における表示用画像の存在条件を特定する特定処理と、該存在条件に基づいて上記第１工程から上記第２工程に送信するデータについて、上記合成画像のデータにするのか、あるいは、上記配置位置のデータ、及び少なくとも上記表示箇所に含まれる上記第１表示用画像のデータにするのかを決定するデータ決定処理とを上記第１工程又は第２工程に設け、
   且つ、
   上記第１工程から上記合成画像のデータが送られてきた場合には、上記合成画像を上記一覧画像として表示するための表示データを生成する一方で、上記配置位置のデータ及び上記第１表示用画像のデータが送られてきた場合には、これらのデータに基づいて、上記一覧画像のうち、上記表示箇所とは異なる箇所の一部又は全てを除外した部分一覧画像を表示するための表示データを上記配置位置に基づいて生成する表示データ生成処理を上記第２工程に設けた
   ことを特徴とする画像処理方法。

Images