JP2009182933A - 画像処理システム及び画像処理方法 - Google Patents
画像処理システム及び画像処理方法 Download PDFInfo
- Publication number
- JP2009182933A JP2009182933A JP2008022603A JP2008022603A JP2009182933A JP 2009182933 A JP2009182933 A JP 2009182933A JP 2008022603 A JP2008022603 A JP 2008022603A JP 2008022603 A JP2008022603 A JP 2008022603A JP 2009182933 A JP2009182933 A JP 2009182933A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- data
- list
- thumbnail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Facsimiles In General (AREA)
- Editing Of Facsimile Originals (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】一覧画像を短時間で表示し、個々のサムネイルの内容をユーザーに容易に把握してもらうことができ、且つ、クライアント装置1におけるメモリ容量不足の発生を抑えることができる画像処理システムを提供する。
【解決手段】HDD14に記憶されている複数の画像の画面上での配置位置を決定する配置位置決定手段16と、それら画像についてそれぞれ第1サムネイル及びこれよりも縮小率の大きな第2サムネイルを構築するサムネイル構築手段13と、それら第2サムネイルを上記配置位置に従って並べて1つにまとめた合成画像を構築する合成画像構築手段15とをサーバー装置10に設け、画面上におけるサムネイル表示数に基づいてサーバー装置10からクライアント装置1に送信するデータについて、合成画像のデータにするのか、あるいは、配置位置のデータ、及び上記表示箇所に含まれる第1サムネイルのデータにするのかを決定するようにした。
【選択図】図1
【解決手段】HDD14に記憶されている複数の画像の画面上での配置位置を決定する配置位置決定手段16と、それら画像についてそれぞれ第1サムネイル及びこれよりも縮小率の大きな第2サムネイルを構築するサムネイル構築手段13と、それら第2サムネイルを上記配置位置に従って並べて1つにまとめた合成画像を構築する合成画像構築手段15とをサーバー装置10に設け、画面上におけるサムネイル表示数に基づいてサーバー装置10からクライアント装置1に送信するデータについて、合成画像のデータにするのか、あるいは、配置位置のデータ、及び上記表示箇所に含まれる第1サムネイルのデータにするのかを決定するようにした。
【選択図】図1
Description
本発明は、第1データ処理装置に記憶されている複数の画像データファイルに基づいて、複数の表示用画像を並べて配置した一覧画像を表示するための表示データを第2データ処理装置で生成する画像処理システムや画像処理方法に関するものである。
近年、スキャナの低価格化や、いわゆるe-文書法の施行などに伴って、グラフィックや紙文書をスキャナによって画像として読み込んで電子化することが広く行われるようになっている。グラフィックや紙文書などを画像データファイルとして電子化することで、それらを少ないスペースで保管することができるからである。プリント機能とスキャン機能とを搭載した複合機(MFP:Multi Function Printer)が安価に市場に出回るようになってからは、オフィスに限らず、一般家庭においても、紙文書をスキャンして電子化することが一般化しつつある。
このように、グラフィックや紙文書などをスキャナで読み込んで画像データファイルとして管理する場合、画像データファイルの数が多くなると、ハードディスク等の記録媒体の中から、目的の画像データファイルを見つけ出すことが困難になる。
そこで、記録媒体の中に記録されている複数の画像データの画像をそれぞれ縮小してサムネイルと呼ばれる複数の表示用画像(縮小画像)を構築し、それらを並べてディスプレイに一覧表示するためのファイル管理用のソフトウエアが広く出回るようになってきた。かかるソフトウエアによれば、ディスプレイに一覧表示されたサムネイルによって個々の画像を大雑把に判別することで、僅かにイメージとして残っている曖昧な記憶を頼りにして目的の画像データファイルを見つけ出すことができる。画面に表示されているサムネイルが目的の画像であることを確信したユーザーは、そのサムネイルをマウスでクリックすることで、画像処理ソフトを起動させて画像の詳細をディスプレイに表示させることも可能である。
サムネイル一覧表示を利用した装置としては、たとえば特許文献1に記載の画像処理システムが知られている。この画像処理システムは、複数の画像データファイルをハードディスク内に記憶しているサーバー装置と、これにネットワーク通紙装置を介して接続されたクライアント装置とを備えている。第1データ処理装置としてのサーバー装置は、データ記憶手段に記憶している複数の画像についてそれぞれ、所定の縮小率で縮小したサムネイルを構築する。そして、クライアント装置からサムネイル送信要求信号が送られてくると、複数のサムネイルのデータを1つずつ送信していく。第2データ処理装置としてのクライアント装置は、サーバー装置から送られてくる複数のサムネイルを一覧表示画面に順々に追加して表示していく。
この画像処理システムにおけるクライアント装置は、個々のサムネイルがサーバー装置から送られてくる毎に、そのサムネイルを一覧表示画面に順次追加していくという処理を繰り返し行う必要がある。このため、サムネイル数が比較的多い場合には、全てのサムネイルを一覧表示するまでに長時間を要するという不具合があった。
また、画像の種類によっては、サムネイル表示だけからオリジナル画像の内容を把握することが困難になるという不具合もあった。具体的には、縮小処理を施していないオリジナル画像が写真画像である場合には、それよりも解像度の低いサムネイルからでも、画像の内容を比較的容易に把握することが可能である。ところが、文書画像の場合には、解像度の低いサムネイル表示では文字の判読が困難で文書内容を把握することができない場合がある。
そこで、本発明者らは、次のような新規な画像処理システムを開発中である。即ち、サーバー装置は、複数のサムネイルを所定の順序で並べて1つの画像として合成した合成画像を構築する。この合成画像については、サムネイルの縮小率を互いに異ならせたものを複数構築してハードディスク内に記憶しておく。そして、クライアント装置から初期画面表示用のデータ送信要求があった場合には、それら合成画像のうち、サムネイルの縮小率の最も高い初期画面用の合成画像のデータをクライアント装置に送信する。クライアント装置は、送られてきた初期画面用の合成画像を、サムネイル一覧画像として表示手段の画面に表示させる。サムネイル数が比較的多い場合には、画面にサムネイル一覧画像の全体が表示されず、その一部箇所だけが表示されるが、ユーザーはマウス操作などによって画面上におけるサムネイル一覧画像の表示箇所を変更することが可能である。また、所定の操作により、画面の中央付近にあるサムネイルだけを拡大して表示させることも可能である。この際、クライアント装置は、サムネイル一覧画像におけるサムネイル縮小率と、画面上における拡大後のサムネイル表示サイズとに基づいて、既存画像拡大表示処理を行うのか、あるいは、新規画像拡大表示処理を行うのかを決定する。既存画像拡大表示処理は、それまで使用していたサムネイル一覧画像の一部箇所を単に拡大して表示するための処理である。これに対し、新規画像拡大表示処理は、サムネイル縮小率のより低い合成画像をサーバーから取得して、その合成画像に基づくサムネイル一覧画像の一部箇所を拡大して表示するための処理である。
かかる構成においては、サーバー装置からクライアント装置に個々のサムネイルのデータをそれぞれ送信したり、クライアント装置が新たなサムネイルを受信する毎に表示画面を更新したりという処理が不要となる。そして、サーバー装置からクライアント装置に向けて合成画像のデータを送信するだけで、全てのサムネイルを含むサムネイル一覧画像をクライアント装置の表示手段に表示させることが可能となる。これにより、全てのサムネイルを一覧表示するまでの時間を短縮することができる。合成画像であっても、合成画像の縦横の座標(グリッド)を個々のサムネイルに対応する画像のファイルにリンクさせているので、サムネイルに対応するオリジナル画像の送信要求をクライアント装置からサーバー装置に送信させることも可能である。これにより、ユーザーによって任意に選択されたサムネイルに対応するオリジナル画像をそのままの解像度で、新たに起動した画像ビューアーに表示させることもできる。
また、表示手段の画面上におけるサムネイル一覧画像の表示サイズが比較的大きくなった場合には、上述した新規画像拡大表示処理を実施して、縮小率の高い低解像度のサムネイルの代わりに、縮小率の低い高解像度のサムネイルを表示する。これにより、それぞれのサムネイルに対応する複数のオリジナル画像の内容をユーザーに容易に把握してもらうこともできる。
ところが、この開発中の画像処理システムにおいては、次に説明するような改良の余地が残されていた。即ち、サムネイル数が比較的多い場合に、複数の高解像度のサムネイルからなる合成画像のデータ容量が非常に大きくなって、クライアント装置側でメモリ容量不足を引き起こすおそれがでてくるのである。
本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、次のような画像処理システム及び画像処理方法を提供することである。即ち、一覧画像を短時間で表示することができ、個々の表示用画像にそれぞれ対応する複数のオリジナル画像の内容をユーザーに容易に把握してもらうことができ、且つ、第2データ処理装置におけるメモリ容量不足の発生を抑えることができる画像処理システム等である。
上記目的を達成するために、請求項1の発明は、第1データ処理装置に記憶されている複数の画像に基づいて、複数の表示用画像を並べて配置した一覧画像を表示するための表示データを第2データ処理装置で生成する画像処理システムにおいて、データ記憶手段に記憶されている複数の上記画像について、それぞれ画像表示手段の画面上での配置位置を決定する配置位置決定手段と、それらの画像についてそれぞれ、上記表示用画像として、第1表示用画像、及び該第1表示用画像とは異なる画像サイズの第2表示用画像を構築する表示用画像構築手段と、それら第2表示用画像を該配置位置に従って並べて1つにまとめた合成画像を構築する合成画像構築手段とを上記第1データ処理装置に設け、ユーザーによる入力操作を受け付ける入力操作受付手段と、該入力操作受付手段による受付結果に基づいて上記一覧画像における上記画像表示手段での表示箇所、及び該表示箇所における表示用画像の存在条件を特定する特定手段と、該存在条件に基づいて上記第1データ処理装置から上記第2データ処理装置に送信するデータについて、上記合成画像のデータにするのか、あるいは、上記配置位置のデータ、及び少なくとも上記表示箇所に含まれる上記第1表示用画像のデータにするのかを決定するデータ決定手段とを上記第1データ処理装置又は第2データ処理装置に設け、且つ、上記第1データ処理装置から上記合成画像のデータが送られてきた場合には、上記合成画像を上記一覧画像として表示するための表示データを生成する一方で、上記配置位置のデータ及び上記第1表示用画像のデータが送られてきた場合には、これらのデータに基づいて、上記一覧画像のうち、上記表示箇所とは異なる箇所の全て又は一部を除外した部分一覧画像を表示するための表示データを生成する表示データ生成手段を上記第2データ処理装置に設けたことを特徴とするものである。
また、請求項2の発明は、請求項1の画像処理システムであって、上記存在条件が上記表示箇所の表示倍率であることを特徴とするものである。
また、請求項3の発明は、請求項1の画像処理システムであって、上記存在条件が上記表示箇所における表示用画像数であることを特徴とするものである。
また、請求項4の発明は、請求項1の画像処理システムであって、上記存在条件が上記表示箇所の画像データ容量であることを特徴とするものである。
また、請求項5の発明は、データ記憶手段に記憶されている複数の画像に基づいて所定の処理を実施する第1工程と、それら画像に基づいて、複数の表示用画像を並べて配置した一覧画像を表示するための表示データを生成する第2工程とを具備する画像処理方法において、上記データ記憶手段に記憶されている複数の上記画像について、それぞれ画像表示手段の画面上での配置位置を決定する配置位置決定処理と、それらの画像についてそれぞれ、上記表示用画像として、第1表示用画像、及び該第1表示用画像とは異なる画像サイズの第2表示用画像を構築する表示用画像構築処理と、それら第2表示用画像を該配置位置に従って並べて1つにまとめた合成画像を構築する合成画像構築処理とを上記第1工程に設け、ユーザーによる入力操作を受け付ける入力操作受付処理と、該入力操作受付処理における受付結果に基づいて上記一覧画像における上記画像表示手段での表示箇所、及び該表示箇所における表示用画像の存在条件を特定する特定処理と、該存在条件に基づいて上記第1工程から上記第2工程に送信するデータについて、上記合成画像のデータにするのか、あるいは、上記配置位置のデータ、及び少なくとも上記表示箇所に含まれる上記第1表示用画像のデータにするのかを決定するデータ決定処理とを上記第1工程又は第2工程に設け、且つ、上記第1工程から上記合成画像のデータが送られてきた場合には、上記合成画像を上記一覧画像として表示するための表示データを生成する一方で、上記配置位置のデータ及び上記第1表示用画像のデータが送られてきた場合には、これらのデータに基づいて、上記一覧画像のうち、上記表示箇所とは異なる箇所の一部又は全てを除外した部分一覧画像を表示するための表示データを上記配置位置に基づいて生成する表示データ生成処理を上記第2工程に設けたことを特徴とするとするものである。
また、請求項2の発明は、請求項1の画像処理システムであって、上記存在条件が上記表示箇所の表示倍率であることを特徴とするものである。
また、請求項3の発明は、請求項1の画像処理システムであって、上記存在条件が上記表示箇所における表示用画像数であることを特徴とするものである。
また、請求項4の発明は、請求項1の画像処理システムであって、上記存在条件が上記表示箇所の画像データ容量であることを特徴とするものである。
また、請求項5の発明は、データ記憶手段に記憶されている複数の画像に基づいて所定の処理を実施する第1工程と、それら画像に基づいて、複数の表示用画像を並べて配置した一覧画像を表示するための表示データを生成する第2工程とを具備する画像処理方法において、上記データ記憶手段に記憶されている複数の上記画像について、それぞれ画像表示手段の画面上での配置位置を決定する配置位置決定処理と、それらの画像についてそれぞれ、上記表示用画像として、第1表示用画像、及び該第1表示用画像とは異なる画像サイズの第2表示用画像を構築する表示用画像構築処理と、それら第2表示用画像を該配置位置に従って並べて1つにまとめた合成画像を構築する合成画像構築処理とを上記第1工程に設け、ユーザーによる入力操作を受け付ける入力操作受付処理と、該入力操作受付処理における受付結果に基づいて上記一覧画像における上記画像表示手段での表示箇所、及び該表示箇所における表示用画像の存在条件を特定する特定処理と、該存在条件に基づいて上記第1工程から上記第2工程に送信するデータについて、上記合成画像のデータにするのか、あるいは、上記配置位置のデータ、及び少なくとも上記表示箇所に含まれる上記第1表示用画像のデータにするのかを決定するデータ決定処理とを上記第1工程又は第2工程に設け、且つ、上記第1工程から上記合成画像のデータが送られてきた場合には、上記合成画像を上記一覧画像として表示するための表示データを生成する一方で、上記配置位置のデータ及び上記第1表示用画像のデータが送られてきた場合には、これらのデータに基づいて、上記一覧画像のうち、上記表示箇所とは異なる箇所の一部又は全てを除外した部分一覧画像を表示するための表示データを上記配置位置に基づいて生成する表示データ生成処理を上記第2工程に設けたことを特徴とするとするものである。
これらの発明においては、第1データ処理装置が、表示用画像構築手段や合成画像構築手段によって各種の表示用画像や合成画像を構築する。また、第1データ処理装置あるいは第2データ処理装置に設けられた特定手段が、ユーザーによる表示領域変更操作や拡大表示操作などの入力操作に基づいて、画像表示手段に表示する一覧画像における表示箇所と、その表示箇所における表示用画像の表示倍率、数、データ容量などといった存在条件とを特定する。これらの存在条件は、一覧画像の表示箇所に含まれる表示用画像の数を把握するためのパラメータとして機能する。第1データ処理装置あるいは第2データ処理装置に設けられたデータ決定手段は、存在条件に基づいて把握される表示箇所内の表示用画像数が比較的多い場合には、合成画像のデータを、第1データ処理装置から第2データ処理装置に送信するデータとして決定する。この決定に基づいて送信された合成画像のデータを受信した第2データ処理装置の表示データ生成手段は、その合成画像を一覧画像として表示するための表示データを生成する。このように、画像表示手段に表示される表示用画像の数が比較的多い場合には、第1データ処理装置から第2データ処理装置に合成画像のデータを送信することで、個々の表示用画像のデータを1つずつ送信したり、新たな表示用画像を送信する毎に表示画面を更新したりという処理を行うことなく、一覧画像を画像表示手段に短時間で表示することができる。
また、上述のデータ決定手段は、存在条件に基づいて把握される表示箇所内の表示用画像数が比較的少ない場合には、上述した配置位置のデータや、少なくとも一覧画像における画像表示手段での表示箇所に含まれる第1表示用画像のデータを、第1データ処理装置から第2データ処理装置に送信するデータとして決定する。この決定に基づいて送信されたデータを受信した第2データ処理装置の表示データ生成手段は、一覧画像のうち、表示箇所とは異なる箇所の全て又は一部を除外した部分一覧画像の表示データを生成する。この表示データに基づいて表示される部分一覧画像における個々の第1表示用画像については、第2表示用画像に比べて縮小率の低いものとすることが可能である。すると、第1表示用画像は、第2表示用画像に比べて高解像度であるため、オリジナル画像の内容をユーザーに容易に把握してもらうことができる。また、第1データ処理手段から第2データ処理手段に第1表示用画像のデータを送信する際には、一覧画像に含まれる全ての第1表示用画像のうち、一覧画像の表示箇所とは異なる箇所に存在している第1表示用画像のデータを除外して送信することが可能であるので、第1表示用画像の送信数は比較的少ない。このため、第1表示用画像のデータを1つずつ送信しても比較的短時間で送信を終えることが可能である。
更に、上述の部分一覧画像は、一覧画像に含まれる全ての第1表示用画像のうち、一覧画像の表示箇所とは異なる箇所に存在する第1表示用画像の少なくとも一部を除外したものであるため、全ての第1表示用画像を含む一覧画像に比べてデータ容量が小さくなる。これにより、第2データ処理装置におけるメモリ容量不足の発生を抑えることもできる。
以下、本発明を適用した画像処理システムの一実施形態について説明する。まず、実施形態に係る画像処理システムの基本的な構成について説明する。
図1は、実施形態に係る画像処理システムの要部構成を示すブロック図である。同図において、画像処理システムは、第1データ処理装置としてのサーバー装置10と、第2データ処理装置としてのクライアント装置1とを備えている。そして、サーバー装置10とクライアント装置1とは、LAN(Local Area Network)回線やLAN HUB接続器などからなる通信手段30によって接続されて、互いにデータ通信が可能になっている。
パーソナルコンピュータからなるクライアント装置1は、外部インターフェース2、データ決定手段たる通信制御手段3、キーボードやマウス等からなる入力デバイス4、特定手段5、表示データ生成手段6などを具備している。表示データ生成手段6によって生成した表示データに基づく画像を、ディスプレイ等の表示で表示バイアス9に表示させることができる。
なお、通信制御手段3、特定手段5及び表示データ生成手段6は、ハード的な回路構成によって構築されたものではなく、専用の画像処理アプリケーションソフトの起動により、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)などがソフト的に実現するものである。また、パーソナルコンピュータに代えて、PDA(Personal Data Assistance)や携帯電話機などの情報端末機によってクライアント装置1を構成してもよい。
サーバー用コンピュータからなるサーバー装置10は、外部インターフェース11、データ決定手段たる通信制御手段12、サムネイル構築手段13、データ記憶手段としてのハードディスク14、合成画像構築手段15、配置位置決定手段16等を具備している。クライアント装置1や図示しないスキャナ等から新規の登録画像データD3が送られてくると、それをハードディスク14内の画像データベースD5に格納する。また、その登録画像データD3に基づく表示用画像としてのサムネイルをサムネイル構築手段13によって構築して、登録画像データD3と関連付けて画像データベースD6内に格納する。また、新たな登録画像データD3を画像データベースD6内に格納すると、画像データベースD6内に格納されている個々のサムネイルを一覧表示するための合成画像を構築するために、配置位置決定手段16により、それぞれのサムネイルの2次元座標あるいは3次元座標における配置位置を決定する。個々のサムネイルの配置位置については、予めハードディスク内に記憶している所定のソート条件に従って決定する。そして、合成画像構築手段15により、個々のサムネイルをその配置位置に従って描画メモリに展開して、それらサムネイルを1つにまとめた合成画像を構築する。この合成画像についても、画像データベースD6内に格納する。
なお、通信制御手段12、サムネイル構築手段13、合成画像構築手段15及び配置位置決定手段16は、ハード的な回路構成によって構築されたものではなく、専用の画像処理アプリケーションソフトの起動により、CPU、RAM、ROMなどがソフト的に実現するものである。また、サーバー用のコンピュータに代えて、MFP(Multi Function Printer)によってサーバー装置10を構成してもよい。
クライアント装置1は、画像処理アプリケーションソフトを起動すると、サムネイル一覧画像の表示データを生成するために、サーバー装置10に対して初期画像データ送信要求信号を送る。この初期画像データ送信要求信号を受信したサーバー装置10は、画像データベースD6内に格納しているデータのうち、必要なものをクライアント装置1に送信する。
初期画像データ送信要求信号に応答するデータを受信したクライアント装置1は、表示データ生成手段によってそのデータに基づくサムネイル一覧画像の初期画面用の表示データを生成して、表示デバイス9に送る。これにより、表示デバイス9の画面にサムネイル一覧画像の初期画面が表示される。なお、クライアント装置1の特定手段5については、後に詳述する。
図2は、サーバー装置10の要部回路構成を示すブロック図である。サーバー装置10は、上述した外部インターフェース11やハードディスク14の他に、CPU20、RAM等からなる揮発性のメモリ21、キーボードやマウス等からなる入力デバイス22、ビデオメモリ23、バスライン24などのハードウエアを備えている。外部インターフェース11、ハードディスク14、CPU20、メモリ21、入力デバイス22、ビデオメモリ23は、互いにバスライン24を介して接続されており、相互にデータ通信が可能になっている。ビデオメモリ23には、ディスプレイ等からなるモニタ8が接続されている。
次に、実施形態に係る画像処理システムの特徴的な構成について説明する。
図3は、本画像処理システムによって実施される、新たな画像データファイルをサーバー装置10の画像データベースに登録する際の画像登録処理における制御フローを示すフローチャートである。同図において、図中左側の列に記されている各処理は、クライアント装置1によって実施されるものである。また、図中右側の列に記されている各処理は、サーバー装置10によって実施されるものである。
図3は、本画像処理システムによって実施される、新たな画像データファイルをサーバー装置10の画像データベースに登録する際の画像登録処理における制御フローを示すフローチャートである。同図において、図中左側の列に記されている各処理は、クライアント装置1によって実施されるものである。また、図中右側の列に記されている各処理は、サーバー装置10によって実施されるものである。
ユーザーによる入力デバイアス操作により、新たに登録すべき画像データファイルの指定と、登録実行命令とがなされると(ステップ1:以下、ステップをSと記す)、クライアント装置1の通信制御手段3は、その画像データファイルを登録画像データとしてサーバー装置10に送信する。この登録画像データは、クライアント装置1の外部インターフェース2と、通信手段30とを介してサーバー装置10に送られた後、サーバー装置10内において、外部インターフェース11を介してCPU20に送られる。
通信制御手段12、表示用画像構築手段としてのサムネイル構築手段13、合成画像構築手段15及び配置位置決定手段16として機能するCPU20は、送られてきた登録画像データに基づいて、その登録画像を互いに異なる縮小率で縮小した複数のサムネイルを構築する(S2)。本画像処理システムにおいては、1つの登録画像について、次の表1に示す8つのサムネイルを構築する。
同表に示すように、8つのサムネイルは、サムネイル番号が大きくなるに従って、長辺サイズが大きくなる。これは、サムネイル番号が大きくなるほど、縮小率が低く且つ高解像度になることを意味している。サムネイルの短辺サイズについては、オリジナル画像(元の登録画像)の長辺/短辺比と、長辺の縮小率とに従って設定される。例えば、オリジナル画像の長辺×短辺が12000[画素]×6000[画素]である場合、サムネイル番号=Sam1のサムネイルにおける長辺の縮小率は、1/300(40/12000)となる。よって、この場合、Sam1のサムネイルにおける短辺サイズは、20[画素]に設定される。
8つのサムネイルのいくつかについて、その長辺サイズがオリジナル画像の長辺サイズよりも大きい場合には、オリジナル画像がそのままサムネイルとして登録される。例えば、長辺サイズが2000[画素]であるオリジナル画像の場合には、長辺サイズがそれよりも小さいSam1〜Sam6のサムネイルについては、それぞれ表1に従った長辺サイズに縮小されて登録されるが、Sam7やSam8のサムネイルは、オリジナル画像と同じ解像度のまま登録される。
サーバー装置10は、登録画像に対応する8つのサムネイルを構築すると、それらを登録画像のデータとともに関連付けて画像データベースに登録する(S3)。このとき、それぞれのデータファイルには、ファイル名などのメタ情報や、IDが付される。画像データベースとして、RDB(リレーショナルデータベース)方式のものを用いれば、これらメタ情報やIDの登録、管理、検索等の処理を容易に行うことができる。
なお、XML(eXtensible Markup Langage)対応のRDBを用いれば、次のようなことも可能になる。即ち、オリジナルの画像データやサムネイルデータに対して圧縮符号化等の処理を施して格納しておき、メタ情報やIDからのリンクによって読み込むことも可能になる。オリジナル画像データ、サムネイル、メタ情報、IDのいくつかを、別のデータベースに格納しておき、複数のデータベース間でのデータの関連付けを行ってもよい。
オリジナルの登録画像のデータ形式が、マルチTIFF(Tag Image File Format)形式など、複数枚の画像を1つのデータファイルで格納する方式である場合には、サムネイル構築に先立って、各ページの画像が1枚ずつに分割される。そして、それぞれの画像が登録画像として扱われて、それぞれについて8つのサムネイルが構築される。
本画像処理システムにおいては、画像データベースに登録するオリジナル画像やサムネイルのデータファイルのフォーマット形式として、次のようなものを採用している。即ち、同一画像について互いに解像度の異なる複数のものを構築する場合に、低解像度の画像のデータと、低解像度−高解像度間の差分データとに基づいて、高解像度の画像を生成し得る形式を採用している。かかる形式としては、JPEG(Joint Photographic Experts Group)2000等に代表される階層符号化形式が挙げられる。但し、差分データに基づく高解像度化が不可能なビットマップ形式やGIF(CompuServe Graphics Interchange File)形式などを採用してもよい。
サムネイル、メタ情報、IDなどの登録を終えると、サーバー装置10は、新たなサムネイルの一覧表示における配置位置を決定する(S4)。この配置位置の決定については、様々な方式のものを採用することが可能である。例えば、一覧表示において、個々のサムネイルを登録順に配置する場合には、前回までの一覧表示で配置位置が最後になっていたサムネイルの隣に、新たなサムネイルを配置する方式を採用すればよい。また、画像内に含まれる文書の先頭文字の50音順に基づいて配置位置を決定する場合には、先頭文字の画像をOCR(Optical Character Reader)ソフトウエアによって文字コードに変換し、その結果に基づいて配置位置を決定する方式を採用すればよい。また、特徴の似通った画像同士を近くに配置する場合には、画像から特徴量を抽出した結果に基づいて配置位置を決定する方式を採用すればよい。例えば、画像から色調、形状、テクスチャ、レイアウト等の複数の特徴量を抽出し、自己組織化マップ等の既知の技法を用いて2次元空間又は3次元空間の座標での配置位置を決定する方式が挙げられる。
本画像処理システムでは、個々のサムネイルを登録順に配置する方式を採用している。この方式では、前回までの一覧表示における個々のサムネイルの配置位置は変わらず、単に、その一覧表示における最後のサムネイルの隣の位置を、新たなサムネイルを配置位置として決定すればよい。
なお、先頭文字の50音順で個々のサムネイルの配置位置を決定する方式では、新たなサムネイルの登録に伴って、相当数のサムネイルの配置位置を変更する必要がある。よって、この場合には、新たなサムネイルを含む全てのサムネイルについて、それぞれ配置位置を新たに決定するようにサーバー装置10を構成する。
また、サムネイル同士の重なりを許容せずに、個々のサムネイルをマトリクス状に配置する条件で、画像の特徴量に基づく配置位置を決定する方式においても、50音順の方式と同様に、全てのサムネイルの配置位置を新たに決定する必要がある。但し、サムネイル同士の重なりを許容する条件で、画像の特徴量に基づく配置位置を決定する方式では、前回までの一覧表示における個々のサムネイルの配置位置をそのまま採用することが可能なので、新たなサムネイルの配置位置だけを決定すればよい。そして、新たなサムネイルが一覧表示における既存のサムネイルに重なってしまうか否かにかかわらず、既存の一覧表示に新たなサムネイルを単に重ねればよい。
サーバー装置10は、新たなサムネイルの配置位置を決定すると、次に、合成画像構築処理を実施する。具体的には、先に表1に示したように、本画像処理システムにおいては、個々のオリジナル画像についてそれぞれ、8つのサムネイルを構築して画像データベース内に登録している。これら8つのサムネイルのうち、Sam4〜Sam8の5つについては、それぞれ必要に応じてサムネイルのままの状態でクライアント装置1に送信される。これに対し、Sam1,2,3の3つについては、それぞれ必要に応じて第1,2,3合成画像という形態でクライアント装置1に送信される。このため、サーバー装置10は、Sam1,2,3の3つのサムネイルについては、それぞれに対応する第1,2,3合成画像を予め構築しておくのである。
同図のフローチャートにおいて、S5〜S7のフローが合成画像構築処理に相当する。まず、制御フローがS4からS5に進んで、S5〜S6の一連のフローが実行されることで、第1合成画像が構築される。次いで、制御フローがS7からS5にループした後、S5〜S6の一連のフローが再実行されることで、第2合成画像が構築される。更に、制御フローがS7からS5に再びループした後、S5〜S6の一連のフローが再実行されることで、第3合成画像が構築される。
サーバー装置10は、S5〜S7のフローにおいて、まず、画像データベース内に格納されている既存の合成画像を読み込んで、描画メモリに展開する(S5)。次いで、その合成画像に対して、新たなサムネイルを予め決定しておいた配置位置に従って重ね合わせて、新たな合成画像を構築する(S6)。上述したように、登録順に従って配置位置を決定する本画像処理システムでは、既存の合成画像に対して新たなサムネイルを重ねるだけで、合成画像を再構築することができる。
第1から第3までの全ての合成画像の再構築が完了していない場合には(S7でN)、制御フローをS5にループさせて、再構築が済んでいない合成画像の再構築を行う。第1から第3までの全ての合成画像の再構築を終えると(S7でY)、それまで画像データベースに登録していた第1,2、3合成画像を、再構築したものに更新する。
第1,2,3合成画像については、オリジナル画像やサムネイルと同様に、階層符号化方式のデータフォーマットで記録してもよいし、他のデータフォーマットで記録してもよい。但し、階層符号化方式を採用した方が、データ記憶容量の縮小化を図ることができる。また、サムネイル数が膨大であることにより、合成画像のデータ容量が所定の閾値を超えてしまう場合には、合成画像を複数に分割して登録する方式を採用することが望ましい。
図4は、クライアント装置1に接続された表示デバイアス9における初期サムネイル表示画面の一例を示す模式図である。同図において、サムネイル表示画面900は、サムネイル一覧画像を表示するための矩形状の空間を中央部に具備する枠部901と、サムネイル一覧画像を表示する矩形状の一覧表示部905とから構成されている。枠部901には、倍率変更スライダー902、水平スクロールスライダー903、垂直スクロールスライダー904などが配設されている。
クライアント装置16は、枠部901、倍率変更スライダー902、水平スクロールスライダー903、及び垂直スクロールスライダー904を表示デバイアス9に表示させるための基礎画面用の画像データを、図示しないデータ記憶手段に記憶している。そして、画像処理ソフトを起動すると、まず、サーバー装置10に対して、上述の第1合成画像のデータ送信要求信号を送信する。この送信に応答して第1合成画像のデータがサーバー装置10から送られてくると、その第1合成画像と、上述の基礎画面用の画像データとに基づいて、図示の初期サムネイル表示画面を表示させるための表示データを生成して表示デバイアス9に送る。これにより、図示の初期サムネイル表示画面が表示デバイアス9に表示される。
図5は、第1合成画像の一例を示す模式図である。図示のように、第1合成画像は、マトリクス状に並ぶ複数のサムネイル画像部906と、それぞれのサムネイル画像部906の間にある余白部907とを具備している。余白部907は、個々のサムネイルを明確に区別するために設けられている。
図4の初期サムネイル表示画面の一覧表示部905内に表示されるサムネイル一覧画像は、第1合成画像が所定の初期倍率で表示されるように展開されたものである。第1合成画像に含まれるサムネイルの数が比較的多い場合には、初期サムネイル表示画面において、全てのサムネイルが一覧表示部905内に収まらず、サムネイル一覧画像の左上の領域に存在するサムネイルだけが表示される。この場合、ユーザーはマウス操作により、水平スクロールスライダー903のスライドバーや、垂直スクロールスライダー904のスライドバーをドラッグアンドドロップすることで、サムネイル一覧画像の一覧表示部905内における表示箇所をスクロールすることができる。
上述したように、合成画像に含まれるサムネイル数が膨大であることにより、合成画像のデータ容量が所定の閾値を超えてしまう場合には、合成画像を複数に分割して登録するようになっている。図6は、合成画像を4つに分割して登録した場合におけるそれぞれの分割合成画像を示す模式図である。この場合、初期サムネイル表示画面用としては、左上の第1分割合成画像909aが用いられる。そして、ユーザーによるスクロール操作によって一覧表示部905内の表示箇所が合成画像の左下に移行した場合には、クライアント装置1は、サーバー装置10に対して、第3分割合成画像909cの送信要求信号が送信する。そして、この送信に応答して送られてきた第3分割合成画像909cのデータに基づいて、合成画像の左下領域のサムネイル一覧画像を一覧表示部905内に表示させる。ユーザーによるスクロール操作によって一覧表示部905内の表示箇所が合成画像の右上や右下に移行した場合には、同様にして、クライアント装置1からサーバー装置10に対して、第2分割合成画像909bや第3分割合成画像909dの送信要求信号が送られる。そして、それらに基づいて、合成画像の右上領域や右下領域のサムネイル一覧画像が一覧表示部905内に表示される。個々の分割合成画像の大きさを不均等にしてもよい。
ユーザーは、サムネイル一覧画像の一覧表示部905内における表示箇所を上下や左右にスクロールしながら、個々のサムネイルを確認することで、目的の画像が存在する一覧箇所のあたりをつける。そして、目的の画像が存在する一覧箇所である可能性が高い場合には、倍率変更スライダー902のスライドバーをドラッグアンドドロップ操作によって移動させることで、表示倍率の拡大指示を行う。これにより、それまで一覧表示部905内に表示されていた一覧箇所のうち、中央部だけが拡大して一覧表示部905内に表示される。
初期サムネイル一覧表示画面におけるサムネイル一覧画像は、上述したように、第1合成画像に基づくものであり、個々のサムネイルの解像度は低い。このため、表示倍率が大きくなってくると、拡大表示によってもサムネイルの画質が悪いために画像の内容を把握することができなくなる。そこで、本画像処理システムにおいては、一覧表示部905内の画像表示サイズがユーザーの拡大操作によってある程度大きくなると、より解像度の高い第2合成画像に基づくサムネイル一覧画像を新たに構築する。そして、新たなサムネイル一覧画像の全領域のうち、拡大表示すべき領域を特定して、その領域を一覧表示部905に拡大表示する。また、一覧表示部905内の画像表示サイズがユーザーの拡大操作によって更に大きくなると、更に解像度の高い第3合成画像に基づくサムネイル一覧画像を新たに構築する。そして、新たなサムネイル一覧画像の全領域のうち、拡大表示すべき領域を特定して、その領域を一覧表示部905に拡大表示する。
このように、必要に応じてより高解像度の合成画像に基づくサムネイル一覧画像を新たに構築して拡大表示を行うことで、表示サイズに適した解像度のサムネイルを表示することができる。ところが、サムネイル一覧画像内のサムネイル数が比較的多い場合には、複数の高解像度のサムネイルからなる合成画像のデータ容量が非常に大きくなって、クライアント装置側でメモリ容量不足を引き起こすおそれがでてくる。
そこで、本画像処理システムにおいては、合成画像の高解像度化については、第3合成画像までに留めている。そして、表示倍率の増加に伴って、第3合成画像のサムネイルよりも高解像度のものを使用する必要が生じた場合には、サムネイル一覧画像に代えて、部分一覧画像を構築する。この部分一覧画像とは、サムネイル一覧画像の全領域のうち、一覧表示部905内に拡大表示する領域に存在するサムネイルだけを、部分的に一覧表示する画像である。かかる部分一覧画像については、クライアント装置1が、サーバー装置10の配置位置決定手段16によって決定された個々のサムネイルの配置位置のデータと、画像データベースに登録されているSam4、5、6、7又は8のサムネイルとに基づいて構築する。このため、Sam4〜8のサムネイルについては、先に表1に示したように、合成画像の形態ではなく、サムネイルそのものの形態でサーバー装置10からクライアント装置10に送信されるのである。Sam4〜8のサムネイルのうち、どれに基づいて部分一覧画像を構築するのかについては、一覧表示部905内の画像表示サイズに応じて決定される。画像表示サイズがより大きくなるほど、サムネイル番号のより大きい(より高解像度の)サムネイルに基づいて部分一覧画像が構築されるのである。
図7は、本画像処理システムによって実施される、サムネイル一覧画像を表示する際の画像表示処理における制御フローを示すフローチャートである。画像処理アプリケーションを起動したクライアント装置1は、初期サムネイル一覧表面画面を生成するために、第1合成画像の送信要求信号をサーバー装置10に送る(S1)。これに応答してサーバー装置10から第1合成画像のデータが送られてくると(S2)、初期サムネイル一覧表示画面を生成して表示デバイス9に出力する。
次いで、ユーザーによって表示変更操作(表示箇所スクロール操作や表示倍率変更操作)がなされると(S4でY)、一覧表示部内表示変更処理を実施して(S5)、一覧表示部905内における表示を、ユーザーの操作に応じたものに変更する。この一覧表示部内表示変更処理においては、必要に応じてクライアント装置1からサーバー装置10に向けてデータ送信要求信号が送られた後、その要求信号に応じた応答データがサーバー装置10からクライアント装置1に送信される(S6)。なお、一覧表示部内表示変更処理の具体的に内容については、後に詳述する。
クライアント装置1は、一覧表示部内表示変更処理を終えると、サムネイル指定操作の有無を監視する(S7)。このサムネイル指定操作は、一覧表示部905内に表示されている複数のサムネイルのうちの1つについて、目的の画像に対応するサムネイルかもしれないと感じたユーザーが、そのサムネイルをダブルクリックすることによって行われる。サムネイル指定操作が行われると(S7でY)、クライアント装置1は、画像を表示するためのアプリケーションソフトであるビューアーを起動して、表示デバイス9の画面に新たに立ち上げたビューアーウインドウ内に、そのサムネイルに対応する画像を表示する。この際、サーバー装置10に対して、そのサムネイルに対応する画像データファイルの送信要求信号を送ることで、画像データファイルを取得する。
起動中の画像処理アプリケーションの終了指示がユーザーによってなされた場合には(S9でY)、一連の制御フローを終了させるが、なされない場合には、S4〜S8までの処理を繰り返し行う。
図8は、一覧表示部内表示変更処理(S5)における前半の制御フローを示すフローチャートである。クライアント装置1は、一覧表示部内表示変更処理において、まず、ユーザーによってなされた表示変更操作について、表示箇所スクロール操作であるか否かを判定する(S5a)。そして、表示箇所スクロール操作でない場合には(S5aでN)、制御フローを後述するS5iにループさせる。
一方、表示箇所スクロール操作である場合には(S5aでY)、サムネイル一覧画像の全領域のうち、一覧表示部905内に表示すべき新たな表示箇所を特定する(S5b)。この特定については、特定手段5によって行う。次いで、一覧表示部905内に、サムネイル一覧画像ではなく、上述した部分一覧画像を表示しているか否かを判定する(S5c)。部分一覧画像ではなく、サムネイル一覧画像を表示している場合には、そのサムネイル一覧画像の全領域のうち、新たな表示箇所を一覧表示部905にスクロール表示する(S5d)。
一覧表示部905内に表示している画像が、部分一覧画像である場合には(S5cでY)、表示中の部分一覧画像における周囲の一覧画像が未構築である。そこで、この場合には、まず、新たな表示箇所の表示に必要なサムネイルを特定手段5によって特定し、それらサムネイルのうち、未取得のものについて、サーバー装置10に対して送信要求を行う(S5f)。次いで、その送信要求に応答して未取得のサムネイルのデータがサーバー装置10から送られてくると、取得済みのサムネイルと、サムネイル一覧における個々のサムネイルの配置位置のデータと、表示箇所とに基づいて、新たな表示箇所の部分一覧画像を生成する(S5g)。そして、新たに生成した部分一覧画像に基づいて、新たな表示箇所のサムネイル一覧を一覧表示部905内に表示させる(S5h)。
なお、クライアント装置1は、Sam4〜8のうち、Sam4のサムネイルに基づく部分一覧画像を初めに構築する際には、部分一覧画像の構築に必要なサムネイルの送信要求信号に加えて、全てのサムネイルを含むサムネイル一覧画像における個々のサムネイルの配置位置を示した配置位置データの送信要求信号も送信する。これによって取得した配置位置データについては、他の領域の部分一覧画像を構築する際や、より高解像度のサムネイルに基づく部分一覧画像を構築する際にも使用するため、RAM等のデータ記憶手段に記憶しておく。
配置位置データとしては、個々のサムネイルと、サムネイル一覧画像における配置座標のデータとを関連付けたものを例示することができる。また、HTML(Hyper Text Markup Langage)にて一般的に行われるような、画像の座標情報とリンク情報を構造化文書に記載したものでもよい。また、サーバク〜ライアント間の通信方法には種々の手法があるが、一般的によく使用される好適な方式として、サーバ装置10をWebサーバにみたてて、World Wide Webベースの技術を採用する方式を例示することができる。この場合、サムネイル一覧画像や部分一覧画像を、HTML形式の記述によって構築することになり、画像処理プリケーションソフトとして、一般的なWebブラウザを適用したものを採用することが可能である。
図9は、一覧表示部内表示変更処理(S5)における後半の制御フローを示すフローチャートである。この制御フローにおいて、クライアント装置1は、ユーザーによって先になされた表示変更操作について、拡大表示操作であるか否かを判定する(S5i)。そして、拡大表示操作でない場合には(S5iでN)、制御フローを上述したS7にループさせる。
一方、拡大表示操作である場合には(S5iでY)、特定手段5により、新たな表示箇所や表示サイズ条件を特定する(S5j)。実施形態のクライアント装置1の特定手段5においては、一覧表示部905内におけるサムネイルの表示倍率に基づいて、表示サイズを特定するようになっている。クライアント装置1は、表示サイズ条件を特定すると、次に、新たな表示箇所におけるサムネイルの表示サイズについて、所定の合成表示閾値を超えるか否かについて判定する(S5k)。表示サイズがこの合成表示閾値を超えない場合には、第1、2又は3の合成画像に基づくサムネイル一覧画像の全領域のうち、一覧表示部905内に表示すべき表示箇所だけを拡大表示すればよい。そこで、この場合には(S5kでN)、次に、新たな表示サイズについて、表示中のサムネイル一覧画像の拡大閾値を超えるか否かを判定する(S5m)。そして、拡大閾値を超えない場合には(S5mでN)、それまで使用していたサムネイル一覧画像を引き続き使用し、一覧表示部905内に表示している一覧箇所の中央部だけを拡大表示する(S5l)。また、拡大閾値を超える場合には(S5mでY)、より高解像度のサムネイル一覧画像が必要になるため、1つ上の解像度の合成画像の送信要求信号をサーバー装置10に送信する(S5n)。例えば、それまで第1合成画像に基づくサムネイル一覧画像を表示していた場合には、1つ上の解像度の合成画像である第2合成画像の送信要求を行う。送信要求に応答した合成画像のデータがサーバー装置10から送られてくると、それに基づいて新たなサムネイル一覧画像を構築した後、そのサムネイル一覧画像の全領域のうち、一覧表示部905内に表示すべき表示箇所を示すデータと、新たな画像表示サイズ条件などに基づいて、一覧表示部905内の表示画像をより拡大したものに変更する(S5o)。
上述したS5kの工程において、表示サイズが合成表示閾値を超える場合には、一覧表示部905内に部分一覧画像を表示することになる。そこで、この場合には(S5kでY)、新たな表示サイズについて、表示中の部分一覧画像の拡大閾値を超えるか否かを判定する(S5p)。そして、拡大閾値を超えない場合には(S5pでN)、それまで使用していた部分一覧画像を引き続き使用し、一覧表示部905内に表示している一覧箇所の中央部だけを拡大表示する(S5l)。また、拡大閾値を超える場合には(S5pでY)、より高解像度の部分一覧画像が必要になる。そこで、特定手段5により、その部分一覧画像の構築に必要となる1つ上の解像度のサムネイルを全て特定する(S5q)。そして、そのサムネイルの送信要求をサーバー装置10に対して行う(S5r)。サーバー装置10は、その送信要求に応答して、1つ上の解像度のサムネイルのデータをクライアント装置1に送信するが、このとき、1つ下の解像度のサムネイルとの差分データだけを送信する。これにより、データ通信時間の短縮化を図ることができる。クライアント装置1は、サーバー装置10から送られてきた差分データや、表示箇所のデータなどに基づいて、一覧表示部905内の表示画像をより拡大したものに変更する(S5s)。
ユーザーは、図10に示す初期サムネイル一覧画面の水平スクロールスライダー903や垂直スクロールスライダー904のスライドバーを操作して目的のサムネイルの存在する可能性が高い一覧箇所を一覧表示部905の中央に位置させる。そして、倍率変更スライダー902を操作して一覧表示部905内の表示倍率を図11や図12に示すように徐々に上げていくことで、サムネイルの内容を把握しながら目的の画像であるか否かを容易に確認することができる。図13に示すように、1つのサムネイルだけを一覧表示部905内に拡大して表示させることも可能である。拡大表示によって目的の画像であることが確認できた場合には、そのサムネイルをダブルクリックすることで、ビューアーを立ち上げることも可能である。また、目的の画像でない場合には、今度は逆に表示倍率を徐々に下げていき、他の画像についての確認を同様にして行えばよい。
なお、本画像処理装置においては、先に表1に示したように、第3合成画像内のサムネイルの長辺サイズを160[画素]に設定しているのに対し、1つ上の解像度のサムネイルであるSam4のサムネイルの長辺サイズを320[画素]に設定している。そこで、上述した合成表示閾値については、160と320との中間値である240[画素]に設定している。
先に示した図5において、個々のサムネイル907の間に存在する余白部906の幅は20[画素]になっている。この条件で、第3合成画像の長辺における最大画素数を10、000[画素]とすると、第3合成画像の最大データ容量は、「(160+20)画素×(160+20)画素×10,000画像×3(バイト/画素)=0.972GB」となる。この第3合成画像を圧縮処理すれば100[MB]程度のデータ容量になるので、サーバー装置10とクライアント装置1との間のデータ通信時間は、実使用上で問題ないレベルになる。クライアント装置1では、その100[MB]のデータをメインメモリにて0.972[GB]の容量で展開する必要があるが、近年のパーソナルコンピュータにおいては、4[GB]程度のメインメモリ容量を搭載する機種が一般的に普及しているので、問題ない。
以上のように、実施形態に係る画像処理システムにおいては、複数の画像データファイルを記憶するデータ記憶手段としてのハードディスク14と、それら画像データファイルにそれぞれ基づく複数のサムネイルを構築する表示用画像構築手段としてのサムネイル構築手段13と、それらサムネイルの多次元座標上における配置位置を決定する配置位置決定手段16とを、第1データ処理装置としてのサーバー装置10に設けている。また、サーバー装置10から送られてくるデータに基づいて、配置位置決定手段16で決定された配置位置に従って並ぶ複数のサムネイルからなる一覧画像を画像表示手段たる表示デバイアス9に表示させるための表示データを生成する表示データ生成手段6と、ユーザーによる入力操作を受け付ける入力操作受付手段たる入力デバイアス4とを、第2データ処理装置としてのクライアント装置1に設けている。また、両装置間でのデータ通信を制御する通信制御手段3,12を設けている。また、入力デバイアス4による受付結果に基づいて表示デバイアス9における一覧画像の表示箇所、及び表示箇所内における画像表示サイズ条件を特定する特定手段5をクライアント装置1に設けている。
そして、かかる基本的な構成を備える画像処理システムにおいて、次のような特徴的な構成も設けている。即ち、複数の画像データファイルについてそれぞれ、少なくとも、第2表示用画像としてのSam1,2,3のサムネイルと、これらよりも低縮小率の第1表示用画像としてのSam4,5,6,7,8のサムネイルとを構築するように、サムネイル構築手段13を構成している。また、Sam1、2,3のサムネイルを、配置位置決定手段16によって決定された配置位置に従って並べて1つの画像として合成した第1合成画像,第2合成画像,第3合成画像を構築する合成画像構築手段15をサーバー装置10に設けている。更に、特定手段5による画像表示サイズ条件の特定結果に基づいて、サーバー装置10からクライアント装置1に送信させるデータについて、合成画像にするのか、あるいは、配置位置のデータ、及び表示箇所内に含まれるSam4、5、6、7又は8のサムネイルのデータにするのかを、を決定するデータ決定処理を実施するように、通信制御手段3,12を構成している。
かかる構成においては、画像表示サイズが比較的小さい場合には、サーバー装置10からクライアント装置1に個々のサムネイルのデータをそれぞれ送信したり、クライアント装置1が新たなサムネイルを受信する毎に表示画面を更新したりという煩雑な処理を行うことなく、表示デバイアス9に一覧画像を短時間で表示することができる。また、ユーザーによる操作に伴って、画像表示サイズが比較的大きくなった場合には、高解像度のサムネイルを表示箇所の分だけ並べた部分一覧画像を構築してそれを拡大表示することで、それぞれのサムネイルに対応するオリジナル画像の内容をユーザーに容易に把握してもらうこともできる。更に、部分一覧画像とすることで、高解像度のサムネイルを全て並べたサムネイル一覧画像に比べてデータ容量を小さくして、クライアント装置1におけるメモリ容量不足の発生を抑えることもできる。
次に、実施形態に係る画像処理システムに若干の変更を加えた各変形例の画像処理システムについて説明する。なお、以下に特筆しない限り、各変形例に係る画像処理システムの構成は、実施形態と同様である。
[第1変形例]
図14は、第1変形例に係る画像処理システムにおける初期サムネイル一覧画面を示す模式図である。この画像処理システムにおいては、個々の画像データから特徴量を抽出した結果に基づいて配置位置を決定することで、互いに似通った画像のサムネイル同士を近くに配設するように、配置位置決定手段16を構成している。非常に似通った画像のサムネイル同士は、図示のように互いに部分的に重なるように配置される。
[第1変形例]
図14は、第1変形例に係る画像処理システムにおける初期サムネイル一覧画面を示す模式図である。この画像処理システムにおいては、個々の画像データから特徴量を抽出した結果に基づいて配置位置を決定することで、互いに似通った画像のサムネイル同士を近くに配設するように、配置位置決定手段16を構成している。非常に似通った画像のサムネイル同士は、図示のように互いに部分的に重なるように配置される。
図示の一覧表示部905内に表示されているサムネイル一覧画像は、合成画像に基づいて生成されたものである。合成画像では、複数のサムネイルが重なっている領域については、一番上のサムネイルの画像情報だけを記録しており、そのサムネイルの下に存在する下位サムネイルの重ね合わせ箇所については、その画像情報を全く記録していない。このため、個々のサムネイルをマトリクス状に配置する場合に比べて、合成画像のデータ容量を低減して、データ通信速度の短縮化を図ることができる。
実施形態に係る画像処理システムのように、個々のサムネイルをマトリクス状に配置する場合には、一覧表示部905内における画像表示倍率と一覧表示部905内の画像数とが反比例の関係となる。画像表示倍率を高めるほど、一覧表示部905内のサムネイル数が少なくなるのである。このため、一覧表示部905内のサムネイル数が比較的多くなる低表示倍率のときには、サーバー装置10からクライアント装置1に合成画像を送信することで、送信速度の高速化を図ったり、クライアント装置1におけるデータ表示処理の簡素化を図ったりすることができる。また、一覧表示部905内の画像数が比較的少なくなる高表示倍率のときには、サーバー装置10からクライアント装置1に必要なサムネイルだけを送信することで、合成画像を送信する場合に比べてデータ通信時間の短縮化を図ることができる。
一方、これに対し、第1変形例に係る画像処理システムのように個々のサムネイルの重ね合わせを許容する場合には、両者の関係が反比例とはならない。これは、図示のように、一覧表示部905内において、複数のサムネイルが集中的に配置される領域がある一方で、サムネイルが殆ど存在しない領域もあるからである。画像表示倍率が比較的低くても、サムネイルが殆ど存在しない領域を一覧表示部905内に表示しているときには、一覧表示部905内のサムネイル数が比較的少なくなる。この一方で、画像表示倍率が比較的高くても、多数のサムネイルが重なっている領域を一覧表示部905内に表示しているときには、一覧表示部905内のサムネイル数が比較的多くなる。よって、実施形態のように、合成画像を送信するのか、サムネイルを送信するのかについて、画像表示倍率だけに基づいて決定すると、比較的高い画像表示倍率であるにもかかわらず、サムネイル数が比較的多くなってデータ通信時間を十分に短縮することができなくなってしまうことがある。
そこで、第1変形例に係る画像処理システムにおいては、画像表示倍率ではなく、一覧表示部905内のサムネイル数に基づいて、合成画像を送信するのか、サムネイルを送信するのかを決定するようになっている。サムネイルの存在条件として、サムネイル数を採用しているのである。より詳しくは、先に図9に示したS5kの工程において、表示サイズについて合成表示閾値を超えるか否かを判断する代わりに、画像数について合成表示閾値を超えるか否かを判断するようになっている。また、S5mやS5pの工程において、表示サイズについて拡大閾値を超えるか否かを判断する代わりに、画像数について拡大閾値を超えるか否かを判断するようになっている。
かかる構成においては、比較的高い画像表示倍率であるにもかかわらず、サムネイル数が比較的多い条件下で、合成画像に代えて、多数のサムネイルをサーバー装置10からクライアント装置1に送信してしまうことによるデータ通信時間の増大化を回避することができる。
本画像処理システムにおけるサムネイルとデータ送信形態との関係を次の表2に示す。
同表に示すように、第1合成画像、第2合成画像及び第3合成画像に加えて、複数のSam4のサムネイルを合成した第4合成画像も構築するようになっている。この第4合成画像の長辺の最大サイズについては、実施形態における第3合成画像と同様に10,000[画素]に設定している。サムネイル数が比較的多いことで、10,000[画素]を超えてしまうには、複数の分割第4合成画像に分割する。
Sam2、Sam3、Sam4のサムネイルについては、合成画像の形態で送信する場合と、サムネイルで送信する場合とがある。これは、一覧表示部905内でのサムネイル表示サイズが、合成画像に適した大きさであっても、サムネイル数が比較的多い場合には、合成画像の送信に代えて、サムネイルの送信が行われるからである。
なお、合成画像を送信するのか、サムネイルを送信するのかを、画像表示倍率に基づいて決定する方式と、サムネイル数に基づいて決定する方式とを併用してもよい。例えば、合成画像の拡大閾値を超える表示倍率になった場合は、強制的に個々のサムネイルの表示モードに切り替えるなどしても良い。
[第2変形例]
第2変形例に係る画像処理システムは、第1変形例と同様に、個々の画像データから特徴量を抽出した結果に基づいて配置位置を決定することで、互いに似通った画像のサムネイル同士を近くに配設するように、配置位置決定手段16を構成している。非常に似通った画像のサムネイル同士は、互いに部分的に重なるように配置される。
第2変形例に係る画像処理システムは、第1変形例と同様に、個々の画像データから特徴量を抽出した結果に基づいて配置位置を決定することで、互いに似通った画像のサムネイル同士を近くに配設するように、配置位置決定手段16を構成している。非常に似通った画像のサムネイル同士は、互いに部分的に重なるように配置される。
また、第2変形例に係る画像処理システムは、一覧表示部905内のサムネイルデータ容量に基づいて、合成画像を送信するのか、サムネイルを送信するのかを決定するようになっている。サムネイルの存在条件として、一覧表示部905内のサムネイルデータ容量を採用しているのである。より詳しくは、先に図9に示したS5kの工程において、表示サイズについて合成表示閾値を超えるか否かを判断する代わりに、一覧表示部905内に存在する全てのサムネイルのデータ容量について合成表示閾値を超えるか否かを判断するようになっている。また、S5mやS5pの工程において、表示サイズについて拡大閾値を超えるか否かを判断する代わりに、一覧表示部905内に存在する全てのサムネイルのデータ容量について拡大閾値を超えるか否かを判断するようになっている。
一覧表示部905内に存在する全てのサムネイルのデータ容量については、次のようにして算出すればよい。即ち、一覧表示部905内の個々のサムネイルを配置位置のデータに基づいて特定し、それぞれについてサーバー装置10からデータ容量の情報を取得して合計していけばよい。サムネイルを階層符号化して登録している場合には、メインメモリに展開するときの複合化後の容量を把握することが望ましい。複合化後の容量については、表示画像のサイズから簡易に算出しても良く、表示に必要な階層分の符号量を全画像分積算して求めても良い。
かかる構成においては、サーバー装置10とクライアント装置1との間のデータ通信容量を制限することで、表示切り替え1回あたりにおけるデータ通信時間を所定時間内に確実に留めることができる。
1:クライアント装置(第2データ処理装置)
3:通信制御手段(データ決定手段)
4:入力デバイアス(入力操作受付手段)
5:特定手段
6:表示データ生成手段
12:通信制御手段(データ決定手段)
13:サムネイル構築手段(表示用画像構築手段)
14:ハードディスク(データ記憶手段)
15:合成画像構築手段
16:配置位置決定手段
907:サムネイル(表示用画像)
3:通信制御手段(データ決定手段)
4:入力デバイアス(入力操作受付手段)
5:特定手段
6:表示データ生成手段
12:通信制御手段(データ決定手段)
13:サムネイル構築手段(表示用画像構築手段)
14:ハードディスク(データ記憶手段)
15:合成画像構築手段
16:配置位置決定手段
907:サムネイル(表示用画像)
Claims (5)
- 第1データ処理装置に記憶されている複数の画像に基づいて、複数の表示用画像を並べて配置した一覧画像を表示するための表示データを第2データ処理装置で生成する画像処理システムにおいて、
データ記憶手段に記憶されている複数の上記画像について、それぞれ画像表示手段の画面上での配置位置を決定する配置位置決定手段と、それらの画像についてそれぞれ、上記表示用画像として、第1表示用画像、及び該第1表示用画像とは異なる画像サイズの第2表示用画像を構築する表示用画像構築手段と、それら第2表示用画像を該配置位置に従って並べて1つにまとめた合成画像を構築する合成画像構築手段とを上記第1データ処理装置に設け、
ユーザーによる入力操作を受け付ける入力操作受付手段と、該入力操作受付手段による受付結果に基づいて上記一覧画像における上記画像表示手段での表示箇所、及び該表示箇所における表示用画像の存在条件を特定する特定手段と、該存在条件に基づいて上記第1データ処理装置から上記第2データ処理装置に送信するデータについて、上記合成画像のデータにするのか、あるいは、上記配置位置のデータ、及び少なくとも上記表示箇所に含まれる上記第1表示用画像のデータにするのかを決定するデータ決定手段とを上記第1データ処理装置又は第2データ処理装置に設け、
且つ、
上記第1データ処理装置から上記合成画像のデータが送られてきた場合には、上記合成画像を上記一覧画像として表示するための表示データを生成する一方で、上記配置位置のデータ及び上記第1表示用画像のデータが送られてきた場合には、これらのデータに基づいて、上記一覧画像のうち、上記表示箇所とは異なる箇所の全て又は一部を除外した部分一覧画像を表示するための表示データを生成する表示データ生成手段を上記第2データ処理装置に設けた
ことを特徴とする画像処理システム。 - 請求項1の画像処理システムであって、
上記存在条件が上記表示箇所の表示倍率であることを特徴とする画像処理システム。 - 請求項1の画像処理システムであって、
上記存在条件が上記表示箇所における表示用画像数であることを特徴とする画像処理システム。 - 請求項1の画像処理システムであって、
上記存在条件が上記表示箇所の画像データ容量であることを特徴とする画像処理システム。 - データ記憶手段に記憶されている複数の画像に基づいて所定の処理を実施する第1工程と、それら画像に基づいて、複数の表示用画像を並べて配置した一覧画像を表示するための表示データを生成する第2工程とを具備する画像処理方法において、
上記データ記憶手段に記憶されている複数の上記画像について、それぞれ画像表示手段の画面上での配置位置を決定する配置位置決定処理と、それらの画像についてそれぞれ、上記表示用画像として、第1表示用画像、及び該第1表示用画像とは異なる画像サイズの第2表示用画像を構築する表示用画像構築処理と、それら第2表示用画像を該配置位置に従って並べて1つにまとめた合成画像を構築する合成画像構築処理とを上記第1工程に設け、
ユーザーによる入力操作を受け付ける入力操作受付処理と、該入力操作受付処理における受付結果に基づいて上記一覧画像における上記画像表示手段での表示箇所、及び該表示箇所における表示用画像の存在条件を特定する特定処理と、該存在条件に基づいて上記第1工程から上記第2工程に送信するデータについて、上記合成画像のデータにするのか、あるいは、上記配置位置のデータ、及び少なくとも上記表示箇所に含まれる上記第1表示用画像のデータにするのかを決定するデータ決定処理とを上記第1工程又は第2工程に設け、
且つ、
上記第1工程から上記合成画像のデータが送られてきた場合には、上記合成画像を上記一覧画像として表示するための表示データを生成する一方で、上記配置位置のデータ及び上記第1表示用画像のデータが送られてきた場合には、これらのデータに基づいて、上記一覧画像のうち、上記表示箇所とは異なる箇所の一部又は全てを除外した部分一覧画像を表示するための表示データを上記配置位置に基づいて生成する表示データ生成処理を上記第2工程に設けた
ことを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008022603A JP2009182933A (ja) | 2008-02-01 | 2008-02-01 | 画像処理システム及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008022603A JP2009182933A (ja) | 2008-02-01 | 2008-02-01 | 画像処理システム及び画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009182933A true JP2009182933A (ja) | 2009-08-13 |
Family
ID=41036505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008022603A Withdrawn JP2009182933A (ja) | 2008-02-01 | 2008-02-01 | 画像処理システム及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009182933A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014016869A (ja) * | 2012-07-10 | 2014-01-30 | Mitsubishi Electric Corp | ユーザインタフェース設計装置 |
JP2015053563A (ja) * | 2013-09-05 | 2015-03-19 | キヤノン株式会社 | 画像閲覧システム、画像記録装置及び画像閲覧装置 |
CN106250070A (zh) * | 2015-06-09 | 2016-12-21 | 精工爱普生株式会社 | 显示控制装置 |
-
2008
- 2008-02-01 JP JP2008022603A patent/JP2009182933A/ja not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014016869A (ja) * | 2012-07-10 | 2014-01-30 | Mitsubishi Electric Corp | ユーザインタフェース設計装置 |
JP2015053563A (ja) * | 2013-09-05 | 2015-03-19 | キヤノン株式会社 | 画像閲覧システム、画像記録装置及び画像閲覧装置 |
CN106250070A (zh) * | 2015-06-09 | 2016-12-21 | 精工爱普生株式会社 | 显示控制装置 |
JP2017004197A (ja) * | 2015-06-09 | 2017-01-05 | セイコーエプソン株式会社 | 表示制御装置 |
CN106250070B (zh) * | 2015-06-09 | 2021-02-26 | 精工爱普生株式会社 | 显示控制装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7529420B2 (en) | Method of displaying a thumbnail image, server computer, and client computer | |
US8456721B2 (en) | Mosaic image generating apparatus and method | |
JP4603947B2 (ja) | 画像通信システム、サーバ装置およびその制御方法、並びにコンピュータプログラム | |
JP5247601B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
JP2009009334A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP4738943B2 (ja) | 画像処理装置およびその方法 | |
US20130222872A1 (en) | Image Forming Device Creating A Preview Image | |
US20120297280A1 (en) | Web Page Hot Spots | |
JP2008140361A (ja) | 画像処理装置、または画像処理方法 | |
JP4208780B2 (ja) | 画像処理システム及び画像処理装置の制御方法並びにプログラム | |
JP2008283717A (ja) | 画像走査処理システム、画像走査処理方法、及び走査画像符号化データからなるマスタファイルの選択方法 | |
JP5848538B2 (ja) | 情報処理システム、情報処理装置、出力装置、および情報処理方法 | |
JP2012230623A (ja) | 文書ファイル表示装置、方法およびプログラム | |
JP4338856B2 (ja) | 編集コマンドを提供する方法およびシステム | |
JP2010049158A (ja) | 画像処理装置 | |
JP3747916B2 (ja) | Jpeg2000符号化装置,復号化装置,符号化方法及び復号化方法 | |
US8891109B2 (en) | Printing device capable of displaying thumbnail image of image file | |
US20080231869A1 (en) | Method and apparatus for displaying document image, and computer program product | |
US8619316B2 (en) | Document processing apparatus and method for processing document using the same | |
JP2009182933A (ja) | 画像処理システム及び画像処理方法 | |
JP4343057B2 (ja) | 画像形成システム | |
JP2010125779A (ja) | 印刷装置及びプログラム | |
JP2009181450A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2010044498A (ja) | 画像処理装置 | |
JP4312210B2 (ja) | モバイルウェブブラウザに対応する画像拡大/縮小方法およびプログラム、ならびにそれを利用した使用者インターフェイスおよび画像送信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110405 |