JP2008052496A - 画像表示装置、画像表示方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】サムネイルのように一覧として表示された状態でプレビュー等の機能を必要とせずに文書内容を把握し、あるいは一覧の状態で各文書内容を確認しながら目的の作業が処理できる。
【解決手段】画像分割処理部１１３は入力画像のレイアウトを解析し、画像要素を部分画像に領域分割し、分割画像情報ＤＢ１１７に格納する。クライアント１００からの文書画像のサムネイル表示要求に対して、画像選択処理部１１６は、ＤＢ１１７から画像サイズが最大の部分画像を複数選択し、クライアントに送信し、一覧表示する。
【選択図】図１

Description

本発明は、画像の構造を解析し、分割した部分画像を解析結果に基づいて一覧表示する画像表示装置、画像表示方法、プログラムおよび記録媒体に関し、例えば複写機の複合機、ファイルサーバ、画像処理プログラム等に好適な技術に関する。

紙文書をスキャナ等の入力デバイスを使用して電子化する例えば電子ファイリング等の装置があるが、専ら紙文書を大量に扱う業務用途として使用されていた。近年、スキャナの低価格化やスキャン機能を搭載したＭＦＰ（Multi Function Printer）の普及、またｅ−文書法等の法制化により一般的なオフィスにおいてもそのハンドリングの良さや利便性が認知され、紙文書をスキャンして電子化する機会が増えている。また、同時に電子化された文書画像データをデータベース（以下ＤＢ）化して管理する画像ＤＢの用途も増加している。例えば、紙文書の原本が保存されていても、管理や検索のし易さから画像ＤＢを構築する場合もある。

このような文書画像ＤＢは、サーバ装置を設置して多数の人がアクセスする大規模なものから、個人のＰＣ内にＤＢを構築するパーソナルな用途まで様々である。また、近年のＭＦＰでは、内臓のＨＤＤに文書を蓄積する機能を備えており、ＭＦＰをベースとして文書画像ＤＢを構築する例もある。

このようなＤＢ内に蓄積されている文書を再度、閲覧あるいは印刷など再利用しようとしたときに、目的の文書を探し出す一手段としてサムネイル表示がある。これは縮小した文書画像を画面上に複数個並べることで、簡易的に文書内容を把握することを目的としている。

例えば、レイアウトが類似している文書（特許公開公報のようなあまり特徴のないレイアウトの文書）画像を単純に等分割して、各エリアの一部だけを集めてサムネイルを生成する方法（特許文献１を参照）、表示画面上に複数枚の画像を認識可能な一部（画像のタイトル）のみを並べて表示する方法（特許文献２を参照）、文書種類を文字／絵柄に判別し、文字文書なら拡大表示したサムネイルとし、表示エリアは文書の先頭の文字領域を表示し、文字文書は固定的に先頭を拡大表示する方法（特許文献３を参照）、各文書ごとにその文書に存在している属性のアイコンを表示し、簡易的に構成要素を明示し、それに連動してオブジェクトを表示し、各文書単位での内容把握を補助する方法（特許文献４を参照）、表示画面を区分し、テキストとイメージを混在一覧表示し、また、縮小率を２つ設けて、それぞれに適した倍率で表示する方法（特許文献５を参照）などがある。

上記した特許文献１〜３は、テキスト画像の視認性を向上させた一覧表示に関するが、全て画像の一部を単純に切り出して拡大表示するものである。単純な切り出しのため、文の段落が無視されるので文脈が切れ、閲覧者はその切り出し部分だけで内容を把握することは難しく、切り出し部のフォントサイズによっては全く理解できないことも予想される。その場合、閲覧者は文書全体を再度、プレビューしなければならない。また、特許文献１〜３は文字部分を対象とし、図や表などの視認性については考慮されていない。

特許文献４、５は、テキスト以外の属性オブジェクトも対象としているが、一覧表示状態で複数の文書の内容を一度に把握するにはユーザーアクションが必要であり、表示内容から文書内容を把握することは難しい。

特開２００１−６１０６０号公報 特開平７−２８２０６５号公報 特開２００５−０７３０１５号公報 特開２００４−０５４８３９号公報 特許第３２３４１４８号公報 特開２００１−２９７３０３号公報 特開平７−７３２７１号公報

上記したように、限られた画面上に複数の文書を一度に表示するため、通常、個々の文書の縮小画像はかなり解像度を落とした画像となる。文書の構成要素が主に写真の場合は、解像度を落とした縮小画像の状態でもその内容把握は容易である。しかし、文字中心の文書の場合、その縮小画像では全く判読は不可能である。特にＤＢ内の文書が同じようなレイアウトの文字中心の文書の場合、通常のサムネイル表示状態では目的の文書を判別できない。この場合、ユーザーは個々の文書をプレビュー機能を使って、画面上の新しいウィンドウ上に展開し、拡大表示して確認する必要がある。拡大率も通常、数段階用意されていて、当初の拡大率では文字が読めない場合は、更に拡大ボタンなどを使って詳細確認が可能となるまで拡大していく必要がある。また、このプレビュー機能もＤＢに保存されている元画像の解像度によっては表示の展開に多くのメモリを必要とし、メモリやＣＰＵ等のスペックによっては、文書表示に時間がかかる場合もある。

このように、サムネイル表示は写真画像の場合は有用な表示方法であるが、レイアウトが同じような文書画像や、文字中心の文書画像の場合は、目的文書の判別が極めて難しい。

本発明は上記した問題点に鑑みてなされたものであり、
本発明の目的は、ＭＦＰのＨＤＤ、またはサーバなどに蓄積された複数の文書画像中から目的の文書を探すための画像表示において、サムネイルのように一覧として表示された状態でプレビュー等の機能を必要とせずに文書内容を把握し、あるいは、一覧の状態で各文書内容を確認しながら目的の作業が処理でき、また、表示する単位を意味が成立する単位に切り出した部分画像とすることで、更に内容の把握を容易にした画像表示装置、画像表示方法、プログラムおよび記録媒体を提供することにある。

本発明は、画像を部分画像に分割する画像分割手段と、該分割された部分画像の属性を判定する属性判定手段と、前記画像分割手段の分割結果と前記属性判定手段の属性判定結果に基づいて複数の部分画像を選択する画像選択手段と、前記選択された部分画像を所定の表示領域に表示する表示手段とを有することを最も主要な特徴とする。

請求項１、１０：文書画像の構造を解析し、意味が成立する単位に部分画像として切り出したものを、一覧表示に用いることによって、表示されている画像自体の視認性を向上させ、その状態で文書内容の把握が容易となる。そのため、文書を再表示（プレビュー機能）する必要がないため、従来、必要とされた、ユーザーアクションや、画像の展開に要する時間が不要になり、ユーザーの待ち時間もなくなる。また、文書全体を展開するためのメモリも必要なく、表示する部分画像のメモリ分だけでよい。更に、一覧表示の状態で各文書の内容把握が可能となるので、文書が複数あるときに、ユーザーはスクロールなどのごく簡単なアクションで文書を追跡できる。

請求項２、１１：表示する部分画像を画像中の最大サイズのものとすることで、文書の概要を端的に表している部分を表示することができ、ユーザーは文書内容の把握が容易となる。また、文書全体を表示対象とするよりも倍率を上げて表示できるため、視認性も向上させることができる。

請求項３、１２：ユーザーの閲覧、印刷などの対象が、所定の属性の部分画像である場合に、その属性の部分画像のみを表示対象とすることができるので、検索効率、作業効率が向上する。

請求項４、１３：存在している各属性種から代表画像を抽出して表示することにより、文書中に存在する複数種類の属性の部分画像を一覧として見ることできるので、検索効率が向上する。

請求項５、１４：文字認識機能を用いてユーザーが記憶しているキーワードを入力として部分画像を抽出することができる。従って、キーワードを含む図や表はもちろん、画像としてのデザイン性などの情報も得ることができ、現状のキーワード検索による検索結果の出力では得られない各種情報をユーザーに提供することができ、検索効率が向上する。

請求項６、１５：検索対象とする部分画像を所定の属性種のものに限定することにより、文字認識処理の負荷が低減され、表示までの処理が高速化される。

請求項７、１６：所定の部分画像同士を関連付けし、図や表のキャプションなどを一体化したものを表示対象として扱うことにより、その部分画像単体で意味が成立したオブジェクトを表示することが可能となり、一覧表示状態で、更に文書内容の把握が容易になり、検索効率が向上する。

請求項８、１７：部分画像に含まれている文字の大きさに応じて、表示の倍率を決定することで、表示されている文書の視認性が向上し、検索効率が向上する。

請求項９、１８：ユーザーが表示形態を選択できるので、好みに応じた、あるいはＤＢに蓄積されている文書種類に応じた表示を行うことができ、ユーザビリティーが向上する。

以下、発明の実施の形態について図面により詳細に説明する。

実施例１：
図１は、本発明の実施例１のシステム構成例を示し、クライアントとサーバが外部Ｉ／Ｆによって接続されている場合を例に説明する。本発明は、基本的には、（１）画像登録、（２）登録画像の表示の２つの処理に大別され、図中の実線の矢印は（１）画像登録時における処理を示し、点線の矢印は（２）登録画像の表示における処理を示す。

図１において、１００はパーソナルコンピュータ（以下ＰＣ）、ＰＤＡや携帯電話等のモバイル端末等のクライアント装置である。１０１はモニタ等の表示デバイス、１０２はユーザ指示の解釈、サーバ１１０との通信、表示デバイス１０１の制御を行うアプリケーションプログラム、１０３はユーザからの指示入力手段であるキーボードやマウス等の入力デバイス、１０４はＬＡＮやインターネット等の外部通信路である。

１１０はクライアント１００からの閲覧要求に応じて表示する画像をクライアント１００へ出力するサーバ装置、１１１は外部通信路１０４とのインターフェース（以下Ｉ／Ｆ）、１１２は画像ＤＢの登録、読み出し等を制御する画像ＤＢ制御処理部、１１３は入力画像のレイアウトを解析し、画像要素を部分画像に領域分割してオブジェクト化する画像分割処理部、１１４は分割された画像の特徴から属性を判定するオブジェクト属性解析処理部、１１５は登録画像を蓄積するための画像ＤＢ、１１６は画像分割処理部１１３の結果と属性解析処理部１１４の結果を基に表示画像を選択する画像選択処理部、１１７は画像分割処理部１１３で分割された部分画像、及び画像情報を蓄積するための分割画像情報ＤＢである。

図２は、サーバ装置１１０の構成を示す。図２において、２０１はプログラムに応じた演算や処理を行うＣＰＵ、２０２はプログラムのコードや画像の符号データ等のデータを一時的に記憶、保持するワーク領域として使用される揮発性のメモリ、２０３は画像データやプログラム等を保存、蓄積するためのハードディスク（以下ＨＤＤ）、２０４はモニタ２０５へ表示するためのデータバッファとなるビデオメモリである。ビデオメモリ２０４に書き込まれた画像データはモニタ２０５へ表示される。２０６はインターネットやＬＡＮ等の外部通信路１０４を介してデータを送受信する外部Ｉ／Ｆ、２０７は各々の構成要素を接続するバスである。なお、マウスやキーボード等の入力デバイスは、説明の簡略化のために省略している。

本実施例では、サーバ、クライアント間による実施形態を例に説明する。本発明の実施形態はこれに限定されず、ＭＦＰ等の装置内にハードウェアによって処理を行うように構成しても良いし、また、サーバ、クライアント構成を採らずに、例えば１つのＰＣやＭＦＰ等の機器内に、図１を構成するようにしても良い。

また、表示に用いられる文書全体の縮小画像、または分割画像などすべてのデータはあらかじめサーバ１１０で生成され、画像ＤＢ１１５、もしくは分割画像情報ＤＢ１１７に保存されているものとする。

クライアント側１１０では、アプリケーション１０２上で、画像ＤＢ１１５、もしくは分割画像情報ＤＢ１１７内に保存されている画像の一覧（サムネイル）表示を行う。

サーバ１１０は画像データを入力し、記憶媒体へ保存し、データベース（ＤＢ）化しておく。画像の入力形態については、種々の方法があるが、例えば、サーバに接続されたスキャナ等の専用機器からビットマップ画像を入力する、ネットワーク経由によりサーバに接続されたスキャナやクライアントＰＣ等の外部機器から電子画像データを受信する。なお、電子画像データとしては、ＰＤＦ等の特定フォーマットデータや、ビットマップをＪＰＥＧやＪＰＥＧ２０００等で圧縮処理されたデータなどがある。またＷＯＲＤ、ＥＸＣＥＬ等といった特定アプリケーションのデータや、ＰＳ（ポストスクリプト）やプリンタドライバが出力するＰＤＬなどのデータ形態があり、その形態も多様である。

また、画像データのＤＢの蓄積形態についても種々の方法がある。例えば、入力の形態のまま蓄積（例えば、ＪＰＥＧ圧縮画像データやＰＤＦデータ等が混在する形態）、所定のフォーマットの形態に変換して蓄積（例えば、全てＪＰＥＧ等の同一フォーマットへ変換して蓄積）などである。また、入力形態に応じて数種類のフォーマットを混在させても良い。例えば、スキャン画像等のビットマップ形式の画像データであればＪＰＥＧ圧縮画像として蓄積し、特定アプリケーションの電子データであれば、ＰＤＦフォーマットの画像データとして蓄積しても良い。

本実施例では、以下、説明するように、ＤＢからビットマップ画像や電子データを抽出し、レイアウト解析、オブジェクト分割、属性判定、画像選択を行い、クライアント端末１００へ画像を配信し、クライアント側で表示、及び閲覧する。

図１のシステム構成において、画像ＤＢに蓄積する場合、基本的には、（１）画像登録、（２）登録画像の表示の２つの処理に大別される。

図３は、画像登録における処理フローチャートを示す。ユーザーが登録画像を入力する（ステップ１）。例えば、スキャナにより複数枚の文書を一度に読み込み、あるいは一文書ごとに入力する。入力画像は外部通信路１０４、外部Ｉ／Ｆ１１１、画像ＤＢ制御部１１２を経て画像分割処理部１１３に取り込まれ、部分画像に分割される（ステップ２）。この部分画像のサイズは表示画像のサイズとは直接関係ない。

次に、オブジェクト属性解析処理部１１４は、分割された個々の部分画像の属性を解析する（ステップ３）。ここで、各部分画像に対して、文字、写真、図などの属性情報が割り付けられる。以上の処理を全ての入力画像に対して行う（ステップ４）。

図４は、登録画像の表示処理のフローチャートを示す。ユーザーがＤＢなど、画像を蓄積している記憶媒体へアクセスし、そこにある文書画像のサムネイル表示を要求する（ステップ１１）。サーバ１１０の画像ＤＢ制御部１１２は該要求を受け付け、画像選択処理部１１６は、後述する各種表示条件により表示に用いる画像を選択し、クライアント１００に送信する（ステップ１２）。クライアント１００のアプリケーション１０２は、選択された画像をモニタなど表示媒体にあわせた表示形態に生成する（ステップ１３）。

以上の処理をユーザーが要求したフォルダ内の全ての文書に対して行い、一覧表示画面を生成する。

図１の画像分割処理部１１３、オブジェクト属性解析処理部１１４を説明する。まず、入力された文書画像データに対して画像要素の抽出処理を行う。画像要素の抽出は、入力データが電子データの場合は、文字データがフォントと座標情報等で表されているためビットマップの画像データとは容易に区別することが可能であり、座標情報もデータ中に含まれているため、容易に画像要素の矩形領域情報、属性情報等を抽出することが可能である。

一方、スキャンデータのように全面ビットマップ画像のデータの場合は、ＯＣＲ処理の前処理等でよく使用される領域の識別処理を行う。例えば、文書画像の背景色を特定し、背景色を用いて該文書画像から背景領域以外の画素を抽出し、該画素を統合して連結成分を生成し、該連結成分を少なくとも形状特徴を用いて所定の領域に分類して、文字や写真を識別する方法（特許文献６を参照）を用いる。また、文字領域識別の他の例として、適応的な２値化処理を行った後、外接矩形の形状を利用して、文字領域を識別する方法（特許文献７を参照）を用いる。

図５は、入力画像データの一例を示し、図６は、図５の画像データの一部分に対して、画像要素抽出処理の結果を示す。図６において、３００〜３１４に示す矩形は、抽出された画像要素を示す。しかし、このように細かい矩形の状態では表示する際にそれ単体では意味をなさないと予想できる。例えば、カメラの周囲に存在している、寸法線（３０３，３０２）などの情報はまとめて１つのオブジェクトとして管理した方が扱いやすい。よって、このように分散しているオブジェクト同士を関連付けし、統合することで、単体でも意味をなすことが可能となる。図７は、図６のオブジェクトを必要に応じて統合した結果例を示す。ここでは、カメラの写真周辺に付随している寸法線を同じオブジェクト４０１として統合した。図７の矩形領域４０１〜４０８は各オブジェクトである。他に統合対象として効果的なのは図、表、写真などのキャプションや、注釈などである。

図８は、画像分割処理部における、オブジェクト抽出処理のフローチャートである。ステップ２１において、未オブジェクト化の画像要素から最大サイズの画像要素を抽出する。ここでのサイズは、幅と高さの二つの要素を用いるが、両者を足しても良いし、面積として判別しても良い。
ステップ２２において、抽出されたオブジェクトの周囲要素から同一オブジェクトに統合するか否かの判定を行う。この判定についての詳細は後述する。

ステップ２３において、全ての要素がオブジェクト化されるまで上記の処理を繰り返し、全てがオブジェクト化された時点で処理を終了する。

図９は、オブジェクト統合化判定処理のフローチャート（ステップ２２の詳細）である。
ステップ３１において、抽出された画像要素（以下自要素）をオブジェクトとする。この時点ではオブジェクトの矩形領域は自要素と同一となる。ステップ３２において、自要素のブロックサイズに応じて、サイズの閾値と距離の閾値を設定する。ステップ３３において、最も距離の近い要素を対象要素として抽出する。ステップ３４において、対象要素のサイズが閾値以下か否か判定し、閾値よりも大きい場合は同一オブジェクトへの統合をしないように以下の判定処理をとばす。ステップ３５において、対象要素との距離が閾値以下か否か判定し、閾値よりも大きい場合は同一オブジェクトへの統合をしないように以下の判定処理をとばす。ステップ３６において、自要素と対象要素との相対的な位置関係を検出し、関係が無い場合には、同一オブジェクトへの統合をしないように以下の判定処理をとばす。

ここでの位置関係は、両者の２次元的な位置関係を識別するものであり、以下の（１）から（３）の項目中一つでも当てはまる場合、位置的な関係有りと判断する。
（１）２つの要素の中心座標のｘ，ｙのいずれかが略同一
（２）２つの要素の端部座標のｘ，ｙのいずれかが略同一
（３）自要素の左端から右端のｘ座標領域内または上端から下端のｙ座標領域内に対象要素の領域が含まれる。

例えば、図６の例では、要素３０１と３０３は中心のｘ座標値が略同一であるため（１）の条件に該当し、また、要素３０１と３０６では要素３００のｘ座標領域（要素３０１の右端から左端の領域）に要素３０６のｘ座標領域が含まれるため（３）の条件に該当する。要素３０１と３１１では、要素３１１のサイズ（面積）が大きいため同一オブジェクトには含まれないことになる。

ステップ３７において、自要素と対象要素を同一オブジェクトへ統合し、オブジェクトの矩形領域を更新する。ステップ３８において、周囲要素に対して処理が終了したか否かを判定し、終了していなければステップ３３以下の処理を繰り返す。

統合の際に、属性が文字の矩形と、写真の矩形とが統合される場合も考えられるが、その場合の統合後の属性の決定方法としては、統合対象となるオブジェクトのうち最大サイズの矩形の属性を、統合後の属性とする。

以上のようにして、元画像をオブジェクトに分割し、意味の成立する単位にオブジェクトを統合し、部分画像を再構築し、またその属性情報を判定する。

図１の画像選択処理部１１６について説明する。上述した方法により、ＤＢに登録されている全画像が処理され、分割画像情報ＤＢ１１７に、分割画像の実態や、その属性情報、サイズ等のメタデータとともに保存されている。メタデータは、例えばＤＢのメモリ上にテーブルで管理される。各文書毎に、１．文書全体における分割画像の通し番号、２．文書全体に対する開始座標、３．ｗｉｄｔｈ、ｈｅｉｇｈｔ、４．属性情報、５．本オブジェクトデータへのアドレス、６．オリジナルデータへのアドレス、７．文書全体の縮小画像データ（サムネイルデータ）へのアドレス、８．オブジェクト間の関連付け（統合）情報などの情報を記録、管理する。管理するメタデータはこれに限るものではない。

図１０は、図６の分割結果のメタデータの管理テーブルの一例を示す。通しＮｏ．１は、図６の要素３００のメタデータである。オリジナル画像における開始座標は（１００，２００）である。ここではｐｉｘｅｌ値を示す。矩形の幅と高さは（８０，１０００）である。属性の１はタイトルを示している。オリジナル関連付け情報８に記載した０は、本オブジェクトには関連付けされた統合する他のオブジェクトが無いことを示している。

通しＮｏ．２は、図６の要素３０１のカメラの写真部分を示している。通しＮｏ．３は、図６の要素３０２の寸法線を示す。属性は図である。ここで関連付け情報に２とあるのは、通しＮｏ．２のオブジェクトと関連付けられることを示している。同様に通しＮｏ．４は、図６の要素３０３を示しており、属性は文字であり、Ｎｏ．２のオブジェクトと関連付けされていることを示している。以上のように全ての部分画像（オブジェクト）に対してテーブル上でメタ情報を管理する。

画像選択処理部１１６は、表示の形態に応じて、上述した分割画像情報ＤＢから部分画像を選択し、その結果は外部Ｉ／Ｆ１１１を通じて、クライアント１００のアプリケーション１０２へ送信される。

次に、選択の条件、すなわち表示の形態について説明する。
１．最大サイズの部分画像を表示する
図１１は、一文書において最大サイズのオブジェクトを選択する処理フローチャートを示す。この例では、最大サイズとは最大面積を意味する。

図１０に示す、管理されているデータの内、３．オブジェクトの矩形の幅と高さ情報を利用する。ｔｅｍｐの初期値は０として、先頭の通しＮｏ．１のオブジェクトからスタートする（ステップ４１）。ｗｉｄｔｈ、ｈｅｉｇｈｔに現在のオブジェクトの値を入れる（ステップ４２）。（ｗｉｄｔｈ＊ｈｅｉｇｈｔ）がｔｅｍｐよりも大きい場合には（ステップ４３）、ｔｅｍｐを更新し、そのオブジェクトＮｏを記憶する（ステップ４４）。以上の処理を、文書中の全オブジェクトに関して行う（ステップ４５）。その結果、文書中の最大面積のオブジェクトＮｏが選択されることになる。

以上の処理をＤＢに登録されている全文書、あるいはフォルダ内の全文書に対して行う。この処理はクライアントから表示の要求があってから処理するよりも、文書中で最大のオブジェクトを画像登録時に判別して、管理テーブル上に記録しておいてもよい。それにより、最大オブジェクトを判別する処理時間が省かれ、表示の応答速度が向上する。

クライアント１００のアプリケーション１０２上で一覧として表示された結果を図１２に示す。ここではＰＣモニタ５０４上に６個の文書を表示している。表示倍率は各文書に割りてられている表示枠５０１の中で最大に表示できる倍率として各画像５０２を表示している。５０３は、その画像が含まれているオリジナル画像のファイル名を明記している。この例では、６文書を表示しているが表示文書数はこれに限らない。一度に表示させる文書数を減らして１文書あたりの表示エリアを拡大すれば必然的に個々のオブジェクトの視認性は向上する。

また、対象とするオブジェクトは、図７に示したような統合後のオブジェクトを対象としてもよいし、あるいは図６の統合前のオブジェクトを対象としてもよい。この文書の場合は統合前後に係らず、最大サイズは図７の要素４０６の写真が選ばれる。

２．所定の属性種の部分画像を表示する。
図１３は、文書単位に、属性が写真で、かつ最大サイズのオブジェクトを選択する処理フローチャートを示す。図１０に管理されているデータのうち、３．ｗｉｄｔｈ、ｈｅｉｇｈｔ、と４．属性の情報を利用する。入力されたオブジェクトの属性を判定する（ステップ５２）。属性が写真のみを表示の対象とするので、属性が写真であるオブジェクトを処理対象として進める。次に、オブジェクトのサイズの判定を行う（ステップ５３、５４）。サイズの判定処理は図１１の処理フローと同様の処理を行えばよい。以上の処理を文書中の全オブジェクトに関して行う（ステップ５６）。その結果、文書中の目的とした属性、ここでは写真オブジェクトの最大面積のオブジェクトが選択される。すなわち写真が含まれない元画像は対象から除かれる。

以上の処理の結果をＤＢに登録されている全文書、あるいはフォルダ内の文書に対して行い、クライアントのアプリケーション上で一覧として表示された結果を図１４に示す。ここでも先に説明した最大サイズの部分画像の表示例と同様にＰＣモニタ６０４上に６個の文書を表示している。表示倍率は各文書に割りてられている表示枠６０１の中で、最大に表示できる倍率として各画像６０２を表示している。写真の場合は画像が縮小されていても、その内容の把握が容易であることが多い。よって、この例では６文書を表示しているが、表示文書数はこれに限らず増やしてもよい。６０３はその画像が含まれているオリジナル画像のファイル名を明記している。

３．各属性種から代表の部分画像を表示する
図１３の属性に関する判定ステップ５２において、例えば、タイトル、写真、図の３種類に限定し、それぞれについて、図１３の処理を行う。３つの属性のうち文書によっては存在しない属性オブジェクトもあるため、１〜３つのオブジェクトが選択される。以上のように選択されたオブジェクトをクライアントの表示端末上で一覧表示の画像として利用する。一覧表示された例を図１５に示す。この例では、モニタ７０１に３つの文書を表示しており、各文書において表示するオブジェクトの表示枠はあらかじめ固定されているものとしている。よってその枠内に最大となるように、各オブジェクトの拡大率が決定されて表示される。７０３の領域にファイル名を表示し、７０２の領域にタイトルを表示する。ここでの表示は、図１の分割画像情報ＤＢ１１７に保存されている部分画像をそのまま利用してもよいし、オリジナル画像が電子ファイルである場合は、そのテキストコードを用いて表示してもよい。７０４は写真オブジェクトとして存在した最大サイズのものが表示されている。同様に、７０５は図オブジェクトとして存在した最大サイズのものが表示されている。この例では全ての文書に各属性のオブジェクトが存在しているので、図１５のように表示できるが、例えば文書中に存在しない属性オブジェクトもある。その場合は、それに割り当てられた表示枠には何も表示しない、または存在している属性から追加して表示してもよい。

実施例２：
図１６は、実施例２のシステム構成を示す。実施例２では、実施例１の構成に、文字認識処理部１１８を追加する。画像分割処理部１１３で分割された各画像について文字認識を行う。ここでの処理は、入力画像が電子データの場合は、文字部はもともと文字コード化されているため文字認識処理は基本的に必要ない。入力画像がビットマップデータの場合に文字認識処理が必要となる。文字認識の方法については、一般的なＯＣＲ（光学的文字認識）を用いればよい。文字認識処理部１１８には、画像分割処理部１１３の結果とオブジェクト属性解析処理部１１４の結果が入力され、該当するオブジェクトに対して文字認識処理を行う。文字認識結果は分割画像情報ＤＢ１１７へ保存される。管理方法は、図１０の管理テーブル上に直接、文字認識結果である文字コードを記録してもよいし、別メモリ上に記憶してそこへアクセス可能なアドレスを管理テーブルに記憶してもよい。

クライアント１００では入力デバイス、例えばキーボードにより目的のキーワードを入力する。入力されたキーワードは外部Ｉ／Ｆ１１１を経てサーバ１１０の画像選択処理部１１６へ送られる。

図１７は、文字認識処理を用いた、画像選択の処理フローチャートを示す。既に文字認識処理された結果である文字コードからオブジェクト内にキーワードが含まれるか否かをチェックし（ステップ６２）、含まれるオブジェクトの中で最大サイズ（ｗｉｄｔｈ＊ｈｅｉｇｈｔ）のものを選ぶ（ステップ６３〜６５）。ここでは、最大サイズのオブジェクトを１つ表示したが、サイズに関して順位付けをして複数個表示してもよい。

図１８は、文字認識処理の対象を所定の属性に限る場合の、画像選択の処理フローチャートを示す。ここでは、ＯＣＲ対象を図の属性オブジェクトに限定している。この場合の属性種類の限定方法は、表示画面にラジオボタン等でクライアントが入力する手段を設けて、その都度、限定条件を入手してもよいし、アプリケーションの初期条件としてあらかじめ決定しておいてもよい。

上記した実施例１および２において、オブジェクトのサイズ判定に関しては、あらかじめ画像分割処理の際にサイズやサイズによる文書内での順位などを算出し、管理テーブルに記録しておいてもよい。

文字部を表示する際に、限られた表示領域の中に、所定の画像サイズのものを表示しようとすると、場合によっては文字が判読不可能となる場合もある。判読不可能な状態では、オリジナル画像にアクセスし、文書全体を展開しないと文書内容が確認できないことになる。

そこで、オリジナル画像にアクセスしなくても文書内容を確認可能とするために、文字オブジェクトの表示倍率を判読可能な倍率に制御する。通常のＣＲＴおよびＬＣＤを表示媒体としたとき、それらの解像度は１００ｄｐｉ程度である。また、画面上で文字を判読できる大きさとしては１文字２ｍｍ程度である。１００ｄｐｉのモニタで２ｍｍの文字は約８ｄｏｔ程度で構成される。よって、１００ｄｐｉのモニタをクライアントが使用している場合は、１文字を８ｄｏｔで表示すれば判読可能となる。図１６のクライアント１００において、表示するアプリケーション１０２は、接続している表示デバイス１０１の解像度情報を入手する。また、サーバ側では、文字認識処理部１１８が、文字の大きさに相当する、文字の高さまたは幅をｐｉｘｅｌ数で取得しておく。オブジェクト内に存在している文字は基本的には同じ文字サイズであるからオブジェクトとしての文字サイズを図１０の管理テーブルに追加して管理する。クライアント１００のアプリケーション１０２は表示する文字オブジェクトの文字サイズ（ｐｉｘｅｌ）とモニタの解像度から、表示倍率を算出する。

表示における拡大率は、以下の式により算出できる。
拡大率＝モニタ解像度／２５．４＊２／オブジェクトの文字サイズ
２５．４：１インチ＝２５．４ｍｍ
２ ：表示したい文字サイズ（ｍｍ）
オブジェクトの文字サイズ：オブジェクト（画像）の文字サイズ（ｐｉｘｅｌ）
このように拡大して文字オブジェクトを表示すると、モニタ上の表示枠の範囲内にオブジェクト全体が収まらない可能性もある。表示例を図１９に示す。説明の都合上１つのファイルだけを図示しているが、実際は図１５と同様に３文書表示されているものとする。８０２は表示する文字オブジェクトを示している。図に示した８０２の矩形の大きさは、表示モニタ８０１に表示する場合に、上記算出式で計算された拡大率で表示したときの大きさである。このままでは表示枠８０３には収まらない。表示方法は種々あるが、例えば表示例１のように枠内のみの表示とし、オブジェクトの左上部だけを表示する。または、表示例２のように、全体を画面上にポップアップさせて表示するが、表示方法はこれに限らない。

図１または図１６のシステム構成において、クライアント側から表示の形態を選択することもできる。アプリケーション上で表示形態を選択できる手段、例えばラジオボタンを設けて以下の選択肢から選ぶ。
（１）最大オブジェクト１つを表示する（図１２）
（２）所定の属性オブジェクトを表示する（図１４）
（３）存在する属性から各１つずつ表示する（図１５）
（４）文字を拡大表示する（枠内表示または枠外表示）（図１９）
（４）の文字の拡大表示に関してはＯＮ／ＯＦとして、実際の表示形態としては（１）〜（３）の中で選択してもよい。フォルダに保存されている文書種類によっては、（１）〜（３）の中で適切なものとそうでないものがある。例えば、（２）の表示方法は選択した属性オブジェクトが存在していない文書は一覧から除外されてしまうため、フォルダ内に様々なタイプの文書が雑多に入っているような場合は不向きであるが、ユーザーが写真から探したい場合には、（２）は有効である。このようにユーザーの要求に対応して適切な表示を選択することができる。この表示形態の切り替えは、アプリケーション上で一覧表示のたびに切り替えてもよいし、初期設定で設定してもよい。

上記した実施例はクライアントＰＣモニタ上での表示を例に説明したが、ＭＦＰの操作パネルや、その他表示デバイスでも実現可能である。

本発明の実施例１のシステム構成を示す。 サーバ装置の構成を示す。 画像登録の処理フローチャートを示す。 登録画像の表示処理のフローチャートを示す。 入力画像データの一例を示す。 画像要素の抽出例を示す。 統合後のオブジェクト例を示す。 オブジェクト抽出の処理フローチャートを示す。 オブジェクト統合化判定の処理フローチャートを示す。 分割画像ＤＢのメタデータの管理例を示す。 最大サイズの部分画像を表示する処理フローチャートを示す。 最大サイズの部分画像を一覧表示した例を示す。 写真オブジェクトの最大サイズの部分画像を表示する処理フローチャートを示す。 写真の最大サイズの部分画像を一覧表示した例を示す。 各種の属性オブジェクトを表示した例を示す。 本発明の実施例２のシステム構成を示す。 文字認識処理を用いた画像選択の処理フローチャートを示す。 文字認識処理を図オブジェクトに限定した場合の、画像選択の処理フローチャートを示す。 文字オブジェクトを拡大表示した例を示す。

符号の説明

１００ クライアント装置
１０１ 表示デバイス
１０２ アプリケーションプログラム
１０３ 入力デバイス
１０４ 外部通信路
１１０ サーバ装置
１１１ 外部Ｉ／Ｆ
１１２ 画像ＤＢ制御部
１１３ 画像分割処理部
１１４ オブジェクト属性解析処理部
１１５ 画像ＤＢ
１１６ 画像選択処理部
１１７ 分割画像情報ＤＢ

Claims (20)

1. 画像を部分画像に分割する画像分割手段と、該分割された部分画像の属性を判定する属性判定手段と、前記画像分割手段の分割結果に基づいて、または前記画像分割手段の分割結果および前記属性判定手段の属性判定結果に基づいて複数の部分画像を選択する画像選択手段と、前記選択された部分画像を所定の表示領域に表示する表示手段とを有することを特徴とする画像表示装置。
2. 前記画像選択手段は、前記分割された部分画像の内、画像サイズが最大のものを選択することを特徴とする請求項１記載の画像表示装置。
3. 前記画像選択手段は、前記属性判定手段により判定された部分画像の内、所定の属性種の画像を選択することを特徴とする請求項１記載の画像表示装置。
4. 前記画像選択手段は、前記属性判定手段により判定された各属性種から代表の部分画像を選択することを特徴とする請求項１記載の画像表示装置。
5. キーワードを入力する手段と、文字認識する手段とを有し、前記画像選択手段は、前記キーワードと一致する文字列を含む部分画像を選択することを特徴とする請求項１記載の画像表示装置。
6. 前記画像選択手段は、選択する対象を所定の属性種に限定することを特徴とする請求項５記載の画像表示装置。
7. 前記分割結果と前記属性判定結果に基づいて部分画像間に関連付けする画像関連付け手段を有し、前記関連付け手段により関連付けされた結果と前記分割結果および属性判定結果に基づいて複数の部分画像を選択する画像選択手段と、前記選択された部分画像を所定の表示領域に表示する表示手段とを有することを特徴とする請求項１記載の画像表示装置。
8. 前記表示手段は、文字を有する部分画像において文字が判読可能な倍率を算出する手段を有し、該算出された倍率で表示することを特徴とする請求項１または７記載の画像表示装置。
9. 表示形態を選択する手段を有し、前記画像選択手段は選択された表示形態に基づいて画像を選択することを特徴とする請求項１乃至８のいずれか１項に記載の画像表示装置。
10. 画像を部分画像に分割する画像分割工程と、該分割された部分画像の属性を判定する属性判定工程と、前記画像分割工程の分割結果に基づいて、または前記画像分割工程の分割結果および前記属性判定工程の属性判定結果に基づいて複数の部分画像を選択する画像選択工程と、前記選択された部分画像を所定の表示領域に表示する表示工程とを有することを特徴とする画像表示方法。
11. 前記画像選択工程は、前記分割された部分画像の内、画像サイズが最大のものを選択することを特徴とする請求項１０記載の画像表示方法。
12. 前記画像選択工程は、前記属性判定工程により判定された部分画像の内、所定の属性種の画像を選択することを特徴とする請求項１０記載の画像表示方法。
13. 前記画像選択工程は、前記属性判定工程により判定された各属性種から代表の部分画像を選択することを特徴とする請求項１０記載の画像表示方法。
14. キーワードを入力する工程と、文字認識する工程とを有し、前記画像選択工程は、前記キーワードと一致する文字列を含む部分画像を選択することを特徴とする請求項１０記載の画像表示方法。
15. 前記画像選択工程は、選択する対象を所定の属性種に限定することを特徴とする請求項１４記載の画像表示方法。
16. 前記分割結果と属性判定結果に基づいて部分画像間に関連付けする画像関連付け工程を有し、前記関連付け工程により関連付けされた結果と前記分割結果および属性判定結果に基づいて複数の部分画像を選択する画像選択工程と、前記選択された部分画像を所定の表示領域に表示する表示工程とを有することを特徴とする請求項１０記載の画像表示方法。
17. 前記表示工程は、文字を有する部分画像において文字が判読可能な倍率を算出する工程を有し、該算出された倍率で表示することを特徴とする請求項１０または１７記載の画像表示方法。
18. 表示形態を選択する工程を有し、前記画像選択工程は選択された表示形態に基づいて画像を選択することを特徴とする請求項１０乃至１７のいずれか１項に記載の画像表示方法。
19. 請求項１０乃至１８のいずれか１項に記載の画像表示方法をコンピュータに実現させるためのプログラム。
20. 請求項１０乃至１８のいずれか１項に記載の画像表示方法をコンピュータに実現させるためのプログラムをコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images