JP2008242543A - 画像検索装置、画像検索装置の画像検索方法、及び画像検索装置の制御プログラム - Google Patents

Abstract

【課題】入力された文書画像データを記憶手段に蓄積して保存し、検索できるようにした画像検索装置において、ユーザが所望の文書画像データの検索を簡便な操作で効率よく行なえるようにする。
【解決手段】入力され保存される各ページの文書画像３０１について、それに含まれる画像の属性に応じて複数の領域１〜５に分割し、各領域のレイアウト解析データを生成する。更にその解析データに基づいて各ページの画像データを複数のクラスタのいずれかに所属するように分類する。検索時には各クラスタでの１ページのレイアウトの代表的な画像の夫々を表示する。ユーザは夫々の代表的な画像の内でレイアウトが自ら記憶している検索したい文書画像のページのレイアウトに最も近いものを選択して指定する。これによりクラスタが指定され、そのクラスタに所属するページの画像データが検索され、出力される。
【選択図】図３

Description

本発明は、スキャナなどの画像入力手段によって文書画像データを入力してハードディスクなどの記憶手段に蓄積して保存しておき、ユーザの指定に応じて、記憶手段内の文書画像データの内から特定の文書画像データを検索して出力する画像検索装置に関する。さらに、画像検索装置の画像検索方法、及びその制御プログラムに関するものである。

ハードディスクなどの安価で大容量の記憶装置と、文書画像データを電子的に取り込むためのスキャナなどの画像入力手段が広く普及することにより、大規模な文書画像データベースの構築および格納が可能になった。このような文書画像データベースは、電子図書、医用文書、行政記録、電子スクラップ、地図、行政府書式、マニュアル等々のデータベースとして適用される。今日では、一般に、文書画像を読み取って電子式媒体に格納する方が、その文書をそのまま保管するよりも費用が少ないので、文書画像データベースのシステムが普及している。

ところで、上記のような文書画像データベースシステムにおいて、データ量が大きくなりがちな画像データを圧縮して効率的に管理する手法が下記の特許文献１で提案されている。その手法では、まず入力された文書画像データの各ページの画像をそれに含まれる画像の属性（テキスト・線図形・表・絵など）に応じて複数の領域に分割する。そして各領域の画像について、その属性に応じて異なる圧縮処理を行うことで、ページ全体のデータ量を削減するようにしている。これは、具体的には以下のような手順に従って行われる。

１）文書１ページ分のデジタル画像データ（多値画像データ）を画像処理装置の内部に取り込む。取り込み手段としては、装置に付属した画像読取装置（スキャナ）を用いて文書の画像を光学的に読み取ってデジタル画像データに変換したり、ネットワークなどのインターフェース手段を通じて外部から文書画像データを取り込んだりする。

２）取り込んだ１ページの画像データから二値画像データを生成する。

３）２値画像データに基づいて、１ページの文書画像に含まれる画像の属性を判別し、１ページの画像をその属性に応じて複数の領域に分割する。なお、属性を判別して複数の領域に分割する方法は例えば下記の特許文献２に記載されている。その方法では、１ページの二値画像データの画像を多数の小領域に分割し、各小領域ごとに画像データの特性からその属性を判別する。そして、同じ属性（例えばテキストどうし）で連続する小領域の集合をその属性の領域として抽出する。

４）前記の各属性の領域ごとに、その属性に応じて、二値画像データあるいは多値画像データを選択して、それぞれのための異なる圧縮手法で圧縮する。

５）前記１ページ分の各領域の圧縮データを、その領域の属性と位置の座標値、サイズなどの情報と共にまとめて、該ページの圧縮データとして保存する。

なお、１ページ分の画像の再生は、分割された各属性の領域ごとに圧縮データの伸張処理を行い、伸張されたデータを、原画像ページ内のその領域の座標位置に貼り付けることにより行う。

さて、大規模な文書画像データベースシステムにおいては、所望の文書を識別して検索することを効率的に行う必要がある。所望の文書をデータベースに照会する方法の一つは、所望の文書中に見つかると思われるテキスト文字列またはその組み合わせを検索する方法である。しかしこの方法は、正確な光学的文字認識処理を前提とするため、実用化は困難である。

この他の方法として、検索するユーザが、自分の探そうとする文書の体裁について多少は知っていることを前提とした技術もある。この体裁情報を文書画像データベースの照会に利用する方法が、特許文献３に開示されている。これは、以下のような方法である。

はじめに簡単なカテゴリ選択などによって、目的の文書と大まかな体裁が類似した模範文書画像を生成し、その画像特徴情報を取得する。次に、前記の画像特徴情報を利用してデータベースを検索し、体裁が模範文書画像に類似した文書を複数見つけて検索結果として表示する。次に、ユーザが表示された検索結果の中から、目的の文書に体裁が最も近いものを次の検索のためのキーに選び、そのキーで検索が実行される。この繰り返しにより最終的に目的の文書を見つける。
特開２０００−３２４３３１号公報 特開平８−１６１３５０号公報 特開平９−２３７２８２号公報

特許文献３においては、最初の検索キーとして用いる模範文書画像を、画像データベースシステムにどう提示するかに関して、以下の３つの方法を提案している。

１）別の検索手段により、所望の画像に体裁の似た画像をデータベースからまず１枚見つける。

２）ユーザがすでに模範画像を紙の状態で持っていることを前提として、読み取り装置を使って、その模範画像を読み取る。

３）ユーザが所望画像の体裁をグラフィカルユーザインターフェースにより描画して指定する。

しかしながら、これらの方法の何れにしても、ユーザにとって負担が大きく、所望の文書画像の検索を簡便な操作で効率よく行うことができない。そこで本発明の課題は、技術分野の項で述べた種類の画像検索装置において、ユーザが所望の文書画像データの検索を簡便な操作で効率よく行なえるようにすることにある。

上記の課題を解決するため、本発明による画像検索装置は、
文書画像データを入力する画像入力手段と、
入力された文書画像データを蓄積して保存するための記憶手段と、
入力された文書画像データの各ページについて該ページの画像に含まれる画像の属性に応じて複数の領域に分割し、それぞれの領域のレイアウト情報を生成するレイアウト解析手段と、
入力された各ページの画像データと、前記レイアウト解析手段により生成された各ページのレイアウト情報を関連付けて前記記憶手段に保存する手段と、
前記記憶手段に保存された各ページの画像データを該画像データに関連付けて保存されたレイアウト情報に基づいて複数のクラスタのいずれかに所属するように分類するクラスタリング処理手段と、
ユーザが検索したい文書画像データのページのレイアウトによって該ページの画像データが所属するクラスタを指定するための入力を行う指定入力手段と、
該指定入力手段からの入力により指定されたクラスタに所属するページの画像データを前記記憶手段に蓄積して保存された文書画像データの内から検索して出力する検索手段を有することを特徴とする。

また、本発明では、上記の本発明による画像検索装置の構成に対応する画像検索装置の画像検索方法及び制御プログラムの構成を採用した。

本発明によれば、ユーザは、検索したい文書画像データのページのレイアウトの記憶を利用して、そのレイアウトによって検索したいページの画像データが所属するクラスタを指定するだけで、検索処理を実行させることができる。したがって、ユーザが所望の文書画像データの検索を極めて簡便な操作で効率よく行なえるという優れた効果が得られる。

以下、添付した図を参照して本発明を実施するための最良の形態の実施例を説明する。

図１は本実施例の画像検索装置の構成を概略的に示すブロック図である。同図において、以下の１０１〜１０８の各部が互いにバス１０９によって接続されている。

１０１は、大量（多数）の文書画像データを蓄積して保存できる大容量の記憶手段としての大容量記憶装置であり、ハードディスク装置などで構成される。この大容量記憶装置１０１内において、大量の文書画像データが後述するページの画像のレイアウトによる検索が可能な文書画像データベースを構成するように蓄積される。

１０２は、画像検索装置のシステム全体を統括して制御する制御手段としてのＣＰＵである。ＣＰＵ１０２は、後述のように入力される文書画像データの各ページの画像のレイアウト解析を行うレイアウト解析手段でもある。また、そのレイアウト解析で得られたレイアウト情報（レイアウト解析データ）に基づいて、レイアウトによる各ページの画像データのクラスタリングを行うクラスタリング処理手段でもある。さらに、ユーザによるページのレイアウトによる指定に応じて文書画像データを検索する検索手段でもある。

１０３は、ＣＰＵ１０２が実行する制御プログラムを格納したＲＯＭである。その制御プログラムには、後述する図２及び図６のフローチャートの制御手順のそれぞれに対応した制御プログラムが含まれる。

１０４は、ＣＰＵ１０２が処理する各種データを一時的に記憶しておくために用いられるＲＡＭである。

１０５は、ビットマップ画像データの表示が可能な液晶表示装置などからなる表示手段（出力手段）としての表示部である。

１０６は、ユーザが本装置を操作するための各種入力を行う各種入力キーを備えた操作部である。入力キーの一部（図５中のカーソルキー５０１と決定キー５０２）は、後述のようにユーザが文書画像データの検索のためにページのレイアウトによりクラスタを指定する入力を行う指定入力手段として用いられる。

１０７は、文書画像データを入力する画像データ入力手段としての画像入力部である。これは、具体的には、原稿の文書の画像を電子的に読み取って画像データに変換するスキャナ装置や、或いは不図示の外部機器から適当なインターフェース経由で文書画像データを受信するインターフェース装置として構成される。

１０８は、検索結果として得られた文書画像データの画像を用紙に印刷して出力する出力手段としてのプリンタである。

以上の構成において、ＣＰＵ１０２は、ユーザのキー操作による操作部１０６からのキー入力に応じて全体を制御し、例えば画像入力部１０７により文書画像データを入力して大容量記憶装置１０１に登録する、すなわち蓄積して保存する動作を行う。また、ユーザが指定する条件に該当する文書画像データを大容量記憶装置１０１から検索して取り出し、表示部１０５に表示させたり、プリンタ１０８でプリントアウトさせるなどして出力する動作を行う。

ここで上記の登録動作では、入力される各ページのテキストの領域とそれ以外の画像の領域とのレイアウトにより各ページの画像データを複数のクラスタ（グループ）のいずれかに所属するように分類するクラスタリングを行なう。また、検索動作では、ユーザが検索したい文書のページのレイアウトの記憶を利用して、検索したいページの画像データが所属するクラスタをそのページの画像のレイアウトにより指定させる。そして、その指定されたクラスタに所属するページの画像データを検索して出力する。

このような各ページの画像のレイアウトによるクラスタリング処理を伴う文書画像データの登録動作と、ページのレイアウトによるクラスタの指定に応じた文書画像データの検索動作の詳細を以下に説明する。

図２は、上記各ページの画像のレイアウトによるクラスタリング処理を伴う文書画像データの登録時にＣＰＵ１０２が行う処理の制御手順を示すフローチャート図である。この処理は入力される文書画像データの１ページ分についての処理であり、この処理が逐次入力される各ページの画像データについてなされる。

文書画像データの登録時には、まずステップＳ２０１において、ＣＰＵ１０２の制御のもとに、画像入力部１０７が１ページの文書画像データを例えば２４ビットの多値カラー画像データとして入力する。この多値画像データはＲＡＭ１０４に一時的に格納される。

次にステップＳ２０２において、その入力された多値画像データを二値画像データに変換する。なお、ここでの変換は二値画像データを別に生成するという意味であり、多値画像データも後で利用するためにとっておく。

次にステップＳ２０３において、ＣＰＵ１０２は、レイアウト解析手段として、上記二値画像データを元に、その１ページの文書画像に含まれる画像の属性に応じたレイアウト解析を行う。すなわち、まず１ページの画像に含まれる画像の属性（テキスト、線図形、表、絵や写真など）を判別し、その１ページの画像をその属性に応じて複数の領域に分割し、その領域数ｎのデータを求める。そして分割した各領域について、始点（左上の角の点）のｘ，ｙ座標、幅、高さというレイアウト情報のデータと属性のデータ（以下、これらのデータと前記領域数ｎのデータの全体をレイアウト解析データという）を生成する。このレイアウト解析については先述の特許文献１に記載されている。また、最初に行う１ページの画像の属性の判別は、例えば先述の特許文献２に記載されたように、１ページの画像を多数の小領域に分割して行う。

このステップＳ２０３で行うレイアウト解析処理の一例を図３に示してある。入力画像が図３（ａ）のような１ページの文書画像３０１である場合、この画像３０１がレイアウト解析によりそれに含まれる画像の属性に応じて図３（ｂ）の領域１〜５に分割される。この場合、領域１及び４は属性がテキスト、領域２、３、５は属性が線図形である。そして図３（ｃ）のようなレイアウト解析データが生成される。ここで領域数ｎは５である。そして領域１〜５のそれぞれについて、領域ＩＤ、始点Ｘ座標、始点Ｙ座標、幅、高さ、及び属性のデータが生成される。属性データは、例えば各属性の識別番号のデータであり、テキストが１、線図形が２、絵・写真が３、表が４とする。

このようにレイアウト解析を行った後、図２のステップＳ２０４において、レイアウト解析結果をもとにして、１ページの各領域の（図３では領域１〜５）の画像データを、その属性に応じた条件で、大容量記憶装置１０１に保存する。具体的には、その領域の属性がテキストや線図形であれば二値画像データとして、また、絵・写真の領域であれば２４ビットカラー画像データとして保存する。ここで、二値画像データと、２４ビットカラー画像データについて、それぞれに適した圧縮方法で圧縮してから保存してもよい。こうすればページ全体のデータ量を削減できる。また、その１ページの各領域のレイアウト解析データも各領域の画像データに関連付けて共に保存する。

次にステップＳ２０５において、保存した１ページの画像データについて、これに関連付けて保存された１ページの上記複数領域のレイアウト解析データ（レイアウト情報）に基づいて、レイアウトによるクラスタリング処理を行う。本実施例におけるクラスタリングでは、まず１ページ内を縦２×横２の４領域に等分し、その４領域のそれぞれについて、テキストまたは空白領域の面積と、テキスト以外の画像領域の面積とのどちらが大きいかを判断する。その判断の結果として、テキストまたは空白領域の面積が大きい領域をテキストまたは空白部とし、テキスト以外の画像領域の面積が大きい領域をテキスト以外の画像部とする。そして、そのページにおける４領域それぞれの前記の判断結果の組み合わせが、図４に示す（１）〜（１６）のレイアウト画像のパターンのどれに当てはまるかを判断する。そして、そのページの画像を当てはまるパターンのクラスタ（グループ）に所属させるように分類する。いかなる１ページの画像であってもこの１６通りのパターンのいずれかに該当する。なお、この１６通りの各パターンは、各クラスタにおける１ページの文書画像の代表的なレイアウトを示すレイアウト画像であり、以下、レイアウト代表画像と呼び、符号４００を付す。

上記クラスタリング処理により、上記１ページの画像のレイアウトが（１）〜（１６）のレイアウト代表画像４００の内のどのレイアウトに当てはまるかという情報が得られる。すなわち、その１ページの画像データがレイアウトによって分類されて所属させられたクラスタの識別情報が得られる。この識別情報を以下ではページレイアウトクラスタといい、ここでは各レイアウト代表画像に付して示した１〜１６の数値とする。たとえば、図３（ａ）のような１ページの文書画像３０１では、１ページを縦２×横２に分割した４領域のうち、右下領域において線図形領域の占める面積が大きく、残りの領域ではテキスト領域の占める面積が大きい。このため、ページレイアウトクラスタの数値は５となる。なお、ここではページレイアウトクラスタを数値で示しているが数値以外でもよいことは勿論である。

次にステップＳ２０６において、ステップＳ２０５の処理で得た１ページの画像のページレイアウトクラスタの数値データを、既に保存してあるこのページのレイアウト解析データに関連付けて大容量記憶装置１０１に保存する。すなわち既に保存してあるこのページの画像データに関連付けて保存する。

次にステップＳ２０７において、上記レイアウトによるクラスタリングの分類結果をユーザに通知するために、図４の１６通りの内で上記１ページの画像データが分類されて所属させられたクラスタのレイアウト代表画像を表示部１０５に表示する。たとえば、図３（ａ）のような文書画像３０１の場合、ページレイアウトクラスタの数値は５であるから、表示部１０５には図５のようにクラスタ５のレイアウト代表画像が表示される。こうしてユーザにレイアウトによる分類結果が通知される。この処理を行うことで、ユーザがあとでこのページを検索する際に、指定するレイアウトの選択を行い易くなる。このようなステップＳ２０７の処理が終了したら１ページの文書画像の登録処理を終了する。以上のような処理を逐次入力される各ページの画像データについて行う。

次に、図６は、ユーザがある文書のあるページの文書画像を、そのページのレイアウトに関する記憶をもとにレイアウトによりクラスタを指定して絞込み検索する際の検索動作を制御するＣＰＵ１０２の処理の制御手順を示すフローチャート図である。

まずステップＳ６０１において、ユーザが操作部１０６の入力キーを操作して検索処理を指示する入力を行うことに応じて、大容量記憶装置１０１に蓄積されている文書画像データの検索処理を開始する。

次にステップＳ６０２において、図４の１６通りのレイアウト代表画像４００を表示手段である表示部１０３に一覧表示させる。

次にステップＳ６０３において、ユーザは、自分の検索したい文書画像のページのテキスト部とそれ以外の画像部とのレイアウトがステップＳ６０２で表示された１６通りのレイアウト代表画像４００のレイアウトの内のどれに最も近いかを判断する。そして操作部１０６のカーソルキー５０１や決定キー５０２（図５参照）などを用いて、最も近いと判断したレイアウト代表画像を選択して指定する指定入力を行う。これにより、ユーザが検索したい文書のページ画像のレイアウトによってそのページの画像データが所属するクラスタが間接的に指定されることになる。

次にステップＳ６０４において、ＣＰＵ１０２は、上記レイアウト代表画像の指定によって指定されたクラスタに所属するページの画像データを検索する。すなわち、まず大容量記憶装置１０１に保存されている各ページの文書画像のページレイアウトクラスタの数値データの内でステップＳ６０３でユーザが選択したレイアウト代表画像のクラスタの数値と同じものを検索する。そして検索されたページレイアウトクラスタの数値データに関連付けて保存されている１ないし複数ページの文書画像データを検索して読み出す。

次に、ステップＳ６０５において、ステップＳ６０４で読み出した１ないし複数ページの画像データを、表示部１０３に出力して、そのページの画像を表示させ、その後、処理を終了する。

ユーザは、表示された１ないし複数ページの画像データの画像を見て、所望のページの画像データを選択し、プリントアウトさせるなどの操作を行う。検索されたページの数が多くて必要なら、読み出された多数のページの画像データに対し、別の手法でさらに絞り込み検索を行なわせる操作を行う。

以上のように、本実施例の画像検索装置によれば、ユーザが所望の文書画像データを検索しようとする際に、複数ページのレイアウト代表画像が表示される。そして、ユーザは、表示された複数ページのレイアウト代表画像の内で、テキストまたは空白の領域とそれ以外の画像の領域のレイアウトが、記憶している検索したい文書のページのレイアウトに最も近いものを選択して指定するだけで検索処理が実行される。したがって、ユーザが検索したい文書画像のページのレイアウトの記憶を利用して、検索を極めて簡便な操作で効率よく行なうことができる。

以上説明した実施例では、レイアウト代表画像の数、すなわちページの画像のレイアウトによるクラスタの数は１６としたが、これに限らないことは勿論である。またレイアウト代表画像のレイアウトのパターンも図４に示したものに限らないことは勿論である。

本発明の実施例における画像検索装置の構成を示すブロック図である。 実施例の画像検索装置において入力された１ページの文書画像データを登録して保存する動作の制御手順を示すフローチャート図である。 実施例の画像検索装置において文書画像データを登録する際に行うレイアウト解析を説明する説明図である。 実施例の画像検索装置において文書画像データをテキスト領域とそれ以外の画像領域のレイアウトによってクラスタリングする場合の各クラスタのレイアウト代表画像を示した説明図である。 実施例の画像検索装置に新たに１ページの文書画像データを登録する際に、そのレイアウトが該当するクラスタのレイアウト代表画像を表示部に表示した様子を表す説明図である。 実施例の画像検索装置における文書画像データのレイアウトによる検索動作の制御手順を示すフローチャート図である。

符号の説明

１０１ 大容量記憶装置
１０２ ＣＰＵ
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ 表示部
１０６ 操作部
１０７ 画像入力部
１０８ プリンタ
１０９ バス
３０１ １ページの文書画像
４００ レイアウト代表画像
５０１ カーソルキー
５０２ 決定キー

Claims (9)

1. 文書画像データを入力する画像入力手段と、
   入力された文書画像データを蓄積して保存するための記憶手段と、
   入力された文書画像データの各ページについて該ページの画像に含まれる画像の属性に応じて複数の領域に分割し、それぞれの領域のレイアウト情報を生成するレイアウト解析手段と、
   入力された各ページの画像データと、前記レイアウト解析手段により生成された各ページのレイアウト情報を関連付けて前記記憶手段に保存する手段と、
   前記記憶手段に保存された各ページの画像データを該画像データに関連付けて保存されたレイアウト情報に基づいて複数のクラスタのいずれかに所属するように分類するクラスタリング処理手段と、
   ユーザが検索したい文書画像データのページのレイアウトによって該ページの画像データが所属するクラスタを指定するための入力を行う指定入力手段と、
   該指定入力手段からの入力により指定されたクラスタに所属するページの画像データを前記記憶手段に蓄積して保存された文書画像データの内から検索して出力する検索手段を有することを特徴とする画像検索装置。
2. 前記複数のクラスタのそれぞれにおける１ページの文書画像の代表的なレイアウトを示す複数のレイアウト画像を表示する表示手段を有し、
   ユーザが前記指定入力手段によって前記表示手段に表示された前記複数のレイアウト画像のいずれかを選択して指定することにより、ユーザが検索したいページの画像データが所属するクラスタが指定されることを特徴とする請求項１に記載の画像検索装置。
3. 前記クラスタリング処理手段が１ページの画像データを複数のクラスタのいずれかに所属するように分類した後に、該１ページの画像データの所属するクラスタをユーザに通知する情報を出力する出力手段を有することを特徴とする請求項１に記載の画像検索装置。
4. 前記出力手段は、前記１ページの画像データの所属するクラスタにおける１ページの文書画像の代表的なレイアウトを示すレイアウト画像を表示する表示手段であることを特徴とする請求項３に記載の画像検索装置。
5. 文書画像データを入力する画像入力工程と、
   入力された文書画像データの各ページについて該ページの画像に含まれる画像の属性に応じて複数の領域に分割し、それぞれの領域のレイアウト情報を生成するレイアウト解析工程と、
   入力された各ページの画像データと、前記レイアウト解析工程で生成された各ページのレイアウト情報を関連付けて記憶手段に保存する工程と、
   前記記憶手段に保存された各ページの画像データを該画像データに関連付けて保存されたレイアウト情報に基づいて複数のクラスタのいずれかに所属するように分類するクラスタリング処理工程と、
   ユーザが検索したい文書画像データのページのレイアウトによって該ページの画像データが所属するクラスタを指定するための入力を行う指定入力工程と、
   該指定入力工程での入力により指定されたクラスタに所属するページの画像データを前記記憶手段に蓄積して保存された文書画像データの内から検索して出力する検索工程を実行することを特徴とする画像検索装置の画像検索方法。
6. 前記指定入力工程では、前記複数のクラスタのそれぞれにおける１ページの文書画像の代表的なレイアウトを示す複数のレイアウト画像を表示手段に表示し、ユーザが表示された前記複数のレイアウト画像のいずれかを選択して指定することにより、ユーザが検索したいページの画像データが所属するクラスタが指定されることを特徴とする請求項５に記載の画像検索装置の画像検索方法。
7. 前記クラスタリング処理工程で１ページの画像データが複数のクラスタのいずれかに所属するように分類された後に、該１ページの画像データの所属するクラスタをユーザに通知する情報を出力するクラスタの通知工程を実行することを特徴とする請求項５に記載の画像検索装置の画像検索方法。
8. 前記クラスタの通知工程では、前記１ページの画像データの所属するクラスタにおける１ページの文書画像の代表的なレイアウトを示すレイアウト画像を表示手段に表示することを特徴とする請求項７に記載の画像検索装置の画像検索方法。
9. 画像検索装置の動作を制御する制御手段が請求項５から８までのいずれか１項に記載の画像検索装置の画像検索方法による動作を実行するように制御するための制御手順を含むことを特徴とする画像検索装置の制御プログラム。

Images