JP2005149323A - 画像処理システム及び画像処理装置並びに画像処理方法 - Google Patents

Abstract

【課題】 複写等するイメージデータの特徴量を用いて、データベースに蓄積されているオリジナルのイメージデータを効率良く検索して、入力されたイメージデータの代わりに出力することができる画像処理システム及び画像処理装置並びに画像処理方法を提供する。
【解決手段】 サーバが保持する画像の中からクライアントで入力された画像に対応する画像を検索し出力する。ここで、サーバは、第１の画像とその特徴量をデータベース１０５に保持している。クライアントは、入力装置１１３から第２の画像を入力し、データ処理装置１１５は特徴量を算出する。そして、サーバが保持する第１の画像の特徴量を取得して、第２の画像から算出された特徴量と比較し、互いに一致又は類似している場合、当該特徴量を有する第１の画像をサーバから取得する。取得された第１の画像は第２の画像に代えて印刷される。
【選択図】 図３

Description

本発明は、複写機等の画像処理装置で読み取ったイメージデータに基づいてデータベースに保存されているイメージデータの検索を行う画像処理システム及び画像処理装置並びに画像処理方法に関する。

近年、環境問題がクローズアップされている中で、オフィス等でのペーパーレス化が急速に進んでいる。そこで、従来からバインダー等で蓄積・保存された紙文書をスキャナで読み取って、ポータブルドキュメントフォーマット（以下、「ＰＤＦ」と略す。）に変換し、画像記憶装置（データベース）に蓄積・保存する文書管理システムが構築されている。

一方、機能が拡張されたデジタル複合機（以下、「ＭＦＰ」と略す。）には、画像（イメージデータ）を紙文書として印刷・出力する際に、当該画像が記憶されている画像記憶装置内のポインタ情報を紙文書の表紙或いは記載情報中に付加情報として記録しておくものがある。そして、当該画像が記録された紙文書を複写する場合には、表紙等に付加されているポインタ情報からオリジナルの画像が格納されている画像記憶装置内の格納場所を検出し、紙文書から読み取られた画像を再印刷等に用いるのではなく、画像記憶装置内に記憶されているオリジナルの画像を編集や再印刷に直接用いることができる。これにより、紙文書から読み取られた画像を何度も再利用することによって生じる画質の劣化等の問題を防ぐことができる（例えば、特許文献１参照。）。
特開平１０−３０８８６８号公報

しかしながら、文書管理システムの画像記憶装置（データベース）に蓄積されるイメージデータが増えるに従って、その中からユーザが利用したいイメージデータを適切に取り出すことが困難になってくるという問題がある。そこで、イメージデータを検索する必要が生じるが、文字情報によって検索を行うような場合、検索の絞込みが難しいという問題点がある。例えば、簡単なキーワードを用いて検索を行った場合は、多くのイメージデータが検索結果として取り出されてしまうことがある。また、イメージデータに適切なキーワードを付与する方法もあるが、正確なキーワードを付与することが難しいという問題点がある。例えば、それぞれのイメージデータに対する解釈がユーザ毎に異なる場合があるため、キーワードを付与したユーザと別のユーザがキーワードを用いて検索するような場合、所望のイメージデータを適切に検索することができない場合がある。

本発明は、このような事情を考慮してなされたものであり、複写等するイメージデータの特徴量を用いて、データベースに蓄積されているオリジナルのイメージデータを効率良く検索して、入力されたイメージデータの代わりに出力することができる画像処理システム及び画像処理装置並びに画像処理方法を提供することを目的とする。

上記課題を解決するために、本発明は、サーバが保持する画像の中からクライアントで入力された画像に対応する画像を検索し、検索された画像を前記クライアントが取得して出力する画像処理システムであって、
前記サーバは、第１の画像と該第１の画像の特徴量を保持する保持手段を備え、
前記クライアントは、
第２の画像を入力する入力手段と、
前記第２の画像から特徴量を算出する算出手段と、
前記サーバが保持する前記第１の画像の特徴量を取得する特徴量取得手段と、
前記算出手段で算出された前記特徴量と前記特徴量取得手段で取得された前記特徴量とを比較する比較手段と、
前記比較手段によって比較された特徴量が互いに一致又は類似している場合、前記特徴量取得手段により取得された前記特徴量を有する前記第１の画像を前記サーバから取得する画像取得手段と、
取得された前記第１の画像を出力する出力手段と
を備えることを特徴とする。

また、本発明は、サーバが保持する第１の画像を検索し、該第１の画像を取得して出力する画像処理装置であって、
第２の画像を入力する入力手段と、
前記第２の画像から特徴量を算出する算出手段と、
前記サーバが保持する前記第１の画像の特徴量を取得する特徴量取得手段と、
前記算出手段で算出された前記特徴量と前記特徴量取得手段で取得された前記特徴量とを比較する比較手段と、
前記比較手段によって比較された特徴量が互いに一致又は類似している場合、前記特徴量取得手段により取得された前記特徴量を有する前記画像を前記サーバから取得する画像取得手段と、
取得された前記第１の画像を出力する出力手段と
を備えることを特徴とする。

さらに、本発明は、サーバが保持する第１の画像を検索し、該第１の画像を取得して出力する画像処理方法であって、
第２の画像を入力する入力工程と、
前記第２の画像から特徴量を算出する算出工程と、
前記サーバが保持する前記第１の画像の特徴量を取得する特徴量取得工程と、
前記算出工程で算出された前記特徴量と前記特徴量取得手段で取得された前記特徴量とを比較する比較工程と、
前記比較工程によって比較された特徴量が互いに一致又は類似している場合、前記特徴量取得工程により取得された前記特徴量を有する前記画像を前記サーバから取得する画像取得工程と、
取得された前記第１の画像を出力する出力工程と
を有することを特徴とする。

本発明によれば、複写等をするイメージデータの特徴量を用いて、データベースに蓄積されているオリジナルのイメージデータを効率良く検索して、入力されたイメージデータの代わりに出力することができる。従って、紙原稿を何度も複写するような場合であっても、紙文書から読み込まれたイメージデータの特徴量を用いて、常にオリジナルのイメージデータを効率良く検索でき、読み込まれたイメージデータに代えて出力することができるので、複写の繰り返しによって生じる画質の劣化をなくすことができる。

以下、図面を参照して、本発明の一実施形態について説明する。図１は、本発明の一実施形態に係る画像処理システムの構成を示すブロック図である。図１に示す画像処理システムは、オフィス１０とオフィス２０とをインターネット等のネットワーク１０４で接続された環境で実現される。

オフィス１０内に構築されたＬＡＮ１０７には、ＭＦＰ１００と、ＭＦＰ１００を制御するマネージメントＰＣ１０１と、クライアントＰＣ１０２と、文書管理サーバ１０６ａと、そのデータベース１０５ａ及びプロキシサーバ１０３ａが接続されている。また、オフィス２０内に構築されたＬＡＮ１０８には、文書管理サーバ１０６ｂと、そのデータベース１０５ｂ及びプロキシサーバ１０３ｂが接続されている。尚、クライアントＰＣ１０２は、外部記憶部、検索イメージ入力部及び検索結果出力部を備えている。また、ＬＡＮ１０７及びオフィス２０内のＬＡＮ１０８は、プロキシサーバ１０３ａ、１０３ｂを介してインターネット等のネットワーク１０４に接続されている。

ＭＦＰ１００は、本実施形態において紙文書を光学的に読み取って画像信号に変換する画像読み取り処理と、読み取った画像信号に対する画像処理の一部を担当し、画像信号はＬＡＮ１０９を用いてマネージメントＰＣ１０１に入力する。尚、マネージメントＰＣ１０１は、通常のＰＣでも実現可能であり、内部に画像記憶部、画像処理部、表示部及び入力部を備える。尚、マネージメントＰＣ１０１は、その一部又は全部をＭＦＰ１００と一体化して構成してもよい。

図２は、本発明の一実施形態に係るＭＦＰ１００の構成を示すブロック図である。図２において、オートドキュメントフィーダ（以下、「ＡＤＦ」と略す。）を含む画像読み取り部１１０は、束状或いは１枚の原稿画像を内部に備える光源で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ状の画像読み取り信号を例えば６００ｄｐｉの密度のイメージ情報として得る。そして通常の複写機能を用いる場合は、この画像信号をデータ処理部１１５で記録信号へ画像処理し、複数毎複写の場合は記憶装置１１１に一旦１ページ分の記録データを保持した後、形成装置１１２に順次出力して紙上に画像を形成する。

一方、クライアントＰＣ１０２では、出力時の設定として、印刷モード又は検索モードが選択可能である。印刷モードが設定された場合、クライアントＰＣ１０２から出力されるプリントデータは、ＬＡＮ１０７からＭＦＰ１００に入力され、ネットワークＩＦ１１４を経てデータ処理装置１１５で記録可能なラスタデータに変換された後、形成装置１１２に出力して紙上に記録画像として形成される。また、検索モードが設定された場合、クライアントＰＣ１０２から出力されるイメージデータはＬＡＮ１０７からＭＦＰ１００に入力され、ネットワークＩＦ１１４を経てデータ処理装置１１５でデータベース１０５ａ、ｂに格納されているデータの照合を後述するようにそれぞれの特徴量を用いて行い、ネットワークＩＦ１１４からＬＡＮ１０７を経て検索された文書データの検索結果を出力する。

ＭＦＰ１００への操作者の指示は、ＭＦＰ１００に装備されているキー等の入力装置１１３、或いはマネージメントＰＣ１０１のキーボードやマウス等からなる入力装置から行われ、これら一連の動作はデータ処理装置１１５内の制御部で制御される。

一方、操作入力の状態表示及び処理中の画像データの表示は、ＭＦＰ１００の表示装置１１６又は、マネージメントＰＣ１０１、クライアントＰＣ１０２のモニタ等で行われる。また、ＭＰＦ１００では、記憶されているデータを検索するための検索モードとそのまま印刷処理を行う印刷モードのどちらかを選ぶことができるが、表示装置１１６の画面等はその選択情報によって切り替わる。すなわち、検索モードに切り替わった場合は、画像読み取り部１１０により入力されたデータとデータベース１０５内のデータについてデータ処理装置１１５で検索処理を行った結果が表示され、そのデータを出力することができる。また、クライアントＰＣ１０２から送られた情報が検索モードであった場合も画面が切り替わる。尚、記憶装置１１１は、マネージメントＰＣ１０１からも制御され、ＭＦＰ１００とマネージメントＰＣ１０１とのデータの授受及び制御は、ネットワークＩＦ１１７及び直結したＬＡＮ１０９を用いて行われる。

［処理概要］
次に、本発明の一実施形態に係る画像処理システムによる画像処理全体の概要について説明する。図３は、本発明の一実施形態に係る画像処理システムによる画像処理の手順について説明するためのフローチャートである。

まず、ＭＰＦ１００の表示装置１１６、又はマネージメントＰＣ１０１、クライアントＰＣ１０２の表示画面から、現在設定されているモードが印刷モード又は検索モードのいずれに選択されているかを確認する（モード選択処理：ステップＳ１２０）。次に、ＭＦＰ１００の画像読み取り部１１０によって原稿画像の入力を行う場合はそれを動作させて１枚の原稿をラスタ状に走査し、例えば６００ｄｐｉ、８ビットの画像信号を取得する（イメージ情報入力処理：ステップＳ１２１）。

入力された画像信号をデータ処理部１１５で前処理を施し、記憶装置１１１に１ページ分の画像データとして保存する。一方、クライアントＰＣ１０２から入力を行う場合は、画像データをＬＡＮ１０７に送って記憶装置１１１に保存する。そして、マネージメントＰＣ１０１のＣＰＵは、記憶装置１１１に格納された画像信号から、文字／線画部分とハーフトーンの画像部分とに領域を分離し、文字部はさらに段落で塊としてまとまっているブロック毎に、或いは、線で構成された表、図形に分離して各々セグメント化する。一方、ハーフトーンで表現される画像部分は、矩形に分離されたブロックの画像部分や背景部等のいわゆるブロック毎に独立したオブジェクトに分割する（ＢＳ（Block Select）処理：ステップＳ１２２）。

次に、データ中のオブジェクトを確認し、絵（Picture）、写真（Photo）といった画像部分のみを画像領域として抽出する（画像部分抽出処理：ステップＳ１２３）。そして、分割されたオブジェクト中に画像領域があるかどうかを判定し（ステップＳ１２４）、画像領域がある場合（Ｙｅｓ）は、画像領域のみが残されたイメージデータから特徴量を算出する（特徴量算出処理：ステップＳ１２５）。尚、特徴量算出処理の詳細については後述する。一方、画像部分がない場合（Ｎｏ）は、入力されたイメージデータのみをデータベース１０５ａ、ｂに登録して処理を終了する（データ格納処理：ステップＳ１３２）。

また、特徴量算出処理（ステップＳ１２５）の結果、特徴量を算出できたか否かを判定し（ステップＳ１２６）、特徴量を算出できた場合（Ｙｅｓ）はステップＳ１２７に進み、特徴量を算出できなかった場合（Ｎｏ）は、入力されたイメージデータのみをデータベース１０５ａ、ｂに格納する処理（ステップＳ１３２）へ進む。

ステップＳ１２７では、ＭＰＦ１００に設定されているモードが検索モードであるか印刷モードであるかを判別し、印刷モードの場合はデータ格納処理（ステップＳ１２８）へ分岐し、入力されたイメージデータ及びその特徴量を電子ファイルとしてデータベース１０５ａ、ｂに保存する。また、検索モードの時はステップＳ１２９へ分岐し、データベース１０５ａ、ｂ中にイメージデータ（電子ファイル）があるか否かを判定する。

その結果、データベース１０５ａ、ｂ中にイメージデータがない場合（Ｎｏ）は処理を終了する。一方、イメージデータがある場合（Ｙｅｓ）は、その特徴量が併せて保存されているイメージデータを対象としてデータベース１０５ａ、ｂから特徴量を読み出し、入力したイメージデータの特徴量との間でマッチングを行って、２つの特徴量の類似度を算出する。そして、データベース１０５ａ、ｂ中のすべてのイメージデータ（の特徴量）を照合していない場合は、データベース１０５ａ、ｂ中の次のイメージデータに対して同様な処理を行う（検索処理：ステップＳ１３０）。

そして、すべてのイメージファイルを照合した後にその検索結果を表示する（表示処理：ステップＳ１３１）。そして、表示された結果の中からユーザが選んだイメージデータの情報をデータベース１０５ａ、ｂから取り出して、その結果を出力する（選択された文書ファイルの出力処理：ステップＳ１３３）。

以下、各処理ブロックに対して詳細に説明する。

［ブロックセレクション（ＢＳ）処理（ステップＳ１２２）］
図４は、ブロックセレクション処理によって読み取った１枚のイメージデータを属性を判定して複数のブロックに分割する様子を示す図である。すなわち、ブロックセレクション処理とは、符号４１に示すステップＳ１２１で読み取った一頁のイメージデータを、符号４２に示すようにオブジェクト毎の塊として認識し、それぞれのブロックを文字（Text）、写真（Photo）、線（Line）、表（Table）等の属性に判定し、異なる属性を持つ領域に分割する処理である。

ブロックセレクション処理の一実施例を以下に説明する。

まず、入力画像を白黒に２値化して、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。そして、面積の大きい黒画素の塊については、内部にある白画素に対して同様に輪郭線追跡を行って白画素の塊を抽出する。さらに、一定面積以上の白画素の塊の内部からも再帰的に黒画素の塊を抽出する。

このようにして得られた黒画素（白画素）の塊を、大きさ及び形状等で分類し、異なる属性を持つ領域へ分類する。例えば、縦横比が１に近く、大きさが一定の範囲のものを文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字領域とする。また、扁平な画素塊を線領域、一定の大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域、不定形の画素塊が散在している領域を写真領域、それ以外の任意形状の画素塊を図画領域等とする。そして、例えば、写真領域と図画領域を画像領域とする。

図５は、ブロックセレクション処理で得られた各ブロックに対するブロック情報の一例について示す図である。図５に示されるブロック毎の情報は、ステップＳ１２３で示すように画像部分の抽出のために用いられる。

［特徴量算出処理］
次に、ステップＳ１２５に示す特徴量算出処理について説明する。

図６は、画像領域のみが取り出されたデータに対して特徴量を算出する処理手順を説明するためのフローチャートである。

まず、切り出された画像領域から特徴量を算出するために領域分割を行う（ステップＳ３００）。尚、領域分割については、従来の単純領域拡張法等を応用したものを採用し、ラスタ画像の各画素単位でラベルをつけることで領域を識別する。但し、画像領域でない画素に関してはラベル付けを行わない。

ステップＳ３００で画像を領域分割した後、各領域に対して特徴量を算出する（ステップＳ３０１）。この際に求める特徴量は、領域の色、面積、位置及び形状等である。特に、面積及び位置に関しては、画像サイズに依存しないよう、正規化したものを特徴量とする。ここで、領域の色としてL*a*b*を、領域の形状として外接矩形の縦横比を用いる。

ステップＳ３０１で各領域に対して特徴量を算出した後、面積について一定の閾値を定め、当該閾値以上の面積を持った領域を検索処理に「利用する領域」と判定し、そうではない領域を「利用しない領域」であると判定する（ステップＳ３０２）。以下では、利用する領域を「有効領域」、利用しない領域を「無効領域」と呼ぶ。

次に、画像中に有効領域があるかどうかを判定し（ステップＳ３０３）、有効領域がある場合（Ｙｅｓ）は、有効領域相互間の接続処理（ステップＳ３０４）へ分岐する。一方、有効領域がない場合は、有効領域がないというフラグを立てる（ステップＳ３０５）。尚、このフラグは、図３のフローチャートにおけるステップＳ１２６の処理において判別され、フラグが立っている場合は特徴量が算出できない（有効領域がない）としてステップＳ１３２へ分岐する。

尚、有効領域がある場合は、ある有効領域から他の有効領域への距離を求める。距離の算出は、各領域の特徴量として算出される領域の面積や形状等から求められる重心間の距離を用いる。距離の算出後、一定の値に閾値を定め、当該閾値以下のものが出てきた場合、その領域間には接続関係があるという情報を付与する（ステップＳ３０４）。

図７は、画像領域に対して特徴量算出処理を行った例を説明するための図である。まず、３０６に示すように、色１〜色５で塗り分けられた画像領域があるとする。それに対して領域分割を行うと３０７に示すようなラベル付けが行われる。そして、領域ごとに特徴量の算出を行い、面積に対して閾値処理を行った結果、３０８に示されるように、ラベルＤの領域以外が有効領域として判定される。最後に、有効領域Ａ、Ｂ、Ｃ、Ｅ間で距離の算出を行い、一定の閾値以下である場合に接続する。図７に示す例では、Ａ、Ｂ、Ｃが互いに近い距離にあるのですべて接続しているが、Ｅに関してはＡ、Ｂとの距離が遠いため接続せず、Ｃのみと接続している。

［検索処理］
データ処理装置１１５は、データベース１０５ａ、ｂに蓄えられている電子ファイルの特徴量を取り出した後（図３のステップＳ１２９）、入力イメージとのマッチングを行って結果を出力する。図８は、データ処理装置１１５による検索処理の手順を説明するためのフローチャートである。

まず、図１に示すＭＦＰ１００は、データベース１０５に保存されているイメージデータを読み込む（ステップＳ４００）。このイメージデータが、検索対象のファイルとなる。尚、本実施形態では、イメージデータそのものではなく、その特徴量のみを取り出すことによって、情報の読み込みや次の検索にかかる時間を削減する。

次に、注目するイメージデータの特徴量があるかどうか（すなわち、アクセスしたイメージデータの特徴量をデータベース１０５ａ、ｂから取り出せたかどうか）を判定し（ステップＳ４０１）する。その結果、特徴量がない場合（Ｎｏ）は、他のイメージデータがあるかを判定する処理（ステップＳ４０９）へ分岐する。一方、特徴量がある場合（Ｙｅｓ）、入力イメージの中で面積が最大の領域を抽出する処理（ステップＳ４０２）へと分岐する。

次に、取り出したイメージデータの各領域について、色、面積、位置、形状の各特徴量を使って類似度を算出し、取り出したイメージデータ（検索対象）の領域の中で最も類似している領域を取り出す（ステップＳ４０３）。

次に、入力されたイメージデータの領域の特徴量を利用して検索対象の領域を統合していく（ステップＳ４０４）。ここで、検索対象の中で抽出された領域と接続している領域に着目し、特徴量（色）を比較して類似した場合に領域を統合して特徴量を再算出する。尚、類似している領域が存在する場合、無限に統合していくのではなく、例えば、入力されたイメージデータの領域の面積を収束条件として、それ以上の面積を有する領域にならないようにする。或いは、収束条件を緩和して、多少面積が超えた場合であっても、互いの面積が近くなるようにしてもよい。このようにすることにより、状況に応じて適切なマッチング処理を行うことが可能となる。

図９は、領域を統合する一手法を説明するための図である。図９において、４１４は入力画像の一例であり、４１５は検索対象となる画像の一例である。画像４１４は、楕円が色１、三角が色２で塗り分けられている。また、画像４１５では、楕円のみが描かれており、色１に近い色である色１．１、色１．２、色１．３の３種類で塗り分けられている。尚、画像４１５に対して領域分割を行い、特徴量を算出した結果、色１．１、色１．２、色１．３を持つ各領域は接続されていることが判明している。

図９において、ステップＳ４０２によって最大領域を抽出した例を示したものが画像４１６である。すなわち、画像４１４は、マッチングを行っていない状態のため、色１及び色２で示される２つの領域は、両方とも未探索の領域となる。そこで、画像４１４の領域の中で最も面積が大きい領域である色１の楕円を抽出する。一方、画像４１７は図８のステップＳ４０３の類似領域を抽出した例を示すものであり、画像４１６で取り出した領域と最も類似している領域を抽出したものである。

次に、ステップＳ４０４の統合処理に移ることになるが、ここで、色１．１に接続されている色１．２、色１．３の領域に着目すると、互いに色が類似しているので統合する。尚、色１．１に接続されている他の領域の色が大きく異なっている場合は統合処理は行わない。また、面積の総合がもとの入力画像を超える場合も統合処理は行わない。ここで、画像４１４の色１の領域は、マッチングが終了したため探索を終了したことになり、色２のみが未探索の領域となる。

ステップＳ４０４で統合処理が終了した後、はじめに抽出した入力イメージの領域に接続領域があるか否かを判定し（ステップＳ４０５）、入力イメージで接続領域がある場合（Ｙｅｓ）はその中で最大の領域を抽出し（ステップＳ４１２）、検索対象と最も類似している未探索の領域を抽出する（ステップＳ４１１）。ここでは、検索対象から取り出された領域群と接続している領域についてのみ着目し、ステップＳ４０４の統合処理へと移行する。

尚、ここで仮に適切な領域が見つからない場合は、次に説明するステップＳ４０６の構造を示す特徴量の算出処理へと移り、マッチングを行った領域間に関してのみ構造を示す特徴量を算出する。また、マッチングを行った数はカウントしておく。

一方、ステップＳ４０５で接続領域がない場合（Ｎｏ）は、構造を示す特徴量の算出を行う（ステップＳ４０６）。ここで、構造を示す特徴量とは、比較した各領域の重心から重心を算出し、その重心から各領域の重心へ求めた方向ベクトルのことである。そして、その方向ベクトルを入力イメージの中でマッチングに利用した領域と、マッチングされた検索対象の統合された領域とで求め、その類似度を算出する。

図１０は、構造を示す特徴量の算出を行った場合の一例について示す図である。図１０において、画像４１８中の接続されている３つの領域に対して構造を示す特徴量を算出する場合、３つの領域の重心からそれらの重心を算出する。図１０では、画像４１９中の黒い丸の部分が重心を示している。そして、この重心から３つの領域の重心に対して方向ベクトルを求める。これが構造を示す特徴量となる。

ステップＳ４０６において構造を示す特徴量を算出した後、入力イメージに未探索の領域があるかどうかを判定する（ステップＳ４０７）。ここで、未探索の領域とは、マッチング処理に用いられていない有効領域のことである。ここまでは、入力イメージの中で最大の面積をもつ領域とそれに接続された領域のみ探索していたので、距離が離れた領域については調べていない。そこで、そのような未探索の領域があるかを判定し（ステップＳ４０７）、未探索の領域がある場合（Ｙｅｓ）は、未探索の領域の中で面積が最大の領域を抽出し（ステップＳ４１３）、検索対象の画像から最も類似している未探索の領域を抽出し（ステップＳ４１１）、前述したステップＳ４０４の統合処理へと移る。一方、未探索の領域がない場合（Ｎｏ）は類似度の算出を行う（ステップＳ４０８）。

ステップＳ４０８では、接続されている領域の塊をグループとし、各グループで求めた類似度を統合する処理を行う。ここで、色、面積、位置、形状に関してはマッチングを行ったグループについて類似度の平均を求め、その後にグループ全体で類似度の平均を算出する。構造を示す特徴量に関してはグループ単位で算出しているため、グループ全体で類似度の平均を算出する。

次に他のイメージデータがあるかどうかについて判定する（ステップＳ４０９）。その結果、次のイメージデータがある場合（Ｙｅｓ）は、ステップＳ４００のイメージデータの取り出し（特徴量の取り出し）へ戻り、同様の処理を繰り返す。一方、次のイメージデータルがない場合（Ｎｏ）は、検索結果の出力処理（ステップＳ４１０）へ分岐する。

ステップＳ４１０の検索結果の出力処理では、まず入力イメージの領域の中でマッチングを行えた数をもとにしてソートを行う。マッチングを行えた数が一定以上である場合は上位結果グループ、一定未満であるときは下位結果グループとする。そして結果グループごとに類似度をもとにして高いものから順にソートを行う。そして類似度の高いものから順に出力する。

［検索結果の表示処理］
本実施形態では、算出した検索結果に基づいて、図２の表示装置１１６或いは図１のクライアントＰＣ１０２の画面上に、検索された電子ファイルを類似度が高いものから順にサムネール表示するようにする。尚、検索された電子ファイルをサムネール表示ではなく、１枚ずつ表示或いはイメージデータのファイル名のみを表示するようにしてもよい。

このように、本発明に係る画像処理システムを用いることによって、原稿を読み取り走査して得られたイメージデータや、コンピュータを介して転送されたイメージデータから、データベース中のイメージデータを特徴量を用いて適切に検索することが可能となり、探したいイメージが含まれている電子ファイルを好適に取り出すことが可能となる。この際、データベースには、イメージデータの特徴量をあらかじめ保持しており、特徴量間のマッチングを行うため、検索にかかる時間は短くて済む。

以下、上述した画像処理システムをユーザが利用する場合の実施例について具体的に説明する。

まず、第１の実施例として、ユーザがあらかじめ検索に用いる画像を所有している場合の例について説明する。ユーザが所有する画像を検索に用いる場合、次の２通りの種類がある。１つ目は図２の入力装置１１３を用いて入力する方法、２つ目は図１のクライアントＰＣ１０２を介して入力する方法である。

ここで、ユーザが検索したい画像をイメージデータ以外のデータ、例えば紙原稿等のような形で所有している場合は、図２の光学的に原稿を読み取ってイメージデータを獲得することが可能な入力装置１１３を用いて入力する。この場合、表示装置１１６等を用いて検索結果のサムネール等が表示されるので、その中から自分の意図と合っている、又は類似している画像を選び、それを形成装置１１２や他のプリンタ等から出力することにより、ユーザはその文書ファイルを入手する。

また、ユーザが検索したい画像を電子ファイルとして保有している場合は、図１のクライアントＰＣ１０２からＬＡＮ１０７を介してＭＦＰ１００へ２次元のデジタル画素データの配列としてデータを送り、検索処理を実行する。そして、その結果がクライアントＰＣ１０２に表示されるので、そのデータをプリンタ等で出力、又は当該データをクライアントＰＣ１０２へ保存等する。

図１１は、サーバ上のデータベース１０５ａ、ｂに保存されている画像６０１を示す図である。また、図１２は、ユーザが入力装置１１３又はクライアントＰＣ１０２から入力する画像６０２を示す図である。それぞれの図においては、手、足等の各パーツはそれぞれ色が異なるため、１つの領域として分割可能であるとする。また、それぞれの図中の点線は、領域間が接続されているという情報を示している。例えば、図１１のサーバ上の画像６０１は、図１２の入力画像６０２と比べると、手の向きや足の向きや大きさ等が異なっているが、類似している部分が多い。このような場合に、例えば、画像６０１は類似度が高いものであると判断され、当該検索結果が出力される。

次に、ユーザが自由に描いたイメージデータから画像を検索する実施例について説明する。本実施例で提案する手段は、イメージを特徴量化して比較するものであるため、互いに似たような傾向の画像だけでなく、ユーザがイメージするあいまいな画像からでも、入力された画像から検索を可能にするものである。この場合、何らかの方法でユーザが自由に描いた画像を図２の入力装置１１３や図１のクライアントＰＣ１０２を介して入力することで実現する。

例えば、入力装置１１３を用いる場合、ある用紙に色鉛筆や絵の具などを用いて自由に描いた絵を入力装置１１３から光学的に読み込ませる。また、クライアントＰＣ１０２を介して入力する場合は、ペイント用ソフトやタブレットペンを用いて作成した２次元画像を入力とする。

図１３は、図１１の画像６０１のような画像をユーザが想像してあいまいに描いた画像の例を示す図である。図１３に示す画像６０３は、ユーザがあいまいに描いたものであるため、手や足の部分等が細かいパーツで分かれていない。しかし、上述したように本発明に係る画像処理では、比較を行う際に統合処理を行うため、細かいパーツの部分が統合されて比較されることになり、結果としてデータベース上の画像６０１とは類似度が高いものであると判断されて、検索結果が出力される。

従って、似たような画像を含む電子ファイルの検索だけでなく、ユーザがイメージする大まかな雰囲気を画像として入力することによっても同様に適切に検索することが可能である。

次に、ファイルアクセス権について考慮した実施例について説明する。通常扱われる文書ファイルの中には、第三者による再利用を制限することが望ましい文書がある。前述した実施例では、ファイルサーバに蓄積されたファイル（イメージデータ）は全て自由にアクセスすることが可能であり、ファイル全体、或いはその一部のオブジェクトは全て再利用が可能なことを前提に説明してきた。以下では、先の実施例でイメージデータを検索した際に、検索対象のファイルの中にアクセス権の制限が有る場合の別実施例について説明する。

すなわち、図３においてイメージデータがあるかを調べた後（ステップＳ１２９）、図１４に示す処理を行う。図１４は、ファイルアクセス権に関する第３の実施例の処理手順について説明するためのフローチャートである。まず、データベース１０５中のイメージデータについて、アクセス権を制限した電子ファイル（イメージデータ）があるかどうかを探索する（ステップＳ５０１）。その結果、アクセス権を制限したファイルがない場合（Ｎｏ）は図３のステップＳ１３０以降の処理を前述した通りに行う。

一方、アクセス権を制限したイメージデータがある場合（Ｙｅｓ）は、ＭＦＰ１００の表示装置１１６又はクライアントＰＣ１０２を用いてユーザに対し、パスワード入力を要求する（ステップＳ５０２）。そして、ユーザから受け取ったパスワードが正しいか否かを判定する（ステップＳ５０３）。その結果、そのパスワードが正しかった場合（Ｙｅｓ）は、アクセス権を制限した他のイメージデータがないかを判別し（ステップＳ５０６）、他のイメージデータがある場合（Ｙｅｓ）は再度ステップＳ５０２以下の処理を行う。一方、他のイメージデータがない場合（Ｎｏ）は、パスワード認証に失敗したイメージデータを除いたすべてのイメージデータに対して図３のステップＳ１３０以降の処理を行う。

また、ステップＳ５０３において、ユーザが入力したパスワードが間違っている場合（Ｎｏ）は、再度パスワード入力を行うか否かを質問し（ステップＳ５０４）、次いでユーザから再度パスワード入力が行われたかを判定する（ステップＳ５０５）。その結果、パスワードが再度入力された場合（Ｙｅｓ）はステップＳ５０２へと分岐して同様の処理を行う。また、再度パスワード入力が行われない場合（Ｎｏ）は、アクセス権を制限した他の電子ファイルがないかを判別する処理（ステップＳ５０６）を行う。

このようにして、機密性の高い文書等が混在しているたデータベース等に対しても適切な検索処理を行うことが可能となる。従って、アクセス制限のあるイメージデータが混じったデータベースに対して検索することが可能となるため、状況に応じて適切な検索結果を得ることができるようになる。

尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（又は記憶媒体）を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の一実施形態に係る画像処理システムの構成を示すブロック図である。 本発明の一実施形態に係るＭＦＰ１００の構成を示すブロック図である。 本発明の一実施形態に係る画像処理システムによる画像処理の手順について説明するためのフローチャートである。 ブロックセレクション処理によって読み取った１枚のイメージデータを属性を判定して複数のブロックに分割する様子を示す図である。 ブロックセレクション処理で得られた各ブロックに対するブロック情報の一例について示す図である。 画像領域のみが取り出されたデータに対して特徴量を算出する処理手順を説明するためのフローチャートである。 画像領域に対して特徴量算出処理を行った例を説明するための図である。 データ処理装置１１５による検索処理の手順を説明するためのフローチャートである。 領域を統合する一手法を説明するための図である。 構造を示す特徴量の算出を行った場合の一例について示す図である。 サーバ上のデータベース１０５に保存されている画像６０１を示す図である。 ユーザが入力装置１１３又はクライアントＰＣ１０２から入力する画像６０２を示す図である。 図１１の画像６０１のような画像をユーザが想像してあいまいに描いた画像の例を示す図である。 ファイルアクセス権に関する第３の実施例の処理手順について説明するためのフローチャートである。

符号の説明

１００ デジタル複合機（ＭＦＰ）
１０１ マネージメントＰＣ
１０２ クライアントＰＣ
１０３ａ、１０３ｂ プロキシサーバ
１０４ ネットワーク
１０５ａ、１０５ｂ データベース
１０６ａ、１０６ｂ 文書管理サーバ
１０７、１０８、１０９ ＬＡＮ
１１０ 画像読み取り部
１１１ 記憶装置
１１２ 形成装置
１１３ 入力装置
１１４、１１７ ネットワークＩ／Ｆ
１１５ データ処理装置
１１６ 表示装置

Claims (16)

1. サーバが保持する画像の中からクライアントで入力された画像に対応する画像を検索し、検索された画像を前記クライアントが取得して出力する画像処理システムであって、
   前記サーバは、第１の画像と該第１の画像の特徴量を保持する保持手段を備え、
   前記クライアントは、
   第２の画像を入力する入力手段と、
   前記第２の画像から特徴量を算出する算出手段と、
   前記サーバが保持する前記第１の画像の特徴量を取得する特徴量取得手段と、
   前記算出手段で算出された前記特徴量と前記特徴量取得手段で取得された前記特徴量とを比較する比較手段と、
   前記比較手段によって比較された特徴量が互いに一致又は類似している場合、前記特徴量取得手段により取得された前記特徴量を有する前記第１の画像を前記サーバから取得する画像取得手段と、
   取得された前記第１の画像を出力する出力手段と
   を備えることを特徴とする画像処理システム。
2. 前記算出手段が、
   前記入力手段により入力された前記第２の画像を領域分割する分割手段と、
   分割されたそれぞれの領域ごとに属性情報を付加する付加手段と、
   属性情報が付加された前記領域の中から画像領域を選択する選択手段と、
   選択されたそれぞれの画像領域の特徴量を抽出する抽出手段と、
   抽出された前記特徴量に基づいて、それぞれの画像領域が所定面積以上の領域か否かを判定する判定手段と、
   所定面積以上の複数の領域間の位置関係に関する情報を特徴量として算出する特徴量算出手段と
   を備えることを特徴とする請求項１に記載の画像処理システム。
3. 前記検索手段が、前記入力手段により入力された前記第２の画像と、前記算出手段を用いて算出された該第２の画像の特徴量とを前記サーバが備える前記保持手段に保持することを特徴とする請求項１又は２に記載の画像処理システム。
4. 前記比較手段が、
   前記算出手段で算出された前記特徴量と前記特徴量取得手段で取得された前記特徴量との類似度を算出する類似度算出手段と、
   算出された該類似度に基づいて２つの特徴量を比較する類似度比較手段と
   を備えることを特徴とする請求項３に記載の画像処理システム。
5. 前記比較手段が、前記画像領域の色、面積、位置、形状の少なくともいずれか１つの特徴量に関する類似度を算出することを特徴とする請求項４に記載の画像処理システム。
6. 前記入力手段が、原稿を光学的に読み取ってデジタル画像信号に変換した前記第２の画像を入力することを特徴とする請求項１から５までのいずれか１項に記載の画像処理システム。
7. 前記入力手段が、前記第２の画像を２次元のデジタル画素データの配列として入力することを特徴とする請求項１から５までのいずれか１項に記載の画像処理システム。
8. 前記入力手段が、手書きの原稿を光学的に読み取ってデジタル画像信号に変換した前記第２の画像を入力することを特徴とする請求項１から５までのいずれか１項に記載の画像処理システム。
9. 前記入力手段は、所定のユーザインタフェースを用いて描かれた２次元画像を前記第２の画像として入力することを特徴とする請求項１から５までのいずれか１項に記載の画像処理システム。
10. パスワードの入力を要求するパスワード要求手段と、
    入力されたパスワードが正しいかどうかを判定するパスワード判定手段と、
    正しいパスワードが入力された場合、前記クライアントから前記サーバに対する前記第１の画像又は該第１の画像の特徴量へのアクセスを許可する許可手段と
    をさらに備えることを特徴とする請求項１から９までのいずれか１項に記載の画像処理システム。
11. 前記パスワード要求手段は、前記サーバの前記保持手段が保持する前記第１の画像又は該第１の画像の特徴量にアクセスするごとに、前記パスワードの入力を要求することを特徴とする請求項１０に記載の画像処理システム。
12. 前記特徴量取得手段により取得された前記第１の画像を類似度の高い順にサムネール表示するサムネール表示手段と、
    表示されたサムネールから所定のサムネールを選択する選択手段をさらに備え、
    前記出力手段は、前記選択手段により選択された前記サムネールに対応する前前記第１の画像を所定媒体上に印刷出力する
    ことを特徴とする請求項４に記載の画像処理システム。
13. サーバが保持する第１の画像を検索し、該第１の画像を取得して出力する画像処理装置であって、
    第２の画像を入力する入力手段と、
    前記第２の画像から特徴量を算出する算出手段と、
    前記サーバが保持する前記第１の画像の特徴量を取得する特徴量取得手段と、
    前記算出手段で算出された前記特徴量と前記特徴量取得手段で取得された前記特徴量とを比較する比較手段と、
    前記比較手段によって比較された特徴量が互いに一致又は類似している場合、前記特徴量取得手段により取得された前記特徴量を有する前記画像を前記サーバから取得する画像取得手段と、
    取得された前記第１の画像を出力する出力手段と
    を備えることを特徴とする画像処理装置。
14. 前記算出手段が、
    前記入力手段により入力された前記第２の画像を領域分割する分割手段と、
    分割されたそれぞれの領域ごとに属性情報を付加する付加手段と、
    属性情報が付加された前記領域の中から画像領域を選択する選択手段と、
    選択されたそれぞれの画像領域の特徴量を抽出する抽出手段と、
    抽出された前記特徴量に基づいて、それぞれの画像領域が所定面積以上の領域か否かを判定する判定手段と、
    所定面積以上の複数の領域間の位置関係に関する情報を特徴量として算出する特徴量算出手段と
    を備えることを特徴とする請求項１３に記載の画像処理装置。
15. サーバが保持する第１の画像を検索し、該第１の画像を取得して出力する画像処理方法であって、
    第２の画像を入力する入力工程と、
    前記第２の画像から特徴量を算出する算出工程と、
    前記サーバが保持する前記第１の画像の特徴量を取得する特徴量取得工程と、
    前記算出工程で算出された前記特徴量と前記特徴量取得手段で取得された前記特徴量とを比較する比較工程と、
    前記比較工程によって比較された特徴量が互いに一致又は類似している場合、前記特徴量取得工程により取得された前記特徴量を有する前記画像を前記サーバから取得する画像取得工程と、
    取得された前記第１の画像を出力する出力工程と
    を有することを特徴とする画像処理方法。
16. 前記算出工程が、
    前記入力手段により入力された前記第２の画像を領域分割する分割工程と、
    分割されたそれぞれの領域ごとに属性情報を付加する付加工程と、
    属性情報が付加された前記領域の中から画像領域を選択する選択工程と、
    選択されたそれぞれの画像領域の特徴量を抽出する抽出工程と、
    抽出された前記特徴量に基づいて、それぞれの画像領域が所定面積以上の領域か否かを判定する判定工程と、
    所定面積以上の複数の領域間の位置関係に関する情報を特徴量として算出する特徴量算出工程と
    を有することを特徴とする請求項１５に記載の画像処理方法。

Images