JP2007049388A - 画像処理装置及びその制御方法、プログラム - Google Patents

Abstract

【課題】 オリジナル画像を用いて印刷された文書に、オリジナル画像にはない余白領域が文書領域の周りに生じているような場合でも、その文書のスキャン画像とオリジナル画像との高精度なレイアウト比較が可能となる画像処理装置及びその制御方法、プログラムを提供する。
【解決手段】 比較先画像となるオリジナル画像を入力する。オリジナル画像中のブロックに関するブロック情報を抽出する。オリジナル画像のサイズが所定サイズであるか否かを判定する。判定の結果、オリジナル画像のサイズが所定サイズではない場合、オリジナル画像を所定サイズの画像にマッピングした際のブロックに関するブロック情報を作成する。比較元画像を入力する。比較元画像中のブロックに関するブロック情報を抽出する。比較元画像のブロック情報と、比較先画像のブロック情報とを比較する。
【選択図】 図９

Description

本発明は、複写機などの画像入力装置で、読み取った紙文書に対応するオリジナルの電子データを検索し、オリジナルの電子データを印刷、配信、蓄積、編集などに活用することを可能とする画像処理装置及びその制御方法、プログラムに関するものである。

近年、デジタル化が進み、文書を電子ファイルとしてデータベースに格納されるようになっている。データベース上の電子ファイルを印刷された文書のスキャン画像で手軽に検索する要望が高まっている。これを実現する方法として、文書画像に含まれるテキスト領域や画像領域の位置関係を示すレイアウトを解析し、レイアウト同士を比較する方法が提案されている。特許文献１では、文書画像を領域分割し、その領域の数を絞込条件として領域数の一致する文書の特徴を比較する方法が開示されている。
特開平１１−３２８４１７号公報

ここで、例えば、カタログ等では、Ａ４やＬｅｔｔｅｒサイズ等のいわゆる定形サイズの用紙ではないサイズの用紙に印刷されることも多々ある。この場合、それらの電子ファイルに設定されている印刷用紙サイズは、定形外のサイズとなっている。しかしながら、オフィス等の拠点でこれらの電子ファイルを印刷する際は、定形サイズの用紙に印刷して利用する機会が多い。より厳密には、標準的に使用されている用紙サイズは、Ａ４もしくはＬｅｔｔｅｒの１種類であり、国によって異なっている。

定形外サイズのものを定形サイズに印刷する際に、その大きさが定形サイズに収まる場合は、アスペクト比の違いから大きな余白部分が生じてしまう。一方、大きさが定形サイズに収まらない場合に、電子ファイルの文書領域全体を変形させることなく印刷するためには、印刷対象の画像の縮小を行う必要があり、その結果、やはり大きな余白部分が生じてしまう。

このような場合の一例について、図２４を用いて説明する。

図２４において、２４０１は用紙設定が不定形サイズになっている電子ファイルの１ページをラスタライズしたオリジナル画像であり、この中に文字または画像領域である２４０２，２４０３が存在している。

一方、２４０４は定形サイズの用紙に印刷されたオリジナル画像をスキャンして得られたスキャン画像である。ここで、用紙設定が不定形サイズであるので、オリジナル画像の文書領域を変形させることなく印刷するために、オリジナル画像は縮小されており、スキャン画像２４０４上での文書領域は２４０５で示した矩形領域に対応する。

また、オリジナル画像２４０１中の文字または画像領域２４０２及び２４０３に対応する領域も、それぞれスキャン画像２４０４中の２４０６，２４０７となり、その位置が大きく異なっていることがわかる。

特許文献１によれば、拡大縮小等の影響をさけるために、画像全体の大きさを用いて、各領域の正規化を行っている。しかしながら、前述のようにスキャン画像では文書領域のまわりに、オリジナル画像にはない余白領域があるために、画像全体の大きさを用いて正規化を行っても、各領域の位置は異なったままとなる。よって、このような場合にレイアウト比較を行っても、同一のレイアウトと判定することができない。

本発明は上記の課題に鑑みてなされたものであり、オリジナル画像を用いて印刷された文書に、オリジナル画像にはない余白領域が文書領域の周りに生じているような場合でも、その文書のスキャン画像とオリジナル画像との高精度なレイアウト比較が可能となる画像処理装置及びその制御方法、プログラムを提供することを目的とする。

上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
画像の類似比較処理を実行する画像処理装置であって、
比較先画像となるオリジナル画像を入力する第１入力手段と、
前記オリジナル画像中のブロックに関するブロック情報を抽出する第１抽出手段と、
前記オリジナル画像のサイズが所定サイズであるか否かを判定する第１判定手段と、
前記第１判定手段の判定の結果、前記オリジナル画像のサイズが所定サイズではない場合、前記オリジナル画像を所定サイズの画像にマッピングした際の前記ブロックに関するブロック情報を作成する作成手段と、
前記ブロック情報を記憶する記憶手段と、
比較元画像を入力する第２入力手段と、
前記比較元画像中のブロックに関するブロック情報を抽出する第２抽出手段と、
前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを比較する比較手段と
を備える。

また、好ましくは、前記作成手段は、前記オリジナル画像を所定サイズの画像にマッピングした画像を想定した場合のオリジナル画像中のブロックに基づいて、前記第１抽出手段で抽出したブロック情報を変更することで、前記オリジナル画像を所定サイズの画像にマッピングした際の前記ブロックに関するブロック情報を作成する。

また、好ましくは、前記作成手段は、
前記オリジナル画像を所定サイズの画像にマッピングしたマッピング画像を作成する画像作成手段と、
前記画像作成手段により作成されたマッピング画像中のブロックに関するブロック情報を抽出する第３抽出手段とを備え、
前記第３抽出手段で抽出したブロック情報を、前記オリジナル画像を所定サイズにマッピングした際の前記ブロックに関するブロック情報として作成する。

また、好ましくは、前記作成手段は、
前記オリジナル画像を変倍する変倍手段と、
前記オリジナル画像を加工する加工手段と、
前記オリジナル画像に余白画像を付加する付加手段とを備え、
前記オリジナル画像のサイズに基づいて、前記変倍手段、前記加工手段及び前記付加手段の少なくとも一方を用いて、前記オリジナル画像を、所定サイズの画像にマッピングした際の前記ブロックに関するブロック情報を作成する。

また、好ましくは、前記作成手段は、
前記オリジナル画像を所定サイズの画像にマッピングする基準位置を決定する決定手段を備え、
前記オリジナル画像のサイズに基づいて、前記決定手段で決定した基準位置で、前記オリジナル画像を、所定サイズの画像にマッピングした際の前記ブロックに関するブロック情報を作成する。

また、好ましくは、前記比較手段は、
前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを相対座標系で比較する第１比較手段と、
前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを絶対座標系で比較する第２比較手段と
を備える。

上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
画像の類似比較処理を実行する画像処理装置であって、
比較先画像となるオリジナル画像を入力する第１入力手段と、
前記オリジナル画像中のブロックに関するブロック情報を抽出する第１抽出手段と、
前記ブロック情報を記憶する記憶手段と、
比較元画像を入力する第２入力手段と、
前記比較元画像中のブロックに関するブロック情報を抽出する第２抽出手段と、
前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを相対座標系で比較する第１比較手段と、
前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを絶対座標系で比較する第２比較手段と
を備える。

また、好ましくは、前記比較元画像のサイズに基づいて、前記第１比較手段及び前記第２比較手段の少なくとも一方を実行する。

また、好ましくは、前記比較元画像のサイズが所定サイズであるか否かを判定する第２判定手段を更に備え、
前記第２判定手段の判定結果に基づいて、前記第１比較手段及び前記第２比較手段の少なくとも一方を実行する。

また、好ましくは、前記第２判定手段の判定の結果、前記比較元画像のサイズが所定サイズでない場合、前記第２比較手段を実行する。

また、好ましくは、前記第１および第２抽出手段で抽出するブロック情報は、絶対座標系のブロック情報と相対座標系のブロック情報である。

また、好ましくは、前記第１および第２抽出手段で抽出するブロック情報は、絶対座標系のブロック情報であり、
前記比較先画像のサイズ情報を記憶するサイズ情報記憶手段と、
前記絶対座標系のブロック情報と前記用紙サイズ情報に基づいて、相対座標系のブロック情報を作成するブロック情報作成手段と
を更に備える。

また、好ましくは、前記第１および第２抽出手段で抽出するブロック情報は、相対座標系のブロック情報であり、
前記比較先画像のサイズ情報を記憶するサイズ情報記憶手段と、
前記相対座標系のブロック情報と前記用紙サイズ情報に基づいて、絶対座標系のブロック情報を作成するブロック情報作成手段と
を更に備える。

また、好ましくは、前記所定サイズを指定する指定手段を更に備える。

上記の目的を達成するための本発明による画像処理装置の制御方法は以下の構成を備える。即ち、
画像の類似比較処理を実行する画像処理装置の制御方法であって、
比較先画像となるオリジナル画像を入力する第１入力工程と、
前記オリジナル画像中のブロックに関するブロック情報を抽出する第１抽出工程と、
前記オリジナル画像のサイズが所定サイズであるか否かを判定する第１判定工程と、
前記第１判定工程の判定の結果、前記オリジナル画像のサイズが所定サイズではない場合、前記オリジナル画像を所定サイズの画像にマッピングした際の前記ブロックに関するブロック情報を作成する作成工程と、
比較元画像を入力する第２入力工程と、
前記比較元画像中のブロックに関するブロック情報を抽出する第２抽出工程と、
前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを比較する比較工程と
を備える。

上記の目的を達成するための本発明による画像処理装置の制御方法は以下の構成を備える。即ち、
画像の類似比較処理を実行する画像処理装置の制御方法であって、
比較先画像となるオリジナル画像を入力する第１入力工程と、
前記オリジナル画像中のブロックに関するブロック情報を抽出する第１抽出工程と、
比較元画像を入力する第２入力工程と、
前記比較元画像中のブロックに関するブロック情報を抽出する第２抽出工程と、
前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを相対座標系で比較する第１比較工程と、
前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを絶対座標系で比較する第２比較工程と
を備える。

上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
画像の類似比較処理を実行する画像処理装置の制御をコンピュータに実行させるためのプログラムであって、
比較先画像となるオリジナル画像を入力する第１入力工程と、
前記オリジナル画像中のブロックに関するブロック情報を抽出する第１抽出工程と、
前記オリジナル画像のサイズが所定サイズであるか否かを判定する第１判定工程と、
前記第１判定工程の判定の結果、前記オリジナル画像のサイズが所定サイズではない場合、前記オリジナル画像を所定サイズの画像にマッピングした際の前記ブロックに関するブロック情報を作成する作成工程と、
比較元画像を入力する第２入力工程と、
前記比較元画像中のブロックに関するブロック情報を抽出する第２抽出工程と、
前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを比較する比較工程と
をコンピュータに実行させることを特徴とする。

上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
画像の類似比較処理を実行する画像処理装置の制御をコンピュータに実行させるためのプログラムであって、
比較先画像となるオリジナル画像を入力する第１入力工程と、
前記オリジナル画像中のブロックに関するブロック情報を抽出する第１抽出工程と、
比較元画像を入力する第２入力工程と、
前記比較元画像中のブロックに関するブロック情報を抽出する第２抽出工程と、
前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを相対座標系で比較する第１比較工程と、
前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを絶対座標系で比較する第２比較工程と
をコンピュータに実行させることを特徴とする。

以上説明したように、本発明によれば、オリジナル画像を用いて印刷された文書に、オリジナル画像にはない余白領域が文書領域の周りに生じているような場合でも、その文書のスキャン画像とオリジナル画像との高精度なレイアウト比較が可能となる画像処理装置及びその制御方法、プログラムを提供できる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

図１は本発明の実施形態の画像処理システムの構成を示すブロック図である。

この画像処理システムは、オフィス１Ａとオフィス１Ｂとをインターネット等のネットワーク１０４で接続された環境で実現する。

オフィス１Ａ内に構築されたＬＡＮ１０７には、複数種類の機能を実現する複合機であるＭＦＰ（Multi Function Peripheral）１００が接続されている。また、このＬＡＮ１０７には、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ１０６ａ及びそのデータベース１０５ａ、及びプロキシサーバ１０３ａが接続されている。

また、オフィス２０内に構築されたＬＡＮ１０８には、文書管理サーバ１０６ｂ及びそのデータベース１０５ｂ、及びプロキシサーバ１０３ｂが接続されている。

オフィス１Ａ内のＬＡＮ１０７及びオフィス１Ｂ内のＬＡＮ１０８は、双方のオフィスのプロキシサーバ１０３ａ及び１０３ｂを介してネットワーク１０４に接続されている。

ＭＦＰ１００は、特に、紙文書を電子的に読み取る画像読取部と、画像読取部から得られる画像信号に対する画像処理を実行する画像処理部を有し、この画像信号はＬＡＮ１０９を介してマネージメントＰＣ１０１に送信することができる。

マネージメントＰＣ１０１は、通常のＰＣであり、内部に画像記憶部、画像処理部、表示部、入力部等の各種構成要素を有するが、その構成要素の一部はＭＦＰ１００に一体化して構成されている。

尚、ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれかである。または、ネットワーク１０４は、これらの組み合わせにより実現されるいわゆる通信ネットワークであり、データの送受信が可能であれば良い。

また、マネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ１０６ａ及び１０６ｂ等の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素を有している。この標準的な構成要素には、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等がある。

次に、ＭＦＰ１００の詳細構成について、図２を用いて説明する。

図２は本発明の実施形態のＭＦＰの詳細構成を示すブロック図である。

図２において、原稿台とオートドキュメントフィーダ（ＡＤＦ）を含む画像読取部２００は、束状のあるいは１枚の原稿画像を光源（不図示）で照射し、原稿反射像をレンズで固体撮像素子上に結像する。これにより、画像読取部２００は、その固体撮像素子からラスタ状の画像読取信号を所定密度（例えば、６００ＤＰＩ）のラスタ画像として得る。

尚、本実施形態では、画像読取部２００で読み取られる印刷物として、紙文書を例に挙げて説明するが、紙以外の記録媒体（例えば、ＯＨＰシート、フィルム等の透過原稿、布等）からなる印刷物を画像読取部２００の読取対象としても良い。

また、ＭＦＰ１００は、画像読取信号に対応する画像を印刷部２０２で記録媒体に印刷する複写機能を有する。特に、原稿画像を１つ複写する場合には、この画像読取信号をデータ処理部２０５で画像処理して記録信号を生成し、これを印刷部２０２によって記録媒体上に印刷させる。一方、原稿画像を複数複写する場合には、記憶部２０１に一旦一つ分の記録信号を記憶保持させた後、これを印刷部２０２に順次出力して記録媒体上に印刷させる。

一方、クライアントＰＣ１０２から出力される記録信号は、ＬＡＮ１０７及びネットワークＩ／Ｆ２０４を介してデータ処理部２０５が受信し、データ処理部２０５は、その記録信号を印刷部２０２で記録可能なラスターデータに変換する。その後、印刷部２０２によってそのラスターデータを記録媒体上に印刷させる。

ＭＦＰ１００への操作者の指示は、ＭＦＰ１００に装備されたキー操作部とマネージメントＰＣ１０１に接続されたキーボード及びマウスからなる入力部２０３から行われ、これら一連の動作はデータ処理部２０５内の制御部（不図示）で制御される。また、操作入力の状態表示及び処理中の画像データの表示は、表示部２０６で行われる。

記憶部２０１は、マネージメントＰＣ１０１からも制御され、ＭＦＰ１００とマネージメントＰＣ１０１とのデータの送受信及び制御は、ネットワークＩ／Ｆ２０７及びＬＡＮ１０９を介して行われる。

データベース２０８は、画像読取部２００で読み取った紙文書の文書画像、その文書画像に関する情報を登録、管理する。また、クライアントＰＣ１０２内のハードディスク内、或いはオフィス１Ａ、１Ｂ内の文書管理サーバ１０６ａ、ｂのデータベース１０５ａ、ｂ内の電子文書の画像に関する情報を登録、管理する。

尚、ＭＦＰ１００では、後述する各種処理を実行するための各種操作・表示をユーザに提供するユーザインタフェースを、表示部２０６及び入力部２０３によって実現している。

本発明による画像処理システムで実行する処理としては、大きく分けて画像データを登録する登録処理と、所望の画像データを検索する検索処理の２つがある。

尚、実施形態では、画像処理システム全体の処理効率を向上するために、以下に説明する各種処理を、画像処理システムを構成する各種端末に分散させて実行するようにしているが、１つの端末（例えば、ＭＦＰ１００）上で実行するようにしても構わない。

まず、登録処理について説明する。

［登録処理の概要］
登録対象の画像データの登録方法としては、紙文書をスキャン入力して生成した画像データを登録する場合と、文書作成アプリケーション等で作成された電子文書をラスタ画像に展開した画像データを登録する場合がある。

そこで、オリジナル文書を登録する登録処理の概要について、図３を用いて説明する。

図３は本発明の実施形態の登録処理を示すフローチャートである。

尚、この処理は、画像読取部２００のＡＤＦに、登録対象の紙文書がセットされ、入力部２０３の登録ボタンが操作された時点で開始される。また、登録対象の紙文書は、１枚でも複数枚でも可能であるが、複数枚の場合は、その紙文書から得られる画像データ群（ページ画像群）を１つのファイルとして管理することになる。

まず、ステップＳ３０１で、登録対象のオリジナル文書を入力する。また、この入力に伴って、オリジナル文書を管理するための各種情報を生成して記憶部２０１に記憶する。

尚、オリジナル文書を登録する際のオリジナル文書の入力方法には、２種類存在する。

オリジナル文書が電子データである場合は、クライアントＰＣ１０２内のハードディスク内、あるいはオフィス１Ａや１Ｂ内の文書管理サーバ１０６ａ、ｂ内のデータベース１０５ａ、ｂ内、あるいはＭＦＰ１００の記憶部２０１のいずれかに格納されている。そして、これらの記憶元から登録対象のオリジナル文書の電子データを読み出してネットワークＩ／Ｆ２０４を介してデータ処理部２０５に入力し、データ処理部２０５でその電子データをラスタ画像に変換する。

一方、オリジナル文書が紙文書である場合は、ＭＦＰ１００の画像読取部２００で、その紙文書をラスタ状に走査しラスタ画像を得る。

このように、実施形態では、登録対象のオリジナル文書に、電子データあるいは紙文書のどちらも扱うことが可能である。

次に、ステップＳ３０２で、ラスタ画像をデータ処理部２０５で前処理を施し記憶部２０１に保存する（尚、これ以降、紙文書のときはラスタ画像がオリジナル文書の電子データとなる）。このとき、登録対象のオリジナル文書毎に固有の文書ＩＤを発行し、オリジナル文書の電子データの格納場所を示すアドレスと対応付けて、用紙サイズ（画像のピクセル値：入力画像サイズ）とともに、データベース２０８内の文書情報として登録する。

ここで、文書ＩＤとは、データベース２０８内に格納される電子文書を識別するためのＩＤであり、電子文書を一つ登録する毎に、使用されていないＩＤが発行される。また、アドレスとは、ＵＲＬや、サーバ名とディレクトリ、ファイル名からなる電子データの格納先を示すフルパス情報である。また、文書情報の一例を示すと、図４のようになる。また、文書情報の格納先は、データベース１０５ａ、ｂや記憶部２０１等が挙げられる。

尚、オリジナル文書が紙文書である場合の電子データのファイル形式は、例えば、ＢＭＰ形式とするが、これに限定されるものではなく、色情報を保存しておくことが可能なファイル形式（例えば、ＧＩＦ、ＪＰＥＧ）であればどのようなものでも良い。

一方、オリジナル文書が電子データである場合のその電子データのファイル形式は、その電子データを作成したアプリケーションで作成されたファイル形式となる。このファイル形式には、例えば、米マイクロソフト社のＭＳ−Ｗｏｒｄ（＊．ｄｏｃ）や、米アドビシステムズ社のアクロバット（＊．ｐｄｆ）等）がある。

次に、ステップＳ３０３で、ブロックセレクション（ＢＳ）処理を行う。この処理は、マネージメントＰＣ１０１の制御によって実行する。

具体的には、マネージメントＰＣ１０１のＣＰＵは、記憶部２０１に格納された処理対象のオリジナル文書のラスタ画像を、まず、文字／線画部分とハーフトーン画像部分とに領域分割する。次に、文字／線画部分は更に段落で塊として纏まっているブロック毎に、あるいは線で構成された表、図形毎に分割する。

一方、ハーフトーン画像部分は、矩形に分離されたブロックの画像部分、背景部分等のブロックに分割する。そして、処理対象のページのページ番号、そのページ中の各ブロックを特定するブロックＩＤを発行する。

そして、ステップＳ３０４で、これを、各ブロックの属性（画像、文字等）、サイズやオリジナル文書内の位置（ページ内の座標）と各ブロックを関連付けてデータベース２０８に、ブロック情報として記憶（登録）する。このブロック情報の一例を示すと、図５のようになる。

ステップＳ３０５で、入力画像サイズが所定サイズ（標準用紙サイズ）であるか否かを判定する。

ここで、標準用紙サイズとは、画像処理装置であるＭＦＰ１００で通常使用される（最も多く使用される）用紙サイズのことである。本実施形態では、Ａ４サイズを標準用紙サイズとしている。標準用紙サイズである場合（ステップＳ３０５でＹＥＳ）、ステップＳ３０９に進む。一方、標準用紙サイズでない場合（ステップＳ３０５でＮＯ）、ステップＳ３０６へ進み、登録対象のオリジナル文書に対して、新たな文書ＩＤを発行し、かつその用紙サイズを標準用紙サイズとして、データベース２０８内に文書情報として登録する。この場合は、図４に示すように、同じ内容の画像に対し、２つ以上の文書ＩＤが与えられることになる。

ステップＳ３０７で、標準用紙サイズに基づいて、オリジナル文書のブロック情報を変更して、登録する。

これは、入力画像を標準用紙サイズにマッピングした画像を想定し、ステップＳ３０３で作成したブロック情報を、標準用紙サイズにマッピングした画像のブロックセレクションを行ったときに得られるブロック情報と同等のブロック情報に変更する。

この入力画像を標準用紙サイズにマッピングした画像（マッピング画像）は、入力画像の左右／上下に余白を加えたり、入力画像を拡大縮小（変倍）したり、標準用紙サイズからはみ出した部分を切り取ったり（トリミング）することによって生成する。

ここで、マッピング画像の具体例について図６に示す。図６において、図６（Ｂ）〜図６（Ｈ）のマッピング画像は、標準用紙サイズより小さい用紙サイズの入力画像（図６（Ａ））から生成した例を示している。一方、図６（Ｊ）及び図６（Ｋ）のマッピング画像は、標準用紙サイズより大きい用紙サイズの入力画像（図６（Ｉ））から生成した例を示している。

具体的には、図６（Ｂ）のマッピング画像は、入力画像（図６（Ａ））の上下左右に余白を加えたものである。また、図６（Ｃ）のマッピング画像は、入力画像（図６（Ａ））を拡大し、かつ左右に余白を加えたものである。図６（Ｄ）のマッピング画像は、入力画像（図６（Ａ））を標準用紙サイズの画像に左上基準でマッピングしたものである。また、図６（Ｅ）のマッピング画像は、入力画像（図６（Ａ））を拡大した上で、標準用紙サイズの画像に左上基準でマッピングしたものである。

また、図６（Ｆ）のマッピング画像は、拡大した入力画像（図６（Ａ））の左右／上下に余白を加えたものである。図６（Ｇ）のマッピング画像は、入力画像（図６（Ａ））を、標準用紙サイズの画像に左上基準で、かつ左右／上下に余白を加えてマッピングしたものである。図６（Ｈ）のマッピング画像は、入力画像（図６（Ａ））を拡大した上で標準用紙サイズの画像に左上基準で、かつ左右／上下に余白を加えたものである。

更に、図６（Ｊ）のマッピング画像は、入力画像（図６（Ｉ））において、標準用紙サイズからはみ出した部分を切り取ったものである。図６（Ｋ）のマッピング画像は、入力画像（図６（Ｉ））を縮小したものである。

このように、本実施形態では、オリジナル画像を所定サイズ（標準用紙サイズ）の画像にマッピングするに際し、そのオリジナル画像を所定サイズの画像に等倍でマッピングし、必要に応じて余白を追加し、かつ／もしくは、はみ出している部分を切り取る。更には、オリジナル画像が標準用紙サイズにはみ出すことなく、かつ、余白が可能な限り少なくなるように変倍してマッピングし、必要に応じて余白を追加する。

これに加えて、オリジナル画像を標準用紙サイズに左上基準でマッピングしたり、中央基準でマッピングする。この基準は、これに限定されるものではなく、右上、右下等の任意の位置を基準にマッピングすることも可能である。

ステップＳ３０７では、ブロック情報を変更することにより標準用紙サイズにマッピングした画像におけるブロック情報を得ているが、これに限定されない。例えば、標準用紙サイズにマッピングした画像を作成し、その画像に対しブロックセレクション処理を行うことにより、標準用紙サイズにマッピングした画像におけるブロック情報を得てもよい。

このステップＳ３０７における、標準用紙サイズにマッピングした画像は、標準用紙サイズと異なる入力原稿を標準用紙サイズの用紙に印刷出力した際の出力結果を考慮したものである。

本実施形態では、入力画像を標準用紙の中央に配置し、用紙サイズ全体を使用することにより、標準用紙サイズにマッピングした画像を得たもので説明している。その他の配置で作成した画像もあり得るが、同様の方法で対応可能である。

例えば、アプリケーションの設定によっては、用紙の中央に印刷されずに用紙の左上に印刷されるものがあることから、左上を原点として配置（図６（Ｄ）、図６（Ｅ））したマッピング画像を想定している。更には、印刷機器によっては用紙の上下左右に印刷できない領域があることから、上下左右すべてに一定量の余白を設けるように配置（図６（Ｆ）、図６（Ｇ）、図６（Ｈ））したマッピング画像も想定している。

標準用紙サイズと異なる画像、特に、Ａ形、Ｂ形、ＵＳレター形とは異なる画像は、オリジナル画像とは異なる印刷出力結果になりがちである。また、ＵＳレター形で作成された原稿をＡ４用紙に印刷したり、逆にＡ４形で作成された原稿をＵＳレター用紙に印刷したりした場合も、同様にオリジナル画像とは異なる印刷出力結果になる。

そこで、本実施形態では、オリジナル画像である入力画像（図６（Ａ）や図６（Ｉ））だけでなく、図６（Ｂ）〜図６（Ｈ）、図６（Ｊ）、図６（Ｋ）の状態のマッピング画像におけるブロック情報を登録しておく。これにより、様々な印刷状態の印刷画像をオリジナル画像（比較元画像）としてレイアウト比較を行った際に、同一のレイアウトを有する文書であるとみなすことができる。

次に、ステップＳ３０８で、ステップＳ３０４と同様に、変更したブロックに対して、ブロックセレクション処理の処理対象の各ブロックを特定するブロックＩＤを発行する。そして、各ブロックの属性（画像、文字等）、サイズやオリジナル文書内の位置（座標）と各ブロックを関連付けてデータベース２０８にブロック情報として記憶（登録）する。

次に、ステップＳ３０９で、データ処理部２０５において、各ブロックの種別に応じて、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。

特に、文字ブロックについては、ＯＣＲ処理を施して文字コードを抽出し、これを文字特徴量とする。また、画像ブロックについては、輝度や色に関する画像特徴量を抽出する。そして、ステップＳ３１０で、それぞれのブロックに対応する特徴量をオリジナル文書単位にまとめ、文書ＩＤ、ページ番号、ブロックＩＤに関連付けてデータベース２０８に特徴量情報として記憶（登録）する。この文字特徴量及び画像特徴量の一例を示すと、図７及び図８のようになる。

［検索処理の概要］
オリジナル文書の電子データを検索する検索処理の概要について、図９を用いて説明する。

図９は本発明の実施形態の検索処理を示すフローチャートである。

まず、ステップＳ９０１で、検索条件となる紙文書の入力を行う。この処理は、ステップＳ３０１の処理と同様であるので説明は省略する。但し、この処理によって生成するラスタ画像は一時保存するだけであり、その紙文書に対するアドレス情報を記憶部２０１に保存しておく必要はない。

次に、ステップＳ９０２で、ラスタ画像中の画像領域に対して、ブロックセレクション（ＢＳ）処理を行う。

尚、このブロックセレクション処理自体は、ステップＳ３０３のブロックセレクション処理と同様であるので説明は省略する。但し、このブロックセレクション処理によって生成する各ブロックの属性、サイズ、位置は一時保存するだけであり、その紙文書に対するブロック情報は記憶部２０１に保存しておく必要はない。

次に、ステップＳ９０３で、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。この処理は、ステップＳ３０９の処理と同様であるので説明は省略する。但し、この処理によって生成する各ブロックの特徴量は一時保存するだけであり、その紙文書に対する特徴量情報を記憶部２０１に保存しておく必要はない。

次に、ステップＳ９０４で、入力した紙文書（入力画像）の用紙サイズが標準用紙サイズであるか否かを判定する。標準用紙サイズである場合（ステップＳ９０４でＹＥＳ）、ステップＳ９０６に進む。一方、標準用紙サイズでない場合（ステップＳ９０４でＮＯ）、ステップＳ９０５に進む。

ステップＳ９０５で、入力した紙文書（入力画像）の用紙サイズを正規化し、対応するブロック情報の位置、サイズを正規化された用紙サイズに合わせることにより、正規化された（相対座標系での）ブロック情報を作成する。

次に、ステップＳ９０６で、入力した紙文書（比較元画像）のブロック情報及び特徴量情報と、データベース２０８に格納されている電子文書の文書ＩＤに対応するオリジナル文書（比較先画像）のブロック情報及び特徴量情報とを比較する。

次に、ステップＳ９０７で、比較結果に基づいて、文書候補リストを作成する。尚、文書候補リストは、候補となるオリジナル文書の文書ＩＤと類似度とを含むリストである。また、この類似度が所定閾値を下回る場合には、文書候補リストから削除される。また、文書候補リスト中の複数の文書ＩＤが同じオリジナル文書を参照している場合は、類似度が最も高い文書ＩＤのみを残し、その他の文書ＩＤは削除する。図１０は、本実施形態における文書候補リストの構成例を示す図である。

次に、ステップＳ９０８で、文書候補リスト中の候補数が１つであるか否かを判定する。候補数が１つである場合（ステップＳ９０８でＹＥＳ）、ステップＳ９１０に進む。一方、候補数が２つ以上である場合（ステップＳ９０８でＮＯ）、ステップＳ９０９に進む。

ステップＳ９０９で、文書候補リストに登録されている文書のサムネイル画像をオリジナル文書候補として表示する。具体的には、オリジナル文書候補群のサムネイル画像を含むユーザインタフェースを表示部２０６及び入力部２０３で実現する。このユーザインタフェースによって、オリジナル文書候補群の表示／選択を行う。

特に、この選択は、オリジナル文書候補のサムネイル画像を表示部２０６に表示し、複数のオリジナル文書候補の中からユーザが所望のオリジナル文書候補のサムネイル画像を選択させることで実現する。そして、このユーザインタフェースによってオリジナル文書が選択されると、そのオリジナル文書の文書ＩＤを特定する。尚、このユーザインタフェースの構成の詳細については後述する。

最後に、ステップＳ９１０で、選択されたオリジナル文書の文書ＩＤに対して、データベース２０８内のアドレス情報の文書ＩＤに対応したアドレスを参照して、記憶部２０１に、オリジナル文書（電子ファイル若しくは画像データ）を読み込む。そして、オペレータの指示に基づいて、そのオリジナル文書の印刷、配信、蓄積、編集のいずれかの処理を実行する。

［各処理の詳細］
以下、各処理の詳細について説明する。

[ブロックセレクション処理の詳細]
まず、ステップＳ３０３及びステップＳ９０２のブロックセレクション処理の詳細について説明する。

ブロックセレクション処理とは、例えば、図１１のラスタ画像１１Ａを、画像１１Ｂに示すように、意味のあるブロック毎の塊として認識する。そして、そのブロック各々の属性（文字（ＴＥＸＴ）／図画（ＰＩＣＴＵＲＥ）／写真（ＰＨＯＴＯ）／線（ＬＩＮＥ）／表（ＴＡＢＬＥ）等）を判定し、異なる属性を持つブロックに分割する処理である。

ブロックセレクション処理の実施形態を以下に説明する。

まず、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。

このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つブロックへ分類していく。例えば、縦横比が１に近く、大きさが一定の範囲のブロックは文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字ブロック、扁平な画素塊を線ブロックとする。また、一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表ブロック、不定形の画素塊が散在している領域を写真ブロック、それ以外の任意形状の画素塊を図画ブロックとする。

[特徴量情報抽出処理の詳細]
次に、ステップＳ３０９及びステップＳ９０３の特徴量情報抽出処理の詳細について説明する。

尚、特徴量情報抽出処理は、画像ブロック及び文字ブロックで処理方法が異なるので、それぞれ別に説明する。

ここで、画像ブロックは、図１１の１１Ｂの例の場合、写真ブロックと図画ブロックとするが、用途や目的に応じて、画像ブロックを写真ブロック及び図画ブロックの少なくとも一方にすることも可能である。

[画像ブロックに対する特徴量情報抽出処理の詳細]
まず、画像ブロックに対する特徴量情報抽出処理について説明する。

尚、１文書に複数の画像ブロックが存在する場合は、その総数分、以下の処理を繰り返す。

実施形態では、一例として、画像の色に関する色特徴量を抽出する色特徴量情報抽出処理を行う。

この色特徴量情報抽出処理の詳細について、図１２を用いて説明する。

図１２は本発明の実施形態の色特徴量情報抽出処理の詳細を示すフローチャートである。

尚、この処理では、処理対象画像を複数のメッシュブロックに分割した各メッシュブロックの色ヒストグラム中の最頻色を有する色と各メッシュブロックの位置情報を対応づけた情報を色特徴情報として抽出する。

まず、ステップＳ１２０１で、画像を複数のメッシュブロックに分割する。本実施形態では、図１３に示すように、画像を縦横をそれぞれ９メッシュブロックに分割する。特に、本実施形態では、表記の都合上９×９＝８１メッシュブロックに分割している例を示しているが、実際には、１５×１５＝２２５メッシュブロック程度であることが好ましい。

次に、ステップＳ１２０２で、処理対象となる着目メッシュブロックを左上端のブロックに設定する。尚、この着目メッシュブロックの設定は、例えば、図１４（３×３の例で示している）に示すように、予め処理順序が決定された順序決定テーブルを参照して行う。図１４に示す例では、左上端から右へ走査し、その行を終えると次の行の左端から右へスキャンする走査例を示している。

ステップＳ１２０３で、未処理の着目メッシュブロックの有無を判定する。未処理の着目メッシュブロックがない場合（ステップＳ１２０３でＮＯ）、処理を終了する。一方、未処理の着目メッシュブロックがある場合（ステップＳ１２０３でＹＥＳ）、ステップＳ１２０４に進む。

ステップＳ１２０４で、着目メッシュブロックの全画素の各濃度値を、図１５に示す色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。

尚、本実施形態では、図１５に示すように、ＲＧＢ色空間を３×３×３＝２７に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影する場合を示しているが、これに限定されない。実際には、ＲＧＢ色空間を６×６×６＝２１６に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影するほうが好ましい。

ステップＳ１２０５で、色ヒストグラムの最頻色ビンの色ビンＩＤをその着目メッシュブロックの代表色と決定し、その着目メッシュブロックとその位置に対応づけて記憶部２０１に記憶する。

ステップＳ１２０６で、図１４の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１２０３に戻り、未処理の着目メッシュブロックがなくなるまで、ステップＳ１２０３〜ステップＳ１２０６の処理を再帰的に繰り返す。

以上の処理によって、処理対象画像（画像ブロック）のメッシュブロック毎の代表色と各メッシュブロックの位置情報が対応付けられた情報を色特徴量情報として抽出することができる。

[文字ブロックに対する特徴量情報抽出処理の詳細]
次に、文字ブロックに対する特徴量情報抽出処理について説明する。

尚、１文書に複数の文字ブロックが存在する場合は、その総数分、以下の処理を繰り返す。

文字ブロックに対する文字特徴量情報は、その文字ブロックにＯＣＲ（文字認識）処理を施して得られる文字コードとする。

ＯＣＲ（文字認識）処理は、文字ブロックから文字単位で切り出された文字画像に対し、パターンマッチングの一手法を用いて文字認識を行い、対応する文字コードを取得する。

この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とするものである。

特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュブロック内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。

ブロックセレクション処理（ステップＳ３０９あるいはステップＳ９０３）で抽出された文字ブロックに対して文字認識を行う場合は、まず、該当文字ブロックに対し横書き／縦書きの判定を行う。その後、各々対応する方向に文字列を切り出し、その後、文字列から文字を切り出して文字画像を取得する。

横書き／縦書きの判定は、該当文字ブロック内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判定する。文字列及び文字への分解は、横書きの文字ブロックである場合には、その水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。一方、縦書きの文字ブロックに対しては、水平と垂直を逆にすれば良い。

[比較処理の詳細]
次に、ステップＳ９０６の比較処理の詳細について、図１６を用いて説明する。

図１６は本発明の実施形態の比較処理の詳細を示すフローチャートである。

まず、ステップＳ１６０１で、比較先文書を管理する文書候補リストの先頭から文書ＩＤを順番に取得する。次に、ステップＳ１６０２で、全ての文書ＩＤを取得したか否かを判定する。その結果、全ての文書ＩＤを取得した場合（ステップＳ１６０２でＹＥＳ）、本処理を終了する。一方、全ての文書ＩＤを取得していない場合（ステップＳ１６０２でＮＯ）、ステップＳ１６０３に進む。

ステップＳ１６０３で、比較先文書の文書ＩＤがすでにページ比較した文書であるか否かを判定する。本実施形態では、ひとつの文書に対し複数の文書ＩＤが割り当てられている場合がある。そして、それぞれの文書ＩＤには、それぞれ異なったブロック情報が登録されているが、ブロック内の特徴は共通のものである。従って、既にページ比較を行った文書の別の文書ＩＤのブロック情報を用いてページ比較処理を行っても、処理が冗長になるため、比較を行う必要はない。

既にページ比較している文書である場合（ステップＳ１６０３でＹＥＳ）、ステップＳ１６０１に戻る。一方、ページ比較していない文書である場合（ステップＳ１６０３でＮＯ）、ステップＳ１６０４に進む。

次に、ステップＳ１６０４で、相対座標系でレイアウト比較を実行する。ここで、レイアウトとは、ブロック情報にあるブロックの属性、サイズ、位置のことである。具体的には、各ブロックの属性、サイズ、位置と、ステップＳ１６０１で取得した文書ＩＤ及び現在処理中のページに対応したブロック情報中の各ブロックの属性、サイズ、位置を比較し、レイアウトが同じであるか否かを判定する。

本実施形態では、図５に示すブロック情報では、ブロックの位置、サイズはピクセル値を用いて絶対座標系で与えられている。そのため、図４の文書情報中の用紙サイズを用いて、処理対象画像を正規化し、相対座標系に変換する。相対座標系でレイアウト比較を行うことによって、単純に拡大もしくは縮小された画像を同じレイアウトとしてみなすことができる。即ち、図１７（Ａ）〜図１７（Ｄ）で示すような、サイズの異なる画像のレイアウトは同じレイアウトとしてみなせるということになる。

ステップＳ１６０５で、ステップＳ１６０４のレイアウト比較処理に基づいて、レイアウトが同じであるか否かを判定する。比較元画像（紙文書）と比較先画像（オリジナル文書）のレイアウトが同じである場合（ステップＳ１６０５でＹＥＳ）、ステップＳ１６０９に進む。一方、比較元画像と比較先画像のレイアウトが同じでない場合（ステップＳ１６０５でＮＯ）、ステップＳ１６０６に進む。

ステップＳ１６０６で、比較元画像の用紙サイズが標準用紙サイズであるか否かを判定する。標準用紙サイズでない場合（ステップＳ１６０６でＮＯ）、ステップＳ１６０７に進む。一方、標準用紙サイズである場合（ステップＳ１６０６でＹＥＳ）、ステップＳ１６０１に戻る。

ステップＳ１６０７で、絶対座標系でレイアウト比較を実行する。これは、オリジナル画像の大きさは変えずに、大きめの用紙に印刷した場合、ステップＳ１６０４の相対座標系でのレイアウトの比較では、異なるレイアウトと判断されるが、本処理を行うことで、同じレイアウトと判断することが可能になる。即ち、図１８（Ａ）〜（Ｃ）で示すようなサイズの用紙に印刷された画像のレイアウトは同じレイアウトとしてみなせるということになる。

ステップＳ１６０８で、ステップＳ１６０７のレイアウト比較処理に基づいて、レイアウトが同じであるか否かを判定する。比較元画像（紙文書）と比較先画像（オリジナル文書）のレイアウトが同じである場合（ステップＳ１６０５でＹＥＳ）、ステップＳ１６０９に進む。一方、比較元画像と比較先画像のレイアウトが同じでない場合（ステップＳ１６０５でＮＯ）、ステップＳ１６０１に戻る。

ステップＳ１６０９で、比較元画像（紙文書）と比較先画像（オリジナル文書）のページ同士の比較を行うページ比較処理を実行する。この比較は、ブロックの属性に合わせ、文字、画像それぞれに応じた特徴量を用いて、複合的に比較を行い、類似度を算出する。尚、この処理の詳細については後述する。

次に、ステップＳ１６１０で、算出された類似度が所定の閾値以上であるか否かを判定する。類似度が所定の閾値未満である場合（ステップＳ１６１０でＮＯ）、ステップＳ１６０１に戻る。一方、類似度が所定の閾値以上である場合（ステップＳ１６１０でＹＥＳ）、ステップＳ１６１１に進む。

ステップＳ１６１１で、現在処理中の文書ＩＤと類似度を検索結果リストに追加し、ステップＳ１６０１へ戻る。

[ページ比較処理の詳細]
次に、ステップＳ１６０９のページ比較処理の詳細について、図１９を用いて説明する。

図１９は本発明の実施形態のページ比較処理の詳細を示すフローチャートである。

まず、ステップＳ１９０１で、ブロック情報を参照し、処理対象となる文書ＩＤ、ページ番号に対応する電子データ中で、未比較のブロックの有無を判定する。未比較のブロックがない場合（ステップＳ１９０１でＮＯ）、ステップＳ１９０５に進む。一方、未比較のブロックがある場合（ステップＳ１９０１でＹＥＳ）、ステップＳ１９０２に進む。

次に、ステップＳ１９０２で、比較対象のブロックの属性を判定する。属性が画像ブロックである場合、ステップＳ１９０３に進む。一方、属性が文字ブロックである場合、ステップＳ１９０４に進む。

属性が画像ブロックである場合、ステップＳ１９０３で、色に関する特徴量情報で比較先ブロックとの類似比較である色特徴量情報比較処理を行う。この処理の詳細については後述する。これによって得られる類似度は、比較先の文書ＩＤ、ページ番号、ブロックＩＤに対応させて記憶部２０１に一時記憶する。

一方、属性が文字ブロックである場合、ステップＳ１９０４で、文字の特徴量情報での比較元ブロックと比較先ブロックとの類似比較である文字特徴量情報比較処理を行う。この処理の詳細については後述する。また、これによって得られる類似度は、比較先の文書ＩＤ、ページ番号、ブロックＩＤに対応させて記憶部２０１に一時記憶する。

次に、ステップＳ１９０１において、全てのブロックとの比較が終了した場合（ステップＳ１９０１でＮＯ）、ステップＳ１９０５に進む。

ステップＳ１９０５で、検索条件（クエリ）である紙文書とオリジナル文書中のページとの類似度を算出する統合処理を行う。これは、ステップＳ１９０３及びステップＳ１９０４の処理によって記憶部２０１に記憶されている、比較先文書（オリジナル文書（電子データ））のページに含まれる全てのブロックの類似度を統合するものである。

[色特徴量情報比較処理の詳細]
次に、ステップＳ１９０３の色特徴量情報比較処理の詳細について、図２０を用いて説明する。

図２０は本発明の実施形態の色特徴量情報比較処理の詳細を示すフローチャートである。

まず、ステップＳ２００１で、比較元画像ブロックと比較先画像ブロックの色特徴量を色特徴量情報から読み出す。

次に、ステップＳ２００２で、処理対象とする画像ブロック中の着目メッシュブロックを先頭に設定する。ステップＳ２００３で、比較元画像ブロックの色特徴量と、比較対象の色特徴量の類似度を示す類似距離を０にリセットする。

ステップＳ２００４で、未比較の着目メッシュブロックの有無を判定する。未比較の着目メッシュブロックがない場合（ステップＳ２００４でＮＯ）、ステップＳ２００８に進む。一方、未比較の着目メッシュブロックがある場合（ステップＳ２００４でＹＥＳ）、ステップＳ２００５に進む。

ステップＳ２００５で、比較元画像と比較先画像のそれぞれの色特徴量から、それぞれの着目メッシュブロックの色ビンＩＤを取得する。

ステップＳ２００６で、図２１に示す色ビンペナルティマトリックスを参照して、取得した色ビンＩＤ間に対応する着目メッシュブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する。そして、この類似距離は記憶部２０１に記憶する。

ここで、色ビンペナルティマトリックスについて、図２１を用いて説明する。

図２１は本発明の実施形態の色ビンペナルティマトリックスの構成を示す図である。

色ビンペナルティマトリックスは、色ビンＩＤ同士の局所的類似距離を管理するマトリックスである。図２１によれば、色ビンペナルティマトリックスは、同一色ビンＩＤではその類似距離は０となり、色ビンＩＤ同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一色ビンＩＤの対角位置は全て、その類似距離は０で、それを境に対象性を持っている。

このように、本実施形態では、色ビンペナルティマトリックスを参照するだけで、色ビンＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。

そして、ステップＳ２００７で、図１４の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ２００４に戻る。

そして、ステップＳ２００４で、未比較の着目メッシュブロックがない場合（ステップＳ２００４でＮＯ）、ステップＳ２００８に進み、記憶部２０１に記憶されている類似距離を類似度に変換し、ブロックＩＤと対にして出力する。

尚、類似度への変換は、例えば、類似距離が最小値のときを類似度１００％、類似距離が最大値のときを類似度０％として、その範囲内の類似距離に対する類似度は、最小値あるいは最大値に対する差に基づいて算出するようにすれば良い。

[文字特徴量情報比較処理の詳細]
次に、ステップＳ１９０４の文字特徴量情報比較処理の詳細について説明する。

この処理では、比較元画像と比較先画像中のそれぞれの文字ブロック内の各文字コード同士の比較を行い、その一致度から類似度を算出する。

尚、検索条件とする紙文書とオリジナル文書との比較である場合、類似度は１００％となるのが理想的である。しかしながら、実際には、検索条件となる紙文書中の文字ブロックに対するＯＣＲ処理では誤認識が発生する場合があるので、オリジナル文書との比較であっても、類似度は１００％にならないことはあるが、かなり１００％に近い値となる。そこで、このような場合には、同一の文書とみなす。

[統合処理の詳細]
次に、ステップＳ１９０５の統合処理の詳細について説明する。

この統合処理では、比較先画像であるオリジナル文書内で占めている割合の大きいブロックの類似度が、オリジナル文書全体の類似度としてより大きく反映されるような、算出されたブロック毎の類似度の統合を行う。

例えば、オリジナル文書中のブロックＢ１〜Ｂ６に対し、ブロック毎の類似率がｎ１〜ｎ６と算出されたとする。このときオリジナル文書全体の総合類似率Ｎは、以下の式で表現される。

Ｎ＝ｗ１＊ｎ１＋ｗ２＊ｎ２＋ｗ３＊ｎ３＋ ・・・ ＋ｗ６＊ｎ６ （１）
ここで、ｗ１〜Ｗ６は、各ブロックの類似率を評価する重み係数である。重み係数ｗ１〜ｗ６は、ブロックのオリジナル文書内の占有率により算出する。例えば、ブロック１〜６のサイズをＳ１〜Ｓ６とすると、ブロック１の占有率ｗ１は、
ｗ１＝Ｓ１／（Ｓ１＋Ｓ２＋・・・＋Ｓ６） （２）
として算出することができる。

このような占有率を用いた重み付け処理により、オリジナル文書内で大きな領域を占めるブロックの類似度がより、オリジナル文書全体の類似度に反映することができる。

[候補表示／選択処理のユーザインタフェース]
次に、ステップＳ９１０の候補表示／選択処理時のユーザインタフェースの一例について、図２２を用いて説明する。

図２２は本発明の実施形態のユーザインタフェースの一例を示す図である。

２２０１は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。２２０２〜２２１１は、検索結果として出力するオリジナル文書（電子ファイル、または画像データ）候補のサムネイル画像群である。このサムネイル画像の表示は、２２０２から番号順に類似度の高い順で表示されている。

この例では、最大１０のサムネイル画像が表示され、オリジナル文書候補が１０以上である場合には、上位１０までのサムネイル画像が表示される。そして、このサムネイル画像群２２０２〜２２１１から、所望するサムネイル画像を選択することで、所望のオリジナル文書を選択することが可能であり、その選択したオリジナル文書に対する各種処理を実行することが可能となる。

また、２２１２は文書中の何ページ目の候補が表示されているかを示すものである。また、これを選択することで、他のページの候補を切り替えて表示させることができる。

[標準用紙設定のユーザインタフェース]
本実施形態で処理判定に用いる標準用紙サイズは、一般的に最もよく使用されているＡ４もしくはＬｅｔｔｅｒ（ＵＳ）サイズを自動的に画像処理装置に対して設定してもよいし、専用のユーザインタフェースを用いてユーザが設定できるようにしてもよい。

図２３は本発明の実施形態における標準用紙サイズを設定するためのユーザインタフェースの一例を示す図である。

図２３において、２３０１は表示領域であり、例えば、タッチパネルで構成されており、ユーザが直接画面に触れることで選択指示が可能である。また、２３０２〜２３１１は、標準用紙サイズ候補群である。この例では、最大１０種類の用紙サイズが標準用紙サイズ候補として表示される。そして、この標準用紙サイズ候補群２２０２〜２２１１から、所望する標準用紙サイズをタッチ等することにより選択することで、標準用紙サイズを設定することが可能である。

これ以降、登録もしくは検索される際は、新たに設定された標準用紙サイズが用いられることになる。

また、図２３において、２３１２は、標準用紙サイズ候補が１０種類を超えるときに表示され、これを選択することで、次の候補を切り替えて表示させることができる。

以上説明したように、本実施形態によれば、オリジナル画像を用いて印刷された文書に、オリジナル画像にはない余白領域が文書領域の周りに生じているような場合でも、その文書のスキャン画像とオリジナル画像との高精度なレイアウト比較が可能となる。これにより、このレイアウト比較を利用した高精度な検索処理を実現することができる。

[その他の実施形態]
上記実施形態では、画像サイズとブロック情報をピクセル値で記憶しておき、相対座標系でレイアウト比較を行う際は、ピクセル値を正規化された相対的な座標に変換して比較を行っているが、これに限定されるものではない。

例えば、画像サイズをｃｍやインチ等の長さで記憶しておき、これをレイアウト比較に用いても良い。また、ブロック情報を正規化された相対的な座標で記憶しておき、相対座標系でレイアウト比較を行う際はそのままの値を用い、絶対座標系でレイアウト比較を行う際に絶対的な座標に変換して比較を行ってもよい。また、相対座標系でのブロック情報と絶対座標系でのブロック情報を記憶しておくことにより、用紙サイズの情報を持たないようにすることも可能である。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスクがある。また、更に、記録媒体としては、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、その接続先のホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。また、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態の画像処理システムの構成を示すブロック図である。 本発明の実施形態のＭＦＰの詳細構成を示すブロック図である。 本発明の実施形態の登録処理を示すフローチャートである。 本発明の実施形態の文書情報の一例を示す図である。 本発明の実施形態のブロック情報の一例を示す図である。 本発明の実施形態の入力画像を標準用紙サイズにマッピングした画像の一例を示す図である。 本発明の実施形態の文字特徴量情報の一例を示す図である。 本発明の実施形態の画像特徴量情報の一例を示す図である。 本発明の実施形態の検索処理を示すフローチャートである。 本発明の実施形態の文書候補リストの構成例を示す図である。 本発明の実施形態の画像ブロック抽出の一例を示す図である。 本発明の実施形態の色特徴量情報抽出処理の詳細を示すフローチャートである。 本発明の実施形態の画像メッシュブロック分割の一例を示す図である。 本発明の実施形態の順序決定テーブルの一例を示す図である。 本発明の実施形態の色空間上の色ビンの構成の一例を示す図である。 本発明の実施形態の比較処理の詳細を示すフローチャートである。 本発明の実施形態のレイアウト検索可能な画像サイズの一例を示す図である。 本発明の実施形態のレイアウト検索可能な画像サイズの一例を示す図である。 本発明の実施形態のページ比較処理の詳細を示すフローチャートである。 本発明の実施形態の色特徴量情報比較処理の詳細を示すフローチャートである。 本発明の実施形態の色ビンペナルティマトリックスの構成の一例を示す図である。 本発明の実施形態のユーザインタフェースの一例を示す図である。 本発明の実施形態における標準用紙サイズを設定するためのユーザインタフェースの一例を示す図である。 本発明の課題を説明するための図である。

符号の説明

１００ ＭＦＰ
１０１ マネージメントＰＣ
１０２ クライアントＰＣ
１０３ａ、ｂ プロキシサーバ
１０４ ネットワーク
１０５ａ、ｂ データベース
１０６ａ、ｂ 文書管理サーバ
１０７ ＬＡＮ
２００ 画像読取部
２０１ 記憶部
２０２ 印刷部
２０３ 入力部
２０４、２０７ ネットワークＩ／Ｆ
２０５ データ処理部
２０６ 表示部
２０８ データベース

Claims (18)

1. 画像の類似比較処理を実行する画像処理装置であって、
   比較先画像となるオリジナル画像を入力する第１入力手段と、
   前記オリジナル画像中のブロックに関するブロック情報を抽出する第１抽出手段と、
   前記オリジナル画像のサイズが所定サイズであるか否かを判定する第１判定手段と、
   前記第１判定手段の判定の結果、前記オリジナル画像のサイズが所定サイズではない場合、前記オリジナル画像を所定サイズの画像にマッピングした際の前記ブロックに関するブロック情報を作成する作成手段と、
   前記ブロック情報を記憶する記憶手段と、
   比較元画像を入力する第２入力手段と、
   前記比較元画像中のブロックに関するブロック情報を抽出する第２抽出手段と、
   前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを比較する比較手段と
   を備えることを特徴とする画像処理装置。
2. 前記作成手段は、前記オリジナル画像を所定サイズの画像にマッピングした画像を想定した場合のオリジナル画像中のブロックに基づいて、前記第１抽出手段で抽出したブロック情報を変更することで、前記オリジナル画像を所定サイズの画像にマッピングした際の前記ブロックに関するブロック情報を作成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記作成手段は、
   前記オリジナル画像を所定サイズの画像にマッピングしたマッピング画像を作成する画像作成手段と、
   前記画像作成手段により作成されたマッピング画像中のブロックに関するブロック情報を抽出する第３抽出手段とを備え、
   前記第３抽出手段で抽出したブロック情報を、前記オリジナル画像を所定サイズにマッピングした際の前記ブロックに関するブロック情報として作成する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記作成手段は、
   前記オリジナル画像を変倍する変倍手段と、
   前記オリジナル画像を加工する加工手段と、
   前記オリジナル画像に余白画像を付加する付加手段とを備え、
   前記オリジナル画像のサイズに基づいて、前記変倍手段、前記加工手段及び前記付加手段の少なくとも一方を用いて、前記オリジナル画像を、所定サイズの画像にマッピングした際の前記ブロックに関するブロック情報を作成する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記作成手段は、
   前記オリジナル画像を所定サイズの画像にマッピングする基準位置を決定する決定手段を備え、
   前記オリジナル画像のサイズに基づいて、前記決定手段で決定した基準位置で、前記オリジナル画像を、所定サイズの画像にマッピングした際の前記ブロックに関するブロック情報を作成する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記比較手段は、
   前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを相対座標系で比較する第１比較手段と、
   前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを絶対座標系で比較する第２比較手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
7. 画像の類似比較処理を実行する画像処理装置であって、
   比較先画像となるオリジナル画像を入力する第１入力手段と、
   前記オリジナル画像中のブロックに関するブロック情報を抽出する第１抽出手段と、
   前記ブロック情報を記憶する記憶手段と、
   比較元画像を入力する第２入力手段と、
   前記比較元画像中のブロックに関するブロック情報を抽出する第２抽出手段と、
   前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを相対座標系で比較する第１比較手段と、
   前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを絶対座標系で比較する第２比較手段と
   を備えることを特徴とする画像処理装置。
8. 前記比較元画像のサイズに基づいて、前記第１比較手段及び前記第２比較手段の少なくとも一方を実行する
   ことを特徴とする請求項６または７に記載の画像処理装置。
9. 前記比較元画像のサイズが所定サイズであるか否かを判定する第２判定手段を更に備え、
   前記第２判定手段の判定結果に基づいて、前記第１比較手段及び前記第２比較手段の少なくとも一方を実行する
   ことを特徴とする請求項６または７に記載の画像処理装置。
10. 前記第２判定手段の判定の結果、前記比較元画像のサイズが所定サイズでない場合、前記第２比較手段を実行する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記第１および第２抽出手段で抽出するブロック情報は、絶対座標系のブロック情報と相対座標系のブロック情報である
    ことを特徴とする請求項１または７に記載の画像処理装置。
12. 前記第１および第２抽出手段で抽出するブロック情報は、絶対座標系のブロック情報であり、
    前記比較先画像のサイズ情報を記憶するサイズ情報記憶手段と、
    前記絶対座標系のブロック情報と前記用紙サイズ情報に基づいて、相対座標系のブロック情報を作成するブロック情報作成手段と
    を更に備えることを特徴とする請求項１または７に記載の画像処理装置。
13. 前記第１および第２抽出手段で抽出するブロック情報は、相対座標系のブロック情報であり、
    前記比較先画像のサイズ情報を記憶するサイズ情報記憶手段と、
    前記相対座標系のブロック情報と前記用紙サイズ情報に基づいて、絶対座標系のブロック情報を作成するブロック情報作成手段と
    を更に備えることを特徴とする請求項１または７に記載の画像処理装置。
14. 前記所定サイズを指定する指定手段を更に備える
    ことを特徴とする請求項１または９に記載の画像処理装置。
15. 画像の類似比較処理を実行する画像処理装置の制御方法であって、
    比較先画像となるオリジナル画像を入力する第１入力工程と、
    前記オリジナル画像中のブロックに関するブロック情報を抽出する第１抽出工程と、
    前記オリジナル画像のサイズが所定サイズであるか否かを判定する第１判定工程と、
    前記第１判定工程の判定の結果、前記オリジナル画像のサイズが所定サイズではない場合、前記オリジナル画像を所定サイズの画像にマッピングした際の前記ブロックに関するブロック情報を作成する作成工程と、
    比較元画像を入力する第２入力工程と、
    前記比較元画像中のブロックに関するブロック情報を抽出する第２抽出工程と、
    前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを比較する比較工程と
    を備えることを特徴とする画像処理装置の制御方法。
16. 画像の類似比較処理を実行する画像処理装置の制御方法であって、
    比較先画像となるオリジナル画像を入力する第１入力工程と、
    前記オリジナル画像中のブロックに関するブロック情報を抽出する第１抽出工程と、
    比較元画像を入力する第２入力工程と、
    前記比較元画像中のブロックに関するブロック情報を抽出する第２抽出工程と、
    前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを相対座標系で比較する第１比較工程と、
    前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを絶対座標系で比較する第２比較工程と
    を備えることを特徴とする画像処理装置の制御方法。
17. 画像の類似比較処理を実行する画像処理装置の制御をコンピュータに実行させるためのプログラムであって、
    比較先画像となるオリジナル画像を入力する第１入力工程と、
    前記オリジナル画像中のブロックに関するブロック情報を抽出する第１抽出工程と、
    前記オリジナル画像のサイズが所定サイズであるか否かを判定する第１判定工程と、
    前記第１判定工程の判定の結果、前記オリジナル画像のサイズが所定サイズではない場合、前記オリジナル画像を所定サイズの画像にマッピングした際の前記ブロックに関するブロック情報を作成する作成工程と、
    比較元画像を入力する第２入力工程と、
    前記比較元画像中のブロックに関するブロック情報を抽出する第２抽出工程と、
    前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを比較する比較工程と
    をコンピュータに実行させることを特徴とするプログラム。
18. 画像の類似比較処理を実行する画像処理装置の制御をコンピュータに実行させるためのプログラムであって、
    比較先画像となるオリジナル画像を入力する第１入力工程と、
    前記オリジナル画像中のブロックに関するブロック情報を抽出する第１抽出工程と、
    比較元画像を入力する第２入力工程と、
    前記比較元画像中のブロックに関するブロック情報を抽出する第２抽出工程と、
    前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを相対座標系で比較する第１比較工程と、
    前記比較元画像のブロック情報と、前記比較先画像のブロック情報とを絶対座標系で比較する第２比較工程と
    をコンピュータに実行させることを特徴とするプログラム。

Images