JP2004349940A - 画像処理装置及びその制御方法、プログラム - Google Patents
画像処理装置及びその制御方法、プログラム Download PDFInfo
- Publication number
- JP2004349940A JP2004349940A JP2003143493A JP2003143493A JP2004349940A JP 2004349940 A JP2004349940 A JP 2004349940A JP 2003143493 A JP2003143493 A JP 2003143493A JP 2003143493 A JP2003143493 A JP 2003143493A JP 2004349940 A JP2004349940 A JP 2004349940A
- Authority
- JP
- Japan
- Prior art keywords
- printed matter
- document
- image
- unit
- reading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Facsimiles In General (AREA)
Abstract
【課題】印刷物からオリジナルの電子文書を検索する場合に、その印刷物が複数のページから構成される文書であっても、処理に必要とするメモリ容量を増加させずに、オリジナルの電子文書を精度良く検索することができる画像処理装置を提供する。
【解決手段】複数ページからなる印刷物をページ単位で電子的に読み取り、その印刷物の電子データに対応する画像データを記憶媒体に記憶されている複数の画像データから検索する。その検索結果に基づいて、印刷物の次ページの印刷物を読み取り、その次ページの印刷物の電子データに対応する画像データを検索結果から検索する。
【選択図】 図３Ｃ
【解決手段】複数ページからなる印刷物をページ単位で電子的に読み取り、その印刷物の電子データに対応する画像データを記憶媒体に記憶されている複数の画像データから検索する。その検索結果に基づいて、印刷物の次ページの印刷物を読み取り、その次ページの印刷物の電子データに対応する画像データを検索結果から検索する。
【選択図】 図３Ｃ
Description
【０００１】
【発明の属する技術分野】
本発明は、複写機などの画像入力装置で、読み取った紙文書から対応するオリジナルの電子データを検索し、オリジナルの電子データを印刷、配信、蓄積、編集などに活用することを可能とする画像処理技術に関するものである。
【０００２】
【従来の技術】
近年、オフィスのペーパレス化が唱えられているが、紙文書には、目が疲れにくい、全体を概観しやすい、書き込める等、電子文書にはないメリットがあり、現状のオフィスでは、電子文書と紙文書のそれぞれのメリットを生かし、電子文書と紙文書が併用されている状況にある。このような状況では、紙文書と電子文書との扱いの差異を軽減するために、電子文書から紙文書へ、紙文書から電子文書への相互の移行が容易にできるような環境が求められている。
【０００３】
電子文書から紙文書への移行は、電子文書をプリンタによって印刷することで容易に達成できる。それに対して、紙文書から電子文書への移行は、紙文書をスキャナから読み取り、画像データとして電子化する方法が一般的に行なわれている。
【０００４】
しかしながら、紙文書に対するオリジナルの電子文書が既に存在している場合は、紙文書を改めて電子文書に移行するよりも、紙文書に対するオリジナルの電子文書を用いて紙文書を電子文書に移行するほうが望ましい。
【０００５】
これを実現する方法として、例えば、特許文献１では、電子文書をラスタ画像に変換して電子文書と対応付けて保存しておき、紙文書をスキャンして得られたラスタ画像データと、電子文書に対するラスタ画像データとを、その特徴量の類似性を比較することにより、紙文書のラスタ画像データからオリジナルの電子文書を検索することを可能にしている。
【０００６】
これにより、例えば、会議で発表する時に用いた資料が、紙文書として出席者に配布されることは一般的に行なわれているが、配布された紙文書から、オリジナルの電子文書を取り出すことが可能になる。そのため、会議の出席者は、紙文書を利用して、対応するオリジナルの電子文書を編集したり、会議に出席していない人にその電子文書から得られる紙文書を配布したりすることが可能になる。
【０００７】
また、特許文献２では、オリジナル文書が紙文書である場合に、その紙文書をスキャンして得られたラスタ画像データをオリジナルのラスタ画像データとして記憶しておき、配布された紙文書をスキャンして得られたラスタ画像データと、オリジナルのラスタ画像データそのものを比較することにより、オリジナル文書を検索する方法が示されている。
【０００８】
現状では、製品のパンフレットのように、社外から紙文書でオリジナルを入手する場合も多くあり、このような場合、オリジナルの紙文書にコピーが何世代にも渡って行なわれると、画質が劣化するので、このようにして、オリジナル文書のラスタ画像データを保持しておき、オリジナルのラスタ画像データを検索することは意味がある。
【０００９】
【特許文献１】
特開２００１−２５６２５６号
【特許文献２】
特開平５−３７７４８号
【００１０】
【発明が解決しようとする課題】
しかしながら、一般的に、１枚の紙文書には、１ページのみで構成される文書よりも、複数ページから構成される文書が多い。これに対し、特許文献１では、全ページ分のラスタ画像の特徴量を比較条件とするために、スキャンした紙文書のラスタ画像を一時的に記憶保持しておくメモリが、全ページ分必要になり、メモリ容量が増加するという課題があった。
【００１１】
加えて、全ページ分のラスタ画像の特徴量を比較条件としないで、オリジナルの電子文書を特定することが可能であるとしても、比較先画像となるオリジナル文書それぞれの全ページ分のラスタ画像を比較する必要があり、処理時間が増加するという課題があった。
【００１２】
また、特許文献２では、先頭ページ等、特定ページのみを比較条件することによって、使用するメモリを低減する方法が示されているが、オフィスで使用される文書には、類似する文書も多く、先頭ページ等、特定ページのみを比較条件とするだけでは、オリジナルの文書を特定できない場合があり、オリジナル文書の検索を精度よくできないという課題があった。
【００１３】
本発明は上記の課題を解決するためになされたものであり、印刷物からオリジナルの電子文書を検索する場合に、その印刷物が複数のページから構成される文書であっても、処理に必要とするメモリ容量を増加させずに、オリジナルの電子文書を精度良く検索することができる画像処理装置及びその制御方法、プログラムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
複数の画像データを記憶する記憶手段と、
複数ページからなる印刷物をページ単位で電子的に読み取る読取手段と、
前記印刷物の電子データに対応する画像データを前記記憶手段から検索する検索手段と、
前記検索手段による検索結果に基づいて、前記印刷物の次ページの印刷物を前記読取手段で読み取り、その次ページの印刷物の電子データに対応する画像データを前記検索結果から前記検索手段によって検索する制御手段と
を備える。
【００１５】
また、好ましくは、前記制御手段は、前記検索手段による検索結果として、前記印刷物の電子データに対応する画像データが一意に特定された場合、該印刷物の次ページ以降の印刷物の前記読取手段による読取を終了する。
【００１６】
また、好ましくは、前記検索手段は、前記読取手段で読み取った印刷物の電子データと比較する候補画像データ群を管理する候補リストに従って、候補画像データ群を前記記憶手段より取得する取得手段と、
前記取得手段で取得した候補画像データ群と前記印刷物の電子データを比較する比較手段とを備え、
前記比較手段の比較結果に基づいて、前記印刷物の電子データに対応する画像データを前記候補画像データ群から検索する。
【００１７】
また、好ましくは、前記制御手段は、前記検索手段による検索結果に基づいて、前記候補リストの内容を更新し、前記印刷物の次ページの印刷物を前記読取手段で読み取り、その次ページの印刷物の電子データに対応する画像データを前記更新された候補リストから前記検索手段によって検索する。
【００１８】
また、好ましくは、前記印刷物の電子データに含まれるページ画像のページ数を指定する指定手段を更に備え、
前記比較手段は、前記指定手段で指定されたページ数に基づいて決定される処理対象領域の部分電子データと、前記取得手段で取得した候補画像データ群と比較する。
【００１９】
また、好ましくは、前記比較手段は、前記印刷物の電子データの特徴量を抽出する抽出手段を備え、
前記抽出手段で抽出した特徴量を用いて、前記印刷物の電子データと、前記取得手段で取得した候補画像データ群と比較する。
【００２０】
また、好ましくは、前記抽出手段は、前記印刷物の電子データの画像特徴量及び文字特徴量のいずれかまたは両方を抽出する。
【００２１】
上記の目的を達成するための本発明による画像処理装置の制御方法は以下の構成を備える。即ち、
複数ページからなる印刷物をページ単位で電子的に読み取る読取工程と、
前記印刷物の電子データに対応する画像データを記憶媒体に記憶されている複数の画像データから検索する検索工程と、
前記検索工程による検索結果に基づいて、前記印刷物の次ページの印刷物を前記読取工程で読み取り、その次ページの印刷物の電子データに対応する画像データを前記検索結果から前記検索手段によって検索する制御工程と
を備える。
【００２２】
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
複数ページからなる印刷物をページ単位で電子的に読み取る読取工程のプログラムコードと、
前記印刷物の電子データに対応する画像データを記憶媒体に記憶されている複数の画像データから検索する検索工程のプログラムコードと、
前記検索工程による検索結果に基づいて、前記印刷物の次ページの印刷物を前記読取工程で読み取り、その次ページの印刷物の電子データに対応する画像データを前記検索結果から前記検索手段によって検索する制御工程のプログラムコードと
を備える。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００２４】
＜＜実施形態１＞＞
図１は本発明の実施形態１の画像処理システムの構成を示すブロック図である。
【００２５】
この画像処理システムは、オフィス１０とオフィス２０とをインターネット等のネットワーク１０４で接続された環境で実現する。
【００２６】
オフィス１０内に構築されたＬＡＮ１０７には、複数種類の機能を実現する複合機であるＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ１０６及びそのデータベース１０５、及びプロキシサーバ１０３が接続されている。
【００２７】
オフィス１０内のＬＡＮ１０７及びオフィス２０内のＬＡＮ１０８は、双方のオフィスのプロキシサーバ１０３を介してネットワーク１０４に接続されている。
【００２８】
ＭＦＰ１００は、特に、紙文書を電子的に読み取る画像読取部と、画像読取部から得られる画像信号に対する画像処理を実行する画像処理部を有し、この画像信号はＬＡＮ１０９を介してマネージメントＰＣ１０１に送信することができる。
【００２９】
マネージメントＰＣ１０１は、通常のＰＣであり、内部に画像記憶部、画像処理部、表示部、入力部等の各種構成要素を有するが、その構成要素の一部はＭＦＰ１００に一体化して構成されている。
【００３０】
尚、ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、またはこれらの組み合わせにより実現されるいわゆる通信ネットワークであり、データの送受信が可能であれば良い。
【００３１】
また、マネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ等の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。
【００３２】
次に、ＭＦＰ１００の詳細構成について、図２を用いて説明する。
【００３３】
図２は本発明の実施形態１のＭＦＰの詳細構成を示すブロック図である。
【００３４】
図２において、原稿台とオートドキュメントフィーダ（ＡＤＦ）を含む画像読取部１１０は、束状のあるいは１枚の原稿画像を光源（不図示）で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ状の画像読取信号を所定密度（例えば、６００ＤＰＩ）のラスタ画像として得る。
【００３５】
尚、本実施形態では、画像読取部１１０で読み取る印刷物として、紙文書を例に挙げて説明するが、紙以外の記録媒体（例えば、ＯＨＰシート、フィルム等の透過原稿、や布）からなる印刷物を、画像読取部１１０の読取対象としても良い。
【００３６】
また、ＭＦＰ１００は、画像読取信号に対応する画像を印刷部１１２で記録媒体に印刷する複写機能を有し、原稿画像を１つ複写する場合には、この画像読取信号をデータ処理部１１５で画像処理して記録信号を生成し、これを印刷部１１２によって記録媒体上に印刷させる。一方、原稿画像を複数複写する場合には、記憶部１１１に一旦一つ分の記録信号を記憶保持させた後、これを印刷部１１２に順次出力して記録媒体上に印刷させる。
【００３７】
一方、クライアントＰＣ１０２から出力される記録信号は、ＬＡＮ１０７及びネットワークＩＦ１１４を介してデータ処理部１１５が受信し、データ処理部１１５は、その記録信号を印刷部１１２で記録可能なラスタデータに変換した後、印刷部１１２によって記録媒体上に印刷させる。
【００３８】
ＭＦＰ１００への操作者の指示は、ＭＦＰ１００に装備されたキー操作部とマネージメントＰＣ１０１に接続されたキーボード及びマウスからなる入力部１１３から行われ、これら一連の動作はデータ処理部１１５内の制御部（不図示）で制御される。また、操作入力の状態表示及び処理中の画像データの表示は、表示部１１６で行われる。
【００３９】
記憶部１１１は、マネージメントＰＣ１０１からも制御され、ＭＦＰ１００とマネージメントＰＣ１０１とのデータの送受信及び制御は、ネットワークＩＦ１１７及びＬＡＮ１０９を介して行われる。
【００４０】
データベース１１８は、画像読取部１１０で読み取った紙文書の文書画像、及びその文書画像に関する情報、及びクライアントＰＣ１０２内のハードディスク内、あるいはオフィス１０や２０内の文書管理サーバ１０６内のデータベース１０５内の電子文書の画像画像に関する情報を登録、管理する。
【００４１】
尚、ＭＦＰ１００では、後述する各種処理を実行するための各種操作・表示をユーザに提供するユーザインタフェースを、表示部１１６及び入力部１１３によって実現している。
【００４２】
本発明による画像処理システムで実行する処理としては、大きく分けて画像データを登録する登録処理と、所望の画像データを検索する検索処理の２つがある。
【００４３】
尚、実施形態１では、画像処理システム全体の処理効率を向上するために、以下に説明する各種処理を、画像処理システムを構成する各種端末に分散させて実行するようにしているが、１つの端末（例えば、ＭＦＰ１００）上で実行するようにしても構わない。
【００４４】
まず、登録処理について説明する。
【００４５】
［登録処理の概要］
登録対象の画像データの登録方法としては、文書作成アプリケーション等で作成された電子ファイルをオリジナル文書として登録する場合と、紙文書をオリジナル文書として登録する場合とがある。
【００４６】
（Ａ）電子文書の登録処理の概要
まず、マネージメントＰＣ１０１の制御のもとに、電子文書をオリジナル文書としてＭＦＰ１００内のデータベース１１８に登録する登録処理の概要について図３Ａを用いて説明する。
【００４７】
図３Ａは本発明の実施形態１の電子文書の登録処理を示すフローチャートである。
【００４８】
尚、登録対象の電子文書は、クライアントＰＣ１０２内のハードディスク内、あるいはオフィス１０や２０内の文書管理サーバ１０６内のデータベース１０５内のいずれかに格納されている。
【００４９】
そこで、ステップＳ３０１０で、マネージメントＰＣ１０１は、これらの格納元から定められた順序に従い、電子文書を一つずつ取得し、ネットワークＩＦ１１４を介して記憶部１１１に格納する。
【００５０】
次に、ステップＳ３０１１で、全ての電子文書の取得が終了したか否かを判定する。新たな電子文書を取得しない場合（ステップＳ３０１１でＹＥＳ）、処理を終了する。一方、電子文書の取得が終了していない場合（ステップＳ３０１１でＮＯ）、ステップＳ３０１２に進む。
【００５１】
ステップＳ３０１２で、取得した電子文書に固有の文書ＩＤを発行し、その電子文書（電子ファイル）の格納場所を示すアドレスと対応付けて、データベース１１８内のアドレス情報として登録する。
【００５２】
ここで、文書ＩＤとは、データベース１１８内に格納される電子文書を識別するためのＩＤであり、電子文書を一つ登録するごとに、使用されていないＩＤが発行される。また、アドレスとは、ＵＲＬや、サーバ名、ホスト名、共有名、ディレクトリ、ファイル名からなる電子文書の格納先を示すフルパス情報である。そして、この文書ＩＤとアドレスからなるアドレス情報の一例を示すと、図４のようになる。
【００５３】
次に、ステップＳ３０１０で、取得した電子文書を、データ処理部１１５で１ページずつ、ラスタ画像に変換して記憶部１１１に格納する。ステップＳ３０１４で、電子文書の各ページのラスタ画像への変換が終了したか否かを判定する。変換が終了した場合（ステップＳ３０１４でＹＥＳ）、ステップＳ３０１０に戻り、次の電子文書を取得する。一方、変換が終了していない場合（ステップＳ３０１４でＮＯ）、ステップＳ３０１５に進む。
【００５４】
次に、ステップＳ３０１５で、記憶部１１１に格納されている１ページ分のラスタ画像に対して、ブロックセレクション（ＢＳ）処理を行う。この処理は、マネージメントＰＣ１０１の制御によって実行する。
【００５５】
具体的には、マネージメントＰＣ１０１のＣＰＵは、記憶部１１１に格納された処理対象のラスタ画像を、まず、文字／線画部分とハーフトーン画像部分とに領域分割し、文字／線画部分は更に段落で塊として纏まっているブロック毎に、あるいは線で構成された表、図形毎に分割する。
【００５６】
一方、ハーフトーン画像部分は、矩形に分離されたブロックの画像部分、背景部分等のブロックに分割する。
【００５７】
次に、ステップＳ３０１６で、ブロックセレクション処理の処理対象のページ画像のページ番号、そのページ中の各ブロックを特定するブロックＩＤを発行し、各ブロックの属性（画像、文字等）、サイズやオリジナル文書内の位置（ページ内の座標）と各ブロックを関連付けてデータベース１１８にブロック情報として記憶する。このブロック情報の一例を示すと、図５のようになる。
【００５８】
次に、ステップＳ３０１７で、データ処理部１１５において、各ブロックの種別に応じて、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。
【００５９】
特に、文字ブロックについては、ＯＣＲ処理を施して文字コードを抽出し、これを文字特徴量とする。また、画像ブロックについては、色に関する画像特徴量を抽出する。
【００６０】
次に、ステップＳ３０１８で、それぞれのブロックに対応する特徴量をページ単位にまとめ、文書ＩＤ、ページ番号、ブロックＩＤに関連付けてデータベース１１８に特徴量情報として記憶する。この特徴量情報の一例を示すと、図６及び図７のようになる。
【００６１】
その後、ステップＳ３０１３に戻り、次のページの処理を行なう。
【００６２】
（Ｂ）紙文書の登録処理の概要
次に、マネージメントＰＣ１０１の制御のもとに、紙文書をオリジナル文書としてＭＦＰ１００内のデータベース１１８に登録する登録処理の概要について、図３Ｂを用いて説明する。
【００６３】
図３Ｂは本発明の実施形態１の紙文書の登録処理を示すフローチャートである。
【００６４】
尚、この処理は、画像読取部１１０のＡＤＦに、登録対象の紙文書がセットされ、入力部１１３の登録ボタンが操作された時点で開始される。
【００６５】
ステップＳ３２１０で、入力部１１３から紙文書からのオリジナル文書の登録処理がオペレターから指示されると、マネージメントＰＣ１０１は、新たに文書ＩＤを発行し、データベース１１８内の紙文書の電子データの格納場所を決定し、文書ＩＤと紙文書の電子データの格納場所を示すアドレスと対応付けて、データベース１１８内のアドレス情報として登録する。
【００６６】
尚、紙文書の電子データの格納場所は、複数ページに対応するために、新たにディレクトリが作成され、アドレス情報には、このディレクトリを指し示すアドレス格納される。
【００６７】
次に、ステップＳ３２１１で、マネージメントＰＣ１０１の指示に従い、ＭＦＰ１００の画像読取部１１０を動作させ、１ページずつ、紙文書をラスタ状に走査してラスタ画像を記憶部１１１に読み込む。そして、ステップＳ３２１０で作成したディレクトリに、１ページ分のラスタ画像を順次電子ファイルとして格納する。
【００６８】
尚、電子ファイルのファイル名は、ページ番号を含むものとし、そのファイル名を参照するだけで、そのファイルのページが識別できるように構成されている。
【００６９】
また、オリジナル文書が紙文書である場合の電子データのファイル形式は、例えば、ＢＭＰ形式とするが、これに限定されるものではなく、色情報を保存しておくことが可能なファイル形式（例えば、ＧＩＦ、ＪＰＥＧ）であればどのようなものでも良い。一方、オリジナル文書が電子データである場合のその電子データのファイル形式は、その電子データを作成したアプリケーション（例えば、マイクロソフト（登録商標）社のＭＳ−Ｗｏｒｄや、アドビシステム（登録商標）のアクロバット等）で作成されたファイル形式（＊．ｄｏｃや＊．ｐｄｆ）となる。
【００７０】
次に、ステップＳ３２１２で、画像読取部１１０から全てのページの読込が終了したか否かを判定する。読込が終了した場合（ステップＳ３２１２でＹＥＳ）、処理を終了する。一方、読込が終了していない場合（ステップＳ３２１２でＮＯ）、ステップＳ３２１３に進む。
【００７１】
次に、ステップＳ３２１３で、記憶部１１１に格納されている１ページ分のラスタ画像に対して、ブロックセレクション（ＢＳ）処理を行う。この処理は、ステップＳ３０１５の処理と同様であるので詳細な説明は省略する。
【００７２】
次に、ステップＳ３２１４で、ブロックセレクション処理の処理対象のページ画像中の各ブロックに基づいて、ブロック情報を生成して、データベース１１８に記憶する。この処理は、ステップＳ３０１６の処理と同様であるので詳細な説明は省略する。
【００７３】
次に、ステップＳ３２１５で、データ処理部１１５において、各ブロックの種別に応じて、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。この処理は、ステップＳ３０１７の処理と同じ処理である。
【００７４】
次に、ステップＳ３０１６で、それぞれのブロックに対応する特徴量をページ単位にまとめ、文書ＩＤ、ページ番号、ブロックＩＤに関連付けてデータベース１１８に特徴量情報として記憶する。この処理は、ステップＳ３０１８と同じ処理である。
【００７５】
その後、ステップＳ３２１１に戻り、次のページの処理を行なう。
【００７６】
（Ｃ）検索処理の概要
紙文書から対応するオリジナルの電子ファイル、もしくは、画像データを検索し、印刷等を行う検索処理の概要について図３Ｃを用いて説明する。
【００７７】
図３Ｃは本発明の実施形態１の検索処理を示すフローチャートである。
【００７８】
まず、ステップＳ３１０５で、入力部１１３からオリジナル文書（電子ファイルもしくは画像データ）の検索がオペレータから指示されると、マネージメントＰＣ１０１の制御に従い、文書候補リストの初期化を行なう。
【００７９】
尚、文書候補リストは、検索処理によって検索されたオリジナル文書の候補を管理するリストであり、候補となるオリジナル文書の文書ＩＤと、その文書と画像読取部１１０から読み込む紙文書との各ページの類似度の合計を対応させて、記憶部１１１に格納される。ここで、文書候補リストの構成例を図８に示す。
【００８０】
そして、文書候補リストの初期化では、データベース１１８に格納されている電子文書の文書ＩＤを全て文書候補リストに格納し、その類似度合計の値に０を設定する。
【００８１】
次に、ステップＳ３１１０で、ＭＦＰ１００の画像読取部１１０を動作させ、１ページ分の紙文書をラスタ状に走査してラスタ画像を記憶部１１１に読み込む。
【００８２】
次に、ステップＳ３１２０で、画像読取部１１０から全てのページの読込が終了したか否かを判定する。読込が終了した場合（ステップＳ３１２０でＹＥＳ）、ステップＳ３１７０に進む。一方、読込が終了していない場合（ステップＳ３１２０でＮＯ）、ステップＳ３１３０に進む。
【００８３】
次に、ステップＳ３１３０で、記憶部１１１に格納されている１ページ分のラスタ画像に対して、ブロックセレクション（ＢＳ）処理を行う。この処理は、ステップＳ３０１５と同じ処理である。但し、このブロックセレクション処理によって生成する各ブロックの属性、サイズ、位置は一時保存するだけであり、その紙文書に対するブロック情報は記憶部１１１に保存しておく必要はない。
【００８４】
次に、ステップＳ３１４０で、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。この処理は、ステップＳ３０１７の処理と同様であるので説明は省略する。但し、この処理によって生成する各ブロックの特徴量は一時保存するだけであり、その紙文書に対する特徴量情報を記憶部１１１に保存しておく必要はない。
【００８５】
次に、ステップＳ３１５０で、入力した紙文書のページ画像（比較元画像）に対する特徴量情報と、文書候補リストに登録されている文書ＩＤに対応するオリジナル文書（比較先画像）の対応したページに対する特徴量情報を比較する。例えば、比較元画像が３ページ目のページ画像である場合には、比較先画像は３ページ目のオリジナル文書となる。
【００８６】
続いて、比較結果からその類似度を算出し、文書候補リストの類似度合計に累積加算する。そして、類似度合計から、１ページあたりの平均類似度を算出し、平均値が第１閾値よりも小さい電子文書は、文書候補リストから削除する。その後、第１閾値よりも大きい電子文書群からなる文書候補リストに対し、類似度合計値によって、降順にソーティングする。
【００８７】
次に、ステップＳ３１６０で、ステップＳ３１５０の比較処理の比較結果に基づいて、入力した紙文書に対するオリジナル文書（電子ファイルまたは画像データ）が特定されたか否かを判定する。
【００８８】
この判定は、文書候補リストの先頭に登録されている電子文書の類似度合計から１ページあたりの平均類似度を算出し、その平均類似度が第２閾値よりも高く、かつ文書候補リストの２番目に登録されている電子文書の平均類似度との差が、所定値以上である場合に、オリジナル文書が特定されたと判定する。
【００８９】
この判定によって、オリジナル文書が特定された場合（ステップＳ３１６０でＹＥＳ）、ステップＳ３１８０に進む。一方、オリジナル文書が特定されなかった場合（ステップＳ３１６０でＮＯ）、ステップＳ３１１０に戻り、次のページの紙文書を読み取る。
【００９０】
そして、ステップＳ３１２０で、画像読取部１１０から全てのページの紙文書の読込が終了した場合（ステップＳ３１２０でＹＥＳ）、ステップＳ３１７０に進み、文書候補リストに登録されている文書のサムネイル画像を含むユーザインタフェースを表示部１１６・入力部１１３で実現し、このユーザインタフェースによって、オリジナル文書候補の表示／選択を行う。
【００９１】
特に、この選択は、オリジナル文書候補のサムネイル画像を表示部１１６に表示し、複数のオリジナル文書候補の中からユーザが所望のオリジナル文書候補のサムネイル画像を選択させることで実現する。そして、このユーザインタフェースによって、オリジナル文書が選択されると、そのオリジナル文書の文書ＩＤを特定する。尚、このユーザインタフェースの構成の詳細については後述する。
【００９２】
ステップＳ３１８０で、特定されたオリジナル文書の文書ＩＤに対して、データベース１１８内のアドレス情報の文書ＩＤに対応したアドレスを参照して、記憶部１１１に、オリジナル文書（電子ファイルもしくは画像データ）を読み込み、オペレータの指示に基づいて、そのオリジナル文書の印刷、配信、蓄積、編集のいずれかの処理を実行する。
【００９３】
以上説明した処理は、複数ページからなる紙文書を１ページずつ読み込む毎に、そのページ文書と比較先文書との比較処理を行い、検索結果とするオリジナル文書が一意に特定できた時点で、それ以降の紙文書の読込、比較処理を終了する。これにより、処理対象となるページ文書を記憶するためのメモリ容量を増大せずに、効率的なメモリ使用を実現することが可能となる。
【００９４】
また、比較処理を行う毎に得られる比較処理結果に基づいて、比較対象とする比較先文書の絞り込みを行い、以降の比較処理では、その絞り込まれた比較先文書を比較対象として比較処理を行うので、処理負荷を軽減し、かつ精度良く検索を実行することができる。
【００９５】
［各処理の詳細］
以下、各処理の詳細について説明する。
【００９６】
まず、ステップＳ３０１５、ステップＳ３２１３及びステップＳ３１３０のブロックセレクション処理の詳細について説明する。
【００９７】
ブロックセレクション処理とは、例えば、図９（ａ）のラスタ画像を、図９（ｂ）のように、意味のあるブロック毎の塊として認識し、該ブロック各々の属性（文字（ＴＥＸＴ）／図画（ＰＩＣＴＵＲＥ）／写真（ＰＨＯＴＯ）／線（ＬＩＮＥ）／表（ＴＡＢＬＥ）等）を判定し、異なる属性を持つブロックに分割する処理である。
【００９８】
ブロックセレクション処理の実施形態を以下に説明する。
【００９９】
まず、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【０１００】
このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つブロックへ分類していく。例えば、縦横比が１に近く、大きさが一定の範囲のブロックは文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字ブロック、扁平な画素塊を線ブロック、一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表ブロック、不定形の画素塊が散在している領域を写真ブロック、それ以外の任意形状の画素塊を図画ブロックとする。
【０１０１】
次に、ステップＳ３０１７、ステップＳ３２１５及びステップＳ３１４０の特徴量情報抽出処理の詳細について説明する。
【０１０２】
尚、特徴量情報抽出処理は、画像ブロック及び文字ブロックで処理方法が異なるので、それぞれ別に説明する。
【０１０３】
ここで、画像ブロックは、図９（ｂ）の例の場合、写真ブロックと図画ブロックとするが、用途や目的に応じて、画像ブロックを写真ブロック及び図画ブロックの少なくとも一方にすることも可能である。
【０１０４】
まず、画像ブロックに対する特徴量情報抽出処理について説明する。
【０１０５】
尚、１文書に複数の画像ブロックが存在する場合は、その総数分、以下の処理を繰り返す。
【０１０６】
実施形態１では、一例として、画像の色に関する色特徴量を抽出する色特徴量情報抽出処理を行う。
【０１０７】
この色特徴量情報抽出処理の詳細について、図１０を用いて説明する。
【０１０８】
図１０は本発明の実施形態１の色特徴量情報抽出処理の詳細を示すフローチャートである。
【０１０９】
尚、この処理では、処理対象画像を複数のメッシュブロックに分割した各メッシュブロックの色ヒストグラム中の最頻色を有する色と各メッシュブロックの位置情報を対応づけた情報を色特徴情報として抽出する。
【０１１０】
まず、ステップＳ１０２０で、画像を複数のメッシュブロックに分割する。実施形態１では、図１１に示すように、画像を縦横をそれぞれ９メッシュブロックに分割する。特に、実施形態１では、表記の都合上９×９＝８１メッシュブロックに分割している例を示しているが、実際には、１５×１５＝２２５メッシュブロック程度であることが好ましい。
【０１１１】
次に、ステップＳ１０３０で、処理対象となる着目メッシュブロックを左上端のブロックに設定する。尚、この着目メッシュブロックの設定は、例えば、図１２に示すように、予め処理順序が決定された順序決定テーブルを参照して行う。実施形態１では、左上端から右へ走査し、その行を終えると次の行の左端から右へスキャンする走査例を示している。
【０１１２】
ステップＳ１０４０で、未処理の着目メッシュブロックの有無を判定する。未処理の着目メッシュブロックがない場合（ステップＳ１０４０でＮＯ）、処理を終了する。一方、未処理の着目メッシュブロックがある場合（ステップＳ１０４０でＹＥＳ）、ステップＳ１０５０に進む。
【０１１３】
ステップＳ１０５０で、着目メッシュブロックの全画素の各濃度値を、図１３の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。
【０１１４】
尚、実施形態１では、図１３に示すように、ＲＧＢ色空間を３×３×３＝２７に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影する場合を示しているが、実際には、ＲＧＢ色空間を６×６×６＝２１６に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影するほうが好ましい。
【０１１５】
ステップＳ１０６０で、色ヒストグラムの最頻色ビンの色ビンＩＤをその着目メッシュブロックの代表色と決定し、その着目メッシュブロックとその位置に対応づけて記憶部１１１に記憶する。
【０１１６】
ステップＳ１０７０で、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１０４０に戻り、未処理の着目メッシュブロックがなくなるまで、ステップＳ１０４０〜ステップＳ１０７０の処理を繰り返す。
【０１１７】
以上の処理によって、処理対象画像（画像ブロック）のメッシュブロック毎の代表色と各メッシュブロックの位置情報が対応付けられた情報を色特徴量情報として抽出することができる。
【０１１８】
次に、文字ブロックに対する特徴量情報抽出処理について説明する。
【０１１９】
尚、１文書に複数の文字ブロックが存在する場合は、その総数分、以下の処理を繰り返す。
【０１２０】
文字ブロックに対する文字特徴量情報は、その文字ブロックにＯＣＲ（文字認識）処理を施して得られる文字コードとする。
【０１２１】
ＯＣＲ（文字認識）処理は、文字ブロックから文字単位で切り出された文字画像に対し、パターンマッチングの一手法を用いて文字認識を行い、対応する文字コードを取得する。
【０１２２】
この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とするものである。
【０１２３】
特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュブロック内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。
【０１２４】
ブロックセレクション処理（ステップＳ３０１５、ステップＳ３２１３あるいはステップＳ３１３０）で抽出された文字ブロックに対して文字認識を行う場合は、まず、該当文字ブロックに対し横書き／縦書きの判定を行い、各々対応する方向に文字列を切り出し、その後、文字列から文字を切り出して文字画像を取得する。
【０１２５】
横書き／縦書きの判定は、該当文字ブロック内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判定する。文字列及び文字への分解は、横書きの文字ブロックである場合には、その水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。一方、縦書きの文字ブロックに対しては、水平と垂直を逆にすれば良い。
【０１２６】
次に、ステップＳ３１５０の比較処理の詳細について、図１４を用いて説明する。
【０１２７】
図１４は本発明の実施形態１の比較処理の詳細を示すフローチャートである。
【０１２８】
まず、ステップＳ１５１０で、比較先文書を管理する文書候補リストの先頭から文書ＩＤを順番に取得する。
【０１２９】
次に、ステップＳ１５２０で、全ての文書ＩＤを取得したか否かを判定する。全ての文書ＩＤを取得した場合（ステップＳ１５２０でＮＯ）、ステップＳ１５８０に進む。一方、全ての文書ＩＤを取得していない場合（ステップＳ１５２０でＹＥＳ）、ステップＳ１５３０に進む。
【０１３０】
次に、ステップＳ１５３０で、レイアウトの比較を行う。ここで、レイアウトとは、ブロック情報にあるブロックの属性、サイズ、位置のことである。具体的には、各ブロックの属性、サイズ、位置と、ステップＳ１５１０で取得した文書ＩＤ及び現在処理中のページ番号に対応したブロック情報中の各ブロックの属性、サイズ、位置を比較し、レイアウトが同じであるかどうかを判定する。
【０１３１】
比較元画像（紙文書）と比較先画像（オリジナル文書）のレイアウトが同じである場合（ステップＳ１５３０でＹＥＳ）、ステップＳ１５４０に進む。一方、比較元画像と比較先画像のレイアウトが同じでない場合（ステップＳ１５４０でＮＯ）、ステップＳ１５７０に進む。
【０１３２】
次に、ステップＳ１５４０で、比較元画像（紙文書）と比較先画像（オリジナル文書）のページ同士の比較を行うページ比較処理を実行する。この比較は、ブロックの属性に合わせ、文字、画像それぞれに応じた特徴量を用いて、複合的に比較を行い、類似度を算出する。この処理の詳細については後述する。
【０１３３】
次に、ステップＳ１５５０で、算出された類似度が第３閾値以上であるか否かを判定する。第３閾値未満である場合（ステップＳ１５５０でＮＯ）、ステップＳ１５７０に進む。一方、第３閾値以上である場合（ステップＳ１５５０でＹＥＳ）、ステップＳ１５５５に進む。
【０１３４】
次に、ステップＳ１５５５で、現在処理中の文書ＩＤに対応した文書候補リストの類似度合計とステップＳ１５４０で算出された類似度から１ページあたりの平均類似度を求め、平均類似度が第１閾値以上であるか否かを判定する。第１閾値未満である場合（ステップＳ１５５５でＮＯ）、ステップＳ１５７０に進む。一方、第１閾値以上である場合（ステップＳ１５５５でＹＥＳ）、ステップＳ１５６０に進む。
【０１３５】
次に、ステップＳ１５６０で、現在処理中の文書ＩＤに対応した文書候補リストの類似度合計に、ステップＳ１５４０で算出された類似度を累積加算する。その後、ステップＳ１５１０へ戻り、比較先文書となる次の文書ＩＤを文書候補リストから取得する。
【０１３６】
一方、ステップＳ１５７０で、文書候補リストから、現在処理中の文書ＩＤに対応した項目（文書ＩＤ及び類似度合計）を削除し、ステップＳ１５１０へ戻り、比較先文書となる次の文書ＩＤを文書候補リストから取得する。
【０１３７】
ステップＳ１５２０において、全ての文書ＩＤを取得した場合（ステップＳ１５２０でＮＯ）、ステップＳ１５８０に進み、文書候補リストに登録されている文書ＩＤを対応する類似度合計の値によって降順にソートし、比較処理を終了する。
【０１３８】
次に、ステップＳ１５４０のページ比較処理の詳細について、図１５を用いて説明する。
【０１３９】
図１５は本発明の実施形態１のページ比較処理の詳細を示すフローチャートである。
【０１４０】
まず、ステップＳ１６１０で、ブロック情報を参照し、処理対象となる文書ＩＤ、ページ番号に対応する電子データ中で、未比較のブロックの有無を判定する。未比較のブロックがない場合（ステップＳ１６１０でＮＯ）、ステップＳ１６７０に進む。一方、未比較のブロックがある場合（ステップＳ１６１０でＹＥＳ）、ステップＳ１６２０に進む。
【０１４１】
次に、ステップＳ１６２０で、比較対象のブロックの属性を判定する。属性が画像ブロックである場合、ステップＳ１６４０へ進む。一方、属性が文字ブロックである場合、ステップＳ１６６０へ進む。
【０１４２】
属性が画像ブロックである場合、ステップＳ１６４０で、色に関する特徴量情報で比較先ブロックとの類似比較である色特徴量情報比較処理を行う。この処理の詳細については後述する。これによって得られる類似度は、比較先の文書ＩＤ、ページ番号、ブロックＩＤに対応させて記憶部１１１に一時記憶する。
【０１４３】
一方、属性が文字ブロックである場合、ステップＳ１６６０で、文字の特徴量情報での比較元ブロックと比較先ブロックとの類似比較である文字特徴量情報比較処理を行う。この処理の詳細については後述する。また、これによって得られる類似度は、比較先の文書ＩＤ、ページ番号、ブロックＩＤに対応させて記憶部１１１に一時記憶する。
【０１４４】
次に、ステップＳ１６１０において、全てのブロックとの比較が終了した場合（ステップＳ１６１０でＮＯ）、ステップＳ１６７０に進み、ステップＳ１６４０及びステップＳ１６６０の処理によって記憶部１１１に記憶されている、比較先文書（オリジナル文書）のページに含まれる全てのブロックの類似度を統合し、検索条件である紙文書とオリジナル文書中のページとの類似度を算出する統合処理を行う。
【０１４５】
次に、ステップＳ１６４０の色特徴量情報比較処理の詳細について、図１６を用いて説明する。
【０１４６】
図１６は本発明の実施形態１の色特徴量情報比較処理の詳細を示すフローチャートである。
【０１４７】
まず、ステップＳ１７１０で、比較元画像と比較先画像の色特徴量を色特徴量情報から読み出す。
【０１４８】
次に、ステップＳ１７２０で、処理対象とする画像中の着目メッシュブロックを先頭に設定する。ステップＳ１７３０で、比較元画像の色特徴量と、比較対象の色特徴量の類似度を示す類似距離を０にリセットする。
【０１４９】
ステップＳ１７４０で、未比較の着目メッシュブロックの有無を判定する。未比較の着目メッシュブロックがない場合（ステップＳ１７４０でＮＯ）、ステップＳ１７８０に進む。一方、未比較の着目メッシュブロックがある場合（ステップＳ１７４０でＹＥＳ）、ステップＳ１７５０に進む。
【０１５０】
ステップＳ１７５０で、比較元画像と比較先画像のそれぞれの色特徴量から、それぞれの着目メッシュブロックの色ビンＩＤを取得する。
【０１５１】
ステップＳ１７６０で、図１７の色ビンペナルティマトリックスを参照して、取得した色ビンＩＤ間に対応する着目メッシュブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する。そして、この類似距離は記憶部１１１に記憶する。
【０１５２】
ここで、色ビンペナルティマトリックスについて、図１７を用いて説明する。
【０１５３】
図１７は本発明の実施形態１の色ビンペナルティマトリックスの構成を示す図である。
【０１５４】
色ビンペナルティマトリックスは、色ビンＩＤ同士の局所的類似距離を管理するマトリックスである。図１７によれば、色ビンペナルティマトリックスは、同一色ビンＩＤではその類似距離は０となり、色ビンＩＤ同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一色ビンＩＤの対角位置は全て、その類似距離は０で、それを境に対象性を持っている。
【０１５５】
このように、実施形態１では、色ビンペナルティマトリックスを参照するだけで、色ビンＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。
【０１５６】
そして、ステップＳ１７７０で、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１７４０に戻る。
【０１５７】
そして、ステップＳ１７４０で、未比較の着目メッシュブロックがない場合（ステップＳ１７４０でＮＯ）、ステップＳ１７８０に進み、記憶部１１１に記憶されている類似距離を類似度に変換し、ブロックＩＤと対にして出力する。
【０１５８】
尚、類似度への変換は、例えば、類似距離が最小値のときを類似度１００％、類似距離が最大値のときを類似度０％として、その範囲内の類似距離に対する類似度は、最小値あるいは最大値に対する差に基づいて算出するようにすれば良い。
【０１５９】
次に、ステップＳ１６６０の文字特徴量情報比較処理の詳細について説明する。
【０１６０】
この処理では、比較元画像と比較先画像中のそれぞれの文字ブロック内の各文字コード同士の比較を行い、その一致度から類似度を算出する。
【０１６１】
尚、検索条件とする紙文書とオリジナル文書との比較である場合、類似度は１００％となるのが理想的であるが、実際には、検索条件となる紙文書中の文字ブロックに対するＯＣＲ処理では誤認識が発生する場合があるので、オリジナル文書との比較であっても、類似度は１００％にならないことはあるが、かなり１００％に近い値となる。
【０１６２】
次に、ステップＳ１６７０の統合処理の詳細について説明する。
【０１６３】
この統合処理では、比較先画像であるオリジナル文書内で占めている割合の大きいブロックの類似度が、オリジナル文書全体の類似度としてより大きく反映されるような、算出されたブロック毎の類似度の統合を行う。
【０１６４】
例えば、オリジナル文書中のブロックＢ１〜Ｂ６に対し、ブロック毎の類似率がｎ１〜ｎ６と算出されたとする。このときオリジナル文書全体の総合類似率Ｎは、以下の式で表現される。
【０１６５】
Ｎ＝ｗ１＊ｎ１＋ｗ２＊ｎ２＋ｗ３＊ｎ３＋ ・・・ ＋ｗ６＊ｎ６ （１）
ここで、ｗ１〜Ｗ６は、各ブロックの類似率を評価する重み係数である。重み係数ｗ１〜ｗ６は、ブロックのオリジナル文書内占有率により算出する。例えば、ブロック１〜６のサイズをＳ１〜Ｓ６とすると、ブロック１の占有率ｗ１は、ｗ１＝Ｓ１／（Ｓ１＋Ｓ２＋・・・＋Ｓ６） （２）
として算出することができる。
【０１６６】
このような占有率を用いた重み付け処理により、オリジナル文書内で大きな領域を占めるブロックの類似度がより、オリジナル文書全体の類似度に反映することができる。
【０１６７】
次に、ステップＳ３１７０の候補表示／選択処理時のユーザインタフェースの一例について、図１８を用いて説明する。
【０１６８】
図１８は本発明の実施形態１のユーザインタフェースの一例を示す図である。
【０１６９】
１９１７は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。
【０１７０】
１９１９〜１９２８は、検索結果として出力するオリジナル文書（電子ファイルもしくは画像データ）候補の所定ページのサムネイル画像群である。このサムネイル画像の表示は、１９１９から番号順に類似度の高い順で表示されている。
【０１７１】
この例では、最大１０のサムネイル画像が表示され、オリジナル文書候補が１０以上である場合には、上位１０までのサムネイル画像が表示される。そして、このサムネイル画像群１９１９〜１９２８から、所望するサムネイル画像を選択することで、所望のオリジナル文書を選択することが可能であり、その選択したオリジナル文書に対する各種処理を実行することが可能となる。
【０１７２】
１９２９は文書中の何ページ目の候補が表示されているかを示すものである。また、これを選択することで、他のページの候補を切り替えて表示させることができる。
【０１７３】
以上説明したように、実施形態１によれば、複数ページからなる紙文書から対応するオリジナル文書を検索する場合には、その紙文書を１ページずつ読み込んでページ単位の比較処理を行って、オリジナル文書を検索する。これにより、処理に必要とするメモリ容量を小さくすることができ、コストの低減を図ることができる。
【０１７４】
また、１ページ単位で比較処理を行い、検索結果を一意に特定できた時点で、以降の未処理のページの比較処理を実行することなく、処理を終了するので、検索条件となる複数ページの紙文書のすべてのページに対する比較処理を行う必要が無くなり、オリジナル文書の検索の精度を落とすことなく、処理速度を向上することができる。
【０１７５】
また、複数ページの紙文書の先頭から各ページの比較処理を行う毎に、その比較処理結果に基づいて、検索対象となる比較先文書をより検索条件に合致すると想定される比較先文書に絞り込むことにより、処理速度を向上しながら、検索精度を向上することができる。
【０１７６】
＜＜実施形態２＞＞
実施形態１では、１枚の紙文書に１ページ分の文書が構成されている、複数ページからなる紙文書（比較元文書）をページ単位で比較処理を行う構成としているが、実施形態２では、１枚の紙文書に複数ページ分の文書が構成されている紙文書（比較元文書）から、その文書内のページ画像を取得して、そのページ画像単位で比較処理を行う構成について説明する。
【０１７７】
以下、実施形態２の検索処理について、図１９を用いて説明する。
【０１７８】
図１９は本発明の実施形態２の検索処理を示すフローチャートである。
【０１７９】
尚、図１９において、実施形態１の図３Ｃの検索処理と同一の処理ステップには、同一のステップ番号を付加し、その詳細については省略する。
【０１８０】
ステップＳ３１０５の文書候補リストの初期化後、ステップＳ２０１５で、ＭＦＰ１００の画像読取部１１０を動作させ、１ページ分の紙文書をラスタ状に走査してラスタ画像を記憶部１１１に読み込む。
【０１８１】
次に、ステップＳ２０２０で、ステップＳ２０１５で読み込んだラスタ画像を含むユーザインタフェースを表示部１１６に表示し、オペレータからのユーザインタフェースを介する、ラスタ画像内のページ画像領域のレイアウト（ラスタ画像に含まれるオリジナル文書のページ数、ページの配置及び並び順）の指定を受け付ける。この指定は、例えば、１枚の紙文書に２ページ分、４ページ分等の複数ページ分の文書がレイアウトされている紙文書を検索条件とすることを想定している。
【０１８２】
次に、ステップＳ２０２５で、ステップＳ２０２０で指定されたラスタ画像内のページ画像領域のレイアウトに従って、ラスタ画像内のページ画像領域の各ページ画像を一つずつ取得する。
【０１８３】
ステップＳ２０３０で、ラスタ画像内の全てのページ画像の取得が終了したか否かを判定する。取得が終了した場合（ステップＳ２０３０でＹＥＳ）、ステップＳ３１７０に進む。一方、取得が終了していない場合（ステップＳ２０３０でＮＯ）、ステップＳ２０３５に進む。
【０１８４】
ステップＳ２０３５で、取得したラスタ画像内のページ画像に対して、ブロックセレクション（ＢＳ）処理を行なう。尚、ブロックセレクション処理自体は、実施形態１の図３ＣのステップＳ３１３０と同じ処理内容であるが、実施形態１のステップＳ３１３０がラスタ画像全体に対してブロックセレクション処理を行うのに対し、実施形態２のステップＳ２０３５では、ラスタ画像内のページ画像に対してブロックセレクション処理を行なう点が異なる。
【０１８５】
そのため、実施形態２では、ブロックセレクション処理によって得られるブロック情報の位置は、そのページ画像の位置がラスタ画像全体の位置に対する位置となるように補正を加える。
【０１８６】
そして、以降、ブロックセレクション処理によって得られるブロック情報に基づいて、実施形態１と同様に、特徴量情報抽出処理、比較処理を行って、比較元画像に対応するオリジナル文書を特定する。
【０１８７】
次に、ステップＳ２０２０の画像内ページ数指定時のユーザインタフェースの一例について、図２０を用いて説明する。
【０１８８】
図２０は本発明の実施形態２のユーザインタフェースの一例を示す図である。
【０１８９】
尚、画像内ページ数指定とは、ラスタ画像内に含まれるページ画像領域のレイアウト（オリジナル文書のページ数とページの配置と並び順）をオペレータが指定するものである。
【０１９０】
１４１１は表示・操作パネルである。１４１２〜１４１５は各種機能ボタンであり、それぞれの機能ボタン１４１２〜１４１５は、処理対象の画像の印刷指示、配信指示、蓄積指示及び編集指示を行うためのものである。
【０１９１】
１４１６はスタートボタンであり、押下することで、機能ボタンで選択した機能を実行させることができる。１４２５はテンキーであり、印刷時の枚数の指定や、１枚の紙に含まれるページ（ページ画像領域）数（レイアウト）の指定を行うことが可能である。
【０１９２】
１４１７は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。１４１８は紙文書確認用領域であり、画像読取部１１０で読み取った紙文書画像を、領域内に収まるサイズに縮小して表示する。ユーザは紙文書画像の状態を、この領域１４１８で確認することが可能となる。
【０１９３】
１４１９は入力原稿の種類を確認する領域であり、読み取った紙文書のページレイアウト（１枚に含まれる元のオリジナル文書のページの配置）を確認することができる。
【０１９４】
この領域１４１９内において、１４２０は読み取った紙文書１枚に含まれるページ数を指定する指定領域である。特に、指定がない場合は、指定領域１４２０には、１が設定される。１４２４は１枚の紙文書中でのオリジナル文書のページの配置（位置と順番）を指定する指定領域である。特に、順番は、指定領域１４２４中で数字で表示される。また、ページの位置の変更は、指定領域１４２４の該当するページ領域を触れることで変更できるが、指定領域１４２０で指定されたページ数の配置の組み合わせの中で変更することもできる。
【０１９５】
尚、図２０の例では、領域１４１８に示されるように、紙文書１枚あたりに４ページの文書が配置された紙文書が読み込まれた状態であり、かつページのレイアウトの指定で、ページ数は４ページで、左から右、上から下の順番にページが配置されていることを指定した状態を示している。
【０１９６】
このようなユーザインタフェースを構成することで、読み取った紙文書中のページレイアウトを指定することができる。
【０１９７】
以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、１枚の紙文書に複数ページの文書が構成されている場合にも、効率良くオリジナル文書の検索を実行することができる。
【０１９８】
尚、図１０の色特徴量情報抽出処理では、処理対象画像の最頻色を色特徴情報として抽出する例を説明したが、これに限定されるものではなく、例えば、平均色を色特徴情報として抽出するようにしても良い。
【０１９９】
また、画像特徴量として色特徴量を用いたが、これに限定されるものではなく、例えば、最頻輝度、平均輝度等の輝度特徴量、共起行列、コントラスト、エントロピ、Ｇａｂｏｒ変換等で表現されるテクスチャ特徴量、エッジ、フーリエ記述子等の形状特徴量等の複数種類の画像特徴量を１つ、或いは、任意に組み合わせた画像特徴量を用いても良い。
【０２００】
また、ブロックセレクション処理を行い、処理対象の文書を文字ブロックと画像ブロックに分割し、これらの各ブロックの特徴量を複合的に用いて検索を行ったが、文書全体を１つの画像とみなし、オリジナル文書の検索を行うようにしても構わない。また、精度が許容される範囲ならば、文書中の画像ブロックのみを利用して、オリジナル文書の検索を行うようにしても構わない。
【０２０１】
また、電子文書を、一旦、ラスタ画像に変換したが、電子文書から直接、文字コードや画像を抜き出して比較してももちろん構わない。
【０２０２】
また、文字特徴量としては文字コードを採用したが、例えば、単語辞書とのマッチングを予め行って単語の品詞を抽出しておき、名詞である単語を文字特徴量としても良い。
【０２０３】
また、図３Ｃあるいは図２０のステップ３１５０の比較処理では、画像もしくは文字の特徴量を用いて比較処理を実行していたが、画像データ同士を直接比較する構成として良い。
【０２０４】
実施形態１や２では、画像読取部１１０（スキャナ）と印刷部１１２（プリンタ）が一体に構成されているＭＦＰ１００を例に挙げて説明したが、画像読取部１１０と印刷部１１２をそれぞれ個別の機器として、ＬＡＮ１０７、もしくはクライアントＰＣ１０２等に接続して構成するようにしても良い。この場合、ＭＦＰ１００のそれ以外の構成要素は、マネージメントＰＣ１０１に含まれることになり、画像読取部１１０（スキャナ）と印刷部１１２（プリンタ）との接続は、ネットワークＩ／Ｆ１１４を介して、ＬＡＮ１０７経由で接続されることになる。
【０２０５】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０２０６】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０２０７】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０２０８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０２０９】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０２１０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０２１１】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０２１２】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０２１３】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【０２１４】
【発明の効果】
以上説明したように、本発明によれば、印刷物からオリジナルの電子文書を検索する場合に、その印刷物が複数のページから構成される文書であっても、処理に必要とするメモリ容量を増加させずに、オリジナルの電子文書を精度良く検索することができる画像処理装置及びその制御方法、プログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態１の画像処理システムの構成を示すブロック図である。
【図２】本発明の実施形態１のＭＦＰの詳細構成を示すブロック図である。
【図３Ａ】本発明の実施形態１の電子文書の登録処理を示すフローチャートである。
【図３Ｂ】本発明の実施形態１の紙文書の登録処理を示すフローチャートである。
【図３Ｃ】本発明の実施形態１の検索処理を示すフローチャートである。
【図４】本発明の実施形態１のアドレス情報の一例を示す図である。
【図５】本発明の実施形態１のブロック情報の一例を示す図である。
【図６】本発明の実施形態１の特徴量情報の一例を示す図である。
【図７】本発明の実施形態１の特徴量情報の一例を示す図である。
【図８】本発明の実施形態１の文書候補リストの例を示す図である。
【図９】本発明の実施形態１の画像ブロック抽出の一例を示す図である。
【図１０】本発明の実施形態１の色特徴量情報抽出処理の詳細を示すフローチャートである。
【図１１】本発明の実施形態１の画像メッシュブロック分割の一例を示す図である。
【図１２】本発明の実施形態１の順序決定テーブルの一例を示す図である。
【図１３】本発明の実施形態１の色空間上の色ビンの構成の一例を示す図である。
【図１４】本発明の実施形態１の比較処理の詳細を示すフローチャートである。
【図１５】本発明の実施形態１のページ比較処理の詳細を示すフローチャートである。
【図１６】本発明の実施形態１の色特徴量情報比較処理の詳細を示すフローチャートである。
【図１７】本発明の実施形態１の色ビンペナルティマトリックスの構成の一例を示す図である。
【図１８】本発明の実施形態１のユーザインタフェースの一例を示す図である。
【図１９】本発明の実施形態２の検索処理を示すフローチャートである。
【図２０】本発明の実施形態２のユーザインタフェースの一例を示す図である。
【符号の説明】
１００ ＭＦＰ
１０１ マネージメントＰＣ
１０２ クライアントＰＣ
１０３ プロキシサーバ
１０４ ネットワーク
１０５ データベース
１０６ 文書管理サーバ
１０７ ＬＡＮ
１１０ 画像読取部
１１１ 記憶部
１１２ 印刷部
１１３ 入力部
１１４、１１７ ネットワークＩ／Ｆ
１１５ データ処理部
１１６ 表示部
１１８ データベース
【発明の属する技術分野】
本発明は、複写機などの画像入力装置で、読み取った紙文書から対応するオリジナルの電子データを検索し、オリジナルの電子データを印刷、配信、蓄積、編集などに活用することを可能とする画像処理技術に関するものである。
【０００２】
【従来の技術】
近年、オフィスのペーパレス化が唱えられているが、紙文書には、目が疲れにくい、全体を概観しやすい、書き込める等、電子文書にはないメリットがあり、現状のオフィスでは、電子文書と紙文書のそれぞれのメリットを生かし、電子文書と紙文書が併用されている状況にある。このような状況では、紙文書と電子文書との扱いの差異を軽減するために、電子文書から紙文書へ、紙文書から電子文書への相互の移行が容易にできるような環境が求められている。
【０００３】
電子文書から紙文書への移行は、電子文書をプリンタによって印刷することで容易に達成できる。それに対して、紙文書から電子文書への移行は、紙文書をスキャナから読み取り、画像データとして電子化する方法が一般的に行なわれている。
【０００４】
しかしながら、紙文書に対するオリジナルの電子文書が既に存在している場合は、紙文書を改めて電子文書に移行するよりも、紙文書に対するオリジナルの電子文書を用いて紙文書を電子文書に移行するほうが望ましい。
【０００５】
これを実現する方法として、例えば、特許文献１では、電子文書をラスタ画像に変換して電子文書と対応付けて保存しておき、紙文書をスキャンして得られたラスタ画像データと、電子文書に対するラスタ画像データとを、その特徴量の類似性を比較することにより、紙文書のラスタ画像データからオリジナルの電子文書を検索することを可能にしている。
【０００６】
これにより、例えば、会議で発表する時に用いた資料が、紙文書として出席者に配布されることは一般的に行なわれているが、配布された紙文書から、オリジナルの電子文書を取り出すことが可能になる。そのため、会議の出席者は、紙文書を利用して、対応するオリジナルの電子文書を編集したり、会議に出席していない人にその電子文書から得られる紙文書を配布したりすることが可能になる。
【０００７】
また、特許文献２では、オリジナル文書が紙文書である場合に、その紙文書をスキャンして得られたラスタ画像データをオリジナルのラスタ画像データとして記憶しておき、配布された紙文書をスキャンして得られたラスタ画像データと、オリジナルのラスタ画像データそのものを比較することにより、オリジナル文書を検索する方法が示されている。
【０００８】
現状では、製品のパンフレットのように、社外から紙文書でオリジナルを入手する場合も多くあり、このような場合、オリジナルの紙文書にコピーが何世代にも渡って行なわれると、画質が劣化するので、このようにして、オリジナル文書のラスタ画像データを保持しておき、オリジナルのラスタ画像データを検索することは意味がある。
【０００９】
【特許文献１】
特開２００１−２５６２５６号
【特許文献２】
特開平５−３７７４８号
【００１０】
【発明が解決しようとする課題】
しかしながら、一般的に、１枚の紙文書には、１ページのみで構成される文書よりも、複数ページから構成される文書が多い。これに対し、特許文献１では、全ページ分のラスタ画像の特徴量を比較条件とするために、スキャンした紙文書のラスタ画像を一時的に記憶保持しておくメモリが、全ページ分必要になり、メモリ容量が増加するという課題があった。
【００１１】
加えて、全ページ分のラスタ画像の特徴量を比較条件としないで、オリジナルの電子文書を特定することが可能であるとしても、比較先画像となるオリジナル文書それぞれの全ページ分のラスタ画像を比較する必要があり、処理時間が増加するという課題があった。
【００１２】
また、特許文献２では、先頭ページ等、特定ページのみを比較条件することによって、使用するメモリを低減する方法が示されているが、オフィスで使用される文書には、類似する文書も多く、先頭ページ等、特定ページのみを比較条件とするだけでは、オリジナルの文書を特定できない場合があり、オリジナル文書の検索を精度よくできないという課題があった。
【００１３】
本発明は上記の課題を解決するためになされたものであり、印刷物からオリジナルの電子文書を検索する場合に、その印刷物が複数のページから構成される文書であっても、処理に必要とするメモリ容量を増加させずに、オリジナルの電子文書を精度良く検索することができる画像処理装置及びその制御方法、プログラムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
複数の画像データを記憶する記憶手段と、
複数ページからなる印刷物をページ単位で電子的に読み取る読取手段と、
前記印刷物の電子データに対応する画像データを前記記憶手段から検索する検索手段と、
前記検索手段による検索結果に基づいて、前記印刷物の次ページの印刷物を前記読取手段で読み取り、その次ページの印刷物の電子データに対応する画像データを前記検索結果から前記検索手段によって検索する制御手段と
を備える。
【００１５】
また、好ましくは、前記制御手段は、前記検索手段による検索結果として、前記印刷物の電子データに対応する画像データが一意に特定された場合、該印刷物の次ページ以降の印刷物の前記読取手段による読取を終了する。
【００１６】
また、好ましくは、前記検索手段は、前記読取手段で読み取った印刷物の電子データと比較する候補画像データ群を管理する候補リストに従って、候補画像データ群を前記記憶手段より取得する取得手段と、
前記取得手段で取得した候補画像データ群と前記印刷物の電子データを比較する比較手段とを備え、
前記比較手段の比較結果に基づいて、前記印刷物の電子データに対応する画像データを前記候補画像データ群から検索する。
【００１７】
また、好ましくは、前記制御手段は、前記検索手段による検索結果に基づいて、前記候補リストの内容を更新し、前記印刷物の次ページの印刷物を前記読取手段で読み取り、その次ページの印刷物の電子データに対応する画像データを前記更新された候補リストから前記検索手段によって検索する。
【００１８】
また、好ましくは、前記印刷物の電子データに含まれるページ画像のページ数を指定する指定手段を更に備え、
前記比較手段は、前記指定手段で指定されたページ数に基づいて決定される処理対象領域の部分電子データと、前記取得手段で取得した候補画像データ群と比較する。
【００１９】
また、好ましくは、前記比較手段は、前記印刷物の電子データの特徴量を抽出する抽出手段を備え、
前記抽出手段で抽出した特徴量を用いて、前記印刷物の電子データと、前記取得手段で取得した候補画像データ群と比較する。
【００２０】
また、好ましくは、前記抽出手段は、前記印刷物の電子データの画像特徴量及び文字特徴量のいずれかまたは両方を抽出する。
【００２１】
上記の目的を達成するための本発明による画像処理装置の制御方法は以下の構成を備える。即ち、
複数ページからなる印刷物をページ単位で電子的に読み取る読取工程と、
前記印刷物の電子データに対応する画像データを記憶媒体に記憶されている複数の画像データから検索する検索工程と、
前記検索工程による検索結果に基づいて、前記印刷物の次ページの印刷物を前記読取工程で読み取り、その次ページの印刷物の電子データに対応する画像データを前記検索結果から前記検索手段によって検索する制御工程と
を備える。
【００２２】
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
複数ページからなる印刷物をページ単位で電子的に読み取る読取工程のプログラムコードと、
前記印刷物の電子データに対応する画像データを記憶媒体に記憶されている複数の画像データから検索する検索工程のプログラムコードと、
前記検索工程による検索結果に基づいて、前記印刷物の次ページの印刷物を前記読取工程で読み取り、その次ページの印刷物の電子データに対応する画像データを前記検索結果から前記検索手段によって検索する制御工程のプログラムコードと
を備える。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００２４】
＜＜実施形態１＞＞
図１は本発明の実施形態１の画像処理システムの構成を示すブロック図である。
【００２５】
この画像処理システムは、オフィス１０とオフィス２０とをインターネット等のネットワーク１０４で接続された環境で実現する。
【００２６】
オフィス１０内に構築されたＬＡＮ１０７には、複数種類の機能を実現する複合機であるＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ１０６及びそのデータベース１０５、及びプロキシサーバ１０３が接続されている。
【００２７】
オフィス１０内のＬＡＮ１０７及びオフィス２０内のＬＡＮ１０８は、双方のオフィスのプロキシサーバ１０３を介してネットワーク１０４に接続されている。
【００２８】
ＭＦＰ１００は、特に、紙文書を電子的に読み取る画像読取部と、画像読取部から得られる画像信号に対する画像処理を実行する画像処理部を有し、この画像信号はＬＡＮ１０９を介してマネージメントＰＣ１０１に送信することができる。
【００２９】
マネージメントＰＣ１０１は、通常のＰＣであり、内部に画像記憶部、画像処理部、表示部、入力部等の各種構成要素を有するが、その構成要素の一部はＭＦＰ１００に一体化して構成されている。
【００３０】
尚、ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、またはこれらの組み合わせにより実現されるいわゆる通信ネットワークであり、データの送受信が可能であれば良い。
【００３１】
また、マネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ等の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。
【００３２】
次に、ＭＦＰ１００の詳細構成について、図２を用いて説明する。
【００３３】
図２は本発明の実施形態１のＭＦＰの詳細構成を示すブロック図である。
【００３４】
図２において、原稿台とオートドキュメントフィーダ（ＡＤＦ）を含む画像読取部１１０は、束状のあるいは１枚の原稿画像を光源（不図示）で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ状の画像読取信号を所定密度（例えば、６００ＤＰＩ）のラスタ画像として得る。
【００３５】
尚、本実施形態では、画像読取部１１０で読み取る印刷物として、紙文書を例に挙げて説明するが、紙以外の記録媒体（例えば、ＯＨＰシート、フィルム等の透過原稿、や布）からなる印刷物を、画像読取部１１０の読取対象としても良い。
【００３６】
また、ＭＦＰ１００は、画像読取信号に対応する画像を印刷部１１２で記録媒体に印刷する複写機能を有し、原稿画像を１つ複写する場合には、この画像読取信号をデータ処理部１１５で画像処理して記録信号を生成し、これを印刷部１１２によって記録媒体上に印刷させる。一方、原稿画像を複数複写する場合には、記憶部１１１に一旦一つ分の記録信号を記憶保持させた後、これを印刷部１１２に順次出力して記録媒体上に印刷させる。
【００３７】
一方、クライアントＰＣ１０２から出力される記録信号は、ＬＡＮ１０７及びネットワークＩＦ１１４を介してデータ処理部１１５が受信し、データ処理部１１５は、その記録信号を印刷部１１２で記録可能なラスタデータに変換した後、印刷部１１２によって記録媒体上に印刷させる。
【００３８】
ＭＦＰ１００への操作者の指示は、ＭＦＰ１００に装備されたキー操作部とマネージメントＰＣ１０１に接続されたキーボード及びマウスからなる入力部１１３から行われ、これら一連の動作はデータ処理部１１５内の制御部（不図示）で制御される。また、操作入力の状態表示及び処理中の画像データの表示は、表示部１１６で行われる。
【００３９】
記憶部１１１は、マネージメントＰＣ１０１からも制御され、ＭＦＰ１００とマネージメントＰＣ１０１とのデータの送受信及び制御は、ネットワークＩＦ１１７及びＬＡＮ１０９を介して行われる。
【００４０】
データベース１１８は、画像読取部１１０で読み取った紙文書の文書画像、及びその文書画像に関する情報、及びクライアントＰＣ１０２内のハードディスク内、あるいはオフィス１０や２０内の文書管理サーバ１０６内のデータベース１０５内の電子文書の画像画像に関する情報を登録、管理する。
【００４１】
尚、ＭＦＰ１００では、後述する各種処理を実行するための各種操作・表示をユーザに提供するユーザインタフェースを、表示部１１６及び入力部１１３によって実現している。
【００４２】
本発明による画像処理システムで実行する処理としては、大きく分けて画像データを登録する登録処理と、所望の画像データを検索する検索処理の２つがある。
【００４３】
尚、実施形態１では、画像処理システム全体の処理効率を向上するために、以下に説明する各種処理を、画像処理システムを構成する各種端末に分散させて実行するようにしているが、１つの端末（例えば、ＭＦＰ１００）上で実行するようにしても構わない。
【００４４】
まず、登録処理について説明する。
【００４５】
［登録処理の概要］
登録対象の画像データの登録方法としては、文書作成アプリケーション等で作成された電子ファイルをオリジナル文書として登録する場合と、紙文書をオリジナル文書として登録する場合とがある。
【００４６】
（Ａ）電子文書の登録処理の概要
まず、マネージメントＰＣ１０１の制御のもとに、電子文書をオリジナル文書としてＭＦＰ１００内のデータベース１１８に登録する登録処理の概要について図３Ａを用いて説明する。
【００４７】
図３Ａは本発明の実施形態１の電子文書の登録処理を示すフローチャートである。
【００４８】
尚、登録対象の電子文書は、クライアントＰＣ１０２内のハードディスク内、あるいはオフィス１０や２０内の文書管理サーバ１０６内のデータベース１０５内のいずれかに格納されている。
【００４９】
そこで、ステップＳ３０１０で、マネージメントＰＣ１０１は、これらの格納元から定められた順序に従い、電子文書を一つずつ取得し、ネットワークＩＦ１１４を介して記憶部１１１に格納する。
【００５０】
次に、ステップＳ３０１１で、全ての電子文書の取得が終了したか否かを判定する。新たな電子文書を取得しない場合（ステップＳ３０１１でＹＥＳ）、処理を終了する。一方、電子文書の取得が終了していない場合（ステップＳ３０１１でＮＯ）、ステップＳ３０１２に進む。
【００５１】
ステップＳ３０１２で、取得した電子文書に固有の文書ＩＤを発行し、その電子文書（電子ファイル）の格納場所を示すアドレスと対応付けて、データベース１１８内のアドレス情報として登録する。
【００５２】
ここで、文書ＩＤとは、データベース１１８内に格納される電子文書を識別するためのＩＤであり、電子文書を一つ登録するごとに、使用されていないＩＤが発行される。また、アドレスとは、ＵＲＬや、サーバ名、ホスト名、共有名、ディレクトリ、ファイル名からなる電子文書の格納先を示すフルパス情報である。そして、この文書ＩＤとアドレスからなるアドレス情報の一例を示すと、図４のようになる。
【００５３】
次に、ステップＳ３０１０で、取得した電子文書を、データ処理部１１５で１ページずつ、ラスタ画像に変換して記憶部１１１に格納する。ステップＳ３０１４で、電子文書の各ページのラスタ画像への変換が終了したか否かを判定する。変換が終了した場合（ステップＳ３０１４でＹＥＳ）、ステップＳ３０１０に戻り、次の電子文書を取得する。一方、変換が終了していない場合（ステップＳ３０１４でＮＯ）、ステップＳ３０１５に進む。
【００５４】
次に、ステップＳ３０１５で、記憶部１１１に格納されている１ページ分のラスタ画像に対して、ブロックセレクション（ＢＳ）処理を行う。この処理は、マネージメントＰＣ１０１の制御によって実行する。
【００５５】
具体的には、マネージメントＰＣ１０１のＣＰＵは、記憶部１１１に格納された処理対象のラスタ画像を、まず、文字／線画部分とハーフトーン画像部分とに領域分割し、文字／線画部分は更に段落で塊として纏まっているブロック毎に、あるいは線で構成された表、図形毎に分割する。
【００５６】
一方、ハーフトーン画像部分は、矩形に分離されたブロックの画像部分、背景部分等のブロックに分割する。
【００５７】
次に、ステップＳ３０１６で、ブロックセレクション処理の処理対象のページ画像のページ番号、そのページ中の各ブロックを特定するブロックＩＤを発行し、各ブロックの属性（画像、文字等）、サイズやオリジナル文書内の位置（ページ内の座標）と各ブロックを関連付けてデータベース１１８にブロック情報として記憶する。このブロック情報の一例を示すと、図５のようになる。
【００５８】
次に、ステップＳ３０１７で、データ処理部１１５において、各ブロックの種別に応じて、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。
【００５９】
特に、文字ブロックについては、ＯＣＲ処理を施して文字コードを抽出し、これを文字特徴量とする。また、画像ブロックについては、色に関する画像特徴量を抽出する。
【００６０】
次に、ステップＳ３０１８で、それぞれのブロックに対応する特徴量をページ単位にまとめ、文書ＩＤ、ページ番号、ブロックＩＤに関連付けてデータベース１１８に特徴量情報として記憶する。この特徴量情報の一例を示すと、図６及び図７のようになる。
【００６１】
その後、ステップＳ３０１３に戻り、次のページの処理を行なう。
【００６２】
（Ｂ）紙文書の登録処理の概要
次に、マネージメントＰＣ１０１の制御のもとに、紙文書をオリジナル文書としてＭＦＰ１００内のデータベース１１８に登録する登録処理の概要について、図３Ｂを用いて説明する。
【００６３】
図３Ｂは本発明の実施形態１の紙文書の登録処理を示すフローチャートである。
【００６４】
尚、この処理は、画像読取部１１０のＡＤＦに、登録対象の紙文書がセットされ、入力部１１３の登録ボタンが操作された時点で開始される。
【００６５】
ステップＳ３２１０で、入力部１１３から紙文書からのオリジナル文書の登録処理がオペレターから指示されると、マネージメントＰＣ１０１は、新たに文書ＩＤを発行し、データベース１１８内の紙文書の電子データの格納場所を決定し、文書ＩＤと紙文書の電子データの格納場所を示すアドレスと対応付けて、データベース１１８内のアドレス情報として登録する。
【００６６】
尚、紙文書の電子データの格納場所は、複数ページに対応するために、新たにディレクトリが作成され、アドレス情報には、このディレクトリを指し示すアドレス格納される。
【００６７】
次に、ステップＳ３２１１で、マネージメントＰＣ１０１の指示に従い、ＭＦＰ１００の画像読取部１１０を動作させ、１ページずつ、紙文書をラスタ状に走査してラスタ画像を記憶部１１１に読み込む。そして、ステップＳ３２１０で作成したディレクトリに、１ページ分のラスタ画像を順次電子ファイルとして格納する。
【００６８】
尚、電子ファイルのファイル名は、ページ番号を含むものとし、そのファイル名を参照するだけで、そのファイルのページが識別できるように構成されている。
【００６９】
また、オリジナル文書が紙文書である場合の電子データのファイル形式は、例えば、ＢＭＰ形式とするが、これに限定されるものではなく、色情報を保存しておくことが可能なファイル形式（例えば、ＧＩＦ、ＪＰＥＧ）であればどのようなものでも良い。一方、オリジナル文書が電子データである場合のその電子データのファイル形式は、その電子データを作成したアプリケーション（例えば、マイクロソフト（登録商標）社のＭＳ−Ｗｏｒｄや、アドビシステム（登録商標）のアクロバット等）で作成されたファイル形式（＊．ｄｏｃや＊．ｐｄｆ）となる。
【００７０】
次に、ステップＳ３２１２で、画像読取部１１０から全てのページの読込が終了したか否かを判定する。読込が終了した場合（ステップＳ３２１２でＹＥＳ）、処理を終了する。一方、読込が終了していない場合（ステップＳ３２１２でＮＯ）、ステップＳ３２１３に進む。
【００７１】
次に、ステップＳ３２１３で、記憶部１１１に格納されている１ページ分のラスタ画像に対して、ブロックセレクション（ＢＳ）処理を行う。この処理は、ステップＳ３０１５の処理と同様であるので詳細な説明は省略する。
【００７２】
次に、ステップＳ３２１４で、ブロックセレクション処理の処理対象のページ画像中の各ブロックに基づいて、ブロック情報を生成して、データベース１１８に記憶する。この処理は、ステップＳ３０１６の処理と同様であるので詳細な説明は省略する。
【００７３】
次に、ステップＳ３２１５で、データ処理部１１５において、各ブロックの種別に応じて、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。この処理は、ステップＳ３０１７の処理と同じ処理である。
【００７４】
次に、ステップＳ３０１６で、それぞれのブロックに対応する特徴量をページ単位にまとめ、文書ＩＤ、ページ番号、ブロックＩＤに関連付けてデータベース１１８に特徴量情報として記憶する。この処理は、ステップＳ３０１８と同じ処理である。
【００７５】
その後、ステップＳ３２１１に戻り、次のページの処理を行なう。
【００７６】
（Ｃ）検索処理の概要
紙文書から対応するオリジナルの電子ファイル、もしくは、画像データを検索し、印刷等を行う検索処理の概要について図３Ｃを用いて説明する。
【００７７】
図３Ｃは本発明の実施形態１の検索処理を示すフローチャートである。
【００７８】
まず、ステップＳ３１０５で、入力部１１３からオリジナル文書（電子ファイルもしくは画像データ）の検索がオペレータから指示されると、マネージメントＰＣ１０１の制御に従い、文書候補リストの初期化を行なう。
【００７９】
尚、文書候補リストは、検索処理によって検索されたオリジナル文書の候補を管理するリストであり、候補となるオリジナル文書の文書ＩＤと、その文書と画像読取部１１０から読み込む紙文書との各ページの類似度の合計を対応させて、記憶部１１１に格納される。ここで、文書候補リストの構成例を図８に示す。
【００８０】
そして、文書候補リストの初期化では、データベース１１８に格納されている電子文書の文書ＩＤを全て文書候補リストに格納し、その類似度合計の値に０を設定する。
【００８１】
次に、ステップＳ３１１０で、ＭＦＰ１００の画像読取部１１０を動作させ、１ページ分の紙文書をラスタ状に走査してラスタ画像を記憶部１１１に読み込む。
【００８２】
次に、ステップＳ３１２０で、画像読取部１１０から全てのページの読込が終了したか否かを判定する。読込が終了した場合（ステップＳ３１２０でＹＥＳ）、ステップＳ３１７０に進む。一方、読込が終了していない場合（ステップＳ３１２０でＮＯ）、ステップＳ３１３０に進む。
【００８３】
次に、ステップＳ３１３０で、記憶部１１１に格納されている１ページ分のラスタ画像に対して、ブロックセレクション（ＢＳ）処理を行う。この処理は、ステップＳ３０１５と同じ処理である。但し、このブロックセレクション処理によって生成する各ブロックの属性、サイズ、位置は一時保存するだけであり、その紙文書に対するブロック情報は記憶部１１１に保存しておく必要はない。
【００８４】
次に、ステップＳ３１４０で、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。この処理は、ステップＳ３０１７の処理と同様であるので説明は省略する。但し、この処理によって生成する各ブロックの特徴量は一時保存するだけであり、その紙文書に対する特徴量情報を記憶部１１１に保存しておく必要はない。
【００８５】
次に、ステップＳ３１５０で、入力した紙文書のページ画像（比較元画像）に対する特徴量情報と、文書候補リストに登録されている文書ＩＤに対応するオリジナル文書（比較先画像）の対応したページに対する特徴量情報を比較する。例えば、比較元画像が３ページ目のページ画像である場合には、比較先画像は３ページ目のオリジナル文書となる。
【００８６】
続いて、比較結果からその類似度を算出し、文書候補リストの類似度合計に累積加算する。そして、類似度合計から、１ページあたりの平均類似度を算出し、平均値が第１閾値よりも小さい電子文書は、文書候補リストから削除する。その後、第１閾値よりも大きい電子文書群からなる文書候補リストに対し、類似度合計値によって、降順にソーティングする。
【００８７】
次に、ステップＳ３１６０で、ステップＳ３１５０の比較処理の比較結果に基づいて、入力した紙文書に対するオリジナル文書（電子ファイルまたは画像データ）が特定されたか否かを判定する。
【００８８】
この判定は、文書候補リストの先頭に登録されている電子文書の類似度合計から１ページあたりの平均類似度を算出し、その平均類似度が第２閾値よりも高く、かつ文書候補リストの２番目に登録されている電子文書の平均類似度との差が、所定値以上である場合に、オリジナル文書が特定されたと判定する。
【００８９】
この判定によって、オリジナル文書が特定された場合（ステップＳ３１６０でＹＥＳ）、ステップＳ３１８０に進む。一方、オリジナル文書が特定されなかった場合（ステップＳ３１６０でＮＯ）、ステップＳ３１１０に戻り、次のページの紙文書を読み取る。
【００９０】
そして、ステップＳ３１２０で、画像読取部１１０から全てのページの紙文書の読込が終了した場合（ステップＳ３１２０でＹＥＳ）、ステップＳ３１７０に進み、文書候補リストに登録されている文書のサムネイル画像を含むユーザインタフェースを表示部１１６・入力部１１３で実現し、このユーザインタフェースによって、オリジナル文書候補の表示／選択を行う。
【００９１】
特に、この選択は、オリジナル文書候補のサムネイル画像を表示部１１６に表示し、複数のオリジナル文書候補の中からユーザが所望のオリジナル文書候補のサムネイル画像を選択させることで実現する。そして、このユーザインタフェースによって、オリジナル文書が選択されると、そのオリジナル文書の文書ＩＤを特定する。尚、このユーザインタフェースの構成の詳細については後述する。
【００９２】
ステップＳ３１８０で、特定されたオリジナル文書の文書ＩＤに対して、データベース１１８内のアドレス情報の文書ＩＤに対応したアドレスを参照して、記憶部１１１に、オリジナル文書（電子ファイルもしくは画像データ）を読み込み、オペレータの指示に基づいて、そのオリジナル文書の印刷、配信、蓄積、編集のいずれかの処理を実行する。
【００９３】
以上説明した処理は、複数ページからなる紙文書を１ページずつ読み込む毎に、そのページ文書と比較先文書との比較処理を行い、検索結果とするオリジナル文書が一意に特定できた時点で、それ以降の紙文書の読込、比較処理を終了する。これにより、処理対象となるページ文書を記憶するためのメモリ容量を増大せずに、効率的なメモリ使用を実現することが可能となる。
【００９４】
また、比較処理を行う毎に得られる比較処理結果に基づいて、比較対象とする比較先文書の絞り込みを行い、以降の比較処理では、その絞り込まれた比較先文書を比較対象として比較処理を行うので、処理負荷を軽減し、かつ精度良く検索を実行することができる。
【００９５】
［各処理の詳細］
以下、各処理の詳細について説明する。
【００９６】
まず、ステップＳ３０１５、ステップＳ３２１３及びステップＳ３１３０のブロックセレクション処理の詳細について説明する。
【００９７】
ブロックセレクション処理とは、例えば、図９（ａ）のラスタ画像を、図９（ｂ）のように、意味のあるブロック毎の塊として認識し、該ブロック各々の属性（文字（ＴＥＸＴ）／図画（ＰＩＣＴＵＲＥ）／写真（ＰＨＯＴＯ）／線（ＬＩＮＥ）／表（ＴＡＢＬＥ）等）を判定し、異なる属性を持つブロックに分割する処理である。
【００９８】
ブロックセレクション処理の実施形態を以下に説明する。
【００９９】
まず、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【０１００】
このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つブロックへ分類していく。例えば、縦横比が１に近く、大きさが一定の範囲のブロックは文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字ブロック、扁平な画素塊を線ブロック、一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表ブロック、不定形の画素塊が散在している領域を写真ブロック、それ以外の任意形状の画素塊を図画ブロックとする。
【０１０１】
次に、ステップＳ３０１７、ステップＳ３２１５及びステップＳ３１４０の特徴量情報抽出処理の詳細について説明する。
【０１０２】
尚、特徴量情報抽出処理は、画像ブロック及び文字ブロックで処理方法が異なるので、それぞれ別に説明する。
【０１０３】
ここで、画像ブロックは、図９（ｂ）の例の場合、写真ブロックと図画ブロックとするが、用途や目的に応じて、画像ブロックを写真ブロック及び図画ブロックの少なくとも一方にすることも可能である。
【０１０４】
まず、画像ブロックに対する特徴量情報抽出処理について説明する。
【０１０５】
尚、１文書に複数の画像ブロックが存在する場合は、その総数分、以下の処理を繰り返す。
【０１０６】
実施形態１では、一例として、画像の色に関する色特徴量を抽出する色特徴量情報抽出処理を行う。
【０１０７】
この色特徴量情報抽出処理の詳細について、図１０を用いて説明する。
【０１０８】
図１０は本発明の実施形態１の色特徴量情報抽出処理の詳細を示すフローチャートである。
【０１０９】
尚、この処理では、処理対象画像を複数のメッシュブロックに分割した各メッシュブロックの色ヒストグラム中の最頻色を有する色と各メッシュブロックの位置情報を対応づけた情報を色特徴情報として抽出する。
【０１１０】
まず、ステップＳ１０２０で、画像を複数のメッシュブロックに分割する。実施形態１では、図１１に示すように、画像を縦横をそれぞれ９メッシュブロックに分割する。特に、実施形態１では、表記の都合上９×９＝８１メッシュブロックに分割している例を示しているが、実際には、１５×１５＝２２５メッシュブロック程度であることが好ましい。
【０１１１】
次に、ステップＳ１０３０で、処理対象となる着目メッシュブロックを左上端のブロックに設定する。尚、この着目メッシュブロックの設定は、例えば、図１２に示すように、予め処理順序が決定された順序決定テーブルを参照して行う。実施形態１では、左上端から右へ走査し、その行を終えると次の行の左端から右へスキャンする走査例を示している。
【０１１２】
ステップＳ１０４０で、未処理の着目メッシュブロックの有無を判定する。未処理の着目メッシュブロックがない場合（ステップＳ１０４０でＮＯ）、処理を終了する。一方、未処理の着目メッシュブロックがある場合（ステップＳ１０４０でＹＥＳ）、ステップＳ１０５０に進む。
【０１１３】
ステップＳ１０５０で、着目メッシュブロックの全画素の各濃度値を、図１３の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。
【０１１４】
尚、実施形態１では、図１３に示すように、ＲＧＢ色空間を３×３×３＝２７に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影する場合を示しているが、実際には、ＲＧＢ色空間を６×６×６＝２１６に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影するほうが好ましい。
【０１１５】
ステップＳ１０６０で、色ヒストグラムの最頻色ビンの色ビンＩＤをその着目メッシュブロックの代表色と決定し、その着目メッシュブロックとその位置に対応づけて記憶部１１１に記憶する。
【０１１６】
ステップＳ１０７０で、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１０４０に戻り、未処理の着目メッシュブロックがなくなるまで、ステップＳ１０４０〜ステップＳ１０７０の処理を繰り返す。
【０１１７】
以上の処理によって、処理対象画像（画像ブロック）のメッシュブロック毎の代表色と各メッシュブロックの位置情報が対応付けられた情報を色特徴量情報として抽出することができる。
【０１１８】
次に、文字ブロックに対する特徴量情報抽出処理について説明する。
【０１１９】
尚、１文書に複数の文字ブロックが存在する場合は、その総数分、以下の処理を繰り返す。
【０１２０】
文字ブロックに対する文字特徴量情報は、その文字ブロックにＯＣＲ（文字認識）処理を施して得られる文字コードとする。
【０１２１】
ＯＣＲ（文字認識）処理は、文字ブロックから文字単位で切り出された文字画像に対し、パターンマッチングの一手法を用いて文字認識を行い、対応する文字コードを取得する。
【０１２２】
この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とするものである。
【０１２３】
特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュブロック内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。
【０１２４】
ブロックセレクション処理（ステップＳ３０１５、ステップＳ３２１３あるいはステップＳ３１３０）で抽出された文字ブロックに対して文字認識を行う場合は、まず、該当文字ブロックに対し横書き／縦書きの判定を行い、各々対応する方向に文字列を切り出し、その後、文字列から文字を切り出して文字画像を取得する。
【０１２５】
横書き／縦書きの判定は、該当文字ブロック内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判定する。文字列及び文字への分解は、横書きの文字ブロックである場合には、その水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。一方、縦書きの文字ブロックに対しては、水平と垂直を逆にすれば良い。
【０１２６】
次に、ステップＳ３１５０の比較処理の詳細について、図１４を用いて説明する。
【０１２７】
図１４は本発明の実施形態１の比較処理の詳細を示すフローチャートである。
【０１２８】
まず、ステップＳ１５１０で、比較先文書を管理する文書候補リストの先頭から文書ＩＤを順番に取得する。
【０１２９】
次に、ステップＳ１５２０で、全ての文書ＩＤを取得したか否かを判定する。全ての文書ＩＤを取得した場合（ステップＳ１５２０でＮＯ）、ステップＳ１５８０に進む。一方、全ての文書ＩＤを取得していない場合（ステップＳ１５２０でＹＥＳ）、ステップＳ１５３０に進む。
【０１３０】
次に、ステップＳ１５３０で、レイアウトの比較を行う。ここで、レイアウトとは、ブロック情報にあるブロックの属性、サイズ、位置のことである。具体的には、各ブロックの属性、サイズ、位置と、ステップＳ１５１０で取得した文書ＩＤ及び現在処理中のページ番号に対応したブロック情報中の各ブロックの属性、サイズ、位置を比較し、レイアウトが同じであるかどうかを判定する。
【０１３１】
比較元画像（紙文書）と比較先画像（オリジナル文書）のレイアウトが同じである場合（ステップＳ１５３０でＹＥＳ）、ステップＳ１５４０に進む。一方、比較元画像と比較先画像のレイアウトが同じでない場合（ステップＳ１５４０でＮＯ）、ステップＳ１５７０に進む。
【０１３２】
次に、ステップＳ１５４０で、比較元画像（紙文書）と比較先画像（オリジナル文書）のページ同士の比較を行うページ比較処理を実行する。この比較は、ブロックの属性に合わせ、文字、画像それぞれに応じた特徴量を用いて、複合的に比較を行い、類似度を算出する。この処理の詳細については後述する。
【０１３３】
次に、ステップＳ１５５０で、算出された類似度が第３閾値以上であるか否かを判定する。第３閾値未満である場合（ステップＳ１５５０でＮＯ）、ステップＳ１５７０に進む。一方、第３閾値以上である場合（ステップＳ１５５０でＹＥＳ）、ステップＳ１５５５に進む。
【０１３４】
次に、ステップＳ１５５５で、現在処理中の文書ＩＤに対応した文書候補リストの類似度合計とステップＳ１５４０で算出された類似度から１ページあたりの平均類似度を求め、平均類似度が第１閾値以上であるか否かを判定する。第１閾値未満である場合（ステップＳ１５５５でＮＯ）、ステップＳ１５７０に進む。一方、第１閾値以上である場合（ステップＳ１５５５でＹＥＳ）、ステップＳ１５６０に進む。
【０１３５】
次に、ステップＳ１５６０で、現在処理中の文書ＩＤに対応した文書候補リストの類似度合計に、ステップＳ１５４０で算出された類似度を累積加算する。その後、ステップＳ１５１０へ戻り、比較先文書となる次の文書ＩＤを文書候補リストから取得する。
【０１３６】
一方、ステップＳ１５７０で、文書候補リストから、現在処理中の文書ＩＤに対応した項目（文書ＩＤ及び類似度合計）を削除し、ステップＳ１５１０へ戻り、比較先文書となる次の文書ＩＤを文書候補リストから取得する。
【０１３７】
ステップＳ１５２０において、全ての文書ＩＤを取得した場合（ステップＳ１５２０でＮＯ）、ステップＳ１５８０に進み、文書候補リストに登録されている文書ＩＤを対応する類似度合計の値によって降順にソートし、比較処理を終了する。
【０１３８】
次に、ステップＳ１５４０のページ比較処理の詳細について、図１５を用いて説明する。
【０１３９】
図１５は本発明の実施形態１のページ比較処理の詳細を示すフローチャートである。
【０１４０】
まず、ステップＳ１６１０で、ブロック情報を参照し、処理対象となる文書ＩＤ、ページ番号に対応する電子データ中で、未比較のブロックの有無を判定する。未比較のブロックがない場合（ステップＳ１６１０でＮＯ）、ステップＳ１６７０に進む。一方、未比較のブロックがある場合（ステップＳ１６１０でＹＥＳ）、ステップＳ１６２０に進む。
【０１４１】
次に、ステップＳ１６２０で、比較対象のブロックの属性を判定する。属性が画像ブロックである場合、ステップＳ１６４０へ進む。一方、属性が文字ブロックである場合、ステップＳ１６６０へ進む。
【０１４２】
属性が画像ブロックである場合、ステップＳ１６４０で、色に関する特徴量情報で比較先ブロックとの類似比較である色特徴量情報比較処理を行う。この処理の詳細については後述する。これによって得られる類似度は、比較先の文書ＩＤ、ページ番号、ブロックＩＤに対応させて記憶部１１１に一時記憶する。
【０１４３】
一方、属性が文字ブロックである場合、ステップＳ１６６０で、文字の特徴量情報での比較元ブロックと比較先ブロックとの類似比較である文字特徴量情報比較処理を行う。この処理の詳細については後述する。また、これによって得られる類似度は、比較先の文書ＩＤ、ページ番号、ブロックＩＤに対応させて記憶部１１１に一時記憶する。
【０１４４】
次に、ステップＳ１６１０において、全てのブロックとの比較が終了した場合（ステップＳ１６１０でＮＯ）、ステップＳ１６７０に進み、ステップＳ１６４０及びステップＳ１６６０の処理によって記憶部１１１に記憶されている、比較先文書（オリジナル文書）のページに含まれる全てのブロックの類似度を統合し、検索条件である紙文書とオリジナル文書中のページとの類似度を算出する統合処理を行う。
【０１４５】
次に、ステップＳ１６４０の色特徴量情報比較処理の詳細について、図１６を用いて説明する。
【０１４６】
図１６は本発明の実施形態１の色特徴量情報比較処理の詳細を示すフローチャートである。
【０１４７】
まず、ステップＳ１７１０で、比較元画像と比較先画像の色特徴量を色特徴量情報から読み出す。
【０１４８】
次に、ステップＳ１７２０で、処理対象とする画像中の着目メッシュブロックを先頭に設定する。ステップＳ１７３０で、比較元画像の色特徴量と、比較対象の色特徴量の類似度を示す類似距離を０にリセットする。
【０１４９】
ステップＳ１７４０で、未比較の着目メッシュブロックの有無を判定する。未比較の着目メッシュブロックがない場合（ステップＳ１７４０でＮＯ）、ステップＳ１７８０に進む。一方、未比較の着目メッシュブロックがある場合（ステップＳ１７４０でＹＥＳ）、ステップＳ１７５０に進む。
【０１５０】
ステップＳ１７５０で、比較元画像と比較先画像のそれぞれの色特徴量から、それぞれの着目メッシュブロックの色ビンＩＤを取得する。
【０１５１】
ステップＳ１７６０で、図１７の色ビンペナルティマトリックスを参照して、取得した色ビンＩＤ間に対応する着目メッシュブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する。そして、この類似距離は記憶部１１１に記憶する。
【０１５２】
ここで、色ビンペナルティマトリックスについて、図１７を用いて説明する。
【０１５３】
図１７は本発明の実施形態１の色ビンペナルティマトリックスの構成を示す図である。
【０１５４】
色ビンペナルティマトリックスは、色ビンＩＤ同士の局所的類似距離を管理するマトリックスである。図１７によれば、色ビンペナルティマトリックスは、同一色ビンＩＤではその類似距離は０となり、色ビンＩＤ同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一色ビンＩＤの対角位置は全て、その類似距離は０で、それを境に対象性を持っている。
【０１５５】
このように、実施形態１では、色ビンペナルティマトリックスを参照するだけで、色ビンＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。
【０１５６】
そして、ステップＳ１７７０で、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１７４０に戻る。
【０１５７】
そして、ステップＳ１７４０で、未比較の着目メッシュブロックがない場合（ステップＳ１７４０でＮＯ）、ステップＳ１７８０に進み、記憶部１１１に記憶されている類似距離を類似度に変換し、ブロックＩＤと対にして出力する。
【０１５８】
尚、類似度への変換は、例えば、類似距離が最小値のときを類似度１００％、類似距離が最大値のときを類似度０％として、その範囲内の類似距離に対する類似度は、最小値あるいは最大値に対する差に基づいて算出するようにすれば良い。
【０１５９】
次に、ステップＳ１６６０の文字特徴量情報比較処理の詳細について説明する。
【０１６０】
この処理では、比較元画像と比較先画像中のそれぞれの文字ブロック内の各文字コード同士の比較を行い、その一致度から類似度を算出する。
【０１６１】
尚、検索条件とする紙文書とオリジナル文書との比較である場合、類似度は１００％となるのが理想的であるが、実際には、検索条件となる紙文書中の文字ブロックに対するＯＣＲ処理では誤認識が発生する場合があるので、オリジナル文書との比較であっても、類似度は１００％にならないことはあるが、かなり１００％に近い値となる。
【０１６２】
次に、ステップＳ１６７０の統合処理の詳細について説明する。
【０１６３】
この統合処理では、比較先画像であるオリジナル文書内で占めている割合の大きいブロックの類似度が、オリジナル文書全体の類似度としてより大きく反映されるような、算出されたブロック毎の類似度の統合を行う。
【０１６４】
例えば、オリジナル文書中のブロックＢ１〜Ｂ６に対し、ブロック毎の類似率がｎ１〜ｎ６と算出されたとする。このときオリジナル文書全体の総合類似率Ｎは、以下の式で表現される。
【０１６５】
Ｎ＝ｗ１＊ｎ１＋ｗ２＊ｎ２＋ｗ３＊ｎ３＋ ・・・ ＋ｗ６＊ｎ６ （１）
ここで、ｗ１〜Ｗ６は、各ブロックの類似率を評価する重み係数である。重み係数ｗ１〜ｗ６は、ブロックのオリジナル文書内占有率により算出する。例えば、ブロック１〜６のサイズをＳ１〜Ｓ６とすると、ブロック１の占有率ｗ１は、ｗ１＝Ｓ１／（Ｓ１＋Ｓ２＋・・・＋Ｓ６） （２）
として算出することができる。
【０１６６】
このような占有率を用いた重み付け処理により、オリジナル文書内で大きな領域を占めるブロックの類似度がより、オリジナル文書全体の類似度に反映することができる。
【０１６７】
次に、ステップＳ３１７０の候補表示／選択処理時のユーザインタフェースの一例について、図１８を用いて説明する。
【０１６８】
図１８は本発明の実施形態１のユーザインタフェースの一例を示す図である。
【０１６９】
１９１７は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。
【０１７０】
１９１９〜１９２８は、検索結果として出力するオリジナル文書（電子ファイルもしくは画像データ）候補の所定ページのサムネイル画像群である。このサムネイル画像の表示は、１９１９から番号順に類似度の高い順で表示されている。
【０１７１】
この例では、最大１０のサムネイル画像が表示され、オリジナル文書候補が１０以上である場合には、上位１０までのサムネイル画像が表示される。そして、このサムネイル画像群１９１９〜１９２８から、所望するサムネイル画像を選択することで、所望のオリジナル文書を選択することが可能であり、その選択したオリジナル文書に対する各種処理を実行することが可能となる。
【０１７２】
１９２９は文書中の何ページ目の候補が表示されているかを示すものである。また、これを選択することで、他のページの候補を切り替えて表示させることができる。
【０１７３】
以上説明したように、実施形態１によれば、複数ページからなる紙文書から対応するオリジナル文書を検索する場合には、その紙文書を１ページずつ読み込んでページ単位の比較処理を行って、オリジナル文書を検索する。これにより、処理に必要とするメモリ容量を小さくすることができ、コストの低減を図ることができる。
【０１７４】
また、１ページ単位で比較処理を行い、検索結果を一意に特定できた時点で、以降の未処理のページの比較処理を実行することなく、処理を終了するので、検索条件となる複数ページの紙文書のすべてのページに対する比較処理を行う必要が無くなり、オリジナル文書の検索の精度を落とすことなく、処理速度を向上することができる。
【０１７５】
また、複数ページの紙文書の先頭から各ページの比較処理を行う毎に、その比較処理結果に基づいて、検索対象となる比較先文書をより検索条件に合致すると想定される比較先文書に絞り込むことにより、処理速度を向上しながら、検索精度を向上することができる。
【０１７６】
＜＜実施形態２＞＞
実施形態１では、１枚の紙文書に１ページ分の文書が構成されている、複数ページからなる紙文書（比較元文書）をページ単位で比較処理を行う構成としているが、実施形態２では、１枚の紙文書に複数ページ分の文書が構成されている紙文書（比較元文書）から、その文書内のページ画像を取得して、そのページ画像単位で比較処理を行う構成について説明する。
【０１７７】
以下、実施形態２の検索処理について、図１９を用いて説明する。
【０１７８】
図１９は本発明の実施形態２の検索処理を示すフローチャートである。
【０１７９】
尚、図１９において、実施形態１の図３Ｃの検索処理と同一の処理ステップには、同一のステップ番号を付加し、その詳細については省略する。
【０１８０】
ステップＳ３１０５の文書候補リストの初期化後、ステップＳ２０１５で、ＭＦＰ１００の画像読取部１１０を動作させ、１ページ分の紙文書をラスタ状に走査してラスタ画像を記憶部１１１に読み込む。
【０１８１】
次に、ステップＳ２０２０で、ステップＳ２０１５で読み込んだラスタ画像を含むユーザインタフェースを表示部１１６に表示し、オペレータからのユーザインタフェースを介する、ラスタ画像内のページ画像領域のレイアウト（ラスタ画像に含まれるオリジナル文書のページ数、ページの配置及び並び順）の指定を受け付ける。この指定は、例えば、１枚の紙文書に２ページ分、４ページ分等の複数ページ分の文書がレイアウトされている紙文書を検索条件とすることを想定している。
【０１８２】
次に、ステップＳ２０２５で、ステップＳ２０２０で指定されたラスタ画像内のページ画像領域のレイアウトに従って、ラスタ画像内のページ画像領域の各ページ画像を一つずつ取得する。
【０１８３】
ステップＳ２０３０で、ラスタ画像内の全てのページ画像の取得が終了したか否かを判定する。取得が終了した場合（ステップＳ２０３０でＹＥＳ）、ステップＳ３１７０に進む。一方、取得が終了していない場合（ステップＳ２０３０でＮＯ）、ステップＳ２０３５に進む。
【０１８４】
ステップＳ２０３５で、取得したラスタ画像内のページ画像に対して、ブロックセレクション（ＢＳ）処理を行なう。尚、ブロックセレクション処理自体は、実施形態１の図３ＣのステップＳ３１３０と同じ処理内容であるが、実施形態１のステップＳ３１３０がラスタ画像全体に対してブロックセレクション処理を行うのに対し、実施形態２のステップＳ２０３５では、ラスタ画像内のページ画像に対してブロックセレクション処理を行なう点が異なる。
【０１８５】
そのため、実施形態２では、ブロックセレクション処理によって得られるブロック情報の位置は、そのページ画像の位置がラスタ画像全体の位置に対する位置となるように補正を加える。
【０１８６】
そして、以降、ブロックセレクション処理によって得られるブロック情報に基づいて、実施形態１と同様に、特徴量情報抽出処理、比較処理を行って、比較元画像に対応するオリジナル文書を特定する。
【０１８７】
次に、ステップＳ２０２０の画像内ページ数指定時のユーザインタフェースの一例について、図２０を用いて説明する。
【０１８８】
図２０は本発明の実施形態２のユーザインタフェースの一例を示す図である。
【０１８９】
尚、画像内ページ数指定とは、ラスタ画像内に含まれるページ画像領域のレイアウト（オリジナル文書のページ数とページの配置と並び順）をオペレータが指定するものである。
【０１９０】
１４１１は表示・操作パネルである。１４１２〜１４１５は各種機能ボタンであり、それぞれの機能ボタン１４１２〜１４１５は、処理対象の画像の印刷指示、配信指示、蓄積指示及び編集指示を行うためのものである。
【０１９１】
１４１６はスタートボタンであり、押下することで、機能ボタンで選択した機能を実行させることができる。１４２５はテンキーであり、印刷時の枚数の指定や、１枚の紙に含まれるページ（ページ画像領域）数（レイアウト）の指定を行うことが可能である。
【０１９２】
１４１７は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。１４１８は紙文書確認用領域であり、画像読取部１１０で読み取った紙文書画像を、領域内に収まるサイズに縮小して表示する。ユーザは紙文書画像の状態を、この領域１４１８で確認することが可能となる。
【０１９３】
１４１９は入力原稿の種類を確認する領域であり、読み取った紙文書のページレイアウト（１枚に含まれる元のオリジナル文書のページの配置）を確認することができる。
【０１９４】
この領域１４１９内において、１４２０は読み取った紙文書１枚に含まれるページ数を指定する指定領域である。特に、指定がない場合は、指定領域１４２０には、１が設定される。１４２４は１枚の紙文書中でのオリジナル文書のページの配置（位置と順番）を指定する指定領域である。特に、順番は、指定領域１４２４中で数字で表示される。また、ページの位置の変更は、指定領域１４２４の該当するページ領域を触れることで変更できるが、指定領域１４２０で指定されたページ数の配置の組み合わせの中で変更することもできる。
【０１９５】
尚、図２０の例では、領域１４１８に示されるように、紙文書１枚あたりに４ページの文書が配置された紙文書が読み込まれた状態であり、かつページのレイアウトの指定で、ページ数は４ページで、左から右、上から下の順番にページが配置されていることを指定した状態を示している。
【０１９６】
このようなユーザインタフェースを構成することで、読み取った紙文書中のページレイアウトを指定することができる。
【０１９７】
以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、１枚の紙文書に複数ページの文書が構成されている場合にも、効率良くオリジナル文書の検索を実行することができる。
【０１９８】
尚、図１０の色特徴量情報抽出処理では、処理対象画像の最頻色を色特徴情報として抽出する例を説明したが、これに限定されるものではなく、例えば、平均色を色特徴情報として抽出するようにしても良い。
【０１９９】
また、画像特徴量として色特徴量を用いたが、これに限定されるものではなく、例えば、最頻輝度、平均輝度等の輝度特徴量、共起行列、コントラスト、エントロピ、Ｇａｂｏｒ変換等で表現されるテクスチャ特徴量、エッジ、フーリエ記述子等の形状特徴量等の複数種類の画像特徴量を１つ、或いは、任意に組み合わせた画像特徴量を用いても良い。
【０２００】
また、ブロックセレクション処理を行い、処理対象の文書を文字ブロックと画像ブロックに分割し、これらの各ブロックの特徴量を複合的に用いて検索を行ったが、文書全体を１つの画像とみなし、オリジナル文書の検索を行うようにしても構わない。また、精度が許容される範囲ならば、文書中の画像ブロックのみを利用して、オリジナル文書の検索を行うようにしても構わない。
【０２０１】
また、電子文書を、一旦、ラスタ画像に変換したが、電子文書から直接、文字コードや画像を抜き出して比較してももちろん構わない。
【０２０２】
また、文字特徴量としては文字コードを採用したが、例えば、単語辞書とのマッチングを予め行って単語の品詞を抽出しておき、名詞である単語を文字特徴量としても良い。
【０２０３】
また、図３Ｃあるいは図２０のステップ３１５０の比較処理では、画像もしくは文字の特徴量を用いて比較処理を実行していたが、画像データ同士を直接比較する構成として良い。
【０２０４】
実施形態１や２では、画像読取部１１０（スキャナ）と印刷部１１２（プリンタ）が一体に構成されているＭＦＰ１００を例に挙げて説明したが、画像読取部１１０と印刷部１１２をそれぞれ個別の機器として、ＬＡＮ１０７、もしくはクライアントＰＣ１０２等に接続して構成するようにしても良い。この場合、ＭＦＰ１００のそれ以外の構成要素は、マネージメントＰＣ１０１に含まれることになり、画像読取部１１０（スキャナ）と印刷部１１２（プリンタ）との接続は、ネットワークＩ／Ｆ１１４を介して、ＬＡＮ１０７経由で接続されることになる。
【０２０５】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０２０６】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０２０７】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０２０８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０２０９】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０２１０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０２１１】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０２１２】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０２１３】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【０２１４】
【発明の効果】
以上説明したように、本発明によれば、印刷物からオリジナルの電子文書を検索する場合に、その印刷物が複数のページから構成される文書であっても、処理に必要とするメモリ容量を増加させずに、オリジナルの電子文書を精度良く検索することができる画像処理装置及びその制御方法、プログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態１の画像処理システムの構成を示すブロック図である。
【図２】本発明の実施形態１のＭＦＰの詳細構成を示すブロック図である。
【図３Ａ】本発明の実施形態１の電子文書の登録処理を示すフローチャートである。
【図３Ｂ】本発明の実施形態１の紙文書の登録処理を示すフローチャートである。
【図３Ｃ】本発明の実施形態１の検索処理を示すフローチャートである。
【図４】本発明の実施形態１のアドレス情報の一例を示す図である。
【図５】本発明の実施形態１のブロック情報の一例を示す図である。
【図６】本発明の実施形態１の特徴量情報の一例を示す図である。
【図７】本発明の実施形態１の特徴量情報の一例を示す図である。
【図８】本発明の実施形態１の文書候補リストの例を示す図である。
【図９】本発明の実施形態１の画像ブロック抽出の一例を示す図である。
【図１０】本発明の実施形態１の色特徴量情報抽出処理の詳細を示すフローチャートである。
【図１１】本発明の実施形態１の画像メッシュブロック分割の一例を示す図である。
【図１２】本発明の実施形態１の順序決定テーブルの一例を示す図である。
【図１３】本発明の実施形態１の色空間上の色ビンの構成の一例を示す図である。
【図１４】本発明の実施形態１の比較処理の詳細を示すフローチャートである。
【図１５】本発明の実施形態１のページ比較処理の詳細を示すフローチャートである。
【図１６】本発明の実施形態１の色特徴量情報比較処理の詳細を示すフローチャートである。
【図１７】本発明の実施形態１の色ビンペナルティマトリックスの構成の一例を示す図である。
【図１８】本発明の実施形態１のユーザインタフェースの一例を示す図である。
【図１９】本発明の実施形態２の検索処理を示すフローチャートである。
【図２０】本発明の実施形態２のユーザインタフェースの一例を示す図である。
【符号の説明】
１００ ＭＦＰ
１０１ マネージメントＰＣ
１０２ クライアントＰＣ
１０３ プロキシサーバ
１０４ ネットワーク
１０５ データベース
１０６ 文書管理サーバ
１０７ ＬＡＮ
１１０ 画像読取部
１１１ 記憶部
１１２ 印刷部
１１３ 入力部
１１４、１１７ ネットワークＩ／Ｆ
１１５ データ処理部
１１６ 表示部
１１８ データベース
Claims (9)
- 複数の画像データを記憶する記憶手段と、
複数ページからなる印刷物をページ単位で電子的に読み取る読取手段と、
前記印刷物の電子データに対応する画像データを前記記憶手段から検索する検索手段と、
前記検索手段による検索結果に基づいて、前記印刷物の次ページの印刷物を前記読取手段で読み取り、その次ページの印刷物の電子データに対応する画像データを前記検索結果から前記検索手段によって検索する制御手段と
を備えることを特徴とする画像処理装置。 - 前記制御手段は、前記検索手段による検索結果として、前記印刷物の電子データに対応する画像データが一意に特定された場合、該印刷物の次ページ以降の印刷物の前記読取手段による読取を終了する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記検索手段は、前記読取手段で読み取った印刷物の電子データと比較する候補画像データ群を管理する候補リストに従って、候補画像データ群を前記記憶手段より取得する取得手段と、
前記取得手段で取得した候補画像データ群と前記印刷物の電子データを比較する比較手段とを備え、
前記比較手段の比較結果に基づいて、前記印刷物の電子データに対応する画像データを前記候補画像データ群から検索する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記制御手段は、前記検索手段による検索結果に基づいて、前記候補リストの内容を更新し、前記印刷物の次ページの印刷物を前記読取手段で読み取り、その次ページの印刷物の電子データに対応する画像データを前記更新された候補リストから前記検索手段によって検索する
ことを特徴とする請求項３に記載の画像処理装置。 - 前記印刷物の電子データに含まれるページ画像のページ数を指定する指定手段を更に備え、
前記比較手段は、前記指定手段で指定されたページ数に基づいて決定される処理対象領域の部分電子データと、前記取得手段で取得した候補画像データ群と比較する
ことを特徴とする請求項３に記載の画像処理装置。 - 前記比較手段は、前記印刷物の電子データの特徴量を抽出する抽出手段を備え、
前記抽出手段で抽出した特徴量を用いて、前記印刷物の電子データと、前記取得手段で取得した候補画像データ群と比較する
ことを特徴とする請求項３に記載の画像処理装置。 - 前記抽出手段は、前記印刷物の電子データの画像特徴量及び文字特徴量のいずれかまたは両方を抽出する
ことを特徴とする請求項６に記載の画像処理装置。 - 複数ページからなる印刷物をページ単位で電子的に読み取る読取工程と、
前記印刷物の電子データに対応する画像データを記憶媒体に記憶されている複数の画像データから検索する検索工程と、
前記検索工程による検索結果に基づいて、前記印刷物の次ページの印刷物を前記読取工程で読み取り、その次ページの印刷物の電子データに対応する画像データを前記検索結果から前記検索手段によって検索する制御工程と
を備えることを特徴とする画像処理装置の制御方法。 - 複数ページからなる印刷物をページ単位で電子的に読み取る読取工程のプログラムコードと、
前記印刷物の電子データに対応する画像データを記憶媒体に記憶されている複数の画像データから検索する検索工程のプログラムコードと、
前記検索工程による検索結果に基づいて、前記印刷物の次ページの印刷物を前記読取工程で読み取り、その次ページの印刷物の電子データに対応する画像データを前記検索結果から前記検索手段によって検索する制御工程のプログラムコードと
を備えることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003143493A JP4047222B2 (ja) | 2003-05-21 | 2003-05-21 | 画像処理装置及びその制御方法、プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003143493A JP4047222B2 (ja) | 2003-05-21 | 2003-05-21 | 画像処理装置及びその制御方法、プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004349940A true JP2004349940A (ja) | 2004-12-09 |
| JP2004349940A5 JP2004349940A5 (ja) | 2006-02-09 |
| JP4047222B2 JP4047222B2 (ja) | 2008-02-13 |
Family
ID=33531271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003143493A Expired - Fee Related JP4047222B2 (ja) | 2003-05-21 | 2003-05-21 | 画像処理装置及びその制御方法、プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4047222B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007081588A (ja) * | 2005-09-12 | 2007-03-29 | Canon Inc | 画像処理装置及びその制御方法、プログラム |
| JP2008152631A (ja) * | 2006-12-19 | 2008-07-03 | Canon Inc | 画像形成装置、画像形成装置の制御方法、画像形成装置を管理する管理装置、及び画像形成装置を管理する管理装置の制御方法 |
| JP2013050878A (ja) * | 2011-08-31 | 2013-03-14 | Canon Inc | 文書管理システム、文書管理方法、プログラム |
| US20220121843A1 (en) * | 2020-10-16 | 2022-04-21 | Samsung Sds Co., Ltd. | Apparatus and method for document recognition |
-
2003
- 2003-05-21 JP JP2003143493A patent/JP4047222B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007081588A (ja) * | 2005-09-12 | 2007-03-29 | Canon Inc | 画像処理装置及びその制御方法、プログラム |
| JP4717565B2 (ja) * | 2005-09-12 | 2011-07-06 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム |
| JP2008152631A (ja) * | 2006-12-19 | 2008-07-03 | Canon Inc | 画像形成装置、画像形成装置の制御方法、画像形成装置を管理する管理装置、及び画像形成装置を管理する管理装置の制御方法 |
| JP2013050878A (ja) * | 2011-08-31 | 2013-03-14 | Canon Inc | 文書管理システム、文書管理方法、プログラム |
| US20220121843A1 (en) * | 2020-10-16 | 2022-04-21 | Samsung Sds Co., Ltd. | Apparatus and method for document recognition |
| US11615636B2 (en) * | 2020-10-16 | 2023-03-28 | Samsung Sds Co., Ltd. | Apparatus and method for document recognition |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4047222B2 (ja) | 2008-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4371965B2 (ja) | 画像処理装置、画像処理方法 | |
| JP4405831B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
| JP4266695B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4920928B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
| US8326090B2 (en) | Search apparatus and search method | |
| JP4181892B2 (ja) | 画像処理方法 | |
| JP4533273B2 (ja) | 画像処理装置及び画像処理方法、プログラム | |
| JP2009223509A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
| US8144988B2 (en) | Document-image-data providing system, document-image-data providing device, information processing device, document-image-data providing method, information processing method, document-image-data providing program, and information processing program | |
| US8818110B2 (en) | Image processing apparatus that groups object images based on object attribute, and method for controlling the same | |
| JP2009032186A (ja) | 画像処理装置、その制御方法、ならびにそのプログラムおよび記憶媒体 | |
| US8219594B2 (en) | Image processing apparatus, image processing method and storage medium that stores program thereof | |
| JP2004334337A (ja) | 画像処理装置 | |
| JP2006333248A (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
| US8194982B2 (en) | Document-image-data providing system, document-image-data providing device, information processing device, document-image-data providing method, information processing method, document-image-data providing program, and information processing program | |
| JP4047222B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
| JP2004348467A (ja) | 画像検索装置及びその制御方法、プログラム | |
| JP5298997B2 (ja) | 文書画像編集装置、文書画像編集方法、文書画像編集プログラム、及びその方法をコンピュータに実行させるプログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
| JP2005149323A (ja) | 画像処理システム及び画像処理装置並びに画像処理方法 | |
| JP2006023946A (ja) | 画像処理装置及びその制御方法、プログラム | |
| JP2005352783A (ja) | 画像処理システム、方法、プログラム及び記憶媒体 | |
| JP5652509B2 (ja) | 編集装置、編集方法、及びプログラム | |
| JP2008107901A (ja) | 画像処理装置及びその制御方法、プログラム | |
| JP5420032B2 (ja) | 情報処理装置、情報処理方法、情報処理システム、コンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051215 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070723 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070813 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071012 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071121 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4047222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131130 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |