JP2005136729A - 画像処理装置、画像処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】 イメージ画像として記録された原稿の検出及び再利用を容易に且つ確実に行うことができるようにする。
【解決手段】 ベクトル化されたイメージ画像において、背景画像がある場合には、背景画像の電子ファイルを検索し、候補となる背景画像をサムネイル画像として表示し、操作者に選択を促す。候補の中から該当する背景画像が選択された場合には、その背景画像の電子ファイルとベクトル化を行って得た背景画像とを差し換える。これによって、くり抜かれた背景画像ではなく、適切な背景画像を得ることができ、背景画像の二次使用も可能になる。
【選択図】 図２４

Description

本発明は、画像処理装置、画像処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体に関し、特に、イメージ画像を記録するために用いるのに好適なものである。

近年、環境問題が叫ばれる中、オフィスでのペーパーレス化が急速に進んでいる。
このような背景の下、バインダー等で蓄積された紙文書をスキャナーで読み取り、ポータブルドキュメントフォーマット（以降、ＰＤＦと記す）に変換して、画像記憶装置にデータベースとして蓄積し、文書管理システムを構築することができるようにする第１の技術があった。

また、機能が拡張されたデジタル複合機（以降、ＭＦＰ（Multi Function Printer）と記す）では、画像記憶装置内の格納場所を示すポインター情報を、紙文書の表紙或いは記載情報中に付加情報として記録しておき、前記ポインター情報が記録された紙文書（オリジナルの電子ファイル）を、前記画像記憶装置内の格納場所に格納し、格納した紙文書を複写等して再利用する際に、このポインター情報から前記オリジナルの電子ファイルの格納場所を検出し、検出した格納場所に格納されているオリジナルの電子ファイルの元情報を、編集や再印刷に直接用いることができるようにして、紙文書全体の保存を削減することができるようにする第２の技術があった（例えば、特許文献１、２を参照）。

特開平１０−１４３４１４号公報 特開平１１−８８６５９号公報

しかしながら、前記第１の技術では、コンパクトな情報量のＰＤＦファイルとして紙文書の保存が可能であるが、ファイル自体がイメージ情報であるので、紙文書の一部のオブジェクトを再利用することはできない。従って、紙文書を再利用する場合、前記紙文書に記載されている図や表等を、新たにアプリケーションソフトを用いて再度作成しなければならないという問題点があった。

また、前記第２の技術では、出力された紙文書に対応するオリジナルの電子ファイルに直接アクセスすることができるため、紙文書を再利用することができる。しかしながら、何らかの理由でオリジナルの電子ファイルの格納場所を検出できなかった場合、前記オリジナルの電子ファイルを入手することができなくなってしまうという問題点があった。また、紙文書の背景画像の上に文字や細線、或いは図形などが重なって描かれている場合には、前記背景画像のみを抽出することができず、前記背景画像を有効に再利用することができないという問題点もあった。

本発明は、前述の問題点に鑑みてなされたものであり、記録した原稿の検出及び再利用を容易に且つ確実に行うことができるようにすることを目的とする。

本発明の画像処理装置は、イメージ画像を構成するオブジェクトをベクトル化するベクトル化手段と、前記ベクトル化手段によってベクトル化されたオブジェクトに含まれる背景オブジェクトと類似する電子データを検索する検索手段と、前記検索手段によって検索された前記電子データを、前記背景オブジェクトと差し換える差し換え手段とを有することを特徴とする。
また、本発明の他の特徴とするところは、イメージ画像を構成するオブジェクトをベクトル化するベクトル化手段と、前記ベクトル化手段によってベクトル化されたオブジェクトに含まれる背景オブジェクトに対応するオリジナルの電子データの所在を示すポインター情報を、前記イメージ画像から抽出する抽出手段と、前記抽出手段によって抽出されたポインター情報に基づいて得られる前記オリジナルの電子データを、前記背景オブジェクトと差し換える差し換え手段とを有することである。
また、本発明のその他の特徴とするところは、イメージ画像から、前記イメージ画像に対応する電子データの所在を示すポインター情報を抽出するポインター抽出手段と、前記ポインター抽出手段により抽出されたポインター情報に基づいて、前記イメージ画像に対応する電子データを検索する検索手段と、前記検索手段により検索された電子データと、前記イメージ画像との差分情報を抽出する差分情報抽出手段と、前記差分情報抽出手段により抽出された差分情報をベクトル化するベクトル化手段と、前記ベクトル化手段によりベクトル化された差分情報を、前記検索手段により検索された電子データに合成する合成手段とを有することである。

本発明の画像処理方法は、イメージ画像を構成するオブジェクトをベクトル化するベクトル化ステップと、前記ベクトル化ステップによってベクトル化されたオブジェクトに含まれる背景オブジェクトと類似する電子データを検索する検索ステップと、前記検索ステップによって検索された前記電子データを、前記背景オブジェクトと差し換える差し換えステップとを有することを特徴とする。
また、本発明の他の特徴とするところは、イメージ画像を構成するオブジェクトをベクトル化するベクトル化ステップと、前記ベクトル化ステップによってベクトル化されたオブジェクトに含まれる背景オブジェクトに対応するオリジナルの電子データの所在を示すポインター情報を、前記イメージ画像から抽出する抽出ステップと、前記抽出ステップによって抽出されたポインター情報に基づいて得られる前記オリジナルの電子データを、前記背景オブジェクトと差し換える差し換えステップとを有することである。
また、本発明のその他の特徴とするところは、イメージ画像から、前記イメージ画像に対応する電子データの所在を示すポインター情報を抽出するポインター抽出ステップと、前記ポインター抽出ステップにより抽出されたポインター情報に基づいて、前記イメージ画像に対応する電子データを検索する検索ステップと、前記検索ステップにより検索された電子データと、前記イメージ画像との差分情報を抽出する差分情報抽出ステップと、前記差分情報抽出ステップにより抽出された差分情報をベクトル化するベクトル化ステップと、前記ベクトル化ステップによりベクトル化された差分情報を、前記検索ステップにより検索された電子データに合成する合成ステップとを有することである。

本発明のコンピュータプログラムは、イメージ画像を構成するオブジェクトをベクトル化するベクトル化ステップと、前記ベクトル化ステップによってベクトル化されたオブジェクトに含まれる背景オブジェクトと類似する電子データを検索する検索ステップと、前記検索ステップによって検索された前記電子データを、前記背景オブジェクトと差し換える差し換えステップとをコンピュータに実行させることを特徴とする。
また、本発明の他の特徴とするところは、イメージ画像を構成するオブジェクトをベクトル化するベクトル化ステップと、前記ベクトル化ステップによってベクトル化されたオブジェクトに含まれる背景オブジェクトに対応するオリジナルの電子データの所在を示すポインター情報を、前記イメージ画像から抽出する抽出ステップと、前記抽出ステップによって抽出されたポインター情報に基づいて得られる前記オリジナルの電子データを、前記背景オブジェクトと差し換える差し換えステップとをコンピュータに実行させることである。
また、本発明のその他の特徴とするところは、イメージ画像から、前記イメージ画像に対応する電子データの所在を示すポインター情報を抽出するポインター抽出ステップと、前記ポインター抽出ステップにより抽出されたポインター情報に基づいて、前記イメージ画像に対応する電子データを検索する検索ステップと、前記検索ステップにより検索された電子データと、前記イメージ画像との差分情報を抽出する差分情報抽出ステップと、前記差分情報抽出ステップにより抽出された差分情報をベクトル化するベクトル化ステップと、前記ベクトル化ステップによりベクトル化された差分情報を、前記検索ステップにより検索された電子データに合成する合成ステップとをコンピュータに実行させることである。

本発明によれば、イメージ画像中の背景オブジェクトをベクトル化し、ベクトル化した背景オブジェクトに類似又は対応する電子データを検索し、検索した電子データを前記ベクトル化した背景オブジェクトと差し替えるようにしたので、背景画像の上に文字や細線、或いは図形などが重なって描かれている原稿をベクトル化しても、前記背景オブジェクトと、その他のオブジェクトとを確実に分離することが可能になる。これにより、背景画像の再利用が可能になり、記録したイメージ画像の検出及び再利用を容易に且つ確実に行うことができる。

（第１の実施の形態)
次に、図面を参照しながら、本発明の第１の実施の形態について説明する。
図１は、本実施の形態における画像処理システムの構成の一例を示すブロック図である。
この画像処理システムは、オフィス１０とオフィス２０とがインターネット１０４を介して相互に接続された環境で実現される。オフィス１０内に構築されたＬＡＮ１０７には、ＭＦＰ１００と、ＭＦＰ１００を制御するマネージメントＰＣ１０１と、クライアントＰＣ（外部記憶手段）１０２と、文書管理サーバ１０６ａと、そのデータベース１０５ａと、プロキシサーバ（proxy server）１０３ａとが接続されている。また、オフィス２０内に構築されたＬＡＮ１０８には、文書管理サーバ１０６ｂと、そのデータベース１０５ｂと、プロキシサーバ１０３ｂとが接続されている。

オフィス１０内のＬＡＮ１０７及びオフィス２０内のＬＡＮ１０８は、プロキシサーバ１０３ａ、１０３ｂを介してインターネット１０４に接続される。本実施形態のＭＦＰ１００は、紙文書を読み取る画像読み取り部と、前記画像読み取り部で読み取った画像信号に対して画像処理を行う画像処理部の一部を担当する。そして、ＭＦＰ１００で生成された画像信号は、ＬＡＮ１０９を用いてマネージメントＰＣ１０１に入力される。マネージメントＰＣ１０１は、通常のパーソナルコンピュータ（ＰＣ）であり、内部に画像記憶手段、画像処理手段、表示手段、及び入力手段を有するが、その一部がＭＦＰ１００に一体化して構成されている。

図２は、ＭＦＰ１００の構成の一例を示すブロック図である。
図２において、オートドキュメントフィーダー（以降ＡＤＦと記す）を含む画像読み取り部１１０は、束状の原稿画像、或いは１枚の原稿画像を図示しない光源で照射し、原稿反射像を、レンズを用いて固体撮像素子上に結像する。そして、固体撮像素子からラスター状の画像読み取り信号を６００ＤＰＩの密度のイメージ情報として得る。通常の複写機能は、この画像読み取り信号をデータ処理部１１５で画像処理して記録信号を生成する。そして、生成した記録信号を記録装置１１２に出力し、紙上に画像を形成する。なお、複数ページ毎に複写する場合には、記憶装置１１１に１ページ分の記録データを一旦記憶保持した後、記録装置１１２に順次出力して紙上に画像を形成する。

一方、クライアントＰＣ１０２から出力されるプリントデータは、ＬＡＮ１０７からネットワークＩＦ１１４を経てデータ処理装置１１５に入力される。入力されたプリントデータは、データ処理装置１１５で記録可能なラスターデータに変換された後、前記記録装置１１２で紙上に記録画像として形成される。
ＭＦＰ１００に対する操作者の指示は、ＭＦＰ１００に装備されたキー操作部と、マネージメントＰＣ１０１に入力されるキーボード及びマウス等からなる入力装置１１３とから行われる。これら一連の動作は、データ処理装置１１５内の図示しない制御部で制御される。
一方、操作入力の状態表示及び処理中の画像データの表示は、表示装置１１６で行われる。なお、記憶装置１１１は、マネージメントＰＣ１０１からも制御され、これらＭＦＰ１００とマネージメントＰＣ１０１とのデータの授受及び制御は、ネットワークＩＦ１１７及び直結したＬＡＮ１０９を用いて行われる。

［処理概要］
次に、図３のフローチャートを参照しながら、本実施の形態による画像処理全体の概要を説明する。
図３において、まず、ＭＦＰ１００の画像読み取り部１１０を動作させて１枚の原稿をラスター状に走査し、６００ＤＰＩ−８ビットの画像信号を得る（ステップＳ１２０のイメージ情報入力処理）。そして、前記画像信号をデータ処理部１１５で前処理し、前処理した画像信号を、記憶装置１１１に１ページ分の画像データとして保存する。なお、本実施の形態では、イメージ画像（画像読み取り部１１０によって原稿を読み取ることで得られた画像データ）の生成をＭＦＰに備えた機能を利用して行っているが、本発明はこの構成に限られたものではなく、他の何らかの読み取り装置で読み取られたイメージ画像データを本発明の画像処理機能を有する装置に受け渡す構成であっても、本発明の効果を得ることができる。

マネージメントＰＣ１０１に配設されているＣＰＵは、前記保存された画像信号に基づいて、文字部分及び線画部分と、ハーフトーンの画像部分とに領域を分離する。そして、文字部分については、更に段落で塊として纏まっているブロック毎に、或いは、線で構成された表、図形に分離し、各々セグメント化する。
一方、ハーフトーンで表現される画像部分は、矩形に分離されたブロックの画像部分や、背景部分等、所謂ブロック毎に独立したオブジェクトに分割する（ステップＳ１２１のブロックセレクション処理）。

このとき、原稿画像中に付加情報として記録されたＵＲＬに該当するオブジェクトを検出し、ＯＣＲ（Optical Character Reader）でＵＲＬを文字認識し（ステップＳ１２２のOCR/OMR処理）、原稿のオリジナル電子ファイルが格納されている記憶装置内のポインター情報を検出する（ステップＳ１２３のポインター情報検出処理）。
一方、原稿画像中に付加情報として２次元バーコードが記録されているのなら、ＯＣＲやＯＭＲ（Optical Mark Reader）などでマークを解読して（ステップＳ１２２のＯＣＲ／ＯＭＲ処理）、原稿のオリジナル電子ファイルが格納されている記憶装置内のポインター情報を検出する（ステップＳ１２３のポインター情報検出処理）。
なお、ポインター情報を付加する手段としては、文字と文字の間隔に情報を埋め込む方法や、ハーフトーンの画像に埋め込む方法等、直接可視化されない所謂電子透かしによる方法が有る。また、ポインター情報とは、オリジナルの電子ファイルや、その格納場所を指し示すものであり、本発明の目的を達成可能なものであればいかなる構成を採用してもよい。

そして、ポインター情報が検出された場合（ステップＳ１２４でＹＥＳと判定された場合）には、ステップＳ１２５に進み、ポインターで示されたアドレスからオリジナル電子ファイルを検索する。
オリジナル電子ファイルは、図１においてクライアントＰＣ１０２に配設されているハードディスク内、或いはオフィス１０、２０のＬＡＮ１０７、１０８に接続された文書管理サーバ１０５ａ、１０５ｂに配設されたデータベース１０５ａ、１０５ｂ内、或いはＭＦＰ１００自体に配設されている記憶装置１１１のいずれかに格納されている。したがって、ステップＳ１２３で得られたポインター情報（アドレス情報）に従って、これらの記憶装置内を検索する。

そして、ステップＳ１２５でオリジナル電子ファイルが見つからなかった場合、或いは見つかったがＰＤＦあるいはtiffに代表される所謂イメージファイルであった場合、或いはポインター情報自体が存在しなかった場合（ステップＳ１２５でＮＯと判定された場合）には、ステップＳ１２６に進む。一方、ステップＳ１２５でオリジナル電子ファイルが見つかった場合（ステップＳ１２５でＹＥＳと判定された場合）には、ステップＳ１２９に進み、オリジナル電子ファイルが格納されているアドレスをユーザに通知する。

ステップＳ１２６は、ファイル検索処理（所謂文書検索処理ルーチン）である。
まず、ステップＳ１２２で各文字ブロックに対して行ったＯＣＲの結果から、単語を抽出して全文検索を行う。或いは各オブジェクトの配列と各オブジェクトの属性から所謂レイアウト検索を行う。
以上のような検索の結果、類似度の高い電子ファイルが見つかった場合、サムネイル等を表示し、複数の中から操作者の選択が必要なら操作者の入力操作によってファイルの特定を行う（ステップＳ１２７の候補表示／選択処理）。なお、候補が１ファイルの場合には、このステップＳ１２７をバイパスして自動的にステップＳ１２８、ステップＳ１２９に進み、候補となる電子ファイルが格納されているアドレスをユーザに通知する（ステップＳ１２９の格納アドレス抽出処理）。
ステップＳ１２６のファイル検索処理で電子ファイルが見つからなかった場合、或いは見つかったがＰＤＦあるいはtiffに代表される所謂イメージファイルであった場合には、ステップＳ１３２に進む。

ここで、ステップＳ１２０で入力されるイメージ情報は、以上の処理で検索され、特定された電子ファイルをそのままプリント出力したものである場合だけを想定していない。すなわち、プリント出力された資料を入手したユーザが、前記資料上に手書きで書き込みをした場合や、特定されたオリジナル電子ファイルには存在しない新規の情報が、前記オリジナル電子ファイルに付加されている場合なども想定している。

そこで、ステップＳ１２５またはステップＳ１２８で電子ファイルが特定されたら、入力されたイメージ情報と、特定された電子ファイルとの差分情報を抽出して、後から追記された新規情報を抽出するようにする。すなわち、ステップＳ１２９において、特定された電子ファイルの存在場所を示すアドレスの通知し、ステップＳ１３０において、特定されたオリジナルの電子ファイルを入手し、ステップＳ１３１において、入力されたイメージ情報と、特定されたオリジナルの電子ファイルとの差分情報を抽出する（ステップＳ１３０の電子ファイル入手処理、ステップＳ１３１の差分情報抽出処理）。

このようにして抽出された差分情報は、イメージデータからベクトルデータに変換される（ステップＳ１３２のベクトル化処理）。これは、差分情報が手書きで追記された文字情報等である場合には、ＯＣＲによりコード化したり、輪郭を追跡してアウトライン化したりしてベクトル情報に変換する。
このようにしてベクトル情報に変換された（ベクトル化された）差分情報は、差分情報のみの新たな電子ファイルとして生成し、保存しても良いし、元々の電子ファイルに差分情報を追記した形の新たな電子ファイルとして生成し、保存しても良い。いずれにしても、これらのベクトル化処理は、オブジェクト毎に行う。更に、各オブジェクトのレイアウト情報を保存することも行う。そして、一般のアプリケーションで編集可能なアプリデータに変換し（ステップＳ１３５のアプリデータ変換処理）、電子ファイルとして記憶装置１１１に格納する（ステップＳ１３７の電子ファイル格納処理）。また、汎用のファイル形式として、例えばＲＴＦ（Rich Text Format）形式に前記電子ファイルを変換するようにしてもよい。

このとき、電子ファイルの格納場所をポインター情報として、保存する電子ファイルに付加するようにする（ステップＳ１３６のポインター情報付加処理）。こうすることにより、保存された文書が次回以降の検索対象となる。また、電子ファイルの印刷時にポインター情報を２次元バーコードなどで印字するようにすれば、印刷文書から、ここで保存された文書に容易にアクセスすることができるようになる。

一方、ステップＳ１２８において、電子ファイルの特定ができなかった場合には、前記差分情報だけでなく、入力されたイメージ情報全体に対してベクトル化処理を行い、イメージ情報をオリジナル電子ファイルに近い電子ファイルに変換する（ステップＳ１３２のベクトル化処理）。
具体的に説明すると、まず、ステップＳ１２２でＯＣＲ処理された文字ブロックに対しては、更に文字のサイズ、スタイル、字体を認識し、原稿を走査して得られた文字を可視的に忠実なフォントデータに変換する。一方、線で構成される表、図形ブロックに対しては、アウトライン化する。さらに、画像ブロックに対しては、イメージデータとして個別のJPEGファイルとして処理する。

ところが、背景画像中に文字や細線、図形などが重なっている電子ファイルの場合、図２３に示すような問題が起ってしまう。すなわち、文字や細線、図形などをフォント化或いはアウトライン化した際に、その部分の背景画像がくり抜かれる形になってしまう。このため、背景画像のみの二次使用がしずらくなってしまう。
そこで、ステップＳ１３３で、背景画像の電子ファイル検索処理を行い、この電子ファイル検索処理の結果、該当する背景画像の電子ファイルが見つかった場合には、ステップＳ１２７と同様に、候補となる背景画像をサムネイル画像として表示し、操作者に選択を促す。候補の中から該当する背景画像の電子ファイルが選択された場合には、その背景画像の電子ファイルとベクトル化を行って得た背景画像とを差し換える（ステップＳ１３４の背景ファイル差し替え処理）。これによって、図２３で示したようなくり抜かれた背景画像ではなく、図２４で示すような背景画像の電子ファイルを得ることができ、ベクトル化後に背景画像の二次使用も可能になる。

一方、ステップＳ１３３において、該当する背景画像の電子ファイルが見つからなかった場合には、ステップ１３２でベクトル化した背景画像をそのまま使用する。この場合、後述する図２６の左図で示すように、背景画像のくりぬかれた個所をその近傍の色味で色塗りしても良い。

以上のようにして、オブジェクト毎にベクトル化処理及び背景画像の差し換えを行った後、前述したように各オブジェクトのレイアウト情報を保存して、ステップＳ１３５において、一般のアプリケーションで編集可能なアプリデータに変換し、ステップＳ１３７において、電子ファイルとして記憶装置１１１に格納する。また汎用のファイル形式として、例えばＲＴＦ（Rich Text Format）形式に変換するようにしてもよい。
このとき、電子ファイルの格納場所をポインター情報として、保存する電子ファイルに付加するようにする（ステップＳ１３６のポインター情報付加処理）。こうすることにより、保存された文書が次回以降の検索対象となる。また、電子ファイルの印刷時にポインター情報を２次元バーコードなどで印字するようにすれば、印刷文書から、ここで保存された文書に容易にアクセスすることができるようになる。

以上の手順によって得られた電子ファイルは、オリジナルの電子情報もしくはそれに非常に近いベクトル情報として編集可能な形式で保存されるので、それらの加工及び再利用を直接行ったり、蓄積、伝送、及び再印刷を行ったりすることが可能になる。
これらの処理を行うことにより、単純にイメージ画像データを直接扱う場合に比べて情報量を削減することができる。したがって、記憶装置１１１などにおける蓄積効率を高め、伝送時間を短縮し、さらに高品位なデータとして記録表示することができ、非常に優位となる。

以下、各処理ブロックに対して詳細に説明する。
［ブロックセレクション処理］
先ずステップＳ１２１で示すブロックセレクション処理について説明する。
ブロックセレクション処理とは、図４の左に示すステップＳ１２０で入力された一頁のイメージ情報を、同じく図４の右に示すようにに、オブジェクト毎の塊（ブロック）として認識し、これら認識したブロックの各々が、文字、図画、写真、線、及び表等のうち、どの属性に属するかを判定し、判定した結果に基づいて、前記イメージ情報を異なる属性を持つ領域に分割する処理である。

このようなブロックセレクション処理の具体例を以下に説明する。
先ず、入力されたイメージ情報（画像）を白黒に二値化し、輪郭線追跡を行って、黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行い白画素の塊を抽出する。さらに、一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。

このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つ領域へ分類していく。たとえば、縦横比が１に近く、大きさが一定の範囲のものを文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字領域とする。また、扁平な画素塊を線領域とする。また、一定の大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域とする。また、不定形の画素塊が散在している領域を写真領域とする。さらに、それ以外の任意形状の画素塊を図画領域とする。ただし、分類方法は、これらに限定されるものではないということは勿論である。
以上のようなブロックセレクション処理で得られた各ブロックに対するブロック情報の一例を図５に示す。
これらのブロック毎の情報は、以降に説明するベクトル化、或いは検索の為の情報として用いる。

[ポインター情報検出処理]
次に、ステップＳ１２２で示すファイルの格納位置をイメージ情報から抽出する為のOCR/OMR処理について説明する。
図６は、原稿画像中に付加された２次元バーコード（ＱＲコードシンボル）を復号して、データ文字列を出力する過程の一例を説明するフローチャートである。図７は、２次元バーコードが付加された原稿３１０の一例を示す図である。
まず、データ処理装置１１５内のページメモリに格納された原稿３１０を表すイメージ画像をＣＰＵ（不図示）で走査して、先に説明したブロックセレクション処理の結果から所定の２次元バーコードシンボル３１１の位置を検出する。ＱＲコードの位置検出パターンは、２次元バーコードシンボル３１１の４隅のうちの３隅に配置される同一の位置検出要素パターンから構成される（ステップＳ３００）。

次に、前記位置検出パターンに隣接する形式情報を復元し、２次元バーコードシンボル３１１に適用されている誤り訂正レベル及びマスクパターンを得る（ステップＳ３０１）。
そして、２次元バーコードシンボル３１１の型番を決定した後（ステップＳ３０２）、前記形式情報で得られたマスクパターンを使って符号化領域ビットパターンをＸＯＲ（排他的論理和）演算し、マスク処理を解除する（ステップＳ３０３）。
次に、モデルに対応する２次元バーコードの配置規則に従い、シンボルキャラクタを読み取り、メッセージのデータ及び誤り訂正コード語を復元する（ステップＳ３０４）。ここで、モデルとは、２次元バーコードや１次元バーコードの標準フォーマットのことを指す。本実施形態では、ＱＲコードシンボルの標準フォーマットモデルのことを指し、この標準フォーマットのデータ配置規則にのっとって、２次元バーコードを解析する。
次に、復元されたコード上に、誤りがあるかどうかの検出を行い（ステップＳ３０５）、誤りが検出された場合、ステップＳ３０６に進み、これを訂正する。
次に、誤りが訂正されたデータコード語を復元する。そして、モード指示子及び文字数指示子に基づいて、前記復元したデータコード語をセグメントに分割する（ステップＳ３０７）。
最後に、仕様モードに基づいてデータ文字を復号し、結果を出力する（ステップＳ３０８）。
なお、２次元バーコード内に組み込まれたデータは、対応するファイルのアドレス情報を表しており、このアドレス情報は、例えばファイルサーバ名及びファイル名からなるパス情報で構成される。或いは、前記アドレス情報は、対応するファイルへのＵＲＬで構成される。

また、本実施の形態では、ポインター情報が２次元バーコードを用いて付与された原稿３１０について説明したが、ポインター情報が文字列で直接記録される場合には、所定のルールに従った文字列のブロックを、先のブロックセレクション処理で検出し、ポインター情報を示す文字列の各文字を文字認識する事で、元ファイルのアドレス情報を直接得ることが可能である。

また、図７に示した原稿（文書）３１０の第１の文字ブロック３１２、或いは第２の文字ブロック３１３の文字列に対して、隣接する文字と文字の間隔等に視認し難い程度の変調を加え、その文字と文字の間隔に情報を埋め込むことでもポインター情報を付与できる。このようなポインター情報は、所謂透かし情報であり、後述する文字認識処理を行う際に各文字の間隔を検出することにより得られる。また、自然画３１４の中に電子透かしとしてポインター情報を付加する事も可能である。

[ポインター情報による電子ファイルの検索処理]
次に、図３で先に説明したステップＳ１２５及びステップＳ１２８で示す、ポインター情報から電子ファイルを検索する過程の一例を図８のフローチャートを使用して説明する。
まず、ポインター情報に含まれるアドレスに基づいて、ファイルサーバを特定する（ステップＳ４００）
ここで、ファイルサーバとは、クライアントＰＣ１０２や、データベース１０５を内蔵する文書管理サーバ１０６や、記憶装置１１１を内蔵するＭＦＰ１００自身を指す。
また、アドレスとは、ＵＲＬや、サーバ名とファイル名からなるパス情報である。

ファイルサーバが特定できたら、ファイルサーバに対してアドレスを転送するステップＳ４０１）。
ファイルサーバは、アドレスを受信すると，該当するファイルを検索する（ステップＳ４０２）。
検索の結果、該当するファイルが存在しない場合（ステップＳ４０３でＮＯの場合）には、ＭＦＰ１００に対してその旨通知する（ステップＳ４０９）。
一方、該当するファイルが存在した場合（ステップＳ４０３でＹＥＳの場合）には、図３で説明したように、ファイルのアドレスを通知すると共に（ステップＳ１２９）、後段の差分情報抽出のために、そのファイル（データファイル）をユーザ（ＭＦＰ１００）に対して転送する（ステップＳ４０８）。

[ファイルアクセス権を含むポインター情報による電子ファイルの検索処理]
我々が扱う文書ファイルの中には、第３者による再利用を制限すべき物がある。しかしながら、図８では、ファイルサーバに蓄積されたファイルは全て自由にアクセスでき、ファイル全体、或いはその一部のオブジェクトを全て再利用することが可能なことを前提に説明した。

これに対し、ここでは、アクセス権の制限が有る電子ファイルをポインター情報から検索する過程の一例を図９のフローチャートを使用して説明する。
ステップＳ４００から、ステップＳ４０３までは、図８と同様の為、説明を省略する。ファイルが特定された場合（ステップＳ４０３でＹＥＳの場合）、ファイルサーバはそのファイルのアクセス権情報を調べ、アクセス制限がある場合（ステップＳ４０４でＹＥＳの場合）には、ＭＦＰ１００に対してパスワードの送信を要求する（ステップＳ４０５）。
次に、ＭＦＰ１００は、操作者に対してパスワードの入力を促し、入力されたパスワードをファイルサーバに送信する（ステップＳ４０６）。
次に、ファイルサーバは、送信されたパスワードを照合し、一致した場合には（ステップＳ４０７のＹＥＳ）、図３で説明した様に、ファイルのアドレスを通知する。このとき、ユーザの希望する処理が画像ファイルデータの取得であれば、ＭＦＰ１００に対してファイルを転送する（ステップＳ４０８）
なお、アクセス権の制御を行う為の認証の方法は、ステップＳ４０５、Ｓ４０６に示したパスワードによる方法に限定されず、例えば、指紋認証等の一般に広く用いられている生体認証や、カードによる認証等、全ての認証手段を用いることができる。

一方、ファイルサーバ内からファイルを特定できなかった場合（ステップＳ４０３のＮＯ）には、図３のステップＳ１３２で説明したベクトル化処理に対しても、制限を加えることができる。即ち、紙文書を走査して得られたイメージ情報から、紙文書に対するアクセス権の制限の存在を検出した場合には、認証確認が取れた場合にのみベクトル化処理を行うことで、機密性の高い文書の使用に制限をかけることができる。

[ファイル検索処理]
次に、図３のステップＳ１２６で示すファイル検索処理の詳細について、図５、図１０を使用して説明を行う。
ステップＳ１２６の処理は、前述したように、ステップＳ１２４で入力原稿（入力ファイル）にポインター情報が存在しなかった場合、または、ポインター情報は在るが電子ファイルが見つからなかった場合、或いは電子ファイルがイメージファイルであった場合に行われる。

ここでは、ステップＳ１２２の結果、抽出された各ブロック及び入力ファイルが、図５に示す情報（ブロック情報５１、入力ファイル情報５２）を備えるものとする。情報内容として、属性、座標位置、幅と高さのサイズ、及びＯＣＲ情報の有無を例としてあげる。属性は、文字（１）、線（４）、写真（５）、絵（２）、表（３）、及びその他に分類する。また簡単に説明を行うため、ブロックは座標Ｘの小さい順（即ち、例えば、Ｘ１<Ｘ２<Ｘ３<Ｘ４<Ｘ５<Ｘ６）にブロック１、ブロック２、ブロック３、ブロック４、ブロック５、ブロック６と名前をつけている。ブロックの総数は、入力ファイル中の全ブロック数であり、本実施の形態では、ブロックの総数Ｎを６にしている。

以下、これらの情報を使用して、データベース１０５内から、入力ファイルに類似したファイルのレイアウト検索を行うフローチャートを図１０に示す。ここで、データベース１０５内のファイルは、図５と同様の情報を備えることを前提とする。
図１０のフローチャートの流れは、入力ファイルとデータベース１０５中のファイルとを順次比較するものである。
まず、ステップＳ５１０にて、後述する類似率などの初期化を行う。
次に、ステップＳ５１１にて、入力ファイルにおけるブロックの総数と、データベース１０５中のファイルにおけるブロックの総数との比較を行う。この比較の結果、ブロックの総数の差が所定の範囲内の場合、さらにファイル内のブロックの情報を順次比較する（ステップＳ５１２、Ｓ５１４、Ｓ５１６）。

ブロックの情報の比較では、ステップＳ５１３、Ｓ５１５、Ｓ５１８にて、属性類似率、サイズ類似率、ＯＣＲ類似率をそれぞれ算出し、入力ファイルの全ブロックに対する処理が終了したら（ステップＳ５１９のＹＥＳ）、ステップＳ５２２にて、それらをもとに総合類似率を算出する。各類似率の算出方法については、公知の技術が用いられるので説明を省略する。

なお、ステップＳ５１２、Ｓ５１４、Ｓ５１６にて、入力ファイルにおけるブロックの情報と、データベース１０５中のファイル（以下、データベースファイルと記す）におけるブロックの情報とが一致または所定の範囲内にない場合には、ステップＳ５２１に進む。そして、ステップＳ５２１にて、次のブロックへ処理を移行する。具体的に説明すると、入力ファイルにおけるブロックの総数ｎが、データベースファイルにおけるブロックの総数Ｎ以上である場合には、入力ファイルの次のブロックへ処理を移行する。一方、入力ファイルのブロックの総数ｎが、データベースファイルにおけるブロックの総数Ｎよりも少ない場合には、データベースファイルにおける次のブロックへ処理を移行する。
そして、入力ファイルにおけるブロックの情報と、データベースファイルにおけるブロックの情報とが一致または所定の範囲内になるまで、ステップＳ５１２〜Ｓ５１６の処理を繰り返し行う。
また、ステップＳ５１９にて、入力ファイルの全ブロックに対する処理が終了していないと判定した場合には、前記ステップＳ５２１に進む。

ステップＳ５２３にて、総合類似率が、予め設定された閾値Ｔｈより高いと判定すれば、ステップＳ５２４にて、そのファイルを類似候補としてあげる。但し、図中のＮ、Ｗ、Ｈは、入力ファイルのブロックの総数、各ブロックの幅、各ブロックの高さとし、ΔＮ、ΔＷ、ΔＨは、入力ファイルのブロック情報を基準として誤差を考慮したものである。ｎ、ｗ、ｈは、データベースファイルのブロックの総数、各ブロックの幅、各ブロックの高さとする。また、不図示ではあるが、ステップＳ５１４にて、サイズ比較時に、位置情報ＸＹの比較などを行ってもよい。

以上のような検索の結果、総合類似度が閾値Ｔｈより高い場合（ステップＳ５２３でＹＥＳの場合）には、ステップＳ５２４において、候補として保存されたデータベースファイルをサムネイル等で表示する（ステップＳ１２７）。複数の中から操作者の選択が必要なら操作者の入力操作よってファイルの特定を行う。最後に、ステップＳ５２５にて、データベース１０５内の全てのファイルに対する処理が終了したか否かを判定し、終了したら、図１０に示すフローチャートの処理を終了する。
なお、ステップＳ５２５にて、データベース１０５内の全てのファイルに対する処理が終了していないと判定された場合と、ステップＳ５２３にて、総合類似度が閾値Ｔｈより高くないと判定された場合と、ステップＳ５１１にて、ステップＳ５１１にて、入力ファイルにおけるブロックの総数Ｎと、データベースファイルにおけるブロックの総数ｎとの差が所定の範囲内にない場合には、ステップＳ５２６に進む。そして、ステップＳ５２６にて、データベース１０５の次のファイルへ移行し、ステップＳ５１０に進む。

［差分抽出処理］
次に、図３のステップＳ１３１で示す差分情報抽出処理について説明する。
図２０は、差分情報を抽出する過程の一例を説明するフローチャートである。
図２０において、入力画像とは図３のステップＳ１２０でイメージ情報として入力された入力画像を示し、電子ファイルとは図３のステップＳ１２５またはステップＳ１２８で得られたオリジナルの電子ファイルを示す。ここで入力画像は、図３のステップＳ１２１、Ｓ１２２、Ｓ１２３においてブロックセレクション処理、ＯＣＲ／ＯＭＲ処理、ポインター情報の検出が終わっているので、図４で示したブロックセレクション後のブロックレイアウト情報、図５で示したブロック情報、及び図７で示したポインター情報がすでに得られている。この様子を図２１に示す。

図２１は、図２０で示す差分情報抽出処理を説明するための、電子ファイルと入力画像のイメージデータの内容、及びこれらのイメージデータに対してブロックセレクション処理を行った結果の一例を示す図である。
図２１において、２１１０は電子ファイルの内容を示し、２１１１は電子ファイル２１１０に対してブロックセレクション処理を行った後のブロックレイアウト情報である。ここでは図示しないが、電子ファイルは、図５で示したブロック情報を別途持っている。また、２１１４は図７で示したポインター情報を示す２次元バーコードであり、２１１５はブロックセレクション処理後の２次元バーコードのブロックである。

２１１２は入力画像の内容を示し、２１１３は入力画像２１１２に対してブロックセレクション処理を行った後のブロックレイアウト情報である。ここでは図示しないが、入力画像は、図５で示したブロック情報を別途持っている。また、２１１６は図７で示したポインター情報を示す２次元バーコードであり、２１１７はブロックセレクション処理後の２次元バーコードのブロックである。電子ファイル２１１０とは異なり、入力画像２１１２には、手書き文字２１１８が記入されており、それをブロックセレクション処理することで、手書き文字ブロック２１１９がブロックレイアウト情報２１１３に生成されている。

以下に、図２０と図２１を用いて、差分情報抽出処理に関して記述する。
本実施の形態では、図３のステップＳ１３６で説明したように、ポインター情報は印刷時にイメージデータとして電子ファイルに付加される。このため、ステップＳ１２５で電子データを入手した段階では、まだ電子ファイルにポインター情報は付加されていない。そこで、まずステップＳ２００１では、電子ファイル２１１０に対してポインター情報である２次元バーコード２１１４を付加する。

ステップＳ２００２では、イメージデータとして付加されたポインター情報である２次元バーコード２１１４を含む電子ファイル２１１０に対してブロックセレクション処理を行う。ブロックセレクション処理に関しては、図４で説明を行った内容と同様である。図４では入力画像に対して、入力画像中のオブジェクト毎を塊（ブロック）として認識し、これら認識したブロックの各々が、文字、図画、写真、線、及び表等のうち、どの属性に属するかを判定し、判定した結果に基づいて、前記入力画像を異なる属性を持つ領域に分割する処理について説明したが、ステップＳ２００２では、これと同様の処理を電子ファイル２１１０に対して行うことになる。

ステップＳ２００３は、図３のステップＳ１２２と同様の処理である。すなわち、このステップＳ２００３では、電子ファイル２１１０に対してブロックセレクション処理を行った後、各々のオブジェクトに対して、既知のOCR/OMR処理を行う。
ステップＳ２００４は、図３のステップＳ１２３と同様の処理である。すなわち、このステップＳ２００４では、電子ファイル２１１０から、ステップＳ２００１で付加したポインター情報である２次元バーコード２１１４を検出する。

ステップＳ２００５では、図３のステップＳ１２３において検出済みの入力画像２１１２のブロックレイアウト情報２１１３から、ポインター情報である２次元バーコード２１１７の座標を求めると共に、ステップＳ２００４で検出した電子ファイル２１１０のブロックレイアウト情報２１１１から、ポインター情報である２次元バーコード２１１５の座標を求める。そして、これら２次元バーコード２１１７の座標と、２次元バーコード２１１５の座標とから、入力画像２１１２と電子ファイル２１１０の向きや大きさなどを比較する。
ステップＳ２００６では、ステップＳ２００５での比較結果から、入力画像２１１２に対して回転、拡大縮小、及び傾き補正などを、必要に応じて行う。これらの処理は、入力画像２１１２に対してだけ行うのではなく、ブロックセレクション後のブロックレイアウト情報２１１１、２１１３と、図２１では図示しないブロック情報と、ポインター情報である２次元バーコード２１１５、２１１７にも施す。

また、ブロックレイアウト情報２１１１、２１１３、ブロック情報、及びポインター情報に関しては、回転、拡大縮小、及び傾き補正の少なくとも何れか１つを行った入力画像２１１２に対して、一連のブロックセレクション処理、OCR/OMR処理、及びポインター情報検出処理を再度行って更新しても構わない。
いずれにしても、ステップＳ２００６によって、入力画像２１１２は電子ファイル２１１０と向きや大きさが揃うことになる。なお、図２１の例では、入力画像２１１２と電子ファイル２１１０は、同じ向きを向いており、等倍で表示されているため、これらの処理を行う必要がない。

ステップＳ２００７では、入力画像２１１２と電子ファイル２１１０の各々に対するブロックセレクション処理の結果得られるブロックレイアウト情報２１１３、２１１１において、分割されたブロックごとに同一の内容であるか否かを判断する。この判断は、各々のブロックレイアウト情報、ブロック情報、及びＯＣＲ／ＭＣＲ情報から行う。図２１では、手書き文字２１１８の部分のブロック２１１９が、入力画像２１１２と電子ファイル２１１０とで異なるブロックであると判断される。そして、その他のブロックは、同じであると判断される。

ステップＳ２００８では、ステップＳ２００７で同一と判断されたブロックを入力画像２１１２から消去する。図２１では、手書き文字ブロック２１１９以外のブロックが消去される。
ステップＳ２００９では、ステップＳ２００８で消去されずに残ったブロックを、入力画像２１１２と電子ファイル２１１０との間の差分イメージデータとして抽出する。図２１では手書き文字ブロック２１１９が差分イメージデータとして差分抽出される。

［ベクトル化処理］
次に、図３のステップＳ１３２で示されるベクトル化処理について詳説する。
これは、前記のようにして抽出された差分情報（差分イメージデータ）のみをベクトル化する場合と、ステップＳ１２８で電子ファイルが特定できなかった場合にイメージ全体をベクトル化する場合の２通りが想定されるが、ここではまず後者のイメージ全体をベクトル化する場合について説明する。

まず、文字ブロックに対しては、各文字に対して文字認識処理を行う。
『文字認識』
文字認識処理では、文字単位で切り出された画像に対し、パターンマッチの一手法を用いて認識を行い、対応する文字コードを得る。この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とする処理である。特徴ベクトルの抽出には、種々の公知手法があり、たとえば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。

ブロックセレクション処理（ステップＳ１２１）で抽出された文字領域に対して文字認識を行う場合には、まず該当する領域に対して、横書き、縦書きの判定を行い、各々対応する方向に行を切り出し、その後文字を切り出して文字画像を得る。横書き及び縦書きの判定は、該当する領域内で、画素値に対する水平及び垂直の射影を取り、水平射影の分散が大きい場合は横書き領域、垂直射影の分散が大きい場合は縦書き領域と判断すればよい。文字列及び文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、さらに切り出した行に対する垂直方向の射影から、文字を切り出すことで行う。縦書きの文字領域に対しては、水平と垂直を逆にすればよい。なお、このとき、文字のサイズを検出することができる。

『フォント認識』
文字認識の際に用いる、字種数ぶんの辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意し、マッチングの際に文字コードとともにフォント種を出力することで、文字のフォントを認識することができる。

『文字のベクトル化』
前記文字認識及びフォント認識よって得られた、文字コード及びフォント情報と、各々あらかじめ用意されたアウトラインデータとを用いて、文字部分の情報をベクトルデータに変換する。なお、元原稿がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。
以上の処理により、文字ブロックに属するイメージ情報を、形状、大きさ、及び色がほぼ忠実なベクトルデータに変換することができる。

『文字以外の部分のベクトル化』
ブロックセレクション処理（ステップＳ１２１）で、図画、線、及び表に属するとされた領域を対象に、抽出された画素塊の輪郭をベクトルデータに変換する。具体的には、輪郭をなす画素の点列を角と看倣される点で区切って、各区間を部分的な直線あるいは曲線で近似する。角とは曲率が極大となる点である。この曲率が極大となる点は、図１１に示すように、任意の点Ｐｉに対して左右にｋ個の離れた２つの点Pi-k、Pi+kの間に弦を引いたときに、この弦と点Ｐｉとの距離が極大となる点として求められる。さらに、点Pi-k、Pi+kの間の弦の長さを弧の長さで除した値（弦の長さ／弧の長さ）をＲとし、この値Ｒが閾値以下である点を角とみなすことができる。角によって分割された後の各区間において、直線については、点列に対する最小二乗法などを用いてベクトル化することができる。また、曲線については、３次スプライン関数などを用いてベクトル化することができる。
また、対象が内輪郭を持つ場合、ブロックセレクション処理（ステップＳ１２１）で抽出した白画素の輪郭の点列を用いて、同様に部分的直線あるいは曲線で前記内輪郭を近似する。

以上のように、輪郭の区分線近似を用いれば、任意の形状の図形のアウトラインをベクトル化することができる。元原稿がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。
さらに、図１２に示すように、ある区間で外輪郭と、内輪郭あるいは別の外輪郭が近接している場合、２つの輪郭線をひとまとめにし、太さを持った線として表現することができる。具体的には、ある輪郭の点Ｐｉから最短距離となる別の輪郭上の点Ｑｉまで線を引く。そして、これら２点Ｐｉ、Ｑｉ間の距離ＰＱｉが平均的に一定長以下の場合、２点Ｐｉ、Ｑｉ間の距離ＰＱｉの中点を点列として直線あるいは曲線で注目区間を近似するとともに、その注目区間の太さを２点Ｐｉ、Ｑｉ間の距離ＰＱｉの平均値とする。線や線の集合体である表罫線は、前記のような太さを持つ線の集合として効率よくベクトル表現することができる。

なお、先に説明した文字ブロックに対する文字認識処理を用いたベクトル化では、文字認識処理の結果、辞書からの距離が最も近い文字を認識結果として用いるようにした。しかしながら、この距離が所定値以上の場合は、文字認識処理により得られた文字が必ずしも本来の文字に一致せず、形状が類似する文字に誤認識している場合が多い。従って、本実施の形態では、このような文字に対しては、前記の様に、一般的な線画と同じに扱い、その文字をアウトライン化する。このようにすれば、従来の文字認識処理では誤認識を起こす文字に対しても、誤った文字にベクトル化されず、可視的にイメージデータに忠実なアウトライン化によるベクトル化を行える。
また、本実施の形態では、写真と判定されたブロックに対しては、ベクトル化することができないため、イメージデータのままとする。

『図形認識』
前述したように、任意の形状の図形のアウトラインをベクトル化した後、これらベクトル化された区分線（以降、ベクトルデータと記す）を図形オブジェクト毎にグループ化する処理について説明する。
図１３は、ベクトルデータを図形オブジェクト毎にグループ化するまでの過程の一例を説明するフローチャートを示している。
まず、各ベクトルデータの始点と終点を算出する（ステップＳ７００）。
次に、各ベクトルデータの始点の情報と、終点の情報を用いて、図形要素を検出する（ステップＳ７０１）。ここで、図形要素の検出とは、区分線が構成している閉図形を検出することである。検出に際しては、閉形状を構成する各ベクトルは、その両端にそれぞれ連結するベクトルを有しているという原理を応用し、検出を行う。

次に、図形要素内に存在する他の図形要素、もしくは区分線をグループ化し、一つの図形オブジェクトとする（ステップＳ７０２）。また、図形要素内に他の図形要素、区分線が存在しない場合には、その図形要素を図形オブジェクトとする。

図１４は、図形要素を検出する過程の一例を説明するフローチャートを示している。
先ず、ベクトルデータの両端に連結していない不要なベクトルを除去し、閉図形構成ベクトルを抽出する（ステップＳ７１０）。次に、閉図形構成ベクトルの中から、その閉図形構成ベクトルの始点を開始点とし、時計回りに順にベクトルを追っていく。そして、開始点に戻るまでベクトルを追っていき、通過したベクトルを、全て一つの図形要素を構成する閉図形としてグループ化する（ステップＳ７１１）。また、閉図形の内部にある閉図形構成ベクトルも全てグループ化する。さらに、まだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。
最後に、ステップＳ７１０で除去された不要なベクトルのうち、ステップＳ７１１で閉図形としてグループ化されたベクトルに接合しているもの（閉図形連結ベクトル）を検出し、一つの図形要素としてグループ化する（ステップＳ７１２）。
以上によって図形ブロックを個別に再利用可能な個別の図形オブジェクトとして扱うことが可能になる。

［差分情報のベクトル化処理］
次に、ステップＳ１３２のベクトル化処理のうち、図２０で抽出された差分情報（差分イメージデータ）のベクトル化処理について説明する。
ベクトル化に関しては、先に説明を行った［ベクトル化処理］と同等な処理を行う。これにより、手書きされた文字や、図２１で示した手書き文字２１１８は、文字認識された後、文字のベクトルもしくはフォント化される。

ところが、手書き文字の場合、ブロックセレクション処理の結果、場合によってはテキストブロックと認識されずに細線と認識され、ラインブロックと判断される可能性がある。この場合には、先に説明を行った［ベクトル化処理］の項目で述べた『文字以外の部分のベクトル化』のように、輪郭を検出してアウトライン化することで、可視的にイメージデータに忠実なアウトラインによるベクトル化を行える。
なお、図２１では、手書き文字２１１８での例を示しているが、手書きの細線、図面などに関しても同様であり、細線などに関しては、アウトラインによるベクトル化を、図面や図形などに関しては、先に説明した『図形認識』と同様な処理を行うことでベクトル化を行うことができる。

[背景画像の電子ファイル検索]
次に、ステップＳ１３３の背景画像の電子ファイルの検索処理に関して説明する。
図２５は、図２３及び図２４で示した背景オブジェクトを（Ｍ×Ｎ）の格子で区切ったものである。ステップＳ１３２においてベクトル化処理された背景画像は、（Ｍ×Ｎ）の格子に区切られる。そして、区切られた各格子のブロック内の平均濃度Ｄを算出する。この計算を順次、ブロック毎に行っていき、その平均濃度Ｄの二次元マップを作成する。

そして、ファイルサーバのデータベース中にある背景画像の電子ファイルに対しても同様に二次元マップを作成し、二次元マップの各ブロックにおける平均濃度Ｄを順次比較する。各ブロックの平均濃度Ｄの値の差が、所定の閾値よりも小さい場合には、そのブロックは真とし、全ブロック中の真ブロックの数が所定の閾値よりも大きい場合、つまり、同じような濃度値のブロックが多い場合には、その背景画像の電子ファイルを候補として抽出する。平均濃度Ｄは、カラー信号としてＲ、Ｇ、Ｂで独立した数値として扱っても良い。また、図２５の場合のように、くり抜かれたままのベクトル化後の背景画像に対して、図２６に示すように、くり抜かれた箇所を近傍の濃度値で色塗りした後に、前述した平均濃度Ｄの値の比較を行っても良い。

[電子ファイルとの合成]
図２２は、ベクトル化した差分部分を合成したオリジナルの電子ファイルの一例を示す図である。具体的に説明すると、図２１の入力画像データ２１１２の手書き文字２１１８をベクトル化した様子を示した図である。
図２２において、２２００は、図２１の電子ファイル２１１０に、手書き文字２１１８をベクトル化したベクトル文字２２０１を付加した合成後の新たな電子ファイルデータである。
図２２に示したように、ベクトル化された手書き文字は、手書き文字２１１８に最も似たフォント及びサイズでベクトル文字２２０１として元の電子ファイル２１１０に合成される。なお、このベクトル化された手書き文字が合成される位置は、ブロックレイアウト情報２１１３の座標に対応する位置である。

以上のように、入力画像２１１２中に、手書き文字２１１８や、オリジナルの電子ファイルと異なる差分情報が含まれていた場合でも、入力画像２１１２と電子ファイル２１００との差分部分の抽出を行い、その差分部分のベクトル化を行い、元の電子ファイル２１００と差分部分との合成と保存を行い、さらに保存先（格納アドレス）の通知を行うことで、入力されたイメージデータの電子ファイル化を、容易に且つ確実に行うことができる。

[アプリデータへの変換処理]
ところで、一頁分のイメージデータをブロックセレクション処理（ステップＳ１２１）し、ベクトル化処理（ステップＳ１３２）した結果は、図１５に示す様な中間データ形式のファイルとして変換されているが、このようなデータ形式は、ドキュメント・アナリシス・アウトプット・フォーマット（DAOF）と呼ばれる。

図１５は、前記DAOFのデータ構造の一例を示す図である。
図１５において、ヘッダ（Header）７９１では、処理対象の文書画像データに関する情報が保持される。レイアウト記述データ部７９２では、文書画像データ中のTEXT（文字）、TITLE（タイトル）、CAPTION（キャプション）、LINEART（線画）、PICTURE（自然画）、FRAME（枠）、及びTABLE（表）等の属性毎に認識された各ブロックの属性情報と、その矩形アドレス情報を保持する。

文字認識記述データ部７９３では、TEXT（文字）、TITLE（タイトル）、CAPTION（キャプション）等のTEXTブロックを文字認識して得られる文字認識結果を保持する。
表記述データ部７９４では、TABLEブロックの構造の詳細を格納する。画像記述データ部７９５では、PICTURE（自然画）やLINEART（線画）等のブロックのイメージデータを文書画像データから切り出して保持する。

このようなDAOFは、中間データとしてのみならず、それ自体がファイル化されて保存される場合もあるが、このファイルの状態では、所謂一般の文書作成アプリケーションで個々のオブジェクトを再利用することはできない。そこで、次に、このDAOFからアプリデータに変換する処理（ステップＳ１３５）について詳説する。
図１６は、この処理における全体の過程の概略を説明するフローチャートである。
まず、ステップＳ８０００では、DAOFデータの入力を行う。
次に、ステップＳ８００２では、アプリデータの元となる文書構造ツリーの生成を行う。
次に、ステップＳ８００４では、ステップＳ８００２で生成された文書構造ツリーを元に、DAOF内の実データを流し込み、実際のアプリデータを生成する。

図１７は、ステップＳ８００２における文書構造ツリーを生成する過程の一例を説明するフローチャートである。また、図１８は、文書構造ツリーの具体的な内容の一例を説明する図である。
全体制御の基本ルールとして、処理の流れはミクロブロック（単一ブロック）からマクロブロック（ブロックの集合体）へ移行する。以後の説明において、ブロックとは、ミクロブロック、及びマクロブロックの全体を指す。

まず、ステップＳ８１００では、縦方向の関連性を元に、ブロック単位で再グループ化する。スタート直後はミクロブロック単位での判定となる。
ここで、関連性とは、距離が近いことや、ブロック幅（横方向の場合は高さ）がほぼ同一であることなどで定義することができる。
また、距離、幅、及び高さなどの情報は、前記DAOFを参照して、抽出する。
図１８（ａ）は、実際のページ構成、図１８（ｂ）は、その文書構造ツリーを示した図である。
ステップＳ８１００における再グループ化の結果、ブロックＴ３、Ｔ４、Ｔ５が、同じ階層の１つのグループＶ１として再グループ化される。また、ブロックＴ６、Ｔ７が、同じ階層の１つのグループＶ２として再グループ化される。

次に、ステップＳ８１０２では、縦方向のセパレータの有無をチェックする。セパレータは、例えば物理的にはDAOF中でライン属性を持つオブジェクトである。また論理的な意味としては、アプリ中で明示的にブロックを分割する要素である。ここでセパレータを検出した場合は、同じ階層で再分割する。

次に、ステップＳ８１０４では、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。
ここで、縦方向のグループ長がページ高さとなっている場合には、分割がこれ以上存在し得ないと判定し、文書構造ツリー生成処理を終了する。
図１８の場合は、セパレータもなく、グループの高さはページ高さではないので、ステップＳ８１０６に進む。

次に、ステップＳ８１０６では、横方向の関連性を元にブロック単位で再グループ化する。ここもスタート直後の第１回目では、ミクロブロック単位で判定を行うことになる。前記関連性、及びその判定情報の定義は、縦方向の場合と同じである。
図１８の場合は、ブロックＴ１、Ｔ２が１つのグループＨ１として再グループ化される。また、ブロックＶ１、Ｖ２が１つのグループとしてい再グループ化される。なお、これらのグループＨ１、Ｈ２は、前述したグループＶ１、Ｖ２の１つ上の同じ階層のグループとして生成される。

次に、ステップＳ８１０８では、横方向のセパレータの有無をチェックする。
図１８では、セパレータＳ１があるので、これをツリーに登録し、グループＨ１、Ｈ２及びセパレータＳ１という階層が生成される。

次に、ステップＳ８１１０では、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。
ここで、横方向のグループ長がページ幅となっている場合には、分割がこれ以上存在し得ないと判定し、文書構造ツリー生成を終了する。
一方、そうでない場合には、ステップＳ８１００に戻り、もう一段上の階層で、縦方向の関連性を元にブロックを再グループ化し、ステップＳ８１００〜Ｓ８１１０までの処理を繰り返す。

図１８の場合は、分割幅がページ幅になっているので、ここで終了し、最後にページ全体を表す最上位階層のブロックＶ０が文書構造ツリーに付加される。
以上のようにして文書構造ツリーが完成した後、その文書構造ツリー内の情報を元にステップＳ８００４においてアプリデータの生成を行う。
図１８の場合は、具体的には、以下のようになる。
すなわち、グループＨ１には、横方向に２つのブロックＴ１、Ｔ２があるので、２カラムとし、ブロックＴ１の内部情報（DAOFを参照、文字認識結果の文章、画像など）を出力した後、カラムを変え、ブロックＴ２の内部情報を出力し、その後セパレータＳ１の内部情報を出力する。
グループＨ２は、横方向に２つのブロックＶ１、Ｖ２があるので、２カラムとし、ブロックＶ１では、ブロックＴ３、Ｔ４、Ｔ５の順にその内部情報を出力し、その後カラムを変え、ブロックＶ２のブロックＴ６、Ｔ７の内部情報を出力する。
以上によりアプリデータへの変換処理が行える。

[ポインター情報付加処理]
次に、ステップＳ１３６で示すポインター情報付加処理について説明する。
今、処理すべき文書が検索処理で特定された場合、あるいはベクトル化によって元ファイルが再生できた場合において、その文書を記録処理する場合には、紙への記録の際にポインター情報を付与するようにする。このようにすることにより、その文書を用いて再度各種処理を行う場合に、元ファイルのデータを簡単に取得できる。

図１９は、ポインター情報としてのデータ文字列を２次元バーコード（QRコードシンボル：JIS X0510 311）にて符号化して画像中に付加する過程の一例を説明するフローチャートである。
２次元バーコード内に組み込むデータは、対応するファイルのアドレス情報を表しており、例えばファイルサーバ名及びファイル名からなるパス情報で構成される。この他、対応するファイルへアクセスするためのＵＲＬや、対応するファイルの格納されているデータベース１０５内で管理されるファイルＩＤや、ＭＦＰ１００自体が有する記憶装置内で管理されるファイルＩＤ等で、２次元バーコード内に組み込むデータが構成されるようにしてもよい。

図１９において、まず、符号化する種種の異なる文字を識別するために、入力データ列を分析する。また、誤り検出及び誤り訂正レベルを選択し、入力データが収容できる最小型番を選択する(ステップＳ９００）。
次に、入力データ列を所定のビット列に変換し、必要に応じてデータのモード（数字、英数字、８ビットバイト、漢字等）を表す指示子や、終端パターンを付加する。さらに所定のビットコード語に変換する（ステップＳ９０１）。

この時、誤り訂正を行うため、データコード語列を型番及び誤り訂正レベルに応じて所定のブロック数に分割し、ブロック毎に誤り訂正コード語を生成し、データコード語列の後に付加する（ステップＳ９０２）。
このステップＳ９０２で得られた各ブロックのデータコード語を接続し、各ブロックの誤り訂正コード語、並びに必要に応じて剰余コード語を後続する（ステップＳ９０３）。

次に、位置検出パターン、分離パターン、タイミングパターン及び位置合わせパターン等とともに、コード語モジュールをマトリクスに配置する（ステップＳ９０４）。
更に、シンボルの符号化領域に対して最適なマスクパターンを選択して、マスク処理パターンを、ステップＳ９０４で得られたモジュールに変換する（ステップＳ９０５）。この変換は、ＸＯＲ（排他的論理和）演算により行う。
最後に、形式情報及び型番情報を生成して、ステップＳ９０５で得られたモジュールに付加し、２次元コードシンボルを完成する（ステップＳ９０６）。

前記のようにしてアドレス情報が組み込まれた２次元バーコードは、例えば、クライアントＰＣ１０２からの指示に基づいて、電子ファイルをプリントデータとして記録装置１１２を用いて、紙上に記録画像として形成する場合に、電子ファイルのデータがデータ処理装置１１５内で記録可能なラスターデータに変換された後に、ラスターデータ上の所定の個所に付加されて画像形成される。ここで、画像形成された紙のポインター情報が、画像読み取り部１１０で読み取られることにより、前述したステップＳ１２３の処理にてオリジナル電子ファイルの格納場所を検出することができる。したがって、ユーザは、オリジナル電子ファイルの格納場所を容易に知ることができる。
なお、同様の目的で付加情報を付与する手段は、本実施の形態で説明した２次元バーコードの他に、例えば、ポインター情報を直接文字列で文書に付加する方法や、文書内の文字列、特に文字と文字の間隔を変調して情報を埋め込む方法や、文書中の中間調画像中に埋め込む方法等、一般に電子透かしと呼ばれる方法を適用することができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。なお、本実施の形態では、前述した図３のステップＳ１３３における処理が異なるので、前述した第１の実施の形態と同一の部分についての詳細な説明を省略する。

前述した第１の実施の形態においては、図３のステップＳ１３３に示したように、ベクトル化後の背景画像と、ファイルサーバ中のデータベースに格納されている背景画像の電子ファイルとをパターンマッチングして、背景画像の電子ファイルを検索する方法を記載した。

これに対し、本実施の形態においては、背景画像中に、あらかじめ電子透かしを埋め込んでおき、この電子透かしに、背景画像の電子ファイルが格納されているファイルサーバ上の位置を示すポインター情報を持たせておくことで、背景画像の電子ファイルを入手する構成とする。このようにすれば、背景画像の電子ファイル検索処理をより高速に行うことができる。

（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。

また、この場合、前記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

本発明の実施の形態を示し、画像処理システムの構成の一例を示すブロック図である。 本発明の実施の形態を示し、ＭＦＰの構成の一例を示すブロック図である。 本発明の実施の形態を示し、画像処理全体の概要を説明するフローチャートである。 本発明の実施の形態を示し、イメージ情報と、前記イメージ情報をブロックセレクション処理して得られるブロックの一例を示す図である。 本発明の実施の形態を示し、ブロックセレクション処理で得られた各ブロックに対するブロック情報の一例を表形式で示す図である。 本発明の実施の形態を示し、原稿画像中に付加された２次元バーコードを復号して、データ文字列を出力する過程の一例を説明するフローチャートである。 本発明の実施の形態を示し、２次元バーコードが付加された原稿の一例を示す図である。 本発明の実施の形態を示し、ポインター情報から電子ファイルを検索する過程の一例を説明するフローチャートである。 本発明の実施の形態を示し、アクセス権の制限が有る電子ファイルをポインター情報から検索する過程の一例を説明するフローチャートである。 本発明の実施の形態を示し、ポインター情報を用いずに電子ファイルを検索する過程の一例を説明するフローチャートである。 本発明の実施の形態を示し、曲率が極大となる点を示す図である。 本発明の実施の形態を示し、２つの輪郭線をひとまとめにし、太さを持った線として表現する様子を示す図である。 本発明の実施の形態を示し、ベクトルデータを図形オブジェクト毎にグループ化するまでの過程の一例を説明するフローチャートである。 本発明の実施の形態を示し、図形要素を検出する過程の一例を説明するフローチャートである。 本発明の実施の形態を示し、ドキュメント・アナリシス・アウトプット・フォーマット（DAOF）データ構造の一例を示す図である。 本発明の実施の形態を示し、DAOFからアプリデータに変換する過程の概略の一例を説明するフローチャートである。 本発明の実施の形態を示し、文書構造ツリーを生成する過程の一例を説明するフローチャートである。 本発明の実施の形態を示し、文書構造ツリーの具体的な内容の一例を説明する図である。 本発明の実施の形態を示し、ポインター情報としてのデータ文字列を２次元バーコードにて符号化して画像中に付加する過程の一例を説明するフローチャートである。 本発明の実施の形態を示し、差分情報を抽出する過程の一例を説明するフローチャートである。 本発明の実施の形態を示し、電子ファイルと入力画像のイメージデータの内容、及びこれらのイメージデータに対してブロックセレクション処理を行った結果の一例を示す図である。 本発明の実施の形態を示し、ベクトル化した差分部分を合成したオリジナルの電子ファイルの一例を示す図である。 本発明の実施の形態を示し、ベクトル化された背景オブジェクトの一部がくり抜かれてしまう様子を示す図である。 本発明の実施の形態を示し、背景オブジェクトが適切になる様子を示した図である。 本発明の実施の形態を示し、一部がくり抜かれた背景オブジェクトを（Ｍ×Ｎ）の格子で区切って示した図である。 本発明の実施の形態を示し、適切な背景オブジェクトを（Ｍ×Ｎ）の格子で区切って示した図である。

符号の説明

１０、２０ オフィス
１００ ＭＦＰ
１０１ マネージメントＰＣ
１０２ クライアントＰＣ
１０３ プロキシサーバ
１０４ インターネット
１０５ データベース
１０６ 文書管理サーバ
１０７〜１０９ ＬＡＮ
１１０ 画像読み取り部
１１１ 記憶装置
１１２ 記録装置
１１３ 入力装置
１１４、１１７ ネットワークＩ／Ｆ
１１５ データ処理装置
１１６ 表示装置

Claims (10)

1. イメージ画像を構成するオブジェクトをベクトル化するベクトル化手段と、
   前記ベクトル化手段によってベクトル化されたオブジェクトに含まれる背景オブジェクトと類似する電子データを検索する検索手段と、
   前記検索手段によって検索された前記電子データを、前記背景オブジェクトと差し換える差し換え手段とを有することを特徴とする画像処理装置。
2. イメージ画像を構成するオブジェクトをベクトル化するベクトル化手段と、
   前記ベクトル化手段によってベクトル化されたオブジェクトに含まれる背景オブジェクトに対応するオリジナルの電子データの所在を示すポインター情報を、前記イメージ画像から抽出する抽出手段と、
   前記抽出手段によって抽出されたポインター情報に基づいて得られる前記オリジナルの電子データを、前記背景オブジェクトと差し換える差し換え手段とを有することを特徴とする画像処理装置。
3. イメージ画像から、前記イメージ画像に対応する電子データの所在を示すポインター情報を抽出するポインター抽出手段と、
   前記ポインター抽出手段により抽出されたポインター情報に基づいて、前記イメージ画像に対応する電子データを検索する検索手段と、
   前記検索手段により検索された電子データと、前記イメージ画像との差分情報を抽出する差分情報抽出手段と、
   前記差分情報抽出手段により抽出された差分情報をベクトル化するベクトル化手段と、
   前記ベクトル化手段によりベクトル化された差分情報を、前記検索手段により検索された電子データに合成する合成手段とを有することを特徴とする画像処理装置。
4. イメージ画像を構成するオブジェクトをベクトル化するベクトル化ステップと、
   前記ベクトル化ステップによってベクトル化されたオブジェクトに含まれる背景オブジェクトと類似する電子データを検索する検索ステップと、
   前記検索ステップによって検索された前記電子データを、前記背景オブジェクトと差し換える差し換えステップとを有することを特徴とする画像処理方法。
5. イメージ画像を構成するオブジェクトをベクトル化するベクトル化ステップと、
   前記ベクトル化ステップによってベクトル化されたオブジェクトに含まれる背景オブジェクトに対応するオリジナルの電子データの所在を示すポインター情報を、前記イメージ画像から抽出する抽出ステップと、
   前記抽出ステップによって抽出されたポインター情報に基づいて得られる前記オリジナルの電子データを、前記背景オブジェクトと差し換える差し換えステップとを有することを特徴とする画像処理方法。
6. イメージ画像から、前記イメージ画像に対応する電子データの所在を示すポインター情報を抽出するポインター抽出ステップと、
   前記ポインター抽出ステップにより抽出されたポインター情報に基づいて、前記イメージ画像に対応する電子データを検索する検索ステップと、
   前記検索ステップにより検索された電子データと、前記イメージ画像との差分情報を抽出する差分情報抽出ステップと、
   前記差分情報抽出ステップにより抽出された差分情報をベクトル化するベクトル化ステップと、
   前記ベクトル化ステップによりベクトル化された差分情報を、前記検索ステップにより検索された電子データに合成する合成ステップとを有することを特徴とする画像処理方法。
7. イメージ画像を構成するオブジェクトをベクトル化するベクトル化ステップと、
   前記ベクトル化ステップによってベクトル化されたオブジェクトに含まれる背景オブジェクトと類似する電子データを検索する検索ステップと、
   前記検索ステップによって検索された前記電子データを、前記背景オブジェクトと差し換える差し換えステップとをコンピュータに実行させることを特徴とするコンピュータプログラム。
8. イメージ画像を構成するオブジェクトをベクトル化するベクトル化ステップと、
   前記ベクトル化ステップによってベクトル化されたオブジェクトに含まれる背景オブジェクトに対応するオリジナルの電子データの所在を示すポインター情報を、前記イメージ画像から抽出する抽出ステップと、
   前記抽出ステップによって抽出されたポインター情報に基づいて得られる前記オリジナルの電子データを、前記背景オブジェクトと差し換える差し換えステップとをコンピュータに実行させることを特徴とするコンピュータプログラム。
9. イメージ画像から、前記イメージ画像に対応する電子データの所在を示すポインター情報を抽出するポインター抽出ステップと、
   前記ポインター抽出ステップにより抽出されたポインター情報に基づいて、前記イメージ画像に対応する電子データを検索する検索ステップと、
   前記検索ステップにより検索された電子データと、前記イメージ画像との差分情報を抽出する差分情報抽出ステップと、
   前記差分情報抽出ステップにより抽出された差分情報をベクトル化するベクトル化ステップと、
   前記ベクトル化ステップによりベクトル化された差分情報を、前記検索ステップにより検索された電子データに合成する合成ステップとをコンピュータに実行させることを特徴とするコンピュータプログラム。
10. 前記請求項７〜９の何れか１項に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images