JP2004246577A - 画像処理方法 - Google Patents

Abstract

【課題】紙文書上に追加で書き込まれた情報等を消失することなく、画像の劣化も最小限に抑えるような画像処理方法を提供する。
【解決手段】本発明によれば、入力されたイメージに基づいて、格納手段に格納されているオリジナル電子データを検索し、当該検索されたオリジナル電子データと前記入力されたイメージとを比較して差分情報を抽出し、該差分情報を前記オリジナル電子データと合成する。更に、合成されて生成された電子データは格納手段に格納される。
【選択図】 図３

Description

【０００１】
【発明の属する技術分野】
本発明は、スキャナーやデジタルカメラなどで読取った原稿の画像から、該画像中に追記された手書情報を抽出するような画像処理に関する。
【０００２】
【従来の技術】
近年、環境問題が叫ばれる中、オフィスでのペーパーレス化が急速に進んでおり、電子文書を取り扱う各種技術が考え出されている。
【０００３】
例えば、特許文献１では、紙文書をスキャナーで読み取り、電子文書フォーマット（ＪＰＥＧやＰＤＦなど）に変換して、画像記憶手段に格納させるものが記載されている。
【０００４】
また、特許文献２では、文書画像内に含まれる属性毎の領域を検出し、該領域毎にコンテンツとして、文書を管理する文書管理システムが記載されている。
【０００５】
また、特許文献３では、スキャンした入力画像に基づいて、対応する電子情報を同定する技術が開示され、さらに、該入力画像と電子情報との差分を抽出し、当該抽出した差分を前記同定した電子情報と合成する情報処理装置が記載されている。
【０００６】
【特許文献１】
特開２００１−３５８８６３号公報
【特許文献２】
特開平８−１４７４４５号公報
【特許文献３】
特開平１０−０６３８２０号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、特許文献１の技術では、スキャナーで読み取った画像をコンパクトな情報量のＪＰＥＧファイルやＰＤＦファイルとして保存可能であるが、プリントされた文書から保存されているファイルを検索することができないので、プリントとスキャンを繰り返すと、保存している文書の画像が劣化していってしまうという課題がある。
【０００８】
また、特許文献２の技術では、画像を複数の領域に分割してコンテンツ毎に再利用可能としているが、ユーザの指示に基づいて、コンテンツを検索し、更にその中から使用するコンテンツを決めるため、格納されているコンテンツを利用して文書を作成する際、ユーザはどのコンテンツを用いるか決めなければならず非常に手間がかかってしまうという課題がある。
【０００９】
また、特許文献３の技術では、出力された紙文書に対応するオリジナルの電子文書を検索して差分情報を抽出するので、紙文書に追記された追記情報を保持することができるが、前記差分情報はスキャンした画像をそのまま扱っているため、必要とされる記憶容量が大きくなってしまうという課題がある。
【００１０】
本発明は、上記課題を解決し、紙文書上の情報を消失することなく、画像の劣化も最小限に抑え、必要とされる記憶容量も少なくて済むような画像処理方法・画像処理装置等を提供するものである。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像処理方法は、入力されたイメージに基づいて、格納手段に格納されているオリジナル電子データを検索する検索ステップと、前記検索ステップで検索されたオリジナル電子データと前記入力されたイメージとを比較して差分情報を抽出する抽出ステップと、前記抽出ステップで抽出された差分情報をベクトルデータ化するベクトル化ステップと、前記ベクトルデータ化された差分情報を前記オリジナル電子データと合成する合成ステップとを有する。
【００１２】
【発明の実施の形態】
（実施形態１）
以下、本願発明の実施の形態について説明する。図１は本願発明にかかる画像処理システム構成例を示すブロック図である。この画像処理システムは、オフィス１０とオフィス２０とをインターネット１０４で接続された環境で実現する。オフィス１０内に構築されたＬＡＮ１０７には、ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ、デジタル複合機）１００、該ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ１０６、そのデータベース１０５、およびプロキシサーバ１０３が接続されている。ＬＡＮ１０７及びオフィス２０内のＬＡＮ１０８はプロキシサーバ１０３を介してインターネット１０４に接続される。ＭＦＰ１００は紙文書の画像読み取り処理（スキャナー）と読み取った画像信号に対する画像処理の一部を担当し、画像信号はＬＡＮ１０９を用いてマネージメントＰＣ１０１に入力する。マネージメントＰＣは通常のＰＣであり、内部に画像記憶手段、画像処理手段、表示手段、入力手段等を有するが、その一部はＭＦＰ１００と一体化されて構成されているものとする。
【００１３】
図２はＭＦＰ１００の構成図である。図２においてオートドキュメントフィーダー（以降ＡＤＦと記す）を含む画像読み取り部１１０は束状の或いは１枚の原稿画像を図示しない光源で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスター状の画像読み取り信号を例えば６００ＤＰＩの密度のイメージ情報として得る。通常の複写機能は、この画像信号をデータ処理部１１５で記録信号へ画像処理し、複数枚複写の場合は記憶装置１１１に一旦記録データを記憶保持した後、記録装置１１２に順次出力して紙上に画像を形成する。
【００１４】
一方、クライアントＰＣ１０２から出力されるプリントデータはＬＡＮ１０７からネットワークＩＦ１１４を経てデータ処理装置１１５で記録可能なラスターデータに変換した後、前記記録装置で紙上に記録画像として形成される。
【００１５】
ＭＦＰ１００への操作者の指示は、ＭＦＰ１００に装備されたキー操作部やマネージメントＰＣのキーボードやマウスなどを介して入力装置１１３から行われ、これら一連の動作はデータ処理装置１１５内の図示しない制御部で制御される。
【００１６】
一方、操作入力の状態表示及び処理中の画像データの表示は表示装置１１６で行われる。尚記憶装置１１１はマネージメントＰＣからも制御され、これらＭＦＰとマネージメントＰＣとのデータの授受及び制御はネットワークＩＦ１１７および直結したＬＡＮ１０９を用いて行われる。
【００１７】
なお、本発明は、図２に示した装置ないし図１に示したシステムにおいて実行されうるものであり、例えば、図２の記憶装置１１１に記憶されたコンピュータ実行可能な制御プログラム（なお、この場合、本発明を構成する制御プログラムは記憶装置１１１に記憶されていてもいいし、外部装置から通信回線等を介して読み込まれて実行されるものであってもよい。また記憶装置は内蔵型ハードディスクに限らずリムーバブルディスクなどであってもよい）を、データ処理装置１１５の制御部（ＣＰＵ）が実行することにより、後述する本発明の処理が実行されるものであってもよいし、また、前記データ処理装置１１５の制御部の全部又は一部が電気回路のハードウェアで構成され該電気回路で信号を処理することにより本発明の処理を実行するものであってもよい。
【００１８】
＜＜処理概要＞＞
次に本発明による画像処理全体の概要を図３を用いて説明する。
【００１９】
図３においてまず、ＭＦＰ１００の画像読み取り部１１０を動作させ１枚の原稿をラスター状に走査し、イメージ情報入力処理ステップ１２０で６００ＤＰＩ−８ビットの画像信号を得る。該画像信号をデータ処理部１１５で前処理を施し、記憶装置１１１に１ページ分の画像データとして保存する。マネージメントＰＣ１０１のＣＰＵは、該格納された画像信号から先ず、文字／線画部分とハーフトーンの画像部分とに領域を分離し、文字部分は更に段落で塊として纏まっているブロック毎に分離し、また、線画部分は線で構成された表、図形毎に分離し、各々セグメント化する。一方、ハーフトーンで表現される画像部分は、ハーフトーン画像部分を含む矩形のブロックに分離し、ブロック毎に独立したオブジェクトとして分割する（ステップ１２１）。
【００２０】
このとき原稿画像中に付加情報として記録された２次元バーコード、或いはＵＲＬに該当するオブジェクトを検出し、ＵＲＬについては文字認識処理（ＯＣＲ）を実行し、或いは２次元バーコードなら該マークを解読（ＯＭＲ）して（ステップ１２２）、該原稿のオリジナル電子ファイルが格納されている記憶装置内のポインター情報を検出する（ステップ１２３）。尚、ポインター情報を付加する手法としては、他に文字と文字の間隔を微小に変化させることによって情報を埋め込む手法や、ハーフトーンの画像に電子透かしとして埋め込む手法等であってもよい。
【００２１】
ポインター情報が検出された場合、ステップ１２５に分岐し、ポインターで示されたアドレスから元の電子ファイルを検索する。電子ファイルは図１においてクライアントＰＣ内のハードディスク内、或いはオフィス１０或いは２０のＬＡＮに接続された文書管理サーバ１０６によって管理されるデータベース１０５内、或いはＭＦＰ１００自体が有する記憶装置１１１のいずれかに格納されており、ステップ１２３で得られたアドレス情報に従ってこれらの記憶装置内を検索する。ステップ１２５で電子ファイルが見つからなかった場合、見つかったがＪＰＥＧやＰＤＦあるいはｔｉｆｆに代表される所謂イメージファイルであった場合、或いは、ステップ１２４でポインター情報自体が存在しなかった場合は、ステップ１２６に分岐する。１２５でポインター情報に基づく電子ファイルが見つかった場合、ステップ１２９へ分岐して電子ファイルの格納されているアドレスを通知する。
【００２２】
ステップ１２６は所謂文書検索処理ルーチンである。まずステップ１２２で各文字ブロックに対して行ったＯＣＲの結果から単語を抽出して電子ファイル内に含まれる単語と比較することにより全文検索を行うか、或いは、各オブジェクトの配列及び各オブジェクトの属性を電子ファイルのオブジェクト配列及びオブジェクト属性と比較することによりレイアウト検索を行う。検索の結果、類似度の高い電子ファイルが見つかった場合、サムネイル等で候補の電子ファイルを表示（ステップ１２７）し、複数の候補中から操作者の選択が必要なら操作者の入力操作によってファイルの特定を行う。尚、候補が１ファイルの場合、１２７をバイパスして自動的にステップ１２８に進んで電子ファイル有りと判定してステップ１２９に分岐し、候補ファイルの格納アドレスを通知する。ステップ１２６の検索処理で電子ファイルが見つからなかった場合、或いは、見つかったがＪＰＥＧやＰＤＦあるいはｔｉｆｆに代表される所謂イメージファイルであった場合、ステップ１３２に分岐する。
【００２３】
ここで、１２０から入力されるイメージ情報は、以上の処理で検索、特定された電子ファイルをそのままプリント出力したものである場合だけでなく、プリント出力が資料として配付され、それを入手したユーザーが資料上に手書きで書き込みをした場合などの元の特定された電子ファイルには存在しない新規の情報が付加されている場合、なども想定している。
【００２４】
そこで、ステップ１２５または１２８で電子ファイルが特定されたら、入力のイメージ情報と特定された電子ファイルとの差分情報を抽出して後から追記された新規情報を抽出するようにする。すなわちステップ１２９で特定された電子ファイルの存在場所のアドレスの通知によりステップ１３０で実際に電子ファイルを入手し、ステップ１３１で入力イメージ情報とオリジナルの電子ファイルとの差分情報を抽出する。
【００２５】
抽出された差分情報はステップ１３２でベクトル化処理によりイメージデータからベクトルデータに変換される。これは差分情報が手書きで追記された文字情報等である場合は、ＯＣＲによるコード化もしくは輪郭を追跡してアウトライン化しベクトル情報に変換する。ベクトル化された差分情報はオリジナルの電子ファイルと合成され、新たな電子ファイルとして生成される。
【００２６】
差分情報が検出されなかった場合はオリジナルの電子ファイルと同じものが生成されることになる。
【００２７】
一方、ステップ１２８で、電子ファイルの特定ができなかった場合、または特定された電子ファイルが（ベクトル化／文字コード化が全くされていない）イメージファイルであった場合は、ステップ１３２で、入力されたイメージ情報全体に対してベクトル化処理を行ない、イメージデータをベクトル化した電子ファイルに変換する。先ずステップ１２２でＯＣＲされた文字ブロックに対しては、更に文字のサイズ、スタイル、字体を認識し、原稿を走査して得られた文字に可視的に忠実なフォントデータに変換する。一方、線で構成される表、図形ブロックに対してはアウトライン化する。写真などの自然画像ブロックに対してはイメージデータとして個別のＪＰＥＧファイルとして処理する。
【００２８】
これらのベクトル化処理は各オブジェクト毎に行い、更に各オブジェクトのレイアウト情報を保存して、ステップ１３３で一般のアプリケーションで編集可能なアプリデータに変換され、ステップ１３５で電子ファイルとして記憶装置１１１に格納する。なお、汎用のファイル形式として、例えばＲＴＦ（Ｒｉｃｈ Ｔｅｘｔ Ｆｏｒｍａｔ）形式に変換するようにしてもよい。
【００２９】
このとき、ステップ１３４では電子ファイルの格納場所をポインタ情報として保存する電子ファイルに付加するようにする。こうすることにより、保存された文書が次回以降の検索対象となり、ファイルの印刷時にポインタ情報を２次元バーコードなどで印刷するようにすれば、印刷文書から、ここで保存された文書に容易にアクセスすることができるようになる。
【００３０】
以上の手順によって得られた電子ファイルには、オリジナルの電子情報もしくはそれに非常に近いベクトル情報と、後から手書きなどで追記された情報とが編集可能な形式で全て含まれており、それらを直接加工、再利用したり、あるいは蓄積、伝送、再印刷を行う事が可能になる。
【００３１】
また、単純に入力されたイメージ全体をそのままイメージデータとして扱う場合に比べて情報量が削減されるので、蓄積効率が高まり、伝送時間が短縮され、又記録表示する際には高品位なデータとして非常に優位となる。
【００３２】
以下、各処理ブロックに対して詳細に説明する。
【００３３】
＜＜ブロックセレクション処理＞＞
先ずステップ１２１で示すブロックセレクション処理（領域分割処理）について説明する。
【００３４】
ブロックセレクション処理とは、図４の右に示すように、ステップ１２０で入力されたイメージデータ（図４左）を、各オブジェクト毎の塊として認識し、該ブロック各々を文字／図画／写真／線／表等の属性に判定し、異なる属性を持つ領域に分割する処理である。
【００３５】
ブロックセレクション処理の実施例を以下に説明する。
【００３６】
先ず、入力画像を白黒に二値化し、黒画素の輪郭線追跡をおこなって、黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡をおこない白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【００３７】
このようにして得られた黒画素の塊を、大きさおよび形状で分類し、異なる属性を持つ領域へ分類していく。たとえば、縦横比が１に近く、大きさが一定の範囲のものを文字相当の画素塊として、さらに近接する文字の画素塊が整列良くグループ化可能な領域を文字領域とし、また、扁平な画素塊を線領域とし、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域とし、不定形の画素塊が散在している領域を写真領域とし、それ以外の任意形状の画素塊を図画領域、などとする。
【００３８】
ブロックセレクション処理で得られた各ブロックに対するブロック情報と、入力画像に含まれるブロックを管理するための入力ファイル情報とを図５に示す。これらのブロック毎の情報は以降に説明するベクトル化、或いは検索の為の情報として用いる。
【００３９】
＜＜ポインター情報の検出＞＞
次に、ファイルの格納位置をイメージ情報から抽出する為のＯＣＲ／ＯＭＲ処理（ステップ１２２）について説明する。
【００４０】
図６は原稿画像中に付加された２次元バーコード（ＱＲコードシンボル）を復号して、データ文字列を出力する過程を示すフローチャートである。２次元バーコードの付加された原稿３１０の一例を図７に示す。
【００４１】
まず、データ処理装置１１５内のページメモリに格納された原稿３１０を表すイメージ画像をＣＰＵ（不図示）で走査して、先に説明したブロックセレクション処理の結果から、所定の２次元バーコードシンボル３１１の位置を検出する。ＱＲコードの位置検出パターンは、シンボルの４隅のうちの３隅に配置される同一の位置検出要素パターンから構成される （ステップ３００）。
【００４２】
次に、位置検出パターンに隣接する形式情報を復元し、シンボルに適用されている誤り訂正レベルおよびマスクパターンを得る（ステップ３０１）。
【００４３】
シンボルの型番を決定した（ステップ３０２）後、形式情報で得られたマスクパターンを使って符号化領域ビットパターンをＸＯＲ演算することによってマスク処理を解除する（ステップ３０３）。
【００４４】
尚、モデルに対応する配置規則に従い、シンボルキャラクタを読取り、メッセージのデータ及び誤り訂正コード語を復元する（ステップ３０４）。
【００４５】
復元されたコード上に、誤りがあるかどうかの検出を行い（ステップ３０５）、誤りが検出された場合、ステップ３０６に分岐し、これを訂正する。
【００４６】
誤り訂正されたデータより、モード指示子および文字数指示子に基づいて、データコード語をセグメントに分割する（ステップ３０７）。
【００４７】
最後に、仕様モードに基づいてデータ文字を復号し、結果を出力する（ステップ３０８）。
【００４８】
尚、２次元バーコード内に組み込まれたデータは、対応するファイルのアドレス情報を表しており、例えばファイルサーバ名およびファイル名を含むパス情報で構成される。或いは、対応するファイルへのＵＲＬで構成されるものであってもよい。
【００４９】
本実施例ではポインター情報が２次元バーコードを用いて付与された原稿３１０について説明したが、文字列でポインター情報が記録されるようにしてもよい。その場合は所定のルールに従った文字列のブロック（例えば予め決められた位置にある文字ブロック）を先のブロックセレクション処理で検出し、該ポインター情報を示す文字列ブロックの各文字を文字認識することで、元ファイルのアドレス情報を得る事が可能である。
【００５０】
又、図７の文書３１０の文字ブロック３１２、或いは３１３の文字列に対して隣接する文字と文字の間隔等に微小な変調を加えるなどすることにより、該文字間隔に情報を埋め込むことでもポインター情報を付与できるので、例えば、後述する文字認識処理を行う際に各文字の間隔を検出すれば、ポインター情報が得られる。又、自然画３１４の中に不可視の電子透かしとしてポインター情報を付加する事も可能である。
【００５１】
＜＜ポインター情報によるファイル検索＞＞
次に、図３のステップ１２５で示した、ポインター情報からの電子ファイルの検索について、図８のフローチャートを使用して説明する。
【００５２】
まず、ポインター情報に含まれるアドレスに基づいて、ファイル・サーバを特定する（ステップ４００）。
【００５３】
ここでファイルサーバとは、クライアントＰＣ１０２や、データベース１０５を内蔵する文書管理サーバ１０６や、記憶装置１１１を内蔵するＭＦＰ１００自身を指す。また、ここでアドレスとは、ＵＲＬや、サーバ名とファイル名とを含むパス情報である。
【００５４】
ファイルサーバが特定できたら、ファイルサーバに対してアドレスを転送する。（ステップ４０１）ファイル・サーバは、アドレスを受信すると、該当するファイルを検索する。（ステップ４０２）ファイルが存在しない場合（ステップ４０３−Ｎ）には、ＭＦＰに対してその旨通知する。
【００５５】
一方、ファイルが存在した場合（ステップ４０３−Ｙ）には、図３で説明した様に、ファイルのアドレスを通知（ステップ１２９）すると共に、後段の差分情報抽出のために当該データファイルをＭＦＰに対して転送する（ステップ４０８）。
【００５６】
＜＜ファイル検索処理＞＞
次に、図３のステップ１２６で示すファイル検索処理の詳細について図５、図１０を使用して説明を行う。
【００５７】
ステップ１２６の処理は、前述したように、ステップ１２４で入力原稿（入力ファイル）にポインタ情報が存在しなかった場合、または、ステップ１２５でポインタ情報は在るが電子ファイルが見つからなかった場合、或いは電子ファイルがイメージファイルであった場合に行われる。
【００５８】
ここでは、ステップ１２２の結果、抽出された各ブロック及び入力ファイルが、図５に示す情報（ブロック情報、入力ファイル情報）を備えるものとする。情報内容として、属性、座標位置、幅と高さのサイズ、ＯＣＲ情報有無を例としてあげる。属性は、文字、線、写真、絵、表、その他に分類する。また簡単に説明を行うため、ブロックは座標Ｘの小さい順、即ち（例、Ｘ１＜Ｘ２＜Ｘ３＜Ｘ４＜Ｘ５＜Ｘ６）にブロック１、ブロック２、ブロック３、ブロック４、ブロック５，ブロック６と名前をつけている。ブロック総数は、入力ファイル中の全ブロック数であり、図１０の場合は、ブロック総数は６である。以下、これらの情報を使用して、データベース内から、入力ファイルに類似したファイルのレイアウト検索を行うフローチャートを図１０に示す。ここで、データベースに格納されているファイルは、図５と同様の種類の情報（ブロック情報、ファイル情報）を備えることを前提とする。
【００５９】
フローチャートの流れは、入力ファイルとデータベース中のファイルを順次比較するものである。まず、ステップ５１０にて、後述する類似率などの初期化を行う。次に、ステップ５１１にてブロック総数の比較を行い、ここで、真の場合、さらにファイル内のブロックの情報を順次比較する。ブロックの情報比較では、ステップ５１３、５１５、５１８にて、属性類似率、サイズ類似率、ＯＣＲ類似率をそれぞれ算出し、ステップ５２２にてそれらをもとに総合類似率を算出する。各類似率の算出方法については、公知の技術を用いることができるので説明を省略する。ステップ５２３にて総合類似率が、予め設定された閾値Ｔｈより高ければステップ５２４にてそのファイルを類似候補としてあげる。但し、図中のＮ、Ｗ、Ｈは、入力ファイルのブロック総数、各ブロック幅、各ブロック高さとし、△Ｎ、△Ｗ、△Ｈは、入力ファイルのブロック情報を基準として誤差を考慮したものである。ｎ、ｗ、ｈは、データベースに格納されているファイルのブロック総数、各ブロック幅、各ブロック高さとする。また、不図示ではあるが、ステップ５１４にてサイズ比較時に、位置情報ＸＹの比較などを行ってもよい。
【００６０】
以上、検索の結果、類似度が閾値Ｔｈより高く、候補として保存されたデータベースファイル（ステップ５２４）をサムネイル等で表示（ステップ１２７）する。そして複数の候補が表示された場合、この中から操作者の入力操作によってファイルの特定を行う。
【００６１】
＜＜差分抽出処理＞＞
次に図３のステップ１３１で示す差分情報抽出処理について説明する。
【００６２】
図２０は差分抽出の処理の概略を示すフローチャートである。
【００６３】
図２０において、入力画像とは図３のステップ１２０でイメージ情報として入力された入力画像を示し、電子ファイルとは図３のステップ１２５または１２８で得られたオリジナルの電子ファイルを示す。ここで入力画像は、図３のステップ１２１、１２２、１２３においてブロックセレクション処理、ＯＣＲ／ＯＭＲ処理、ポインター情報の検出が終わっているので、図４で示したブロックセレクション後のブロックレイアウト情報、また図５で示したブロック情報、図７で示したポインター情報がすでに得られている。
【００６４】
図２１は、差分抽出を説明するための、電子ファイルと入力画像のイメージデータの内容およびブロックセレクションの一例を示す図である。
【００６５】
図２１において、２１１０は電子ファイルの内容を示し、２１１１は電子ファイル２１１０に対してブロックセレクション処理を行った後のブロックレイアウト情報の模式図である。ここでは図示しないが、図５で示したようなブロック情報を別途持っている。また２１１４はポインタ情報を示す２次元バーコードであり、２１１５はブロックセレクション処理後の２次元バーコードのブロックである。
【００６６】
２１１２は入力画像の内容を示し、２１１３は入力画像２１１２に対してブロックセレクション処理を行った後のブロックレイアウト情報の模式図である。ここでは図示しないが、図５で示したようなブロック情報を別途持っている。また２１１６はポインタ情報を示す２次元バーコードであり、２１１７はブロックセレクション処理後の２次元バーコードのブロックである。電子ファイル２１１０とは異なり、入力画像２１１２には、手書き文字２１１８が記入されており、それをブロックセレクション処理することで、手書き文字ブロック２１１９がブロックレイアウト情報２１１３に生成されている。
【００６７】
以下に図２０、図２１を用いて、差分抽出に関して説明する。本実施例では図３のステップ１３４で説明したように、ポインター情報は印刷時にイメージデータとして電子ファイルに付加されるため、ステップ１２５で電子データを入手した段階では、まだ電子ファイルにポインター情報２１１４は付加されていない。そこで、まずステップ２００１では、電子ファイル２１１０に対して該電子ファイルの格納アドレスに基づきポインター情報である２次元バーコード２１１４を付加する。
【００６８】
ステップ２００２では、ポインター情報である２次元バーコード２１１４がイメージデータとして付加された電子ファイル２１１０に対してブロックセレクション処理を行う。ブロックセレクション処理に関しては、図４で説明を行った内容と同様にして行う。図４では入力画像に対して、入力画像中の各オブジェクト毎を塊として認識し、該ブロック各々を文字／図画／写真／線／表等の属性に判定し、異なる属性を持つ領域に分割する処理を説明したが、ステップ２００２では、これと同様の処理を電子ファイル２１１０に対して行うことになる。
【００６９】
ステップ２００３では、図３のステップ１２２と同様の処理であり、電子ファイル２１１０に対してブロックセレクション処理をされた後、各々のオブジェクトに対して、既知のＯＣＲ／ＯＭＲ処理を行う。
【００７０】
ステップ２００４では、図３のステップ１２３と同様の処理であり、電子ファイル２１１０から、ステップ２００１で付加したポインター情報である２次元バーコード２１１４を検出する。
【００７１】
ステップ２００５では、図３のステップ１２３において検出済みの入力画像２１１２のブロックレイアウト情報２１１３から得たポインター情報である２次元バーコード２１１７の座標と、ステップ２００４で検出した電子ファイル２１１０のブロックレイアウト情報２１１１から得たポインター情報である２次元バーコード２１１５の座標とに基づいて、入力画像２１１２と電子ファイル２１１０の向き、大きさなどを比較する。
【００７２】
ステップ２００６では、ステップ２００５での比較結果から、入力画像２１１２に対して回転、拡大縮小、傾き補正などを、必要に応じて行う。これらの処理は画像２１１２に対してだけ行うのではなく、ブロックセレクション後のブロックレイアウト情報２１１３（およびブロック情報、ポインター情報）などにも施す。
【００７３】
またブロックレイアウト情報、ブロック情報、ポインター情報に関しては、回転、拡大縮小、傾き補正を行った入力画像２１１２に対して、一連のブロックセレクション処理、ＯＣＲ／ＯＭＲ処理、ポインター情報検出を再度行って更新しても構わない。
【００７４】
いずれにしても、ステップ２００６によって、入力画像２１１２は電子ファイル２１１０と向きや大きさが揃うことになる。図２１の例では、同じ向き、等倍を示しているため、これらの処理を行う必要がない。
【００７５】
ステップ２００７では、入力画像２１１２と電子ファイル２１１０の各々ブロックセレクション処理結果のブロックレイアウト情報２１１３と２１１１において、分割されたブロックごとに同一内容であるか否かを判断する。判断は、各々のブロックレイアウト情報、ブロック情報、およびＯＣＲ／ＭＣＲ情報から行う。図２１では、手書き文字２１１８部分のブロック２１１９が入力画像２１１２と電子ファイル２１１０とで異なるブロックであると判断される。
【００７６】
ステップ２００８では、ステップ２００７で同一と判断されたブロックを入力画像から消去を行う。図２１では、手書き文字ブロック２１１９以外のブロックが消去される。
【００７７】
ステップ２００９では、ステップ２００８で消去されずに残ったブロックを、入力画像２１１２と電子ファイル２１１０間の差分イメージデータとして抽出する。図２１では手書き文字ブロック２１１９に対応するイメージデータ２１１８が差分抽出される。
【００７８】
＜＜ベクトル化処理＞＞
次に、図３のステップ１３２で示されるベクトル化処理について詳説する。
【００７９】
これは上記で抽出された差分情報のみをベクトル化する場合と、１２８で電子ファイルが特定できなかった場合にイメージ全体をベクトル化する処理の２通りが想定されるが、ここではまず後者のイメージ全体をベクトル化する場合について説明する。ここでは前述したブロックセレクション処理によりイメージ全体がブロックに分割され、ブロック毎にベクトル化していく。
【００８０】
＜文字ブロックのベクトル化＞
まず、文字ブロックに対しては各文字に対して文字認識処理を行う。文字認識部では、文字単位で切り出された画像に対し、パターンマッチの一手法を用いて認識を行い、対応する文字コードを得る。この認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルと比較し、最も距離の近い字種を認識結果とする処理である。特徴ベクトルの抽出には種々の公知手法があり、たとえば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。
【００８１】
ブロックセレクション（ステップ１２１）で抽出された文字領域に対して文字認識を行う場合は、まず該当領域に対し横書き、縦書きの判定をおこない、各々対応する方向に行を切り出し、その後文字を切り出して文字画像を得る。横書き、縦書きの判定は、該当領域内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き領域、垂直射影の分散が大きい場合は縦書き領域と判断すればよい。文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことでおこなう。縦書きの文字領域に対しては、水平と垂直を逆にすればよい。尚、この時文字のサイズが検出出来る。
【００８２】
次に、該文字ブロック内の各文字のフォント種別を認識する。文字認識の際に用いる、字種数ぶんの辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意し、マッチングの際に文字コードとともにフォント種を出力することで、文字のフォントが認識出来る。
【００８３】
前記文字認識およびフォント認識によって得られた、文字コードおよびフォント情報を用いて、文字コード及びフォント毎にあらかじめ用意されたアウトラインデータを用いて、文字部分の情報をベクトルデータに変換する。なお、元原稿がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。
【００８４】
以上の処理により、文字ブロックに属するイメージ情報をほぼ形状、大きさ、色が忠実なベクトルデータに変換出来る。
【００８５】
＜線画ブロック、図画ブロック等のベクトル化＞
ブロックセレクション処理（ステップ１２１）で、線画、図画、あるいは表領域と判定された領域を対象に、該領域中で抽出された画素塊の輪郭をベクトルデータに変換する。具体的には、輪郭をなす画素の点列を角と看倣される点で区切って、各区間を部分的な直線あるいは曲線で近似する。角とは曲率が極大となる点であり、曲率が極大となる点は、図１１に図示するように、任意点Ｐｉに対し左右ｋ個の離れた点Ｐｉ−ｋとＰｉ＋ｋの間に弦を引いたとき、この弦とＰｉの距離が極大となる点として求められる。さらに、（Ｐｉ−ｋとＰｉ＋ｋの間の弦の長さ／弧の長さ）をＲとし、Ｒの値が閾値以下である点を角とみなすことができる。角によって分割された後の各区間は、直線は点列に対する最小二乗法など、曲線は３次スプライン関数などを用いてベクトル化することができる。
【００８６】
また、対象が内輪郭を持つ場合、白画素の輪郭線追跡を行い、抽出した白画素輪郭の点列を用いて、同様に部分的直線あるいは曲線で近似する。
【００８７】
以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。元原稿がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。
【００８８】
さらに、図１２に示す様に、ある区間で外輪郭と、内輪郭あるいは別の外輪郭が近接している場合、２つの輪郭線をひとまとめにし、太さを持った線として表現することができる。具体的には、ある輪郭の各点Ｐｉから別輪郭上で最短距離となる点Ｑｉまで線を引き、各距離ＰＱｉが平均的に一定長以下の場合、注目区間はＰＱｉ中点を点列として直線あるいは曲線で近似し、その太さはＰＱｉの平均値とする。線や線の集合体である表罫線は、前記のような太さを持つ線の集合として効率よくベクトル表現することができる。
【００８９】
尚、先に文字ブロックに対する文字認識処理を用いたベクトル化を説明したが、該文字認識処理の結果、辞書からの距離が最も近い文字を認識結果として用いるが、この距離が所定値以上の場合は、必ずしも本来の文字に一致せず、形状が類似する文字に誤認識している場合が多い。従って、本実施形態では、この様な文字に対しては、上記した様に、一般的な線画と同じように扱い、該文字をアウトライン化するものとする。即ち、従来の文字認識処理で誤認識を起こす文字に対しても誤った文字にベクトル化されず、可視的にイメージデータに忠実なアウトライン化によるベクトル化が行える。
【００９０】
なお、写真と判定されたブロックに対しては本実施形態では、ベクトル化出来ない為、イメージデータのままとする。
【００９１】
上述したように任意形状の図形のアウトラインをベクトル化した後、これらベクトル化された区分線を図形オブジェクト毎にグループ化する処理について説明する。
【００９２】
図１３は、ベクトルデータを図形オブジェクト毎にグループ化するまでのフローチャートを示している。まず、各ベクトルデータの始点、終点を算出する（７００）。次に各ベクトルの始点、終点情報を用いて、図形要素を検出する（７０１）。図形要素の検出とは、区分線が構成している閉図形を検出することである。検出に際しては、閉形状を構成する各ベクトルはその両端にそれぞれ連結するベクトルを有しているという原理を応用し、検出を行う。次に図形要素内に存在する他の図形要素、もしくは区分線をグループ化し、一つの図形オブジェクトとする（７０２）。また、図形要素内に他の図形要素、区分線が存在しない場合は図形要素を図形オブジェクトとする。
【００９３】
図１４は、図形要素を検出するフローチャートを示している。先ず、ベクトルデータより両端に連結していない不要なベクトルを除去し、閉図形構成ベクトルを抽出する（７１０）。次に閉図形構成ベクトルの中から該ベクトルの始点を開始点とし、時計回りに順にベクトルを追っていく。開始点に戻るまで行い、通過したベクトルを全て一つの図形要素を構成する閉図形としてグループ化する（７１１）。また、閉図形内部にある閉図形構成ベクトルも全てグループ化する。さらにまだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。最後に、７１０で除去された不要ベクトルのうち、７１１で閉図形としてグループ化されたベクトルに接合しているものを検出し一つの図形要素としてグループ化する（７１２）。
【００９４】
以上によって図形ブロックを個別に再利用可能な個別の図形オブジェクトとして扱う事が可能になる。
【００９５】
＜差分情報のベクトル化処理＞
次にステップ１３２のベクトル化処理のうち、図２０で抽出された差分情報のベクトル化処理について説明する。
【００９６】
差分情報が文字画像を含む場合、先に説明を行った文字ブロックのベクトル化処理と同等な処理を行う。これにより、手書きされた文字、例えば図２１で示した手書き文字２１１８は、文字認識された後、文字のベクトル化もしくはフォント化される。
【００９７】
ところが手書き文字の場合、ブロックセレクションの結果、場合によってはテキストブロックと認識されずに細線と認識されラインブロックと判断される可能性がある。この場合には、先に説明を行った「線画ブロック、図画ブロック等のベクトル化処理」と同様に、輪郭を検出しアウトライン化することで、可視的にイメージデータに忠実なアウトラインによるベクトル化が行える。
【００９８】
また、図２１では手書き文字２１１８での例を示しているが、手書きの細線、図面などに関しても同様であり、線画や図画などはアウトラインによるベクトル化処理が行われてベクトル化される。
【００９９】
＜差分情報と電子ファイルとの合成処理＞
図２２は、差分部分のベクトル化が終了し、オリジナルの電子ファイルに合成した際の一例を示す図であり、図２１の入力画像データ２１１２の手書き文字２１１８をベクトル化した様子を示した図である。
【０１００】
図２２において２２００は、図２１の電子ファイル２１１０に、手書き文字２１１８をベクトル化したベクトル文字２２０１を合成後の新たな電子ファイルデータである。
【０１０１】
図２２に示したように手書き文字２１１８は、ベクトル化されて、ブロックレイアウト情報２１１３の座標に手書き文字に最も似たフォントおよびサイズでベクトル文字２２０１として元の電子ファイル２１１０に合成される。
【０１０２】
以上、入力された画像中に、手書き文字や、オリジナルの電子ファイルと異なる差分情報が含まれていた場合でも、入力画像と電子ファイルとの差分抽出を行い、その差分部分のベクトル化を行い、元の電子ファイルとの合成、保存、さらに格納アドレスの通知を行うことで、入力されたイメージデータの電子ファイル化を行うことができる。
【０１０３】
＜＜アプリデータへの変換処理＞＞
ところで、入力イメージデータのベクトル化処理（ステップ１３２）後の結果は、図１５に示す様な中間データ形式のファイルとして変換されている。このようなデータ形式はドキュメント・アナリシス・アウトプット・フォーマット（ＤＡＯＦ）と呼ばれる。
【０１０４】
図１５はＤＡＯＦのデータ構造を示す図である。図１５において、７９１はＨｅａｄｅｒであり、処理対象の文書画像データに関する情報が保持される。レイアウト記述データ部７９２では、文書画像データ中のＴＥＸＴ（文字）、ＴＩＴＬＥ（タイトル）、ＣＡＰＴＩＯＮ（キャプション）、ＬＩＮＥＡＲＴ（線画）、ＰＩＣＴＵＲＥ（自然画）、ＦＲＡＭＥ（枠）、ＴＡＢＬＥ（表）等の属性毎に認識された各ブロックの属性情報とその矩形アドレス情報を保持する。文字認識記述データ部７９３では、ＴＥＸＴ、ＴＩＴＬＥ、ＣＡＰＴＩＯＮ等のＴＥＸＴブロックを文字認識して得られる文字認識結果を保持する。表記述データ部７９４では、ＴＡＢＬＥブロックの構造の詳細を格納する。画像記述データ部７９５は、ＰＩＣＴＵＲＥ等のブロックのイメージデータを文書画像データから切り出して保持する。
【０１０５】
このようなＤＡＯＦは、中間データとしてのみならず、それ自体がファイル化されて保存される場合もあるが、このファイルの状態では、所謂一般の文書作成アプリケーションで個々のオブジェクトを再利用する事は出来ない。そこで、次に、図１６を用いて、このＤＡＯＦからアプリデータに変換する処理（ステップ１３０）について詳説する。
【０１０６】
ステップ８０００では、ＤＡＯＦデータの入力を行う。
【０１０７】
ステップ８００２では、アプリデータの元となる文書構造ツリー生成を行う。
【０１０８】
ステップ８００４では、文書構造ツリーを元に、ＤＡＯＦ内の実データを流し込み、実際のアプリデータを生成する。
【０１０９】
図１７は、ステップ８００２での文書構造ツリー生成の詳細フロー、図１８は、文書構造ツリーの説明図である。全体制御の基本ルールとして、処理の流れはミクロブロック（単一ブロック）からマクロブロック（ブロックの集合体）へ移行する。ここでブロックとは、ミクロブロック、及びマクロブロックについて示すものとする。
【０１１０】
ステップ８１００では、ブロック単位で縦方向の関連性を元に再グループ化する。スタート直後はミクロブロック単位での判定となる。ここで、関連性とは、距離の近さや、ブロック幅（横方向の場合は高さ）がほぼ同一であるかどうかなどで定義することができる。また、距離、幅、高さなどの情報はＤＡＯＦを参照し、抽出する。
【０１１１】
図１８（ａ）はページ構成例、（ｂ）はその文書構造ツリーである。ステップ８１００の結果、Ｔ３、Ｔ４、Ｔ５が同じ階層のグループＶ１として生成され、Ｔ６、Ｔ７が同じ階層のグループＶ２としてまず生成される。
【０１１２】
ステップ８１０２では、縦方向のセパレータの有無をチェックする。セパレータは、例えば物理的にはＤＡＯＦ中でライン属性を持つオブジェクトである。また論理的な意味としては、アプリ中で明示的にブロックを分割する要素である。ここでセパレータを検出した場合は、同じ階層で再分割する。
【０１１３】
ステップ８１０４は、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。ここで、縦方向のグループ長がページ高さ（該ページに存在する複数のブロックの最上端と最下端の距離）となっている場合は、文書構造ツリー生成は終了する。図１８の場合は、グループＶ１，Ｖ２には、セパレータもなく、グループ高さはページ高さではないので、ステップ８１０６に進む。
【０１１４】
ステップ８１０６は、ブロック単位で横方向の関連性を元に再グループ化する。このときの関連性、及びその判定情報の定義は、縦方向の場合と同様である。
【０１１５】
図１８の場合は、Ｔ１，Ｔ２でグループＨ１が生成され、また、Ｖ１，Ｖ２でグループＨ２が生成される。グループＨ１とＨ２は、Ｖ１，Ｖ２の１つ上の同じ階層のグループとして生成される。
【０１１６】
ステップ８１０８は、横方向セパレータの有無をチェックする。図１８では、Ｓ１があるので、これをツリーに登録し、Ｈ１、Ｓ１、Ｈ２という階層が生成される。
【０１１７】
ステップ８１１０は、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。ここで、横方向のグループ長がページ幅となっている場合は、文書構造ツリー生成は終了する。
【０１１８】
そうでない場合は、８１０２に戻り、再びもう一段上の階層で、縦方向の関連性チェックから繰り返す。
【０１１９】
図１８の場合は、分割幅がページ幅（該ページに存在する複数のブロックの最左端と最右端の距離）になっているので、ここで終了し、最後にページ全体を表す最上位階層のＶ０が文書構造ツリーに付加される。
【０１２０】
文書構造ツリーが完成した後、その情報を元にステップ８００４においてアプリデータの生成を行う。図１８の場合は、具体的には、以下のようになる。
【０１２１】
すなわち、Ｈ１は横方向に２つのブロックＴ１とＴ２があるので、２カラムとし、Ｔ１の内部情報（ＤＡＯＦを参照、文字認識結果の文章、画像など）を出力後、カラムを変え、Ｔ２の内部情報出力、その後Ｓ１を出力となる。
【０１２２】
Ｈ２は横方向に２つのブロックＶ１とＶ２があるので、２カラムとして出力、Ｖ１はＴ３、Ｔ４、Ｔ５の順にその内部情報を出力、その後カラムを変え、Ｖ２のＴ６、Ｔ７の内部情報を出力する。
【０１２３】
以上により出力された順番でアプリデータへの変換処理が行えるので、例えば文字領域の読み順などを正しい順番でアプリデータへ変換できる。
【０１２４】
＜＜ポインター情報の付加＞＞
次に、ステップ１３４で付加されたポインター情報をイメージデータにして印刷する際の処理について説明する。
【０１２５】
格納されている文書を紙に記録処理する場合、ポインター情報に基づくイメージデータを付与して記録する事で、この文書を用いて再度各種処理を行う場合に簡単に元ファイルデータを取得できるようになる。
【０１２６】
図１９はポインター情報としてのデータ文字列を２次元バーコード（ＱＲコードシンボル：ＪＩＳ Ｘ０５１０）３１１にて符号化（イメージ化）して画像中に付加する過程を示すフローチャートである。
【０１２７】
２次元バーコード内に組み込むデータは、対応するファイルのアドレス情報を表しており、例えばファイルサーバ名およびファイル名を含むパス情報で構成される。或いは、対応するファイルへのＵＲＬや、対応するファイルの格納されているデータベース１０５内あるいはＭＦＰ１００自体が有する記憶装置内で管理されるファイルＩＤ等で構成されるようにしても良い。
【０１２８】
まず、符号化する種種の異なる文字を識別するため、入力データ列を分析する。また、誤り検出及び誤り訂正レベルを選択し、入力データが収容できる最小型番を選択する（ステップ９００）。
【０１２９】
次に、入力データ列を所定のビット列に変換し、必要に応じてデータのモード（数字、英数字、８ビットバイト、漢字等）を表す指示子や、終端パターンを付加する。さらに所定のビットコード語に変換する（ステップ９０１）。
【０１３０】
この時、誤り訂正を行うため、コード語列を型番および誤り訂正レベルに応じて所定のブロック数に分割し、各ブロック毎に誤り訂正コード語を生成し、データコード語列の後に付加する（ステップ９０２）。
【０１３１】
該ステップ９０２で得られた各ブロックのデータコード語を接続し、各ブロックの誤り訂正コード語、必要に応じて剰余コード語を後続する（ステップ９０３）。
【０１３２】
次に、マトリクスに位置検出パターン、分離パターン、タイミングパターンおよび位置合わせパターン等とともにコード語モジュールを配置する（ステップ９０４）。
【０１３３】
更に、シンボルの符号化領域に対して最適なマスクパターンを選択して、マスク処理パターンをステップ９０４で得られたモジュールにＸＯＲ演算により変換する（ステップ９０５）。
【０１３４】
最後に、ステップ９０５で得られたモジュールに形式情報および型番情報を生成して、２次元コードシンボルを完成する（ステップ９０６）。
【０１３５】
上記に説明した、アドレス情報の組み込まれた２次元バーコードは、例えば、クライアントＰＣ１０２から電子ファイルをプリントデータとして記録装置１１２に紙上に記録画像として形成する場合に、データ処理装置１１５内で記録可能なラスターデータに変換された後にラスターデータ上の所定の個所に付加されて画像形成される。ここで画像形成された紙を配布されたユーザーは、画像読取り部１１０で読み取ることにより、前述したステップ１２３にてポインター情報からオリジナル電子ファイルの格納場所を検出することができる。
【０１３６】
尚、ポインター情報（アドレス情報）を付加する手法としては、本実施例で説明した２次元バーコードの他に、例えば、ポインター情報を直接文字列で文書に付加する方法や、文書内の文字列、特に文字と文字の間隔を変調して情報を埋め込む方法や、文書中の中間調画像中に埋め込む方法等、一般に電子透かしと呼ばれる方法が適用出来る。
【０１３７】
（その他の実施形態）
＜差分情報生成に関する別実施形態＞
上記説明において、抽出された差分情報をオリジナルの電子ファイルと合成して保存する場合を説明したが、オリジナル電子ファイルを差分抽出のための参照データとして利用することとし、差分情報を入力イメージ情報から分離してオリジナル電子ファイルと合成せずに別ファイルとして保存するような構成としても構わない。なお、差分情報は別ファイルとしてオリジナル電子ファイルと関連づけられて保存され、印刷出力時に合成して出力するようにしてもよい。
【０１３８】
このようにすればオリジナルの電子情報は改変されずにそのまま残り、差分情報のみがあらたな電子データとして保存されるため、ほぼ同じ内容の電子データが多数生成されてしまう、といった冗長性を回避することもできる。
【０１３９】
＜差分情報の合成に関する別実施形態＞
本別実施形態では、格納されているオリジナル電子ファイルについて、オリジナル電子ファイルに対する情報の追記／改変を禁止できるようにした場合について述べる。図３のステップ１２５あるいはステップ１２８において、オリジナル電子ファイルを特定できた場合、ステップ１３１では、該オリジナル電子ファイルを用いて入力イメージ情報から差分情報を抽出し、ステップ１３２では、該オリジナル電子ファイルが情報の追記／改変を禁止しているかどうか判断し、禁止していないと判断した場合は差分情報をベクトル化してオリジナル電子ファイルとを合成するものとする一方、禁止していると判断した場合は、差分情報をベクトル化するとともに入力イメージ情報の差分情報以外の画像部分もベクトル化して格納し、出力の際には、差分情報と入力イメージ情報の差分情報以外の画像とを合成して出力することとする。
【０１４０】
この場合もオリジナルの文書は差分抽出のために参照されるだけであり、生成される電子データは入力画像をベクトル化したものとなる。この場合、追記された差分情報をオリジナルを参照しながら確実に抽出できるため、差分情報を独立したオブジェクトとして扱うことができるようになり編集、再利用などでの有用性が高まることになる。
【０１４１】
＜ファイルアクセス権に関する別実施形態＞
我々が扱う文書ファイルの中には、第３者による再利用を制限すべき場合がある。先の実施例ではファイルサーバに蓄積されたファイルは全て自由にアクセス出来、ファイル全体、或いはその一部のオブジェクトは全て再利用が可能な事を前提に説明した。そこで、先の実施例でポインター情報からファイルを検索した際に、検索の結果、特定出来たファイルにアクセス権の制限が有る場合についての別実施例を図９を用いて説明する。ステップ４０３までは図８で示した先の実施例と同様の為、説明は省略する。ステップ４０３でファイルが特定された場合、ステップ４０４でファイルサーバはそのファイルのアクセス権情報を調べ、アクセス制限がある場合には、ＭＦＰに対してパスワードの送信を要求する（ステップ４０５）。
【０１４２】
ＭＦＰでは操作者に対してパスワードの入力を促し、入力されたパスワードをファイルサーバに送信する（ステップ４０６）。
【０１４３】
ファイルサーバは送信されてきたパスワードを照合して認証を行い（ステップ４０７）、認証成功した場合には、図３で説明した様に、ファイルのアドレスを通知（ステップ１３４）すると共に、ユーザの希望する処理が画像ファイルデータの取得であれば、ＭＦＰに対してファイルを転送する（ステップ４０８）。
【０１４４】
尚、アクセス権の制御を行う為の認証の方法は、ステップ４０５、４０６に示したパスワードによる方法に限定されず、例えば、指紋認証等の一般に広く用いられている生体認証、カードによる認証等、様々な認証手段を用いる事が出来る。
【０１４５】
又、本別実施例では紙文書に付加的に付与されたポインター情報によりファイルを特定した場合の実施例を示したが、図３のステップ１２６−１２８で示した検索処理でファイルを特定した場合においても同様のアクセス権制御が可能である。
【０１４６】
また、図３のステップ１３２で説明したベクトル化処理に対しても、アクセス制限を加える事が出来る。即ち紙文書を走査して得られたイメージ情報から、透かし等により該文書に対するアクセス権の制限の存在を検出した場合には、認証確認が取れた場合のみベクトル化処理を行う事で、機密性の高い文書の使用に制限をかける事が出来る。
【０１４７】
＜ファイル特定に関する別実施形態＞
先の実施例では原稿走査して得られるイメージ情報から元ファイルデータを特定する手段は、図３に示す様に、文書中に付与されたポインター情報に基づいて特定するか、或いは文書中に記載された各オブジェクト情報に基づいて対応する電子ファイルを検索するかのいずれかに依るが、より正確に元ファイルを特定するには、該両手段を満足する電子ファイルを特定すれば良い。即ち、原稿中から得られるポインター情報から元ファイルの存在が検出出来たとしても、更に該文書中のオブジェクト情報を使って、例えば、レイアウト情報に従うレイアウト検索、文字認識されたキーワードによる全文検索などを検出されたファイルに対して行い、高い一致が得られた場合に、該検出したファイルを、正式に元ファイルであると特定する。これは、例えば、ポインター情報の下位の部分が曖昧で有ったり、誤り訂正でも訂正できなかった場合に対して、検索の範囲を絞り込んでファイルを特定出来る為、より高速で、確度の高いファイル特定が行える。
【０１４８】
＜ベクトル化の別実施形態＞
先の実施例では検索手段で、元ファイルの特定が出来ない場合、イメージ画像全体に対してベクトル化処理を行うが、例えば、一般の文書の場合、文書中のオブジェクト全て新規に作成された物でなく、一部のオブジェクトは他のファイルから流用して作成される場合がある。例えば、背景オブジェクト（壁紙）は文書作成アプリケーションで幾つかのパターンを予め用意してあり、その中から選択して用いる場合がある。従って、このようなオブジェクトは文書ファイルデータベース中の他の文書ファイル中に存在している可能性が高く、又、再利用可能なベクトルデータとして存在する可能性が高い。
【０１４９】
そこで、図３のベクトル化処理１２９の別実施例として、ブロックセレクション処理で個別のオブジェクトに分割された各オブジェクトに対して、該オブジェクト単位でデータベース中から該一致するオブジェクトを含むファイルを検索し、一致したオブジェクトに対して、個別に該ファイルからオブジェクト単位でベクトルデータを取得する。これに依って、入力文書を、より高速にベクトル化出来、更に、ベクトル化による画質劣化を防止出来る。
【０１５０】
一方、図３において検索処理１２５−１２８で元ファイルがＰＤＦとして特定できた場合、該ＰＤＦがその文書の文字オブジェクトに対して既に文字認識された文字コードを付加ファイルとして有している場合がある。このようなＰＤＦファイルをベクトル化する際には、該文字コードファイルを用いれば、１２９以降のベクトル化処理の中の文字認識処理を省く事が出来る。即ち、ベクトル化処理をより高速に処理する事が可能に成る。
【０１５１】
上述した実施形態１及びその他の実施形態の記載に基づき、本発明を以下に総括する。
【０１５２】
（実施態様１）
入力されたイメージに基づいて、格納手段に格納されているオリジナル電子データを検索する検索ステップと、前記検索ステップで検索されたオリジナル電子データと前記入力されたイメージとを比較して差分情報を抽出する抽出ステップと、前記抽出ステップで抽出された差分情報をベクトルデータ化するベクトル化ステップと、前記ベクトルデータ化された差分情報を前記オリジナル電子データと合成する合成ステップとを有することを特徴とする画像処理方法。
【０１５３】
（実施態様２）
更に、前記合成ステップで合成されて生成された新たな電子データを格納手段に格納する格納ステップを有することを特徴とする実施態様１に記載の画像処理方法。
【０１５４】
（実施態様３）
前記検索ステップでは、前記入力されたイメージに付加されている、前記オリジナル電子データが格納されているアドレスを示す識別子を認識し、該識別子を認識した結果に基づいて前記オリジナル電子データを検索することを特徴とする実施態様１または２のいずれかに記載の画像処理方法。
【０１５５】
（実施態様４）
前記ベクトル化ステップでは、前記差分情報を文字認識した結果に基づいてベクトル化することを特徴とする実施態様１に記載の画像処理方法。
【０１５６】
（実施態様５）
前記ベクトル化ステップでは、前記差分情報の輪郭に基づいてアウトライン化してベクトル化することを特徴とする実施態様１に記載の画像処理方法。
【０１５７】
（実施態様６）
更に、前記検索されたオリジナル電子データに対しての情報の改変を禁止しているかどうか判断する判断ステップを有し、
前記判断ステップで禁止していないと判断した場合、前記ベクトル化ステップでは、前記抽出ステップで抽出された差分情報をベクトルデータ化して、前記合成ステップでは、該ベクトルデータ化された差分情報を前記オリジナル電子データと合成し、
前記判断ステップで禁止していると判断した場合、前記ベクトル化ステップでは、前記抽出ステップで抽出された差分情報と前記入力されたイメージに含まれる該差分情報以外の情報とをベクトル化することを特徴とする実施態様１に記載の画像処理装置。
【０１５８】
（実施態様７）
更に、前記格納ステップで格納された電子データに対し、該電子データの格納アドレスを示す情報を付加して印刷出力する印刷制御ステップを有することを特徴とする実施態様２に記載の画像処理方法。
【０１５９】
（実施態様８）
更に、前記抽出された差分情報を別ファイルとして格納手段に格納する格納ステップを有し、前記別ファイルとしての差分情報は、前記オリジナル電子データに関連づけられた形式で格納され、印刷出力時に前記合成ステップにより合成されて出力されることを特徴とする実施態様１に記載の画像処理方法。
【０１６０】
（実施態様９）
更に、前記合成ステップで合成されて生成された新たな電子データを、既存の文書作成アプリケーションで扱える既定のフォーマットに変換するフォーマット変換ステップを有することを特徴とする実施態様１に記載の画像処理方法。
【０１６１】
（実施態様１０）
更に、前記検索ステップでオリジナル電子ファイルが検索できなかった場合、前記入力されたイメージ全体をベクトル化するベクトル化ステップを有することを特徴とする実施態様１に記載の画像処理方法。
【０１６２】
（実施態様１１）
実施態様１乃至１０のいずれかに記載の各ステップを、コンピュータに実行させるためのコンピュータプログラム、あるいは該コンピュータプログラムを格納した記憶媒体も本発明を実現しうる。
【０１６３】
（実施態様１２）
入力されたイメージに基づいて、格納手段に格納されているオリジナル電子データを検索する検索手段と、前記検索手段で検索されたオリジナル電子データと前記入力されたイメージとを比較して差分情報を抽出する抽出手段と、前記抽出手段で抽出された差分情報をベクトルデータ化するベクトル化手段と、前記ベクトルデータ化された差分情報を前記オリジナル電子データと合成する合成手段とを有することを特徴とする画像処理システム。
【０１６４】
【発明の効果】
以上説明したように、本発明によれば、入力イメージ情報とオリジナル電子ファイルとの差分情報（オリジナルには存在しない追記情報）を抽出することができるようになる。
【０１６５】
また抽出された追記情報とオリジナルの電子ファイルを合成して保存することにより、オリジナルデータに追記情報を付加した高品位な電子ファイルを生成することができる。
【０１６６】
また追記された差分情報もベクトル化処理する事で追記情報も含めて再利用性、編集可能性を大きく高める事ができ、更に、必要とされる記憶容量も少なくて済むようにできる。
【図面の簡単な説明】
【図１】画像処理システム構成例
【図２】ＭＦＰ構成例
【図３】画像処理の全体動作の概要を示すフローチャート
【図４】ブロックセレクション処理の例
【図５】ブロック情報および入力ファイル情報の構成例
【図６】２次元バーコードの復号処理フローチャート
【図７】２次元バーコードが付加された原稿の例
【図８】ポインター情報によるファイル検索フローチャート
【図９】アクセス制限つきのファイル検索フローチャート
【図１０】ファイルのレイアウト検索処理フローチャート
【図１１】ベクトル化処理の説明図
【図１２】ベクトル化処理の説明図
【図１３】ベクトルデータのグループ化処理フローチャート
【図１４】図形要素検出フローチャート
【図１５】ＤＡＯＦのデータ構造
【図１６】アプリデータ変換フローチャート
【図１７】文書構造ツリー作成フローチャート
【図１８】文書構造ツリー作成説明図
【図１９】ポインター情報付加フローチャート
【図２０】差分抽出処理フローチャート
【図２１】差分抽出処理の説明図
【図２２】差分部分のオリジナルファイルへの合成

Claims (1)

1. 入力されたイメージに基づいて、格納手段に格納されているオリジナル電子データを検索する検索ステップと、
   前記検索ステップで検索されたオリジナル電子データと前記入力されたイメージとを比較して差分情報を抽出する抽出ステップと、
   前記抽出ステップで抽出された差分情報をベクトルデータ化するベクトル化ステップと、
   前記ベクトルデータ化された差分情報を前記オリジナル電子データと合成する合成ステップと
   を有することを特徴とする画像処理方法。

Images