JP2007265007A - 画像処理装置および文書管理システム - Google Patents

Abstract

【課題】手書きメモの入った印刷文書を複写する際に、新バージョン文書データがあれば差し替える。差し替えの際は、手書きメモを、新バージョン文書データの適切な箇所に反映させる。
【解決手段】文書管理システムは、記憶手段２１、読み取り手段１１、検出手段１５８及び制御手段１５を備える。記憶手段２１は、文書が識別可能な文書識別情報を、文書データと関連付けて記憶する。読み取り手段１１は文書を読み取り、検出手段１５８により文書中に含まれる文書識別情報を検出する。制御手段１５は、検出した文書識別情報を用いて、読み取った画像に対応する文書データを記憶手段２１から検索し、読み取った画像から文書データが更新されていることを判断すると、更新された内容に基づいて、読み取った画像から抽出した手書画像と文書データを合成する。
【選択図】図１

Description

本発明は、文書の更新を支援するための画像処理装置及び文書管理システムに関する。

印刷した文書に対して手書きのメモを書き込むことがあるが、印刷元の文書データがバージョンアップにより修正されてしまうと、手書きメモを書き込んだ印刷文書が古くなってしまう。

そのような状況下においては、手書きメモのある古い印刷文書と、手書きメモのない新しい文書が存在することになる。

ユーザが手書きメモと新しい印刷文書の両方を必要とするとき、両方の印刷文書を持ち歩かなければならず、かさばってしまう問題がある。また、ユーザの手で、新しい印刷文書に手書きメモを転記するのは、非常に面倒な作業である。

これらに対し、印刷文書に埋め込まれた文書識別情報を利用して、ユーザが印刷文書を複写しようとした場合に新しいバージョンの新文書データがあれば差し替え、さらに、印刷文書に書き込まれた手書画像を新文書データに合成する技術が、特許文献１において提案されている。
特開２００２−１９７１０１号公報

しかしながら、旧文書である印刷文書から新文書データへの更新内容が追加や削除であると、旧文書において手書画像の書き込み先の位置が、新文書データでは変更になる場合がある。

そのような場合に、上述の公報のような、手書画像と新文書データとの単純な合成では、更新内容を考慮していないため、新文書データにおける適切な書き込み先に手書画像が合成されない問題があった。

そこで、この発明の目的は、印刷文書に書き込まれた手書画像を新文書データに反映する際に、新文書データの更新内容に応じて適切な箇所に手書画像を合成させる画像処理装置及び文書管理システムを提供することである。

本発明の画像処理装置は、記憶手段、読み取り手段、検出手段及び制御手段を備える。

記憶手段は、文書が識別可能な文書識別情報を、文書データと関連付けて記憶する。文書識別情報は、例えば、文書毎に割り当てられた番号である。さらに、文書識別情報は、同一文書のバージョンを識別するためのバージョン番号を含んでもよい。

検出手段は、読み取った画像から文書識別情報を検出する。例えば、文書識別情報が文書毎に割り当てられた番号であれば、読み取った画像の文字認識を行うことで割り当てられた番号を検出する。

制御手段は、検出した文書識別情報を用いて、読み取った画像に対応する文書データを記憶手段から検索し、読み取った画像から文書データが更新されていることを判断すると、更新された内容に基づいて、読み取った画像から抽出した手書画像と文書データを合成する。

読み取った画像から文書データが更新されていることの判断として、例えば、検出した文書識別情報に含まれるバージョンよりも、新しいバージョンである新バージョン文書データを、記憶手段から検索することにより行われる。

更新された内容は、例えば、新バージョン文書データに関連付けて記憶される。

手書画像とは、例えば、読み取った画像と同じバージョンである旧バージョン文書データと、読み取った画像との差分により得られた画像である。

上記のような画像処理装置では、読み取った画像から文書データが更新されていると、更新された内容に応じて、手書画像と文書データを合成することができる。

追加や削除等の更新によっては、旧文書における手書画像の書き込み先の位置が、新文書データでは変更になる場合がある。そのような場合に、新文書データの更新内容に応じて適切な箇所に、手書画像を合成させることができる。

更に、本発明の画像処理装置における制御手段は、読み取った画像における差分画像の位置情報を抽出し、旧バージョン文書データ又は読み取った画像から、差分画像の近傍位置にある近傍データを検出し、検出された近傍データに基づいて合成してもよい。

読み取った画像における差分画像の位置情報は、例えば、読み取った画像における手書画像の座標である。

差分画像の近傍位置にある近傍データとは、例えば、手書画像が旧文書の所定文章に対する注釈である場合に、手書画像の近傍位置にある所定文章のことである。

検出された近傍データに基づく合成は、例えば、検出された近傍データと差分画像との相対位置と、新バージョン文書データに含まれる近傍データの位置情報に基づいて、差分画像の合成位置を決めてもよい。

上記のような画像処理装置では、旧文書における手書画像の書き込み先を、手書画像の近傍位置にある近傍データとし、近傍データに基づいて新文書データに手書画像を合成することができる。即ち、旧文書における手書画像の書き込み先の位置が、新文書データでは変更になっても、新文書データにおける書き込み先の近傍に手書画像を合成させることができる。

以上、説明したように、本発明の文書管理システムでは、読み取った画像から文書データが更新されていると、更新された内容に応じて、手書画像と文書データを合成することができる。追加や削除等の更新によっては、旧文書における手書画像の書き込み先の位置が、新文書データでは変更になる場合がある。そのような場合に、新文書データの更新内容に応じて適切な箇所に、手書画像を合成させることができる。

以下に、本発明の実施の形態について、図面を参照しながら説明する。

図１は、本発明の一実施形態である文書管理システムの構成を示すブロック図である。この文書管理システムは、ネットワークに接続された画像処理装置１（MFP（Multi Functtion Printer：マルチファンクションプリンタ））と文書サーバ２（文書管理装置）を備えている。これらは、それぞれ単数であっても複数であってもよい。

画像処理装置１は、手書画像を含む原稿画像を読み取り、読み取られた画像から手書画像を抽出する。 文書サーバ２には、読み取られた画像に対応する電子文書が旧バージョン文書データとして記憶され、読み取られた画像より新しいバージョンの電子文書が新バージョン文書データとして記憶されている。画像処理装置１における手書画像の抽出は、文書サーバ２から取得した旧バージョン文書データと、読み取られた画像の差分により行われる。画像処理装置１は、抽出された手書画像を、文書サーバ２から取得した新バージョン文書データと合成する。

文書サーバ２は、記憶部２１、制御部２２、及び、接続されているネットワークとのインターフェースである通信I／F２３を備えている。記憶部２１には、文書データ、文書IDテーブルを記憶している。文書データは、図示されていないユーザ端末のアプリケーションソフトを用いて作成されたデータである。尚、文書データは、アプリケーションソフトによって文書として編集可能なデータの他、TIFFデータやビットマップ等の文書として編集できない画像データであってもよい。文書IDテーブルは、文書IDとバージョンで構成される文書識別情報を含み、文書データ毎のバージョンや更新情報を管理するテーブルであるが、内容については後段で詳しく説明する。

制御部２２は、文書サーバ１を制御するCPUである。例えば、文書IDテーブルに対する編集や参照等の管理や、文書IDテーブルに基づいて文書データへのアクセスを行う。

画像処理装置１は、画像読み取り部１１、画像形成部１２、表示パネル１３、操作入力部１４、制御部１５、及び、通信I／F１６を備えている。画像読み取り部１１は、画像をスキャナ（CCD）等で読み取り、ビットマップに変換する部分である。画像形成部１２は、ビットマップ化されたデータを例えば静電プロセスによって紙に像形成する部分である。表示パネル１３は、読み取った画像から抽出した手書画像を、新バージョン文書データに合成させた状態などの表示を行う。操作入力部１４は、ユーザによって、手書画像の合成位置修正や一般的な読み取り条件設定を行わせるための、ユーザインターフェースである。

制御部１５は、画像処理装置１を制御するCPUであり、表示制御部１５１、印刷データ展開部１５２、画像差分・合成部１５３、文字認識部１５４、線分・図形認識部１５５、画素位置検出部１５６、近傍データ検出部１５７、文書ID検出部１５８を備えている。

表示制御部１５１は、操作入力部１４の入力に応じて表示パネル１３に表示する画面を生成する。印刷データ展開部１５２は、文書データや、図示されていないユーザ端末のプリンタドライバが生成したページ記述言語から、ビットマップ化された印刷データを生成する。画像差分・合成部１５３は、読み取られた画像の電子文書である旧バージョン文書データと、読み取られた画像の差分を行うことで、手書画像を抽出する。更に、画像差分・合成部１５３は、読み取られた画像より新しいバージョンである新バージョン文書データに対して、手書画像を合成する。尚、旧バージョン文書データと新バージョン文書データは、文書サーバ２の記憶部２１から取得する。

文字認識部１５４は、読み取られた画像に含まれる文字を認識する。線分・図形認識部１５５は、読み取られた画像に含まれる所定線分・図形を認識する。

例えば、文字認識部１５４は、読み取られた画像に含まれる文書IDやバージョンが、文書やバージョンを識別する番号であると、その番号を認識することができる。

画素位置検出部１５６は、読み取られた画像における手書画像の画素位置を検出する。

近傍データ検出部１５７は、読み取られた画像又は旧バージョン文書データに対して、画素位置検出部１５６により検出された画素位置の近傍にあるデータを検出する。

読み取られた画像に対して近傍データを検出する場合は、手書画像の画素位置から所定範囲内にある文字を、文字認識部１５４によって認識する。旧バージョン文書データに対して近傍データを検出する場合は、手書画像の画素位置から所定範囲内にある文字を抽出する。

近傍データ検出部１５７により検出された近傍データは、新バージョン文書データと手書画像の合成位置の判断に用いられる。

文書ID検出部１５８は、読み取られた画像に含まれる文書識別情報を検出する。例えば、画像の特定位置に付加された文書識別情報を抽出する。文書ID検出部１５８で検出された文書識別情報は、文字認識部１５４で文字認識される。

尚、表示制御部１５１、印刷データ展開部１５２、画像差分・合成部１５３、文字認識部１５４、線分・図形認識部１５５、画素位置検出部１５６、近傍データ検出部１５７、文書ID検出部１５８は、画像処理装置１内のメモリから読み出されたプログラムを用いて実現される。

通信I／F１６は、接続されているネットワークとのインターフェースである。

図２は、文書サーバ２の記憶部２１に記憶された文書IDテーブルを示す。

文書IDテーブルは、文書ID３１、バージョン３２、記憶場所３３、文書属性３４、及び、更新情報３５で構成される。

文書ID３１は、文書を識別する番号を示す。バージョン３２は、同一文書のバージョンを識別する番号を示す。同一文書でバージョンが異なる場合は、文書ID３１が同一で、バージョン３２が異なることになる。

記憶場所３３は、文書データの記憶位置を示す。文書属性３４は、文書データのファイル属性を示す。例えば、文書属性が、文書ファイルであれば、文書作成アプリケーションソフトを用いて作成された編集可能なデータである。文書属性が、画像ファイルであれば、画像作成アプリケーションを用いて作成されたデータである。

更新情報３５は、位置３５１、内容３５２、及び、操作３５３で構成される。

位置３５１は、旧バージョンから更新した内容の位置情報を表す。内容３５２は、旧バージョンから更新した内容を表す。操作３５３は、旧バージョンからの操作内容を表す。

例えば、文書ID「０００１１１」バージョン「１．２」では、位置３５１「０１ｈｙｏｕ（２，２）」に、内容３５２「０４Ｔ３２」を、操作３５３「挿入」したことを示す。

また、内容３５２「１５７００→１８７００」と操作３５３「更新」は、バージョン「１．１」の「１５７００」を、バージョン「１．２」では「１８７００」に更新したことを示す。

更新情報は、アプリケーションソフトにおける文書作成時に操作履歴から生成してもよいし、バージョンの異なる文書データ間の差分に基づいて生成してもよい。

図２のように、同一文書のバージョン毎に、文書データと更新情報が関連付けられている。

図３は、手書画像に関する情報を管理する手書画像管理テーブルを示す。

手書画像管理テーブルは、画像処理装置１の図示しない一時記憶装置に記憶され、新バージョン文書データに合成後に削除する。また、手書画像管理テーブルは、文書サーバ２の記憶部２１に記憶し、合成後も削除せず残してもよい。

手書画像管理テーブルは、文書ID４１、バージョン４２、及び、手書画像情報４３で構成される。

文書ID４１は、文書を識別する番号を示す。バージョン４２は、同一文書のバージョンを識別する番号を示す。

手書画像情報４３は、位置４３１、領域４３２、記憶場所４３３、画像属性４３４、近傍データ位置４３５、及び、近傍データ４３６からなる。

位置４３１は、画素位置検出部１５６で検出された手書画像の各画素位置の中で、代表的な画素位置を示す。例えば、各画素位置を示す座標において、上端で左端の位置座標が、代表的な画素位置となる。

領域４３２は、手書画像の各画素位置に基づいて算出された手書画像領域を示す。

例えば、各画素位置を示す座標において、上端で左端の位置座標と、下端で右端の位置座標が、手書画像領域として示される。

記憶場所４３３は、画像差分・合成部１５３で抽出された手書画像の記憶位置を示す。

画像属性４３４は、手書画像の画像属性を示す。手書画像は画像差分・合成部１５３の差分により抽出されたものであり、差分は画素単位で行われるため、一般的に手書画像の画像属性はビットマップである。画像属性４３４の「BMP」とはビットマップのことである。

近傍データ位置４３５は、近傍データ検出部１５７により検出された近傍データの位置を示す。

近傍データ４３６は、近傍データ検出部１５７により検出された近傍データの内容を示す。

図３のように、同一文書のバージョン毎に、手書画像が関連付けられている。

図４は、画像読み取り部１１により読み取られた画像の一例を示す。

「ＩＤ．０００１１１」５７が文書ＩＤとして、「Ｖｅｒ．１．１」５８がバージョンとして、読み取られた画像に含まれる。

表５２の「Ｎｏ．１」における製品コード「０１Ｓ５４３」の単価「５４００」の近傍に、「←未確認」５１という手書画像がある。

画像差分・合成部１５３によって、読み取られた画像から手書画像が抽出される。

また、文書ＩＤ検出部１５８によって、「ＩＤ．０００１１１」５７と「Ｖｅｒ．１．１」５８が検出される。

図５は、図４の画像から抽出された手書画像の一例である。

図６は、図５の手書画像を新バージョン文書データに合成した状態の一例である。

新バージョン文書データでは、表５２の製品コード「０１Ｓ５４３」の単価「５４００」は、「Ｎｏ．１」から「Ｎｏ．２」の行に移動する代わりに、「Ｎｏ．１」の行には製品コード「０４Ｔ３２」の単価「３０００」が挿入されている。

また、文書ＩＤとして「ＩＤ．０００１１１」５９が、バージョンとして「Ｖｅｒ．１．２」６０が、新バージョン文書データに含まれる。

製品コード「０１Ｓ５４３」の単価「５４００」の位置が移動しても、単価「５４００」の近傍に、「←未確認」５１を合成する。

図７は、画像処理装置１において手書画像を含む原稿を複写する場合の流れを示す。

まず、手書画像を含む原稿を画像読み取り部１１により読み取る（Ｓ６１）。次に、文書ＩＤ検出部１５８によって、読み取られた画像の所定領域にある文書ＩＤとバージョンを検出する（Ｓ６２）。検出された文書ＩＤとバージョンは、文字認識部１５４において認識される。画像処理装置１は、通信Ｉ／Ｆ１６を介して、文書サーバ２に対して認識された文書ＩＤとバージョンを送る。文書サーバ２の制御部２２は、送られた文書ＩＤと同一で、送られたバージョンより新しいバージョンを持つ新バージョン文書データを、記憶部２１の文書ＩＤテーブルから検索する。例えば、図４に示す読み取られた画像に対して、文書ＩＤ「０００１１１」でバージョン「１．１」が抽出された場合、図２の文書ＩＤテーブルから文書ＩＤ「０００１１１」でバージョン「１．２」が検索される。

送られた文書ＩＤと同一で、送られたバージョンよりも新しいバージョンを持つ新バージョン文書データが無かった場合（Ｓ６３）、文書サーバ２の制御部２２は、画像処理装置１に対して新バージョン文書データが無いことを通知する。通知を受け取った画像処理装置１は、新しいバージョンを持つ文書データが無い旨の表示画面を表示制御部１５１で生成し、表示パネル１３に表示させる（Ｓ６９）。その後、読み込んだ画像に基づいて印刷を行う（Ｓ６８）。

一方、送られた文書ＩＤと同一で、送られたバージョンよりも新しいバージョンを持つ新バージョン文書データが有った場合（Ｓ６３）、文書サーバ２の制御部２２は、新バージョン文書データと更新情報を、画像処理装置１に対して送る。例えば、Ｓ６２で、文書ＩＤ「０００１１１」でバージョン「１．１」が抽出された場合、制御部２２は、関連付けられた文書データの記憶場所３３「△△△フォルダ／納品リスト20060130」を参照して、新バージョン文書データを取得する。同様に、制御部２２は、関連付けられた更新情報３５を取得し、新バージョン文書データとともに更新情報３５を送る。尚、図２の更新情報３５は、文書データと異なる場所に記憶されているが、文書データに付加されたものであって文書データと同一場所に記憶されたものであってもよい。

新バージョン文書データと更新情報を受け取った画像処理装置１の制御部１５は、読み取られた画像から手書画像の抽出を行う（Ｓ６４）。その後、更新情報に基づいて、抽出された手書画像を新バージョン文書データに反映する（Ｓ６５）。

画像処理装置１は、図示しない原稿検知センサによって、２枚目以降の読み取り原稿がセットされているかを判断する（Ｓ６６）。読み取り原稿がセットされていない場合（Ｓ６６）、手書画像を反映した新バージョン文書データを、読み取り画像の代わりに印刷する（Ｓ６８）。読み取り原稿がセットされている場合（Ｓ６６）、画像読み取り部１１によって、原稿の読み取りを行う（Ｓ６７）。その後、前に読み取った原稿と同様に、手書画像の抽出（Ｓ６４）と手書画像の反映を行う（Ｓ６５）。

ここで、２枚目以降の読み取り原稿がセットされる例としては、複数ページからなる原稿に対して任意のページに手書メモを書き込み、全ページを読み取り原稿としてセットされる場合である。最初のページに文書ＩＤとバージョンが付加され、最初のページから抽出された文書ＩＤとバージョンに基づいて新バージョン文書データ及び更新情報を取得する。取得した新バージョン文書データ及び更新情報は全ページ分あるため、２枚目以降の読み取り原稿に対して文書ＩＤやバージョンの抽出を行う必要がない。

図８と図９は、画像処理装置１における手書画像抽出の流れで、Ｓ６４の詳細処理を示す。

まず、Ｓ６２で抽出された文書ＩＤとバージョンが同一の文書データを、旧バージョン文書データとして抽出する（Ｓ７１）。抽出は、文書サーバ２の制御部２２で、記憶部２１の文書ＩＤテーブルに基づいて行う。例えば、図４に示す読み取られた画像から、文書ＩＤ「０００１１１」でバージョン「１．１」が抽出された場合、図２の文書ＩＤテーブルから、同一文書ＩＤと同一バージョンに関連付けられた記憶場所３３「△△△フォルダ／納品リスト20060106」を参照して、旧バージョン文書データを取得する。

又は、文書サーバ２から取得した新バージョン文書データと更新情報３５に基づいて、読み取られた画像と同一バージョンである旧バージョン文書データに変換する（Ｓ７１）。

図２の文書ＩＤテーブルではバージョン毎に文書データの記憶場所がある例であるが、最新バージョンのみ文書データが記憶される場合がある。最新バージョンのみ文書データが記憶されていても、バージョン毎の更新情報に基づいて、旧バージョンの文書データに変換することができる。例えば、文書ＩＤ「０００１１１」の最新バージョンが「１．２」であった場合、最新バージョンに関連付けられた更新情報３５は、一つ前のバージョン「１．１」の文書データからの更新情報である。最新バージョンに関連付けられた文書データに対して、更新情報３５を反映させないような変換を行うことで、バージョン「１．１」の文書データを生成することができる。

次に、画像差分・合成部１５３において、読み取られた画像と旧バージョン文書データとの差分処理を行うことで、手書画像を抽出する（Ｓ７２）。旧バージョン文書データの文書属性３４がビットマップ化されていないものであれば、ビットマップ化を行う。読み取られた画像はビットマップであるため、ビットマップ同士の差分を行う。Ｓ７２の差分処理により、図５のような差分画像が得られる。

その後、画素位置検出部１５６において、手書画像の画素位置を検出し、画像領域を算出する（Ｓ７３）。 例えば、図５の手書画像から白データ以外の各画素位置を検出することで、「←未確認」５１を構成する各画素位置を検出する。各画素位置を示す座標において、上端で左端の位置座標を検出する。図５の手書画像において、上端の位置座標は「未」の上端位置になり、左端の位置座標は「←」の矢印先端位置になる。上端で左端の位置座標は、点５４になる。同様に、下端で右端の位置座標を、点５５として算出する。点５４と点５５を用いて画像領域５３を表すことができるため、点５４と点５５の座標を手書画像の領域として記憶する。手書画像領域は、図３の手書画像管理テーブルの領域４３２に、文書ＩＤ４１やバージョン４２と関連付けて記憶する。

次に、抽出された手書画像に対して、線分・図形認識部１５５により、線分抽出を行う（Ｓ７４）。 手書画像の線分が抽出された場合（Ｓ７５）、線分に所定の矢印があるかを認識する（Ｓ７６）。

線分に矢印があった場合（Ｓ７７）、近傍データ検出部１５７において、旧バージョン文書データの中で、矢印の先端位置と最も近い位置のデータを抽出する（Ｓ７８）。例えば、図５の手書画像では、矢印の先端位置にある点５６の座標を抽出する。点５６の座標に最も近い位置にあるデータとして、図４の「５４００」を抽出する。

旧バージョン文書データが、文書作成アプリケーションソフトを用いて作成された編集可能なデータであれば、文書データ中に含まれる文字列や表を制御コマンドとして認識する。従って、旧バージョン文書データを参照すると、点５６の座標が、表５２中のどのセルに位置するかを認識でき、セル中にある文字列「５４００」も認識できる。

尚、旧バージョン文書データが画像ファイルであれば、文字認識を行って、点５６の座標と最も近い位置にある文字を認識する。文字認識では、「５４００」で一つの数字になっていることまで認識することができないため、最も近い「４」のみ認識する。

Ｓ７８で、抽出されたデータは、手書画像と関連付けて記憶する（Ｓ８１）。抽出されたデータは、図３の手書画像管理テーブルの近傍データ４３６に記憶され、抽出されたデータの位置は近傍データ位置４３５に記憶される。また、手書画像から最も近いデータの抽出基準となった点５６の座標は、位置４３１に記憶される。図３の手書画像管理テーブルでは、手書画像の位置４３１、領域４３２、記憶場所４３３、画像属性４３４、近傍データ位置４３５及び近傍データ４３６が、関連付けられる。例えば、抽出された近傍データ４３６「５４００」に対して、近傍データ位置４３５「０１ｈｙｏｕ（２，３）」を認識する。「０１ｈｙｏｕ（２，３）」の「０１ｈｙｏｕ」は１番目の表であること、「（２，３）」は表中のセル位置を示す。

手書メモに矢印がある場合は、矢印先端の近傍にあるデータに対する注釈として、手書メモしている可能性が高い。そこで、矢印先端から近傍する位置にある近傍データを記憶することで、新バージョン文書データと読み取り画像の近傍データ位置が異なっていても、新バージョン文書データの近傍データの近くに、手書メモを反映することができる。

Ｓ７７で、線分に矢印が無い場合、近傍データ検出部１５７において、旧バージョン文書データの中で、線分の端位置と最も近い位置のデータを抽出する（Ｓ７９）。 線分の端位置は２つあるが、手書画像領域の何れかの端に最も近い方を選択する。例えば、図５の手書画像の線分に矢印が無かった場合、線分には、「未」に近い方の端位置と、点５６の端位置がある。手書画像領域の下端及び左端に位置する点５６を選択し、点５６と最も近い位置のデータを抽出する。点５６から最も近い位置のデータを抽出する方法は、Ｓ７８と同様である。そして、抽出されたデータは、手書画像と関連付けて記憶する（Ｓ８１）。

手書メモに線分がある場合は、線分先端の近傍にあるデータに対する注釈として、手書メモしている可能性が高い。そこで、線分先端から近傍する位置にある近傍データを記憶することで、新バージョン文書データと読み取り画像の近傍データ位置が異なっていても、新バージョン文書データの近傍データの近くに、手書メモを反映することができる。

Ｓ７５で、手書画像の線分が抽出されなかった場合、近傍データ検出部１５７において、旧バージョン文書データの中で、手書画像の代表的な画素位置と最も近い位置のデータを抽出する（Ｓ７９）。手書画像の代表的な画素位置は、上端で左端の位置座標や、上端で右端の位置座標である。横書きのメモであれば左端から書き始め、縦書きのメモであれば右端から書き始める。書き始め位置の近傍にあるデータに対する注釈として、手書メモしている可能性が高い。そこで、代表的な画素位置として、上端で左端の位置座標や、上端で右端の位置座標とすることで、代表的な画素位置からの近傍データを基準として、新バージョン文書データに対して手書メモを反映することができる。

代表的な画素位置から最も近い位置のデータを抽出する方法は、Ｓ７８と同様である。

そして、抽出されたデータは、手書画像と関連付けられて記憶する（Ｓ８１）。

図１０は、画像処理装置１における手書画像反映の流れで、Ｓ６５の詳細処理を示す。

図１０の説明のために、ここで、図４とは異なる画像が読み取られた例を図１１〜図１３に示す。

図１１は、画像読み取り部１１により読み取られた画像の一例を示す。

１〜Ｎページの画像が読み取られている。１ページ目の画像は図１１（Ａ）、２ページ目の画像は図１１（Ｂ）、Ｎページ目の画像は図１１（Ｃ）で示される。

手書画像は、図１１（Ａ）の１０１と図１１（Ｃ）の１０２である。

「ＩＤ．００１１０１」１０４が文書ＩＤとして、「Ｖｅｒ．１．０」１０５がバージョンとして、読み取られた画像に含まれる。

図１２は、図１１の画像から抽出された手書画像の一例である。

図１１の画像から、「ＩＤ．００１１０１」１０４と「Ｖｅｒ．１．０」１０５が、文書ＩＤ検出部１５８によって検出された場合は、図２の文書ＩＤテーブルの記憶場所３３「○○サーバ／仕様書ver.1.0」から旧バージョン文書データを、「○○サーバ／仕様書ver.1.1」から新バージョン文書データを抽出する。

手書画像１０１の抽出後、図３の手書画像管理テーブルに、位置４３１「Ｐ．１ １４０、２３８」、領域４３２「１４０，２３８−１５３，２３５」、記憶場所４３３「一時フォルダ／IMG923」、画像属性４３４「ＢＭＰ」、近傍データ位置４３５「Ｐ．１ １２５，２５７」、近傍データ４３６「“第”」が記憶される。手書画像１０１は、線分がないため、Ｓ８０の処理を行う。Ｓ８０で、手書画像の代表的な画素位置は、上端で左端の位置座標とすると、代表的な画素位置から最も近いデータは「“第”」になる。尚、新バージョン文書データの画像属性３４が画像ファイルなので、文字認識を行っても、「第１開発部」で一つの名詞になっていることを認識できない。

同様に、手書画像１０２の抽出後、図３の手書画像管理テーブルに、位置４３１「Ｐ．Ｎ １８７、１８９」、領域４３２「１８７，１８９−２１５，１９７」、記憶場所４３３「一時フォルダ／IMG924」、画像属性４３４「ＢＭＰ」、近傍データ位置４３５「Ｐ．Ｎ １８４，１９２」、近傍データ４３６「“下”」が記憶される。

図１３では、図１１の手書画像を新バージョン文書データに合成した状態を示す。

図１３（Ａ）は、手書画像１０１を新バージョン文書データに合成していないのは、新バージョン文書データの「ｖｅｒ．１．１」１０３があるので、ユーザが合成しないと選択したためである。

図１０では、まず、手書画像に関連付けられた近傍データ４３６は、新バージョン文書データに含まれるかを判断する（Ｓ９１）。 更新情報として、近傍データが削除されたことを示す情報があれば、近傍データは新バージョン文書データに含まれていないと判断する。

近傍データ４３６が、新バージョン文書データに含まれないと判断した場合、手書画像領域が更新情報のデータ領域と重複しているか判断する（Ｓ９４）。 手書画像１０１の画像領域４３２と、更新情報の内容３５２「“ｖｅｒ．１．１”」のデータ領域が重複していれば、手書画像の内容が既に新バージョン文書データに反映されている可能性がある。手書画像の画像領域と更新情報のデータ領域の大部分が重複しているかを判断してもよい。

Ｓ９４で重複していると判断した場合、表示制御部１５１は、手書画像と新バージョン文書データを別々に、表示パネル１３に表示させる（Ｓ９２）。そして、手書画像と新バージョン文書データの合成の有無、合成位置を、操作入力部１４を用いて、ユーザに選択させる。図１４に、手書画像１０１と、新バージョン文書データを別々に表示した例を示す。

「合成する」１１０と、「合成しない」１１１の選択入力によって、合成の有無を決める。

例えば、「合成しない」１１１を選択した場合、図１３（Ａ）のように手書画像１０１を新バージョン文書データに合成させない。

「合成する」１１０が選択された場合は、ユーザが合成位置を設定する。画像差分・合成部１５３は、ユーザの設定した合成位置に基づいて、再度合成する。

Ｓ９４で重複しないと判断した場合、手書画像に関連付けられた近傍データ４３６を、新バージョン文書データから検索する（Ｓ９５）。検索は、更新情報に基づいて行う。例えば、図４の手書画像における近傍データ位置４３５「０１ｈｙｏｕ（２，３）」の近傍データ４３６「“５４００”」は、更新情報の位置３５１「０１ｈｙｏｕ（２，３）」と操作３５３「“挿入”」により、画像位置が変更したことがわかる。近傍データ４３６を検索すると、新バージョン文書データにおける近傍データ４３６の位置に基づいて手書画像を合成する（Ｓ９６）。手書画像管理テーブルの位置４３１と近傍データ位置４３５によって、手書画像と近傍データの相対的な位置関係が算出される。新バージョン文書データにおける近傍データ４３６の位置を基準として、算出された相対位置に手書画像を合成させる。図６のように、手書画像を「“５４００”」の近傍位置に合成できる。

合成した画像は表示パネルに表示させ、操作入力部１４を用いて、ユーザに合成位置修正させる（Ｓ９７）。

図１５は、手書画像を新バージョン文書データに反映させて表示した画面を示す。

「変更する」１２０と、「変更しない」１２１の選択入力によって、位置修正の有無を決める。「変更する」１２０が選択された場合は、ユーザが合成位置を設定する。

画像差分・合成部１５３は、ユーザの設定した合成位置に基づいて、再度合成する。

Ｓ９１で、手書画像に関連付けられた近傍データ４３６は、新バージョン文書データに含まれると判断した場合、同様にＳ９２とＳ９３の処理を行う。

上述の実施例では、新バージョン文書データに手書画像を合成した後（Ｓ９６）、ユーザに合成位置修正を行わせているが（Ｓ９７）、合成位置修正は行わせなくてもよい。ユーザ操作を行わせず、自動的に手書画像を合成することで、高速に合成処理を行うことができる。

また、上述の実施例では、手書画像と新バージョン文書データを別々に表示し、合成の有無や合成位置をユーザが選択し（Ｓ９２）、ユーザ選択により合成しているが（Ｓ９３）、このような処理を行わなくてもよい。手書画像に関連つけられた近傍データが新バージョン文書データに含まれていない場合は（Ｓ９１）、手書画像の合成位置が分からないため、手書画像を自動的に合成できない。手書画像領域が更新情報のデータ領域と重複している場合は（Ｓ９４）、手書画像の内容が既に新バージョン文書データに反映されている可能性や、更新情報のデータと重なって手書画像が見づらくなってしまう可能性があるため、手書画像を新バージョン文書データに自動的に合成することは適切でない。このような理由から、Ｓ９２とＳ９３はユーザ選択により手書画像と新バージョン文書データの合成を行っているが、ユーザ操作を介すると印刷までの処理が遅れる問題がある。従って、Ｓ９２とＳ９３の処理を行わないことで、自動的に合成することが適切でない場合には合成処理を行わせないようにすることができる。

図１６は、他の実施形態である画像処理装置の構成を示すブロック図である。

図１では、文書サーバ２と画像処理装置１を含む文書管理システムであったが、文書サーバ２の制御部と記憶部の代わりに、図１６の画像処理装置の記憶部１３２に文書データ及び文書ＩＤテーブルを記憶し、画像処理装置の制御部で文書ＩＤテーブル管理と文書データアクセス１３１を行ってもよい。

（変形例）
上述の実施例では、手書画像抽出は画像差分・合成部１５３の差分処理を行っていたが、読み取り画像の中から、文字認識部１５４で認識された活字以外で、且つ、線分・図形認識部１５５で認識された直線分や所定図形以外の領域から、手書画像の抽出を行うことができる。画像差分・合成部１５３による手書画像抽出には、旧バージョン文書データを記憶しておく必要があるが、文字認識１５４と線分・図形認識部１５５による手書画像抽出では、旧バージョン文書データを記憶しておく必要がない。

また、上述の実施例では、文書ＩＤとバージョンから構成される文書識別情報を読み取っていたが、文書識別情報は文書ＩＤのみであってもよい。文書ＩＤのみ読み取って、読み取った画像に含まれる活字や直線分を、同一の文書ＩＤを持つ文書データと差分することで、更新の有無及び更新情報を生成してもよい。

上述の実施例では、更新情報を記憶していたが、読み取った画像に含まれる活字や直線分を、新バージョン文書データと差分することで、更新情報を生成してもよい。

上述の実施例では、画像処理装置で、新バージョン文書データに対する手書画像の反映は、手書原稿の読み取り時であったが、新バージョン文書データの印刷時や編集時であってもよい。例えば、読み取り原稿から抽出された手書画像を、読取ったユーザを識別するユーザＩＤと関連付けて予め文書サーバ２に記憶しておき、同一のユーザＩＤが利用するコンピュータ内の文書編集アプリケーションやプリンタドライバにおいて、編集する文書データや印刷する文書データよりも、古いバージョンの文書データに対する手書画像が記憶されていれば、手書画像の反映を行なう。

本発明の一実施形態である文書管理システムの構成を示すブロック図 文書サーバ２の記憶部２１に記憶された文書IDテーブル 手書画像に関する情報を管理する手書画像管理テーブル 画像読み取り部１１により読み取られた画像の一例 図４の画像から抽出された手書画像の一例 図５の手書画像を新バージョン文書データに合成した状態の一例 手書画像を含む原稿を複写する場合の流れ 画像処理装置１における手書画像抽出の流れ 画像処理装置１における手書画像抽出の流れ 画像処理装置１における手書画像反映の流れ 画像読み取り部１１により読み取られた画像の一例 図１１の画像から抽出された手書画像の一例 図１１の手書画像を新バージョン文書データに合成した状態の一例 手書画像と新バージョン文書データを別々に表示した画面例 手書画像と新バージョン文書データを合成表示した画面例 他の実施形態である画像処理装置の構成を示すブロック図

Claims (9)

1. 文書が識別可能な文書識別情報を、文書データに関連付けて記憶する記憶手段と、
   文書識別情報が付与された原稿画像を読み取る読み取り手段と、
   読み取った画像から文書識別情報を検出する検出手段と、
   検出した文書識別情報を用いて、読み取った画像に対応する文書データを記憶手段から検索し、
   読み取った画像から文書データが更新されていることを判断すると、更新された内容に基づいて、読み取った画像から抽出した手書画像と文書データを合成する制御手段を備えることを
   特徴とする画像処理装置。
2. 同一文書のバージョンを識別可能な文書識別情報と、バージョン毎に更新した内容を含む更新情報とを、文書データに関連付けて記憶する記憶手段と、
   文書識別情報が付与された原稿画像を読み取る読み取り手段と、
   読み取った画像から文書識別情報を検出する検出手段と、
   検出した文書識別情報を用いて、読み取った画像のバージョンよりも新しいバージョンである新バージョン文書データを記憶手段から検索し、
   新バージョン文書データに関連付けられた更新情報に基づいて、読み取った画像から抽出した手書画像と新バージョン文書データを合成する制御手段を備えることを
   特徴とする画像処理装置。
3. 制御手段は、
   検出した文書識別情報を用いて、読み取った画像と同じバージョンである旧バージョン文書データを、記憶手段から検索し、
   旧バージョン文書データと読み取った画像との差分により得られた差分画像を、手書画像として、新バージョン文書データと合成することを
   特徴とする請求項２に記載の画像処理装置。
4. 制御手段により合成した画像を表示する表示手段と、
   新バージョン文書データに対する差分画像の合成位置を変更指示する入力手段を備え、
   制御手段は、変更指示に応じて合成することを
   特徴とする請求項３に記載の画像処理装置。
5. 制御手段は、
   読み取った画像における差分画像の位置情報を抽出し、
   旧バージョン文書データ又は読み取った画像から、差分画像の近傍位置にある近傍データを検出し、検出された近傍データに基づいて合成することを
   特徴とする請求項３に記載の画像処理装置。
6. 制御手段は、
   検出された近傍データが新バージョン文書データに含まれる場合に、合成することを
   特徴とする請求項５に記載の画像処理装置。
7. 更新情報は、文書データにおける更新内容とその位置情報を含み、
   制御手段は、
   新バージョン文書データに含まれる近傍データの位置情報を更新情報から算出し、
   検出された近傍データと差分画像との相対位置と、算出された位置情報に基づいて、
   差分画像の合成位置を決めることを
   特徴とする請求項６に記載の画像処理装置。
8. 制御手段は、読み取った画像における差分画像の位置と、
   新バージョン文書データにおける更新内容の位置が重ならない場合に、
   合成することを
   特徴とする請求項７に記載の画像処理装置。
9. 文書管理装置と画像処理装置とが通信可能に接続された文書管理システムであって、
   画像処理装置は、
   原稿画像を読み取る読み取り手段と、
   読み取った画像から、同一文書のバージョンが識別可能な文書識別情報を検出する検出手段と、
   検出した文書識別情報を文書管理装置に送信する送信手段を備え、
   文書管理装置は、
   文書識別情報と、バージョン毎に更新した内容を含む更新情報とを、
   文書データに関連付けて記憶する記憶手段と、
   受信した文書識別情報に基づいて、読み取った画像よりも新しいバージョンである新バージョン文書データが記憶されているかを検索する検索手段を備えており、
   画像処理装置は、
   新バージョン文書データに関連付けられた更新情報に基づいて、読み取った画像の一部と新バージョン文書データを合成することを
   特徴とする文書管理システム。

Images