JP2007174037A - 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】欠損部を有するデータについての欠損部解消修復処理を効率的にかつ正確に実行する装置、および方法を提供する。
【解決手段】欠損部を有する修復対象データの膨張処理を実行し、欠損部の解消を行い、さらに、膨張処理結果画像と、追記ドキュメント画像データの重複部分を抽出するＡＮＤ処理を実行する。このＡＮＤ処理（重複部抽出処理）によって、本来の追記情報に含まれない余分な膨張領域が削除され、結果として正確な追記画像データを生成することが可能となる。また、欠損部の解消の有無を検証しながら膨張処理を実行する構成や、画像に含まれる画素の連結領域のラベリングを実行する構成とすることで、さらに正確な追記情報の修復が実現される。
【選択図】図４

Description

本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、例えば追記情報の解析処理などにおいて行なわれる原本ドキュメントと追記ドキュメントとの差分データに含まれる欠損部の修復処理など、様々なデータ抽出処理によって得られた欠損部を含む線画データの修復を効率的に実行する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。

画像処理の分野において、例えばプリンタやＦＡＸなどから出力したドキュメントに、ユーザがペンや鉛筆、スタンプなどで追記した部分を抽出したり、セキュリティ文書が改竄されていないかどうかを検証する処理について、様々な研究、開発が行なわれている。一般的に、このような追記、改竄検証処理には、オリジナルのドキュメントデータと、追記等の可能性がある出力ドキュメントとの比較を行う処理が行なわれる。

すなわち、追記の検出を行なおうとする文書をスキャナなどの画像読取装置でスキャンして得たスキャン画像データと、ＰＣやプリンタなどに蓄積されている原本画像データとの差分を取り、追記画像データを得るというものである。

ところが、この方法では、紙文書に元からあった文字や図形などと追記した部分に重なりがある場合、原本との差分を取って追記情報を得ようとした場合、取得された追記情報に、原本との重なり部分が含まれず、追記された文字や、図形などが途切れたデータとなってしまうという問題があった。

このような問題点を解決することを目的とした従来技術として、例えば特許文献１がある。特許文献１は、スキャン画像から原本画像を差し引く差分処理により生成した追記画像から、途切れた追記の輪郭を作成し、輪郭画像から原稿画像を更に差し引くことで接続すべき端点の座標と接続方向を検出し、さらに、その端点位置と接続方向の情報から端点同士を接続し閉曲線を構成しその内部を着色することにより、途切れの発生してしまった検出追記情報を接続して、途切れを修復した追記情報を取得する構成を開示している。

しかし、追記情報を検出しようとする文書のスキャン画像には画質の劣化、すなわち、かすれ具合や色合いに変化が発生している可能性が高く、場合によっては、プリントおよび追記の後、何回かコピーされているかも知れない。特に追記部分はかすれなど画質劣化が激しいため、追記情報を検出しようとする文書のスキャン画像から抽出した追記部分の輪郭は、直線ではなくジグザグになる場合が多い。このため、端点および補間方向の特定が困難となり、上記の特許文献１の手法を適用しても、完全な形の修復した追記情報を取得することが困難となるという問題がある。

また、途切れを修復して追記情報を取得する構成において、ペンや鉛筆などによって追記された文字などの細線からなる追記情報の修復は、比較的、正確に行なうことが可能であるが、例えば、原本の文字上をラインマーカで印をつけた処理などを実行した場合など、比較的太い追記情報に対する修復は、正確に行なうことが難しいという問題がある。
特開２００４−２１３２３０号公報

本発明は、上述の問題点に鑑みてなされたものであり、例えばドキュメントからの追記情報の抽出処理において、追記情報抽出対象文書と原本との差分に基づいて抽出される差分データなどに含まれる欠損部を、効率的に正確に修復することを可能とし、ラインマーカなどの追記情報のように太い線分を持つ追記情報などに対してもその欠損部を正確に修復して、追記情報を正確に取得可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理装置であり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像データから追記情報を抽出した追記画像データを生成する追記情報抽出手段と、
前記追記情報抽出手段の生成した追記画像データに含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理手段と、
前記膨張処理手段の生成した膨張処理画像データと、前記追記ドキュメント画像データの重複部分を抽出し、重複部抽出画像データを生成する重複部抽出処理手段と、
を有することを特徴とする画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記追記情報抽出手段は、原本ドキュメント画像データと、前記追記ドキュメント画像データを入力し、２つの入力画像データの差分を抽出する差分抽出手段によって構成されることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記追記情報抽出手段は、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから特定の色の記録情報を追記情報として抽出する色抽出手段によって構成されることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記追記情報抽出手段は、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから罫線情報を削除し、罫線情報以外の情報を追記情報として抽出する罫線分離手段によって構成されることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記重複部抽出処理手段の生成する重複部抽出画像データについての欠損部の有無を検証し、欠損部が検出された場合に、前記膨張処理手段において膨張量を増加させた膨張処理画像データを再生成させて、該再生成膨張処理画像データと、前記追記ドキュメント画像データの重複部分からなる重複部抽出画像データを再生成させる修復状況検証手段を有することを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記修復状況検証手段は、前記重複部抽出処理手段の生成する重複部抽出画像データについての欠損部が解消されるまで、膨張処理手段において膨張量を増加させた膨張処理画像データを繰り返し生成させ、該膨張処理画像データと、前記追記ドキュメント画像データの重複部分からなる重複部抽出画像データを繰り返し生成させる処理を実行させる構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記追記情報抽出手段の生成した追記画像データに含まれる追記情報を構成する連結領域に対応する識別子を付与する第１連結領域識別子付与手段と、前記追記ドキュメント画像データに含まれる追記情報を構成する連結領域に対応する識別子を付与する第２連結領域識別子付与手段と、前記第１連結領域識別子付与手段の付与した第１の連結領域識別子と、前記第２連結領域識別子付与手段の付与した第２連結領域識別子との対応を判別する連結領域対応付け手段とを有し、前記膨張処理手段は、前記連結領域対応付け手段において対応付けられた第１連結領域識別子と、第２連結領域識別子が１対１に対応付けられるレベルに至るまで、追記画像データに含まれる欠損部の解消が進行するように膨張量を制御して膨張処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、連結領域対応付け手段の生成する連結領域情報を入力し、該連結領域情報に基づいて、前記重複部抽出処理手段の生成する重複部抽出画像データについての修復すべき欠損部の有無を検証し、修復すべき欠損部が検出された場合に、前記膨張処理手段において膨張量を増加させた膨張処理画像データを再生成させて、該再生成膨張処理画像データと、前記追記ドキュメント画像データの重複部分からなる重複部抽出画像データを再生成させる修復状況検証手段を有することを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記修復状況検証手段は、前記連結領域対応付け手段において対応付けられた第１連結領域識別子と、第２連結領域識別子が１対１に対応付けられるレベルに至るまで、追記画像データに含まれる欠損部の解消が進行するように膨張処理手段において膨張量を増加させた膨張処理画像データを繰り返し生成させ、該膨張処理画像データと、前記追記ドキュメント画像データの重複部分からなる重複部抽出画像データを繰り返し生成させる処理を実行させる構成であることを特徴とする。

さらに、本発明の第２の側面は、
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理方法であり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像データから追記情報を抽出した追記画像データを生成する追記情報抽出ステップと、
前記追記情報抽出ステップにおいて生成した追記画像データに含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理ステップと、
前記膨張処理ステップにおいて生成した膨張処理画像データと、前記追記ドキュメント画像データの重複部分を抽出し、重複部抽出画像データを生成する重複部抽出処理ステップと、
を有することを特徴とする画像処理方法にある。

さらに、本発明の画像処理方法の一実施態様において、前記追記情報抽出ステップは、原本ドキュメント画像データと、前記追記ドキュメント画像データを入力し、２つの入力画像データの差分を抽出する差分抽出ステップを含むことを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記追記情報抽出ステップは、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから特定の色の記録情報を追記情報として抽出する色抽出処理ステップを含むことを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記追記情報抽出ステップは、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから罫線情報を削除し、罫線情報以外の情報を追記情報として抽出する罫線分離処理ステップを含むことを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記重複部抽出処理ステップにおいて生成する重複部抽出画像データについての欠損部の有無を検証する修復状況検証ステップを有し、欠損部が検出された場合に、膨張量を増加させた膨張処理画像データを再生成させて、該再生成膨張処理画像データと、前記追記ドキュメント画像データの重複部分からなる重複部抽出画像データを再生成させるステップを有することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記追記情報抽出ステップにおいて生成した追記画像データに含まれる追記情報を構成する連結領域に対応する識別子を付与する第１連結領域識別子付与ステップと、前記追記ドキュメント画像データに含まれる追記情報を構成する連結領域に対応する識別子を付与する第２連結領域識別子付与ステップと、前記第１連結領域識別子付与ステップにおいて付与した第１の連結領域識別子と、前記第２連結領域識別子付与ステップにおいて付与した第２連結領域識別子との対応を判別する連結領域対応付けステップとを有し、前記膨張処理ステップは、前記連結領域対応付けステップにおいて対応付けられた第１連結領域識別子と、第２連結領域識別子が１対１に対応付けられるレベルに至るまで、追記画像データに含まれる欠損部の解消が進行するように膨張量を制御して膨張処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、連結領域対応付けステップにおいて生成する連結領域情報を入力し、該連結領域情報に基づいて、前記重複部抽出処理ステップにおいて生成する重複部抽出画像データについての修復すべき欠損部の有無を検証し、修復すべき欠損部が検出された場合に、膨張処理手段において膨張量を増加させた膨張処理画像データを再生成させて、該再生成膨張処理画像データと、前記追記ドキュメント画像データの重複部分からなる重複部抽出画像データを再生成させる修復状況検証ステップを有することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記修復状況検証ステップは、前記連結領域対応付けステップにおいて対応付けられた第１連結領域識別子と、第２連結領域識別子が１対１に対応付けられるレベルに至るまで、追記画像データに含まれる欠損部の解消が進行するように膨張処理手段において膨張量を増加させた膨張処理画像データを繰り返し生成させ、該膨張処理画像データと、前記追記ドキュメント画像データの重複部分からなる重複部抽出画像データを繰り返し生成させる処理を実行させるステップであることを特徴とする。

さらに、本発明の第３の側面は、
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理をコンピュータ上において実行させるコンピュータ・プログラムであり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像データから追記情報を抽出した追記画像データを生成する追記情報抽出ステップと、
前記追記情報抽出ステップにおいて生成した追記画像データに含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理ステップと、
前記膨張処理ステップにおいて生成した膨張処理画像データと、前記追記ドキュメント画像データの重複部分を抽出し、重複部抽出画像データを生成する重複部抽出処理ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、例えば原本ドキュメントと、追記データの付加された追記ドキュメントの差分データのように欠損部を有するデータについての欠損部を解消する修復処理を効率的にかつ正確に実行することができる。具体的には、本発明の画像処理装置では、欠損部を有する修復対象データの膨張処理を実行した後、膨張処理結果画像と、追記ドキュメント画像データの重複部分を抽出するＡＮＤ処理を実行する。このＡＮＤ処理（重複部抽出処理）によって、本来の追記情報には含まれない余分な膨張領域が削除され、正確な追記画像データを生成することが可能となる。また、欠損部の解消の有無を検証しながら膨張処理を実行する構成や、画像に含まれる画素の連結領域のラベリングを実行する構成とすることで、さらに正確な追記情報の修復が実現される。

以下、図面を参照しながら本発明の実施形態に係る画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。

まず、図１以下を参照して、本発明の画像処理装置を適用した処理の概要について説明する。本発明の画像処理装置は、例えば図１に示す原本ドキュメント１０、および、原本ドキュメント１０に対してコメントやアンダーラインなどの様々なメモ書きを含む追記ドキュメント２０とから、差分を抽出して追記されたデータを取得する処理において、差分データの欠損部を修復する処理を行なう。なお、本発明の画像処理装置は、差分データのみならず、その他、様々な処理によって得られた欠損部を有するデータにおける欠損部を解消する処理に適用可能である。

図１に示す例は、その１つの処理例であり、原本ドキュメント１０と、追記ドキュメント２０とをスキャナ３０によって読み取り、原本ドキュメント画像データと、追記ドキュメント画像データを画像処理装置１００に入力して、差分情報取得処理を行い、差分データに含まれる欠損部の修復を行なって追記情報を出力する処理である。

背景技術の欄において説明したように、従来の差分抽出では、原本と追記との重なり部分が途切れた情報が取得されるという問題がある。例えば図２に示すように、原本ドキュメント５１と、追記ドキュメント５２がある場合、本来追記情報は、線分データ５３であるにもかかわらず、原本ドキュメント５１と、追記ドキュメント５２からの差分データを取得すると、追記情報５５に示すように、原本ドキュメント５１と、追記ドキュメント５２が途切れたデータとして検出され、正しい追記データの検出ができない。本発明では、これらの途切れを修復する処理を画像処理装置１００において実行する。

なお、本発明における画像処理では、図２に示す差分データに基づいて検出された追記情報の修復処理のみではなく、その他の手法によって取得された様々な欠損部を含む途切れたデータの修復も実行することができる。例えば、図３（Ａ）は、原本画像を適用することなく、追記ドキュメント６１画像のみから追記情報６２を抽出した処理例を示している。

例えば、追記データが原本画像データに含まれる異なる色（例えば赤）で記録されている場合、この追記色データのみを追記ドキュメント６１から抽出する処理によって、追記情報６２が取得される。しかしこの場合も、原本データとの重なり部分は、途切れた画像として追記情報が取得される。

また、図３（Ｂ）は、罫線付きドキュメント７１から罫線を除去した罫線除去情報７２を取得した処理構成を示している。このような処理を行った場合、罫線部としての直線を除去することで、罫線との重なり部が除去されたデータが出力され、本来のデータの一部が欠落してしまう。

本発明の画像処理装置１００では、このような途切れ、欠落部を持つ画像データについて、欠損部を解消して、途切れのないデータを効率的にかつ正確に生成する処理を行なう。

本発明の画像処理装置の構成および処理の詳細について、図４以下を参照して説明する。まず、図４に本発明の画像処理装置のブロック図を示す。なお、以下の実施例では、図４に示すように、原本ドキュメント画像データ１５１と追記ドキュメント画像データ１５２を入力して差分を検出し、検出した差分データに基づいて途切れの修復を行なう処理例を説明するが、前述したように、本発明の画像処理装置は、差分データに限らず、欠損部（途切れ部分）を持つ様々なデータについての修復に適用可能である。

本発明の一実施例の画像処理装置は、図４に示すように、差分抽出手段２０１、膨張処理（太線化処理）手段２０２、ＡＮＤ処理（重複部抽出）処理手段２０３を有する。以下、これらの各処理手段の実行する処理について説明する。

［差分抽出手段］
差分抽出手段２０１は、スキャナなどに読み取られた画像データとしての原本ドキュメント画像データ１５１と、原本に含まれない追記を含む追記ドキュメント画像データ１５２を入力して、これらのドキュメントから差分を抽出する。すなわち、追記された情報を２つのドキュメントの差分情報として読み取る。

差分抽出手段２０１は、位置合わせの行われた原本ドキュメント画像データ１５１と追記ドキュメント画像データ１５２との差分を抽出する。この処理は、従来の処理と同様であり、特開２００４−２１３２３０、特開２００４−３４１９１４等に記載された処理と同様の処理として実行される。たとえば、原本ドキュメント画像データ１５１の座標位置（ｘ，ｙ）と、追記ドキュメント画像データ１５２の対応座標位置（ｘ，ｙ）の差分の有無を検出し、差分が存在する場合にのみデータを抽出する。

差分抽出処理例について図５を参照して説明する。図５に示す例は、原本ドキュメント２５１と、追記ドキュメント２５２から差分抽出処理例を示している。追記ドキュメント２５２には、例えばマーカーなどによって追記された追記情報２５３が含まれる。

差分抽出手段２０１は、原本ドキュメント２５１と、追記ドキュメント２５２から差分抽出を行なって、追記画像データ２５４を生成する。ただし、図から理解されるように、差分抽出によって得られる追記画像データ２５４に含まれる抽出情報は、原本データとの重なり部（図に示す原本に元々記載のある数値［１，２，３］）が途切れた不完全な追記データである。この追記画像データが、図４に示差分抽出手段２０１の出力する追記画像データ１５３に相当する。

［膨張処理（太線化処理）手段］
膨張処理（太線化処理）手段２０２は、差分抽出手段２０１の出力する追記画像データ１５３を入力し、膨張処理（太線化処理）を実行する。膨張処理の処理例について、図６を参照して説明する。図６に示す追記画像データ２５４は、差分抽出手段２０１の出力する追記画像データ２５４であり、膨張処理（太線化処理）手段２０２は、この追記画像データ２５４に対する膨張処理（太線化処理）を実行して、膨張処理データ２５５を生成する。

膨張処理（太線化処理）は、追記画像データ２５４に含まれる線分等の有効画像領域を上下左右にｎ画素膨らませる処理である。この結果、膨張処理データ２５５が生成される。なお、膨張量ｎは、例えば３〜１０画素など、処理対象画像に応じて決定する。この膨張処理の結果、図６に示す膨張処理データ２５５のように、追記画像データ２５４に含まれる途切れ部（図に示す原本に元々記載のある数値［１，２，３］）が結合し、途切れが消滅する。

［ＡＮＤ（重複部抽出）処理手段］
ＡＮＤ（重複部抽出）処理手段２０３は、膨張処理（太線化処理）手段２０２の生成した膨張処理データと、元々のスキャナなどに読み取られた画像データとしての追記ドキュメント画像データ１５２を入力して、これらのドキュメントのＡＮＤ処理、すなわち、両画像に含まれる重複部を選択して重複部抽出画像データを生成する処理を実行する。

具体的な処理例を、図６を参照して説明する。ＡＮＤ（重複部抽出）処理手段２０３は、膨張処理（太線化処理）手段２０２の生成した膨張処理データ２５５と、元々のスキャナなどに読み取られた画像データとしての追記ドキュメント画像データ２５２を入力する。

ＡＮＤ（重複部抽出）処理手段２０３は、これらの２つの画像データから、両画像に含まれる重複部を選択、すなわちＡＮＤ処理を実行して、結果画像としての修復追記画像データ２５６を生成して出力する。この出力画像は、図４のブロック図における修復追記画像データ１５４に相当する。

図６に示す修復追記画像データ２５６に含まれる追記情報２５７は、ＡＮＤ（重複部抽出）処理手段２０３の生成画像に含まれる周囲に膨張した部分が削られ、元の追記ドキュメントに含まれる追記情報としてのマーカー記録領域と同一の幅、長さに戻っている。これは、図６に示す膨張処理データ２５５に含まれる追記情報としての膨張データ中、周囲に膨張処理された部分は、追記ドキュメント２５２には含まれていない領域であるため、ＡＮＤ処理の結果、これらの領域が削除されるためである。

結果として、ＡＮＤ（重複部抽出）処理手段２０３の生成するＡＮＤ処理結果画像としての重複部抽出画像データは、図６に示すような修復追記画像データ２５６となり、追記情報を正確に抽出したデータとなる。

図５、図６では、太いマーカーなどの線分を原本画像の文字［１，２，３］上に追記した場合の処理例を説明したが、このような太い線分のみならず、細い線の追記情報に対しても、図４に示す画像処理装置は、正確な追記情報抽出を行なうことができる。図７、図８を参照して、細い線の追記情報に対する処理例について説明する。

図７には、追記情報を抽出するための入力画像データとして、原本ドキュメント２７１と、追記ドキュメント２７２を示し、これらの２つのドキュメンとからの差分抽出処理例を示している。追記ドキュメント２７２には、例えばマーカーなどによって追記された追記情報２７３が含まれる。この例では、図５に示す例と異なり、細い線分としての追記情報２７３を示している。

図４に示す差分抽出手段２０１は、原本ドキュメント２７１と、追記ドキュメント２７２から差分抽出を行なって、追記画像データ２７４を生成する。ただし、図から理解されるように、差分抽出によって得られる追記画像データ２７４に含まれる抽出情報は、原本データとの重なり部（図に示す原本に元々記載のある数値［１，２，３］）が途切れた不完全な追記データである。この追記画像データが、図４に示差分抽出手段２０１の出力する追記画像データ１５３に相当する。

図８には、図４に示す膨張処理（太線化処理）手段２０２の処理および、ＡＮＤ（重複部抽出）処理手段２０３の処理例を示している。図８に示す追記画像データ２７４は、差分抽出手段２０１の出力する追記画像データであり、膨張処理（太線化処理）手段２０２は、この追記画像データ２７４に対する膨張処理（太線化処理）を実行して、膨張処理データ２７５を生成する。

前述したように、膨張処理（太線化処理）は、追記画像データ２７４に含まれる線分等の有効画像領域を上下左右にｎ画素膨らませる処理である。この結果、膨張処理データ２７５が生成される。この膨張処理の結果、図８に示す膨張処理データ２７５のように、追記画像データ２７４に含まれる途切れ部（図に示す原本に元々記載のある数値［１，２，３］）が結合し、途切れが消滅する。

ＡＮＤ（重複部抽出）処理手段２０３は、膨張処理（太線化処理）手段２０２の生成した膨張処理データ２７５と、元々のスキャナなどに読み取られた画像データとしての追記ドキュメント画像データ２７２を入力する。

ＡＮＤ（重複部抽出）処理手段２０３は、これらの２つの画像データから、両画像に含まれる重複部を選択、すなわちＡＮＤ処理を実行して、結果画像としての修復追記画像データ２７６を生成して出力する。この出力画像は、図４のブロック図における修復追記画像データ１５４に相当する。

図８に示す修復追記画像データ２７６に含まれる追記情報２７７は、ＡＮＤ（重複部抽出）処理手段２０３の生成画像に含まれる周囲に膨張した部分が削られ、元の追記ドキュメントに含まれる追記情報としてのマーカー記録領域と同一の幅、長さに戻っている。これは、図８に示す膨張処理データ２７５に含まれる追記情報としての膨張データ中、周囲に膨張処理された部分は、追記ドキュメント２７２には含まれていない領域であるため、ＡＮＤ処理の結果、これらの領域が削除されるためである。

結果として、ＡＮＤ（重複部抽出）処理手段２０３の生成するＡＮＤ処理結果画像は、図８に示すような修復追記画像データ２７６となり、追記情報を正確に抽出したデータとなる。

次に、図９に示すフローチャートを参照して、図４に示す画像処理装置の処理シーケンスについて説明する。まず、ステップＳ１０１において、追記情報を含む追記ドキュメント画像データを取得する。これは、例えばスキャナなどによって読み取られた画像データである。さらに、ステップＳ１０２において、追記を含まない原本ドキュメント画像データを取得する。これも、例えばスキャナなどによって読み取られた画像データである。

ステップＳ１０３では、これらの２つの画像データに基づく差分抽出処理を実行する。図４に示す差分抽出手段２０１における処理であり、この結果として追記画像データが生成される。ただし、この追記画像データは、追記情報と、原本情報の重なり部が欠落した欠損部を含むデータとなる。

次に、ステップＳ１０４において、差分抽出手段２０１の生成した欠損部を含む追記画像データの膨張処理が行なわれる。この処理は、図４に示す膨張処理手段２０２の処理であり、この膨張処理によって、欠損部は解消される。ただし、追記情報が全体的に膨らんだデータとなってしまう。

次に、ステップＳ１０５において、膨張処理手段２０２の生成した膨張処理画像データと、ステップＳ１０１において入力した追記情報を含む追記ドキュメント画像データとのＡＮＤ処理、すなわち重複部抽出処理を実行する。この処理は、図４に示すＡＮＤ処理（重複部抽出）処理手段２０３における処理であり、このＡＮＤ処理によって、膨張処理手段２０２の生成した膨張処理画像データから、本来の追記ドキュメント画像データには含まれていない膨張された領域部分が削除された修正追記画像データが生成される。

以上、説明したように、本発明の画像処理装置によれば、原本ドキュメントと追記ドキュメントとの差分データを膨張処理することで、余分に膨らんだ追記領域を除去することで、正確な追記データを取得することが可能となる。

なお、図４に示す画像処理装置では、まず、原本ドキュメント画像データ１５１と、原本に含まれない追記を含む追記ドキュメント画像データ１５２を、差分抽出手段２０１に入力して差分抽出によって、追記情報を抽出する処理を行なう構成としていたが、差分抽出手段２０１の代わりに、図１０に示すように、色抽出手段３１１を適用する構成としてもよい。この図１０に示す構成と図４に示す構成との差異は、図４に示す差分抽出手段２０１を色抽出手段３１１に変更し、入力情報を追記ドキュメント画像データ１５２のみとした点である。その他の構成および処理は、図４以下を参照して説明した処理、構成と同様である。

図１０に示す画像処理装置は、原本ドキュメントに含まれる文字情報などの色と、追記された情報の色が異なる場合に適用可能である。例えば、原本がすべて黒の文字、線分によって記録され、追記が赤で行なわれた場合などである。色抽出手段３１１は、追記を含む追記ドキュメント画像データ１５２を入力し、追記ドキュメント画像データ１５２から、追記情報の対応する色（例えば赤）を持つ情報を追記情報として抽出する。なお、追記情報の色情報については、ユーザが入力するなどの処理を行なうことになる。

この色抽出手段３１１において抽出された追記情報は、先に図４を参照して説明した差分抽出手段２０１の生成する追記情報と同様、やはり、原本に含まれる情報との重なりに途切れが発生する場合がある。例えば原本に含まれる黒の文字上に記録された追記された赤色が正確に赤とは認識されず、黒と認識される場合があり、色抽出手段３１１がこのような重なり部分を追記情報と識別しない場合があるからである。

このような途切れ部分は、先に図４以下を参照して説明した実施例と同様、膨張処理手段２０２における膨張処理によって解消され、さらに、ＡＮＤ処理手段２０３において、追記ドキュメント画像データ１５２と膨張処理画像データとのＡＮＤ処理が実行されて、余分な膨張部分が削除され、最終的に正確な追記情報からなる修復再起画像データ１５４が生成される。

さらに、図１１を参照して、差分抽出手段の代わりに罫線分離手段３２１を利用した構成例について説明する。この図１１に示す構成と図４に示す構成との差異は、図４に示す差分抽出手段２０１を罫線分離手段３２１に変更し、入力情報を追記ドキュメント画像データ１５２のみとした点である。その他の構成および処理は、図４以下を参照して説明した処理、構成と同様である。

図１１に示す画像処理装置は、原本ドキュメントが、例えば表などの罫線情報によって構成され、その表に文字などを追記情報として記録した場合に、罫線を含まない追記情報としての文字情報などを抽出する場合に有効となる。罫線分離手段３２１は、追記を含む追記ドキュメント画像データ１５２を入力し、追記ドキュメント画像データ１５２から、罫線のみを削除した追記情報を抽出する。

この罫線分離手段３２１において抽出された追記情報は、先に図４を参照して説明した差分抽出手段２０１の生成する追記情報と同様、やはり、原本に含まれる情報との重なりに途切れが発生する場合がある。例えば原本に含まれる罫線上に記録された追記情報は、罫線情報として削除され、抽出される追記情報に含まれなくなるからである。

このような途切れ部分は、先に図４以下を参照して説明した実施例と同様、膨張処理手段２０２における膨張処理によって解消され、さらに、ＡＮＤ処理手段２０３において、追記ドキュメント画像データ１５２と膨張処理画像データとのＡＮＤ処理が実行されて、余分な膨張部分が削除され、最終的に正確な追記情報からなる修復再起画像データ１５４が生成される。

次に、図１２を参照して、図４に示す構成に、修復状況検証手段３５１を付加し、ＡＮＤ処理手段２０３の出力画像に基づいて、膨張処理手段２０２における膨張処理を最適化する制御を行なう構成例について説明する。

図１２に示す画像処理装置は、図４に示す構成に、修復状況検証手段３５１を付加している点が異なる。修復状況検証手段３５１は、ＡＮＤ処理手段２０３において生成される画像、すなわち、膨張処理（太線化処理）手段２０２の生成した膨張処理データと、追記ドキュメント画像データ１５２とのＡＮＤ処理、すなわち、両画像に含まれる重複部選択処理によって生成されたＡＮＤ処理画像を入力する。

修復状況検証手段３５１は、膨張処理（太線化処理）手段２０２の生成した膨張処理データと、追記ドキュメント画像データ１５２とのＡＮＤ処理画像を検証し、ＡＮＤ処理画像に含まれる追記情報中の途切れ部が完全に修復されているか否かを判定する。ＡＮＤ処理画像に含まれる追記情報中に途切れ部が存在すると判定した場合は、膨張処理（太線化処理）手段２０２に対して、さらに膨張処理を実行させる。ＡＮＤ処理画像に含まれる追記情報中の途切れ部が完全に修復されるまで、このフィードバック処理を実行し、最終的に、修復状況検証手段３５１において、ＡＮＤ処理画像に含まれる追記情報中の途切れ部が完全に修復されたことを確認し、修復が確認された画像を修復追記画像データ１５５として出力する。

この処理例では、膨張処理（太線化処理）手段２０２は、例えば、最初のステップとして、１画素の膨張を実行し、ＡＮＤ処理手段２０３でＡＮＤ処理画像を生成させて、修復状況検証手段３５１において修復状況を検証する。途切れの修復が不完全であると判定されると、膨張処理（太線化処理）手段２０２は、さらに１画素、計２画素の膨張を実行した膨張処理画像をＡＮＤ処理手段２０３に出力して、ＡＮＤ処理画像を生成させる。この処理を繰り返し、修復状況検証手段３５１において途切れのない追記情報が得られたと判定されるまで、徐々に膨張量を増加させる。この処理構成では、過大な膨張処理が行われることが防止され、本来接続すべきでない情報が接続されるなどのエラーの発生を防止することが可能となる。

本処理例における処理シーケンスについて、図１３に示すフローチャートを参照して説明する。まず、ステップＳ２０１において、追記情報を含む追記ドキュメント画像データを取得する。これは、例えばスキャナなどによって読み取られた画像データである。さらに、ステップＳ２０２において、追記を含まない原本ドキュメント画像データを取得する。これも、例えばスキャナなどによって読み取られた画像データである。

ステップＳ２０３では、これらの２つの画像データに基づく差分抽出処理を実行する。図１２に示す差分抽出手段２０１における処理であり、この結果として追記画像データが生成される。ただし、この追記画像データは、追記情報と、原本情報の重なり部が欠落した欠損部を含むデータとなる。

次に、ステップＳ２０４において、差分抽出手段２０１の生成した欠損部を含む追記画像データの膨張処理が行なわれる。この処理は、図１２に示す膨張処理手段２０２の処理であり、この膨張処理によって、欠損部は解消される。ただし、追記情報が全体的に膨らんだデータとなってしまう。

次に、ステップＳ２０５において、膨張処理手段２０２の生成した膨張処理画像データと、ステップＳ２０１において入力した追記情報を含む追記ドキュメント画像データとのＡＮＤ処理、すなわち重複部抽出処理を実行する。この処理は、図１２に示すＡＮＤ処理（重複部抽出）処理手段２０３における処理であり、このＡＮＤ処理によって、膨張処理手段２０２の生成した膨張処理画像データから、本来の追記ドキュメント画像データには含まれていない膨張された領域部分が削除される。

さらに、ステップＳ２０６において、修復状況検証手段３５１が、膨張処理（太線化処理）手段２０２の生成した膨張処理データと、追記ドキュメント画像データ１５２とのＡＮＤ処理画像を検証し、ＡＮＤ処理画像に含まれる追記情報中の途切れ部が完全に修復されているか否かを判定する。

ステップＳ２０７において、ＡＮＤ処理画像に含まれる追記情報中に途切れ部が存在すると判定した場合は、ステップＳ２０４に戻り、膨張処理（太線化処理）手段２０２に対して、さらに膨張処理を実行させる。ＡＮＤ処理画像に含まれる追記情報中の途切れ部が完全に修復されるまで、このステップＳ２０４〜Ｓ２０７のルーチンからなるフィードバック処理を実行する。

ステップＳ２０７において、修復状況検証手段３５１が、ＡＮＤ処理画像に含まれる追記情報中の途切れ部が完全に修復されたことを確認すると、処理が終了し、修復が確認された画像を修復追記画像データ１５５として出力される。

なお、図１２に示す画像処理装置においても、差分抽出手段２０１は、図１０を参照して説明した色抽出手段３１１、あるいは図１１を参照して説明した罫線分離手段３２１に置き換えることが可能である。

次に、図１４を参照して、さらに正確な追記情報の抽出、修復を実現するため、各追記情報に対する識別情報を設定、すなわちラベリングを実行して、正確な連結処理によってより正確な追記情報の修復を行なう構成例について説明する。

図１４は、先に説明した図１２の画像処理装置構成に対して、図に二重線枠で示した連結領域識別子付与手段４０２，４０３と、連結領域対応付け手段４０４を追加した構成である。図１４に示す画像処理装置では、膨張処理手段４０５と、ＡＮＤ処理手段４０６が、それぞれ、連結領域対応付け手段４０４が生成する連結領域対応付け追記画像データ４５１と、連結領域対応付け追記ドキュメントデータ４５２に対する処理を行なう。その他の構成部は、図１２と同様の処理を行う。

まず、差分抽出手段４０１において、原本ドキュメント画像データ１５１と追記ドキュメント画像データ１５２との差分を抽出し、追記画像データ１５３が生成される。連結領域識別子付与手段４０２は追記画像データ１５３を入力し、一方、連結領域識別子付与手段４０３は、追記ドキュメントデータ４５２をそれぞれ入力して、各画像データに含まれる連結領域（連続する画素群）を順次、抽出して、各連結領域に対して識別番号を付与する。すなわちラベリング処理を実行する。具体的には、例えば、画像を左上から右下にスキャンし、縦横斜めに連続した一連の黒画素群を抽出して、抽出した黒画素群に番号を付与する。

連結領域対応付け手段４０４は、連結領域識別子付与手段４０２，４０３においてラベリング処理がなされ、各画像に含まれる連結領域に識別子が設定された追記画像データ１５３と、追記ドキュメント画像データ１５２とを入力し、追記画像データ１５３から抽出された各連結領域の位置と、追記ドキュメント画像データ１５２の対応位置にある連結領域の各識別子を対応付ける。

追記ドキュメント画像データ１５２上では１つの連結領域だったものが、差分抽出処理によって、原本画像が差し引かれて生成された追記画像データ１５３上では、複数の連結領域に分かれてしまうことがある。いわゆる、例えば図５や図７で示した追記画像データにおける原本情報との重なり部（数字部分）などの途切れである。

従って、このような途切れの発生した連結領域は、追記ドキュメント画像データ１５２上では１つの連結領域であるが、差分抽出処理によって生成された追記画像データ１５３上では、複数の連結領域に分かれてしまう。画像処理装置の処理目的は、この複数の連結領域が修復作業によって一つに接続することである。

連結領域対応付け手段４０４は、追記画像データ１５３の連結領域と対応付けがなされた追記ドキュメント画像データ１５２の連結領域の外接矩形を、領域情報４７１として修復状況検証手段４０７に出力する。

修復状況検証手段４０７は、連結領域対応付け手段４０４から入力する領域情報４７１で指定されるエリア内にある追記画像データ１５３の連結領域が、一つに接続されたかどうかを検証する。すなわち、追記ドキュメント画像データ１５２の連結領域の外接矩形によって示される領域情報４７１は、本来１つの接続された連結領域であると判断できるので、修復状況検証手段４０７は、ＡＮＤ処理手段４０６において生成されたＡＮＤ処理画像を検証して、連結領域対応付け手段４０４から入力する領域情報４７１で指定されるエリア内にある追記画像データ１５３の連結領域が一つに接続されたかどうかを検証する。一つに接続されていない場合は、膨張処理（太線化処理）手段４０５に対して、さらに膨張処理を実行させる。

修復状況検証手段４０７は、ＡＮＤ処理画像に含まれる追記情報について、追記ドキュメント画像データ１５２の連結領域の外接矩形によって示される領域情報４７１中の途切れ部が完全に修復されるまで、さらなる膨張処理とＡＮＤ処理を繰り返し実行させる。最終的に、ＡＮＤ処理画像に含まれる追記情報に、領域情報４７１内の途切れ部が完全に修復されたことを、修復状況検証手段３５１において確認されると、修復が確認された画像を修復追記画像データ４５３として出力する。

本処理例では、膨張処理手段４０５は、連結領域対応付け手段４０４において対応付けられた各画像の連結領域識別子、すなわち、追記画像データに含まれる追記情報を構成する連結領域に対応する識別子を付与する第１連結領域識別子と、追記ドキュメント画像データに含まれる追記情報を構成する連結領域に対応する第２連結領域識別子が１対１に対応付けられるレベルに至るまで、追記画像データに含まれる欠損部の解消が進行するように膨張量を制御して膨張処理を実行する。

修復状況検証手段３５１は、追記画像データに含まれる追記情報を構成する連結領域に対応する識別子を付与する第１連結領域識別子と、追記ドキュメント画像データに含まれる追記情報を構成する連結領域に対応する第２連結領域識別子が１対１に対応付けられるレベルに至ったか否かを、ＡＮＤ処理結果画像に基づいて判定し、至ってないと判定した場合は、膨張量を増加させた膨張処理を膨張処理手段４０５に実行させて、その結果膨張処理結果画像を適用したＡＮＤ処理を実行させる。

なお、追記情報が１つの場合は領域情報４７１も１つになるが、追記が複数ある場合には、追記一つ一つについて対応付けが発生し、領域情報も複数出力される。なお、連結領域対応付け手段４０４は、領域情報４７１を出力する代わりに、領域情報で指定されるエリアを追記ドキュメント画像データ１５２および追記画像データ１５３から切り出し、サブ画像として膨張処理手段４０５およびＡＮＤ処理手段４０６に出力するようにしてもよい。

こうすることで、修復状況検証手段４０７は、追記画像データ１５３のサブ画像の連結領域が、一つに接続されたかどうかを判定することで修復状況を検証することが可能となる。なおこの場合も、追記が複数ならサブ画像は複数ペアになり、それぞれで膨張処理・ＡＮＤ処理・終了検知処理がなされる。

次に、図１５、図１６に示すフローチャートを参照して、図１４に示す画像処理装置の処理シーケンスについて説明する。まず、ステップＳ３０１において、追記情報を含む追記ドキュメント画像データを取得する。これは、例えばスキャナなどによって読み取られた画像データである。さらに、ステップＳ３０２において、追記を含まない原本ドキュメント画像データを取得する。これも、例えばスキャナなどによって読み取られた画像データである。

ステップＳ３０３では、これらの２つの画像データに基づく差分抽出処理を実行する。図１４に示す差分抽出手段４０１における処理であり、この結果として追記画像データが生成される。ただし、この追記画像データは、追記情報と、原本情報の重なり部が欠落した欠損部を含むデータとなる。

次に、ステップＳ３０４において、ステップＳ３０１において取得した追記情報を含む追記ドキュメント画像データのラベリング処理を実行する。すなわち、追記ドキュメント画像データ（スキャン画像）に含まれる連結領域（連続する画素群）を順次、抽出して、各連結領域に対して識別番号を付与する。追記ドキュメント画像データ（スキャン画像）から抽出された連結領域の総数Ｎ１とする。

さらに、ステップＳ３０５において、ステップＳ３０３において、差分抽出によって生成した追記画像データ（追記画像）のラベリング処理を実行する。追記画像データ（追記画像）から抽出された連結領域の総数Ｎ２とする。

次のステップＳ３０６からステップＳ３１５の処理が、連結領域対応付け手段４０４の処理に相当する。まず、ステップＳ３０６において、追記ドキュメント画像データ（スキャン画像）から抽出された連結領域（総数Ｎ１）を順次、選択する番号（ｉ１）の初期設定としてｉ１＝０とする。ステップＳ３０７において、追記ドキュメント画像データ（スキャン画像）からｉ１番目の連結領域の画像を切り出す。

次に、ステップＳ３０８において、差分抽出によって生成した追記画像データ（追記画像）から抽出された連結領域（総数Ｎ２）を順次、選択する番号（ｉ２）の初期設定としてｉ２＝０とする。ステップＳ３０９において、追記画像データ（追記画像）からｉ２番目の連結領域の画像を切り出す。

ステップＳ３１０において、追記ドキュメント画像データ（スキャン画像）から切り出したｉ１番目の連結領域と、追記画像データ（追記画像）から切り出したｉ２番目の連結領域の重なりをチェックする。

ステップＳ３１１において重なりありと判定されると、ステップＳ３１２において、追記画像データ（追記画像）から切り出したｉ２番目の連結領域の識別子［ｉ２］を、一時的にメモリに記憶する。次に、ステップＳ３１３において、追記画像データ（追記画像）の連結領域識別子［ｉ２］を１つインクリメントする。なお、ステップＳ３１１において重なりありと判定されなかった場合は、ステップＳ３１１の処理は実行されない。

ステップＳ３１４において、追記画像データ（追記画像）の連結領域識別子［ｉ２］が、追記画像データ（追記画像）の連結領域総数Ｎ２未満であるか否かを判定する。Ｎ２未満である場合は、ステップＳ３０９〜３１３の処理を繰り返し実行する。

ｉ２＝Ｎ２に至ると、ステップＳ３１５に進む。すなわち、追記画像データ（追記画像）の連結領域のすべて（総数Ｎ２）について、ステップＳ３０９〜３１３の処理を繰り返し実行した後、ステップＳ３１５に進む。

ステップＳ３１５では、追記ドキュメント画像データ（スキャン画像）の連結領域（ｉ１）の対応付け連結領域としてメモリに一時記憶されている追記画像データ（追記画像）の１つ以上の連結領域の識別子［ｉ２］からなる連結領域の画像を生成する。この画像は、本来、１つの接続された連結領域であるべきデータである。

次に、ステップＳ３１６において、差分抽出によって生成された欠損部を含む追記画像データの膨張処理が行なわれる。この処理は、図１４に示す膨張処理手段４０５の処理であり、この膨張処理によって、欠損部は解消または減少する。

次に、ステップＳ３１７において、膨張処理手段４０５の生成した膨張処理画像データと、ステップＳ３０１において入力した追記情報を含む追記ドキュメント画像データ（スキャン画像）とのＡＮＤ処理、すなわち重複部抽出処理を実行する。この処理は、図１４に示すＡＮＤ処理（重複部抽出）処理手段４０６における処理であり、このＡＮＤ処理によって、膨張処理手段４０５の生成した膨張処理画像データから、本来の追記ドキュメント画像データには含まれていない膨張された領域部分が削除される。

次の、ステップＳ３１８、Ｓ３１９の処理は、修復状況検証手段４０７の処理に相当する。ステップＳ３１８において、ＡＮＤ処理結果画像について、連結領域をラベリングする。その連結領域総数を［Ｎ３］とする。ステップＳ３１９において、ＡＮＤ処理結果画像の連結領域総数Ｎ３が１より大きいか否かを判定する。１より大きい場合は、本来１つの連結領域であるべき領域が、ＡＮＤ処理画像において完全に連結（修復）されていないことを意味するので、ステップＳ３１６における膨張処理以下を繰り返す。すなわち、膨張量を増加させて、膨張処理データを生成して、ＡＮＤ処理結果画像を得る。ステップＳ３１９において、Ｎ３＝１と判定されると、本来１つの連結領域であるべき領域が、ＡＮＤ処理画像において完全に連結（修復）されたと判定され、ステップＳ３２０に進む。

ステップＳ３２０において、追記ドキュメント画像データ（スキャン画像）から抽出された連結領域（総数Ｎ１）の番号（ｉ１）を１つインクリメントして、ステップＳ３２１において、ｉ１がＮ１未満であると判定された場合は、ステップＳ３０７以下の処理を繰り返し実行する。すなわち、追記ドキュメント画像データ（スキャン画像）から抽出された連結領域の各々について、追記画像データ（追記画像）中から抽出する対応する位置にある１以上の連結領域を１つに連結する処理を実行する。

ステップＳ３２１において、ｉ１＝Ｎ１と判定されると、追記ドキュメント画像データ（スキャン画像）に含まれるＮ１個の連結領域のすべてに対応するＡＮＤ画像の連結領域の修復処理が終了したことになり、処理を終了する。

本処理例では、追記ドキュメント画像データ（スキャン画像）から抽出された連結領域と、追記画像データ（追記画像）中から抽出された連結領域をラベリングによって対応付けて、追記ドキュメント画像データ（スキャン画像）において１つの連結領域として示される追記情報の各々について、追記画像データ（追記画像）に基づくＡＮＤ処理画像データにおいて確実に１つに連結する処理が実行され、より正確な追記情報修復が可能となる。

なお、図１４に示す画像処理装置においても、差分抽出手段４０１は、図１０を参照して説明した色抽出手段３１１、あるいは図１１を参照して説明した罫線分離手段３２１に置き換えることが可能である。

最後に、図１７を参照して、上述した処理を実行する画像処理装置のハードウェア構成例について説明する。図１７に示す構成は、例えばＰＣなどの情報処理装置と、スキャナ等の画像データ読み取り部５３１と、プリンタなどの画像データ出力部５３２を備えたハード構成例を示している。

ＣＰＵ（Central Processing Unit）５０１は、上述の実施例において説明した各種のデータ処理、すなわち、差分データなどの欠損部を含むデータの抽出処理、処理対象データに対する膨張処理、ＡＮＤ処理、修復状況検出処理、連結領域識別子付与処理、連結領域対応付け処理などを含む一連の処理を実行する。制御手段としてのＣＰＵ５０１は、これらの処理の実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する。

ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。

ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。

キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、原本ドキュメント画像データ、追記ドキュメント画像データ等の情報、各種処理において生成されるデータなどを格納する。さらに、各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。リムーバブル記録媒体５２１も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部５３１は、ドキュメントの読み取り処理を実行し、データ出力部５３２は、ドキュメントデータの出力処理を実行する。

なお、図１７に示す画像処理装置のハードウェア構成例は、１つの装置例を示すものであり、本発明の画像処理装置は、図１７に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、例えば原本ドキュメントと、追記データの付加された追記ドキュメントの差分データのように欠損部を有するデータについての欠損部を解消する修復処理を効率的にかつ正確に実行することができる。具体的には、本発明の画像処理装置では、欠損部を有する修復対象データの膨張処理を実行した後、膨張処理結果画像と、追記ドキュメント画像データの重複部分を抽出するＡＮＤ処理を実行する。このＡＮＤ処理（重複部抽出処理）によって、本来の追記情報には含まれない余分な膨張領域が削除され、正確な追記画像データを生成することが可能となる。また、欠損部の解消の有無を検証しながら膨張処理を実行する構成や、画像に含まれる画素の連結領域のラベリングを実行する構成とすることで、さらに正確な追記情報の修復が実現される。

本発明の画像処理装置を適用した処理の概要について説明する図である。 原本ドキュメントと、追記ドキュメントからの差分データの生成例について説明する図である。 本発明の画像処理装置による処理対象データ例について説明する図である。 本発明の画像処理装置一実施例構成を示すブロック図である。 本発明の画像処理装置による具体的な処理例について説明する図である。 本発明の画像処理装置による具体的な処理例について説明する図である。 本発明の画像処理装置による具体的な処理例について説明する図である。 本発明の画像処理装置による具体的な処理例について説明する図である。 本発明の画像処理装置における処理シーケンスを説明するフローチャートを示す図である。 本発明の画像処理装置一実施例構成を示すブロック図である。 本発明の画像処理装置一実施例構成を示すブロック図である。 本発明の画像処理装置一実施例構成であり、修復状況検証手段を有する構成を示すブロック図である。 修復状況検証手段を有する画像処理装置における処理シーケンスを説明するフローチャートを示す図である。 本発明の画像処理装置一実施例構成であり、連結領域対応付け処理手段を有する構成を示すブロック図である。 図１４に示す連結領域対応付け処理手段を有する画像処理装置における処理シーケンスを説明するフローチャートを示す図である。 図１４に示す連結領域対応付け処理手段を有する画像処理装置における処理シーケンスを説明するフローチャートを示す図である。 本発明の画像処理装置のハードウェア構成例について説明する図である。

符号の説明

１０ 原本ドキュメント
２０ 追記ドキュメント
３０ スキャナ
５１ 原本ドキュメント
５２ 追記ドキュメント
５３ 線分データ
５５ 追記情報
６１ 追記ドキュメント
６２ 追記情報
７１ 罫線付きドキュメント
７２ 罫線除去情報
１００ 画像処理装置
１５１ 原本ドキュメント画像データ
１５２ 追記ドキュメント画像データ
１５３ 追記画像データ
１５４ 修復追記画像データ
２０１ 差分抽出手段
２０２ 膨張処理（太線化処理）手段
２０３ ＡＮＤ処理（重複部抽出）処理手段
２５１ 原本ドキュメント画像データ
２５２ 追記ドキュメント画像データ
２５３ 追記情報
２５４ 追記画像データ
２５５ 膨張処理データ
２５６ 修復追記画像データ
２５７ 追記情報
２７１ 原本ドキュメント画像データ
２７２ 追記ドキュメント画像データ
２７３ 追記情報
２７４ 追記画像データ
２７５ 膨張処理データ
２７６ 修復追記画像データ
２７７ 追記情報
３１１ 色抽出手段
３２１ 罫線分離手段
３５１ 修復状況検証手段
４０１ 差分抽出手段
４０２ 連結領域識別子付与手段
４０３ 連結領域識別子付与手段
４０４ 連結領域対応付け手段
４０５ 膨張処理（太線化処理）手段
４０６ ＡＮＤ処理（重複部抽出）処理手段
４０７ 修復状況検証手段
４５１ 連結領域対応付け追記画像データ
４５２ 連結領域対応付け追記ドキュメントデータ
４５３ 修復追記画像データ
４７１ 領域情報
５０１ ＣＰＵ(Central Processing Unit)
５０２ ＲＯＭ（Read-Only-Memory）
５０３ ＲＡＭ（Random Access Memory）
５０４ ホストバス
５０５ ブリッジ
５０６ 外部バス
５０７ インタフェース
５０８ キーボード
５０９ ポインティングデバイス
５１０ ディスプレイ
５１１ ＨＤＤ（Hard Disk Drive）
５１２ ドライブ
５１４ 接続ポート
５１５ 通信部
５２１ リムーバブル記録媒体
５２２ 外部接続機器
５３１ データ読み取り部
５３２ データ出力部

Claims (18)

1. 欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理装置であり、
   原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像データから追記情報を抽出した追記画像データを生成する追記情報抽出手段と、
   前記追記情報抽出手段の生成した追記画像データに含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理手段と、
   前記膨張処理手段の生成した膨張処理画像データと、前記追記ドキュメント画像データの重複部分を抽出し、重複部抽出画像データを生成する重複部抽出処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記追記情報抽出手段は、
   原本ドキュメント画像データと、前記追記ドキュメント画像データを入力し、２つの入力画像データの差分を抽出する差分抽出手段によって構成されることを特徴とする請求項１に記載の画像処理装置。
3. 前記追記情報抽出手段は、
   追記ドキュメント画像データを入力し、該追記ドキュメント画像データから特定の色の記録情報を追記情報として抽出する色抽出手段によって構成されることを特徴とする請求項１に記載の画像処理装置。
4. 前記追記情報抽出手段は、
   追記ドキュメント画像データを入力し、該追記ドキュメント画像データから罫線情報を削除し、罫線情報以外の情報を追記情報として抽出する罫線分離手段によって構成されることを特徴とする請求項１に記載の画像処理装置。
5. 前記画像処理装置は、さらに、
   前記重複部抽出処理手段の生成する重複部抽出画像データについての欠損部の有無を検証し、欠損部が検出された場合に、前記膨張処理手段において膨張量を増加させた膨張処理画像データを再生成させて、該再生成膨張処理画像データと、前記追記ドキュメント画像データの重複部分からなる重複部抽出画像データを再生成させる修復状況検証手段を有することを特徴とする請求項１に記載の画像処理装置。
6. 前記修復状況検証手段は、
   前記重複部抽出処理手段の生成する重複部抽出画像データについての欠損部が解消されるまで、膨張処理手段において膨張量を増加させた膨張処理画像データを繰り返し生成させ、該膨張処理画像データと、前記追記ドキュメント画像データの重複部分からなる重複部抽出画像データを繰り返し生成させる処理を実行させる構成であることを特徴とする請求項５に記載の画像処理装置。
7. 前記画像処理装置は、さらに、
   前記追記情報抽出手段の生成した追記画像データに含まれる追記情報を構成する連結領域に対応する識別子を付与する第１連結領域識別子付与手段と、
   前記追記ドキュメント画像データに含まれる追記情報を構成する連結領域に対応する識別子を付与する第２連結領域識別子付与手段と、
   前記第１連結領域識別子付与手段の付与した第１の連結領域識別子と、前記第２連結領域識別子付与手段の付与した第２連結領域識別子との対応を判別する連結領域対応付け手段とを有し、
   前記膨張処理手段は、
   前記連結領域対応付け手段において対応付けられた第１連結領域識別子と、第２連結領域識別子が１対１に対応付けられるレベルに至るまで、追記画像データに含まれる欠損部の解消が進行するように膨張量を制御して膨張処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
8. 前記画像処理装置は、さらに、
   連結領域対応付け手段の生成する連結領域情報を入力し、該連結領域情報に基づいて、前記重複部抽出処理手段の生成する重複部抽出画像データについての修復すべき欠損部の有無を検証し、修復すべき欠損部が検出された場合に、前記膨張処理手段において膨張量を増加させた膨張処理画像データを再生成させて、該再生成膨張処理画像データと、前記追記ドキュメント画像データの重複部分からなる重複部抽出画像データを再生成させる修復状況検証手段を有することを特徴とする請求項７に記載の画像処理装置。
9. 前記修復状況検証手段は、
   前記連結領域対応付け手段において対応付けられた第１連結領域識別子と、第２連結領域識別子が１対１に対応付けられるレベルに至るまで、追記画像データに含まれる欠損部の解消が進行するように膨張処理手段において膨張量を増加させた膨張処理画像データを繰り返し生成させ、該膨張処理画像データと、前記追記ドキュメント画像データの重複部分からなる重複部抽出画像データを繰り返し生成させる処理を実行させる構成であることを特徴とする請求項８に記載の画像処理装置。
10. 欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理方法であり、
    原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像データから追記情報を抽出した追記画像データを生成する追記情報抽出ステップと、
    前記追記情報抽出ステップにおいて生成した追記画像データに含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理ステップと、
    前記膨張処理ステップにおいて生成した膨張処理画像データと、前記追記ドキュメント画像データの重複部分を抽出し、重複部抽出画像データを生成する重複部抽出処理ステップと、
    を有することを特徴とする画像処理方法。
11. 前記追記情報抽出ステップは、
    原本ドキュメント画像データと、前記追記ドキュメント画像データを入力し、２つの入力画像データの差分を抽出する差分抽出ステップを含むことを特徴とする請求項１０に記載の画像処理方法。
12. 前記追記情報抽出ステップは、
    追記ドキュメント画像データを入力し、該追記ドキュメント画像データから特定の色の記録情報を追記情報として抽出する色抽出処理ステップを含むことを特徴とする請求項１０に記載の画像処理方法。
13. 前記追記情報抽出ステップは、
    追記ドキュメント画像データを入力し、該追記ドキュメント画像データから罫線情報を削除し、罫線情報以外の情報を追記情報として抽出する罫線分離処理ステップを含むことを特徴とする請求項１０に記載の画像処理方法。
14. 前記画像処理方法は、さらに、
    前記重複部抽出処理ステップにおいて生成する重複部抽出画像データについての欠損部の有無を検証する修復状況検証ステップを有し、
    欠損部が検出された場合に、膨張量を増加させた膨張処理画像データを再生成させて、該再生成膨張処理画像データと、前記追記ドキュメント画像データの重複部分からなる重複部抽出画像データを再生成させるステップを有することを特徴とする請求項１０に記載の画像処理方法。
15. 前記画像処理方法は、さらに、
    前記追記情報抽出ステップにおいて生成した追記画像データに含まれる追記情報を構成する連結領域に対応する識別子を付与する第１連結領域識別子付与ステップと、
    前記追記ドキュメント画像データに含まれる追記情報を構成する連結領域に対応する識別子を付与する第２連結領域識別子付与ステップと、
    前記第１連結領域識別子付与ステップにおいて付与した第１の連結領域識別子と、前記第２連結領域識別子付与ステップにおいて付与した第２連結領域識別子との対応を判別する連結領域対応付けステップとを有し、
    前記膨張処理ステップは、
    前記連結領域対応付けステップにおいて対応付けられた第１連結領域識別子と、第２連結領域識別子が１対１に対応付けられるレベルに至るまで、追記画像データに含まれる欠損部の解消が進行するように膨張量を制御して膨張処理を実行することを特徴とする請求項１０に記載の画像処理方法。
16. 前記画像処理方法は、さらに、
    連結領域対応付けステップにおいて生成する連結領域情報を入力し、該連結領域情報に基づいて、前記重複部抽出処理ステップにおいて生成する重複部抽出画像データについての修復すべき欠損部の有無を検証し、修復すべき欠損部が検出された場合に、膨張処理手段において膨張量を増加させた膨張処理画像データを再生成させて、該再生成膨張処理画像データと、前記追記ドキュメント画像データの重複部分からなる重複部抽出画像データを再生成させる修復状況検証ステップを有することを特徴とする請求項１５に記載の画像処理方法。
17. 前記修復状況検証ステップは、
    前記連結領域対応付けステップにおいて対応付けられた第１連結領域識別子と、第２連結領域識別子が１対１に対応付けられるレベルに至るまで、追記画像データに含まれる欠損部の解消が進行するように膨張処理手段において膨張量を増加させた膨張処理画像データを繰り返し生成させ、該膨張処理画像データと、前記追記ドキュメント画像データの重複部分からなる重複部抽出画像データを繰り返し生成させる処理を実行させるステップであることを特徴とする請求項１６に記載の画像処理方法。
18. 欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理をコンピュータ上において実行させるコンピュータ・プログラムであり、
    原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像データから追記情報を抽出した追記画像データを生成する追記情報抽出ステップと、
    前記追記情報抽出ステップにおいて生成した追記画像データに含まれる追記情報の膨張処理を実行して膨張処理画像データを生成する膨張処理ステップと、
    前記膨張処理ステップにおいて生成した膨張処理画像データと、前記追記ドキュメント画像データの重複部分を抽出し、重複部抽出画像データを生成する重複部抽出処理ステップと、
    を実行させることを特徴とするコンピュータ・プログラム。

Images