JP2007233900A - 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】複数の色を適用したドキュメントに対する追記情報を正確に抽出して、属性値の付与およびドキュメント解析を正確に行なう構成を提供する。
【解決手段】ドキュメントに対する属性値設定処理として実行される色マーカーによる追記情報の重なりや、追記情報と原本情報との重なり部の解析を行い、重なり部がどの色の組み合わせによって生成されたかを解析し、重なり部において途切れた追記情報を修復し、修復追記情報の指定領域の情報を取得して文字認識などの解析を行なって結果をデータベースなどに格納する。本構成により、複数の色マーカーの重なりや、色マーカーと原本情報の重なりが発生しても、正確な追記情報抽出、追記による特定情報の抽出および解析が可能となる。
【選択図】図１２

Description

本発明は、情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、本発明は、色マーカーによる追記における複数の追記情報の重なり、あるいは追記情報と原本情報との重なり部の解析を行い、正確な追記領域抽出を可能とした情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。

文書ドキュメントに対するデータ処理分野において、例えば文書画像データから文書領域毎の属性を取得し、属性毎に画像領域を分類した後に、文字認識処理（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）を行い、分類されたテキストデータを生成してデータベースに保存するという処理がインデックス抽出処理として知られている。このインデックス抽出処理を開示した従来技術としては、例えば特許文献１，２がある。

また、予め決められた文書フォームを規定し、この文書フォームに追記可能な追記領域を設定し、その指定追記領域に、位置情報を埋め込み、ドキュメントからの追記情報抽出時に、原本との照合を不要として効率的に追記情報を取得する構成が特許文献３に記載されている。さらに、ドキュメントの分割領域に、領域を識別する情報を埋め込み、追記情報の抽出時に領域から効率的に追記情報の抽出を行なう処理構成が特許文献４に記載されている。

さらに、紙原稿に対する変更処理、例えば追記が行われた場合に、変更箇所を特定して抽出し、抽出した変更箇所情報をオリジナル情報にデータとして追加して管理する構成、例えばいわゆる追記部抽出処理構成について特許文献５，６などに記載されている。
特開平５−３４２３２６号公報 特開２００２−１２３８１５号公報 特開２００３−２７１９４２号公報 特開２００３−１８３９３号公報 特開平１０−２５５０２７号公報 特開平１１−２７２６５４号公報

上述したように、ドキュメントに対するデータ処理において、ドキュメントに含まれる様々なデータを種類毎に区分、いわゆるカテゴライズしてデータベースなどの記憶部にデータとして分類保存するための様々な技術が提案されている。しかし、文書ドキュメントに含まれる文書領域から属性を抽出する処理の自動化には性能的な限界があり、正確な属性抽出を行なうためには、人（オペレータ）の介入を必要としているのが現状である。

人（オペレータ）の介入によって属性抽出を行なう場合、所定の属性に対応する属性値を紙原稿に人がマークし、その原稿をスキャンした後にマーク領域の情報を属性値として抽出するといった処理が行なわれることになる。例えば赤のマーカー設定部は日付データであり、青のマーカー設定部は文書名データであるなど、予め情報の種類とマーカーの色の対応を設定して、マーカーの色を判別して属性情報を取得する構成である。

しかし、このようなマーカーの色を判別して属性情報を取得する構成では、以下のような課題が生ずる。例えば、様々な色のマーカーを使用して原稿に追記を行なうと、異なるマーカー色の重なり（例えば赤と青の重なりなど）が発生することがある。さらに追記としてのマーカー色（例えば赤）と原本情報（例えば黒）との重なりが発生することがある。このような異なる色の重なり発生部分では、スキャナでの読み取り時に本来のマーカー色が認識できず、異なる色として読み取られる。従って、このような原稿を読み込んでも、重なり部分では、正確なマーカー色の抽出が実行されず、マーカー色に基づく追記領域の特定が正確に実行されなくなるという問題がある。

本発明は、上述の問題点に鑑みてなされたものであり、属性設定処理として実行される色マーカーによる追記における複数の追記情報の重なり、あるいは追記情報と原本情報との重なり部の解析を行い、正確な追記領域抽出を可能とした情報処理装置、および情報処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
原本ドキュメントに対して複数の異なる色を適用した追記情報の書き込み実行した追記ドキュメントを入力し、追記ドキュメント上の色情報を取得する色抽出手段と、
前記色抽出手段による抽出色に基づき、混色によって生成される色の組み合わせまたは色空間と、前記抽出色との対応を解析する色解析手段と、
前記色解析手段の解析結果に基づいて、追記ドキュメント上における複数の色の重なり部を判定し、該重なり部と追記情報の途切れ部分との対応部分に相当する追記情報の途切れ部分の連結処理を実行する追記領域連結統合手段と、
前記追記領域連結統合手段において連結された追記情報による追記ドキュメントの指定領域を特定する追記領域指定部特定手段と、
前記追記領域指定部特定手段によって解析された指定領域に含まれる情報を読み取る追記領域指定部情報解析手段と、
を有することを特徴とする情報処理装置にある。

さらに、本発明の情報処理装置の一実施態様において、前記色解析手段は、前記色抽出手段による抽出色に基づいて、色空間において減法混色の可能性のある部分色空間を抽出する処理を実行する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記色解析手段は、前記色抽出手段による抽出色に基づいて、該抽出色の対応する減法混色の組み合わせを抽出する処理を実行する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記追記領域指定部情報解析手段は、前記追記領域指定部特定手段によって解析された指定領域に含まれる情報の文字認識処理（ＯＣＲ）を実行する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記追記領域指定部情報解析手段は、前記追記領域指定部特定手段によって解析された指定領域に含まれる情報を画像データとして取得する処理を実行する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記追記領域指定部情報解析手段は、前記追記情報によって内包された領域、または内包領域と、追記情報との接触および重なり領域に含まれる情報の読み取りを実行する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、原本ドキュメントと追記ドキュメントを入力して差分抽出を実行する画像処理手段を有し、前記色抽出手段は、前記画像処理手段の生成した差分画像データ上の色情報を取得する処理を実行する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、追記ドキュメントを入力して追記ドキュメント上の罫線除去を実行する画像処理手段を有し、前記色抽出手段は、前記画像処理手段の生成した罫線除去画像データ上の色情報を取得する処理を実行する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、前記追記ドキュメント上の色情報を取得する色抽出手段によって抽出された色情報に基づいて、複数の予め設定された色情報に限定した限定色化画像を生成する限定色化画像生成手段を有し、前記色解析手段は、前記限定色化画像生成手段の生成した限定色化画像に基づいて、混色によって生成される色の組み合わせ、または色空間と、前記抽出色との対応を解析する処理を実行する構成であることを特徴とする。

さらに、本発明の第２の側面は、
情報処理装置においてドキュメント解析処理を実行する情報処理方法であり、
色抽出手段において、原本ドキュメントに対して複数の異なる色を適用した追記情報の書き込み実行した追記ドキュメントを入力し、追記ドキュメント上の色情報を取得する色抽出ステップと、
色解析手段において、前記色抽出手段による抽出色に基づき、混色によって生成される色の組み合わせまたは色空間と、前記抽出色との対応を解析する色解析ステップと、
追記領域連結統合手段において、前記色解析手段の解析結果に基づいて、追記ドキュメント上における複数の色の重なり部を判定し、該重なり部と追記情報の途切れ部分との対応部分に相当する追記情報の途切れ部分の連結処理を実行する追記領域連結統合ステップと、
追記領域指定部特定手段において、前記追記領域連結統合手段において連結された追記情報による追記ドキュメントの指定領域を特定する追記領域指定部特定ステップと、
追記領域指定部情報解析手段において、前記追記領域指定部特定手段によって解析された指定領域に含まれる情報を読み取る追記領域指定部情報解析ステップと、
を有することを特徴とする情報処理方法にある。

さらに、本発明の情報処理方法の一実施態様において、前記色解析ステップは、前記色抽出手段による抽出色に基づいて、色空間において減法混色の可能性のある部分色空間を抽出する処理を実行するステップであることを特徴とする。

さらに、本発明の情報処理方法の一実施態様において、前記色解析ステップは、前記色抽出手段による抽出色に基づいて、該抽出色の対応する減法混色の組み合わせを抽出する処理を実行するステップであることを特徴とする。

さらに、本発明の情報処理方法の一実施態様において、前記追記領域指定部情報解析ステップは、前記追記領域指定部特定手段によって解析された指定領域に含まれる情報の文字認識処理（ＯＣＲ）を実行するステップであることを特徴とする。

さらに、本発明の情報処理方法の一実施態様において、前記追記領域指定部情報解析ステップは、前記追記領域指定部特定手段によって解析された指定領域に含まれる情報を画像データとして取得する処理を実行するステップであることを特徴とする。

さらに、本発明の情報処理方法の一実施態様において、前記追記領域指定部情報解析ステップは、前記追記情報によって内包された領域、または内包領域と、追記情報との接触および重なり領域に含まれる情報の読み取りを実行するステップであることを特徴とする。

さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、画像処理手段において、原本ドキュメントと追記ドキュメントを入力して差分抽出を実行する画像処理ステップを有し、前記色抽出ステップは、前記画像処理手段の生成した差分画像データ上の色情報を取得する処理を実行することを特徴とする。

さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、画像処理手段において、追記ドキュメントを入力して追記ドキュメント上の罫線除去を実行する画像処理ステップを有し、前記色抽出ステップは、前記画像処理手段の生成した罫線除去画像データ上の色情報を取得する処理を実行することを特徴とする。

さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、限定色化画像生成手段において、前記追記ドキュメント上の色情報を取得する色抽出手段によって抽出された色情報に基づいて、複数の予め設定された色情報に限定した限定色化画像を生成する限定色化画像生成ステップを有し、前記色解析ステップは、前記限定色化画像生成手段の生成した限定色化画像に基づいて、混色によって生成される色の組み合わせ、または色空間と、前記抽出色との対応を解析する処理を実行することを特徴とする。

さらに、本発明の第３の側面は、
情報処理装置においてドキュメント解析処理を実行させるコンピュータ・プログラムであり、
色抽出手段において、原本ドキュメントに対して複数の異なる色を適用した追記情報の書き込み実行した追記ドキュメントを入力し、追記ドキュメント上の色情報を取得させる色抽出ステップと、
色解析手段において、前記色抽出手段による抽出色に基づき、混色によって生成される色の組み合わせまたは色空間と、前記抽出色との対応を解析させる色解析ステップと、
追記領域連結統合手段において、前記色解析手段の解析結果に基づいて、追記ドキュメント上における複数の色の重なり部を判定し、該重なり部と追記情報の途切れ部分との対応部分に相当する追記情報の途切れ部分の連結処理を実行させる追記領域連結統合ステップと、
追記領域指定部特定手段において、前記追記領域連結統合手段において連結された追記情報による追記ドキュメントの指定領域を特定させる追記領域指定部特定ステップと、
追記領域指定部情報解析手段において、前記追記領域指定部特定手段によって解析された指定領域に含まれる情報を読み取らせる追記領域指定部情報解析ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、例えば、文書ドキュメントに対する属性設定処理として実行される色マーカーによる追記のなされた追記ドキュメントの解析処理において、複数の追記情報の重なり、あるいは追記情報と原本情報との重なり部の検出を行い、重なり部が、どの色の組み合わせによって生成された色であるかを解析して、重なり部において途切れてしまった追記情報を修復し、修復した追記情報の指定情報を確実に読み取る構成を有する。また、修復した追記情報の指定情報に含まれる文字について文字認識などの情報解析を行なって解析結果をデータベースなどに格納する。本構成によって、例えば追記ドキュメントに複数の色マーカー相互の重なりや、色マーカーと原本情報との重なりが発生していても、正確な追記情報の抽出および追記情報による特定情報の抽出および解析が可能となる。

以下、図面を参照しながら本発明の実施形態に係る情報処理装置、および情報処理方法、並びにコンピュータ・プログラムの詳細について説明する。

まず、図１〜図３を参照して、追記部インデックス化処理を利用したドキュメント処理の一般的処理例について説明する。追記部インデックス化処理は、例えば文書ドキュメントに対して、オペレータが、ドキュメント上の文字列などの情報を、カテゴリに応じて設定された特定色のマーカーでチェックする処理を行い、この処理後のドキュメントをスキャナで読み取り、その読み取り画像データから、マーカー色を判別して、ドキュメント上の情報分類を行ない、ドキュメントに対するインデックス情報としてデータベースに格納する処理である。

例えば、マーカーの色に応じて、
赤：ファイル名、
青：日付、
緑：キーワード、
など、情報の種類に応じて、予め利用するマーカー色が対応付けられており、オペレータがドキュメント上から、これらの情報に対応する情報を選択して、それぞれに割り当てられたマーカーでチェックをする。その後、ＰＣ等の情報処理装置において、スキャナで読み取った画像データからマーカーの色情報を取得して、各色情報の指示部分の文書情報などを例えば文字認識（ＯＣＲ）処理などにより、データ化を行い、その文書ドキュメントに対応するインデックス情報としてデータベースに格納する。

例えば、図１に示す情報処理装置５１は、データベース５４に格納された文書ドキュメントを、プリンタ５２を介して出力する。図に示す原本ドキュメント１１である。オペレータは、この原本ドキュメント１１対して、予め設定された情報種類と利用マーカー色の対応に基づいて、マーカーによる追記を行なう。この結果が図に示す追記ドキュメント１２である。

例えば、追記ドキュメントには、赤、青、緑のマーキング２１〜２３がなされており、これらは、予め定められたルールに基づいてマーキングされたものである。例えば、マーカーの色と情報種類の対応が、
赤：ファイル名、
青：日付、
緑：キーワード、
として設定されている。この追記ドキュメント１２はスキャナ５３によって読み取られて、情報処理装置５１においてデータ処理がなされ、処理対象文書ドキュメントに対応するインデックス情報の設定処理がなされる。

図２を参照して、情報処理装置５１において実行されるインデックス設定処理について説明する。データベース５４には、図１において説明した原本ドキュメント１１に対応するドキュメントデータファイル７１が格納され、情報処理装置５１は、図１を参照して説明した追記ドキュメント１２に基づいて、この原本ドキュメント１１に対応するインデックス情報を抽出して、そのドキュメントに対応するインデックス情報としてデータベース５４に格納する。

情報処理装置は、マーカーの色と情報種類の対応情報、すなわち、
赤：ファイル名、
青：日付、
緑：キーワード、
これらの対応情報に基づいて、追記ドキュメント１２から情報を読み取り、文字認識処理（ＯＣＲ）などを併用して、図２に示す各インデックス情報を取得する。図に示す例では、
（１）マーカー色＝赤→ファイル名：「連絡書」、「セキュリティ対策講座CD-ROM配布・展開の件」
（２）マーカー色＝青→日付：「２００４年３月２９日」
（３）マーカー色＝緑→キーワード：「セキュリティ対策講座 ネットワーク社会のここが危ない！！」
これらのインデックス情報が、追記ドキュメント１２から抽出され、このドキュメントのインデックス情報としてデータベース５４に格納される。

このインデックス付与処理の一連のシーケンスについて、図３を参照して説明する。図３に示すドキュメント１０１がインデックス抽出処理対象となるドキュメントである。ステップ１１において、オペレータが、このドキュメント１１に対して、予め定められた情報の種類に対応するマーカー色を用いてマーカー追記を実行して、マーカー追記ドキュメント１０２を生成する。

情報処理装置は、スキャナによって、このマーカー追記ドキュメント１０２を読み取り、データ処理（ステップＳ１２の色アノテーション抽出処理）を実行する。
赤：ファイル名、
青：日付、
緑：キーワード、
これらの対応情報に基づいて、マーカー追記ドキュメント１０２から、それぞれの情報を抽出する。図に示すように、
（１）赤マーカー記録データ１０３ａ、
（２）青マーカー記録データ１０３ｂ、
（３）緑マーカー記録データ１０３ｃ、
これらのデータが抽出される。

情報処理装置は、ステップＳ１３において、これらの抽出データから文字列抽出を実行し、図に示すように、
（１）インデックスデータ１０４ａ＝［マーカー色＝赤→ファイル名：「連絡書」、「セキュリティ対策講座CD-ROM配布・展開の件」］
（２）インデックスデータ１０４ｂ＝［マーカー色＝青→日付：「２００４年３月２９日」］
（３）インデックスデータ１０４ｃ＝［マーカー色＝緑→キーワード：「セキュリティ対策講座 ネットワーク社会のここが危ない！！」］
これらのインデックス情報を取得して、ドキュメント１０１のインデックス情報としてデータベースに格納する。

このようにドキュメントに含まれる様々なデータを種類毎に区分、いわゆるカテゴライズしてデータベースなどの記憶部にドキュメント対応のインデックス情報を格納することが可能となる。このような処理において、マーカーの記入は、人（オペレータ）が実行する。しかし、前述したように、様々な色のマーカーを使用して原稿に追記を行なうと、追記情報としての異なるマーカー色の重なりが発生することがあり、さらに追記としてのマーカー色と原本情報との重なりが発生することがある。このような異なる色の重なり発生部分では、スキャナでの読み取り時に本来のマーカー色と異なる色として読み取られる。従って、このような原稿を読み込んでも、重なり部分では、正確なマーカー色の抽出が実行されず、マーカー色に基づく追記領域の特定が正確に実行されなくなるという問題がある。

本発明は、このような問題点を解決した構成を有する。すなわち、属性設定処理として実行される色マーカーによる追記において、複数の異なるマーカー色としての追記情報の重なり、あるいは追記情報と原本情報との重なり部の解析を行い、正確な追記領域の抽出を可能とする。図４以下を参照して本発明の情報処理装置の実行する処理の詳細について説明する。

図４は、ドキュメントに対する属性設定処理として実行される色マーカーによる追記において、複数の異なるマーカー色としての追記情報の重なり、あるいは追記情報と原本情報との重なり部の発生の具体例について説明する図である。

図４に示す原本ドキュメント２０１に対して、オペレータが、各種の色マーカーを利用して、属性設定としてのチェックを行なう。ここでは、特定の属性（例えば日付、ファイル名、キーワードなど）に対応する文書領域を、各属性に対応付けられた色のマーカーで囲む処理を行なう例を示している。図４に示す例では、マーカーの使用色は、黄（Ｙ）、マゼンタ（Ｍ）、青（Ｂ）であり、原稿の色は黒（Ｋ）である例である。

オペレータによるマーカーを用いた属性付与結果が追記ドキュメント２０２である。追記ドキュメント２０２には、黄（Ｙ）、マゼンタ（Ｍ）、青（Ｂ）の各色のマーカーによってチェックがなされている。しかし、このマーカー追記を行なった追記ドキュメント２０２には、異なるマーカー色の重なり部分である追記情報重なり部２１１や、マーカー色と原稿の原本情報との重なり部分である追記および原稿情報重なり部２１２が発生している。

このような、追記情報重なり部２１１や、原稿情報重なり部２１２では、スキャナによる追記ドキュメント原稿読み取り時に、本来の追記情報としてのマーカー色を識別することができない。結果として、マーカー色による指定領域を正確に把握することができなくなる。

本来であれば、図５に示すように、追記ドキュメント２０２から、
黄（Ｙ）のマーカー色指定領域２２１、
マゼンタ（Ｍ）のマーカー色指定領域２２２、
青（Ｂ）のマーカー色指定領域２２３、
これらの３つの指定領域が正確に読み取られ、これらの３つの領域内の文字情報がＯＣＲ処理されて、各属性対応のインデックス情報としてデータベースなどの記憶部に格納されることが必要であるが、スキャナでの読み取り時に、追記情報重なり部２１１や、原稿情報重なり部２１２では、本来のマーカー色が検出されず、マーカーによる指定領域の把握が困難となる。

本発明の情報処理装置では、これらの追記情報重なり部２１１や、原稿情報重なり部２１２の解析を実行し、本来のマーカー色の検出を可能とする。これらの解析処理例について、以下、図面を参照して説明する。図６は、異なる色のマーカー色の重なり部の色解析に基づいて、複数の異なるマーカー色の追記領域を識別する処理について説明する図である。

図６（ａ）は、２つの異なるマーカー色として、黄色（Ｙ）と、マゼンタ（Ｍ）を利用した場合において重なりが発生した場合の例を示している。図６（ａ）に示すように、黄色（Ｙ）のマーカー追記領域２３１と、マゼンタ（Ｍ）のマーカー追記領域２３２が設定され、これらの２つの追記情報に、重なり部分２３３が発生している。

この重なり部分２３３は、原稿のスキャナによる読み取り時に、赤（Ｒ）として識別される。すなわち、
黄（Ｙ）＋マゼンタ（Ｍ）＝赤（Ｒ）
によって、赤（Ｒ）と識別される。

スキャナによって読み取られる色情報は、原稿にあらかじめ利用されている原本情報の色（例えば黒）と、追記に利用されたマーカーの色、ここでは、黄（Ｙ）と、マゼンタ（Ｍ）であるとする。すなわち、基本的に、スキャナによって読み取られる
色情報は、原則的に、
黒（Ｋ）、黄（Ｙ）、マゼンタ（Ｍ）の３色のいずれかである。
本発明の情報処理装置では、本来の使用色以外の色が、スキャナ読み取り原稿から検出された場合、色の混合によって生成された色であると判定し、その検出色に基づいて、どの色の混合であるかを解析する。

例えば、図６に示す例では、重なり部分２３３では、赤（Ｒ）が検出される。本発明の情報処理装置は、検出色である赤（Ｒ）が、黒（Ｋ）、黄（Ｙ）、マゼンタ（Ｍ）の３色のどの色の混合によって生成された色であるかを解析する。情報処理装置は、原稿の原本および追記マーカーとして利用されている使用色情報（例えば、黒、黄、マゼンタ）を記憶部に保持しており、情報処理装置は、この使用色情報と、スキャナによって読み取られた色情報とを対比して、使用色情報（例えば、黒、黄、マゼンタ）に含まれない検出色（赤）が、どの使用色の混合によって生成されたかを解析する。

図６に示す例では、重なり部分２３３では、赤（Ｒ）が検出される。赤（Ｒ）は、黄（Ｙ）とマゼンタ（Ｍ）との混合によって生成される色であると解析する。すなわち、
赤（Ｒ）＝黄（Ｙ）＋マゼンタ（Ｍ）
であると判定し、この重なり部分２３３は、黄（Ｙ）のマーカーと、マゼンタ（Ｍ）のマーカーとが重複した部分であると判断する。なお、検出色に基づく色解析は、予め規定されたルールに従って行なう。

情報処理装置は、スキャナによって検出される色情報と、その検出色情報に含まれる複数の使用色との対応テーブルを、予め情報処理装置内の記憶部に保持して、これを利用して検出色に基づく使用色の解析を実行してもよいし、あるいは、検出色に基づく色分解処理を実行して、実際に利用された色の解析を逐次行なう構成としてもよい。なお、テーブルの生成、あるいは色解析に際しては、色解析分野で公知の色空間における減法混色領域情報を適用することができる。

減法混色について図７を参照して説明する。図７には、
（１）ＣＭＹＫ（またはＲＧＢ）空間における減法混色の発生状況
（２）Ｌａｂ空間における減法混色の発生状況
これらの異なる色空間における減法混色の発生状況を説明する図を示してある。

（１）ＣＭＹＫ（またはＲＧＢ）空間における減法混色の発生状況を示す図において、各頂点は、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（黄色）、Ｋ（黒）、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｗ（白）を示している。例えば抽出色を、図に示す抽出色２４１とする。この抽出色に対して、他の色が混合した場合に生成される色の領域が、図に示す直方体によって示す領域であり、この領域が減法混色の可能性がある部分色空間２４２である。

すなわち、抽出色と黒（Ｋ）を結ぶ直線を対角線とした直方体によって、減法混色の可能性がある部分色空間が示される。従って、例えば、原本および追記マーカーの色として使用されていない色がスキャナ読み取り情報から得られた場合、この減法混色の可能性がある部分色空間から逆に混合された色を解析することができる。

例えば、スキャナによって、読み取られた色が赤（Ｒ）である場合、赤（Ｒ）は、減法混色によって生成されたとすると、混合された色は、図７（１）のＣＭＹＫ（またはＲＧＢ）空間において、Ｍ（マゼンタ）、Ｙ（黄色）、Ｒ（赤）、Ｗ（白）の平面に存在すると判定できる。例えば原稿およびマーカーとして使用されている色が、Ｍ（マゼンタ）、Ｙ（黄色）であれば、Ｒ（赤）は、Ｍ（マゼンタ）とＹ（黄色）との混色によって生成される色であると判定され、スキャナによって検出されたＲ（赤）は、Ｍ（マゼンタ）とＹ（黄色）との混色によって生成されたと判定することができる。

なお、図７（１）は、ＣＭＹＫ（またはＲＧＢ）空間における減法混色の発生状況を示す図であるが、ＣＭＹＫ（またはＲＧＢ）空間のみならず、図７（２）に示すように、Ｌａｂ色空間においても、抽出色２５１に対して、他の色が混合した場合に生成される色の領域として図に示す円錐領域を減法混色の可能性がある部分色空間２５２を定義することができる。このようにＣＭＹＫ、ＲＧＢ、Ｌａｂなど、様々な色空間において、減法混色の可能性がある部分色空間は個別に定義可能であり、スキャナによる読み取り情報から解析される色情報は様々な設定が利用可能である。

上述した減法混色領域情報を適用することで、本発明の情報処理装置は、スキャナによって検出される色情報と、その検出色情報に含まれる複数の使用色との対応テーブルを生成して予め情報処理装置内の記憶部に保持して、これを利用して検出色に基づく使用色の解析を実行する。あるいは、検出色に基づく色分解処理を上述した減法混色領域情報を適用して実行し、実際に利用された色の解析を逐次行なう。なお、いずれの場合も、読み取り原稿において利用されている原本および追記情報の使用色情報を予め取得することが必要である。

先に、図６を参照して、異なる色の追記情報の重なりの発生の場合の色解析について説明したが、ドキュメントに対する色マーカーによる追記に際しては、色マーカーと原本情報との重なりも発生する。すなわち、例えば、図８（ａ）に示すように、原本情報＝黒（Ｋ）と、追記マーカー色＝マゼンタ（Ｍ）の重なりなどが発生する。

この場合も、上述した減法混色領域情報を適用した解析、あるいは、検出色情報と、その検出色情報に含まれる複数の使用色との対応テーブルに基づいて、解析を行なう。図に示すように、
マゼンタ（Ｍ）＋黒（Ｋ）＝黒（Ｋ）
の対応がある。

この場合、原本情報＝黒（Ｋ）と、追記マーカー色＝マゼンタ（Ｍ）の重なり部分は、原本情報と同じ黒（Ｋ）となるが、情報処理装置は、追記領域の途切れを検出して、その途切れ部が、上記の条件色、例えば、
マゼンタ（Ｍ）＋黒（Ｋ）＝黒（Ｋ）
の色に設定されていれば、検出した途切れ部がマゼンタ（Ｍ）と、黒（Ｋ）との重なり部分であると判定し、途切れ部を追記色であるマゼンタ（Ｍ）によって接続し、図８（２）に示すような途切れのない追記情報２６１として修復し、この修復された追記情報によって指定された部分（内包領域および重なり部分）に含まれる原本情報２６２を取得し、追記情報２６１によって指定された属性を持つ情報として抽出する処理を実行する。

本発明の情報処理装置では、このような解析処理によって、追記情報と他の情報（原本情報または他の追記情報）との重なり部の色解析を実行して、本来の使用色に対応する正確な追記情報領域、および追記によって指定された原本情報を正確に取得する。

図９には、
（１）黒線と１色のカラー追記が重なっている例
（２）黒線と２色のカラー追記が重なっている例
これらの例における色解析に基づく、追記情報記録領域の検出処理例を示している。

図９（１）の例では、例えば原本情報としての黒（Ｋ）と、追記情報としてのマゼンタ（Ｍ）が利用され、黒（Ｋ）とマゼンタ（Ｍ）の重なり部が、
マゼンタ（Ｍ）＋黒（Ｋ）＝黒（Ｋ）
となり、スキャナによる読み取り情報からは、追記情報としてのマゼンタ（Ｍ）が途切れた情報として取得される。情報処理装置は、途切れのあるマゼンタ（Ｍ）による追記情報の途切れ部が、使用色（マゼンタ（Ｍ）と黒（Ｋ））に基づいて上述した減法混色によって生成される色情報に相当する色であるか否かを判定し、発生する可能性のある色であると判定された場合は、その領域が、複数の使用色の重なりによって発生した領域、すなわち、本例では、
マゼンタ（Ｍ）＋黒（Ｋ）＝黒（Ｋ）
の混合によって生成された黒（Ｋ）であると判定し、検出した途切れ部がマゼンタ（Ｍ）と、黒（Ｋ）との重なり部分であると判定し、途切れ部を追記色であるマゼンタ（Ｍ）によって接続し、図９（１ｂ）に示すような途切れのない追記情報として修復し、この修復された追記情報によって指定された部分（内包領域および重なり部分）に含まれる原本情報を取得し、それぞれ、追記色に対応する属性を持つ情報として記憶部（データベース）に登録する処理を実行する。

図９（２）の例では、例えば原本情報としての黒（Ｋ）と、追記情報としてのマゼンタ（Ｍ）と黄色（Ｙ）を利用した例を示している。本例においては、
（ａ）黄（Ｙ）とマゼンタ（Ｍ）の重なり部→黄（Ｙ）＋マゼンタ（Ｍ）＝赤（Ｒ）、
（ｂ）黄（Ｙ）と黒（Ｋ）の重なり部→黄（Ｙ）＋黒（Ｋ）＝黒（Ｋ）、
（ｃ）マゼンタ（Ｋ）と黒（Ｋ）の重なり部→マゼンタ（Ｍ）＋黒（Ｋ）＝黒（Ｋ）、
これらの異なる３種類の重なり部が発生している。

スキャナによる読み取り情報からは、追記情報としてのマゼンタ（Ｍ）と黄（Ｙ）が、それぞれ途切れた情報として取得される。情報処理装置は、途切れのあるマゼンタ（Ｍ）および黄（Ｙ）による追記情報の途切れ部が、使用色（マゼンタ（Ｍ）と黄（Ｙ）と黒（Ｋ））に基づいて上述した減法混色によって生成される色情報に相当する色であるか否かを判定し、発生する可能性のある色であると判定された場合は、その領域が、複数の使用色の重なりによって発生した領域であると判定する。

本例では、マゼンタ（Ｍ）の追記情報の途切れ部が、
マゼンタ（Ｍ）＋黒（Ｋ）＝黒（Ｋ）
の混合によって生成された黒（Ｋ）である場合、検出した途切れ部がマゼンタ（Ｍ）と、黒（Ｋ）との重なり部分であると判定し、途切れ部を追記色であるマゼンタ（Ｍ）によって接続する。
同様に、黄（Ｙ）の追記情報の途切れ部が、
黄（Ｙ）＋黒（Ｋ）＝黒（Ｋ）
の混合によって生成された黒（Ｋ）である場合、検出した途切れ部が黄（Ｙ）と、黒（Ｋ）との重なり部分であると判定し、途切れ部を追記色である黄（Ｙ）によって接続する。
また、使用色に含まれない赤（Ｒ）の検出部は、上述した減法混色によって生成される色であると判定し、
黄（Ｙ）＋マゼンタ（Ｍ）＝赤（Ｒ）
であることから、赤（Ｒ）の検出部において混合された元の色情報は、黄（Ｙ）とマゼンタ（Ｍ）であると判断し、この領域を黄（Ｙ）とマゼンタ（Ｍ）との重複領域であると判定する。

これらの解析に基づいて、図９（２ｂ）に示すような途切れのない追記情報を修復し、この修復された追記情報によって指定された部分（内包領域および重なり部分）に含まれる原本情報を取得し、それぞれ、追記色に対応する属性を持つ情報として記憶部（データベース）に登録する処理を実行する。

次に、図１０および図１１を参照して、本発明の情報処理装置の一実施例の構成について説明する。図１０は、本発明の情報処理装置の一実施例構成を示すブロック図であり、図１１は、図１０に示す情報処理装置において実行される処理例に対応するフローチャートを示す図である。

情報処理装置４００は、図１０に示すように、データ入力手段４０１、色抽出手段４０２、色解析手段４０３、追記領域連結統合手段４０４、追記領域指定部特定手段４０５、追記領域指定部情報解析手段４０６、解析情報格納手段４０７を有する。この構成を持つ情報処理装置における処理例について、図１１に示すフローチャートを参照して説明する。

図１１には、２つの処理シーケンスに対応する２つのフローチャートを示している。まず、図１１（Ａ）に示すフローチャートに従った処理例について説明する。まず、ステップＳ１０１において、図１０に示すデータ入力手段４０１が処理対象の画像データを入力する。これは、例えば複数の異なる色のマーカーによって、属性設定、すなわちマーカーによるチェックのなされたドキュメント画像データであり、スキャナを介して読み取られたデータ、あるいは記憶部に格納された画像データなどが処理対象データとして入力される。

ステップＳ１０２は、色抽出手段４０２における処理であり、入力された画像データにおいて使用された色を抽出する。例えば、原本情報に使用された黒（Ｋ）、追記情報として使用された、黄（Ｙ）、マゼンタ（Ｍ）が抽出される。

ステップＳ１０３は、色解析手段４０３における処理であり、色空間（ＹＭＣＫ，ＧＢＲなどの色空間）上において、ステップＳ１０２において抽出された色に対して減法混色の可能性のある部分色空間を抽出する。例えば、
原本情報として黒（Ｋ）、
追記情報として黄（Ｙ）、マゼンタ（Ｍ）、
が使用されている場合、減法混色の可能性のある部分色空間を、例えば、図７（１）に示す色空間において抽出色２４１を黒（Ｋ）、黄（Ｙ）、マゼンタ（Ｍ）のそれぞれに設定して、それぞれの減法混色の可能性のある部分色空間を求められ、これらがそれぞれに対する連結、及び修復する際の対象色領域となる。例えば、赤（Ｒ）は、黄（Ｙ）、マゼンタ（Ｍ）のそれぞれの連結、及び修復する際の対象色領域となる。

次に、ステップＳ１０４において、追記領域連結統合手段４０４は、減法混色の部分色空間情報を利用して、画素毎に連結統合をする。黒（Ｋ）、黄（Ｙ）、マゼンタ（Ｍ）が使用色である場合、減法混色によって生成される色は、以下の関係式から、
マゼンタ（Ｍ）＋黒（Ｋ）＝黒（Ｋ）
黄（Ｙ）＋黒（Ｋ）＝黒（Ｋ）
黄（Ｙ）＋マゼンタ（Ｍ）＝赤（Ｒ）
黒（Ｋ）と赤（Ｒ）の領域であり、マゼンタ（Ｍ）または黄（Ｙ）によって設定された追記情報において途切れの発生部が、黒（Ｋ）または赤（Ｒ）である場合、この領域が、複数の使用色による重複領域となって途切れが発生したと判定し、この部分を連結して、修復された追記情報を生成する。

次に、ステップＳ１０５において、追記領域指定部特定手段４０５は、修復された追記情報各々によって内包された情報としての文字情報、画像情報を抽出する。例えば図５に示すように追記情報２２１〜２２３のそれぞれによって内包された原本情報（文字情報、画像情報）を抽出する。

次に、ステップＳ１０６において、各追記情報の内包領域の情報（文字情報、画像情報）を解析、例えば、文字情報についてはＯＣＲによって解析し、画像情報については画像データとして記憶部に格納する。これは、図１０に示す追記領域指定部情報解析手段４０６および解析情報格納手段４０７において実行される。

図１１（Ｂ）に示す処理フローは、ステップＳ２０１，Ｓ２０２は、図１１（Ａ）に示す処理フローのステップＳ１０１、Ｓ１０２の処理と同様であり、ステップＳ２０１において、処理対象のドキュメント画像を入力し、ステップＳ２０２において入力ドキュメント画像にから色を抽出する。図１１（Ｂ）に示す処理フローにおいては、ステップＳ２０３において、色解析手段４０３が、ステップＳ２０２においてドキュメントから抽出した抽出色に対して減法混色の組合せを検証する。

例えば、
原本情報として黒（Ｋ）、
追記情報として黄（Ｙ）、マゼンタ（Ｍ）、
が使用されている場合、色解析手段４０３は、これらの使用色に基づいて、減法混色によって生成される可能性のある色を検証する。この場合、減法混色によって生成される色は、以下の関係式から、
マゼンタ（Ｍ）＋黒（Ｋ）＝黒（Ｋ）
黄（Ｙ）＋黒（Ｋ）＝黒（Ｋ）
黄（Ｙ）＋マゼンタ（Ｍ）＝赤（Ｒ）
黒（Ｋ）と赤（Ｒ）であると判定する。

次に、ステップＳ２０４において、追記領域連結統合手段４０４は、ステップＳ２０３において解析した減法混色の組合せを参照して、領域を画素毎に連結統合をする。すなわち、黒（Ｋ）と赤（Ｒ）の領域が減法混色によって複数の色によって生成される色であり、マゼンタ（Ｍ）または黄（Ｙ）によって設定された追記情報において途切れの発生部が、黒（Ｋ）または赤（Ｒ）である場合、この領域を複数の使用色による重複領域となって途切れが発生したと判定し、この部分を連結して、修復された追記情報を生成する。

以下のステップＳ２０５、Ｓ２０６の処理は、図１１（Ａ）に示す処理フローのステップＳ１０５、Ｓ１０６の処理と同様であり、修復された追記情報各々によって内包された情報を抽出し、各追記情報の内包領域の情報を解析して記憶部に格納する。これは、図１０に示す追記領域指定部情報解析手段４０６および解析情報格納手段４０７において実行される。

次に、図１２を参照して、本発明の情報処理装置の第２実施例の構成について説明する。図１２に示す情報処理装置４２０は、図１０を参照して説明したと同様、データ入力手段４０１、色抽出手段４０２、色解析手段４０３、追記領域連結統合手段４０４、追記領域指定部特定手段４０５、追記領域指定部情報解析手段４０６、解析情報格納手段４０７を有する。さらに、これらの構成に加えて、画像処理手段４２１と、限定色化画像生成手段４２２を有する。

画像処理手段４２１は、処理対象として入力された画像の前処理として、例えば、色マーカーによる追記された追記画像データと追記前の原本画像との差分から追記情報のみを抽出する差分抽出処理、あるいは原本ドキュメントが罫線を含む場合、これらの罫線を除去する処理などを行なう。

限定色化画像生成手段４２２は、色抽出手段４０２において処理対象ドキュメントから取得された色情報を、特定の色、例えば予め情報処理装置に入力されている使用色情報と、減法混色によって発生する可能性のある色のみに振り分ける処理を行なう。例えば、原本情報には黒（Ｋ）、追記情報としては、黄（Ｙ）、マゼンタ（Ｍ）が使用されている場合、色抽出手段４０２において処理対象ドキュメントから取得された色情報をこれらの色と、減法混色によって発生する可能性のある色［赤（Ｒ）］に振り分ける処理を行なう。すなわち、スキャナの読み取りエラーなどによって多少の誤差を持つ色が検出された場合であっても、これらの少ない限定色のいずれかに振り分けることで、すべての情報を確実に抽出することができる。

図１２に示す構成を持つ情報処理装置における処理例について、図１３〜図１５に示すフローチャートを参照して説明する。図１３〜図１５には、（Ｃ）〜（Ｈ）の６つの処理フローを示している。図１３、図１４に示すフロー（Ｃ）〜（Ｆ）は、図１２に示す情報処理装置４２０において、画像処理手段４２１の処理を適用しない処理であり、データ入力手段４０１、色抽出手段４０２、限定色化画像生成手段４２２、色解析手段４０３、追記領域連結統合手段４０４、追記領域指定部特定手段４０５、追記領域指定部情報解析手段４０６、解析情報格納手段４０７を利用した処理である。図１５に示す処理フロー（Ｇ），（Ｈ）は、さらに、これらの構成に加えて、画像処理手段４２１を適用した処理シーケンスを説明した処理フローである。

まず、図１３（Ｃ）に示すフローチャートに従った処理について説明する。まず、ステップＳ３０１において、図１２に示すデータ入力手段４０１が処理対象の画像データを入力する。これは、例えば複数の異なる色のマーカーによって、属性設定、すなわちマーカーによるチェックのなされたドキュメント画像データであり、スキャナを介して読み取られたデータ、あるいは記憶部に格納された画像データなどが処理対象データとして入力される。

ステップＳ３０２は、色抽出手段４０２と、限定色化画像生成手段４２２における処理であり、まず、色抽出手段４０２において、入力画像データにおいて使用された色を抽出する。例えば、原本情報に使用された黒（Ｋ）、追記情報として使用された、黄（Ｙ）、マゼンタ（Ｍ）、さらに複数の追記情報の重なり部（例えば黄（Ｙ）とマゼンタ（Ｍ））から検出される赤（Ｒ）などが抽出され、さらにプリント時やスキャン時の誤差によって、黄（Ｙ）、マゼンタ（Ｍ）や赤（Ｒ）に近い色として判別される色領域も検出される。

限定色化画像生成手段４２２は、限定色化によって、多少の誤差を含む色領域を、限られた数の色として判別する限定色化を実行する。例えば予め情報処理装置に入力されている使用色情報と、減法混色によって発生する可能性のある色のみに振り分ける処理を行なう。原本情報に黒（Ｋ）、追記情報として黄（Ｙ）、マゼンタ（Ｍ）が使用されている場合、色抽出手段４０２において処理対象ドキュメントから取得された色情報をこれらの色と、減法混色によって発生する可能性のある色［赤（Ｒ）］に振り分ける処理を行なう。

ステップＳ３０３においては、色解析手段４０３が、ステップＳ３０２において生成した限定色化画像から抽出した抽出色に対して減法混色の組合せを検証する。例えば、
原本情報として黒（Ｋ）、
追記情報として黄（Ｙ）、マゼンタ（Ｍ）、
が使用されている場合、色解析手段４０３は、これらの使用色に基づいて、減法混色によって生成される可能性のある色を検証する。この場合、減法混色によって生成される色は、以下の関係式から、
マゼンタ（Ｍ）＋黒（Ｋ）＝黒（Ｋ）
黄（Ｙ）＋黒（Ｋ）＝黒（Ｋ）
黄（Ｙ）＋マゼンタ（Ｍ）＝赤（Ｒ）
黒（Ｋ）と赤（Ｒ）であると判定する。

次に、ステップＳ３０４において、追記領域連結統合手段４０４は、ステップＳ３０３において解析した減法混色の組合せを参照して、領域毎に連結統合をする。すなわち、黒（Ｋ）と赤（Ｒ）の領域が減法混色によって複数の色によって生成される色であり、マゼンタ（Ｍ）または黄（Ｙ）によって設定された追記情報において途切れの発生部が、黒（Ｋ）または赤（Ｒ）である場合、この領域を複数の使用色による重複領域となって途切れが発生したと判定し、この部分を連結して、修復された追記情報を生成する。

以下のステップＳ３０５、Ｓ３０６の処理は、図１１（Ａ）に示す処理フローのステップＳ１０５、Ｓ１０６の処理と同様であり、修復された追記情報各々によって内包された情報を抽出し、各追記情報の内包領域の情報を解析して記憶部に格納する。これは、図１２に示す追記領域指定部情報解析手段４０６および解析情報格納手段４０７において実行される。

図１３（Ｄ）に示す処理フローにおいて、ステップＳ４０１〜Ｓ４０３の処理は、図１３（Ｃ）に示す処理フローのステップＳ３０１〜Ｓ３０３と同様の処理である。図１３（Ｄ）に示す処理フローにおいては、ステップＳ４０４において、追記領域連結統合手段４０４は、ステップＳ４０３において解析した減法混色の組合せを参照して、領域を画素毎に連結統合をする。すなわち、黒（Ｋ）と赤（Ｒ）の領域が減法混色によって複数の色によって生成される色であり、マゼンタ（Ｍ）または黄（Ｙ）によって設定された追記情報において途切れの発生部が、黒（Ｋ）または赤（Ｒ）である場合、この領域を複数の使用色による重複領域となって途切れが発生したと判定し、この部分を連結して、修復された追記情報を生成する。この処理に際して、追記領域連結統合手段４０４は、重なり色(減法混色)に相当する色領域が、予め定めた値（閾値）より大きい場合、画素毎の連結を実行し、最短距離で注目色画素に到達したときその色領域を連結統合するという処理を行なう。

以下のステップＳ４０５、Ｓ４０６の処理は、図１１（Ａ）に示す処理フローのステップＳ１０５、Ｓ１０６の処理と同様であり、修復された追記情報各々によって内包された情報を抽出し、各追記情報の内包領域の情報を解析して記憶部に格納する。これは、図１２に示す追記領域指定部情報解析手段４０６および解析情報格納手段４０７において実行される。

図１４に示す処理フローは、図１３の処理フローと同様、図１２に示す情報処理装置構成４２０において、画像処理手段４２１の処理を適用しない処理であり、データ入力手段４０１、色抽出手段４０２、限定色化画像生成手段４２２、色解析手段４０３、追記領域連結統合手段４０４、追記領域指定部特定手段４０５、追記領域指定部情報解析手段４０６、解析情報格納手段４０７を利用した処理である。

図１４（Ｅ）に示す処理フローから説明する。この処理フローは、ステップＳ５０１〜Ｓ５０５までは、図１３（Ｃ）に示すフローのステップＳ３０１〜Ｓ３０５と同様の処理である。すなわち、ステップＳ５０１において、データ入力手段４０１により処理対象となる画像データを入力し、ステップＳ５０２において、色抽出手段４０２が使用色を抽出し、限定色化画像生成手段４２２が抽出色の限定色化を行い、ステップＳ５０３において、色解析手段４０３が、ステップＳ５０２において生成した限定色化画像から抽出した抽出色に対して減法混色の組合せを検証する。

次に、ステップＳ５０４において、追記領域連結統合手段４０４が、ステップＳ５０３において解析した減法混色の組合せを参照して、領域毎に連結統合をする。さらに、ステップＳ５０５において、修復された追記情報各々によって内包された領域を特定する。

本処理例では、次のステップＳ５０６の処理が、図１３（Ｃ）のステップＳ３０５と異なる。図１２に示す追記領域指定部情報解析手段４０６は、ステップＳ５０５において、修復された追記情報各々によって内包された領域に加え、追記情報に接触および重なっている領域についても解析対象情報として取得して解析、例えば文字認識（ＯＣＲ）処理を実行する。これは、例えば追記情報と原本情報としての文字情報との重なり領域についても、追記情報によって属性の付与対象とされた情報に含まれるとの判断に基づく処理である。

次に、図１４（Ｆ）に示す処理フローについて説明する。図１４の処理フローも図１２に示す情報処理装置において実行される。ステップＳ６０１〜Ｓ６０５の処理は、図１３（Ｃ）のフローチャートにおける処理ステップＳ３０１〜Ｓ３０５、および図１４（Ｅ）のフローチャートにおける処理ステップＳ５０１〜Ｓ５０５の処理と同様であるので説明を省略する。

本処理例では、ステップＳ６０６における処理が、図１３（Ｃ）のフローおよび図１４（Ｅ）のフローと異なる処理となっている。本処理例では、ステップＳ６０６において、図１２に示す追記領域指定部情報解析手段４０６および解析情報格納手段４０７が、各追記情報の内包領域の画像情報を記憶部に格納する設定としている。これまでの処理フローにおいては、文字画像情報についての文字認識処理（ＯＣＲ）処理を実行して、例えばテキストデータ化を行なった上で記憶部に格納する処理を行なう構成であったが、本処理例では、追記情報によって指定された領域の画像データそのものを取得して記憶部に格納する。この場合、特定の属性が対応付けられた画像データとして、記憶部に格納されることになる。

次に、図１５に示す処理フローについて説明する。図１５に示すフロー（Ｇ），（Ｈ）は、図１２に示す情報処理装置構成４２０において、画像処理手段４２１の処理を適用した処理であり、データ入力手段４０１、画像処理手段４２１、色抽出手段４０２、限定色化画像生成手段４２２、色解析手段４０３、追記領域連結統合手段４０４、追記領域指定部特定手段４０５、追記領域指定部情報解析手段４０６、解析情報格納手段４０７を利用した処理である。

まず、図１５（Ｇ）に示す処理フローから説明する。まず、ステップＳ７０１において、図１２に示すデータ入力手段４０１が処理対象の画像データを入力する。これは、例えば複数の異なる色のマーカーによって、属性設定、すなわちマーカーによるチェックのなされたドキュメント画像データであり、スキャナを介して読み取られたデータ、あるいは記憶部に格納された画像データなどが処理対象データとして入力される。

次の、ステップＳ７０２、Ｓ７０３の処理は、画像処理手段４２１において実行される。画像処理手段４２１は、ステップＳ７０２において、処理大使用ドキュメントの識別子、例えば、プリント出力ＩＤを参照して原本(追記されていない文書又は画像)を情報処理装置の記憶部、あるいはネットワーク接続されたデータベースなどから検索を行い入力あるいはダウンロードを行なう。

例えば、図４に示す追記ドキュメント２０２が処理対象画像データとして入力されている場合、この追記ドキュメント２０２に対応する原本ドキュメント２０１を入力することになる。さらに、ステップＳ７０３において、画像処理手段４２１は、追記有り画像と原本の差分を抽出し、追記部分である差分画像を抽出する。すなわち、例えば、図４に示す記ドキュメント２０２と原本ドキュメント２０１との差分解析により、追記部分である差分画像を抽出する。

差分抽出処理の概要について説明する。まず、原本ドキュメント画像と、追記ドキュメント画像の２画像の位置合わせ処理を実行する。２つの画像の位置合わせ手法としては、既存の様々な手法が適用可能である。基本的には、画像各々から類似する特徴領域を抽出し、類似する特徴領域の対応付け処理によって行われる。対応特徴領域に基づいて、２つの画像間のずれ量を算出し、ずれ量に基づいて、画像データを補正しながら位置合わせを行なう。

次に、位置合わせの行われた原本ドキュメント画像データと追記ドキュメント画像データとの差分を抽出する。この処理は、たとえば、原本ドキュメント画像データの座標位置（ｘ，ｙ）と、追記ドキュメント画像データの対応座標位置（ｘ，ｙ）の差分の有無を検出し、差分が存在する場合にのみ、これを追記情報としてデータ抽出を実行する。これらの処理によって、原本ドキュメント画像データには存在せず、追記ドキュメント画像データにのみ存在するデータが抽出される。

次に、ステップＳ７０４において、色抽出手段４０２が差分画像データに基づいて、使用色を抽出する。例えば、追記情報として使用された色が黄（Ｙ）、マゼンタ（Ｍ）等である場合、黄（Ｙ）とマゼンタ（Ｍ）が抽出される。

次に、ステップＳ７０５において、色解析手段４０３が、色空間（ＹＭＣＫ，ＧＢＲなどの色空間）上において、ステップＳ７０４において抽出された色に対して減法混色の可能性のある部分色空間を抽出する。例えば、
追記情報として黄（Ｙ）、マゼンタ（Ｍ）、
が使用されている場合、減法混色の可能性のある部分色空間を、例えば、図７（１）に示す色空間において抽出色２４１を黄（Ｙ）、マゼンタ（Ｍ）のそれぞれに設定して、それぞれの減法混色の可能性のある部分色空間を求める。

次に、ステップＳ７０６において、追記領域連結統合手段４０４は、減法混色の部分色空間情報を利用して、入力画像（追記ドキュメント）と、差分画像を参照して、追記情報の途切れ部分の連結統合を行なう。前述したように、使用色と、減法混色によって生成される色の関係、例えば、
黄（Ｙ）＋マゼンタ（Ｍ）＝赤（Ｒ）
上記式の関係に基づいて、途切れの発生部の色が赤（Ｒ）である場合、この領域が、複数の使用色による重複領域となって途切れが発生したと判定し、この部分を連結して、修復された追記情報を生成する。

以下のステップＳ７０７、Ｓ７０８の処理は、図１１（Ａ）に示す処理フローのステップＳ１０５、Ｓ１０６の処理と同様であり、修復された追記情報各々によって内包された情報を抽出し、各追記情報の内包領域の情報を解析して記憶部に格納する。これは、図１２に示す追記領域指定部情報解析手段４０６および解析情報格納手段４０７において実行される。

次に、図１５（Ｈ）に示すフローチャートに従った処理例について説明する。図１５（Ｈ）に示す処理フローは、原本ドキュメントが、例えば表データなどの罫線を含むドキュメントである場合の処理であり、図１２に示す情報処理装置構成４２０の画像処理手段４２１において、追記ドキュメントに含まれる罫線を除去して、余分なデータを省いて処理を実行するシーケンスである。

まず、ステップＳ８０１において、図１２に示すデータ入力手段４０１が処理対象の画像データを入力する。これは、例えば複数の異なる色のマーカーによって、属性設定、すなわちマーカーによるチェックのなされたドキュメント画像データであり、スキャナを介して読み取られたデータ、あるいは記憶部に格納された画像データなどが処理対象データとして入力される。ここで入力されるデータは、例えば表などの罫線を含む原本ドキュメントに色マーカーで属性付与を実行した追記ドキュメントである。

ステップＳ８０２およびステップＳ８０３は、画像処理手段４２１において実行される処理である。画像処理手段４２１は、ステップＳ８０２において、入力画像（追記ドキュメント）からの表罫線抽出を行い、ステップＳ８０３において、抽出された表罫線部分を削除する。

次に、ステップＳ８０４において、色抽出手段４０２が、罫線の除去された画像データに基づいて、使用色を抽出する。例えば、追記情報として使用された色が黄（Ｙ）、マゼンタ（Ｍ）等である場合、黄（Ｙ）とマゼンタ（Ｍ）、さらに赤（Ｒ）などが抽出される。さらに、限定色化画像生成手段４２２が抽出色の限定色化を行い、限定色化画像を生成する。

次に、ステップＳ８０５において、色解析手段４０３が、ステップＳ８０４において生成した限定色化画像から抽出した抽出色に対して減法混色の組合せを検証する。さらに、ステップＳ８０６において、追記領域連結統合手段４０４が、ステップＳ８０５において解析した減法混色の組合せを参照して、領域を画素毎に連結統合をする。さらに、ステップＳ８０７において、修復された追記情報各々によって内包された情報を抽出し、各追記情報の内包領域の情報を解析してステップＳ８０８において、記憶部に格納する。これは、図１２に示す追記領域指定部情報解析手段４０６および解析情報格納手段４０７において実行される。

最後に、図１６を参照して、本発明の情報処理装置のハードウェア構成例について説明する。図１６に示す構成は、例えばＰＣなどによって構成される情報処理装置であり、スキャナ等のデータ読み取り部５３１と、プリンタなどのデータ出力部５３２を備えたハード構成例を示している。

ＣＰＵ（Central Processing Unit）５０１は、上述の実施例において説明した各種のデータ処理、すなわち画像処理、色抽出処理、限定色化画像生成処理、色解析処理、追記領域連結統合処理、追記領域指定部特定処理、追記領域指定部情報解析処理、解析情報格納処理等の各処理の実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。

ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。

ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。

キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、ドキュメントとしての原本ドキュメントや、属性値の付与された追記ドキュメント、減法混色に基づく色解析処理に適用するデータなどを格納する。さらに、各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。リムーバブル記録媒体５２１も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部５３１は、ドキュメントの読み取り処理を実行し、データ出力部５３２は、ドキュメントデータの出力処理を実行する。

なお、図１６に示す情報処理装置のハードウェア構成例は、１つの装置例を示すものであり、本発明の情報処理装置は、図１６に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の情報処理装置は、例えば、文書ドキュメントに対する属性設定処理として実行される色マーカーによる追記のなされた追記ドキュメントの解析処理において、複数の追記情報の重なり、あるいは追記情報と原本情報との重なり部の検出を行い、重なり部が、どの色の組み合わせによって生成された色であるかを解析して、重なり部において途切れてしまった追記情報を修復し、修復した追記情報の指定情報を確実に読み取る構成を有する。また、修復した追記情報の指定情報に含まれる文字について文字認識などの情報解析を行なって解析結果をデータベースなどに格納する。本構成によって、例えば追記ドキュメントに複数の色マーカー相互の重なりや、色マーカーと原本情報との重なりが発生していても、正確な追記情報の抽出および追記情報による特定情報の抽出および解析が可能となる。

追記部インデックス化処理を利用したドキュメントに対するデータ処理の一般的処理例について説明する図である。 追記部インデックス化処理を利用したインデックス設定例について説明する図である。 追記部インデックス化処理を利用したドキュメントに対するデータ処理の一般的処理例について説明する図である。 本発明の情報処理装置の実行する追記部インデックス化処理を利用したドキュメントに対するデータ処理例について説明する図である。 本発明の情報処理装置の実行する追記部インデックス化処理を利用したドキュメントに対するデータ処理例について説明する図である。 本発明の情報処理装置の実行する追記部インデックス化処理を利用したドキュメントに対するデータ処理例について説明する図である。 減法混色の発生状況について説明する図である。 本発明の情報処理装置の実行する追記部インデックス化処理を利用したドキュメントに対するデータ処理例について説明する図である。 本発明の情報処理装置の実行する追記部インデックス化処理を利用したドキュメントに対するデータ処理例について説明する図である。 本発明の情報処理装置の構成例について説明する図である。 本発明の情報処理装置の実行する処理のシーケンスを説明するフローチャートを示す図である。 本発明の情報処理装置の構成例について説明する図である。 本発明の情報処理装置の実行する処理のシーケンスを説明するフローチャートを示す図である。 本発明の情報処理装置の実行する処理のシーケンスを説明するフローチャートを示す図である。 本発明の情報処理装置の実行する処理のシーケンスを説明するフローチャートを示す図である。 本発明の情報処理装置のハードウェア構成例について説明する図である。

符号の説明

１１ 原本ドキュメント
２１ 追記ドキュメント
５１ 情報処理装置
５２ プリンタ
５３ スキャナ
５４ データベース
７１ ドキュメントデータファイル
１０１ ドキュメント
１０２ マーカー追記ドキュメント
１０３ マーカー記録データ
１０４ インデックスデータ
２０１ 原本ドキュメント
２０２ 追記ドキュメント
２１１，２１２ 重なり部
２２１〜２２３ マーカー色指定領域
２３１，２３２ マーカー追記領域
２３３ 重なり部
２４１ 抽出色
２４２ 減法混色の可能性のある部分空間
２５１ 抽出色
２５２ 減法混色の可能性のある部分空間
２６１ 追記情報
２６２ 原本情報
４００ 情報処理装置
４０１ データ入力手段
４０２ 色抽出手段
４０３ 色解析手段
４０４ 追記領域連結統合手段
４０５ 追記領域指定部特定手段
４０６ 追記領域指定部情報解析手段
４０７ 解析情報格納手段
４２０ 情報処理装置
４２１ 画像処理手段
４２２ 限定色化画像生成手段
５０１ ＣＰＵ(Central Processing Unit)
５０２ ＲＯＭ（Read-Only-Memory）
５０３ ＲＡＭ（Random Access Memory）
５０４ ホストバス
５０５ ブリッジ
５０６ 外部バス
５０７ インタフェース
５０８ キーボード
５０９ ポインティングデバイス
５１０ ディスプレイ
５１１ ＨＤＤ（Hard Disk Drive）
５１２ ドライブ
５１４ 接続ポート
５１５ 通信部
５２１ リムーバブル記録媒体
５２２ 外部接続機器
５３１ データ読み取り部
５３２ データ出力部

Claims (19)

1. 原本ドキュメントに対して複数の異なる色を適用した追記情報の書き込み実行した追記ドキュメントを入力し、追記ドキュメント上の色情報を取得する色抽出手段と、
   前記色抽出手段による抽出色に基づき、混色によって生成される色の組み合わせまたは色空間と、前記抽出色との対応を解析する色解析手段と、
   前記色解析手段の解析結果に基づいて、追記ドキュメント上における複数の色の重なり部を判定し、該重なり部と追記情報の途切れ部分との対応部分に相当する追記情報の途切れ部分の連結処理を実行する追記領域連結統合手段と、
   前記追記領域連結統合手段において連結された追記情報による追記ドキュメントの指定領域を特定する追記領域指定部特定手段と、
   前記追記領域指定部特定手段によって解析された指定領域に含まれる情報を読み取る追記領域指定部情報解析手段と、
   を有することを特徴とする情報処理装置。
2. 前記色解析手段は、
   前記色抽出手段による抽出色に基づいて、色空間において減法混色の可能性のある部分色空間を抽出する処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
3. 前記色解析手段は、
   前記色抽出手段による抽出色に基づいて、該抽出色の対応する減法混色の組み合わせを抽出する処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
4. 前記追記領域指定部情報解析手段は、
   前記追記領域指定部特定手段によって解析された指定領域に含まれる情報の文字認識処理（ＯＣＲ）を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
5. 前記追記領域指定部情報解析手段は、
   前記追記領域指定部特定手段によって解析された指定領域に含まれる情報を画像データとして取得する処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
6. 前記追記領域指定部情報解析手段は、
   前記追記情報によって内包された領域、または内包領域と、追記情報との接触および重なり領域に含まれる情報の読み取りを実行する構成であることを特徴とする請求項１に記載の情報処理装置。
7. 前記情報処理装置は、さらに、
   原本ドキュメントと追記ドキュメントを入力して差分抽出を実行する画像処理手段を有し、
   前記色抽出手段は、前記画像処理手段の生成した差分画像データ上の色情報を取得する処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
8. 前記情報処理装置は、さらに、
   追記ドキュメントを入力して追記ドキュメント上の罫線除去を実行する画像処理手段を有し、
   前記色抽出手段は、前記画像処理手段の生成した罫線除去画像データ上の色情報を取得する処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
9. 前記情報処理装置は、さらに、
   前記追記ドキュメント上の色情報を取得する色抽出手段によって抽出された色情報に基づいて、複数の予め設定された色情報に限定した限定色化画像を生成する限定色化画像生成手段を有し、
   前記色解析手段は、
   前記限定色化画像生成手段の生成した限定色化画像に基づいて、混色によって生成される色の組み合わせ、または色空間と、前記抽出色との対応を解析する処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。
10. 情報処理装置においてドキュメント解析処理を実行する情報処理方法であり、
    色抽出手段において、原本ドキュメントに対して複数の異なる色を適用した追記情報の書き込み実行した追記ドキュメントを入力し、追記ドキュメント上の色情報を取得する色抽出ステップと、
    色解析手段において、前記色抽出手段による抽出色に基づき、混色によって生成される色の組み合わせまたは色空間と、前記抽出色との対応を解析する色解析ステップと、
    追記領域連結統合手段において、前記色解析手段の解析結果に基づいて、追記ドキュメント上における複数の色の重なり部を判定し、該重なり部と追記情報の途切れ部分との対応部分に相当する追記情報の途切れ部分の連結処理を実行する追記領域連結統合ステップと、
    追記領域指定部特定手段において、前記追記領域連結統合手段において連結された追記情報による追記ドキュメントの指定領域を特定する追記領域指定部特定ステップと、
    追記領域指定部情報解析手段において、前記追記領域指定部特定手段によって解析された指定領域に含まれる情報を読み取る追記領域指定部情報解析ステップと、
    を有することを特徴とする情報処理方法。
11. 前記色解析ステップは、
    前記色抽出手段による抽出色に基づいて、色空間において減法混色の可能性のある部分色空間を抽出する処理を実行するステップであることを特徴とする請求項１０に記載の情報処理方法。
12. 前記色解析ステップは、
    前記色抽出手段による抽出色に基づいて、該抽出色の対応する減法混色の組み合わせを抽出する処理を実行するステップであることを特徴とする請求項１０に記載の情報処理方法。
13. 前記追記領域指定部情報解析ステップは、
    前記追記領域指定部特定手段によって解析された指定領域に含まれる情報の文字認識処理（ＯＣＲ）を実行するステップであることを特徴とする請求項１０に記載の情報処理方法。
14. 前記追記領域指定部情報解析ステップは、
    前記追記領域指定部特定手段によって解析された指定領域に含まれる情報を画像データとして取得する処理を実行するステップであることを特徴とする請求項１０に記載の情報処理方法。
15. 前記追記領域指定部情報解析ステップは、
    前記追記情報によって内包された領域、または内包領域と、追記情報との接触および重なり領域に含まれる情報の読み取りを実行するステップであることを特徴とする請求項１０に記載の情報処理方法。
16. 前記情報処理方法は、さらに、
    画像処理手段において、原本ドキュメントと追記ドキュメントを入力して差分抽出を実行する画像処理ステップを有し、
    前記色抽出ステップは、前記画像処理手段の生成した差分画像データ上の色情報を取得する処理を実行することを特徴とする請求項１０に記載の情報処理方法。
17. 前記情報処理方法は、さらに、
    画像処理手段において、追記ドキュメントを入力して追記ドキュメント上の罫線除去を実行する画像処理ステップを有し、
    前記色抽出ステップは、前記画像処理手段の生成した罫線除去画像データ上の色情報を取得する処理を実行することを特徴とする請求項１０に記載の情報処理方法。
18. 前記情報処理方法は、さらに、
    限定色化画像生成手段において、前記追記ドキュメント上の色情報を取得する色抽出手段によって抽出された色情報に基づいて、複数の予め設定された色情報に限定した限定色化画像を生成する限定色化画像生成ステップを有し、
    前記色解析ステップは、
    前記限定色化画像生成手段の生成した限定色化画像に基づいて、混色によって生成される色の組み合わせ、または色空間と、前記抽出色との対応を解析する処理を実行することを特徴とする請求項１０に記載の情報処理方法。
19. 情報処理装置においてドキュメント解析処理を実行させるコンピュータ・プログラムであり、
    色抽出手段において、原本ドキュメントに対して複数の異なる色を適用した追記情報の書き込み実行した追記ドキュメントを入力し、追記ドキュメント上の色情報を取得させる色抽出ステップと、
    色解析手段において、前記色抽出手段による抽出色に基づき、混色によって生成される色の組み合わせまたは色空間と、前記抽出色との対応を解析させる色解析ステップと、
    追記領域連結統合手段において、前記色解析手段の解析結果に基づいて、追記ドキュメント上における複数の色の重なり部を判定し、該重なり部と追記情報の途切れ部分との対応部分に相当する追記情報の途切れ部分の連結処理を実行させる追記領域連結統合ステップと、
    追記領域指定部特定手段において、前記追記領域連結統合手段において連結された追記情報による追記ドキュメントの指定領域を特定させる追記領域指定部特定ステップと、
    追記領域指定部情報解析手段において、前記追記領域指定部特定手段によって解析された指定領域に含まれる情報を読み取らせる追記領域指定部情報解析ステップと、
    を実行させることを特徴とするコンピュータ・プログラム。