JP2013137761A - 参照背景色に基づく透明化塗りつぶしの判定 - Google Patents

Abstract

【課題】塗りつぶし色を用いる被包囲領域を有する電子文書を生成する方法を提供する。
【解決手段】被包囲領域及び少なくとも１つの対応する背景領域を含むソース文書であって、被包囲領域が背景領域の少なくとも一部分に重なるソース文書のデジタル表現を受信する。塗りつぶし色がデジタル表現から被包囲領域に対して判定され、参照背景色がデジタル表現の対応する背景領域から被包囲領域に対して判定される。方法は、被包囲領域の判定された塗りつぶし色と参照背景色との比較に基づいて、被包囲領域に透明な塗りつぶし色を割り当て、電子文書を生成するために、透明な塗りつぶし色を用いて被包囲領域を格納する。
【選択図】図２

Description

本発明は、取り込んだ文書画像から高レベル文書への変換に関し、特に、参照背景色に基づく被包囲領域の塗りつぶし色の判定に関する。

文書解析システムは、文書を集合的に形成する種々の領域からコンテンツに基づく情報を識別及び抽出するために文書の画像を解析する。通常、文書解析システムは、文書の種々の領域の各々を識別し、領域をテキスト又は非テキストのいずれかに分類する。このコンテンツの形態に基づく解析は、文書の管理、合成及び表示するための処理の重要な前段階である。

スキャン装置及びソフトウェアベースの文書解析システムにおける組込み文書解析の普及により、スキャン文書からＰＤＦ、Ｗｏｒｄ^ＴＭ、ＰｏｗｅｒＰｏｉｎｔ^ＴＭ及びＥｘｃｅｌ^ＴＭ等の高レベル文書への変換は益々一般的になっている。コンテンツ抽出の精度が向上するにつれて、スキャンから高レベル文書への処理の目的は、アーカイブするための使用からコンテンツの再利用へ徐々にシフトした。光学式文字認識（ＯＣＲ）の普及によりテキストコンテンツの再利用は十分に確立されたが、非テキストコンテンツの再利用を実行する他のアプリケーションは依然として一般的ではなく、非常に制限されることが多い。

スキャン文書の１つの不正確な解釈は、抽出された非テキストオブジェクト間の相対的な色の割り当てにより生じる。通常、少数の色のみが非テキストオブジェクトを表すために元の文書において使用されていた。しかし、印刷処理において導入されるハーフトーン処理のため、印刷文書が元の文書と異なる色を有する場合がある。その結果、抽出された非テキストオブジェクトを比較する場合、印刷文書のスキャンから生成された高レベル文書は元の文書に対して顕著な色の不一致を有することが多い。最も顕著な色の不一致は、強調表示の網掛けが失われることにより生じる。例えば表は、列の見出しを強調表示するために薄く網掛けされたテキストを有することが多い。多くの場合、テキストの網掛けは、既存の変換ツールで見られる文書解析処理において抽出された表から除去される。第２の顕著な色の不一致は、元の文書において同一色のオブジェクトが高レベル文書において異なる色を有することである。

これらの不正確な解釈は、抽出された非テキストコンテンツの再利用の範囲を制限する。そのため、スキャン−高レベル文書アプリケーションの文書解析システムにおける上述の問題を軽減する必要がある。

本発明の１つの態様によると、塗りつぶし色の被包囲領域を有する電子文書を生成する方法であって、
（ａ）被包囲領域及び少なくとも１つの対応する背景領域を含むソース文書であって、前記被包囲領域が前記背景領域の少なくとも一部分に重なる前記ソース文書のデジタル表現を受信する工程と、
（ｂ）前記デジタル表現から前記被包囲領域の塗りつぶし色を判定する工程と、
（ｃ）前記デジタル表現の前記対応する背景領域から前記被包囲領域の参照背景色を判定する工程と、
（ｄ）前記被包囲領域の前記判定された塗りつぶし色と前記参照背景色との比較に基づいて、前記被包囲領域に透明な塗りつぶし色を割り当てる工程と、
を有することを特徴とする方法が提供される。

一般に、電子文書を生成するために、被包囲領域は透明な塗りつぶし色で格納される。

前記ソース文書は前記被包囲領域を含む複数の被包囲領域を含み、方法は、（ａ）前記被包囲領域の各々の前記判定された塗りつぶし色と対応する参照背景色との比較に基づいて、前記複数の被包囲領域の各々に参照背景フラグを割り当てる工程と、（ｂ）背景画像データを格納し、前景領域として分類された前記複数の被包囲領域の各々に対して、前記電子文書の中間表現として塗りつぶし色及び参照背景フラグを格納する工程とを有するのが好ましい。方法は、前記背景画像を描画するための選択に基づいて複数のモードのうちの１つで電子文書を表示する工程を更に有するのが有利であり、前記透明な塗りつぶし色は選択により制御される。方法は、前記背景画像データを出力するための選択に基づいて複数の形式のうちの１つに電子文書を変換する更なる工程を含み、透明な塗りつぶし色は選択により制御される。別の形態において、方法は、所定のオプションに基づいて複数のモードのうちの１つで電子文書を表示する工程を更に有し、各モードは背景画像を描画するための選択及び透明な塗りつぶしを有効にするための選択に基づく構成である。１つの実現例において、方法は、所定のオプションに基づく複数の形式のうちの１つに電子文書を変換する更なる工程を有し、各形式は背景画像データを出力するための選択及び透明な塗りつぶしを有効にするための選択に基づく構成である。

通常、前記被包囲領域の参照背景色は、前記ソース文書のページ色である。前記被包囲領域の前記参照背景色は、前記被包囲領域を囲む領域の色に従って判定されるのが好ましい。前記ソース文書は複数の不透明な被包囲領域を含み、方法は、前記複数の不透明な被包囲領域の塗りつぶし色を統合する工程を更に有するのが有利である。

別の態様において、編集可能な表を有する電子文書を生成する方法であって、
（ａ）複数のセルを有する少なくとも１つの表を含むソース文書のデジタル表現を受信するステップと、
（ｂ）前記デジタル表現から前記表の参照背景色を判定するステップと、
（ｃ）前記デジタル表現から前記複数のセルの各々の塗りつぶし色を判定するステップと、
（ｄ）前記セルの前記判定された塗りつぶし色と前記表の前記参照背景色との比較に基づいて、前記複数のセルの少なくとも１つに透明な塗りつぶし色を割り当てるステップと、
を有する方法が開示される。

前記表の前記参照背景色は、前記ソース文書のページ色であるのが望ましい。あるいは、前記表の前記参照背景色は、前記表を囲む領域の色である。本方法は、前記複数のセルのうちの少なくとも２つの不透明なセルの判定された塗りつぶし色の比較に基づいて、少なくとも２つの不透明なセルの塗りつぶし色を統合するステップを更に有する。

方法のいずれかにおいて、前記デジタル表現は、前記ソース文書のスキャンデータを含む。

他の態様が更に開示される。

以下の図面を参照して、本発明の少なくとも１つの実施形態を以下に説明する。

図１は、カラー文書の色ビットマップ画像を高レベル文書に変換するシステムを示す機能ブロック図である。 図２は、識別されたページ論理構造に基づいて非テキストオブジェクトの塗りつぶし色を解析する方法を概略的に示すフローチャートである。 図３は、識別されたページ論理構造に基づいて非テキストオブジェクトの塗りつぶし色を解析する方法を概略的に示すフローチャートである。 図４Ａは、いくつかの非テキストオブジェクト及び表を含む文書の一例を示す図である。 図４Ｂは、図４Ａのページの例からのページ論理構造木の一例を示す図である。 図５は、図３からの出力に基づいて文書を動的に表示する方法を概略的に示すフローチャートである。 図６は、図３からの出力に基づいて文書を異なる形式で動的に出力する方法を概略的に示すフローチャートである。 、 図７Ａ及び図７Ｂは、塗りつぶし色の判定を説明するために使用される例を示す図である。 図７Ｃは、被包囲領域に対して塗りつぶし色を判定する方法を概略的に示すフローチャートである。 図８は、出力形式アプリケーションの簡潔な中間表現を作成する方法を概略的に示すフローチャートである。 図９Ａは、ページの簡潔な中間表現の背景画像の一例を示す図である。 図９Ｂは、ページの簡潔な中間表現の前景の被包囲領域の一例を示す図である。 図１０は、Ｍｉｃｒｏｓｏｆｔ ＰｏｗｅｒＰｏｉｎｔで一般に使用されるテンプレート形状等の幾何エンティティの一例を示す図である。 図１１は、カラー画像セグメント化方法の高レベルの処理ステップを示すフローチャートである。 図１２は、図１１のカラー画像セグメント化方法における曖昧な連結成分を識別及び分割する処理ステップを示すフローチャートである。 図１３は、曖昧な連結成分を処理する副処理ステップの動作を示すフローチャートである。 図１４は、曖昧な成分に対するマッチングする分割点のセットを見つける副処理ステップの動作を示すフローチャートである。 、 、 図１５Ａ、図１５Ｂ及び図１５Ｃは、セグメント化処理が行われる際の画像の一部を示す図である。 、 、 、 図１６Ａ、図１６Ｂ、図１６Ｃ及び図１６Ｄは、セグメント化処理が行われる際の背景グラデーション領域に重なる楕円形の一定色領域から構成される単純な画像を示す図である。 、 、 、 図１７Ａ、図１７Ｂ、図１７Ｃ及び図１７Ｄは、セグメント化処理が行われる際の一定色背景領域に重なる楕円形のグラデーション領域及び円形のグラデーション領域から構成される単純な画像を示す図である。 図１８は、曖昧な連結成分の境界の優角多角形頂点の近傍における曖昧な連結成分を示す図である。 、 、 図１９Ａ、図１９Ｂ及び図１９Ｃは、曖昧な領域を分割するために使用される一対の優角多角形頂点の近傍における曖昧な連結成分の構成を示す図である。 、 図２０Ａ及び図２０Ｂは、曖昧な連結成分を分割するのに適する一対のマッチングする優角多角形頂点の構成を示す図である。 図２１は、カラー画像セグメント化方法が実行されるスキャン−ポータブル文書システムを示す概略ブロック図である。 、 図２２Ａ及び図２２Ｂはそれぞれ、説明する構成が実行される電子装置を示す概略ブロック図である。

図１は、カラー文書の色ビットマップ画像を高レベル文書に変換するスキャン−高レベル文書システム１００を示す図である。システム１００は、入力ソース文書１１０のビットマップ画像１１１を処理して高レベル文書１９０を生成する。高レベル文書１９０は、米国のマイクロソフト社（Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ）により販売されるＷｏｒｄ^ＴＭ、ＰｏｗｅｒＰｏｉｎｔ^ＴＭ又はＥｘｃｅｌ^ＴＭ等のコンピュータアプリケーションにより解釈可能な形式、アドビシステム社（Ａｄｏｂｅ Ｓｙｓｔｅｍｓ Ｉｎｃ．）により作成された自主開発の形式であるＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）ファイル、あるいは例えば電子データベースに格納されるレコード等の編集可能な文書である。

入力文書画像１１１は、種々のソースのいずれかにより提供される。システム１００の１つの構成において、スキャナ１２０は、ハードコピー文書１１０をスキャンして入力文書画像１１１を生成する。システム１００の別の構成において、入力文書画像１１１は、ハードディスクに格納された画像のデータベースを有するハードディスク等のデータ格納システム１３０から検索される。システム１００の別の構成において、入力文書画像１１１は、カメラ又は移動電話１４０を使用するデジタル写真技術により生成される。上述において、入力文書画像１１１、すなわち色ビットマップ画像が提供される方法の例にすぎない。別の例において、演算装置上で実行可能なソフトウェアアプリケーションがＰＤＦ形式の入力文書画像１１１を生成するために使用されてもよい。

一般に、入力文書画像は、ページレイアウト解析の前に入力色深度を減少するために前処理される。一般的な前処理方法は、２値化及び色量子化である。１つの実現例において、色量子化モジュール１５０は、入力色の数を少数の色に減少するために使用される。その後、ページレイアウト解析モジュール１６０は、ページレイアウト解析を実行して、ページ上のテキストの線、表及び形状等の識別された高レベルオブジェクトを表すページ論理構造１６５を生成する。論理表現は、各オブジェクトのコンテンツの種類及びオブジェクトの幾何学的特性、並びにページを表すためにどのように全てのオブジェクトが１つに組み立てられるかを記述する。

図４Ａは、いくつかの非テキストオブジェクト及び表を含む文書４００の一例を示す図である。図４Ｂは、図４Ａの文書４００に対して図１のスキャン−高レベル文書システム１００により出力される論理構造を示す図である。文書４００において識別されたオブジェクトは、図４Ｂに示すように、親ノード及び子ノードを有する木に配置される。この場合、親ノードは、構成画素により定義される範囲に関して子ノードを完全に囲むオブジェクトを表す。各ノードは、物理又は論理領域の文書４００内のオブジェクトを表す。論理領域は、一般に、意味規則に従って組み合わされる複数の物理領域から形成される。例えば図４Ｂにおいて「表」とラベル付けされたノードは、図４Ａに示される表のセル４５０、４５５、４６０及び４６５を表す４つの物理領域から構成される論理領域である。文書４００を表す「根」とラベル付けされた根ノードは、文書４００に示されるカンバス４１０又は背景領域と形状４３５とを含む別の論理領域である。葉ノードＡ、Ｂ、Ｃ、Ｄは、識別されたテキストを表す物理領域である。各物理領域は、ビットマップ又はベクトルのリストのいずれかにより定義される幾何学的特性を有する。論理領域は直接的な幾何学的特性を有さず、その代わりに論理領域の範囲は子の和集合、すなわち表のセルの集合により定義される。

従来のスキャン−高レベル文書システムは、ページの全てのテキストコンテンツが黒色であると仮定されるか又は黒色として処理される一方で表及び図等の全ての非テキストコンテンツが色の塗りつぶしを有さないと仮定されるため、一般に、ページの論理構造が生成されると終了する。しかし、カラー出版の普及により、変換文書が元の文書を忠実に表すことができないため、そのような従来のスキャン−高レベル文書システムの仮定は不適切になった。そのため、現在のスキャン−高レベル文書システムは、識別されたオブジェクトの塗りつぶし色を処理する追加のステップを採用する。

図１に戻ると、好適な実現例において、オブジェクト塗りつぶし色解析モジュール１７０は、ページ論理構造１６５内の各オブジェクトの塗りつぶし色を推定する。関連する塗りつぶし色を推定するために、各オブジェクトの内側の色が調べられる。スキャン−高レベル文書システム１００において、オブジェクトは被包囲領域により表される。その場合、各オブジェクトは対応する背景領域を割り当てられる。割り当てられた背景領域の塗りつぶし色は、オブジェクトが塗りつぶし色を有する必要があるか否かを判定するための参照背景色として使用される。印刷処理により導入された、元の色が同一であるオブジェクト間の色差が補正されるように、色統合処理が塗りつぶし色を有するオブジェクトに対して実行される。色統合処理は、少数の色のみが元の文書において使用されるという仮定で機能する。塗りつぶし色を有するオブジェクトのみに色統合処理を実行するため、薄い網掛けは背景色に統合されずに色統合処理において保持される。塗りつぶし色を有さないオブジェクトは、出力において透明な状態を維持する。これにより、オブジェクトが再利用される方法の範囲を制限することなく、全てのオブジェクトが正確に解釈される。例えば透明なオブジェクトは、後方のオブジェクトを塞ぐことなく移動可能である。各オブジェクトの塗りつぶし色情報は、ページ論理構造においてオブジェクトに追加される。スキャン−高レベル文書システムの最後の段階において、出力変換モジュール１８０は、解析されたオブジェクトを上述したような適切なコンピュータアプリケーションで使用するための適切な形式に変換する。入力文書画像１１１から生成された変換文書１９０は、コンピュータ上で表示又は編集されることができる。

図４Ａの例において、被包囲領域は、例えば別の塗りつぶしにより異なる色になり得る領域を囲む線又はパス（境界線を有さない形状の場合）等の形状の境界により定義される。被包囲領域は、図４Ｂに示すように、ページ論理構造木においてノードにより記述される物理領域である。具体的には、領域４５０、４５５、４６０及び４６５の各々は、セルが描かれた境界を有する表のセルであるため、被包囲領域である。これらのセル／領域の各々は、本例では網掛けされた矩形４１５により形成される背景に重なる。楕円形のオブジェクト４２０及び４３０は、各自の境界線及び各オブジェクト内の色により被包囲領域を同様に定義する。オブジェクト４２０及び４３０は、背景領域として機能するカンバス４１０に重なる。楕円４４０は、対応する背景領域である三角形を有し、楕円４３５は、対応する背景領域である三角形４２５に重なる１つの部分及び対応する背景領域であるカンバス４１０に重なる別の部分を有する。

図２２Ａ及び図２２Ｂは、説明した種々の構成を実行できる汎用コンピュータシステム２２００を示す図である。

図２２Ａに示すように、コンピュータシステム２２００は、コンピュータモジュール２２０１と、キーボード２２０２、マウスポインタ装置２２０３、スキャナ２２２６、カメラ２２２７及びマイク２２８０等の入力装置と、プリンタ２２１５、表示装置２２１４及びスピーカ２２１７を含む出力装置とを含む。外部変復調器（モデム）送受信装置２２１６は、接続２２２１を介して通信ネットワーク２２２０との間で通信するためにコンピュータモジュール２２０１により使用される。通信ネットワーク２２２０は、インターネット、移動通信ネットワーク又はプライベートＷＡＮ等のワイドエリアネットワーク（ＷＡＮ）である。接続２２２１が電話線である場合、モデム２２１６は従来の「ダイヤルアップ式」モデムである。あるいは、接続２２２１が大容量（例えば、ケーブル）接続である場合、モデム２２１６は広帯域モデムである。無線モデムが通信ネットワーク２２２０への無線接続のために更に使用されてもよい。

通常、コンピュータモジュール２２０１は、少なくとも１つの処理装置２２０５とメモリ装置２２０６とを含む。例えばメモリ装置２２０６は、半導体ランダムアクセスメモリ（ＲＡＭ）及び半導体読み出し専用メモリ（ＲＯＭ）を有する。コンピュータモジュール２２０１は、ビデオディスプレイ２２１４、スピーカ２２１７及びマイク２２８０に結合するオーディオ／ビデオインタフェース２２０７と、キーボード２２０２、マウス２２０３、スキャナ２２２６、カメラ２２２７及びオプションでジョイスティック又は他のヒューマンインタフェース装置（不図示）に結合するＩ／Ｏインタフェース２２１３と、外部モデム２２１６及びプリンタ２２１５に対するインタフェース２２０８とを含む多くの入出力（Ｉ／Ｏ）インタフェースを更に含む。いくつかの実現例において、モデム２２１６は、例えばインタフェース２２０８内等のコンピュータモジュール２２０１内に組み込まれる。コンピュータモジュール２２０１は、接続２２２３を介してコンピュータシステム２２００をローカルエリアネットワーク（ＬＡＮ）として既知であるローカルエリア通信ネットワーク２２２２に結合させるローカルネットワークインタフェース２２１１を更に有する。図２２Ａに示すように、ローカルエリア通信ネットワーク２２２２は、通常はいわゆる「ファイアウォール」装置又は同様の機能性の装置を含む接続２２２４を介してワイドエリアネットワーク２２２０に更に結合してもよい。ローカルネットワークインタフェース２２１１は、イーサネット^ＴＭ回路カード、Ｂｌｕｅｔｏｏｔｈ^ＴＭ無線構成又はＩＥＥＥ８０２．１１無線構成を含んでもよいが、多くの他の種類のインタフェースがインタフェース２２１１に対して実現されてもよい。

Ｉ／Ｏインタフェース２２０８及び２２１３は、直列接続性及び並列接続性のいずれか又は双方を提供する。直列接続性は、通常、ユニバーサルシリアルバス（ＵＳＢ）規格に従って実現され、対応するＵＳＢコネクタ（不図示）を有する。記憶装置２２０９が提供され、これは通常はハードディスクドライブ（ＨＤＤ）２２１０を含む。フロッピディスクドライブ及び磁気テープドライブ（不図示）等の他の記憶装置が更に使用されてもよい。光ディスクドライブ２２１２は、通常、不揮発性データソースとして動作するために提供される。例えば光ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−ｒａｙディスク^ＴＭ）、ＵＳＢ−ＲＡＭ、ポータブル外部ハードドライブ及びフロッピディスク等のポータブルメモリ装置が、システム２２００に対する適切なデータソースとして使用されてもよい。

通常、コンピュータモジュール２２０１の構成要素２２０５〜２２１３は相互接続バス２２０４を介して、当業者には既知であるコンピュータシステム２２００の従来の動作モードに結果的になる方法で通信する。例えばプロセッサ２２０５は、接続２２１８を使用してシステムバス２２０４に結合される。同様に、メモリ２２０６及び光ディスクドライブ２２１２は接続２２１９によりシステムバス２２０４に結合される。説明した構成が実現されるコンピュータの例は、ＩＢＭ−ＰＣ及び互換機、Ｓｕｎ Ｓｐａｒｃｓｔａｔｉｏｎｓ^ＴＭ、Ａｐｐｌｅ Ｍａｃ^ＴＭ又は同様のコンピュータシステムを含む。

文書解析及び高レベル文書生成方法は、説明する図１〜図２１の処理がコンピュータシステム２２００内で実行可能な１つ以上のソフトウェアアプリケーションプログラム２２３３として実現されるコンピュータシステム２２００を使用して実現される。特に、文書解析及び高レベル文書生成方法のステップは、コンピュータシステム２２００内で実行されるソフトウェア２２３３内の命令２２３１（図２２Ｂを参照）により実現される。ソフトウェア命令２２３１は、各々が１つ以上の特定のタスクを実行する１つ以上のコードモジュールとして形成される。ソフトウェアは、第１の部分及び対応するコードモジュールが文書解析及び高レベル文書生成方法を実行し且つ第２の部分及び対応するコードモジュールが第１の部分とユーザとの間のユーザインタフェースを管理する２つの別個の部分に更に分割されてもよい。

ソフトウェアは、例えば後述する記憶装置を含むコンピュータ可読媒体に格納される。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム２２００にロードされた後にコンピュータシステム２２００により実行される。そのようなソフトウェア又はコンピュータプログラムが記録されたコンピュータ可読媒体はコンピュータプログラム製品である。コンピュータシステム２２００におけるコンピュータプログラム製品の使用は、文書解析及び高レベル文書の生成のための有利な装置を実現するのに好ましい。

通常、ソフトウェア２２３３は、ＨＤＤ２２１０又はメモリ２２０６に格納される。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム２２００にロードされ、コンピュータシステム２２００により実行される。従って、例えばソフトウェア２２３３は、光ディスクドライブ２２１２により読み出される光学可読ディスク記憶媒体（例えば、ＣＤ−ＲＯＭ）２２２５に格納される。そのようなソフトウェア又はコンピュータプログラムが記録されたコンピュータ可読媒体はコンピュータプログラム製品である。コンピュータシステム２２００におけるコンピュータプログラム製品の使用は、文書解析及び高レベル文書の生成のための装置を実現するのに好ましい。

いくつかの例において、アプリケーションプログラム２２３３は、１つ以上のＣＤ−ＲＯＭ２２２５に埋め込まれてユーザに供給され且つ対応するドライブ２２１２を介して読み出されてもよく、あるいはネットワーク２２２０又は２２２２からユーザにより読み出されてもよい。更に、ソフトウェアは他のコンピュータ可読媒体からコンピュータシステム２２００にロードされてもよい。コンピュータ可読記憶媒体は、実行及び／又は処理のためにコンピュータシステム２２００に記録された命令及び／又はデータを提供する何らかの持続性有形記憶媒体を示す。そのような記憶媒体の例は、コンピュータモジュール２２０１の内部であるか又は外部であるかに関係なく、フロッピディスク、磁気テープ、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−ｒａｙ^ＴＭディスク、ハードディスクドライブ、ＲＯＭ又は集積回路、ＵＳＢメモリ、光磁気ディスク、あるいはＰＣＭＣＩＡカード等のコンピュータ可読カードを含む。コンピュータモジュール２２０１へのソフトウェア、アプリケーションプログラム、命令及び／又はデータの提供に同様に関係する一時的又は無形コンピュータ可読送信媒体の例は、無線又は赤外線送信チャネル、別のコンピュータ又はネットワーク装置へのネットワーク接続、並びに電子メール送信及びウェブサイト等に記録された情報を含むインターネット又はイントラネットを含む。

上述のアプリケーションプログラム２２３３の第２の部分及び対応するコードモジュールは、ディスプレイ２２１４上にレンダリングされるか又は表される１つ以上のグラフィカルユーザインタフェース（ＧＵＩ）を実現するために実行される。通常はキーボード２２０２及びマウス２２０３の操作を介して、コンピュータシステム２２００及びアプリケーションのユーザは、ＧＵＩに関連するアプリケーションに制御コマンド及び／又は入力を提供するために機能的に適合可能な方法でインタフェースを操作する。スピーカ２２１７を介して出力される音声プロンプト及びマイク２２８０を介して入力されるユーザの音声コマンドを利用するオーディオインタフェース等の機能的に適合可能なユーザインタフェースの他の形態が更に実現されてもよい。

図２２Ｂは、プロセッサ２２０５及び「メモリ」２２３４の詳細な概略ブロック図である。メモリ２２３４は、図２２Ａのコンピュータモジュール２２０１によりアクセスされる全てのメモリモジュール（ＨＤＤ２２０９及び半導体メモリ２２０６を含む）の論理集合を表す。

最初にコンピュータモジュール２２０１に電源が投入されると、ＰＯＳＴ（ｐｏｗｅｒ−ｏｎ ｓｅｌｆ−ｔｅｓｔ）プログラム２２５０が実行する。通常、ＰＯＳＴプログラム２２５０は、図２２Ａの半導体メモリ２２０６のＲＯＭ２２４９に格納される。ソフトウェアを格納したＲＯＭ２２４９等のハードウェア装置をファームウェアと呼ぶ場合がある。ＰＯＳＴプログラム２２５０は、適切な機能を保証するためにコンピュータモジュール２２０１内のハードウェアを調べ、通常は、プロセッサ２２０５とメモリ２２３４（２２０９、２２０６）と通常はＲＯＭ２２４９に同様に格納される正常な動作のための基本入出力システムソフトウェア（ＢＩＯＳ）モジュール２２５１とをチェックする。ＰＯＳＴプログラム２２５０が正常に実行すると、ＢＩＯＳ２２５１は図２２Ａのハードディスクドライブ２２１０を起動する。ハードディスクドライブ２２１０が起動することにより、ハードディスクドライブ２２１０に常駐するブートストラップローダプログラム２２５２がプロセッサ２２０５を介して実行する。これにより、オペレーティングシステム２２５３がＲＡＭメモリ２２０６にロードされ、動作を開始する。オペレーティングシステム２２５３は、プロセッサ管理、メモリ管理、装置管理、記憶装置管理、ソフトウェアアプリケーションインタフェース及び汎用ユーザインタフェースを含む種々の高レベル機能を実現するためにプロセッサ２２０５により実行可能なシステムレベルアプリケーションである。

オペレーティングシステム２２５３は、コンピュータモジュール２２０１上で実行する各処理又はアプリケーションが別の処理に割り当てられたメモリと衝突せずに実行するのに十分なメモリを有することを保証するために、メモリ２２３４（２２０９、２２０６）を管理する。更に、図２２Ａのシステム２２００において使用可能な異なる種類のメモリは、各処理が効率よく実行するように適切に使用される必要がある。従って、集約メモリ２２３４は、メモリの特定のセグメントが割り当てられる方法を示すのではなく（特に明記しない限り）、コンピュータシステム２２００によりアクセス可能なメモリの全体図及びそれが使用される方法を提供することを意図する。

図２２Ｂに示すように、プロセッサ２２０５は、制御部２２３９、論理演算装置（ＡＬＵ）２２４０、並びにキャッシュメモリと呼ばれる場合があるローカル又は内部メモリ２２４８を含む多くの機能モジュールを含む。通常、キャッシュメモリ２２４８は、レジスタ部内に多くの記憶レジスタ２２４４〜２２４６を含む。１つ以上の内部バス２２４１は、これらの機能モジュールの機能を内部接続する。通常、プロセッサ２２０５は、接続２２１８を使用してシステムバス２２０４を介して外部装置と通信するための１つ以上のインタフェース２２４２を更に有する。メモリ２２３４は、接続２２１９を使用してバス２２０４に結合される。

アプリケーションプログラム２２３３は、条件付き分岐命令及びループ命令を含む一連の命令２２３１を含む。プログラム２２３３は、プログラム２２３３の実行時に使用されるデータ２２３２を更に含む。命令２２３１は記憶場所２２２８、２２２９、２２３０に格納され、データ２２３２は記憶場所２２３５、２２３６、２２３７に格納される。命令２２３１及び記憶場所２２２８〜２２３０の相対サイズに依存して、特定の命令は、記憶場所２２３０内に示す命令により示されるように、単一の記憶場所に格納される。あるいは、命令は、記憶場所２２２８及び２２２９内に示す命令セグメントにより示されるように、各々が別個の記憶場所に格納される多くの部分に分割される。

一般に、プロセッサ２２０５は、そこで実行される命令セットを与えられる。プロセッサ２２０５は後続の入力を待ち、別の命令セットを実行することにより後続の入力に対処する。各入力は、入力装置２２０２、２２０３の１つ以上により生成されたデータ、ネットワーク２２２０、２２２２の一方を越えて外部ソースから受信されたデータ、記憶装置２２０６、２２０９の一方から検索されたデータ、あるいは対応する読取装置２２１２に挿入された記憶媒体２２２５から検索されたデータを含む多くのソースのうちの１つ以上から提供される。これらは全て図２２Ａに示される。いくつかの例において、命令セットを実行した結果、データが出力される。実行は、メモリ２２３４にデータ又は変数を格納することを更に含む。

開示する文書解析及び高レベル文書生成の構成は、対応する記憶場所２２５５、２２５６、２２５７においてメモリ２２３４に格納される入力変数２２５４を使用する。構成は、対応する記憶場所２２６２、２２６３、２２６４においてメモリ２２３４に格納される出力変数２２６１を生成する。中間変数２２５８は、記憶場所２２５９、２２６０、２２６６及び２２６７に格納される。

図２２Ｂのプロセッサ２２０５を参照すると、レジスタ２２４４、２２４５、２２４６、論理演算装置（ＡＬＵ）２２４０及び制御部２２３９は協働して、プログラム２２３３を形成する命令セット内の各命令に対する「取り出し、復号化、及び実行」サイクルを実行するために必要な一連のマイクロ命令を実行する。各「取り出し、復号化、及び実行」サイクルは以下を含む：
（ａ）記憶場所２２２８、２２２９、２２３０から命令２２３１を取り出すか又は読み出す、取り出し動作
（ｂ）制御部２２３９が、命令が取り出されたかを判定する復号化動作
（ｃ）制御部２２３９及び／又はＡＬＵ２２４０が、命令を実行する実行動作
その後、次の命令に対する更なる「取り出し、復号化、及び実行」サイクルが実行される。同様に、制御部２２３９が記憶場所２２３２に値を格納するか又は書き込む格納サイクルが実行される。

図１〜図２１の処理における各ステップ又は副処理はプログラム２２３３の１つ以上のセグメントに関連し、前述したプログラム２２３３のセグメントに対する命令セット内の各命令に対する「取り出し、復号化、及び実行」サイクルを実行するために協働するプロセッサ２２０５内のレジスタ部２２４４、２２４５、２２４６、ＡＬＵ２２４０及び制御部２２３９により実行される。

あるいは、文書解析及び高レベル文書生成方法は、文書解析及び高レベル文書生成の機能又は副機能を実行する１つ以上の集積回路等の専用ハードウェアで実現されてもよい。そのような専用ハードウェアは、グラフィックプロセッサ、デジタル信号プロセッサ又は１つ以上のマイクロプロセッサ及び関連するメモリを含む。尚、図１の構成は、図２２Ａ及び図２２Ｂのコンピュータシステム２２００を使用して実現される。この場合、色量子化１５０、ページレイアウト解析１６０、ページ論理構造１６５の生成、オブジェクト塗りつぶし色解析１７０、及び出力変換１８０の処理は、コンピュータモジュール２２０１により格納され且つ実行可能であるアプリケーションプログラム２２３３としてソフトウェアで実行される。

図２は、スキャン−高レベル文書システム１００のオブジェクト塗りつぶし色解析モジュール１７０において実現され且つ入力としてページ論理構造１６５を受信するオブジェクト塗りつぶし色解析の好適な方法２００を示す。方法２００は、領域シリアライズステップ２１０、領域繰り返しステップ２２０、塗りつぶし色判定ステップ２３０、参照背景色判定ステップ２４０、透明色判定ステップ２５０、及び色統合ステップ２７０を有する。

領域シリアライズステップ２１０において、プロセッサ２２０５は、メモリ２２０６、２２１０内の記憶装置からページ論理構造１６５を読み込む。構造１６５は被包囲領域の木であり、現在のレベルが全て使用されるとノードのトラバーサル(traversal)が木の階層の次の下のレベルに単に移動する幅優先方式で、被包囲領域の各々をリストに配置する。領域繰り返しステップ２２０は、被包囲領域のリスト内の全ての被包囲領域にわたって１つずつ繰り返す。領域ステップ２２０ａから次の領域ステップ２２０ｂまでの被包囲領域ループの各繰り返し中に、塗りつぶし色又は透明な塗りつぶしが現在の被包囲領域に対して判定される。図７において塗りつぶし色判定ステップ２３０を更に説明する。参照背景色判定ステップ２４０において、推定ページ背景色に基づいて現在の閉領域に参照背景色が割り当てられる。１つの実現例は、推定ページ背景色としてページ上の最も主要な色を使用する。最も主要な色は領域の画素数に基づいて選択されるため、最も多くの画素を有する領域の色が主要色になる。別の実現例は、完全包囲領域の塗りつぶし色を推定ページ背景色として使用してもよい。完全包囲領域は、ページ論理構造１６５からのオブジェクトの関係を使用して位置を特定される。透明色判定ステップ２５０において、現在の被包囲領域の塗りつぶし色と領域の参照背景色とが比較される。現在の被包囲領域の塗りつぶし色と領域の参照背景色との間の色差が小さい場合、現在の被包囲領域は透明色を割り当てられる。現在の被包囲領域が塗りつぶし色又は参照背景色を有さない場合、色の比較は実行されない。全ての被包囲領域が被包囲領域ループにおいて処理されると、色統合ステップ２７０において、不透明な被包囲領域内の塗りつぶし色が統合される。印刷処理により生じた色の不一致を除去するために、不透明な被包囲領域内の類似する塗りつぶし色は同一にされる。

図４Ａに戻り、例を使用して、参照背景色判定ステップ２４０及び透明色判定ステップ２５０を更に説明する。被包囲領域４１０は画素数が最も多いため、最も主要な色として選択される。１つの実現例において、被包囲領域４１０の塗りつぶし色は推定ページ色として使用され、推定ページ色は全ての被包囲領域の参照背景色として使用される。別の実現例において、被包囲領域の参照背景色は、被包囲領域を包囲する領域の色に従って判定される。被包囲領域４４０は完全包囲領域４２５を有し、領域４２５は完全包囲領域４１０を有する。被包囲領域４３５は完全包囲領域を有さない。被包囲領域４１５は、被包囲領域４５０、４５５、４６０及び４６５の完全包囲領域である。被包囲領域は、完全包囲領域を有さないか又は１つの完全包囲領域のみを有する。被包囲領域４２５の塗りつぶし色は被包囲領域４４０の参照背景色として使用され、被包囲領域４１５の塗りつぶし色は被包囲領域４５０、４５５、４６０及び４６５の参照背景色として使用される。本実現例において、色は親である被包囲領域から選択される。推定ページ色が全ての被包囲領域の参照背景色として使用される場合、被包囲領域４２０のみに透明色が割り当てられる。完全に囲む親領域の塗りつぶし色が参照背景色として使用される場合、被包囲領域４４０、４２０、４６５及び４５５に透明色が割り当てられる。

図７Ａ〜図７Ｃは、被包囲領域の塗りつぶし色を判定する方法を更に説明する。図７Ｃは、ステップ２３０の被包囲領域の塗りつぶし色の判定を示すフローチャートである。図７Ａ及び図７Ｂは、図７Ｃの被包囲領域分割ステップ７１０によりタイルに分割された被包囲領域の２つの例である。図７Ａは、８個のタイルに分割された楕円形の被包囲領域であり、図７Ｂは、６個のタイルに分割された被包囲領域を有するテキストコンテンツを有する表のセルである。点線で示されるセル内部の矩形領域は、テキストコンテンツの排除領域である。図７Ｂに示すように、排除領域は、テキストコンテンツＡＢから取得されるソース色を排除するために使用される。好適な実現例において、タイルのサイズは３００ｄｐｉの入力の場合に３２×３２画素である。現在の被包囲領域は、ソース色を集めるための境界を単純に定義する。現在の被包囲領域のソース色は、元のスキャン画像又はスキャン−高レベル文書システム１００の色量子化モジュール１５０により生成された色量子化画像から得られる。タイル（ｆｏｒ−ｎｅｘｔ）ループ７２０は、現在の被包囲領域の全てのタイルにわたって繰り返す。タイルステップ７２０ａから次のタイルステップ７２０ｂまでのタイルループの各繰り返しにおいて、主要色判定ステップ７３０がソース色から主要色を見つけるために現在のタイルに対して実行される。主要色を見つけるために、色のクラスタリング又は色ヒストグラムの技術を使用できる。各タイルに対して、最大で４つの主要色で十分である。ステップ７４０において、現在のタイルの主要色及び各主要色の画素数が主要色リストに追加される。ステップ７５０において、タイルループ７２０により生成された主要色リストに基づいて色ヒストグラムが形成される。最後に、ステップ７６０において、塗りつぶし色の選択を行うために色ヒストグラムが調べられる。色ヒストグラムにおける色の偏差が小さい場合、ヒストグラムの最も高密度のビンからの色が現在の領域の塗りつぶし色として選択される。色ヒストグラムから見られる色の偏差が大きい場合、被包囲領域はグラデーション塗りつぶしを含むか、あるいは塗りつぶし色を割り当てられていない。

あるいは、被包囲領域の塗りつぶし色は、色量子化処理１５０により生成された双方が領域に隣接し且つ当該領域により囲まれるカラー領域の集合に基づいて推定される。そのような被包囲領域を被包囲カラー領域と呼ぶ。被包囲カラー領域の各々は、領域内の画素の何らかの平均に従うか又は関連する領域の集合にわたり平均された色の集合を有すると仮定される。被包囲カラー領域は、各クラスタが適切な色距離尺度に従って類似色を有する被包囲カラー領域のみを含むようにクラスタリングされる。適切な尺度は、以下の式で与えられる２つの色（ｌ_１，ａ_１，ｂ_１）と（ｌ_２，ａ_２，ｂ_２）との間のＬＡＢ色差Δ_ＬＡＢに関して定義される：

色差が閾値より小さい場合（例えば、Δ_ＬＡＢ＜５）、２つの色は類似であると定義される。あるいは、閾値は被包囲カラー領域の各々の色推定の信頼度に基づいて選択される。通常、被包囲カラー領域のエッジ画素対画素数の比率が大きい場合に信頼度は低く、被包囲カラー領域のエッジ画素対画素総数の比率が低い場合に信頼度は高い。比較される２つのオブジェクトの最大エッジ率が０．１より低い場合、Δ_ＬＡＢ＜２の場合に色は類似であると見なされる。最大エッジ率が０．２５より低い場合、Δ_ＬＡＢ＜５の場合に色は類似であると見なされる。最大エッジ率が０．２５以上の場合、Δ_ＬＡＢ＜１０の場合に色は類似であると見なされる。

クラスタリングされた被包囲カラー領域の各集合の平均色は、集合の加重和として計算される。その場合、被包囲カラー領域の各々の面積は重み付けを定義し、面積の総和の統計及び領域の集合の隣接度の距離がクラスタ毎に更に累積される。この処理は、被包囲カラー領域の隣接度及びそれらの近似形状に基づいて達成される。被包囲カラー領域のクラスタが１つのみ存在する場合、色は当該クラスタの平均色に基づいて推定される。複数の色クラスタが存在し且つそのうちの１つが支配的である場合、当該クラスタは被包囲領域の色推定値を定義する（例えば、支配クラスタは、色クラスタの集合における全面積の７０％及び周長の２０％を構成する）。上記以外の場合、色推定値は領域に対して形成されない。

Ｍｉｃｒｏｓｏｆｔ Ｗｏｒｄ^ＴＭ又はＰｏｗｅｒＰｏｉｎｔ^ＴＭにおいて一般に使用されるテンプレート形状等のいくつかの幾何エンティティは、わずかに異なる色を有する複数の内部領域を用いて定義される。例えば図１０は、各々が定義された塗りつぶし色を有する２つの立方体１０１０及び１０３０、湾曲した矢印１０６０、額縁１０２０及び１０４０、並びにリボン１０５０を含むオブジェクトの例を示す。しかし、内部領域のいくつかは、輝度が低くなるように変更された主要な塗りつぶし色に基づく「陰影」塗りつぶし色を有する。陰影塗りつぶし色は、異なる面を表す立方体１０１０、１０３０の領域（例えば、１０１２、１０３２）において見られる。そのような塗りつぶし色は、全ての被包囲カラー領域の集合をまとめて処理し且つ同一色の明るい影及び暗い影に関連する２つの別個の色クラスタが存在するかをチェックすることにより処理される。陰影領域の幾何学的配置がテンプレート形状の予想される幾何学的配置と一致することを確認するために、更なる幾何学的テストが更に実行されてもよいが、領域から形成されるテンプレート形状が最初に識別される必要がある。幾何学的テストは、面積等の単純な統計に基づいてもよく、あるいは種々の被包囲領域の構成の更に詳細なチェックに基づいてもよい。

図３は、スキャン−高レベル文書システム１００のオブジェクト塗りつぶし色解析モジュール１７０において実現される際の図２とは別の実現例において使用されるオブジェクト塗りつぶし色解析の方法３００を示す。この場合も方法３００はソフトウェアで実現可能であり、領域シリアライズステップ２１０、被包囲領域繰り返しステップ２２０、塗りつぶし色判定ステップ２３０、参照背景色判定ステップ２４０、参照背景フラグ判定ステップ３５０、及び出力ステップ３７０を有する。

透明な塗りつぶしの判定が各オブジェクトに直接結び付けられない点を除いて、方法３００は方法２００と同様である。ステップ２１０〜２４０は、方法２００に関連して説明したステップと同一である。方法２００と異なる第１の点は、現在の被包囲領域の塗りつぶし色と領域の対応する参照背景色とを比較する参照背景フラグ判定ステップ３５０である。現在の被包囲領域の塗りつぶし色と参照背景色との間の色差が小さい場合、現在の被包囲領域は参照背景フラグを割り当てられ、塗りつぶし色は参照背景色に置き換えられる。現在の被包囲領域が塗りつぶし色も参照背景色も有さない場合、色の比較は実行されず、参照背景フラグは割り当てられない。全ての被包囲領域が処理されると、出力ステップ３７０は動的出力形式アプリケーションの簡潔な中間表現を作成する。

図８は、ページの簡潔な中間表現が図３の出力ステップ３７０に従って生成される方法８００を示す。方法８００は、領域繰り返しステップ８０５ａから次の被包囲領域選択ステップ８０５ｂまでの領域繰り返しループ、塗りつぶし色テストステップ８１０、前景テストステップ８２０、インペイントステップ８３０、及び前景作成ステップ８４０を有する。８０５ａから８０５ｂまでの被包囲領域（ｆｏｒ−ｎｅｘｔ）ループは、背景又は前景のいずれかにおいて表される被包囲領域の各々の表現を構成するために、全ての被包囲領域にわたって繰り返す。方法８００の開始時、背景は元の文書画像全体を含むが、前景は空リストである。塗りつぶし色テストステップ８１０は、現在の被包囲領域が塗りつぶし色を有するかをチェックする。塗りつぶし色が存在する場合、ステップ８２０において、領域を前景に割り当てる必要があるかを判定するために被包囲領域がテストされる。領域が塗りつぶし色を有さない場合、領域はグラデーション又は写真である可能性が高く、領域は背景の一部として維持される。前景テストステップ８２０は、領域のサイズ、並びに記憶サイズに関する背景及び前景における表現のコストに基づく。領域がテンプレート形状、テキスト、表及び線等の認識されたコンテンツの種類であるか又はベクトルにより有効に表される場合、領域は前景として分類される。前景に分類された領域により塞がれる背景内の範囲は、インペイントステップ８３０において補完される。インペイントステップにおいて、現在の被包囲領域の視覚的存在は背景から除去される。その後、ステップ８４０において、被包囲領域は前景リストに追加される。全ての被包囲領域を解析後、背景画像及び前景領域のリストは種々の動的出力形式アプリケーションにすぐに使用できるページの簡潔な中間表現を形成する。

図９Ａは、本発明に係る１つの実現例を使用して図４の入力例から生成された背景画像の一例を示し、図９Ｂは、図４の入力例から生成された対応する前景リストを示す。前景リスト内の各レコードは、前景領域が動的出力アプリケーションに対して構成される方法を定義し、各オブジェクトの塗りつぶし色、参照背景フラグ、及び幾何学的定義を詳細に示す。囲まれた前景領域の幾何学的定義は、形状の定義、ベクトルのリスト、又はビットマップである。前景リストにおける幾何学的定義は、幾何学的定義の種類及びデータの可変サイズを定義するヘッダから開始するメモリへの参照である。データのサイズは、形状の種類、被包囲領域の面積、及び輪郭の幾何学的配置に依存する。

動的出力形式アプリケーションの２つの例を図５及び図６に示す。方法５００は、ステップ３７０により生成された簡潔な中間表現を使用する動的表示アプリケーションである。方法５００はソフトウェアで実現されるのが好ましく、ページの一般的なデータ表現形式を使用する背景画像データに依存する４つの表示モードのうちの１つに切り替えられるようにする。４つの表示モードは以下である。

１．後景として背景画像を使用し、全ての前景領域に不透明な塗りつぶし色を用いる。

２．後景として背景画像を使用し、いくつかの前景領域に透明な塗りつぶし色を用いる。

３．後景としてデフォルトの背景を使用し、全ての前景領域に不透明な塗りつぶし色を用いる。

４．後景としてデフォルトの背景を使用し、いくつかの前景領域に透明な塗りつぶし色を用いる。

初期ユーザ設定選択ステップ５１０において、上記の４つの表示モードのうちの１つが選択され、この選択により、以下の表１に示すように、簡潔な中間表現がページを表示するために構成される方法の処理が制御される。

その後、ステップ５１５において、「背景画像を描画する」設定が有効にされるかがテストされる。「背景画像を描画する」設定が有効にされる場合、方法５００はステップ５２０に進み、ページの後景として背景画像を描画することにより、図１の表現１９０と同様の方法でコンピュータディスプレイ２２１４上に背景を表示する。「背景画像を描画する」設定が有効にされてない場合、ステップ５３０に進み、ページの後景としてデフォルトの背景を描画し、表示する。例えば、デフォルトの背景は白色のカンバスである。方法５００は、領域繰り返しステップ５３５ａから次の被包囲領域ステップ５３５ｂまでの領域繰り返しループを開始し、「透明な塗りつぶしを有効にする」及び参照背景フラグの設定に従ってページ上に全ての前景領域を描画する。ステップ５４０において、表示画面２２１４上に再生されるように、カンバス上に現在の被包囲領域の輪郭を描画し、表示する。ステップ５５０において、「透明な塗りつぶしを有効にする」及び参照背景フラグの双方が設定されているかがチェックされる。これらの双方が設定されている場合、領域の更なる処理は不要であり、方法５００は次の領域に進む。これらの一方又は双方が設定されていない場合、方法５００はステップ５５５に進み、現在の被包囲領域の塗りつぶし色を用いて被包囲領域を塗りつぶし、これがディスプレイ２２１４上に表示される。全ての被包囲領域が処理されるまで方法５００は続行する。この手法を用いると、電子文書は、背景画像を描画するための選択に基づく複数のモードのうちの１つで表示される。この場合、透明な塗りつぶしは選択により制御される。

１つの別の実現例において、ユーザ設定選択５１０は背景画像が出力されるか否かのみに基づく。ユーザ設定選択が背景画像を有することである場合、「透明な塗りつぶしを有効にする」はデフォルトで有効にされる。ステップ５５０において、参照背景フラグが設定されるか否かをチェックするだけでよい。ユーザ設定選択５１０が背景画像を有さないことである場合、「透明な塗りつぶしを有効にする」は無効にされる。本例において、ステップ５４０はステップ５５０を完全に迂回してステップ５５５に直接進む。

図６の方法６００は、上述の簡潔な中間表現を使用する動的出力形式アプリケーションを説明する。方法６００は、ページの一般的なデータ表現形式を使用する背景画像データに依存する４つの出力形式のうちの１つに切り替えられるようにする。４つの出力形式は以下の通りである。

１．背景画像を含み、全ての前景領域に不透明な塗りつぶし色を用いる。

２．背景画像を含み、いくつかの前景領域に透明な塗りつぶし色を用いる。

３．背景画像を含まず、全ての前景領域に不透明な塗りつぶし色を用いる。

４．背景画像を含まず、いくつかの前景領域に透明な塗りつぶし色を用いる。

ユーザ設定選択ステップ６１０において、上記の４つの出力形式のうちの１つが選択される。この選択により、以下の表２に示すように、ページの出力を生成するために簡潔な中間表現が構成される方法が制御される。

ステップ６１５において、「背景画像を出力する」設定が有効にされるかがテストされる。「背景画像を出力する」設定が有効にされる場合、方法６００はステップ６２０に進み、背景画像を出力する。「背景画像を出力する」設定が有効にされていない場合、方法６００は、領域繰り返しステップ６４５ａから次の閉領域ステップ６４５ｂまでの領域繰り返しループを開始し、「透明な塗りつぶしを有効にする」及び参照背景フラグの設定に従って全ての前景領域を出力する。領域繰り返しループ内の最初のステップは、「透明な塗りつぶしを有効にする」及び参照背景フラグの双方が設定されるかをチェックするステップ６５０である。双方のフラグが設定される場合、方法６００は、透明な塗りつぶしを用いて領域を出力するステップ６６０に進み、領域に透明色を設定して領域を出力する。一方又は双方のフラグが設定されない場合、方法６００は塗りつぶし色を用いて領域を出力するステップ６５５に進み、領域に不透明な塗りつぶし色を設定して領域を出力する。領域繰り返しループは、全ての被包囲領域が処理されるまで続行する。

１つの別の実現例において、ユーザ設定選択６１０は背景画像が出力されるか否かのみに基づく。ユーザ設定選択が背景画像を有することである場合、「透明な塗りつぶしを有効にする」は有効にされる。ステップ６５０において、参照背景フラグが設定されるか否かをチェックするだけでよい。ユーザ設定選択６１０が背景画像を有さないことである場合、「透明な塗りつぶしを有効にする」は無効にされる。本実現例において、ステップ６５５のみが領域繰り返しステップ６４５ａから次の被包囲領域ステップ６４５ｂまでの領域繰り返しループ内で実行される。

［利点］
上述のスキャン−高レベル文書システム１００は、透明な塗りつぶしを有する被包囲領域を有する出力を提供する。透明な塗りつぶしの使用により、被包囲領域を透かして被包囲領域の背景色を見ることができる。特に、多くのセルを有する表に適用される場合、スキャン−高レベル文書システムは表のセルのいくつかに透明な塗りつぶしを適用する一方で他のセルでは塗りつぶし色を出力する。セルのいくつかが透明である表を提供できることにより、元の表が黄色っぽい再生紙又は色紙に印刷された場合に、変換された高レベル文書の出力において表を正確に解釈できる。この手法は更に、透明なセルの色が背景色の変化を反映した状態で表を１つの背景から別の背景に移動できるようにする。

［領域分割を使用するグラデーション領域のセグメント化］
以下の節において、カラー文書画像からのグラデーション領域をセグメント化する方法を説明する。方法は、グラデーション領域の色範囲の中の１つの色に類似する色を有する別の領域に接触するグラデーション領域を正確に抽出できる。これは、以下の主なステップを使用して達成される。第１に、画像は類似色の領域にセグメント化される。第２に、類似色の領域のうちのいくつかは、それらがグラデーション領域の一部である画素を含み且つグラデーション領域に隣接する別個の領域の一部である画素を更に含むという点において、曖昧であると識別される。第３に、曖昧な領域は、グラデーション領域のエッジである可能性の高いエッジを延長することにより、小さい領域に分割される。第４に、曖昧ではないと見なされる類似色の領域と曖昧な領域を分割することにより取得される領域とを使用して領域の合成が実行され、グラデーション領域が抽出される。

曖昧な領域の識別及び領域の合成は、一対の隣接する領域が各領域の最適平面によりモデル化されない範囲を不利にする２つ一組の領域合成コストを使用して実行される。領域を分割する方法は、グラデーション領域の特徴を利用する。１つの特徴は、グラデーション領域の画素を含む類似色領域が２つの類似色領域に隣接する可能性が高く、そのため、当該領域及び２つ隣接する領域が色空間において近接し且つほぼ共線である色を有することである。別の特徴は、グラデーション領域の画素及びグラデーション領域に隣接する別個の領域の画素を含む類似色領域は、各頂点の腕がほぼ共線であるような一対の優角頂点を有する境界を有する可能性が高いことである。上記の特徴及び更なる特徴、並びに領域分割におけるそれらの利用を以下に説明する。

方法は、特に、印刷文書画像のスキャンから得られ且つ文書画像の電子バージョンにおける線形の混色により生じたグラデーション領域のセグメント化に関する。

図２１は、スキャン−ポータブル文書システムのアプリケーション環境２１００を示す。図２１の環境は図１と同様であり、一方の操作性が他方に組み込まれてもよい。ハードコピー文書２１１０はスキャナ２１２０によりスキャンされ、入力スキャン文書画像２１３０を形成する。多くの場合、これは単に「入力文書」と呼ばれる。入力文書のソースは、デジタル記憶装置２１４０であってもよい。入力文書２１３０は、カラー画像セグメント化モジュール２１６０を含む文書解析システム２１５０に送出される。文書解析システム２１５０は入力文書２１３０を受け付け、アーカイブ又はファイル交換のためにこれをポータブルファイル形式２１７０に変換する。システム２１００は、図１と同様に、同一の説明が適用する図２２Ａ及び図２２Ｂのシステムを使用して実現される。

図１１は、文書画像からグラデーション領域を抽出するカラー画像セグメント化方法１１００の高レベル処理ステップを概略的に示すフローチャートである。カラー画像セグメント化方法１１００は、アプリケーション環境２１００のモジュール２１６０又は他の画像処理アプリケーションにおいて実現するのに適している。

処理ステップ１１１０において、ノイズ低減及び中間調除去を含む画像前処理が実行される。処理ステップ１１２０において、各々が類似色の画素の連結領域である画像の連結成分が取得される。各連結成分に対して代表色が判定される。グラデーション領域のセグメント化に関する以下の説明において、これを単に連結成分の色と呼ぶ。画像を色の集合に量子化し、連結成分内の各画素に対して画素の色から連結成分の色までの色距離が画素の色から色の集合の他のどの色までの色距離とも少なくとも同様に短くなるように、各連結成分の代表色をこの色の集合の中の色に割り当てることにより、連結成分が取得されるのが好ましい。連結成分を形成するために使用される色値は、ノイズ低減及び中間調除去の後に取得された色値であるのが好ましい。また、ステップ１１１０及び１１２０における処理は、エッジをはさむ色差を強調することなくエッジを鮮明にすることを含むのが好ましい。これは、例えば、連結成分の形成後に画像のエッジに存在する小さい又は細い連結成分と画像のエッジの同一側に存在する隣接する連結成分とを組み合わせることにより達成される。処理される文書画像が印刷画像のスキャンである場合、ノイズ低減、中間調除去、及びエッジの鮮明化は、画像のセグメント化にて、人間の知覚と一致するほぼ一定色の領域及び文書の元の電子表現に近いものに回復するために重要である。

処理ステップ１１３０において、合成コストが隣接する連結成分の対の間で計算される。この処理ステップにおいて、閾値を下回る数の画素から構成される連結成分である小さい連結成分は無視される。

一対の隣接する領域Ａ及びＢを合成するための合成コストは、以下のように計算される。第１に、カラーチャネル毎に、最適平面が領域Ａの色値に対して計算され、最適平面が領域Ｂの色値に対して計算される。第２に、領域Ａの最適平面を使用して、領域Ａ及びＢの結合により形成される結合領域の色値の当てはめ誤差に対して推定値が計算され、領域Ｂの最適平面を使用して、同一の結合領域の色値の当てはめ誤差に対して推定値が計算される。結合領域に対する平面の当てはめ誤差に対する１つの適切な推定値は、単純に、結合領域の何らかの画素の値と平面を拡張することにより取得される表面の画素における値との間の差分の最大絶対値である。その後、合成コストは、個別の色成分の誤差の値から導出された色距離に設定される。一対の隣接する領域の合成コストは、単一の一貫した測定において領域の色の非類似性及び領域の勾配の非類似性を不利にする。

図１５Ａ、図１５Ｂ、及び図１５Ｃを使用して、この合成コストの選択の理由を説明し、曖昧な連結成分を識別した後に分割するために合成コストを使用する次の処理ステップ１１４０の結果を示す。図１５Ａは、３つの一定色領域１５２０、１５３０、及び１５４０に重なるグラデーション領域１５１０を含む文書画像の一部を示す。一定色領域１５３０は、グラデーション領域の一部に類似する色を有する。図１５Ｂは、処理ステップ１１２０の実行の結果得られる文書画像の同一部分に対する連結成分を示す。連結成分１５５０及び１５７０、並びに連結成分１５６０の一部はグラデーション領域に対応する。連結成分１５６０は、一定色領域１５３０を更に含む。連結成分１５６０は曖昧な領域である。本例は、類似色の領域へのセグメント化を最初に実行する従来技術の方法を使用してグラデーション領域をセグメント化しようとする際の問題を示す。すなわち、図１５Ｂの連結成分を単純に合成することによりグラデーション領域を抽出しようとすることは明らかに不可能である。グラデーション領域をセグメント化することより、連結成分１５６０等の曖昧な連結成分を分割することによるグラデーション領域の抽出が可能になる。図１５Ｃは処理ステップ１１４０の結果を示す。曖昧な連結成分１５６０は、線分１５７５を使用して分割連結成分１５８０及び１５９０に分割されている。

次に、図１５Ｂ及び図１５Ｃを使用して、合成コストの設計を説明する。図１５Ｂ及び連結成分１５６０と隣接する連結成分１５５０又は１５７０のいずれかとの合成に対する合成コストを考慮する。各色成分に対して、連結成分１５６０の最適平面は、第１に、グラデーション領域１５１０内の連結成分１５６０の一部における画素の画像値及び勾配値と一致する平面と、第２に、一定色領域１５３０に対応する連結成分１５６０の一部における画素の画像値及び勾配値と一致する平面との間の妥協により得られる。このような妥協のため、連結成分１５６０と隣接する連結成分１５５０又は１５７０のいずれかとから構成される結合領域の場合、少なくとも１つの色成分に対して、画像値と連結成分１５６０の最適平面を結合領域まで拡張することにより取得される画像値との間の差分は非常に大きい。そのため、連結成分１５６０と隣接する連結成分１５５０又は１５７０のいずれかとの間の合成コストは比較的高い。

それに対して、分割された連結成分１５８０と隣接する連結成分１５５０又は１５７０のいずれかとの合成に対する合成コストを考慮する。各色成分に対して、連結成分１５８０の最適平面が実際はグラデーション領域１５１０内に存在するため、これは連結成分１５８０のほぼ全ての画素の画像値及び勾配値と一致する。分割された連結成分１５８０と隣接する連結成分１５５０又は１５７０の一方とから構成される結合領域の場合、各色成分に対して、画像値と連結成分１５８０の最適平面を結合領域まで拡張することにより取得される画像値との間の差分は殆どない。更に、各色成分に対して、画像値と隣接する連結成分１５５０又は１５７０の最適平面を結合領域まで拡張することにより取得される画像値との間の差分は殆どない。そのため、分割された連結成分１５８０と隣接する連結成分１５５０又は１５７０のいずれかとの間の合成コストは比較的低い。

図１５Ａ、図１５Ｂ、及び図１５Ｃの画像データの構成例により示すように、合成コストの設計は、曖昧な連結成分と隣接する連結成分との間の合成コストが比較的高い傾向があり、連結成分間、すなわちグラデーション領域の分割された連結成分の間の合成コストが比較的低い傾向があることを保証する。そのため、この合成コストは、第１に、曖昧な連結成分を検出するのに有用であり、第２に、連結成分をグラデーション領域にグループ化するのに有用である。

図１１を再度参照すると、処理ステップ１１４０において、曖昧な連結成分が検出及び分割される。処理ステップ１１５０において、合成コストを使用して、分割された連結成分及び曖昧ではない連結成分は共にグラデーション領域にグループ化される。

処理ステップ１１６０において、後続の画像処理はグループ化されたグラデーション領域を使用して実行される。この後続の画像処理は、オブジェクト形状解析、求められる基準に対するオブジェクト量子化、オブジェクト認識、重なり合うオブジェクトの解析、領域グループ化及びページレイアウト解析、並びに最後に画像符号化を含んでいてもよい。画像符号化の一部として、グラデーション領域は文書画像の電子表現において簡潔に表される。グラデーション領域の簡潔な表現は、領域の輪郭のベクトル記述及び色のグラデーションのベクトル記述を含んでいてもよい。

図１２を参照して、処理ステップ１１４０の曖昧な連結成分を識別及び分割する方法を次に説明する。説明の便宜上、連結成分のデータはリストに格納され且つ１から開始するリスト指数ｃｃ＿ｉｎｄｅｘを使用して検索されると仮定する。処理ステップ１２１０において、リスト指数ｃｃ＿ｉｎｄｅｘは０に設定される。処理ステップ１２２０において、ｃｃ＿ｉｎｄｅｘはインクリメントされる。処理ステップ１２３０〜１２８０は、ｃｃ＿ｉｎｄｅｘの現在の値を使用して検索される「ｃｃ」と省略される現在の連結成分に対して行われる。処理ステップ１２３０において、現在の連結成分のサイズ、すなわち画素数が調べられる。サイズが閾値以下である場合、現在の連結成分に対する処理は終了し、ステップ１２９０に進む。サイズが閾値を上回る場合、現在の連結成分の処理は処理ステップ１２４０において続行する。

処理ステップ１２４０において、現在の連結成分の隣接する連結成分が調べられる。閾値を上回るサイズを有する２つの隣接する連結成分であって、それらの色及び現在の連結成分の色が２つの基準を満たす共線色セットを形成するような２つの隣接する連結成分が検索される。第１の基準は、隣接する各連結成分の色から現在の連結成分の色までの色距離が閾値を下回ることである。第２の基準は、現在の連結成分の色及び隣接する連結成分の色が現在の連結成分の色に関する共線色セットを形成することである。そのような共線色セットの存在は、双方の色ベクトルが現在の連結成分の色を始点とし、一方の色ベクトルが一方の隣接する連結成分の色に向き且つ他方の色ベクトルが他方の隣接する連結成分の色に向く２つの色ベクトルを形成することによりテストされる。ベクトルの長さで除算することにより正規化された色ベクトルのドット積が負の閾値を下回る場合、色は現在の連結成分の色に関する共線色セットを形成する。共線色セットを形成する２つの隣接する連結成分が存在する場合、ステップ１２５０に進む。そのような２つの隣接する連結成分が存在しない場合、現在の連結成分の処理は終了し、ステップ１２９０に進む。

処理ステップ１２５０において、現在の連結成分と隣接する連結成分との合成コストが調べられる。閾値を上回るサイズを有する全ての隣接する連結成分との合成コストが合成コストの閾値より高い場合、ステップ１２６０に進む。そのような合成コストが合成コストの閾値以下である場合、現在の連結成分の処理は終了し、ステップ１２９０に進む。

処理ステップ１２６０において、現在の連結成分が大きい凹部を有するかがチェックされる次の処理ステップ１２７０に備えて、現在の連結成分の境界が引かれる。現在の連結成分の外側境界が凸包から大きく離間する場合、現在の連結成分は大きい凹部を有すると見なされる。外側境界点が凸包から離間する距離は、凸包の対応する直線エッジから外側境界点までの距離、すなわち当該直線エッジに対する法線として測定される。現在の連結成分が内部境界及び外側境界を有する場合も、連結成分は大きい凹部を有すると見なされる。現在の連結成分が大きい凹部を有する場合、連結成分は曖昧であると見なされ、ステップ１２８０に進む。図１３を参照して、これを以下に説明する。現在の連結成分が大きい凹部を有さない場合、現在の連結成分の処理は終了し、ステップ１２９０に進む。尚、処理ステップ１２８０における曖昧な連結成分の処理の結果、連結成分は２つの連結成分に分割される場合がある。分割された連結成分は、連結成分のリストの末尾に追加され、後に、曖昧であり分割される必要があるかが調べられる。処理ステップ１２９０において、ｃｃ＿ｉｎｄｅｘが連結成分の数と比較される。更なる連結成分が存在する場合、ステップ１２２０に進んでｃｃ＿ｉｎｄｅｘをインクリメントし、次の連結成分を処理する。連結成分がそれ以上存在しない場合、処理ステップ１１４０は完了する。

曖昧な連結成分に対して実行される処理を説明するために、図１６Ａ、図１６Ｂ、図１６Ｃ及び図１６Ｄ、並びに図１７Ａ、図１７Ｂ、図１７Ｃ及び図１７Ｄを使用して、曖昧な成分の主な種類の例を説明する。図１６Ａは、グラデーション領域に重なる楕円形の一定色領域から構成される単純な画像の連結成分を示す。太い境界線を用いて更に示される網掛けされた連結成分は曖昧である。これは、上に重なる楕円形の一定色領域の画素と共に、下地であるグラデーション領域の類似色の画素を含む。尚、画像の境界線に接触する場所とは別に、曖昧な連結成分は境界上に４つの隅を有する。それらの隅のうちの２つは、図１６Ｂにおいて丸で囲まれ１６１０とラベル付けされる。他の２つの隅は、図１６Ｃにおいて丸で囲まれ１６２０とラベル付けされる。これらの４つの境界点は、曖昧な連結成分を分割するための線分を構成するのに好適な端点である。図１６Ｃは、１６１０とラベル付けされた２つの隅を使用して分割した結果を示す。曖昧な連結成分の一部が斜線網掛けされて示される。曖昧な連結成分の残りの部分は依然として曖昧であり、１６２０とラベル付けされた他の２つの隅を含む。最後に、図１６Ｄは、他の２つの隅１６２０を使用してその残りの部分を分割した結果を示す。

図１７Ａは、一定色領域に重なる楕円形のグラデーション領域と円形のグラデーション領域の一部とから構成される単純な画像の連結成分を示す。図１７Ａの網掛けされた連結成分は曖昧である。それは、下地である一定色領域の画素と共に、上に重なるグラデーション領域の類似色の画素を含む。この場合、曖昧な連結成分の境界は、連結成分に属さない楕円領域の部分を囲む１つの外側又は外部境界及び２つの内側又は内部境界である３つの区間から構成される。単連結の画像領域の例である図１６Ａの曖昧な連結成分と異なり、図１７Ａの曖昧な連結成分は多重連結の画像領域である（すなわち、パスの全ての点が領域内に留まるが連続的に１点に収縮されないループ又は閉じたパスが領域内に存在する）。図１７Ａ及び図１７Ｂにおいて網掛けで示される多重連結の曖昧な連結成分を分割し且つ図１７Ｃ及び図１７Ｄに示すような楕円形のグラデーション領域の近似形状を復元するには、２つの線分及び二対の境界点を使用する必要がある。図１７Ｃは、図１７Ｂにおいて１７１０及び１７２０とラベル付けされた二対の隅を使用して分割した結果を示す。ここで、曖昧な連結成分の一部は斜線網掛けされて示され、曖昧な連結成分の残りの部分は依然として曖昧である。尚、この分割動作の各線分の場合、各端点は他方の端点が存在するのとは異なる曖昧な連結成分の内部境界上に存在する。また、２つの線分は同一の２つの内部境界上に端点を有する。図１７Ｃに示す曖昧な連結成分の残りの部分は単連結であり、１７３０とラベル付けされた一対の隅を含む。図１７Ｄは、隅１７３０の対を使用して残りの部分を分割した結果を示す。

一般に、曖昧な連結成分は単連結であってもよく、多重連結であってもよい。単連結である場合、曖昧な連結成分は一対の境界点を端点として有する線分を使用して分割される。多重連結である場合、曖昧な連結成分は、二対の境界点を端点として有し且つ各線分の端点が境界の異なる区間の同一の対に属する２つの線分を使用して分割される。尚、線分の端点である一対の境界点が境界の同一区間上に存在する場合、多重連結の曖昧な連結成分は単一の線分を使用して同様に分割される。隅１７１０の対及び隅１７２０の対を使用する分割を実行する前に隅１７３０の対を使用する分割を実行することにより、この例は図１７Ａ、図１７Ｂ、図１７Ｃ、及び図１７Ｄに同様に示される。

図１３を参照して、ステップ１２８０において曖昧な連結成分に対して実行される処理を以下に示す。最初に、処理ステップ１３１０において、処理ステップ１２６０を使用して導出された曖昧な連結成分の以前に引かれた境界は単純化される。処理ステップ１２６０で曖昧な連結成分の境界を引いた結果、連結成分の境界の別個の各区間に対する画素の角のリストが得られる。これらの画素の角は、連結成分の境界のエッジが直線化された表現の頂点として見なされる。処理ステップ１３１０の境界の単純化により、連結成分の境界を依然として近似するが小さい凹凸が除去され数の減少した頂点の集合が形成される。

この処理は、以下の式により与えられる境界の頂点を除去するコストを使用する：

（１）

この式は、２つの線分ｓ１、ｓ２の間の符号なしの方向転換角度β（ｓ_１，ｓ_２）及び境界の線分の全長により正規化された２つの線分の長さｌ（ｓ_１）、ｌ（ｓ_２）を使用して、２つの線分の間の頂点に対する除去コストＫ（ｓ_１，ｓ_２）を定義する。この場合、多角形の一対の隣接する線分の間の頂点における方向転換角度は、一方の線分の頂点を通り他方の線分に向う延長線の角回転である。

直線線分の境界の頂点は、方向転換角度の方向に依存して優角又は劣角であると考えられる。頂点のいずれかの側の線分は境界の時計回りの跡に従って順序付けられると仮定すると、頂点が外側境界上に存在する場合、頂点に対する先行する線分の延長から後続の線分への方向転換角度が反時計回りの角度である場合に頂点は優角であると見なされる。頂点が内部境界上に存在する場合、方向転換角度が時計回りの角度である場合に頂点は優角であると見なされる。

ステップ１３１０の曖昧な連結成分の境界を単純化する処理は、最初に、除去コストが閾値を下回る劣角頂点が存在しなくなるまで、除去コストが最も小さい連結成分の劣角頂点を繰り返し除去し、次に、除去コストが閾値を下回る優角頂点が存在しなくなるまで、除去コストが最も小さい連結成分の優角頂点を繰り返し除去する。コストの低い頂点を除去するこの手法により、単純化された境界における優角頂点の位置の維持が助長される。境界を単純化する処理ステップ１３１０以降に曖昧な連結成分の境界の表現において残る頂点を「多角形頂点」と呼び、境界を引く処理ステップ１２６０の結果得られる頂点を単に「頂点」と呼ぶ。

ステップ１３２０以降における曖昧な連結成分の処理の目的は、第１に、連結成分を分割するのに適した１つ又は２つの線分の端点を探索することであり、第２に、そのような線分が見つかった場合に連結成分を分割することである。図１８、図１９Ａ、図１９Ｂ、及び図１９Ｃを参照して、曖昧な連結成分を分割するのに適した線分の探索戦略を説明する。

図１８は、優角多角形頂点１８４０の近傍における網掛け領域１８１０として描画される曖昧な連結成分の例の一部を示す。図１８は、多角形頂点１８２０、１８３０、１８４０、１８５０、及び１８６０、並びにこれらの頂点の間の直線線分から構成される曖昧な連結成分１８１０の単純化された外部境界の一部を更に示す。曖昧な連結成分１８１０の単純化された境界の他の多角形頂点及び直線線分は不図示である。多角形頂点１８４０及び１８５０の双方は優角である。連結成分の境界の多角形表現において頂点のいずれかの側にすぐに存在する２つの直線線分は、連結成分の各多角形頂点に関連付けられる。本説明において、これらの直線線分を頂点の「腕」と呼ぶ。頂点１８４０と隣接する頂点１８３０及び１８５０との間の２つの腕は優角多角形頂点１８４０に関連付けられる。図１８において、破線延長線でこれらの腕を示す。

図１９Ａ、図１９Ｂ、及び図１９Ｃは、曖昧な連結成分の一部及びそれらの多角形化された境界の一部を示す。これらの図面は、グラデーション領域の色のうちの１つに類似する一定色領域を含む領域に重なるか又はその下地になるグラデーション領域が元の画像内に存在するため生じる曖昧な領域の異なる構成を示す。図１９Ａは、図１５Ａに示すように一定色領域に隣接するグラデーション領域に対応する図１５Ｂと同様の連結成分の構成を有する。図１９Ａ、図１９Ｂ、及び図１９Ｃの各々における曖昧な連結成分は、グラデーション領域の画素及び隣接する一定色領域の画素から構成される。これらの図面において、曖昧な連結成分の優角多角形頂点を小さい丸で示し、優角多角形頂点のいずれかの側にすぐに存在する多角形頂点を小さい正方形で示す。各図面において、曖昧な連結成分を分割するために使用するのに適した線分は、２つの優角多角形頂点に端点を有する。また、各図面において、２つの隣接する連結成分及び曖昧な連結成分が処理ステップ１２４０に関連して上述したように共線色セットを形成する色を有するように、各優角多角形頂点の近傍に２つの隣接する連結成分が存在する。すなわち、隣接する色成分の各々は曖昧な連結成分の色に類似する色を有し、これらの連結成分の色は、色空間において曖昧な連結成分の色を中心としてほぼ共線である。図１９Ａ、図１９Ｂ、及び図１９Ｃに示す曖昧な領域の３つの構成は、グラデーション領域が一定色領域に隣接する場合に、一定色領域のサイズ、グラデーション領域の勾配、及びグラデーション領域の類似色の部分に対する一定色領域の位置に依存して生じる。尚、共線色セットを形成する隣接する連結成分の位置は、優角多角形頂点の腕に対して異なる。

図１８に戻ると、格子模様で網掛けされた２つの連結成分１８７０、１８８０は、曖昧な構成要素１８１０の例に隣接する。これらの隣接する連結成分は、曖昧な連結成分の優角多角形頂点１８４０に対して異なる位置に存在する。隣接する連結成分１８８０は、優角多角形頂点１８４０からその両腕に沿ってから延在する。そのような隣接する連結成分を優角多角形頂点における隣接する連結成分と呼ぶ。隣接する連結成分１８７０は、多角形頂点１８３０を超えて多角形頂点１８２０に向けて延在する。曖昧な連結成分１８１０の多角形頂点が時計周りの順序であると仮定するため、多角形頂点１８３０は多角形頂点１８４０の先行の多角形頂点であり、多角形頂点１８２０及び１８３０の間の境界線分を多角形頂点１８４０の前の「前腕」と呼ぶ。そのため、隣接する連結成分１８７０は、多角形頂点１８４０の前の前腕に位置する隣接する連結成分である。優角多角形頂点１８４０に位置する隣接する連結成分１８８０及び優角多角形頂点１８４０の前腕に位置する隣接する連結成分１８７０の双方は共に、優角多角形頂点１８４０が別の優角多角形頂点とマッチングされることの証拠となる共線色セットの可能な要素である。尚、多角形頂点の前腕に位置する隣接する連結成分が多角形頂点のマッチングの証拠となるためには、対応する隣接する多角形頂点における角度、すなわち図１８の多角形頂点１８３０が劣角である必要がある。

曖昧な構成要素を分割する線分を構成するのに適した優角多角形頂点に関して、図１９Ａ、図１９Ｂ、及び図１９Ｃにおける隣接する連結成分と共に共線色セットを形成する曖昧な連結成分の構成を以下に説明する。図１９Ａにおいて、隣接する連結成分１９１０は優角多角形頂点１９２２の次の前腕に位置し、隣接する連結成分１９３０は優角多角形頂点１９２４に位置する。尚、図１９Ａにおいて、優角多角形頂点１９２２の次の腕は優角多角形頂点１９２４の次の腕とほぼ共線である。

図１９Ｂにおいて、隣接する連結成分１９４０は優角多角形頂点１９５２に位置し、隣接する連結成分１９６０は優角多角形頂点１９５４に位置する。この図面において、優角多角形頂点１９５２の前の腕は優角多角形頂点１９５４の次の腕とほぼ共線である。

図１９Ｃにおいて、隣接する連結成分１９７０は優角多角形頂点１９８２の次の前腕に位置し、隣接する連結成分１９９０は優角多角形頂点１９８４の前の前腕に位置する。この図面において、優角多角形頂点１９８２の次の腕は優角多角形頂点１９８４の前の腕とほぼ共線である。

これらの構成は、処理ステップ１３２０において曖昧な連結成分の候補分割点を見つけた後に図１４の処理ステップ１４２０において最適なマッチングする分割点を見つけるための基礎である。

図１３を参照して、曖昧な連結成分の処理の説明を再開する。境界の多角形頂点を判定する処理ステップ１３１０における連結成分の境界の単純化の後、ステップ１３２０に進み、曖昧な連結成分を分割する線分の適切な端点である可能性のある候補分割点を見つける。候補分割点は、優角多角形頂点に適切な隣接する連結成分を有するか、あるいは優角多角形頂点の前又は次の前腕に適切な隣接する連結成分を有する優角多角形頂点である。適切な隣接する連結成分は、第１に、曖昧な連結成分の色に類似する色を有し、第２に、曖昧な連結成分の色との共線色セットを別の隣接する連結成分の色と共に形成する色を有する連結成分である。

処理ステップ１３３０において、前のステップで見つけられた候補分割点の数が調べられる。見つけられた候補の数が１より大きく、マッチングする候補の対が存在する可能性がある場合、ステップ１３４０に進む。見つけられた候補の数が１以下である場合、曖昧な連結成分の処理は完了する。

処理ステップ１３４０において、マッチングする分割点の最適な対が見つけられるかを確認するために候補分割点が解析される。図１４を参照して、この処理を説明する。処理ステップ１４１０において、未テストの候補分割点、すなわち優角多角形頂点が選択される。選択される未テストの候補分割点は、優角多角形頂点から延在する、もしくは、適切な隣接する連結成分が優角多角形頂点の前腕に位置する場合は優角多角形頂点の前腕に沿って多角形頂点から離れるように延在する、曖昧な連結成分とのエッジが最も長い適切な隣接する連結成分を有する点である。

処理ステップ１４２０において、現在の未テストの候補分割点とマッチングする最も近い候補分割点を見つけるために探索が実行される。以下の３つの条件の全てが満たされる場合、候補分割点は別の候補分割点とマッチングすると見なされる。第１の条件は、一方の分割点の片方の腕が他方の分割点の片方の腕とほぼ共線である必要があることである。一方の分割点、すなわち優角多角形頂点の腕と、別の分割点、すなわち優角多角形頂点の腕との共線性は、双方の腕の端を始点とし且つ双方の優角多角形頂点を終点する４つのベクトルを形成することによりテストされる。全てのベクトルをベクトル長により正規化して、第１の腕の端を始点とするベクトルの対のドット積及び第２の腕の端を始点とするベクトルの対のドット積の双方が閾値より大きい場合、腕は共線であると見なされる。

第２の条件は、共線の腕の構成と両立して、一方の候補分割点の隣接する連結成分及び他方の候補分割点の隣接する連結成分が優角多角形頂点間の線分を使用する曖昧な連結成分の可能な分割と一致する共線色セットを形成することである。

図２０Ａ及び図２０Ｂを参照して、第２の条件を更に説明する。図２０Ａは、曖昧な連結成分２０１０の一対の優角多角形頂点２０２２及び２０２４に対する共線腕の１つの構成を示す。この構成において、一方の優角多角形頂点の非共線腕は、他方の優角多角形頂点の非共線腕に対して、２つの優角多角形頂点の間の線分の反対側に存在する。この構成の場合、一方の優角多角形頂点の非共線腕の前腕に位置する隣接する連結成分及び他方の優角多角形頂点に位置する隣接する連結成分は、曖昧な連結成分の可能な分割と一致する共線色セットを形成する。すなわち、図２０Ａにおいて、隣接する連結成分２０３２及び２０３４の対又は隣接する連結成分２０３６及び２０３８の対はいずれも、可能な分割と一致する共線色セットを形成できる。

図２０Ｂは、曖昧な連結成分２０６０の一対の優角多角形頂点２０７２及び２０７４に対する共線腕の別の構成を示す。この構成において、一方の優角多角形頂点の非共線腕は、他方の優角多角形頂点の非共線腕に対して、２つの優角多角形頂点の間の線分の同一側に存在する。この構成の場合、一方の優角多角形頂点に位置する隣接する連結成分及び他方の優角多角形頂点に位置する隣接する連結成分は、曖昧な連結成分の可能な分割と一致する共線色セットを形成できる。すなわち、図２０Ｂにおいて、隣接する連結成分２０８２及び２０８４の対は、可能な分割と一致する共線色セットを形成する。あるいは、この構成の場合、一方の優角多角形頂点の非共線腕の前腕に位置する隣接する連結成分及び他方の優角多角形頂点の前腕に位置する隣接する連結成分は、可能な分割と一致する共線色セットを形成する。すなわち、隣接する連結成分２０８６及び２０８８の対は可能な分割と一致する共線色セットを同様に形成する。

候補分割点が別の候補分割点とマッチングするための第３の条件は、２つの点の間の線分に沿う画素が曖昧な連結成分に属する必要があることである。処理ステップ１４３０において、上記の３つの条件を満たすマッチングする分割点が現在の候補分割点に対して見つけられる場合、ステップ１４４０に進む。そのような分割点が見つけられない場合、ステップ１４７０に進む。処理ステップ１４４０において、マッチングする候補分割点の対は、双方が曖昧な連結成分の外部境界又は同一の内部境界に属するかを確認するために調べられる。それらが実際に境界の同一区間、すなわちループに属する場合、処理ステップ１４９０において、マッチングする分割点は記録され、それによりステップ１３４０の処理は完了する。

マッチングする候補分割点の対の双方が曖昧な連結成分の外部境界又は同一の内部境界に属さない場合、図１７Ａ、図１７Ｂ及び図１７Ｃに関して前述したように、曖昧な連結成分を２つの分割された連結成分に分割するためにはマッチングする分割点の第２の対が必要とされ、ステップ１４５０に進む。処理ステップ１４５０において、マッチングする分割点の第２の対を求める探索が実行される。既に見つけられているマッチングする分割点の対の構成と両立して、処理ステップ１４２０でマッチングする分割点の対に対する共線色セットを形成した隣接する連結成分内のマッチングする分割点の各々の境界に沿って優角多角形頂点が探される。分割点の有効な第２の対であるためには、優角多角形頂点は、処理ステップ１４２０において前述したようにほぼ共線である第１の対の分割点のからの境界に沿って優角多角形頂点から延在する腕を有する必要がある。更に、分割点の有効な第２の対であるためには、分割点の間の線分に沿う画素は曖昧な連結成分に属する必要がある。分割点の有効な第２の対が見つけられる場合、処理ステップ１４９０において、マッチングする分割点の２つの対は記録され、それによりステップ１３４０の処理は完了する。分割点の第２の対が見つけられない場合、ステップ１４７０に進む。

処理ステップ１４７０において、現在の候補分割点はテスト済みであると印を付けられ、ステップ１４８０に進み、何らかの更なる未テストの候補分割点が存在するかが判定される。更なる候補分割点が存在する場合、ステップ１４１０に戻り、次の未テストの候補分割点を処理する。更なる候補分割点が存在しない場合、ステップ１３４０の処理は完了する。

ステップ１３４０におけるマッチングする分割点のセットの探索の後、ステップ１３５０に進み、マッチングする分割点のセットが見つけられたかがチェックされる。セットが見つけられていない場合、ステップ１２８０における当該曖昧な連結成分の処理は完了する。マッチングする分割点のセットが見つけられた場合、ステップ１３６０に進み、マッチングする分割点のセットを使用して曖昧な連結成分を分割する。これは２つのステップで達成される。第１に、単一の線分又は一対の線分の片側に存在し且つマッチングする分割点に対応する曖昧な連結成分の画素は、２つの新規の連結成分の一方に割り当てられる。第２に、曖昧な連結成分の残りの画素は、フラッドフィル操作を使用して、２つの新規の連結成分のうちの一方に割り当てられる。

その後、ステップ１３７０に進み、新規の連結成分のうちの一方を含む連結成分の対に対して合成コストが計算される。高い合成コストが新規の連結成分の対の間に設定される。これにより、処理ステップ１２５０でＮＯにならないようにすることにより、分割された連結成分は必要に応じて更に分割される。これは、分割された連結成分が処理ステップ１１５０において同一のグラデーション領域に合成されることを更に防止する。これにより、ステップ１２８０の曖昧な連結成分の処理の説明が完了する。これにより、ステップ１１４０の曖昧な連結成分を識別及び分割する処理の説明が更に完了する。

カラー画像をグラデーション領域にセグメント化する方法を説明した。この方法は、類似色の連結成分を形成し、連結成分の対の各々が対の他方の連結成分を含むグラデーション領域の一部であると見なされる程度を測定する隣接する連結成分の対の間の合成コストを計算し、合成コストを使用してグラデーション領域及び類似色の隣接領域の双方の画素を含む可能性の高い連結成分である曖昧な連結成分を識別し、グラデーション領域の特徴を使用して曖昧な連結成分を分割し、２つ一組の合成コストを使用して曖昧ではない連結成分及び分割された連結成分をグループ化する。

類似色の連結成分を形成して画素ではなく連結成分を主に処理することにより、画素レベルの大量の処理が回避されるため、本方法により効率よくセグメント化できる。この２つ一組の領域合成コストにより、テストの順次適用による曖昧な連結成分の効率的な識別が可能になる。これにより、効率的な連結成分の合成が更に可能になる。大量の処理が連結成分の分割に関連するが、本処理を曖昧な連結成分に限定することにより、全体的な計算は最小限にされる。

説明した構成はコンピュータ及びデータ処理産業に適用可能であり、特に、文書のビットマップ画像からオブジェクトに基づく高レベルの形式への解釈に提供可能である。

上記の説明は本発明のいくつかの実施形態のみを示し、変更及び／又は変形は本発明の主旨の範囲から逸脱することなく行われる。実施形態は例示であって、限定するものではない。

Claims (18)

1. 塗りつぶし色の被包囲領域を有する電子文書を生成する方法であって、
   （ａ）被包囲領域及び少なくとも１つの対応する背景領域を含むソース文書であって、前記被包囲領域が前記背景領域の少なくとも一部分に重なる前記ソース文書のデジタル表現を受信する工程と、
   （ｂ）前記デジタル表現から前記被包囲領域の塗りつぶし色を判定する工程と、
   （ｃ）前記デジタル表現の前記対応する背景領域から前記被包囲領域の参照背景色を判定する工程と、
   （ｄ）前記被包囲領域の前記判定された塗りつぶし色と前記参照背景色との比較に基づいて、前記被包囲領域に透明な塗りつぶし色を割り当てる工程と、
   （ｅ）電子文書を生成するために、前記透明な塗りつぶし色を用いて前記被包囲領域を格納する工程と、
   を有することを特徴とする方法。
2. 前記ソース文書は前記被包囲領域を含む複数の被包囲領域を含み、
   （ａ）前記被包囲領域の各々の前記判定された塗りつぶし色と対応する参照背景色との比較に基づいて、前記複数の被包囲領域の各々に参照背景フラグを割り当てる工程と、
   （ｂ）背景画像データを格納し、前景領域として分類された前記複数の被包囲領域の各々に対して、前記電子文書の中間表現として塗りつぶし色及び参照背景フラグを格納する工程と、
   を有することを特徴とする請求項１記載の方法。
3. 前記背景画像を描画するための選択に基づいて複数のモードのうちの１つで前記電子文書を表示する工程を更に有し、前記透明な塗りつぶし色は前記選択により制御されることを特徴とする請求項２記載の方法。
4. 前記背景画像データを出力するための選択に基づいて複数の形式のうちの１つに前記電子文書を変換する工程を有し、透明な塗りつぶし色は前記選択により制御されることを特徴とする請求項２記載の方法。
5. 所定のオプションに基づいて複数のモードのうちの１つで前記電子文書を表示する工程を更に有し、各モードは前記背景画像を描画するための選択及び透明な塗りつぶしを有効にするための選択に基づく構成であることを特徴とする請求項２記載の方法。
6. 所定のオプションに基づいて複数の形式のうちの１つに前記電子文書を変換する工程を有し、各形式は前記背景画像データを出力するための選択及び透明な塗りつぶしを有効にするための選択に基づく構成であることを特徴とする請求項２記載の方法。
7. 前記被包囲領域の前記参照背景色は、前記ソース文書のページ色であることを特徴とする請求項１記載の方法。
8. 前記被包囲領域の前記参照背景色は、前記被包囲領域を囲む領域の色に従って判定されることを特徴とする請求項１記載の方法。
9. 前記ソース文書は複数の不透明な被包囲領域を含み、
   前記複数の不透明な被包囲領域の塗りつぶし色を統合する工程を更に有することを特徴とする請求項１記載の方法。
10. 編集可能な表を有する電子文書を生成する方法であって、
    （ａ）複数のセルを有する少なくとも１つの表を含むソース文書のデジタル表現を受信するステップと、
    （ｂ）前記デジタル表現から前記表の参照背景色を判定するステップと、
    （ｃ）前記デジタル表現から前記複数のセルの各々の塗りつぶし色を判定するステップと、
    （ｄ）前記セルの前記判定された塗りつぶし色と前記表の前記参照背景色との比較に基づいて、前記複数のセルの少なくとも１つに透明な塗りつぶし色を割り当てるステップと、
    を有することを特徴とする方法。
11. 前記表の前記参照背景色は、前記ソース文書のページ色であることを特徴とする請求項１０記載の方法。
12. 前記表の前記参照背景色は、前記表を囲む領域の色であることを特徴とする請求項１０記載の方法。
13. 前記複数のセルのうちの少なくとも２つの不透明なセルの前記判定された塗りつぶし色の比較に基づいて、前記少なくとも２つの不透明なセルの塗りつぶし色を統合するステップを更に有することを特徴とする請求項１０記載の方法。
14. 前記デジタル表現は、前記ソース文書のスキャンデータを含むことを特徴とする請求項１記載の方法。
15. 前記デジタル表現は、前記ソース文書のスキャンデータを含むことを特徴とする請求項１０記載の方法。
16. 塗りつぶし色を用いる被包囲領域を有する電子文書を生成するために、コンピュータ装置により実行可能なプログラムが記録されたコンピュータ可読記憶媒体であって、前記プログラムは、
    被包囲領域及び少なくとも１つの対応する背景領域を含むソース文書であって、前記被包囲領域が前記背景領域の少なくとも一部分に重なる前記ソース文書のデジタル表現を受信するコードと、
    前記デジタル表現から前記被包囲領域の塗りつぶし色を判定するコードと、
    前記デジタル表現の前記対応する背景領域から前記被包囲領域の参照背景色を判定するコードと、
    前記被包囲領域の前記判定された塗りつぶし色と前記参照背景色との比較に基づいて、前記被包囲領域に透明な塗りつぶし色を割り当てるコードと、
    電子文書を生成するために、前記透明化塗りつぶし色を用いて前記被包囲領域を格納するコードと、
    を含むことを特徴とするコンピュータ可読記憶媒体。
17. 少なくとも１つのプロセッサと、前記プロセッサに結合され且つ塗りつぶし色を用いる被包囲領域を有する電子文書を生成する処理により実行可能なプログラムが格納されたメモリとを備えるコンピュータ装置であって、前記プログラムは、
    被包囲領域及び少なくとも１つの対応する背景領域を含むソース文書であって、前記被包囲領域が前記背景領域の少なくとも一部分に重なる前記ソース文書のデジタル表現を受信するコードと、
    前記デジタル表現から前記被包囲領域の塗りつぶし色を判定するコードと、
    前記デジタル表現の前記対応する背景領域から前記被包囲領域の参照背景色を判定するコードと、
    前記被包囲領域の前記判定された塗りつぶし色と前記参照背景色との比較に基づいて、前記被包囲領域に透明な塗りつぶし色を割り当てるコードと、
    電子文書を生成するために、前記透明な塗りつぶし色を用いて前記被包囲領域を前記メモリに格納するコードと、
    を含むことを特徴とするコンピュータ装置。
18. 前記プロセッサに結合されたビデオディスプレイ及びプリンタの少なくとも一方であって、前記生成された電子文書を再生するように構成された再生装置を更に備えることを特徴とする請求項１７記載のコンピュータ装置。