JP2001169081A - 文書を表わす画像データ内の走査時アーチファクトをマスキングするための処理及び装置並びに画像データ処理システム - Google Patents

Abstract

(57)【要約】 【課題】 欠陥を含む原文書の走査時アーチファクト
が、記録された文書に出現するのを解消又は低減する。 【解決手段】 文書を表わす画像データ内の走査時アー
チファクトをマスキングするための処理は、画像データ
に対する画素分類タグを生成するステップ（Ｓ１）と、
画素分類タグを用いて、走査時アーチファクトと関連づ
けられた文書内のウィンドウを識別するステップと（Ｓ
３）、画像データを解析して置換ビデオ値を生成するス
テップと（Ｓ４）、走査時アーチファクトと関連づけら
れた第２パス画像データを置換ビデオ値と置換するステ
ップ（Ｓ５）とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一般的には、文書
を走査して、走査した文書を、後で記録媒体上に電子画
像を描画するためにプリントシステムが使用できる電子
画像データに変換するシステムに関する。詳細には、本
発明は、走査した文書上の画像を電子画像データに変換
する間に生成された走査時アーチファクト（人工生成
物）を検出及びマスキングするためのシステム及び方法
に関する。

【０００２】

【従来の技術】例えば原文書の電子的走査によって生成
されたビデオ画像データから、原文書を複製する際に、
文書の外部エッジの決定に依存する機能を備えることが
望ましいことがよくある。そのような機能としては、例
えば、自動拡大、自動ツーアップ(two-up)コピー、検出
された文書の外部エッジの外側に存在する背景画像デー
タの削除、走査システム内の文書の自動位置割出し、及
び電子画像の電子的スキュー補正(deskewing)等が挙げ
られる。言い換えれば、これらの機能を備えるために
は、走査システムによって何らかの方法で文書の外部エ
ッジを検出しなければならない。

【０００３】従来は、原文書の外部エッジの検出を達成
するために、原文書と区別しやすいバッキングが設けら
れていた。例えば、黄色、黒色、又は白色より白い色の
バッキングや、蛍光を発するバッキング、及び他の様々
な代替品が設けられていた。たとえ様々な代替品が用い
られていても、デジタル走査システムを用いて文書を走
査する際には、両面又は透かしのある文書を走査すると
きに透けて見えるのを解消するために、光吸収性（例え
ば黒又は暗色）のバッキングを用いるのが望ましい。黒
色などの光吸収性のバッキングを用いることにより、走
査システムは文書を走査する際に透けて見えるのを解消
できるとともに、走査システム又は例えば下流の画像処
理システムが原文書の外部エッジの位置を自動的に割出
せるようにし、それにより自動位置決め処理及び電子的
スキュー補正処理を実行できるようにする。

【０００４】

【発明が解決しようとする課題】しかし、光吸収性バッ
キングを使用した際の望ましくない結果として、原文書
の例えば穴、切れた箇所、裂け目、耳折れ等の任意の欠
陥、又は原文書の予めパンチされた穴等の他の特徴が、
記録媒体に描画及びプリントされたときに黒いオブジェ
クトとして現れる。これは、取得された画像が、原文書
の欠陥（例えば、予めパンチされた穴、切れた箇所、裂
け目、耳折れ等）が存在する場所にはどこでもバッキン
グ領域のグレー値（黒）を有するという事実に起因す
る。バッキング領域のグレー値が存在する原文書内のこ
れらの領域は、走査時アーチファクト（人工生成物）と
見なされる。

【０００５】ほとんどの場合、特にコピーの背景が白で
ありアーチファクトが黒として描画される場合には、走
査時アーチファクトをコピー内に描画することは望まし
くない。例えば、図１は、予め３つの穴がパンチされた
用紙にプリントされた画像４を含む原文書２を示し、３
つの穴は欠陥６によって表わされている。この文書を、
文書の背後のプラテンカバーや自動給紙ローラ又はスキ
ー等のバッキングが非反射性である従来のシステムで走
査した場合には、図２に示される記録された画像１２
は、原文書の欠陥６に対応する暗い又は黒い領域１６
（走査時アーチファクト）を含むことになる。同様に、
図１の文書が、バッキングは白いが使用によって汚れて
いるか、傷があるか、又は文書の背景と同等の反射率を
有していないシステムによって走査された場合には、記
録又は表示媒体１２に複製される原画像（図３）は、原
文書の欠陥６に対応する領域１６の形態の走査時アーチ
ファクトを含むことがある。

【０００６】従って、予めパンチされた穴、切れた箇
所、裂け目等の、ある種の欠陥を有する原文書を読み込
んで、走査時アーチファクトのいかなる痕跡もない画像
を記録又は表示媒体に描画できることが望ましい。言い
換えれば、原文書が欠陥を含むという事実に関わらず、
描画された画像内のアーチファクトの出現を解消又は低
減するために、走査時アーチファクトをマスキングすべ
きである。

【０００７】

【課題を解決するための手段】本発明の第１の態様は、
文書を表わす画像データ内の走査時アーチファクトをマ
スキングするための処理である。この処理は、画像デー
タに対する画素分類タグを生成するステップと、画素分
類タグを用いて、走査時アーチファクトと関連づけられ
た画像データ内のウィンドウを識別するステップと、画
像データを解析して置換ビデオ値を導出するステップ
と、走査時アーチファクトと関連づけられた画像データ
を置換ビデオ値と置換するステップとを含む。

【０００８】本発明の第２の態様は、文書を表わすビデ
オ画像データ内の走査時アーチファクトをマスキングす
るための装置である。この装置は、ビデオ画像データに
対する画素分類タグを生成する分類回路を含む。画素分
類タグを受け取るように接続された自動ウィンドウ化回
路は、走査時アーチファクトを識別するウィンドウデー
タを生成する。ビデオ画像データ及びウィンドウデータ
を受け取るように接続された統計コンパイル回路は、ビ
デオ置換データを生成する。ビデオ置換データを受け取
るように接続されたビデオ置換回路は、第２パス画像デ
ータ内の選択された画素をビデオ置換データと置換す
る。

【０００９】本発明の第３の態様に従うと、走査画像を
表わす画像データを処理するためのシステムが提供され
る。このシステムは、画像データを供給する画像入力タ
ーミナルと、画像データ内の走査時アーチファクトを検
出及びマスキングするためのマスキングプロセッサとを
含む。このマスキングプロセッサは、ビデオ画像データ
内のバッキング画素を識別するための分類回路と、走査
時アーチファクトを識別するウィンドウデータを生成す
るための自動ウィンドウ化回路と、ビデオ置換データを
生成するための画像解析回路と、第２パス画像データ内
の選択された画素をビデオ置換データと置換するための
ビデオ置換回路とを含む。このシステムは更に、ビデオ
置換回路から受け取った第２パス画像データに応答して
画像を生成するための画像出力ターミナルを含む。

【００１０】

【発明の実施の形態】以下の説明では、高速走査方向及
び低速走査方向という用語を用いる。高速走査方向と
は、走査線即ちラスタに沿った画素の走査のことであ
る。これは一般的に、走査が光電センサの１つのアレイ
から画像データを収集した結果である、電子的走査とも
呼ばれる。一方、低速走査方向とは、文書と走査システ
ムとの間の相対移動方向のことである。これは、走査シ
ステムに画像データの走査線を生成させるための機械的
な移動である。

【００１１】本発明は、走査した文書上の画像を電子画
像データに変換する間に生じた走査時アーチファクトを
検出及びマスキングするために画像データを処理するた
めのシステム及び方法に関する。上述したように、走査
システムのバッキングのグレー値が存在する原文書内の
これらの領域を、走査時アーチファクトと見なす。本発
明は、走査画像の走査時アーチファクトが存在する領域
を識別するために、自動ウィンドウ化(autowindowing)
技術を用いる。本発明の好ましい実施の形態は、２パス
自動ウィンドウ化処理を用いることを提案する。２パス
自動ウィンドウ化処理では、第１パスが、走査時アーチ
ファクトを有するウィンドウを識別して、そのウィンド
ウに対する統計を集め、第２パスが、ウィンドウ化され
た走査時アーチファクトと関連づけられた画像データ
を、周囲の画像領域と“調和する(blend in)”画像デー
タと置換することにより、走査時アーチファクトとして
示されたウィンドウをマスキングする。

【００１２】走査時アーチファクトを検出及びマスキン
グするために２パス自動ウィンドウ化技術を用いる処理
の一実施形態を、図４に示す。２パス処理では、１つの
機会で、画像データを２回通過及び処理する。２パス自
動ウィンドウ化処理では、第１パスの処理を用いて、走
査画像内に含まれる“ウィンドウ”の位置を自動的に割
出す。ウィンドウは、写真、連続階調、ハーフトーン、
テキスト等や、それらの任意の組み合わせといった任意
の非背景領域、及び走査時アーチファクトであり得る。
更に、第１パスの処理中、及び第２パスの処理が完了す
る前に、識別されたウィンドウに対する統計を分析し、
もしあれば、調整又は強調すべきウィンドウを決定す
る。第２パスの処理では、文書のウィンドウと関連づけ
られたデータを修正して、画像の描画及びプリント等の
任意の後続の画像処理操作を最適化できる。図４に示さ
れる処理では、ステップＳ１、Ｓ３及びＳ５は、画像デ
ータを通る第１パスで実行される処理に対応し、ステッ
プＳ７は画像データを通る第２パスで実行される処理に
対応する。

【００１３】詳細には、この処理は、ステップＳ１で、
ビデオ画像データ内の画素に対して分類タグを生成す
る。ステップＳ１は、ビデオ画像データ内の画素を調
べ、分類タグを生成する。分類タグは、画素が走査シス
テムのバッキングを表わす（即ち、バッキング画素）か
否かを識別するとともに、好ましくは文書画像を表わす
画素（非背景画素）の画像タイプを識別するセグメント
化データを含む。ステップＳ３は、ステップＳ１で生成
された分類タグを解析して、走査画像内のウィンドウを
識別し、走査画像内の各ウィンドウの位置を記録し、各
ウィンドウを分類する。

【００１４】ステップＳ５ではビデオ画像データが解析
される。詳細には、ビデオ画像データから統計が集めら
れ、ステップＳ３からの情報を用いて、走査時アーチフ
ァクトを識別するウィンドウに対応する画像データ統計
を解析し、各走査時アーチファクトのマスキングに用い
るのに適したビデオ値を決定できる。ステップＳ７は、
ステップＳ３及びステップＳ５で収集された情報を用い
て、走査画像データ内の走査時アーチファクトをマスキ
ングするために画像データを修正する。次に、修正済画
像データを処理して、適切な媒体上への出力画像の作成
に使用できる即プリント可能(print ready)データを生
成できる。

【００１５】図５は、図４のステップＳ１で実行される
画像データ内の画素を分類するための処理をより詳細に
示す。この処理では、ステップＳ１２は、一般的に、各
走査線が複数の画素の強度（明度）情報等といった画像
データからなる、複数の走査線からなる、ビデオ画像デ
ータを受け取る。ステップＳ１２は受け取った画像デー
タの複数の走査線をメモリにバッファし、目標画素及び
その近傍を識別する。目標画素及びその近傍の画像デー
タが解析され、その目標画素に対する分類タグが生成さ
れる。

【００１６】バッキング検出ステップＳ１４は、目標画
素及びその近傍を調べ、その目標画素の画像データがバ
ッキング画素を表わしているのか又は文書画像を表わし
ているのかを決定する。バッキング画素とは、その画素
の画像データが、走査システムのバッキングから反射又
は生成された光を表わす画素のことである。ステップＳ
１４は、画素のタイプに関する決定を行うためのバッキ
ング画素の識別に、任意の方法を用いてよい。バッキン
グ画素を識別する１つの方法は、バッキングの特徴（グ
レー値、高速又は低速走査方向におけるグレーの変化
等）に基いた１つ以上の検出基準について、目標画素の
コスト値を決定し、そのコスト値を総計して、総計コス
トが許容可能な閾値にある場合は、その画素をバッキン
グ画素として分類する。なお、走査システムは、バッキ
ングから反射するか又は文書の背後から発せられる光に
対応する特定の波長を有する光を検出する別の組のセン
サを用いてもよい。更に、走査システムは、文書上の画
像に応答して、バッキングを走査すると飽和するように
設計された１組のセンサと、バッキングを走査するとバ
ッキングの反射率によって黒を検出するもう１組のセン
サとを用いてもよい。目標画素がバッキング画素である
か又は文書画像画素であるかを決定する方法は、本明細
書に参照として援用する、シュワイドら(Schweid et a
l.)による米国特許第5,959,290号に開示されている。

【００１７】セグメント化ステップＳ１６は、セグメン
ト化操作を行い、目標画素及びその近傍の画像データを
解析して、目標画素の画像タイプを決定する。幾つかの
一般的な画像タイプとしては、エッジ、グラフィック、
テキスト、ティント上のテキスト、背景、滑らかな連続
階調、粗い連続階調、低周波数ハーフトーン、高周波数
ハーフトーン、ファジー周波数として実現され得る中間
周波数ハーフトーン、等が挙げられる。解析及び画像タ
イプの決定は、自動コリレーション、周波数解析、パタ
ーン又はテンプレート照合、ピーク/谷検出、ヒストグ
ラム等を含むがそれらに限定されない多くの周知の分類
関数の任意のものに基くことができる。例えば、ステッ
プＳ１６は、各画素の強度（明度）が周囲の近傍画素の
強度（明度）と顕著に異なるか否かを決定して、肯定さ
れる場合は、その画素をエッジ画素として分類してもよ
い。

【００１８】上述の処理は、バッキング検出ステップＳ
１４及び画像セグメント化ステップＳ１６が、任意の順
序で又は並行して実行されてよい個別の操作であること
を示しているが、バッキング検出ステップＳ１４はセグ
メント化操作Ｓ１６の中に組み込まれてもよい。つま
り、バッキング画素を、もう１つの画像タイプと見な
し、バッキング検出操作をセグメント化操作に含まれる
分類機能と見なしてもよい。別の実施の形態では、バッ
キング検出ステップＳ１４を最初に実行し、その次に、
バッキング画素ではないと決定された（即ち、文書画素
として識別された）画素だけにセグメント化ステップＳ
１６を実行してもよい。

【００１９】次に図６を参照すると、ステップＳ３の自
動ウィンドウ化操作を実行するための処理の一実施形態
が示されている。ウィンドウの識別のより良い理解のた
めに、図７に、自動ウィンドウ化操作によって生成され
るウィンドウの構成要素を表わす模式図を示す。文書８
０は、ウィンドウ８２のような１つ以上のウィンドウを
有し得る。各ウィンドウ８２を、ウィンドウセグメント
８４のような１つ以上のウィンドウセグメントに分解で
き、ウィンドウセグメントを、更に、１つ以上のライン
セグメント８６に分解できる。各ラインセグメントは、
所与の走査線の、隣接する画素分類タグの１グループを
表わす。

【００２０】再び図６を参照すると、ステップＳ３１
で、画素分類タグが受け取られ、走査線内のあらゆるラ
インセグメントが識別される。各ラインセグメントは、
所定のウィンドウ基準に合致する隣接する画素タグのグ
ループを有する。そのようなウィンドウの識別のための
１つの基準は、画素タグのうち、エッジである画素タグ
のグループを選択することである。別のウィンドウ基準
は、選択された１つ以上の画像タイプを有するラインセ
グメントを識別することである。つまり、ウィンドウ基
準は、ラインセグメントが特定の画像タイプを識別する
画素タグで構成されることを要件としてもよい。

【００２１】ステップＳ３３は、ステップＳ３１で識別
された各ラインセグメント内の画素分類タグに対する統
計をコンパイルする。コンパイルされたタグ統計は、そ
のラインセグメントが存在するウィンドウを分類する際
に用いられる。コンパイルされ得る統計としては、異な
る各画素タグタイプの数、異なる各画素タグの周波数分
布、優勢な画素タグタイプ、画素タグタイプの重み付け
されたカウント等がある。

【００２２】ステップＳ３５は、隣接する走査線のライ
ンセグメントを結んで、ウィンドウセグメントを形成す
る。好ましくは、現在の走査線内のラインセグメントを
識別した後で、ステップＳ３５は現在の走査線のライン
セグメントを、前の走査線内のあらゆる既存のウィンド
ウオブジェクト（ラインセグメント又はウィンドウセグ
メント）と比較する。現在の走査線のラインセグメント
が、既存のウィンドウオブジェクトに隣接する閾値の数
の画素タグを有する場合には、そのラインセグメントは
既存のウィンドウオブジェクトに結合される。現在の走
査線の１つ以上のラインセグメントが、ある既存のウィ
ンドウオブジェクトに結合されたら、現在のラインセグ
メント（単数又は複数）についてコンパイルされた統計
が、その既存のウィンドウオブジェクトの統計と組み合
わされる。

【００２３】ステップＳ３７は、走査した画素内に完成
したウィンドウが存在するか否かを決定する。現在の走
査線に、既存のウィンドウオブジェクトと結合できるラ
インセグメントが全くない場合には、そのウィンドウオ
ブジェクトは完結し、完成したウィンドウとなる。完成
したウィンドウが識別されない場合には、自動ウィンド
ウ化処理は、ステップＳ４７で、処理すべき走査線が更
にあるか否かを決定する。更に走査線がある場合には、
処理はステップＳ３１のラインセグメントの識別を続け
る。完成したウィンドウが識別された場合は、処理は、
ステップＳ３９、ステップＳ４１、及びステップＳ４３
で、完成したウィンドウに対する、ウィンドウの分類、
記録、及びフィルタリング操作を行う。

【００２４】ステップＳ３９は、コンパイルされたウィ
ンドウ統計からウィンドウの分類を決定する。各ウィン
ドウを分類する試みにおいて、この統計が調べられる。
コンパイルされた統計からウィンドウ分類を生成するた
めに、任意の数のオプション（選択肢）を使用できる。
例えば、主に１つのタイプの画像データを含むように見
えるウィンドウは、その優勢な画像タイプに従って分類
できる。主にバッキング画素を含むウィンドウは、走査
時アーチファクトとして識別（分類）される。更なるオ
プションは、１つ以上の画像タイプを含むウィンドウを
“混合”と分類する。更に、ウィンドウ分類は単一の画
像タイプに限定されないことを留意されたい。例えば、
ウィンドウは、そのウィンドウ内の優勢な画素タグ及び
次に優勢な画素タグとして分類されてもよい。更なる例
として、ステップＳ３９は、ウィンドウを、画素タグ発
生総数の所定の割合以上を有する画素タグとして分類し
てもよい。

【００２５】ステップＳ４１は、走査画像内のウィンド
ウの位置を決定及び記録する。後でウィンドウ内に含ま
れる画素を識別するのに十分な、任意の公知の方法を用
いて、ウィンドウの位置を識別できる。走査画像内のウ
ィンドウの位置を記録するための多くの方法が存在する
ことを当業者は認識するであろう。可能な方法の例は、
各ラインセグメントの始点及びそのセグメントの長さの
識別、各セグメントの開始画素及び終了画素の記録、各
ウィンドウ又はラインセグメントがそこからのオフセッ
トであると識別されたウィンドウ内の第１画素の位置の
記録を含む。上述の例は単に説明目的で与えられたもの
であり、上述の例のうちの１つを使用するように本発明
を限定するものではない。

【００２６】ウィンドウフィルタリングステップＳ４３
は、完成したウィンドウをフィルタリングして、小さな
ウィンドウを捨てる。このフィルタリング操作は、識別
されたウィンドウの数がシステムのメモリを圧倒しない
こと及び/又はシステムの処理時間を大きく増加させな
いことを確実にするように設計されている。適切なウィ
ンドウサイズを決定し得るファクターは、処理速度及び
スループット、メモリ、ウィンドウ分類、画像サイズ、
画像解像度等を含むことができる。更に、完成したウィ
ンドウをフィルタリングする代わりに（又はそれに加え
て）、フィルタリング操作を用いてステップＳ３１で識
別されたラインセグメントをフィルタリングして、小さ
なラインセグメントを捨ててもよいことを認識された
い。

【００２７】図８は、図４のステップＳ５で実行される
処理をより詳細に示す。詳細には、図８は、画像データ
統計をコンパイル及び解析するための処理の一実施形態
を示す。上述したように、走査時アーチファクトとして
識別されたウィンドウの画像データ統計を解析して、走
査時アーチファクトの画像データを置換するのに適切な
画像データを決定する。更に、統計を用いて、画質を向
上させるためにウィンドウ化領域の描画を改善又は最適
化する画像強調オプションを決定してもよい。

【００２８】ステップＳ５１で画素画像データを受け取
ると、画像データ統計のコンパイルが開始される。走査
画像の各ウィンドウ化領域に対して画像統計を入手でき
なければならない。ステップＳ５１は、ウィンドウ化領
域が識別されるまで待ってから統計収集するのではな
く、走査画像を複数の統計収集領域に区分して、各収集
領域について画像データ統計をコンパイルする。任意の
ウィンドウ化領域内の収集領域を後から取出して解析す
ることができる。走査画像データは、長方形のグリッド
として配列された、Ｍ×Ｎ個の画素画像データブロック
に区分されるのが好ましい。ブロックのサイズは、走査
解像度、走査される文書のサイズ、メモリ要件等といっ
た多くのファクターに基いて異なってもよい。しかし、
サイズ及び形状が異なる領域及び/又は任意の角度で配
列された領域も同様に用いることができることは理解さ
れよう。

【００２９】ステップＳ５３は、区分された各領域の画
像データ統計をコンパイルする。所与の統計収集領域
（例えばＭ×Ｎブロックの１つ）の画像データ統計をコ
ンパイルするために、そのブロックを構成する画素画像
データを識別しなければならない。画素画像データブロ
ックの識別はウィンドウ化技術を用いて達成でき、受け
取られた画像データはバッファに格納され、十分な数の
画素が格納されたら、調査及び統計のコンパイルのため
に、バッファから画素ブロックが選択される。又は、各
画素を受け取ったら、各画素と関連づけられたブロック
を識別してもよい。ステップＳ５３は、コントラスト統
計（例えばヒストグラムデータ及びヒストグラム平均
値）、露光統計（例えば黒色点及び白色点）、カラーバ
ランス統計（例えば最小、最大、及び平均ＲＧＢ値）、
ニュートラルな統計（例えば彩度の平均値）等といった
任意の数の画像データ統計をコンパイルできる。

【００３０】ステップＳ５５は、ステップＳ３の自動ウ
ィンドウ化操作からの情報を用いて、１つのウィンドウ
と関連づけられたブロックの画像データ統計を識別す
る。１つのウィンドウと関連づけられたブロックの数
は、ウィンドウのサイズ及び形状並びにブロックのサイ
ズ及び形状によって異なる。１つのウィンドウと関連づ
けられたブロックは、完全にそのウィンドウの中にある
ブロックからなるのが好ましいが、部分的にそのウィン
ドウの中にあるか又はそのウィンドウに隣接するブロッ
クを含んでもよい。更に、１つのウィンドウと関連づけ
られたブロックは、ウィンドウの分類及び位置に基いて
異なっていてもよい。

【００３１】ステップＳ５５で画像データ統計を識別し
た後、ステップＳ５７は識別された統計を解析し、走査
時アーチファクトが周囲の領域と調和するためのグレー
又はカラーのビデオ値を決定する。例えば、走査時アー
チファクトがピクチャ領域内に存在する場合は、ステッ
プＳ５７は、走査時アーチファクトの付近のブロックか
ら最も優勢なビデオ値又は平均ビデオ値を識別すること
により、周囲の値と調和するか又はぴったり一致するビ
デオ値を決定してもよい。更に、走査時アーチファクト
をマスキングするためのビデオ値を識別する場合には、
ステップＳ５７は、アーチファクトを横断して変化する
ビデオ値を識別してもよい。例えば、ステップＳ５７
は、グラジエント又はスロープ検出を用いて、走査時ア
ーチファクトを横断して明から暗へと又は複数の色の間
で変化するビデオ値を識別してもよい。同様に、走査時
アーチファクトが孤立しているか又は背景領域内に存在
する場合には、ステップＳ５７は、文書全体に対して収
集されたグローバル統計から、背景色と一致するビデオ
値を識別してもよい。

【００３２】オプションとして、解析ステップＳ５９
を、画像データ統計を解析してウィンドウに対する適切
な画像強調オプションを決定するために実行してもよ
い。ステップＳ５９で実行され得る解析としては、ヒス
トグラムの分散量の計算、露光及び/又はカラーバラン
ス統計の比較等を挙げることができる。コンパイルされ
た統計及び解析に基き、露光レベル、カラーバランス、
コントラスト、彩度等といった１つ以上のウィンドウパ
ラメータを調整して、そのウィンドウに対する１つ以上
の固有の階調再現曲線（ＴＲＣ）を作成してもよい。

【００３３】図９は、画像データを通る第２パスで実行
される処理をより詳細に示すフロー図である。詳細に
は、第２パスの処理は、走査画像データ内の走査時アー
チファクトをマスキングするための、第２パスビデオ画
像データ及び第２パス分類タグに対する操作を行う。第
２パスビデオ画像データは、メモリ又は他の記憶ロケー
ションから取出された（第１パス）画像データからなっ
ていてもよく、又は、原画像文書を再走査することによ
り取得した画像データからなっていてもよい。同様に、
第２パス分類タグは、メモリ又は他の記憶ロケーション
から取出された第１パスタグからなっていてもよく、又
はメモリから取出した又は再走査によって取得したビデ
オ画像データから生成された分類タグからなっていても
よい。

【００３４】タグ再マッピングステップＳ７２は、第１
パス画素分類タグを修正する。ステップＳ７２は、ステ
ップＳ３で識別されたウィンドウに対応する第１パス画
素分類タグを識別し、これらのタグを、ウィンドウ分類
及び分類タグの関数として生成された分類タグと置換す
る。例えば、別のウィンドウの中に存在する走査時アー
チファクトに対しては、タグ再マッピング関数は、走査
時アーチファクトと関連づけられたタグを周囲のウィン
ドウの分類タグと置換してもよい。

【００３５】ビデオ置換ステップＳ７４は、走査時アー
チファクトとして分類されたウィンドウに対応する画素
を識別し、識別された画素の画像データを、ステップＳ
５７で周囲の画像データと調和するように決定されたビ
デオ値と置換することにより、ビデオ画像データを修正
する。ステップＳ７６では、修正された分類タグに従っ
て、修正済のビデオ画像データが描画される。

【００３６】走査文書内の走査時アーチファクトを、２
パス自動ウィンドウ化技術を用いて検出及びマスキング
する方法を説明してきたが、次に、走査時アーチファク
トを検出及びマスキングするために走査画像データを処
理するためのシステムについて論じる。図１０を参照す
ると、本発明の一実施形態に従った、走査時アーチファ
クトを検出して、検出されたアーチファクトをマスキン
グするために画像データを補正するシステムのブロック
図が示されている。

【００３７】図１０に示されるように、走査画像文書を
表わすビデオ画像データ１００は、分類回路１０２及び
画像データ統計コンパイル回路に送られる。分類回路１
０２は、バッキング画素を識別するバッキング検出ステ
ージ１０６及び画素の画像タイプを識別するセグメント
化ステージ１０８を含む。バッキング検出ステージ１０
６及びセグメント化ステージ１０８は、協働して分類タ
グ１１０を生成する。

【００３８】分類タグ１１０は自動ウィンドウ化回路１
１２に送られ、自動ウィンドウ化回路１１２は、走査時
アーチファクトを表わしている可能性があるウィンドウ
を識別し、識別したウィンドウのウィンドウデータ１１
４を生成する。詳細には、自動ウィンドウ化回路１１２
は、１つの走査線内のあらゆるラインセグメントを識別
し、各ラインセグメントの統計をコンパイルし、ライン
セグメントを結んでウィンドウセグメントを構築し、ウ
ィンドウをフィルタリングし、位置を割出し、分類す
る。自動ウィンドウ化を実装するための方法及び装置は
公知であり、例えば、本明細書に参照として援用するフ
ァンら(Fan et al.)の米国特許第5,850,474号が教示し
ている。

【００３９】上述したように、ビデオ画像データ１００
は画像データ統計コンパイル回路１０４にも送られる。
統計コンパイル回路１０４は、コンパイルステージ１２
０及び解析ステージ１２２を含む。コンパイルステージ
１２０は、入力されたビデオ画像データ１００のＭ×Ｎ
個の各ブロックについて、コントラスト統計、露光統
計、及びカラー統計等といった画像データ統計を収集す
る。解析ステージ１２２は、自動ウィンドウ化回路１１
２からのウィンドウデータ１１４を用いて、自動ウィン
ドウ化回路によって識別されたウィンドウと関連づけら
れた特定のＭ×Ｎ個のブロックを識別する。解析ステー
ジは、１つ以上の関連ブロックのコンパイルされた統計
を解析して、走査時アーチファクトをマスキングするた
めのビデオ値を識別する。解析ステージ１２２は、走査
時アーチファクトのマスキングに用いられるビデオ値を
識別するビデオ置換信号１２４を供給する。

【００４０】第２パスの処理では、第２パスビデオ画像
データ１００’がデータ置換回路１３０に送られ、デー
タ置換回路１３０は、ビデオ置換信号１２４に応答し
て、修正済ビデオ画像データ１３２を生成する。詳細に
は、画像データ１００’及びビデオ置換信号１２４が画
像データ置換回路１３０に送られ、画像データ置換回路
１３０は、走査時アーチファクトとして識別されたウィ
ンドウに対応する画像データ１００’内の画素を、信号
１２４内のビデオ値と置換する。

【００４１】同様に、第２パス分類タグ１１０’及びウ
ィンドウデータ１１４がタグ再マッピング回路１３４に
送られ、タグ再マッピング回路１３４は、ウィンドウと
対応する画素分類タグを、ウィンドウ分類及び第２パス
分類タグの関数として生成された分類タグと置換し、再
マッピング済の分類タグ１３６を生成する。再マッピン
グ済分類タグ１３６及び修正済ビデオ画像データ１３２
は描画回路１３８に送られ、再マッピング済分類タグに
従って修正済ビデオ画像データが描画される。

【００４２】図１０の各回路は、個々に又は１つ以上の
他の回路と組合わされて、汎用又は専用コンピュータ、
マイクロプロセッサ又はマイクロコントローラ及び周辺
集積回路素子、ＡＳＩＣ又は他の集積回路、ディスクリ
ート素子回路などのハードワイヤード電子又は論理回
路、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、又はＰＡＬなどのプロ
グラム可能論理デバイスを構成してもよいことを、当業
者は理解するであろう。更に、特定のハードウェアとソ
フトウェアとを組み合わせて用いて、特定の操作を実現
してもよい。

【００４３】本発明の一実施形態に従った２パス自動ウ
ィンドウ化処理を、走査時アーチファクトの検出及びマ
スキングにどのように用いることができるかの一例を、
図１１から図１５を参照して更に示す。この例では、図
１１の原文書を表わすビデオ画像データ１４０は、予め
３つの穴がパンチされた用紙の３つの穴１４２、１４４
及び１４６等からの走査時アーチファクトをマスキング
するために処理される。ビデオ画像データは、各画素の
分類タグを生成するための分類操作を通して処理され
る。図１２は、画像データの幾つかの走査線の部分に対
する分類ステップの結果を図示している。

【００４４】自動ウィンドウ化操作は、分類タグを処理
して、各走査線内のウィンドウラインセグメントを識別
し、各ラインセグメントの統計をコンパイルし、ライン
セグメントを結んでウィンドウセグメントを構築し、完
成したウィンドウをフィルタリングし、位置を割出し、
分類する。例えば、図１２に示されている画像データを
操作する際に、走査線Ｎ内の、画素１５０から１５２ま
での非背景画素の第１セグメントと、バッキング画素と
して識別された画素からなる画素１５４から１５６まで
の第２セグメントと、画素１５８から１６０までの第３
セグメントとの、３つのラインセグメントを識別するた
めの、ウィンドウ選択基準を用いてもよい。識別された
３つのラインセグメントの各々について、分類タグ統計
がコンパイルされる。

【００４５】次の３つの走査線Ｎ＋１からＮ＋３までの
各々では、同様の３つのラインセグメントが識別され、
各々について統計がコンパイルされる。セグメントの識
別及び統計の収集は走査線ごとに行われるので、自動ウ
ィンドウ化操作は、ウィンドウセグメントを構築するた
めに、連続する操作線のラインセグメントを周期的に結
ばなくてはならない。走査線Ｎ＋３を通して、自動ウィ
ンドウ化操作は、走査線内で識別された３つのラインセ
グメントの各々を、隣接する走査線内の個々のラインセ
グメントと結び、ウィンドウセグメント１６２、１６４
及び１６６を形成する。

【００４６】走査線Ｎ＋４では、操作は、ウィンドウセ
グメント１６２及び１６６が、２つのセグメントのタグ
統計をマージして１つのウィンドウセグメントを形成で
きるように結ばれていることを識別できる。更に、走査
線Ｎ＋４では、ウィンドウセグメント１６４が終結して
いることを決定でき、それにより、完成したウィンドウ
が形成される。完成したウィンドウの識別後、そのウィ
ンドウを保持するか否かを決定でき（即ち、完成したウ
ィンドウがフィルタリングされる）、ウィンドウ分類を
生成でき、ウィンドウの位置を記録できる。自動ウィン
ドウ化操作は、文書内のウィンドウの位置及び分類を識
別する出力を与える。図１３は、図１１の文書について
識別されたウィンドウのウィンドウデータ１７０を図示
している。

【００４７】上述したように、ビデオ画像データは、画
像データ統計をコンパイル及び解析するための処理を通
る。図１４は、コンパイル及び解析処理を図示してい
る。画像データ統計をコンパイルするには、文書画像を
Ｍ×Ｎ個の複数のブロック１７２に区分することが必要
である。入力されたビデオ画像データのＭ×Ｎ個のブロ
ック１７２の各々について、コントラスト統計、露光統
計、及びカラー統計等といった画像データ統計が収集さ
れる。自動ウィンドウ化操作を介して生成されたウィン
ドウ情報１７０を用いて、任意のウィンドウ１７６と関
連づけられた特定のＭ×Ｎブロック１７４を識別でき
る。

【００４８】１つのウィンドウと関連づけられたブロッ
ク１７４が識別されたら、１つ以上の識別されたブロッ
ク１７４についてコンパイルされた統計を解析できる。
例えば、ウィンドウ１７６内に存在する走査時アーチフ
ァクト１７８については、走査時アーチファクトをマス
キングするためのビデオ値を導出するために、アーチフ
ァクトに隣接する又は近傍のブロック１８０だけに対す
る統計を解析してもよい。同様に、孤立している走査時
アーチファクトについては、走査時アーチファクトをマ
スキングするためのビデオ値は、文書全体の背景ヒスト
グラムに基いて導出されてもよい。

【００４９】走査時アーチファクトをマスキングするた
めの第２パスの処理で行われるビデオ置換操作は、図１
５に図示されている。図１５では、文書１８２は図１１
の文書１４０のウィンドウの第１パスビデオ画像データ
を表わしており、文書１８４は、ビデオ置換操作後の、
文書１４０のウィンドウの第２パスビデオ画像データを
表わしている。文書１８２では、穴１４２、１４４及び
１４６と関連づけられたビデオデータが、走査システム
のバッキングを表わす値を有して示されている。文書１
８４では、穴１４２のビデオ値はウィンドウ１７６内の
ブロックから導出されたビデオデータと置換されてお
り、穴１４４及び１４６のビデオ画像データは、文書全
体について収集されたグローバル統計から導出されたデ
ータと置換されている。

【図面の簡単な説明】

【図１】欠陥を有する原文書の一例を示す図である。

【図２】走査時アーチファクトを有したままの、図１に
示されている文書の描画又は表示されたコピーの例を示
す図である。

【図３】走査時アーチファクトを有したままの、図１に
示されている文書の描画又は表示されたコピーの例を示
す図である。

【図４】本発明の概念に従って走査時アーチファクトを
検出及びマスキングする方法の一実施形態を示すフロー
図である。

【図５】本発明の概念に従って画素を分類する処理を示
すフロー図である。

【図６】本発明の概念に従った自動ウィンドウ化処理の
一実施形態を示すフロー図である。

【図７】自動ウィンドウ化操作によって生成されたウィ
ンドウの構成要素の模式図である。

【図８】画像データ統計をコンパイル及び解析する処理
の一実施形態を示すフロー図である。

【図９】画像データを通る第２パスで実行される処理を
示すフロー図である。

【図１０】本発明の概念に従って走査時アーチファクト
を検出及びマスキングする装置の模式図である。

【図１１】欠陥を有する原文書の一例を示す図である。

【図１２】画像データの幾つかの走査線の部分の画素分
類タグを表わす図である。

【図１３】図１１の文書内で識別されたウィンドウを表
わす図である。

【図１４】画像データ統計のコンパイル及び解析を表わ
す図である。

【図１５】画像データ統計の解析から導出されたビデオ
値を用いた走査時アーチファクトのマスキングを示す図
である。

【符号の説明】

２ 文書 ６ 欠陥 １６ 走査時アーチファクト ８０ 文書 ８２ ウィンドウ ８４ ウィンドウセグメント ８６ ラインセグメント １８２ 文書（第１パスビデオ画像データ） １８４ 文書（第２パスビデオ画像データ）

フロントページの続き (72)発明者 レオン シー．ウィリアムズ アメリカ合衆国 14568 ニューヨーク州 ワルワース オーチャード ストリート 3900 (72)発明者 ロジャー エル．トリプレット アメリカ合衆国 14526 ニューヨーク州 ペンフィールド ベアド ロード 1764

Claims (3)

【特許請求の範囲】
1. 【請求項１】 画像データに対する画素分類タグを生成
   するステップと、 画素分類タグを用いて、走査時アーチファクトと関連づ
   けられた文書内のウィンドウを識別するステップと、 画像データを解析して置換ビデオ値を生成するステップ
   と、 走査時アーチファクトと関連づけられた第２パス画像デ
   ータを置換ビデオ値と置換するステップと、 を有する、文書を表わす画像データ内の走査時アーチフ
   ァクトをマスキングするための処理。
2. 【請求項２】 ビデオ画像データに対する画素分類タグ
   を生成する分類回路と、 画素分類タグを受け取るように接続された自動ウィンド
   ウ化回路であって、走査時アーチファクトを識別するウ
   ィンドウデータを生成する自動ウィンドウ化回路と、 ビデオ画像データ及びウィンドウデータを受け取るよう
   に接続された統計コンパイル回路であって、ビデオ置換
   データを生成する統計コンパイル回路と、 ビデオ置換データを受け取るように接続されたビデオ置
   換回路であって、第２パス画像データ内の選択された画
   素をビデオ置換データと置換するビデオ置換回路と、 を有する、文書を表わすビデオ画像データ内の走査時ア
   ーチファクトをマスキングするための装置。
3. 【請求項３】 走査画像を表わす画像データを供給する
   画像入力ターミナルと、 画像データ内の走査時アーチファクトを検出及びマスキ
   ングするためのマスキングプロセッサであって、 ビデオ画像データ内のバッキング画素を識別するための
   分類回路と、 走査時アーチファクトを識別するウィンドウデータを生
   成するための自動ウィンドウ化回路と、 ビデオ置換データを生成するための画像解析回路と、 第２パス画像データ内の選択された画素をビデオ置換デ
   ータと置換するためのビデオ置換回路と、 を含むマスキングプロセッサと、 ビデオ置換回路から受け取った第２パス画像データに応
   答して画像を生成するための画像出力ターミナルと、 を有する、画像データ処理システム。