JP2011044146A - プリントアンドスキャン文書の画像評価のためのボケ除去および監視適応的スレッショルディング - Google Patents

Abstract

【課題】オリジナル文書画像と２値化画像との間の差異を最小限にするボケ除去及び２値化処理の提供。
【解決手段】ＰＡＳプロセスの点拡がり関数（ＰＳＦ）は、最初にナイフエッジ応答から得られ（Ｓ１１）、逆畳み込み演算を使用し、スキャン画像に対してボケ除去が実行される（Ｓ１２）。画像傾き補正および初期レジストレーション（Ｓ１３）後、監視適応的スレッショルディング処理が利用され、オリジナル画像と２値化画像との間の差異計測値が最小化されるように、スキャン画像を２値化する（Ｓ１４）。監視適応的スレッショルディング処理は、スキャン画像を多数の矩形部分画像に分割し、オツ法は、各々のスキャン部分画像のためのスタート閾値を求めるために使用される。最適閾値は、反復探索によってオツの閾値の周辺で求められ、オリジナル部分画像とスキャン部分画像との間の差異計測値を最小化する。部分画像は、最適閾値を使用して２値化される。
【選択図】図１

Description

発明の背景
発明の属する技術分野
本発明は、画像処理に関し、特に、グレースケールスキャン画像のボケ除去（ｄｅｂｌｕｒｒｉｎｇ）および２値化に関する。

関連技術の説明
プリントアンドスキャンプロセスは、オリジナルデジタル画像が記録媒体（例えば用紙）上に印刷され、その後、スキャンして元のスキャンデジタル画像を取得する処理に関連する。プリントアンドスキャンプロセスの間、ボケや不均一な輝度などの歪みが不可避的に導入される。

例えば、プリントアンドスキャン（ＰＡＳ）品質評価、文書認証等の文書処理アプリケーションにおいては、ＰＡＳ後に、オリジナル画像に可能な限り近い文書画像を取得することが望ましい。オリジナル画像が２値的であり、スキャン画像がグレースケールであるという単純なシナリオにおいては、スキャン画像をどのように２値化し、オリジナル画像とのベストマッチを取得するかという問題が生じる。文字通り、多数のスレッショルディング（ｔｈｒｅｓｈｏｌｄｉｎｇ）法が存在する。例えば、セッツギン エム（Ｓｅｚｇｉｎ Ｍ），サンクール ビー（Ｓａｎｋｕｒ Ｂ），画像スレッショルディング技術および定量的パフォーマンス評価についての調査（Ｓｕｒｖｅｙ ｏｖｅｒ ｉｍａｇｅ ｔｈｒｅｓｈｏｌｄｉｎｇ ｔｅｃｈｎｉｑｕｅｓ ａｎｄ ｑｕａｎｔｉｔａｔｉｖｅ ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ），ジャーナル オブ エレクトロニック イメージング（Ｊ Ｅｌｅｃｔｒｏｎ Ｉｍａｇ）．１３：１４６−１６５（２００４）（以下、「セッツギン他」）を参照のこと。しかしながら、そのいずれも、ベストマッチとして、ＰＡＳプロセスから２値画像を取得するために公知のオリジナル画像を利用するものではない。従来のスレッショルディングアルゴリズム、例えば、キトラー（Ｋｉｔｔｌｅｒ）法およびオツ（Ｏｔｓｕ）法は、所望の結果を提供できない場合が多い。

セッツギン他によれば、キトラーおよびイリングワース（Ｉｌｌｉｎｇｗｏｒｔｈ）の最小エラースレッショルディング法（本開示においてはキトラー法で参照する）は、非破壊テスト画像セットおよび文書画像セットのための最良の２値スレッショルディングアルゴリズムとして格付けられている。キトラー法は、オブジェクト（フォアグラウンド）輝度およびバックグランド輝度がガウス分布に従うことを仮定し、最小分類エラーを与える閾値を繰返して探索する。キトラー ジェイ（Ｋｉｔｔｌｅｒ Ｊ），イリングワース ジェイ（Ｉｌｌｉｎｇｗｏｒｔｈ Ｊ），最小エラースレッショルディング（Ｍｉｎｉｍｕｍ ｅｒｒｏｒ ｔｈｒｅｓｈｏｌｄｉｎｇ），パターン リコグニション（Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎ．）１９：４１−４７（１９８５）（以下、「キトラー他」）。しかしながら、ガウス分布の仮定は、グレースケールのスキャン文書画像に有効でない場合がある。例えば、グレースケールのスキャン文書画像は、スキャンプロセスにおいて導入される照明ノイズを含む可能性がある。グレースケールのスキャン文書画像が実質的に不均一な照明ノイズからフリーである場合、キトラー法は、２値化画像において優れた結果を提供することが可能である。しかし、顕著な不均一照射ノイズが存在する場合、キトラー法は、有意なスレッショルディングを達成できない場合が多く、照明ノイズのスポットが、文書内容を不明瞭にする大きな暗い（黒い）スポットに変換されるという結果をもたらす。

オツ法は、本質的に平均二乗クラスタリング技法である。それは、オブジェクトとバックグランドピクセルのクラス内（クラス間）分散の重みつき和を最小化（最大化）し、最適閾値を求める。オツ エヌ（Ｏｔｓｕ Ｎ），グレーレベルヒストグラムからの閾値選択方法（Ａ ｔｈｒｅｓｈｏｌｄ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ｆｒｏｍ ｇｒａｙ ｌｅｖｅｌ ｈｉｓｔｏｇｒａｍｓ），アイトリプルイー トランザクションズ オン システムズ、 マン、 アンド サイバネティックス（ＩＥＥＥ Ｔｒａｎｓ Ｓｙｓｔ Ｍａｎ Ｃｙｂｅｒｎ．）９：６２−６６ （１９７９）（「オツ」）を参照のこと。オツ法は、前述のキトラー他におけるパフォーマンス比較において、キトラー法よりもかなり低く格付けられているが、そのパフォーマンスは、顕著な不均一な照明ノイズを有する画像および有しない画像にとって、十分である場合が多い。

広域の劣化に加えて、ＰＡＳ中における文書画像の局部的な歪み（チャウドゥーリー ビービー（編）（Ｃｈａｕｄｈｕｒｉ ＢＢ（Ｅｄ））のデジタル文書処理：主要な傾向および最近の進展（Ｄｉｇｉｔａｌ Ｄｏｃｕｍｅｎｔ Ｐｒｏｃｅｓｓｉｎｇ： Ｍａｊｏｒ Ｄｉｒｅｃｔｉｏｎｓ ａｎｄ Ｒｅｃｅｎｔ Ａｄｖａｎｃｅｓ）におけるベアード エッチエス（Ｂａｉｒｄ ＨＳ），アート文書画像の劣化モデリングの状況（Ｔｈｅ ｓｔａｔｅ ｏｆ ｔｈｅ ａｒｔ ｄｏｃｕｍｅｎｔ ｉｍａｇｅ ｄｅｇｒａｄａｔｉｏｎ ｍｏｄｅｌｉｎｇ）、スプリンガー（Ｓｐｒｉｎｇｅｒ），ニューヨーク（ＮＹ）．２６１−２７９（２００７）参照）、例えば、スキャン中における不均一な照明あるいは影によって引き起こされる歪みという要因を背景として、局部適応的（ｌｏｃａｌｌｙ ａｄａｐｔｉｖｅ）スレッショルディング法がＰＡＳ文書画像に、より適していると示唆されている。

局部適応的オツ法を用いることにより、ＰＡＳ後において、８ビットグレースケール文書画像から、知覚的に十分なスレッショルディング結果を取得することができる。しかし、オリジナル画像と比較すると、ＰＡＳからの２値化文書画像は、より肥満した（Ｆａｔ）（濃い（ｔｈｉｃｋ））オブジェクトを有する傾向があり、究極的な目標が２値化文書画像を対応するオリジナル画像とマッチさせることであるとしたならば、適応的オツ法は、理想の閾値よりも大きな値の閾値を与えることを示している。異なるＰＡＳ装置および設定を用いると、反対のことが同様に発生する可能性があり、つまり、オツのアルゴリズムは、オリジナル画像におけるオブジェクトより薄い（ｔｈｉｎ）オブジェクトを結果として生じる可能性がある。

概要
したがって、本発明は、関連技術の制限および不利な点に起因する１つ以上の問題を実質的に除去する、グレースケールのスキャン画像のボケ除去および２値化のための方法に向けられている。

本発明の目的は、オリジナル文書画像と２値化画像との間の差異を最小限にするボケ除去および２値化処理を提供することである。

本発明の付加的な特徴および有利な点は、後に続く説明に記載されており、ある程度、前記説明から明らかになり、あるいは、本発明の実施によって知ることが可能である。本発明の前記目的および他の利点は、添付の図面と同様に、それの説明文および請求の範囲において詳しく指摘される構成によって、実現化されかつ達成される。

具体的に表現されかつ広範に説明されているこれらおよび／または他の目的を達成するために、本発明は、２値画像であるデジタルオリジナル画像に基づいてプリンタによって印刷されたハードコピー文書を処理するためのデータ処理システムにおいて実行される方法を提供し、当該方法は、イメージング装置を用いて、前記ハードコピー文書からグレースケールのスキャン画像を生成するステップ（ａ）と、前記オリジナル画像を取得するステップ（ｂ）と、前記オリジナル画像を複数のオリジナル部分画像に分割するステップ（ｃ）と、各オリジナル部分画像について、（ｄ１）テンプレートマッチングを用いて、前記スキャン画像から前記オリジナル部分画像に対応するスキャン部分画像を求め、（ｄ２）前記スキャン部分画像を２値化するための初期閾値を取得し、そして、（ｄ３）前記初期閾値および反復探索を用いて、前記スキャン部分画像を２値化するための最適閾値を取得し、前記最適閾値は、前記オリジナル部分画像と前記２値化スキャン部分画像との間の差異計測値を最小化する最適２値化スキャン部分画像を生成するステップ（ｄ）と、前記ステップ（ｄ）において生成された最適２値化スキャン部分画像を結合することによって、２値化スキャン画像を生成するステップ（ｅ）と、を有する。

別の態様において、本発明は、データ処理装置によって前記方法を実行させるためのコンピュータプログラムを提供する。

前述の概略的記述および以下の詳細な記述の両方は、代表的および説明的であり、請求される本発明のさらなる説明を提供することを意図していることが理解される。

本発明の実施形態に係るスキャン画像のボケ除去および２値化のための方法を説明するためのフローチャートである。 図１の方法における点広がり関数を取得するためのプロセスを説明するためのフローチャートである。 図１の方法における画像傾き補正および初期レジストレーションプロセスを説明するためのフローチャートである。 図１の方法における監視適応的スレッショルディング処理プロセスを説明するためのフローチャートである。 具体例としてのナイフエッジ応答関数を説明するための図である。 具体例としての点広がり関数を説明するための図である。 本発明の実施形態が遂行されるデータ処理システムを概略的に説明するための図である。

好ましい実施形態の詳細な説明
本発明の実施形態は、既知のオリジナルデジタル画像（２値画像）に厳密にマッチさせるプリントアンドスキャン（ＰＡＳ）プロセスからのスキャン２値画像を生成するための効率的かつ実用的なアプローチを提供する。本発明の実施形態によれば、スキャン文書画像（グレースケールまたはカラー）は、プリントアンドスキャンナイフエッジ応答から導入される点広がり関数（ＰＳＦ）を用いて、ボケが除去される。画像の傾き補正（ｄｅ−Ｓｋｅｗ）および初期レジストレーション後、監視適応的スレッショルディング処理（ｓｕｐｅｒｖｉｓｅｄ ａｄａｐｔｉｖｅ ｔｈｒｅｓｈｏｌｄｉｎｇ ｐｒｏｃｅｄｕｒｅ）が使用され、オリジナル画像と２値化画像との間の差異計測値（ユークリッド距離）を最小化するように、スキャン画像を２値化する。

監視適応的スレッショルディング処理は、オツによって提案された典型的なスレッショルディング法（オツ参照）を、改良された適応的アプローチに応用し、オリジナル画像を利用する監視（ｓｕｐｅｒｖｉｓｉｏｎ）とＰＡＳ中における非対称ボケの修正とが組み合わされている。オツ法はシンプルかつ高速であるので、局部適応的に応用することが実現可能である。

加えて、ＰＡＳにより生じるボケは、通常、異方性である。すなわち、水平方向および垂直方向のボケは、内在する物理プロセスに起因する印刷方向およびスキャン方向に応じて異なる。スミス イーエッチビー（Ｓｍｉｔｈ ＥＨＢ），ＥＳＦに適した勾配降下法によるＰＳＦ評価（ＰＳＦ ｅｓｔｉｍａｔｉｏｎ ｂｙ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ ｆｉｔ ｔｏ ｔｈｅ ＥＳＦ）、国際光工学会会報（Ｐｒｏｃ． ｏｆ ＳＰＩＥ．），６０５９：６０５９０Ｅ（２００６）（以下スミス）参照。このような非対称歪みは、２値文書画像をオリジナル画像にベストマッチさせるために、修正されなければならない。ＰＡＳのボケの影響が、単一の点拡がり関数（ＰＳＦ）によって特徴づけられている場合、ボケ除去を実行し、上記異方性のボケの影響を除去することが可能である。

図１は、本発明の実施形態に係るグレースケールのスキャン画像から２値画像を生成するためのプロセスの概略フロ一を説明している。まず、そのナイフエッジ応答から、ＰＡＳの点広がり関数（ＰＳＦ）が取得される（ステップＳ１１）。そして、ＰＳＦを用いる逆畳み込み演算（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）法によって、スキャン画像上のボケ除去が実行される（ステップＳ１２）。画像の傾き補正および初期レジストレーションを実行した後（ステップＳ１３）、監視適応的スレッショルディング処理を利用して、スキャン画像を２値化し、オリジナル画像と２値化画像との間の差異計測値を最小化する（ステップＳ１４）。オリジナル画像と２値化画像との間の差異計測値は、例えば、２つの画像間のユークリッド距離とすることが可能である。ここで、オリジナル画像は、印刷文書を生成するのに使用されたデジタル画像（２値画像）を参照しており、前記印刷文書は、スキャン画像を再び取得するため、その後スキャンされる。方法の詳細は、図２〜４を参照し、以下においてさらに説明される。

印刷およびスキャンは、顕著な文書画像の劣化、例えば、焦点ボケ、傾斜（ｓｋｅｗ）、不均一な照明、異常なピクセル配置および電子ノイズ等を引き起こす複雑な処理である。ＰＡＳにけるボケは、焦点ボケ、用紙およびセンサの動きおよび他のプロセスに起因する。それは、概して本来的には非線形である。単純化のために、本発明の実施形態におけるＰＡＳプロセスは、線形システムとして取り扱われており、ＰＳＦは、その劣化の影響を説明するために使用される。線形システムは、一次近似として見なすことが可能であり、ＰＡＳプロセスにおける実際の劣化の大部分を説明することができる。

図２に示されるように、ＰＳＦを取得するために（図１のステップＳ１１）、２つの非平行な方向（例えば、水平方向および垂直方向）のシャープエッジ（ナイフエッジ）を含んでいるテスト画像（２値デジタル画像）が生成される（ステップＳ１１１）。テスト画像は印刷され、印刷された画像はグレースケールのスキャンテスト画像として再びスキャンされる（ステップＳ１１２）。スキャンテスト画像は、分析され、エッジの近傍におけるピクセル輝度が、ＰＡＳプロセスのナイフエッジ応答として取得される（ステップＳ１１３）。各方向のナイフエッジ応答の一次導関数が、対応するエッジ広がり関数（ＥＳＦ）として算出される（ステップＳ１１４）。２つの直角に交わる方向からのＥＳＦは、コーシー関数あるいはガウス関数を用いてモデル化することが可能であり、そして、２次元ＰＳＦを取得するため、連結される（ステップＳ１１５）。ステップＳ１１２において、テスト画像の印刷およびスキャンに使用されるプリンタおよびスキャナは、図１のスキャン画像を取得するために使用されたものと好ましくは同じ（あるいは同じモデルの）プリンタおよびスキャナである。この処理によって導き出されるＰＳＦは、ＰＡＳの特徴を有しており、すなわち、プリンタの特性およびスキャナの特性により限定されている。

図２のステップの一部は、ＰＳＦを導き出してスキャナの品質を評価するために、過去において使用されている（スミス参照）。

一旦、２次元ＰＳＦがＰＡＳプロセスのために取得されると、このＰＡＳプロセスから全ての画像のボケを除去するために使用すること可能である。換言すると、それは全体のプロセスの一部として図１に示されているけれども、多分一度（あるいは、プリンタおよび／またはスキャナの安定性が関心事項であれば節目節目で）実行されると、ＰＳＦはメモリに格納される。そして、画像を処理する際、ＰＳＦはメモリから取り出される。

図１に示されるように、このＰＡＳプロセスからの画像は、ＰＳＦを用いる逆畳み込み演算アルゴリズムを適用することによって、ボケが除去される（ステップＳ１２）。リチャードソン ダブリュエッチ（Ｒｉｃｈａｒｄｓｏｎ ＷＨ），画像復元のベイズに基づく反復メソッド（Ｂａｙｅｓｉａｎ−ｂａｓｅｄ ｉｔｅｒａｔｉｖｅ ｍｅｔｈｏｄ ｏｆ ｉｍａｇｅ ｒｅｓｔｏｒａｔｉｏｎ）、ジャーナル オブ ザ プティカル ソサエティ オブ アメリカ（Ｊ Ｏｐｔ Ｓｏｃ Ａｍ．）、６２：５５−５９（１９７２）および、ルーシー エルビー（Ｌｕｃｙ ＬＢ）、測定分布のひずみ修正のための反復テクニック（Ａｎ ｉｔｅｒａｔｉｖｅ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｔｈｅ ｒｅｃｔｉｆｉｃａｔｉｏｎ ｏｆ ｏｂｓｅｒｖｅｄ ｄｉｓｔｒｉｂｕｔｉｏｎｓ），アストロノミカル ジャーナル（Ａｓｔｒｏｎ Ｊ．）、７９：７４５−７５４（１９７４）に記述されるように、ボケ除去のために、ルーシー−リチャードソン（Ｌｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ）反復アルゴリズムを使用することが可能である。反復回数は、再生画像におけるノイズを削減するため、その上限が的確に定められている。

ボケが除去された画像は２値画像に後で変換され、また、ボケ除去は、エッジ近傍のピクセルに主として影響を及ぼすため、ボケ除去プロセスは、本質的に、結果として生じる２値化画像のエッジ上のピクセルのごく少量を失わせる。したがって、逆畳み込み演算に対する代替物として、適当に選ばれた非対称カーネルを用いるモルフォロジー演算を、２値化画像に適用して、ボケ除去効果を獲得することとが可能である。換言すれば、この代替方法において、ボケ除去ステップＳ１２は省略され、また、モルフォロジー演算のステップは、図１のステップＳ１４の後で実行される。

回転および並進はＰＡＳの間しばしば導入される。ＰＡＳ評価において画像比較を容易にするために、スキャン画像は、オリジナルデジタル画像と適当に位置合せしなければならない（例えば図１のステップＳ１３によって）。任意の適当な傾き補正方法を使用して、このステップを実行することが可能である。例えば、ハフ変換に基づく傾き補正方法は、文書画像処理において広く使用されている。しかしながら、高解像度の文書画像に対しては、ハフ変換は演算処理集約型である。本発明のための画像傾き補正およびレジストレーション（ステップＳ１３）の好ましい実装は、図３に例示されている。

画像傾き補正およびレジストレーションを実行するために、初期スレッショルディングは、スキャン画像に対して最初に実行され（ステップＳ１３１）、それは、オツ法をスキャン画像の全体に対して適用することによって、達成することが可能である。初期２値画像は、以下に示すように、スキャン画像の傾き補正およびレジストレーションを実行するために使用される。まず、１つの代表ピクセルが、初期２値画像における各結合画像コンポーネントから抽出される（ステップＳ１３２）。好ましくは、代表ピクセルは、画像コンポーネントの中心（ｃｅｎｔｒｏｉｄ）である。あるいは、各画像コンポーネントのトップあるいはボトム（水平レイアウトの場合）又は左あるいは右（垂直レイアウトの場合）の端のピクセルを、代表ピクセルとして使用することが可能である。そして、傾き角度を求めるため、ハフ変換がこの概略画像（すなわち、各画像コンポーネントの代表ピクセルのみからなる画像）に適用される（ステップＳ１３３）。ハフ変換は、本質的に、ラインを概略画像におけるドットに適合させ、傾き角度は、適合されたラインと、水平（０度と仮定）方向あるいは垂直（９０度と仮定）方向との間を定義する。その後、傾き補正計算（すなわち回転）が、傾き角度を利用し、スキャン画像（グレースケール）に対して実行され、傾き補正済みスキャン画像（グレースケール）を生成する（ステップＳ１３４）。そして、傾き補正済みスキャン画像（グレースケール）を利用して、オリジナル画像（２値）の粗レジストレーションを達成するため、テンプレートマッチングが実行される（ステップＳ１３５）。

監視適応的スレッショルディング処理（図１のステップＳ１４）は、図４において例示されている。まず、オリジナル画像は、多数の部分画像に分割され、オリジナル部分画像として参照される（ステップＳ１４１）。好ましくは、オリジナル部分画像は、形状が矩形であり、例えば、６４×６４あるいは１２８×１２８ピクセルのサイズを有する。各オリジナル部分画像のため（ステップＳ１４２）、テンプレートマッチングプロセスが実行され、スキャン部分画像として参照される、スキャン画像における対応する部分画像を求める（ステップＳ１４３）。オツ法をスキャン部分画像に適用し、初期閾値を求める（ステップＳ１４４）。次に、スキャン部分画像のための最適閾値は、反復探索（ｉｔｅｒａｔｉｖｅ ｓｅａｒｃｈ）を使用し、初期閾値の周辺で求められる（ステップＳ１４５）。前記サーチは、全数検索（ｅｘｈａｕｓｔｉｖｅ ｓｅａｒｃｈ）あるいは初期閾値周辺の近傍における二分探索（ｂｉｎａｒｙ ｓｅａｒｃｈ）とすることも可能である。最適閾値は、スキャン部分画像を２値化するために使用される場合、オリジナル部分画像と２値化スキャン部分画像との間の差異を最小化するものである。１つの実装において、ユークリッド距離は、差異計測値として使用される。別の実装において、分類エラーが、差異計測値として使用される。画像の分類エラーは、誤って分類されたピクセル数と画像内のピクセル総数との間の比率である（セッツギン他参照のこと。また、チャンエ ワイジェイ（Ｚｈａｎｇｅ ＹＪ）、画像分割のための評価手法に関する調査（Ａ ｓｕｒｖｅｙ ｏｎ ｅｖａｌｕａｔｉｏｎ ｍｅｔｈｏｄｓ ｆｏｒ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）、パターン リコグニション（Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎ．）．２９：１３３５−１３４６（１９９６）参照のこと）。ステップＳ１４５の結果、最適２値化スキャン部分画像が取得される。全ての部分画像が処理されると（ステップＳ１４２の“Ｎ”）、２値化スキャン画像を生成するため、最適２値化スキャン部分画像は結合される（ステップＳ１４６）。好ましい後処理を、状況に応じて実行することも可能である。

本発明の発明者は、マットラブ イメージ プロセシング ツールボックス（Ｍａｔｌａｂ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｔｏｏｌｂｏｘ）と、Ｃ＋＋による若干の計算集約型のルーチン（例えばテンプレートマッチング）と、を使用し、その優れたパフォーマンスのために、ＯｐｅｎＣＶライブラリを利用し、上述の本発明の実施形態を実行した。これらのツールは、当業者によく知られている。テストサンプル（オリジナル画像）は、コニカ ミノルタ ビズハブ（Ｂｉｚｈｕｂ） Ｃ３５３ 多機能周辺装置（ＭＦＰ）を使用し、雑誌および法律関係の契約書類をスキャンすることにより作成した。オリジナル画像は、２値フォーマットの４００ｄｐｉ（１１×８００２０１／２インチのレターサイズ用の４４００×３４００ピクセル）の解像度を有し、また、再スキャン（ｓｃａｎｎｅｄ−ｂａｃｋ）画像は、８ビットグレースケールの６００ｄｐｉ（レターサイズ用の６６００×５１００ピクセル）の解像度を有した。スキャン画像は、画像レジストレーションおよび監視スレッショルディングのため、オリジナル画像とマッチするようにサイズが変更された。

２つの直交方向のシャープエッジは、印刷され、スキャンされ、そして、スキャンエッジ近傍の輝度プロファイルを分析して、ＥＳＦ（エッジ広がり関数）を取得した。図５は、ナイフエッジ応答の一例を示している。ＥＳＦは、垂直（縦）方向に比べ、スキャン（水平）方向に関して若干広い。２つの垂直な方向からのＥＳＦは、コーシー関数あるいはガウス関数を用いてモデル化することが可能である。発明者は、ガウス関数に適合する最小２乗が、コーシー関数に比べて、より小さい残差を与えることを、見出したが、その一方、スキャンのみに関する以前に行われた研究は、反対のことを報告していた（スミス参照）。結合された二次元ＰＳＦは、水平ＥＳＦと垂直ＥＳＦとを乗じることによって、取得された。図６は、具体例としての２つの直交方向のＰＳＦを示している。ＰＳＦの非対称の程度を定量化するために、発明者は、下記の方程式において定義されるＰＳＦボリュームレシオを算出した。

ここにおいて、ＰＳＦ_ｖおよびＰＳＦ_ｈは、垂直ＰＳＦおよび水平ＰＳＦの中心セクションである。図６に示される一例においては、ＰＳＦボリュームレシオは、０．８７６である。

発明者は、ハーフトーン／ウォーターマーク細工、手書修正、照度ノイズ（シミュレートされた）、コーヒー汚れおよびグラフィクスを有するサンプルを含んでいる、雑誌および法律関係の契約書類から作成された多数のサンプルを用いて、上記の実装をテストした。全てのケースにおいて、監視適応的スレッショルディングは、ユークリッド距離および分類エラーによって測定されるオリジナル画像と２値化画像との間の差異を、４６％以上削減した。ボケ除去の組み込みは、監視およびボケ除去を有しないスレッショルディングと比較し、５５％以上まで削減をさらに改善した（下記の表１を参照）。

表１は、スレッショルディングパフォーマンスと監視およびボケ除去を用いた改善とを示している。パフォーマンス基準は、ピクセルの総数によって正規化されているユークリッド距離および分類エラーである。各実施例において、第１行はユークリッド距離であり、第２行は分類エラーである。

表１に示されるように、ピクセル当たりのユークリッド距離および分類エラーの値が異なっているにもかかわらず、監視およびボケ除去が導入されている場合、それらの削減割合は、正確に同じである。これは、２値画像に関し、これら２つの差異数的指標（ＭＥＴＲＩＣＳ）が、フォアグラウンドとバックグランドとの間の同一の特性を本質的に説明しているという事実に起因している。Ａｌこれら２つの数的指標の代替物、多数の差異の数的指標の重みつき和、例えば、コネクティビティまたはキャラクタランレングス（ｃｈａｒａｃｔｅｒ ｒｕｎ−ｌｅｎｇｔｈ）の計測値を、数的指標として使用することが可能であり、監視適応的スレッショルディングにおける最適化手順をさらに改良することができる。

上記した監視適応的スレッショルディング法は、ボケ除去を有しており、既知のオリジナルとベストマッチさせるために、プリントアンドスキャンプロセスから２値画像を取得する。ボケ除去は、プリントアンドスキャンシステムのナイフエッジ応答から導かれる非対称ＰＳＦを利用する。監視は、ローカル部分画像において実行される閾値を最適化する際のベンチマークとして、オリジナル画像を使用することによって達成される。オツ法からのスタート閾値は、最適化時間を短くするために使用される。プリントとスキャンとの間における多様な改ざん細工を有する多数のサンプルに対するテストは、従来の非監視法と比較し、この方法のオリジナル画像と２値化画像との間の差異において５５％以上の削減を示した。

２値画像を生成するための上記の方法の１つ実際的な応用は、文書認証である。文書認証スキームの一例において、オリジナル文書画像（デジタル画像）は、印刷されて配布される一方、オリジナル文書画像はデータベースに格納される。あるいは、オリジナル文書画像あるいはオリジナル文書画像から抽出されたコンテンツを、例えば２次元のバーコードとしてエンコードし、そして、記録媒体の同一のシートに文書そのものとして印刷することも可能である。その後、オリジナルプリントアウトの正本であることを意味するハードコピー文書がスキャンされ、そして、スキャン文書は、ハードコピーが真正であるかを決定するため、オリジナル文書画像（データベースあるいは印刷されている二次元バーコードからの）と比較される。ここに記載されているボケ除去および２値化方法は、スキャンプロセスにおいて有利に使用され、オリジナル文書画像とマッチする２値スキャン画像を生成し、それによって、画像比較および認証を容易にすることが可能である。

上記方法は、コンピュータおよびプリンタと、スキャナおよび／またはコンピュータに接続される多機能装置とを有するデータ処理システムにおいて、遂行される。多機能装置は、スキャン部とプリント部とを有する装置であり、プリント、スキャンおよびコピー機能を実行する。具体例としてのデータ処理システムは、図３に示される。データ処理システム１００は、スキャナ１０２とプリンタ１０４とコンピュータ１０６とを含んでおり、これらは、ネットワークあるいはその他の適当な通信システムによって互いに接続されている。コンピュータ１０６は、プロセッサと、ソフトウェアプログラムを格納しているメモリとを有する。プロセッサは、メモリにあるソフトウェアプログラムを実行し、多様な処理を実行する。コンピュータは、プリントされる画像データを生成し、当該データを、プリントのためにプリンタに提出する。実際のプリントは、任意の適当な方法で達成することができる。同様に、文書のスキャンも、任意の適当な方法で達成することができ、また、スキャナに接続されるコンピュータは、スキャン画像データを処理する。あるいは、ソフトウェアプログラムは、スキャナ１０２あるいはプリンタ１０４のメモリにそれぞれ格納することが可能であり、スキャナあるいはプリンタのプロセッサによってそれぞれ実行することができる。

あるいは、スキャナの代わりに、デジタルカメラあるいはその他のイメージング装置を使用し、グレースケール文書画像を生成し、当該画像に、上記したボケ除去および２値化方法を適用することが可能である。このことに関し、この開示および特許請求の範囲において用いられている用語「スキャン画像」は、スキャンあるいは写真技術あるいはその他の適当な方法によって生成されるデジタル画像を、概して参照する。

本発明に係るボケ除去および２値化の方法において、本発明の意図あるいは範囲から逸脱することなく、多様な修正および変更を為すことが可能であることは、当業者にとって明らかである。したがって、本発明は、添付される請求の範囲およびそれらの等価の範囲内にある修正および変更を包含することを意図している。

Claims (15)

1. ２値デジタル画像であるオリジナル画像に基づいてプリンタによって印刷されたハードコピー文書を処理するためのデータ処理システムにおいて実行される方法であって、
   イメージング装置を用いて、前記ハードコピー文書からグレースケールのスキャン画像を生成するステップ（ａ）と、
   前記オリジナル画像を取得するステップ（ｂ）と、
   前記オリジナル画像を複数のオリジナル部分画像に分割するステップ（ｃ）と、
   各オリジナル部分画像について、（ｄ１）テンプレートマッチングを用いて、前記スキャン画像から前記オリジナル部分画像に対応するスキャン部分画像を求め、（ｄ２）前記スキャン部分画像を２値化するための初期閾値を取得し、そして、（ｄ３）前記初期閾値および反復探索を用いて、前記スキャン部分画像を２値化するための最適閾値を取得し、前記最適閾値は、前記オリジナル部分画像と前記２値化スキャン部分画像との間の差異計測値を最小化する最適２値化スキャン部分画像を生成するステップ（ｄ）と、
   前記ステップ（ｄ）において生成された最適２値化スキャン部分画像を結合することによって、２値化スキャン画像を生成するステップ（ｅ）と、
   を有することを特徴とする方法。
2. 前記ステップ（ｄ）の前において、前記プリンタおよび前記イメージング装置の点拡がり関数特性を使用し、逆畳み込み演算法を前記スキャン画像に適用することによって、前記スキャン画像のボケを除去するステップ（ｆ）を、さらに有することを特徴とする請求項１に記載の方法。
3. 前記点拡がり関数は、２次元点拡がり関数であり、
   前記方法は、前記ステップ（ｆ）の前に、前記２次元点拡がり関数を算出するステップ（ｇ）をさらに有しており、
   前記ステップ（ｇ）は、
   （ｇ１）２つの非平行方向のシャープエッジを含んでいるテスト２値画像を生成し、
   （ｇ２）前記プリンタを使用して前記テスト画像を印刷し、
   （ｇ３）前記イメージング装置を使用し、印刷された前記テスト画像からグレースケールスキャンテスト画像を生成し、
   （ｇ４）前記シャープエッジの近傍における前記スキャンテスト画像のピクセル輝度を使用し、２方向のエッジ広がり関数を算出し、
   （ｇ５）前記エッジ広がり関数から前記２次元点拡がり関数を算出すること、
   を有することを特徴とする請求項２に記載の方法。
4. 前記ステップ（ｅ）の後において、非対称カーネルを用いるモルフォロジー演算を、前記２値化スキャン画像に適用するステップ（ｆ）を、さらに有することを特徴とする請求項１〜３のいずれか１項に記載の方法。
5. 前記ステップ（ｄ）の前において、前記スキャン画像の傾き補正およびレジストレーションを実行し、傾き補正およびレジストレーション済みスキャン画像を生成するステップ（ｈ）を、さらに有しており、
   前記ステップ（ｄ）は、前記傾き補正およびレジストレーション済みスキャン画像に対して実行される
   ことを特徴とする請求項１〜３のいずれか１項に記載の方法。
6. 前記ステップ（ｈ）は、
   前記スキャン画像に初期スレッショルディングを実行し、初期２値画像を生成するステップ（ｈ１）と、
   前記初期２値画像における各結合画像コンポーネントから代表ピクセルを抽出し、概略画像を生成するステップ（ｈ２）と、
   前記概略画像の傾き角度を算出するステップ（ｈ３）と、
   前記傾き角度を使用し、前記スキャン画像から傾き補正済みスキャン画像を算出するステップ（ｈ４）と、
   前記オリジナル画像と前記傾き補正済みスキャン画像との間でテンプレートマッチングを実行し、傾き補正およびレジストレーション済みスキャン画像を生成するステップ（ｈ５）と、
   を有することを特徴とする請求項５に記載の方法。
7. 前記ステップ（ｂ）は、データベースから前記オリジナル画像を取得するステップを有することを特徴とする請求項１〜６のいずれか１項に記載の方法。
8. データ処理装置を制御するためのコンピュータプログラムであって、
   前記コンピュータプログラムは、２値画像であるデジタルオリジナル画像に基づいてプリンタによって印刷されたハードコピー文書を処理するためのプロセスを、前記データ処理装置に実行させるように構成されており、
   前記プロセスは、
   イメージング装置を用いて、前記ハードコピー文書からグレースケールのスキャン画像を生成するステップ（ａ）と、
   前記オリジナル画像を取得するステップ（ｂ）と、
   前記オリジナル画像を複数のオリジナル部分画像に分割するステップ（ｃ）と、
   各オリジナル部分画像について、（ｄ１）テンプレートマッチングを用いて、前記スキャン画像から前記オリジナル部分画像に対応するスキャン部分画像を求め、（ｄ２）前記スキャン部分画像を２値化するための初期閾値を取得し、そして、（ｄ３）前記初期閾値および反復探索を用いて、前記スキャン部分画像を２値化するための最適閾値を取得し、前記最適閾値は、前記オリジナル部分画像と前記２値化スキャン部分画像との間の差異計測値を最小化する最適２値化スキャン部分画像を生成するステップ（ｄ）と、
   前記ステップ（ｄ）において生成された最適２値化スキャン部分画像を結合することによって、２値化スキャン画像を生成するステップ（ｅ）と、
   を有することを特徴とするコンピュータプログラム。
9. 前記プロセスは、前記ステップ（ｄ）の前において、前記プリンタおよび前記イメージング装置の点拡がり関数特性を使用し、逆畳み込み演算法を前記スキャン画像に適用することによって、前記スキャン画像のボケを除去するステップ（ｆ）を、さらに有することを特徴とする請求項８に記載のコンピュータプログラム。
10. 前記点拡がり関数は、２次元点拡がり関数であり、
    前記プロセスは、前記ステップ（ｆ）の前に、前記２次元点拡がり関数を算出するステップ（ｇ）をさらに有しており、
    前記ステップ（ｇ）は、
    （ｇ１）２つの非平行方向のシャープエッジを含んでいるテスト２値画像を生成し、
    （ｇ２）前記プリンタを使用して前記テスト画像を印刷し、
    （ｇ３）前記イメージング装置を使用し、印刷された前記テスト画像からグレースケールスキャンテスト画像を生成し、
    （ｇ４）前記シャープエッジの近傍における前記スキャンテスト画像のピクセル輝度を使用し、２方向のエッジ広がり関数を算出し、
    （ｇ５）前記エッジ広がり関数から前記２次元点拡がり関数を算出することを有する
    ことを特徴とする請求項９に記載のコンピュータプログラム。
11. 前記プロセスは、前記ステップ（ｅ）の後において、非対称カーネルを用いるモルフォロジー演算を、前記２値化スキャン画像に適用するステップ（ｆ）を、さらに有することを特徴とする請求項８〜１０のいずれか１項に記載のコンピュータプログラム。
12. 前記プロセスは、前記ステップ（ｄ）の前において、前記スキャン画像の傾き補正およびレジストレーションを実行し、傾き補正およびレジストレーション済みスキャン画像を生成するステップ（ｈ）を、さらに有しており、
    前記ステップ（ｄ）は、前記傾き補正およびレジストレーション済みスキャン画像に対して実行される
    ことを特徴とする請求項８〜１１のいずれか１項に記載のコンピュータプログラム。
13. 前記ステップ（ｈ）は、
    前記スキャン画像に初期スレッショルディングを実行し、初期２値画像を生成するステップ（ｈ１）と、
    前記初期２値画像における各結合画像コンポーネントから代表ピクセルを抽出し、概略画像を生成するステップ（ｈ２）と、
    前記概略画像の傾き角度を算出するステップ（ｈ３）と、
    前記傾き角度を使用し、前記スキャン画像から傾き補正済みスキャン画像を算出するステップ（ｈ４）と、
    前記オリジナル画像と前記傾き補正済みスキャン画像との間でテンプレートマッチングを実行し、傾き補正およびレジストレーション済みスキャン画像を生成するステップ（ｈ５）と、
    を有することを特徴とする請求項１２に記載のコンピュータプログラム。
14. 前記ステップ（ｂ）は、データベースから前記オリジナル画像を取得することを有することを特徴とする請求項８〜１３のいずれか１項に記載のコンピュータプログラム。
15. 請求項８〜２４のいずれか１項に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。