JP2009535899A - 走査されたカラー画像からの複調画像の生成 - Google Patents

Abstract

文書から複調画像データを得る方法は、少なくとも２つの色チャネルから走査カラー画像データを得て、該走査カラー画像データ内で、フォアグラウンド内容とバックグラウンド内容とを含有する少なくとも１つの関心領域（Ｒ１）を識別する。少なくとも１つの閾値データ値は、該関心領域内（Ｒ１）のフォアグラウンド内容とバックグラウンド内容との間で異なる画像属性に従って得られる。該文書の走査カラー画像データは、該関心領域（Ｒ１）から得られた該少なくとも１つの閾値データ値に従って、を、複調画像データに変換される。

Description

本発明は、バックグラウンド画像からフォアグランド画像の画像閾値化及び分離に関し、そしてより具体的には、かなりの量のバックグラウンド色内容(background color content)を有する文書から高品質の複調画像(bitonal image)を得る方法に関する。

製作物走査環境において、走査された紙文書のデジタル出力は、特にテキスト画像の場合に記憶及び伝送の効率がより高いという理由から、バイナリ（黒白）形態でしばしば提示され記憶される。バイナリ形態は、テキスト走査及び光学式文字認識（ＯＣＲ）にも適している。

典型的には、電荷結合素子（ＣＣＤ）センサーから１画素当たり８ビットのデジタル・グレースケール信号を得るために、文書を走査する目的でスキャナーが使用される。このようなグレースケール１画素当たり８ビットを、バイナリ・データ１画素当たり１ビットに変換するためには、何らかのタイプの画像閾値化プロセスが必要となる。画像閾値化は画像データ低減プロセスであるので、結果として、望ましくない画像アーチファクト、又は画像情報の何らかの損失又は劣化をしばしば招く。画像閾値化のエラーは、文書バックグラウンドのスペックル雑音又は低コントラスト文字の損失のような問題を引き起こすおそれがある。

画像閾値を改善し、そして改善された品質を有するバイナリ画像を得るための数多くの試みが為されている。例えば、同一譲受人の米国特許第４，８６８，６７０号明細書（Morton等）には、画像内のバックグラウンド値を追跡し、この場合追跡されたバックグラウンド値、ノイズ値、及びフィードバック信号の和が閾値であることが開示されている。画像内にエッジ又は他の遷移が発生するときはいつでも、フィードバック信号は、出力フィルタリングされた閾値画素値が低減ノイズ含量を有するように、閾値を一時的に改変するために所定のパターンで一時的に変化させられる。しかしながらバックグラウンド追跡は、特に関心オブジェクトが比較的低コントラストである場合に、著しい困難を引き起こす。別のアプローチが、米国特許第４，４６８，７０４号明細書（Stoffel等）に記載された適応的閾値化(adaptive thresholding)である。この場合、閾値化は、画像オフセット・ポテンシャルを用いることによって実行され、画像オフセット・ポテンシャルは、画像内の白色山・黒色谷のポテンシャルの関数として、画素毎のベースで得られる。オフセット・ポテンシャルは、最も近い近傍画素との関連において、適応的な、画素毎に変化する更新閾値を提供するために使用される。山・谷ポテンシャルは、その画素の画像ポテンシャルと、所定の最小白色山・最大黒色谷ポテンシャルとを比較することにより、各画像画素毎に生成される。残念ながら、この技術も、閾値化された画像内の低コントラスト・オブジェクトを抽出する際に困難を呈するように思われる。

同一譲受人の米国特許第５，５８３，６５９号明細書（Lee等）には、前記‘７０４ Stoffel等の特許で概要を述べられた一般スキームにおいて画素毎のベースで行われるような適合的閾値化に対する有意な改善が開示されている。記載の方法の場合、走査された各グレースケール画素毎に、局在化強度勾配データが先ず算定され、そしてこのデータは、その画素がエッジ遷移の近傍にあるか否かを見極めるために使用することができる。次いで、さらにその画素をエッジ、又はフラットフィールド、オブジェクト、又はバックグラウンドの部分として分類するように、後続の処理が実施される。処理された出力画像はこのように、改善された閾値化を可能にするように増強される。有意義なことには、２つの可変ユーザー入力が、画像データ処理を微調整するための閾値として使用される。これらの変数の、生じ得る最良の値が得られると、適応的閾値化は、複調データに正確に変換することができる画像を提供する。

複雑なカラーバックグラウンドからの関心のあるテキスト及び画像の抽出は特に難しいことがあり、また。提案される従来の解決手段は、或る程度制限された範囲でしか成功に到達しない。例えば：
米国特許第６，０２３，５２６号明細書（Kondo等）には、テキスト色に関する以前の知識を用いたカラーフィルタリング法又は閾値化法に基づいて、カラー画像から複調画像への直接的な変換を利用してカラーバックグラウンドからテキストデータを抽出することが記載されている。このタイプの方法は、多くのタイプの郵便文書、及び別の色のフラットフィールド・バックグラウンドに対して予測可能な色のテキストを有する他のタイプの文書を走査するのに適することもあり得るが、このようなアプローチは、可変バックグラウンド色内容には余り適さず、また、可変バックグラウンド色内容を有する文書にはうまく応答しない。

米国特許第６，７４８，１１１号明細書（Stolin等）では、局所区域上の文書のバックグラウンド色内容を分離するのを助けるタイル張り法が用いられる。この方法は、画像分割及び３Ｄ色空間における色クラスタリングを適用し、そして文書フォーマット及びテキストフィールドの空間位置に関して予め知られている数多くの前提に強く依存する。Stolinらの特許‘１１１明細書の開示内容に記載されているような方法は、複雑なカラーバックグラウンドからのテキストの単離に際してはうまく働かない。

米国特許第６，７０４，４４９号明細書（Ratner）には、標準的なグラフィック・ファイル・フォーマットである文書のためのカラー画像データを得るための反復アプローチが記載されている。Ratner‘４４９の方法は、複合色チャネルのそれぞれからの画像バイナリ化を利用し、次いで、テキスト抽出の成功の確認のためにＯＣＲ処理を適用する。このタイプの方法は、表示画像、例えばウェブページからダウンロードされた画像のために役立つかもしれない、バックグラウンド内容に関するいくつかの広域前提を形成するが、しかし、走査された小切手、及び複雑なカラーバックグラウンドを有することのある同様の紙文書に対するその有用性は制限されてしまう。

米国特許第６，７０１，００８号明細書（Suino）には、文書を走査し、別々の赤(Red)、緑(Green)、及び青(Blue)（ＲＧＢ）色平面内の画像データを得、次いで、テキスト区域を検出するために、画像アルゴリズムを用いることにより、３つの色平面全てにおいて同じ値を有する連関画素を検出することが記載されている。次いで、３つの色平面から得られたデータを１つにすることにより、走査された文書からテキストを提供することができる。しかし、同様の方法が、ノイズを制限し、複調出力における画像コントラストを最大化することに関して期待はずれであることが判っている。このタイプの方法は、テキスト文字列又は他の関心画像内容がフラットなバックグラウンドを背にしている場合には、或る程度制限された範囲で成功するかもしれないが、しかし、複雑なカラーバックグラウンドを背にしたテキストを有する文書には十分には適さない。

米国特許出願公開第２００４／００９６１０２号明細書（Handley）には、色分析によって関心のあるテキスト又は画像内容を識別するために、３Ｄ色空間におけるクラスタリングを用いる方法が記載されている。しかし、このような方法は、文書バックグラウンドがより複雑な色内容を有する場合にノイズを生じさせる傾向がある。

これらの開示内容に記載された方法のうちのいくつかは、限られたタイプの単純な多色文書に有用であり得るものの、これらの方法は、複雑な色内容を有する文書には十分には適さない。その代わりに、何らかの追加のタイプの後処理、例えば、テキスト文字らしきものを識別するために近隣画素を結合するアルゴリズム、又はノイズの高いグレースケール・データからテキスト文字情報を得るためＯＣＲ技術が典型的には求められる。

適応的アプローチのような進歩が見られるにもかかわらず、また、文書からの三色ＲＧＢデータを走査することが実際的になってきているとはいえ、正確な閾値化を達成するという課題は、依然として困難である。このような困難は、かなりの量のバックグラウンド色内容を有する文書からテキスト情報を走査して得ることが必要なときに、特に深刻であり得る。

銀行業界で個人小切手２０として知られている最近の商業銀行法は、より正確な閾値化、及び画像のバイナリ・データへの変換の必要性に対する関心の高まりをもたらした。この法律によって、小切手から電子走査された画像データは、オリジナル署名入り紙小切手文書と同じ法的地位であることが許される。走査された小切手データは、代替小切手として役立つ画像代替文書（ＩＲＤ）を形成するために使用される。このような小切手電子画像が得られたら、次いでオリジナル紙小切手を破棄することができる。金融機関のためのこのような開発の利点としてうたわれているものには、コスト軽減及びより迅速な取引スピードが含まれる。紙小切手からデジタル画像への変換において、該小切手２１法は、画像記憶要件の軽減、及び判読可能性の改善を含む理由から、データを複調形態又はバイナリ形態に正確に変換することを必要とする。

画像走査及び分析において進歩は見られるにしても、複雑なバックグラウンド色内容は依然として、小切手２０の利点、及び電子走査された画像を用いて可能になる他の能力を利用することの障害となる。例えば、銀行小切手上にある種々の情報フィールドの寸法及び位置は少なくともいくらかは標準化されているが、小切手間ではかなり異なるバックグラウンド内容が存在し得る。種々の小切手印刷機から作られるいわゆる「個人化」小切手又は注文小切手は、可変範囲の色画像内容を含むことができるので、同じ口座内で使用される小切手でさえ、異なるバックグラウンドを有することができる。問題をさらに複雑にしているのは、その小切手上に記録されるデータが、ペンのいずれか特定の色で書かれなければならないという要求がないことである。これが要求されるならば、いくつかの文書のテキスト抽出を単純化できるはずである。さらに、関心情報領域は、小切手間で変えることが可能である。その結果、関心情報が信頼性高く判読可能であるそれぞれの小切手を完全自動バイナリ走査することが未だに難しいことがある。走査される小切手の画像の大きいパーセンテージは、現在のところ、過剰のバックグラウンド残留内容及びノイズを含有し、これらはデータ判読可能性を低減するだけでなく、画像ファイルサイズを著しく高めるおそれもある。特に、膨大な数の小切手を毎日走査していることを考えると、ファイルサイズの非効率性は、余分の伝送時間、記憶スペース、及び全処理オーバーヘッドのためのコストを強いる。

明らかに、視覚的な画質検査、及びこれに続く変数調節及び再処理の必要なしに、テキスト又は他の画像内容の明瞭な、読み取り可能なバイナリ画像を生成することができる、改善された走査システム及び方法が必要である。目下使用されているスキャナー装置上のシステムの使用を可能にするために、また新しい構成部分の設計及び製造の必要を最小限に抑えるために、改善されたシステム及び方法が、現在利用可能な走査用構成部分と十分に適合可能であれば理想的である。

本発明の目的は、文書から複調画像データを得る方法であって：
（ａ） 少なくとも２つの色チャネルから走査カラー画像データを得ること；
（ｂ） 走査カラー画像データ内で、フォアグラウンド内容とバックグラウンド内容とを含有する少なくとも１つの関心領域を識別すること；
（ｃ） 関心領域内のフォアグラウンド内容とバックグラウンド内容との間で異なる画像属性に従って、少なくとも１つの閾値データ値を得ること；そして
（ｄ） 関心領域から得られた該少なくとも１つの閾値データ値に従って、該文書の走査カラー画像データを、複調画像データに変換すること
を含んでなる、文書から複調画像データを得る方法を提供することである。

別の観点から、本発明は、文書から複調画像を得る方法であって：
（ａ） 少なくとも２つの色チャネルから走査カラー画像データを得ること；
（ｂ） 該走査カラー画像データ内で、フォアグラウンド内容を含有する少なくとも１つの関心領域を識別すること；
（ｃ） 該少なくとも１つの関心領域内のフォアグラウンド内容の少なくとも１つの属性に従って、高コントラスト・オブジェクト・グレースケール画像を生成すること；
（ｄ） 該フォアグラウンド内容データ内のエッジ画素に対応する平均グレースケール値に従って、該少なくとも１つの関心領域に対応する少なくとも１つの閾値を生成すること；そして
（ｅ） 該少なくとも１つの関心領域に対応する少なくとも１つの閾値に従って、該高コントラスト・オブジェクト・グレースケール画像の少なくとも一部に対応する複調画像を生成すること
を含んでなる、文書から複調画像を得る方法を提供する。

２つ又は３つ以上の色チャネルから得られた走査データに基づいて複調画像を得るために使用される閾値を提供することが、本発明の特徴である。走査カラーデータは、適応的閾値化を用いて処理される高コントラスト・オブジェクト・グレースケール画像を提供するために使用される。

本発明の利点は、コンベンショナルな方法を用いて得られる画像に勝る改善された品質を提供することができる複調画像を走査文書から得る方法を提供することである。

本発明の更なる利点は、適応的閾値化の強度及び勾配閾値の選択を自動化して、これらの値を提供するためのオペレーターの当て推量の必要を排する方法を提供することである。

本発明のこれら及びその他の目的、特徴、及び利点は、本発明の一例としての態様が示され説明されている図面と併せて下記詳細な説明を読めば、当業者には明らかになる。

本明細書は、本発明の主題を具体的に指摘し明確に主張する特許請求の範囲によって締めくくられるが、本発明は、添付の図面と併せて下記説明からよりよく理解されると考えられる。

本説明は具体的には、本発明による装置の部分を形成する要素、又は本発明による装置とより直接的に協働する要素に関する。具体的に示さない又は説明しない要素が、当業者に良く知られている種々の形態を成すことができることは言うまでもない。

本発明の方法を用いて、文書のカラー走査が得られ、走査された画像データから得られる値は、ノイズ含量が低減された、増強された複調画像を生成するために使用される。カラー走査データは先ず、文書上の関心オブジェクト又は関心領域、及び各領域内のテキスト又は他の画像内容の最も可能性の高い色を識別するために使用される。各関心領域内では、関心フォアグランド・オブジェクト及びバックグラウンドのカラー内容が次いで検出される。色チャネルに対応する強度又は濃度を示すカラー走査データが次いで分析され、そして高コントラスト・オブジェクト・グレースケール（ＨＣＯＧＳ）画像を生成するために使用される。次いでエッジ検出論理が、関心領域内の最大勾配を有する特徴を検出するので、適応的閾値化の制御のために、正確な勾配閾値及び強度閾値を生成することができる。高コントラスト・オブジェクト・グレースケール画像は、生成された勾配閾値及び強度閾値を採用する適応的閾値化を利用することによって、複調画像に変換される。

本発明の方法は、背景技術の項で前述した‘６５９ Lee等の特許に開示されたマルチウィンドウ適応的閾値化法と関連して作用する。‘６５９ Lee等の特許明細書の開示全体を本明細書中に組み入れる。データフローに関して、本発明の方法は、画像処理のさらに「上流側」で提供される。結果として増強された画像、及び本発明の方法を用いて生成された作用変数データは‘６５９ Lee等の開示に記載された適応的閾値化プロセスへの入力として効果的に使用することができ、これにより、適応的閾値化を成功裡に実行するために、最適化された入力及び調整された変数を提供することができる。

本発明の方法は、文書のフォアグラウンド内容とそのバックグラウンド内容との間の可能な限り最良の分離を得るという目的を有している。フォアグランド内容のタイプは、文書に応じて変化する。例えば個人小切手の場合、フォアグランド内容は、支払人によって記入されたテキストを含み、このテキストは例えばＯＣＲ走査のような更なる処理を必要とすることがある。他のタイプの文書は、印刷されたテキスト・フォアグランド内容又は他の画像内容を含むことがある。バックグラウンド内容は１つ又は２つ以上の色を有していることがあり、そしてかなりな量のグラフィック内容を含んでいることがある。バックグラウンドとは異なり、フォアグランド内容は一般に単一の色を有する。

図１を参照すると、本発明の方法を用いて複調画像を得るための一連の基本処理が示されている。最初の走査ステップ１００において、多色走査、例えばＲＧＢカラー走査が先ず文書から得られる。走査ステップ１００は、走査カラー画像データを生成し、このデータは次いで、高コントラスト・オブジェクト・グレースケール（ＨＣＯＧＳ）画像を生成するための後続ステップ、そしてフォアグランド・テキスト又は関心が持たれる画像内容を抽出する適応的閾値化法を最適化するのを助ける強度閾値ＩＴと勾配閾値ＧＴとを生成するための後続ステップで分析され使用される。

多色走査データを効率的に使用するための重要な準備ステップは、文書上の１つ又は２つ以上の関心領域を識別することである。関心領域とは、フォアグランド・テキスト又は関心が持たれる画像内容を含有し、そして望まれない多少の量のバックグラウンド内容を含有するかもしれない文書区域であると理解することができる。関心領域は、走査された区域全体に及ぶこともできるが、大抵の場合、例えば個人小切手の場合には、文書上には、不連続の関心領域がただ１つ又は２つ以上配置されているだけである。典型的には関心領域は方形である。

関心領域識別ステップ１２０がこの機能を発揮するために使用される。関心領域を選択又は検出する数多くの方法がある。個々の事例において最も有用な方法は、文書のタイプ自体に依存することができる。例えば、走査された個人小切手、又は他の銀行取引文書の場合、文書のサイズ、及びその関心領域、例えば小切手の金額、受取人、及び日付のような領域の相対位置が、典型的には十分に定義される。このような場合、ステップ１２０の部分として関心領域を識別するために高度な方法は必要ではない。走査されたデータ内で何らかの基本原点を見極めること、そして各関心領域の位置を確認するために、その原点からの好適な相対距離を測定することが必要となるだけである。各関心領域１２０を識別する１つの別の方法として、キーボード上で入力された、又は他のユーザー・コマンド・メカニズムを使用して、例えばマウス、キーパッド、又はタッチスクリーンを使用して提供された次元座標データ値を採用することもできる。関心領域を自動的に見いだす他の方法は、エッジ検出ソフトウェアを使用して水平線のエッジを検出することを含むこともできる。これを目的として、例えば、１−Ｄソーベル（Sobel）エッジ検出子を使用することもできる。エッジ検出は、走査されたデータから歪み効果を最小限にするのを助けるために使用することもできる。個人小切手を走査するときには、例えば、このように検出することができる少数の基準線がある。鉛直線の周りの小さな角度範囲にわたるエッジ検出を行うことにより、画像処理アルゴリズムが、走査データにおける僅かな量の歪みを見極め、これを補償することができる。

複雑なバックグラウンドを背にしたテキストを含有する関心領域を識別するために提供されている種々の技術の中には、“Locating Text in Complex Color Image”と題された研究報告（Yu Zhong, Kalle Karu,及びAnil K. Jain著、Pattern Recognition, Vol. 28, No, 10, 1995, pp. 1523-1535)に記載されたものがある。これらの著者によって記載されたアプローチは、バックグラウンド内容とは十分に区別される色を有する水平方向のテキスト文字を検出するために用いられる結合成分分析を含む。他のアプローチは、水平方向テキスト文字行を示すシャープな遷移を検出する、空間的変化(spatial variance)分析を含む。著者であるZhong、Karu、及びJainはまた、結合成分法及び空間変化法の両方の強さを組み込むハイブリッド・アルゴリズムを提案している。しかしこれらの著者によって述べられているように、彼らが採用する方法は、経験に基づいて調整されたパラメータを必要とし、そしてテキストとバックグラウンド色内容とが余りにも似ている場合、又はテキスト文字が例えば互いに結合している場合、例えば手書きテキスト又は筆記体テキストの場合には、限られた成功しか達成しない。

多くの場合、或る特定クラスの文書は、フォアグランド・テキスト又は他の関心内容の位置を確認するのを助ける１つ又は２つ以上の基準マーキングを有している。1つの態様の場合、図２Ａに示されているように、水平線Ｈ１、Ｈ２及びＨ３は、基準マーキングとして役立つ。個人小切手２０上の水平線Ｈ１、Ｈ２、及びＨ３の位置を確認するために、エッジ検出が行われる。このことは、１−Ｄソーベル・エッジ検出アルゴリズムを使用して、カラー走査データから得られたグレースケール・データを処理することにより達成される。アルゴリズムは、ピーク強度（又は黒色画素濃度）に関する走査データを通してチェックを行い、連続する一連の鉛直線におけるデータを通して作業する。最高強度を有するピーク値が、水平線Ｈ１、Ｈ２及びＨ３の座標に発生する。これらの線の位置が確認されたら、図２Ｂに示されているように、対応関心領域Ｒ１、Ｒ２及びＲ３を個人小切手２０上で位置確認することができる。この例における単純な文書の場合、関心領域は、対応水平線Ｈ１、Ｈ２又はＨ３に対する好適な位置に位置決めされた方形区域を構成するだけで、位置確認することができる。

識別されたそれぞれの関心領域内では、フォアグランド・テキストの色内容又は他のフォアグランド画像内容及びバックグラウンドの色内容を次いで、関心領域識別ステップ１２０の一部として検出することができる。これは、数多くの方法によって見極めることができる。1つの態様の場合、３つのＲＧＢチャネルは、どのチャネルが関心領域内の関心オブジェクトの最大コントラスト差を有するかを見極めるために、それぞれチェックされる。このチャネルからの画像データは次いで、所期画像内容が周囲のバックグラウンドよりも暗いという観察に基づいて、所期のテキスト又はフォアグランド画像内容の位置を確認するために使用される。このプロセスの一部として、又は制限された関心領域内の最高濃度画像の約２０％以下であるとして所期のフォアグランド・テキスト又は画像内容を分離するための妥当性確認として、ヒストグラム分析を使用することができる。

フォアグランド画像内容を含有する画像集合が識別されると、これらの画素のそれぞれに対応する各色チャネル（典型的にはＲＧＢ）内のデータ値が、フォアグランド画像又はテキストの色を見極めるために使用される。このフォアグランド内容色は、典型的にはこの集合内の画素の赤、緑及び青の平均値として典型的に算定される。バックグラウンド色は次いで、フォアグランド画像画素集合以外の画素の平均ＲＧＢ値として算定される。或いは、走査カラー画像データからグレースケール画像を生成し、これを１つ又は２つ以上の関心領域を識別するために処理することもできる。

今説明した処理ステップを用いて、関心領域識別ステップ１２０は、文書上の１つ又は２つ以上の関心領域を識別し、そして各領域内で、フォアグランド・テキスト又は他の画像の色組成、及び関心領域内のバックグラウンドの主要部分の色組成を識別する。これらの重要な画像属性は、後続の処理ステップにおいて、各領域毎にＨＣＯＧＳ画像、並びにＧＴ及びＩＴ閾値を生成するために使用される。強調すべき重要な点は、文書上の各関心領域を個別に取り扱うことができ、各関心領域毎に局所的ＧＴ及びＩＴ閾値を生成するのを可能にすることである。この能力は、特定の関心領域において重要であることもないこともあるが、しかし、バックグラウンド内容が極めて複雑である文書に対して、又は同じ文書の異なる領域内のフォアグランド・テキスト又は画像内容が異なる色であるかもしれない文書に対してさえも、複調画像を提供するフレキシビリティを可能にする。

再び図１を参照すると、各関心領域毎に見極められたフォアグランド画像色及びバックグラウンド色を用いて、高コントラスト・オブジェクト・グレースケール画像生成ステップ１４０が実行される。図１に示されているように、高コントラスト・オブジェクト・グレースケール画像生成ステップ１４０は、ステップ１２０の色検出結果からの１つ又は２つ以上の画像属性、及びＲＧＢ又はステップ１００で入力として得られた他の多チャネル走査データ値を使用する。出力は、色平面又は色チャネルのうちの１つ又は２つ以上を組み合わせて使用して形成されたグレースケール画像である。例えば、文書上の関心領域内の検出されたフォアグランド内容色は、単一色平面内に最も顕著なオブジェクト・コントラストを有することもあり得る。このような場合、高コントラスト・オブジェクト・グレースケール（ＨＣＯＧＳ）画像は、色チャネル、例えば赤、緑又は青（ＲＧＢ）のうちの１つだけから生成することができる。コントラストを１つの画像属性として使用することができ、この場合、検出されたフォアグランド色とバックグラウンド色との間のコントラストは、色チャネルのうちのどのチャネルが、単独で又は別の色チャネルとの組み合わせで、最高度の差、ここでは最適なオブジェクト・コントラストを提供するかを見極めるために評価される。いくつかの事例において、２つの色チャネルの組み合わせを用いることもできる。例えば大部分が青のフォアグランド・オブジェクトの場合、赤及び緑の値の平均が好適であることが可能であり、これにより各グレースケール値は次式を使用して画素として形成される。

さらに別の態様として、ＨＣＯＧＳ画像は、色チャネルの３つ全てから生成することができる。例えば、実質的にニュートラル(Neutral)なフォアグランド・オブジェクトの場合、赤、緑、及び青の値の平均が用いられてもよく、従って、各グレースケール値は次式を使用して画素として形成される。

グレースケール値に達するためのさらに他の態様は、加重値を使用したより複雑な組み合わせを含み、これにより、各色平面値は、下記例：

におけるように、スカラー乗数を有するか又はここでは割り算が整数以外の数で行われる。

後続の手順の例は、どのように、1つの態様においてＲＧＢ色データとして走査された図２Ａ及び２Ｂの個人小切手２０のために、高コントラスト・オブジェクト・グレースケール画像を得ることができるかを示している。個人小切手２０上の関心領域Ｒ２に関して、下記データ表現が用いられる：
Ｒ２におけるテキスト又は他のフォアグランド画像の色（Ｒ_2tＧ_2tＢ_2t）
Ｒ２におけるバックグラウンドの色：（Ｒ_bＧ_bＢ_b）

図３に高コントラスト・オブジェクト・グレースケール画像生成ステップ１４０を拡張して示したように、算定ステップ１４２において、各関心領域内のフォアグランド色に関して値集合を算定する。領域Ｒ２に対しては、下記算定：

が行われ、ここでＴは、特定の色チャネルのフォアグランド色値間の差を表し、そして下付文字は、対応色チャネルを表す。

領域Ｒ２内のバックグラウンドの場合、下付小文字ｂは、データ内の測定バックグラウンド値を示し、そしてＱは、下記のように：

種々異なる色チャネルを使用して算定された、算定バックグラウンド色値の差を表す。

なおも図３を参照すると、コントラスト見極めステップ１４４が続く。図４は、フォアグランド（Ｔ）及びバックグラウンド（Ｑ）内容の最高コントラスト・レベルを示す色チャネルを見極めるために使用される論理条件１４７を示す。値Ｃ_thは、経験に基づいて見極められた閾値を示す。いくつかの事例において、フォアグランド又はバックグラウンド内容のために単一色チャネルが最良に使用される。例えば、バックグラウンド値Ｑ_2rgが値Ｑ_2gbを超え、そして値Ｑ_2rbが値Ｑ_2gbを超える場合、バックグラウンド値Ｑ２は、図４の第４行に示されているように、赤である。

図５は次いで、図３の計算ステップ１４６を完成するために使用される決定木(decision tree)１４８を示す。図４の論理条件１４７を用いて行われた種々の可能な色見極めのそれぞれに対して、サブステップＳ１からＳ９が示されている。ＨＣＯＧＳは、高コントラスト・オブジェクト・グレースケール算定の値を意味する。Ｃ_iは、高強度色チャネルを意味する。前述のように、この手順は、本発明の1つの態様において作業する論理流れステップ集合の一例を示している。全て本発明の範囲に含まれる同様のタイプの順序付け及び種々異なる形で調節された結果と共に、他の態様において他の設定を用いることもできる。

例えば、図１１Ａは、ＲＧＢ色走査から最初に得られた、結果としてのカラー画像４２（本出願ではグレースケール画像として示される）を示している。図１１Ｂは、得られた増強ＨＣＯＧＳ画像４０を示す。図１１Ｃは、図１０で示したような、閾値ＧＴ＝４７０及びＩＴ＝３２による適応的閾値化を用いて得られた最終的な複調画像又はバイナリ画像４４を示す。この例では、関心領域Ｒ２（その一部が図７に示されている）から得られたフォアグランド内容に対応する概算ＲＧＢ強度値は、（Ｒ＝２００，Ｇ＝８０，Ｂ＝４０）であった。バックグラウンド内容のＲＧＢ値は、（Ｒ＝２３０，Ｇ＝２２０，Ｂ＝２１０）であった。図４の第２及び３行に示されているように、バックグラウンド値はニュートラルであると算定され、フォアグランド・テキスト内容は、赤と考えられる。図５の後続ステップＳ４において、最適ＨＣＯＧＳ画像は：

を使用して得られる。

このようにして、高コントラスト・オブジェクト・グレースケール画像生成ステップ１４０（図１）の終わりに、走査ＲＧＢ色データから、高コントラスト・オブジェクト・グレースケール画像が得られる。後続の一連のステップは、複調画像出力を得るための適応的閾値化ステップ１８０の実施において使用されることになる他のパラメータを得、そして検証する。このステップの一例が、図６において単一フォアグランド・テキスト文字に関して示されている。この場合、領域Ｒ２において、文字ＡのＲＧＢチャネル値は（２０，３０，４０）であり、この値はフォアグランド・テキスト内容に対応するニュートラル値である。領域Ｒ２内のバックグラウンド内容は赤みを帯びており、そのＲＧＢチャネル値は（２００，３０，１０）である。図４の第１行の論理条件１４７に従って、テキスト文字Ａは、ニュートラル色を有するものとして最良に識別される。ここで、フォアグランド・テキスト内容とバックグラウンドとの間の最高コントラストは、赤チャネルにおいて与えられる。別の関心領域Ｒ２内の同様のテキストもニュートラルを示す場合、図５の決定木１４８のサブステップＳ３を用いてＨＣＯＧＳが見極められる。この論理に従うと、赤色チャネルはＣ_iに等しく、そして最良の高コントラスト・オブジェクト・グレースケール画像を提供する。

図１に示された次の一連のステップは、適応的閾値のために使用される勾配閾値（ＧＴ）と強度閾値（ＩＴ）とを提供する。上記のように、これらの閾値を文書上の各関心領域毎に別個に生成できることが、本発明の方法の利点である。エッジ見極めステップ１５０において、関心領域内に最大勾配を有する特徴を検出するために、エッジ検出論理が適用される。これを行うために、領域内の各グレーレベル毎に勾配分布データを生成し、そしてグレーレベル・ヒストグラムを維持する。累積勾配値をそのグレーレベルにおける画素数によって割り算することにより、各グレーレベル毎の平均勾配分布値を得る。この勾配分布計算から得られたピーク値は、関心画像内容に対応する候補強エッジ点を示す。

図７Ａは、個人小切手２０上のフィールドとしての領域Ｒ２の例を示す。図７Ｂは、識別されたエッジ点３０を有するこの領域Ｒ２を示している。この例を考えると、図８は、エッジ検出ステップ１５０の部分としてこの関心領域内の強エッジ点を検出し、測定ステップ１６０で平均強度及びエッジ点の勾配を得、そして有効性チェック・ステップ１７０でデータを検証するために使用することができる一連のステップを示している。勾配算定ステップ１５２は、領域Ｒ２における各画素の勾配値を得る。このステップに関しては、各画素位置における勾配値を得るために、３×３ソーベル(Sobel)演算子、又は他の勾配測定メカニズムを用いることができる。各勾配値が得られるのに伴って、各グレースケール値毎に累積和が維持される。このプロセスが行われるのに伴って、ヒストグラム位置ステップ１５４も実行される。このステップにおいて、図９に示されているようにヒストグラムが維持される。良く知られた統計ツールであるヒストグラム曲線は、各グレースケール値Ｌ毎に得られたカウントをグラフィカルに示す。特定のグレースケール値Ｌに対応する個々の値は、Ｎ（Ｌ）と表される。

こうして、例えばグレースケール値（Ｌ）が１１２の画素に直面するたびに、その画素で得られた勾配値は、グレースケール値１１２に対応する全ての以前の勾配値に加えられる。このようにして、累積和ＧＳ（Ｌ）が各グレースケール値Ｌ毎に得られる。例えば、ヒストグラムが、１１２のグレースケール値を有する６７個の画素があることを示す場合、累積和ＧＳ（１１２）は、これらの画素に対して得られた６７個の勾配値の全ての累計である。

これらの合計値を用いるために、平均勾配算定ステップ１６２の部分として、平均勾配ＡＧ（Ｌ）が算定される。各グレースケール値Ｌ毎に平均勾配を得るために、下記単純な割り算：
ＡＧ（Ｌ）＝ＧＳ（Ｌ）／Ｎ（Ｌ）
が用いられる。このように、前記例を続けると、１１２のグレースケール値を有する６７個の画素の場合、対応する平均勾配ＡＧ（１１２）は：
ＡＧ（１１２）＝ＧＳ（１１２）／６７
と算定される。

この算定は、各グレースケール値Ｌ毎に実行される。その結果は、図１０に示されたように表すことができる。この場合算定された勾配値ＡＧ（Ｌ）は縦座標値として（図１０では１０倍の尺度で）表され、そして個々のグレーレベルＬは横座標に沿って表される。図１０のＡＧ（Ｌ）曲線が示すように、候補識別ステップ１６４（図８）において識別されたこの曲線内のピーク値は、更なる分析のための候補エッジ点として役立つ強エッジ点を示す。これらの値は、勾配閾値ＧＴ及び強度閾値ＩＴとして標識付けされる。小さな勾配値ＡＧ（Ｌ）は、バックグラウンド内のフラット区域を示す。

なおも図８を参照すると、関心領域内のテキスト又は他のフォアグランド内容を抽出するための適応的閾値化において使用するための最も可能性の高いＧＴ値及びＩＴ値を決定するために、選択ステップ１７２の部分として候補ＧＴ及びＩＴ値を調べることが今、残されている。この選択を実施する際には、図９のヒストグラムが、可能性の低い候補ＧＴ及びＩＴ値を排除するために経験に基づいて見極められた経験則と併用される。これを目的として、テキスト面積パーセンテージが採用される。経験的基準に基づいて、走査されている文書のタイプに対応するフォアグランド・テキスト内容が、グレースケール値全体の比較的小さなパーセンテージ、典型的にはこの例において１０％未満であることが観察されている。図９及び１０の一例としての値を用いて、各候補ＩＴ値毎の公称相対ヒストグラム面積パーセンテージは下記の通りである：
Ｌ＜９４におけるテキスト面積パーセンテージ＝３０％
Ｌ＜３２におけるテキスト面積パーセンテージ＝６％
これらの算定テキスト面積パーセンテージを考えると、候補ＩＴ値９４は高すぎる。他方において候補ＩＴ値３２は、約６％の面積パーセンテージをもたらし、これは望ましい範囲にある。結果としてのＩＴ値３２は、これと対応する結果としてのＧＴ値と一緒に、次いで更なる処理のために使用される。図７Ａ及び７Ｂに示された一例としての領域Ｒ２を参照すると、ＩＴ値９４は、個人小切手２０上の望まれないバックグラウンド内容と関連しているように見える。例７Ｂにおいて符号３０で示す白化点は、このプロセスを用いて見いだされ、そして結果としてのＩＴ及びＧＴ値を有する強エッジ点である。

一連のステップ１５０、１６０及び１７０は、1つの態様における各関心領域毎に行われる。図８に示された処理手順の結果として、関心領域に対応する強度閾値ＩＴ及び勾配閾値ＧＴの好適な結果値が、図１に示されているような適応的閾値化ステップ１８０における更なる処理のために今や利用可能である。次いで適応的閾値化ステップ１８０に各関心領域毎に入力されるのは、これらのＩＴ及びＧＴ値、プラス、高コントラスト・オブジェクト・グレースケール画像生成ステップ１４０において得られた高コントラスト・オブジェクト・グレースケールＨＣＯＧＳ画像である。より高いコントラストを有する文書、例えば明るいバックグラウンド上に暗いテキスト・フォアグランドを有する文書には、強度閾値ＩＴだけで十分であり得ることに注目することは有益である。フォアグランド内容とバックグラウンド内容とがより複雑な場合、勾配閾値ＧＴ値はＩＴ値と併用される。図８に示されたステップを用いて生成されたＩＴ及びＧＴ閾値は、広域的、すなわち走査文書全面に適用することができるか、或いは局所的、すなわち、特定の関心領域内のその画像部分だけに適用することもできる。

多色チャネル内で最初に走査された文書に対応する複調又はバイナリ画像を生成するために、適応的閾値化ステップ１８０が閾値化プロセスを実行する。この閾値化ステップ１８０は、このステップに提供されたＩＴ及びＧＴ閾値が、特定の関心領域内の画像データに対するその応答を制御できるという意味で適応的である。これらの閾値は、別個の文書間だけでなく、同じ文書内の別個の領域間でも異なることが可能である。1つの態様の場合、適応的閾値化ステップ１８０は、前記‘６５９ Lee等の特許に開示された処理手順を実施する。

図１に要約し、本明細書で説明した処理を用いて、適応的閾値化がこうしてさらに自動化され、オペレーターの介入、並びに好適なＩＴ値及びＧＴ値の選択の必要が排除される。さらに、適応的閾値化に提供されたＨＣＯＧＳ画像は、高品質バイナリ出力を生成するように最適化される。このように、結果として生じる複調画像は、現行の閾値化法を用いて得られるものよりも優れている。

本発明を、特定の好ましい態様を具体的に参照しながら詳細に説明してきたが、しかし上記のような、また添付の特許請求の範囲に記載したような本発明の範囲内で、本発明の範囲を逸脱することなしに当業者によって変更又は改変を加え得ることは言うまでもない。例えば、各画素位置における勾配値Ｇ（Ｌ）を得るための３×３ソーベル演算子に対する代替手段として数多くの種々異なる技術を用いることもできる。得られた勾配値Ｇ（Ｌ）を調節するために、スカラー勾配感度因子を、例えばデフォルト値（1つの態様において０．８）で掛け算することによって用いることもできる。色平面データに応じて、又はスキャナー感度の差を補償するために、種々異なるスカラー値を使用することもできる。

走査自体は種々の文書上で、そして所定の分解能で実施することができる。走査データは２つ又は３つ以上の色チャネルを得ることもでき、例えば色チャネルのうちの２つだけを使用してコンベンショナルなＲＧＢデータを得ることができる。３つよりも多い色チャネルを得るスキャナーを使用してもよく、また４つ又は５つ以上のチャネルからの色情報を使用して複調データを得るように拡張された方法を用いることもできる。

こうして、提供されるものは、かなりな量のバックグラウンド色内容を有する文書から、色走査データを用いて、高品質複調画像を得る方法である。

図１は、本発明の方法のための論理フローダイヤグラムである。 図２Ａは、水平線を有する走査文書の一例を示す平面図である。 図２Ｂは、図２Ａにおけるような水平線を有する走査文書の関心領域を示す平面図である。 図３は、１つの態様における高コントラスト・オブジェクト・グレースケール画像を生成する論理フローダイヤグラムである。 図４は、高コントラスト・オブジェクト・グレースケール画像を得るために使用する最良の色チャネルを見極めるのに使用される論理条件集合を示す図である。 図５は、高コントラスト・オブジェクト・グレースケール画像を得るための決定木を示す図である。 図６は、1つの態様における関心領域内のフォアグランド内容としての単一テキスト文字を示す平面図である。 図７Ａは、関心領域に対応する高コントラスト・オブジェクト・グレースケール画像の一例を示す図である。 図７Ｂは、識別された多数のエッジ点を有する関心領域を示す図である。 図８は、適応的閾値処理のための閾値を得るためのステップを示す論理フローダイヤグラムである。 図９は、図７に示された関心領域に関して得られるヒストグラムの一例を示す図である。 図１０は、図７に示した関心領域に関して得られる平均勾配曲線の一例を示す図である。 図１１Ａは、赤、緑、及び青色チャネル内で走査される文書の一例を示す図である。 図１１Ｂは、図１１Ａの文書に対応する高コントラスト・オブジェクト・グレースケール画像の一例を示す図である。 図１１Ｃは、本発明の方法を用いて、図１１Ａの文書から得られる複調画像の一例である。

符号の説明

２０ 個人小切手
３０ エッジ点
４０ ＨＣＯＧＳ画像
４２ カラー画像
４４ バイナリ画像
１００ 走査ステップ
１２０ 関心領域識別ステップ
１４０ 高コントラスト・オブジェクト・グレースケール画像生成ステップ
１４２ 算定ステップ
１４４ コントラスト見極めステップ
１４６ 計算ステップ
１４７ 論理条件
１４８ 決定木
１５０ エッジ検出ステップ
１５２ 勾配算定ステップ
１５４ ヒストグラム維持ステップ
１６０ 測定ステップ
１６２ 平均勾配算定ステップ
１６４ 候補識別ステップ
１７０ 有効性チェック・ステップ
１７２ 選択ステップ
１８０ 適応的閾値化ステップ

Claims (23)

1. 文書から複調画像データを得る方法であって、当該方法は、
   （ａ） 少なくとも２つの色チャネルから走査カラー画像データを得ること；
   （ｂ） 該走査カラー画像データ内で、フォアグラウンド内容とバックグラウンド内容とを含有する少なくとも１つの関心領域を識別すること；
   （ｃ） 該関心領域内のフォアグラウンド内容とバックグラウンド内容との間で異なる画像属性に従って、少なくとも１つの閾値データ値を得ること；そして
   （ｄ） 該関心領域から得られた該少なくとも１つの閾値データ値に従って、該文書の走査カラー画像データを、複調画像データに変換すること
   を含んでなる。
2. 該フォアグラウンド内容がテキストを含む請求項１に記載の方法。
3. 該カラー画像データが、赤、緑、及び青色チャネルデータ値を含む請求項１に記載の方法。
4. 少なくとも１つの閾値を得る該ステップが、ソーベル演算子を使用して該関心領域内のエッジ点を検出することを含む請求項１に記載の方法。
5. 該文書の走査カラー画像データを複調画像データに変換する該ステップが、該少なくとも２つの色チャネルのうちの少なくとも１つの色チャネル内の画像コントラストに従って、グレースケール画像を生成することを含む請求項１に記載の方法。
6. 該文書上の少なくとも１つの関心領域を識別する該ステップが、該文書上の基準マーキングの位置を確認することを含む請求項１に記載の方法。
7. 文書上の少なくとも１つの関心領域を識別する該ステップが、該走査カラー画像データから空間的変化を分析することを含む請求項１に記載の方法。
8. 該文書上の少なくとも１つの関心領域を識別する該ステップが、次元座標値を手動で入力することを含む請求項１に記載の方法。
9. 該文書の走査カラー画像データを複調画像データに変換することが、適応的閾値化論理を実行するステップを含む請求項５に記載の方法。
10. 文書から複調画像を得る方法であって、該方法は、
    （ａ） 少なくとも２つの色チャネルから走査カラー画像データを得ること；
    （ｂ） 該走査カラー画像データ内で、フォアグラウンド内容を含有する少なくとも１つの関心領域を識別すること；
    （ｃ） 該少なくとも１つの関心領域内のフォアグラウンド内容の少なくとも１つの属性に従って、高コントラスト・オブジェクト・グレースケール画像を生成すること；
    （ｄ） 該フォアグラウンド内容データ内のエッジ画素に対応する平均グレースケール値に従って、該少なくとも１つの関心領域に対応する少なくとも１つの閾値を生成すること；そして
    （ｅ） 該少なくとも１つの関心領域に対応する少なくとも１つの閾値に従って、該高コントラスト・オブジェクト・グレースケール画像の少なくとも一部に対応する複調画像を生成すること
    を含んでなる。
11. 該フォアグラウンド内容がテキストを含む請求項１０に記載の方法。
12. 該カラー画像データが赤、緑、及び青色チャネルデータ値を含む請求項１０に記載の方法。
13. 少なくとも１つの閾値を生成する該ステップが、ソーベル演算子を使用して該関心領域内のエッジ点を検出することを含む請求項１０に記載の方法。
14. 該少なくとも２つの色チャネルのうちの１つ又は２つ以上が最高画像コントラストを提供する際に従う第２グレースケール画像を生成するステップをさらに含む請求項１０に記載の方法。
15. 該文書上の少なくとも１つの関心領域を識別する該ステップが、該文書上の基準マーキングの位置を確認することを含む請求項１０に記載の方法。
16. 該文書上の少なくとも１つの関心領域を識別する該ステップが、空間的変化を分析することを含む請求項１０に記載の方法。
17. 高コントラスト・オブジェクト・グレースケール画像を生成するために使用される該フォアグランド内容の該少なくとも１つの属性が、該色チャネルのうちの少なくとも１つにおけるコントラストである請求項１０に記載の方法。
18. 該高コントラスト・オブジェクト・グレースケール画像の少なくとも一部を処理する該ステップが、適応的閾値化論理を実行するステップを含む請求項１０に記載の方法。
19. 該文書上の少なくとも１つの関心領域を識別する該ステップが、座標データ値を手動で入力することを含む請求項１０に記載の方法。
20. 文書から複調画像を得る方法であって、該方法は、
    （ａ） 少なくとも２つの色チャネルから走査カラー画像データを得ること；
    （ｂ） 該文書上の少なくとも１つの関心領域内のフォアグランド内容を識別すること；
    （ｃ） 該少なくとも１つの関心領域内のフォアグラウンド内容の少なくとも１つの属性に従って、高コントラスト・オブジェクト・グレースケール画像を生成すること；
    （ｄ） 該フォアグラウンド内容データ内のエッジ画素に対応する平均濃度値に従って、該少なくとも１つの関心領域に対応する強度閾値を生成すること；
    （ｅ） 該少なくとも１つの関心領域内のエッジ画素に対応するグレーレベルのヒストグラムを使用して、勾配閾値を生成すること；そして
    （ｆ） 該強度及び勾配閾値を使用して該高コントラスト・オブジェクト・グレースケール画像を処理することにより、複調画像を生成すること
    を含んでなる。
21. 勾配閾値を生成する該ステップが：
    （ａ） 該関心領域内の各グレースケール値毎に勾配値の累積和を形成すること；
    （ｂ） 該関心領域内の各グレースケール値毎に発生数をカウントすること；そして
    （ｃ） 該勾配値の累積和を、該各グレースケール値毎の発生数で割り算することによって、各グレースケール値毎の平均勾配値を算定すること
    を含む請求項２０に記載の複調画像を得る方法。
22. 文書の複調画像を形成するために閾値を生成する方法であって、該方法は、
    （ａ） 少なくとも２つの色チャネル内の走査カラー画像データを得ること；
    （ｂ） 関心フォアグランド内容のエッジ画素を検出すること；
    （ｃ） 該検出済エッジ画素の平均強度に従って強度閾値を形成すること；そして
    （ｄ） 該検出済エッジ画素の平均勾配値に従って、勾配閾値を算定すること
    を含んでなる。
23. 文書から複調画像を得る方法であって、該方法は、
    （ａ） 少なくとも２つの色チャネル内の走査カラー画像データを得ること；
    （ｂ） 該文書上の少なくとも１つの関心領域内のフォアグランド内容を識別すること；
    （ｃ） 該少なくとも１つの関心領域のフォアグランド内容におけるエッジ画素からグレースケール及び勾配値を得ること；そして
    （ｄ） 該フォアグランド内容におけるエッジ画素から得られた該グレースケール及び勾配値に従って、該カラー画像データを複調画像データに変換する
    ことを含んでなる。

Images