JP2007028362A - 背景画像と目的画像が混在する画像データを処理するための装置及び方法 - Google Patents

Abstract

【課題】 小切手等の証券の多階調画像データから、背景模様を除去し証券記載事項だけを抽出する。
【解決手段】 証券をスキャンして得た多階調の原画像データ４０に、濃度分布改善処理を施して、証券記載事項の濃度分布範囲と背景模様の濃度分布範囲ができるだけ分離するよう、原画像データ４０の濃度分布を修正する。濃度分布改善方法として、画像鮮鋭化またはコントラスト強調が採用できる。濃度分布改善処理で得た多階調の改善画像データ４２の濃度分布の特徴から、証券記載事項と背景模様を峻別するための２値化閾値４４が計算される。濃度分布の特徴を掴むたて、濃度分布のヒストグラムが使用される。２値化閾値４４を使用して、改善画像データ４２が２値画像データ４６に変換される。２値画像データ４６では、背景模様の大部分が白になり、証券記載事項の大部分が黒になる。
【選択図】図１

Description

本発明は、背景画像と目的画像が混在する画像データを処理するための装置及び方法に関する。

この種の画像処理装置として、特許文献１に記載された小切手等処理装置が知られている。この小切手等処理装置は、小切手や金券等の証券を光学的にスキャンして、その証券の画像データを取得するものである。その画像データ量を削減するために、スキャンで得られた証券の原画像データ（例えばグレースケール画像データ）に２値化処理が行なわれて、証券の２値（白黒）画像データが作成される。この２値画像データでは、証券上の各種の記載事項（例えば銀行名、口座番号、金額、支払人名、署名等）が鮮明に表示されていることが必要である。ここで、小切手等の証券は、通常、その表面に各種の模様や絵柄などの背景画像を有しており、証券上の記載事項はその背景画像の上に重なって記述されていることが多い。特許文献１に開示された改良は、証券の原画像データ中から背景画像を消去し、読取対象である上記記載事項の画像を抽出するように、２値化の閾値を証券の画像的特徴に応じて動的に変化させる点にある。具体的には、証券の全体領域をスキャンする前に、証券の部分領域をスキャンし、その部分的スキャンで得られた画像データからその部分領域の濃度（明度）分布のヒストグラムが把握され、そして、そのヒストグラムに基づいて２値化閾値が計算される。

特開２００４−１２３１１７号公報

特許文献１に開示された原画像データの画像特徴に基づいて２値化閾値を動的に変化させる技術は、証券の原画像データ中から証券上の記載事項のような目的画像を抽出するために大いに有効である。しかし、この技術だけでは、次のような幾つかの問題が依然解決困難である。

第１に、証券上の記載事項には、スキャン解像度より細かい画像要素（例えば、スキャン画像データの１画素寸法より線幅の細い極細線）が含まれることが少なくなく、このような極細または微細な画像要素は２値化処理により欠損してしまうことがある。すなわち、このように極細または微細な画像要素は、スキャン画像データ上では余り濃度の高くないグレーの画素で表現されるので、２値化処理により白画素に変換されてしまう（つまり消去されてしまう）ことがある。

第２に、証券上の背景画像は多種多様であり、背景画像ごとに濃度分布が異なり、その濃度範囲が目的画像（証券記載事項）の濃度範囲と重なる場合がある。このような場合、背景画像と目的画像を濃度で峻別することはできない。その結果、２値化処理により、目的画像と一緒に背景画像の一部も黒領域として抽出される。黒領域として抽出された背景画像に目的画像が重なっている場合、その目的画像を２値画像データ上で識別することは不可能である。

このような問題は、証券読取の用途だけに限らず、他の文書の読取やその他の画像利用の用途においても、背景画像と目的画像を２値化処理により峻別しようとする場合に同様に発生するであろう。

従って、本発明の目的は、背景画像と目的画像が混在する画像データから、背景画像を消去して目的画像を抽出するための画像処理の精度を向上させることにある。

本発明の別の目的は、証券やその他の文書の多階調画像データから、背景画像を除去して、文書の記載事項の画像を抽出するための画像処理の精度を向上させることにある。

本発明の第１の側面に従う画像処理装置は、背景画像と目的画像が混在する多階調の原画像データを受け、前記背景画像の濃度分布範囲と前記目的画像の濃度分布範囲が一方から他方が遠ざかるように、前記原画像データの濃度分布を改善して、多階調の改善画像データを生成する濃度分布改善手段と、前記改善画像データを受け、前記改善画像データの濃度分布に基づいて、２値化閾値を計算する２値化閾値計算手段と、前記改善画像データと前記２値化閾値を受け、前記２値化閾値を用いて前記改善画像データを２値化して、２値画像データを生成する２値化手段とを備える。

本発明の第２の側面に従う画像処理方法は、背景画像と目的画像が混在する多階調の原画像データを受け、前記背景画像の濃度分布範囲と前記目的画像の濃度分布範囲が一方から他方が遠ざかるように、前記原画像データの濃度分布を改善して、多階調の改善画像データを生成する濃度分布改善ステップと、前記改善画像データを受け、前記改善画像データの濃度分布に基づいて、２値化閾値を計算する２値化閾値計算ステップと、前記改善画像データと前記２値化閾値を受け、前記２値化閾値を用いて前記改善画像データを２値化して、２値画像データを生成する２値化ステップとを備える。

この画像処理装置または方法によれば、多階調の原画像データに対して濃度分布改善処理を施すことで、背景画像の濃度分布範囲と目的画像の濃度分布範囲との間の重なり量が低減され、両画像が濃度範囲においてより明確に分離されるようになる。濃度分布改善処理が終わった改善画像データを用いて、２値化閾値計算と、その２値化閾値を用いた２値化処理が行なわれる。その結果、背景画像がよりよく除去され、目的画像がよりよく抽出された２値画像データを得ることができる。

従って、濃度分布改善処理は、２値化閾値計算と２値化処理の前に行なわれることが肝要である。好適な実施形態では、濃度分布改善処理として、画像鮮鋭化またはコントラスト強調の処理が採用されるが、これは例示であり、他の処理方法を採用しても良い。

２値化処理で得られた２値画像データに更に、いわゆる胡麻塩状ノイズを除去するためのノイズ除去処理をさらに施しても良い。特に、度分布改善処理として、画像鮮鋭化またはコントラスト強調の処理を採用した場合、胡麻塩状ノイズが発生する可能性が高いので、胡麻塩状ノイズの除去処理を更に行なうことは、画質の良い２値画像データを得るために有意義である。

２値化閾値の計算方法として、改善画像データにおける背景画像の濃度分布範囲と目的画像の濃度分布範囲の接合部を検出し、この接合部に前記２値化閾値を設定するという方法を採用することができる。上記接合部を検出する方法としては、改善画像データのヒストグラムを計算し、そのヒストグラムの傾きから接合部を見つけることができる。例えば、背景画像のヒストグラムの山と目的画像のヒストグラムの山との間の谷が、両者の接合部であることが多いので、そのような谷をヒストグラムの傾きから探し出すという方法が採用できる。

好適な実施形態では、２値化閾値の計算方法として、改善画像データのヒストグラムを計算し、所定条件を満たす変曲点をそのヒストグラムから探索し、探索された変曲点に基づいて２値化閾値を決定するという方法が採用される。

本発明の第３の側面に従う画像処理装置は、背景画像をもつ用紙上に記載事項が印刷または手書きで記述された文書の多階調の原画像データを受け、前記背景画像の濃度分布範囲と前記記載事項の濃度分布範囲が一方から他方が遠ざかるように、前記原画像データの濃度分布を改善して、多階調の改善画像データを生成する濃度分布改善手段と、前記改善画像データを受け、前記改善画像データの濃度分布に基づいて、２値化閾値を計算する２値化閾値計算手段と、前記改善画像データと前記２値化閾値を受け、前記２値化閾値を用いて前記改善画像データを２値化して、前記文書の２値画像データを生成する２値化手段とを備える。

本発明の第４の側面に従う画像処理方法は、背景画像をもつ用紙上に記載事項が印刷または手書きで記述された文書の多階調の原画像データを受け、前記背景画像の濃度分布範囲と前記記載事項の濃度分布範囲が一方から他方が遠ざかるように、前記原画像データの濃度分布を改善して、多階調の改善画像データを生成する濃度分布改善ステップと、前記改善画像データを受け、前記改善画像データの濃度分布に基づいて、２値化閾値を計算する２値化閾値計算ステップと、前記改善画像データと前記２値化閾値を受け、前記２値化閾値を用いて前記改善画像データを２値化して、前記文書の２値画像データを生成する２値化ステップとを備える。

この画像処理装置または方法によれば、文書の画像データから、背景画像をよりよく消去して、記載事項だけをよりよく抽出した２値画像データを得ることができる。

本発明の第１と第２の側面に従う装置および方法によれば、背景画像と目的画像が混在する画像データから、背景画像を消去して目的画像を抽出するための画像処理の精度を向上させることができる。

本発明の第３と第４の側面に従う装置および方法によれば、証券やその他の文書の多階調画像データから、背景画像を除去して、文書の記載事項の画像を抽出するための画像処理の精度を向上させることにある。

図１は、本発明に従う画像処理装置の一実施形態の要部の機能的構成を示すブロック線図である。この実施形態は、小切手をスキャンして小切手のスキャン画像データを処理するための小切手読取装置に本発明を適用したものであるが、これは説明のための例であり、それ以外の様々な用途、例えば小切手以外の証券やその他の各種文書の読取や、各種の画像処理アプリケーションプログラムなどにも、本発明が適用可能であることはいうまでもない。

図１に示すように、小切手読取装置２０は、画像読取部２２と、画像処理部２４と、読取制御部２６とを有する。画像読取部２２は、公知の構成をもつ小切手用のイメージスキャナであり、そこにセットされた小切手の表面を光学的にスキャンして、小切手表面の多階調画像（例えばグレースケール画像）を表したラスタ画像データ（以下、原画像データという）４０を出力する。画像処理部２４は、画像読取部２２から出力された原画像データ４０を受け取り、受け取った原画像データ４０を本発明の原理に従う方法で処理して、小切手の２値画像データ４６（または４８）を作成し、その２値画像データ４６（または４８）を出力する。読取制御部２６は、画像読取部２２および画像処理部２４にそれぞれ制御信号２８、３０を与えて、画像読取部２２および画像処理部２４の動作をそれぞれ制御する。

以下、画像処理部２４について、より詳細に説明する。

この小切手読取装置２０の利用目的は、小切手上の各種の記載事項（銀行名、口座番号、支払金額、支払人名、受取人名、署名、各種番号等を表したキャラクタや、それらキャラクタの記入位置をガイドするアンダーラインや枠ラインなど）を鮮明に表示した小切手の２値画像データを生成することにある。通常、小切手用紙の表面には何らかの模様や絵柄が背景として予め印刷されており、この小切手用紙上に上述した種々の記載事項が印刷または手書きで記述される。そのため、画像読取部２２から出力される小切手の原画像データ４０には、背景の模様や絵柄の画像（以下、背景画像という）と記載事項の画像（以下、目的画像という）とが混在しており、前者の上に後者が重なっていることが多く、そして、上述した小切手読取の利用目的からは、背景画像は無用であり、目的画像（小切手の各種記載事項の画像）だけが欲しい。そこで、画像処理部２４は、小切手の原画像データ４０を本発明の原理に従い処理して、原画像データ４０中から背景画像を消去し、できるだけ目的画像だけを選択的に抽出するように構成されている。

このような画像処理を行なうために、画像処理部２４は濃度分布改善部３２、２値化部３４および閾値計算部３６を有する。画像読取部２２からの原画像データ４０は、まず、濃度分布改善部３２に入力される。濃度分布改善部３２は、原画像データ（多階調画像データ）４０を受け取り、原画像データ４０中の背景画像と目的画像のそれぞれの濃度分布範囲が一方から他方が遠ざかるように、原画像データ４０の濃度分布を改善する。通常、原画像データ４０では目的画像の濃度は高濃度範囲に偏って分布し、背景画像の濃度は目的画像より低濃度の範囲に偏っているため、濃度分布改善処理では、その偏りが一層顕著になるように、すなわち、目的画像の濃度は一層高濃度方向へ寄り、背景画像の濃度は一層低濃度方向へ寄るように、濃度分布の改善つまり修正が行なわれる。これにより、背景画像と目的画像のそれぞれの濃度分布範囲の重なりが低減し、より明確に異なる濃度範囲に分離するようになる。この濃度分布改善の具体的方法には幾つかの方法が採用し得るが、本実施形態では、一例として、画像鮮鋭化またはコントラスト強調の方法を採用する。濃度分布改善部３２から出力される濃度分布を改善された多階調画像データ（以下、改善画像データという）４２は、次に、閾値計算部３６と２値化部３４に入力される。

閾値計算部３６は、改善画像データ４２の画像特徴、とりわけ濃度分布の特徴に基づいて動的に、背景画像と目的画像を峻別するための２値化閾値４４が決定される。すなわち、閾値計算部３６は、改善画像データ４２の全領域の濃度分布のヒストグラムを作成し、そのヒストグラムに基づいて、背景画像と目的画像を峻別するための２値化閾値４４を計算する。既に、濃度分布改善部３２によって、改善画像データ４２の濃度分布が、背景画像と目的画像ができるだけ別の濃度範囲に分離するように改善されているので、閾値計算部３６では、背景画像と目的画像をより良好に峻別できるような２値化閾値４４を決定することができる。この２値化閾値４４は、２値化部３４に入力される。

２値化部３４は、濃度分布改善部３２からの改善画像データ４２を、閾値計算部３６からの２値化閾値４４を用いて２値化する。すなわち、改善画像データ４２中、濃度が２値化閾値４４以上の領域は黒領域に、濃度が２値化閾値４４より低い領域は白領域に変換される。上述したように、２値化処理の対象である改善画像データ４２では、背景画像と目的画像ができるだけ別の濃度範囲に分離するように濃度分布が改善されているとともに、２値化閾値４４が、改善画像データ４２の背景画像と目的画像を良好に峻別するように定められている。そのため、２値化処理により、背景画像の大部分は白領域に変換されて消去され、目的画像の大部分は黒領域に変換されてことになる。よって、目的画像が良好に抽出された２値画像データ４６が得られる。

２値化部３４から出力された２値画像データ４６は、画像処理部から小切手処理装置２０の外部へ出力される。なお、変形例として、図１に点線で示すように、２値化部３４の下流にノイズ除去部３８を追加し、２値化部３４から出力された２値画像データ４６をノイズ除去部３８に入力し、ノイズ除去部３８にて、２値画像データ４６に含まれるノイズ（例えば、いわゆる胡麻塩状のノイズ、すなわち、白領域に点在する微細な黒ドットや黒領域に点在する微細な白ドットなど）を除去し、ノイズが除去された２値画像データ４８を小切手処理装置２０の外部へ出力するようにしてもよい。

以下では、上述した画像処理部２４での画像処理により小切手の画像がどのように変化するかについて、具体的に説明する。図２は、参考として、原画像データ４０に濃度分布改善を施さずに直接的に２値化処理を行なった場合の画像の変化を示す。図３は、上述した本発明の実施形態において、原画像データ４０に濃度分布改善を施し、その後に２値化処理を行う場合における画像の変化を示す。

図２Aおよび図３Aには、同じ小切手の原画像データ４０が例示されている。既に説明したように、原画像データ４０は多階調画像データ（例えば、２５６階調のグレースケール画像データ）である。図示の例では、原画像データ４０には、複数（例えば３つ）の背景画像５０、５２、５４が存在し、それらの濃度範囲はそれぞれ異なる。例えば、第１の背景画像５０の濃度範囲は低く、第２の背景画像５２の濃度範囲は中間的であり、第３の背景画像５４の濃度範囲は高い。これら異なる背景画像５０、５２、５４の濃度範囲は部分的に重なっていていよい。更に、この原画像データ４０には、多数の目的画像（小切手の記載事項の画像）６０が存在する。目的画像６０の濃度範囲は、背景画像５４の濃度範囲より高いが、部分的に背景画像５４の濃度範囲と重なっていてよい。多くの目的画像６０は、背景画像５０、５２、５４の上に場所的に重なって存在する。

まず、参考例として、図２Aに示すような原画像データ４０に、濃度分布改善処理を施すことなく、直接的に２値化処理を行なった場合を説明する。この場合、図２Bに示すような２値画像データ７０が得られる可能性がある。この２値画像データ７０では、３つの背景画像５０、５２、５４のうち、最も濃度の低い第１の背景画像５０は全て白領域に変換されて消去されているが、より濃度の高い第３や第２の背景画像５４、５２は、そのかなりの部分が目的画像６０と同様に黒領域に変換されてしまい、それに重なった目的画像６０を識別困難にしている。さらに、目的画像６０のうちのスキャン解像度より細いガイド線や枠線は、完全に黒領域には変換されず、部分的に欠損している。

このような問題が生じる原因として、例えば次のような事情が考えられる。例えば、目的画像６０の濃度範囲と第３の背景画像５４の濃度範囲が部分的に重なっていたとすると、濃度範囲で目的画像６０を背景画像５４、５２から峻別することは不可能である。さらに、第３の背景画像５４の濃度範囲に第２の背景画像５２の濃度範囲が部分的に重なっており、濃度分布のヒストグラム上で、目的画像６０と第３と第２の背景画像５４、５２が一つの山のようになっていたとする。そうすると、２値化閾値が第２の背景画像５２の濃度範囲と第１の背景画像５０の濃度範囲との間に設定されることがある。さらに、目的画像６０のなかでも、ガイド線や枠線がスキャン解像度より細かったとすると、原画像データ４０上でそのガイド線や枠線の濃度は２値化閾値より低くなることがある。こうした事情が重なると、上述した問題が発生してしまう。

これに対し、図３A、B、Cに例示するように、この実施形態によれば、上述した問題がかなりの程度で解消される。

すなわち、図３Aに示すような原画像データ４０に、ます、濃度分布改善処理が施される。この実施形態では、濃度分布改善処理として、画像鮮鋭化またはコントラスト強調の処理が行われる。この処理が行なわれると、原画像データ４０上で周囲の他の画素より濃度の高い画素は、その濃度が一層高くなるように修正される。他方、周囲の他の画素より濃度の低い画素は、その濃度が一層低くなるように修正される。目的画像６０（特に、小切手の記載事項のようなキャラクタや線分）では、それを構成する画素の多くが、周囲の領域より濃度が高い、そのため、目的画像６０は、その大部分が、一層高い濃度に修正されて強調される。他方、背景画像５０、５２、５４では、周囲より濃度の高い画素や低い画素が入り混じって分散しており、肉眼では濃度が高く見える領域であっても、そこには周囲より濃度の低い画素が多数分散して存在している。そのため、背景画像５０、５２、５４においては、元々濃度の低かった領域は一層低濃度になる。また、背景画像５０、５２、５４中の元々濃度が高かった領域は、低濃度の部分が増えるとともに、周囲より高濃度だった点が強調され、ちょうど点描画または胡麻塩の画像のように、低濃度の地の上に高濃度のドットが点在するような状態になる。しかし、この点描画または胡麻塩のようになった背景画像部分は、全体が濃く強調された目的画像６０からは肉眼で容易に区別することができる。この改善を濃度分布の観点からみると、目的画像６０の濃度分布はより高濃度の方へ、背景画像５０、５２、５４の濃度分布範囲はより低濃度の方へシフトするように修正され、よって、両者の濃度範囲の重なりが縮小され、両者の濃度範囲がより明確に分離されるようになる。これを濃度分布のヒストグラム（後述する図９に例示するヒストグラム１１０を参照されたい）の形状で見ると、目的画像６０の山が高濃度範囲に存在し、背景画像５０、５２、５４の山が低濃度範囲に存在し、両山の間には原画像データ４０のときより明確な谷が存在して、両山は原画像データ４０のときより明確に分離されているようになる。結果として、図３Bに示すような改善画像データ４２が得られる。この改善画像データ４２では、背景画像５０、５２、５４の濃度はより低くなり、目的画像６０の濃度はより高くなり、薄かったガイド線や枠線も濃い鮮明になっている。

次に、この改善画像データ４２に基づいて、２値化閾値が決定される。その場合、濃度分布のヒストグラム上では、目的画像６０の山と背景画像５０、５２、５４の山とが谷を挟んで分離して存在する。このヒストグラムの谷は、目的画像６０の濃度分布範囲と背景画像５０、５２、５４の濃度分布範囲との接合部に相当し、この谷（接合部）に２値化閾値を設定することができる。

次に、そのよう設定された２値化閾値を用いて、改善画像データ４２に２値化処理が行なわれる。改善画像データ４２では、背景画像５０、５２、５４を構成する画素の多くは、２値化閾値より低い濃度をもつので、白画素に変換され、他方、目的画像６０を構成する画素の多くは、２値化閾値より高い濃度をもつので、黒画素に変換される。結果として、図３Cに示すような２値画像データ４６が得られ、そこでは、背景画像５０、５２、５４の大部分が消去され、目的画像６０の大部分が抽出される。

なお、このように処理しても、背景画像５０、５２、５４を完全に消去し、目的画像６０を完全に抽出することは実際困難である。２値画像データ４６上には、いわゆる胡麻塩状のノイズ６２が残存することがある。そのようなノイズ６２の一つの主原因は、上述したように、濃度分布改善処理（とりわけ、画像先鋭化処理）により、背景画像５０、５２、５４の元々濃度が高かった領域が、点描画または梨地ハッチングのような状態になったことである。すなわち、その点描画または梨地ハッチングのような状態になった領域には、高濃度ドットが点在しており、それが２値化処理で黒ドットつまり胡麻塩状のノイズ６２に変換される。このようなノイズ６２は、２値画像データ４６上で目的画像６０を識別するときに実質的に支障を生じることは少ないので、そのまま残しておいて良い。しかし、前述したノイズ除去処理を更に行なって、胡麻塩状のノイズ６２を除去しても良い。

以下では、上述した、２値化閾値計算処理およびノイズ除去処理の具体的な方法について説明する。

図４、５、６は、濃度分布改善処理、とりわけ、この実施形態で採用する画像鮮鋭化処理の幾つかの方法例を示す。図４は基本的な画像鮮鋭化の方法例を示す。

図４に示すように、原画像データ４０内から一つの着目画素８０が選ばれ、その着目画素８０とその周囲の隣接する画素からなる所定のマトリクスサイズの処理領域８２が選ばれる。図４の例では、処理領域８２として、着目画素８０を中心とした３画素×３画素マトリクスの領域が選ばれる。この処理領域８２内の画素は、それぞれ、図示のような画素値（画素値が低いほど濃度が高い）ａ〜ｉを有しているとする。この処理領域８２と同じマトリクスサイズをもつ画像鮮鋭化フィルタ８４が予め用意されている。画像鮮鋭化フィルタ８４は、処理領域８２内の画素にそれぞれ対応した係数を有しており、着目画素８０に対する係数がｍ、着目画素８０の上下左右の４つの隣接画素に対する係数が−ｋであり、着目画素８０の斜め方向に位置する４つの隣接画素に対する係数は例えばゼロである。ここで、係数ｍと係数ｋは、例えばｍ−４×ｋ＝１となる正数である。この画像鮮鋭化フィルタ８４が処理領域８２に適用される。それにより、
ｓ＝ｅ×ｍ−（ｂ＋ｄ＋ｆ＋ｈ）×ｋ
という画像鮮鋭化計算が行われて、着目画素の原濃度値eが改善濃度値ｓに変換される。

この計算によれば、周囲の隣接画素より濃度の高い画素は、その濃度が一層高くなるように修正され、周囲の隣接画素より濃度の低い画素は、その濃度が一層低くなるように修正される。つまり、隣接画素との間のコントラストが強調される。原画像データ４０の内の全ての画素が逐次に着目画素８０として選択され、その都度、上記の画像鮮鋭化計算が行われ、それにより、原画像データ４０が改善画像データ４２に変換される。

図５は、画像先鋭化処理において補助的に採用され得るトーンカーブ処理の例を示す。図５において、画素値は明度値を示しており、よって、画素値０が黒を示し、画素値２５５が白を示し、画素値が低くなるほど濃度が高いことを意味する。

トーンカーブ処理では、図５に示すような特性をもつトーンカーブ８６が予め用意されている。このトーンカーブ８６の入力画素は、原画像データ４０の画素である。このトーンカーブ８６が原画像データ４０のすべての画素に適用される。その結果、原画像データ４０中、黒近傍の所定の極高濃度範囲（画素値がｎ１以下の範囲）の領域は全て最高濃度の黒（画素値０）に変換され、白近傍の所定の極低濃度範囲（画素値がｎ２以上の範囲）の領域は全て最低濃度の白（画素値２５５）に変換される。それ以外の濃度範囲（画素値がｎ１より大きく、ｎ２より小さい範囲）の領域の濃度には変更がない。このトーンカーブ処理は、図４に示した画像鮮鋭化フィルタ８４（または、次に図６を参照して説明する画像鮮鋭化フィルタ９４）を適用する前に行なうことができる。

図６は、画像鮮鋭化処理の別の例を示す。

図６に示すように、原画像データ４０中から着目画素９０が選択され、その着目画素９０と、その着目画素９０から２画素以上離れた位置で着目画素９０を包囲する複数の画素とを含む処理領域９２が選択される。この処理領域９２は最低でも５画素×５画素のマトリックスサイズをもつ。この処理領域９２と同じマトリックスサイズをもつ画像鮮鋭化フィルタ９４が予め用意されている。この画像鮮鋭化フィルタ９４は、着目画素に対する係数と、処理領域９２の最も外側の位置で着目画素９０を包囲する複数の画素にそれぞれ対する係数とを有する。着目画素に対する係数はｍ２であり、着目画素９０の上下左右の方向に位置する４つの画素に対する係数は−ｋ２であり、その他の画素に対する係数はゼロである。ここで、係数ｍ２と係数ｋ２は、例えばｍ２−４×ｋ２＝１となる正数である。図４に示した例と同様、原画像データ４０中のすべての画素が逐次に着目画素９０として選択され、その都度、着目画素９０を中心とした処理領域９２に、画像鮮鋭化フィルタ９４が適用される。

処理領域９２内の画素が図示のような画素値（画素値が低いほど濃度が高い）ａ〜ｉを有しているとすると、画像鮮鋭化フィルタ９４の適用により、
ｓ＝ｅ×ｍ２−（ｂ＋ｄ＋ｆ＋ｈ）×ｋ２
という画像鮮鋭化計算が行われて、着目画素の原濃度値eが改善濃度値ｓに変換される。

図６に示した画像鮮鋭化フィルタ９４の適用により、ある距離だけ離れた周囲の画素より濃度の高い画素は、その濃度が一層高くなるように修正され、ある距離だけ離れた周囲の画素より濃度の低い画素は、その濃度が一層低くなるように修正される。つまり、ある距離だけ離れた画素との間のコントラストが強調される。

図６に示した画像鮮鋭化フィルタ９４は、図４に示した画像鮮鋭化フィルタ８４と併用しても良いし、図４に示した画像鮮鋭化フィルタ８４に代えて使用されてもよい。また、図６に示した画像鮮鋭化フィルタ９４であってマトリックスサイズの異なるフィルタを複数用意し、それらを併用しても良い。あるいは、図６に示した画像鮮鋭化フィルタ９４を一つ用意し、そして、図６で記号「…」で省略した中間位置にある画素に対しても係数を設定することで、図４に示した画像鮮鋭化フィルタ８４やその他の異なるマトリックスサイズの画像鮮鋭化フィルタを、この１つの画像鮮鋭化フィルタ９４に組み込むようにしてもよい。

図７と図８は、上述した画像鮮鋭化処理のような濃度分布改善処理を行なうことで、原画像データ４０の濃度分布がどのように変化するかを示した図である。

図７は、濃度分布改善処理を行なう前の原画像データ４０における目的画像の濃度分布のヒストグラム１００と、背景画像の濃度分布のヒストグラム１０２の例を示している。両ヒストグラム１００、ヒストグラム１０２は部分的に重なっており、そのため、このままでは、目的画像と背景画像を２値化処理で巧く峻別することが困難である。

図８は、図７のヒストグラムをもつ原画像データ４０に濃度分布改善処理を行なった後の改善画像データ４２における目的画像の濃度分布のヒストグラム１０４と、背景画像の濃度分布のヒストグラム１０６の例を示している。原画像データ４０に比べると、両ヒストグラム１０４、１０６はそれぞれより高濃度方向と低濃度方向にシフトし、両ヒストグラム１０４、１０６間の重なり部分の面積は減り、良好に分離されている。そのため、目的画像のヒストグラム１０４の低濃度側の端部の近傍に２値化閾値Pthを設定すれば、目的画像と背景画像を２値化処理で巧く峻別することが可能である。

図９は、改善画像データ４２に基づいて２値化閾値を計算する処理の方法例を示す。

２値化閾値では、まず、改善画像データ４２の濃度分布のヒストグラムを計算する。それにより、図９に例示するようなヒストグラム１１０が得られる。このヒストグラム１１０は、図８に例示したような目的画像の濃度分布のヒストグラム１０４と背景画像の濃度分布のヒストグラム１０６とを足し合わせた形をしている。ヒストグラム１１０を算出する際、局所的な度数変動による影響を排除するために、小さい濃度範囲での度数の平均化処理を行なう。すなわち、改善画像データ４２から単純に計算された元のヒストグラムにおいて、各画素値が逐次に着目画素として選ばれ、着目画素ごとに、その着目画素を中心とした所定の小さい濃度範囲（例えば、着目画素値±７値の範囲）の度数の平均値が計算され、その平均値がその着目画素値での度数とされる。平均値の計算方法としては、単純平均でも良いし、重み付け平均でもよい。その結果、元のヒストグラムに存在していた細かい度数変動が除去され、滑らかに度数が変化する形状をもつ図示のようなヒストグラム１１０が得られる。なお、上記の平均化計算を行ったことにより、ヒストグラム１１０の有効範囲は、画素値０から２５５までの全濃度範囲よりも若干狭くなる。例えば、平均化計算の濃度範囲が着目画素値±７値の範囲である場合、ヒストグラム１１０の有効範囲は、画素値７から画素値２４８となる。

次に、画素値ｉごとにヒストグラム１１０の傾きf'(i)（画素値の変化に対する度数の変化の割合）が計算される。傾きf'(i)の計算式として、例えば次の計算式が使用される。

ここで、f(i)は画素値nでの度数（その画素値ｎをもつ画素の数）である。この計算式によれば、各画素値ｉのf'(i)は、その画素値ｉを中心とした画素値i±２の範囲における５点の度数プロットからの距離誤差が最小二乗法により最小化されるような直線の傾きとして与えられる。なお、画素値i±２の範囲破綻なる例示であり、より広いまたは狭い範囲を使用しても良い。

次に、次の手順（１）から（４)の手順により２値化閾値Pthが計算される。

（１） 黒側変曲点Pminの探索
図９で矢印１１２で示すように、画素値ｉを最小値から順次にインクレメントしつつ(つまり、最高濃度値から濃度のより低い方向へヒストグラム１１０をトレースしながら）、画素値iにおけるヒストグラム１１０の傾きf'(i)をチェックしていき、次の条件、
f'(i)×f'(i+1)≦０かつ
f'(i)＜０かつ
f'(i+1)≧０
を満たす画素値iを探す。この条件を満たす画素値iが見つかれば、見つかった画素値iを黒側変曲点Pminとする。すなわち、黒側変曲点Pminとは、ヒストグラム１１０を最高濃度値から低くなる方向へトレースしていったときの、傾きが下りから上りまたは水平に変化しようとする変曲点である。

図９と図８を対比すると分かるように、上記のようにして設定された黒側変曲点Pminは、図８に示した目的画像のヒストグラム１０４の低濃度側の端点１０５の近く、とりわけ、その端点１０５より若干高濃度側へ外れた位置に存在する可能性が高い。

なお、上記方法で黒側変曲点Pminが設定出来なかった場合（つまり、上記条件を満たす画素値iが見つからなかった場合）には、予め設定されている画素値Uを黒側変曲点Pminとする。この画素値Uは、経験上、その付近、とりわけそれより若干低濃度側の位置に、目的画像のヒストグラム１０４の低濃度側の端点が存在すると考えられる画素値であり、小切手読取の場合には、例えば全画素範囲０〜２５５の高濃度側四分の一の画素値６４の付近の値とすることができる。

（２） 白側変曲点Pmaxの探索
図９で矢印１１４で示すように、画素値ｉを最大値から順次にデクレメントしつつ(つまり、最小濃度値から濃度のより低い方向へヒストグラム１１０をトレースしながら）、画素値iにおけるヒストグラム１１０の傾きf'(i)をチェックしていき、次の条件、
f'(i-1)×f'(i)≦０かつ
f'(i)＞０かつ
f'(i-1) ≦０
を満たす画素値iを探す。この条件を満たす画素値iが見つかれば、見つかった画素値iを仮の白側変曲点とする。つまり、仮の白側変曲点とは、ヒストグラム１１０を最低濃度値から高くなる方向へトレースしていったときの、傾きが下りから上りまたは水平に変化しようとする変曲点である。

次に、図９で矢印１１６で示すように、仮の白側変曲点からトレース方向を逆転させて、画素値iをインクレメントしつつ、傾きf'(i)をチェックしていき、次の条件、
f'(i)＞Y
を最初に満たす画素値iを探す。ここで値Yは、適度に緩やかな正の傾きf'(i)を示す所定の正値である。この条件を満たす画素値iが見つかれば、見つかった画素値iを白側変曲点Pmaxとする。

なお、上記の方法で白側変曲点Pmaxを設定する場合、さらに、次の追加条件も加味される。すなわち、その追加条件とは、それよりも低濃度側（画素値がより大きい側）の画素値範囲におけるヒストグラム１１０の度数の累積値が、予め設定されている数値Vより小さくような画素値には、白側変曲点Pmaxは設定されないという条件である。ここで、数値Vは、経験上、背景画像の総画素数として適当とみなされる値かまたはそれより若干少ない値であり、小切手の場合、例えば、小切手画像全体の総画素数の７５％程度の値とすることができる。この追加条件を加味することで、白側変曲点Pmaxが、図８に示した目的画像のヒストグラム１０４の低濃度側の端点１０５からより低濃度側へ遠く離れた位置に設定されることが避けられる。

図９と図８を対比すると分かるように、上記のようにして設定された白側変曲点Pmaxは、図８に示した目的画像のヒストグラム１０４の低濃度側の端点１０５の近く、とりわけ、その端点１０５より若干低濃度側へ外れた位置に存在する可能性が高い。他方、上述したように、黒側変曲点Pminは、図８に示した目的画像のヒストグラム１０４の低濃度側の端点１０５より逆に高濃度側へ若干外れた位置に存在する可能性が高い。従って、黒側変曲点Pminと白側変曲点Pmaxとの間に、目的画像のヒストグラム１０４の低濃度側の端点１０４が存在する可能性が高く、そして、その端点１０４の近傍に２値化閾値Pthを設定すれば、２値化処理により目的画像と背景画像とを比較的良好に峻別することができることになる。

別の説明の仕方をすると、上記のようにして黒側変曲点Pminと白側変曲点Pmaxを探索するということは、目的画像のヒストグラム１０４と背景画像のヒストグラム１０６との境または接合部を検出することに実質的に相当する。そして、この接合部に２値化閾値Pthを設定すれば、２値化処理により目的画像と背景画像とを比較的良好に峻別することができることになる。

（３） ２値化閾値Pthの計算
A． 白側変曲点Pmaxが設定できた場合
Pmin≦Pmaxであるならば、Pth＝Pmin＋（Pmax−Pmin）×Wとする。ここで、係数Wは１未満の所定の正数であり、例えば０．５付近の値とすることができる。要するに、２値化閾値Pthは、黒側変曲点Pminと白側変曲点Pmaxとの間に設定される。

他方、Pmin＞Pmaxであるならば、Pth＝Pmax×Xとする。ここで、係数Xは１以上の所定の正数であり、例えば、１以上２未満の数値とすることができる。要するに、２値化閾値Pthは、白側変曲点Pmaxより若干低濃度側へずれた位置（多くの場合、黒側変曲点Pminと白側変曲点Pmaxとの間の位置になる）に設定される。

（４） ２値化閾値Pthの補正
２値化閾値Pthよりも高濃度側（画素値がより小さい側）の画素値範囲におけるヒストグラム１１０の度数の累積値が、予め設定されている数値Yより大きくなる場合、２値化閾値Pthをより高濃度側の点へ移動させて、上記累積値が数値Yと等しくなるか未満になるように２値化閾値Pthを補正する。ただし、２値化閾値Pthは、所定の下限画素値Zより小さい画素値にはしない（下限画素値Zより高濃度の画素値にしない）。ここで、数値Yは、経験上、目的画像の総画素数として適当とみなされる値かまたはそれより若干多い値であり、小切手の場合、例えば、小切手画像全体の総画素数の２５％程度の値とすることができる。また、下限画素値Yは、経験上、それより高濃度側（画素値の小さい側）には、目的画像のヒストグラム１０４の低濃度側の端点１０５は存在し得ないと考えられる画素値であり、上述した黒側変曲点Pminの設定時に使用される画素値U（小切手の場合、例えば画素値６４の付近の値）より若干大きい値とすることができる。

以上のような手順により、図８と図９を対比すると分かるように、多くの場合、２値化閾値Pthが、目的画像のヒストグラム１０４の低濃度側の端点１０５の近傍に設定されることになる。この２値化閾値Pthを用いて改善画像データ４２を２値化することで、多くの場合、背景画像の大部分が消去され、目的画像の大部分が抽出される。

図１０は、ノイズ除去処理の方法例を示す。

この方法では、２値化画像データの全領域がスキャンされ、図１０Aに示すような濃淡パターン１２０および図１０Bに示すような濃淡パターン１２４が探索される。濃淡パターン１２０および濃淡パターン１２４は、いすれも、いわゆる胡麻塩状のノイズの典型的な濃淡パターンである。すなわち、濃淡パターン１２０は、一つの画素が黒で、その上下左右の周囲の画素がすべて白であり、白地上に孤立して存在する黒ドットノイズを表す。また、濃淡パターン１２４は、逆に、一つの画素が白で、その上下左右の周囲の画素がすべて黒であり、黒地上に孤立して存在する白ドットノイズを表す。発見された濃淡パターン１２０は、全て白画素からなる白地パターン１２２に変換され、それにより、黒ドットノイズが消去される。また、発見された濃淡パターン１２４は、全て黒画素からなる黒地パターン１２６に変換され、それにより、白ドットノイズが消去される。

以上、本発明の実施形態を説明したが、この実施形態は本発明の説明のための例示にすぎず、本発明の範囲をこの実施形態にのみ限定する趣旨ではない。本発明は、その要旨を逸脱することなく、その他の様々な態様でも実施することができる。

濃度改善処理の方法として、上述した画像鮮鋭化またはコントラスト強調以外の方法を、画像鮮鋭化またはコントラスト強調にと併用して、またはそれに代えて、採用することもできる。

２値化閾値計算処理で使われる改善画像データの濃度分布のヒストグラムは、改善画像データの全画素を使って作られても良いが、処理負担を軽減するために、改善画像データの一部の画素を用いて作られても良い。例えば、改善画像データ中から一部分の画像領域が選択され、その部分的画像領域の画素に基づいてヒストグラムが作られてもよい。あるいは、改善画像データの画素サイズを公知の方法で縮小し、その縮小された改善画像データの画素に基づいてヒストグラムが作られてもよい。あるいは、改善画像データ中からラスタスキャン経路に沿って所定数画素置きに代表画素がピックアップされ、それらの代表画素に基づいてヒストグラムが作られてもよい。

上述した実施形態で処理対象とした小切手等の証券の画像では、目的画像である証券記載事項は、通常、黒や濃紺などの高濃度の色で書かれ、他方、背景画像はその大部分が目的画像より濃度の低い色で印刷されている。しかし、目的画像と背景画像の濃淡関係が上記とは逆である場合にも、本発明の画像処理は有効である。

また、背景画像の濃度分布範囲が画素値０〜２５５の全濃度範囲の中央部付近に存在し、目的画像の濃度分布範囲が上記全濃度範囲の両端付近に存在する場合、あるいは、それとは逆の濃淡関係である場合にも、本発明を適用することができる。この場合、原画像データの画素値０〜２５５の濃度範囲全体を一緒に処理するのではなく、その中に、背景画像と目的画像の濃度範囲を分離し易いような部分的な濃度範囲を幾つか設定し、設定された部分的な濃度範囲の各々について、本発明の処理を適用することができる。一例として、背景画像の濃度分布範囲が画素値３０〜２２０程度の中間的濃度範囲であり、目的画像の濃度分布範囲が画素値０〜５０の高濃度範囲と画素値２００〜２５５程度の低濃度範囲であるような原画像データがある場合を想定する。この場合、例えば、第１の処理濃度範囲０〜N1（ここで、画素値N1＜２００）と第２の処理濃度範囲N2〜２５５（ここで、画素値N2＞５０）をそれぞれ設定し、原画像データの第１の処理濃度範囲０〜N1と第２の処理濃度範囲N2〜２５５の各々について、別個に、本発明の画像処理（つまり、濃度分布改善、２値化閾値決定および２値化の一連の処理）を行なうことができる。その際、第１の処理濃度範囲０〜N1を処理する際には、原画像データ中の画素値N1より低濃度の画素はすべて画素値N1とみなし、他方、第２の処理濃度範囲N2〜２５５を処理する際には、原画像データ中の画素値N2より高濃度の画素はすべて画素値N2とみなすことができる。第１の処理濃度範囲０〜N1の処理結果として得られた２値画像データでは、目的画像のうち高濃度範囲０〜５０に属していた部分が背景画像から分離されて抽出されることになる。他方、第２の処理濃度範囲N2〜２５５の処理結果として得られた２値画像データでは、目的画像のうち低濃度分布範囲２００〜２５５に属していた部分が背景画像から分離されて抽出されることになる。

本発明の画像処理装置の一実施形態の機能的構成を示すブロック線図。 参考として、原画像データ４０に濃度分布改善処理を施さずに直接２値化処理を行なった場合の画像の変化を示す図。 本発明の実施形態において、原画像データ４０に濃度分布改善を施し、その後に２値化処理を行う場合の画像の変化を示す図。 濃度分布改善処理の一つである画像鮮鋭化処理の基本的な方法例を示す図。 画像先鋭化処理において補助的に採用され得るトーンカーブ変換処理の例を示す図。 画像鮮鋭化処理の別の例を示す図。 原画像データにおける目的画像と背景画像の濃度分布のヒストグラムを示す図。 改善画像データにおける目的画像と背景画像の濃度分布のヒストグラムを示す図。 ２値化閾値計算処理の方法例を示す図。 ノイズ除去処理の方法例を示す図。

符号の説明

２０：小切手読取装置、２２：画像読取部と、２４：画像処理部と、 ２６：読取制御部、 ３２：濃度分布改善部、 ３４：２値化部、 ３６：閾値計算部、 ４０：原画像データ、 ４２：改善画像データ、 ４４：２値化閾値、 ４６：２値画像データ、 ４８：ノイズ除去後の２値画像データ、 ５０，５２，５４：背景画像、 ６０：目的画像、Pmin：黒側変曲点、 Pmax：白側変曲点、 Pth:２値化閾値。

Claims (9)

1. 背景画像と目的画像が混在する多階調の原画像データを受け、前記背景画像の濃度分布範囲と前記目的画像の濃度分布範囲が一方から他方が遠ざかるように、前記原画像データの濃度分布を改善して、多階調の改善画像データを生成する濃度分布改善手段と、
   前記改善画像データを受け、前記改善画像データの濃度分布に基づいて、２値化閾値を計算する２値化閾値計算手段と、
   前記改善画像データと前記２値化閾値を受け、前記２値化閾値を用いて前記改善画像データを２値化して、２値画像データを生成する２値化手段と
   を備えた画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記濃度分布改善手段が、前記原画像データに画像鮮鋭化処理を行なう画像処理装置。
3. 請求項２記載の画像処理装置において、
   前記２値画像データを受け、前記２値画像データから胡麻塩状ノイズを除去するノイズ除去手段をさらに備えた画像処理装置。
4. 請求項１記載の画像処理装置において、
   前記２値化閾値計算手段が、前記改善画像データにおける前記背景画像の濃度分布範囲と前記目的画像の濃度分布範囲の接合部を検出し、前記接合部に前記２値化閾値を設定する、
   画像処理装置。
5. 請求項４記載の画像処理装置において、
   前記２値化閾値計算手段が、前記改善画像データのヒストグラムを計算し、前記ヒストグラムの傾きから前記接合部を検出する、
   画像処理装置。
6. 請求項１記載の画像処理装置において、
   前記２値化閾値計算手段が、前記改善画像データのヒストグラムを計算し、前記ヒストグラムの変曲点を探索し、前記探索された変曲点に基づいて前記２値化閾値を決定する、
   画像処理装置。
7. 背景画像と目的画像が混在する多階調の原画像データを受け、前記背景画像の濃度分布範囲と前記目的画像の濃度分布範囲が一方から他方が遠ざかるように、前記原画像データの濃度分布を改善して、多階調の改善画像データを生成する濃度分布改善ステップと、
   前記改善画像データを受け、前記改善画像データの濃度分布に基づいて、２値化閾値を計算する２値化閾値計算ステップと、
   前記改善画像データと前記２値化閾値を受け、前記２値化閾値を用いて前記改善画像データを２値化して、２値画像データを生成する２値化ステップと
   を備えた画像処理方法。
8. 背景画像をもつ用紙上に記載事項が印刷または手書きで記述された文書の多階調の原画像データを受け、前記背景画像の濃度分布範囲と前記記載事項の濃度分布範囲が一方から他方が遠ざかるように、前記原画像データの濃度分布を改善して、多階調の改善画像データを生成する濃度分布改善手段と、
   前記改善画像データを受け、前記改善画像データの濃度分布に基づいて、２値化閾値を計算する２値化閾値計算手段と、
   前記改善画像データと前記２値化閾値を受け、前記２値化閾値を用いて前記改善画像データを２値化して、前記文書の２値画像データを生成する２値化手段と
   を備えた画像処理装置。
9. 背景画像をもつ用紙上に記載事項が印刷または手書きで記述された文書の多階調の原画像データを受け、前記背景画像の濃度分布範囲と前記記載事項の濃度分布範囲が一方から他方が遠ざかるように、前記原画像データの濃度分布を改善して、多階調の改善画像データを生成する濃度分布改善ステップと、
   前記改善画像データを受け、前記改善画像データの濃度分布に基づいて、２値化閾値を計算する２値化閾値計算ステップと、
   前記改善画像データと前記２値化閾値を受け、前記２値化閾値を用いて前記改善画像データを２値化して、前記文書の２値画像データを生成する２値化ステップと
   を備えた画像処理方法。

Images