JP2014071556A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 記載文字色とプレ印刷色が背景色に近い場合でも、文字や罫線のかすれや潰れがない安定した２値画像を生成する。
【解決手段】 本発明は、被写体を撮像部１３０で撮像して得られたカラー画像からプレ印刷文字と記載文字を黒化する2値画像を生成する画像処理装置１００である。画像処理部１５２では、まず入力された画像に対してレイアウト解析を行い、背景色、プレ印刷色、文字色を求める。次に、背景色とプレ印刷色、背景色と文字色、プレ印刷色と文字色とを分離する基準をそれぞれ算出する。最後に、レイアウト情報と色情報を用いて、画像中の1画素ごとに3種類の色分離基準を切り替えて2値画像を生成する。
【選択図】 図１

Description

本発明は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ：光学式文字読取装置）等の画像の処理技術に関し、特に文字と背景が同形色でコントラストが低い場合でも、文字と背景を分離する2値化技術に関する。

カラー画像から２値画像を生成する２値化処理は、ＯＣＲの前処理として基本的な処理である。ＯＣＲの主要な読取り対象である帳票には、プレ印刷と呼ばれる予め印刷された罫線や文字がある。プレ印刷が読取対象の文字と近接している場合には文字認識の障害となることがある。したがって、従来の帳票ＯＣＲにおける２値化処理では、記載文字を黒に（黒化）、プレ印刷と背景を白に（白化）する2値化が一般的である。濃淡画像を入力とする２値化処理の従来技術としては、大津法やNiblack法などを用いて輝度値の２値化閾値を求める手法が知られている。

カラー画像を入力とする２値化処理の従来技術として、特許文献１には、カラー画像を撮像し、ＲＢＧ（赤青緑）の３色のうち、プレ印刷などの記載文字以外の画素の輝度が最も高くなる色を選択した後、その色における画素の濃淡値から閾値を決めて２値化する方式が記載されている。特許文献２には、文字色を推定した後、文字色のみを抽出することで文字色とプレ印刷色を分離する方式が記載されている。特許文献３には、レイアウト解析処理を用いて２値化対象の領域を限定し、その領域内のプレ印刷等の位置が定義された書式情報を参照して背景と罫線の色を抽出することにより、プレ印刷や背景と文字を分離する２値化方式が記載されている。

一方、２値化の後段の処理にあたる帳票認識の技術においては、認識対象の文字の属性（例：金額、日付、氏名）を特定することと、記載文字を高精度に認識することが課題である。従来では、特許文献３に記載されているように、文字の位置や属性が事前に定義された帳票の書式情報を用いて認識対象の文字領域を切り出して認識することが一般的である。これに対し、特許文献４には、帳票全面の文字を認識し、互いに隣接する項目名(例：金額)とデータ（例：１００００円）のペアを抽出することにより、事前定義の書式情報なしで記載文字の属性を認識する技術が記載されている。

特開２００３−１９６５９２号公報 特開２０１０−２４４３７２号公報 特開２００５−２５８６８３号公報 特開２０１１−２４８６０９号公報

特許文献４の技術では、項目名を認識する必要があるため、プレ印刷の文字を認識しなければならない。したがって、記載文字に加えて、プレ印刷文字も正しく黒化する必要がある。しかし、一般的な帳票上のプレ印刷文字は、背景色と同系色かつ濃淡差や色差が小さい色で印刷されていることが多い。これは、２値化処理で背景色と同時に白化することを目的としているためである。したがって、特許文献１から３の方式の２値化処理ではプレ印刷文字を正しく黒化することは困難である。

特許文献４の帳票認識技術の読取り対象の例として、振込伝票を用いてプレ印刷の２値化の課題を説明する。振込伝票にはプレ印刷罫線やプレ印刷文字等があり、活字文字や手書き文字が記載されている。記載文字やプレ印刷、および紙の地色（背景色）は伝票の種類ごとに異なっている。このような帳票では、通常の２値化手法で適切な２値画像を得ることは困難である。具体的には、色の薄い文字やプレ印刷を黒化するために２値化の閾値を下げると、濃い背景色の帳票では文字部分と背景の両方が黒になる。一方、濃い背景色を白化するために閾値を上げると、薄い文字やプレ印刷も白化されてしまう。さらに、文字や背景の濃淡値が異なる複数の帳票が混在している場合は、さらに困難となる。

特許文献１に記載の方法では、文字とプレ印刷が異なる色であることを前提としているため、文字とプレ印刷が同系色の場合には、プレ印刷が白化されてしまう。特許文献２に記載の方法では、推定した文字色以外を白化するため、プレ印刷が白化されてしまう。特許文献３に記載の方法では、あらかじめ定義された帳票の書式情報が必要であるため、多様な帳票が混在している場合には対応できない。

上述したような従来技術における問題点に鑑み、本発明の目的は、記載文字やプレ印刷と背景色の濃淡差の大小にかかわらず、文字やプレ印刷を正しく黒化すること、さらに、適切に２値化して文字認識することにある。

前記課題を解決するために、本発明は、スキャナで撮像して得られたカラー画像から2値画像を生成する画像処理装置であって、前記カラー画像、および、2値画像を生成するための所定の判定基準を記憶する記憶部と、前記カラー画像のレイアウトを解析し、前記レイアウト解析の結果を用いて、色クラスタリングにより背景色とプレ印刷色と文字色の代表色を求め、文字色と背景色の分離基準と、プレ印刷色と背景色の分離基準と、文字色とプレ印刷色の分離基準を算出し、前記カラー画像における各画素の色情報とレイアウト情報に基づいて、前期色分離基準を切り替えて2値化処理を行い、前記2値化を行った画素値を前記記憶部に格納する画像処理部と、を備えることを特徴とする。

本発明における２値化では、記載文字とプレ印刷、および背景色の濃淡差の大小にかかわらず、正しく記載文字やプレ印刷を抽出することができる。この結果、記載文字とプレ印刷文字の両方を高精度に認識することができる。

第１実施形態の画像処理装置の構成図である。 入力対象の帳票画像の例である。 本発明が目的とする2値画像の例である。 従来技術による2値画像の例を示す図である。 従来技術による2値画像の例を示す図である。 本発明の実施形態の2値化処理の概略を示す図である。 本発明の実施形態のレイアウト解析処理の概略を示す図である。 色クラスタリングの例を示す図である。 ＨＳＶ色空間の概略を示す図である。 入力画像と本発明による2値画像の例を示す図である。 本発明の第２実施形態の2値化処理の概略を示す図である。 図2の入力画像から背景色を検出した例を示す図である。 本発明の第３実施形態の2値化処理の概略を示す図である。 本発明の第４実施形態の2値化処理の概略を示す図である。 本発明の第５実施形態の2値化処理の概略を示す図である。 本発明の第６実施形態の2値化処理の概略を示す図である。 背景色の輝度と分離基準の関係を示す図である。 本発明の第６実施形態における、分離基準を切り替えて２値化する処理の概略を示す図である。 本発明の第６実施形態における、画素のクラス分けの概略を示す図である。 本発明の第６実施形態における、クラス分け結果に基づく再２値化処理の概略を示す図である。 記載文字を黒化する再２値化の例を示す図である。 プレ印刷を黒化する再２値化の例を示す図である。 ノイズを白化する再２値化の例を示す図である。 ２値化と文字認識をする画像処理装置の構成図である。 営業店窓口端末の構成図である。

以下、図面を参照（言及図以外の図面も適宜参照）して、本発明を実施するための形態（以下、実施形態と称する。）について、第１実施形態〜第８実施形態に分けて説明する。

（第１実施形態）
まず、第１実施形態に係る画像処理装置の構成について説明する。図１に示すように、画像処理装置１００は、帳票や書面等を撮像して取得したカラー画像から２値画像を生成するコンピュータ装置であり、操作部１１０と、表示部１２０と、撮像部１３０と、記憶部１４０と、制御部１５０とを備える。

操作部１１０は、ユーザが数字や文字の入力操作を行う際に利用するキーボードや、スキャンの開始を指示するためのボタン等からなる操作部である。表示部１２０は、入力画像や２値画像等を表示する液晶ディスプレイ等からなる表示部である。撮像部１３０は、フラットベッドスキャナやオートシートフィーダ付きのスキャナ、およびＣＣＤ（Charge Coupled Device）等の撮像素子を用いて画像を撮像するデジタルカメラ等の撮像部である。

記憶部１４０は、メモリやハードディスク装置等からなる記憶デバイスであり、撮像部１３０で撮像された画像や各種内部処理用プログラム、および各種設定データを記憶する。また、例えば、記憶部１４０は、複数の代表色から被写体（書面など）の背景色を検出するための所定の判定基準として、求めた各クラスタの代表色のうち輝度が最も高い色を被写体の背景色とするという基準を記憶する。また、記憶部１４０は、２値化のための設定値や判定基準などを記憶する。

制御部１５０は、画像の撮像処理と入力画像の２値化処理等の画像処理を行う制御部であり、撮像処理部１５１と画像処理部１５２を有する。

撮像処理部１５１は、撮像部１３０を用いて被写体の撮像制御を行う制御部であり、画像データを入力画像としてメモリ上に展開して一時的に保持するとともに、この画像データをファイルとして記憶部１４０に格納することができる。

画像処理部１５２は、撮像処理部１５１で作成された入力画像から背景を除去して２値化する手段であり、第１実施形態の画像処理装置１００における特徴部分である。具体的には、画像処理部１５２では、まず撮像処理部１５１で作成され入力された画像に対してレイアウト解析を行い、背景色、プレ印刷色、文字色を求める。次に、背景色とプレ印刷色、背景色と文字色、プレ印刷色と文字色とを分離する基準をそれぞれ算出する。最後に、レイアウト情報と色情報を用いて、画像中の1画素ごとに３種類の色分離基準を切り替えて２値画像を生成する。この処理フローについては、図６を用いて後述する。

本発明で実現する２値化方式の具体例を示す前に、図２から図６を用いて従来の２値化の処理結果と本発明の処理結果の概要を示す。

図２は２値化対象の入力画像である。白い紙の帳票２００上に、罫線２１０で囲まれた白い背景色の領域、濃い罫線２２０で囲まれた濃い背景色の領域、薄い罫線２３０で囲まれた薄い背景色の領域が存在し、それぞれの領域には「金額」と記載されたプレ印刷文字２４０から２６０が存在する。さらに、２７０等の枠内に認識対象の文字が記載されている。２５０や２６０のプレ印刷文字の色は、背景色と同系色であり、背景色よりも若干輝度が低いものとする。本発明の目的は、図２の画像から、図３に示すように記載文字、プレ印刷文字、および、罫線を黒化、それ以外の背景領域を白化する２値化画像を生成することである。

図２の画像を従来の２値化手法での処理した結果が図４および図５である。図４は、薄いプレ印刷を黒化することを目的として、帳票２００全体を低い閾値で２値化した結果である。罫線４３０やプレ印刷文字４６０は黒化できているものの、プレ印刷文字４５０も含めた濃い背景の領域が全て黒化されている。一方、図５は、濃い背景領域を白化することを目的として、帳票２００全体を高い閾値で２値化した結果である。罫線５３０とプレ印刷文字５６０が閾値以上となるため白化されている。図４と図５から、帳票全面を一律の基準で２値化すると、記載文字とプレ印刷文字の両方を高精度に認識することは困難であることがわかる。この問題に対応するため、局所領域毎に閾値を算出して２値化する従来方式もある。しかし、図２のように背景色とプレ印刷文字の色相や輝度が近い場合には、背景の一部を黒化することで生じるノイズや、文字の一部を白化することで生じる文字のかすれ等が頻発する。このように、背景色とプレ印刷の濃淡差が大きい帳票から記載文字とプレ印刷文字の両方を抽出する２値化画像を生成することは困難であった。これは、プレ印刷文字が薄い帳票と濃い帳票が混在する場合でも同様である。本発明における課題の解決策についての詳細については図６以降で説明する。

本発明における画像処理部１５２で実行される２値化処理フローの一例を図６に示す。各ステップの処理の内容は次のとおりである。なお、以降の記載はカラー画像の入力を前提としているが、グレー画像においても画素の濃淡値（輝度値、明度値）を用いることにより適用可能である。

図６のステップ６００では、帳票上の罫線や枠、文字行の位置を検出するためのレイアウト解析を行う。

画像処理部１５２で実行されるレイアウト解析処理の詳細を図７に示す。まず、ステップ７００で帳票画像を２値化する。この２値化処理では、図３のようにプレ印刷文字と記載文字の両方を黒化するのではなく、少なくとも罫線を黒化することを目的としているため、多少のノイズや潰れは許容でき、図３の２値化画像を生成するよりも閾値の設定が容易となる。この点については、ステップ７２０の枠抽出の際に詳述する。次にステップ７１０で、ステップ７００で生成した２値化画像から罫線を抽出する。罫線抽出方式の一例としては、縦方向、横方向の黒画素の連続性から縦罫線と横罫線を抽出する方式がある。ステップ７２０では、抽出された罫線から枠を抽出する。枠抽出方式の一例としては、罫線の交点付近の特徴を用いて枠を抽出する特開平１１−５３４６６号公報に記載の方式等がある。この方式では、罫線にかすれやノイズが発生しても高精度に枠を抽出することができる。正確に罫線を抽出する必要がないため、ステップ７００の２値化処理の閾値設定が容易となる。しかし、あらかじめ決められた２値化閾値では枠を抽出できないと判断した場合、ステップ７００に戻り２値化の閾値を変更してから再度ステップ７１０以降の処理を行うことも可能である。最後に、ステップ７３０では、ステップ７００で生成した２値化画像から文字行を抽出する。この処理の従来手法としては、連結成分融合法と呼ばれる方式がある。この方式は、黒画素の連結する領域を連結成分とし、連結成分の上下・左右方向の整列性から文字行を検出するものである。文字行の概略の位置を検出することが目的であるため、文字にかすれやノイズが発生している２値画像を対象としてもよい。このことからも、ステップ７００の閾値設定は容易となることがわかる。なお、ステップ６００で罫線や文字の画素を抽出する際に、図７の方式ではなく、入力のカラー画像をグレー画像に変換したのち、ラプラシアンフィルタ等の輪郭を検出するフィルタを用いてもよい。ラプラシアンフィルタは輝度の差分の変化量が極端に大きくなっている部分を抽出するフィルタであり、３×３のフィルタの係数は

で与えられる。

図６のステップ６１０では帳票の背景色を求める。背景色の抽出方式の一例として、特開２０１２−９５００２号公報に記載の方式等がある。この方式に記載の背景色検出は、帳票画像を複数の部分領域に分割した後、部分領域内の各画素をＲＧＢ等の色空間上にマッピングしてクラスタリングし、得られたクラスタの中から記憶部１４０に格納された所定の判定基準を用いて背景色のクラスタを選定し、このクラスタの代表色を部分領域の背景色とする処理である。

図８は、ＲＧＢ色空間を示した例である。ＲＧＢ色空間はＲ(red)、Ｇ(green)、Ｂ(blue)それぞれの値を軸に持つ３次元空間であり、ＲＧＢの各軸の値は０から２５５をとる。原点（０，０，０）は黒を表し、（２５５，２５５，２５５）は白を表す。処理対象領域内の各画素はＲＧＢ色空間上の一点にマッピングできる。領域内の画素をマッピングすると、代表的な色を中心とした複数の分布がでる。図８では、白い背景色（８００）に、赤いプレ印刷（８１０）や緑のプレ印刷（８２０）が印刷されており、黒い文字（８４０）が記載されている領域を色クラスタリングした例である。色クラスタリングとは、処理領域中の各画素を色空間上でクラスタリングする処理である。具体的には、ボロノイ分割やユークリッド距離の閾値などを用いて近い色同士を同じクラスタとして色空間内を領域分割することにより実現する。各クラスタにおいて、クラスタの中心に位置する色や最も頻度が高い色を、クラスタの代表色とする。空間内のクラスタの中から背景色のクラスタ（８００）を選定するには、クラスタの代表色の輝度が最も高い、明度が最も高い、クラスタの度数が最も高い(面積が広い)等の基準を用いる。なお、明度については、ステップ６３０の文字色検出において後述する。

なお、色クラスタリングは、領域内の全ての画素を利用しても、一部の画素を利用してもよい。例えば、一定間隔でサンプリングした画素を色クラスタリングに用いてもよい。さらに、この例では画素の値を直接クラスタリングの対象にしているが、ＣＣＤの特性上発生する偽色やノイズ等の影響を軽減するために、周辺の画素との平均値や重み付き平均値を求め、この値を色クラスタリングに用いてもよい。

図６のステップ６２０では帳票画像の罫線の色を求める。この処理は、罫線抽出７１０で罫線であると抽出された画素を色クラスタリングすることで求めることができる。色クラスタリングの結果、背景色と異なる色のクラスタが得られた場合に、このクラスタの代表色を罫線の色とする。罫線の色は複数であってもよい。一般に、帳票上の罫線の色とプレ印刷文字の色は同じであることが多いため、ここで得られた罫線の色はプレ印刷の色とみなすことも可能である。なお、ステップ６２０の処理対象の画素を、罫線抽出７１０で罫線であると抽出された画素でなく、枠抽出処理７２０で枠罫線と判定された罫線の画素にしてもよい。罫線として抽出された画素の中には、罫線と同系色のノイズ成分も含まれるのに対し、抽出された枠を構成する罫線はノイズを含む確率が低いため、より正確に罫線の色を求めることができる。

ステップ６３０では文字の色を求める。この処理は、文字行抽出７３０で文字行であると抽出された領域内の画素を色クラスタリングすることで求めることができる。色クラスタリングの結果、背景色と異なる色のクラスタが得られた場合に、このクラスタの代表色を文字の色とする。文字の色は複数であってもよい。文字色のクラスタを選定するための基準の一例としては、クラスタ代表色の輝度が最も低い、明度が最も低い、彩度が最も低い、背景やプレ印刷と異なる色相である等がある。

ここで、色相（H）,彩度（S）、明度（V）の指標で色を表現するＨＳＶ色空間について、図９と数２から数５を用いて説明する。

ＲＧＢ色空間はＲＧＢの３色を用いて色を表現するため計算機で扱いやすい。一方、人間はＲＧＢ値ではなく色相(Hue：色の種類)、彩度(Saturation：鮮やかさ)、明度(Value：明るさ) の指標で色を知覚していることが分かっている。そこで、本発明の色クラスタリングや色判別処理では、ＲＧＢ色空間だけでなく、人間の近くに近いＨＳＶ色空間の指標を利用してもよい。ＨＳＶ色空間は図９に示す下向きの円錐形で視覚化できる。ＨＳＶの各指標の詳細は次のとおりである。
色相(H)：色の種類（赤、青、黄、緑など）。0〜360°の範囲（円周上で変化する）
彩度(S)：色の鮮やかさ。0.0〜1.0 (もしくは0〜255)の範囲（水平軸上で変化する）
明度(V)：色の明るさ。 0.0〜1.0 (もしくは0〜255)の範囲（垂直軸上で変化する）
ＲＧＢ色空間からＨＳＶ色空間へは、数２から数５を用いて変換できる。人間の知覚は、明度や彩度の変化に比べて、色相の変化に最も敏感であることが、実験によりわかっている。なお、ＨＳＶ色空間のかわりに、ＨＳＬ色空間等を用いてもよい。

図６のステップ６４０では、２値化の際の色の分離基準を求める。ステップ６４０はステップ６５０から６７０の3つから構成されている。

ステップ６５０では、ステップ６１０で求めた背景色に関する情報とステップ６３０で求めた文字色に関する情報に基づいて、文字色と背景色を分離する基準を求める。文字色と背景色との分離基準は、ＲＧＢ色空間やＨＳＶ色空間での各クラスタ同士を分離する平面もしくは曲面を求める方法、輝度、明度のヒストグラムから閾値を求める方法がある。少なくとも一方がある程度以上の彩度を持つ有彩色（白〜グレー〜黒など、図９のV軸付近ではない色）である場合には、色相や彩度の範囲を限定することにより、色を分離する方法などがある。これらは単独で用いても、複数を組み合わせてもよい。一般的に、有彩色同士の判別には色相を最優先にして分離し、色相が近い場合には明度や彩度を用いて分離する。

ステップ６６０ではプレ印刷色と背景色の分離基準を、ステップ６７０では文字色とプレ印刷色の分離基準を、ステップ６５０と同様にして求める。本発明では、「文字色」は読み取り対象である記載文字の色を指し、「プレ印刷色」は罫線やプレ印刷文字の色を指している。両者は異なることを前提としているものの、同じであってもよい。この場合でも、記載文字とプレ印刷を黒化し、背景を白化することは可能である。なお、用途によっては、６５０から６７０の処理のうち、1種類もしくは２種類のみを用いてもよい。

図６のステップ６８０では、画素のＲＧＢ値やＨＳＶ値、ステップ６１０，６２０，６３０で得られた背景、プレ印刷、文字のRGB値やHSV値などの色情報と、ステップ６００で得られたレイアウト情報と、を用いて、画素ごとに、ステップ６４０で求めた２値化の分離基準を切り替えて２値化を行う。この処理においては、生成する２値画像の種類に応じて利用する基準が異なる。

図１０を用いて３種類の２値画像の例を説明する。図１０（a）は入力画像であり、背景色付きの領域に背景色と同系色のプレ印刷文字や罫線が印刷されており、認識対象として輝度の低い数字が記載されている。

図１０（a）の画像を、背景を白化し、記載文字とプレ印刷文字、罫線を黒化した２値画像が図１０（ｂ）である。この２値画像は、プレ印刷文字と記載文字の両方を認識することを目的とする場合に生成される。この２値画像を生成するには、ステップ６５０の文字色―背景色の分離基準とステップ６６０のプレ印刷色―背景色の分離基準の両方を用いる。分離基準の具体的な利用例としては、少なくともどちらか一方の分離基準で背景でないと判定された画素のみを黒化する方法がある。

図１０（ｃ）は、図１０（a）の画像を、背景とプレ印刷文字、プレ印刷罫線を白化し、記載文字を黒化した２値画像である。この２値画像は、記載文字の認識の際に、プレ印刷による悪影響を低減することを目的とする場合に生成される。特に、プレ印刷と記載文字が接触している場合に有効である。この２値画像を生成するには、ステップ６５０の文字色―背景色の分離基準とステップ６７０の文字色―プレ印刷色の分離基準の両方を用いる。分離基準の具体的な利用例としては、両方の分離基準で文字色と判定された画素を黒化する方法がある。

図１０（ｄ）は、図１０（a）の画像を、記載文字と背景を白化し、プレ印刷文字と罫線を黒化した２値画像である。プレ印刷文字のみを認識することを目的とする場合に生成される。この２値画像を生成するには、ステップ６６０のプレ印刷色―背景色の分離基準とステップ６７０の文字色―プレ印刷色の分離基準の両方を用いる。分離基準の具体的な利用例としては、両方の分離基準でプレ印刷色と判定された画素を黒化する方法がある。

例えば、ユーザは操作部等から図１０(b)、(c)、(d)のうちのいづれの形式で出力するかを選択し、画像処理部は、操作部等から指定された形式で出力するようステップ６８０の処理を実行する。

ステップ６８０では、画素の色に基づいて分離基準を切り替えるだけでなく、画素の座標とレイアウト解析結果に基づいて分離基準を変更することができる。これは、レイアウト解析結果を利用することにより、おおまかに記載文字、プレ印刷、背景の判別ができるからである。具体的には、ステップ７１０で罫線と判定された画素では、プレ印刷色すなわち罫線色であることを前提としてプレ印刷色の判定基準を緩和する。文字行領域内の画素では、文字色の判定基準を緩和する。この処理により、文字や罫線のかすれを防ぐことができる。さらに、プレ印刷色と背景色、および文字色と背景色の差が小さい場合には、分離基準を厳しくすることができる。この処理により、プレ印刷文字や罫線と背景が同系色の場合でもかすれを防ぐことができ、濃い背景上の文字が潰れることを防ぐことができる。

このように、図６の処理により、複数の分離基準を切り替えることにより、目的に応じた高精度な２値画像を生成することができる。

（第２実施形態）
図１１を用いて第２実施形態を説明する。第２実施形態は、第１実施形態における図６のレイアウト解析（ステップ６００）と背景色検出（ステップ６１０）の順序と処理内容が異なる。

まずステップ６１０において帳票画像全面を部分領域に分割して背景色検出を行う。次に、ステップ１１００において、検出した背景色の情報を用いてレイアウト解析を行う。ステップ６２０以降は図６と同じである。

この第２実施形態では、ステップ１１００のレイアウト解析処理の２値画像生成処理が第1実施形態のステップ７００と異なる。具体的には、背景色に応じて画素ごとに２値化の閾値を変更する。すなわち、背景色が明るい(薄い)場合には２値化閾値を高くし、背景色が暗い(濃い)場合には２値化閾値を低くする。この処理は、図２のように異なる背景色が混在する帳票でのレイアウト解析の精度を向上させることを目的としている。第１実施形態において、図７のステップ７００の２値化処理の閾値設定は図３の２値化閾値設定よりも容易であると説明した。しかし、背景色とプレ印刷色の濃淡差によっては、全ての領域の罫線やプレ印刷文字を抽出できない場合がある。

図１２は図２の入力画像の背景色を検出した結果である。図２の２２０の領域の背景色が図１２の１２１０に、２３０の領域が１２２０として検出されている。この背景色よりも暗い色の画素を黒化することにより、上記の課題を解決するレイアウト解析用の２値画像を生成することができる。

（第３実施形態）
図１３を用いて第３実施形態を説明する。第３実施形態は、第１実施形態における図６のレイアウト解析（ステップ６００）の後にステップ１３００で領域分割を行い、ステップ６１０の背景色検出以降の処理は領域毎に実施する(ステップ１３１０)。この処理は、部分的に背景色やプレ印刷色の色相や濃淡が異なる帳票での２値化の精度を向上させることを目的としている。プレ印刷色や背景色が複数混在した状況で分離基準を設定することが困難であるため、色数を限定できる領域に分けてから分離基準を求める。領域限定の具体的な例としては、ステップ７２０の枠抽出で検出された枠単位で領域を分割する手法がある。枠内では背景色が同じであり、プレ印刷文字や罫線の色数も少ないという仮定に基づく。この手法では、枠外は全て同じ領域として扱う。領域分割の他の例としては、Ｍ×Ｎ画素の矩形領域に分割する手法がある。

（第４実施形態）
図１４を用いて第４実施形態を説明する。第４実施形態は、第２実施形態のステップ１１００の後にステップ１３００の領域分割を行う。ステップ６２０のプレ印刷色検出以降の処理は領域毎に実施する(ステップ１４００)。この処理は、レイアウト解析の精度向上に加えて、部分的に背景色やプレ印刷色の色相や濃淡が異なる帳票での2値化の精度向上を目的としている。なお、本実施形態においても図１３と同様に領域毎に背景色を求め直してもよい。

（第５実施形態）
図１５を用いて第５実施形態を説明する。第５実施形態は、第２実施形態のステップ１１００の後にステップ６２０のプレ印刷色検出とステップ６３０の文字色検出を行い、色情報とレイアウト情報を用いてステップ１５００で領域分割を行う。ステップ６４０の分離基準生成以降の処理は領域毎に実施する(ステップ１５１０)。領域限定の具体的な例としては、背景色、プレ印刷色、文字色の組み合わせが同一である枠を全て同じ領域とする手法がある。枠外についても、上記の色の組み合わせに応じて領域を分割する。なお、本実施形態においても図１３と同様に領域毎に再度色検出を実施してもよい。

（第６実施形態）
図１６から図２３を用いて第６実施形態を説明する。第６実施形態は、背景色の画素を白化し、文字色とプレ印刷色の画素を黒化することのみを目的としている。第１から第５実施形態では、図１０（ａ）の入力に対して、図１０（ｂ）から図１０（ｄ）の２値画像を生成できるのに対し、第６実施例では、図１０（ｂ）の２値画像の生成のみを行う。本実施形態では、背景色とその他の色とを分離する基準を複数算出し、これらの基準を切り替えて２値化を実行する。

第６実施形態に係る画像処理装置の構成は、第１実施形態と同じ図１になる。ただし、画像処理部１５２の機能が図１６の処理フローをもつことが第１実施形態とは異なる。以降、第６実施形態の画像処理部１５２の機能の詳細について説明する。

第６実施形態における２値化処理フローの一例を図１６に示す。まず、図６のステップ６１０と同じ処理を用いて、分割した部分領域ごとに背景色を検出する。次に、図６のステップ６４０に相当する処理であるステップ１６４０にて背景色の画素とそれ以外の画素を分離する基準を算出する。最後に、図６のステップ６８０に相当する処理であるステップ１６８０にて、画素ごとに分離基準を切り替えて２値化する。ステップ１６４０については図１７を用いて、ステップ１６８０については図１８から図２０を用いて後述する。

図１６のステップ１６４０は、背景色とそれ以外（文字色やプレ印刷色）を分離するための基準を算出する処理である。分離基準は２値化処理対象の全ての画素について算出される。分離基準の算出には、輝度や明度、彩度、色相等を用いる。本実施形態では、背景色の輝度を用いる例を示す。まず、画素の輝度がα以下であれば２値化処理で必ず黒化し、β以上であれば必ず白化するという基準値αとβを事前に設定しておく。次に、重みｐとｑ（０．０から１．０）を設定し、輝度に基づく３つの分離基準（Ｔ１からＴ３）を数６から数８を用いて算出する。Ｔ１からＴ３の具体的な説明は次のとおりである。Ｔ１は、強制的に黒化する値である定数αとする

。Ｔ２とＴ３は背景色の輝度に応じて変化する値であり、背景色に近いプレ印刷色やノイズを判定するために用いる。Ｔ３は、処理対象画素の位置での背景色の輝度（Ｙｂ）に重みｐを乗算した値とβのうち、小さい方の値とする

。Ｔ２は、Ｔ１とＴ３をｑ：（１−ｑ）で内分する値である

。一例として、α＝１６０、β＝２２０、ｐ＝０．９、ｑ＝０．５の場合のＴ１からＴ３を、図１７にて示す。なお、なお、重みｐとｑは、定数でも関数でもよい。さらに、Ｔ３の値をβ等の背景色に依存しない定数にしてもよい。

図１６のステップ１６８０は、図１８に示すように３つのステップで構成される。

図１８のステップ１８００の画素のクラス分けの処理フローを図１９に示す。図１９の処理は、入力画像の２値化対象領域内の全ての画素について実行される（ステップ１９００、１９０５）。ステップ１９１０の判定にて、当該画素の輝度値がＴ１未満の場合には、ステップ１９２０にて黒化する画素としてＣ１（黒化確定）に分類する。ステップ１９３０の判定にて、輝度値がＴ１以上Ｔ２未満の場合には、ステップ１９４０にてＣ２（黒化候補１）に分類する。ステップ１９５０の判定にて、輝度値がＴ２以上Ｔ３未満の場合には、ステップ１９６０にてさらに他の分離基準を満たすかどうかを判定し、基準を満たす場合にはステップ１９７０にてＣ３（黒化候補２）に分類する。いずれの基準も満たさない場合には、ステップ１９８０にて白化する画素としてＣ４（白化確定）に分類する。ステップ１９６０の判定の具体的な例としては、背景色の明度（Ｖｂ）と画素の明度（Ｖi）の差を用いることができる。

基準：Ｖｂ−Ｖi＞γ
ただし、γは定数である。これは、一般的に、背景色の方がプレ印刷色より明度が高い場合が多いからである。その他の条件としては、背景色の色相（Ｈｂ）と画素の色相（Ｈi）の差、背景色の彩度（Ｓｂ）と画素の彩度（Ｓi）の差、および画素の明度（Ｖi）や彩度（Ｓi）の上限値等も利用することができる。これらの条件は単数でも複数の組み合わせでも良い。

図１８のステップ１８１０では、ステップ１８００での分類結果に基づいて２値化する。２値化の一例としては、Ｃ１からＣ３に分類された画素を黒化、Ｃ４に分類された画素を白化する。その他の例としては、Ｃ１とＣ２に分類された画素を黒化、Ｃ３とＣ４に分類された画素を白化する。なお、１画素ごとに、クラス分けの直後に２値化（黒化白化の判定）を行うことにより、ステップ１８００と１８１０を同時に実行してもよい。図１８のステップ１８２０では、各クラスの画素の比率に基づいて、ステップ１８１０で２値化した結果を別の基準で評価して再２値化する。

図２０を用いて再２値化の処理フローを説明する。図２０の例では、ステップ１８１０にてＣ１からＣ３の画素を黒化していることを前提として説明している。図２０の処理では、画像の処理対象領域をＭｂ×Ｎｂ画素の矩形領域に分割したうえで、全ての領域内の画素について実行する（ステップ２０００、２００５）。ここで、分割した矩形領域のサイズは、背景検出時のサイズと同じでも異なっていてもよい。ステップ２０１０では、領域内のＣ１からＣ３に分類された画素の数をカウントする。カウントした数は、下記のように定義する。

ｎ１：Ｃ１(黒化確定)に分類された画素の数
ｎ２：Ｃ２(黒化候補１)に分類された画素の数
ｎ３：Ｃ３(黒化候補２)に分類された画素の数
ｎ ＝ ｎ１＋ｎ２＋ｎ３（Ｃ１、Ｃ２、Ｃ３の画素数の合計）
ｎ０＝ Ｍｂ・Ｎｂ （領域内の全画素数）
ステップ２０２０では、領域内において、下記の比率を計算する。これらの比率は、ステップ２０３０の条件1やステップ２０５０条件２で用いられる。

Ｒ ＝ ｎ／ｎ０
Ｒ１ ＝ ｎ１／ｎ
Ｒ１２ ＝（ｎ１＋ｎ２）／ｎ
ステップ２０３０の条件１の例を下記に示す。
条件１：（Ｒ＞ｔ１）ＡＮＤ（Ｒ１＞ｔ２）
ただし、ｔ１とｔ２は事前に定めた定数
条件１では、領域内でＣ１（黒化確定）の比率が高いことを意味している。したがって、領域内の文字画素の輝度は十分低く、Ｃ２とＣ３の輝度が高い画素はノイズとみなすことができる。このため、条件１を満たす場合には、ステップ２０４０において、Ｃ１に分類された画素のみを黒化し、Ｃ２とＣ３の画素を白化する再２値化処理を行う。

図２１を用いて、条件１を具体的に説明する。図２１は、８×８（Ｍｂ＝Ｎｂ＝８）の領域に「田」の文字が記載されている例である。図２１（ａ）は、画素２１００等のＣ３に分類された輝度の高い背景色の領域に、画素２１１０等のＣ１に分類された文字の画素が存在する例である。その他に、Ｃ２と分類された画素として、背景上のノイズ（２１２０）や、他の背景色よりも輝度値が低い背景（２１３０）が存在する。画素２１３０が他の背景色よりも低い輝度値になるのは、隣接する画素との色の差が大きいためである。このような場合、撮像素子の量子化誤差等から、隣接する画素の影響を受けて実際とは異なる輝度値になることがある。図２１（ａ）を、条件１を用いてＣ１のみ黒化する再２値化した結果が図２１（ｃ）である。さらに、図２１（ｂ）に示すように、輝度が高い背景領域（Ｃ４）中に輝度が低い文字（Ｃ１）が記載されている場合の再２値化結果も図２１（ｃ）となる。

ステップ２０５０の条件２の例を下記に示す。
条件２： （（Ｒ＞ｔ３）ＡＮＤ（Ｒ２＞ｔ４））
ＯＲ（（Ｒ＜ｔ５）ＡＮＤ（ｎ１＝０））
ただし、ｔ３からｔ５は事前に定めた定数
条件２の１行目は、領域内のＣ１とＣ２の比率が高いことを意味している。２行目は、輝度の低いＣ１の画素がなく、Ｃ２とＣ３の比率が低いことを意味している。そこで、Ｃ２の画素は、背景色に近い色のプレ印刷文字や罫線であり黒化対象とみなすことができ、Ｃ３の輝度が高い画素は、ノイズであり白化対象とみなすことができる。このため、条件２を満たす場合には、ステップ２０６０において、Ｃ１とＣ２に分類された画素を黒化し、Ｃ３の画素を白化する再２値化処理を行う。

図２２と図２３を用いて、条件２を具体的に説明する。図２２は条件２の１行目が適用される例である。図２２（ａ）は、画素２２００等のＣ３に分類された輝度の高い背景色の領域に、画素２２１０等のＣ２に分類された文字の画素が存在する例である。Ｃ２の画素は、背景色に近いプレ印刷文字とみなすことができる。図２２（ｂ）は、画素２２２０等のＣ４に分類された背景色の領域に、画素２２３０等のＣ２に分類された文字の画素と、Ｃ３に分類された輝度値が低い背景（２２４０）が存在する例である。条件２の１行目を用いて図２２（ａ）や図２２（ｂ）を再２値化した結果は図２１（ｃ）になる。図２３は条件２の２行目が適用される例である。図２３（ａ）は、画素２３００等のＣ４に分類された背景色の領域に、画素２３１０等のＣ２に分類されたプレ印刷文字の一部と、Ｃ３に分類されたノイズ（２３２０）が存在する例である。条件２の２行目を用いてＣ１とＣ２を黒化する再２値化結果が図２３（ｂ）である。図２３（ｃ）は画素２３３０等のＣ４に分類された背景色の領域に、Ｃ３に分類されたノイズが存在する例である。図２３（ｃ）を再２値化した結果が図２３（ｄ）となる。

条件１、条件２ともに満たさない領域では、Ｃ１、Ｃ２、Ｃ３の画素は黒化したままである。なお、この条件１と条件２は例であり、領域内の輝度や色相、彩度、明度等の平均や分散、個々の画素値等、他の条件を用いることが可能である。さらに、条件数も変更してもよい。

以上で示したように、第６実施形態では、背景色との差分と小領域内での輝度の分布を用いて、背景色のみを白化する２値化を実現することができる。

なお、図１８において、ステップ１８１０で２値化処理を終了してもよい。また、図６、図１１、図１３、図１４、図１５のステップ６４０とステップ６８０のかわりに、本実施形態のステップ１６４０とステップ１６８０を用いてもよい。

（第７実施形態）
第７実施形態では、２値化だけでなく文字認識も行うことができる画像処理装置の例を説明する。図２４は、第１実施形態から第６実施形態のいずれかの画像処理装置１００の機能を持つ画像処理装置２４００を示す構成図の例である。

図２４に示すように、画像処理装置２４００は、制御部２４１０に文字認識部２４１１が追加されている以外は、図１に示す画像処理装置１００と同様の構成であるので、重複説明を適宜省略する。文字認識部２４１１は、２値化によって生成した画像から文字認識処理をする。

文字認識部２４１１は、例えば、図２の画像から、２値化処理を行い、文字として「金額」、「１」、「２」、「３」、「４」、「５」等を認識する。個々の文字を認識する処理は、パターン認識の既存手法を用いることができる。

（第８実施形態）
第８実施形態では、第１実施形態から第６実施形態のいずれかの画像処理装置１００を利用した、金融機関の営業店窓口に設置される営業店窓口端末装置について説明する。金融機関などでは、営業店窓口に設置された端末装置に接続されたスキャナによって、顧客が記入した取引帳票の画像を撮像し、得られた画像データを保存したり、画像データについて文字認識を行ったりしている。図２５に示すように、営業店窓口端末装置２５００は、操作部１１０（図１と同様）と、表示部１２０（図１と同様）と、スタンド型スキャナなどの撮像部１３０（図１と同様）と、利用者との授受のための現金を取り扱う現金入出金部２５１０と、通帳に取引内容を印字する通帳プリンタ部２５２０と、レシートなどに印字するプリンタ部２５３０と、端末記憶部２５４０とこれらを制御する端末制御部２５５０とを有する。なお、端末制御部２５５０は図１の制御部１５０に対応し、端末記憶部２５４０は図１の記憶部１４０に対応する。

以下、営業店窓口端末装置２５００を利用した業務フローについて説明する。営業店窓口端末装置２５００は、利用者から取引科目別の取引帳票を受け取ったオペレータが、帳票と対応する取引データ入力画面を呼び出すための画面番号を操作部１１０から入力し、表示部１２０である端末画面に表示された取引画面の各入力フィールドに取引金額等、帳票上の記入データをキーボード入力することにより、目的の取引を実行する。

さらに、端末制御部２５５０は、撮像部１３０であるスキャナによって採取した取引帳票の画像を採取し、その画像に基づいてＯＣＲ（Optical Character Recognition）機能により記載内容を読取り、取引内容の確認画面を表示部１２０に表示する。この場合、取引内容の確認画面には、帳票からＯＣＲで読取られた各データ項目の内容、例えば、店番、口座番号、入金額などが表示され、確認画面の表示データに問題がなければ、これらのデータが記録データとして管理装置に送信処理される。なお、認識結果の確認を容易にするために、確認画面に図１０（a）の入力画像と図１０（ｂ）から（ｄ）のうちの1つもしくは2つ以上の2値画像を表示してもよい。

このように、営業店窓口端末装置２５００によれば、撮像部１３０によって採取した画像上からＯＣＲ処理を実行することができる。

１００ 画像処理装置
１１０ 操作部
１２０ 表示部
１３０ 撮像部
１４０ 記憶部
１５０ 制御部
１５１ 撮像処理部
１５２ 画像処理部
２４００ 画像処理装置
２４１０ 制御部
２４１１ 文字認識部
２５００ 営業店窓口端末装置
２５１０ 現金入出金部
２５２０ 通帳プリンタ部
２５３０ プリンタ部
２５４０ 端末記憶部
２５５０ 端末制御部

Claims (14)

1. スキャナで撮像して得られたカラー画像から２値画像を生成する画像処理装置であって、
   前記２値画像を生成するための色分離基準を記憶する記憶部と、
   色クラスタリングにより前記カラー画像の複数の色の色情報を求め、
   前記求めた複数の色の色情報に基づいて、２以上の色分離基準を算出し、
   前記求めた複数の色の色情報と前記色分離基準に基づいて、前記色分離基準を切り替えて前記カラー画像の２値化処理を行い、
   前記２値化された画素値を前記記憶部に格納する画像処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記色情報は、前記色クラスタリングにより算出された前記カラー画像の背景色、プレ印刷色、及び、文字色の代表色であり、
   前記画像処理部は、
   前記色情報に基づいて、前記文字色と前記背景色の色分離基準、前記プレ印刷色と前記背景色の色分離基準、及び、前記文字色と前記プレ印刷色の色分離基準を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理部は、
   前記カラー画像のレイアウトを解析し、
   前記レイアウト解析の結果を用いて、色クラスタリングにより背景色、プレ印刷色、及び、文字色の代表色を求め、
   前記カラー画像における各画素の色情報とレイアウト情報に基づいて、前記色分離基準を切り替えて2値化処理を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理部は、
   前記カラー画像を部分領域に分割し、
   色クラスタリングにより各領域の背景色を求め、
   前記背景色とそれ以外の色との色分離基準を複数算出し、
   前記色分離基準を切り替えて2値化処理を行うことを特徴とする請求項１の画像処理装置。
5. 前記画像処理部は、
   各画素の色と前記背景色との差分に基づいて複数の分離基準を算出し、
   前記複数の分離基準を用いて画素を複数のクラスに分類し、
   前記領域を部分領域に分割し、各部分領域内で、前記の各クラスに属する画素数をカウントして、存在比率を求め、
   前記存在比率に基づいて黒化するクラスを決定することを特徴とする請求項４記載の画像処理装置。
6. 前記画像処理部は、
   プレ印刷文字と記載文字の両方を認識することを目的とする場合には、
   前記文字色―背景色の分離基準と前記プレ印刷色―背景色の分離基準の少なくともどちらか一方の分離基準で背景でないと判定された画素のみを黒化し、
   記載文字のみを認識することを目的とする場合には、
   前記文字色―背景色の分離基準と前記文字色―プレ印刷色の分離基準の両方の分離基準で文字と判定された画素を黒化し、
   プレ印刷文字のみを認識することを目的とする場合には、
   前記プレ印刷色―背景色の分離基準と前記文字色―プレ印刷色の分離基準の両方の分離基準で罫線すなわち罫線と判定された画素を黒化する画像処理部と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
7. 前記画像処理部は、
   前記カラー画像を色クラスタリングすることにより背景色を求め、
   前記背景色を用いて前記カラー画像のレイアウトを解析し、
   前記レイアウト解析の結果を用いて、色クラスタリングにより前記プレ印刷色と前記文字色の代表色を求める、
   ことを特徴とする請求項２記載の画像処理装置。
8. 前記画像処理部は、
   前記カラー画像のレイアウトを解析し、
   前記レイアウト解析の結果を用いて、前記カラー画像を領域分割し、
   分割した領域ごとに、前記レイアウト解析の結果を用いて、色クラスタリングにより背景色、プレ印刷色、及び、文字色の代表色を求め、
   ことを特徴とする請求項２記載の画像処理装置。
9. 前記画像処理部は、
   前記カラー画像を色クラスタリングすることにより背景色を求め、
   前記背景色を用いて前記カラー画像のレイアウトを解析し、
   前記レイアウト解析の結果を用いて、前記カラー画像を領域分割し、
   分割した領域ごとに、前記レイアウト解析の結果を用いて、色クラスタリングによりプレ印刷色と文字色の代表色を求めることを特徴とする請求項２記載の画像処理装置。
10. 前記画像処理部は、
    前記カラー画像を色クラスタリングすることにより背景色を求め、
    前記背景色を用いて前記カラー画像のレイアウトを解析し、
    前記レイアウト解析の結果を用いて、色クラスタリングによりプレ印刷色と文字色の代表色を求め、
    前記背景色、プレ印刷色、文字色の代表色に関する情報と、前記レイアウト解析の結果を用いて、前記カラー画像を領域分割し、
    分割した領域ごとに、文字色と背景色の色分離基準と、プレ印刷色と背景色の色分離基準と、文字色とプレ印刷色の色分離基準を算出し、
    前記カラー画像における各画素の色情報とレイアウト情報に基づいて、前記色分離基準を切り替えて2値化処理を行う
    ことを特徴とする請求項２記載の画像処理装置。
11. 前記記憶部に格納した画素値に基づいて文字認識を行う文字認識部、
    を備えることを特徴とする請求項１に記載の画像処理装置。
12. スキャナで撮像して得られたカラー画像から２値画像を生成する画像処理装置であって、
    前記２値画像を生成するための色分離基準を記憶する記憶部と、
    色クラスタリングにより前記カラー画像の複数の色の色情報を求め、
    前記求めた複数の色の色情報に基づいて、２以上の色分離基準を算出し、
    前記求めた複数の色の色情報と前記色分離基準に基づいて、前記色分離基準を切り替えて前記カラー画像の２値化処理を行い、
    前記２値化された画素値を前記記憶部に格納する画像処理方法
    を備えることを特徴とする画像処理方法。
13. 前記カラー画像を部分領域に分割し、
    色クラスタリングにより各領域の背景色を求め、
    前記背景色とそれ以外の色との色分離基準を複数算出し、
    前記色分離基準を切り替えて2値化処理を行うことを特徴とする請求項１２の画像処理方法。
14. スキャナで撮像して得られたカラー画像から２値画像を生成するためのプログラムであって、
    色クラスタリングにより入力されるカラー画像の複数の色の色情報を求めるステップと、
    前記求めた複数の色の色情報に基づいて、２以上の色分離基準を算出するステップと、
    前記求めた複数の色の色情報と前記色分離基準に基づいて、前記色分離基準を切り替えて前記カラー画像の２値化処理を行うステップと、
    前記２値化された画素値を記憶部に格納するステップと、
    を計算機に実行させることを特徴とするプログラム。