JP2010244372A - 帳票認識方法および装置 - Google Patents

Abstract

【課題】 文字や罫線の色が不定な状況において、文字の画素のみを残し、その他の色の画素をドロップアウトする。
【解決手段】 入力された画像の画素を色クラスタリングして、クラスタ内の画素数から背景と文字の色を求める。画像中から文字の色に近い色を残すことにより文字の2値画像を生成する。文字の色以外の色をドロップアウトすることにより、罫線などのノイズの色や偽色の色彩に関係なくドロップアウトできる。文字と罫線が交差して混色している画素や、文字内の偽色は、周辺の画素との関係でドロップアウトするか否かを判定する。
【選択図】 図３

Description

本発明は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ：光学式文字読取装置）等の画像の処理技術に関し、特に除去対象の色が不定な状況において、背景色などをドロップアウトする技術に関する。

ＯＣＲで帳票上の文字を認識するためには、イメージスキャナ等で読み取った画像中から文字成分のみを抽出する必要がある。文字成分を抽出するためには、罫線などのノイズ成分や背景と文字成分とを分離しなければならない。一般的に、文字と背景とを分離するには２値化処理が用いられる。２値化により、輝度が低い文字成分が黒に、輝度が高い背景部分が白となる２値画像が得られる。文字成分と罫線などのノイズ成分の色が異なる場合には、２値化の前にドロップアウト処理が用いられる。ドロップアウト処理とは、印刷もしくは印字されている帳票や文書の画像において、特定の色を画像として現れないようにする処理である。

ドロップアウト処理の代表的な従来技術としては、以下の３種がある。
（１）指定した赤系もしくは青系の色を光学的にドロップアウト
ノイズ成分が赤系もしくは青系のいずれかを指定し、ノイズ成分と同系色の光源で撮像した画像を文字認識に用いる。例えば、文字が黒で罫線が赤い帳票を赤系の光源で撮像すると、罫線部分が画像に現れなくなる。青系でも同様である。既存のハードウェアＯＣＲ製品の多くがこの方式をとっている。
（２）ＲＧＢで最適なドロップアウト色を動的に選択
カラー画像を撮像し、ＲＢＧの3つの色のうち、ノイズ成分の輝度が最も高くなる色を選択した後、その色における画素の濃淡値を用いて２値化する方式がある。この方式の従来例としては特許文献１がある。
（３）濃淡画像の濃度で分離
この方式は色情報を使わず、濃淡画像を用いる方式である。濃淡画像において輝度値のヒストグラムをとり、最も明るい領域を背景、最も暗い領域を文字、中間をノイズ成分と仮定して分離する方式がある。この方式の従来例としては特許文献２がある。

特開２００３−１９６５９２号公報 特開２００４−９４４２７号公報 特開２００７−１５６７６４号公報

本発明の画像処理装置は、画像中の色情報や濃淡情報を用いて文字成分とその他の成分を分離することを目的とする。さらに、画像ごとに文字成分とノイズ成分の色の組み合わせが異なる場合でも、正しくドロップアウトすることを目的としている。この処理を実現するにあたって解決すべき課題は以下の通りである。
（ａ）文字成分やノイズ成分の色が様々で，これらの色の組み合わせが画像毎に異なる
異なる機関で発行された帳票を一括して処理する場合、文字の色や罫線などのノイズ成分の色は同じである保証はない。したがって、文字やノイズ成分が異なる帳票が混在した状態で、文字以外の成分をドロップアウトする必要がある。この場合、ドロップアウトする色をあらかじめ指定することができないため、従来手法（１）の方式は適用できない。
（ｂ）ＲＧＢでは分離困難な色
茶色や紫などＲＢＧの情報では分離が困難な色や、濃淡値が高い色を含む帳票では、従来手法（２）を適用することができない。
（ｃ）複数のノイズ成分色
従来手法（２）のように、ＲＧＢで分離する手法では、複数の色のノイズ成分を含む場合にはドロップアウトできない場合がある。例えば、赤系と青系のノイズ成分を含む場合には、どちらか一方の色しかドロップアウトできない。
（ｄ）高濃度のノイズ成分色
従来手法（１）（２）（３）は、画素の濃淡値に基づいて２値化処理利用する。したがって、ノイズ成分が文字成分と同程度に高濃度の場合には両者を分離できないため、ノイズ成分をドロップアウトできない。
（ｅ）同系色のノイズ成分色
文字色とノイズ成分色の色が同系色の場合には、色の違いに着目した従来手法（１）（２）ではノイズ成分をドロップアウトできない。濃度に着目すればドロップアウトできる場合もある。しかしながらこの方式では、文字と同系色のノイズと、文字と濃度が同じで異なる色のノイズが混在する場合には、後者のノイズ成分をドロップアウトできない。
（ｆ）偽色
スキャナの撮像素子の特性上、文字や罫線などの境界付近に本来の色とは異なる色（偽色）が発生する場合がある。従来手法（１）（２）は、除去対象の色に着目してドロップアウト処理を行なうため、除去対象とは異なる色である偽色部分が除去されないという問題がある。さらに、文字内に偽色が発生する場合には、この画素をドロップアウトしてしまうという問題もある。

本発明の一例では、処理画像中の文字を構成する画素以外の画素をドロップアウトする画像処理方法であって、処理画像を入力するステップと、処理画像の画素を第１の色空間上で色クラスタリングするステップと、色クラスタリングに基づいて背景色、文字色を識別するステップを有する。背景色、文字色を識別するステップにおいて、例えば最も画素数が多いクラスタまたは最も明度が高いクラスタに属する画素から背景色を識別することができる。また、背景色でないと識別されたクラスタから文字色が含まれるクラスタを選択する。例えば、２番目に画素数が多いクラスタまたは最も明度が低いクラスタに属する画素から文字色を識別することができる。

さらに、処理画像の各画素を、上記で識別された背景色、文字色に加えて、当該画素のＲＧＢ以外の要素（例えば、色相や彩度）を用いて、背景候補、文字候補および除去候補等に弁別することができる。

第１の色空間は、ＲＧＢ、ＨＳＶ、ＨＬＳ、ＨＳＢ、ＣＭＹ、ＣＭＹＫなどの各種色空間を用いることができる。画素の色相および彩度を用いる場合に、画像の画素を第１の色空間からＲＧＢ以外の色相、彩度等の次元が含まれる第２の色空間、例えばＨＳＶ、ＨＬＳ、ＨＳＢ等に変換してから処理を行うことができる。別の例としては、色空間の変換を行わず、処理の都度第１の色空間の数値から色相、彩度等を計算することもできる。

本発明の一形態によると、文字成分色とノイズ成分色が不定である帳票に対して、自動的にノイズ成分をドロップアウトすることができる。さらに、ノイズ成分が同系色である場合や、複数の場合、高濃度の場合でもドロップアウトできる。

本発明の実施形態を図面を用いて説明する。なお、本発明は、以下の説明によって限定されるものではない。

図１は、本発明の実施形態の帳票認識システムの構成を示す図である。

帳票認識システムは、入力装置１０、画像入力装置２０、画像処理装置３０、辞書４０、表示装置５０、及び画像データベース（ＤＢ）６０を備える。

入力装置１０は、画像処理装置３０にコマンド及びコードデータ等を入力するためのキーボード及びマウス等の装置である。

画像入力装置２０は、帳票を画像データとして、画像処理装置３０に入力するためのスキャナ等の装置である。

画像処理装置３０は、画像入力装置２０によって入力された帳票の読み取り領域を検出してドロップアウト処理をする計算機であって、図示しないＣＰＵ、メモリ、及び記憶装置を備える。画像処理装置では、ドロップアウト画像の文字認識などの処理も実行することができる。

辞書４０は、画像処理装置３０が帳票を認識する際に参照する辞書データベースである。辞書４０は、具体的には、画像処理装置３０が文字認識する際に参照する文字認識辞書や、帳票の読み取り領域を検出する際に参照する帳票情報等を格納する。

表示装置５０は、画像処理装置３０によって帳票が認識された結果を表示するディスプレイ等の装置である。

画像ＤＢ６０は、画像入力装置２０によって画像処理装置３０に入力された画像データを格納する。また、画像ＤＢ６０には、画像入力装置２０によって画像処理装置３０が認識する対象となる画像データが予め格納されていてもよい。

なお、本発明は、画像処理装置３０と同じ機能を備えるソフトウェアによって通常の計算機に実装されてもよい。

本発明で実現するドロップアウト方式の具体例を示す前に、本発明の処理結果の概要を図２に示す日付印の例を用いて説明する。
図２（a）において，２０００は処理対象の領域，２０１０は押印，２０２０は帳票上の罫線、２０３０はノイズを表す。ドロップアウト処理は，図２(a)の入力画像から図２(b)のドロップアウト画像を生成する処理である。ドロップアウトされた画像図（b）では、領域内には押印の色成分の画素（２０４０）のみが残っている。なお、図２は押印の例なので、スタンプの輪郭も文字と同じ色であるので、円形の輪郭も一緒に残っている。
このような処理を実現するために、本発明では以下のような方式をとる。まず、ＲＧＢ色空間の情報を用いて文字と背景、およびその他の色をクラスタリングする。次に文字色か否かを判定して、文字以外の色の成分をドロップアウトする。文字の色か否かの判定の際にはＲＧＢ色空間の情報だけでなく，ＨＳＶ色空間の情報も利用する。ＨＳＶ色空間の情報を利用することにより，高濃度のノイズ成分も色相での分離が可能となる。
次に、本発明における課題の解決策についての概要を説明する。詳細については図３以降を用いて説明する。
（ａ）文字成分やノイズ成分の色が様々で，これらの色の組み合わせが帳票毎に異なる
背景色と文字色を推定した後，文字色を黒，それ以外を白とする2値化処理を行なう。文書ごとに文字色を推定するため，文字の色が一定でなくてもドロップアウトが可能になる。
（ｂ）ＲＧＢでは分離困難な色
茶色や紫など、単純にＲＢＧ分離してもドロップアウトが困難な色をドロップアウトするには，ＲＧＢの色情報だけでなく，ＨＳＶ色空間の明度（Ｖ）や色相（Ｈ）を利用して分離する。
（ｃ）複数のノイズ成分色
従来の方式では，除去する色を選択してドロップアウトする方式が多かったため，除去したい色が複数ある場合には対応が困難な方式があった。本発明では，文字色以外を除去する方式をとる。このため，ドロップアウトしたい色が複数の場合でも，除去したい色ごとの判定処理は不要であり，除去したい色の数に依存しない。
（ｄ）高濃度のノイズ成分色
従来の方式では，濃度が高い画素は２値化処理で黒になる傾向が多い。本発明では，文字色との違いに着目しているため，文字色と異なる色相の画素除去することにより，濃度が高い画素をドロップアウトできる。
（ｅ）同系色のノイズ成分色
文字色とノイズ成分が同系色の場合は，相対的に明度が低い方を文字色，高い方をノイズ色として分離することにより，ドロップアウトが実現できる。
（ｆ）偽色
文字色を残して，他の色を除去するため，偽色が残ることは少ない。文字の画素が偽色になった場合には，周辺の画素の色を勘案して文字色かそれ以外かを判定することにより，文字内の偽色を残すことが可能になる。

以下、本発明を適用した画像処理方法および画像処理装置の一実施形態について説明する。

図３は、本発明を適用した画像処理方法の処理フローを示す図である。これは，画像処理装置（ＣＰＵ）３０にて実行される。通常はＣＰＵで実行されるプログラムとして実現され、このようなプログラムは各種記録媒体に格納することができ、メモリに格納されてＣＰＵで実行される。

処理領域選択処理（３０００）は、画像中から読取対象の文字を含む領域を選択する処理である。この処理は画像中の一部分を選択しても、全体を選択しても良い。

色クラスタリング処理（３０１０）は、処理領域中の各画素を色クラスタリングする処理である。色クラスタリングは、画像中の各画素を色空間上にマッピングした後、あらかじめ決められた基準に基づいて、近い色同士を同じクラスタとする。

図４に色クラスタリングの一例を示す。図４は、ＲＧＢ色空間へのマッピングの例であるが、他の種類の色空間でも良い。ＲＧＢ色空間は、ＲＧＢそれぞれの値を軸に持つ3次元空間である。通常、ＲＧＢの各軸の値は０から２５５をとる。原点（０，０，０）は黒を表し、（２５５，２５５，２５５）は白を表す。処理対象領域内の各画素はＲＧＢ色空間上の一点にマッピングできる。文字、罫線、背景の色は全く同じになることはないので、各カテゴリの代表的な色を中心とした複数の分布ができる。このようにＲＧＢ色空間では赤、緑、青の色に着目したクラスタリングができる。図２の例で、背景を白、文字（２０１０）の色を赤、罫線（２０２０）の色を青とすると、図４では、４０００が背景の画素の分布、４０１０が文字の画素の分布、４０２０が罫線の画その分布となる。それ以外にも、ノイズや偽色として４０３０から４０５０のような別の色も存在しうる。色クラスタリングでは、各分布の中心の色や最も頻度が高い色を中心とするクラスタ間を、ボロノイ分割やユークリッド距離の閾値などを用いて分割することである。これにより、例えば３つのクラスタに分ける場合には、４０００、４０１０，４０２０を中心とした３つのクラスタに分割できる。

背景色選択処理（３０２０）は、色クラスタリングした結果から、背景色を選択する処理である。図４の例では４０００のクラスタを選択した後、このクラスタの分布の中心の色、もしくは最も画素数（頻度）が多い色を背景色とする。背景色を含むクラスタの選択基準の一例としては、最も画素数が多いクラスタを採用する。この理由は、処理対象領域内では、文字、罫線、ノイズ、背景の中で、一般的に背景の面積が最も多いからである。背景色を含むクラスタの選択基準の他の例としては、最も明度が高いクラスタを選択することができる。この理由は、紙の色は文字の色に比べて明度が高いためである。クラスタの明度としてはクラスタに含まれる画素の平均の明度や、分布のピークまたは中心の明度を用いることができる。なお、明度を基準とする場合には、ＲＧＢ色空間ではなく、ＨＳＶ色空間などを用いても良い。ＨＳＶ色空間については、図５を用いて後述する。

文字色選択処理（３０３０）は、色クラスタリングした結果から、文字色を選択する処理である。図４の例では４０１０のクラスタを選択した後、このクラスタの分布の中心の色、もしくは最も画素数（頻度）が多い色を背景色とする。文字色を含むクラスタの選択基準の一例としては、背景色を含むクラスタの次に画素数が多いクラスタを採用する。この理由は、背景色と同様、処理領域内に占める面積に起因する。あるいは、最も明度が低いクラスタを採用する方法もある。

なお背景や文字の色があらかじめ指定されている場合においては、指定された色情報を用いてクラスタを選択してもよい。例えば背景が白や黄色、文字が黒や青などであることが多いので、これらの情報を利用しても良い。

なお、背景色選択処理（３０２０）と文字色選択処理（３０３０）で色クラスタリングする処理領域は、同じでも異なっていてもよい。同じ場合の例は、３０００で指定された処理領域内の画素を全て利用すればよい。異なる場合の例としては、文字色選択の際には文字が存在している領域に限定することができる。これは、帳票上の文字など、あらかじめ文字の位置が特定できる場合に利用できる。また、背景色選択の際には背景が存在しやすい領域に限定することができる。

ＨＳＶ変換処理（３０４０）は、画素分類処理（３０５０）に利用するために、処理対象の画素を入力装置から得られるＲＧＢ色空間からＨＳＶ色空間に変換する処理である。
図５を用いてＨＳＶ色空間の概要を説明する。ＨＳＶ色空間は、色を色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）で表現するモデルであり、円錐で視覚化できる。色相は円錐の外周に添って変化する。垂直軸は明度を、水平軸は彩度を表す。ＲＧＢ色空間からＨＳＶ色空間へは、数式を用いて変換することが可能である。本発明でＨＳＶ色空間を用いた理由は、一般にＨＳＶ色空間を用いた色の表現は、色相や明るさを用いた人間の色の知覚方法と類似しているためである。なお、色空間の変換はＨＳＶだけでなく、ＨＬＳ色空間（色相（Ｈ）、輝度（Ｌ）、彩度（Ｓ）で表現する）やＨＳＢ色空間（色相（Ｈ）、彩度（Ｓ）、明度（Ｂ）で表現する）などを用いてもよい。その他にも、印刷の過程で利用する減法混色の表現法であるＣＭＹ色空間やＣＭＹＫ色空間などを利用してもよい。

このようにＲＧＢ以外の次元を用いることにより、高精度の画素分類処理が可能となる。なお、上記の例では、一括して色空間の変換を行ってから次の処理を行ったが、色空間の変換を行わずに、Ｈ，Ｓ等をその都度ＲＧＢから計算して処理を行うことも可能である。

画素分類処理（３０５０）は、ドロップアウトを目的として領域内の各画素を分類する処理である。

図６を用いてこの処理の概要を説明する。図６は、図２の数字「２」付近の拡大図である。個々の正方形は画素を表す。図２（a）は入力された画像の一部である。文字の画素（６０００など）と背景の画素（６０１０など）、罫線の画素（６０２０など）、ノイズ等の画素が存在する。ノイズについては、紙に存在していたノイズ（６０３０など）の他に、偽色などスキャン時に発生するノイズ（６０４０など）がある。偽色とは、撮像素子や光学系の特性により、実際とは異なる色が発生することである。偽色は色が大きく異なる箇所に発生しやすいため、罫線や文字の境界付近に発生することが多い。図６（a）の画像を入力して、図（ｂ）に示すように各画素を分類する。分類は、まず文字（６０５０など）と背景（６０６０など）とに判定する。この判定は、図３の３０２０、３０３０で選択された背景色、文字色を用いて行うことができる。この２つに明確に分類できない場合は、画素の色や明度に応じて、主に偽色を意味する文字候補（６０７０など）と、文字でも背景でもない色であるとして主に罫線などを意味する除去候補（６０８０など）に判定する。この画素分類処理の詳細は図７を用いて後述する。

濃淡画像生成処理（３０６０）は、後段の２値化処理（３０７０）において文字の画素が残り、それ以外の画素が除去されやすいように、各画素の輝度値を補正した濃淡画像を生成する処理である。補正処理は、画素分類処理（３０５０）において文字、背景、文字候補、もしくは除去候補に分けられた各画素に対して、当該画素と周囲の画素の判定結果や明度などから、当該画素の輝度値を変更する。背景、文字、文字候補、除去候補のそれぞれの輝度値の補正方法の概要を以下に示す。背景の画素は、確実にドロップアウトできるように白(輝度値255)に変換する。文字の画素の輝度値はそのままにする。文字候補や除去候補の画素は、当該画素の周囲の画素の判定結果や輝度から信頼度を設定し、信頼度が低ければ白に変換し、第１の基準以上、第２の基準以下であれば輝度値を高く（明るく）する。第２の基準以上であれば、輝度値はそのままにする。この処理の詳細については、図８から図１１を用いて後述する。

2値化処理（３０７０）は、濃淡画像生成処理（３０６０）で生成された濃淡画像を白と黒に２値化する処理である。この結果、文字の画素を残して、背景や罫線、ノイズ等の画素をドロップアウトした2値画像が生成される。2値化の手法としては、固定閾値を用いる手法や、動的に閾値を変える手法など多くの手法が提案されている。代表的な手法としては大津の2値化手法がある。この２値画像が文字認識などの処理に利用される。

図７を用いて、以下、図３における画素分類（３０５０）の処理フローを詳細に説明する。

まず、ステップ７０００において、領域内の最初の画素を選択する。この画素に対して、以下の判定処理を行なう。ステップ７０１０は、背景の画素を判定する処理である。紙色は白であることが多いので、背景色を白と仮定した上で、当該画素の色が白に近ければ、ステップ７０２０において当該画素を背景と判定する。また、白の代わりに図３の３０２０で選択された背景色に近い色を背景と判定することもできる。本実施例では、判定結果はフラグに記録されることとする。白（または背景色）に近いか否かの判定の一例として、ＲＧＢ空間において、白（２５５，２５５，２５５）と当該画素とのユークリッド距離が基準以下であるか否かを判定する方法がある。ＨＳＶ色空間であれば、明度が基準以上で彩度が基準以下であれば白と判定する。ステップ７０１０の判定条件を満たさない場合は、ステップ７０３０の処理を行なう。ステップ７０３０は白や背景色以外の背景の画素を判定する処理である。背景は白に限らないが、文字に比べると明度が高いため、当該画素の明度が基準以上であれば、ステップ７０２０において当該画素を背景と判定する。明るさの尺度の一例としては、ＲＧＢ色空間やＨＳＶ色空間から求めた輝度や明度を利用することができる。ここまでの処理で背景の画素を判定できる。

ステップ７０４０は、当該画素が文字か否かを判定する処理である。当該画素が図３のステップ３０３０で求めた文字色に近い画素であれば、ステップ７０５０において当該画素を文字と判定する。文字色に近いか否かの判定の一例は、ＲＧＢ空間内における当該画素の色と文字色とのユークリッド距離が基準以下であれば文字と判定する。
ステップ７０４０の判定条件を満たさない場合、ステップ７０６０において、ステップ３０３０で求めた文字色が無彩色（灰色や黒）か有彩色かで処理を分ける。この判定はＨＳＶ色空間での彩度（Ｓ）を用いることができる。彩度が低いと文字色は黒に近く、彩度が高いと文字色は色彩をもつ（カラーである）と判定できる。

ステップ７０６０の判定で文字色が黒であると判定された場合に、ステップ７０７０で当該画素が文字か否かを判定する。当該画素の彩度が基準いかであれば、彩度が低い文字色に近いため、ステップ７０５０で当該画素を文字と判定する。ステップ７０７０の判定条件を満たさない場合は、ステップ７０８０において当該画素を文字候補と判定する。文字候補と判定された画素は、図８を用いて後述する輝度補正処理が実行される。この処理については図８と図９を用いて後述する。

ステップ７０６０の判定で文字色がカラーであると判定された場合に、ステップ７０９０で当該画素が文字か否かを判定する。文字の色がカラーである場合には、当該画素と文字色の色相の差が基準以下であれば、ステップ７０５０において当該画素を文字と判定する。色相のみを判定することにより、かすれなどによる濃淡の違いを吸収できるというメリットがある。

ステップ７０９０の条件を満たさない場合には、当該画素は文字とは異なる色であり罫線などのノイズであるとして、ステップ７１００にて除去候補と判定する。文字候補と判定された画素は、図８を用いて後述する輝度補正処理が実行される。この処理については図８と図１０を用いて後述する。

当該画素がステップ７０２０、７０５０、７０８０、７１００のいずれかの処理を経た後、ステップ７１１０にて領域内の全ての画素が処理されたか否かを判定する。全て処理していなければステップ７１２０にて次の画素を選択してステップ７０１０に戻る。全て処理していれば、画素分類処理を終了する。

なお、図７においては、文字以外の色をドロップアウトするために文字の色のみに着目してステップ７０９０の色相の判定を行なった。しかし、罫線などのノイズ成分の色が検出できる場合には、ノイズ成分の色相との判定を加えてもよい。
また、図７においては、文字、背景、文字候補、除去候補に画像を分類したが、文字候補と除去候補は一つにまとめてもよい。すなわち、ステップ７０８０とステップ７１００が同じ処理となる。この場合、図８から図１１で説明する濃淡画像生成においても、文字候補と除去候補は同じであるとして処理を行なう。

以下、図８から図１１を用いて、図３の濃淡画像生成処理（３０６０）の処理フローを詳細に説明する。

図８は、濃淡画像生成処理の全体概要である。図７で分類した結果は必ずしも正しくないために、分類結果の信頼度を算出し、信頼度を用いて濃淡画像を生成する。まず、ステップ８０００において文字候補と判定された画素について信頼度を設定する。この処理の詳細については、図９を用いて後述する。次に、ステップ８０１０において、除去候補と判定された画素について信頼度を設定する。この処理の詳細については、図１０を用いて後述する。最後に、ステップ８０２０において、文字候補と除去候補と判定された画素に対して信頼度に応じた輝度値の修正を行なって濃淡画像を生成する。この処理の詳細は図１１を用いて後述する。

図９は、図８のステップ８０００に示した、文字候補と判定された画素に対する信頼度付けの処理フローを示す図である。この処理の目的は、主に境界付近に発生する偽色を、適切に除去もしくは残留させることである。この処理は、文字候補の画素の周囲に文字の画素があるか否かを判定し、文字の画素があれば、その数や輝度に応じて当該画素の信頼度を高める。当該画素の周辺の画素を判定する理由は、周辺に文字の画素が多い場合は、文字の一部の色が偽色などで変化した画素である可能性が高いからである。そうでなければ文字色に近いノイズ成分と判断できる。図９の処理において信頼度が高くなる文字候補の画素は、図３の2値化処理（３０８０）において、文字の画素として判定される可能性が高くなる。

図９では、まず、ステップ９０００において、領域内の最初の画素を選択する。この画素に対して以下の判定処理を行なう。ステップ９０１０は、当該画素が文字候補か否かを判定する。文字候補の場合には、ステップ９０２０において、当該画素の周囲に文字と判定された画素の有無を判定する。周囲とは、当該画素を中心として隣接する８近傍でも４近傍でもよい。周囲に文字の画素が存在する場合には、周囲の文字画素の数や、当該画素や文字画素の輝度の情報を利用して信頼度を設定する。信頼度の一例としては、周囲の文字画素の数を定数倍する手法がある。その他には、当該画素と文字画素との輝度の差の逆数を定数倍する手法がある。輝度の差を利用する理由は、文字の画素との輝度の差が少ないほど文字の可能性が高いからである。

ステップ９０２０で条件を満たさない場合、もしくはステップ９０３０の後、ステップ９０４０にて領域内の全ての画素が処理されたか否かを判定する。全て処理していなければステップ９０５０にて次の画素を選択してステップ９０１０に戻る。全て処理していれば、文字候補画素の信頼度設定処理を終了する。

図１０は、図８のステップ８０１０に示した、除去候補と判定された画素に対する信頼度付けの処理フローを示す図である。この処理の目的は、文字でも背景でもない色を持つ罫線などのノイズ成分の画素を除去することである。この処理では、除去候補の画素の周囲に、文字の画素や信頼度が高い文字候補の画素があるか否かを判定し、文字の画素や文字候補の画素があれば、その数や輝度に応じて当該画素の信頼度を高める。当該画素の周囲の画素を判定する理由は、周囲に文字の画素が多い場合は、罫線などのノイズ成分と文字が交差している部分である可能性が高いからである。図９の処理において信頼度が高い文字候補画素も判定対象とする理由は、文字に隣接しているために最終的に文字になる可能性が高いからである。

図１０では、まずステップ１００００において、領域内の最初の画素を選択する。この画素に対して以下の判定処理を行なう。ステップ１００１０は、当該画素が除去候補か否かを判定する。除去候補の場合には、ステップ１００２０において、当該画素の周囲に文字と判定された画素の有無を判定する。周囲に文字の画素が存在する場合には、周囲の文字画素の数や、当該画素や文字画素の輝度の情報を利用して信頼度を設定する。この信頼度の設定方法は図９のステップ９０３０と同様でも別でもよい。ステップ１００２０の条件を満たさない場合には、当該画素の周囲に図８のステップ８０００で高い信頼度となった文字候補の有無を判定する。この条件を満たす場合には、ステップ１００３０に進む。

ステップ１００４０で条件を満たさない場合、もしくはステップ１００３０の後、ステップ１００５０にて領域内の全ての画素が処理されたか否かを判定する。全て処理していなければステップ１００６０にて次の画素を選択してステップ１００１０に戻る。全て処理していれば、除去候補画素の信頼度設定処理を終了する。

図１１は、図８のステップ８０２０に示した、判定結果と信頼度に基づく濃淡画像生成処理のフローを示す図である。この処理では、画素の分類と信頼度に応じて画素の輝度値を補正して濃淡画像を生成する。輝度値の補正では、背景は白に、文字でない画素は輝度値を上げる。この処理により、後段の2値化処理において文字のみが残る2値画像を生成することを目的としている。

まず、ステップ１１０００において、領域内の最初の画素を選択する。この画素に対して、以下の判定処理を行なう。ステップ１１０１０は、当該画素が文字か否を判定する処理である。文字の画素の場合は、ステップ１１０１０において当該画素の輝度値をセットする。ステップ１１０１０の条件を満たさない場合、ステップ１１０２０において当該画素が背景か否かを判定する。背景の画素の場合は、確実にドロップアウトできるように、白の輝度値（最大輝度値、２５５）をセットする。

ステップ１１０２０の条件を満たさない画素は、文字候補もしくは除去候補である。これらはステップ１１０４０において、信頼度が０か否かを判定する。信頼度が０であるということは、周囲に文字の画素が存在しないということである。この場合、ノイズであると判定して、ステップ１１０３０にて白の輝度値をセットする。信頼度が０より大きい場合は、ステップ１１０５０において、信頼度が予め決められた基準値を超えるか否かを判定する。信頼度が基準値以下の場合には、ステップ１１０６０にて輝度値を増加させた値をセットする。ステップ１１０５０の条件を満たす画素は、文字である可能性が低いものの可能性が０ではない。そこで、2値化でドロップアウトしやすくするために輝度値を上げた値をセットする。輝度値を上げたとしても、当該画素の輝度値や周囲の輝度値により、ドロップアウトされる場合とされない場合がある。最終判定は、後段の2値化処理（３０７０）で行なう。輝度値を上げる計算の一例は、輝度値に信頼度の定数倍を増やすことができる。

ステップ１１０５０の条件を満たさない場合は、１１０１０にて輝度値をそのままセットする。これは、当該画素と隣接する文字の画素が多いため、文字の画素と同じ扱いをしたものである。

当該画素がステップ１１０１０、１１０３０、１１０６０のいずれかの処理を経た後、ステップ１１０７０にて領域内の全ての画素が処理されたか否かを判定する。全て処理していなければステップ１１０８０にて次の画素を選択してステップ１１０１０に戻る。全て処理していれば、判定結果と信頼度に基づく濃淡画像生成処理を終了する。
図９から図１１の処理を図６の例を用いて補足する。まず、文字候補の画素について説明する。６０９０や６１００のような周囲に文字の画素が多い場合は、文字であるとして図６（ｃ）に示すように黒に２値化される。６１１０は周囲に文字の画素がないため、図６（ｃ）では白となる。６０７０は周囲に文字の画素があるものの、輝度が高かったため、図６（ｃ）では白となる。次に、除去候補の画素について説明する。６０８０は罫線の画素である。これは文字の色とは輝度もしくは色相が異なるため、図６（ｃ）では白となる。６０３０は周囲に文字の画素がないため、図６（ｃ）では白となる。一方、６１２０や６１３０は除去候補であるものの、周囲に文字候補が多いため、図６（ｃ）では黒となる。このように、偽色や罫線などの他の色が存在している場合でも、文字と同じ色のみをドロップアウトできる。

次に、本発明を適用した画像処理方法および画像処理装置の第二の実施形態について説明する。

図１２は、本発明のドロップアウト処理のフローを示す別の図である。図３と同じ番号がついている処理は図３と同じである。この例では、図３の２値化処理（３０７０）の前後に画像補正１（１２０００）と画像補正２（１２０１０）が追加されている。なお、この処理はどちらか一方でもよい。
画像補正１（１２０００）は、濃淡画像を用いた画像補正である。補正の例としては、傾き補正がある。傾き補正をここで行なうメリットは、２値化後の画像に比べて濃淡画像では傾き補正後に量子化誤差が発生しにくいことである。具体的には、斜めの線や曲線を含む画像を補正した際に、線上にギザギザが発生しにくくなる。傾き補正手法の例としては、バイリニア法やバイキュービック法を利用することができる。なお、傾き補正のためには、傾きを検出する必要がある。これは画像補正１（１２０００）内で実行しても、他の処理で求めてもよい。画像補正１で行なう処理の他の例としては、ノイズ除去がある。ノイズ除去の例としては、隣接する画素の濃度からスムージング処理を行なうなどがある。
画像補正２（１２０１０）は、２値画像を用いた画像補正である。補正の一例としては、傾き補正がある。傾き補正をここで行なうメリットは、濃淡画像に比べて処理時間が短いことである。なお、傾き補正のため傾き検出は画像補正２（１２０１０）内で実行しても、他の処理で求めてもよい。傾き補正は画像補正１（１２０００）と画像補正２（１２０１０）のどちらでも実行可能であるので、通常はどちらか一方で行なえばよい。画像補正１で行なう処理の他の例としては、ノイズ除去がある。ノイズ除去の例としては、孤立点除去などがある。

次に、本発明を適用した画像処理方法および画像処理装置の第三の実施形態について説明する。

図１３は、本発明のドロップアウト処理を利用した、帳票上の文字の読取を行なう処理フローである。画像入力（１３０００）において対象のカラー画像を入力し、読取領域選択（１３０１０）において読取対象の文字を含む領域を検出する。読取り対象の領域検出方法としては、帳票上の枠を検出する方法や、あらかじめ決められた座標から求める方法などがある。次に、読取対象の領域に対してドロップアウト処理（１３０２０）を行なう。この処理は、本発明の図３や図１２の手法を利用することができる。次に、ドロップアウトした画像から文字領域を検出する（１３０３０）。文字領域の検出の一例として、行抽出などの手法を利用できる。次に、文字認識（１３０４０）を行なった後、認識結果を出力（１３０５０）する。

次に、本発明を適用した画像処理方法および画像処理装置の第四の実施形態について説明する。

図１４は、本発明のドロップアウト処理を利用した、領収印の日付認識の処理フローである。図１３内の番号は図１３と同じ処理である。画像入力（１３０００）において対象のカラー画像を入力し、領収印検知（１４０００）において領収印の領域を検出する。領収印領域検出の一例としては、特許文献３がある。次に、領収印の領域に対してドロップアウト処理（１４０１０）を行なう。この処理は、本発明の図３や図１２の手法を利用することができる。この処理では、傾き補正も行なうものとする。次に、ドロップアウトした領収印の画像から日付領域を検出する（１４０２０）。日付領域の検出の一例として、上下方向に中央付近に存在する黒画素の塊の列を選択するなどの手法を利用できる。次に、ドロップアウト画像から日付領域を切り出して日付認識をすることができる。日付認識（１４０３０）ではＯＣＲを用いて文字を認識する。さらに、様々な日付の表記形式をあらかじめ知識として蓄えておき、文字認識結果と照合することにより、文字認識結果を修正して日付として矛盾のない認識結果を出力する。文字認識結果が日付として矛盾がなければ結果を出力して（１３０５０）終了する。矛盾があれば、日付画像を１８０度回転して（１４０５０）認識しなおす。

本発明の実施形態の画像処理装置の構成図。 本発明の実施形態のドロップアウト処理の概略を示すフローチャート。 本発明の実施形態のドロップアウト処理の一例を示す図。 本発明の実施形態の色クラスタリング処理の一例を示す図。 HSV色空間を示す図。 本発明の実施形態の画素分類と2値化の一例を示す図。 本発明の実施形態の画素分類処理の概略を示すフローチャート。 本発明の実施形態の輝度補正処理の概略を示すフローチャート。 本発明の実施形態の輝度補正処理における、文字候補の信頼度設定処理の概略を示すフローチャート。 本発明の実施形態の輝度補正処理における、除去候補の信頼度設定処理の概略を示すフローチャート。 本発明の実施形態の輝度補正処理における、判定結果と信頼度に基づく濃淡画像生成処理の概略を示すフローチャート。 本発明の実施形態のドロップアウト処理の別の例を示す図。 本発明のドロップアウト処理を利用した帳票読み取りの処理フロー。 本発明のドロップアウト処理を利用した押印日付読み取りの処理フロー。

Claims (11)

1. 処理画像中の文字を構成する画素以外の画素をドロップアウトする画像処理方法であって、
   上記処理画像を入力するステップと、
   上記処理画像の画素を第１の色空間上で色クラスタリングするステップと、
   上記色クラスタリングに基づいて背景色、文字色を識別するステップを有する画像処理方法。
2. 上記背景色、文字色を識別するステップにおいて、最も画素数が多いクラスタまたは最も明度が高いクラスタに属する画素から背景色を識別し、背景色と識別された以外のクラスタまたは最も明度が低いクラスタに属する画素から文字色を識別することを特徴とする請求項１記載の画像処理方法。
3. 上記処理画像の画素を、上記識別された背景色、文字色、当該画素の色相および彩度を用いて、背景候補、文字候補および除去候補に弁別する請求項１または２記載の画像処理方法。
4. 上記処理画像の画素を第１の色空間から第２の色空間に変換するステップを有し、
   上記第２の色空間上で、
   上記処理画像の画素を、上記識別された背景色、文字色、当該画素の色相および彩度を用いて、背景候補、文字候補および除去候補を弁別する請求項３記載の画像処理方法。
5. 上記第１の色空間は、ＲＧＢまたはＨＳＶであることを特徴とする請求項１ないし４のうちのいずれかに記載の画像処理方法。
6. 上記第２の色空間は、ＨＳＶ、ＨＬＳ、ＨＳＢ、ＣＭＹおよびＣＭＹＫのうちのいずれかであることを特徴とする請求項４記載の画像処理方法。
7. 入力された画像中一部の画素をドロップアウトする画像処理装置であって、
   画像内の画素を色クラスタリングすることにより、
   背景色を選択するとともに
   背景色以外の色から文字色を選択することを特徴とする画像処理装置。
8. 処理領域内の画素をドロップアウトするために分類する手段を有し、
   上記分類結果と各画素の周囲情報に基づいて画素の輝度値を補正して濃淡画像を生成し、
   濃淡画像を２値化して２値画像を生成することを特徴とする請求項７記載の画像処理装置。
9. 請求項８の画像処理装置において、当該画像処理装置は画像の画素を文字、背景、文字候補、および除去候補に分類するものであり、
   画素の色が背景色または白に近いもしくは輝度が基準以上の場合は背景と判断し、
   当該画素の色が文字色に近い場合は、当該画素を文字と判断し、
   上記の判断で対象外になった画素に対して、
   文字色が黒に近い場合には、当該画素の彩度が第一の基準未満の場合には当該画素を文字と判断し、彩度が第一の基準以上であれば当該画素を文字候補と判断し、
   文字の色が色彩を持つ場合には、当該画素の色相と文字の色相の差が第二の基準未満であれば当該画素を文字と判定し、第二の基準以上であれば除去候補とする
   ことを特徴とする画像処理装置。
   
10. 請求項９の画像処理装置おいて、
    文字候補や除去候補の画素の周囲に、文字の画素や文字候補の画素が存在する場合には信頼度を高くし、
    文字の画素には入力された画素の輝度値を設定し、
    背景の画素には最大輝度値を設定し、
    文字候補や除去候補の画素に対しては、信頼度が第三の基準未満であれば背景と判断して最大輝度を設定し、信頼度が第三の基準以上で第四の基準未満であれば入力画素の輝度を大きくして設定し、信頼度が第四の基準以上であれば入力画素の輝度値を設定し、
    上記設定された画素の輝度値を用いて濃淡画像を生成する
    ことを特徴とする画像処理装置。
11. 画像中の文字とは異なる色の画素をドロップアウトする画像処理方法であって、
    画像を入力し、処理領域を選択し、
    領域内の画素を色クラスタリングし、
    色クラスタリングに基づいて背景色を選択し、
    色クラスタリングに基づいて背景色以外の色から文字色を選択し、
    処理領域内の画素をＲＧＢ色空間からＨＳＶ色空間に変換し、
    処理領域内の全ての画素をドロップアウトするために分類し、
    分類結果と各画素の周囲情報に基づいて画素の輝度値を補正して濃淡画像を生成し、
    濃淡画像を２値化して２値画像を生成する
    ことを特徴とする画像処理方法。

Images