JP2015046001A - 文字認識装置、文字認識システム、文字認識方法および文字認識プログラム - Google Patents

Abstract

【課題】多色で構成される帳票画像から、当該帳票に記入された文字の色を分別して、文字認識をする文字認識装置、文字認識方法および文字認識プログラムを提供する。【解決手段】文字認識装置は、文字記入位置に関する図形が文字記入色と異なる色で形成された帳票の画像データが入力されて、当該帳票に記入された文字の文字認識を行う文字認識装置において、入力された画像データから得られる帳票画像に対し二値化により黒画素となる画素の情報を少なくとも含む二値化データを生成する画像二値化部（３１）と、二値化データにおける黒色の黒画素を特定し、黒画素と同じ位置の帳票画像の対象画素に対して色の判定を行い、対象画素を文字記入色の画素と文字記入色以外の色の画素に分別する処理を行う色分別処理部（３２）と、文字記入色の画素で形成される文字画像データの画像に対して文字認識を行う文字認識処理部（３３）とを備える。【選択図】図１

Description

本発明は、文字認識装置、文字認識システム、文字認識方法および文字認識プログラムに関し、特に、帳票に印刷された記入枠に記入された文字を認識する技術に関する。

特許文献１に記載の画像処理装置は、画像データに減色処理を行って、減色後の各色の領域を抽出し、領域を構成する画素から複数の特徴量を取得して、「図又は写真領域」であるのか、「それ以外（背景）」であるのかを判定する。
特許文献２に記載の画像領域分割装置は、輝度や彩度が閾値以上の画素が多い領域を分割し、高彩度領域、低彩度領域、グラデーション領域に分割する。
特許文献３に記載の光学文字読取装置は、抽出した各画素の色情報のうち、彩度および輝度が閾値以下のものは無彩色として除外し、残りの色情報から特徴量を抽出して色を識別する。

特許文献４に記載の帳票読み取り装置は、カラー画像を次のステップで処理して、記入枠を除去し文字だけの画像を生成し、その文字画像に文字認識を行う。
（１）印刷された文字記入枠を残すような二値化閾値を決めて、カラー画像を二値画像に変換する。
（２）二値画像を用いて、記入枠部分を抽出し、記入枠の枠線の位置座標などの情報を取得する。
（３）記入枠の枠線の位置座標を用いて、カラー画像から枠線の色を求め、その色をドロップアウトカラーとする。
（４）カラー画像から、求めたドロップアウトカラーを除去した画像を作成する。
（５）ドロップアウトカラー除去後の画像を用いて、文字抽出を行い、文字画像を作成する。

特開２００９−１８２６６２号公報 特開平１０−０６６１００号公報 特開２００１−１０９８４２号公報 特開２００４−３１８５８８号公報（段落〔００１６〕〜〔００３０〕）

しかしながら、特許文献１〜３には、背景色以外の画素に注目することは記載されているものの、これらの技術では画像から文字を構成する画素を抽出できなかった。
一方、特許文献４には、二値化処理を行うことで、カラー画像から読み取り対象である文字画像を抽出することができるものの、記入枠の枠線に重なって文字が記入されている場合に、（３）の処理で、枠線の色だけでなく、文字の色（文字記入色）もドロップアウトカラーとされた。そのため、（４）の処理で、枠線だけでなく文字もカラー画像から除去されてしまうという問題があった。

本発明は、以上のような問題を解決するためになされたものであり、多色で構成される帳票画像から、当該帳票に記入された文字の色（文字記入色）を分別して、文字認識をする文字認識装置、文字認識システム、文字認識方法および文字認識プログラムを提供することを課題とする。

前記課題を解決するために、本発明の文字認識装置は、文字記入位置に関する図形が文字記入色と異なる色で形成された帳票の画像データが入力されて、当該帳票に記入された文字の文字認識を行う文字認識装置において、前記入力された画像データから得られる帳票画像に対し二値化により黒画素となる画素の情報を少なくとも含む二値化データを生成する画像二値化部と、前記二値化データにおける黒色の黒画素を特定し、前記黒画素と同じ位置の前記帳票画像の対象画素に対して色の判定を行い、前記対象画素を前記文字記入色の画素と前記文字記入色以外の色の画素に分別する処理を行う色分別処理部と、前記文字記入色の画素で形成される文字画像データの画像に対して文字認識を行う文字認識処理部とを備える構成とした。

本発明によれば、多色で構成される帳票画像から文字記入色を分別することができるため、文字記入色に分別された画素に注目して文字認識処理を行うことで、高い文字認識率を期待することができる。
例えば、帳票に印刷された文字枠に文字が重なって記入されたとしても、二値化処理を行った場合に黒色となる画素の領域に注目しつつ、帳票画像に対して色分析を行って文字記入色を分別し、その文字記入色の画素で形成される画像に対して文字認識を行うため、その文字を認識することができる。

このように、帳票画像を二値化した状態を考慮することで、帳票画像に含まれるノイズの影響が除去されるだけでなく、帳票画像で表現される色を文字色とプレ印刷色とに絞り込むことができる。

本発明に係る文字認識装置を備える画像処理装置と帳票読取装置とを含むシステムの全体構成図である。 （ａ）プレ印刷色が緑色の文字枠に、文字色が黒色のインクで数字の羅列が記入された帳票の画像である。（ｂ）最適二値化処理を行って得られた二値画像である。（ｃ）単純二値化処理を行って得られた二値画像である。 （ａ）プレ印刷色が緑色の文字および選択肢の上に、文字色が黒色のインクで選択を示す図形が記入された帳票画像である。（ｂ）最適二値化処理を行って得られた二値画像である。（ｃ）単純二値化処理を行って得られた二値画像である。 （ａ）プレ印刷色が緑色の枠と枠内の選択肢の上に、文字色が黒色のインクで選択を示す図形が記入された画像である。（ｂ）最適二値化処理を行って得られた二値画像である。（ｃ）単純二値化処理を行って得られた二値画像である。 画像処理動作のフローチャートである。 画像処理動作を補足説明する簡単な図面である。（ａ）帳票画像データの画像、（ｂ）二値画像データの画像、（ｃ）文字色以外のカラー画素と同一座標に位置する、二値画像データの画像の画素を除去する処理を説明する図面である。 画像処理動作を補足説明する簡単な図面である。（ｄ）文字画像データの画像、（ｅ）文字色以外のカラー画素をドロップアウトカラーとして、帳票画像データの画像からドロップアウトする処理を説明する図面である。

以下、図面を参照して、本発明の実施の形態（以下、「本実施形態」と称する）につき詳細に説明する。なお、各図は、本発明について概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

図１に示すように、文字認識システム２０は、コンピュータである画像処理装置１０と、非接触型スキャナである帳票読取装置２とを備える。

≪画像処理装置１０≫
画像処理装置１０は、内部に文字認識装置１を備え、帳票読取装置２とデータ受信可能に接続される装置であり、例えば、ＰＣ（Personal Computer）や携帯情報端末、スマートフォン（smartphone）等である。この画像処理装置１０は、帳票読取装置２が帳票Ｐを撮像して（読み取って）生成した帳票画像データを受信し、文字認識装置１がその帳票画像データの画像に文字認識処理を行い、画像に含まれる文字を取得する。
この画像処理装置１０は、図１に示すように、操作入力部６と表示部７とを備えてもよい。

操作入力部６は、例えば、キーボードやマウス等であり、利用者からの入力や要求を受け付ける機能を有する。例えば、画像処理装置１０は、不図示の制御線を介して帳票読取装置２と接続され、帳票読取装置２からの入力に応じて後記する制御部３（入力処理部３４）が帳票読取装置２を制御する指示を送ることで、帳票Ｐの画像を撮像させることができる。

表示部７は、例えば、ＬＣＤ（Liquid Crystal Display）等であり、利用者が操作入力部６を介して入力した入力内容や、後記する制御部３（画面処理部３５）が生成した画面データを画面に表示する機能を有する。

≪帳票読取装置２≫
帳票読取装置２は、利用者が記入した帳票Ｐの記載面を撮像して、帳票画像データを生成する機能を有する。この帳票読取装置２は、例えば、非接触型スキャナであり、ダイレクトスキャナ、帳票載置台等を備える。また、一般的な、原稿（帳票Ｐ）を覆うカバー付きのスキャナであってもよい。
また、本実施形態において、帳票読取装置２は文字認識装置１に含まれない構成としているが、文字認識装置１が帳票読取装置２を備えてもよい。

≪帳票Ｐ≫
帳票Ｐは、予めロゴや背景、文字枠、選択肢等の図形が印刷（プレ印刷）された用紙である。帳票読取装置２に撮像される帳票Ｐは、利用者が帳票Ｐに予め印刷された図形の色（以下、プレ印刷色と称する）とは異なる色（以下、文字色と称する）の筆記具（ボールペン等）で、文字枠に記入したり、選択肢を塗りつぶしたりしたものである。これにより、帳票Ｐの色は、プレ印刷色と文字色、そして帳票Ｐ自体の紙の色（以下、背景色と称する）とで表現されることになる。
図２（ａ）は、プレ印刷色が緑色の文字枠に、文字色が黒色のインクで数字の羅列が記入された帳票Ｐが、帳票読取装置２に撮像された画像の一例である。

ここで、文字色は、筆記具のインクの色としたが、スタンプされたインクの色や印鑑の朱肉の色でもよい。すなわち、文字色は、単に、帳票Ｐにおいてプレ印刷色とは異なる色であることと、文字認識処理対象であることとを示しているだけである。

この帳票Ｐは、画像処理装置１０が銀行に設置されている場合、例えば、ＣＩＦ新規帳票、普通預金新規申込書、カード発行申込書、インターネットバンキング申込書等がある。

≪文字認識装置１≫
文字認識装置１は、制御部３と、記憶部４と、画像データ入力部５とを備える。

（制御部３）
制御部３は、文字認識装置１の全体を制御する構成部であり、例えば、ＣＰＵ（Central Processing Unit）で構成され、ＣＰＵが記憶部４に格納されるプログラム（不図示）を展開し実行することによって文字認識装置１の各機能が実現される。
この制御部３は、画像二値化部３１と、文字分離部３２と、文字認識部３３と、入力処理部３４と、画面処理部３５とを備える。これら各構成部の機能については詳細を後記する。

（記憶部４）
記憶部４は、データやプログラムを記憶する構成部であり、例えば、ＨＤＤ（Hard Disc Drive）、ＲＡＭ（Random Access Memory）、光ディスク等の記憶手段である。
この記憶部４は、入力画像記憶部４１と、二値画像記憶部４２と、文字画像記憶部４３とを備える。

入力画像記憶部４１は、画像データ入力部５を介して入力された画像データ（帳票画像データ）を記憶する。
二値画像記憶部４２は、画像二値化部３１により二値化された画像データ（二値画像データ）を記憶する。
文字画像記憶部４３は、文字分離部３２により分離された文字を含む画像データ（文字画像データ）を記憶する。

（画像データ入力部５）
画像データ入力部５は、データの入力を受け付ける機能を有し、帳票読取装置２が帳票Ｐを撮像して生成した帳票画像データ（ＲＧＢデータ）が入力される。
この画像データ入力部５は、例えば、帳票読取装置２と有線／無線を介してデータ送受信可能に接続され、帳票読取装置２からデータが入力される通信接続部や、ＵＳＢメモリ等の媒体に記録されたデータが入力される媒体接続部で構成される。

≪制御部３≫
制御部３が備える各構成部の機能について説明する。

（画像二値化部３１）
画像二値化部３１は、入力画像記憶部４１に格納された帳票画像データ（帳票Ｐの画像データ）を二値化処理して、その二値画像データを二値画像記憶部４２に格納する。
この画像二値化部３１は、特開２００７−２７４５９６号公報に記載された二値化処理（以下、最適二値化処理と称する）を実行する。これにより、一般的な二値化処理（以下、単純二値化処理と称する）よりもエッジが鮮明に検出される。
本実施形態では、文字認識処理を行う前処理において、画像二値化部３１が最適二値化処理を行うことが望ましいが、単純二値化処理を行ってもよい。

特開２００７−２７４５９６号公報に記載された最適二値化処理は、単純二値化処理を行う前に、画素の濃度に着目して、文字画素と背景画素とを分けて文字の輪郭を強調する処理や、１画素とその隣接する画素との濃度変化量を算出する処理、濃度毎の画素数を示す濃度分布データを生成して二値化するための二値化閾値を決める処理をする。

（単純二値化処理と最適二値化処理）
ここで、単純二値化処理と最適二値化処理とについて説明する。
帳票画像データの一部を、図２（ａ）、図３（ａ）、図４（ａ）に示す。これら帳票画像データの一部に対して、最適二値化処理を行って得られた二値画像データを、図２（ｂ）、図３（ｂ）、図４（ｂ）に示す。一方、単純二値化処理を行って得られた二値画像データを、図２（ｃ）、図３（ｃ）、図４（ｃ）に示す。
図２（ａ）は、数字が記入された画像である。単純二値化処理後の図２（ｃ）の画像は、最適二値化処理後の図２（ｂ）の画像に比べて、数字「５」の一部が欠損しているが、この程度であれば、正しく文字認識が行われる。すなわち、文字認識処理後であれば、最適二値化処理後の図２（ｂ）の画像と、単純二値化処理後の図２（ｃ）の画像とでは、大きな差異は見られない。

図３（ａ）は、プレ印刷された文字および選択肢の上に、選択を示す図形が記入された画像である。最適二値化処理後の図３（ｂ）の画像では、プレ印刷された文字が鮮明であるのに対して、単純二値化処理後の図３（ｃ）の画像では、プレ印刷された文字が太って潰れているため、誤認識されやすい状態である。
図４（ａ）は、プレ印刷された枠内の選択肢の上に、選択を示す図形が記入された画像である。最適二値化処理後の図４（ｂ）の画像では、プレ印刷された枠線が鮮明であるのに対して、単純二値化処理後の図４（ｃ）の画像では、プレ印刷された枠線が掠れているため、破線として誤認識されやすい状態である。

また、単純二値化処理の場合は色を黒または白に分別する閾値の設定が必要であるが、最適二値化処理の場合は閾値を設定する必要がない。
また、単純二値化処理を行った場合、若干濃い色に撮像されてエッジとして残ってしまった箇所において偽色等のノイズが発生してしまい、白色と判定されるべき画素が、黒色と判定されてしまうことがある。これに対して、最適二値化処理を行った場合、単純二値化処理で問題となる上記ノイズが除去されるため、正しく白色または黒色に判定される。

また、最適二値化処理を行った場合、帳票自体の紙の色を除去（無視）することができるので、上記ノイズの影響を低減することができる。
また、二値化処理を行うことで色の絞り込みをすることができる。例えば、枠線の色や文字の色よりも白に近い色を除去することができるため、可能な限り色を文字色とプレ印刷色とに絞ることができる。

（シェーディング補正）
また、画像二値化部３１は、二値化処理を行う前にシェーディング補正を行う。
例えば、帳票読取装置２が図１に示すような（カメラと原稿とが離れている）非接触型スキャナである場合、帳票読取装置２を設置した場所にある照明等により、帳票Ｐの表面に影等が現れ、撮像された画像に明るさにばらつき（明るさムラ）ができてしまうことがある。このように画像に明るさムラがある場合、二値化処理後に白色となるべき画素が、その明るさムラにより暗くなったために、黒色になってしまうという問題がある。この問題を解決するため、画像二値化部３１は、二値化処理をする前に、シェーディング補正を行って、明るさムラのある画像を補正して明るさを均一にする。このようにシェーディング補正を行うことで、周辺環境による影響を排除することができる。
画像二値化部３１は、例えば、特開２００５−９４６８６号公報に記載されたシェーディング補正を行うことが望ましい。

（文字分離部３２）
文字分離部３２は、入力画像記憶部４１に格納された帳票画像データと、二値画像記憶部４２に格納された二値画像データを用いて、プレ印刷色と文字色とを分別し、文字色の画素で構成される文字画像データを生成する。そして、その文字画像データを文字画像記憶部４３に格納する。

（文字認識部３３）
文字認識部３３は、文字画像記憶部４３に格納された文字画像データに対して文字認識処理を実行する。

（入力処理部３４）
入力処理部３４は、操作入力部６からの入力データを受け付けて、制御部３（ＣＰＵ）に処理をさせる。この入力データに応じて制御部３は、記憶部４に記憶された不図示のプログラムを展開させて各機能を実現する。

（画面処理部３５）
画面処理部３５は、表示部７の画面に表示可能な画面データを生成する。本実施形態において、画面処理部３５は、他構成部の処理に応じて、文字認識処理結果を画面データにする。これにより、利用者は表示部７の画面を見て文字認識結果の確認をすることができる。

≪画像処理動作≫
次に、図５〜図７を参照して、画像処理動作について説明する（適宜、図１〜図４を参照）。図５は、画像処理動作のフローチャートであり、図６〜図７は、画像処理動作を補足説明する簡単な図面である。ここで、帳票には、背景色が白色の用紙に、プレ印刷色が赤色の４つの文字枠が印刷され、それぞれの文字枠に、文字色が黒色のインクで１，２，３，７の数字が１つずつ記入されたとする。それぞれの数字は文字枠の一部に重なっている。

まず、画像処理装置１０が備える操作入力部６を介して、利用者が帳票読取装置２に帳票Ｐを撮像させる操作を入力する。これにより、入力処理部３４は、記憶部４に記憶された不図示の帳票読取装置２を制御するプログラムを実行し、帳票読取装置２に撮像を指示する。これにより、帳票読取装置２は、帳票載置台に置かれた帳票Ｐをダイレクトスキャナが撮像し、帳票画像データを生成する。そして、帳票読取装置２は、帳票画像データを画像処理装置１０に送信する。

以上により、帳票読取装置２と通信可能に接続された文字認識装置１の画像データ入力部５に帳票画像データが入力される（ステップＳ１０１，図５）。制御部３は、画像データ入力部５から入力された帳票画像データを入力画像記憶部４１に格納する（ステップＳ１０２）。この帳票画像データの画像を図６（ａ）に示す。

画像二値化部３１は、帳票画像データから得られる画像（帳票画像）にシェーディング補正を行って（ステップＳ１０３）、明るさムラのある画像を補正して明るさを均一にする。
次に、画像二値化部３１は、シェーディング補正後の帳票画像に二値化処理（ここでは最適二値化処理）を行って（ステップＳ１０４）、二値画像データを生成し（ステップＳ１０５）、生成された二値画像データを二値画像記憶部４２に格納する（ステップＳ１０６）。この二値画像データの画像を図６（ｂ）に示す。

文字分離部３２は、二値画像データの画像（二値画像）の各画素を、黒色または白色に分別する（ステップＳ１０７）。そして、文字分離部３２は、二値画像データから、黒色に分別した画素（黒画素）の画像上の座標位置を抽出する。これにより、黒画素座標が抽出される（ステップＳ１０８）。
ここで、文字分離部３２は、例えば、二値画像の左上の座標を（x,y）＝（0,0）とし、その原点からの相対位置から座標位置を求める。

そして、文字分離部３２は、入力画像記憶部４１から帳票画像データを取得し、帳票画像データの画像を参照して、黒画素座標と同一座標に位置する画素（カラー画素）を抽出する（ステップＳ１０９）。
文字分離部３２は、カラー画素色分類処理を行って、抽出したカラー画素に対してヒストグラムを用いて解析し（ステップＳ１１０）、そのカラー画素の色を分類（分別）する（ステップＳ１１１）。

（カラー画素色分類処理）
カラー画素色分類処理は、次の（１）〜（４）のステップで行われる。ここでは、文字色が「黒色」と予め決まっているとする。
（１）抽出した全てのカラー画素から色成分（ＲＧＢ値）を取得する。
（２）抽出した全てのカラー画素で構成される画像に対して、ヒストグラムを用いて、Ｒ、Ｇ、Ｂそれぞれの値を解析し、ピークの出た色に着目する。この着目される色はピークの値が所定値以上であったものとする（画素数の多い色を特定）。
（３）黒色、すなわち、Ｒ、Ｇ、Ｂそれぞれの値が０に近い色を文字色に分類する。
（４）一方、Ｒ、Ｇ、Ｂのうちいずれかの値が所定値以上で、Ｒ、Ｇ、Ｂそれぞれの値が異なる色を文字色以外の色を、ここでは、プレ印刷色に分類する。

再び図５のフローチャートの説明に戻る。
次に、文字分離部３２は、図６（ｃ）に示すように、帳票画像データの画像で文字色以外に分類された色（プレ印刷色）のカラー画素と同一座標に位置する、二値画像データの画像の画素、すなわち黒画素座標に位置する画素（黒画素）を除去する（ステップＳ１１２）。このとき、文字分離部３２は、黒色を白色にする処理をして画素を除去する。

そして、文字分離部３２は、ステップＳ１０８で抽出した全ての黒画素に対して、ステップＳ１０９〜ステップＳ１１２の処理を行う（ステップＳ１１３）。これにより、帳票画像で文字色以外に分類された色（プレ印刷色）の画素が、二値画像からひとつひとつ除去され、二値画像には、文字色に分類された画素（黒画素）だけが黒色の画素として残ることになる。

文字分離部３２は、ステップＳ１１３後の二値画像データを文字画像データとして、文字画像記憶部４３に格納する（ステップＳ１１４）。この文字画像データの画像を図７（ｄ）に示す。
そして、文字認識部３３が文字画像データの画像に対して文字認識処理を行う（ステップＳ１１５）。

その後、画面処理部３５が文字認識処理結果を画面データにして、表示部７に出力することで、利用者は表示部７の画面を見て文字認識結果の確認をすることができる。

以上のように文字認識処理を行うことで、帳票に印刷された文字枠に文字が重なって記入されたとしても、文字色（文字記入色）と、文字枠の色（プレ印刷色）とを分別し、その文字色の画素で形成される画像に対して文字認識を行うため、その文字を認識することができる。

従来、帳票画像データに対して文字認識処理を行う場合、次の問題点が発生した。例えば、帳票Ｐ自体の紙が白以外の色である、すなわち帳票Ｐの背景色を含んでいる場合や、非接触型スキャナで帳票Ｐを撮像したために、帳票画像の色の再現性が悪い場合、得られる帳票画像にはノイズが多い。そのため、ノイズの多い帳票画像データそのままで文字認識処理を行うと、偽色等により文字枠の色を正しく検出できなかったり、エッジが不明瞭であったりするために文字の誤認識率が高くなった。

これに対して、本発明の文字認識装置１によれば、図５に示すように文字認識処理を行うことで、帳票画像に二値化処理をして二値画像データを生成するため、二値画像データの画像（二値画像）の各画素を黒色または白色に分別することができる。これにより、背景色の画素を白色に分別した、すなわち、文字色とプレ印刷色以外の色である、背景色や文字認識の際にノイズとなる色を除去（無視）した画像データ（二値画像データ）を生成することができる。

さらに、本発明の文字認識装置１によれば、この二値画像の黒画素の座標と同一座標に位置する、帳票画像の画素（カラー画素）をカラー画素色分類処理の対象画素とするため、カラー画素色分類処理において、帳票画像から文字色の画素とプレ印刷色の画素とを容易に分類することができる。

また、従来の帳票画像から文字枠を検出して、文字枠内の画素全てを解析してから文字認識処理を行うよりも、本発明の文字認識装置１は高速に文字認識処理を行うことができる。

以上、本発明の実施形態について説明したが、本発明は、前記した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲で種々の変更や変形を行うことができる。

≪変形例１：ステップＳ１０５の処理≫
本実施形態における図５のステップＳ１０５にて、画像二値化部３１により生成される二値画像データは、画像そのものでなくてもよく、二値化処理後の画素の色と、その画素の画像上の位置を示す座標とが分かるデータが生成されればよい。すなわち、少なくともステップＳ１０８にて、二値化処理後に黒色となった画素（黒画素）のみの座標データが二値画像データから抽出されればよい。あるいは、二値画像そのものの生成を省略し、各画素について二値化を行った場合に黒画素となるか否かの情報のみを抽出するようにしてもよい。この場合、二値画像データには、少なくとも二値化により黒画素となる画素の座標データ（位置情報）が含まれていればよい。

≪変形例２：ステップＳ１１１のカラー画素色分類処理（１）≫
本実施形態において、図５のステップＳ１１１のカラー画素色分類処理で、文字色は「黒色」と予め決めていたが、決めておかなくてもよい。
カラー画素色分類処理は、文字色が不明の場合、カラー画素色分類処理において、次の（１）〜（６）のステップを行うことで、文字色とプレ印刷色とを分類することができる。
（１）全てのカラー画素から色成分（ＲＧＢ値）を取得する。
（２）全てのカラー画素で構成される画像に対して、ヒストグラムを用いて、Ｒ、Ｇ、Ｂそれぞれの値を解析し、ピークの出た色に着目する（画素数の多い色を特定）。
（３）単色の画素で形成される図形から、直線成分を検出する。
（４）複数の直線により形成される枠があるかを判定する。
（５）枠が形成されるのであれば、その画素の色をプレ印刷色（文字色以外の色）とする。
（６）他方の画素の色を文字色とする。

特許文献４に記載された方法では、印刷された文字記入枠を残すような二値化閾値を決める必要があるため、文字記入枠の色についての最低限の情報を事前に把握する必要がある上に、文字色は文字記入枠の色よりも高濃度である必要があった。本発明によれば、上記のカラー画素色分類処理を行うことで、文字記入枠の色が不明であるだけでなく、文字色が不明であっても、文字色と（文字記入枠の色を含む）プレ印刷色とを分類することができる。

≪変形例３：ステップＳ１１１のカラー画素色分類処理（２）≫
また、帳票画像はカラー（多色）でなくてもよく、二値画像にしたときに、文字色とプレ印刷色とを分別できればよい。例えば、明度や彩度等が異なればよい。
例えば、文字色「黒色」、プレ印刷色「灰色」である場合、図５のステップＳ１０５において、灰色が黒色に分別されるように二値画像を生成する。これにより、ステップＳ１０８において、二値画像データの画像から「黒色」または「灰色」の画素が黒画素として抽出される。
ステップＳ１１１にて、帳票画像データの画像から、黒画素座標と同一座標の画素（カラー画素）の色を分析することで、カラー画素が「黒色」または「灰色」を分類でき、帳票画像から文字色の画素だけを抽出することができる。

≪変形例４：ステップＳ１１２の文字色以外に分類された色の画素除去≫
本実施形態において、ステップＳ１１２の処理で、文字分離部３２は、二値画像データの画像から、文字色以外に分類された色の画素を除去することで、二値画像データの画像において、文字色に分類された画素（黒画素）が残り、文字画像データが作成されるが、他の方法を用いてもよい。
例えば、文字分離部３２は、図７（ｅ）に示すように、文字色以外に分類された色のカラー画素をドロップアウトカラーとして、帳票画像データの画像からドロップアウトして画素除去を行ってもよい。これにより、帳票画像データの画像からは、文字色以外に分類された色が除去され、帳票画像データの画像には、文字色に分類された画素（黒画素）だけが画素として残ることになる（図７（ｄ））。
そして、ステップＳ１１４において、文字分離部３２は、二値画像データではなく、ドロップアウト処理後の帳票画像データを文字画像データとして、文字画像記憶部４３に格納すればよい。
以上のように、一旦、二値化処理して、カラー画素の色を、文字色と文字色以外に分類された色とに色の絞り込みをしてから、文字色以外に分類された色のカラー画素をドロップアウトカラーにしている。この方法を用いることで、文字色が不明の場合、複数のドロップアウトカラー候補の色から、容易に色の絞り込みができる。

≪変形例５：濃度補正処理の適用≫
また、帳票読取装置２として非接触型スキャナを用いた場合、制御部３は、入力画像記憶部４１に格納された帳票画像データを、画像二値化部３１が二値化処理する前に、特開２００９−５００３２号公報に記載された輝度補正処理を適用し、色の再現性を向上させてもよい。

１ 文字認識装置
２ 帳票読取装置
３ 制御部
４ 記憶部
５ 画像データ入力部
６ 操作入力部
７ 表示部
１０ 画像処理装置
２０ 文字認識システム
３１ 画像二値化部
３２ 文字分離部（色分別処理部）
３３ 文字認識部
３４ 入力処理部
３５ 画面処理部
４１ 入力画像記憶部
４２ 二値画像記憶部
４３ 文字画像記憶部
Ｐ 帳票

Claims (10)

1. 文字記入位置に関する図形が文字記入色と異なる色で形成された帳票の画像データが入力されて、当該帳票に記入された文字の文字認識を行う文字認識装置において、
   前記入力された画像データから得られる帳票画像に対し二値化により黒画素となる画素の情報を少なくとも含む二値化データを生成する画像二値化部と、
   前記二値化データにおける黒色の黒画素を特定し、前記黒画素と同じ位置の前記帳票画像の対象画素に対して色の判定を行い、前記対象画素を前記文字記入色の画素と前記文字記入色以外の色の画素に分別する処理を行う色分別処理部と、
   前記文字記入色の画素で形成される文字画像データの画像に対して文字認識を行う文字認識処理部と
   を備えることを特徴とする文字認識装置。
2. 前記色分別処理部は、
   前記二値化データから、前記黒画素の座標位置を抽出し、
   前記帳票画像から、前記黒画素と同一座標に位置する前記対象画素を抽出し、
   前記対象画素に対してヒストグラム解析を行い取得した色に基づき、当該対象画素を前記文字記入色の画素と前記文字記入色以外の色の画素に分別し、
   前記文字記入色の画素で形成される前記文字画像データを生成する
   ことを特徴とする請求項１に記載された文字認識装置。
3. 前記色分別処理部は、前記二値化データの画像から、前記文字記入色以外の色の画素を除去して、前記文字画像データを生成することを特徴とする請求項１または請求項２に記載された文字認識装置。
4. 前記色分別処理部は、前記文字記入色以外の色をドロップアウトカラーとして、前記帳票画像の対象画素からドロップアウトして、前記文字画像データを生成することを特徴とする請求項１または請求項２に記載された文字認識装置。
5. 前記色分別処理部は、前記対象画素に対する色の判定において、黒色であれば、前記対象画素を前記文字記入色の画素に分別することを特徴とする請求項１ないし請求項４のいずれか一項に記載された文字認識装置。
6. 前記色分別処理部は、前記対象画素に対する色の判定において、前記対象画素全てで構成される画像に対してヒストグラム解析して画素数の多い色を取得し、取得した各単色の画素で形成される枠の有無を判定し、枠が形成されない当該単色の色をもつ前記対象画素を前記文字記入色の画素に分別することを特徴とする請求項１ないし請求項４のいずれか一項に記載された文字認識装置。
7. 前記画像二値化部は、最適二値化処理を行うことを特徴とする請求項１ないし請求項６のいずれか一項に記載された文字認識装置。
8. 帳票読取装置と、文字認識装置とを備える文字認識システムにおいて、
   前記帳票読取装置は、
   文字記入位置に関する図形が文字記入色と異なる色で形成された帳票を読み取って前記画像データを出力し、
   前記文字認識装置は、
   前記帳票読取装置から前記帳票の画像データが入力された画像データから得られる帳票画像に対し二値化により黒画素となる画素の情報を少なくとも含む二値化データを生成し、
   前記二値化データにおける黒色の黒画素を特定し、前記黒画素と同じ位置の前記帳票画像の対象画素に対して色の判定を行い、前記対象画素を前記文字記入色の画素と前記文字記入色以外の色の画素に分別する処理を行い、
   前記文字記入色の画素で形成される文字画像データの画像に対して文字認識を行う
   ことを特徴とする文字認識システム。
9. 文字記入位置に関する図形が文字記入色と異なる色で形成された帳票の画像データが入力された文字認識装置が、当該帳票に記入された文字の文字認識を行う文字認識方法であって、
   前記入力された画像データから得られる前記帳票画像に対し二値化により黒画素となる画素の情報を少なくとも含む二値化データを生成するステップと、
   前記二値化データにおける黒色の黒画素を特定し、前記黒画素と同じ位置の前記帳票画像の対象画素に対して色の判定を行い、前記対象画素を前記文字記入色の画素と前記文字記入色以外の色の画素に分別する処理を行うステップと、
   前記文字記入色の画素で形成される文字画像データの画像に対して文字認識を行うステップと
   を備えることを特徴とする文字認識方法。
10. 文字記入位置に関する図形が文字記入色と異なる色で形成された帳票の画像データが入力された文字認識装置のコンピュータを、
    前記入力された画像データから得られる帳票画像に対し二値化により黒画素となる画素の情報を少なくとも含む二値化データを生成する画像二値化手段、
    前記二値化データにおける黒色の黒画素を特定し、前記黒画素と同じ位置の前記帳票画像の対象画素に対して色の判定を行い、前記対象画素を前記文字記入色の画素と前記文字記入色以外の色の画素に分別する処理を行う色分別手段、および、
    前記文字記入色の画素で形成される文字画像データの画像に対して文字認識を行う文字認識手段、
    として機能させるための文字認識プログラム。