JP2009265751A - 文字認識装置、光学式文字認識システム及び文字認識プログラム - Google Patents

Abstract

【課題】色で区別された文字画像に対して、精度よく文字認識する。
【解決手段】ＲＧＢ画像メモリ１０に記憶されているカラー画像に対して文字認識を行う制御部１２０を備え、制御部１２０は、カラー画像の色成分を抽出する色成分抽出手段３２と、色成分抽出手段３２が抽出した各色成分画像を組み合わせて合成する色成分画像合成手段３４と、各色成分画像及び色成分画像合成手段３４が合成した合成成分画像に対して、文字認識を行う文字認識手段３８と、文字認識手段３８が認識した各認識文字を用いて正読文字を判定する認識結果判定手段４０とを備える。
【選択図】図１

Description

本発明は、カラー画像を文字認識する文字認識装置、光学式文字認識システム及び文字認識プログラムに関する。

帳票に記載された手書文字を文字認識する場合、枠線（罫線）に沿った文字を認識することが認識精度の点で好ましい。このため、予め帳票に枠線を手書文字（黒色）に使われない色でプレ印刷しておくことが多い。プレ印刷された帳票を文字認識するとき、カラー情報を用いて枠線をドロップアウトさせて手書文字を文字認識する技術が存在する。

例えば、特許文献１には、帳票の金額記入欄の記入枠、及び“金額”と“円”の文字を赤色で印刷し、氏名記入欄の記入枠、及び“氏名”の文字を青色で印刷し、更に、印鑑欄の記入枠、及び“印”の文字を青色で印刷し、ＣＣＤ（Charge Coupled Device）カラーセンサで帳票を撮像し、不要な色をドロップアウトして、手書文字を認識する技術が開示されている。また、このドロップアウトは、赤，緑，青の画素データにアンド演算を施すことにより、文字枠等をすべて取り除いている。また、オア演算を施すことにより、文字枠等をすべて含む画像を得ている。
また、特許文献２には、枠線を構成する画素のＲＧＢ（Red Green Blue）それぞれの色成分のヒストグラムを作成し、ピークとなる点からドロップアウトカラーを求め、記憶しているカラー画像からドロップアウトカラーを除去して文字認識を行う技術が開示されている。
特開平６−２４３２９０号公報（段落００１６） 特開２００４−３１８５８８号公報（段落００２７乃至００２９）

特許文献１，２の技術は、記入枠（枠線）を含めた枠線内が単色で印刷されたプレ印刷を前提にしているため、枠線内が多色にプレ印刷されているものを正確に文字認識できなくなったり、認識精度が低下したりすることがある。
例えば、複数桁の枠線と、千円未満の切捨て用の印刷数字「０」を同色でプレ印刷することを考える。この場合、特許文献１の技術を用いて文字認識すると、枠線のみならず「０」の印刷数字もドロップアウトして、印刷数字を文字認識することができない。また、枠線と印刷数字とを異なる色でプレ印刷しても、千の桁の手書数字と印刷数字とを区別することができない。
また、千の桁、百万の桁を示す漢数字「千」、「百万」を含めて枠線内にプレ印刷することも行われる。この場合、「千」、「百万」の印刷文字画像を文字認識することなく、印刷数字「０」を文字認識することが好ましい。さらに、数字の手書を補助するための「８」を７本の直線で記載したプレ印刷と、このプレ印刷に沿って描いた手書数字と、枠線とを区別することも有用である。

そこで、本発明は、色で区別された文字画像に対して、精度よく文字認識することができる文字認識装置、光学式文字認識システム及び文字認識プログラムを提供することを課題とする。

前記課題を解決するため、本発明の一の手段は、記憶部に記憶されているカラー画像に対して文字認識を行う制御部を備えた文字認識装置であって、前記制御部は、前記カラー画像の色成分を抽出する色成分抽出手段と、前記色成分抽出手段が抽出した各色成分画像を組み合わせて合成する色成分画像合成手段と、各前記色成分画像及び前記色成分画像合成手段が合成した合成成分画像に対して、文字認識を行う文字認識手段と、前記文字認識手段が認識した各認識文字を用いて正読文字を判定する認識結果判定手段とを備えることを特徴とする。

これによれば、色成分毎に区別された複数の文字画像と、各色成分画像が組み合わせられた合成成分画像とが文字認識され、認識文字を用いて正読文字が判定される。
例えば、カラー印刷されたプレ印刷の印刷数字と、黒色の手書数字とから、数字画像と、手書数字画像と、これらの合成成分画像とのそれぞれが文字認識される。この場合は、プレ印刷の数字画像と黒色の手書数字画像とが組み合わされたものと、合成成分画像が文字認識されたものとの一致で正読文字が判定される。

また、プレ印刷の属性（文字、アラビア数字、漢数字、枠線等の区別）とプレ印刷の色とが区別されていることにより、文字認識を行うときの参照文字画像の属性と抽出する色成分とが区別される。また、認識文字とは、文字認識の確度の値が所定値以上である文字である。そして、確度の値が所定値未満である文字は、不読文字として認識文字から除かれ、空白「 」は、空白文字として認識文字から除かれている。

本発明の他の手段は、記憶部に記憶されているカラー画像に対して文字認識を行う制御部を備えた文字認識装置であって、前記制御部は、前記カラー画像の色成分を抽出する色成分抽出手段と、前記色成分抽出手段で抽出された各色成分画像に対して、文字認識を行う文字認識手段と、前記文字認識手段が認識した各認識文字を組み合わせる認識文字組合わせ手段とを備えることを特徴とする。

これによれば、色成分毎に区別された複数の文字画像が文字認識され、これらの認識文字が組み合わされて、元のカラー画像に含まれる文字画像の全体が認識される。例えば、カラー印刷されたプレ印刷の数字と黒色の手書数字とが区別して文字認識され、これらの認識文字が組み合わされるので、数字の全体が認識される。

本発明のさらに他の手段は、記憶部に記憶されているカラー画像に対して文字認識を行うコンピュータに実行させる文字認識プログラムであって、前記カラー画像の色成分を抽出する色成分抽出ステップと、前記色成分抽出ステップで抽出した各色成分画像を組み合わせて合成する色成分画像合成ステップと、各前記色成分画像及び前記色成分画像合成ステップで合成した合成成分画像に対して、文字認識を行う文字認識ステップと、前記文字認識ステップが認識した各認識文字を用いて正読文字を判定する認識結果判定ステップと、を実行させることを特徴とする。

本発明によれば、色で区別された文字画像に対して、精度よく文字認識することができる。

（第１実施形態）
本発明の一実施形態である光学式文字認識システムの構成について図１を参照して説明する。
図１の光学式文字認識システム２５０は、文字認識装置２００と、画像入力装置２１０と、入力装置２２０と、出力装置２３０とを備え、画像入力装置２１０でプレ印刷された帳票２４０が読み取られ、文字認識装置２００で帳票２４０に記載された手書文字が認識される。なお、帳票２４０は、地色（背景色）が白であり、プレ印刷の属性（アラビア数字、漢数字、文字、記号、枠線等による区別）によって、異なる色で印刷されている。

画像入力装置２１０は、例えば、スキャナであり、ＣＣＤ式のラインセンサを軸方向と直角方向に移動させつつ、カラー画像のデータを文字認識装置２００に伝送する。このラインセンサは、Ｒ（中心波長７００ｎｍ），Ｇ（中心波長５４６．１ｎｍ），Ｂ（中心波長４３５．８ｎｍ）のカラーフィルタが各画素に設けられ、画素毎にＲ，Ｇ，Ｂのデータを出力する。このとき、自然光が帳票２４０の白地部分に照射されると、全波長で略均一の光が反射（散乱）し、この反射光がラインセンサに入射し、ラインセンサにより赤（Ｒ）、緑（Ｇ）、青（Ｂ）のすべての色成分が検出される。また、自然光が帳票２４０の赤色の部分に入射すると、自然光の内、赤色の光が反射し、青色及び緑色の光が帳票２４０で吸収される。このため、ラインセンサが赤色（Ｒ）のみの光を検出する。同様に、自然光が緑色の部分に入射すると、ラインセンサが緑色の反射光を検出し、自然光が青色の部分に入射すると、ラインセンサが青色の反射光を検出する。また、自然光が帳票２４０の黒色の文字（手書文字）の部分に入射すると、全波長の光を吸収し、ラインセンサは、略ゼロの値を出力する。

入力装置２２０は、操作者がキーボード、マウス等を用いて入力操作するものであり、例えば、認識対象領域の矩形座標等が入力される。出力装置２３０は、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）等による表示装置であり、帳票画像や文字認識結果を表示すると共に、入力操作を誘導する誘導画面を表示する。

文字認識装置２００は、入力Ｉ／Ｆ１１０、出力Ｉ／Ｆ１３０、制御部１２０、及び記憶部１００を備えるコンピュータである。
入力Ｉ／Ｆ１１０は、例えば、ＵＳＢ（Universal Serial Bus）ポートであり、画像入力装置２１０のカラー画像信号、及び入力装置２２０からの入力信号を受け付ける。出力Ｉ／Ｆ１３０は、図示しない画像メモリを内蔵し、記憶された画像データを映像信号に変換して出力装置２３０に出力する。制御部１２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、記憶部１００に記憶されているプログラムを実行する。なお、文字認識装置２００がＰＣ（Personal Computer）により構成される場合には、ＲＯＭにイニシャルプログラムローダが記憶されており、ＨＤＤ（Hard Disc Drive）に記憶されたＯＳ（Operating System）及びプログラムがＲＡＭに展開されて実行される。

記憶部１００は、ＲＯＭ又はＨＤＤ並びにＲＡＭにより構成されており、メモリ領域、及びプログラム領域に分割されている。メモリ領域は、ＲＧＢ画像メモリ１０、色成分画像メモリ１５、及びフォーマットＤＢ２０に再分割され、プログラム領域は、画像入力制御手段３０、色成分抽出手段３２、色成分画像合成手段３４、レイアウト解析手段３６、文字認識手段３８、認識結果判定手段（認識文字組合わせ手段）４０、特徴距離計算手段４２、出力制御手段４４及びフォーマットＤＢ作成手段４６を制御部１２０に実現させるプログラムが記憶されている。

画像入力制御手段３０は、入力Ｉ／Ｆ１１０を介して画像入力装置２１０を制御するためのプログラムであり、入力装置２２０からのトリガ信号を契機として、ラインセンサをスキャンし、読み込まれたカラー画像（読取画像，帳票画像）をＲＧＢ画像メモリ１０に記憶する制御を行う。さらに、画像入力制御手段３０は、帳票２４０の読取画像及び誘導画面を出力装置２３０に表示して、入力装置２２０を用いて認識対象領域の矩形座標を指定させる制御を行う。

ＲＧＢ画像メモリ１０は、スキャンされたカラー画像がＲ，Ｇ，Ｂの色成分毎に記憶されている。これから、制御部１２０は、カラー画像の各画素の色度座標（ｒ，ｇ，ｂ）＝（Ｒ／（Ｒ＋Ｇ＋Ｂ），Ｇ／（Ｒ＋Ｇ＋Ｂ），Ｂ／（Ｒ＋Ｇ＋Ｂ））を得ることができる。なお、（ｒ，ｇ）あるいは、所定の座標変換を行った（ｘ、ｙ）を色度座標と云うことも多い。色成分画像メモリ１５は、赤，緑，青，黒の単色、及びこれらの組合わせ色（赤＋緑），（黒＋緑），（赤＋緑），・・・，（青＋赤＋緑＋黒）で、単色の二値画像を合成した合成画像が記憶されている。

色成分抽出手段３２は、ＲＧＢ画像メモリ１０に記憶されたカラー画像の色度座標（ｒ，ｇ，ｂ）を画素毎に演算し、カラー画像から単色、及び組合わせ色の二値画像を抽出する。
例えば、赤の画素は、色度座標ｒ＝１であって、色度座標ｇ＝ｂ＝０の画素である。同様に、緑の画素は色度座標ｇ＝１であって、色度座標ｂ＝ｒ＝０の画素であり、青の画素は色度座標ｂ＝１であって、色度座標ｒ＝ｇ＝０の画素である。また、黒の画素は、ｒ＝ｇ＝ｂ＝０（Ｒ＝Ｇ＝Ｂ＝０）の画素である。ここで、背景色（白）は、ｒ＝ｇ＝ｂ＝１／３（Ｒ＝Ｇ＝Ｂ）の画素であるので、閾値を１／２に設定すれば、赤、緑、青の画素を抽出するときに白色（背景色）の画素が除去される。

色成分画像合成手段３４は、単色（赤、緑、青、黒）の二値画像を合成して、組合わせ色（（赤＋緑），（黒＋緑），（赤＋黒），・・・，（青＋赤＋緑＋黒））の二値画像を得る。すなわち、組合わせ色（赤＋緑）の合成画像は、赤の二値画像と緑の二値画像とを加算した二値画像である。同様に、（黒＋緑），（赤＋黒），・・・，（青＋赤＋緑＋黒）の二値画像が得られる。なお、これらの二値画像の組合わせは、４色の場合で２^４−１＝１５通りである。

図２の説明図を用いて具体例を説明する。認識対象領域３００には、赤色の印刷数字「０００」３１０ａと、千の桁を表す緑色の上付文字「^千」３１０ｂと、青色の４桁の枠線３１０ｃと、黒色の手書数字「２」３１０ｄとが記載されている。
これにより、色成分画像メモリ１５の赤領域には、印刷数字「 ０００」の画像３２０ａが記憶され、緑領域には、上付文字「^千 」の画像３２０ｂが記憶され、青領域には、４桁の枠線の画像３２０ｃが記憶され、黒領域には、手書数字「２ 」の画像３２０ｄが記憶される。また、（赤＋緑）の領域には、上付文字「^千 」と印刷数字「 ０００」とを合成した「^千０００」の画像３２０ｅが記憶され、（黒＋緑）の領域には、手書数字「２ 」と上付文字「^千 」との合成画像３２０ｆが記憶され、（赤＋黒）の領域には手書数字「２ 」と印刷数字「 ０００」との合成画像３２０ｇが記憶され、（赤＋青＋緑＋黒）の領域には、認識対象領域３００と同一の合成画像３２０ｈが記憶されている。

フォーマットＤＢ２０には、帳票２４０のフォーマットや、参照文字画像としての文字パターンが記憶されており、例えば、帳票２４０のフォーマットとして、認識対象領域の矩形座標や認識対象領域内の文字のレイアウトが格納されている。また、フォーマットＤＢ２０には、帳票のプレ印刷の属性に対応するように、参照文字画像の属性（この例では、アラビア数字、漢数字の区別）も記憶されている。

レイアウト解析手段３６は、帳票２４０の認識対象領域に記載されている複数の文字のレイアウトを解析するものであり、例えば、認識対象領域内の画素の縦横のヒストグラムを解析することによって文字のレイアウトを決定する。また、レイアウト解析手段３６は、ＲＧＢ画像メモリ１０に記憶された画像データから特徴情報を抽出し、認識対象領域の矩形座標を解析することもでき、枠線の位置、各文字領域の位置等の解析結果をフォーマットＤＢ２０に記憶する。

フォーマットＤＢ作成手段４６は、帳票画像を出力装置２３０に表示し、入力装置２２０を用いて帳票２４０の認識対象領域を操作者に入力させ、入力された認識対象領域の矩形座標をフォーマットＤＢ２０に記憶するものである。

文字認識手段３８は、色成分画像メモリ１５に記憶された単色、及び組合わせ色の二値画像から切り出した各々の文字画像に対して文字認識を行う。ここで、文字認識手段３８は、例えば、文字画像（認識対象画像）とフォーマットＤＢ２０に記憶されている参照文字画像とを比較し、距離情報（文字認識の確度の値）が所定値以上である文字を認識文字（例えば、「２」）とし、距離情報が所定値未満である文字を不読文字「？」とし、空白「 」を空白文字「（ＳＰ）」として、認識文字結果を出力する。なお、文字の画像同士を比較するのではなく、文字毎の線分の方向や長さ等の特徴を文字認識用特徴情報として記憶しておき、認識対象の文字画像から同様にして特徴を抽出して、比較するようにしてもよい。また、これら認識用の情報は、フォーマットＤＢ２０ではなく認識用辞書データとして別に記憶しておいても良い。

具体的に、図２において、印刷数字「 ０００」の画像３２０ａは、「（ＳＰ）０００」３３０ａと文字認識され、「０」が認識文字である。また、上付文字「^千 」の画像３２０ｂは、「？（ＳＰ）（ＳＰ）（ＳＰ）」３３０ｂと認識され、４桁の枠線の画像３２０ｃは「？？？？」３３０ｃと認識され、手書数字「２ 」の画像３２０ｄは「２（ＳＰ）（ＳＰ）（ＳＰ）」３３０ｄと認識され、「２」が認識文字である。「^千０００」の画像３２０ｅは「？０００」３３０ｅと認識される。手書数字「２ 」と上付文字「^千 」との合成画像３２０ｆは、例えば、「８（ＳＰ）（ＳＰ）（ＳＰ）」３３０ｆと誤認識され、「８」が認識文字である。また、手書数字「２ 」と印刷数字「 ０００」との合成画像３２０ｇは「２０００」３３０ｇと認識され、認識対象領域３００と同一の画像３２０ｈは「？？？？」３３０ｈと認識される。

ここで、比較例として、多色印刷されたプレ印刷から単色の枠線をドロップアウトして、文字認識する例を説明する。
図３の認識対象領域３００には、図２と同様に、赤色の印刷数字「０００」３１０ａと、緑色の上付文字「^千」３１０ｂと、青色の４桁の枠線３１０ｃと、黒色の手書数字「２」３１０ｄとが記載されている。この認識対象領域３００の画像から青色の４桁の枠線３１０ｃをドロップアウトすると、ドロップアウト画像３５０が得られる。このドロップアウト画像３５０の画素の明度（（Ｒ＋Ｇ＋Ｂ）／３）を二値化して文字認識すると、例えば、文字認識結果「８０００」３６０と誤認識しやすい。すなわち、上付文字「^千」と手書数字「２」との合成画像が認識文字「８」と誤認識されている。

図１の特徴距離計算手段４２は、認識対象画像と認識文字との特徴距離（距離情報）を演算する。例えば、手書文字「２」の認識対象画像と認識文字「２」との特徴距離を演算する。この場合、手書文字「２」と上付文字「^千」との合成画像（認識対象画像）と認識文字「８」との特徴距離は、認識対象文字「２」と認識結果「２」との特徴距離よりも大きい。

認識結果判定手段４０は、文字認識手段３８が認識した複数の文字認識結果から、１つの認識結果を選択する。このとき、各文字認識結果の各文字領域に認識文字と空白文字「（ＳＰ）」とが含まれている場合には、認識文字を選択し、各文字認識結果に認識文字と不読文字「？」とが含まれている場合には、認識文字を選択し、各文字認識結果に空白文字「（ＳＰ）」と不読文字「？」とが含まれている場合には、空白文字「（ＳＰ）」を選択する。ここで、認識文字には、空白文字「（ＳＰ）」と不読文字「？」との何れも含まれない。また、認識結果判定手段４０は、複数の合成画面の文字認識により、複数の異なる認識文字が得られたら、特徴距離（距離情報）を演算して、特徴距離が短い方の認識文字を選択する。また、数が多い方の認識文字を選択してもよい。

具体的に、図２において、符号３３０ａ乃至３３０ｈの最左端の認識結果は、「（ＳＰ）」，「？」，「？」，「２」，「？」，「８」，「２」，「？」であり、２つの認識文字「８」「２」が得られる。このように認識文字が複数となるときには、特徴距離計算手段４２が計算した特徴距離が短い方を選択し、認識文字「２」が選択される。また、認識文字「８」が１個に対して、認識文字「２」は２個であるので、数量が多い方の認識文字「２」を選択することもできる。さらに、最左端を除いて２文字目から右端端までの認識結果は、「０００」，「（ＳＰ）（ＳＰ）（ＳＰ）」，「？？？」，「（ＳＰ）（ＳＰ）（ＳＰ）」，「０００」，「（ＳＰ）（ＳＰ）（ＳＰ）」，「０００」，「？？？」であり、認識文字が優先して選択され、「０００」の文字が選択される。すなわち、認識結果判定手段４０は、異なる合成画像を文字認識した認識文字を組み合わせることにより、４桁の文字枠すべての認識文字を「２０００」と正読する。

また、他の例として、色成分画像を合成しない例について説明する。すなわち、文字認識手段３８が、３２０ａ乃至３２０ｄの各画像のみを文字認識して、認識結果３３０ａ乃至３３０ｄを出力する場合である。最左端の認識結果は、「（ＳＰ）」，「？」，「？」，「２」であり、認識文字「２」が選択される。また、最左端を除いて２列目から最右端までの認識結果は、「０００」，「（ＳＰ）（ＳＰ）（ＳＰ）」，「？？？」，「（ＳＰ）（ＳＰ）（ＳＰ）」であり、文字「０００」が選択される。すなわち、認識文字組合わせ手段（認識結果判定手段４０）は、これらの認識文字を組み合わせることにより、４桁の文字枠すべての認識文字を「２０００」と正読する。すなわち、プレ印刷の属性（アラビア数字、漢数字、枠線の区別）によって印刷色を区別することにより、正しく認識される。言い換えれば、印刷色の区別により、参照文字画像の属性と抽出色とが区別される。

出力制御手段４４は、帳票画像、認識エリア内の画像、色成分画像メモリ１５内の各色成分画像、認識文字等を、入力装置２２０の制御に従い、出力Ｉ／Ｆ１３０に出力するように制御するものであり、これらの画像が出力装置２３０に表示される。また、出力制御手段４４は、認識文字を外部にテキストデータとして出力する。

次に、文字認識装置２００の動作を図４，図５のフローチャートを用いて説明する。
図４は、フォーマットＤＢ２０作成時のフローチャートであり、図５は、文字認識時のフローチャートである。
図４は、白地に多色でプレ印刷された帳票２４０を画像入力装置２１０（図１）に載置して、入力装置２２０（図１）からの起動信号により実行されるフローを示している。
まず、画像入力制御手段３０は、画像入力装置２１０に対して登録画像の取得を行わせる（Ｓ２）。これにより、画像入力装置２１０から帳票２４０のカラー画像が取り込まれ、このカラー画像が多値データとしてＲＧＢ画像メモリ１０に記憶される。

次に、制御部１２０は、画像入力制御手段３０により、画像入力装置２１０から入力された矩形座標に基づいて、認識対象領域の矩形座標を設定する（Ｓ４）。具体的には、制御部１２０は、画像入力制御手段３０により、ＲＧＢ画像メモリ１０に記憶された帳票２４０の画像データ、及び入力操作誘導画面を出力装置２３０に表示する。そして、操作者が入力装置２２０を用いて認識対象領域の矩形座標、及び認識対象領域内の文字、罫線等を指定する。さらに、制御部１２０は、画像入力制御手段３０により、指定された認識対象領域の矩形座標、文字種、及び文字、罫線等の色情報をフォーマットＤＢ２０に記憶し、フォーマットＤＢ２０が作成され（Ｓ６）、このルーチンが終了する。なお、フォーマットＤＢ２０には、予め、参照用の文字パターン（参照文字画像）が記憶されている。

図５は、文字認識時のフローであり、図４と同様に帳票２４０を画像入力装置２１０（図１）に載置して実行されるフローであるが、フォーマットが同種類の帳票２４０について繰り返して実行される。
まず、制御部１２０は、画像入力制御手段３０により、画像入力装置２１０から読取画像（カラー画像）を取得し（Ｓ１２）、取得した読取画像の画像データをＲＧＢ画像メモリ１０に記憶する。次に、制御部１２０は、画像入力制御手段３０により、フォーマットＤＢ２０から認識対象領域の矩形データ、認識対象領域内の文字種のデータを読み込む（Ｓ１４）。

次に、制御部１２０は、画像入力制御手段３０により、フォーマットＤＢ２０に記憶されている認識対象領域の矩形データを用いて認識対象領域の設定を行う（Ｓ１６）。そして、制御部１２０は、色成分抽出手段３２により、認識対象領域内の色成分を抽出する（Ｓ１８）。すなわち、制御部１２０は、ＲＧＢ画像メモリ１０に記憶されたカラー画像から認識領域内で単色成分（赤，青，緑，黒）の二値画像を抽出し、抽出した二値画像を色成分画像メモリ１５（図１）の赤，青，緑，黒の各領域に記憶する。

そして、制御部１２０は、色成分画像合成手段３４により、色成分画像メモリ１５の赤、青、緑、黒の各領域に記憶された二値画像（単色画像）を組み合わせて、色成分画像を合成し（Ｓ２０）、合成された合成画像を色成分画像メモリ１５（図１）の（赤＋緑），（黒＋緑），（赤＋黒），・・・，（青＋赤＋緑＋黒）の各領域に記憶する。

そして、制御部１２０は、レイアウト解析手段３６により、認識対象領域内の複数文字のレイアウトを解析し、文字認識手段３８により、すべての単色画像、及び合成された色成分画像に対して文字認識を行う（Ｓ２２）。そして、制御部１２０は、認識結果判定手段４０により、各色成分画像に対する文字認識結果を用いて、認識結果を判定する（Ｓ２４）。このとき、認識文字が複数存在していたときには、制御部１２０は、特徴距離計算手段４２により計算された特徴距離が短い方の認識文字を選択する。また、制御部１２０は、数が多い方の認識文字を選択してもよい。そして、制御部１２０は、出力制御手段４４により選択された認識文字を出力装置２３０に出力し（Ｓ２６）、このルーチンを終了する。

図６は、前記した比較例のフローチャートである。この比較例は、記憶部１００の内部構成を除いて図１の構成と同様であるので、以下の説明も制御部１２０の動作として説明する。
図５と同様に、まず、制御部１２０は、読取画像（カラー画像）を取得し（Ｓ３０）、フォーマットＤＢ２０を読み込み（Ｓ３２）、認識対象領域を設定し（Ｓ３４）、読取画像から認識対象領域を切り出す。そして、制御部１２０は、色情報を用いて、認識対象領域の画像から枠線の画像のドロップアウトを行う（Ｓ３６）。そして、制御部１２０は、枠線をドロップアウトした認識対象領域の画素の明度を二値化した二値画像（ドロップアウト画像）に対して文字認識を行う（Ｓ３８）。そして、制御部１２０は、認識結果を表示装置２３０に出力し（Ｓ４０）、このルーチンを終了する。

これによれば、図２に示したように、印刷数字の「０」は正しく認識されるが、手書数字の「２」と漢数字「千」の上付文字との合成画像は「８」と誤認識されやすい。誤認識された場合、正読文字が認識されていないので、認識精度を向上させることが困難である。しかしながら、前記した実施形態によれば、手書き数字のみが正読される場合と（図２の３３０ｄ，３３０ｇ）、合成画像が誤認識される場合（図２の３３０ｆ）との双方が得られ、特徴距離を比較したり、数を比較したりすることにより、認識精度を向上させることができる。

（変形例）
本発明は前記した実施形態に限定されるものではなく、例えば以下のような種々の変形が可能である。
（１）前記各実施形態は、色度座標（ｒ，ｇ，ｂ）の二値化処理により、Ｒ，Ｇ，Ｂのカラー画像から赤，緑，青，黒の二値画像を抽出したが、中間色（黄色，水色（シアン），紫（マゼンタ））の二値画像を抽出することもできる。このため、計６色でプレ印刷された帳票２４０の文字認識が可能である。
すなわち、ｒ＝ｇ＝１／２、ｂ＝０の場合が「黄」であり、ｒ＝０、ｇ＝ｂ＝１／２の場合が「水色」であり、ｒ＝ｂ＝１／２、ｇ＝０の場合が「紫」である。なお、前記したように、ｒ＝１、ｇ＝ｂ＝０の場合が「赤」であり、ｂ＝１、ｒ＝ｇ＝０の場合が「青」であり、ｇ＝１、ｒ＝ｂ＝０の場合が「緑」であり、Ｒ＝Ｇ＝Ｂ（ｒ＝ｇ＝ｂ＝１／３）の場合が「白」であり、Ｒ＝Ｇ＝Ｂ＝０の場合が「黒」である。なお、色度座標ｒ，ｇ，ｂは、０，１／３，１／２，１に等しいだけでなく、略等しい場合でも構わない。

また、赤、青及び緑の中で何れか２色と、この２色の中間色とのプレ印刷であれば、色度座標（ｒ，ｇ，ｂ）の組合わせで、この２色と中間色と黒色とを区別可能である。
例えば、赤色と緑色と中間色（黄色）とでプレ印刷した場合を考えると、
ｒ＝ｇ＝１／２、ｂ＝０の場合が「黄」であり、ｒ＝１、ｇ＝ｂ＝０の場合が「赤」であり、ｂ＝１、ｒ＝ｇ＝０の場合が「青」であり、ｇ＝１、ｒ＝ｂ＝０の場合が「緑」であり、ｒ＝ｇ＝ｂ＝１／３の場合が「白」であり、ｒ＝ｇ＝ｂ＝０の場合が「黒」である。

（２）前記実施形態では、上付文字「^千」と手書数字「２」との合成画像を例としたが、７本の直線のみで構成された数字記入用のプレ印刷４００（図７）を用いることがある。例えば、このプレ印刷４００の複数の破線ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇに沿うようにして任意の数字を手書きすることが行われる。この場合、手書きされていない状態でプレ印刷画像を文字認識すると「８」が認識される。また、一部の直線が手書きされ、手書きされない他の破線は、不読文字と判定されるのが原則であるが、破線ａ，ｂ，ｅ，ｆ，ｇに沿って「３」を手書きした場合の他の破線ｃ，ｄは、「１」と誤認識されやすい。このため、プレ印刷の属性に応じて、対応色の認識文字を認識結果の判定に用いるか否かの判断を行うことが好ましい。

本発明の一実施形態である光学式文字認識システムの構成図である。 本実施形態の文字認識を説明するための図である。 比較例の文字認識を説明するための図である。 本実施形態におけるフォーマットＤＢ作成時のフローチャートである。 本実施形態における文字認識時のフローチャートである。 比較例における文字認識時のフローチャートである。 数字記入用プレ印刷の例である。

符号の説明

１０ ＲＧＢ画像メモリ
１５ 色成分画像メモリ
３０ 画像入力制御手段
３２ 色成分抽出手段
３４ 色成分画像合成手段
３６ レイアウト解析手段
３８ 文字認識手段
４０ 認識結果判定手段（認識文字組合わせ手段）
４２ 特徴距離計算手段
４４ 出力制御手段
４６ フォーマットＤＢ作成手段
１００ 記憶部
１１０ 入力Ｉ／Ｆ
１２０ 制御部
１３０ 出力Ｉ／Ｆ
２００ 文字認識装置
２１０ 画像入力装置
２２０ 入力装置
２３０ 出力装置
２４０ 帳票
２５０ 光学式文字認識システム
３００ 認識対象領域

Claims (14)

1. 記憶部に記憶されているカラー画像に対して文字認識を行う制御部を備えた文字認識装置であって、
   前記制御部は、
   前記カラー画像の色成分を抽出する色成分抽出手段と、
   前記色成分抽出手段が抽出した各色成分画像を組み合わせて合成する色成分画像合成手段と、
   各前記色成分画像及び前記色成分画像合成手段が合成した合成成分画像に対して、文字認識を行う文字認識手段と、
   前記文字認識手段が認識した各認識文字を用いて正読文字を判定する認識結果判定手段とを備える
   ことを特徴とする文字認識装置。
2. 記憶部に記憶されているカラー画像に対して文字認識を行う制御部を備えた文字認識装置であって、
   前記制御部は、
   前記カラー画像の色成分を抽出する色成分抽出手段と、
   前記色成分抽出手段で抽出された各色成分画像に対して、文字認識を行う文字認識手段と、
   前記文字認識手段が認識した各認識文字を組み合わせる認識文字組合わせ手段とを備えることを特徴とする文字認識装置。
3. 前記文字認識手段は、前記記憶部に記憶されている参照文字画像と比較して前記文字認識を行うものであり、
   前記参照文字画像の属性と前記色成分抽出手段が抽出する色成分とが対応づけられていることを特徴とする請求項１又は請求項２に記載の文字認識装置。
4. 前記文字認識手段は、１文字毎に文字認識を行い、
   前記認識結果判定手段は、何れかの文字領域で複数の認識文字が得られた場合には、前記文字認識の確度情報を参照して、何れかの認識文字を正読文字として判定することを特徴とする請求項１乃至請求項３の何れか１項に記載の文字認識装置。
5. 前記文字認識の確度情報は、前記文字認識の参照文字画像と前記文字領域の文字画像との間の距離情報であり、
   前記認識結果判定手段は、前記距離情報が短い方の認識文字を正読文字として判定することを特徴とする請求項４に記載の文字認識装置。
6. 前記文字認識の確度情報は、前記認識文字の数であり、
   前記認識結果判定手段は、前記数が多い方の認識文字を正読文字として判定することを特徴とする請求項４に記載の文字認識装置。
7. 前記認識結果判定手段は、前記文字認識手段の各文字認識結果に認識文字と空白文字とが含まれている場合には、認識文字を選択することを特徴とする請求項１乃至請求項６の何れか１項に記載の文字認識装置。
8. 前記認識結果判定手段は、前記文字認識手段の各文字認識結果に認識文字と不読文字とが含まれている場合には、認識文字を選択することを特徴とする請求項１乃至請求項７の何れか１項に記載の文字認識装置。
9. 前記認識結果判定手段は、前記文字認識手段の各文字認識結果に空白文字と不読文字とが含まれている場合には、空白文字を選択することを特徴とする請求項１乃至請求項７の何れか１項に記載の文字認識装置。
10. 前記不読文字は、前記文字認識手段の文字認識の確度情報の値が所定値未満である文字であることを特徴とする請求項８又は請求項９に記載の文字認識装置。
11. 前記文字認識手段は、前記記憶部に記憶されている参照文字画像と比較して前記文字認識を行うものであり、
    前記認識結果判定手段は、前記参照文字画像の属性に応じて、前記各認識文字の何れかを判定対象から除外することを特徴とする請求項１又は請求項２に記載の文字認識装置。
12. 前記文字認識手段は、前記記憶部に記憶されている参照文字画像と比較して前記文字認識を行うものであり、
    前記色成分抽出手段は、前記参照文字画像の属性に応じて、前記色成分を抽出するか否かが決められていることを特徴とする請求項１又は請求項２に記載の文字認識装置。
13. 帳票画像を光学式に入力する画像入力装置と、請求項１乃至請求項１２の何れか１項に記載の文字認識装置とが接続され、
    前記文字認識装置は、前記画像入力装置が入力したカラー画像を前記記憶部に記憶して、前記文字認識を行うことを特徴とする光学式文字認識システム。
14. 記憶部に記憶されているカラー画像に対して文字認識を行うコンピュータに実行させる文字認識プログラムであって、
    前記カラー画像の色成分を抽出する色成分抽出ステップと、
    前記色成分抽出ステップで抽出した各色成分画像を組み合わせて合成する色成分画像合成ステップと、
    各前記色成分画像及び前記色成分画像合成ステップで合成した合成成分画像に対して、文字認識を行う文字認識ステップと、
    前記文字認識ステップが認識した各認識文字を用いて正読文字を判定する認識結果判定ステップと、
    を実行させることを特徴とする文字認識プログラム。

Images