JP2015210749A - 文字有無判定システム及び文字有無判定方法 - Google Patents

Abstract

【課題】複数桁の文字列を撮像した画像から所定桁の文字の有無を精度よく判定する。
【解決手段】紙葉類に印刷された複数桁の文字から成る文字列で所定桁における文字の有無を判定するための文字有無判定システムを、文字の有無を判定する判定桁の画像を含む文字列画像から判定桁の判定桁画像と文字確定桁の文字確定桁画像とを取得する桁画像取得部と、判定桁画像及び文字確定桁画像について、文字画像であることの確からしさを示す文字認識評価値を算出する評価値算出部と、判定桁に文字があると判定するための文字しきい値、判定桁に文字がないと判定するための非文字しきい値、文字しきい値と非文字しきい値との間の値を有し文字確定桁画像の文字認識評価値に基づいて算出された判定用しきい値の３つのしきい値を利用して、判定桁画像の文字認識評価値に基づいて判定桁の文字の有無を判定する文字有無判定部とによって構成する。
【選択図】 図１

Description

この発明は、紙葉類に印刷された複数桁の文字から成る文字列の文字認識時に所定桁における文字の有無を判定するための文字有無判定システム及び文字有無判定方法に関する。

従来、文字列を撮像した文字列画像を利用して文字列の文字認識を行う際には、文字列を形成する文字の文字数、すなわち文字列の桁数分の文字が得られるように文字認識処理を行う。例えば、文字列の桁数がｎ桁又はｎ＋１桁であるというように、桁数が異なる文字列が存在することが分かっている場合には、先に文字列の桁数を判定してから、判定した桁数分の文字が得られるように文字認識処理を行う。桁数の判定は、文字列画像上で桁数によって文字が存在する場合と存在しない場合とがある所定桁（判定桁）の位置を特定してから、この判定桁に文字が存在するか否かを判定することにより行う。例えば、文字列がｎ桁又はｎ＋１桁である場合には、文字列の右端を基準にｎ＋１桁の文字列に対応する文字列画像を取得し、この文字列画像上で左端の桁を判定桁とする。この判定桁の画像に文字が存在すればｎ＋１桁の文字列であり、文字が存在しなければｎ桁の文字列であると判定することができる。

判定桁における文字の有無を確認する方法として、例えば、特許文献１には、所定桁の画像における画素分布に基づいて文字の有無を判定する方法が開示されている。具体的には、横書きの文字列を撮像した文字列画像で、文字が存在する場合と存在しない場合とがある判定桁の位置を特定し、この判定桁の画像内で文字を形成する黒画素の文字列方向（横方向）の画素分布を確認する。画素分布の幅が所定のしきい値より低い値であれば文字幅を有さないため文字は存在しないと判定し、しきい値以上であれば文字が存在すると判定する。判定桁が複数ある場合には、この判定を２つの判定桁を対象として行うことにより、一方の判定桁に汚れや落書きがある場合でも文字の有無を誤判定しないようになっている。

特開２０００−３０６０４３号公報

しかしながら、上記従来技術によれば、判定桁の画像に含まれる汚れ、落書き、背景模様等の影響を受けて文字の有無が誤判定される場合がある。具体的には、複数の判定桁を対象として画素分布に係る判定を行っても、全ての判定桁に汚れ等があれば文字が存在すると誤判定される。また、文字列の桁数がｎ桁又はｎ＋１桁であるというように、判定桁として利用できる桁が１つしかない場合には複数桁で判定を行うことの効果は得られず、汚れ等により文字の有無が誤判定される場合がある。

判定桁の画像の文字認識を行うことにより判定桁に文字が存在するか否かを判定する方法もあるが、この方法でも、実際には判定桁の画像に文字が含まれているにも拘わらず、画像がボケているために文字を認識することができず、文字が存在しないと誤判定される場合があった。また、実際には判定桁の画像に文字が含まれていないにも拘わらず、画像に含まれている汚れ、落書き、背景模様等が文字と誤認識されて、文字が存在すると誤判定される場合があった。

本発明は、上述した従来技術による問題点を解消するためになされたもので、紙葉類に印刷された複数桁の文字から成る文字列の文字認識時に所定桁における文字の有無を精度よく判定するための文字有無判定システム及び文字有無判定方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、紙葉類に印刷された複数桁の文字から成る文字列で所定桁における文字の有無を判定するための文字有無判定システムであって、文字の有無を判定する必要がある判定桁の画像を含むように前記文字列を撮像した文字列画像から前記判定桁の画像を判定桁画像として取得すると共に、前記文字列を形成する文字の画像のうち文字があると確定している文字確定桁の画像を文字確定桁画像として取得する桁画像取得部と、前記判定桁画像及び前記文字確定桁画像について、文字画像であることの確からしさを示す文字認識評価値を算出する評価値算出部と、前記判定桁に文字があると判定するための文字しきい値、前記判定桁に文字がないと判定するための非文字しきい値、前記文字しきい値と前記非文字しきい値との間の値を有し前記文字確定桁画像の文字認識評価値に基づいて算出された判定用しきい値の３つのしきい値を利用して、前記判定桁画像の文字認識評価値に基づいて、前記判定桁の文字の有無を判定する文字有無判定部とを備えることを特徴とする。

また、本発明は、上記発明において、前記文字有無判定部は、前記判定桁画像の文字認識評価値が前記文字しきい値より高い値である場合に前記判定桁に文字があると判定して、前記判定桁画像の文字認識評価値が前記非文字しきい値より低い値である場合に前記判定桁に文字がないと判定して、前記判定桁画像の文字認識評価値が前記文字しきい値以下かつ前記非文字しきい値以上である場合に、前記判定用しきい値より高い値であれば前記判定桁に文字があると判定して、前記判定用しきい値以下であれば前記判定桁に文字がないと判定することを特徴とする。

また、本発明は、上記発明において、前記文字確定桁画像について算出された文字認識評価値の分布に基づいて前記判定用しきい値を算出するしきい値算出部をさらに備えることを特徴とする。

また、本発明は、上記発明において、前記判定用しきい値は、文字を含む判定桁画像がボケた画像であるために低下した文字認識評価値と、文字を含まない判定桁画像に文字が含まれているかのように上昇した文字認識評価値との間の値を有することを特徴とする。

また、本発明は、紙葉類に印刷された複数桁の文字から成る文字列で所定桁における文字の有無を判定するための文字有無判定方法であって、文字の有無を判定する必要がある判定桁の画像を含むように前記文字列を撮像した文字列画像から前記判定桁の画像を判定桁画像として取得すると共に、前記文字列を形成する文字の画像のうち文字があると確定している文字確定桁の画像を文字確定桁画像として取得する桁画像取得工程と、前記判定桁画像及び前記文字確定桁画像について、文字画像であることの確からしさを示す文字認識評価値を算出する評価値算出工程と、前記判定桁に文字があると判定するための文字しきい値、前記判定桁に文字がないと判定するための非文字しきい値、前記文字しきい値と前記非文字しきい値との間の値を有し前記文字確定桁画像の文字認識評価値に基づいて算出された判定用しきい値の３つのしきい値を利用して、前記評価値算出工程で算出された前記文字認識評価値に基づいて、前記判定桁の文字の有無を判定する文字有無判定工程とを含んだことを特徴とする。

本発明によれば、文字列を形成する複数桁の文字のうち文字の有無を判定する判定桁の画像を判定桁画像として取得して、該判定桁画像が文字を含む画像であることの確からしさを示す文字認識評価値と、文字しきい値、非文字しきい値及び判定用しきい値の３つのしきい値とを比較することにより、判定桁の文字の有無を精度よく判定することができる。

また、本発明によれば、文字認識評価値が文字しきい値より高い値であれば文字が存在すると判定し、文字認識評価値が文字しきい値以下かつ非文字しきい値より低い値であれば文字が存在しないと判定し、文字認識評価値が文字しきい値以下かつ非文字しきい値以上であれば判定用しきい値と比較して判定用しきい値より高い値であれば文字が存在し、判定用しきい値以下であれば文字が存在しないと判定することができる。

また、本発明によれば、文字列を形成する複数桁の文字のうち文字があることが確定している文字確定桁の画像を文字確定桁画像として、この文字確定桁画像の文字認識評価値に応じて、すなわち必ず文字が存在する桁の文字画像のボケ度に応じて、判定桁の文字の有無を判定する際に算出される判定用しきい値の値が変化するので、画像のボケによる影響を受けることなく判定桁の文字の有無を精度よく判定することができる。

また、本発明によれば、例えば、判定桁画像が文字を含むにも拘わらず判定桁画像がボケているために文字認識評価値が文字しきい値以下の値となった場合でも判定用しきい値よりは高い値となり、判定桁画像が文字を含まないにも拘わらず判定桁に背景模様、汚れ、落書き等があるために判定桁に文字があるかのように文字認識評価値が非文字しきい値以上の値となった場合でも判定用しきい値以下の値となるように、判定用しきい値が算出されるので、判定桁の文字の有無を精度よく判定することができる。

図１は、本実施形態に係る文字有無判定システムの構成概略を示すブロック図である。 図２は、紙葉類から取得される画像について説明するための模式図である。 図３は、文字認識評価値について説明するための模式図である。 図４は、文字しきい値及び非文字しきい値の設定方法を示す模式図である。 図５は、判定用しきい値の算出方法を示す模式図である。 図６は、文字有無判定処理の流れを示すフローチャートである。 図７は、ボケがない文字列画像で判定桁の文字の有無を評価した場合の例を説明するための模式図である。 図８は、ボケた文字列画像で判定桁の文字の有無を評価した場合の例を説明するための模式図である。 図９は、汚れがあるボケた文字列画像で判定桁の文字の有無を評価した場合の例を説明するための模式図である。

以下に添付図面を参照して、この発明に係る文字有無判定システム及び文字有無判定方法について説明する。本実施形態に係る文字有無判定方法は、文字が存在する場合と存在しない場合とがある印刷物上の所定の部分領域を撮像した画像を対象として、この画像内の文字の有無を判定することができる。対象とする印刷物や文字の種類等は特に限定されないが、以下では、各紙葉類を識別するための５桁又は６桁の識別番号が印刷された紙葉類を対象として、所定桁に文字が存在するか否かを判定することにより識別番号の桁数を決定する場合を例に説明する。

図１は、本実施形態に係る文字有無判定システムの構成概略を示すブロック図である。文字有無判定システムは、記憶部１０と制御部２０とによって構成されている。記憶部１０はハードディスクや半導体メモリ等の不揮発性の記憶装置であり、画像データ１１、文字認識用辞書データ１２及び判定用データ１３の保存に利用される。

制御部２０は、文字列画像取得部２１、桁画像取得部２２、評価値算出部２３、文字認識部２４、しきい値算出部２５及び文字有無判定部２６を有している。文字列画像取得部２１は、文字有無判定処理の処理対象とする文字列の画像を取得する機能を有する。

図２は、文字列画像取得部２１によって取得される画像について説明するための模式図である。文字列画像取得部２１は、図２（ａ）に示すように、５桁又は６桁の識別番号１０１が印刷された紙葉類画像１００から、識別番号１０１の右端を基準に６桁分に相当する部分領域の文字列画像１０２を切り出す。図２（ｂ）は、６桁の識別番号１０１の文字列画像１０２の例を示し、同図（ｃ）は５桁の識別番号１０１の文字列画像１０２の例を示している。このように、文字列画像取得部２１は、６桁の識別番号１０１の一番右側の桁位置と５桁の識別番号１０１の一番右側の桁位置とが、切り出された文字列画像１０２上で同一の位置となるように、紙葉類画像１００から６桁の識別番号１０１に相当する部分領域を切り出して文字列画像１０２とする。すなわち、文字が存在する場合と存在しない場合とがある桁位置に文字が存在しない文字列についても、この桁位置を含むように文字列画像１０２が取得される。文字列画像取得部２１によって取得された文字列画像１０２は、画像データ１１として記憶部１０に保存される。

紙葉類画像１００の取得方法は特に限定されないが、例えば、文字列画像取得部２１がラインセンサ等の撮像部を有し、この撮像部によって紙葉類現物を撮像して取得する態様であってもよいし、他の装置で取得された紙葉類画像１００を利用する態様であっても構わない。

また、文字列画像１０２を取得する方法についても特に限定されない。例えば、最大桁数を有する識別番号１０１に合わせて各桁の文字を含むように複数の文字枠を設定すると共に、これらの文字枠の位置関係を規定する文字列枠を設定して、文字列枠を紙葉類画像１００上で走査しながら各文字枠内に識別番号１０１の各文字が含まれる確からしさを示す評価値を算出して、この評価値に基づいて紙葉類画像１００上での識別番号１０１の位置を特定して文字列画像１０２を切り出す。この方法によれば、紙葉類画像１００上で識別番号１０１の位置及び識別番号１０１を形成する各文字の位置を特定することができるが、詳細は、本願出願人による国際公開第２０１２／１２０５８７号公報等に記載しているので、ここでの説明は省略する。また、この他、識別番号１０１の位置及びサイズに関する情報を予め紙葉類の種類毎に準備しておいて、図示しない紙葉類識別部が紙葉類の種類を識別した後、文字列画像取得部２１が、識別された種類の紙葉類に印刷されている識別番号１０１の位置及びサイズに関する情報に基づいて紙葉類画像１００から文字列画像１０２を切り出す態様であってもよい。また、他の装置で取得された文字列画像１０２を取得する態様であっても構わない。

桁画像取得部２２は、文字が存在する場合と存在しない場合とがある桁、すなわち文字有無判定処理の処理対象とする判定桁の画像を、判定桁画像３０１として取得する機能を有する。桁画像取得部２２は、文字列画像１０２上での各桁の位置を特定して、図２（ｂ）及び（ｃ）に破線矩形で示し先頭桁（図面左端の桁）の部分領域を文字列画像１０２から切り出して、これを判定桁画像３０１とする。桁画像取得部２２によって取得された判定桁画像３０１は、画像データ１１として記憶部１０に保存される。また、桁画像取得部２２は、文字が存在することが確定している文字確定桁の画像を、文字確定桁画像として取得する機能を有している。桁画像取得部２２は、文字列画像１０２に含まれる各文字確定桁の部分領域画像を切り出して、文字確定桁画像とする。文字列画像１０２を形成する各文字の文字確定桁画像が、画像データ１１として記憶部１０に保存される。

文字列画像１０２上での各桁の位置を特定する方法は特に限定されないが、例えば、上述したように、文字枠及び文字列枠を利用して文字列画像１０２を取得した場合には、文字列画像１０２を取得した時点で、文字枠により各桁位置が特定されているので、先頭桁に対応する文字枠内の画像を切り出せば、この画像が判定桁画像３０１となり、他の文字枠内の画像を切り出せば文字確定桁画像となる。また、この他、文字列画像１０２に対して、各桁の位置及びサイズに関する情報が予め準備されており、この情報に基づいて左端にある先頭桁の桁位置から判定桁画像３０１を取得して、他の桁位置から文字確定桁画像を取得する態様であってもよい。また、文字列画像１０２上の画素分布に基づいて文字列方向に垂直な方向（図面上下方向）に連続する背景画素を検出することにより、文字列画像１０２上で各桁位置を確定して、判定桁画像３０１及び文字確定桁画像を取得してもよい。

なお、本実施形態では、識別番号１０１左端の先頭１桁の判定桁画像３０１で文字の有無を判定する場合を示しているが、桁画像取得部２２は、紙葉類の種類や識別番号１０１の仕様に応じて、判定桁画像３０１を取得する。具体的には、判定桁が先頭桁以外にあればその桁位置から判定桁の画像を取得し、判定桁が複数ある場合は全ての判定桁の画像を取得する。また、例えば、文字列の一部が上下２段の構成になっている場合も、上段及び下段のいずれであるかによらず、文字が存在する場合と存在しない場合がある文字位置があれば、この文字位置の画像を判定桁画像として取得する。すなわち、文字列の仕様等によらず、文字が存在する場合と存在しない場合とがある桁位置の画像が判定桁画像３０１として取得される。そして、文字が存在する桁位置から文字確定桁画像が取得される。

評価値算出部２３は、判定桁画像３０１及び各文字確定桁画像について、これらの画像を文字認識した場合に得られる文字認識結果の確からしさを示す文字認識評価値を算出する機能を有する。文字認識評価値については、文字認識の確からしさを示す値であれば算出方法は特に限定されない。例えば、判定桁画像３０１の文字認識評価値を算出する場合には、判定桁画像３０１と文字認識用辞書データ１２に含まれる各文字画像との間で特徴量のユークリッド距離を求めて、文字認識用評価値を算出する。評価値算出部２３は、判定桁画像３０１が実際には文字を含まない画像であっても、判定桁画像３０１の特徴と、文字認識用辞書データ１２に含まれる各文字画像の特徴との間のユークリッド距離から文字認識評価値を算出する。このとき、評価値算出部２３は、ユークリッド距離が近いほど文字認識評価値が高い値を示し、ユークリッド距離が遠いほど文字認識評価値が低い値を示すように、文字認識評価値を算出する。すなわち、判定桁画像３０１と文字画像のユークリッド距離の値が小さいほど、該文字である確からしさは高くなり、文字認識評価値は高い値を示す。評価値算出部２３は、文字列画像１０２に含まれる各文字確定桁画像についても同様に文字認識評価値を算出する。

文字認識部２４は、桁画像取得部２２によって取得された判定桁画像３０１及び各文字確定桁画像の文字認識処理を行う機能を有する。文字認識部２４は、評価値算出部２３によって求められた評価値が最大となる文字を文字認識結果とする。文字有無判定システムは、判定桁における文字の有無を判定した判定結果を外部装置等に出力する機能を有しているが、外部装置からの求めに応じて、文字有無の判定結果に基づいて文字認識部２４で得られた文字認識結果を出力することも可能となっている。

しきい値算出部２５は、判定桁画像３０１の文字有無判定に用いる判定用しきい値を算出する機能を有する。判定用しきい値は、判定桁画像３０１を切り出した文字列画像１０２に含まれる各文字確定桁画像を利用して算出される。例えば、図２（ｂ）の例では、文字列「Ａ１２３４５」のうち、判定桁の「Ａ」を除く「１２３４５」の各桁の文字確定桁画像の文字認識評価値に基づいて判定用しきい値が算出される。同様に、図２（ｃ）の例では、文字列「６７８９０」の各桁の文字確定桁画像の文字認識評価値に基づいて判定用しきい値が算出される。しきい値算出部２５による処理の詳細については後述する。

文字有無判定部２６は、判定桁画像３０１の文字認識評価値を、文字しきい値、非文字しきい値及び判定用しきい値と比較することにより、判定桁画像３０１における文字の有無を判定する機能を有する。文字しきい値及び非文字しきい値は、判定用データ１３として予め記憶部１０に保存されている。また、判定用しきい値は、文字有無判定が行われる際に、しきい値算出部２５によって算出される。文字有無判定部２６による処理の詳細については後述する。

次に、文字しきい値、非文字しきい値及び判定用しきい値について説明する。図３は、文字認識評価値について説明するための模式図である。図３の横軸は文字認識評価値を示し、縦軸は各文字認識評価値を示す判定桁画像３０１及び各文字確定桁画像の頻度に対応する値を示している。軸上右側の曲線は、文字画像である判定桁画像３０１及び文字確定桁画像を対象として評価値算出部２３によって算出した文字認識評価値の分布を示す文字画像の分布４０１である。また、軸上左側の曲線は、非文字画像である判定桁画像３０１を対象として評価値算出部２３によって算出した文字認識評価値の分布を示す非文字画像の分布５０１である。ここで、文字画像とは文字確定桁画像のように内部に１つの文字が存在する画像で、図２（ｂ）に示すように判定桁に文字が含まれている判定桁画像３０１は文字画像である。一方、非文字画像とは内部に文字が存在しない画像で、図２（ｃ）に示すように判定桁に文字が含まれていない判定桁画像３０１が非文字画像である。

６桁の識別番号１０１を有する多数の紙葉類を撮像した紙葉類画像１００から文字ありと確定している判定桁画像３０１と文字確定桁画像とを取得して求めた全ての文字認識評価値と、５桁の識別番号１０１を有する多数の紙葉類を撮像した紙葉類画像１００から文字確定桁画像を取得して求めた全ての文字認識評価値とによって、図３右側の文字画像の分布４０１が得られる。また、５桁の識別番号１０１を有する多数の紙葉類を撮像した紙葉類画像１００から文字なしと確定している判定桁画像３０１を取得して求めた文字認識評価値によって、図３左側の非文字画像の分布５０１が得られる。

文字画像には実際に文字が含まれているので文字認識評価値は高い値を示すが、文字の背景に模様がある場合、汚れや落書きがある場合、画像がボケている場合等に、文字認識評価値が変化する。例えば、文字画像である文字確定桁画像及び判定桁画像３０１がボケた画像である場合は、図３に白矢印で示したように文字画像の分布４０１が左側へ移動する。

文字しきい値及び非文字しきい値は、予め、文字画像の分布４０１及び非文字画像の分布５０１に基づいて設定され、判定用データ１３として記憶部１０に保存されている。図４は、文字しきい値Ｔ１及び非文字しきい値Ｔ２の設定方法を示す模式図である。しきい値は文字認識評価値の分布の傾向を反映した値を利用して設定される。以下、標準偏差σを用いてしきい値を設定する場合について説明する。

まず、文字しきい値Ｔ１について説明する。図４（ａ）に示した文字画像の分布４０２は、ボケがない文字列画像１０２から切り出して文字ありと確定された判定桁画像３０１と、ボケがない文字列画像１０２から切り出した文字確定桁画像とによって得られた分布である。一方、非文字画像の分布５０２は、ボケがない文字列画像１０２から切り出して文字なしと確定された判定桁画像３０１によって得られた分布である。値Ｃ１は文字画像の分布４０２を形成する判定桁画像３０１及び文字確定桁画像の文字認識評価値の平均値を示し、値Ｂ１は非文字画像の分布５０２を形成する判定桁画像３０１の文字認識評価値の平均値を示している。文字しきい値Ｔ１は、非文字画像の分布５０２の平均値Ｂ１及び標準偏差σ１に基づいて、Ｔ１＝Ｂ１＋（ｎ１×σ１）として設定される。紙葉類の背景模様等に応じて文字画像の分布４０２及び非文字画像の分布５０２の位置や分布形状が変化するので、定数ｎ１は、文字画像の分布４０２及び非文字画像の分布５０２に応じて、文字しきい値Ｔ１が文字画像の分布４０２と非文字画像の分布５０２との間で非文字画像の分布５０２より文字画像の分布４０２に近い位置となるように、すなわち非文字画像である判定桁画像３０１の文字認識評価値が文字しきい値Ｔ１を超える場合が起こらないように設定される。文字しきい値Ｔ１は文字画像であることを判定するためのしきい値であり、判定桁画像３０１の文字認識評価値が文字しきい値Ｔ１より高い値を示した場合は、判定桁画像３０１に文字が存在すると判定することができる。一方、文字認識評価値が文字しきい値Ｔ１以下の値を示す場合は、文字しきい値Ｔ１では文字の有無を判定できないものとして、非文字しきい値Ｔ２による判定が行われる。

次に、非文字しきい値Ｔ２について説明する。図４（ｂ）に示した文字画像の分布４０３は、ボケた文字列画像１０２から切り出して文字ありと確定された判定桁画像３０１と、ボケた文字列画像１０２から切り出した文字確定桁画像とによって得られた分布である。一方、非文字画像の分布５０３は、ボケた文字列画像１０２から切り出して文字なしと確定された判定桁画像３０１によって得られた分布である。値Ｃ２は文字画像の分布４０３を形成する判定桁画像３０１及び文字確定桁画像の文字認識評価値の平均値を示し、値Ｂ２は非文字画像の分布５０３を形成する判定桁画像３０１の文字認識評価値の平均値を示している。非文字しきい値Ｔ２は、文字画像の分布４０３の平均値Ｃ２及び標準偏差σ２に基づいて、Ｔ２＝Ｃ２−（ｎ２×σ２）として設定される。紙葉類の背景模様等に応じて文字画像の分布４０３及び非文字画像の分布５０３の位置や分布形状が変化するので、定数ｎ２は、文字画像の分布４０３及び非文字画像の分布５０３に応じて、非文字しきい値Ｔ２が文字画像の分布４０３と非文字画像の分布５０３との間で文字画像の分布４０３より非文字画像の分布５０３に近い位置となるように、すなわち文字画像である判定桁画像３０１の文字認識評価値が非文字しきい値Ｔ２より低い値となる場合が起こらないように設定される。非文字しきい値Ｔ２は非文字画像であることを判定するためのしきい値であり、文字しきい値Ｔ１では文字の有無を判定できなかった判定桁画像３０１の文字認識評価値が非文字しきい値Ｔ２より低い値であれば、判定桁画像３０１には文字が存在しないと判定することができる。一方、文字しきい値Ｔ１では文字の有無を判定できなかった判定桁画像３０１の文字認識評価値が非文字しきい値Ｔ２以上であれば、非文字しきい値Ｔ２では文字の有無を判定できないものとして、判定用しきい値による判定が行われる。

図５は、判定用しきい値の算出方法を示す模式図である。例えば、図２（ｂ）に示す文字列画像１０２で判定用しきい値による判定が必要になると、しきい値算出部２５は、文字列画像１０２に含まれる各文字確定桁画像の文字認識評価値を利用して判定用しきい値を算出する。具体的には、図２（ｂ）に示す文字列画像１０２の判定用しきい値を求める場合には、判定桁画像３０１を除く「１」、「２」、「３」、「４」、「５」の各文字確定桁画像の文字認識評価値から、図５に示す文字認識評価値の分布６０１を得て、この分布６０１の平均値Ｃ３とオフセット値αとに基づいて、Ｔ３＝Ｃ３−αとして判定用しきい値Ｔ３が算出される。

オフセット値αについては、判定用しきい値Ｔ３を設定する際に、文字確定桁画像の文字認識評価値に応じて設定される。文字確定桁画像の文字認識評価値は文字列画像１０２のボケ度に応じた値を示すため、言い換えれば、オフセット値αは文字列画像１０２のボケ度に応じて設定される。

例えば、事前に、判定桁に文字がある６桁の文字列画像１０２で、文字確定桁画像の文字認識評価値の平均値と、文字画像である判定桁画像３０１の文字認識評価値との関係を調べて、この関係を示す情報を記憶部１０に判定用データ１３として記録しておく。そして、判定用しきい値Ｔ３を設定する際には、文字確定桁画像から求めた文字認識評価値の平均値Ｃ３と、事前に調べておいた関係とに基づいて、判定桁画像３０１が文字画像である場合でもこの判定桁画像３０１の文字認識評価値が判定用しきい値Ｔ３より高い値となるようにオフセット値αが設定される。すなわち、オフセット値αは、文字列画像１０２がボケた画像である場合も、文字画像である判定桁画像３０１の文字認識評価値が判定用しきい値Ｔ３より低い値となる場合が起こらないように設定される。判定桁画像３０１のボケ度は図５に示す値Ｃ３からＴ１迄の距離によって表され、ボケが大きいほどこの距離が長くなる。オフセット値αの値は、この距離が長いほど高い値となり、この距離が短いほど低い値となる。また、判定用しきい値Ｔ３は、文字しきい値Ｔ１と非文字しきい値Ｔ２の間の値となるように設定される。

このように、判定用しきい値Ｔ３は、判定桁画像３０１を含む文字列画像１０２に含まれる文字確定桁画像の文字認識評価値の分布に適応して変化するしきい値であり、文字列画像１０２のボケ度に応じて変化する。判定桁画像３０１の文字認識評価値が判定用しきい値Ｔ３より高い値であれば判定桁画像３０１に文字が存在すると判定され、文字認識評価値が判定用しきい値Ｔ３以下であれば判定桁画像３０１には文字が存在しないと判定される。

なお、図４（ａ）に示すＢ１及びＣ１の値、同図（ｂ）に示すＢ２及びＣ２の値、図５に示すＣ３の値については、平均値を利用する態様の他、中央値を利用する態様であっても構わない。

文字しきい値Ｔ１及び非文字しきい値Ｔ２が多数の紙葉類画像１００を利用して予め設定されているのに対して、判定用しきい値Ｔ３は、文字有無判定処理の処理対象とする文字列画像１０２を利用して判定処理時に算出される。文字しきい値Ｔ１、非文字しきい値Ｔ２、判定用しきい値Ｔ３の算出に利用するオフセット値αに関する情報等は判定用データ１３として記憶部１０に保存されている。

次に、文字有無判定システムにより、文字しきい値Ｔ１、非文字しきい値Ｔ２、判定用しきい値Ｔ３を利用して行う文字有無判定処理方法の詳細について説明する。図６は、文字有無判定処理の流れを示すフローチャートである。桁画像取得部２２により、文字有無判定処理の処理対象となる判定桁画像３０１が取得された状態で文字有無判定処理が開始される。

まず、判定桁画像３０１について、評価値算出部２３により判定桁画像３０１の文字認識評価値が算出される（ステップＳ１０）。

文字有無判定部２６は、評価値算出部２３によって算出された判定桁画像３０１の文字認識評価値と予め設定されている文字しきい値Ｔ１とを比較する（ステップＳ１１）。そして、判定桁画像３０１の文字認識評価値が文字しきい値Ｔ１より高い値を示す場合は（ステップＳ１１；Ｙｅｓ）、文字有無判定部２６は、判定桁画像３０１は文字を含むと判定して（ステップＳ１２）、処理を終了する。

一方、文字認識評価値が文字しきい値Ｔ１以下である場合は（ステップＳ１１；Ｎｏ）、文字有無判定部２６は、文字しきい値Ｔ１のみでは文字の有無を判定できないと判定し、続いて判定桁画像３０１の文字認識評価値と非文字しきい値Ｔ２とを比較する（ステップＳ１３）。

そして、判定桁画像３０１の文字認識評価値が非文字しきい値Ｔ２より低い値を示す場合は（ステップＳ１３；Ｙｅｓ）、文字有無判定部２６は、判定桁画像３０１は文字を含まないと判定して（ステップＳ１４）、処理を終了する。

一方、文字認識評価値が非文字しきい値Ｔ２以上である場合は（ステップＳ１３；Ｎｏ）、文字有無判定部２６は、非文字しきい値Ｔ２によって文字の有無を判定することはできないと判定する。そして、しきい値算出部２５により、上述したように、文字確定桁画像の文字認識評価値を利用して判定用しきい値Ｔ３が算出される（ステップＳ１５）。

判定用しきい値Ｔ３が算出されると、文字有無判定部２６は、判定桁画像３０１の文字認識評価値と判定用しきい値Ｔ３とを比較する（ステップＳ１６）。そして、判定桁画像３０１の文字認識評価値が判定用しきい値Ｔ３より高い値を示す場合は（ステップＳ１６；Ｙｅｓ）、文字有無判定部２６は、判定桁画像３０１は文字を含むと判定して（ステップＳ１７）、処理を終了する。一方、文字認識評価値が判定用しきい値Ｔ３以下の値である場合には（ステップＳ１６；Ｎｏ）、文字有無判定部２６は、判定桁画像３０１は文字を含まないと判定して（ステップＳ１８）、処理を終了する。

次に、具体的な文字列画像を例に挙げて文字有無判定処理方法について説明する。図７は、ボケがない文字列画像２１１、２１２で判定桁の文字の有無を評価した場合の例を説明するための模式図である。図７左側には、文字が存在する判定桁画像３１１を含む６桁の文字列画像２１１と、文字が存在しない判定桁画像３１２を含む５桁の文字列画像２１２とを示し、同図右側には文字列画像２１１、２１２から切り出した判定桁画像３１１、３１２の文字認識評価値と各しきい値Ｔ１〜Ｔ３との関係を示している。具体的には、文字認識評価値を示す軸上に、各しきい値Ｔ１〜Ｔ３の位置と、文字画像である判定桁画像３１１の文字認識評価値の位置と、非文字画像である判定桁画像３１２の文字認識評価値の位置とを示している。

ボケがない６桁の文字列画像２１１の判定桁画像３１１から文字認識評価値を算出して（図６ステップＳ１０）、文字しきい値Ｔ１と比較すると（ステップＳ１１）、図７に示すように、算出した文字認識評価値が文字しきい値Ｔ１より高い値となるので（ステップＳ１１；Ｙｅｓ）、判定桁画像３１１は文字画像であり内部に文字が存在するとの判定結果が得られる（ステップＳ１２）。

一方、ボケがない５桁の文字列画像２１２の判定桁画像３１２から文字認識評価値を算出して（ステップＳ１０）、文字しきい値Ｔ１と比較すると（ステップＳ１１）、図７に示すように、判定桁画像３１２の文字認識評価値は文字しきい値Ｔ１より高い値にはならないので（ステップＳ１１；Ｎｏ）、続いて非文字しきい値Ｔ２と比較される（ステップＳ１３）。この結果、判定桁画像３１２の文字認識評価値は非文字しきい値Ｔ２より低い値となるので（ステップＳ１３；Ｙｅｓ）、判定桁画像３１２は非文字画像であり内部に文字が存在しないとの判定結果が得られる（ステップＳ１４）。

このようにボケがない文字列画像２１１、２１２では、判定桁画像３１１、３１２の文字認識評価値と、文字しきい値Ｔ１及び非文字しきい値Ｔ２との比較により文字の有無を判定することができる。

図８は、ボケた文字列画像２１３、２１４で判定桁の文字の有無を評価した場合の例を説明するための模式図である。図８左側には、文字が存在する判定桁画像３１３を含む６桁のボケた文字列画像２１３と、文字が存在しない判定桁画像３１４を含む５桁のボケた文字列画像２１４とを示し、同図右側には判定桁画像３１３、３１４の文字認識評価値と各しきい値Ｔ１〜Ｔ３との関係を示している。ボケた文字列画像２１３、２１４では、図３に示したように、文字画像の文字認識評価値が低下する。

６桁のボケた文字列画像２１３の判定桁画像３１３から文字認識評価値を算出して（図６ステップＳ１０）、文字しきい値Ｔ１と比較する（ステップＳ１１）。図８に示すように、画像のボケによる影響を受けて文字認識評価値が低下したために、判定桁画像３１３の文字認識評価値が文字しきい値Ｔ１より低い値になった場合は（ステップＳ１１；Ｎｏ）、この段階で文字有無に係る判定結果を得ることはできず、続いて判定桁画像３１３の文字認識評価値と非文字しきい値Ｔ２とが比較される（ステップＳ１３）。非文字しきい値Ｔ２は、ボケにより文字画像の文字認識評価値が低下した場合でも、この文字認識評価値より低い値となるように設定されている。このため、図８に示すように、判定桁画像３１３の文字認識評価値は、非文字しきい値Ｔ２より高い値となり（ステップＳ１３；Ｎｏ）、この段階でも文字有無に係る判定結果を得ることはできない。

次に、判定用しきい値Ｔ３との比較を行うために、図８に示す文字列画像２１３の各文字確定桁画像の文字認識評価値に基づいて、判定用しきい値Ｔ３が算出される（図６ステップＳ１５）。判定用しきい値Ｔ３は、ボケにより文字画像の文字認識評価値が低下した場合でも、この文字認識評価値より低い値となるように設定されている。このため、判定桁画像３１３の文字認識評価値と、算出した判定用しきい値Ｔ３とを比較すると（ステップＳ１６）、図８に示すように、判定桁画像３１３の文字認識評価値は判定用しきい値Ｔ３より高い値を示す（ステップＳ１６；Ｙｅｓ）。これにより、判定桁画像３１３は文字画像であり内部に文字が存在するとの判定結果を得ることができる（ステップＳ１７）。

一方、５桁のボケた文字列画像２１４で判定桁画像３１４の文字認識評価値を算出して（ステップＳ１０）、文字しきい値Ｔ１と比較すると（ステップＳ１１）、図８に示すように、判定桁画像３１４の文字認識評価値は文字しきい値Ｔ１より高い値にはならないので（ステップＳ１１；Ｎｏ）、続いて非文字しきい値Ｔ２と比較される（ステップＳ１３）。この結果、判定桁画像３１４の文字認識評価値は非文字しきい値Ｔ２より低い値となるので（ステップＳ１３；Ｙｅｓ）、判定桁画像３１４は非文字画像であり内部に文字が存在しないとの判定結果が得られる（ステップＳ１４）。

このように、文字しきい値Ｔ１が、ボケのない判定桁画像３１１で文字画像であるとの判定結果を得られるように設定されており、文字しきい値Ｔ１との比較では、ボケた判定桁画像３１３が文字画像であるとの判定結果が得られない場合でも、判定用しきい値Ｔ３を利用することにより、ボケた判定桁画像３１３が文字画像であるとの正しい判定結果を得ることができる。判定用しきい値Ｔ３の値は、判定桁画像３１３のボケ度に適応して変化するように、文字列画像２１３に含まれる各文字確定桁の文字認識評価値の分布に基づいて設定されている。これにより、判定桁画像３１３の文字認識評価値が、ボケによる影響を受けて低下した場合でも、ボケ度に応じて判定用しきい値Ｔ３の値が低下して、判定桁画像３１３が文字画像であるとの正しい判定結果を得られるようになっている。

図９は、判定桁画像３１５に汚れがあるボケた文字列画像２１５で判定桁の文字の有無を評価した場合の例を説明するための模式図である。図９左側には、文字が存在しない判定桁画像３１５に汚れが含まれている５桁のボケた文字列画像２１５を示し、同図右側には判定桁画像３１５の文字認識評価値と各しきい値Ｔ１〜Ｔ３との関係を示している。ボケた文字列画像２１５では文字認識評価値が低下する所、判定桁画像３１５に汚れ等があると、この汚れ等によって文字があるかのように誤認識される場合がある。図９の例では、判定桁画像３１５は非文字画像であるにも拘わらず、判定桁の位置に汚れがあるために、図７及び図８に示す非文字画像の判定桁画像３１２、３１４の文字認識評価値に比べて、判定桁画像３１５の文字認識評価値が高い値を示している。なお、図９では、判定桁画像３１５に汚れがある場合を示したが、判定桁画像３１５に落書きがある場合や、直線や曲線によりデザインされた背景模様が含まれる場合も同様に文字認識評価値が高くなる場合がある。

判定桁画像３１５の文字認識評価値を算出して（図６ステップＳ１０）、文字しきい値Ｔ１と比較すると（ステップＳ１１）、図９に示すように、判定桁画像３１５の文字認識評価値は文字しきい値Ｔ１より高い値にはならないので（ステップＳ１１；Ｎｏ）、続いて非文字しきい値Ｔ２と比較される（ステップＳ１３）。図７及び図８の例では、非文字しきい値Ｔ２との比較により、判定桁画像３１２、３１４は非文字画像であり内部に文字は存在しないとの判定結果を得られていたが、図９に示す例のように、判定桁画像３１５に汚れがあるために文字認識評価値が非文字しきい値Ｔ２より高い値になると（ステップＳ１３；Ｎｏ）、この段階では判定結果を得られない。

このため、判定用しきい値Ｔ３との比較を行うために、図９に示す文字列画像２１５により判定用しきい値Ｔ３が算出される（図６ステップＳ１５）。判定用しきい値Ｔ３は、汚れ等により非文字画像の文字認識評価値が高くなった場合でも、この文字認識評価値より高い値となるように設定されている。このため、判定桁画像３１５の文字認識評価値と算出された判定用しきい値Ｔ３とを比較すると（ステップＳ１６）、図９に示すように、判定桁画像３１５の文字認識評価値が判定用しきい値Ｔ３より低い値を示す（ステップＳ１６；Ｎｏ）。これにより、判定桁画像３１５は非文字画像であり内部に文字は存在しないとの判定結果を得ることができる（ステップＳ１８）。

このように、非文字しきい値Ｔ２がボケの有無によらず判定桁画像３１２、３１４が非文字画像であるとの判定結果を得られるように設定されているが、この非文字しきい値Ｔ２との比較では、汚れ、落書き、背景模様等による影響を受けた判定桁画像３１５が非文字画像であるとの判定結果が得られない場合でも、判定用しきい値Ｔ３を利用することにより、判定桁画像３１５が非文字画像であるとの正しい判定結果を得ることができる。判定用しきい値Ｔ３の値は、判定桁画像３１５に汚れ、落書き、背景模様等があるために文字認識評価値の値が高くなった場合でも、この値より高い値を示す。これにより、判定桁画像３１５の文字認識評価値が汚れ、落書き、背景模様等による影響を受けて高い値となった場合でも、判定用しきい値Ｔ３により、判定桁画像３１５が非文字画像であるとの正しい判定結果を得ることができる。

こうして、文字が存在する場合と文字が存在しない場合とがある判定桁の判定桁画像３１１〜３１５の文字認識評価値を算出して、文字有無判定部２６によって、文字しきい値Ｔ１、非文字しきい値Ｔ２及び判定用しきい値Ｔ３の３種類のしきい値と比較しながら文字の有無を判定することにより、文字の有無を精度よく判定することができる。また、判定桁の文字有無の判定結果を利用することにより、文字列画像１０２に含まれる文字の桁数を決定することができるので、文字がないにも拘わらず文字があると文字認識されたり、文字があるにも拘わらず文字がないと文字認識されたりすることがない。

上述したように、本実施形態によれば、文字が存在する場合と存在しない場合とがある桁位置の画像から文字認識評価値を算出して、予め設定した文字しきい値及び非文字しきい値を比較することにより、文字の有無を判定することができる。また、画像のボケ、汚れ、落書き、背景模様等による影響を受けて、文字しきい値及び非文字しきい値によって判定できない場合でも、文字確定桁画像の文字認識評価値の分布を利用して算出した判定用しきい値により文字の有無を正しく判定することができる。

以上のように、本発明に係る文字有無判定システム及び文字有無判定方法は、紙葉類に印刷された識別番号等の文字列の桁数が紙葉類によって異なるような場合に、紙葉類を撮像した画像から桁数を判定して、文字列を正しく文字認識するために有用な技術である。

１０ 記憶部
２０ 制御部
２１ 文字列画像取得部
２２ 桁画像取得部
２３ 評価値算出部
２４ 文字認識部
２５ しきい値算出部
２６ 文字有無判定部

Claims (5)

1. 紙葉類に印刷された複数桁の文字から成る文字列で所定桁における文字の有無を判定するための文字有無判定システムであって、
   文字の有無を判定する必要がある判定桁の画像を含むように前記文字列を撮像した文字列画像から前記判定桁の画像を判定桁画像として取得すると共に、前記文字列を形成する文字の画像のうち文字があると確定している文字確定桁の画像を文字確定桁画像として取得する桁画像取得部と、
   前記判定桁画像及び前記文字確定桁画像について、文字画像であることの確からしさを示す文字認識評価値を算出する評価値算出部と、
   前記判定桁に文字があると判定するための文字しきい値、前記判定桁に文字がないと判定するための非文字しきい値、前記文字しきい値と前記非文字しきい値との間の値を有し前記文字確定桁画像の文字認識評価値に基づいて算出された判定用しきい値の３つのしきい値を利用して、前記判定桁画像の文字認識評価値に基づいて、前記判定桁の文字の有無を判定する文字有無判定部と
   を備えることを特徴とする文字有無判定システム。
2. 前記文字有無判定部は、
   前記判定桁画像の文字認識評価値が前記文字しきい値より高い値である場合に前記判定桁に文字があると判定して、
   前記判定桁画像の文字認識評価値が前記非文字しきい値より低い値である場合に前記判定桁に文字がないと判定して、
   前記判定桁画像の文字認識評価値が前記文字しきい値以下かつ前記非文字しきい値以上である場合に、前記判定用しきい値より高い値であれば前記判定桁に文字があると判定して、前記判定用しきい値以下であれば前記判定桁に文字がないと判定する
   ことを特徴とする請求項１に記載の文字有無判定システム。
3. 前記文字確定桁画像について算出された文字認識評価値の分布に基づいて前記判定用しきい値を算出するしきい値算出部
   をさらに備えることを特徴とする請求項１又は２に記載の文字有無判定システム。
4. 前記判定用しきい値は、文字を含む判定桁画像がボケた画像であるために低下した文字認識評価値と、文字を含まない判定桁画像に文字が含まれているかのように上昇した文字認識評価値との間の値を有することを特徴とする請求項１、２又は３に記載の文字有無判定システム。
5. 紙葉類に印刷された複数桁の文字から成る文字列で所定桁における文字の有無を判定するための文字有無判定方法であって、
   文字の有無を判定する必要がある判定桁の画像を含むように前記文字列を撮像した文字列画像から前記判定桁の画像を判定桁画像として取得すると共に、前記文字列を形成する文字の画像のうち文字があると確定している文字確定桁の画像を文字確定桁画像として取得する桁画像取得工程と、
   前記判定桁画像及び前記文字確定桁画像について、文字画像であることの確からしさを示す文字認識評価値を算出する評価値算出工程と、
   前記判定桁に文字があると判定するための文字しきい値、前記判定桁に文字がないと判定するための非文字しきい値、前記文字しきい値と前記非文字しきい値との間の値を有し前記文字確定桁画像の文字認識評価値に基づいて算出された判定用しきい値の３つのしきい値を利用して、前記評価値算出工程で算出された前記文字認識評価値に基づいて、前記判定桁の文字の有無を判定する文字有無判定工程と
   を含んだことを特徴とする文字有無判定方法。

Images