JP2008107946A - 画像の文字列領域決定方法，画像の文字列領域決定装置 - Google Patents

Abstract

【課題】予め文字の大きさやアスペクト比などを設定することなく，画像情報に含まれた文字列領域を正確に決定することのできる画像の文字領域決定方法及び画像の文字領域決定装置を提供すること。
【解決手段】複数の連結画素に文字認識処理を施したときの同一性が最も高い同一性最高連結画素を判別して（Ｓ４），該同一性最高連結画素と外接矩形の大きさが同じ連結画素を抽出し（Ｓ５），さらに，その抽出された上記連結画素から所定の条件で配置された連結画素を抽出する（Ｓ６）。その後，その抽出された連結画素と上記同一性最高連結画素とを含む外接矩形領域を画像情報における文字列領域と決定する（Ｓ７）。
【選択図】図４

Description

本発明は，ＣＣＤカメラなどによって読み取られた画像情報に含まれた文字を認識するための技術に関し，特に，上記画像情報に含まれた文字列領域を決定する手法に関するものである。

従来から，製鉄所などの製造ラインでは，スラブやビレット等の部材に刻印やマーキングにより識別番号を施して，その識別番号をＣＣＤカメラなどを用いて撮像し，その撮像画像に含まれた識別番号をコンピュータ上で認識させることで，製造工程や在庫の管理が行われている。
ここで，撮像画像における文字列（ここでは識別番号）の存在領域（以下「文字列領域」という）を決定するための手法として，例えば特許文献１には，ＣＣＤカメラなどによって撮像された画像情報に適当な閾値で２値化処理を施した後，先ず水平の射影データ分布から対象とする文字列を抽出し，次に垂直方向の射影を求めることによって文字列領域を決定することが開示されている。そして，この決定された文字列領域の途切れている部分を文字と文字との隙間であるとして文字の切り出しが行われる。
しかしながら，上記特許文献１では，例えば図７のように，２値化処理後の画像データに背景画像やノイズ等の文字以外のパターンが存在する場合には，それらも射影に含まれてしまうため，そのままでは正確に文字列領域を決定することは困難である。
一方，特許文献２には，ＣＣＤカメラなどによって撮像された画像情報に適当な閾値で２値化処理を施した後，ラベリング処理で得られた連結画素から，予め設定された外接矩形のサイズや縦横比（アスペクト比）などを満足するものを文字候補として抽出し，さらに特定の位置関係をなす文字候補群を文字列領域として決定する手法が開示されている。これにより，２値化処理後の画像データに背景画像やノイズ等の文字以外のパターンが存在する場合であっても，文字列を正確に決定することができる。
特許第３０６６４４８号公報 特開平８−３３９４２１号公報

しかしながら，上記特許文献２では，予め文字の大きさやアスペクト比などを設定しておく必要があり，ＣＣＤカメラと被撮像物との距離が変化して撮像画像における文字の大きさが変化した場合や，設定外のアスペクト比で文字が形成されている場合などに，正確に文字列領域を決定することができないという問題がある。
そこで，文字の大きさやアスペクト比などを設定せずに，特定の位置関係を成すことだけを条件に文字列領域を決定することが考えられるが，この場合，例えば図８（ａ）に示す画像情報では，図８（ｂ）に示すように文字列領域を決定することが正しいにもかかわらず，その画像情報に汚れや文字欠け等が生じているため，図８（ｃ）や図８（ｄ）のように文字列領域が誤って決定されてしまうことになる。
従って，本発明は上記事情に鑑みてなされたものであり，その目的とするところは，予め文字の大きさやアスペクト比などを設定することなく，画像情報に含まれた文字列領域を正確に決定することのできる画像の文字領域決定方法及び画像の文字領域決定装置を提供することにある。

上記目的を達成するために本発明は，同じ大きさの複数の文字が所定の条件で配置された文字列を含む画像情報を入力して２値化処理を施し，該２値化処理後の画像情報に含まれる複数の連結画素に基づいて上記画像情報における文字列領域を決定する画像の文字列領域決定方法であって，下記の（１）〜（４）の各工程を有してなることを特徴とする画像の文字列領域決定方法である。
（１）複数の上記連結画素のうち該連結画素と近似する文字との同一性が最も高い同一性最高連結画素を判別する同一性最高連結画素判別工程。
（２）複数の上記連結画素から上記同一性最高連結画素と外接矩形の大きさが同じ連結画素を抽出する第１の連結画素抽出工程。
（３）上記第１の連結画素抽出工程で抽出された上記連結画素から上記所定の条件で配置された連結画素を抽出する第２の連結画素抽出工程。
（４）上記同一性最高連結画素と上記第２の連結画素抽出工程で抽出された上記連結画素とを含む外接矩形領域を上記画像情報における文字列領域と決定する文字列領域決定工程。
ここに，上記所定の条件は，上記同一性最高連結画素に対する縦方向や横方向の間隔が既定の関係を充足すること，或いは，隣接する連結画素に対する縦方向や横方向の間隔が既定の関係を充足することであること等が考えられる。
本発明によれば，上記第１の連結画素抽出工程において，文字認識の信頼性（近似するとの同一性）が最も高い上記同一性最高連結画素と同じ大きさの上記連結画素が抽出されるため，予め文字の大きさや縦横比（アスペクト比）などを設定しておくことなく，上記画像情報における文字列領域を正確に決定することができる。

また，本発明は，画像の文字列領域決定装置として捉えることも可能である。
即ち，上記目的を達成するために本発明は，同じ大きさの複数の文字が所定の条件で配置された文字列を含む画像情報を入力して２値化処理を施し，該２値化処理後の画像情報に含まれる複数の連結画素に基づいて上記画像情報における文字列領域を決定する画像の文字列領域決定装置であって，下記の（５）〜（８）の各手段を有してなることを特徴とする画像の文字列領域決定装置として捉えてもよい。
（５）複数の上記連結画素のうち該連結画素と近似する文字との同一性が最も高い同一性最高連結画素を判別する同一性最高連結画素判別手段。
（６）複数の上記連結画素から上記同一性最高連結画素と外接矩形の大きさが同じ連結画素を抽出する第１の連結画素抽出手段。
（７）上記第１の連結画素抽出手段で抽出された上記連結画素から上記所定の条件で配置された連結画素を抽出する第２の連結画素抽出手段。
（８）上記同一性最高連結画素と上記第２の連結画素抽出手段で抽出された上記連結画素とを含む外接矩形領域を上記画像情報における文字列領域と決定する文字列領域決定手段。
ここに，上記所定の条件は，上記同一性最高連結画素に対する縦方向や横方向の間隔が既定の関係を充足すること，或いは，隣接する連結画素に対する縦方向や横方向の間隔が既定の関係を充足することであること等が考えられる。

本発明によれば，上記第１の連結画素抽出工程において，文字認識の信頼性（近似するとの同一性）が最も高い上記同一性最高連結画素と同じ大きさの上記連結画素が抽出されるため，予め文字の大きさや縦横比（アスペクト比）などを設定しておくことなく，上記画像情報における文字列領域を正確に決定することができる。

以下添付図面を参照しながら，本発明の実施の形態について説明し，本発明の理解に供する。尚，以下の実施の形態は，本発明を具体化した一例であって，本発明の技術的範囲を限定する性格のものではない。
ここに，図１は本発明の実施の形態に係る文字認識処理装置Ｘの適用例を示すブロック図，図２はビレット１０に描かれた文字列の一例を示す図，図３はＣＣＤカメラ１２で撮像された文字列の一例を示す図，図４は上記文字認識処理装置Ｘで実行される文字認識処理の手順の一例を説明するためのフローチャート，図５は同一性最高連結画素判別処理の手順の一例を説明するためのフローチャート，図６はグループ判定処理の手順の一例を説明するためのフローチャート，図７はＣＣＤカメラ１２で撮像された画像情報の一例を示す図，図８はＣＣＤカメラ１２で撮像された画像情報の要部拡大図である。
まず，図１を用いて，本発明の実施の形態に係る文字認識処理装置Ｘ（画像の文字列領域決定装置の一例）の適用例について説明する。
図１に示すように，金属材料などで成形されたビレット１０の製造ラインでは，該ビレット１０各々が順にベルトコンベアなどの搬送台１１上を流れて，画像を読み取るＣＣＤカメラ１２の位置に達する。このビレット１０各々の端面１０１には，該ビレット１０各々を識別するべく，予めロット番号や型番などの文字列がマーキング装置（不図示）によって描かれている。

ここで，図２を用いて，上記ビレット１０各々に描かれた文字列について説明する。
図２に示すように，上記ビレット１０の端面１０１に描かれている文字列「０２２３９５」における文字各々の大きさは全て同じであり，例えば外接矩形の大きさが，高さＦＨが３０ｍｍ，幅ＦＷが２０ｍｍ（アスペクト比＝３０／２０＝１．５）である。また，上記文字列は２行×３列の形態を成しており，上記文字各々は行間ｄＦＨ，列間ｄＦＷの間隔をあけて配置されている。

本発明の実施の形態に係る文字認識処理装置Ｘは，上記のように構成された製造ラインに適用されるものであって，各種の制御プログラムを実行することにより各種の演算処理を行うＣＰＵや，一時記憶データが展開される高速メモリであるＲＡＭ，上記ＣＰＵにより実行される上記各種の制御プログラムが予め記憶されたＲＯＭなどを有する制御部（不図示）を備えたコンピュータである。
上記文字認識処理装置Ｘは，上記ＣＣＤカメラ１２によって撮像された上記ビレット１０各々の端面１０１の画像情報に２値化処理を施して，その２値化処理後の画像情報に含まれた複数の連結画素に基づいて，該端面１０１に描かれた文字列の存在領域（以下「文字列領域」という）を決定し，その文字列領域に含まれた文字を認識する。上記文字認識処理装置Ｘによる認識結果は，製造ラインの制御や在庫管理などを行うホストコンピュータ１３に入力される。

以下，図３〜５のフローチャートに従って，上記文字認識処理装置Ｘにおいて上記制御部によって実行される文字認識処理の手順の一例について説明する。なお，図中のＳ１，Ｓ２，…は処理手順（ステップ）の番号を表している。本発明は，以下の各処理工程を有する画像の文字列領域決定方法として捉えることが可能である。
ここでは，図７に示す画像情報が上記ＣＣＤ１２によって撮像された場合を例に挙げて説明する。図７に示すように上記画像情報には文字列以外に背景画像が含まれている。ここに，図８（ａ）は，図７に示す画像情報に含まれた文字列部分の拡大図である。なお，図８（ａ）に示すように，上記文字列には，文字「０２２３９５」が含まれているが，文字「０」の上方に汚れが付着しており，文字「０」，「２」及び「９」に文字欠けが生じている。

まず，上記文字認識処理装置Ｘでは，上記ＣＣＤカメラ１２から画像情報が入力されたか否か上記制御部によって判断される（Ｓ１）。上記ステップＳ１の処理は，画像情報が入力されたと判断されるまで繰り返し実行され（Ｓ１のＮｏ側），画像情報が入力されたと判断されると（Ｓ１のＹｅｓ側），処理はステップＳ２に移行する。なお，上記ＣＣＤカメラ１２からの画像情報の入力は，上記ビレット１０が所定の位置に達したときや，上記文字認識処理装置Ｘからの指示に応じて行われる。

ステップＳ２では，上記制御部によって，上記ＣＣＤカメラ１２から入力された上記画像情報を適当な閾値で２値化する２値化処理が実行される。
続くステップＳ３では，上記制御部によって，上記ステップＳ２で２値化処理が施された後の画像情報から連結画素が抽出され，その連結画素ごとのラベル（識別番号など）付けを行うラベリング処理が実行される。
このとき，上記ＣＣＤカメラ１２による撮影の際に上記ビレット１０が定位置から上下左右及び前後にずれることを想定してカメラ視野が広くとられている場合，上記画像情報には，図７に示すように文字列以外に天井照明などの背景画像が含まれるため，上記ステップＳ３においてその背景画像なども連結画素として抽出されることになる。

ここで，従来手法では，次のステップにおいて，上記ステップＳ３で抽出された連結画素のうち，予め設定された大きさやアスペクト比などを満たすものが文字候補として抽出することで，上記画像情報に含まれた背景画像や汚れなどのノイズが除外されていた。しかし，前述したように，このような従来手法では，予め文字の大きさやアスペクト比を設定しておく必要があった。そのため，上記ビレット１０と上記ＣＣＤカメラ１２との距離が異なるために該ＣＣＤカメラ１２によって撮像された画像情報に含まれた文字の大きさが異なる場合や，上記ビレット１０に描かれている文字が設定外のアスペクト比である場合などに，正確に文字列領域を特定することができないという問題が生じていた。
しかしながら，本発明の実施の形態に係る上記文字認識処理装置Ｘでは，上記ステップＳ３に続くステップＳ４において同一性最高連結画素判別処理（図５のフローチャート参照）が実行され，ステップＳ５では上記同一性最高連結画素判別処理の処理結果に基づいて文字候補が抽出されるため，予め文字の大きさやアスペクト比を設定しておく必要がない。

ここで，当該文字認識処理のステップＳ４における同一性最高連結画素判別処理について，図５のフローチャートを参照して説明する。
当該同一性最高連結画素判別処理では，上記制御部によって，一つの連結画素が選択されて（Ｓ４１），該連結画素の外接矩形領域が上記画像情報から切り出され（Ｓ４２），該連結画素が予め設定されたサイズに正規化される（Ｓ４３）。その後，その正規化された連結画素に最も近似する文字を認識するための文字認識処理が実行され（Ｓ４４），該連結画素と近似する文字との同一性のレベルが検出される（Ｓ４５）。具体的に，上記文字認識処理（Ｓ４４）は，予め記憶された文字データベースに含まれた文字との比較により行われ，前記同一性はその比較の一致度合を示すものである。この文字認識処理を，ニューラルネットワークを用いたパターン認識器によって行えば，比較的少ない処理量で解を得ることができる。これらの処理（Ｓ４１〜Ｓ４５）は上記画像情報に含まれた連結画素全てに対して実行される（Ｓ４６）。
そして，ステップＳ４７では，上記制御部によって，上記文字認識処理（Ｓ４４）により認識された文字の信頼性が最も高い連結画素が判別される。具体的には，上記ステップＳ４５において検出された同一性のレベルに基づいて，近似する文字との同一性が最も高い連結画素（以下「同一性最高連結画素」という）が判別される。ここに，かかる判別処理工程を実行するときの上記制御部が同一性最高連結画素判別手段に相当する。
このとき，複数の連結画素が同一性最高連結画素として判別された場合にはそのうちの一つを任意に選択すればよい。なお，同一性が１００％に近い連結画素が存在することが判別された場合に，その時点で該連結画素を同一性最高連結画素として上記ステップＳ４を終了することで処理時間の短縮を図ってもよい。また，ここでは，全ての上記連結画素について文字認識処理を実行し，最も同一性の高い連結画素を判別する場合を例に説明したが，複数の連結画素をランダムに選出してその連結画素各々に対して文字認識処理を実行し，その中で最も同一性の高い連結画素を判別してもかまわない。
以下，図８（ａ）に示す文字列のうち文字「３」を形成する連結画素が同一性最高連結画素であると判別された場合を具体例として説明を続ける。

ステップＳ５では，上記制御部によって，上記画像情報に含まれた全ての連結画素の中から上記ステップＳ４で判別された上記同一性最高連結画素と外接矩形の大きさが同じ連結画素が文字候補として抽出される。ここに，かかる抽出処理工程を実行するときの上記制御部が第１の連結画素抽出手段に相当する。
これにより，この時点で，上記同一性最高連結画素と外接矩形の大きさが同じではない背景画像や汚れなどのノイズは除外される。ここでは，図８（ａ）に示すように文字欠けが生じている文字「０」，「２」，「９」を除く，文字「２」，「５」が抽出される。
なお，上記同一性最高連結画素の外接矩形の大きさに基づいて文字候補を抽出する例について説明するが，上記同一性最高連結画素の外接矩形のアスペクト比などに基づいて文字候補を抽出することも他の実施例として考えられる。
このように，本実施の形態に係る上記文字認識処理装置Ｘでは，上記ステップＳ４で判別された上記同一性最高連結画素の大きさを，上記文字列に含まれた文字の大きさであると同定して，文字候補を抽出しているため，従来手法のように予め文字の大きさやアスペクト比などを設定しておく必要がない。

次に，ステップＳ６では，上記制御部によって，上記同一性最高連結画素をリーダーとするグループ判定処理が行われる。上記グループとは，上記リーダーとの位置関係が予め設定してある文字列の形態に合致していると判断された文字候補の集合をいう。
ここで，このステップＳ６におけるグループ判定処理について，図６のフローチャートを参照して説明する。
先ず，上記制御部によって，上記同一性最高連結画素がグループのリーダーに設定される（Ｓ６１）。そして，上記ステップＳ５で抽出された連結画素である文字候補の中から順番に１つの文字候補が選出される（Ｓ６２）。次に，選出された上記文字候補が，上記同一性最高連結画素をリーダとするグループに含まれるかどうかが上記制御部によって判定される（Ｓ６３）。この判定は具体的には，次の（１）式，（２）式を満たすか否かが判断されることにより行われる。なお，下記の（１）式，（２）式は，上記文字列における文字各々の配置関係を定める所定の条件の一例に過ぎない。

ここで，図３に示すように，変数Ｗ，Ｈはそれぞれ上記画像情報に含まれた上記同一性最高連結画素（ここでは文字「３」）の外接矩形の幅（Ｗ），高さ（Ｈ）であり，変数ｄＷ，ｄＨはそれぞれ上記同一性最高連結画素と文字候補（図３では文字「２」）とのそれぞれの外接矩形の左上の座標の縦，横方向の間隔である。
また，各変数α，βは，予め定められたものであって，変数αは，文字の幅と隣接する文字に対する横方向の間隔との比率，変数βは，文字の高さと隣接する文字に対する縦方向の間隔との比率である。例えば，図２の例では，変数α＝ｄＦＷ／ＦＷ，変数β＝ｄＦＨ／ＦＨとなる。
さらに，ｍ，ｎは上記同一性最高連結画素と文字候補との縦横の位置関係を示す値であり，ここでは，ｍは−２〜＋２，ｎは−１〜＋１の間の整数値をとる。また，ｄｍ，ｄｎはそれぞれｍとｎとのマージン（＜０．５）である。
なお，上記（１）式，（２）式は，上記連結画素が，上記同一性最高連結画素に対する縦方向や横方向の間隔が既定の関係を充足することを判断するためのものであるが，他の実施例として，上記同一性最高連結画素に対する間隔ではなく，隣接する連結画素に対する縦方向や横方向の間隔が既定の関係を充足しているか否かを判断するためのものであってもかまわない。

このように，上記ステップＳ６では，上記ステップＳ５で抽出された連結画素から，所定の条件を満たす連結画素，即ち上記同一性最高連結画素の左右１つ又は２つ，及び上下１つずれた位置にある連結画素だけが抽出されることになる。ここに，かかる抽出処理工程を実行するときの上記制御部が第２の連結画素抽出手段に相当する。
これにより，上記同一性最高連結画素と外接矩形の大きさが似ている背景画像や汚れが文字候補となってしまった場合であっても，その文字候補はこの段階で除外される。ここでは，上記制御部によって，図８（ａ）に示す文字「２」，「５」の連結画素が上記グループに含まれると判定される。
そして，全ての文字候補に対して上記ステップＳ６３の判定処理が実行されると（Ｓ６４のＹｅｓ側），処理は次のステップ７に進む。判定処理が終わっていない文字候補があれば，上記ステップＳ６１に戻る。

ステップＳ７では，上記制御部によって，上記ステップＳ６で同じグループに含まれると判定された文字候補（文字「２」，「５」を形成する連結画素）と上記同一性最高連結画素とを含む外接矩形領域が上記画像情報における文字列領域として決定される。ここに，かかる決定処理工程を実行するときの上記制御部が文字列領域決定手段に相当する。
これにより，文字欠けが生じていた文字「０」，「２」，「９」も，上記文字列領域に含まれることになる。つまり，本実施の形態では，上記画像情報の文字列の中に低質な文字が含まれていても，図８（ｂ）に示すように，文字列領域を正確に決定することが可能となる。

その後，ステップＳ８では，上記制御部によって，上記ステップＳ７で決定された文字列領域に含まれた複数の連結画素に対して文字認識処理が実行される。具体的には，上記画像情報から２行×３列に配置された連結画素が６分割して切り出され，それぞれが文字として認識される。なお，このとき実行される文字認識処理は上記ステップＳ４と同様の手法で行えばよい。このとき，上記文字列領域の決定が正確に行われているため，該ステップＳ８における文字認識処理も正確に行われる。
そして，ステップＳ９では，上記制御部によって，上記ステップＳ８における文字認識処理の認識結果が上記ホストコンピュータ１３に出力される。

以上，説明したように，本実施の形態に係る上記文字認識処理装置Ｘでは，画像情報に含まれた連結画素のなかから文字認識の信頼性（近似するとの同一性）が最も高い上記同一性最高連結画素が判別され，該同一性最高連結画素と外接矩形の大きさが同じ上記連結画素が文字候補として抽出されるため，予め文字の大きさや縦横比（アスペクト比）などを設定しておくことなく，上記画像情報における文字列領域を正確に決定することができる。しかも，上記文字候補を抽出した後，更に所定の条件で配置されたものだけが抽出されるため，背景画像や汚れなどを除外して文字列領域を決定することができる。

本発明の実施の形態に係る文字認識処理装置Ｘの適用例を示すブロック図。 ビレット１０に描かれた文字列の一例を示す図。 ＣＣＤカメラ１２で撮像された文字列の一例を示す図。 本発明の実施の形態に係る文字認識処理装置Ｘで実行される文字認識処理の手順の一例を説明するためのフローチャート。 同一性最高連結画素判別処理の手順の一例を説明するためのフローチャート。 グループ判定処理の手順の一例を説明するためのフローチャート。 ＣＣＤカメラ１２で撮像された画像情報の一例を示す図。 ＣＣＤカメラ１２で撮像された画像情報の要部拡大図。

符号の説明

１０…ビレット
１０１…端面
１１…搬送台
１２…ＣＣＤカメラ
１３…ホストコンピュータ
Ｓ１，Ｓ２，…，…処理手順（ステップ）番号
Ｘ…文字認識処理装置

Claims (4)

1. 同じ大きさの複数の文字が所定の条件で配置された文字列を含む画像情報を入力して２値化処理を施し，該２値化処理後の画像情報に含まれる複数の連結画素に基づいて上記画像情報における文字列領域を決定する画像の文字列領域決定方法であって，
   複数の上記連結画素のうち該連結画素と近似する文字との同一性が最も高い同一性最高連結画素を判別する同一性最高連結画素判別工程と，
   複数の上記連結画素から上記同一性最高連結画素と外接矩形の大きさが同じ連結画素を抽出する第１の連結画素抽出工程と，
   上記第１の連結画素抽出工程で抽出された上記連結画素から上記所定の条件で配置された連結画素を抽出する第２の連結画素抽出工程と，
   上記同一性最高連結画素と上記第２の連結画素抽出工程で抽出された上記連結画素とを含む外接矩形領域を上記画像情報における文字列領域と決定する文字列領域決定工程と，
   を有してなることを特徴とする画像の文字列領域決定方法。
2. 上記所定の条件が，上記同一性最高連結画素に対する縦方向及び／又は横方向の間隔が既定の関係を充足すること，或いは，隣接する連結画素に対する縦方向及び／又は横方向の間隔が既定の関係を充足することである請求項１に記載の画像の文字列領域決定方法。
3. 同じ大きさの複数の文字が所定の条件で配置された文字列を含む画像情報を入力して２値化処理を施し，該２値化処理後の画像情報に含まれる複数の連結画素に基づいて上記画像情報における文字列領域を決定する画像の文字列領域決定装置であって，
   複数の上記連結画素のうち該連結画素と近似する文字との同一性が最も高い同一性最高連結画素を判別する同一性最高連結画素判別手段と，
   複数の上記連結画素から上記同一性最高連結画素と外接矩形の大きさが同じ連結画素を抽出する第１の連結画素抽出手段と，
   上記第１の連結画素抽出手段で抽出された上記連結画素から上記所定の条件で配置された連結画素を抽出する第２の連結画素抽出手段と，
   上記同一性最高連結画素と上記第２の連結画素抽出手段で抽出された上記連結画素とを含む外接矩形領域を上記画像情報における文字列領域と決定する文字列領域決定手段と，
   を有してなることを特徴とする画像の文字列領域決定装置。
4. 上記所定の条件が，上記同一性最高連結画素に対する縦方向及び／又は横方向の間隔が既定の関係を充足すること，或いは，隣接する連結画素に対する縦方向及び／又は横方向の間隔が既定の関係を充足することである請求項３に記載の画像の文字列領域決定装置。

Images