JP2008204203A - 文字列画像の画像処理方法，そのプログラム及びその装置 - Google Patents
文字列画像の画像処理方法，そのプログラム及びその装置 Download PDFInfo
- Publication number
- JP2008204203A JP2008204203A JP2007040052A JP2007040052A JP2008204203A JP 2008204203 A JP2008204203 A JP 2008204203A JP 2007040052 A JP2007040052 A JP 2007040052A JP 2007040052 A JP2007040052 A JP 2007040052A JP 2008204203 A JP2008204203 A JP 2008204203A
- Authority
- JP
- Japan
- Prior art keywords
- image
- character
- column
- character string
- procedure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Character Input (AREA)
Abstract
【課題】複数列の文字列からなる検出対象文字列の画像について，一列分の文字列それぞれの画像相互の列方向の位置ずれが大きい場合や，前記検出対象文字列を構成する文字の一部について，文字画像と文字画像との間の隙間が明確でない場合であっても，各文字画像の存在領域を極力正しく特定できること。
【解決手段】２値画像における連結画素のうち所定の文字画像の条件及び相対的な位置関係の条件を満たす文字候補画像を特定し（Ｓ３，Ｓ４），それを含む文字列包含推定領域の画像について，一列分の文字列の画像の列幅範囲を推定し（Ｓ７），その範囲の列領域画像の列直交方向の投影データの上限制限データの相互相関関数から，列領域画像相互の列方向位置ずれ量を求め（Ｓ１１），そのずれ量を修正した画像全体における列直交方向の投影データの上限制限データに基づいて，各文字画像の存在領域の位置を特定する（Ｓ１６）。
【選択図】図２
【解決手段】２値画像における連結画素のうち所定の文字画像の条件及び相対的な位置関係の条件を満たす文字候補画像を特定し（Ｓ３，Ｓ４），それを含む文字列包含推定領域の画像について，一列分の文字列の画像の列幅範囲を推定し（Ｓ７），その範囲の列領域画像の列直交方向の投影データの上限制限データの相互相関関数から，列領域画像相互の列方向位置ずれ量を求め（Ｓ１１），そのずれ量を修正した画像全体における列直交方向の投影データの上限制限データに基づいて，各文字画像の存在領域の位置を特定する（Ｓ１６）。
【選択図】図２
Description
本発明は，複数列の文字列の画像が形成された部材を撮像して得られた画像にに基づいて各文字の画像の存在領域を特定する文字列画像の画像処理方法，そのプログラム及びその装置に関するものである。
製造や物流の現場では，製品や中間製品等の被管理部材の表面にロット番号や製造番号等の管理情報を表す文字列（以下，検出対象文字列という）を印字し，その被管理部材をカメラにより撮像して得られる画像に基づいてコンピュータによる文字認識の画像処理を行い，その文字認識の結果に基づいて被管理部材の管理を行なう管理システムが採用されている。そのような管理システムにおいては，プリンタヘッドによって被管理部材の表面に前記検出対象文字列が直接印字されたり，或いは所定のシール部材に前記検出対象文字列が印字され，そのシール部材が被管理部材に貼付されたりする。
ところで，製造や物流の現場では，被管理部材の移動や汚れ，他の部材との接触，不十分な照明など，印字や撮像の環境が良くないことに起因し，被管理部材の撮像画像における前記検出対象文字列の画像の品質が悪い場合がある。例えば，前記検出対象文字列の画像において，複数列の文字列相互間の位置ずれや，文字画像のにじみや一部欠損（文字画像の乱れ）などが生じる場合がある。
図１２は，一部の文字画像について画像品質が劣悪な２値画像の一例である。図１２に示す例は，２列分の文字列からなる検出対象文字列の画像のうち，一方の列の文字列画像の品質が汚れ等によって劣悪な状態となっている例である。
被管理部材を正しく管理するためには，撮像画像における前記検出対象文字列の画像の品質が悪い場合であっても，撮像画像における各文字画像（前記検出対象文字列を構成する各文字の画像）の存在領域を正しく特定した上で，その領域の画像（文字画像）についてパターン認識等による文字認識を行う必要がある。
これに対し，例えば，特許文献１には，文字列の画像について，所定条件を満たす連続画素である文字候補の画像を抽出し，その文字候補の画像から相互間の配置が所定条件を満たすものの外接矩形から文字の切り出し領域（文字領域）を決定する方法が示されている。
また，特許文献２には，文字列の画像について，文字列方向の投影データに基づいて文字列の列サイズ（文字高さ）を求め，さらに，文字列方向に直交する方向の投影データに基づいて行サイズ（文字幅）を求め，そのようにして求めた列サイズ及び行サイズに基づいて文字の切り出し位置を特定する方法が示されている。
特開平８−３３９４２１号公報
特開平１０−６９５２３号公報
ところで，製造や物流の現場では，被管理部材の移動や汚れ，他の部材との接触，不十分な照明など，印字や撮像の環境が良くないことに起因し，被管理部材の撮像画像における前記検出対象文字列の画像の品質が悪い場合がある。例えば，前記検出対象文字列の画像において，複数列の文字列相互間の位置ずれや，文字画像のにじみや一部欠損（文字画像の乱れ）などが生じる場合がある。
図１２は，一部の文字画像について画像品質が劣悪な２値画像の一例である。図１２に示す例は，２列分の文字列からなる検出対象文字列の画像のうち，一方の列の文字列画像の品質が汚れ等によって劣悪な状態となっている例である。
被管理部材を正しく管理するためには，撮像画像における前記検出対象文字列の画像の品質が悪い場合であっても，撮像画像における各文字画像（前記検出対象文字列を構成する各文字の画像）の存在領域を正しく特定した上で，その領域の画像（文字画像）についてパターン認識等による文字認識を行う必要がある。
これに対し，例えば，特許文献１には，文字列の画像について，所定条件を満たす連続画素である文字候補の画像を抽出し，その文字候補の画像から相互間の配置が所定条件を満たすものの外接矩形から文字の切り出し領域（文字領域）を決定する方法が示されている。
また，特許文献２には，文字列の画像について，文字列方向の投影データに基づいて文字列の列サイズ（文字高さ）を求め，さらに，文字列方向に直交する方向の投影データに基づいて行サイズ（文字幅）を求め，そのようにして求めた列サイズ及び行サイズに基づいて文字の切り出し位置を特定する方法が示されている。
ところで，複数列の文字列からなる前記検出対象文字列の画像が被管理部材に印字される，一列分の文字列の画像相互の列方向（文字列方向）の位置ずれが大きくなる場合がある。例えば，前記検出対象文字列を印字する印字ヘッドが一列分の文字列ごとに個別に設けられている場合や，複数の工程それぞれにおいて一列分の文字列の印字が個別に印字される場合などである。
また，前記検出対象文字列を構成する文字の一部について，汚れや照明不良，他の部材との接触等の問題により，文字画像と文字画像との間の隙間（無画像の領域）が明確でない場合がある。例えば，ある文字画像が隣接する他の文字画像と連結した状態（以下，連結状態という）となっていたり，或いは本来１つの連結画素であるはずの文字画像が複数の連結画素に断裂した状態（以下，断裂状態という）となっていたりする場合がその典型例である。
そのように前記検出対象文字列の画像の品質が悪い状況下においても，各文字画像の存在領域を極力正しく特定できることが望ましい。
しかしながら，特許文献１に示される技術は，前記検出対象文字列の画像全体において，各文字画像の外接矩形（連結画素の外接矩形）相互の位置関係がほぼ予め定められた位置関係からほぼずれがないことを前提としている。このため，複数列の前記検出対象文字列における一列分の文字列それぞれの画像相互の列方向の位置ずれが大きい場合，特許文献１に示される技術では，各文字画像の存在領域を正しく特定できないという問題点があった。
また，前記検出対象文字列を構成する文字の一部について，その文字画像が前記連結状態や前記断裂状態となっている場合，即ち，１つの連結画素と１つの文字画像とが１対１に対応していない場合，連結画素の外接矩形相互の位置関係が予め定められた位置関係を満たさず，特許文献１に示される技術では，やはり各文字画像の存在領域を正しく特定できないという問題点があった。
一方，特許文献２に示される技術は，前記検出対象文字列の画像における列方向の投影データに基づいて一列分の文字列それぞれの存在範囲を特定した上で，一列分の文字列の範囲の画像それぞれについて，列方向に直交する方向の投影データに基づいて，各文字画像の領域を特定するものである。このため，複数列の前記検出対象文字列における一列分の文字列それぞれの画像相互の列方向の位置ずれが比較的大きくても，特許文献２に示される技術によれば，一列分の文字列それぞれの存在領域を正しく特定できる。
しかしながら，前記検出対象文字列を構成する文字の一部について，文字画像と文字画像との間の隙間が明確でない場合，そのような文字画像を含む列については，特許文献２に示される技術により列方向に直交する投影データに基づいて文字領域の特定を行っても，各文字画像の存在領域を正しく特定できないという問題点があった。
従って，本発明は上記事情に鑑みてなされたものであり，その目的とするところは，複数列の文字列からなる検出対象文字列の画像について各文字画像の領域を特定する場合に，一列分の文字列それぞれの画像相互の列方向の位置ずれが大きい場合や，前記検出対象文字列を構成する文字の一部について，文字画像と文字画像との間の隙間が明確でない場合であっても，各文字画像の存在領域を極力正しく特定できる文字列画像の画像処理方法，そのプログラム及びその装置を提供することにある。
また，前記検出対象文字列を構成する文字の一部について，汚れや照明不良，他の部材との接触等の問題により，文字画像と文字画像との間の隙間（無画像の領域）が明確でない場合がある。例えば，ある文字画像が隣接する他の文字画像と連結した状態（以下，連結状態という）となっていたり，或いは本来１つの連結画素であるはずの文字画像が複数の連結画素に断裂した状態（以下，断裂状態という）となっていたりする場合がその典型例である。
そのように前記検出対象文字列の画像の品質が悪い状況下においても，各文字画像の存在領域を極力正しく特定できることが望ましい。
しかしながら，特許文献１に示される技術は，前記検出対象文字列の画像全体において，各文字画像の外接矩形（連結画素の外接矩形）相互の位置関係がほぼ予め定められた位置関係からほぼずれがないことを前提としている。このため，複数列の前記検出対象文字列における一列分の文字列それぞれの画像相互の列方向の位置ずれが大きい場合，特許文献１に示される技術では，各文字画像の存在領域を正しく特定できないという問題点があった。
また，前記検出対象文字列を構成する文字の一部について，その文字画像が前記連結状態や前記断裂状態となっている場合，即ち，１つの連結画素と１つの文字画像とが１対１に対応していない場合，連結画素の外接矩形相互の位置関係が予め定められた位置関係を満たさず，特許文献１に示される技術では，やはり各文字画像の存在領域を正しく特定できないという問題点があった。
一方，特許文献２に示される技術は，前記検出対象文字列の画像における列方向の投影データに基づいて一列分の文字列それぞれの存在範囲を特定した上で，一列分の文字列の範囲の画像それぞれについて，列方向に直交する方向の投影データに基づいて，各文字画像の領域を特定するものである。このため，複数列の前記検出対象文字列における一列分の文字列それぞれの画像相互の列方向の位置ずれが比較的大きくても，特許文献２に示される技術によれば，一列分の文字列それぞれの存在領域を正しく特定できる。
しかしながら，前記検出対象文字列を構成する文字の一部について，文字画像と文字画像との間の隙間が明確でない場合，そのような文字画像を含む列については，特許文献２に示される技術により列方向に直交する投影データに基づいて文字領域の特定を行っても，各文字画像の存在領域を正しく特定できないという問題点があった。
従って，本発明は上記事情に鑑みてなされたものであり，その目的とするところは，複数列の文字列からなる検出対象文字列の画像について各文字画像の領域を特定する場合に，一列分の文字列それぞれの画像相互の列方向の位置ずれが大きい場合や，前記検出対象文字列を構成する文字の一部について，文字画像と文字画像との間の隙間が明確でない場合であっても，各文字画像の存在領域を極力正しく特定できる文字列画像の画像処理方法，そのプログラム及びその装置を提供することにある。
上記目的を達成するために，本発明に係る文字列画像の画像処理方法は，複数列の文字列からなり文字寸法と一列の文字数及び文字間隔と列数と列間隔とが所定の（既知の）文字配置条件を満たす検出対象文字列の画像が形成された部材を撮像して得られた画像についての２値画像のデータを所定の記憶手段から読み出し，その読み出しデータに基づいて前記２値画像における前記検出対象文字列を構成する各文字の画像の存在領域を特定し，特定した各文字の画像の存在領域から文字画像を抽出する方法であり，所定のプロセッサ（コンピュータといってもよい）により，次の（１）〜（９）に示す各手順を自動的に実行する方法である。なお，本発明において検出対象となる前記検出対象文字列における文字の画像は，印字不良や汚れ，照明不良などに起因する画質の悪化がない場合，本来は連結画素からなる画像である。
（１）前記読み出しデータに基づいて，前記２値画像における連結画素のうち予め定められた文字画像の条件を満たすものを特定する第１の文字候補特定手順。
（２）前記第１の文字候補特定手順により特定された前記連結画素のうちその相対的な位置関係が，前記文字配置条件における文字相互の相対的な位置関係を所定の誤差範囲内で満たすものを特定する第２の文字候補特定手順。
（３）前記第２の文字候補特定手順により特定された前記連結画素である文字候補画像それぞれの位置及び寸法と前記文字配置条件と予め定められた文字配置の変動範囲とに基づいて，前記２値画像において前記文字候補画像の全てを含む領域であって前記検出対象文字列の画像全体を含む領域を推定する文字列包含領域推定手順。
（４）前記２値画像における前記文字列包含領域推定手順により推定された領域である文字列包含推定領域の画像について予め定められた処理を行うことにより，前記検出対象文字列を構成する一列分の文字列の画像それぞれの列方向に直交する列直交方向における存在範囲を推定する列幅範囲推定手順。
（５）前記文字列包含領域の画像における前記列幅範囲推定手順により推定された範囲それぞれの画像である列領域画像について前記列直交方向の投影データ又はその投影データについて上限値を制限する補正処理を施したデータの分布を算出する第１の列直交方向投影データ算出手順。
（６）前記第１の列直交方向投影データ算出手順による算出データに基づいて，列方向のシフト量を変数とする相互相関関数を導出する相互相関関数導出手順。
（７）前記相互相関関数導出手順により得られた前記相互相関関数に基づいて，前記列領域画像相互の列方向の位置ずれ量である列相互ずれ量を導出する列相互ずれ量導出手順。
（８）複数の前記列領域画像それぞれを前記列相互ずれ量だけ位置修正した画像全体における前記列直交方向の投影データ又はその投影データについて上限値を制限する補正処理を施したデータの分布を算出する第２の列直交方向投影データ算出手順。
（９）前記第２の列直交方向投影データ算出手順による算出データに基づいて，前記列領域画像それぞれにおける前記検出対象文字列を構成する各文字の画像の存在領域の位置を特定する文字領域特定手順。
なお，前記予め定められた文字画像の条件は，例えば，連結画素の外接矩形の大きさ，連結画素の外接矩形の縦横比，連結画素の面積，連結画素とその外接矩形との面積比，及び連結画素の周囲長の２乗とその面積との比，のうちの少なくとも１つが予め定められた範囲内にあることである。
また，例えば前記プロセッサが，前記列相互ずれ量算出手順において，前記相互相関関数導出手順により得られた前記相互相関関数における最大の相関値に対応する列方向のシフト量に基づいて前記列相互ずれ量を導出することが考えられる。
（１）前記読み出しデータに基づいて，前記２値画像における連結画素のうち予め定められた文字画像の条件を満たすものを特定する第１の文字候補特定手順。
（２）前記第１の文字候補特定手順により特定された前記連結画素のうちその相対的な位置関係が，前記文字配置条件における文字相互の相対的な位置関係を所定の誤差範囲内で満たすものを特定する第２の文字候補特定手順。
（３）前記第２の文字候補特定手順により特定された前記連結画素である文字候補画像それぞれの位置及び寸法と前記文字配置条件と予め定められた文字配置の変動範囲とに基づいて，前記２値画像において前記文字候補画像の全てを含む領域であって前記検出対象文字列の画像全体を含む領域を推定する文字列包含領域推定手順。
（４）前記２値画像における前記文字列包含領域推定手順により推定された領域である文字列包含推定領域の画像について予め定められた処理を行うことにより，前記検出対象文字列を構成する一列分の文字列の画像それぞれの列方向に直交する列直交方向における存在範囲を推定する列幅範囲推定手順。
（５）前記文字列包含領域の画像における前記列幅範囲推定手順により推定された範囲それぞれの画像である列領域画像について前記列直交方向の投影データ又はその投影データについて上限値を制限する補正処理を施したデータの分布を算出する第１の列直交方向投影データ算出手順。
（６）前記第１の列直交方向投影データ算出手順による算出データに基づいて，列方向のシフト量を変数とする相互相関関数を導出する相互相関関数導出手順。
（７）前記相互相関関数導出手順により得られた前記相互相関関数に基づいて，前記列領域画像相互の列方向の位置ずれ量である列相互ずれ量を導出する列相互ずれ量導出手順。
（８）複数の前記列領域画像それぞれを前記列相互ずれ量だけ位置修正した画像全体における前記列直交方向の投影データ又はその投影データについて上限値を制限する補正処理を施したデータの分布を算出する第２の列直交方向投影データ算出手順。
（９）前記第２の列直交方向投影データ算出手順による算出データに基づいて，前記列領域画像それぞれにおける前記検出対象文字列を構成する各文字の画像の存在領域の位置を特定する文字領域特定手順。
なお，前記予め定められた文字画像の条件は，例えば，連結画素の外接矩形の大きさ，連結画素の外接矩形の縦横比，連結画素の面積，連結画素とその外接矩形との面積比，及び連結画素の周囲長の２乗とその面積との比，のうちの少なくとも１つが予め定められた範囲内にあることである。
また，例えば前記プロセッサが，前記列相互ずれ量算出手順において，前記相互相関関数導出手順により得られた前記相互相関関数における最大の相関値に対応する列方向のシフト量に基づいて前記列相互ずれ量を導出することが考えられる。
また，本発明において，前記プロセッサが，前記列幅範囲推定手順において，例えば次の（１０）及び（１１）に示す各手順を実行する。
（１０）前記２値画像における前記文字列包含推定領域の画像について列方向の投影データの分布を算出する列方向投影データ算出手順。
（１１）前記列方向投影データ算出手順による算出データに基づいて，前記検出対象文字列を構成する一列分の文字列の画像それぞれの前記列直交方向における存在範囲を推定する範囲推定手順。
この（１０）及び（１１）に示す手順による処理の一例は，特許文献１に示される文字列を切り出すステップにおける処理である。
その他，一列分の文字列の画像の前記列直交方向における位置ずれをほとんど考慮しなくてよい場合には，前記プロセッサが，前記文字列包含推定領域を既知の文字列の列数で等分割することによって一列分の文字列の画像それぞれの前記列直交方向における存在範囲を推定することも考えられる。
また，本発明において，前記プロセッサが，さらに次の（１２）及び（１３）に示す各手順を自動的に実行することが考えられる。
（１２）前記相互相関関数導出手順により得られた前記相互相関関数における複数の相関値のピーク相互の間隔と前記文字配置条件における一列の文字数とに基づいて，前記列領域画像それぞれにおける前記検出対象文字列の画像が存在する範囲の列方向の長さを算出する列長さ算出手順。
（１３）前記第２の列直交方向投影データ算出手順による算出データについて，列方向における複数の基準位置それぞれを基準として前記列長さ算出手順による算出結果である列長さの範囲内の値の積算値又は平均値を算出し，その算出値が最大となるときの前記基準位置と前記列長さとに基づいて，前記列領域画像における処理対象範囲を特定する列領域画像処理対象範囲特定手順。
なお，この場合，前記プロセッサは，前記文字領域特定手順において，前記列領域画像処理対象範囲特定手順により特定された前記処理対象範囲を対象に前記検出対象文字列を構成する各文字の画像の存在領域を特定する。
（１０）前記２値画像における前記文字列包含推定領域の画像について列方向の投影データの分布を算出する列方向投影データ算出手順。
（１１）前記列方向投影データ算出手順による算出データに基づいて，前記検出対象文字列を構成する一列分の文字列の画像それぞれの前記列直交方向における存在範囲を推定する範囲推定手順。
この（１０）及び（１１）に示す手順による処理の一例は，特許文献１に示される文字列を切り出すステップにおける処理である。
その他，一列分の文字列の画像の前記列直交方向における位置ずれをほとんど考慮しなくてよい場合には，前記プロセッサが，前記文字列包含推定領域を既知の文字列の列数で等分割することによって一列分の文字列の画像それぞれの前記列直交方向における存在範囲を推定することも考えられる。
また，本発明において，前記プロセッサが，さらに次の（１２）及び（１３）に示す各手順を自動的に実行することが考えられる。
（１２）前記相互相関関数導出手順により得られた前記相互相関関数における複数の相関値のピーク相互の間隔と前記文字配置条件における一列の文字数とに基づいて，前記列領域画像それぞれにおける前記検出対象文字列の画像が存在する範囲の列方向の長さを算出する列長さ算出手順。
（１３）前記第２の列直交方向投影データ算出手順による算出データについて，列方向における複数の基準位置それぞれを基準として前記列長さ算出手順による算出結果である列長さの範囲内の値の積算値又は平均値を算出し，その算出値が最大となるときの前記基準位置と前記列長さとに基づいて，前記列領域画像における処理対象範囲を特定する列領域画像処理対象範囲特定手順。
なお，この場合，前記プロセッサは，前記文字領域特定手順において，前記列領域画像処理対象範囲特定手順により特定された前記処理対象範囲を対象に前記検出対象文字列を構成する各文字の画像の存在領域を特定する。
また，本発明は，以上に示した本発明に係る文字画像の画像処理方法における各手順を所定のプロセッサ（コンピュータといってもよい）に実行させるための文字画像の画像処理プログラムとして具現されることも考えられる。
同様に，本発明は，以上に示した本発明に係る文字画像の画像処理方法における各手順を実行する手段を備えた文字画像の画像処理装置として具現されることも考えられる。なお，所定のプログラムを実行することにより，以上に示した本発明に係る文字画像の画像処理方法における各手順を実行するコンピュータ（情報処理装置）が，本発明に係る文字画像の画像処理装置の典型例である。
同様に，本発明は，以上に示した本発明に係る文字画像の画像処理方法における各手順を実行する手段を備えた文字画像の画像処理装置として具現されることも考えられる。なお，所定のプログラムを実行することにより，以上に示した本発明に係る文字画像の画像処理方法における各手順を実行するコンピュータ（情報処理装置）が，本発明に係る文字画像の画像処理装置の典型例である。
本発明によれば，後述するように，複数列の文字列からなる検出対象文字列の画像について各文字画像の領域を特定する場合に，一列分の文字列それぞれの画像相互の列方向の位置ずれが大きい場合や，前記検出対象文字列を構成する文字の一部について，文字画像と文字画像との間の隙間が明確でない場合であっても，各文字画像の存在領域を極力正しく特定できる。
以下添付図面を参照しながら，本発明の実施の形態について説明し，本発明の理解に供する。尚，以下の実施の形態は，本発明を具体化した一例であって，本発明の技術的範囲を限定する性格のものではない。
ここに，図１は本発明の実施形態に係る文字画像の画像処理装置Ｚの概略構成を表すブロック図，図２は画像処理装置Ｚによる文字画像切出し・文字認識処理の手順を表すフローチャート，図３は画像処理装置Ｚによる画像処理の対象となる２値画像の一例を表す図，図４は２値画像における文字画像の候補の一例を表す図，図５は検出対象文字列における文字配置条件を模式的に表した図，図６は２値画像における文字画像の候補相互の位置関係を表した図，図７は画像処理装置Ｚにより特定される文字列包含推定領域の画像の一例を表す図，図８は文字列包含推定領域の画像及びその画像における列方向の投影データ分布の一例を表す図，図９は文字列包含推定領域における列領域画像及びその画像における列直交方向の投影データ分布の一例を表す図，図１０は列領域画像の列直交方向の投影データを補正したデータの相互相関関数の一例を表すグラフ，図１１は列領域画像の列方向の位置ずれを修正した画像及びその画像全体の列直交方向の投影データの上限を補正したデータの分布の一例を表す図，図１２は一部の文字画像について画像品質が劣悪な２値画像の一例を表す図である。
ここに，図１は本発明の実施形態に係る文字画像の画像処理装置Ｚの概略構成を表すブロック図，図２は画像処理装置Ｚによる文字画像切出し・文字認識処理の手順を表すフローチャート，図３は画像処理装置Ｚによる画像処理の対象となる２値画像の一例を表す図，図４は２値画像における文字画像の候補の一例を表す図，図５は検出対象文字列における文字配置条件を模式的に表した図，図６は２値画像における文字画像の候補相互の位置関係を表した図，図７は画像処理装置Ｚにより特定される文字列包含推定領域の画像の一例を表す図，図８は文字列包含推定領域の画像及びその画像における列方向の投影データ分布の一例を表す図，図９は文字列包含推定領域における列領域画像及びその画像における列直交方向の投影データ分布の一例を表す図，図１０は列領域画像の列直交方向の投影データを補正したデータの相互相関関数の一例を表すグラフ，図１１は列領域画像の列方向の位置ずれを修正した画像及びその画像全体の列直交方向の投影データの上限を補正したデータの分布の一例を表す図，図１２は一部の文字画像について画像品質が劣悪な２値画像の一例を表す図である。
まず，図１に示すブロック図を参照しつつ，本発明の実施形態に係る文字画像の画像処理装置Ｚ（以下，画像処理装置Ｚという）の構成について説明する。
前記画像処理装置Ｚは，コンピュータであり，図１に示すように，ＣＰＵ４１，カメラインターフェース４２，画像メモリ４３，画像処理部４４，表示部４５，汎用メモリ４６及び通信部４７を備えている。
前記画像処理装置Ｚは，前記検出対象文字列の画像ｃが形成された被管理部材１をカメラ３（撮像手段）で撮像して得られた画像データに基づく２値画像のデータを前記画像メモリ４３から読み出し，その読み出しデータ（２値画像のデータ）に基づいて，前記２値画像における前記検出対象文字列を構成する各文字の画像の存在領域を特定し，特定した各文字の画像の存在領域から文字画像を抽出するとともに，抽出した文字画像について文字認識処理を自動的に実行する装置である。
前記画像処理装置Ｚは，コンピュータであり，図１に示すように，ＣＰＵ４１，カメラインターフェース４２，画像メモリ４３，画像処理部４４，表示部４５，汎用メモリ４６及び通信部４７を備えている。
前記画像処理装置Ｚは，前記検出対象文字列の画像ｃが形成された被管理部材１をカメラ３（撮像手段）で撮像して得られた画像データに基づく２値画像のデータを前記画像メモリ４３から読み出し，その読み出しデータ（２値画像のデータ）に基づいて，前記２値画像における前記検出対象文字列を構成する各文字の画像の存在領域を特定し，特定した各文字の画像の存在領域から文字画像を抽出するとともに，抽出した文字画像について文字認識処理を自動的に実行する装置である。
前記カメラインターフェース４２は，所定の検出対象文字列の画像ｃが印字された被管理部材１を撮像するカメラ３を制御するものである。具体的には，前記カメラインターフェース４２は，ベルトコンベアなどの搬送手段２により搬送されてくる被管理部材１がカメラ３の正面付近に到達した最に，カメラ３のシャッターが切られるように制御するとともに，そのカメラ３による撮像画像のデータをカメラ３から取得し，前記画像メモリ４３に記憶させる。
前記被管理部材１は，例えばスラブやビレットなどであり，その表面に前記検出対象文字列の画像ｃが印字されている。
前記検出対象文字列は，複数列の文字列からなり，文字寸法と一列の文字数及び文字間隔と列数と列間隔とが所定の文字配置条件を満たす文字列である。また，前記検出対象文字列を構成する各文字の画像は，印字不良や汚れ，照明不良などに起因する画質の悪化がない場合，本来は連結画素からなる画像である。
図５は，検出対象文字列における文字配置条件を模式的に表した図である。
前記検出対象文字列は，複数列の文字列からなり，各文字の外接矩形の高さＦＨ及び横幅ＦＷ，一列の文字数ＮＣ及び文字間隔ｄＦＷ，列数ＮＬ，列間隔ｄＦＨが既知である。図５は，一列の文字数ＮＣが３個であり，列数ＮＬが２列であることを表している。これらＦＨ，ＦＷ，ＮＣ，ｄＦＷ，ＮＬ，ｄＦＨの情報を含む文字配置条件の情報が，前記汎用メモリ４６に予め記憶されており，前記ＣＰＵ４１は，その文字配置条件の情報を必要に応じて参照する。
前記被管理部材１は，例えばスラブやビレットなどであり，その表面に前記検出対象文字列の画像ｃが印字されている。
前記検出対象文字列は，複数列の文字列からなり，文字寸法と一列の文字数及び文字間隔と列数と列間隔とが所定の文字配置条件を満たす文字列である。また，前記検出対象文字列を構成する各文字の画像は，印字不良や汚れ，照明不良などに起因する画質の悪化がない場合，本来は連結画素からなる画像である。
図５は，検出対象文字列における文字配置条件を模式的に表した図である。
前記検出対象文字列は，複数列の文字列からなり，各文字の外接矩形の高さＦＨ及び横幅ＦＷ，一列の文字数ＮＣ及び文字間隔ｄＦＷ，列数ＮＬ，列間隔ｄＦＨが既知である。図５は，一列の文字数ＮＣが３個であり，列数ＮＬが２列であることを表している。これらＦＨ，ＦＷ，ＮＣ，ｄＦＷ，ＮＬ，ｄＦＨの情報を含む文字配置条件の情報が，前記汎用メモリ４６に予め記憶されており，前記ＣＰＵ４１は，その文字配置条件の情報を必要に応じて参照する。
前記ＣＰＵ４１は，前記汎用メモリ４６に予め記憶されたプログラムを実行することにより，前記カメラインターフェース４２，前記画像処理部４４，前記表示部４５及び前記通信部４７を制御するプロセッサである。
前記画像メモリ４３は，カメラ３による撮像画像のデータや，その２値画像のデータなど，各種の画像データを記憶する記憶手段である。
前記画像処理部４４は，不図示のＲＯＭに予め記憶されたプログラムを実行するプロセッサであり，前記画像メモリ４３から画像データを読み出し，読み出した画像データについて各種の画像処理（画像データの加工）を行うとともに，その画像処理後の画像データを前記画像メモリ４３に記憶させる。
なお，前記ＣＰＵ４１及び前記画像処理部４４が，本発明に係る文字画像の画像処理方法における各手順を実行するプロセッサの一例である。また，前記ＣＰＵ４１及び前記画像処理部４４それぞれによって実行されるプログラムが，本発明に係る文字画像の画像処理プログラムの一例である。
前記表示部４５は，前記画像メモリ４３に記憶された画像データに基づく画像を表示するとともに，前記ＣＰＵ４１から引き渡される情報を画像として表示する映像表示手段である。
前記汎用メモリ４６は，前記ＣＰＵ４１によって読み書きされる各種データや，前記ＣＰＵ４１によって実行されるプログラムを記憶する不揮発性メモリであり，例えばハードディスクやフラッシュメモリなどである。
前記通信部４７は，前記被管理部材１に関する情報を管理するホストコンピュータと通信を行う通信手段であり，前記検出対象文字列の画像ｃに基づく文字認識処理によって得られた管理情報（前記検出対象文字列が表す情報）を前記ホストコンピュータに送信するものである。
前記画像メモリ４３は，カメラ３による撮像画像のデータや，その２値画像のデータなど，各種の画像データを記憶する記憶手段である。
前記画像処理部４４は，不図示のＲＯＭに予め記憶されたプログラムを実行するプロセッサであり，前記画像メモリ４３から画像データを読み出し，読み出した画像データについて各種の画像処理（画像データの加工）を行うとともに，その画像処理後の画像データを前記画像メモリ４３に記憶させる。
なお，前記ＣＰＵ４１及び前記画像処理部４４が，本発明に係る文字画像の画像処理方法における各手順を実行するプロセッサの一例である。また，前記ＣＰＵ４１及び前記画像処理部４４それぞれによって実行されるプログラムが，本発明に係る文字画像の画像処理プログラムの一例である。
前記表示部４５は，前記画像メモリ４３に記憶された画像データに基づく画像を表示するとともに，前記ＣＰＵ４１から引き渡される情報を画像として表示する映像表示手段である。
前記汎用メモリ４６は，前記ＣＰＵ４１によって読み書きされる各種データや，前記ＣＰＵ４１によって実行されるプログラムを記憶する不揮発性メモリであり，例えばハードディスクやフラッシュメモリなどである。
前記通信部４７は，前記被管理部材１に関する情報を管理するホストコンピュータと通信を行う通信手段であり，前記検出対象文字列の画像ｃに基づく文字認識処理によって得られた管理情報（前記検出対象文字列が表す情報）を前記ホストコンピュータに送信するものである。
次に，図２に示すフローチャートを参照しつつ，画像処理装置Ｚ（コンピュータ）により実行される文字画像切出し・文字認識処理の手順について説明する。以下に示すカメラインターフェース４２，画像処理部４４の処理は，ＣＰＵ４１からの制御指令に従って実行される。なお，以下に示すＳ１，Ｓ２，…は，処理手順（ステップ）の識別符号を表す。また，以下に示すステップＳ１〜Ｓ１９の処理は，前記ＣＰＵ４１及び前記画像処理部４４によって自動的に実行される。
［ステップＳ１，Ｓ２］
まず，ＣＰＵ４１が，不図示のセンサの検出信号に基づいてカメラ３の正面付近に被管理部材１が到達したことを検知すると，カメラインターフェース４２が，カメラ３に撮像を実行させるとともにその撮像画像のデータをカメラ３から取得し，その画像データを画像メモリ４３に記憶させる（Ｓ１）。
さらに，ＣＰＵ４１の制御指令に従って，画像処理部４４が，画像メモリ４３に記憶された撮像画像データに２値化処理を施し，その２値化処理により得られる２値画像のデータを画像メモリ４３に記憶させる（Ｓ１）。
図３は，ステップＳ１で得られる２値画像（画像処理装置Ｚによる画像処理の対象）の一例を表す図である。
図３において，一列目の文字列"７１Ｃ"及び二列目の文字列"０７Ｂ"からなる２列の文字列の画像が，前記検出対象文字列の２値画像の一例である。
次に，画像処理部４４は，画像メモリ４３に記憶された前記２値画像のデータに基づいて，その２値画像に含まれる連結画素を抽出してラベリングを行う（Ｓ２）。
［ステップＳ１，Ｓ２］
まず，ＣＰＵ４１が，不図示のセンサの検出信号に基づいてカメラ３の正面付近に被管理部材１が到達したことを検知すると，カメラインターフェース４２が，カメラ３に撮像を実行させるとともにその撮像画像のデータをカメラ３から取得し，その画像データを画像メモリ４３に記憶させる（Ｓ１）。
さらに，ＣＰＵ４１の制御指令に従って，画像処理部４４が，画像メモリ４３に記憶された撮像画像データに２値化処理を施し，その２値化処理により得られる２値画像のデータを画像メモリ４３に記憶させる（Ｓ１）。
図３は，ステップＳ１で得られる２値画像（画像処理装置Ｚによる画像処理の対象）の一例を表す図である。
図３において，一列目の文字列"７１Ｃ"及び二列目の文字列"０７Ｂ"からなる２列の文字列の画像が，前記検出対象文字列の２値画像の一例である。
次に，画像処理部４４は，画像メモリ４３に記憶された前記２値画像のデータに基づいて，その２値画像に含まれる連結画素を抽出してラベリングを行う（Ｓ２）。
［ステップＳ３］
次に，画像処理部４４が，画像メモリ４３から２値画像のデータを読み出し，その２値画像のデータに基づいて，前記２値画像における連結画素それぞれについて予め定められた文字画像の条件（以下，文字画像条件という）を満たすか否かを判別し，前記２値画像における連結画素のうち前記文字画像条件を満たすものを第１文字候補の画像として特定する（Ｓ３，前記第１の文字候補特定手順の一例）。なお，特定結果は，連結画素のラベル情報（連結画素の識別情報）に対応づけられて前記画像処理部４４が備える不図示のメモリに記憶される。
例えば，カメラ３と検出対象文字列の画像ｃとの距離がほぼ一定であることが保証される場合には，前記文字画像条件を，連結画素の外接矩形の大きさ（高さ及び横幅）が，前記文字画像条件における文字の外接矩形の高さＦＨ及び横幅ＦＷに対して所定の誤差範囲内であるという条件とすることや，或いは連結画素の面積（画素数）が予め定められた範囲内であるという条件とすること等が考えられる。
また，カメラ３と検出対象文字列の画像ｃとの距離が比較的大きく変動し得る場合には，前記文字画像条件を，連結画素の外接矩形の縦横比が，前記文字画像条件における文字の外接矩形の高さＦＨと横幅ＦＷとの比（縦横比）に対して所定の誤差範囲内であるという条件とすることや，或いは連結画素とその外接矩形との面積比，又は連結画素の周囲長の２乗とその面積との比が予め定められた範囲内にあるという条件とすること等が考えられる。
また，以上に例示した各条件のうちの複数を同時に満たす連結画素を前記第１文字候補の画像として特定することも考えられる。なお，前記文字画像条件に関する情報は，予め汎用メモリ４６に記憶され，画像処理部４４がその情報を参照する。
図４は，図３に示した２値画像において，ステップＳ３の処理によって前記第１文字候補の画像として特定された連結画素ｃｈ１１〜ｃｈ１６についてその外接矩形を破線で表した図である。
次に，画像処理部４４が，画像メモリ４３から２値画像のデータを読み出し，その２値画像のデータに基づいて，前記２値画像における連結画素それぞれについて予め定められた文字画像の条件（以下，文字画像条件という）を満たすか否かを判別し，前記２値画像における連結画素のうち前記文字画像条件を満たすものを第１文字候補の画像として特定する（Ｓ３，前記第１の文字候補特定手順の一例）。なお，特定結果は，連結画素のラベル情報（連結画素の識別情報）に対応づけられて前記画像処理部４４が備える不図示のメモリに記憶される。
例えば，カメラ３と検出対象文字列の画像ｃとの距離がほぼ一定であることが保証される場合には，前記文字画像条件を，連結画素の外接矩形の大きさ（高さ及び横幅）が，前記文字画像条件における文字の外接矩形の高さＦＨ及び横幅ＦＷに対して所定の誤差範囲内であるという条件とすることや，或いは連結画素の面積（画素数）が予め定められた範囲内であるという条件とすること等が考えられる。
また，カメラ３と検出対象文字列の画像ｃとの距離が比較的大きく変動し得る場合には，前記文字画像条件を，連結画素の外接矩形の縦横比が，前記文字画像条件における文字の外接矩形の高さＦＨと横幅ＦＷとの比（縦横比）に対して所定の誤差範囲内であるという条件とすることや，或いは連結画素とその外接矩形との面積比，又は連結画素の周囲長の２乗とその面積との比が予め定められた範囲内にあるという条件とすること等が考えられる。
また，以上に例示した各条件のうちの複数を同時に満たす連結画素を前記第１文字候補の画像として特定することも考えられる。なお，前記文字画像条件に関する情報は，予め汎用メモリ４６に記憶され，画像処理部４４がその情報を参照する。
図４は，図３に示した２値画像において，ステップＳ３の処理によって前記第１文字候補の画像として特定された連結画素ｃｈ１１〜ｃｈ１６についてその外接矩形を破線で表した図である。
このように，ステップＳ３（前記第１の文字候補特定手順）において，前記画像処理部４４は，前記２値画像に含まれる全ての連結画素の中から，前記文字画像条件を満たすか否かを判別することにより，文字画像を表さない可能性が高いものを除外し，文字画像の候補となり得るものを特定（選択）する。このステップＳ３において特定される連結画素（前記第１文字候補の画像ｃｈ１１〜ｃｈ１６）の中には，実際には文字画像を表さないノイズ画像が含まれ得る。図４において，第１文字候補の画像ｃｈ１６がそのノイズ画像に該当する。
また，複数の文字画像のうち，その画質が悪いもの（例えば，前記連結状態や前記断裂状態となっているもの）は，このステップＳ３において第１文字候補の画像として特定されない（候補から漏れる）場合がある。図４において，前記検出対象文字列における一列目の先頭文字"７"は，前記断裂状態となっているため文字画像の候補から漏れることになる。
また，複数の文字画像のうち，その画質が悪いもの（例えば，前記連結状態や前記断裂状態となっているもの）は，このステップＳ３において第１文字候補の画像として特定されない（候補から漏れる）場合がある。図４において，前記検出対象文字列における一列目の先頭文字"７"は，前記断裂状態となっているため文字画像の候補から漏れることになる。
［ステップＳ４］
次に，画像処理部４４は，ステップＳ３で特定した前記連結画素（前記第１文字候補の画像）のうち，その相対的な位置関係が前記文字配置条件（図５参照）における文字相互の相対的な位置関係を所定の誤差範囲内で満たすものを第２文字候補の画像として特定する（Ｓ４，前記第２の文字候補特定手順の一例）。なお，特定結果は，連結画素のラベル情報（連結画素の識別情報）に対応づけられて前記画像処理部４４が備える不図示のメモリに記憶される。
より具体的には，画像処理装置４は，前記第１文字候補の画像の中から１つの候補をリーダーｃｈ１ｓとして順次選択し，そのリーダーｃｈ１ｓと他の全ての前記第１文字候補の画像ｃｈ１ｉそれぞれとの相対的な位置関係が，後述する（１）式で表される条件及び同（２）式で表される条件の両方（以下，文字配置許容条件という）を満たすか否かを判別し，その判別結果を画像処理部４４が備えるメモリに記憶する。
そして，前記第１文字候補の画像全てについて，そのそれぞれをリーダーｃｈ１ｓとして上記判別処理を終了した後に，前記第１文字候補の画像の中で，いずれの前記第１文字候補の画像をリーダーｃｈ１ｓとした場合でも常に前記文字配置許容条件を満たすものを前記第２文字候補の画像（前記文字候補画像に相当）として特定（選択）する。
或いは，リーダーｃｈ１ｓを選択するごとに，そのリーダーｃｈ１ｓとそのリーダーｃｈ１ｓとの位置関係が前記文字配置許容条件を満たす他の全ての第１文字候補の画像とを１つのグループとして設定し，全ての前記第１文字候補の画像それぞれをリーダーｃｈ１ｓとして上記グループの設定を行った後に，そのグループに属する前記第１文字候補の画像の数（グループの要素数）が最も多いグループを選択し，そのグループに属する前記第１文字候補の画像を前記第２文字候補の画像として特定すること等も考えられる。
図６は，リーダーｃｈ１ｓとそのリーダーと位置比較の対象となる他の前記第１文字候補の画像ｃｈ１ｉとの位置関係を表した図である。
画像処理部４４は，ステップＳ４において，リーダーｃｈ１ｓの外接矩形の列方向の寸法Ｗ（文字の幅）と，リーダーｃｈ１ｓの外接矩形の列方向に直交する方向（以下，列直交方向という）の寸法Ｈ（文字高さ）と，リーダーｃｈ１ｓにおける基準点Ｐ0sとそのリーダーとの比較対象となる他の前記第１文字候補の画像ｃｈ１ｓにおける基準点Ｐ0iとの間の列方向の位置の差分ｄＷと，リーダーｃｈ１ｓの基準点Ｐ0sと他の前記第１文字候補の画像ｃｈ１ｓの基準点Ｐ0iとの間の列直交方向の位置の差分ｄＨとを検出する。
なお，図６に示す例では，前記基準点Ｐ0s，Ｐ0iは，前記第１文字候補の画像（連結画素）の外接矩形における一の頂点であるが，全ての第１文字候補の画像について同じ位置条件の点であれば，他の点（例えば，外接矩形の中央の点など）が基準点であってもかまわない。
次に，画像処理部４４は，ステップＳ３で特定した前記連結画素（前記第１文字候補の画像）のうち，その相対的な位置関係が前記文字配置条件（図５参照）における文字相互の相対的な位置関係を所定の誤差範囲内で満たすものを第２文字候補の画像として特定する（Ｓ４，前記第２の文字候補特定手順の一例）。なお，特定結果は，連結画素のラベル情報（連結画素の識別情報）に対応づけられて前記画像処理部４４が備える不図示のメモリに記憶される。
より具体的には，画像処理装置４は，前記第１文字候補の画像の中から１つの候補をリーダーｃｈ１ｓとして順次選択し，そのリーダーｃｈ１ｓと他の全ての前記第１文字候補の画像ｃｈ１ｉそれぞれとの相対的な位置関係が，後述する（１）式で表される条件及び同（２）式で表される条件の両方（以下，文字配置許容条件という）を満たすか否かを判別し，その判別結果を画像処理部４４が備えるメモリに記憶する。
そして，前記第１文字候補の画像全てについて，そのそれぞれをリーダーｃｈ１ｓとして上記判別処理を終了した後に，前記第１文字候補の画像の中で，いずれの前記第１文字候補の画像をリーダーｃｈ１ｓとした場合でも常に前記文字配置許容条件を満たすものを前記第２文字候補の画像（前記文字候補画像に相当）として特定（選択）する。
或いは，リーダーｃｈ１ｓを選択するごとに，そのリーダーｃｈ１ｓとそのリーダーｃｈ１ｓとの位置関係が前記文字配置許容条件を満たす他の全ての第１文字候補の画像とを１つのグループとして設定し，全ての前記第１文字候補の画像それぞれをリーダーｃｈ１ｓとして上記グループの設定を行った後に，そのグループに属する前記第１文字候補の画像の数（グループの要素数）が最も多いグループを選択し，そのグループに属する前記第１文字候補の画像を前記第２文字候補の画像として特定すること等も考えられる。
図６は，リーダーｃｈ１ｓとそのリーダーと位置比較の対象となる他の前記第１文字候補の画像ｃｈ１ｉとの位置関係を表した図である。
画像処理部４４は，ステップＳ４において，リーダーｃｈ１ｓの外接矩形の列方向の寸法Ｗ（文字の幅）と，リーダーｃｈ１ｓの外接矩形の列方向に直交する方向（以下，列直交方向という）の寸法Ｈ（文字高さ）と，リーダーｃｈ１ｓにおける基準点Ｐ0sとそのリーダーとの比較対象となる他の前記第１文字候補の画像ｃｈ１ｓにおける基準点Ｐ0iとの間の列方向の位置の差分ｄＷと，リーダーｃｈ１ｓの基準点Ｐ0sと他の前記第１文字候補の画像ｃｈ１ｓの基準点Ｐ0iとの間の列直交方向の位置の差分ｄＨとを検出する。
なお，図６に示す例では，前記基準点Ｐ0s，Ｐ0iは，前記第１文字候補の画像（連結画素）の外接矩形における一の頂点であるが，全ての第１文字候補の画像について同じ位置条件の点であれば，他の点（例えば，外接矩形の中央の点など）が基準点であってもかまわない。
さらに，画像処理部４４は，ステップＳ４において，前記文字配置許容条件を表す次の（１）式及び（２）式の両方を満たすか否かを判別することにより，前記第２文字候補の画像を特定する。
（１）式及び（２）式において，変数ｍは前記文字配置条件における列方向の文字数ＮＣに対し−（ＮＣ−１）〜＋（ＮＣ−１）の範囲の整数であり，変数ｎは前記文字配置条件における列数ＮＬに対し−（ＮＬ−１）〜＋（ＮＬ−１）の範囲の整数である。また，同式において，ＦＷ，ｄＦＷ，ＦＨ，ｄＦＨは，図５に示した前記文字配置条件を表す既知の情報（寸法）である。また，同式において，定数ｄｎは前記文字配置条件における一列の文字数ＮＣに対応するマージン値（許容誤差）であり，定数ｄｍは前記文字配置条件における列数ＮＬに対応するマージン値（許容誤差）である。これらマージン値ｄｎ，ｄｍの情報は，予め前記汎用メモリに記憶され，前記画像処理部４４がその情報を参照する。なお，本実施形態における前記検出対象文字列の画像は，一列分の文字列における文字相互間の位置ずれ，及び一列分の文字列相互間の前記列直交方向における位置ずれはほとんど生じない一方，一列文の文字列相互間の列方向における位置ずれは大きくなり得る。このため，定数ｄｎに比べて定数ｄｍの方が大きな値が設定される。
この（１）式及び（２）式は，ステップＳ３で特定した前記第１文字候補の画像（連結画素）の中から，その相対的な位置関係が前記文字配置条件における文字相互の相対的な位置関係（前記検出対象文字列における文字相互の相対的な位置関係）を所定の誤差範囲内で満たすか否かを判別するための条件式の一例である。
この（１）式及び（２）式は，ステップＳ３で特定した前記第１文字候補の画像（連結画素）の中から，その相対的な位置関係が前記文字配置条件における文字相互の相対的な位置関係（前記検出対象文字列における文字相互の相対的な位置関係）を所定の誤差範囲内で満たすか否かを判別するための条件式の一例である。
以上に示したように，ステップＳ４において，画像処理部４４は，ステップＳ３で特定した前記第１文字候補の画像（連結画素）の中から，その相対的な位置関係が（１）式及び（２）式を満たすか否かを判別することにより，さらに，文字画像を表さない可能性が高いものを除外し，文字画像の候補となり得るもの（前記第２文字候補の画像）を特定（選択）する。これにより，連結画素のうち，前記検出対象文字列の画像の位置から明らかに離れた位置にあるノイズ画像を文字画像の候補から除外できる。ステップＳ４の処理により，例えば，図４において，（１）式及び（２）式を相互に満たす第１文字候補の画像ｃｈ１１〜ｃｈ１５は，前記第２文字候補の画像として特定されるが，ノイズ画像である第１文字候補の画像ｃｈ１６は，前記第２文字候補の画像として特定されない。
このように，ステップＳ３及びステップＳ４において，連結画素単体の条件（前記文字画像条件）と，複数の連結画素相互間の配置条件との両方を判別し，文字画像の候補を特定する条件を厳しくすることにより，前記第２文字候補の画像それぞれは，ほぼ確実に前記検出対象文字列を構成する文字の画像であるといえる状態となる。但し，文字画像の候補を特定する条件を厳しくすればするほど，実際は文字画像を表す連結画素が，その画質や位置の乱れによって文字画像の候補から漏れることはあり得る。
このように，ステップＳ３及びステップＳ４において，連結画素単体の条件（前記文字画像条件）と，複数の連結画素相互間の配置条件との両方を判別し，文字画像の候補を特定する条件を厳しくすることにより，前記第２文字候補の画像それぞれは，ほぼ確実に前記検出対象文字列を構成する文字の画像であるといえる状態となる。但し，文字画像の候補を特定する条件を厳しくすればするほど，実際は文字画像を表す連結画素が，その画質や位置の乱れによって文字画像の候補から漏れることはあり得る。
［ステップＳ５］
次に，画像処理部４４は，ステップＳ４で特定した連結画素である前記第２文字候補の画像（前記文字候補画像に相当）それぞれの位置（前記基準点の位置）及び寸法（Ｗ，Ｈ）と前記文字配置条件と予め定められた文字配置の変動範囲とに基づいて，前記２値画像において前記第２文字候補の画像全てを含む領域であって前記検出対象文字列の画像全体を含む領域を推定する（Ｓ５，前記文字列包含領域推定手順の一例）。このステップＳ５で推定される領域を，以下，文字列包含推定領域という。また，ステップＳ５の処理による推定結果（前記文字列包含推定領域を表す座標情報）は，画像処理部４４が備える不図示のメモリに記憶される。
図７は，ステップＳ５で特定される前記文字列包含推定領域Ａ１の画像の一例を表す図である。例えば，画像処理部４４は，以下の手順で前記文字包含推定領域Ａ１を推定する。
まず，画像処理部４４は，前記第２文字候補の画像の全体の外接矩形の領域Ａ０の中心点Ｑ0の位置を算出する。
さらに，画像処理部４４は，前記第２文字候補の画像の前記基準点Ｐ0iそれぞれの列方向の間隔ｄＷの平均値と，前記文字配置条件における一列の文字数ＮＣと，列方向の前記変動範囲を表す所定の係数（１より大きい値の係数）とを乗算して得られる値を前記文字列包含推定領域Ａ１の列方向の長さＬa1として算出する。
さらに，画像処理部４４は，前記第２文字候補の画像の前記基準点Ｐ0iそれぞれの前記列直交方向の間隔ｄＨの平均値と，前記文字配置条件における列数ＮＬと，前記列直交方向の前記変動範囲を表す所定の係数（１より大きい値の係数）とを乗算して得られる値を前記文字列包含推定領域Ａ１の列直交の幅Ｗa1として算出する。
そして，画像処理部４４は，前記中心点Ｑ0を中心として，列方向における長さＬa1の範囲及び列直交方向における幅Ｗa1の範囲を，前記文字列包含推定領域Ａ１とする。
次に，画像処理部４４は，ステップＳ４で特定した連結画素である前記第２文字候補の画像（前記文字候補画像に相当）それぞれの位置（前記基準点の位置）及び寸法（Ｗ，Ｈ）と前記文字配置条件と予め定められた文字配置の変動範囲とに基づいて，前記２値画像において前記第２文字候補の画像全てを含む領域であって前記検出対象文字列の画像全体を含む領域を推定する（Ｓ５，前記文字列包含領域推定手順の一例）。このステップＳ５で推定される領域を，以下，文字列包含推定領域という。また，ステップＳ５の処理による推定結果（前記文字列包含推定領域を表す座標情報）は，画像処理部４４が備える不図示のメモリに記憶される。
図７は，ステップＳ５で特定される前記文字列包含推定領域Ａ１の画像の一例を表す図である。例えば，画像処理部４４は，以下の手順で前記文字包含推定領域Ａ１を推定する。
まず，画像処理部４４は，前記第２文字候補の画像の全体の外接矩形の領域Ａ０の中心点Ｑ0の位置を算出する。
さらに，画像処理部４４は，前記第２文字候補の画像の前記基準点Ｐ0iそれぞれの列方向の間隔ｄＷの平均値と，前記文字配置条件における一列の文字数ＮＣと，列方向の前記変動範囲を表す所定の係数（１より大きい値の係数）とを乗算して得られる値を前記文字列包含推定領域Ａ１の列方向の長さＬa1として算出する。
さらに，画像処理部４４は，前記第２文字候補の画像の前記基準点Ｐ0iそれぞれの前記列直交方向の間隔ｄＨの平均値と，前記文字配置条件における列数ＮＬと，前記列直交方向の前記変動範囲を表す所定の係数（１より大きい値の係数）とを乗算して得られる値を前記文字列包含推定領域Ａ１の列直交の幅Ｗa1として算出する。
そして，画像処理部４４は，前記中心点Ｑ0を中心として，列方向における長さＬa1の範囲及び列直交方向における幅Ｗa1の範囲を，前記文字列包含推定領域Ａ１とする。
前述したように，ステップＳ４で特定された前記第２文字候補の画像は，その全てがほぼ確実に前記検出対象文字列を構成する文字画像であるといえる状態となる。
従って，前記第２文字候補の画像の位置及び寸法と前記文字配置条件と予め定められた文字配置の変動範囲とに基づく領域推定を行えば，前記検出対象文字列を構成する全ての文字の画像をほぼ確実に含む前記文字列包含推定領域Ａ１を推定（特定）できる。その文字列包含推定領域Ａ１を特定する処理がステップＳ５の処理である。
図７に示すように，前記文字列包含推定領域Ａ１の画像は，ステップＳ３及びＳ４において文字候補の画像として特定されなかった文字"７"の画像も包含する。但し，前記文字列包含推定領域Ａ１は，前記検出対象文字列の画像の実際の存在領域に対し，前記予め定められた文字配置の変動範囲の分だけ余分な領域を含んでいる。
以下，画像処理部４４は，前記文字列包含推定領域Ａ１の画像について，文字画像の存在領域の特定処理を実行する。
従って，前記第２文字候補の画像の位置及び寸法と前記文字配置条件と予め定められた文字配置の変動範囲とに基づく領域推定を行えば，前記検出対象文字列を構成する全ての文字の画像をほぼ確実に含む前記文字列包含推定領域Ａ１を推定（特定）できる。その文字列包含推定領域Ａ１を特定する処理がステップＳ５の処理である。
図７に示すように，前記文字列包含推定領域Ａ１の画像は，ステップＳ３及びＳ４において文字候補の画像として特定されなかった文字"７"の画像も包含する。但し，前記文字列包含推定領域Ａ１は，前記検出対象文字列の画像の実際の存在領域に対し，前記予め定められた文字配置の変動範囲の分だけ余分な領域を含んでいる。
以下，画像処理部４４は，前記文字列包含推定領域Ａ１の画像について，文字画像の存在領域の特定処理を実行する。
［ステップＳ６，Ｓ７］
次に，画像処理部４４は，前記２値画像における前記文字列包含推定領域Ａ１の画像について，以下に示すステップＳ６及びＳ７の処理（予め定められた処理の一例）を行うことにより，前記検出対象文字列を構成する一列分の文字列の画像それぞれの列方向に直交する列直交方向における存在範囲を推定する（Ｓ６，Ｓ７：前記列幅範囲推定手順の一例）。
即ち，画像処理部４４は，まず，前記２値画像における前記文字列包含推定領域Ａ１の画像について，列方向の投影データの分布を算出する（Ｓ６，前記列方向投影データ算出手順の一例）。
次に，画像処理部４４は，ステップＳ６での算出データ（列方向の投影データの分布）に基づいて，前記検出対象文字列を構成する一列分の文字列の画像それぞれの前記列直交方向における存在範囲（以下，列範囲という）を推定する（Ｓ７，前記範囲推定手順の一例）。なお，ステップＳ６の処理による算出結果（列方向の位置と対応づけられた投影データ）と，ステップＳ７の処理による推定結果（前記列範囲を表す座標情報）は，画像処理部４４が備える不図示のメモリに記憶される。
図８は，前記文字列包含推定領域Ａ１の画像及びその画像における列方向の投影データＩｘの分布の一例を表す図である。
図８からわかるように，文字列の画像が存在する列直交方向の範囲（文字高さの範囲）において，列方向の投影データＩｘの値が高くなり，文字列の列間（隙間）の範囲において，列方向の投影データＩｘの値が低くなる。
画像処理部４４は，列方向の投影データＩｘの分布において谷を形成する部分の位置（列直交方向の位置）を特定し，その位置を一列分の文字列の画像それぞれの区切り位置ｙｍとすることにより前記列範囲それぞれを特定（推定）する。
図８に示す例は，列方向の投影データＩｘの分布において，投影データが所定のしきい値Ｉｘｓを下回る範囲（ｙ１〜ｙ２の間の範囲）の中央の位置を，複数の前記列範囲Ａ１１，Ａ１２それぞれの区切り位置ｙｍとする例である。なお，前記しきい値Ｉｘｓは，例えば，列方向の投影データＩｘの平均値に所定の係数（０より大きく１より小さい係数）を乗算して得られる値，或いは予め定められた定数などである。
また，特許文献１において文字列を切り出すステップとして示される処理を，このステップＳ７において実行してもよい。
その他，一列分の文字列の画像の前記列直交方向における位置ずれをほとんど考慮しなくてよい場合には，前記文字列包含推定領域Ａ１を既知の文字列の列数ＮＬで等分割することにより，前記列範囲Ａ１１，Ａ１２（一列分の文字列の画像それぞれの前記列直交方向における存在範囲）を推定することも考えられる。
次に，画像処理部４４は，前記２値画像における前記文字列包含推定領域Ａ１の画像について，以下に示すステップＳ６及びＳ７の処理（予め定められた処理の一例）を行うことにより，前記検出対象文字列を構成する一列分の文字列の画像それぞれの列方向に直交する列直交方向における存在範囲を推定する（Ｓ６，Ｓ７：前記列幅範囲推定手順の一例）。
即ち，画像処理部４４は，まず，前記２値画像における前記文字列包含推定領域Ａ１の画像について，列方向の投影データの分布を算出する（Ｓ６，前記列方向投影データ算出手順の一例）。
次に，画像処理部４４は，ステップＳ６での算出データ（列方向の投影データの分布）に基づいて，前記検出対象文字列を構成する一列分の文字列の画像それぞれの前記列直交方向における存在範囲（以下，列範囲という）を推定する（Ｓ７，前記範囲推定手順の一例）。なお，ステップＳ６の処理による算出結果（列方向の位置と対応づけられた投影データ）と，ステップＳ７の処理による推定結果（前記列範囲を表す座標情報）は，画像処理部４４が備える不図示のメモリに記憶される。
図８は，前記文字列包含推定領域Ａ１の画像及びその画像における列方向の投影データＩｘの分布の一例を表す図である。
図８からわかるように，文字列の画像が存在する列直交方向の範囲（文字高さの範囲）において，列方向の投影データＩｘの値が高くなり，文字列の列間（隙間）の範囲において，列方向の投影データＩｘの値が低くなる。
画像処理部４４は，列方向の投影データＩｘの分布において谷を形成する部分の位置（列直交方向の位置）を特定し，その位置を一列分の文字列の画像それぞれの区切り位置ｙｍとすることにより前記列範囲それぞれを特定（推定）する。
図８に示す例は，列方向の投影データＩｘの分布において，投影データが所定のしきい値Ｉｘｓを下回る範囲（ｙ１〜ｙ２の間の範囲）の中央の位置を，複数の前記列範囲Ａ１１，Ａ１２それぞれの区切り位置ｙｍとする例である。なお，前記しきい値Ｉｘｓは，例えば，列方向の投影データＩｘの平均値に所定の係数（０より大きく１より小さい係数）を乗算して得られる値，或いは予め定められた定数などである。
また，特許文献１において文字列を切り出すステップとして示される処理を，このステップＳ７において実行してもよい。
その他，一列分の文字列の画像の前記列直交方向における位置ずれをほとんど考慮しなくてよい場合には，前記文字列包含推定領域Ａ１を既知の文字列の列数ＮＬで等分割することにより，前記列範囲Ａ１１，Ａ１２（一列分の文字列の画像それぞれの前記列直交方向における存在範囲）を推定することも考えられる。
［ステップＳ８］
次に，画像処理部４４は，前記文字列包含領域Ａ１の画像における前記列範囲Ａ１１，Ａ１２の画像（以下，列領域画像ｇ１１，ｇ１２という）それぞれについて，列直交方向の投影データの分布を算出する（Ｓ８）。このステップＳ８の処理による算出結果（列直交方向の位置と対応づけられた投影データ）は，画像処理部４４が備える不図示のメモリに記憶される。
図９は，前記文字列包含推定領域Ａ１における列領域画像ｇ１１，ｇ１２及びその画像における列直交方向の投影データＩｙ1，Ｉｙ2（以下，第１投影データという）の分布の一例を表す図である。
図９からわかるように，列領域画像ｇ１１，ｇ１２それぞれについて，文字画像が存在する列方向の範囲（文字幅の範囲）において，前記第１投影データＩｙ1，Ｉｙ2の値が高く（山に）なり，文字間（隙間）の範囲において，前記第１投影データＩｙ1，Ｉｙ2の値が低く（谷に）なる。また，列方向における文字画像の幅及び間隔がほぼ一定であるので，文字列の画像が存在する範囲においては，前記第１投影データＩｙ1，Ｉｙ2の山の幅及びピッチがほぼ一定である。
一方，ノイズ画像が存在する場合には，そのノイズ画像が存在する範囲についても，前記第１投影データＩｙ1，Ｉｙ2の値が高く（山に）なる。但し，通常は，文字画像とノイズ画像とでは，その画像に対応する前記第１投影データＩｙ1，Ｉｙ2の山のピッチが異なる。
次に，画像処理部４４は，前記文字列包含領域Ａ１の画像における前記列範囲Ａ１１，Ａ１２の画像（以下，列領域画像ｇ１１，ｇ１２という）それぞれについて，列直交方向の投影データの分布を算出する（Ｓ８）。このステップＳ８の処理による算出結果（列直交方向の位置と対応づけられた投影データ）は，画像処理部４４が備える不図示のメモリに記憶される。
図９は，前記文字列包含推定領域Ａ１における列領域画像ｇ１１，ｇ１２及びその画像における列直交方向の投影データＩｙ1，Ｉｙ2（以下，第１投影データという）の分布の一例を表す図である。
図９からわかるように，列領域画像ｇ１１，ｇ１２それぞれについて，文字画像が存在する列方向の範囲（文字幅の範囲）において，前記第１投影データＩｙ1，Ｉｙ2の値が高く（山に）なり，文字間（隙間）の範囲において，前記第１投影データＩｙ1，Ｉｙ2の値が低く（谷に）なる。また，列方向における文字画像の幅及び間隔がほぼ一定であるので，文字列の画像が存在する範囲においては，前記第１投影データＩｙ1，Ｉｙ2の山の幅及びピッチがほぼ一定である。
一方，ノイズ画像が存在する場合には，そのノイズ画像が存在する範囲についても，前記第１投影データＩｙ1，Ｉｙ2の値が高く（山に）なる。但し，通常は，文字画像とノイズ画像とでは，その画像に対応する前記第１投影データＩｙ1，Ｉｙ2の山のピッチが異なる。
［ステップＳ９］
次に，画像処理部４４は，ステップＳ８で算出した前記第１投影データＩｙ1，Ｉｙ2（列直交方向の投影データ）それぞれについて，上限値を制限する補正処理を施し，補正後のデータ（以下，補正第１投影データＩｙ1’，Ｉｙ2’という）を算出する（Ｓ９）。このステップＳ９の処理による算出結果（列直交方向の位置と対応づけられた補正後の投影データ）は，画像処理部４４が備える不図示のメモリに記憶される。なお，ステップＳ８及びＳ９が，前記第１の列直交方向投影データ算出手順の一例である。
例えば，画像処理部４４は，次の（３）式に基づいて，前記第１投影データＩｙ1，Ｉｙ2から前記補正第１投影データＩｙ1’，Ｉｙ2’を算出する。
なお，（３）式において，添え字ｉは，前記列領域画像ｇ１１，ｇ１２の識別番号を表し，Ｉｙi(ｘ)は，列方向の位置ｘにおける前記第１投影データの値，Ｉｙ1’(ｘ)及びＩｙ2’(ｘ)は，列方向の位置ｘにおける前記補正第１投影データの値，Ｉｙimaxは，ｉ番目の前記列領域画像における前記第１投影データのピークレベルの指標値，αは予め定められた係数（０より大きく１未満の定数）である。ここで，ピークレベルの指標値Ｉｙimaxは，例えば，ｉ番目の前記列領域画像における前記第１投影データの最大値や，或いは同データにおける最も値の大きいものから所定個数分のデータの平均値などである。
図９には，（３）式に基づく補正処理後の前記補正第１投影データＩｙ1’，Ｉｙ2’の分布のグラフ（黒塗りグラフ）も示されている。
この補正により，文字画像に対応する前記補正第１投影データＩｙ1’，Ｉｙ2’が，文字画像それぞれの形状の違いに起因する値の変化が少ないデータとなり，文字画像が存在する範囲であるか否かを２値的に表すデータとなる。
本実施形態では，移行の処理において，列直交方向の投影データについて，その上限を制限する補正処理を施したデータを用いて文字画像領域の特定処理を行う。しかしながら，その補正を行わずに列直交方向の投影データそのものを用いて以降に示す文字画像領域の特定処理を実行することも考えられる。但し，上限を制限する補正処理を施したデータを用いた方が，文字画像領域をより正確に特定する上で好適である。
次に，画像処理部４４は，ステップＳ８で算出した前記第１投影データＩｙ1，Ｉｙ2（列直交方向の投影データ）それぞれについて，上限値を制限する補正処理を施し，補正後のデータ（以下，補正第１投影データＩｙ1’，Ｉｙ2’という）を算出する（Ｓ９）。このステップＳ９の処理による算出結果（列直交方向の位置と対応づけられた補正後の投影データ）は，画像処理部４４が備える不図示のメモリに記憶される。なお，ステップＳ８及びＳ９が，前記第１の列直交方向投影データ算出手順の一例である。
例えば，画像処理部４４は，次の（３）式に基づいて，前記第１投影データＩｙ1，Ｉｙ2から前記補正第１投影データＩｙ1’，Ｉｙ2’を算出する。
図９には，（３）式に基づく補正処理後の前記補正第１投影データＩｙ1’，Ｉｙ2’の分布のグラフ（黒塗りグラフ）も示されている。
この補正により，文字画像に対応する前記補正第１投影データＩｙ1’，Ｉｙ2’が，文字画像それぞれの形状の違いに起因する値の変化が少ないデータとなり，文字画像が存在する範囲であるか否かを２値的に表すデータとなる。
本実施形態では，移行の処理において，列直交方向の投影データについて，その上限を制限する補正処理を施したデータを用いて文字画像領域の特定処理を行う。しかしながら，その補正を行わずに列直交方向の投影データそのものを用いて以降に示す文字画像領域の特定処理を実行することも考えられる。但し，上限を制限する補正処理を施したデータを用いた方が，文字画像領域をより正確に特定する上で好適である。
［ステップＳ１０，Ｓ１１］
次に，ＣＰＵ４１が，ステップＳ９で算出した前記補正第１投影データＩｙ1’，Ｉｙ2’（ステップＳ８の処理で算出された前記第１投影データについて上限値を制限する補正処理を施したデータ）に基づいて，列方向のシフト量ｋを変数とする相互相関関数を導出する（Ｓ１０，前記相互相関関数導出手順の一例）。なお，列方向のシフト量ｋは，列方向の位置のずらし量或いは列方向の位置のオフセット量と同義である。
このステップＳ１０において，ＣＰＵ４１は，複数の前記列領域画像ｇ１１，ｇ１２の中から基準とする１つの列領域画像を選択し，その基準とする列画像領域についての前記補正第１投影データと，その他の全ての列画像領域それぞれについての前記補正第１投影データとの間の相互相関関数Ｒ(ｋ)を導出する。
図１０は，前記列領域画像の前記補正第１投影データ（列直交方向の投影データを補正したデータ）の相互相関関数Ｒ(ｋ)の一例を表すグラフである。
図１０からわかるように，前記補正第１投影データの相互相関関数Ｒ(ｋ)は，あるシフト量ｋｐで最大の相関値Ｒmaxを頂点とするピーク（山）と，そのピークを中心とするほぼ左右対称の位置（シフト量ｋを座標とする位置）において生じる相対的に高さが低いピークとが形成される値分布を有する。
文字画像の寸法及び一列分の文字列における文字画像の間隔が概ね一定であれば，前記相互相関関数Ｒ(ｋ)において，そのシフト量ｋが一列分の文字列の画像（前記列領域画像）相互の列方向のずれ量と一致するときに最も相関値Ｒが高くなる。また，その現象は，一部の文字画像の画質の乱れの影響を受けにくい。
そこで，ＣＰＵ４１は，次のステップＳ１１において，前記相互相関関数Ｒ(ｋ)それぞれについて最大相関値Ｒmaxに対応するシフト量ｋpを検出（導出）し，そのシフト量ｋpを，基準とする列領域画像とその他の列領域画像それぞれとの間の（相互の）列方向の位置ずれ量Δｘi（以下，列相互ずれ量という）として設定する（Ｓ９，前記列相互ずれ量導出手順の一例）。設定結果Δｘi（＝ｋp）は前記汎用メモリ４６に記憶される。
なお，基準とする列領域画像についての前記列相互ずれ量はゼロである。
次に，ＣＰＵ４１が，ステップＳ９で算出した前記補正第１投影データＩｙ1’，Ｉｙ2’（ステップＳ８の処理で算出された前記第１投影データについて上限値を制限する補正処理を施したデータ）に基づいて，列方向のシフト量ｋを変数とする相互相関関数を導出する（Ｓ１０，前記相互相関関数導出手順の一例）。なお，列方向のシフト量ｋは，列方向の位置のずらし量或いは列方向の位置のオフセット量と同義である。
このステップＳ１０において，ＣＰＵ４１は，複数の前記列領域画像ｇ１１，ｇ１２の中から基準とする１つの列領域画像を選択し，その基準とする列画像領域についての前記補正第１投影データと，その他の全ての列画像領域それぞれについての前記補正第１投影データとの間の相互相関関数Ｒ(ｋ)を導出する。
図１０は，前記列領域画像の前記補正第１投影データ（列直交方向の投影データを補正したデータ）の相互相関関数Ｒ(ｋ)の一例を表すグラフである。
図１０からわかるように，前記補正第１投影データの相互相関関数Ｒ(ｋ)は，あるシフト量ｋｐで最大の相関値Ｒmaxを頂点とするピーク（山）と，そのピークを中心とするほぼ左右対称の位置（シフト量ｋを座標とする位置）において生じる相対的に高さが低いピークとが形成される値分布を有する。
文字画像の寸法及び一列分の文字列における文字画像の間隔が概ね一定であれば，前記相互相関関数Ｒ(ｋ)において，そのシフト量ｋが一列分の文字列の画像（前記列領域画像）相互の列方向のずれ量と一致するときに最も相関値Ｒが高くなる。また，その現象は，一部の文字画像の画質の乱れの影響を受けにくい。
そこで，ＣＰＵ４１は，次のステップＳ１１において，前記相互相関関数Ｒ(ｋ)それぞれについて最大相関値Ｒmaxに対応するシフト量ｋpを検出（導出）し，そのシフト量ｋpを，基準とする列領域画像とその他の列領域画像それぞれとの間の（相互の）列方向の位置ずれ量Δｘi（以下，列相互ずれ量という）として設定する（Ｓ９，前記列相互ずれ量導出手順の一例）。設定結果Δｘi（＝ｋp）は前記汎用メモリ４６に記憶される。
なお，基準とする列領域画像についての前記列相互ずれ量はゼロである。
［ステップＳ１２］
次に，ＣＰＵ４１は，ステップＳ１０の処理により得られた前記相互相関関数Ｒ(ｋ)における相関値のピーク相互の間隔ｗk（図１０参照）と，前記文字配置条件における一列の文字数ＮＣとに基づいて，前記列領域画像ｇ１１，ｇ１２それぞれにおける前記検出対象文字列の画像が存在する範囲の列方向の長さＬ（以下，列長さという）を算出する（Ｓ１２，前記列長さ算出手順の一例）。
例えば，ＣＰＵ４１は，複数の前記相互相関関数Ｒ(ｋ)それぞれについて，最大の相関値Ｒmaxを頂点とするピークとそれに隣接するピークとの間隔ｗk（以下，ピーク間隔という）を検出し，それらピーク間隔ｗｋの平均値を算出する。
さらに，ＣＰＵ４１は，前記ピーク間隔ｗｋの平均値と一列の文字数ＮＣとを乗算して得られる値，或いはその値に所定の余裕率β（１より大きい定数）を乗算して得られる値を，前記列長さＬとして算出する。或いは，前記ピーク間隔ｗｋの最大値と一列の文字数ＮＣとを乗算して得られる値を前記列長さＬとして算出することも考えられる。
文字画像の寸法及び一列分の文字列における文字画像の間隔が概ね一定であれば，前記相互相関関数Ｒ(ｋ)における前記ピーク間隔ｗｋは，文字画像のピッチに相当する。従って，前記ピーク間隔ｗｋに文字数ＮＣを乗算することにより，前記列長さＬ（一列分の文字列の画像の列方向の長さ）を算出できる。
次に，ＣＰＵ４１は，ステップＳ１０の処理により得られた前記相互相関関数Ｒ(ｋ)における相関値のピーク相互の間隔ｗk（図１０参照）と，前記文字配置条件における一列の文字数ＮＣとに基づいて，前記列領域画像ｇ１１，ｇ１２それぞれにおける前記検出対象文字列の画像が存在する範囲の列方向の長さＬ（以下，列長さという）を算出する（Ｓ１２，前記列長さ算出手順の一例）。
例えば，ＣＰＵ４１は，複数の前記相互相関関数Ｒ(ｋ)それぞれについて，最大の相関値Ｒmaxを頂点とするピークとそれに隣接するピークとの間隔ｗk（以下，ピーク間隔という）を検出し，それらピーク間隔ｗｋの平均値を算出する。
さらに，ＣＰＵ４１は，前記ピーク間隔ｗｋの平均値と一列の文字数ＮＣとを乗算して得られる値，或いはその値に所定の余裕率β（１より大きい定数）を乗算して得られる値を，前記列長さＬとして算出する。或いは，前記ピーク間隔ｗｋの最大値と一列の文字数ＮＣとを乗算して得られる値を前記列長さＬとして算出することも考えられる。
文字画像の寸法及び一列分の文字列における文字画像の間隔が概ね一定であれば，前記相互相関関数Ｒ(ｋ)における前記ピーク間隔ｗｋは，文字画像のピッチに相当する。従って，前記ピーク間隔ｗｋに文字数ＮＣを乗算することにより，前記列長さＬ（一列分の文字列の画像の列方向の長さ）を算出できる。
［ステップＳ１３，Ｓ１４］
次に，画像処理部４４が，ステップＳ９で算出した前記補正第１投影データＩｙ1’，Ｉｙ2’それぞれを列方向に前記相互ずれ量Δｘiだけシフト（位置修正）する（Ｓ１３）。以下，前記補正第１投影データＩｙ1’，Ｉｙ2’をΔｘiだけシフトしたデータをシフト後補正第１投影データＩｙ1”，Ｉｙ2”という。
さらに，画像処理部４４は，シフト後補正第１投影データＩｙ1”，Ｉｙ2”を列直交方向に積算（列方向の位置ごとに積算）し，積算後のデータを画像処理部４４が備えるメモリ（不図示）に記憶させる（Ｓ１４）。
このステップＳ１４で算出される積算後のデータは，複数の前記列領域画像ｇ１１，ｇ１２それぞれを前記列相互ずれ量Δｘiだけ位置修正（シフト）した画像全体における列直交方向の投影データについて上限値を制限する補正処理を施したデータの分布に相当する。このステップＳ１４で算出される積算後のデータを，以下，補正第２投影データＩｙt’という。なお，ステップＳ１４が，前記第２の列直交方向投影データ算出手順の一例である。
図１１は，列領域画像ｇ１１，ｇ１２の列方向の位置ずれを修正（Δｘiだけシフト）した画像ｇ２１，ｇ２２及びその画像全体の列直交方向の投影データの上限を補正したデータ（前記補正第２投影データＩｙt’）の分布の一例を表す図である。
図１１に示すように，列方向の位置ずれ修正後の画像ｇ２１，ｇ２２からなる位置ずれ修正後の全体画像ｇ２は，各列における文字画像の配列位置が列直交方向においてほぼ同じ位置に揃った画像となる。また，前記補正第２投影データＩｙt’において値の山が形成される位置と位置ずれ修正後の全体画像ｇ２における文字画像の位置とが一致する。
このように，前記検出対象文字列において，文字寸法及び一列分の文字列における文字間隔が概ね一定であれば，列方向の位置ずれが修正された後の前記列領域画像ｇ２１，ｇ２２は，そのいずれにおいても文字画像と文字画像との間の隙間の位置（文字区切りの位置）が概ね一致する。従って，列方向の位置ずれが修正された複数の前記列領域画像全体ｇ２における列直交方向の投影データに基づいて，列方向の位置ずれが修正された複数の列領域画像ｇ２１，ｇ２２について共通の文字画像の区切り位置を特定できる。
次に，画像処理部４４が，ステップＳ９で算出した前記補正第１投影データＩｙ1’，Ｉｙ2’それぞれを列方向に前記相互ずれ量Δｘiだけシフト（位置修正）する（Ｓ１３）。以下，前記補正第１投影データＩｙ1’，Ｉｙ2’をΔｘiだけシフトしたデータをシフト後補正第１投影データＩｙ1”，Ｉｙ2”という。
さらに，画像処理部４４は，シフト後補正第１投影データＩｙ1”，Ｉｙ2”を列直交方向に積算（列方向の位置ごとに積算）し，積算後のデータを画像処理部４４が備えるメモリ（不図示）に記憶させる（Ｓ１４）。
このステップＳ１４で算出される積算後のデータは，複数の前記列領域画像ｇ１１，ｇ１２それぞれを前記列相互ずれ量Δｘiだけ位置修正（シフト）した画像全体における列直交方向の投影データについて上限値を制限する補正処理を施したデータの分布に相当する。このステップＳ１４で算出される積算後のデータを，以下，補正第２投影データＩｙt’という。なお，ステップＳ１４が，前記第２の列直交方向投影データ算出手順の一例である。
図１１は，列領域画像ｇ１１，ｇ１２の列方向の位置ずれを修正（Δｘiだけシフト）した画像ｇ２１，ｇ２２及びその画像全体の列直交方向の投影データの上限を補正したデータ（前記補正第２投影データＩｙt’）の分布の一例を表す図である。
図１１に示すように，列方向の位置ずれ修正後の画像ｇ２１，ｇ２２からなる位置ずれ修正後の全体画像ｇ２は，各列における文字画像の配列位置が列直交方向においてほぼ同じ位置に揃った画像となる。また，前記補正第２投影データＩｙt’において値の山が形成される位置と位置ずれ修正後の全体画像ｇ２における文字画像の位置とが一致する。
このように，前記検出対象文字列において，文字寸法及び一列分の文字列における文字間隔が概ね一定であれば，列方向の位置ずれが修正された後の前記列領域画像ｇ２１，ｇ２２は，そのいずれにおいても文字画像と文字画像との間の隙間の位置（文字区切りの位置）が概ね一致する。従って，列方向の位置ずれが修正された複数の前記列領域画像全体ｇ２における列直交方向の投影データに基づいて，列方向の位置ずれが修正された複数の列領域画像ｇ２１，ｇ２２について共通の文字画像の区切り位置を特定できる。
［ステップＳ１５］
次に，画像処理部４４は，ステップＳ１４の処理による算出データ（前記補正第２投影データ）について，列方向の基準位置を変化させながらその基準位置を基準にして前記列長さＬを移動平均区間とする移動平均値を算出する（Ｓ１５）。即ち，画像処理部４４は，前記補正第２投影データについて，列方向における複数の基準位置それぞれを基準として前記列長さＬの範囲内の値平均値を算出する。
例えば，画像処理部４４は，前記列領域画像ｇ１１，ｇ１２の左端位置（列方向の一方の端部位置）を基準位置の始点とし，基準位置を順次右方向へシフトする（例えば１画素分ずつシフトする）ごとに，その基準位置から右方向（列方向）へ前記列長さＬの区間における前記補正第２投影データの平均値（即ち，移動平均値）を算出する。
ここで，ノイズ画像が文字画像をしのぐほど大きい状態でない限り，通常は，前記移動平均値の平均区間に全ての文字画像が含まれるときに，その区間におけるデータの平均値（前記移動平均値）や積算値が最大となる。
そこで，画像処理部４４は，前記移動平均値（前記列長さＬの区間の平均値）が最大となるときの基準位置と前記列長さＬとに基づいて，前記列領域画像ｇ１１，ｇ１２それぞれにおける処理対象範囲（文字画像の存在領域と特定する処理の対象とする範囲）を特定する（Ｓ１５，前記列領域画像処理対象範囲特定手順の一例）。
例えば，画像処理部４４は，前記移動平均値が最大となるときの前記基準位置ｘkから右方向（列方向）へ前記列長さＬの範囲を前記処理対象範囲Ｗｘとして特定する（図１１参照）。そして，ステップＳ１４及びＳ１５の処理結果は，画像処理部４４が備える不図示のメモリに記憶される。
このステップＳ１５において特定される処理対象範囲Ｗｘは，ステップＳ５において推定された前記文字列包含推定領域Ａ１から，列方向における余分な領域（文字画像が存在しない領域）が除かれた範囲である。
なお，ステップＳ１４及びＳ１５における「平均値」を「積算値」に置き換えてもよく，そのように置き換えても結果は同じである。
次に，画像処理部４４は，ステップＳ１４の処理による算出データ（前記補正第２投影データ）について，列方向の基準位置を変化させながらその基準位置を基準にして前記列長さＬを移動平均区間とする移動平均値を算出する（Ｓ１５）。即ち，画像処理部４４は，前記補正第２投影データについて，列方向における複数の基準位置それぞれを基準として前記列長さＬの範囲内の値平均値を算出する。
例えば，画像処理部４４は，前記列領域画像ｇ１１，ｇ１２の左端位置（列方向の一方の端部位置）を基準位置の始点とし，基準位置を順次右方向へシフトする（例えば１画素分ずつシフトする）ごとに，その基準位置から右方向（列方向）へ前記列長さＬの区間における前記補正第２投影データの平均値（即ち，移動平均値）を算出する。
ここで，ノイズ画像が文字画像をしのぐほど大きい状態でない限り，通常は，前記移動平均値の平均区間に全ての文字画像が含まれるときに，その区間におけるデータの平均値（前記移動平均値）や積算値が最大となる。
そこで，画像処理部４４は，前記移動平均値（前記列長さＬの区間の平均値）が最大となるときの基準位置と前記列長さＬとに基づいて，前記列領域画像ｇ１１，ｇ１２それぞれにおける処理対象範囲（文字画像の存在領域と特定する処理の対象とする範囲）を特定する（Ｓ１５，前記列領域画像処理対象範囲特定手順の一例）。
例えば，画像処理部４４は，前記移動平均値が最大となるときの前記基準位置ｘkから右方向（列方向）へ前記列長さＬの範囲を前記処理対象範囲Ｗｘとして特定する（図１１参照）。そして，ステップＳ１４及びＳ１５の処理結果は，画像処理部４４が備える不図示のメモリに記憶される。
このステップＳ１５において特定される処理対象範囲Ｗｘは，ステップＳ５において推定された前記文字列包含推定領域Ａ１から，列方向における余分な領域（文字画像が存在しない領域）が除かれた範囲である。
なお，ステップＳ１４及びＳ１５における「平均値」を「積算値」に置き換えてもよく，そのように置き換えても結果は同じである。
［ステップＳ１６］
次に，画像処理部４４は，ステップＳ１４の処理で算出した前記補正第２投影データＩｙt’に基づいて，前記列領域画像ｇ１１，ｇ１２それぞれにおける前記検出対象文字列を構成する各文字画像の存在領域の位置を特定する（Ｓ１６，前記文字領域特定手順の一例）。その特定結果は，画像処理部４４が備える不図示のメモリに記憶される。その際，画像処理部４４は，ステップＳ１５の処理により特定された前記処理対象範囲Ｗｘを対象に前記検出対象文字列を構成する各文字画像の存在領域を特定する。
図１１からわかるように，文字列画像が存在する列方向の範囲（文字幅の範囲）において，前記補正第２投影データＩｙt’の値が高くなり，文字画像と文字画像との間（隙間）の範囲において，前記補正第２投影データＩｙt’の値が低くなる。そこで，画像処理部４４は，ステップＳ１６において，前記補正第２投影データＩｙt’において谷を形成する部分の位置（列方向の位置）を特定し，その位置を各列における文字画像それぞれの区切り位置とすることにより文字画像それぞれの存在領域を特定する。なお，画像処理部４４は，前記列画像領域ｇ１１，ｇ１２それぞれの列直交方向における範囲（ステップＳ７で推定した範囲）を，各文字画像の列直交方向の範囲として特定する。
図１１において符号Ａ３で示す各領域が，ステップＳ１６において特定される各文字画像の存在領域の一例を表す。図１１に示すように，ステップＳ１６において特定される各文字画像の存在領域Ａ３には，ステップＳ３及びＳ４において文字候補の画像として特定されなかった文字"７"の画像が存在する領域も含まれる。このように，本発明によれば，画像に乱れがある文字画像についても，その存在領域を正しく特定できる。
以上に示したように，位置ずれが修正された複数の列領域画像ｇ２１，ｇ２２全体についての列直交方向の投影データに基づいて列方向の文字区切りの位置を特定する処理を行えば，前記検出対象文字列の画像ｃにおける一部の文字画像に乱れがある場合に，前記列領域画像ｇ１１，ｇ１２それぞれについて個別に文字画像領域の特定を行う処理に比べ，一部の文字画像の乱れの影響が小さくなる結果，文字画像の区切り位置をより正しく特定できる。
次に，画像処理部４４は，ステップＳ１４の処理で算出した前記補正第２投影データＩｙt’に基づいて，前記列領域画像ｇ１１，ｇ１２それぞれにおける前記検出対象文字列を構成する各文字画像の存在領域の位置を特定する（Ｓ１６，前記文字領域特定手順の一例）。その特定結果は，画像処理部４４が備える不図示のメモリに記憶される。その際，画像処理部４４は，ステップＳ１５の処理により特定された前記処理対象範囲Ｗｘを対象に前記検出対象文字列を構成する各文字画像の存在領域を特定する。
図１１からわかるように，文字列画像が存在する列方向の範囲（文字幅の範囲）において，前記補正第２投影データＩｙt’の値が高くなり，文字画像と文字画像との間（隙間）の範囲において，前記補正第２投影データＩｙt’の値が低くなる。そこで，画像処理部４４は，ステップＳ１６において，前記補正第２投影データＩｙt’において谷を形成する部分の位置（列方向の位置）を特定し，その位置を各列における文字画像それぞれの区切り位置とすることにより文字画像それぞれの存在領域を特定する。なお，画像処理部４４は，前記列画像領域ｇ１１，ｇ１２それぞれの列直交方向における範囲（ステップＳ７で推定した範囲）を，各文字画像の列直交方向の範囲として特定する。
図１１において符号Ａ３で示す各領域が，ステップＳ１６において特定される各文字画像の存在領域の一例を表す。図１１に示すように，ステップＳ１６において特定される各文字画像の存在領域Ａ３には，ステップＳ３及びＳ４において文字候補の画像として特定されなかった文字"７"の画像が存在する領域も含まれる。このように，本発明によれば，画像に乱れがある文字画像についても，その存在領域を正しく特定できる。
以上に示したように，位置ずれが修正された複数の列領域画像ｇ２１，ｇ２２全体についての列直交方向の投影データに基づいて列方向の文字区切りの位置を特定する処理を行えば，前記検出対象文字列の画像ｃにおける一部の文字画像に乱れがある場合に，前記列領域画像ｇ１１，ｇ１２それぞれについて個別に文字画像領域の特定を行う処理に比べ，一部の文字画像の乱れの影響が小さくなる結果，文字画像の区切り位置をより正しく特定できる。
［ステップＳ１７，Ｓ１８］
次に，画像処理部４４は，ステップＳ１６で特定した文字画像の存在領域Ａ３それぞれから文字画像を切り出す処理（文字画像の抽出処理）を実行する（Ｓ１７）。切出された（抽出された）文字画像は，前記画像メモリ４３に記憶される。
次に，ＣＰＵ４１が，ステップＳ１７で切出された文字画像それぞれについて，予め定められた文字候補の画像とのパターン認識処理を実行することにより，切出された文字画像がいずれの文字を表す画像であるかを特定する文字認識処理を実行する（Ｓ１８）。
このステップＳ１８において，画像処理部４４は，例えば，予め定められた文字候補の画像のデータを教師データとして学習されたニューラルネットワークに対し，ステップＳ１７で切出された文字画像のデータを入力させることにより，前記文字認識処理を実行する。なお，前記ニューラルネットワークを規定する情報は，前記汎用メモリ４６に予め記憶されているものとする。
その他，前記汎用メモリ４６に文字候補の画像のデータが予め記憶され，その画像データそれぞれとステップＳ１７で切出された文字画像のデータとのパターンマッチング処理を行う前記文字認識処理も考えられる。
次に，画像処理部４４は，ステップＳ１６で特定した文字画像の存在領域Ａ３それぞれから文字画像を切り出す処理（文字画像の抽出処理）を実行する（Ｓ１７）。切出された（抽出された）文字画像は，前記画像メモリ４３に記憶される。
次に，ＣＰＵ４１が，ステップＳ１７で切出された文字画像それぞれについて，予め定められた文字候補の画像とのパターン認識処理を実行することにより，切出された文字画像がいずれの文字を表す画像であるかを特定する文字認識処理を実行する（Ｓ１８）。
このステップＳ１８において，画像処理部４４は，例えば，予め定められた文字候補の画像のデータを教師データとして学習されたニューラルネットワークに対し，ステップＳ１７で切出された文字画像のデータを入力させることにより，前記文字認識処理を実行する。なお，前記ニューラルネットワークを規定する情報は，前記汎用メモリ４６に予め記憶されているものとする。
その他，前記汎用メモリ４６に文字候補の画像のデータが予め記憶され，その画像データそれぞれとステップＳ１７で切出された文字画像のデータとのパターンマッチング処理を行う前記文字認識処理も考えられる。
［ステップＳ１９］
最後に，ＣＰＵ４１は，ステップＳ１９の文字認識処理の結果の出力処理を実行する（Ｓ１９）。例えば，ＣＰＵ４１は，文字認識処理の結果を前記通信部４７を通じて前記ホストコンピュータに送信（出力）したり，或いは前記表示部４５に表示させる（出力する）処理，或いは前記汎用メモリ４６に記録（出力）する処理等を実行する。
以上に示した処理（文字画像の画像処理方法）によれば，複数列の文字列からなる検出対象文字列の画像について各文字画像の領域を特定する場合に，一列分の文字列それぞれの画像相互の列方向の位置ずれが大きい場合や，前記検出対象文字列を構成する文字の一部について，文字画像と文字画像との間の隙間が明確でない場合（例えば，図１２に示すような２値画像である場合）であっても，各文字画像の存在領域を極力正しく特定できる。
最後に，ＣＰＵ４１は，ステップＳ１９の文字認識処理の結果の出力処理を実行する（Ｓ１９）。例えば，ＣＰＵ４１は，文字認識処理の結果を前記通信部４７を通じて前記ホストコンピュータに送信（出力）したり，或いは前記表示部４５に表示させる（出力する）処理，或いは前記汎用メモリ４６に記録（出力）する処理等を実行する。
以上に示した処理（文字画像の画像処理方法）によれば，複数列の文字列からなる検出対象文字列の画像について各文字画像の領域を特定する場合に，一列分の文字列それぞれの画像相互の列方向の位置ずれが大きい場合や，前記検出対象文字列を構成する文字の一部について，文字画像と文字画像との間の隙間が明確でない場合（例えば，図１２に示すような２値画像である場合）であっても，各文字画像の存在領域を極力正しく特定できる。
本発明は，文字画像の画像処理に利用可能である。
Ｚ ：文字画像の画像処理装置
ｃ ：検出対象文字列の画像
１ ：被管理部材
２ ：搬送手段
３ ：カメラ
４１：ＣＰＵ
４２：カメラインターフェース
４３：画像メモリ
４４：画像処理部
４５：表示部
４６：汎用メモリ
４７：通信部
Ａ１：文字列包含推定領域
Ａ１１，Ａ１２：列範囲
ｇ１，ｇ２：列領域画像
ｃ ：検出対象文字列の画像
１ ：被管理部材
２ ：搬送手段
３ ：カメラ
４１：ＣＰＵ
４２：カメラインターフェース
４３：画像メモリ
４４：画像処理部
４５：表示部
４６：汎用メモリ
４７：通信部
Ａ１：文字列包含推定領域
Ａ１１，Ａ１２：列範囲
ｇ１，ｇ２：列領域画像
Claims (7)
- 複数列の文字列からなり文字寸法と一列の文字数及び文字間隔と列数と列間隔とが所定の文字配置条件を満たす検出対象文字列の画像が形成された部材を撮像して得られた画像についての２値画像のデータを所定の記憶手段から読み出し，その読み出しデータに基づいて前記２値画像における前記検出対象文字列を構成する各文字の画像の存在領域を特定し，特定した各文字の画像の存在領域から文字画像を抽出する文字列画像の画像処理方法であって，
所定のプロセッサにより，
前記読み出しデータに基づいて，前記２値画像における連結画素のうち予め定められた文字画像の条件を満たすものを特定する第１の文字候補特定手順と，
前記第１の文字候補特定手順により特定された前記連結画素のうちその相対的な位置関係が，前記文字配置条件における文字相互の相対的な位置関係を所定の誤差範囲内で満たすものを特定する第２の文字候補特定手順と，
前記第２の文字候補特定手順により特定された前記連結画素である文字候補画像それぞれの位置及び寸法と前記文字配置条件と予め定められた文字配置の変動範囲とに基づいて，前記２値画像において前記文字候補画像の全てを含む領域であって前記検出対象文字列の画像全体を含む領域を推定する文字列包含領域推定手順と，
前記２値画像における前記文字列包含領域推定手順により推定された領域である文字列包含推定領域の画像について予め定められた処理を行うことにより，前記検出対象文字列を構成する一列分の文字列の画像それぞれの列方向に直交する列直交方向における存在範囲を推定する列幅範囲推定手順と，
前記文字列包含領域の画像における前記列幅範囲推定手順により推定された範囲それぞれの画像である列領域画像について前記列直交方向の投影データ又はその投影データについて上限値を制限する補正処理を施したデータの分布を算出する第１の列直交方向投影データ算出手順と，
前記第１の列直交方向投影データ算出手順による算出データに基づいて，列方向のシフト量を変数とする相互相関関数を導出する相互相関関数導出手順と，
前記相互相関関数導出手順により得られた前記相互相関関数に基づいて，前記列領域画像相互の列方向の位置ずれ量である列相互ずれ量を導出する列相互ずれ量導出手順と，
複数の前記列領域画像それぞれを前記列相互ずれ量だけ位置修正した画像全体における前記列直交方向の投影データ又はその投影データについて上限値を制限する補正処理を施したデータの分布を算出する第２の列直交方向投影データ算出手順と，
前記第２の列直交方向投影データ算出手順による算出データに基づいて，前記列領域画像それぞれにおける前記検出対象文字列を構成する各文字の画像の存在領域の位置を特定する文字領域特定手順と，
を自動的に実行することを特徴とする文字列画像の画像処理方法。 - 前記文字列包含領域推定手順が，
前記２値画像における前記文字列包含推定領域の画像について列方向の投影データの分布を算出する列方向投影データ算出手順と，
前記列方向投影データ算出手順による算出データに基づいて，前記検出対象文字列を構成する一列分の文字列の画像それぞれの前記列直交方向における存在範囲を推定する範囲推定手順と，
を有してなる請求項１に記載の文字列画像の画像処理方法。 - 前記プロセッサが，
前記相互相関関数導出手順により得られた前記相互相関関数における複数の相関値のピーク相互の間隔と前記文字配置条件における一列の文字数とに基づいて，前記列領域画像それぞれにおける前記検出対象文字列の画像が存在する範囲の列方向の長さを算出する列長さ算出手順と，
前記第２の列直交方向投影データ算出手順による算出データについて，列方向における複数の基準位置それぞれを基準として前記列長さ算出手順による算出結果である列長さの範囲内の値の積算値又は平均値を算出し，その算出値が最大となるときの前記基準位置と前記列長さとに基づいて，前記列領域画像における処理対象範囲を特定する列領域画像処理対象範囲特定手順と，を自動的に実行し，
前記文字領域特定手順において，前記列領域画像処理対象範囲特定手順により特定された前記処理対象範囲を対象に前記検出対象文字列を構成する各文字の画像の存在領域を特定してなる請求項１又は２のいずれかに記載の文字列画像の画像処理方法。 - 前記列相互ずれ量算出手順において，前記相互相関関数導出手順により得られた前記相互相関関数における最大の相関値に対応する列方向のシフト量に基づいて前記列相互ずれ量を導出してなる請求項１〜３のいずれかに記載の文字列画像の画像処理方法。
- 前記予め定められた文字画像の条件が，連結画素の外接矩形の大きさ，連結画素の外接矩形の縦横比，連結画素の面積，連結画素とその外接矩形との面積比，及び連結画素の周囲長の２乗とその面積との比，のうちの少なくとも１つが予め定められた範囲内にあることである請求項１〜４のいずれかに記載の文字列画像の画像処理方法。
- 複数列の文字列からなり文字寸法と一列の文字数及び文字間隔と列数と列間隔とが所定の文字配置条件を満たす検出対象文字列の画像が形成された部材を撮像して得られた画像についての２値画像のデータを所定の記憶手段から読み出し，その読み出しデータに基づいて前記２値画像における前記検出対象文字列を構成する各文字の画像の存在領域を特定し，特定した各文字の画像の存在領域から文字画像を抽出する手順を所定のプロセッサに実行させるための文字列画像の画像処理プログラムであって，
前記読み出しデータに基づいて，前記２値画像における連結画素のうち予め定められた文字画像の条件を満たすものを特定する第１の文字候補特定手順と，
前記第１の文字候補特定手順により特定された前記連結画素のうちその相対的な位置関係が，前記文字配置条件における文字相互の相対的な位置関係を所定の誤差範囲内で満たすものを特定する第２の文字候補特定手順と，
前記第２の文字候補特定手順により特定された前記連結画素である文字候補画像それぞれの位置及び寸法と前記文字配置条件と予め定められた文字配置の変動範囲とに基づいて，前記２値画像において前記文字候補画像の全てを含む領域であって前記検出対象文字列の画像全体を含む領域を推定する文字列包含領域推定手順と，
前記２値画像における前記文字列包含領域推定手順により推定された領域である文字列包含推定領域の画像について予め定められた処理を行うことにより，前記検出対象文字列を構成する一列分の文字列の画像それぞれの列方向に直交する列直交方向における存在範囲を推定する列幅範囲推定手順と，
前記文字列包含領域の画像における前記列幅範囲推定手順により推定された範囲それぞれの画像である列領域画像について前記列直交方向の投影データ又はその投影データについて上限値を制限する補正処理を施したデータの分布を算出する第１の列直交方向投影データ算出手順と，
前記第１の列直交方向投影データ算出手順による算出データに基づいて，列方向のシフト量を変数とする相互相関関数を導出する相互相関関数導出手順と，
前記相互相関関数導出手順により得られた前記相互相関関数に基づいて，前記列領域画像相互の列方向の位置ずれ量である列相互ずれ量を算出する列相互ずれ量算出手順と，
複数の前記列領域画像それぞれを前記列相互ずれ量だけ位置修正した画像全体における前記列直交方向の投影データ又はその投影データについて上限値を制限する補正処理を施したデータの分布を算出する第２の列直交方向投影データ算出手順と，
前記第２の列直交方向投影データ算出手順による算出データに基づいて，前記列領域画像それぞれにおける前記検出対象文字列を構成する各文字の画像の存在領域の位置を特定する文字領域特定手順と，
を所定のプロセッサに実行させるための文字列画像の画像処理プログラム。 - 複数列の文字列からなり文字寸法と一列の文字数及び文字間隔と列数と列間隔とが所定の文字配置条件を満たす検出対象文字列の画像が形成された部材を撮像して得られた画像についての２値画像のデータを所定の記憶手段から読み出し，その読み出しデータに基づいて前記２値画像における前記検出対象文字列を構成する各文字の画像の存在領域を特定し，特定した各文字の画像の存在領域から文字画像を抽出する文字列画像の画像処理装置であって，
前記読み出しデータに基づいて，前記２値画像における連結画素のうち予め定められた文字画像の条件を満たすものを特定する第１の文字候補特定手段と，
前記第１の文字候補特定手段により特定された前記連結画素のうちその相対的な位置関係が，前記文字配置条件における文字相互の相対的な位置関係を所定の誤差範囲内で満たすものを特定する第２の文字候補特定手段と，
前記第２の文字候補特定手段により特定された前記連結画素である文字候補画像それぞれの位置及び寸法と前記文字配置条件と予め定められた文字配置の変動範囲とに基づいて，前記２値画像において前記文字候補画像の全てを含む領域であって前記検出対象文字列の画像全体を含む領域を推定する文字列包含領域推定手段と，
前記２値画像における前記文字列包含領域推定手段により推定された領域である文字列包含推定領域の画像について予め定められた処理を行うことにより，前記検出対象文字列を構成する一列分の文字列の画像それぞれの列方向に直交する列直交方向における存在範囲を推定する列幅範囲推定手段と，
前記文字列包含領域の画像における前記列幅範囲推定手段により推定された範囲それぞれの画像である列領域画像について前記列直交方向の投影データ又はその投影データについて上限値を制限する補正処理を施したデータの分布を算出する第１の列直交方向投影データ算出手段と，
前記第１の列直交方向投影データ算出手段による算出データに基づいて，列方向のシフト量を変数とする相互相関関数を導出する相互相関関数導出手段と，
前記相互相関関数導出手段により得られた前記相互相関関数に基づいて，前記列領域画像相互の列方向の位置ずれ量である列相互ずれ量を算出する列相互ずれ量算出手段と，
複数の前記列領域画像それぞれを前記列相互ずれ量だけ位置修正した画像全体における前記列直交方向の投影データ又はその投影データについて上限値を制限する補正処理を施したデータの分布を算出する第２の列直交方向投影データ算出手段と，
前記第２の列直交方向投影データ算出手段による算出データに基づいて，前記列領域画像それぞれにおける前記検出対象文字列を構成する各文字の画像の存在領域の位置を特定する文字領域特定手段と，
を具備してなることを特徴とする文字列画像の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007040052A JP4836826B2 (ja) | 2007-02-20 | 2007-02-20 | 文字列画像の画像処理方法，そのプログラム及びその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007040052A JP4836826B2 (ja) | 2007-02-20 | 2007-02-20 | 文字列画像の画像処理方法，そのプログラム及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008204203A true JP2008204203A (ja) | 2008-09-04 |
| JP4836826B2 JP4836826B2 (ja) | 2011-12-14 |
Family
ID=39781641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007040052A Active JP4836826B2 (ja) | 2007-02-20 | 2007-02-20 | 文字列画像の画像処理方法，そのプログラム及びその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4836826B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011108025A (ja) * | 2009-11-18 | 2011-06-02 | Kobe Steel Ltd | 文字認識方法及び文字認識装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6394385A (ja) * | 1986-10-08 | 1988-04-25 | Tokyo Keiki Co Ltd | 印字文字ピツチ検出装置 |
| JPH0490083A (ja) * | 1990-08-03 | 1992-03-24 | Canon Inc | 文字認識装置 |
| JPH06348893A (ja) * | 1993-06-02 | 1994-12-22 | Kawasaki Steel Corp | 文字切り出し方法 |
| JPH07282196A (ja) * | 1994-04-05 | 1995-10-27 | Yamaha Motor Co Ltd | パターン確認方法 |
| JPH08339421A (ja) * | 1995-06-13 | 1996-12-24 | Kobe Steel Ltd | 画像の文字領域決定方法 |
| JPH1069524A (ja) * | 1996-08-28 | 1998-03-10 | Sumitomo Metal Ind Ltd | 文字切り出し方法 |
| JP2006338578A (ja) * | 2005-06-06 | 2006-12-14 | Mitsubishi Electric Corp | 文字認識装置 |
-
2007
- 2007-02-20 JP JP2007040052A patent/JP4836826B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6394385A (ja) * | 1986-10-08 | 1988-04-25 | Tokyo Keiki Co Ltd | 印字文字ピツチ検出装置 |
| JPH0490083A (ja) * | 1990-08-03 | 1992-03-24 | Canon Inc | 文字認識装置 |
| JPH06348893A (ja) * | 1993-06-02 | 1994-12-22 | Kawasaki Steel Corp | 文字切り出し方法 |
| JPH07282196A (ja) * | 1994-04-05 | 1995-10-27 | Yamaha Motor Co Ltd | パターン確認方法 |
| JPH08339421A (ja) * | 1995-06-13 | 1996-12-24 | Kobe Steel Ltd | 画像の文字領域決定方法 |
| JPH1069524A (ja) * | 1996-08-28 | 1998-03-10 | Sumitomo Metal Ind Ltd | 文字切り出し方法 |
| JP2006338578A (ja) * | 2005-06-06 | 2006-12-14 | Mitsubishi Electric Corp | 文字認識装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011108025A (ja) * | 2009-11-18 | 2011-06-02 | Kobe Steel Ltd | 文字認識方法及び文字認識装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4836826B2 (ja) | 2011-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109740469B (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
| EP3079101B1 (en) | Image processing apparatus, image processing method and computer-readable storage medium | |
| US9189694B2 (en) | Image processing device and image processing method | |
| JP5624671B2 (ja) | 文字列切出方法及び文字列切出装置 | |
| JP6952094B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP6900164B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US20200012879A1 (en) | Text region positioning method and device, and computer readable storage medium | |
| US11244194B2 (en) | System and method for object recognition using local binarization | |
| US20180082115A1 (en) | Methods of detecting moire artifacts | |
| RU2581786C1 (ru) | Определение преобразований изображения для повышения качества оптического распознавания символов | |
| US9224065B2 (en) | Character-recognition method and character-recognition device and program using said method | |
| US7680329B2 (en) | Character recognition apparatus and character recognition method | |
| JP4836826B2 (ja) | 文字列画像の画像処理方法，そのプログラム及びその装置 | |
| US10984277B2 (en) | Image analysis apparatus, image analysis method, and non-transitory computer readable medium | |
| US20180246041A1 (en) | Print data processing method, print data processing device, and recording medium having recorded therein print data processing program | |
| JP6160363B2 (ja) | 物品情報認識装置 | |
| CN111670458B (zh) | 读取系统 | |
| JP5248074B2 (ja) | 楽譜認識装置、楽譜認識方法、及びコンピュータプログラム | |
| KR20200131368A (ko) | 행정구역별 오브젝트 인식방법 및 그 시스템 | |
| CN118364839B (zh) | 一种基于图像处理的奶粉食品包装条形码缺陷检测方法 | |
| CN117475453B (zh) | 一种基于ocr的文书检测方法、装置及电子设备 | |
| EP4036871B1 (en) | Image processing apparatus, image processing method, program and storage medium | |
| US20240029238A1 (en) | Inspection apparatus, method of controlling the same, inspection system, and storage medium | |
| JP2008107946A (ja) | 画像の文字列領域決定方法，画像の文字列領域決定装置 | |
| JP4948282B2 (ja) | 特殊記号読取方法，特殊記号読取プログラム，特殊記号読取装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110318 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110318 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20110324 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110531 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110615 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110927 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110927 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141007 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4836826 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |