JP2008117126A - 文字認識装置及び文字認識方法 - Google Patents
文字認識装置及び文字認識方法 Download PDFInfo
- Publication number
- JP2008117126A JP2008117126A JP2006299085A JP2006299085A JP2008117126A JP 2008117126 A JP2008117126 A JP 2008117126A JP 2006299085 A JP2006299085 A JP 2006299085A JP 2006299085 A JP2006299085 A JP 2006299085A JP 2008117126 A JP2008117126 A JP 2008117126A
- Authority
- JP
- Japan
- Prior art keywords
- character
- pattern
- noise
- image
- noise pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
【課題】認識すべき文字と他のパターンとが重畳されている場合であっても、正確にその文字を認識できる文字認識装置及び文字認識方法を提供する。
【解決手段】文字認識装置(1)は、文字が表記された被検査物を撮影した検査画像から、被検査物の表面に生じることが予め想定されるノイズの特徴を表す特徴画像を検出する特徴量検出手段(34)と、特徴画像とノイズパターン記憶手段(33)から読み出されたノイズパターンを比較し、一致すると判定した場合にノイズパターンを検出するノイズパターン検出手段(35)と、特徴画像から、検出されたノイズパターンを除去するノイズパターン除去手段と(36)と、ノイズパターンが除去された特徴画像と、文字パターン記憶手段(33)から読み出された複数の文字パターンとを比較し、それら複数の文字パターンのうちの最も一致する文字パターンが表す文字を検出する文字パターン検出手段(37)とを有する。
【選択図】図3
【解決手段】文字認識装置(1)は、文字が表記された被検査物を撮影した検査画像から、被検査物の表面に生じることが予め想定されるノイズの特徴を表す特徴画像を検出する特徴量検出手段(34)と、特徴画像とノイズパターン記憶手段(33)から読み出されたノイズパターンを比較し、一致すると判定した場合にノイズパターンを検出するノイズパターン検出手段(35)と、特徴画像から、検出されたノイズパターンを除去するノイズパターン除去手段と(36)と、ノイズパターンが除去された特徴画像と、文字パターン記憶手段(33)から読み出された複数の文字パターンとを比較し、それら複数の文字パターンのうちの最も一致する文字パターンが表す文字を検出する文字パターン検出手段(37)とを有する。
【選択図】図3
Description
本発明は、文字認識装置及び文字認識方法に関するものであり、より詳しくは、被検査物上に表記された文字とノイズパターンが重畳する場合において、そのノイズパターンと重畳した文字を認識する文字認識装置及び文字認識方法に関する。
近年、被検査物に印字あるいは刻印されている文字情報を画像として取得し、その画像を解析することにより、その文字を認識する方法及び装置の開発が盛んに行われている。このような文字認識装置では、文字の種類毎に異なる特徴を表すと考えられる特徴量を画像から抽出し、その特徴量に基づいて文字を認識する。あるいは、認識対象となる文字の字体及びサイズが予め分かっている場合には、その字体及びサイズに応じた文字のテンプレートを準備しておき、画像とそのテンプレートとのパターンマッチングを行い、最も一致するテンプレートを特定することにより、文字を認識する。
しかし、被検査物の表面が汚れるなどして、文字列情報と重畳してノイズ情報が存在する場合、特徴量を抽出できなかったり、誤ったパターンマッチング結果が得られることにより、正確に文字を認識することができない場合がある。また、ドットマトリクスプリンタのように一つの文字がドットの集合として印字される場合についても、ドット間の不連続性がノイズと同じように作用するため、正確に文字を認識できない場合がある、そこで、前処理として、ノイズ情報を減弱するような処理を行った後、文字の認識を行う方法が開発されている。
例えば、特許文献1に開示された光学文字認識用画像データ処理方法では、画像データの画素の濃度値のヒストグラムを作成し、2−D空間平均演算を行うことによって画像データのダイナミックレンジを一度減少させ、その後文字情報が含まれていると考えられる領域に対してコントラストの範囲を広げ、さらにエッジ強調処理を行い、最後に2値化を行うことにより、ノイズを減弱させた画像データを得る。
しかしながら、認識すべき文字に、他のパターンが重畳されているような場合、文字についての画像上の情報(例えば、濃度、エッジ強度など)と重畳されたパターンについての画像上の情報とが区別できないことがある。このような場合、上記のような前処理を行っても、文字に関する情報だけを強調し、他のパターンの情報との差異を大きくすることができないため、認識精度の向上を期待することができなかった。
そこで、認識すべき文字と他のパターンとが重畳されている場合であっても、正確にその文字を認識できる文字認識装置及び文字認識方法の開発が望まれている。
そこで、認識すべき文字と他のパターンとが重畳されている場合であっても、正確にその文字を認識できる文字認識装置及び文字認識方法の開発が望まれている。
上記の問題点に鑑み、本発明は、認識すべき文字と他のパターンとが重畳されている場合であっても、正確にその文字を認識できる文字認識装置及び文字認識方法を提供することを目的とする。
本発明の請求項1に記載の形態によれば、本発明に係る文字認識装置は、文字が表記された被検査物を撮影した検査画像から、被検査物の表面に生じることが予め想定されるノイズの特徴を表す特徴画像を検出する特徴量検出手段(34)と、特徴画像とノイズパターン記憶手段(33)から読み出されたノイズパターンを比較し、一致すると判定した場合にノイズパターンを検出するノイズパターン検出手段(35)と、特徴画像から、検出されたノイズパターンを除去するノイズパターン除去手段と(36)と、ノイズパターンが除去された特徴画像と、文字パターン記憶手段(33)から読み出された複数の文字パターンとを比較し、それら複数の文字パターンのうちの最も一致する文字パターンが表す文字を検出する文字パターン検出手段(37)とを有することを特徴とする。
係る構成により、認識対象となる文字と重畳してノイズが存在する場合でも、ノイズを除去した上で文字の認識を行うことができるので、正確に文字認識を行うことができる。
係る構成により、認識対象となる文字と重畳してノイズが存在する場合でも、ノイズを除去した上で文字の認識を行うことができるので、正確に文字認識を行うことができる。
また請求項2に記載のように、ノイズパターンは、想定されるノイズのエッジパターン画像であり、特徴量検出手段(34)は、検査画像のエッジパターン画像を求めて特徴画像とすることが好ましい。
さらに請求項3に記載のように、ノイズパターン検出手段(35)は、特徴画像と少なくとも一つのノイズパターンとのパターンマッチングを行い、少なくとも一つのノイズパターンと特徴画像の一致度が所定値以上となる場合、ノイズパターンを検出するすることが好ましい。係る構成により、ノイズと文字との重畳している部分を少なくできるので、特徴画像からノイズパターンを正確に除去できる。
さらに請求項3に記載のように、ノイズパターン検出手段(35)は、特徴画像と少なくとも一つのノイズパターンとのパターンマッチングを行い、少なくとも一つのノイズパターンと特徴画像の一致度が所定値以上となる場合、ノイズパターンを検出するすることが好ましい。係る構成により、ノイズと文字との重畳している部分を少なくできるので、特徴画像からノイズパターンを正確に除去できる。
また請求項4に記載のように、文字パターン検出手段(37)は、被検査物に表記されるべき文字列に含まれる特定の位置の文字を基準文字として認識し、その基準文字と文字列に含まれる他の文字との相対的な位置関係に基づいて探索領域を設定し、探索領域内で文字パターンとノイズパターンが除去された特徴画像とのパターンマッチングを行うことにより、他の文字を認識することが好ましい。係る構成により、一旦基準文字が認識されると、他の文字については探索すべき領域を限定できるので、認識処理に要する演算処理量及び演算処理に要する時間を減らすことができる。
また請求項5に記載のように、文字パターン検出手段(37)は、基準文字と文字列に含まれる他の文字との予め定められた相対的な位置関係に基づいて、認識した各文字の配列を決定することにより、文字列情報を取得することが好ましい。
また請求項6に記載のように、本発明に係る文字認識装置は、被検査物上に表記されるべき文字列に関する基準文字列情報を記憶する文字列情報記憶部(4)と、文字列情報が、基準文字列情報に基づいて定められる一致条件を満たすか否かを判定し、一致条件を満たす場合、被検査物が良品であると判定し、一致条件を満たさない場合、被検査物が不良品であると判定する良否判定手段(38)を有することが好ましい。
また、本発明の請求項7に記載の形態によれば、被検査物を撮影した検査画像から、被検査物上に表記される文字を認識する文字認識方法が提供される。係る文字認識方法は、検査画像から、被検査物の表面に生じることが予め想定されるノイズの特徴を表す特徴画像を検出するステップと、特徴画像とノイズに対応するノイズパターンを比較し、一致すると判定した場合にノイズパターンを検出するステップと、特徴画像から検出されたノイズパターンを除去するステップと、ノイズが除去された特徴画像と複数の文字パターンとを比較し、それらの複数の文字パターンのうちの最も一致する文字パターンが表す文字を検出するステップとを有することを特徴とする。
なお、上記各手段に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。
以下、図面を参照しつつ本発明に係る文字認識装置について詳細に説明する。
本発明を適用した文字認識装置は、一例として、車載エンジンに燃料を供給するポンプユニットの生産ラインに設置され、そのポンプユニットの部品(ワーク)の表面に刻印された、型番、製造年月日など、所定の大きさ及び所定の字体の文字列を認識するものである。そして、文字認識装置は、それら文字列と重畳して存在する可能性のある、部品加工時の傷(例えば、当該部品が射出成形によって形成されるものである場合に、その射出成形後にゲートを削った際の削り後)に対応するパターンをノイズパターンとして予め記憶しておき、ワークを撮影した検査画像に基づいて作成された特徴画像から、記憶されているノイズパターンとの一致度に基づいてノイズパターンを除去し、その後に文字認識を行うものである。
本発明を適用した文字認識装置は、一例として、車載エンジンに燃料を供給するポンプユニットの生産ラインに設置され、そのポンプユニットの部品(ワーク)の表面に刻印された、型番、製造年月日など、所定の大きさ及び所定の字体の文字列を認識するものである。そして、文字認識装置は、それら文字列と重畳して存在する可能性のある、部品加工時の傷(例えば、当該部品が射出成形によって形成されるものである場合に、その射出成形後にゲートを削った際の削り後)に対応するパターンをノイズパターンとして予め記憶しておき、ワークを撮影した検査画像に基づいて作成された特徴画像から、記憶されているノイズパターンとの一致度に基づいてノイズパターンを除去し、その後に文字認識を行うものである。
図1に、本発明を適用した文字認識装置1の構成ブロック図を示す。
本発明を適用した文字認識装置1は、被検査物であるワーク5を撮影し、検査画像を取得する撮像部2と、検査画像に基づいてワーク5表面に刻印された文字列を認識し、且つ文字認識装置の制御を行う処理部3と、ワーク5に刻印されている型番を記憶する文字列情報記憶部4とを有する。
以下、文字認識装置1の各部について詳細に説明する。
本発明を適用した文字認識装置1は、被検査物であるワーク5を撮影し、検査画像を取得する撮像部2と、検査画像に基づいてワーク5表面に刻印された文字列を認識し、且つ文字認識装置の制御を行う処理部3と、ワーク5に刻印されている型番を記憶する文字列情報記憶部4とを有する。
以下、文字認識装置1の各部について詳細に説明する。
撮像部2は、ワーク5の表面に刻印された文字列を撮影し、検査画像を取得する。また撮像部2は、文字列全体が検査画像に含まれ、且つその文字列に含まれる個々の文字が識別できるように撮影する。そのために、撮像部2は、CCD、C−MOSセンサなどの光電変換器で構成された2次元検出器と、その2次元検出器上にワーク5表面の像を結像する結像光学系を有する。本実施形態では、2次元検出器として、640×480画素の2/3インチCCDを用いた。また、検査画像上において、ワーク5表面に刻印された文字の1文字当たりの画素数が、横60画素×縦80画素となるように、結像光学系の焦点距離及びワーク5から撮像部までの距離を設定した。しかし、撮像部2を、異なる画素数及び画面サイズを有する2次元検出器で構成してもよい。また、検査画像上で各文字の特徴が判別できる範囲で、1文字当たりの画素数が上記と異なるように結像光学系などの構成を変更してもよい。さらに、撮像部2は、ワーク5を照明する照明光源を有してもよい。
図2に、撮像部2で取得される検査画像の概略図を示す。図2において、検査画像200に撮影されたワーク5の表面には、文字列情報として、ワーク5の型番情報201と、製造年月日情報202とが刻印されている。本実施形態において、型番情報201は、4桁の数値で表される。また、製造年月日情報202は、2段になった文字列であり、上段に製造日を示す2桁の数値が表され、下段には左から順に、製造月を示す2桁の数値と、製造年を示す1文字のアルファベット(例えば、製造年が2005年の場合、'G'とし、2006年の場合、'H'というように表す)が表記される。また図2に示されるように、これらの文字列情報と重畳して、同心円状にゲートの削り痕203が存在する。
取得された検査画像は、処理部3へ送信される。
取得された検査画像は、処理部3へ送信される。
処理部3は、撮像部2から取得した検査画像を解析して、ワーク5の表面に刻印された文字列情報を認識する。そして、その認識結果を、文字列情報記憶部4から取得した、ワーク5に刻印されているべき基準文字列情報と比較して、ワーク5が良品か否かを判定する。
図3に、処理部3の機能ブロック図を示す。図3に示すように、処理部3は、制御手段31、通信手段32、記憶手段33、特徴量検出手段34、ノイズパターン検出手段35、ノイズパターン除去手段36、文字パターン検出手段37及び良否判定手段38を有し、例えば、パーソナルコンピュータ(PC)及びその周辺機器で構成される。
以下、処理部3の各部について説明する。
図3に、処理部3の機能ブロック図を示す。図3に示すように、処理部3は、制御手段31、通信手段32、記憶手段33、特徴量検出手段34、ノイズパターン検出手段35、ノイズパターン除去手段36、文字パターン検出手段37及び良否判定手段38を有し、例えば、パーソナルコンピュータ(PC)及びその周辺機器で構成される。
以下、処理部3の各部について説明する。
制御手段31は、PCの中央演算装置(CPU)と、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)などの半導体メモリなどで構成され、CPUに読み込まれたプログラムにしたがって動作し、撮像部2及び処理部3の各手段を制御する。また、通信手段32は、処理部3と、撮像部2及び文字列情報記憶部4との間で制御信号、画像データあるいはデータ信号を送受信する入出力インタフェースであり、USB、SCSI、RS232C、イーサネット(登録商標)などの各種のI/Oポート及びそれらのドライバで構成される。そして、処理部3は、通信手段32を通じて撮像部2から検査画像を受信する。一方、制御手段31で生成された制御信号は、通信手段32を通じて撮像部2へ送信される。さらに、処理部3は、文字パターン検出手段37で検出された文字列情報及び良否判定手段38で判定されたワーク5の良否判定結果を、通信手段32を通じて、判定結果などの表示を行う操作表示部(図示せず)や、外部の機器へ出力する。
記憶手段33は、ランダムアクセスメモリ(RAM)、又は磁気ディスク、光ディスク若しくはフラッシュメモリなどの不揮発性メモリで構成され、撮像部2から受信した検査画像を一時的に記憶する。また、記憶手段33は、処理部3の制御を行うプログラムなどを記憶する。
さらに、記憶手段33は、ノイズパターンテンプレートを記憶するノイズパターン記憶手段及び文字パターンテンプレートを記憶する文字パターン記憶手段として機能する。
さらに、記憶手段33は、ノイズパターンテンプレートを記憶するノイズパターン記憶手段及び文字パターンテンプレートを記憶する文字パターン記憶手段として機能する。
図4(a)〜(c)に、予め想定されるノイズの情報を表すノイズパターンテンプレートの例を示す。ここで、各ノイズパターンテンプレート401〜403は、それぞれ図2に示したゲートの削り痕203のエッジパターン画像に対応する。特に、図4(a)に示すノイズパターンテンプレート401は、ゲートの削り痕203の外周円のエッジパターン画像に対応し、リング状にエッジ画素を有する。また、図4(b)に示すノイズパターンテンプレート402は、ゲートの削り痕203の内周円のエッジパターン画像に対応し、エッジ画素がテンプレート402の略中心において小さな円形状の集合となっている。図4(c)に示すノイズパターンテンプレート403は、ゲートの削り痕203の外周円及び内周円の両方のエッジパターン画像に対応する。そして、これらのノイズパターンテンプレート401〜403では、エッジ画素は‘1’の値を有し、エッジ以外の画素は‘0’の値を有する。なお、ノイズパターンテンプレートは、これらのものに限られず、ワーク5の表面が汚れてゲートの削り痕203の一部が見えない場合に対応したもの、例えば、ゲートの削り痕203の外周円に沿った半円弧状にエッジ画素が並ぶパターンなどをノイズパターンテンプレートの一つに加えてもよい。このように、本実施形態では、記憶手段33は、認識すべき文字と重畳して存在する可能性のあるノイズパターンの検出を容易にするために、ノイズパターンの全体又は一部に対応するエッジパターン画像をそれぞれノイズパターンテンプレートとして記憶する。
さらに、記憶手段33は、ワーク5に刻印される可能性のある各文字(例えば、アルファベット、数字、記号)に対応する文字パターンテンプレートを記憶する。この文字パターンテンプレートには、刻印される文字の理想的な形状に対応するものの他、ワーク5表面の汚れなどによって文字の一部が検査画像上で識別できない場合を想定して作成された、文字の一部が欠けたパターンも含まれる。本実施形態では、1文字当たり、5個の文字パターンテンプレートを準備した。
これらのノイズパターンテンプレート及び文字パターンテンプレートは、それぞれノイズパターン検出手段35、文字パターン検出手段37において使用される。
これらのノイズパターンテンプレート及び文字パターンテンプレートは、それぞれノイズパターン検出手段35、文字パターン検出手段37において使用される。
特徴量検出手段34、ノイズパターン検出手段35、ノイズパターン除去手段36、文字パターン検出手段37及び良否判定手段38は、例えばCPU上で実行されるプログラムモジュールとして実装される。あるいは、特徴量検出手段34、ノイズパターン検出手段35、ノイズパターン除去手段36、文字パターン検出手段37及び良否判定手段38を、CPUと別個に設けられた画像処理用プロセッサなどを備えた専用処理ボードとして実装してもよい。
特徴量検出手段34は、認識対象である文字と重畳したノイズを検出するために、検査画像に対してエッジ検出処理を行って、特徴画像としてエッジパターン画像を作成する。特に、ノイズが線状構造物の組み合わせではなく、比較的信号変化の少ない面状の構造物である場合、検査画像そのものよりも、エッジパターン画像の方が、ノイズパターンと文字との重なり領域が少ない。そのため、このような場合には、エッジパターン画像に基づいてノイズパターンを検出することにより、ノイズパターン検出の際にそのノイズパターンと重畳している文字による影響を低減し、正確にノイズパターンを検出することができる。このことについて、再度図2を用いて説明する。例えば、検査画像において、ノイズであるゲートの削り痕203そのものに対応するマスクパターンを用いてパターンマッチングを行うことによってゲートの削り痕203を検出する場合を考える。この場合、ゲートの削り痕203と重なって存在する文字に相当する画素数分だけ影響を受けるため、ゲートの削り痕203と重なって存在する文字の種類や数が変わると、それに伴って当然パターンマッチングによって求められる一致度も変化する。したがって、誤認識を生じ易くなる。一方、検査画像のエッジパターン画像を作成し、そのエッジパターン画像とゲートの削り痕203のエッジパターンに対応するテンプレートを用いてパターンマッチングを行う場合、一致度に悪影響を与えるのは、ゲートの削り痕203のエッジパターン上に存在する文字のエッジ画素のみであるため、相対的に影響が少ない。したがって、正確にノイズパターンを検出することが容易となる。
本実施形態では、特徴量検出手段34は、ソーベルフィルタを用いて検査画像全体をフィルタリング処理することにより、検査画像のエッジパターン画像を生成した。なお、特徴量検出手段34は、単純な1次元方向の差分フィルタや、ラプラシアンフィルタなど、他の周知のエッジ検出フィルタを用いてもよい。
特徴量検出手段34は、生成したエッジパターン画像を、処理部3の他の手段で利用できるようにするために、制御手段31を構成するRAM又は記憶手段33に、一時的に記憶する。
特徴量検出手段34は、生成したエッジパターン画像を、処理部3の他の手段で利用できるようにするために、制御手段31を構成するRAM又は記憶手段33に、一時的に記憶する。
ノイズパターン検出手段35は、特徴量検出手段34で作成されたエッジパターン画像に基づいて、ノイズパターンを検出する。そのために、ノイズパターン検出手段35は、まずエッジパターン画像を所定の閾値で二値化し、二値化エッジ画像を作成する。ここで所定の閾値は、例えばエッジパターン画像の平均画素値とすることができる。そして、ノイズパターン検出手段35は、エッジパターン画像の各画素について、所定の閾値よりも大きな画素値を有する場合、画素値‘1’とし、所定の閾値以下の画素値を有する場合、画素値‘0’とする。二値化エッジ画像を作成すると、ノイズパターン検出手段35は、記憶手段33に記憶されているノイズパターンテンプレートを読み出す。そして、読み出したノイズパターンテンプレートと、特徴量検出手段34で作成された二値化エッジ画像とでパターンマッチングを行い、一致度が最大となるノイズパターンテンプレート及びエッジパターン画像上の位置を求める。なお、一致度は、ノイズパターンテンプレートの画素と対応する二値化エッジ画像の画素について、画素値が一致するものの数を合計し、ノイズパターンテンプレートの全画素数で除したものとして求められる。そして、一致度の最大値が所定の基準を満たす場合、一致度最大となったノイズパターンテンプレート(以下、一致ノイズパターンテンプレートNTmという)に含まれるノイズパターンの位置に対応するエッジパターン画像上の位置にノイズパターンのエッジが存在すると判定する。なお本実施形態では、一例として、上記の所定の基準をノイズパターンテンプレートの全画素数の70%とした。
なお、ノイズパターン検出手段35は、多値の値を有するエッジパターン画像そのものを用いてパターンマッチングを行うようにしてもよい。この場合には、ノイズパターンテンプレートとして、検出すべきノイズパターン(本実施形態では、ゲートの削り痕)を実際に含む画像に対して、エッジパターン画像の作成と同様のエッジ検出処理を行って得た画像から、ノイズパターンを含む部分だけを切り出したものを使用することができる。そして、パターンマッチングの一致度は、公知の相関関数に基づいて求められる。例えば、一致度(相関係数)は、以下の式に基づいて求めることができる。
ここでrは一致度であり、I、Mはそれぞれエッジパターン画像及びノイズパターンテンプレートの画素値を表す。また、Nはノイズパターンテンプレートに含まれる画素数を表す。この式において、エッジパターン画像とノイズパターンテンプレートが完全に一致する場合、一致度r=1となり、エッジパターン画像とノイズパターンテンプレートに全く相関が無い場合、一致度r=0となる。
ノイズパターン除去手段36は、エッジパターン画像から、検出されたノイズパターンを除去したノイズ除去画像を作成する。そのために、ノイズパターン除去手段36は、エッジパターン画像について、上記のノイズパターン検出手段35で最も一致すると判定された一致ノイズパターンテンプレートNTmに含まれるノイズパターンに対応する画素の値を‘0’に書き換える。あるいは、ノイズパターンに対応する画素の値をエッジパターン画像の平均画素値若しくは平均画素値から所定のオフセット値を差し引いた値に書き換えてもよい。また、ノイズパターンテンプレートとして、上記のような多値の画素値を有するものを用いる場合には、エッジパターン画像と一致ノイズパターンテンプレートNTmについて、一致度が最も高くなるように位置合わせを行い、エッジパターン画像から、そのノイズパターンテンプレートNTmの対応する画素の値を引いてもよい。このような書き換えを行うことにより、エッジパターン画像上で、ノイズパターンに起因する大きな画素値(差分値)を有するエッジ画素を除去することができる。そして、ノイズパターン除去手段36は、上記のような書き換えを行った画像をノイズ除去画像とし、処理部3の他の手段で利用できるように、制御手段31を構成するRAM又は記憶手段33に一時的に記憶する。なお、ノイズパターン検出手段35において、所定の基準を満たすノイズパターンテンプレートが見つからない場合には、ノイズパターン除去手段36は、画素の書き換えを行わず、エッジパターン画像をそのままノイズ除去画像とする。
文字パターン検出手段37は、記憶手段33から文字パターンテンプレートを取得し、ノイズ除去画像との間でパターンマッチングを行って、ワーク5に刻印された文字列情報に含まれる各文字を認識する。ここで、文字列中の複数の箇所に含まれる可能性のある文字を最初に認識すると、文字列中のどの文字が認識されたのかを確定することができない。そのため、他の文字の認識を行う場合には、改めて文字列情報が含まれている可能性のある領域全体を対象としてパターンマッチングを行わなければならず、演算処理量が多くなる。また、個々に認識された文字の位置を後で比較して、文字の並び順を調べる処理を別途行うことが必要となる。そこで、文字パターン検出手段37は、文字列情報中の位置を最も一意に決定し易い文字を基準文字として最初に認識する。そして、他の文字については、文字パターン検出手段37は、認識しようとする文字と基準文字との相対的な位置関係に基づいて探索領域を限定し、その限定された探索領域内でパターンマッチングを行って、その文字を認識する。このようにして認識を行うことにより、認識された各文字の位置関係も予め分かっているため、文字の並び順を改めて調べる必要がない。
再度図2を参照すると、本実施形態では、ワーク5上には、認識対象となる文字列情報として、3行の文字列が含まれ、各行が複数の文字を含んでいる。このうち、製造年月日情報202の製造年を表す文字204のみがアルファベット文字であり、それ以外は、全て数字である。そこで、文字パターン検出手段37は、製造年を表すアルファベット文字204を基準文字として、最初に認識する。その後、製造年月日情報202の他の文字及び型番情報201の各文字を、文字の並び順に従って認識する。
なお、文字パターン検出手段37は、ノイズパターン検出手段35と同様に、パターンマッチングにより、ノイズ除去画像と各文字パターンテンプレートの相対的な位置及び角度を探索領域内で変更しつつ一致度を求め、その一致度が最大となるときの文字パターンテンプレート及びその位置を求める。そして、一致度が最大となるとき、すなわち、ノイズ除去画像と文字パターンテンプレートが最良の一致となるとき、その文字パターンテンプレートが表す文字がワーク5に刻印されているものとする。また、文字パターン検出手段37は、文字パターンテンプレートの位置に基づいて、その文字の位置を決定する。なお、一致度(相関係数)は、例えば、上記の(1)式において、ノイズパターンテンプレートの代わりに文字パターンテンプレートを用い、エッジパターン画像の代わりにノイズ除去画像を用いることで求めることができる。
本実施形態では、基準文字からの横m文字、縦n文字離れた位置にある文字を認識する場合、探索領域は、以下のように設定される。まず、探索領域の中心画素(xc,yc)は、基準文字の中心座標を(x0,y0)とすると、上記のように、検査画像上で1文字当たりの画素数が横60画素、縦80画素であるため、xc=x0+60m、yc=y0+80nとなる。そして、探索領域は、(xc,yc)を中心として、上下左右方向にそれぞれ±30画素の広さを有する領域とする。例えば、図2に示すように、製造年月日情報202の左上端の文字に対して設定される探索領域205については、基準文字204から左側に2文字、上側に1文字の位置にあるので、xc=x0-120、yc=y0-80となる。
文字パターン検出手段37は、全ての文字について認識を終えると、基準位置からの方向及び距離、あるいは認識順に基づいて文字の並び順を決定する。そして、文字列情報を取得する。そして、文字パターン検出手段37は、取得した文字列情報を、良否判定手段38へ送信する。
良否判定手段38は、文字パターン検出手段37で取得された文字列情報に基づいて、ワーク5の良否を判定する。そのために、良否判定手段38は、良否判定の基準となる基準文字列情報を、文字列情報記憶部4から通信手段32を通じて取得する。基準文字列情報は、例えば、ワーク5の型番、現在ライン上を流れているワーク5の製造年月日の範囲である。そして、認識した文字列情報を、基準文字列情報に基づいて設定される一致条件と比較する。例えば、認識文字列情報のうちの型番情報を、基準文字列情報に含まれる型番情報と比較する。その比較の結果、1文字でも違っていれば、良否判定手段38はそのワーク5を不良品と判定する。
また、良否判定手段38は、認識した文字列情報に含まれる製造年月日情報が、実際には有り得ない日付(例えば、19月、80日など)の場合、あるいは、認識された製造年月日に相当するワーク5がライン上を流れている製造年月日の範囲を外れている場合(例えば、10月製造の部品のみがライン上に存在するはずなのに、認識された製造年月日が9月以前あるいは11月以降の場合)に、ワーク5を不良品と判定する。
良否判定手段38は、良否判定結果を、通信手段32を通じて操作表示部(図示せず)に送信し、ユーザにその結果を報知する。あるいは、生産ラインを管理するコンピュータ(図示せず)へ良否判定結果を送信し、不良と判断されたワーク5をラインから除去するようにしてもよい。このように、認識された文字情報から、ワーク5が生産ライン上を流れることが予定されているものか否かを判定することができるので、生産ライン上に誤って混入されてしまった部品を排除することができる。
文字列情報記憶部4は、生産ラインの管理又は制御に用いられるプログラマブルロジックコントローラ(PLC)またはPLCに接続されたハードディスクなどで構成され、生産ライン上を流れるワークの型番情報、製造年月日情報を記憶する。また、文字列情報記憶部4は、処理部3と通信回線を通じて接続され、互いにデータを送受信可能となっている。そして、処理部3からの要求に応じて、ワークの型番情報、製造年月日情報を処理部3に送信する。
図5及び図6を参照しつつ、本発明を適用した文字認識装置1が一つのワーク5に刻印された文字列情報を認識する際の動作について説明する。なお、文字認識装置1の動作は、処理部3の制御手段31によって制御される。
図5に示すように、検査が開始されると、撮像部2は、ワーク5の文字が刻印された面を撮影し、検査画像を取得する(ステップS101)。検査画像は、処理部3に送信される。そして、処理部3の特徴量検出手段34は、エッジ検出処理を行ってエッジパターン画像を作成する(ステップS102)。エッジパターン画像が作成されると、処理部3のノイズパターン検出手段35は、記憶手段33から1個以上のノイズパターンテンプレートを取得する(ステップS103)。そして、ノイズパターン検出手段35は、エッジパターン画像(あるいはエッジパターン画像を二値化した二値化エッジ画像)と各ノイズパターンテンプレートとの間でパターンマッチングを行い、一致度の最大値を求める(ステップS104)。また、一致度最大となるノイズパターンテンプレートを、一致ノイズパターンテンプレートNTmとして特定する。そして、その一致度の最大値が、所定の基準値以上か否かを判定する(ステップS105)。一致度の最大値が、所定の基準値以上の場合、処理部3のノイズパターン除去手段36は、エッジパターン画像から、一致ノイズパターンテンプレートNTmに示されたノイズパターンを除去し、ノイズ除去画像を作成する(ステップS106)。一方、ステップS105において、一致度の最大値が所定の基準値未満の場合、ノイズパターン除去手段36は、エッジパターン画像そのものをノイズ除去画像とする(ステップS107)。
図6に示すように、ノイズ除去画像が作成されると、処理部3の文字パターン検出手段37は、記憶手段33から文字パターンテンプレートを取得する(ステップS108)。そして、文字パターン検出手段37は、基準文字の種類に対応する文字パターンテンプレート(本実施形態では、アルファベット文字のうち、予め製造年の表記に用いられると分かっているもの)のみを用いて、ノイズ除去画像とパターンマッチングを行い、基準文字を認識し、その位置を決定する(ステップS109)。
基準文字の位置が決定されると、文字パターン検出手段37は、ワーク5上に刻印されている文字列に含まれる文字のうち、所定の順番に従って認識対象とする文字の位置を決定する(ステップS110)。なお、所定の順番は、例えば左上端の文字を最初とし、その後左から右に順に選択して右端の文字に到達したら、一段下の行に移動して再度左端の文字から順に選択するものとすることができる。認識対象の文字の位置が決定されると、文字パターン検出手段37は、基準文字からの距離及び方向に基づいてノイズ除去画像上に探索領域を設定する(ステップS111)。そして、文字パターン検出手段37は、その探索領域内で、各文字パターンテンプレートとノイズ除去画像とのパターンマッチングを行い、最良の一致を示す文字パターンテンプレートが表す文字として認識する(ステップS112)。
その後、文字パターン検出手段37は、ワーク5上に刻印されている全ての文字が認識されたか否かを判定する(ステップS113)。まだ認識されていない文字が有る場合には、制御をステップS110の前に戻し、ステップS110〜S113の処理を繰り返す。一方、ステップS113において、全ての文字が認識されたと判定されると、文字パターン検出手段37は、認識した各文字を、基準文字との位置関係あるいは検索順序に基づいて配列し、文字列情報を検出する(ステップS114)。
文字列情報が検出されると、処理部3の良否判定手段38は、文字列情報記憶部4からワーク5の型番、製造年月日の範囲など、ワーク5に刻印されているべき基準文字列情報を取得する(ステップS115)。そして、認識された文字列情報が、基準文字列情報に基づいて定められる所定の一致条件を満たすか否かを判定する(ステップS116)。なお、所定の一致条件を満たす場合とは、上記のように、認識された文字列情報と基準文字列情報が完全に一致する場合である。あるいは、認識された文字列情報が、基準文字列情報で定められる範囲に含まれる場合である。
ステップS116において、良否判定手段38は、認識された文字列情報が、所定の一致条件を満たすと判断した場合、ワーク5を良品と判定し、その結果を操作表示部などに出力する(ステップS117)。なお、認識された文字列情報に、複数の文字列情報が含まれる場合には、各文字列情報について一致条件を満たすか否か判定し、全ての文字列情報について所定の一致条件を満たす場合、ワーク5を良品と判定する。このように、複数の文字列情報を含む場合には、各文字列情報に対する一致条件は異なっていてもよい。一方、ステップS116において、認識された文字列情報が所定の一致条件を満たさない場合、良否判定手段38は、ワーク5を不良品と判定し、その結果を出力する(ステップS118)。
ステップS117若しくはステップS118の後、文字認識装置1は処理を終了する。
ステップS117若しくはステップS118の後、文字認識装置1は処理を終了する。
以上説明してきたように、本発明を適用した文字認識装置1は、ワーク5に刻印された文字列201、202とゲートの削り痕203とが重畳されていても、正確にワーク5に刻印された文字列を認識することができる。また、ワーク5に刻印されていることが想定される文字列の情報を取得して、認識された文字列との一致を調べることにより、そのワーク5が生産ライン上を流れることが予定されているものか否かを判定することができるので、生産ライン上に誤って混入されてしまった部品を排除することができる。
なお、上述してきた実施形態は、本発明を説明するためのものであり、本発明は、これらの実施形態に限定されるものではない。本発明は、認識対象の文字列と重畳するノイズの形状などが予め想定されるものについて、好適に適用することができる。
また、文字パターン検出手段37は、パターンマッチングに要する演算処理量を減らして処理速度を向上させるために、基準文字を検出する際、ノイズ除去画像について、解像度を1/2あるいは1/4に低下させた間引き画像を作成し、その間引き画像用にやはり解像度を低下させた文字パターンテンプレートを用いてパターンマッチングを行って、基準文字の大よその位置を決定するようにしてもよい。そして、決定された位置の近傍に探索領域を設定し、その探索領域内に限定してノイズ除去画像と文字パターンテンプレートのパターンマッチングを行う。同様に、ノイズパターン検出手段35も、解像度を低下させた間引き画像を用いたパターンマッチングを先に行って、ノイズパターンの探索を行う領域を限定するようにしてもよい。
さらに、良否判定手段38は、ワーク5を良品か不良品に分類するのではなく、ワーク5に刻印された型番情報に基づいて仕分けを行うものであってもよい。この場合、文字列情報記憶部4には、ライン上を流れることが予定されている複数の部品の型番情報をそれぞれ基準文字列情報として記憶させておく。良否判定手段38は、文字列情報記憶部4からそれら型番情報を取得し、ワーク5から認識した型番情報と比較して一致するものを検索する。そして、良否判定手段38は、一致する型番情報があれば、ワーク5はその一致した型番の製品であると判定する。一方、認識した型番情報が、文字列情報記憶部4から取得した何れの型番情報とも一致しない場合、良否判定手段38は、ワーク5を不良品と判定する。
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
1 文字認識装置
2 撮像部(画像取得手段)
3 処理部
31 制御手段
32 通信手段
33 記憶手段(ノイズパターン記憶手段、文字パターン記憶手段)
34 特徴量検出手段
35 ノイズパターン検出手段
36 ノイズパターン除去手段
37 文字パターン検出手段
38 良否判定手段
4 文字列情報記憶部
5 ワーク
2 撮像部(画像取得手段)
3 処理部
31 制御手段
32 通信手段
33 記憶手段(ノイズパターン記憶手段、文字パターン記憶手段)
34 特徴量検出手段
35 ノイズパターン検出手段
36 ノイズパターン除去手段
37 文字パターン検出手段
38 良否判定手段
4 文字列情報記憶部
5 ワーク
Claims (7)
- 文字が表記された被検査物を撮影した検査画像を取得する画像取得手段(2)と、
前記検査画像から、前記被検査物の表面に生じることが予め想定されるノイズの特徴を表す特徴画像を検出する特徴量検出手段(34)と、
前記ノイズに対応するノイズパターンを少なくとも一つ記憶するノイズパターン記憶手段(33)と、
前記特徴画像と、前記ノイズパターン記憶手段(33)から読み出された前記ノイズパターンを比較し、一致すると判定した場合に前記特徴画像から前記ノイズパターンを検出するノイズパターン検出手段(35)と、
前記特徴画像から、検出された前記ノイズパターンを除去するノイズパターン除去手段と(36)と、
複数の文字パターンを記憶する文字パターン記憶手段(33)と、
前記ノイズパターンが除去された前記特徴画像と、前記文字パターン記憶手段(33)から読み出された前記複数の文字パターンとを比較し、前記複数の文字パターンのうちの最も一致する文字パターンが表す文字を検出する文字パターン検出手段(37)と、
を有することを特徴とする文字認識装置。 - 前記ノイズパターンは、想定されるノイズのエッジパターン画像であり、
前記特徴量検出手段(34)は、前記検査画像のエッジパターン画像を求めて前記特徴画像とする、請求項1に記載の外観検査装置。 - 前記ノイズパターン検出手段(35)は、前記特徴画像と前記少なくとも一つのノイズパターンとのパターンマッチングを行い、前記少なくとも一つのノイズパターンと前記特徴画像の一致度が所定値以上となる場合、前記ノイズパターンを検出する、請求項1又は2に記載の文字認識装置。
- 前記文字パターン検出手段(37)は、前記被検査物に表記されるべき文字列に含まれる特定の位置の文字を基準文字として認識し、該基準文字と該文字列に含まれる他の文字との相対的な位置関係に基づいて探索領域を設定し、該探索領域内で前記文字パターンと前記ノイズパターンが除去された前記特徴画像とのパターンマッチングを行うことにより、該他の文字を認識する、請求項1〜3の何れか一項に記載の文字認識装置。
- 前記文字パターン検出手段(37)は、前記基準文字と前記文字列に含まれる他の文字との予め定められた相対的な位置関係に基づいて、認識した各文字の配列を決定することにより、文字列情報を取得する、請求項4に記載の文字認識装置。
- 前記被検査物上に表記されるべき文字列に関する基準文字列情報を記憶する文字列情報記憶部(4)と、
前記文字列情報が、前記基準文字列情報に基づいて定められる一致条件を満たすか否かを判定し、前記一致条件を満たす場合、前記被検査物が良品であると判定し、前記一致条件を満たさない場合、前記被検査物が不良品であると判定する良否判定手段(38)を有する、請求項5に記載の文字認識装置。 - 文字が表記された被検査物を撮影した検査画像を取得するステップと、
前記検査画像から、前記被検査物の表面に生じることが予め想定されるノイズの特徴を表す特徴画像を検出するステップと、
前記特徴画像と前記ノイズに対応するノイズパターンとを比較し、一致すると判定した場合に前記特徴画像から前記ノイズパターンを検出するステップと、
前記特徴画像から検出された前記ノイズパターンを除去するステップと、
前記ノイズパターンが除去された前記特徴画像と、複数の文字パターンとを比較し、前記複数の文字パターンのうちの最も一致する文字パターンが表す文字を検出するステップと、
を有することを特徴とする文字認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006299085A JP2008117126A (ja) | 2006-11-02 | 2006-11-02 | 文字認識装置及び文字認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006299085A JP2008117126A (ja) | 2006-11-02 | 2006-11-02 | 文字認識装置及び文字認識方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008117126A true JP2008117126A (ja) | 2008-05-22 |
Family
ID=39502992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006299085A Pending JP2008117126A (ja) | 2006-11-02 | 2006-11-02 | 文字認識装置及び文字認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008117126A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013025436A (ja) * | 2011-07-19 | 2013-02-04 | Fuji Xerox Co Ltd | 画像処理装置及びプログラム |
JP2020030722A (ja) * | 2018-08-24 | 2020-02-27 | ネットスマイル株式会社 | 帳票画像処理システム、帳票画像処理方法、および帳票画像処理プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08287186A (ja) * | 1995-04-17 | 1996-11-01 | N T T Data Tsushin Kk | 特徴抽出装置及び方法 |
JPH1166226A (ja) * | 1997-08-25 | 1999-03-09 | Toshiba Corp | 車両のナンバプレート認識装置 |
JP2002334301A (ja) * | 2001-05-11 | 2002-11-22 | Nippon Digital Kenkyusho:Kk | 2値イメージの特徴点抽出方法及び特徴点抽出プログラム |
JP2003099758A (ja) * | 2001-09-25 | 2003-04-04 | Hitachi Ltd | 基板の外観検査方法および装置 |
-
2006
- 2006-11-02 JP JP2006299085A patent/JP2008117126A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08287186A (ja) * | 1995-04-17 | 1996-11-01 | N T T Data Tsushin Kk | 特徴抽出装置及び方法 |
JPH1166226A (ja) * | 1997-08-25 | 1999-03-09 | Toshiba Corp | 車両のナンバプレート認識装置 |
JP2002334301A (ja) * | 2001-05-11 | 2002-11-22 | Nippon Digital Kenkyusho:Kk | 2値イメージの特徴点抽出方法及び特徴点抽出プログラム |
JP2003099758A (ja) * | 2001-09-25 | 2003-04-04 | Hitachi Ltd | 基板の外観検査方法および装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013025436A (ja) * | 2011-07-19 | 2013-02-04 | Fuji Xerox Co Ltd | 画像処理装置及びプログラム |
US9047535B2 (en) | 2011-07-19 | 2015-06-02 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method, and computer readable medium |
JP2020030722A (ja) * | 2018-08-24 | 2020-02-27 | ネットスマイル株式会社 | 帳票画像処理システム、帳票画像処理方法、および帳票画像処理プログラム |
JP2021140831A (ja) * | 2018-08-24 | 2021-09-16 | ネットスマイル株式会社 | 帳票画像処理システム、帳票画像処理方法、および帳票画像処理プログラム |
JP7026386B2 (ja) | 2018-08-24 | 2022-02-28 | ネットスマイル株式会社 | 帳票画像処理システム、帳票画像処理方法、および帳票画像処理プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11455482B2 (en) | Systems and methods for decoding two-dimensional matrix symbols with incomplete or absent fixed patterns | |
TWI536277B (zh) | Form identification method and device | |
CN103714338B (zh) | 图像处理装置和图像处理方法 | |
JP4756705B2 (ja) | バイオメトリクス・イメージングシステムおよび方法 | |
JP4493040B2 (ja) | 鋳出し文字認識装置 | |
CN105718931B (zh) | 用于确定采集图像中的杂斑的系统和方法 | |
US11450130B2 (en) | Animal identification based on unique nose patterns | |
TWI669519B (zh) | 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體 | |
CN109741314A (zh) | 一种零件的视觉检测方法及系统 | |
TWI608422B (zh) | Optical character recognition device, optical character recognition method, and recording medium | |
CN108109133B (zh) | 一种基于数字图像处理技术的蚕卵自动计数方法 | |
US8538170B2 (en) | System and method for document location and recognition | |
CN110598566A (zh) | 图像处理方法、装置、终端和计算机可读存储介质 | |
KR20240042143A (ko) | 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법 | |
JPWO2017141802A1 (ja) | 画像処理装置、文字認識装置、画像処理方法及びプログラム記録媒体 | |
CN106548107A (zh) | 条形码定位装置和条形码定位方法、以及条形码读取装置和条形码读取方法 | |
JP7062722B2 (ja) | 光学コードのモジュールサイズの特定 | |
US20150294129A1 (en) | Method and device for identifying a two-dimensional barcode | |
JP5045211B2 (ja) | 文字認識装置、外観検査装置及び文字認識方法 | |
CN113435219B (zh) | 防伪检测方法、装置、电子设备及存储介质 | |
JP2008117126A (ja) | 文字認識装置及び文字認識方法 | |
JP4872930B2 (ja) | 文字認識装置、そのような装置を備えた燃料ポンプモジュールの組み付け装置及び文字認識方法 | |
JP4492258B2 (ja) | 文字・図形の認識方法および検査方法 | |
KR20230101531A (ko) | 3d 레이저 프로파일러를 이용한 타이어 양각 문자 인식 방법 | |
JP2005250786A (ja) | 画像認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110823 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120124 |