JP2008152555A - 画像認識方法及び画像認識装置 - Google Patents
画像認識方法及び画像認識装置 Download PDFInfo
- Publication number
- JP2008152555A JP2008152555A JP2006340176A JP2006340176A JP2008152555A JP 2008152555 A JP2008152555 A JP 2008152555A JP 2006340176 A JP2006340176 A JP 2006340176A JP 2006340176 A JP2006340176 A JP 2006340176A JP 2008152555 A JP2008152555 A JP 2008152555A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- coordinates
- pattern matching
- degree
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】パターンの変形や位置ずれによらずに、パターンマッチングの頑健性や、信頼性を向上させることができる画像認識方法及び画像認識装置を提供する。
【解決手段】画像認識装置は、作業者がワークに形成すべきパターンの一部を認識対象パターンP1として特定したら、この認識対象パターンP1を自動的に複数の部分パターンA1,A12・・・に分割し、認識対象パターンP1に対する部分パターンの相対位置Ap1,Ap12,・・・を算出する。入力画像から認識対象パターンP1と合致するパターンをサーチする際には、部分パターンA1ごとにサーチを行い、部分パターンA1のパターン合致度が閾値を越えたときには、その位置から相対位置Ap1だけずれた位置にパターン合致度を加算していく。
【選択図】図2
【解決手段】画像認識装置は、作業者がワークに形成すべきパターンの一部を認識対象パターンP1として特定したら、この認識対象パターンP1を自動的に複数の部分パターンA1,A12・・・に分割し、認識対象パターンP1に対する部分パターンの相対位置Ap1,Ap12,・・・を算出する。入力画像から認識対象パターンP1と合致するパターンをサーチする際には、部分パターンA1ごとにサーチを行い、部分パターンA1のパターン合致度が閾値を越えたときには、その位置から相対位置Ap1だけずれた位置にパターン合致度を加算していく。
【選択図】図2
Description
本発明は、パターンの合致度からパターンのサーチを行う画像認識方法及び画像認識装置に関する。
生産ラインなどで、ワークに形成したパターンの検査を行う際には、パターンの認識を行う必要がある。この場合には、ワーク表面の画像を撮影し、ワークに形成すべきパターン(テンプレート)との合致具合の評価値(以下、パターン合致度)を調べ、この合致度が予め設定されている閾値を越えた場合には、パターンが一致したとみなされる。
ここで、従来のパターンマッチング方法においては、全てのパターンを登録し、全てのパターンの合致得点を足し合わせていた。また、このような手法では、メモリ数が大量に必要になり、膨大な処理時間がかかるので、テンプレートとしてワークの画像よりも小さいサイズの部分パターンを複数用意して、この部分パターンを用いてパターンサーチを行うものがある(例えば、特許文献1参照)。これら部分パターンは、ワークの画像の所定位置に形成されるパターン(認識対象パターン)に対応するもので、各部分パターンの全ての合致度を算出し、これらの合計値が閾値を越えた場合には、ワークのパターンが一致したとみなす。このようにしてパターンマッチングを行うと、テンプレートの情報量を削減できるので、処理速度が向上する。
特開昭62−210596号公報
ここで、従来のパターンマッチング方法においては、全てのパターンを登録し、全てのパターンの合致得点を足し合わせていた。また、このような手法では、メモリ数が大量に必要になり、膨大な処理時間がかかるので、テンプレートとしてワークの画像よりも小さいサイズの部分パターンを複数用意して、この部分パターンを用いてパターンサーチを行うものがある(例えば、特許文献1参照)。これら部分パターンは、ワークの画像の所定位置に形成されるパターン(認識対象パターン)に対応するもので、各部分パターンの全ての合致度を算出し、これらの合計値が閾値を越えた場合には、ワークのパターンが一致したとみなす。このようにしてパターンマッチングを行うと、テンプレートの情報量を削減できるので、処理速度が向上する。
しかしながら、このような従来の方法では、認識対象パターンの一部に変形や、欠け、汚れなどがあった場合、あるいは認識対象パターンの一部が視野外にあった場合には、パターン合致度が下がり、閾値の設定によっては、パターンを検出することができなくなる。このような不具合を避けるために閾値を下げると、認識対象パターン以外のパターンを、あたかも認識対象パターンであるかのように認識してしまう危険性が高くなる。また、パターン合致度が低い場合には、認識対象パターンの一部が合致しないことが理由でパターン合致度が低いのか、認識対象以外のものを誤検出したためにパターン合致度が低いのか、といった区別をすることができなかった。
この発明は、このような事情に鑑みてなされたものであり、その目的とするところは、パターンの変形や位置ずれによらずに、パターンマッチングの頑健性や、信頼性を向上させることである。
この発明は、このような事情に鑑みてなされたものであり、その目的とするところは、パターンの変形や位置ずれによらずに、パターンマッチングの頑健性や、信頼性を向上させることである。
上記の課題を解決する本発明の請求項1に係る発明は、入力画像に対してパターンマッチングを行い、パターン合致度の高い位置を基準にして画像を認識する画像認識方法であって、前記入力画像と対比させるパターンの一部を認識対象パターンとして特定する工程と、前記認識対象パターンを分割して、その各々を部分パターンとして記憶するとともに、前記認識対象パターンの所定画素に対する前記部分パターンの相対位置を、各部分パターンごとに算出する工程と、前記入力画像に対して前記部分パターン毎にパターンマッチング処理を行い、前記部分パターンとのパターン合致度が予め設定された閾値よりも高い場合に、その場所から前記相対位置だけずらした座標を算出し、この座標と前記パターン合致度とを関連付けて記憶する工程と、前記座標ごとに前記パターン合致度の合計得点を算出する工程と、を備えることを特徴とする画像認識方法とした。
この画像認識方法では、部分パターンのパターン合致度が閾値以上のときに、認識対象パターンの所定画素に対応する座標にパターン合致度を格納する。この座標には、他の部分パターンのパターン合致度が閾値以上の場合に、そのパターン合致度も格納される。そして、全ての部分パターンのパターンマッチングを行い、座標ごとに、格納された全てのパターン合致度を加算し、最もパターン合致度の合計値が大きい座標を、認識対象パターンの位置とする。そして、この位置を基準として、入力画像の各パターンの位置が特定される。
この画像認識方法では、部分パターンのパターン合致度が閾値以上のときに、認識対象パターンの所定画素に対応する座標にパターン合致度を格納する。この座標には、他の部分パターンのパターン合致度が閾値以上の場合に、そのパターン合致度も格納される。そして、全ての部分パターンのパターンマッチングを行い、座標ごとに、格納された全てのパターン合致度を加算し、最もパターン合致度の合計値が大きい座標を、認識対象パターンの位置とする。そして、この位置を基準として、入力画像の各パターンの位置が特定される。
請求項2に係る発明は、請求項1に記載の画像認識方法において、前記パターン合致度が前記閾値を越えた回数を投票数とし、この投票数をその前記座標ごとに加算する工程と、前記投票数が規定値以上である前記座標について、前記座標における前記合計得点を前記投票数で割って総合合致度を算出する工程と、を備え、前記総合合致度が最も高い座標を前記認識対象パターンの位置とすることを特徴とする。
この画像認識方法では、パターン合致度が格納される座標に対して、投票を行い、全ての部分パターンによるパターンマッチングを行い、各座標についての投票数を集計する。集計の結果、投票数が規定値を超えた座標に対してのみ総合合致度を算出し、総合合致度が最も大きい座標を、認識対象パターンの位置とする。
この画像認識方法では、パターン合致度が格納される座標に対して、投票を行い、全ての部分パターンによるパターンマッチングを行い、各座標についての投票数を集計する。集計の結果、投票数が規定値を超えた座標に対してのみ総合合致度を算出し、総合合致度が最も大きい座標を、認識対象パターンの位置とする。
請求項3に係る発明は、請求項2に記載の画像認識方法において、前記パターン合致度が閾値以上の前記座標から離れるごとに減少する係数を前記パターン合致度に掛け合わして補正値を算出し、この補正値をその離れた位置に相当する座標に対するパターン合致度として記憶する工程と、前記補正値が算出された座標に対して前記投票数を一様に加算する工程と、をさらに備えることを特徴とする。
この画像認識方法では、部分パターンのパターン合致度が閾値を越えたとき、これに対応する座標にパターン合致度を格納するとともに、その周辺の座標にも補正されたパターン合致度を格納する。補正されたパターン合致度は、部分パターンの合致位置に対応する座標から離れるにつれて徐々に減少するような値をとり、これらの値も総合合致度の算出に使用される。また、補正されたパターン合致度が格納される座標に対しては、総合合致度の算出において考慮されるように、投票数が一様に加算される。
この画像認識方法では、部分パターンのパターン合致度が閾値を越えたとき、これに対応する座標にパターン合致度を格納するとともに、その周辺の座標にも補正されたパターン合致度を格納する。補正されたパターン合致度は、部分パターンの合致位置に対応する座標から離れるにつれて徐々に減少するような値をとり、これらの値も総合合致度の算出に使用される。また、補正されたパターン合致度が格納される座標に対しては、総合合致度の算出において考慮されるように、投票数が一様に加算される。
請求項4に係る発明は、前記部分パターンは、複数の組み合わせによって特徴的なパターンを形成することを特徴とする請求項1から請求項3のいずれか一項に記載の画像認識方法とした。
この画像認識方法では、個々の部分パターンは、必ずしも特徴的な形状である必要はなく、複数の部分パターンを組み合わせた際に、入力画像が認識できるようなパターンになっている。
この画像認識方法では、個々の部分パターンは、必ずしも特徴的な形状である必要はなく、複数の部分パターンを組み合わせた際に、入力画像が認識できるようなパターンになっている。
請求項5に係る発明は、入力画像に対してパターンマッチングを行い、パターン合致度の高い位置を基準にして画像を認識する画像認識装置であって、前記入力画像と対比させるパターンの一部を認識対象パターンとし、この認識対象パターンを分割して部分パターンを作成し、前記認識対象パターンの所定画素に対する前記部分パターンの各々の相対位置を算出し、記憶する記憶手段と、前記部分パターン毎に前記入力画像とのパターン合致度を算出し、そのパターン合致度のうち予め設定されている閾値を越える前記パターン合致度の値を、その場所から前記相対位置だけずらした座標を算出し、前記座標とそのパターン合致度とを対応付けて記憶する得点集計手段と、前記座標ごとに前記パターン合致度の合計得点を計算する手段と、を備えることを特徴とする画像認識装置とした。
この画像認識装置では、部分パターンのパターン合致度が閾値以上のときに、認識対象パターンの所定画素に対応する座標を算出し、この座標に対応して予め確保されている得点集計手段のメモリに、算出したパターン合致度を格納する。そして座標ごとにパターンが合致度を合計し、最もパターン合致度の合計値が大きい座標を、認識対象パターンの位置とする。
この画像認識装置では、部分パターンのパターン合致度が閾値以上のときに、認識対象パターンの所定画素に対応する座標を算出し、この座標に対応して予め確保されている得点集計手段のメモリに、算出したパターン合致度を格納する。そして座標ごとにパターンが合致度を合計し、最もパターン合致度の合計値が大きい座標を、認識対象パターンの位置とする。
請求項6に係る発明は、請求項5に記載の画像認識装置において、前記パターン合致度が前記閾値を越えた回数を投票数として算出し、この投票数を前記座標に対応付けて記憶する投票数集計手段と、前記投票数が規定値以上である前記座標について、前記座標における前記合計得点を前記投票数で割って、総合合致度を算出する手段と、を備え、前記総合合致度の最も高い前記座標を前記認識対象パターンの位置とするように構成されていることを特徴とする。
この画像認識装置では、パターン合致度が座標に格納されるごとに、その座標に対応して予め確保されている投票数集計手段のメモリに、投票数として、例えば「1」が格納される。そして、座標ごとの投票数を集計し、投票数が規定値を超えた座標に対してのみ総合合致度を算出し、総合合致度が最も大きい座標を、認識対象パターンの位置とする。
この画像認識装置では、パターン合致度が座標に格納されるごとに、その座標に対応して予め確保されている投票数集計手段のメモリに、投票数として、例えば「1」が格納される。そして、座標ごとの投票数を集計し、投票数が規定値を超えた座標に対してのみ総合合致度を算出し、総合合致度が最も大きい座標を、認識対象パターンの位置とする。
請求項7に係る発明は、請求項5又は請求項6に記載の画像認識装置において、前記得点集計手段は、前記入力画像のメモリ数よりも大きいメモリを有することを特徴とする。
この画像認識装置では、得点集計手段は、入力画像よりも広い領域でパターン合致度を格納できるようになっている。このため、入力画像上のパターンの位置が何らかの理由によって大きくずれていた場合でも、パターンの合致度の評価が行える。
この画像認識装置では、得点集計手段は、入力画像よりも広い領域でパターン合致度を格納できるようになっている。このため、入力画像上のパターンの位置が何らかの理由によって大きくずれていた場合でも、パターンの合致度の評価が行える。
本発明によれば、認識対象パターンを複数に分割して部分パターンを作成し、部分パターンごとにパターン合致度を調べ、パターン合致度が閾値を越えていた場合には、その位置から算出される認識対象パターンの所定画素に、パターン合致度を加算するようにしたので、入力画像側のパターンの一部が欠損したり、変形したりしていた場合や、パターンの一部しか撮像できなかった場合でも、複数の部分パターンから得られるパターン合致度の合計値に基づいて画像認識をすることができ、頑健で信頼性のあるパターンサーチが可能になる。これにより、作業効率が向上する。
さらに、パターン合致度を加算する際に、投票数も加算し、この投票数が規定値を超えたものに対して、総合合致度を算出するようにすると、パターンが合致した回数が少なくても、平均的なパターン合致度が高い場合には、そのような場所をパターンが一致する場所として認識することが可能になり、さらに信頼性が向上する。
また、パターン合致度を加算するさいに、その周囲に補正値を加算することで、微小な位置ずれの影響を抑えることができ、頑健性、及び信頼性が向上する。
さらに、パターン合致度を加算する際に、投票数も加算し、この投票数が規定値を超えたものに対して、総合合致度を算出するようにすると、パターンが合致した回数が少なくても、平均的なパターン合致度が高い場合には、そのような場所をパターンが一致する場所として認識することが可能になり、さらに信頼性が向上する。
また、パターン合致度を加算するさいに、その周囲に補正値を加算することで、微小な位置ずれの影響を抑えることができ、頑健性、及び信頼性が向上する。
発明を実施するための最良の形態について図面を参照しながら詳細に説明する。
図1は、本発明の実施の形態における画像認識装置をパターンサーチ装置に適用した場合のシステムの概略構成を示す。
パターンサーチ装置1は、表示手段であるモニタ2と、画像取込部3と、CPUなどからなる演算部4と、キーボード5、マウス6などの入力手段と、ハードディスク、メモリなどの保存部7とを備えている。さらに、画像取込部3には、撮像部8が接続されており、ワークの画像データを取り込めるようになっている。このようなパターンサーチ装置1は、例えば、パーソナルコンピュータなどに、所定のプログラムを実行可能にインストールすると共に、画像取込部3を装着し、撮像部8を接続することで実現される。なお、パターンサーチ装置1に不図示のデータ読取装置や、データ通信装置を設け、必要なデータを外部から取得できるようにしても良い。
図1は、本発明の実施の形態における画像認識装置をパターンサーチ装置に適用した場合のシステムの概略構成を示す。
パターンサーチ装置1は、表示手段であるモニタ2と、画像取込部3と、CPUなどからなる演算部4と、キーボード5、マウス6などの入力手段と、ハードディスク、メモリなどの保存部7とを備えている。さらに、画像取込部3には、撮像部8が接続されており、ワークの画像データを取り込めるようになっている。このようなパターンサーチ装置1は、例えば、パーソナルコンピュータなどに、所定のプログラムを実行可能にインストールすると共に、画像取込部3を装着し、撮像部8を接続することで実現される。なお、パターンサーチ装置1に不図示のデータ読取装置や、データ通信装置を設け、必要なデータを外部から取得できるようにしても良い。
次に、パターンサーチ装置1を用いた処理について説明する。
まず、パターンサーチを行うにあたり、比較対象として用いる認識対象パターンと、それを分割した部分パターンとを登録する。認識対象パターンと、部分パターンとについて、図2を参照して説明する。テンプレート20は、ワーク上に形成するパターンの設計パターンに相当するもので、隅部を座標原点として、そこから直交座標でパターンの位置を特定できるようになっている。認識対象パターンP1とは、実際に製造したワーク上にパターンマッチングをかけてパターンの位置を特定する際に、基準として着目する領域であり、テンプレート20の一部である。認識対象パターンP1は、アライメントマークや、他のパターンと区別しやすい形状を含む特徴的な部分であることが望ましい。
また、部分パターンA1〜A12は、認識対象パターンP1を格子状に12個に分割したそれぞれのパターンである。個々の部分パターンA1〜A12は、それぞれが特徴的なパターンからなる必要はなく、認識対象パターンP1全体として特徴的なパターンになっていれば良い。つまり、少なくとも1つの部分パターンA1〜A12は、他の領域のパターンにも含まれるような直線等から構成されても良い。なお、部分パターンA1〜A12の形状や、数は、図2に限定されず、12個以上であっても良いし、長方径以外の形状であっても良い。
まず、パターンサーチを行うにあたり、比較対象として用いる認識対象パターンと、それを分割した部分パターンとを登録する。認識対象パターンと、部分パターンとについて、図2を参照して説明する。テンプレート20は、ワーク上に形成するパターンの設計パターンに相当するもので、隅部を座標原点として、そこから直交座標でパターンの位置を特定できるようになっている。認識対象パターンP1とは、実際に製造したワーク上にパターンマッチングをかけてパターンの位置を特定する際に、基準として着目する領域であり、テンプレート20の一部である。認識対象パターンP1は、アライメントマークや、他のパターンと区別しやすい形状を含む特徴的な部分であることが望ましい。
また、部分パターンA1〜A12は、認識対象パターンP1を格子状に12個に分割したそれぞれのパターンである。個々の部分パターンA1〜A12は、それぞれが特徴的なパターンからなる必要はなく、認識対象パターンP1全体として特徴的なパターンになっていれば良い。つまり、少なくとも1つの部分パターンA1〜A12は、他の領域のパターンにも含まれるような直線等から構成されても良い。なお、部分パターンA1〜A12の形状や、数は、図2に限定されず、12個以上であっても良いし、長方径以外の形状であっても良い。
このような認識対象パターンP1と部分パターンA1〜A12との登録処理について、図3のフローチャートに示す。まず、パターンサーチ装置1の使用者は、テンプレート20を保存部7から読み取らせ、モニタ2に表示させ、テンプレート20の画像全体の中から認識対象パターンP1を指定する(ステップS31)、認識対象パターンP1の座標は、キーボード5から座標を入力したり、画面上に表示される矩形の枠の位置や、大きさをマウス6で調整したりすることで特定する。認識対象パターンP1を決定したら、その座標が演算部4に取り込まれる。
演算部4は、認識対象パターンP1の座標を取り込んだら、認識対象パターンP1を自動的に複数の領域に分割する(ステップS32)。この分割処理は、演算部4に予め登録されている条件に従って行われるが、使用者がその都度設定できるようにしても良い。そして、分割した領域のそれぞれが部分パターンA1〜An(nは分割数で正の整数、図2の例ではn=12)として保存部7に記憶される(ステップS33)。
さらに、演算部4は、各部分パターンA1〜Anについて、認識対象パターンP1の基準位置からの相対位置Ap1〜Apnを演算し、これら相対位置Ap1〜Apnと、各部分パターンA1〜Anとを対応付けて保存する(ステップS33)。図2の例では、認識対象パターンP1の基準位置は、認識対象パターンP1の中心画素(所定画素)の座標に設定されており、相対位置Ap1〜Ap12は、部分パターンA1〜A12の中心画素までの距離及び方向とする。しかしながら、基準位置や、部分パターンA1〜Anの位置の取り方は、任意に設定することができる。
さらに、演算部4は、各部分パターンA1〜Anについて、認識対象パターンP1の基準位置からの相対位置Ap1〜Apnを演算し、これら相対位置Ap1〜Apnと、各部分パターンA1〜Anとを対応付けて保存する(ステップS33)。図2の例では、認識対象パターンP1の基準位置は、認識対象パターンP1の中心画素(所定画素)の座標に設定されており、相対位置Ap1〜Ap12は、部分パターンA1〜A12の中心画素までの距離及び方向とする。しかしながら、基準位置や、部分パターンA1〜Anの位置の取り方は、任意に設定することができる。
次に、登録した部分パターンA1〜Anを用いて、認識対象パターンP1のサーチを行う処理について、図4のフローチャートと、図4の処理の一部を模式的に示した図5から図8を参照しつつ説明する。
まず、演算部4は、得点集計手段である得点集計メモリ30を確保する(ステップS41)。このとき、図5に示すように、得点集計メモリ30のサイズは、ワークから取り込む表面画像(入力画像31)の全体のサイズ、つまり撮像部8の視野よいも大きい。具体的には、認識対象パターンP1の大きさだけ上下左右に広い領域が確保されるようなサイズとする。これは、認識対象パターンP1に相当するワーク上のパターンの一部が、撮像部8の視野外にあった場合に備えるためである。
さらに、演算部4は、投票数集計手段である投票数集計メモリ40を確保する(ステップS42)。図6に示すように、投票数集計メモリ40のサイズは、入力画像31よりも大きく、具体的には得点集計メモリ30のサイズと同じになっている。
まず、演算部4は、得点集計手段である得点集計メモリ30を確保する(ステップS41)。このとき、図5に示すように、得点集計メモリ30のサイズは、ワークから取り込む表面画像(入力画像31)の全体のサイズ、つまり撮像部8の視野よいも大きい。具体的には、認識対象パターンP1の大きさだけ上下左右に広い領域が確保されるようなサイズとする。これは、認識対象パターンP1に相当するワーク上のパターンの一部が、撮像部8の視野外にあった場合に備えるためである。
さらに、演算部4は、投票数集計手段である投票数集計メモリ40を確保する(ステップS42)。図6に示すように、投票数集計メモリ40のサイズは、入力画像31よりも大きく、具体的には得点集計メモリ30のサイズと同じになっている。
ここで、分割数nを1に設定し(ステップS43)、分割数n=1の部分パターンA1と合致するパターンが入力画像内に存在するか否かをサーチする(ステップS44から進むステップS45)。サーチは、入力画像31において、部分パターンA1と同じサイズの画像を抽出し、この画像と部分パターンA1とのパターン合致度を調べるもので、公知のパターンマッチング方法を用い、例えば、ピクセル毎の濃淡が合致するか否かを調べ、合致する割合がパターン合致度となる。全てが一致する場合には、100点とし、70%一致する場合には、70点とする。
この処理は、入力画像31の全体に対してサーチが完了するまで行い(ステップS46)、パターン合致度が予め設定されている閾値以上であった場合には(ステップS47においてYes)、入力画像31上の部分パターンA1のサーチ位置から、相対位置Ap1だけずらした座標(合致座標)を計算する(ステップS48)。この合致座標は、図2に示す認識対象パターンP1の基準位置に相当するもので、後に計算する他の部分パターンA2〜Anでの合致度が同じ場所に加算されることになる。また、ステップS47における閾値は、例えば、パターン合致度70点以上とする。このようにすることで、パターン合致度の低い領域を合致座標の候補から効果的に除外することが可能になる。
この処理は、入力画像31の全体に対してサーチが完了するまで行い(ステップS46)、パターン合致度が予め設定されている閾値以上であった場合には(ステップS47においてYes)、入力画像31上の部分パターンA1のサーチ位置から、相対位置Ap1だけずらした座標(合致座標)を計算する(ステップS48)。この合致座標は、図2に示す認識対象パターンP1の基準位置に相当するもので、後に計算する他の部分パターンA2〜Anでの合致度が同じ場所に加算されることになる。また、ステップS47における閾値は、例えば、パターン合致度70点以上とする。このようにすることで、パターン合致度の低い領域を合致座標の候補から効果的に除外することが可能になる。
さらに、演算部4は、この合致座標に対応する得点集計メモリ30のアドレスにパターン合致度を格納し、既に格納されているパターン合致度があれば、それに加算する(ステップS49)。なお、最初の部分パターンA1では、最初にパターン合致度が格納されることになるので加算はされない。
また、合致座標の周辺について、パターン合致度に、合致座標からの距離に応じて重み付けを行い、パターン合致度の補正値を算出し、対応する得点集計メモリ30のアドレスに、この補正値を格納し、既に格納されているパターン合致度があれば、それに加算する(ステップS50)。補正値の計算にあたっては、例えば、図6に示すような確率密度関数f1を予め登録しておき、パターン合致度を上限値として、合致座標から離れるに従って減衰したパターン合致度が補正値として得られるようにしておく。この結果、図5に斜線で示すようなパターンA1のサーチ位置に対して、相対位置Ap1だけずれた合致座標C1にパターン合致度が格納され、この合致座標を中心として所定半径r1の領域(周辺)内に、合致座標から離れるに従って徐々に減少する補正値が格納される。なお、図6に示す確率密度関数f1は、パターン合致度が大きくなっても、分布の幅は一定になるので、得点集計メモリ30において1つの合致座標に対する得点分布の大きさは常に一定になる。しかしながら、減衰率を一定にして合致度が大きくなるに従って分布の幅が広がるようにしても良い。また、確率密度関数f1の代わりに三角波形を用いても良い。
また、合致座標の周辺について、パターン合致度に、合致座標からの距離に応じて重み付けを行い、パターン合致度の補正値を算出し、対応する得点集計メモリ30のアドレスに、この補正値を格納し、既に格納されているパターン合致度があれば、それに加算する(ステップS50)。補正値の計算にあたっては、例えば、図6に示すような確率密度関数f1を予め登録しておき、パターン合致度を上限値として、合致座標から離れるに従って減衰したパターン合致度が補正値として得られるようにしておく。この結果、図5に斜線で示すようなパターンA1のサーチ位置に対して、相対位置Ap1だけずれた合致座標C1にパターン合致度が格納され、この合致座標を中心として所定半径r1の領域(周辺)内に、合致座標から離れるに従って徐々に減少する補正値が格納される。なお、図6に示す確率密度関数f1は、パターン合致度が大きくなっても、分布の幅は一定になるので、得点集計メモリ30において1つの合致座標に対する得点分布の大きさは常に一定になる。しかしながら、減衰率を一定にして合致度が大きくなるに従って分布の幅が広がるようにしても良い。また、確率密度関数f1の代わりに三角波形を用いても良い。
さらに、演算部4は、投票数集計メモリ40に投票を行う(ステップS51)。具体的には、投票数集計メモリ40において、合致座標に対応するアドレスに「1」を格納し、加算する。さらに、パターン合致度の補正値が算出された周辺の座標に対しては、減衰した値を使用せずに「1」をそのまま格納し、加算する。この結果、図7に示すように、部分パターンA1のサーチ位置に対して、相対位置Ap1だけずれた合致座標C1と中心として、半径r1の領域内に一様に投票数「1」が格納される。
ここまでの処理が終了したら、ステップS46に戻り、入力画像の全体に対してサーチが終了するまで、部分パターンA1についての処理を繰り返す。図5に示すように、この間、合致座標C1の他に、合致得点が70点以上となる合致座標C2,C3があった場合には、そのそれぞれについて、合致座標C2,C3と、そのパターン合致度に応じた補正点が、対応するアドレスに格納される。右下の合致座標C3では、相対位置Ap1だけずらした位置は入力画像31外になるが、得点集計メモリ30は、十分な大きさが確保されているので、入力画像31の領域外であっても、そのような位置に対応するアドレスにパターン合致度が格納される。同様に、図7に示す投票数集計メモリ40には、合致座標C2,C3を中心とする3つの円内に一様に投票が行われる。
ここまでの処理が終了したら、ステップS46に戻り、入力画像の全体に対してサーチが終了するまで、部分パターンA1についての処理を繰り返す。図5に示すように、この間、合致座標C1の他に、合致得点が70点以上となる合致座標C2,C3があった場合には、そのそれぞれについて、合致座標C2,C3と、そのパターン合致度に応じた補正点が、対応するアドレスに格納される。右下の合致座標C3では、相対位置Ap1だけずらした位置は入力画像31外になるが、得点集計メモリ30は、十分な大きさが確保されているので、入力画像31の領域外であっても、そのような位置に対応するアドレスにパターン合致度が格納される。同様に、図7に示す投票数集計メモリ40には、合致座標C2,C3を中心とする3つの円内に一様に投票が行われる。
部分パターンA1についてのサーチが終了したら(ステップS46においてYes)、分割数nを1つインクリメントしてから(ステップS52)、ステップS44に戻り、部分パターンA2について同様の処理を行う。以降は、各部分パターンA2〜Anについて、入力画像31とのパターン合致度を算出し、パターン合致度の加算と、投票とを行う。例えば、部分パターンA2のサーチ位置から相対位置Ap2だけずらした合致座標が、部分パターンA1についての合致座標と一致する場合には、その座標に対応するアドレスには部分パターンA1についてのパターン合致度と、部分パターンA2についてのパターン合致度とが加算される。
全ての部分パターンA1〜Anについてのサーチが終了したら(ステップS44においてNo)、得点集計メモリ30の全メモリと、投票数集計メモリ40との全メモリのそれぞれに基づいて、総合合致度を計算する(ステップS53)。例えば、合致座標C1における総合合致度は、
〔総合合致度〕=〔得点集計メモリ30上の合致座標C1における合致度の和〕/〔投票数集計メモリ40上の合致座標C1での投票数の和〕
で計算できる。ただし、投票数が予め設定されている規定値未満の場合には、総合合致度はゼロとする。ここでの規定値は、分割数nの1/3程度であることが望ましい。
〔総合合致度〕=〔得点集計メモリ30上の合致座標C1における合致度の和〕/〔投票数集計メモリ40上の合致座標C1での投票数の和〕
で計算できる。ただし、投票数が予め設定されている規定値未満の場合には、総合合致度はゼロとする。ここでの規定値は、分割数nの1/3程度であることが望ましい。
例えば、図8に模式的に示すような得点集計メモリ30、及び投票数集計メモリ40が得られた場合を考える。この図8において、1つの円は、各部分パターンA1〜An内の1つが1回合致したことを示している。合致座標C3は、円が2重に重なっている領域であるが、これら円内のそれぞれの合致得点が高い場合であっても、投票数が2しかないので総合合致度は計算されない。これに対して位置C1、及び位置C2は、それぞれの円の重なりが規定値の4を越えているので、総合合致度が計算される。位置C1は、複数の部分パターンA1〜A5のうちの5個が合致したところである。例えば、位置C1の5回分の合計得点が370(=70+75+70+75+80)である場合には、総合合致度は、74(=370/5)になる。位置C2の4回分の合計得点が360(=85+90+95+90)である場合には、総合合致度は、90(=360/4)になる。合計得点及び投票数は、位置C1の方が多いが、投票数を加味することで、各部分パターンA1〜Anにおける合致得点が平均的に高い位置C2の方が、総合合致度が高くなる。
そして、総合合致度が最も高い場所が認識対象パターンP1のサーチ位置とみなされる(ステップS54)。
そして、総合合致度が最も高い場所が認識対象パターンP1のサーチ位置とみなされる(ステップS54)。
認識対象パターンP1のサーチ位置が特定されたら、この位置を基準として、入力画像の他のパターンの評価を行う。例えば、サーチ位置に近接する配線パターンであれば、サーチ位置からの距離が予め登録されているので、サーチ位置からの距離を計測することで配線パターンの位置を特定し、さらに、サーチ位置からの距離の差によって、配線の幅などを計測する。このことから、認識対象パターンは、測定しようする領域に近接する部分を登録しておくことが好ましい。
本実施の形態によれば、認識対象パターンから分割した複数の部分パターンのそれぞれに対してパターンマッチングを行い、パターン合致度が閾値を越えた場合には、その位置から算出される合致座標にそのパターン合致度が格納され、加算されるようにしたので、複数の部分パターンにおける評価が、合致座標を基準として加算されるようになる。ここで、パターンの一部が欠損や変形していた場合には、その部分の部分パターンのパターン合致度は、低くなるが、その他の部分の部分パターンのパターン合致度は高いので、その合計値で評価をすれば、入力画像側のパターンにばらつきがあった場合でも、画像認識を確実に行えるようになる。
また、投票数を定義し、投票数が多い合致座標について総合合致度を算出し、この総合合致度が高い座標を認識対象パターンのサーチ位置とするので、多くの部分パターンが合致した場合でも、その各々のパターン合致度が低い場合には、総合合致度は低くなる。その一方、部分パターンが合致した回数は規定数程度であるが、その各々のパターン合致度が高い場合には、総合合致度が高くなる。このように、パターン合致度が低い点よりも、平均的に高い点となる位置が浮かび上がるようにしたので、パターンサーチの信頼性を向上できる。
合致座標の周囲に、確率密度関数f1を乗算して減少させたパターン合致度を加算し、これに対応して投票数を一様に加算するようにしたので、パターンの位置や形状が微妙にずれていた場合であっても、正しいパターン位置をサーチすることができ、頑健性が向上する。
得点集計メモリ30及び投票数集計メモリ40のサイズを、入力画像31のサイズよりも大きくしたので、撮像部8が正しい位置にあるのに、ちゃんとした位置にワーク上のパターンがない場合や、撮像部8が正しい位置にない場合であっても、正確にパターンサーチが行える。
また、投票数を定義し、投票数が多い合致座標について総合合致度を算出し、この総合合致度が高い座標を認識対象パターンのサーチ位置とするので、多くの部分パターンが合致した場合でも、その各々のパターン合致度が低い場合には、総合合致度は低くなる。その一方、部分パターンが合致した回数は規定数程度であるが、その各々のパターン合致度が高い場合には、総合合致度が高くなる。このように、パターン合致度が低い点よりも、平均的に高い点となる位置が浮かび上がるようにしたので、パターンサーチの信頼性を向上できる。
合致座標の周囲に、確率密度関数f1を乗算して減少させたパターン合致度を加算し、これに対応して投票数を一様に加算するようにしたので、パターンの位置や形状が微妙にずれていた場合であっても、正しいパターン位置をサーチすることができ、頑健性が向上する。
得点集計メモリ30及び投票数集計メモリ40のサイズを、入力画像31のサイズよりも大きくしたので、撮像部8が正しい位置にあるのに、ちゃんとした位置にワーク上のパターンがない場合や、撮像部8が正しい位置にない場合であっても、正確にパターンサーチが行える。
なお、本発明は、前記の実施の形態に限定されずに広く応用することができる。
例えば、投票数集計メモリ40を設けずに、パターン合致度の合計値のみで認識対象パターンP1のサーチ位置を決定しても良い。この場合には、必要なメモリが少なくて済み、処理時間を短縮することができる。
また、確率密度関数f1を用いて補正値を算出せずに、合致座標に対するパターン合致度のみでサーチ位置を特定するようにしても良い。パターンの微小なずれや変形が小さい場合には、少ない処理時間でサーチ位置を特定することが可能になる。
さらに、本発明は、コンピュータ装置に、前記の各処理を実行させる画像認識プログラムであっても良い。このようなプログラムは、記録媒体に、コンピュータ装置に読み取り可能に記録されても良いし、ネットワークを通じてダウンロード可能であっても良い。
例えば、投票数集計メモリ40を設けずに、パターン合致度の合計値のみで認識対象パターンP1のサーチ位置を決定しても良い。この場合には、必要なメモリが少なくて済み、処理時間を短縮することができる。
また、確率密度関数f1を用いて補正値を算出せずに、合致座標に対するパターン合致度のみでサーチ位置を特定するようにしても良い。パターンの微小なずれや変形が小さい場合には、少ない処理時間でサーチ位置を特定することが可能になる。
さらに、本発明は、コンピュータ装置に、前記の各処理を実行させる画像認識プログラムであっても良い。このようなプログラムは、記録媒体に、コンピュータ装置に読み取り可能に記録されても良いし、ネットワークを通じてダウンロード可能であっても良い。
1 パターンサーチ装置(画像認識装置)
4 演算部
7 保存部(記憶手段)
30 得点集計メモリ(得点集計手段)
40 投票数集計メモリ(投票数集計手段)
A1〜An 部分パターン
Ap1〜Apn 相対位置
P1 認識対象パターン
4 演算部
7 保存部(記憶手段)
30 得点集計メモリ(得点集計手段)
40 投票数集計メモリ(投票数集計手段)
A1〜An 部分パターン
Ap1〜Apn 相対位置
P1 認識対象パターン
Claims (7)
- 入力画像に対してパターンマッチングを行い、パターン合致度の高い位置を基準にして画像を認識する画像認識方法であって、
前記入力画像と対比させるパターンの一部を認識対象パターンとして特定する工程と、
前記認識対象パターンを分割して、その各々を部分パターンとして記憶するとともに、前記認識対象パターンの所定画素に対する前記部分パターンの相対位置を、各部分パターンごとに算出する工程と、
前記入力画像に対して前記部分パターン毎にパターンマッチング処理を行い、前記部分パターンとのパターン合致度が予め設定された閾値よりも高い場合に、その場所から前記相対位置だけずらした座標を算出し、この座標と前記パターン合致度とを関連付けて記憶する工程と、
前記座標ごとに前記パターン合致度の合計得点を算出する工程と、
を備えることを特徴とする画像認識方法。 - 前記パターン合致度が前記閾値を越えた回数を投票数とし、この投票数をその前記座標ごとに加算する工程と、
前記投票数が規定値以上である前記座標について、前記座標における前記合計得点を前記投票数で割って総合合致度を算出する工程と、
を備え、前記総合合致度が最も高い座標を前記認識対象パターンの位置とすることを特徴とする請求項1に記載の画像認識方法。 - 前記パターン合致度が閾値以上の前記座標から離れるごとに減少する係数を前記パターン合致度に掛け合わして補正値を算出し、この補正値をその離れた位置に相当する座標に対するパターン合致度として記憶する工程と、
前記補正値が算出された座標に対して前記投票数を一様に加算する工程と、
をさらに備えることを特徴とする請求項2に記載の画像認識方法。 - 前記部分パターンは、複数の組み合わせによって特徴的なパターンを形成することを特徴とする請求項1から請求項3のいずれか一項に記載の画像認識方法。
- 入力画像に対してパターンマッチングを行い、パターン合致度の高い位置を基準にして画像を認識する画像認識装置であって、
前記入力画像と対比させるパターンの一部を認識対象パターンとし、この認識対象パターンを分割して部分パターンを作成し、前記認識対象パターンの所定画素に対する前記部分パターンの各々の相対位置を算出し、記憶する記憶手段と、
前記部分パターン毎に前記入力画像とのパターン合致度を算出し、そのパターン合致度のうち予め設定されている閾値を越える前記パターン合致度の値を、その場所から前記相対位置だけずらした座標を算出し、前記座標とそのパターン合致度とを対応付けて記憶する得点集計手段と、
前記座標ごとに前記パターン合致度の合計得点を計算する手段と、
を備えることを特徴とする画像認識装置。 - 前記パターン合致度が前記閾値を越えた回数を投票数として算出し、この投票数を前記座標に対応付けて記憶する投票数集計手段と、
前記投票数が規定値以上である前記座標について、前記座標における前記合計得点を前記投票数で割って、総合合致度を算出する手段と、
を備え、前記総合合致度の最も高い前記座標を前記認識対象パターンの位置とするように構成されていることを特徴とする請求項5に記載の画像認識装置。 - 前記得点集計手段は、前記入力画像のメモリ数よりも大きいメモリを有することを特徴とする請求項5又は請求項6に記載の画像認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006340176A JP2008152555A (ja) | 2006-12-18 | 2006-12-18 | 画像認識方法及び画像認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006340176A JP2008152555A (ja) | 2006-12-18 | 2006-12-18 | 画像認識方法及び画像認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008152555A true JP2008152555A (ja) | 2008-07-03 |
Family
ID=39654656
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006340176A Pending JP2008152555A (ja) | 2006-12-18 | 2006-12-18 | 画像認識方法及び画像認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008152555A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011209951A (ja) * | 2010-03-29 | 2011-10-20 | Secom Co Ltd | 対象物検知装置 |
JP2012027745A (ja) * | 2010-07-24 | 2012-02-09 | Canon Inc | 情報処理方法及びその装置、プログラム |
JP2012103072A (ja) * | 2010-11-09 | 2012-05-31 | Olympus Corp | 位置合わせ装置、位置合わせ方法および位置合わせプログラム |
JPWO2011061905A1 (ja) * | 2009-11-20 | 2013-04-04 | 日本電気株式会社 | 物体領域抽出装置、物体領域抽出方法、及びプログラム |
US8538127B2 (en) | 2010-02-04 | 2013-09-17 | Omron Corporation | Image processing method and image processing system |
JP2017076248A (ja) * | 2015-10-15 | 2017-04-20 | 株式会社日立ハイテクノロジーズ | テンプレートマッチングを用いた検査装置および検査方法 |
JP2020181582A (ja) * | 2020-05-25 | 2020-11-05 | 株式会社日立ハイテク | テンプレートマッチングを用いた検査装置および検査方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0962838A (ja) * | 1995-08-24 | 1997-03-07 | Nachi Fujikoshi Corp | 高速パターンマッチング方法 |
JP2005275915A (ja) * | 2004-03-25 | 2005-10-06 | Toyota Motor Corp | 画像認識装置及び画像認識方法 |
-
2006
- 2006-12-18 JP JP2006340176A patent/JP2008152555A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0962838A (ja) * | 1995-08-24 | 1997-03-07 | Nachi Fujikoshi Corp | 高速パターンマッチング方法 |
JP2005275915A (ja) * | 2004-03-25 | 2005-10-06 | Toyota Motor Corp | 画像認識装置及び画像認識方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2011061905A1 (ja) * | 2009-11-20 | 2013-04-04 | 日本電気株式会社 | 物体領域抽出装置、物体領域抽出方法、及びプログラム |
US8538127B2 (en) | 2010-02-04 | 2013-09-17 | Omron Corporation | Image processing method and image processing system |
JP2011209951A (ja) * | 2010-03-29 | 2011-10-20 | Secom Co Ltd | 対象物検知装置 |
JP2012027745A (ja) * | 2010-07-24 | 2012-02-09 | Canon Inc | 情報処理方法及びその装置、プログラム |
US9058537B2 (en) | 2010-07-24 | 2015-06-16 | Canon Kabushiki Kaisha | Method for estimating attribute of object, apparatus thereof, and storage medium |
JP2012103072A (ja) * | 2010-11-09 | 2012-05-31 | Olympus Corp | 位置合わせ装置、位置合わせ方法および位置合わせプログラム |
JP2017076248A (ja) * | 2015-10-15 | 2017-04-20 | 株式会社日立ハイテクノロジーズ | テンプレートマッチングを用いた検査装置および検査方法 |
JP2020181582A (ja) * | 2020-05-25 | 2020-11-05 | 株式会社日立ハイテク | テンプレートマッチングを用いた検査装置および検査方法 |
JP7138137B2 (ja) | 2020-05-25 | 2022-09-15 | 株式会社日立ハイテク | テンプレートマッチングを用いた検査装置および検査方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4687518B2 (ja) | 画像処理方法およびその方法を用いた3次元計測方法ならびに画像処理装置 | |
US9619727B2 (en) | Matching process device, matching process method, and inspection device employing same | |
JP5631025B2 (ja) | 情報処理装置、その処理方法及びプログラム | |
JP5699788B2 (ja) | スクリーン領域検知方法及びシステム | |
JP2008152555A (ja) | 画像認識方法及び画像認識装置 | |
CN111754536B (zh) | 图像标注方法、装置、电子设备及存储介质 | |
JP5339065B2 (ja) | 対象物追跡装置 | |
US20150310617A1 (en) | Display control device and display control method | |
JPH0312750B2 (ja) | ||
JP6786874B2 (ja) | 針式メータ検出装置、方法およびプログラム | |
WO2020121622A1 (ja) | 読取支援システム、移動体、読取支援方法、プログラム、及び記憶媒体 | |
US10074551B2 (en) | Position detection apparatus, position detection method, information processing program, and storage medium | |
CN110569845A (zh) | 一种试卷图像的校正方法及相关装置 | |
JP2018036770A (ja) | 位置姿勢推定装置、位置姿勢推定方法、及び位置姿勢推定プログラム | |
JP2014215645A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2003216931A (ja) | 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置 | |
JP4670994B2 (ja) | カラー画像の処理方法および画像処理装置 | |
JP2011107878A (ja) | 位置検出装置、位置検出方法 | |
JP2011233060A (ja) | 物体認識装置、物体認識方法、及びコンピュータプログラム | |
JP2008116207A (ja) | 画像計測装置、画像計測方法及びプログラム | |
JP5299196B2 (ja) | マーカー検知装置及びマーカー検知装置用プログラム | |
JP4670993B2 (ja) | カラー画像の処理方法および画像処理装置 | |
JP2018197692A (ja) | 損傷状況処理システム | |
JP4670995B2 (ja) | カラー画像の処理方法および画像処理装置 | |
CN111599080B (zh) | 拼接纸币的检测方法、装置、金融机具设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110628 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120814 |