JP2015213235A - 画像処理システム、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】パターンマッチングの傾き補正処理を短時間で行う画像処理システムを提供する。【解決手段】画像処理システムは、被検査対象を撮像する画像取得部１２０と、画像取得部１２０の角度を検出する角度検出手段１１１と、を有し、被検査対象と画像取得部１２０との相対的な角度を算出し、算出した相対的な角度が示す傾きを補正し、パターンマッチング判定部１４１による判定を行いつつ補正しきれなかった誤差を補正する。【選択図】図１

Description

本発明は、ラベル検査・外観検査等に使用される画像処理システム、画像処理方法及び画像処理プログラムに関し、特に撮像装置による撮像画像の傾き補正を行う画像処理システム、画像処理方法及び画像処理プログラムに関する。

近年、工場等でのラベル検査・外観検査において、カメラ等の撮像デバイスを用いた検査装置が使われている。これらの機器において自動で検査をおこなう方法として、パターンマッチングが多く取り入れられている。

パターンマッチングにおいては、被検査対象を撮像した画像である被検査画像と、予め準備されたマスターパターンデータとを比較し、パターンの特徴の差異を判別することで検査を実施する。

撮像デバイスが固定されていない場合、被検査対象がカメラに対して傾きなく撮影されるとは限らず、パターンマッチングを行うために被検査画像を漸近的に繰り返し傾き補正処理し、マスターパターンデータとのマッチングを行う方法が既に知られている。

特許文献１には、傾斜した姿勢のカメラで撮影した画像を事後的に補正することを目的としたデジタルカメラについて記載されている。特許文献１記載のデジタルカメラは、複数の光電変換素子が配列された撮像面を有する撮像手段と、該撮像面の基準とする姿勢からの角度検出手段と、角度分画像を補正する処理手段を有する。

従来のパターンマッチング方法によれば、漸近的に繰り返し被検査画像の傾きを補正し、繰り返し毎にその都度被検査画像とマスターパターンデータとのマッチングを行うため、傾きが大きいほどマッチングまでの処理時間が増大する。

また、被検査対象と撮像デバイスとの相対的傾き関係が未知であるため、マッチングミスを判定するまでの繰り返し回数が事前に予測できず繰り返し回数が増大するという問題があった。

特許文献１記載のデジタルカメラにおいては、被写体の傾きについては考慮されておらず、被写体が傾いていないことを前提としているため、パターンマッチングに使用した場合、前述の問題を解決することができない。

本発明の目的は、パターンマッチングの傾き補正処理を短時間で行う画像処理システムを提供することにある。

本発明の画像処理システムは、被検査対象を撮像する撮像手段と、撮像手段の角度を検出する角度検出手段と、被検査対象と撮像手段との相対的な角度を算出する相対角度算出手段と、相対角度算出手段で算出した相対的な角度が示す傾きを補正する相対角度補正手段と、を有することを特徴とする。

本発明によれば、パターンマッチングの傾き補正処理を短時間で行う画像処理システムを提供することができる。

本発明の実施形態１の画像処理システムの構成を示すブロック図である。 本発明の実施形態１の画像処理システムの動作を示す図である。 本発明の実施形態１の画像処理方法を示す図である。 従来の画像処理方法を示す図である。 本発明の実施形態１の画像処理システムの動作を示すフローチャート図である。 本発明の実施形態２の画像処理システムの動作を示す図である。 本発明の実施形態２の画像処理方法を示す図である。 従来の画像処理方法を示す図である。 従来の画像処理方法を示すフローチャート図である。

＜実施形態１の構成、動作及び効果＞
図１を参照しながら、実施形態１の構成について説明する。画像処理システム１００は、画像処理による検査装置として機能する。画像処理システム１００は、傾き補正部１１０、画像取得部１２０、メモリ制御部１３０、判定部１４０を有する。

傾き補正部１１０は、撮像面の基準位置からの傾きを検出する角度検出手段１１１と、補正演算部１１２を有する。補正演算部１１２では、角度検出手段１１１で検出した角度分の傾きの補正を行う。角度検出手段１１１の例としては、加速度センサやジャイロセンサが挙げられる。

画像取得部１２０は、光学系１２１、光学変換素子が配列された撮像手段である撮像部１２２、前処理部１２３を有する。メモリ制御部１３０は、メモリコントローラ１３１とメモリ１３２を有する。

判定部１４０はパターンマッチング判定部１４１と判定表示部１４２を有する。パターンマッチング判定部１４１では、処理を行った画像がマスターパターンとマッチしているかどうかの判定を行う。

従来の画像処理方法について、図８を参照しながら説明する。図８の（ａ）は、マスターパターンデータ２００Ａを示している。撮像した画像は、撮像装置及び非検査対象の傾きにより、図８の（ｂ）に示す状態となっている。ここから、徐々に傾きを補正しつつ、マスターパターンデータ２００Ａとパターンマッチングさせ、マッチングが取れるまでこれを繰り返す。パターンマッチングの方法は、公知の方法を用いるようにしても良い。

例えば、パターンマッチングの方法としては、テンプレートであるマスターパターンデータ２００Ａを撮像した画像に対して１画素単位で比較を行いながら１画素ずつずらしていく方法がある。

また、より効率的なパターンマッチングの方法として、特開昭６３−２１１４７４に記載されている方法がある。即ち、大きさが異なる複数のテンプレート領域を用いて段階的なマッチングを行い、各段階の処理データ量が一定になるように、テンプレート領域及び入力画像の解像度を変化させる方法である。

なお、上記のパターンマッチング方法は１つの例であり、本実施形態おけるパターンマッチングの方法をこれらの方法に限定するものではない。撮像した画像がテンプレートであるマスターパターンデータ２００Ａと一致しているかどうかを確認する方法であればどのような方法を採用しても良い。

図９は、従来の画像処理方法を示すフローチャート図である。まず、対象の画像とマスターパターンデータのマッチングを行う（ステップＳ１０１）。マッチングしている場合（ステップＳ１０２、Ｙｅｓ）、マッチング成功として補正を完了する（ステップＳ１０３）。

マッチングしていない場合（ステップＳ１０２、Ｎｏ）、まず、これまでの補正回数が予め設定した規定の補正回数をオーバーしていないかを確認する（ステップＳ１０４）。規定の補正回数をオーバーしている場合（ステップＳ１０４、Ｙｅｓ）、マッチング失敗として、補正を完了する（ステップＳ１０６）。

規定の補正回数をオーバーしていない場合（ステップＳ１０４、Ｎｏ）、さらに回転補正を行い（ステップＳ１０５）、マッチングを行う。この時、例えば２次元における補正の場合は、回転補正は最大で３６０度回転させるために必要な回数となる。

図２は、撮像を行う際の被検査対象である被試験機２００及び撮像デバイス３００を示している。図２に示すように、被試験機２００を検査台などで固定し、基準軸に対する傾きを固定する。ここで設定された角度は、相対角度算出手段に対して通知される。

これに対し固定されていない撮像デバイス３００の基準軸に対する傾きを角度検出手段により取得する。上記２つの傾き情報から、被検査対象である被試験機２００と撮像デバイス３００との相対傾き関係を算出する。相対角度算出手段としては、補正演算部１１２がその機能を持つようにしても良い。

図３は、実施形態１の画像処理方法を示す図である。実施形態１においては、非検査対象の基準軸に対する傾きを既知としている。また、撮像デバイスに搭載された角度検出手段により、撮像デバイスの基準軸に対する傾きを取得する。

図３の（ｂ）のθ₂に示すように、傾き情報から被検査対象と撮像デバイス間の相対角度を算出し、その値を初期値とする。そして、傾き補正を行うことで、１回目の初期補正のみで角度補正を完了させることができる。

ただし、図３の（ｃ）に示すように、角度検出手段の誤差や被検査対象の基準軸ブレなど誤差が生じ、１回目の補正のみでは角度補正が完了できない場合がある。この場合は、初期補正後に漸近的補正処理を実施することになるが、この場合でもマスターパターンデータと１回目補正後画像との相対傾きは、角度検出手段による初期補正を用いない場合に比べ小さくなる。そのため、マスターパターンデータとマッチングさせるまでの補正回数を削減することができる。

図４の（ａ）はマスターパターンデータを示している。図４の（ｂ）に示すように、実施形態１を適用しない場合は、最大でθ₄に示す範囲、即ち３６０度分の回転が必要となる。これに対して、前述の通り、実施形態１を適用すれば、図４の（ｃ）に示すように、マッチングのための補正を行う範囲をθ₅に示す範囲に制限することが可能となり、マッチング完了までの時間が短縮される。

図５は実施形態１の動作をフローチャートにて示した図である。図５のステップＳ１０１からステップＳ１０６に示す動作は、前述の図９に示す動作と同じである。図５に示す動作が図９に示す動作とは、マッチングを行う前に撮像手段の角度を検出する（ステップＳ２０１）点において異なっている。また、検出した撮像手段の角度と、既知の検査対象の角度を基に、撮像手段と被検査対象の相対的な角度を算出する（ステップＳ２０２）。

＜実施形態２の構成、動作及び効果＞
実施形態２として、図６に示すように、検査対象をバーコードとしても良い。この場合、バーコード４００の傾きの角度は既知となっている。また、図７に示すように、３次元方向に対して傾きを補正する必要がある。

図７の（ａ）はマスターパターンデータを示している。実施形態２において、撮像デバイス３００が固定されていないため、被検査対象の撮影後元データは、３次元方向に傾いている。角度検出手段として撮像デバイス３００に内蔵されたジャイロセンサから取得した基準軸に対する撮像デバイスの傾き情報により、バーコード４００と撮像デバイス３００の相対角度を算出する。

この相対角度情報を用いて、Ｘ−Ｙ方向に対しては回転処理、Ｚ軸方向に対しては台形歪み補正処理をおこなうことで大よその補正を終えることができ、パターンマッチングまでの処理時間と、マッチングミスまでの判定時間を削減できる。台形歪み補正処理方法については、公知の方法を用いるようにしても良い。

例えば、台形歪み補正方法としては特開２０１１−３３９３０に記載されている、ユーザがプロジェクタ本体等における上下左右ボタンを押すことにより、台形状に歪みを調整する方法を採用しても良い。また、ユーザが当該上下左右ボタンを押すことにより、画像の４つの頂点のうち所望の頂点を指定して頂点位置を調整する方式を採用しても良い。また、これらを自動的に行うようにしても良い。

なお、上記の実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

例えば、実施形態１において行われる方法で画像処理を実行させるプログラムを、画像処理プログラムとして画像処理装置に予めインストールするようにしても良い。さらに、画像処理プログラムは、ＣＤ−ＲＯＭ等の記録媒体、伝送媒体であるインターネット等を介して画像処理装置にインストールされるようにしても良い。

１００ 画像処理システム
１１０ 傾き補正部
１１１ 角度検出手段
１１２ 補正演算部
１２０ 画像取得部
１２１ 光学系
１２２ 撮像部
１２３ 前処理部
１３０ メモリ制御部
１３１ メモリコントローラ
１３２ メモリ
１４０ 判定部
１４１ パターンマッチング判定部
１４２ 判定表示部
２００ 被試験機
２００Ａ マスターパターンデータ
３００ 撮像デバイス
４００ バーコード

特開２００６−２４５７２６号公報

Claims (6)

1. 被検査対象を撮像する撮像手段と、
   前記撮像手段の角度を検出する角度検出手段と、
   前記被検査対象と前記撮像手段との相対的な角度を算出する相対角度算出手段と、
   前記相対角度算出手段で算出した相対的な角度が示す傾きを補正する相対角度補正手段と、
   を有することを特徴とする画像処理システム。
2. 前記相対角度補正手段によって補正しきれなかった誤差をパターンマッチングによって補正する誤差補正手段をさらに有することを特徴とする請求項１記載の画像処理システム。
3. 前記被検査対象の角度が常に一定となるように固定する被検査対象固定手段と、
   設定した角度を既知の値として前記相対角度算出手段へ通知する被検査対象角度通知手段と、
   をさらに有することを特徴とする請求項１または２記載の画像処理システム。
4. 前記角度検出手段は、前記撮像手段に内蔵されたジャイロセンサにより前記撮像手段の角度を検出することを特徴とする請求項１から３のいずれか１項に記載の画像処理システム。
5. 撮像手段によって被検査対象を撮像する撮像ステップと、
   前記撮像手段の角度を検出する撮像角度検出ステップと、
   前記被検査対象と前記撮像手段との相対的な角度を算出する相対角度算出ステップと、
   前記相対角度算出ステップで算出した相対的な角度が示す傾きを補正する相対角度補正ステップと、
   を有する画像処理方法。
6. 画像処理装置に、請求項５記載の画像処理方法によって画像処理を実行させることを特徴とする画像処理プログラム。

Images