JP2005265661A - 画像処理方法およびその装置 - Google Patents

Abstract

【課題】公差設定が客観的であり、安定した良否判定が得やすく、かつ安定した良否判定が継続可能である画像検査方法と、その画像処理方法を搭載した画像検査装置を提供する。
【解決手段】複数の検査良品から取得された良品画像群において位置合わせを行った上、同一座標をもつ画素ごとに輝度の平均と標準偏差を算出しておく（Ｓ１〜Ｓ１１）ことにより、被検査品から取得された画像において位置合わせを行った上、同一座標をもつ画素ごとに、その輝度を平均と標準偏差を用いて定義される評価式により評価することにより良否判定を行う（Ｓ１２〜Ｓ１７）。
【選択図】図１

Description

本発明は、検査対象物を撮像して得られた画像に対して検査処理を施し、検査対象物の良否判定を行う画像処理方法とその装置に関するものである。

画像処理装置を用いて検査対象物の良否判定を行う場合、代表的な良品から取得される画像、あるいはいくつかの良品から取得される画像から得られた良品の平均画像と、被検査品から取得される画像とを比較する方法がある。図５はこの方法による画像処理方法を示すフローチャートであって、検査設定において、良品の撮像を行いその画像を基準画像として記憶し、その基準画像に対して位置決めの設定を行い、検査範囲や公差を設定する（Ｓ２１〜Ｓ２４）。さらに良品の撮像を行い、その画像について位置決め処理を行い基準画像と同一の位置に変換を行った後、同一座標をもつ画素ごとに輝度値の和の計算を求めることを繰り返す（Ｓ２５〜Ｓ２８）。適当な回数を繰り返した後、同一座標をもつ画素ごとに輝度値の平均を算出する（Ｓ２８）。検査実行時においては、被検査品の撮像を行い（Ｓ３２）、その画像について位置決め処理を行い基準画像と同一の位置に変換を行った後（Ｓ３３）、同一座標をもつ画素ごとに平均輝度との差を評価することで欠陥領域を抽出、その面積により良否判定を行う（Ｓ３４）方法がとられていた。

しかしながら、上記方法では図６で示すように、良品自体がもつ形状ばらつき、位置決めに含まれる計算誤差、ノイズによる輝度変動を考慮していない。そのため、輝度値のばらつきが大きい部位においても検査歩留まりを確保できる公差［−α，＋α］などを設定するか、輝度値のばらつきの大きさごとに領域を分割設定しそれぞれに公差［−α１，＋α１］や［−α２，＋α２］など異なる値を設定する必要がある。前者はばらつきが小さい部位における検出能力の低下、後者は操作性の低下という問題を生じる。特に前者に対応するため、画素ごとに重要度を設定して、欠陥領域と認識しない方法が知られている。（たとえば特許文献１参照）
特開２００１−１７５８６５号公報

しかしながら、公差や重要度の設定は作業者の主観に基づいて行うほかなく、検査設定に高度な知識と経験が必要となり、検査設定可能な作業者が限られるという点、安定した良否判定を得るためには、公差や重要度を試行錯誤して最適化するほかないという点、照明器の照度変動のため安定した良否判定が継続できないという点などの課題があり、目視検査を自動化し検査工程を効率化するという目的において障害となる。

本発明は、公差を客観的に設定することができ、安定した良否判定が得やすく、かつ安定した良否判定が継続可能である画像検査方法と、その画像処理方法を搭載した画像検査装置を提供することを課題とする。

以上の課題を解決するために、請求項１の発明は、複数の検査良品から取得された良品画像群において、位置合わせを行った上、同一座標をもつ画素ごとに輝度の平均と標準偏差を算出しておくことにより、被検査品から取得された画像において位置合わせを行った上、同一座標をもつ画素ごとに、その輝度を平均と標準偏差を用いて定義される評価式により良否判定を行うことを特徴とする。

この方法によれば、公差は統計学的に意味をもつ値として客観的に設定され、検査範囲全域において共通に適用可能である。そのため、公差設定作業は良品を順次撮像していくだけであり、経験や知識が必要ない上、作業者の主観も入らないという利点がある。さらに、設定作業手順は検査対象物に依存しないという利点もある。

請求項２の発明は、新たな検査良品から取得された画像を良品画像群に加え、平均と標準偏差を再計算させることにより、誤判定を減少させる機能を設けることを特徴とする。

この方法によれば、誤判定が発生したときも、その判定に用いた画像および判定内容から良品かどうかを目視により判断し、良品であれば上述の再計算を指示することにより、その誤判定を解消することができ、これを繰り返すだけで徐々に安定した良否判定が得られるという利点がある。

請求項３の発明は、輝度の基準となる画像を定義し、その画像において範囲指定する機能を有し、その指定範囲において、位置合わせを行った良品画像の同一座標をもつ画素ごとの輝度差の最頻値が０となるように輝度補正した上で平均と標準偏差を算出し、また位置合わせを行った被検査品画像においても同様に輝度補正を行った上で評価することにより良否判定を行うことを特徴とする。

この方法によれば、照明の照度変動などにより、検査対象に起因しない輝度変動が発生しても、その影響を除去することが出来るため、安定した良否判定が継続可能であるという利点がある。

請求項４の発明は、検査対象物を同一の照明条件下、同一の光学条件下で撮像可能とする機構を有し、請求項１から３何れか記載の画像処理方法を行うことを特徴とする。

この装置によれば、照明とカメラと検査対象物の空間上の位置関係、撮像に用いるレンズなど検査対象物に依存しない撮像画像の変化要因を除去することができ、検査対象物の形状変化と表面変化を、撮像画像の変化として検出可能であるという利点がある。上記、請求項１から３がもつ利点があることはいうまでもない。

本発明の方法によれば、公差設定作業には経験や知識が必要ない上、作業者の主観も入らないという利点、誤判定が発生したときも、目視により判断し、良品であれば再計算を指示することによりその誤判定を解消することができ、これを繰り返すだけで安定した良否判定が得られるという利点、検査対象に起因しない輝度変動が発生しても、その影響を除去することが出来るため、安定した良否判定が継続可能であるという利点がある。

以下、本発明を実施するための最良の形態を説明する。

図２は本発明の実施形態１のブロック図である。図２において、画像入力手段１、たとえばＣＣＤカメラにより、検査対象物の画像を撮像する。撮像された画像は画素ごとにデジタル値である輝度をもち、これを画像メモリ２に格納される。

検査設定時には、任意の良品に対し、画像入力手段１により画像を取得し、その画像を画像メモリ２に格納する（Ｓ１）。次に、画像メモリ２に格納した画像を、基準画像記憶部３に基準画像として格納する（Ｓ２）。そして、基準画像に対して位置決め情報、たとえば基準画像における輪郭線、および探索範囲などを設定し、位置決め情報記憶部４に格納する（Ｓ３）。また、基準画像に対して検査判定情報、たとえば、検査範囲、公差などを設定し、判定情報記憶部５に格納する（Ｓ４）。

次に、統計量計算処理（Ｓ６）を繰り返し、画素ごとの輝度値の平均と標準偏差を取得することを考える。そのためにまず、画素ごとの輝度値の和Ｓ（ｘ，ｙ）、輝度値の平方和ＳＳ（ｘ，ｙ）、サンプル数Ｎ（ｘ，ｙ）をクリアする（Ｓ５）。次に、任意の良品に対し、画像入力手段１により画像を取得し、その画像を画像メモリ２に格納する（Ｓ９）。Ｓ９にて画像メモリに格納された画像に対し、位置決め情報記憶部４を参照して、位置決め処理部６にて位置を検出する。この画像を検出された位置により基準画像記憶部３に格納した基準画像の位置と同一の位置に変換した位置決め画像を取得する（Ｓ１０）。次に、統計量計算部７において、Ｓ１０で取得した位置決め画像の画素ごとの輝度値ｇ（ｘ，ｙ）について、数式１に従って輝度値の和Ｓ（ｘ，ｙ）と平方和ＳＳ（ｘ，ｙ）とサンプル数Ｎ（ｘ，ｙ）を更新する（Ｓ１１）。

（数１）
Ｓ（ｘ，ｙ）＝Ｓ（ｘ，ｙ）＋ｇ（ｘ，ｙ）
ＳＳ（ｘ，ｙ）＝ＳＳ（ｘ，ｙ）＋ｇ（ｘ，ｙ）×ｇ（ｘ，ｙ）
Ｎ（ｘ，ｙ）＝Ｎ（ｘ，ｙ）＋１

以下、良品を変えながらＳ９〜Ｓ１１を繰り返した後、数式２により画素ごとの平均値Ｅ（ｘ，ｙ）と標準偏差σ（ｘ，ｙ）を計算し、統計量記憶部８に格納する（Ｓ８）。

（数２）
Ｅ（ｘ，ｙ）＝Ｓ（ｘ，ｙ）／Ｎ（ｘ，ｙ）
Ｖ（ｘ，ｙ）＝（ＳＳ（ｘ，ｙ）−Ｎ（ｘ，ｙ）×Ｅ（ｘ，ｙ）×Ｅ（ｘ，ｙ））／（Ｎ（ｘ，ｙ）−１）
σ（ｘ，ｙ）＝ｓｑｒｔ（Ｖ（ｘ，ｙ）） （ｓｑｒｔ：平方根の計算）

検査実行時には、被検査品に対し、画像入力手段１により画像を取得し、その画像を画像メモリ２に格納する（Ｓ１２）。Ｓ１２にて画像メモリに格納された画像に対し、位置決め情報記憶部４を参照して、位置決め処理部６にて位置を検出する。検出された位置により、この画像を基準画像記憶部３に格納した基準画像の位置と同一の位置に変換した位置決め画像を取得する（Ｓ１３）。次に、判定処理部９において、Ｓ１３で取得した位置決め画像の画素ごとの輝度値ｇ（ｘ，ｙ）について、統計量記憶部８を参照して、数式３の条件に入るかどうかを判定し、条件に入らない画素を抽出する。なお数式３において、ｍａｘ｛Ａ，Ｂ｝はＡとＢの大きい方を意味する。ここで抽出された画素から構成される領域の面積および個数などについて、判定情報記憶部５を参照して良否判定を行う（Ｓ１４）。

（数３）
Ｅ（ｘ，ｙ）−ｍａｘ｛α，β×σ（ｘ，ｙ）｝＜ｇ（ｘ，ｙ）
かつ
ｇ（ｘ，ｙ）＜Ｅ（ｘ，ｙ）＋ｍａｘ｛α，β×σ（ｘ，ｙ）｝

数式３において、一般的にはα＝０として与えられる式が考えられる。しかし、標準偏差σが微少な値である場合、極めて小さな輝度変動でも検出されることになるが、多くの場合、そのような微少な輝度変動は検査上、問題にならないため、定数値αと標準偏差σの定数β倍との大きい方を超えないことを条件としている。なお、このαは目視でも判別不可能な欠陥まで抽出されないようにすることが目的であり、検査対象物に依存しない値であり２０程度の固定値として考えても良い。

このような形態で構成することで、公差は検査対象物に依存しない値αと、良品画像がもつ統計量として客観的に定義され、検査対象物に依存しない値βの２つだけとなり、あとは良品の撮像を繰り返すことで検査設定が可能になるという利点をもつ。そのため、どの作業者が設定を行っても同一の設定を行うことができ、作業者の主観に依存しなく、公差を客観的に設定することがである画像検査方法を提供するという課題を解決できる。

また、良品自体がもつばらつきを判定基準とするため、判定基準を数値として表せない検査対象物にも適用可能であるという利点もある。

図１のＳ１４において、良品であるにもかかわらず不良品と判定された場合、統計量計算部７において、Ｓ１３で取得した位置決め画像の画素ごとの輝度値ｇ（ｘ，ｙ）について、数式１に従って輝度値の和Ｓ（ｘ，ｙ）と平方和ＳＳ（ｘ，ｙ）とサンプル数Ｎ（ｘ，ｙ）を更新する（Ｓ１６）。そして、Ｓ８と同様に数式２により画素ごとの平均値Ｅ（ｘ，ｙ）と標準偏差σ（ｘ，ｙ）を再計算し、統計量記憶部８に格納する（Ｓ１７）。その上で、Ｓ１２から１４を実行すると正しく良品と判定されるようになり、またさらにこの処理を繰り返すことにより、良品のばらつきを示す統計量として精度の高い平均値と標準偏差が得られるようになる。

このような形態で構成することで、安定した良否判定が得やすい画像検査方法を提供するという課題を解決できる。従来の方法を示す図５のＳ３６においては、公差を試行錯誤して調整し最適化を行うことに比べ、作業者が行う作業は誤判定かどうかの判断だけであり、極めて単純な作業であるという利点もある。

図１のＳ４において、輝度差を測定する測光領域を入力し記憶しておく。そしてＳ１０において、位置決め画像を取得した後、測光領域において同一座標における画素の輝度差を求め、その最頻値を取得する。この最頻値は０となるはずだが、主に基準画像撮像時と今回の撮像時における照明条件などの違いから若干の輝度ずれを生じる。そのため、最頻値が０となるように、位置決め画像の輝度値を輝度補正する。たとえば、（位置決め画像の輝度値）−（基準画像の輝度値）の最頻値が−５であれば、位置決め画像のすべての座標において＋５することにより輝度値の補正を行う。これにより、基準画像と位置決め画像は輝度についてもほぼ同一である輝度補正画像を取得できる。Ｓ１１においては、ここで得られた輝度補正画像に対して数式１を適用する。

検査時においても同様に、Ｓ１４において、位置決め画像を取得した後、測光領域において同一座標における画素の輝度差を求め、その最頻値を取得し、位置決め画像の輝度値を輝度補正する。そして、Ｓ１４において得られた輝度補正画像に対して数式３の条件により判定する。

このような形態で構成することで、照明の経時劣化による照度変動など、検査対象物に起因しない輝度変動が発生しても、その影響を除去することが出来るため、安定した良否判定が継続可能である画像検査方法を提供するという課題を解決できる。

図４は本実施例のシステム構成図である。同図において、１１は検査対象物１２の空間姿勢を一意にする位置決め機構である。たとえば機械的に位置決めするクランプ機構や、ＸＹθ検出機構１６により検出された位置情報によりＸＹθ補正テーブル１７を制御するＸＹθ位置決めコントローラ１８により実現される。

１３は検査対象物１２に対して必要な検査項目が観測できるような空間姿勢に固定されたカメラである。このカメラは使用するレンズ、その絞りやフォーカスなどの光学条件を一定にしておく。

１４は検査対象物１２に対して必要な検査項目が観測できるような空間姿勢に固定され、また照度も一定に保たれた照明器である。

１５はカメラ１３と接続されているパソコンであり、本発明による画像処理方法により良否判定を行うものである。

このような手段で構成することで、カメラ１３で検査対象物１２の撮像を行う場合のその画像の変動要因である、カメラ１３と検査対象物１２と照明器１４の空間位置関係とカメラ１３の光学条件を一定にすることができ、撮像画像の変化は検査対象物の形状変化あるいは表面変化と考えることができる。そのため、請求項１から３の画像処理方法により良否判定することが可能となる。

二次元の検査対象物だけでなく三次元の検査対象物においても、形状変化と表面変化を撮像画像の変化として検出可能であるため、簡易的な三次元外観検査という用途にも適用できる。また、従来の画像処理装置では適用が困難であった感覚的な外観検査という用途にも適用できる。

本発明の実施形態１、２、３のフローチャートである。 同上のブロック図である。 同上の動作説明図である。 本発明の実施形態４のシステム構成図である。 従来の画像処理方法のフローチャートである。 従来の画像処理方法の動作説明図である。

符号の説明

１ 画像入力手段
２ 画像メモリ
３ 基準画像記憶部
４ 位置決め情報記憶部
５ 判定情報記憶部
６ 位置決め処理部
７ 統計量計算部
８ 統計量記憶部
９ 判定処理部
１１ 位置決め機構
１２ 検査対象物
１３ カメラ
１４ 照明器
１５ パソコン
１６ ＸＹθ検出機構
１７ ＸＹθ補正テーブル
１８ ＸＹθ位置決めコントローラ

Claims (4)

1. 複数の検査良品から取得された良品画像群において、位置合わせを行った上、同一座標をもつ画素ごとに輝度の平均と標準偏差を算出しておくことにより、被検査品から取得された画像において位置合わせを行った上、同一座標をもつ画素ごとに、その輝度を平均と標準偏差を用いて定義される評価式により良否判定を行う画像処理方法。
2. 新たな検査良品から取得された画像を良品画像群に加え、平均と標準偏差を再計算させることにより、誤判定を減少させる機能を設けた請求項１記載の画像処理方法。
3. 輝度の基準となる画像を定義し、その画像において範囲指定する機能を有し、その指定範囲において、位置合わせを行った良品画像の同一座標をもつ画素ごとの輝度差の最頻値が０となるように輝度補正した上で平均と標準偏差を算出し、また位置合わせを行った被検査品画像においても同様に輝度補正を行った上で評価することにより良否判定を行う請求項１または請求項２の画像処理方法。
4. 検査対象物を同一の照明条件下、同一の光学条件下で撮像可能とする機構を有し、請求項１から３何れか記載の画像処理方法を行う画像処理装置。

Images