JP2011174896A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】欠陥検出に適した画像を取得することを目的とする。
【解決手段】被検査物の検査対象領域に照明光を照射し、検査対象領域の基準画像を基準となる基準撮像条件に従って取得し、基準画像をクラスタリング処理して複数のクラスタに分割し、各クラスタが所定の条件に合致するかを判定し、各クラスタが所定の条件に合致しない場合に、所定の条件に合致しないクラスタの撮像条件を変更し、所定の条件に合致しないクラスタの画像を変更された撮像条件に従って取得し、全てのクラスタが所定の条件に合致するまで撮像条件の変更及びクラスタの画像の取得を繰り返し、全てのクラスタが所定の条件に合致すると判定された場合に、所定の条件に合致した各クラスタの画像を合成して検査対象領域の合成画像を取得する。
【選択図】図３

Description

本発明は、撮像装置及び撮像方法に係り、特に、検査対象物の表面の欠陥を検出するための画像を撮影するための撮像装置及び撮像方法に関するものである。

人間が目視にて行っていた被検査物の外観や表面の検査を自動化するために、被検査物を撮像して得られた画像に基づいて被検査物の外観や表面を検査する検査装置が知られている。一般に、このような検査装置では、被検査物に対して欠陥を検出するための撮影視野が小さいため、被検査物を複数の検査領域に分けて、検査領域毎に予め最適化した１つの撮影条件に従って検査領域毎の画像を取得して検査対象物全体を検査する。
このような検査装置の一例として、特許文献１（特開２００９−１４３５７号公報）には、被検査面への照明手段とＣＣＤカメラを備えたロボットアームを、所定の検査ルートに沿って移動させて被検査面の複数の撮像地点における画像を取得し、ロボットアームの位置情報と撮像地点の座標データとから欠陥の位置を特定することにより被検査物の欠陥を検出する技術が開示されている。
また、特許文献２（特開２００３−２７０１６３号公報）には、欠陥位置が既知の物品を撮像して複数の画像を取得し、これらの画像に基づいて、検査対象物品を撮像する際の最適な照明条件及び撮像条件を定めることで、検査対象物品の欠陥の有無をより正確に検出する技術が開示されている。

特開２００９−１４３５７号公報 特開２００３−２７０１６３号公報

しかしながら、検査対象物が複雑な形状であったり、検出すべき欠陥の位置、サイズ、方向が予測できない場合や、所謂受け入れ検査等の検査対象物が一定期間使用されて表面状態が都度異なる場合等には、検査領域毎の撮影条件を一義的に決定することができないため、欠陥を検出するために最適な画像を得ることが困難であるという不具合がある。

本発明は、上記問題を解決するためになされたもので、欠陥検出に適した画像を取得することのできる撮像装置及び撮像方法を提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、被検査物の検査対象領域に照明光を照射する照明手段と、前記検査対象領域の基準画像を基準となる基準撮像条件に従って取得する基準画像撮像手段と、前記基準画像に対してクラスタリング処理を行うことにより該基準画像を複数のクラスタに分割するクラスタリング処理手段と、各前記クラスタが所定の条件に合致するかを判定する判定手段と、各前記クラスタが所定の条件に合致しない場合に、該所定の条件に合致しない前記クラスタの撮像条件を変更する撮像条件変更手段と、前記所定の条件に合致しない前記クラスタの画像を前記変更された撮像条件に従って取得する領域画像撮像手段と、全ての前記クラスタが所定の条件に合致するまで前記撮像条件変更手段による撮像条件の変更及び前記領域画像撮像手段による画像の取得を繰り返す繰返手段と、全ての前記クラスタが所定の条件に合致すると判定された場合に、該所定の条件に合致した各クラスタの画像を合成して前記検査対象領域の合成画像を取得する画像合成手段と、を備えた撮像装置を提供する。

本発明によれば、被検査物の検査対象領域に基準撮像条件に従って照明光を照射して基準画像を取得し、得られた基準画像に対してクラスタリング処理を施して複数のクラスタに分割するので、基準画像を輝度に応じた領域に分割することができる。各クラスタはそれぞれ異なる平均輝度を有しているため、各クラスタが必ずしも所定の条件に合致しない。そこで、全てのクラスタのうち所定の条件に合致しないクラスタの撮像条件を変更して、当該クラスタの画像を再度取得する。撮影条件の変更及びクラスタの画像取得を全てのクラスタが所定の条件に合致するまで繰り返し、全てのクラスタに対して所定の条件に合致する画像が得られたときに、所定の条件に合致した各クラスタの画像を合成して検査対象領域の合成画像を取得する。このように、検査対象領域の画像にクラスタリング処理を施して得られたクラスタ毎に所定の撮像条件に合致する撮像条件を定め、この撮像条件に従ってクラスタ毎の画像を取得し、各クラスタの画像を合成して検査対象領域の画像を取得するので、検査対象領域内に欠陥検出に不適切な領域がなく、被検査物の検査対象領域に応じて欠陥検出に適した画像を取得することができる。

上記した本発明において、前記所定の条件が、各前記クラスタの平均輝度と予め定めた目標値との差が所定の範囲内であることが好ましい。

本発明によれば、輝度に対して予め欠陥検出に適するような画像が得られる目標値を定め、この目標値を基準に、各クラスタの平均輝度と目標値との差が所定の範囲内であることを所定の条件とする。検査対象領域の画像をクラスタリング処理して得られた各クラスタは、過度に明るい又は暗い等夫々異なる平均輝度を有しており、例えば、過度に明るく白飛びしているクラスタは欠陥を検出することが困難であるが、所定の条件を各クラスタの平均輝度と予め定めた目標値との差が所定の範囲内とすることで、検査対象領域内に欠陥検出に不適切な領域がなく、全てのクラスタに対して欠陥検出に適した画像を取得することができる。延いては、これらの画像を合成して検査対象領域の画像とすることで、被検査物の検査対象領域に応じて欠陥検出に適した画像を取得することができる。

上記した本発明において、前記撮像条件変更手段が、前記照明手段の移動方向を前記クラスタの重心位置と前記基準画像の中心位置とを結ぶ線分方向とすると共に、前記照明手段の移動量を前記照明手段による照明光の照射方向と前記基準画像撮像手段又は前記領域画像撮像手段の撮像光軸とのなす角度に基づいて決定するが好ましい。

本発明によれば、照明手段の移動方向と移動量を定めることにより、被検査物の形状や検出すべき欠陥の位置、サイズ、方向等の被検査物の状態に応じて撮像条件を変更することができ、全てのクラスタに対して欠陥検出に適した画像を取得することができる。

上記した本発明において、前記撮像条件変更手段が、前記基準画像撮像手段又は前記領域画像撮像手段の移動方向を前記クラスタの重心位置と前記基準画像の中心位置とを結ぶ線分方向とすると共に、前記基準画像撮像手段又は前記領域画像撮像手段の移動量を前記照明手段による照明光の照射方向と前記基準画像撮像手段又は前記領域画像撮像手段の撮像光軸とのなす角度に基づいて決定するが好ましい。

本発明によれば、基準画像撮像手段又は領域画像撮像手段の移動方向と移動量を定めることにより、被検査物の形状や検出すべき欠陥の位置、サイズ、方向等の被検査物の状態に応じて撮像条件を変更することができ、全てのクラスタに対して欠陥検出に適した画像を取得することができる。

上記した本発明において、前記照明手段と前記基準画像取得手段及び前記領域画像撮像手段とが別個独立に移動可能に設けられたが好ましい。

本発明によれば、照明手段と基準画像取得手段及び領域画像撮像手段とを別個独立に移動可能とすることで、被検査物の形状や検出すべき欠陥の位置、サイズ、方向等の被検査物の状態に応じて検査対象領域の画像を取得することができる。

また、本発明は、被検査物の検査対象領域に照明光を照射するステップと、前記検査対象領域の基準画像を基準となる基準撮像条件に従って取得するステップと、前記基準画像に対してクラスタリング処理を行うことにより複数のクラスタに分割するステップと、各前記クラスタが所定の条件に合致しない場合に、該所定の条件に合致しない前記クラスタの撮像条件を変更するステップと、前記所定の条件に合致しない前記クラスタの画像を前記変更された撮像条件に従って取得するステップと、各前記クラスタが所定の条件に合致するかを判定し、全ての前記クラスタが所定の条件に合致するまで前記撮像条件変更手段による撮像条件の変更及び前記領域画像撮像手段による画像の取得を繰り返すステップと、前記判定手段により全ての前記クラスタが所定の条件に合致すると判定された場合に、該所定の条件に合致した各クラスタの画像を合成して前記検査対象領域の合成画像を取得するステップと、を備えた撮像方法を提供する。

本発明によれば、欠陥検出に適した画像を取得することができる。

本発明の一実施形態に係る撮像装置の概略構成を示すブロック図である。 本発明の一実施形態に係る撮像装置における照明とカメラとの位置関係の参考例を示す図である。 本発明の一実施形態に係る撮像装置における撮像処理の流れを示すフローチャートである。 本発明の一実施形態に係る撮像装置における照明と被検査物との位置関係の参考例を示す図である。

以下に、本発明に係る撮像装置の一実施形態について、図面を参照して説明する。図１は、本実施形態に係る撮像装置の概略構成を示したブロック図である。
図１に示すように、撮像装置１は、被検査物の検査対象領域に照明光を照射する照明２（照明手段）と、被検査物を撮像して画像を取得するカメラ３（基準画像撮像手段、領域画像撮像手段）と、取得した画像に対して所定の画像処理を施す画像処理部４を備えている。

照明２とカメラ３は、図２に示すように、それぞれ別個独立のマニピュレータ等の移動手段に取り付けられ、夫々が別個独立に制御され駆動されるようになっている。これにより、照明２は、マニピュレータの移動可能範囲において任意の方向から被検査物に対して照明光を照射することができるようになっている。カメラ３は、検査対象領域の基準画像を基準となる基準撮像条件に従って取得すると共に、基準画像をクラスタリング処理することによって得られるクラスタの画像を取得する（詳細は後述）。

図１に戻り、画像処理部４は、カメラ３により得られた基準画像及びクラスタの画像に対して所定の画像処理を行うものであり、画像処理に関する各種演算処理を実行するＣＰＵ（中央演算処理装置）５、画像処理に係るプログラム等を記憶する読み出し専用のメモリであるＲＯＭ（Read Only Memory）６、ＣＰＵ５の作業領域として機能する読み書き自在のメモリであるＲＡＭ（Random Access Memory）７、及び画像処理に係るプログラムやこのプログラムに基づく画像処理を実行するために必要となる種々のデータを格納した記憶装置８を備えている。なお、記憶装置８には、カメラ３によって基準画像を撮像する際の基準撮像条件が記憶されると共に、後述する撮像条件変更部１１により変更された撮像条件が記憶される。また、基準撮像条件は、本撮像装置１を操作する作業員によって適時入力することとしてもよく、被検査物を検査した実績データを収集した情報から統計的に最も多い撮像条件を基準撮像条件と決定してもよい。

また、画像処理部４は、ＣＰＵ５がＲＯＭ６に格納された所定の画像処理プログラムをＲＡＭ７に展開し、展開したプログラムを実行することによって実現される処理部として、クラスタリング処理部１０、判定部１１、撮像条件変更部１２、繰返部１３及び画像合成部１４を備えている。

クラスタリング処理部１０は、カメラ３によって取得された基準画像に対してクラスタリング処理を行うことにより、基準画像を複数のクラスタに分割する。具体的には、クラスタリング処理は、まず基準画像を予め指定したサイズのメッシュで分割し、各メッシュ内の平均輝度を演算する。そして、演算された平均輝度に基づいて、例えば、分割最適化手法であるk-means法などの公知の手法によりクラスタリング処理を行い、これを任意のクラスタ数になるまで、又は各クラスタ間の平均輝度差が一定値になるまで繰り返す。

判定部１１は、クラスタリング処理部１０により得られた複数のクラスタが所定の条件に合致するか否かを判定し、判定結果をＣＰＵ５に含まれる各処理部としての撮像条件変更部１２、繰返部１３及び画像合成部１４へ出力する。

所定の条件として、例えば、各クラスタの平均輝度と予め定めた目標値との差が所定の範囲内であることを定めることができる。基準画像をクラスタリング処理することにより得られた各クラスタは、夫々異なる平均輝度を有しているため、全クラスタには、例えば、過度に明るく白飛びしているクラスタや、過度に暗く黒潰れしているクラスタが含まれることがある。このようなクラスタからは欠陥を検出することが困難である。このため、クラスタから欠陥を検出するために適した輝度の目標値を予め定め、この目標値と各クラスタの平均輝度との差が所定の範囲内を所定の条件として後段の処理を進めることにより、最終的に欠陥検出に適した画像を取得することができる。
従って、判定部１１では、各クラスタの平均輝度を算出し、算出された平均輝度が予め定めた目標値を基準として所定の範囲内にあるか否かを判定する。

撮像条件変更部１２は、判定部１１によって複数のクラスタに所定の条件に合致しないクラスタが含まれると判定された場合に、所定の条件に合致しないクラスタの撮像条件を変更する。即ち、複数のクラスタのうち、平均輝度と目標値との差が所定範囲内にないクラスタが含まれると判定された場合に、このクラスタに対する撮像条件を変更する。変更後の撮像条件は、例えば記憶装置８に記憶され、ＣＰＵ５からの指示に基づいてカメラ３により変更後の撮像条件に従ってクラスタの画像が撮像される。

撮像条件の変更は、例えば、以下のように行なわれる。
まず、平均輝度と目標値との差が所定範囲内にないクラスタを対象クラスタと定め、対象クラスタの重心位置を算出する。続いて、検査対象領域の基準画像の中心を算出し、先に算出された重心位置と基準画像の中心とを結ぶ線分の方向を照明２の移動方向と決定する。さらに、照明２の移動量（移動角度）として、
（９０°―（照明２の照射方向とカメラ３の光軸とのなす角））／２
と決定する。

繰返部１３は、判定部１１により所定の条件に合致しないクラスタがあると判定された場合に、全てのクラスタが所定の条件に合致するまで撮像条件変更部１１による撮像条件の変更と変更された撮像条件に従ったカメラ３によるクラスタの画像の取得を繰り返すように、撮像条件変更部１１及びカメラ３に指示を出力する。

画像合成部１４は、繰返部１３からの指示に基づいて、撮像条件変更部１１及びカメラ３における処理が繰り返された結果、判定部１１により全てのクラスタが所定の条件に合致すると判定された場合に、所定の条件に合致した各クラスタの画像を合成して検査対象領域の合成画像を取得する。
即ち、全てのクラスタの夫々の平均輝度と目標値との差が所定範囲内となった場合に、平均輝度と目標値との差が所定範囲内であるクラスタの画像を、隣接するクラスタ同士の境界線をぼかすなどの処理を施してなじませつつ、合成することにより検査対象領域の１つの合成画像を得る。

以下、このように構成された撮像装置における撮像処理の流れを、図３のフローチャートに従って説明する。
まず、ステップＳ１１で、被検査物を所定の場所に設置し、検査対象領域を撮像装置１により撮像可能な状態とする。続いてステップＳ１２で、照明２及びカメラ３を検査対象領域近傍に移動させ、記憶装置８に記憶された基準撮像条件に従って照明２及びカメラ３の位置関係を調整し、ステップＳ１３で基準撮像条件に従って検査対象領域の基準画像を撮像する。

次のステップＳ１４では、先のステップＳ１３で得られた基準画像に対してクラスタリング処理を行う。クラスタリング処理は、上述したように、基準画像を予め指定したサイズのメッシュで分割し、各メッシュ内の平均輝度に基づいて、公知の手法により任意のクラスタ数になるまで、又は各クラスタ間の平均輝度差が一定値になるまで繰り返すことにより行なわれる。

次のステップＳ１５では、ステップＳ１４で得られた複数のクラスタの各々の平均輝度と目標値との差が所定の範囲内であるか否かを判定する。この判定により、複数のクラスタのうち、何れかのクラスタの平均輝度と目標値との差が所定範囲内でないと判定された場合にはステップＳ１６に進み、全てのクラスタの平均輝度値と目標値との差が所定の範囲内であると判定された場合には、ステップＳ２０に進む。

ステップＳ１６では、平均輝度と目標値との差が所定範囲内でないと判定されたクラスタを対象クラスタとして、この対象クラスタの重心位置を算出し、次のステップＳ１７に進む。ステップＳ１７では、ステップＳ１６で算出された対象クラスタの重心位置に基づいて、対象クラスタの撮像条件を変更・設定する。撮像条件の変更は、上述したように、例えば、照明２の照明光の照射方向や照明２の移動量をこの重心位置と基準画像の中心位置とに基づいて定めることにより行なわれる。

ステップＳ１８では、ステップＳ１７により変更された撮像条件に従って、対象クラスタの画像をカメラ３により撮像する。次のステップＳ１９では、変更後の撮像条件に従って得られたクラスタの画像の平均輝度を算出し、この平均輝度と目標値との差が所定範囲内であるか否かを判定する。判定の結果、クラスタの画像の平均輝度が所定範囲内でないと判定された場合には、ステップＳ１６に戻り、対象クラスタの平均輝度と目標値との差が所定範囲内となるまで、撮像条件の変更及びクラスタの画像の取得というステップＳ１６〜ステップＳ１９の処理が繰り返される。このステップＳ１６〜ステップＳ１９の処理は、ステップＳ１５においてクラスタの平均輝度と目標値との差が所定範囲内でないと判定された全てのクラスタに対して行なわれる。

一方、ステップＳ１９における判断の結果、クラスタの画像の平均輝度と目標値との差が所定範囲内であると判定された場合には、ステップＳ２０に進む。即ち、ステップＳ１６〜ステップＳ１９の処理は、ステップＳ１５においてクラスタの平均輝度と目標値との差が所定範囲内でないと判定された全てのクラスタに対して行なわれるので、ステップＳ１９で、クラスタの画像の平均輝度と目標値との差が所定範囲内であると判定された場合には、全てのクラスタの平均輝度と目標値との差が所定範囲内になるまで処理が行われたこととなるため、ステップＳ２０に進む。

ステップＳ２０では、各クラスタの画像を合成することにより検査対象領域の合成画像を得る。この合成の際には、各クラスタの平均輝度と目標値との差が所定範囲内である画像を適用し、隣接するクラスタ同士の境界線をぼかすなどの処理を施してなじませつつ、合成することにより検査対象領域の１つの合成画像を得る。

このように、平均輝度値と目標値との差が所定範囲内のクラスタの画像を合成しているので、得られた検査対象領域の合成画像は、何れの領域においても、白飛び黒つぶれ等の不具合がなく、即ち、検査対象領域の画像に欠陥検出に不適切な部分がなく、被検査物の検査対象領域に応じて欠陥検出に適した画像を取得することができる。

撮像条件の変更は、上記した照明２の移動方向及び移動量を定めることに限られず、これに代えて、例えば、対象クラスタの重心位置と基準画像の中心とを結ぶ線分の方向をカメラ３の移動方向と決定すると共に、カメラ３の移動量（移動角度）として、
（９０°―（照明２の照射方向とカメラ３の光軸とのなす角））／２
と決定することもできる。
この場合には、画像合成部１４による画像合成の際に、カメラ３の移動量や位置情報に基づいて、基準撮像条件以外の撮像条件に従って撮像されたクラスタの画像を全て幾何変換（アフィン変換）し、基準画像と各クラスタの画像との撮影視野を合致させる必要がある。

また、図４に示すように、照明２が複数の光源を備えており、各光源が別個独立に点灯又は消灯させることが可能な場合には、対象クラスタの重心位置と基準画像の中心とを結ぶ線分の方向の光源を点灯させると共に、点灯させる光源の角度を、
（９０°―（照明２の照射方向とカメラ３の光軸とのなす角））／２
と決定することもできる。
なお、撮像条件には、上記した照明２の移動方向及び移動量だけでなく、輝度等の種々の条件が含まれ、必要に応じて、他の条件を変更することもできる。

また、例えば、本実施形態に掛かる撮像装置１により欠陥検査のための画像を撮像する毎にその際の各クラスタの撮像条件を記憶装置８に蓄積し、記憶装置８に蓄積された撮像条件から統計的に最も多い撮像条件を基準撮像条件として定めることもできる。

１ 撮像装置
２ 照明
３ カメラ
４ 画像処理部
５ ＣＰＵ
６ ＲＯＭ
７ ＲＡＭ
８ 記憶装置
１０ クラスタリング処理部
１１ 判定部
１２ 撮像条件変更部
１３ 繰返部
１４ 画像合成部

Claims (6)

1. 被検査物の検査対象領域に照明光を照射する照明手段と、
   前記検査対象領域の基準画像を基準となる基準撮像条件に従って取得する基準画像撮像手段と、
   前記基準画像に対してクラスタリング処理を行うことにより該基準画像を複数のクラスタに分割するクラスタリング処理手段と、
   各前記クラスタが所定の条件に合致するかを判定する判定手段と、
   各前記クラスタが所定の条件に合致しない場合に、該所定の条件に合致しない前記クラスタの撮像条件を変更する撮像条件変更手段と、
   前記所定の条件に合致しない前記クラスタの画像を前記変更された撮像条件に従って取得する領域画像撮像手段と、
   全ての前記クラスタが所定の条件に合致するまで前記撮像条件変更手段による撮像条件の変更及び前記領域画像撮像手段による画像の取得を繰り返す繰返手段と、
   全ての前記クラスタが所定の条件に合致すると判定された場合に、該所定の条件に合致した各クラスタの画像を合成して前記検査対象領域の合成画像を取得する画像合成手段と、
   を備えた撮像装置。
2. 前記所定の条件が、各前記クラスタの平均輝度と予め定めた目標値との差が所定の範囲内である請求項１記載の撮像装置。
3. 前記撮像条件変更手段が、前記照明手段の移動方向を前記クラスタの重心位置と前記基準画像の中心位置とを結ぶ線分方向とすると共に、前記照明手段の移動量を前記照明手段による照明光の照射方向と前記基準画像撮像手段又は前記領域画像撮像手段の撮像光軸とのなす角度に基づいて決定する請求項１又は請求項２記載の撮像装置。
4. 前記撮像条件変更手段が、前記基準画像撮像手段又は前記領域画像撮像手段の移動方向を前記クラスタの重心位置と前記基準画像の中心位置とを結ぶ線分方向とすると共に、前記基準画像撮像手段又は前記領域画像撮像手段の移動量を前記照明手段による照明光の照射方向と前記基準画像撮像手段又は前記領域画像撮像手段の撮像光軸とのなす角度に基づいて決定する請求項１又は請求項２記載の撮像装置。
5. 前記照明手段と前記基準画像取得手段及び前記領域画像撮像手段とが別個独立に移動可能に設けられた請求項１乃至請求項４の何れか１項記載の撮像装置。
6. 被検査物の検査対象領域に照明光を照射するステップと、
   前記検査対象領域の基準画像を基準となる基準撮像条件に従って取得するステップと、
   前記基準画像に対してクラスタリング処理を行うことにより複数のクラスタに分割するステップと、
   各前記クラスタが所定の条件に合致しない場合に、該所定の条件に合致しない前記クラスタの撮像条件を変更するステップと、
   前記所定の条件に合致しない前記クラスタの画像を前記変更された撮像条件に従って取得するステップと、
   各前記クラスタが所定の条件に合致するかを判定し、全ての前記クラスタが所定の条件に合致するまで前記撮像条件変更手段による撮像条件の変更及び前記領域画像撮像手段による画像の取得を繰り返すステップと、
   前記判定手段により全ての前記クラスタが所定の条件に合致すると判定された場合に、該所定の条件に合致した各クラスタの画像を合成して前記検査対象領域の合成画像を取得するステップと、
   を備えた撮像方法。
   

Images