JP2015049133A

JP2015049133A - 表面欠陥検査装置および表面欠陥検査方法

Info

Publication number: JP2015049133A
Application number: JP2013180787A
Authority: JP
Inventors: 忠章; Tadashi Sho; 孝今村; Takashi Imamura; 哲夫三宅; Tetsuo Miyake; 正晴尾栢; Masaharu Ohaku; 保徳中島; Yasunori Nakajima
Original assignee: SHINKYO GIKEN CO Ltd; Toyohashi University of Technology NUC
Current assignee: SHINKYO GIKEN CO Ltd; Toyohashi University of Technology NUC
Priority date: 2013-08-31
Filing date: 2013-08-31
Publication date: 2015-03-16
Anticipated expiration: 2033-08-31
Also published as: JP6371044B2

Abstract

【課題】立体的な形状の評価対象物についても表面欠陥を検出し得る装置および方法を提供する。
【解決手段】評価対象物の姿勢を制御する対象物姿勢制御手段と、光源による光の照射角度を制御する光源制御手段と、撮影手段により撮影された表面画像を分析する画像分析手段とを備える。画像分析手段は、複数の表面画像について、表面反射モデルによって鏡面反射を削除し、複素数離散ウエーブレット変換を施して、ノイズ除去および欠陥鮮鋭化を行った後、全ての画像を合成して合成画像を作成し、この合成画像をモルフォロジー処理により評価対象物の輪郭線を鮮鋭化させた処理画像を作成し、リファレンス画像とのパターンマッチングにより欠陥を抽出するとともに、欠陥の大きさを計算し、該欠陥の大きさに対する閾値に基づき良および不良を判定する。
【選択図】図１

Description

本発明は、表面欠陥検査装置および表面欠陥検査方法に関し、特に、鏡面反射を有する立体的な評価対象物の表面に存在する欠陥を画像から検出するための装置および方法に関するものである。

評価対象物の画像を参照して表面欠陥を検査する方法としては、評価対象物の画像を位相限定相関法により照合し、その照合過程で得られる相関値に基づく方法（特許文献１参照）、または、評価対象物の画像から各画素の濃度勾配を求め、濃度変化の閾値に基づいて画像を２値化するとともに、２値化画像から欠陥を検出する方法（特許文献２参照）があった。

しかしながら、上述の従来技術では、金属部品や金属メッキされた部品のように、鏡面反射を有する評価対象物では、ランダム反射光を検出し難く、鏡面反射を有する評価対象物の局所的な表面欠陥を検出することは困難であった。

そこで、本願の発明者らは、鏡面反射を有する評価対象物の表面欠陥を検出するための方法として、異なる位置の光源から照射される光により評価対象物の複数の画像を取得し、表面反射モデルを用いて鏡面反射の影響を除去し、複素数離散ウエーブレット変換を施した後、パターンマッチングにより欠陥を評価することを発明した（特許文献３参照）。

特開２０００−２２１１３９号公報特開２００１−０３４７６２号公報特開２００８−２９８７０３号公報

ところが、上記特許文献３に開示される技術は、専ら平面的な評価対象物に関するものであり、立体的な形状、特に曲面を有する評価対象物に関するものではなかった。すなわち、立体的な形状の評価対象物について表面欠陥を検出するためには、評価対象物全体の表面に対して検査しなければならず、少なくとも上下方向および前後方向の合計４方向、さらには左右方向を加えた合計６方向について検査しなければならず、その検出は困難なものであった。また、表面形状が曲面である場合には、鏡面反射を生じさせる場所が、光の照射方向や撮影位置等によって変化するため、画一的に処理することができなかった。

本発明は、上記諸点にかんがみてなされたものであって、その目的とするところは、立体的な形状の評価対象物についても表面欠陥を検出し得る装置および方法を提供することである。

そこで、表面欠陥検査装置に係る本発明は、任意の位置から所定の位置に向かって光を照射する複数の光源と、個々の光源による評価対象物の表面画像を撮影する撮影手段と、前記評価対象物を支持するとともに該評価対象物の姿勢を変化させる支持部と、前記支持部により支持される前記評価対象物の姿勢を制御する対象物姿勢制御手段と、前記光源による光の照射角度を制御する光源制御手段と、前記撮影手段により撮影された表面画像を分析する画像分析手段とを備え、前記画像分析手段は、複数の表面画像について、表面反射モデルによって鏡面反射を削除し、複素数離散ウエーブレット変換を施して、ノイズ除去および欠陥鮮鋭化を行った後、全ての画像を合成して合成画像を作成し、該合成画像をモルフォロジー処理により評価対象物の輪郭線を鮮鋭化させた処理画像を作成し、リファレンス画像とのパターンマッチングにより欠陥を抽出するとともに、欠陥の大きさを計算し、該欠陥の大きさに対する閾値に基づき良および不良を判定するものであることを特徴とするものである。

上記構成によれば、光源制御手段によって、光源による光の照射角度を調整しつつ、鏡面反射の位置を異ならせた複数の画像を取得することができ、当該画像から鏡面反射を削除することにより、欠陥の存在によって反射する箇所を特定することが可能となる。このとき、評価対象物の姿勢を同じ状態としつつ特定位置において撮影することにより、複数の画像は単純に合成させることができ、この合成画像をモルフォロジー処理することにより、パターンマッチングを可能にするものである。さらに、対象物姿勢制御手段により、評価対象物を支持する支持部を制御し、評価対象物の姿勢を変化させることができることから、評価対象物全体について表面欠陥の検出に必要な画像を得ることができる。

上記発明において、表面欠陥の良および不良を判定するための閾値は、前記評価対象物について目視による検査を行う複数の検査員による複数回の検査結果を参考に算出したものを使用することができる。

上記構成によれば、検査すべき表面欠陥について、目視による検査と同程度の検査精度を得ることができる。すなわち、表面欠陥が存在するとしても、その全てが不良となるわけではなく、特定の大きさ以上の表面欠陥をもって不良と判定されるのであることから、そのための閾値を検査員による検査結果を参照することにより、評価を目視による判断に近似させることができるのである。

また、上記各発明において、対象物姿勢制御手段は、予め、評価対象物の三次元図形データから表面ポリゴンによる前記評価対象物の表面データが作成され、該表面データにより決定された基本姿勢および評価に必要な姿勢の情報に基づいて、該評価対象物を所定の姿勢に支持するように構成することができる。

上記構成によれば、評価対象物の表面データに基づき基本姿勢が決定され、この基本姿勢の状態から、評価対象物の姿勢をどのように変化させるべきかが判断できるものとなる。例えば、略円筒状の評価対象物の全周表面を評価する際、基本姿勢から円筒軸の回りに９０度、１８０度、２７０度に回転させた姿勢とすることにより、全周表面の状態を撮影することが可能となる。このとき、表面データは表面ポリゴンで表され、各姿勢における表面データの各表面ポリゴンは、表面反射モデルによる表面反射の計算において、反射面を示すこととなる。なお、表面データの間隔は撮影した画像のピクセルの間隔の１／３以下にセットし、表面ポリゴンは表面データで表す最小面積を有する三角形の表面であることから、画像の一つのピクセルの領域は６つの表面ポリゴンで表されることとなる。

さらに、上記各発明において、光源制御手段は、評価対象物の表面反射モデルにより計算された表面反射に基づき、鏡面反射の領域が相互に重複せず、かつ欠陥の反射が少なくとも２つの光源の反射計算結果に存在するものとなる複数の表面画像を得られる光源位置が予め計算され、その計算結果に基づいて、所定の光源位置に複数の光源を配置するものとすることができる。

上記構成によれば表面反射モデルにより鏡面反射の領域が重複しない表面画像が得られることから、その一つの画像において鏡面反射の領域を削除したとしても、当該領域は他の画像に撮影されることとなり、画像を合成することによって、一つの画像のみでは判別できない領域を判別可能にすることができる。また、欠陥の反射が少なくとも２つの表面画像によって得られることから、欠陥の位置および大きさの特定を可能にするものである。

他方、表面欠陥検査方法にかかる本発明は、評価対象物の表面データを作成し、基本姿勢および評価に必要な姿勢を決定する姿勢決定工程と、評価対象物の表面反射モデルにより表面反射を計算する表面反射算出工程と、前記表面反射算出工程により算出された表面反射に基づいて、鏡面反射の領域が相互に重複せず、かつ欠陥の反射が少なくとも２つの光源の反射計算結果に存在するものとなる複数の表面画像を得られる光源位置を決定する光源位置決定工程と、評価対象物を前記姿勢決定工程により決定された所定の姿勢に維持する対象物姿勢維持工程と、前記光源位置決定工程により決定した光源位置に光源を配置する光源配置工程と、各光源による表面画像を撮影手段で撮影する表面画像取得工程と、前記表面画像取得工程により得られた各光源による表面画像について、それぞれ鏡面反射を削除し、複素数離散ウエーブレット変換を施して、ノイズを除去した後、全ての画像を合成して合成画像を作成する合成画像作成工程と、前記合成画像をモルフォロジー処理により評価対象物の輪郭線および表面欠陥を鮮鋭化させた処理画像を作成する処理画像作成工程と、前記処理画像をレファレンス画像とパターンマッチングするマッチング工程と、前記マッチング工程により得られた画像から欠陥の大きさを計算する欠陥寸法算出工程と、前記欠陥寸法算出工程の結果を所定の閾値に基づいて良および不良を判定する判定工程とを含むことを特徴とするものである。

上記構成によれば、評価対象物の姿勢および複数の光源のそれぞれの位置が予め決定され、各光源による光が照射された状態の複数の画像を取得し、これを処理することによって、鏡面反射を除去し、表面欠陥を鮮鋭化することができることから、立体的な形状の評価対象物の表面欠陥を検出することができる。また、表面欠陥の大きさを計算し、その大きさによって良および不良を判定することから、評価対象物に生じた表面欠陥の評価を行うことができる。

表面欠陥検査装置にかかる本発明によれば、光源の位置（光の照射角度）を適宜変更させることができることから、評価対象物の形状に応じて鏡面反射の領域が異なる画像を取得することができる。そして、その鏡面反射の領域を削除することにより、かつ複数の画像を合成することにより、評価対象物の特定の姿勢における表面欠陥を画像中に検出することが可能となる。従って、立体的な形状の評価対象物について表面欠陥を検査することが可能となる。また、光源の位置および評価対象物の姿勢が、予め定められた状態に制御されることにより、評価対象物の所定姿勢による画像を自動的に取得することができるとともに、その画像から表面欠陥の有無および大きさを検出し、その評価をも自動化することが可能となる。

さらに、表面欠陥検査方法にかかる本発明によれば、評価対象物を評価するために必要となるべき画像を予め決定させることができることから、同種の評価対象物を繰り返し連続して評価することができる。このとき、評価に必要となる画像の数に応じた数の光源を特定の位置に固定させることができることから、評価対象物を交換すること、および評価対象物の姿勢を変更することにより、流れ作業的に順次評価対象物を交換しつつ評価することが可能となる。

表面欠陥検査装置の実施形態の概略を示す説明図である。評価対象物の一例とその表面データを示す説明図である。表面反射モデルの定義を示す原理図と表面反射の計算結果を示す説明図である。表面反射モデルにより計算された表面反射の例を示す説明図である。撮影画像と合成画像を示す説明図である。合成画像、モルフォロジー処理後の画像、パターンマッチング後の画像を示す説明図である。心理測定曲線の一例を示す説明図である。表面欠陥検査方法の実施形態の概略を示す処理フロー図である。評価対象物の姿勢制御方法を示す処理フロー図である。光源位置の決定方法を示すフロー図である。光源の配置の手順を示すフロー図である。画像処理の手順を示すフロー図である。閾値決定方法を示すフロー図である。

以下、本発明の実施の形態を図面に基づいて説明する。

＜表面欠陥検査装置＞
図１は、表面欠陥検査装置にかかる実施形態の概略を示す図である。この図は、専ら光源装置と評価対象物との関係を示している。この図に示すように、光源装置は、テーブルの中央から適宜離れた位置に支柱が設けられている。この支柱は、テーブルの中央を中心とする円の弧上に９０度の角度ごとに４つ立設され、また、内側には、弧状のレール部が備えられている。このレール部は、テーブルの中央から支柱基部までを半径とする円弧状であり、前記支柱ごとに当該レール部に沿って摺動可能な光源が合計４個設けられている。各光源による光の照射方向は、テーブルの中央に向かっており、レール部が円弧状であることから、光源がどの位置に停止した状態でもその光の照射方向はテーブル中央に向かうようになっている。

このテーブルの中央付近に評価対象物を設置するための支持部がテーブルに併設されている。支持部は、支持軸を備えており、その先端に評価対象物を把持できる構造となっている。この支持軸は、評価対象物をテーブル中央からテーブル外方まで移動させるために進退可能であるとともに、テーブル上において軸回りに回動可能になっている。

また、テーブル中央の上方にはカメラ（撮影手段）が設置され、上記光源装置の支柱を避けながら評価対象物を撮影できるようになっている。

上記光源、支持部およびカメラの操作は、制御部によって制御されている。制御部は、一般的なパーソナルコンピュータが使用され、制御に必要なＲＯＭ、ＲＡＭ、ＣＰＵ、ＨＤＤを備えている。この制御部から出力される制御信号に基づき、レール部上の所定の位置に光源を移動させ、光の照射および停止を操作できる（光源制御手段）。また、支持部に対しては、検査対象物を把持した状態で、当該検査対象物をテーブル上に移動させるとともに、適宜軸回りに回転させることができる（対象物姿勢制御手段）。さらに、カメラによる撮影を制御し、必要となる画像を取得することができるものである。

ところで、上記制御部は、カメラにより撮影された画像を分析するものでもある（画像分析手段）。画像の分析は、各光源による個別方向からの光が照射されたときの評価対象物の画像について、個別に処理した後、複数の画像を合成して行われる。個別の画像には、鏡面反射を有する場合があるため、表面反射モデルによって鏡面反射が削除される。また、画像中のノイズを削除するために、複素数離散ウエーブレット変換が施される。

このようにノイズが除去された複数の画像を合成して合成画像が作成される。この合成画像には、評価対象物の輪郭線と表面欠陥が存在するものであるが、これらを鮮鋭化するためにモルフォロジー処理が行われる。その後、リファレンス画像とのパターンマッチングにより欠陥を抽出するとともに、欠陥の大きさを計算し、該欠陥の大きさに対する閾値に基づき良および不良が判定されるのである。

ここで、前記制御部による制御に必要となる表面データが予め作成される。表面データは、評価対象物の三次元図形データから表面ポリゴンにより表される。ここで作成された表面データにより、評価対象物の基本姿勢が特定（決定）され、その基本姿勢の状態となるように評価対象物がセットされる。この評価対象物のセットは前記支持部が制御されることにより行われる。なお、基本姿勢の他に必要な姿勢も特定され、その情報に基づいて、逐次、支持部によって評価対象物を回転させることによって所定の姿勢とするものである（なお、以下においては、上記のように制御される支持部を意味する用語としてロボットアームと称する場合がある）。

また、制御部による光源の制御に必要となる表面反射の情報が予め計算される。表面反射の情報は、評価対象物の表面反射モデルにより計算されるものである。この表面反射に基づいて、鏡面反射の領域が相互に重複せず、かつ欠陥の反射が少なくとも２つの光源の反射計算結果に存在するものとなる複数の表面画像を得られる光源位置が予め計算される。すなわち、異なる位置に立設した４つの前記支柱に設けられている４つの光源について、その位置（光の照射角度）を計算するのである。上記計算結果により得られた位置に光源を配置するよう制御されるのである。

ここで、本実施形態をさらに詳細にするため、具体的な立体的形状の評価対象物を例示しつつ説明する。例示する評価対象物は、図２（ａ）に示すようなラッパ状の製品である。この製品は、自動車用のシフトレバーに使用される装飾部品である。

表面データの作成は、図２（ｂ）に示す三次元図形データ（いわゆる３Ｄ−ＣＡＤデータ）から生成されるものである。生成される表面データは図２（ｃ）に示すように、表面ポリゴンによって表されるものである。ところで、生成される表面データの間隔はカメラによって撮影した画像のピクセル（Ｐｉｘｅｌ）間の間隔の１／３以下にセットしている。また、表面データを表す最小面積を有する三角形の表面を表面ポリゴンと呼び、画像の一つのピクセルの領域は、６つの表面ポリゴンで表され、反射計算の精度を向上させている。

表面反射の計算は、表面反射モデルに基づいて行われる。光源から発せられた光は、物体表面に当たった際に、どの方向にどのような強さで反射するかといった特性を有する。この特性を反射特性と称するが、反射特性は物体表面の滑らかさや材質等によって大きく変化し、通常、表面反射モデルによって表現される。表面反射モデルに使用する符号を図３（ａ）に示す。この図に示すように、光源方向をＬ、観測方向をＶ、反射面の点での法線方向をＮと定義する。さらに、ＬとＶのなす角を二等分したベクトルをＨと定義する。また、θ_ｉはＮとＬのなす角、θ_ｒはＮとＶのなす角、δはＮとＨのなす角と定義する。本件における表面反射モデルでは、物体表面の反射光は、拡散反射成分Ｉ_ｄと、鏡面反射成分Ｉ_ｓの２つの和として近似し、次式で表される。ただし、Ｒ_ｄは、対象物の表面拡散係数、Ｒ_ｓは、対象物の表面鏡面反射係数、σは、対象物の表面粗さ（滑らかさ）である。

なお、光源方向Ｌと法線方向Ｎのなす角θ_ｉが９０度を超えると、その面には光が照射されず影となることから、その余弦は負の値をとることとなる。それを防ぐため、上記式（２）においては、関数ｍａｘ（０，Ｎ・Ｌ）は角度θ_ｉが９０度を超える場合に０とした。表面反射モデルにより計算された対象物の表面反射の結果の例を図３（ｂ）に示す。なお、表面反射モデルの係数については、撮影により得られた画像の表面反射の輝度値を用いて、Ｒ_ｄ＝５４．０、Ｒ_ｓ＝１２５００、σ＝０．０４７５を使用した。

上記のように計算された表面反射に基づいて、光源位置を調整することにより、特定の位置における光源位置での表面反射が計算できる。そこで、評価のために使用する画像を得るために、前記複数（４つ）の光源位置をそれぞれ決定するものである。

この光源位置の決定には、次の条件を満たすものとした。第１に、複数の光源位置による反射計算結果には、鏡面反射の領域が重複しないこと、第２に、欠陥の反射が少なくとも２つの光源の反射計算結果に存在するものとなることである。

そして、上記条件を満足させるために、以下の手順で計算を行った。
（１）全ての光源の位置条件で光源シミュレーションを行い、検査結果データ群を作成する。
（２）４つの光源の角度の組み合わせを選出し、対象物表面上の反射シミュレーション結果から輝度行列を作成する。このとき、列方向に光源の角度条件、行方向に表面ポリゴンをとり、各要素には輝度値が入る。ただし、表面ポリゴンは計算の最小の面積単位である。
（３）輝度行列の列を降順に並び替え、評価行列から１番目と４番目の行を削除した新たな２行の評価行列を作成する。
（４）新たに作成された２行の評価行列を用いて表面領域の判定を行う。ただし、鏡面反射領域および影領域となった要素には０を入れる。
（５）評価行列の全ての要素の合計値を光源の組み合わせの評価値とする。このとき、評価行列の１行目に０がある場合は評価値を０とする。
（６）全ての光源の組み合わせの評価値を算出し、評価値が最も大きくなる光源位置の組み合わせを最終光源条件とする。

上記のようにして計算された最終光源条件に基づいて、４つの光源位置を決定したときの対象物の表面反射の状態を図４に示す。この図に示されているように、４つの光源による対象物の表面には、鏡面反射の領域が重複していない。なお、欠陥の反射が少なくとも２つの光源の反射計算結果に存在するとの条件は、図４に示されているように、２つ以上の反射計算結果において、鏡面反射領域を除いた領域が存在していることから、欠陥が存在する場合には、欠陥の反射が存在することが確認される。

上記のように計算された最終光源条件に基づいて、光源位置が決定され、その光源位置において照射される光を使用して評価対象物が撮影されることにより、上記条件を満たした画像が取得されるのである。一部に表面欠陥を有する評価対象物を使用して、上記最終光源条件に設定した光源ごとの撮影画像を図５（ａ）に示す。この図に示されているように、現実の画像において、上記２条件を満足している結果となった。さらに、４つの画像を合成した状態（合成画像）を図５（ｂ）に示す。なお、合成画像の作成においては、合成前に、前述の表面反射モデルを用いて鏡面反射領域を削除している。また、合成前には、ノイズを除去するために、複素数離散ウエーブレット変換を施している。

上記のように、合成画像により、鏡面反射領域を削除しつつ欠陥の反射情報を保持させることが可能であるが、本実施形態では、さらに、合成画像について、モルフォロジー処理を行う。なお、このモルフォロジー処理も制御部によって行われる。

モルフォロジー処理は、与えられた２値画像または濃淡（グレースケール）画像から特徴抽出を目的とする論理体系であり、集合論的操作からなる対処図形の変形手法である。モルフォロジー処理の演算は、二つの集合に対するミンコフスキー和とミンコフスキー差を基本とし、その組み合わせによるものであり、画像処理として扱う場合には、一方の集合を対象画像、他方の集合を構造要素と称する。また、モルフォロジーの基本演算において、ミンコフスキー和を適用する処理をdilation、ミンコフスキー差を適用する処理をerosionと称する。erosionの後にdilationを行う処理をopening、逆にdilationの後にerosionを行う処理をclosingと称する。dilationでは、対象図形の膨張が行われ、この作用により図形中の凹形状部分や穴形状部分を削除することができる。erosionでは、図形の収縮が行われ、これにより図形中の凸形状部分や孤立した小さな塊領域（点など）を削除することができる。従って、openingでは、先にerosionを施すことで図形中の凸形状部分や小さな塊領域を削除し、dilationによって削除されなかった部分を膨張させて元の状態に戻すことができる。その結果、当初の図形から凸形状部分や小さな塊領域のみを削除する処理が可能となる。他方、closingでは、先にdilationを施すことで、凹形状部分や穴形状部分を削除し、erosionによって、削除されなかった部分を収縮させて元の状態に戻すことができる。その結果、当初の図形から凹形状部分や穴形状部分のみを削除する処理が可能となる。

そこで、本実施形態では、opening処理を行うことにより、表面欠陥を削除することができる。そこで、さらに、opening処理の前後の画像の差分を求めることにより、表面欠陥を鮮鋭化させることができる。なお、opening処理においては、評価対象物の輪郭線についても処理対象となり得ることから、輪郭線についても鮮鋭化する必要があり得る。この場合にも処理前後の差分を求めることにより鮮鋭化させることができる。これらの画像データは制御部内の記憶装置に記憶されるものである。

さらに、制御部によりモルフォロジー処理後の画像についてリファレンス画像とパターンマッチングされる。パターンマッチングに使用されるレファレンス画像は、表面欠陥を有しない評価対象物の画像について、上記と同様に処理されものである。すなわち、４つの光源による画像から鏡面反射を削除し、これらを合成したうえで、モルフォロジー処理により評価対象物の輪郭線を鮮鋭化させたものである。このようにして得られるリファレンス画像は、評価対象物の輪郭線のみの画像となることから、両画像を比較することによって表面欠陥のみの情報を得ることができるのである。図６にパターンマッチングされた画像の例（図６（ｃ））を示す。なお、図６（ａ）はモルフォロジー処理前の合成画像を示し、図６（ｂ）はモルフォロジー処理後の画像を示すものである。

以上により、制御部における処理によって表面欠陥が検出されることとなる。なお、検出された表面欠陥の存在により、製品の良および不良を判定すべき場合には、さらに、制御部において、表面欠陥の大きさが計算され、表面欠陥が検出させた際の良および不良が判定されることとなる。良および不良の判定には、その判定のための所定の閾値が設定される。当該閾値の決定には、評価判定を行う検査員の目視による評価データが参照される。すなわち、大きさの異なる表面欠陥について、複数の検査員が目視により複数回行った判定の結果を統計し、検査基準値の閾値を計算するのである。

算出方法は、検査員の心理測定曲線を次式のように定め、検査員の知覚特性を定量的に評価する。

ただし、上記式（４）中、ｘは知覚強度、Ｐは知覚強度が発生する確率、ｂおよびｃは検査員の特性パラメータである。

上記心理曲線は、次の手順により求められる。第１に、既知の欠陥サイズによる欠陥サンプルをＮ_ｊ回検査員に見せ、欠陥サイズｘ_ｊ（ｊ＝１，２，．．．Ｎ_ｊ）が判定基準値よりも大きいと判断された回数をｎ_ｊとする。第２に、確率Ｐ_ｊ＝ｎ_ｊ／Ｎ_ｊを求める。第３に、確率Ｐ_ｊを用いて最尤法により上記式（４）のパラメータｂおよびｃを推定する。最後に、知覚強度が発生する確率Ｐ＝０．５におけるサイズを求める。なお、ある検査員における心理測定曲線の例を図７に示す。これを複数の検査員に対して行い、それらを統計的に処理し、その平均値から検査基準値を求め閾値として定めるのである。

＜表面欠陥検査方法＞
次に、表面欠陥検査方法の実施形態について説明する。図８は、検査方法の概略を示すフローである。この図に示されているように、まず、評価対象物は、ロボットハンドに支持されて、所定の位置（テーブルの中央）にセット（初期セット）されるとともに（対象物姿勢維持工程・Ｓ１０）、評価対象物の姿勢を判定しつつ（Ｓ２０）、まず、本基本姿勢にセットされる（Ｓ３０）。このとき、評価対象物の形状に関する情報は、三次元図面データから表面データが作成されており、当該表面データに基づいてロボットハンドにより支持される評価対象物の姿勢が決定されている（姿勢決定工程）。

次に、評価対象物の姿勢に対応する光源位置に関するデータが読み込まれ（Ｓ４０）、当該データに沿って、光源位置が所定の位置に配置される（光源配置工程・Ｓ５０）。この工程は、後述する光源位置の最適化決定処理（光源位置決定工程）によって予め決定された情報が記憶されており、この情報に基づいて、所望の光源位置に光源を移動するものである。

光源が所定の位置に配置されると、表面欠陥が検査（測定および判定・Ｓ６０，Ｓ７０）される。表面欠陥の検査の詳細は後述するが、光源位置から照射される個別の光により撮影される映像に基づいて、表面欠陥を検出（測定・Ｓ６０）するとともに、その良および不良が判定され（Ｓ７０）、不良と判定された時点で不良品として除去される（Ｓ７１）。他方、良と判断された場合は、他の表面についても同様に検査される（Ｓ８０，Ｓ８１）。そして、予定した全ての面について良と判定された場合は、良品として認定され、正常のルートで搬送される（Ｓ８０，Ｓ８２）。他の表面の検査を行う場合は、予定される評価対象物の姿勢を変更して行われる。この姿勢は、前記姿勢決定工程によって決定された基本姿勢以外の姿勢である。

ここで、各工程の詳細を説明する。基本姿勢の決定は、予め表面データを参照しながら決定されており、他の姿勢は、標準姿勢を９０度ずつ回転させた状態の姿勢とし、各姿勢の情報が記憶装置に記憶されている。そこで、基本姿勢のセットは、図９に示すように、表面データによる姿勢の情報を読み込んだうえで（Ｓ３１）、評価対象物の輪郭線を抽出しつつ（Ｓ３２）、評価対象物が基本姿勢となっているか否かが判断される（Ｓ３３）。ロボットハンドによって支持されている評価対象物が基本姿勢となっていない場合は、当該ロボットハンドを調整して評価対象物の姿勢を変化させて、姿勢を調整するのである（Ｓ３４）。なお、輪郭線の抽出は撮影用のカメラを使用することができる。

評価対象物が基本姿勢に配置された後には、光源配置工程が行われるが、光源の位置は、予め光源位置決定工程によって決定される。ここで、光源位置の最適化決定処理（光源位置決定工程）について説明する。図１０に示すように、複数の光源は当初基本的な位置に設定され（Ｓ１０１）、光源位置を決定すべき評価対象物の姿勢毎の表面データが読み込まれ（Ｓ１０２）、そのデータがセットされる（Ｓ１０３）。そして、複数の光源毎の表面反射モデルによる表面反射が計算され（表面反射算出工程・Ｓ１０４）、その表面反射に基づいて、鏡面反射の領域が重複せず（Ｓ１０５）、欠陥の反射が少なくとも２つの光源の反射計算結果に存在するように（Ｓ１０８）、光源毎に位置が調整され（Ｓ１０６，Ｓ１０７，Ｓ１０９）、それぞれの位置が決定される。上記条件を満たす場合には光源位置が決定し、その情報が保存される（Ｓ１１０）。このとき、画像取得のための撮影用カメラは固定され、当該カメラによる表面画像が上記反射計算結果となるように、光源の位置が決定されるのである。なお、光源の位置決定は、評価対象物の基本姿勢から行われ、予定する他の姿勢についても全て実施される（Ｓ１１１，Ｓ１１２）。また、本実施形態では、カメラを鉛直方向にセットし、光源は、水平方向全周に９０度の間隔で固定され、かつ鉛直方向に円弧状に昇降できるようにしている。この状態において、上記条件を満たす光源の位置を決定するのである（光源位置決定工程）。なお、光源配置工程では、図１１に示すように、複数の光源ごとに位置が調整されるものである。すなわち、評価対象物の姿勢が決定し、所望の姿勢にセットされた後、その姿勢に対応する光源（ｊ番目の光源）の位置の情報が読み込まれ（Ｓ２０１）、その情報に基づいて光源が正確に配置される（Ｓ２０２，Ｓ２０３，Ｓ２０４）。これを全ての光源について実施するのである（Ｓ２０５，Ｓ２０６）。

そして、光源が所定位置に配置されると、評価対象物の表面画像が撮影される（表面画像取得工程）。この表面画像は、前記光源配置工程により配置された光源ごとに撮影され、それぞれ記憶手段に記憶される。

上記により取得された表面画像は、合成画像作成工程、処理画像作成工程およびマッチング工程を経て表面欠陥の評価が可能な状態となる。図１２に示すように、まず、合成画像作成工程では、表面画像取得工程によって得られた複数の表面画像について計測され（Ｓ３０１）、それぞれ鏡面反射が削除され（Ｓ３０１）、複素数離散ウエーブレット変換を施してノイズを除去される（Ｓ３０３）。同じ姿勢における複数の画像の全てに上記処理が終了した後、これの画像を合成して合成画像を作成するのである。処理画像作成工程では、合成画像をモルフォロジー処理により評価対象物の輪郭線および表面欠陥を鮮鋭化させた処理画像を作成するのである（Ｓ３０４）。マッチング工程では、処理画像をレファレンス画像とパターンマッチングするのである（Ｓ３０５）。なお、レファレンス画像は、表面欠陥を有しない評価対象物について、上記処理を行った画像が使用される。

上記マッチング工程によりパターンマッチングが行われた画像から表面欠陥を検出することができることとなり、その画像を参照しながら、欠陥の大きさが計算される（欠陥寸法算出工程・Ｓ３０５）。欠陥寸法の算出方法としては、例えば、評価対象物の大きさに対する表面欠陥の比率によって算出することができる。

そして、表面欠陥の大きさが算出されれば、その大きさが閾値よりも大きいか否かによって良および不良が判定されることとなる（判定工程・Ｓ３０６）。このときの閾値は、予め数値を特定して入力することができ、その数値は任意の大きさを入力することができるほか、複数の検査員による目視の判定結果を参照しつつ統計的な数値を入力してもよい。この場合、図１３に示すように、検査員による多数回の欠陥判定試験（Ｓ４０１）の結果から、心理曲線による欠陥サイズを推定し（Ｓ４０２）、これを複数の検査員に対して実施し（Ｓ４０３，Ｓ４０４）、さらに統計的に欠陥サイズを決定し閾値とするのである（Ｓ４０５）。ここで決定された閾値をデータベースに保存することにより（Ｓ４０６）、判定工程において閾値を要求すると、保存された閾値が出力されることとなるのでる。

上記のような表面画像取得工程移行の各工程は、評価対象物の表面欠陥検出に必要な姿勢（姿勢決定工程により決定された姿勢）のそれぞれについて実施され、それぞれの姿勢ごとに判定されることとなる。

以上のとおり、上記実施形態の表面欠陥検査装置を使用し、または表面欠陥検査方法に基づいて処理することにより、評価対象物の表面欠陥の検出および判定が行われ、ロボットハンドにより、順次評価対象物を交換しながら処理することにより、多数の同種の評価対象物について表面欠陥を検査し得ることとなる。また、ロボットハンドによる評価対象物の支持および解除ならびに姿勢調整を自動化させることにより、表面欠陥検査工程の全てを自動化することができる。

なお、上記実施形態は、本発明の一例を示すものであり、本発明がこれらに限定させることを意図するものではない。すなわち、上記実施形態では、例示として車両用のシフトレバーの装飾品を用いて画像処理したものを示したが、評価対象物としてはこれに限定されるものではなく多岐にわたるものである。また、鏡面反射を有する物品を対象としているが、この種の物品としては、金属加工品に限らず表面に金属メッキを施したもの、さらには、金属以外の材料が表面に塗布されている場合も含まれる。

Claims

立体的な評価対象物の表面欠陥を検査する装置であって、
任意の位置から所定の位置に向かって光を照射する複数の光源と、
個々の光源による評価対象物の表面画像を撮影する撮影手段と、
前記評価対象物を支持するとともに該評価対象物の姿勢を変化させる支持部と、
前記支持部により支持される前記評価対象物の姿勢を制御する対象物姿勢制御手段と、
前記光源による光の照射角度を制御する光源制御手段と、
前記撮影手段により撮影された表面画像を分析する画像分析手段とを備え、
前記画像分析手段は、複数の表面画像について、反射モデルによって鏡面反射を削除し、複素数離散ウエーブレット変換を施して、ノイズを除去した後、全ての画像を合成して合成画像を作成し、該合成画像をモルフォロジー処理により評価対象物の輪郭線および表面欠陥を鮮鋭化させた処理画像を作成し、リファレンス画像とのパターンマッチングにより欠陥を抽出するとともに、欠陥の大きさを計算し、該欠陥の大きさに対する閾値に基づき良および不良を判定するものであることを特徴とする表面欠陥検査装置。
前記閾値は、前記評価対象物について目視による検査を行う複数の検査員による複数回の検査結果を参考に算出したものであることを特徴とする請求項１に記載の表面欠陥検査装置。
前記対象物姿勢制御手段は、予め、評価対象物の三次元図形データから表面ポリゴンによる前記評価対象物の表面データが作成され、該表面データにより決定された基本姿勢および評価に必要な姿勢の情報に基づいて、該評価対象物を所定の姿勢に支持するものであることを特徴とする請求項１又は２に記載の表面欠陥検査装置。
前記光源制御手段は、評価対象物の表面反射モデルにより計算された表面反射に基づき、鏡面反射の領域が相互に重複せず、かつ欠陥の反射が少なくとも２つの光源の反射計算結果に存在するものとなる複数の表面画像を得られる光源位置が予め計算され、その計算結果に基づいて、所定の光源位置に複数の光源を配置するものであることを特徴とする請求項１ないし３のいずれかに記載の表面欠陥検査装置。
立体的な評価対象物の表面欠陥を検査するための方法であって、
評価対象物の表面データを作成し、基本姿勢および評価に必要な姿勢を決定する姿勢決定工程と、
評価対象物の表面反射モデルにより表面反射を計算する表面反射算出工程と、
前記表面反射算出工程により算出された表面反射に基づいて、鏡面反射の領域が相互に重複せず、かつ欠陥の反射が少なくとも２つの光源の反射計算結果に存在するものとなる複数の表面画像を得られる光源位置を決定する光源位置決定工程と、
評価対象物を前記姿勢決定工程により決定された所定の姿勢に維持する対象物姿勢維持工程と、
前記光源位置決定工程により決定した光源位置に光源を配置する光源配置工程と、
各光源による表面画像を撮影手段で撮影する表面画像取得工程と、
前記表面画像取得工程により得られた各光源による表面画像について、それぞれ鏡面反射を削除し、複素数離散ウエーブレット変換を施して、ノイズを除去した後、全ての画像を合成して合成画像を作成する合成画像作成工程と、
前記合成画像をモルフォロジー処理により評価対象物の輪郭線および表面欠陥を鮮鋭化させた処理画像を作成する処理画像作成工程と、
前記処理画像をレファレンス画像とパターンマッチングするマッチング工程と、
前記マッチング工程により得られた画像から欠陥の大きさを計算する欠陥寸法算出工程と、
前記欠陥寸法算出工程の結果を所定の閾値に基づいて良および不良を判定する判定工程とを含む
ことを特徴とする表面欠陥検査方法。