JP2018066586A - 外観検査装置 - Google Patents

外観検査装置 Download PDF

Info

Publication number
JP2018066586A
JP2018066586A JP2016203760A JP2016203760A JP2018066586A JP 2018066586 A JP2018066586 A JP 2018066586A JP 2016203760 A JP2016203760 A JP 2016203760A JP 2016203760 A JP2016203760 A JP 2016203760A JP 2018066586 A JP2018066586 A JP 2018066586A
Authority
JP
Japan
Prior art keywords
image
time
series
images
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016203760A
Other languages
English (en)
Other versions
JP6126290B1 (ja
Inventor
足立 秀之
Hideyuki Adachi
秀之 足立
菅野 純一
Junichi Sugano
純一 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visco Tech Corp
VISCO TECHNOLOGIES CORP
Original Assignee
Visco Tech Corp
VISCO TECHNOLOGIES CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visco Tech Corp, VISCO TECHNOLOGIES CORP filed Critical Visco Tech Corp
Priority to JP2016203760A priority Critical patent/JP6126290B1/ja
Application granted granted Critical
Publication of JP6126290B1 publication Critical patent/JP6126290B1/ja
Publication of JP2018066586A publication Critical patent/JP2018066586A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】検査対象物に反射強度が低い部分が存在する場合でも、へこみ/ふくれ欠陥やクラック欠陥の存在を正しく判定可能とする。【解決手段】本発明による外観検査装置は、複数の互いに異なる光学条件の下で検査対象物を撮影することによって得られる時系列画像V(x,y,t)を生成する時系列画像生成部10aと、時系列画像V(x,y,t)に正規化抑制定数及びその反数を連結してなる拡張時系列画像に基づき、時系列画像V(x,y,t)を正規化してなる時系列正規化画像I(x,y,t)を生成する時系列正規化画像生成部11aと、時系列正規化画像I(x,y,t)と、正常品の撮影結果に基づいて同様に生成された時系列正規化画像との間の画素ごとの相関距離を示す相関距離画像Icd(x,y)を生成する相関距離画像生成部12aとを備える。【選択図】図7

Description

本発明は外観検査装置に関し、特に、ふくれ/へこみ欠陥及びクラック欠陥の検出に適した外観検査装置に関する。
電子部品の製造工程においては、製造された電子部品に傷、汚れ、異物の付着などがないことを検査する必要がある。この検査は一般に外観検査と呼ばれ、近年では、画像認識装置を利用して自動的に行われるようになっている。特許文献1〜4には、このような外観検査の例が開示されている。
特許文献1には、検査対象の多値画像から所定の方法により基準濃度値(輝度値の中央値、平均値など)を算出し、各画素の濃度と基準濃度値との差分を画素ごとに算出し、その結果に基づいてブロブ(塊状の欠陥)を特定する、という技術が開示されている。ただし、この技術によって検査できるのはパターンのないフィルムの表面などの一様な濃度面のみであり、表面に様々な形状の構造物が存在する部分の外観は検査できない。
特許文献2には、電子部品ではなく印刷物が対象であるが、基準画像と検査画像との差分を画素ごとに算出し、算出した差分がしきい値を超えている場合に異常があると判定する、という技術が開示されている。この技術においては、予め決められた矩形領域ごとにその平坦度が算出され、算出された平坦度に基づき、矩形領域ごとにしきい値が決定される。
特許文献3には、参照画像と検査対象画像の差分を画素ごとに作成されるファジィメンバーシップ関数により欠陥度という数値に変換した後、任意サイズの局所領域ごとに欠陥度の積分値を算出し、算出した積分値が一定の判定基準値以上となる領域を欠陥として認識する、という技術が開示されている。ファジィメンバーシップ関数は輝度差分値欠陥度変換フィルタであり、ノイズの影響を軽減するとともに、大欠陥と小欠陥とを区別可能とする役割を担っている。
特許文献4には、複数の光学条件に基づく画像から欠陥を検出する技術が開示されている。同文献の[0030]段落には、照明条件の異なる2つの画像の平均値を特徴量とすることについての記載がある。
また、非特許文献1には、照度差ステレオ(フォトメトリックステレオ)を利用して対象物の形状を復元する技術が開示されている。この技術は、各画素の輝度履歴(各光源下で観測される輝度を並べてなるベクトルを、長さが1になるように正規化したもの。同文献の式(1)参照)を取得し、取得した輝度履歴から得られる任意の2点間の測地線距離(=輝度履歴の差分の絶対値)に基づいて、各画素の法線ベクトルを推定する、というものである。同文献には、測地線距離と輝度履歴の内積の逆余弦とが近似的に等しいことが示されている(同文献の式(9)参照)。
さらに、特許文献5には、画像から背景以外の動物体を抽出する技術が開示されている。この技術は、画像を複数の小領域に分割し、各小領域内の画素群を1次元ベクトルとして扱い、正規化(同文献の[0006]段落参照)を行ったうえで、正規化後のベクトルの時間方向のバラツキを小領域ごとに算出し(同文献の式(6)参照)、その結果に基づいて動物体領域を抽出する、というものである。
特開2012−167963号公報 特開2012−103225号公報 特開2004−038885号公報 特許第5174535号公報 特開2002−032760号公報
佐藤 洋一、「照明変化に伴う輝度変化の類似度に基づく物体形状復元」、online]、[平成28年9月15日検索]、インターネット〈URL:https://www.jpo.go.jp/shiryou/kijun/kijun2/pdf/tjkijun_i-3.pdf〉
ところで、電子部品の外観検査の重要な目的の一つに、ふくれ/へこみ欠陥又はクラック欠陥の検出が挙げられる。いずれも製品の品質を著しく損なう可能性のある欠陥であることから、外観検査での検出が必須である。
しかしながら、実際には、ふくれ/へこみ欠陥やクラック欠陥の検出は困難である場合が多い。というのも、これらの欠陥は、視線方向を様々な方向に変えながら観測して、ようやく見えてくる性質のものだからである。自動検査においては、コスト及び検査時間の観点から自由に視線方向を変えることが困難であるため、ふくれ/へこみ欠陥やクラック欠陥の程度、向きなどによっては、見えない欠陥が生じてしまうのである。
本願の発明者は、少しでもふくれ/へこみ欠陥やクラック欠陥を検出できるようにするための方法として、非特許文献1に記載されているようなフォトメトリックステレオを外観検査に応用することを検討している。正常品と検査対象物とのそれぞれにおいてフォトメトリックステレオにより各画素の法線ベクトルを求め、求めた法線ベクトルを比較することにより、検査対象物に生じた異常を発見することができると考えられる。
しかしながら、本願の発明者が研究を進めた結果、上記のようにフォトメトリックステレオを用いる方法には、検査対象物の表面に反射強度の低い部分があると正しい計測ができないという問題があることが判明した。例えば、中央に穴がある部品では、中央部は反射光が得られないためカメラノイズだけが記録されることになる。その結果、穴部分は検査が不可能となる。また、欠陥品にのみ穴があいているケースでは、この穴を異常と認識したいが、これも同様の理由で検査不可能である。この問題は穴に限らず、対象物の表面に反射強度の大きく異なる領域が存在すると顕在化する。例えば色の違いである。
したがって、本発明の目的の一つは、検査対象の反射強度によらず、へこみ/ふくれ欠陥やクラック欠陥の存在を正しく判定できる外観検査装置を提供することにある。
本発明の一側面による外観検査装置は、複数の互いに異なる光学条件の下で検査対象物を撮影することによって得られる第1の時系列画像を生成する第1の時系列画像生成部(10a,32a)と、前記第1の時系列画像に正規化抑制定数及びその反数を連結してなる第1の拡張時系列画像に基づき、前記第1の時系列画像を正規化してなる第1の時系列正規化画像を生成する第1の時系列正規化画像生成部と、前記複数の互いに異なる光学条件の下で正常品を撮影することによって得られる第2の時系列画像を生成する第2の時系列画像生成部と、前記第2の時系列画像に正規化抑制定数及びその反数を連結してなる第2の拡張時系列画像に基づき、前記第2の時系列画像を正規化してなる第2の時系列正規化画像を生成する第2の時系列正規化画像生成部と、前記第1の時系列正規化画像と前記第2の時系列正規化画像との間の画素ごとの相関距離を示す第1の相関距離画像を生成する第1の相関距離画像生成部とを備えることを特徴とする。
本発明によれば、第1及び第2の時系列画像の正規化を行なう上でカメラノイズのような微弱な信号まで増幅されることがなくなるので、検査対象の反射強度によらず期待する検査を実施することが可能になる。
上記外観検査装置において、前記第1の拡張時系列画像は、画素ごとに前記第1の時系列画像の時間方向の平均値に前記正規化抑制定数を加算してなる第1の連結画像と、画素ごとに前記第1の時系列画像の時間方向の平均値から前記正規化抑制定数を減算してなる第2の連結画像とを前記第1の時系列画像に連結してなる画像であり、前記第1の時系列正規化画像生成部は、前記第1の拡張時系列画像の時間方向の平均値及び標準偏差に基づいて前記第1の時系列正規化画像を生成し、前記第2の拡張時系列画像は、画素ごとに前記第2の時系列画像の時間方向の平均値に前記正規化抑制定数を加算してなる第3の連結画像と、画素ごとに前記第2の時系列画像の時間方向の平均値から前記正規化抑制定数を減算してなる第4の連結画像とを前記第2の時系列画像に連結してなる画像であり、前記第2の時系列正規化画像生成部は、前記第2の拡張時系列画像の時間方向の平均値及び標準偏差に基づいて前記第2の時系列正規化画像を生成することとしてもよい。こうすれば、ふくれ/へこみ欠陥の検出に適した時系列画像を得ることが可能になる。
上記外観検査装置において、複数の互いに異なる光学条件の下での正常品の撮影を複数回にわたって繰り返すことによって得られる複数の第3の時系列画像を生成する第3の時系列画像生成部をさらに備え、前記第2の時系列画像は、前記複数の第3の時系列画像の画素ごとの平均値により構成される画像であることとしてもよい。こうすれば、正常品間のバラツキにより生じ得る結果の誤差を低減することが可能になる。
上記外観検査装置において、前記複数の第3の時系列画像のそれぞれについて、該第3の時系列画像に正規化抑制定数及びその反数を連結してなる第3の拡張時系列画像に基づき、該第3の時系列画像を正規化してなる第3の時系列正規化画像を生成する第3の時系列正規化画像生成部と、複数の前記第3の時系列正規化画像のそれぞれについて、前記第2の時系列正規化画像との間の画素ごとの相関距離を示す第2の相関距離画像を生成する第2の相関距離画像生成部と、前記第2の相関距離画像生成部によって生成される複数の前記第2の相関距離画像の画素ごとの平均値によって構成される第1の平均画像、及び、該複数の第2の相関距離画像の画素ごとの標準偏差によって構成される第1の標準偏差画像を生成する第1の確率的ふるまい記述部と、前記第1の相関距離画像、前記第1の平均画像、及び前記第1の標準偏差画像に基づき、前記第1の相関距離画像と前記複数の第2の相関距離画像との画素ごとの確率的距離を示す第1の確率的距離画像を生成する第1の確率的距離画像生成部とをさらに備えることとしてもよい。こうすれば、いわゆる確率的距離画像を利用して、検査対象物表面の欠陥を検出することが可能になる。
上記各外観検査装置において、前記第3の拡張時系列画像は、画素ごとに対応する前記第3の時系列画像の時間方向の平均値に前記正規化抑制定数を加算してなる第5の連結画像と、画素ごとに対応する前記第3の時系列画像の時間方向の平均値から前記正規化抑制定数を減算してなる第6の連結画像とを対応する前記第3の時系列画像に連結してなる画像であり、前記第3の時系列正規化画像生成部(11c)は、前記複数の第3の時系列画像のそれぞれについて、対応する前記第3の拡張時系列画像の時間方向の平均値及び標準偏差に基づいて前記第3の時系列正規化画像を生成することとしてもよい。こうすれば、複数の第3の時系列画像のそれぞれに関して、ふくれ/へこみ欠陥の検出に適した時系列画像を得ることが可能になる。
上記各外観検査装置において、前記第1の時系列画像の時間方向の平均を示す第1の時間方向平均画像を生成する第1の時間方向平均画像生成部と、前記複数の第3の時系列画像のそれぞれについて、時間方向の平均を示す第2の時間方向平均画像を生成する第2の時間方向平均画像生成部と、前記第2の時間方向平均画像生成部によって生成される複数の前記第2の時間方向平均画像の画素ごとの平均値によって構成される第2の平均画像、及び、該複数の第2の時間方向平均画像の画素ごとの標準偏差によって構成される第2の標準偏差画像を生成する第2の確率的ふるまい記述部と、前記第1の時間方向平均画像、前記第2の平均画像、及び前記第2の標準偏差画像に基づき、前記第1の時間方向平均画像と前記複数の第2の時間方向平均画像との画素ごとの確率的距離を示す第2の確率的距離画像を生成する第2の確率的距離画像生成部とをさらに備えることとしてもよい。こうすれば、時間方向平均画像をさらに利用することが可能になるので、ふくれ/へこみ欠陥だけではなく汚れや異物の付着といった一般的な欠陥も併せて検出することが可能になる。
上記各外観検査装置において、前記第1の時系列画像の時間方向の標準偏差を示す第1の時間方向標準偏差画像を生成する第1の時間方向標準偏差画像生成部と、前記複数の第3の時系列画像のそれぞれについて、時間方向の標準偏差を示す第2の時間方向標準偏差画像を生成する第2の時間方向標準偏差画像生成部と、前記第2の時間方向標準偏差画像生成部によって生成される複数の前記第2の時間方向標準偏差画像の画素ごとの平均値によって構成される第3の平均画像、及び、該複数の第2の時間方向標準偏差画像の画素ごとの標準偏差によって構成される第3の標準偏差画像を生成する第3の確率的ふるまい記述部と、前記第1の時間方向標準偏差画像、前記第3の平均画像、及び前記第3の標準偏差画像に基づき、前記第1の時間方向標準偏差画像と前記複数の第2の時間方向標準偏差画像との画素ごとの確率的距離を示す第3の確率的距離画像を生成する第3の確率的距離画像生成部とをさらに備えることとしてもよい。こうすれば、時間方向標準偏差画像をさらに利用することが可能になるので、より確実に検査対象物表面の欠陥を検出することが可能になる。
上記外観検査装置において、複数の互いに異なる光学条件の下で検査対象物を撮影することによって得られる第4の時系列画像を第1の方向及び該第1の方向と交差する第2の方向のそれぞれで微分することによって第1及び第2の時系列微分画像を生成する第1の時系列微分画像生成部と、前記第1の時系列微分画像を構成する複数の微分画像のそれぞれから該第1の時系列微分画像の時間方向の平均値を減算し、さらに、前記第2の時系列微分画像を構成する複数の微分画像のそれぞれから該第2の時系列微分画像の時間方向の平均値を減算することによって、第1の時系列勾配ベクトル画像を生成する第1の時系列勾配ベクトル画像生成部と、前記複数の互いに異なる光学条件の下で正常品を撮影することによって得られる第5の時系列画像を前記第1及び第2の方向のそれぞれで微分することによって第3及び第4の時系列微分画像を生成する第2の時系列微分画像生成部と、前記第3の時系列微分画像を構成する複数の微分画像のそれぞれから該第3の時系列微分画像の時間方向の平均値を減算し、さらに、前記第4の時系列微分画像を構成する複数の微分画像のそれぞれから該第4の時系列微分画像の時間方向の平均値を減算することによって、第2の時系列勾配ベクトル画像を生成する第2の時系列勾配ベクトル画像生成部とをさらに備え、前記第1の時系列画像は前記第1の時系列勾配ベクトル画像であり、前記第2の時系列画像は前記第2の時系列勾配ベクトル画像であることとしてもよい。こうすれば、本発明をクラック欠陥の検出のために使用することが可能になる。
上記外観検査装置において、前記第1の拡張時系列画像は、各画素の濃度が前記正規化抑制定数に等しい第7の連結画像と、各画素の濃度が前記正規化抑制定数の反数に等しい第8の連結画像とを前記第1の時系列勾配ベクトル画像に連結してなる画像であり、前記第1の時系列正規化画像生成部は、前記第1の拡張時系列画像の時間方向のベクトルとしての長さに基づいて前記第1の時系列正規化画像を生成し、前記第2の拡張時系列画像は、各画素の濃度が前記正規化抑制定数に等しい第9の連結画像と、各画素の濃度が前記正規化抑制定数の反数に等しい第10の連結画像とを前記第2の時系列勾配ベクトル画像に連結してなる画像であり、前記第2の時系列正規化画像生成部は、前記第2の拡張時系列画像の時間方向のベクトルとしての長さに基づいて前記第2の時系列正規化画像を生成することとしてもよい。こうすれば、クラック欠陥の検出に適した時系列画像を得ることが可能になる。
本発明によれば、第1及び第2の時系列画像の正規化を行なう上でカメラノイズのような微弱な信号まで増幅されることがなくなるので、検査対象の反射強度によらず期待する検査を実施することが可能になる。
本発明の実施の形態による外観検査装置1の外観及び機能ブロックを示す図である。 (a)は、図1に示した照明装置3の配置の一例を示す上面図であり、(b)は、(a)に対応する側面図である。 図1に示した照明装置3の配置の他の一例を示す図であり、(a)は部分照明3cを点灯させた状態を、(b)は部分照明3bを点灯させた状態をそれぞれ示している。 図3に示した部分照明3a〜3eをすべて点灯した状態で、へこみ欠陥を有する検査対象物Tを撮像してなる画像を示す図である。 (a)〜(e)は、図3に示した部分照明3a〜3eのそれぞれを単独で点灯させた状態で、図4と同じ検査対象物Tを撮像してなる画像を示す図である。 図1に示した画像処理装置5の機能ブロックのうち、ふくれ/へこみ欠陥を検出するためのモデル情報の生成に関する部分を示す図である。 図1に示した画像処理装置5の機能ブロックのうち、ふくれ/へこみ欠陥を検出するための検査対象物Tの画像処理(モデル情報との比較処理を含む)に関する部分を示す図である。 (a)は、へこみ欠陥を有する検査対象物Tの時系列画像V(x,y,t)の一例を示す図であり、(b)は、(a)の時系列画像V(x,y,t)に基づいて生成された時系列正規化画像I(x,y,t)を示す図である。 (a)は、正常品の時系列画像V(x,y,t)の一例を示す図であり、(b)は、へこみ欠陥を有する検査対象物Tの時系列画像V(x,y,t)の一例を示す図であり、(c)は、(a)の時系列画像V(x,y,t)及び(b)の時系列画像V(x,y,t)に基づいて生成された確率的距離画像SFD(x,y)を示す図であり、(d)は、(a)の時系列画像V(x,y,t)及び(b)の時系列画像V(x,y,t)に基づいて生成された確率的距離画像SFD(x,y)を示す図であり、(c)は、(a)の時系列画像V(x,y,t)及び(b)の時系列画像V(x,y,t)に基づいて生成された確率的距離画像SFD(x,y)を示す図である。 図1に示した画像処理装置5の機能ブロックのうち、クラック欠陥を検出するためのモデル情報の生成に関する部分を示す図である。 図1に示した画像処理装置5の機能ブロックのうち、クラック欠陥を検出するための検査対象物Tの画像処理(モデル情報との比較処理を含む)に関する部分を示す図である。 (a)は、クラック欠陥を有する検査対象物Tの時系列画像V(x,y,t)の一例を示す図であり、(b)は、(a)の時系列画像V(x,y,t)に基づいて生成された時系列正規化勾配ベクトル画像J(x,y,u)を示す図である。 (a)は、正常品の時系列画像V(x,y,t)の一例を示す図であり、(b)は、クラック欠陥を有する検査対象物Tの時系列画像V(x,y,t)の一例を示す図であり、(c)は、(a)の時系列画像V(x,y,t)及び(b)の時系列画像V(x,y,t)に基づいて生成された確率的距離画像SFD(x,y)を示す図であり、(d)は、(a)の時系列画像V(x,y,t)及び(b)の時系列画像V(x,y,t)に基づいて生成された確率的距離画像SFD(x,y)を示す図であり、(c)は、(a)の時系列画像V(x,y,t)及び(b)の時系列画像V(x,y,t)に基づいて生成された確率的距離画像SFD(x,y)を示す図である。
以下、添付図面を参照しながら、本発明の好ましい実施の形態について詳細に説明する。
図1は、本発明の実施の形態による外観検査装置1の外観及び機能ブロックを示す図である。同図に示すように外観検査装置1は、搬送装置2と、照明装置3と、カメラ4と、画像処理装置5と、照明制御装置6と、出力装置7と、入力装置8とを備えて構成される。
搬送装置2は、その上に戴置された検査対象物Tを搬送可能に構成された装置であり、カメラ4の下を通過するように検査対象物Tを搬送する役割を果たす。搬送装置2の動作は、画像処理装置5によって制御される。検査対象物Tは、例えばICなどの電子部品である。
照明装置3は、搬送装置2上にある検査対象物Tを照らすための照明装置であり、斜め方向から検査対象物Tを照らすことができるように配置される。また、照明装置3は、独立して点灯制御可能な複数の部分照明によって構成されており、どの部分照明が点灯しているかによって複数の光学条件を形成可能に構成される。
図2(a)は、照明装置3の配置の一例を示す上面図であり、図2(b)は、図2(a)に対応する側面図である。この例による照明装置3は、4つの部分照明3a〜3dを備えて構成される。この照明装置3による照明の対象となる検査対象物Tは、例えば図示するように四角錐台形状を有しており、部分照明3a〜3dはそれぞれ、検査対象物Tの互いに異なる4側面を、それぞれの斜め上方から照らすことできる位置に配置される。
図3は、照明装置3の配置の他の一例を示す図である。この例による照明装置3は、5つの部分照明3a〜3eと、ハーフミラー9とを備えて構成される。図3(a)はこのうち部分照明3cを点灯させた状態を、図3(b)は部分照明3bを点灯させた状態をそれぞれ示している。
部分照明3a〜3eは、検査対象物Tの斜め上方に、上下方向に等間隔で並べて配置される。また、部分照明3a〜3eそれぞれの照射方向は、搬送装置2による検査対象物Tの搬送方向と平行とされている。ハーフミラー9は検査対象物Tの上方に配置される鏡であり、部分照明3a〜3eのそれぞれから照射された光を反射し、検査対象物Tを上方から照らす役割を果たす。部分照明3a〜3eが上下方向に並んでいるため、例えば図3(a)と図3(b)を比較すると理解されるように、部分照明3a〜3eのそれぞれから照射された光は、中心点が少しずつオフセットされた状態で検査対象物T上に照射される。
図1に戻る。カメラ4は、検査対象物Tの例えば真上に配置され、検査対象物Tを撮影する撮影手段である。カメラ4は、ラインセンサカメラであってもよいしエリアカメラであってもよい。カメラ4は、画像処理装置5の制御に従って撮影動作を行い、動作の結果として得られた画像を画像処理装置5に出力するよう構成される。
画像処理装置5は、例えば内部にCPU及び記憶装置を有するパソコンであり、記憶装置内に記憶されるプログラムをCPUが実行することにより、以下で述べる各動作を実行するよう構成される。出力装置7及び入力装置8はパソコンに通常備えられるマンマシンインターフェイスであり、照明制御装置6は、画像処理装置5の指示に従って照明装置3の点灯状態を制御する制御装置である。出力装置7として具体的には、ディスプレイやスピーカなどが挙げられる。また、入力装置8として具体的には、キーボードやマウスなどが挙げられる。
画像処理装置5は、検査対象物Tがカメラ4の撮影範囲内に入ったタイミングで検査対象物Tを一旦停止させ、停止している間に、照明装置3を構成する各部分照明が1つずつ順次点灯し、その都度カメラ4による撮影が実行されるよう、搬送装置2、照明制御装置6、及びカメラ4を制御する。この制御により、例えば照明装置3が図2の構成を有している場合であれば、部分照明3a〜3dのそれぞれが点灯しているときに撮影された4つの画像が順次、カメラ4から画像処理装置5に供給されることになる。以下、こうして時系列に供給される複数の画像を「時系列画像」と称する。
図4は、図3に示した部分照明3a〜3eをすべて点灯した状態で、へこみ欠陥を有する検査対象物Tを撮像してなる画像(明視野画像)を示す図である。また、図5(a)〜(e)は、図3に示した部分照明3a〜3eのそれぞれを単独で点灯させた状態で、図4と同じ検査対象物Tを撮像してなる画像を示す図である。
図4及び図5を比較すると理解されるように、部分照明3a〜3eをすべて点灯した状態では全く見えないへこみ欠陥が、部分照明3a〜3eのうちの1つのみを点灯させると見えてくる場合がある。例えば図5の例では、部分照明3dを点灯させた状態を示す図5(d)で最も顕著にへこみ欠陥が観察され、他の図5(b)〜(e)でも同じ位置にへこみ欠陥が観察される。この結果から理解されるように、一般的な明視野照明法又は暗視野照明法のように全方向から均一に対象物を照射する手法を用いたのでは、へこみ欠陥を観測できない場合がある。これは、ふくれ欠陥やクラック欠陥でも同様である。これらの欠陥を可視化するためには、その欠陥に適した特定の方向から光を照射することが必要である。
本実施の形態による外観検査装置1は、ふくれ/へこみ欠陥及びクラック欠陥のこのような性質に鑑み、部分照明3a〜3eを順次1つずつ点灯させて、検査対象物Tを撮影するように構成したものである。画像処理装置5は、この撮影の結果として得られた時系列画像を6種類の確率的距離画像に変換し、その結果に基づいて欠陥の有無を判定するように構成される。
以下、6種類の確率的距離画像を得るために画像処理装置5が行う処理について、画像処理装置5の機能ブロックを参照しながら詳細に説明する。なお、ふくれ/へこみ欠陥とクラック欠陥とで若干処理が異なるので、以下では、まずふくれ/へこみ欠陥の検出について説明し、その後、クラック欠陥の検出について説明することにする。
図6は、画像処理装置5の機能ブロックのうち、ふくれ/へこみ欠陥を検出するためのモデル情報の生成に関する部分を示す図である。また、図7は、画像処理装置5の機能ブロックのうち、ふくれ/へこみ欠陥を検出するための検査対象物Tの画像処理(モデル情報との比較処理を含む)に関する部分を示す図である。
ふくれ/へこみ欠陥の検出に関して、画像処理装置5は、図6及び図7に示すように、時系列画像生成部10a,10c、平均時系列画像生成部10b、時系列正規化画像生成部11a,11c、平均時系列正規化画像生成部11b、相関距離画像生成部12a,12b、確率的ふるまい記述部13a〜13c、確率的距離画像生成部14a〜14c、時間方向平均画像生成部20a,20b、時間方向標準偏差画像生成部21a,21b、及びモデル情報記憶部50を有して構成される。
初めに図7を参照すると、時系列画像生成部10aは、複数の互いに異なる光学条件の下で検査対象物Tを撮影することによって得られる時系列画像V(x,y,t)(第1の時系列画像)を生成する機能部(第1の時系列画像生成部)である。ここでいう複数の互いに異なる光学条件とは、例えば図2に示した4つの部分照明3a〜3d(又は、図3に示した5つの部分照明3a〜3e)のうち互いに異なるものを点灯した状態であり、図1に示した照明制御装置6によって実現される。また、時系列画像V(x,y,t)の括弧内のx,yは画像内の座標を示し、tは、撮影に用いたT個の部分照明の通番(t=0〜T−1)を示している。これらの点は、以下の記述においても同様である。
時系列正規化画像生成部11aは、時系列画像V(x,y,t)に正規化抑制定数Th及びその反数−Thを連結してなる拡張時系列画像V(x,y,t)(t=0〜T+1。第1の拡張時系列画像)に基づき、時系列画像V(x,y,t)を正規化してなる時系列正規化画像I(x,y,t)(第1の時系列正規化画像)を生成する機能部(第1の時系列正規化画像生成部)である。以下、時系列正規化画像生成部11aの処理について詳しく説明する。
まず、拡張時系列画像V(x,y,t)は、具体的には、画素ごとに時系列画像V(x,y,t)の時間方向の平均値に正規化抑制定数Thを加算してなる連結画像V(x,y,T)(第1の連結画像)と、画素ごとに時系列画像V(x,y,t)の時間方向の平均値から正規化抑制定数Thを減算してなる連結画像V(x,y,T+1)(第2の連結画像)とを時系列画像V(x,y,t)に連結してなる画像である。連結画像V(x,y,T),V(x,y,T+1)を数式で書くと、式(1)のようになる。ただし、式(1)中のVavr(x,y)は時系列画像V(x,y,t)の時間方向の平均値であり、式(2)によって表される。
時系列正規化画像生成部11aは、拡張時系列画像V(x,y,t)の時間方向の平均値及び標準偏差に基づいて、時系列正規化画像I(x,y,t)を生成する。具体的には、次の式(3)により時系列正規化画像I(x,y,t)を生成する。ただし、式(3)中のVEavr(x,y)は拡張時系列画像V(x,y,t)の時間方向の平均値であり、式(4)のように表される。また、式(3)中のVEstddev(x,y)は拡張時系列画像V(x,y,t)の時間方向の標準偏差であり、式(5)のように表される。なお、式(3)において右辺の分母にT+2の平方根を乗算しているのは、ベクトルとしての時系列正規化画像[I(x,y,0),I(x,y,1),・・・,I(x,y,T+1)]の長さを1にするためである。
式(3)は、次の式(6)のように書き直すことができる。ただし、式(6)中のNv(x,y)は正規化用の除数であり、式(7)によって表される。式(6)を用いて時系列正規化画像I(x,y,t)を生成する場合、中間生成物としての拡張時系列画像V(x,y,t)の生成が不要になるので、時系列正規化画像生成部11aは、実際には式(6)を用いて時系列正規化画像I(x,y,t)の生成を行う。
時系列正規化画像生成部11aが以上のような正規化を行うことにより、時系列正規化画像I(x,y,t)において、検査対象の反射強度によらず、へこみ/ふくれ欠陥の存在を正しく判定することが可能になる。以下、この点について詳しく説明する。
いま仮に、時系列正規化画像生成部11aが本発明の方法によらない通常の方法で時系列画像V(x,y,t)の正規化を行うとすると、時系列正規化画像I(x,y,t)は、次の式(8)のように算出されることになる。
式(8)により算出される時系列正規化画像I(x,y,t)には、特定の画素において、カメラノイズばかりが強調されてしまう可能性があるという問題がある。すなわち、光学条件を変えても有意な濃淡変動が生じない画素(例えば、深い穴の開いている部分に対応する画素)があったとすると、その画素について求められる時系列画像V(x,y,t)の標準偏差は、極めて小さな値となる。すると、時系列正規化画像I(x,y,t)においては、わずかな濃淡変動が極端に強調されてしまうことになる。このわずかな濃淡変動は、多くの場合カメラノイズによるものであることから、式(8)により算出される時系列正規化画像I(x,y,t)では、カメラノイズに起因する虚報が発生する可能性が高くなる。また、正常品にはない穴が検査対象物にあった場合に、その穴を欠陥として正しく検出することが困難になる。
これに対し、上述した拡張時系列画像V(x,y,t)においては、式(1)から理解されるように、少なくとも2Thの幅の濃淡変動が確保される。その結果、拡張時系列画像V(x,y,t)の標準偏差VEstddev(x,y)が極めて小さな値になってしまうことがなくなるので、拡張時系列画像V(x,y,t)に基づいて式(3)又は式(6)により生成される時系列正規化画像I(x,y,t)においては、わずかな濃淡変動が極端に強調されてしまう可能性が除去される。したがって、本発明による正規化の方法によれば、時系列正規化画像I(x,y,t)において、カメラノイズに起因する虚報の発生を防止するとともに、正常品にはない穴が検査対象物にあった場合に、その穴を欠陥として正しく検出することが可能になると言える。
図8(a)は、へこみ欠陥を有する検査対象物Tの時系列画像V(x,y,t)の一例を示す図であり、図8(b)は、図8(a)の時系列画像V(x,y,t)に基づいて生成された時系列正規化画像I(x,y,t)を示す図である。これらの図に示すように、時系列正規化画像I(x,y,t)においては、斜方照明を用いることによって時系列画像V(x,y,t)内で強調されているへこみ欠陥が、さらに強調される。一方で、時系列正規化画像I(x,y,t)においては、時系列画像V(x,y,t)に比べ、検査対象物Tや照明装置3の個体差による濃淡変動が抑制される。
図6に移り、時系列画像生成部10cは、複数の互いに異なる光学条件(ただし、時系列画像生成部10aによる時系列画像V(x,y,t)の生成で用いたものと同じもの)の下での正常品の撮影を、s=0からs=S−1までのS回にわたって繰り返すことによって得られるS個の時系列画像V(x,y,t)(第3の時系列画像)を生成する機能部(第3の時系列画像生成部)である。なお、時系列画像V(x,y,t)の符号の先頭に下付きで付した小文字のsは、繰り返しの回数を表している。繰り返しの最大数Sは1以上の整数であればよい。
正常品とは、検査対象物Tと同じ形状の部品であるが、欠陥(特にふくれ/へこみ欠陥及びクラック欠陥)のないことが目視などの別の手段によって予め確認されているものである。したがって、S個の時系列画像V(x,y,t)はいずれも欠陥を含まないものとなる。なお、時系列画像生成部10cは、同じ正常品を繰り返し撮影することによってS個の時系列画像V(x,y,t)を生成してもよいし、異なる正常品を1回又は複数回ずつ撮影することによってS個の時系列画像V(x,y,t)を生成してもよい。
時系列正規化画像生成部11cは、S個の時系列画像V(x,y,t)のそれぞれについて、該時系列画像V(x,y,t)に正規化抑制定数Th及びその反数−Thを連結してなる拡張時系列画像(x,y,t)(t=0〜T+1。第3の拡張時系列画像)に基づき、該時系列画像V(x,y,t)を正規化してなる時系列正規化画像I(x,y,t)(第3の時系列正規化画像)を生成する機能部(第3の時系列正規化画像生成部)である。拡張時系列画像(x,y,t)は、画素ごとに時系列画像V(x,y,t)の時間方向の平均値に正規化抑制定数Thを加算してなる連結画像(x,y,T)(第5の連結画像)と、画素ごとに時系列画像V(x,y,t)の時間方向の平均値から正規化抑制定数Thを減算してなる連結画像(x,y,T+1)(第6の連結画像)とを時系列画像V(x,y,t)に連結してなる画像であり、時系列正規化画像生成部11cは、S個の時系列画像V(x,y,t)のそれぞれについて、対応する拡張時系列画像(x,y,t)の時間方向の平均値及び標準偏差に基づいて、時系列正規化画像I(x,y,t)を生成する。
時系列正規化画像生成部11cによる正規化の方法は時系列正規化画像生成部11aによるものと基本的に同一であるので、詳しい説明は省略する。式(6)に相当する時系列正規化画像の生成方法は、時系列正規化画像生成部11cにおいては、次の式(9)によって表される。ただし、式(9)中のavr(x,y)は時系列画像V(x,y,t)の時間方向の平均値であり、式(10)によって表される。また、式(9)中のNv(x,y)は正規化用の除数であり、式(11)によって表される。このような正規化の方法を採用することにより、S個の時系列正規化画像I(x,y,t)においても、カメラノイズに起因する虚報の発生を防止することが可能になる。
平均時系列画像生成部10bは、S個の時系列画像V(x,y,t)の画素ごとの平均値により構成される画像である平均時系列画像aV(x,y,t)(第2の時系列画像)を生成する機能部(第2の時系列画像生成部)である。具体的には、次の式(12)により平均時系列画像aV(x,y,t)を生成する。
平均時系列正規化画像生成部11bは、平均時系列画像aV(x,y,t)に正規化抑制定数Th及びその反数−Thを連結してなる拡張時系列画像aV(x,y,t)(t=0〜T+1。第2の拡張時系列画像)に基づき、平均時系列画像aV(x,y,t)を正規化してなる平均時系列正規化画像aI(x,y,t)(第2の時系列正規化画像)を生成する機能部(第2の時系列正規化画像生成部)である。拡張時系列画像aV(x,y,t)は、画素ごとに平均時系列画像aV(x,y,t)の時間方向の平均値に正規化抑制定数Thを加算してなる連結画像aV(x,y,T)(第3の連結画像)と、画素ごとに時系列画像aV(x,y,t)の時間方向の平均値から正規化抑制定数Thを減算してなる連結画像aV(x,y,T+1)(第4の連結画像)とを平均時系列画像aV(x,y,t)に連結してなる画像であり、平均時系列正規化画像生成部11bは、拡張時系列画像aV(x,y,t)の時間方向の平均値及び標準偏差に基づいて、平均時系列正規化画像aI(x,y,t)を生成する。
平均時系列正規化画像生成部11bによる正規化の方法も時系列正規化画像生成部11aによるものと基本的に同一であるので、詳しい説明は省略する。式(6)に相当する時系列正規化画像の生成方法は、平均時系列正規化画像生成部11bにおいては、次の式(13)によって表される。ただし、式(13)中のaVavr(x,y)は時系列画像aV(x,y,t)の時間方向の平均値であり、式(14)によって表される。また、式(13)中のaNv(x,y)は正規化用の除数であり、式(15)によって表される。このような正規化の方法を採用することにより、平均時系列正規化画像aI(x,y,t)においても、カメラノイズに起因する虚報の発生を防止することが可能になる。
平均時系列正規化画像生成部11bによって生成された平均時系列正規化画像aI(x,y,t)は、正常品を表すモデル情報の一部として、モデル情報記憶部50に格納される。
図7に戻り、相関距離画像生成部12aは、時系列正規化画像I(x,y,t)と平均時系列正規化画像aI(x,y,t)との間の画素ごとの相関距離を示す相関距離画像Icd(x,y)(第1の相関距離画像)を生成する機能部(第1の相関距離画像生成部)である。具体的には、次の式(16)により相関距離画像Icd(x,y)を生成する。式(16)から理解されるように、画像処理装置5においては、内積演算を用いて2つの画像間の相関距離を算出している。
図6に戻り、相関距離画像生成部12bは、S個の時系列正規化画像I(x,y,t)のそれぞれについて、平均時系列正規化画像aI(x,y,t)との間の画素ごとの相関距離を示す相関距離画像cd(x,y)(第2の相関距離画像)を生成する機能部(第2の相関距離画像生成部)である。具体的には、次の式(17)により相関距離画像cd(x,y)を生成する。
確率的ふるまい記述部13aは、相関距離画像生成部12bによって生成されるS個の相関距離画像cd(x,y)の画素ごとの平均値によって構成される平均画像Favr1(x,y)(第1の平均画像)、及び、該S個の相関距離画像cd(x,y)の画素ごとの標準偏差によって構成される標準偏差画像Fstddev1(x,y)(第1の標準偏差画像)を生成する機能部(第1の確率的ふるまい記述部)である。具体的には、次の式(18)及び式(19)においてF(x,y)、Favr(x,y)、Fstddev(x,y)をそれぞれ相関距離画像cd(x,y)、平均画像Favr1(x,y)、標準偏差画像Fstddev1(x,y)に置き換えることにより、平均画像Favr1(x,y)及び標準偏差画像Fstddev1(x,y)を生成する。生成された平均画像Favr1(x,y)及び標準偏差画像Fstddev1(x,y)は、正常品を表すモデル情報の一部として、モデル情報記憶部50に格納される。
図7に戻り、確率的距離画像生成部14aは、相関距離画像Icd(x,y)と、モデル情報記憶部50に格納される平均画像Favr1(x,y)及び標準偏差画像Fstddev1(x,y)とに基づき、相関距離画像Icd(x,y)とS個の相関距離画像cd(x,y)との画素ごとの確率的距離を示す確率的距離画像SFD(x,y)(第1の確率的距離画像)を生成する機能部(第1の確率的距離画像生成部)である。具体的には、次の式(20)及び式(21)においてF(x,y)、Favr(x,y)、Fstddev(x,y)、SFD(x,y)をそれぞれ相関距離画像Icd(x,y)、平均画像Favr1(x,y)、標準偏差画像Fstddev1(x,y)、確率的距離画像SFD(x,y)に置き換えることにより、確率的距離画像SFD(x,y)を生成する。ただし、式(20)中の関数max(A,B)は、変数Aと変数Bの大きい方を出力する関数である。また、ampは、所与の係数である。
次に、時間方向平均画像生成部20aは、時系列画像生成部10aによって生成される時系列画像V(x,y,t)の時間方向の平均を示す時間方向平均画像Iavr(x,y)(第1の時間方向平均画像)を生成する機能部(第1の時間方向平均画像生成部)である。具体的には、次の式(22)によって時間方向平均画像Iavr(x,y)を算出する。なお、時間方向平均画像Iavr(x,y)は、上述した式(2)により算出される時系列画像V(x,y,t)の時間方向の平均値Vavr(x,y)と同じものであるので、この平均値Vavr(x,y)を時間方向平均画像Iavr(x,y)として用いることとしてもよい。
図6に戻り、時間方向平均画像生成部20bは、時系列画像生成部10cによって生成されるS個の時系列画像V(x,y,t)のそれぞれについて、時間方向の平均を示す時間方向平均画像avr(x,y)(第2の時間方向平均画像)を生成する機能部(第2の時間方向平均画像生成部)である。具体的には、次の式(23)によってS個の時間方向平均画像avr(x,y)を算出する。なお、時間方向平均画像avr(x,y)は、上述した式(10)により算出される時系列画像V(x,y,t)の時間方向の平均値avr(x,y)と同じものであるので、この平均値avr(x,y)を時間方向平均画像avr(x,y)として用いることとしてもよい。
確率的ふるまい記述部13bは、時間方向平均画像生成部20bによって生成されるS個の時間方向平均画像avr(x,y)の画素ごとの平均値によって構成される平均画像Favr2(x,y)(第2の平均画像)、及び、該S個の時間方向平均画像avr(x,y)の画素ごとの標準偏差によって構成される標準偏差画像Fstddev2(x,y)(第2の標準偏差画像)を生成する機能部(第2の確率的ふるまい記述部)である。具体的には、上述した式(18)及び式(19)においてF(x,y)、Favr(x,y)、Fstddev(x,y)をそれぞれ時間方向平均画像avr(x,y)、平均画像Favr2(x,y)、標準偏差画像Fstddev2(x,y)に置き換えることにより、平均画像Favr2(x,y)及び標準偏差画像Fstddev2(x,y)を生成する。生成された平均画像Favr2(x,y)及び標準偏差画像Fstddev2(x,y)は、正常品を表すモデル情報の一部として、モデル情報記憶部50に格納される。
図7に戻り、確率的距離画像生成部14bは、時間方向平均画像Iavr(x,y)と、モデル情報記憶部50に格納される平均画像Favr2(x,y)及び標準偏差画像Fstddev2(x,y)とに基づき、時間方向平均画像Iavr(x,y)とS個の時間方向平均画像avr(x,y)との画素ごとの確率的距離を示す確率的距離画像SFD(x,y)(第2の確率的距離画像)を生成する機能部(第2の確率的距離画像生成部)である。具体的には、次の式(24)及び式(25)においてF(x,y)、Favr(x,y)、Fstddev(x,y)、SFD(x,y)をそれぞれ時間方向平均画像Iavr(x,y)、平均画像Favr2(x,y)、標準偏差画像Fstddev2(x,y)、確率的距離画像SFD(x,y)に置き換えることにより、確率的距離画像SFD(x,y)を生成する。ただし、式(25)中の関数abs(A)は、変数Aの絶対値を出力する関数である。
次に、時間方向標準偏差画像生成部21aは、時系列画像生成部10aによって生成される時系列画像V(x,y,t)の時間方向の標準偏差を示す時間方向標準偏差画像Istddev(x,y)(第1の時間方向標準偏差画像)を生成する機能部(第1の時間方向標準偏差画像生成部)である。具体的には、次の式(26)によって時間方向標準偏差画像Istddev(x,y)を算出する。
図6に戻り、時間方向標準偏差画像生成部21bは、時系列画像生成部10cによって生成されるS個の時系列画像V(x,y,t)のそれぞれについて、時間方向の標準偏差を示す時間方向標準偏差画像stddev(x,y)(第2の時間方向標準偏差画像)を生成する機能部(第2の時間方向標準偏差画像生成部)である。具体的には、次の式(27)によってS個の時間方向標準偏差画像stddev(x,y)を算出する。
確率的ふるまい記述部13cは、時間方向標準偏差画像生成部21bによって生成されるS個の時間方向標準偏差画像stddev(x,y)の画素ごとの平均値によって構成される平均画像Favr3(x,y)(第3の平均画像)、及び、該S個の時間方向標準偏差画像stddev(x,y)の画素ごとの標準偏差によって構成される標準偏差画像Fstddev3(x,y)(第3の標準偏差画像)を生成する機能部(第3の確率的ふるまい記述部)である。具体的には、上述した式(18)及び式(19)においてF(x,y)、Favr(x,y)、Fstddev(x,y)をそれぞれ時間方向標準偏差画像stddev(x,y)、平均画像Favr3(x,y)、標準偏差画像Fstddev3(x,y)に置き換えることにより、平均画像Favr3(x,y)及び標準偏差画像Fstddev3(x,y)を生成する。生成された平均画像Favr3(x,y)及び標準偏差画像Fstddev3(x,y)は、正常品を表すモデル情報の一部として、モデル情報記憶部50に格納される。
図7に戻り、確率的距離画像生成部14cは、時間方向標準偏差画像Istddev(x,y)と、モデル情報記憶部50に格納される平均画像Favr3(x,y)及び標準偏差画像Fstddev3(x,y)とに基づき、時間方向標準偏差画像Istddev(x,y)とS個の時間方向標準偏差画像stddev(x,y)との画素ごとの確率的距離を示す確率的距離画像SFD(x,y)(第3の確率的距離画像)を生成する機能部(第3の確率的距離画像生成部)である。具体的には、上述した式(24)及び式(25)においてF(x,y)、Favr(x,y)、Fstddev(x,y)、SFD(x,y)をそれぞれ時間方向標準偏差画像Istddev(x,y)、平均画像Favr3(x,y)、標準偏差画像Fstddev3(x,y)、確率的距離画像SFD(x,y)に置き換えることにより、確率的距離画像SFD(x,y)を生成する。
画像処理装置5は、以上のようにして算出した3種類の確率的距離画像SFD(x,y)〜SFD(x,y)のいずれか1つまたは組み合わせに基づき、検査対象物Tの表面にふくれ/へこみ欠陥が生じているか否かの判定を行う。具体的には、3種類の確率的距離画像SFD(x,y)〜SFD(x,y)のそれぞれにおいて公知のしきい値処理及びブロブ解析の少なくとも一方を行い、その結果に基づいてふくれ/へこみ欠陥の有無を判定する。
図9(a)は、正常品の時系列画像V(x,y,t)の一例を示す図であり、図9(b)は、へこみ欠陥を有する検査対象物Tの時系列画像V(x,y,t)の一例を示す図である。また、図9(c)は、図9(a)の時系列画像V(x,y,t)及び図9(b)の時系列画像V(x,y,t)に基づいて生成された確率的距離画像SFD(x,y)を示す図であり、図9(d)は、図9(a)の時系列画像V(x,y,t)及び図9(b)の時系列画像V(x,y,t)に基づいて生成された確率的距離画像SFD(x,y)を示す図であり、図9(c)は、図9(a)の時系列画像V(x,y,t)及び図9(b)の時系列画像V(x,y,t)に基づいて生成された確率的距離画像SFD(x,y)を示す図である。なお、図9の各確率的距離画像は、時系列画像生成部10cによる正常品の撮影の繰り返し回数を1(すなわち、S=1)として生成したものである。
図9の例では、2つの画像V(x,y,2),V(x,y,3)に現れているへこみ欠陥が確率的距離画像SFD(x,y)に白い領域として反映されている。画像処理装置5は、公知のしきい値処理又はブロブ解析によってこの白い領域を検出し、その結果に基づいて、検査対象物Tの表面に存在するへこみ欠陥を検出する。この例では、確率的距離画像SFD(x,y),SFD(x,y)には欠陥が現れていないが、画像処理装置5は、3種類の確率的距離画像SFD(x,y)〜SFD(x,y)を利用しているので、そのうちの1つである確率的距離画像SFD(x,y)に欠陥が現れたことで、正常にへこみ欠陥を検出することができている。確率的距離画像SFD(x,y)〜SFD(x,y)のいずれに欠陥が現れるかは欠陥の内容によるので、こうして3種類の確率的距離画像SFD(x,y)〜SFD(x,y)を利用することにより、検出の確率を向上することが可能になる。また、時間方向平均画像に基づいて生成される確率的距離画像SFD(x,y)を利用することで、ふくれ/へこみ欠陥だけではなく汚れや異物の付着といった一般的な欠陥も、併せて検出することが可能になる。
次に、クラック欠陥の検出について説明する。
図10は、画像処理装置5の機能ブロックのうち、クラック欠陥を検出するためのモデル情報の生成に関する部分を示す図である。また、図11は、画像処理装置5の機能ブロックのうち、クラック欠陥を検出するための検査対象物Tの画像処理(モデル情報との比較処理を含む)に関する部分を示す図である。
クラック欠陥の検出に関して、画像処理装置5は、図10及び図11に示すように、時系列画像生成部10a,10c、平均時系列画像生成部10b、時系列微分画像生成部31a,31c、平均時系列微分画像生成部31b、時系列勾配ベクトル画像生成部32a,32c、平均時系列勾配ベクトル画像生成部32b、時系列正規化勾配ベクトル画像生成部33a,33c、平均時系列正規化勾配ベクトル画像生成部33b、勾配相関距離画像生成部34a,34b、確率的ふるまい記述部35a〜35c、確率的距離画像生成部36a〜36c、時間方向平均勾配ベクトル画像生成部40a,40b、時間方向勾配ノルム画像生成部41a,41b、及びモデル情報記憶部50を有して構成される。以下、ふくれ/へこみ欠陥の検出と同様の点については適宜省略しながら、説明を進める。
初めに図11を参照すると、時系列微分画像生成部31aは、時系列画像生成部10aによって生成される時系列画像V(x,y,t)(第4の時系列画像)をx方向(第1の方向)及びx方向と交差(直交)するy方向(第2の方向)のそれぞれで微分することにより、2種類の時系列微分画像Gx(x,y,t),Gy(x,y,t)(第1及び第2の時系列微分画像)を生成する機能部(第1の時系列微分画像生成部)である。具体的には、例えば微分方向に隣接する2つの画素間の差分を算出することにより、時系列微分画像Gx(x,y,t),Gy(x,y,t)を生成することとすればよい。
時系列勾配ベクトル画像生成部32aは、時系列微分画像Gx(x,y,t)を構成する複数の微分画像のそれぞれから該時系列微分画像Gx(x,y,t)の時間方向の平均値Gxavr(x,y)を減算し、さらに、時系列微分画像Gy(x,y,t)を構成する複数の微分画像のそれぞれから該時系列微分画像Gy(x,y,t)の時間方向の平均値Gyavr(x,y)を減算することによって、時系列勾配ベクトル画像G(x,y,u)(第1の時系列勾配ベクトル画像=第1の時系列画像)を生成する機能部(第1の時系列勾配ベクトル画像生成部)である。ここで、uは0〜2T−1の整数である。時系列勾配ベクトル画像G(x,y,u)は、具体的には次の式(28)によって表される。また、平均値Gxavr(x,y),Gyavr(x,y)はそれぞれ、式(29)及び式(30)のように表される。
図10に移り、時系列微分画像生成部31cは、時系列画像生成部10cによって生成されるS個の時系列画像V(x,y,t)のそれぞれをx方向及びy方向のそれぞれで微分することにより、それぞれ2種類の時系列微分画像Gx(x,y,t),Gy(x,y,t)を生成する機能部である。具体的には、例えば微分方向に隣接する2つの画素間の差分を算出することにより、時系列微分画像Gx(x,y,t),Gy(x,y,t)を生成することとすればよい。
時系列勾配ベクトル画像生成部32cは、時系列微分画像Gx(x,y,t)を構成する複数の微分画像のそれぞれから該時系列微分画像Gx(x,y,t)の時間方向の平均値Gxavr(x,y)を減算し、さらに、時系列微分画像Gy(x,y,t)を構成する複数の微分画像のそれぞれから該時系列微分画像Gy(x,y,t)の時間方向の平均値Gyavr(x,y)を減算することによって、時系列勾配ベクトル画像G(x,y,u)を生成する機能部である。時系列勾配ベクトル画像G(x,y,u)は、具体的には次の式(31)によって表される。また、平均値Gxavr(x,y),Gyavr(x,y)はそれぞれ、式(32)及び式(33)のように表される。
平均時系列微分画像生成部31bは、平均時系列画像生成部10bによって生成される平均時系列画像aV(x,y,t)(第5の時系列画像)をx方向及びy方向のそれぞれで微分することにより、2種類の時系列微分画像aGx(x,y,t),aGy(x,y,t)(第3及び第4の時系列微分画像)を生成する機能部(第2の時系列微分画像生成部)である。具体的には、例えば微分方向に隣接する2つの画素間の差分を算出することにより、時系列微分画像aGx(x,y,t),aGy(x,y,t)を生成することとすればよい。
平均時系列勾配ベクトル画像生成部32bは、時系列微分画像aGx(x,y,t)を構成する複数の微分画像のそれぞれから該時系列微分画像aGx(x,y,t)の時間方向の平均値aGxavr(x,y)を減算し、さらに、時系列微分画像aGy(x,y,t)を構成する複数の微分画像のそれぞれから該時系列微分画像aGy(x,y,t)の時間方向の平均値aGyavr(x,y)を減算することによって、平均時系列勾配ベクトル画像aG(x,y,u)(第2の時系列勾配ベクトル画像=第2の時系列画像)を生成する機能部(第2の時系列勾配ベクトル画像生成部)である。平均時系列勾配ベクトル画像aG(x,y,u)は、具体的には次の式(34)によって表される。また、平均値aGxavr(x,y),aGyavr(x,y)はそれぞれ、式(35)及び式(36)のように表される。
図11に戻り、時系列正規化勾配ベクトル画像生成部33aは、時系列勾配ベクトル画像G(x,y,u)に正規化抑制定数Th及びその反数−Thを連結してなる拡張時系列画像G(x,y,u)(u=0〜2T+1。第1の拡張時系列画像)に基づき、時系列勾配ベクトル画像G(x,y,u)を正規化してなる時系列正規化勾配ベクトル画像J(x,y,u)(第1の時系列正規化画像)を生成する機能部(第1の時系列正規化画像生成部)である。
拡張時系列画像G(x,y,u)は、具体的には、各画素の濃度が正規化抑制定数Thである連結画像G(x,y,2T)(第7の連結画像)と、各画素の濃度が正規化抑制定数の反数−Thである連結画像G(x,y,2T+1)(第8の連結画像)とを時系列勾配ベクトル画像G(x,y,u)に連結してなる画像である。連結画像G(x,y,2T),G(x,y,2T+1)を数式で書くと、式(37)のようになる。
時系列正規化勾配ベクトル画像生成部33aは、拡張時系列画像G(x,y,u)の時間方向のベクトルとしての長さに基づいて、時系列正規化勾配ベクトル画像J(x,y,u)を生成する。具体的には、次の式(38)により時系列正規化勾配ベクトル画像J(x,y,u)を生成する。式(38)において、右辺の分母が拡張時系列画像G(x,y,u)の時間方向のベクトルとしての長さに相当する。
式(38)は、次の式(39)のように書き直すことができる。ただし、式(39)中のNg(x,y)は正規化用の除数であり、式(40)によって表される。式(39)を用いて時系列正規化勾配ベクトル画像J(x,y,u)を生成する場合、中間生成物としての拡張時系列画像G(x,y,u)の生成が不要になるので、時系列正規化勾配ベクトル画像生成部33aは、実際には式(39)を用いて時系列正規化勾配ベクトル画像J(x,y,u)の生成を行う。
時系列正規化勾配ベクトル画像生成部33aが以上のような正規化を行うことにより、時系列正規化勾配ベクトル画像J(x,y,u)において、カメラノイズに起因する虚報の発生を防止することが可能になる。特に時系列正規化勾配ベクトル画像では、正規化に先立ち微分処理を行なっていることから、以下で説明する図12に示す画像中の文字と背景の境界部分のように明暗が大きく変化する部分以外の部分(明暗平坦部)は、カメラノイズだけが残った状態となる。したがって、カメラノイズによる虚報が検査に及ぼす影響が一層大きくなるので、上記のような正規化を行うことによる虚報の抑制が一段と重要になる。
図12(a)は、クラック欠陥を有する検査対象物Tの時系列画像V(x,y,t)の一例を示す図であり、図12(b)は、図12(a)の時系列画像V(x,y,t)に基づいて生成された時系列正規化勾配ベクトル画像J(x,y,u)を示す図である。これらの図に示すように、時系列正規化勾配ベクトル画像J(x,y,u)においては、斜方照明を用いることによって時系列画像V(x,y,t)内で強調されているクラック欠陥が、さらに強調される。一方で、時系列正規化勾配ベクトル画像J(x,y,u)においては、時系列画像V(x,y,t)に比べ、検査対象物Tや照明装置3の個体差による濃淡変動が抑制される。
図10に戻り、時系列正規化勾配ベクトル画像生成部33cは、S個の時系列勾配ベクトル画像G(x,y,u)のそれぞれについて、該時系列勾配ベクトル画像G(x,y,u)に正規化抑制定数Th及びその反数−Thを連結してなる拡張時系列画像(x,y,u)(u=0〜2T+1)に基づき、時系列勾配ベクトル画像G(x,y,u)を正規化してなる時系列正規化勾配ベクトル画像J(x,y,u)を生成する機能部である。拡張時系列画像(x,y,u)は、各画素の濃度が正規化抑制定数Thである連結画像(x,y,2T)と、各画素の濃度が正規化抑制定数の反数−Thである連結画像(x,y,2T+1)とを時系列勾配ベクトル画像G(x,y,u)に連結してなる画像であり、時系列正規化勾配ベクトル画像生成部33cは、S個の時系列勾配ベクトル画像G(x,y,u)のそれぞれについて、拡張時系列画像(x,y,u)の時間方向のベクトルとしての長さに基づいて、時系列正規化勾配ベクトル画像J(x,y,u)を生成する。
時系列正規化勾配ベクトル画像生成部33cによる正規化の方法は時系列正規化勾配ベクトル画像生成部33aによるものと基本的に同一であるので、詳しい説明は省略する。式(39)に相当する時系列正規化画像の生成方法は、時系列正規化勾配ベクトル画像生成部33cにおいては、次の式(41)によって表される。ただし、式(41)中のNg(x,y)は正規化用の除数であり、式(42)によって表される。このような正規化の方法を採用することにより、S個の時系列正規化勾配ベクトル画像J(x,y,u)においても、カメラノイズに起因する虚報の発生を防止することが可能になる。
平均時系列正規化勾配ベクトル画像生成部33bは、平均時系列勾配ベクトル画像aG(x,y,u)に正規化抑制定数Th及びその反数−Thを連結してなる拡張時系列画像aG(x,y,u)(u=0〜2T+1。第2の拡張時系列画像)に基づき、平均時系列勾配ベクトル画像aG(x,y,u)を正規化してなる平均時系列正規化勾配ベクトル画像aJ(x,y,u)(第2の時系列正規化画像)を生成する機能部(第2の時系列正規化画像生成部)である。平均拡張時系列画像aG(x,y,u)は、各画素の濃度が正規化抑制定数Thである連結画像aG(x,y,2T)(第9の連結画像)と、各画素の濃度が正規化抑制定数の反数−Thである連結画像aG(x,y,2T+1)(第10の連結画像)とを平均時系列勾配ベクトル画像aG(x,y,u)に連結してなる画像であり、平均時系列正規化勾配ベクトル画像生成部33bは、拡張時系列画像aG(x,y,u)の時間方向のベクトルとしての長さに基づいて、平均時系列正規化勾配ベクトル画像aJ(x,y,u)を生成する。
平均時系列正規化勾配ベクトル画像生成部33bによる正規化の方法も時系列正規化勾配ベクトル画像生成部33aによるものと基本的に同一であるので、詳しい説明は省略する。式(39)に相当する時系列正規化画像の生成方法は、平均時系列正規化勾配ベクトル画像生成部33bにおいては、次の式(43)によって表される。ただし、式(43)中のaNg(x,y)は正規化用の除数であり、式(44)によって表される。このような正規化の方法を採用することにより、平均時系列正規化勾配ベクトル画像aJ(x,y,u)においても、カメラノイズに起因する虚報の発生を防止することが可能になる。
図11に戻り、勾配相関距離画像生成部34aは、相関距離画像生成部12aと同様の処理により、時系列正規化勾配ベクトル画像J(x,y,u)と平均時系列正規化勾配ベクトル画像aJ(x,y,u)との間の画素ごとの相関距離を示す勾配相関距離画像Jcd(x,y)を生成する。具体的には、次の式(45)により勾配相関距離画像Jcd(x,y)を生成する。
図10に戻り、勾配相関距離画像生成部34bは、S個の時系列正規化勾配ベクトル画像J(x,y,u)のそれぞれについて、平均時系列正規化勾配ベクトル画像aJ(x,y,u)との間の画素ごとの相関距離を示す勾配相関距離画像cd(x,y)を生成する機能部である。具体的には、次の式(46)により勾配相関距離画像cd(x,y)を生成する。
確率的ふるまい記述部35aは、勾配相関距離画像生成部34bによって生成されるS個の勾配相関距離画像cd(x,y)の画素ごとの平均値によって構成される平均画像Favr4(x,y)、及び、該S個の勾配相関距離画像cd(x,y)の画素ごとの標準偏差によって構成される標準偏差画像Fstddev4(x,y)を生成する。具体的には、上述した式(18)及び式(19)においてF(x,y)、Favr(x,y)、Fstddev(x,y)をそれぞれ勾配相関距離画像cd(x,y)、平均画像Favr4(x,y)、標準偏差画像Fstddev4(x,y)に置き換えることにより、平均画像Favr4(x,y)及び標準偏差画像Fstddev4(x,y)を生成する。生成された平均画像Favr4(x,y)及び標準偏差画像Fstddev4(x,y)は、正常品を表すモデル情報の一部として、モデル情報記憶部50に格納される。
図11に戻り、確率的距離画像生成部36aは、勾配相関距離画像Jcd(x,y)と、モデル情報記憶部50に格納される平均画像Favr4(x,y)及び標準偏差画像Fstddev4(x,y)とに基づき、勾配相関距離画像Jcd(x,y)とS個の勾配相関距離画像cd(x,y)との画素ごとの確率的距離を示す確率的距離画像SFD(x,y)を生成する。具体的には、上述した式(20)及び式(21)においてF(x,y)、Favr(x,y)、Fstddev(x,y)、SFD(x,y)をそれぞれ勾配相関距離画像Jcd(x,y)、平均画像Favr4(x,y)、標準偏差画像Fstddev4(x,y)、確率的距離画像SFD(x,y)に置き換えることにより、確率的距離画像SFD(x,y)を生成する。
次に、時間方向平均勾配ベクトル画像生成部40aは、時系列勾配ベクトル画像生成部32aによって生成される時系列勾配ベクトル画像G(x,y,u)の時間方向の平均を示す時間方向平均勾配ベクトル画像Javr(x,y)を生成する。具体的には、次の式(47)によって時間方向平均勾配ベクトル画像Javr(x,y)を算出する。
図10に戻り、時間方向平均勾配ベクトル画像生成部40bは、時系列勾配ベクトル画像生成部32cによって生成されるS個の時系列勾配ベクトル画像G(x,y,t)のそれぞれについて、時間方向の平均を示す時間方向平均勾配ベクトル画像avr(x,y)を生成する。具体的には、次の式(48)によってS個の時間方向平均勾配ベクトル画像avr(x,y)を算出する。
確率的ふるまい記述部35bは、時間方向平均勾配ベクトル画像生成部40bによって生成されるS個の時間方向平均勾配ベクトル画像avr(x,y)の画素ごとの平均値によって構成される平均画像Favr5(x,y)、及び、該S個の時間方向平均勾配ベクトル画像avr(x,y)の画素ごとの標準偏差によって構成される標準偏差画像Fstddev5(x,y)を生成する。具体的には、上述した式(18)及び式(19)においてF(x,y)、Favr(x,y)、Fstddev(x,y)をそれぞれ時間方向平均勾配ベクトル画像avr(x,y)、平均画像Favr5(x,y)、標準偏差画像Fstddev5(x,y)に置き換えることにより、平均画像Favr5(x,y)及び標準偏差画像Fstddev5(x,y)を生成する。生成された平均画像Favr5(x,y)及び標準偏差画像Fstddev5(x,y)は、正常品を表すモデル情報の一部として、モデル情報記憶部50に格納される。
図11に戻り、確率的距離画像生成部36bは、時間方向平均勾配ベクトル画像Javr(x,y)と、モデル情報記憶部50に格納される平均画像Favr5(x,y)及び標準偏差画像Fstddev5(x,y)とに基づき、時間方向平均勾配ベクトル画像Javr(x,y)とS個の時間方向平均勾配ベクトル画像avr(x,y)との画素ごとの確率的距離を示す確率的距離画像SFD(x,y)を生成する。具体的には、上述した式(24)及び式(25)においてF(x,y)、Favr(x,y)、Fstddev(x,y)、SFD(x,y)をそれぞれ時間方向平均勾配ベクトル画像Javr(x,y)、平均画像Favr5(x,y)、標準偏差画像Fstddev5(x,y)、確率的距離画像SFD(x,y)に置き換えることにより、確率的距離画像SFD(x,y)を生成する。
次に、時間方向勾配ノルム画像生成部41aは、時系列勾配ベクトル画像生成部32aによって生成される時系列勾配ベクトル画像G(x,y,u)の長さ(ノルム)を示す時間方向平均勾配ノルム画像Jstddev(x,y)を生成する。具体的には、次の式(49)によって時間方向平均勾配ノルム画像Jstddev(x,y)を算出する。
図10に戻り、時間方向勾配ノルム画像生成部41bは、時系列勾配ベクトル画像生成部32cによって生成されるS個の時系列勾配ベクトル画像G(x,y,t)のそれぞれについて、その長さを示す時間方向平均勾配ノルム画像stddev(x,y)を生成する。具体的には、次の式(50)によってS個の時間方向平均勾配ノルム画像stddev(x,y)を算出する。
確率的ふるまい記述部35cは、時間方向勾配ノルム画像生成部41bによって生成されるS個の時間方向平均勾配ノルム画像stddev(x,y)の画素ごとの平均値によって構成される平均画像Favr6(x,y)、及び、該S個の時間方向平均勾配ノルム画像stddev(x,y)の画素ごとの標準偏差によって構成される標準偏差画像Fstddev6(x,y)を生成する。具体的には、上述した式(18)及び式(19)においてF(x,y)、Favr(x,y)、Fstddev(x,y)をそれぞれ時間方向平均勾配ノルム画像stddev(x,y)、平均画像Favr6(x,y)、標準偏差画像Fstddev6(x,y)に置き換えることにより、平均画像Favr6(x,y)及び標準偏差画像Fstddev6(x,y)を生成する。生成された平均画像Favr6(x,y)及び標準偏差画像Fstddev6(x,y)は、正常品を表すモデル情報の一部として、モデル情報記憶部50に格納される。
図11に戻り、確率的距離画像生成部36cは、時間方向平均勾配ノルム画像Jstddev(x,y)と、モデル情報記憶部50に格納される平均画像Favr6(x,y)及び標準偏差画像Fstddev6(x,y)とに基づき、時間方向平均勾配ノルム画像Jstddev(x,y)とS個の時間方向平均勾配ノルム画像stddev(x,y)との画素ごとの確率的距離を示す確率的距離画像SFD(x,y)を生成する。具体的には、上述した式(24)及び式(25)においてF(x,y)、Favr(x,y)、Fstddev(x,y)、SFD(x,y)をそれぞれ時間方向平均勾配ノルム画像Jstddev(x,y)、平均画像Favr6(x,y)、標準偏差画像Fstddev6(x,y)、確率的距離画像SFD(x,y)に置き換えることにより、確率的距離画像SFD(x,y)を生成する。
画像処理装置5は、以上のようにして算出した3種類の確率的距離画像SFD(x,y)〜SFD(x,y)に基づき、検査対象物Tの表面にクラック欠陥が生じているか否かの判定を行う。具体的には、3種類の確率的距離画像SFD(x,y)〜SFD(x,y)のそれぞれにおいて公知のしきい値処理及びブロブ解析の少なくとも一方を行い、その結果に基づいてクラック欠陥の有無を判定する。
図13(a)は、正常品の時系列画像V(x,y,t)の一例を示す図であり、図13(b)は、クラック欠陥を有する検査対象物Tの時系列画像V(x,y,t)の一例を示す図であり、図13(c)は、図13(a)の時系列画像V(x,y,t)及び図13(b)の時系列画像V(x,y,t)に基づいて生成された確率的距離画像SFD(x,y)を示す図であり、図13(d)は、図13(a)の時系列画像V(x,y,t)及び図13(b)の時系列画像V(x,y,t)に基づいて生成された確率的距離画像SFD(x,y)を示す図であり、図13(c)は、図13(a)の時系列画像V(x,y,t)及び図13(b)の時系列画像V(x,y,t)に基づいて生成された確率的距離画像SFD(x,y)を示す図である。なお、図9の各確率的距離画像は、時系列画像生成部10cによる正常品の撮影の繰り返し回数を1(すなわち、S=1)として生成したものである。
図13の例では、2つの画像V(x,y,2),V(x,y,3)に現れているクラック欠陥が3つの確率的距離画像SFD(x,y)〜SFD(x,y)のいずれにおいても、白い線として反映されている。画像処理装置5は、公知のしきい値処理又はブロブ解析によってこの白い線を検出し、その結果に基づいて、検査対象物Tの表面に存在するクラック欠陥を検出する。この例では、3つの確率的距離画像SFD(x,y)〜SFD(x,y)のすべてに欠陥が現れているが、仮にいずれか2つに欠陥が現れなかったとしても、画像処理装置5は、3種類の確率的距離画像SFD(x,y)〜SFD(x,y)を利用しているので、そのうちの1つに欠陥が現れることで、正常にクラック欠陥を検出することができる。確率的距離画像SFD(x,y)〜SFD(x,y)のいずれに欠陥が現れるかは欠陥の内容によるので、こうして3種類の確率的距離画像SFD(x,y)〜SFD(x,y)を利用することにより、検出の確率を向上することが可能になる。
以上説明したように、本実施の形態による外観検査装置1によれば、時系列画像V(x,y,t),V(x,y,t),aV(x,y,t),G(x,y,u),G(x,y,u),aG(x,y,u)のそれぞれに強制的に濃淡変動を生じさせたのと同じ効果が得られるので、これらに基づいて生成される正規化画像I(x,y,t),I(x,y,t),aI(x,y,t),J(x,y,u),J(x,y,u),aJ(x,y,u)において、カメラノイズが大きく強調されることがなくなる。したがって、検査対象の反射強度によらず、へこみ/ふくれ欠陥やクラック欠陥の存在を正しく判定することが可能になる。
以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。
1 外観検査装置
2 搬送装置
3 照明装置
3a〜3e 部分照明
4 カメラ
5 画像処理装置
6 照明制御装置
7 出力装置
8 入力装置
9 ハーフミラー
10a,10c 時系列画像生成部
10b 平均時系列画像生成部
11a,11c 時系列正規化画像生成部
11b 平均時系列正規化画像生成部
12a,12b 相関距離画像生成部
13a〜13c,35a〜35c 確率的ふるまい記述部
14a〜14c,36a〜36c 確率的距離画像生成部
20a,20b 時間方向平均画像生成部
21a,21b 時間方向標準偏差画像生成部
31a,31c 時系列微分画像生成部
31b 平均時系列微分画像生成部
32a,32c 時系列勾配ベクトル画像生成部
32b 平均時系列勾配ベクトル画像生成部
33a,33c 時系列正規化勾配ベクトル画像生成部
33b 平均時系列正規化勾配ベクトル画像生成部
34a,34b 勾配相関距離画像生成部
40a,40b 時間方向平均勾配ベクトル画像生成部
41a,41b 時間方向勾配ノルム画像生成部
50 モデル情報記憶部
佐藤 洋一、「照明変化に伴う輝度変化の類似度に基づく物体形状復元」、online]、[平成28年9月15日検索]、インターネット〈URL:http://www.osakac.ac.jp/viri/symposium07/sato.pdf〉
本発明の一側面による外観検査装置は、複数の互いに異なる光学条件の下で検査対象物を撮影することによって得られる第1の時系列画像を生成する第1の時系列画像生成部と、前記第1の時系列画像に正規化抑制定数及びその反数を連結してなる第1の拡張時系列画像に基づき、前記第1の時系列画像を正規化してなる第1の時系列正規化画像を生成する第1の時系列正規化画像生成部と、前記複数の互いに異なる光学条件の下で正常品を撮影することによって得られる第2の時系列画像を生成する第2の時系列画像生成部と、前記第2の時系列画像に正規化抑制定数及びその反数を連結してなる第2の拡張時系列画像に基づき、前記第2の時系列画像を正規化してなる第2の時系列正規化画像を生成する第2の時系列正規化画像生成部と、前記第1の時系列正規化画像と前記第2の時系列正規化画像との間の画素ごとの相関距離を示す第1の相関距離画像を生成する第1の相関距離画像生成部とを備えることを特徴とする。

Claims (9)

  1. 複数の互いに異なる光学条件の下で検査対象物を撮影することによって得られる第1の時系列画像を生成する第1の時系列画像生成部と、
    前記第1の時系列画像に正規化抑制定数及びその反数を連結してなる第1の拡張時系列画像に基づき、前記第1の時系列画像を正規化してなる第1の時系列正規化画像を生成する第1の時系列正規化画像生成部と、
    前記複数の互いに異なる光学条件の下で正常品を撮影することによって得られる第2の時系列画像を生成する第2の時系列画像生成部と、
    前記第2の時系列画像に正規化抑制定数及びその反数を連結してなる第2の拡張時系列画像に基づき、前記第2の時系列画像を正規化してなる第2の時系列正規化画像を生成する第2の時系列正規化画像生成部と、
    前記第1の時系列正規化画像と前記第2の時系列正規化画像との間の画素ごとの相関距離を示す第1の相関距離画像を生成する第1の相関距離画像生成部と
    を備えることを特徴とする外観検査装置。
  2. 前記第1の拡張時系列画像は、画素ごとに前記第1の時系列画像の時間方向の平均値に前記正規化抑制定数を加算してなる第1の連結画像と、画素ごとに前記第1の時系列画像の時間方向の平均値から前記正規化抑制定数を減算してなる第2の連結画像とを前記第1の時系列画像に連結してなる画像であり、
    前記第1の時系列正規化画像生成部は、前記第1の拡張時系列画像の時間方向の平均値及び標準偏差に基づいて前記第1の時系列正規化画像を生成し、
    前記第2の拡張時系列画像は、画素ごとに前記第2の時系列画像の時間方向の平均値に前記正規化抑制定数を加算してなる第3の連結画像と、画素ごとに前記第2の時系列画像の時間方向の平均値から前記正規化抑制定数を減算してなる第4の連結画像とを前記第2の時系列画像に連結してなる画像であり、
    前記第2の時系列正規化画像生成部は、前記第2の拡張時系列画像の時間方向の平均値及び標準偏差に基づいて前記第2の時系列正規化画像を生成する
    ことを特徴とする請求項1に記載の外観検査装置。
  3. 複数の互いに異なる光学条件の下での正常品の撮影を複数回にわたって繰り返すことによって得られる複数の第3の時系列画像を生成する第3の時系列画像生成部をさらに備え、
    前記第2の時系列画像は、前記複数の第3の時系列画像の画素ごとの平均値により構成される画像である
    ことを特徴とする請求項1又は2に記載の外観検査装置。
  4. 前記複数の第3の時系列画像のそれぞれについて、該第3の時系列画像に正規化抑制定数及びその反数を連結してなる第3の拡張時系列画像に基づき、該第3の時系列画像を正規化してなる第3の時系列正規化画像を生成する第3の時系列正規化画像生成部と、
    複数の前記第3の時系列正規化画像のそれぞれについて、前記第2の時系列正規化画像との間の画素ごとの相関距離を示す第2の相関距離画像を生成する第2の相関距離画像生成部と、
    前記第2の相関距離画像生成部によって生成される複数の前記第2の相関距離画像の画素ごとの平均値によって構成される第1の平均画像、及び、該複数の第2の相関距離画像の画素ごとの標準偏差によって構成される第1の標準偏差画像を生成する第1の確率的ふるまい記述部と、
    前記第1の相関距離画像、前記第1の平均画像、及び前記第1の標準偏差画像に基づき、前記第1の相関距離画像と前記複数の第2の相関距離画像との画素ごとの確率的距離を示す第1の確率的距離画像を生成する第1の確率的距離画像生成部と
    をさらに備えることを特徴とする請求項3に記載の外観検査装置。
  5. 前記第3の拡張時系列画像は、画素ごとに対応する前記第3の時系列画像の時間方向の平均値に前記正規化抑制定数を加算してなる第5の連結画像と、画素ごとに対応する前記第3の時系列画像の時間方向の平均値から前記正規化抑制定数を減算してなる第6の連結画像とを対応する前記第3の時系列画像に連結してなる画像であり、
    前記第3の時系列正規化画像生成部は、前記複数の第3の時系列画像のそれぞれについて、対応する前記第3の拡張時系列画像の時間方向の平均値及び標準偏差に基づいて前記第3の時系列正規化画像を生成する
    ことを特徴とする請求項4に記載の外観検査装置。
  6. 前記第1の時系列画像の時間方向の平均を示す第1の時間方向平均画像を生成する第1の時間方向平均画像生成部と、
    前記複数の第3の時系列画像のそれぞれについて、時間方向の平均を示す第2の時間方向平均画像を生成する第2の時間方向平均画像生成部と、
    前記第2の時間方向平均画像生成部によって生成される複数の前記第2の時間方向平均画像の画素ごとの平均値によって構成される第2の平均画像、及び、該複数の第2の時間方向平均画像の画素ごとの標準偏差によって構成される第2の標準偏差画像を生成する第3の確率的ふるまい記述部と、
    前記第1の時間方向平均画像、前記第2の平均画像、及び前記第2の標準偏差画像に基づき、前記第1の時間方向平均画像と前記複数の第2の時間方向平均画像との画素ごとの確率的距離を示す第2の確率的距離画像を生成する第2の確率的距離画像生成部と
    をさらに備えることを特徴とする請求項3乃至5のいずれか一項に記載の外観検査装置。
  7. 前記第1の時系列画像の時間方向の標準偏差を示す第1の時間方向標準偏差画像を生成する第1の時間方向標準偏差画像生成部と、
    前記複数の第3の時系列画像のそれぞれについて、時間方向の標準偏差を示す第2の時間方向標準偏差画像を生成する第2の時間方向標準偏差画像生成部と、
    前記第2の時間方向標準偏差画像生成部によって生成される複数の前記第2の時間方向標準偏差画像の画素ごとの平均値によって構成される第3の平均画像、及び、該複数の第2の時間方向標準偏差画像の画素ごとの標準偏差によって構成される第3の標準偏差画像を生成する第2の確率的ふるまい記述部と、
    前記第1の時間方向標準偏差画像、前記第3の平均画像、及び前記第3の標準偏差画像に基づき、前記第1の時間方向標準偏差画像と前記複数の第2の時間方向標準偏差画像との画素ごとの確率的距離を示す第3の確率的距離画像を生成する第3の確率的距離画像生成部と
    をさらに備えることを特徴とする請求項3乃至6のいずれか一項に記載の外観検査装置。
  8. 複数の互いに異なる光学条件の下で検査対象物を撮影することによって得られる第4の時系列画像を第1の方向及び該第1の方向と交差する第2の方向のそれぞれで微分することによって第1及び第2の時系列微分画像を生成する第1の時系列微分画像生成部と、
    前記第1の時系列微分画像を構成する複数の微分画像のそれぞれから該第1の時系列微分画像の時間方向の平均値を減算し、さらに、前記第2の時系列微分画像を構成する複数の微分画像のそれぞれから該第2の時系列微分画像の時間方向の平均値を減算することによって、第1の時系列勾配ベクトル画像を生成する第1の時系列勾配ベクトル画像生成部と、
    前記複数の互いに異なる光学条件の下で正常品を撮影することによって得られる第5の時系列画像を前記第1及び第2の方向のそれぞれで微分することによって第3及び第4の時系列微分画像を生成する第2の時系列微分画像生成部と、
    前記第3の時系列微分画像を構成する複数の微分画像のそれぞれから該第3の時系列微分画像の時間方向の平均値を減算し、さらに、前記第4の時系列微分画像を構成する複数の微分画像のそれぞれから該第4の時系列微分画像の時間方向の平均値を減算することによって、第2の時系列勾配ベクトル画像を生成する第2の時系列勾配ベクトル画像生成部とをさらに備え、
    前記第1の時系列画像は前記第1の時系列勾配ベクトル画像であり、
    前記第2の時系列画像は前記第2の時系列勾配ベクトル画像である
    ことを特徴とする請求項1に記載の外観検査装置。
  9. 前記第1の拡張時系列画像は、各画素の濃度が前記正規化抑制定数に等しい第7の連結画像と、各画素の濃度が前記正規化抑制定数の反数に等しい第8の連結画像とを前記第1の時系列勾配ベクトル画像に連結してなる画像であり、
    前記第1の時系列正規化画像生成部は、前記第1の拡張時系列画像の時間方向のベクトルとしての長さに基づいて前記第1の時系列正規化画像を生成し、
    前記第2の拡張時系列画像は、各画素の濃度が前記正規化抑制定数に等しい第9の連結画像と、各画素の濃度が前記正規化抑制定数の反数に等しい第10の連結画像とを前記第2の時系列勾配ベクトル画像に連結してなる画像であり、
    前記第2の時系列正規化画像生成部は、前記第2の拡張時系列画像の時間方向のベクトルとしての長さに基づいて前記第2の時系列正規化画像を生成する
    ことを特徴とする請求項8に記載の外観検査装置。
JP2016203760A 2016-10-17 2016-10-17 外観検査装置 Active JP6126290B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016203760A JP6126290B1 (ja) 2016-10-17 2016-10-17 外観検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016203760A JP6126290B1 (ja) 2016-10-17 2016-10-17 外観検査装置

Publications (2)

Publication Number Publication Date
JP6126290B1 JP6126290B1 (ja) 2017-05-10
JP2018066586A true JP2018066586A (ja) 2018-04-26

Family

ID=58704780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016203760A Active JP6126290B1 (ja) 2016-10-17 2016-10-17 外観検査装置

Country Status (1)

Country Link
JP (1) JP6126290B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114450580A (zh) * 2019-10-02 2022-05-06 柯尼卡美能达株式会社 工件的表面缺陷检测装置及检测方法、工件的表面检查系统以及程序

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6762927B2 (ja) * 2017-12-19 2020-09-30 株式会社日立ハイテク 信号処理装置及び信号処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002277406A (ja) * 2001-03-14 2002-09-25 Saki Corp:Kk 外観検査方法および装置
JP2005351812A (ja) * 2004-06-11 2005-12-22 Toshiba Corp 時系列画像処理装置、方法及びプログラム
JP2015040796A (ja) * 2013-08-22 2015-03-02 シャープ株式会社 欠陥検出装置
WO2016159255A1 (ja) * 2015-03-31 2016-10-06 国立大学法人静岡大学 口領域検出装置及び口領域検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002277406A (ja) * 2001-03-14 2002-09-25 Saki Corp:Kk 外観検査方法および装置
JP2005351812A (ja) * 2004-06-11 2005-12-22 Toshiba Corp 時系列画像処理装置、方法及びプログラム
JP2015040796A (ja) * 2013-08-22 2015-03-02 シャープ株式会社 欠陥検出装置
WO2016159255A1 (ja) * 2015-03-31 2016-10-06 国立大学法人静岡大学 口領域検出装置及び口領域検出方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
岡部 孝弘,外3名: "照明変化に伴う輝度変化の類似度に基づく物体形状復元", 画像の認識・理解シンポジウム(MIRU2007), JPN6017000721, July 2007 (2007-07-01), pages 333 - 339, ISSN: 0003532888 *
池内 克史,外1名: "照度差ステレオの原理と実際", 光学, vol. 41巻5号, JPN6017000724, 2012, pages 281 - 286, ISSN: 0003532889 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114450580A (zh) * 2019-10-02 2022-05-06 柯尼卡美能达株式会社 工件的表面缺陷检测装置及检测方法、工件的表面检查系统以及程序

Also Published As

Publication number Publication date
JP6126290B1 (ja) 2017-05-10

Similar Documents

Publication Publication Date Title
CN107025652B (zh) 一种基于运动特性和颜色时空信息的火焰检测方法
Tsai et al. A shift-tolerant dissimilarity measure for surface defect detection
JP2018005640A (ja) 分類器生成装置、画像検査装置、及び、プログラム
CN107111872B (zh) 信息处理装置、信息处理方法、及存储介质
US20100150426A1 (en) Apparatus and method for inspecting pattern
CN110658198A (zh) 光学检测方法、光学检测装置及光学检测系统
WO2019151393A1 (ja) 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法
JP2018005639A (ja) 画像分類装置、画像検査装置、及び、プログラム
US20200096454A1 (en) Defect detection system for aircraft component and defect detection method for aircraft component
JP6264132B2 (ja) 車体塗装面の検査装置および検査方法
JP6549396B2 (ja) 領域検出装置および領域検出方法
US11747284B2 (en) Apparatus for optimizing inspection of exterior of target object and method thereof
Chiu et al. Automated detection of mechanically induced bruise areas in golden delicious apples using fluorescence imagery
JP2011145179A (ja) 官能検査装置及び官能検査方法
JP6126290B1 (ja) 外観検査装置
JP5305002B2 (ja) 外観検査装置
de Mello et al. Inspecting surface mounted devices using k nearest neighbor and multilayer perceptron
JP2019200775A (ja) 表面欠陥検査装置及び表面欠陥検査方法
JP2020037356A (ja) 架線摩耗検査装置
JP4018092B2 (ja) 検査対象物の所定の表面状態の原因を自動的に求める装置
CN113016023A (zh) 信息处理方法以及计算机程序
JP2007018176A (ja) 学習装置、学習方法、学習プログラム、記録媒体、パターン認識装置およびパターン認識方法
Weimer et al. Context-aware deep convolutional neural networks for industrial inspection
JP4115378B2 (ja) 欠陥検出方法
Shreya et al. Design of machine vision system for high speed manufacturing environments

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170406

R150 Certificate of patent or registration of utility model

Ref document number: 6126290

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250