JP2019002873A - 検査システムおよび検査方法 - Google Patents
検査システムおよび検査方法 Download PDFInfo
- Publication number
- JP2019002873A JP2019002873A JP2017119706A JP2017119706A JP2019002873A JP 2019002873 A JP2019002873 A JP 2019002873A JP 2017119706 A JP2017119706 A JP 2017119706A JP 2017119706 A JP2017119706 A JP 2017119706A JP 2019002873 A JP2019002873 A JP 2019002873A
- Authority
- JP
- Japan
- Prior art keywords
- image
- phase
- abnormality
- abnormal
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000005856 abnormality Effects 0.000 claims abstract description 152
- 230000002159 abnormal effect Effects 0.000 claims abstract description 94
- 230000008859 change Effects 0.000 claims abstract description 68
- 238000005286 illumination Methods 0.000 claims abstract description 66
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 238000003384 imaging method Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000002123 temporal effect Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 44
- 230000000737 periodic effect Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 abstract description 30
- 238000012360 testing method Methods 0.000 abstract description 9
- 230000007547 defect Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 31
- 238000012986 modification Methods 0.000 description 22
- 230000004048 modification Effects 0.000 description 22
- 239000013598 vector Substances 0.000 description 10
- 230000007704 transition Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
【課題】異常のサイズを考慮した異常判定を行うことで過検出を抑制すること。【解決手段】実施形態の検査システムは、被検査体に対して光の強度の周期的な時間変化および空間変化を与える面的な照明部と、時間相関カメラまたはそれと等価な動作をする撮像システムから出力される画像データから位相画像を生成する画像生成部と、位相画像に対して閾値処理を含む画像処理を実行して、被検査体の異常が存在する異常領域を特定する領域特定部と、異常領域における位相の変化量を算出し、当該位相の変化量に基づいて、被検査体のうち異常を含む第1部分のサイズを表す第1の値を算出する異常サイズ算出部と、を備える。【選択図】図1
Description
本発明の実施形態は、検査システムおよび検査方法に関する。
従来、周期的に変化する光を被検査体に照射し、当該被検査体の表面からの反射光を撮像することで、光の強度のみならず、光の時間遷移に関する情報をも含んだ時間相関画像を取得する技術が提案されている。このような時間相関画像は、たとえば、被検査体の異常を検出するために用いられる。
時間相関画像を用いた異常検出では、閾値処理を含む画像処理によって異常が存在する異常領域を特定することで、異常検出が行われることがある。
しかしながら、検査対象が塗装製品やメッキ製品などである場合、上述した画像処理によって異常領域が特定されたとしても、検査対象の表面に実際に存在する異常のサイズが、所定の検査規格で定められた閾値以下である場合は、異常領域として検出された異常は欠陥に該当しないと判定する必要がある。
すなわち、画像処理によってある一定の基準(閾値)で検出された異常を全て欠陥だと判定すると、検査規格から外れていない、本来は欠陥に該当しないと判定すべき異常までも、欠陥に該当すると判定されるため、過検出につながる。
そこで、異常のサイズを計算により求め、この求めた値を考慮して異常判定を行うことで、過検出を抑制することが望まれる。
実施形態の検査システムは、被検査体に対して光の強度の周期的な時間変化および空間変化を与える面的な照明部と、時間相関カメラまたはそれと等価な動作をする撮像システムから出力される画像データから位相画像を生成する画像生成部と、位相画像に対して閾値処理を含む画像処理を実行して、被検査体の異常が存在する異常領域を特定する領域特定部と、異常領域における位相の変化量を算出し、当該位相の変化量に基づいて、被検査体のうち異常を含む第1部分のサイズを表す第1の値を算出する異常サイズ算出部と、を備える。
<実施形態>
以下、実施形態の検査システムについて説明する。実施形態の検査システムは、被検査体を検査するために様々な構成を備えている。図1は、実施形態の検査システムの構成例を示した図である。図1に示されるように、実施形態の検査システムは、PC100と、時間相関カメラ110と、照明装置120と、スクリーン130と、アーム140と、を備えている。
以下、実施形態の検査システムについて説明する。実施形態の検査システムは、被検査体を検査するために様々な構成を備えている。図1は、実施形態の検査システムの構成例を示した図である。図1に示されるように、実施形態の検査システムは、PC100と、時間相関カメラ110と、照明装置120と、スクリーン130と、アーム140と、を備えている。
アーム140は、被検査体150を固定するために用いられ、PC100からの制御に応じて、時間相関カメラ110が撮像可能な被検査体150の表面の位置と向きを変化させる。
照明装置120は、被検査体150に光を照射する装置であって、PC100からの縞パターンに従って、照射する光の強度を領域単位で制御できる。さらに、照明装置120は、周期的な時間の遷移に従って当該領域単位の光の強度を制御できる。換言すれば、照明装置120は、光の強度の周期的な時間変化および空間変化を与えることができる。なお、具体的な光の強度の制御手法については後述する。
スクリーン130は、照明装置120から出力された光を拡散させた上で、被検査体150に対して面的に光を照射する。実施形態のスクリーン130は、照明装置120から入力された周期的な時間変化および空間変化が与えられた光を、面的に被検査体150に照射する。なお、照明装置120とスクリーン130との間には、集光用のフレネルレンズ等の光学系部品(図示されず)が設けられてもよい。
なお、実施形態は、照明装置120とスクリーン130とを組み合わせて、光強度の周期的な時間変化および空間変化を与える面的な照明部を構成する例について説明するが、実施形態の照明部は、このような組み合わせに制限されるものではない。実施形態では、たとえば、LEDを面的に配置したり、大型モニタを配置したりするなどして、照明部を構成してもよい。
図2は、実施形態の時間相関カメラ110の構成を示したブロック図である。時間相関カメラ110は、光学系210と、イメージセンサ220と、データバッファ230と、制御部240と、参照信号出力部250と、を備えている。
光学系210は、撮像レンズ等を含み、時間相関カメラ110の外部の被写体(被検査体150を含む)からの光束を透過し、その光束により形成される被写体の光学像を結像させる。
イメージセンサ220は、光学系210を介して入射された光の強弱を光強度信号として画素毎に高速に出力可能なセンサとする。
実施形態の光強度信号は、検査システムの照明装置120が被写体(被検査体150を含む)に対して光を照射し、当該被写体からの反射光を、イメージセンサ220が受け取ったものである。
イメージセンサ220は、たとえば従来のものと比べて高速に読み出し可能なセンサであり、行方向(x方向)、列方向(y方向)の2種類の方向に画素が配列された2次元平面状に構成されたものとする。そして、イメージセンサ220の各画素を、画素P(1,1),……,P(i,j),……,P(X,Y)とする(なお、実施形態の画像サイズをX×Yとする。)。なお、イメージセンサ220の読み出し速度を制限するものではなく、従来と同様であってもよい。
イメージセンサ220は、光学系210によって透過された、被写体(被検査体150を含む)からの光束を受光して光電変換することで、被写体から反射された光の強弱を示した光強度信号(撮像信号)で構成される、2次元平面状のフレームを生成し、制御部240に出力する。実施形態のイメージセンサ220は、読み出し可能な単位時間毎に、当該フレームを出力する。
実施形態の制御部240は、プロセッサやメモリなどといった通常のコンピュータと同様のハードウェアを有し、メモリに格納されたソフトウェア(検査プログラム)をプロセッサにより実行することで、転送部241と、読出部242と、強度画像用重畳部243と、第1の乗算器244と、第1の相関画像用重畳部245と、第2の乗算器246と、第2の相関画像用重畳部247と、画像出力部248と、を実現する。なお、実施形態では、制御部240が有する機能的構成の一部または全部が、FPGAやASICなどを利用した専用のハードウェア(回路)のみによって実現されてもよい。
転送部241は、イメージセンサ220から出力された、光強度信号で構成されたフレームを、データバッファ230に、時系列順に蓄積する。
データバッファ230は、イメージセンサ220から出力された、光強度信号で構成されたフレームを、時系列順に蓄積する。
図3は、実施形態の時間相関カメラ110で時系列順に蓄積されるフレームを表した概念図である。図3に示されるように、実施形態のデータバッファ230には、時刻t(t=t0,t1,t2,……,tn)毎の複数の光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)の組み合わせで構成された複数のフレームFk(k=1,2,……,n)が、時系列順に蓄積される。なお、時刻tで生成される一枚のフレームは、光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)で構成される。
実施形態の光強度信号(撮像信号)G(1,1,t),……,G(i,j,t),……,G(X,Y,t)には、フレームFk(k=1,2,……,n)を構成する各画素P(1,1),……,P(i,j),……,P(X,Y)が対応づけられている。
イメージセンサ220から出力されるフレームは、光強度信号のみで構成されており、換言すればモノクロの画像データとも考えることができる。なお、実施形態は、解像度、感度、およびコスト等を考慮して、イメージセンサ220がモノクロの画像データを生成する例について説明するが、イメージセンサ220としてモノクロ用のイメージセンサに制限するものではなく、カラー用のイメージセンサを用いてもよい。
図2に戻り、実施形態の読出部242は、データバッファ230から、光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)をフレーム単位で、時系列順に読み出して、第1の乗算器244と、第2の乗算器246と、強度画像用重畳部243と、に出力する。
実施形態の時間相関カメラ110は、読出部242の出力先毎に画像データを生成する。換言すれば、時間相間カメラ110は、3種類の画像データを生成する。
実施形態の時間相関カメラ110は、3種類の画像データとして、強度画像データと、2種類の時間相関画像データと、を生成する。なお、実施形態は、強度画像データと、2種類の時間相関画像データと、を生成することに制限されるものではなく、強度画像データを生成しない場合や、1種類又は3種類以上の時間相関画像データを生成する場合なども考えられる。
実施形態のイメージセンサ220は、上述したように単位時間毎に、光強度信号で構成されたフレームを出力している。しかしながら、通常の画像データを生成するためには、撮像に必要な露光時間分の光強度信号が必要になる。そこで、実施形態では、強度画像用重畳部243が、撮像に必要な露光時間分の複数のフレームを重畳して、強度画像データを生成する。なお、強度画像データの各画素値(光の強度を表す値)G(x,y)は、以下に示す式(1)から導き出すことができる。なお、露光時間は、t0とtnの時間差とする。
これにより、従来のカメラの撮像と同様に、被写体(被検査体150を含む)が撮像された強度画像データが生成される。そして、強度画像用重畳部243は、生成した強度画像データを、画像出力部248に出力する。
時間相関画像データは、時間遷移に応じた光の強弱の変化を示す画像データである。つまり、実施形態では、時系列順のフレーム毎に、当該フレームに含まれる光強度信号に対して、時間遷移を示した参照信号を乗算し、参照信号と光強度信号との乗算結果である時間相関値で構成された、時間相関値フレームを生成し、複数の時間相関値フレームを重畳することで、時間相関画像データを生成する。
ところで、時間相関画像データを用いて、被検査体150の異常を検出するためには、イメージセンサ220に入力される光強度信号を、参照信号に同期させて変化させる必要がある。このため、実施形態の照明装置120は、上述したように、スクリーン130を介して周期的に時間変化および縞の空間的な移動を与えるような、面的な光の照射を行うように構成される。
実施形態では、2種類の時間相関画像データを生成する。参照信号は、時間遷移を表した信号であればよいが、実施形態では、複素正弦波e-jωtを用いる。なお、角周波数ω、時刻tとする。参照信号を表す複素正弦波e-jωtが、上述した露光時間(換言すれば強度画像データ、および時間相関画像データを生成するために必要な時間)の1周期と相関をとるように、角周波数ωが設定されるものとする。換言すれば、照明装置120およびスクリーン130等の照明部によって形成された面的かつ動的な光は、被検査体150の表面(反射面)の各位置で第1の周期(時間周期)での時間的な照射強度の変化を与えるとともに、表面に沿った少なくとも一方向に沿った第2の周期(空間周期)での空間的な照射強度の増減分布を与える。この面的な光は、表面で反射される際に、当該表面のスペック(法線ベクトルの分布等)に応じて複素変調される。時間相関カメラ110は、表面で複素変調された光を受光し、第1の周期の参照信号を用いて直交検波(直交復調)することにより、複素信号としての時間相関画像データを得る。このような複素信号としての時間相関画像データに基づく変復調により、表面の法線ベクトルの分布に対応した特徴を検出することができる。
複素正弦波e-jωtは、e-jωt=cosωt−j・sinωtと表すこともできる。従って、時間相関画像データの各画素値C(x,y)は、以下に示す式(2)から導き出すことができる。
実施形態では、式(2)において、実部を表す画素値C1(x,y)と、虚部を表す画素値C2(x,y)と、に分けて、2種類の時間相関画像データを生成する。
このため、参照信号出力部250は、第1の乗算器244と、第2の乗算器246と、に対してそれぞれ異なる参照信号を生成し、出力する。実施形態の参照信号出力部250は、複素正弦波e-jωtの実部に対応する第1の参照信号cosωtを第1の乗算器244に出力し、複素正弦波e-jωtの虚部に対応する第2の参照信号sinωtを第2の乗算器246に出力する。このように、実施形態の参照信号出力部250は、一例として、互いにヒルベルト変換対をなす正弦波および余弦波の時間関数として表される2種類の参照信号を出力する。しかしながら、参照信号は、ここで説明する例に制限されるものではなく、時間関数のような、時間遷移に応じて変化する参照信号であればよい。
そして、第1の乗算器244は、読出部242から入力されたフレーム単位で、当該フレームの光強度信号毎に、参照信号出力部250から入力された複素正弦波e-jωtの実部cosωtを乗算する。
第1の相関画像用重畳部245は、撮像に必要な露光時間分の複数のフレームについて、第1の乗算器244の乗算結果を画素毎に重畳する処理を行う。これにより、第1の時間相関画像データの各画素値C1(x,y)が、以下に示す式(3)から導出される。
そして、第2の乗算器246は、読出部242から入力されたフレームの光強度信号に対して、参照信号出力部250から入力された複素正弦波e-jωtの虚部sinωtを乗算する。
第2の相関画像用重畳部247は、撮像に必要な露光時間分の複数のフレームについて、第2の乗算器246の乗算結果を画素毎に重畳する処理を行う。これにより、第2の時間相関画像データの各画素値C2(x,y)が、以下に示す式(4)から導出される。
上述した処理を行うことで、2種類の時間相関画像データ、換言すれば2自由度を有する時間相関画像データを生成できる。
また、実施形態は、参照信号の種類を制限するものではない。たとえば、実施形態では、複素正弦波e-jωtの実部と虚部の2種類の時間相関画像データを生成するが、光の振幅と、光の位相と、による2種類の画像データを生成してもよい。
なお、実施形態の時間相関カメラ110は、時間相関画像データとして、複数系統分生成可能とする。これにより、たとえば複数種類の幅の縞が組み合わされた光が照射された際に、上述した実部と虚部とによる2種類の時間相関画像データを、縞の幅毎に生成可能とする。このために、時間相関カメラ110は、2個の乗算器と2個の相関画像用重畳部とからなる組み合わせを、複数系統分備えるとともに、参照信号出力部250は、系統毎に適した角周波数ωによる参照信号を出力可能とする。
そして、画像出力部248が、2種類の時間相関画像データと、強度画像データと、をPC100に出力する。これにより、PC100が、2種類の時間相関画像データと、強度画像データと、を用いて、被検査体150の異常を検出する。そのためには、被検査体150に対して光を照射する必要がある。
実施形態の照明装置120は、高速に移動する縞パターンを照射する。図4は、実施形態の照明装置120が照射する縞パターンの一例を示した図である。図4に示す例では、1周期分の縞幅がWに設定された縞パターンをx方向にスクロール(移動)させている例とする。白い領域が縞に対応した明領域、黒い領域が縞と縞との間に対応した間隔領域(暗領域)である。
実施形態では、時間相関カメラ110が強度画像データおよび時間相関画像データを撮像する露光時間で、照明装置120が照射する縞パターンが1周期分移動する。これにより、照明装置120は、光の強度の縞パターンの空間的な移動により光の強度の周期的な時間変化を与える。実施形態では、図4の縞パターンが1周期分移動する時間を、露光時間と対応させることで、時間相関画像データの各画素には、少なくとも、縞パターン1周期分の光の強度信号に関する情報が埋め込まれる。
図4に示されるように、実施形態では、照明装置120が矩形波に基づく縞パターンを照射する例について説明するが、矩形波以外を用いてもよい。実施形態では、照明装置120がスクリーン130を介して照射されることで、矩形波の明暗の境界領域をぼかすことができる。
実施形態では、照明装置120が照射する縞パターンを、A(1+cos(ωt+kx))と表す。すなわち、縞パターンには、複数の縞が反復的に(周期的に)含まれる。なお、被検査体150に照射される光の強度は0〜2Aの間で調整可能とし、光の位相kxとする。kは、縞の波数である。xは、位相が変化する方向である。
そして、フレームの各画素の光強度信号f(x,y,t)の基本周波数成分は、以下に示す式(5)として表すことができる。式(5)で示されるように、x方向で縞の明暗が変化する。
f(x,y,t)=A(1+cos(ωt+kx))
=A+A/2{ej(ωt+kx)+e-j(ωt+kx)} …(5)
=A+A/2{ej(ωt+kx)+e-j(ωt+kx)} …(5)
式(5)で示されるように、照明装置120が照射する縞パターンの強度信号は、複素数として考えることができる。
そして、イメージセンサ220には、当該照明装置120からの光が被写体(被検査体150を含む)から反射して入力される。
したがって、イメージセンサ220に入力される光強度信号G(x,y,t)を、照明装置120が照射された際のフレームの各画素の光強度信号f(x,y,t)とすることができる。そこで、強度画像データを導出するための式(1)に式(5)を代入すると、以下に示す式(6)を導出できる。なお、位相をkxとする。
式(6)から、強度画像データの各画素には、露光時間Tに、照明装置120が出力している光の強度の中間値Aを乗じた値が入力されていることが確認できる。さらに、時間相関画像データを導出するための式(2)に式(5)を代入すると、以下に示す式(7)を導出できる。なお、AT/2を振幅とし、kxを位相とする。
これにより、式(7)で示された複素数で示された時間相関画像データは、上述した2種類の時間相関画像データと置き換えることができる。つまり、上述した実部と虚部とで構成される時間相関画像データには、被検査体150に照射された光強度変化における位相変化と振幅変化とが含まれている。換言すれば、実施形態のPC100は、2種類の時間相関画像データに基づいて、照明装置120から照射された光の位相変化と、光の振幅変化と、を検出できる。
そこで、実施形態のPC100は、時間相関画像データおよび強度画像データに基づいて、画素毎に入る光の位相変化を表した位相画像と、画素毎に入る光の振幅を表した振幅画像と、を生成する。また、PC100は、強度画像データに基づいて、画素毎に入る光の強度を表した強度画像を生成する。そして、PC100は、位相画像と、振幅画像と、強度画像と、の少なくともいずれかに基づいて、被検査体150の異常を検出する。
ところで、被検査体150の表面形状に凹凸に基づく異常が生じている場合、被検査体150の表面の法線ベクトルの分布には、異常に対応した変化が生じている。また、被検査体150の表面に光を吸収するような異常が生じている場合、反射した光の強度に変化が生じる。法線ベクトルの分布の変化は、光の位相変化および振幅変化のうち少なくともいずれか一つとして検出される。そこで、実施形態では、時間相関画像データを用いて、法線ベクトルの分布の変化に対応した、光の位相変化および振幅変化のうち少なくともいずれか一つを検出する。これにより、表面形状の異常が存在する可能性がある領域を特定することが可能となる。以下、被検査体150の異常、法線ベクトル、および光の位相変化又は振幅変化の関係について例を挙げて説明する。
図5は、実施形態の時間相関カメラ110による、被検査体の異常の第1の検出例を示した図である。図5に示される例では、被検査体500に突形状の異常501がある状況とする。当該状況においては、異常501の点502の近傍領域においては、法線ベクトル521、522、523が異なる方向を向いていることを確認できる。そして、当該法線ベクトル521、522、523が異なる方向を向いていることで、異常501から反射した光に拡散(たとえば、光511、512、513)が生じ、時間相関カメラ110のイメージセンサ220の任意の画素531に入る縞パターンの幅503が広くなる。
図6は、図5に示される異常501が被検査体500にある場合に、当該異常に応じて変化する、光の振幅の例を表した図である。図6に示される例では、光の振幅を実部(Re)と虚部(Im)とに分けて2次元平面上に表している。図6では、図5の光511、512、513に対応する光の振幅611、612、613として示している。そして、光の振幅611、612、613は互いに打ち消し合い、イメージセンサ220の当該任意の画素531には、振幅621の光が入射する。
したがって、図6に示される状況では、被検査体500の異常501が撮像された領域で、局所的に振幅が小さいことが確認できる。換言すれば、振幅変化を示した振幅画像において、周囲と比べて暗くなっている領域がある場合に、当該領域で局所的に光同士の振幅の打ち消し合いが生じていると推測できるため、当該領域に対応する被検査体500の位置で、異常501が生じていると判断できる。なお、ここでは、突形状の異常501に対応する領域で、振幅画像が局所的に暗くなる場合を例示したが、キズなどの凹み状の異常に対応する領域でも、振幅画像は局所的に暗くなる。
実施形態の検査システムは、図5の異常501のように傾きが急峻に変化しているものに限らず、緩やかに変化する異常も検出できる。図7は、実施形態の時間相関カメラ110による、被検査体の異常の第2の検出例を示した図である。図7には、平面状(換言すれば法線が平行)の正常な表面を有した被検査体700に緩やかな勾配701が生じている状況が示されている。このような状況においては、勾配701上の法線ベクトル721、722、723も同様に緩やかに変化する。したがって、イメージセンサ220に入力する光711、712、713も少しずつずれていく。図7に示される例では、緩やかな勾配701のために光の振幅の打ち消し合いは生じないため、図5、図6で表したような光の振幅はほとんど変化しない。しかしながら、本来スクリーン130から投影された光が、そのままイメージセンサ220に平行に入るはずが、緩やかな勾配701のために、スクリーン130から投影された光が平行の状態でイメージセンサ220に入らないために、光に位相変化が生じる。従って、光の位相変化について、周囲等との違いを検出することで、図7に示したような緩やかな勾配701による異常を検出できる。
また、被検査体の表面形状(換言すれば、被検査体の法線ベクトルの分布)以外にも異常が生じる場合がある。図8は、実施形態の時間相関カメラ110による、被検査体の異常の第3の検出例を示した図である。図8に示される例では、被検査体800に汚れ801が付着しているため、照明装置120から照射された光が吸収あるいは拡散反射し、時間相関カメラ110の、汚れ801を撮像している任意の画素領域では光の強度がほとんど変化しない例を表している。換言すれば、汚れ801を撮像している任意の画素領域では、光の強度変化が打ち消し合ってキャンセルされ、ほとんど直流的な明るさになる例を示している。
このような場合、汚れ801を撮像している画素領域においては、光の振幅がほとんどないため、振幅画像を表示した際に、周囲と比べて暗くなる領域が生じる。したがって、当該領域に対応する被検査体800の位置に、汚れ801があることを推定できる。
このように、実施形態では、時間相関画像データに基づいて、光の振幅の変化と、光の位相の変化と、を検出することで、被検査体における、異常が存在する可能性がある領域を特定することができる。
図1に戻り、PC100について説明する。PC100は、検出システム全体の制御を行う。PC100は、アーム制御部101と、照明制御部102と、制御部103と、を備える。
アーム制御部101は、被検査体150の時間相関カメラ110による撮像対象となる表面を変更するために、アーム140を制御する。実施形態では、PC100において、被検査体150の撮像対象となる表面を複数設定しておく。そして、時間相関カメラ110が被検査体150の撮像が終了する毎に、アーム制御部101が、当該設定に従い、時間相関カメラ110が設定された表面を撮像できるように、アーム140を制御して被検査体150を移動させる。なお、実施形態によるアーム140の移動方法は、撮像が終了する毎にアーム140を移動させ、撮像が開始する前に停止させるのを繰り返すことに制限されるものではなく、継続的にアーム140を駆動させることも含まれ得る。なお、アーム140は、搬送部、移動部、位置変更部、姿勢変更部などとも称されうる。
照明制御部102は、被検査体150を検査するために照明装置120が照射する縞パターンを出力する。実施形態の照明制御部102は、少なくとも3枚以上の縞パターンを、照明装置120に受け渡し、当該縞パターンを露光時間中に切り替えて表示するように照明装置120に指示する。
図9は、照明制御部102が照明装置120に出力する縞パターンの例を示した図である。図9(B)に示す矩形波に従って、図9(A)に示す黒領域と白領域とが設定された縞パターンが出力されるように、照明制御部102が制御を行う。
実施形態で照射する縞パターン毎の縞の間隔(縞幅)は、検出対象となる異常(欠陥)の大きさに応じて設定されるものとして、ここでは詳しい説明を省略する。
また、実施形態では、縞パターンを出力するための矩形波の角周波数ωが、参照信号の角周波数ωと一致するものとする。
図9に示されるように、照明制御部102が出力する縞パターンは、矩形波として示すことができるが、スクリーン130を介することで、縞パターンの境界領域をぼかす、すなわち、縞パターンにおける明領域(縞の領域)と暗領域(間隔の領域)との境界での光の強度変化を緩やかにする(鈍らせる)ことで、正弦波に近似させることができる。図10は、スクリーン130を介した後の縞パターンを表した波の形状の例を示した図である。図10に示されるように波の形状が、正弦波に近づくことで、計測精度を向上させることができる。また、縞に明度が多段階に変化するグレー領域を追加したり、グラデーションを与えたりしてもよい。また、カラーの縞を含む縞パターンを用いてもよい。
図1に戻り、制御部103は、画像生成部104と、領域特定部105と、異常サイズ算出部106と、異常判定部107と、を備える。上述した制御部240と同様、実施形態では、制御部103が有する機能的構成が、ハードウェアとソフトウェアとの協働によって実現されてもよいし、ハードウェアのみによって実現されてもよい。
画像生成部104は、時間相関カメラ110から入力される、強度画像データや時間相関画像データなどといった画像データに基づいて、振幅画像、位相画像、および強度画像を生成する。前述したように、振幅画像とは、画素毎に入る光の振幅を表した画像であり、位相画像とは、画素毎に入る光の位相を表した画像であり、強度画像とは、画素毎に入る光の強度を表した画像である。
なお、実施形態において、画像生成部104は、振幅成分と位相成分とで分けた極形式の複素数で示される時間相関画像データ(複素時間相関画像データと称されうる)ではなく、当該複素数を実部と虚部とで分けた2種類の時間相関画像データを、時間相関カメラ110から受け取るものとする。
実施形態は、振幅画像の算出手法を制限するものではないが、たとえば、画像生成部104は、2種類の時間相関画像データの画素値C1(x,y)およびC2(x,y)から、以下に示す式(8)を用いて、振幅画像の各画素値F(x,y)を導き出すことが可能である。
また、画像生成部104は、画素値C1(x,y)およびC2(x,y)から、以下に示す式(9)を用いて、位相画像の各画素値P(x,y)を導き出すことが可能である。
式(9)から分かるように、位相画像の各画素値は、−π〜πの範囲に折りたたまれる。したがって、位相画像の各画素値は、−πからπに、またはπから−πに周期的に不連続に変化し得る(位相ジャンプ)。これにより、検査対象面が、凹凸などの局所的な異常(欠陥)を含まない平坦面で構成されている場合でも、当該平坦面を撮像した位相画像上には、位相ジャンプの影響による周期的なエッジが表れる。
なお、画像生成部104が時間相関カメラ110から入力される強度画像データに基づいて強度画像を生成することも可能であることは言うまでもないため、ここでは、強度画像の各画素値の導出方法についての説明を省略する。
領域特定部105は、画像生成部104により生成された振幅画像、位相画像、および強度画像から、異常が存在する異常領域を特定する。たとえば、領域特定部105は、位相画像に対して閾値処理を含む画像処理を実行して、光の位相が局所的に変化する位置を含む領域を、被検査体150の異常が存在する異常領域として特定する。領域特定部150が実行する画像処理には、閾値処理の他、ラプラシアン処理(2階微分処理)や、ガウシアン処理(平滑化処理)などといった様々な画像処理が含まれうる。
ここで、前述したように、位相画像上には、位相ジャンプの影響による周期的なエッジが表れる。しかしながら、上述したラプラシアン処理は、周期的なエッジを無視して実行することが望まれる。したがって、実施形態は、位相画像に対してラプラシアン処理を実行する際、位相画像を通常の実数の画素値を有する画像と同様に扱った一般的なラプラシアンを用いるのではなく、位相画像を生成するための複素時間相関画像データの振幅成分を無視して位相成分のみを2回微分する位相限定ラプラシアンを用いる。
なお、実施形態において、領域特定部105は、振幅画像および強度画像からも、同様に、振幅および強度がそれぞれ局所的に変化する位置を含む領域を異常領域として特定しうるが、説明の便宜上、以下で言及する異常領域は、全て、位相画像から特定された異常領域であるものとする。
ところで、検査対象が塗装製品やメッキ製品などである場合、上述した画像処理によって異常領域が特定されたとしても、検査対象の表面に実際に存在する異常のサイズが、所定の検査規格で定められた閾値以下である場合は、異常領域として検出された異常は欠陥に該当しないと判定する必要がある。
すなわち、上述した画像処理によってある一定の基準(検出閾値)で検出された異常を全て欠陥だと判定すると、検査規格から外れていない、本来は欠陥に該当しないと判定すべき異常までも、欠陥に該当すると判定されるため、過検出につながる。
そこで、実施形態は、画像処理によって検出された異常のサイズを、以下に説明するようなモデルに基づいた手法で算出し、算出したサイズを考慮して、過検出を抑制する。
図11は、実施形態のサイズ算出手法において想定する異常のモデルを示した模式図である。図11に示されるように、実施形態では、異常1100の形状を、底角の大きさがαの二等辺三角形の断面を有する円錐としてモデル化する。なお、図11において、円錐の頂部側の部分1101(斜線部参照)は、上述した検出閾値で検出された異常に相当し、円錐の底部側の部分1102は、上述した検出閾値では検出されなかったものの検査対象に実際に存在する異常に相当する。
上述した過検出を抑制するためには、頂部側の部分1101のみのサイズのみならず、頂部側の部分1101と底部側の部分1102とを含んだ、異常1100全体のサイズを算出する必要がある。なお、実施形態では、異常1100全体のサイズとして、平面視における寸法(円錐の底面の直径)Rと、高さHと、の2種類の値が算出対象となる。
図12は、実施形態において異常のサイズを算出するためのサイズ算出手法を説明するための模式図である。以下では、被検査体1200の表面上の位置P0に、図11に示すような円錐状の異常1100が存在する場合について説明する。図12に示されるように、スクリーン130の位置P1から被検査体1200の表面に向けて出射される出射光は、異常1100を介して反射され、スクリーン130の位置P2に入射する。
スクリーン130から異常1100に向かう出射光のスクリーン130上の出射位置である位置P1と、異常1100からスクリーン130へ向かう反射光のスクリーン130上における入射位置である位置P2と、の位置ずれXは、異常1100が、角度αで立ち上がる側面を有した円錐状に構成されていることに起因する。したがって、異常1100の存在によって発生する光の位相のずれと、位置ずれXと、の間には、比例関係が成立する。
すなわち、位相画像から画像処理によって特定される異常領域(上述した円錐の頂部側の部分1101に対応した領域)における光の位相の変化量をΔΦとし、スクリーン130に投影される縞の幅をWとすると、ΔΦとWとXとの間には、以下に示す式(10)が成立する。
X=W×ΔΦ/2π …(10)
一方、被検査体1200の表面上の位置P0に角度αで立ち上がる側面を有した円錐状の異常1100が存在する場合、一般的な光学計算により、位置P1から位置P0への出射光と、位置P0から位置P2への反射光と、がなす角度は、異常1100の側面の勾配の角度αの2倍であることが分かっている。これにより、スクリーン130と位置P0との間の距離をYとすると、YとXとαとの間には、次に示す式(11)が成立する。
2×α=arctan(X/Y) …(11)
上記の式(10)および(11)により、位相画像から特定される異常領域における光の位相の変化量であるΔΦを算出すれば、異常1100の形状を表す情報(側面の勾配の角度)であるαを算出することが可能であることが分かる。したがって、実施形態では、まず、異常領域における位相の変化量であるΔΦを算出することが望まれる。
この点に関して、本願発明者らは、鋭意検討の結果、上述したようなモデルのもとでは、異常領域における位相の変化量であるΔΦが、異常領域における位相の2階微分の値の最大値と、ある程度の相関関係を有していることを見出した。
したがって、実施形態では、以下に示す式(12)のように、位相画像に位相限定ラプラシアンを用いた処理を施すことで得られるラプラシアン画像のうち異常領域に対応した領域の値の最大値Pmaxに、所定の補正係数k1を乗じたものが、異常領域における位相の変化量ΔΦとして算出される。なお、補正係数k1は、実験などによって経験的に決定される。
ΔΦ=Pmax×k1 …(12)
上記の式(10)〜(12)により、実施形態では、ラプラシアン画像における異常領域に対応した領域の値の最大値Pmaxに基づいて、異常1100の形状を表す情報(側面の勾配の角度)であるαが算出される。
ところで、図11に示されるように、異常1100の底部側の部分1102のうち、頂部側の部分1101からはみ出した部分の平面視における寸法Aと、底部側の部分1102の高さBと、の間には、以下に示す式(13)が成立する。
A×tanα=B …(13)
一方、前述したように、頂部側の部分1101は、検出閾値を用いた画像処理で検出された異常に相当し、底部側の部分1102は、検出閾値を用いた画像処理では検出されなかった異常に相当する。したがって、検出閾値をTHとすると、当該検出閾値THと、底部側の部分1102の高さBとの間には、以下に示す式(14)のような、所定の係数k2に基づく比例関係が存在すると考えられる。なお、係数k2は、実験などによって経験的に決定される。
B=TH×k2 …(14)
検出閾値THは、異常領域を特定するために予め決めておく値なので、上記の式(13)に、上記の式(10)〜(12)で算出されるαと、上記の式(14)で算出されるBと、を代入すれば、異常1100の底部側の部分1102のうち頂部側の部分1101からはみ出した部分の平面視における寸法Aを算出することができる。
底部側の部分1102のうち頂部側の部分1101からはみ出した部分の寸法Aが分かれば、当該寸法Aと、頂部側の部分1101の底部の半径rと、を合算することで、異常1100全体の底部の半径Rを算出することができる。そして、異常1100全体の底部の半径Rが分かれば、それを2倍することで、異常1100全体の平面視における寸法(底部の直径)Dと、異常1100全体の高さHと、を算出することができる。
ここで、頂部側の部分1101は、検出閾値を用いた画像処理で検出された異常に相当するので、頂部側の部分1101の底部(半径rの円)の面積と、位相画像上での異常領域の面積とは、互いに一致する。したがって、位相画像上での異常領域の面積をSとすると、Sとrとの間には、以下に示す式(15)が成立する。
S=π×r2 …(15)
位相画像上での異常領域の面積Sは、異常領域を構成する画素数Nと、1画素の面積Tと、の積で表すことができるので、上記の式(15)は、以下に示す式(16)のように変形できる。
r=√((N×T)/π) …(16)
NおよびTは、位相画像から異常領域を特定すれば分かる値なので、上記の式(16)によれば、頂部側の部分1101の底部の半径rを算出することができる。そして、この半径rを算出することができれば、以下に示す式(17)により、異常1100全体の底部の半径Rを算出することができる。
R=A+r …(17)
そして、異常1100全体の底部の半径Rを算出することができれば、以下に示す式(18)および(19)により、異常1100のサイズを表す値として、異常1100全体の平面視における寸法(底部の直径)Dと、異常1100全体の高さHと、の2種類の値を算出することができる。
D=2×R …(18)
H=R×tanα …(19)
上記の計算方法により、実施形態の異常サイズ算出部106は、領域特定部105が特定した位相画像の異常領域に関する情報、より具体的にはラプラシアン画像における異常領域に対応した領域の値の最大値Pmaxと、位相画像上で異常領域を構成する画素数N(および1画素の面積T)と、に基づいて、異常1100の寸法Dおよび高さHを算出する。
図13は、実施形態のサイズ算出手法の精度を確認するための実験結果を示した図である。図13において、破線の直線L1は、上記の計算方法により算出した異常のサイズ(直径)の計算値と、顕微鏡などを使用して実際に測定した異常のサイズ(直径)の真値と、が等しくなる理想的な状態を表したグラフである。一方、図13において、実線の折れ線L2は、実際の検査対象を使用した実験によって求めた、異常のサイズ(直径)の計算値と、異常のサイズ(直径)の真値と、の関係を表したグラフである。
破線の直線L1と、実線の折れ線L2のグラフと、の一致度は、実施形態のサイズ算出方法として用いられる上記の計算方法の精度に対応する。この点において、図13に示されるように、実線の折れ線L2のグラフは、破線の直線L1のグラフと、ある程度の精度で一致している。したがって、実施形態のサイズ算出方法として用いられる上記の計算方法は、実験により、ある程度精度が高いことが担保されている。
なお、上記の計算方法では、異常領域における位相の変化量が、ラプラシアン画像における異常領域に対応した領域の値の最大値に、所定の補正係数を乗じることで算出されていた(式(12)参照)。しかしながら、実施形態では、異常領域における位相の変化量が、他の方法によって算出されてもよい。
たとえば、実施形態の異常サイズ算出部106は、異常領域における位相の変化量を、異常領域と、当該異常領域の周囲の領域と、の位相の違い、または、異常領域を含む位相画像と、当該位相画像に基づいて生成される前記異常領域を含まない参照画像と、の位相の違いに基づいて算出してもよい。前者の方法では、たとえば、異常領域と、当該異常領域の周囲の異常を含まない領域と、の位相画像上での画素値の差分に基づいて、位相の変化量が算出される。一方、後者の方法では、たとえば、異常領域を含む位相画像と、当該位相画像にウィーナフィルタを用いた画像処理を施すことで生成(復元)される、異常が存在しない理想的な位相画像としての復元画像(参照画像)と、の画素値の差分に基づいて、位相の変化量が算出される。
図1に戻り、異常判定部107は、異常サイズ算出部106により算出された異常のサイズと、所定の検査規格で定められた閾値と、の比較結果に基づいて、当該異常が検査規格から外れているか否かを判定する。より具体的に、異常判定部107は、異常のサイズの計算値が、検査規格で定められた閾値以下である場合、当該異常が検査規格から外れた欠陥には該当しないと判定し、異常のサイズの計算値が、検査規格で定められた閾値より大きい場合、当該異常が検査規格から外れた欠陥に該当すると判定する。これにより、画像処理によってある一定の基準で検出された異常から、検査規格から外れた欠陥のみを抽出することができるので、過検出を抑制することが可能になる。
以下、実施形態において実行される処理について説明する。
図14は、実施形態の検査システムが被検査体150の検査を行う際に実行する一連の処理を示したフローチャートである。以下では、被検査体150は、既にアーム140に固定された状態で、検査の初期位置に配置されているものとする。
図14に示されるように、実施形態のPC100は、まず、照明装置120に対して、被検査体を検査するための縞パターンを出力する(S1401)。
照明装置120は、PC100から入力された縞パターンを格納する(S1421)。そして、照明装置120は、格納された縞パターンを、時間遷移に従って変化するように表示する(S1422)。なお、照明装置120が表示を開始する条件は、縞パターンが格納されることに制限するものではなく、たとえば検査者が照明装置120に対して開始操作を行ったことであってもよい。
そして、PC100の制御部103は、時間相関カメラ110に対して、撮像開始指示を送信する(S1402)。
次に、時間相関カメラ110は、送信されてきた撮像開始指示に従って、被検査体150および当該被検査体150の周囲を含む領域について撮像を開始する(S1411)。そして、時間相関カメラ110の制御部240は、強度画像データと、時間相関画像データと、を生成する(S1412)。そして、時間相関カメラ110の制御部240は、強度画像データと、時間相関画像データと、を、PC100に出力する(S1413)。
PC100の制御部103は、強度画像データと、時間相関画像データと、を受け取る(S1403)。そして、画像生成部104は、受け取った強度画像データおよび時間相関画像データから、位相画像を生成する(S1404)。なお、ここでは、説明の便宜上、位相画像のみが生成される例について説明を省略するが、実施形態では、S1404において、位相画像のみならず、振幅画像および強度画像も生成されうる。
領域特定部105は、S1404で生成された位相画像から、異常が存在する異常領域を特定する(S1405)。たとえば、領域特定部105は、位相画像に対して、ある一定の閾値を用いた閾値処理を含む画像処理を実行して、光の位相が局所的に変化する位置を含む領域を、被検査体150の異常が存在する異常領域として特定する。前述したように、位相画像からの異常領域の特定の際には、位相限定ラプラシアンを用いたラプラシアン処理などといった様々な画像処理が使用されうる。
異常領域の特定処理(S1405)が終了すると、異常サイズ算出部106は、被検査体150のうち、位相画像から特定された異常領域に対応した部分(実際に異常を含む部分)のサイズを算出する(S1406)。そして、異常判定部107は、S1406の算出結果に基づいて、被検査体150の異常が所定の検査規格から外れているか否かを判定するための異常判定処理を実行する(S1407)。
図15は、実施形態の検査システムが実行する異常判定処理の詳細を示したフローチャートである。
図15に示されるように、実施形態の異常判定処理では、異常判定部107は、まず、S1406の算出結果、すなわち被検査体150のうち異常を含む部分のサイズの計算値が、所定の検査規格で定められた値より大きいか否かを判断する(S1501)。
異常を含む部分のサイズが検査規格で定められた値より大きいと判断された場合(S1501:Yes)、異常判定部107は、判定の対象となっている異常が、検査規格から外れた欠陥に該当すると判定する(S1502)。
一方、異常を含む部分のサイズが検査規格で定められた値以下であると判断された場合(S1501:No)、異常判定部107は、判定の対象となっている異常が、検査規格から外れた欠陥に該当しないと判定する(S1503)。
なお、S1502またはS1503における判定処理の結果は、PC100が備える(図示しない)表示装置などに出力される。異常判定処理の結果の出力方法としては、たとえば、強度画像を表示するとともに、当該強度画像のうち、欠陥に該当すると判定された領域を、検査者が異常を認識できるように装飾表示する方法などが考えられる。なお、実施形態では、判定結果を視覚的に出力することに限らず、判定結果を音声などにより出力してもよい。
図15のS1502またはS1503の処理が終了すると、図14のS1407の異常判定処理が終了し、S1408に処理が移行する。そして、制御部103は、被検査体150の検査が終了したか否かを判定する(S1408)。
被検査体150の検査が終了していないと判定された場合(S1408:No)、アーム制御部101は、次の検査対象となる被検査体150の表面が時間相関カメラ110で撮像できるように、予め定められた設定にしたがってアームの移動制御を行う(S1409)。そして、アームの移動制御が終了すると、制御部103は、再び時間相関カメラ110に対して、撮像開始指示を送信する(S1402)。
一方、被検査体150の検査が終了したと判定された場合(S1408:Yes)、制御部103は、検査が終了した旨を通知するための終了指示を時間相関カメラ110に対して出力する(S1410)。これにより、PC100が実行する一連の処理が終了する。
そして、時間相関カメラ110は、終了指示を受け付けたか否かを判定する(S1414)。終了指示を受け付けていない場合(S1414:No)、再びS1411からの処理が行われる。一方、終了指示を受け付けた場合(S1414:Yes)、処理が終了する。
なお、照明装置120の終了処理は、検査者が行ってもよいし、他の構成からの指示に従って終了してもよい。
以上により、実施形態の検査システムが被検査体の検査を行う際に実行する一連の処理が終了する。
なお、上述した実施形態では、時間相関カメラ110を用いて生成された強度画像データと、時間相関画像データと、を生成する例について説明した。しかしながら、強度画像データと、時間相関画像データと、を生成するために時間相関カメラ110を用いることに制限するものではなく、アナログ的な処理で実現可能な時間相関カメラや、それと等価な動作をする撮像システムを用いてもよい。たとえば、通常のデジタルスチルカメラが生成した画像データを出力し、情報処理装置が、デジタルスチルカメラが生成した画像データを、フレーム画像データとして用いて参照信号を重畳することで、時間相関画像データを生成してもよいし、イメージセンサ内で光強度信号に参照信号を重畳するようなデジタルカメラを用いて、時間相関画像データを生成してもよい。
以上説明したように、実施形態の検査システムは、位相画像に対して閾値処理を含む画像処理を実行して、被検査体150の異常が存在する異常領域を特定する領域特定部105と、異常領域における位相の変化量を算出し、当該位相の変化量に基づいて、被検査体105のうち異常を含む第1部分のサイズを表す第1の値を算出する異常サイズ算出部106と、を備える。ここで、異常領域は、図11の例において頂部側の部分1101に相当する位相画像の一部の領域に相当し、第1部分は、図11の例において頂部側の部分1101のみならず底部側の部分1102をも含んだ異常1100全体に相当する被検査体150の一部に相当し、第1の値は、上述したサイズ算出手順で算出される、図11の例における異常1100全体の平面視における寸法(直径)Dまたは高さHの計算値に相当する。これにより、異常のサイズの計算値を考慮して、閾値処理を含む画像処理によってある一定の基準で検出された異常から、真に欠陥と判定すべき異常を抽出することができるので、過検出を抑制することができる。
また、実施形態の検査システムは、上記の第1の値と、所定の規格(検査規格)で定められた第1閾値と、の比較結果に基づいて、異常が所定の規格から外れているか否かを判定する異常判定部107をさらに備えている。これにより、検査規格から外れた異常のみを容易に抽出することができる。
また、実施形態の異常サイズ算出部106は、上記の式(12)にしたがい、位相画像を生成するための画像データ(複素時間相関画像データ)に位相限定ラプラシアンを用いた処理を施すことで得られるラプラシアン画像における異常領域に対応した領域の値(Pmax)に基づいて、位相の変化量(ΔΦ)を算出する。これにより、位相の変化量を容易に算出することができる。
なお、異常サイズ算出部106は、異常領域と、当該異常領域の周囲の領域と、の位相の違い、または、異常領域を含む位相画像と、当該位相画像に基づいて生成される、異常領域を含まない参照画像(ウィーナフィルタに基づく復元画像)と、の位相の違いに基づいて、位相の変化量を算出してもよい。これらの算出手法を用いても、位相の変化量を容易に算出することができる。
また、実施形態の異常サイズ算出部106は、上記の式(10)にしたがい、位相の変化量(ΔΦ)に基づいて、スクリーン130から異常を含む第1部分(図12の符号P0参照)に向かう出射光の、スクリーン130に対応した面内における出射位置(図12の符号P1参照)と、当該出射光が第1部分で反射されることで当該第1部分からスクリーン130に向かう反射光の、スクリーン130に対応した面内における入射位置(図12の符号P2参照)と、の位置ずれを表す第2の値(X)を算出する。そして、異常サイズ算出部106は、上記の式(11)にしたがい、第2の値(X)に基づいて、第1部分の形状に関する第3の値(α)を算出する。そして、異常サイズ算出部106は、上記の式(13)〜(19)にしたがい、第3の値(α)と、異常領域を特定するための閾値処理で用いられる第2閾値(TH)と、に基づいて、第1部分のサイズを表す第1の値(DまたはH)を算出する。これにより、位相の変化量から第1部分のサイズを容易に算出することができる。
以下、実施形態のいくつかの変形例について説明する。
<第1変形例>
上述した実施形態では、位相、振幅および強度の局所的な変化(周囲との違い)に基づいて、異常領域を特定する例について説明したが、周囲との違いに基づいて異常領域を特定することに制限するものではない。たとえば、第1変形例として、予め設定(取得)された参照形状のデータ(参照データ)との差異に基づいて異常領域を特定する場合も考えられる。この場合、空間位相変調照明(縞パターン)の位置合わせおよび同期の状況を、参照データを設定(取得)した時の状況に合わせる必要がある。
上述した実施形態では、位相、振幅および強度の局所的な変化(周囲との違い)に基づいて、異常領域を特定する例について説明したが、周囲との違いに基づいて異常領域を特定することに制限するものではない。たとえば、第1変形例として、予め設定(取得)された参照形状のデータ(参照データ)との差異に基づいて異常領域を特定する場合も考えられる。この場合、空間位相変調照明(縞パターン)の位置合わせおよび同期の状況を、参照データを設定(取得)した時の状況に合わせる必要がある。
第1変形例では、領域特定部105が、予め(図示しない)記憶部に記憶された、参照表面から得られた位相画像、振幅画像および強度画像と、被検査体150の位相画像、振幅画像および強度画像と、を比較し、被検査体150の表面と参照表面との間で、光の位相、振幅および強度のうちいずれか1つ以上について所定の基準以上の違いがあるか否かを判定する。
以下では、第1変形例において、実施形態と同じ構成の検査システムが用いられ、参照表面の例として、正常な被検査体の表面が用いられるものとする。
この場合、照明装置120がスクリーン130を介して縞パターンを照射している間に、時間相関カメラ110が、正常な被検査体の表面を撮像し、強度画像データと、時間相関画像データと、を生成する。そして、PC100が、時間相関カメラ110で生成された強度画像データおよび時間相関画像データから、位相画像、振幅画像および強度画像を生成し、PC100の記憶部(図示せず)に、生成した位相画像、振幅画像および強度画像を記憶させておく。
そして、時間相関カメラ110は、異常が存在する可能性の有無を判定したい被検査体を撮像し、強度画像データと、時間相関画像データとを生成する。そして、PC100は、強度画像データおよび時間相関画像データから、位相画像、振幅画像および強度画像を生成した後、過去に記憶部に記憶した、正常な被検査体の位相画像、振幅画像および強度画像と、を比較する。
なお、上記の比較の際において、PC100は、正常な被検査体の位相画像、振幅画像および強度画像と、検査対象の被検査体の位相画像、振幅画像および強度画像との比較結果を、異常領域を特定するための特徴を表すデータとして出力するものとする。これにより、PC100は、異常領域を特定するための特徴が、所定の基準以上となっている画素(領域)を特定することで、位相画像、振幅画像および強度画像の各々の異常領域を特定することができる。
以上の手順により、第1変形例では、正常な被検査体の表面と差異が生じているか否か、換言すれば、被検査体の表面に異常が存在する可能性の有無を判定できる。なお、位相画像、振幅画像および強度画像の比較手法は、どのような手法を用いてもよいので、説明を省略する。
なお、第1変形例では、参照表面との違いに基づいて、異常領域を抽出するための特徴を示したデータを出力する例について説明した。しかしながら、第1変形例で説明した参照表面の違いを用いる技術と、実施形態で説明した周囲との違いを用いる技術と、を組み合わせて、異常領域を特定することも考えられる。なお、第1変形例の技術と、実施形態の技術と、を組み合わせる手法は、どのような手法を用いてもよいので、ここでは説明を省略する。
<第2変形例>
また、上述した実施形態では、x方向に縞パターンを動かして、被検査体の異常(欠陥)を検出する例について説明した。しかしながら、x方向に垂直なy方向で急峻に法線の分布が変化する異常(欠陥)が被検査体に生じている場合、x方向に縞パターンを動かすよりも、y方向に縞パターンを動かす方が欠陥の検出が容易になる場合がある。そこで、第2変形例として、x方向に移動する縞パターンと、y方向に移動する縞パターンとを、交互に切り替える例について説明する。
また、上述した実施形態では、x方向に縞パターンを動かして、被検査体の異常(欠陥)を検出する例について説明した。しかしながら、x方向に垂直なy方向で急峻に法線の分布が変化する異常(欠陥)が被検査体に生じている場合、x方向に縞パターンを動かすよりも、y方向に縞パターンを動かす方が欠陥の検出が容易になる場合がある。そこで、第2変形例として、x方向に移動する縞パターンと、y方向に移動する縞パターンとを、交互に切り替える例について説明する。
第2変形例の照明制御部102は、所定の時間間隔毎に、照明装置120に出力する縞パターンを切り替える。これにより、照明装置120は、一つの検査対象面に対して、異なる方向に延びた複数の縞パターンを出力する。
図16は、第2変形例の照明制御部102が出力する縞パターンの切り替え例を示した図である。図16の(A)では、照明制御部102は、照明装置120が表示する縞パターンをx方向に遷移させる。その後、図16の(B)に示されるように、照明制御部102は、照明装置120が表示する縞パターンをy方向に遷移させる。
そして、PC100の制御部103は、図16の(A)の縞パターン照射から得られた時間相関画像データに基づいて、異常検出を行い、図16の(B)の縞パターン照射から得られた時間相関画像データに基づいて、異常検出を行う。
図17は、第2変形例の照明制御部102が、異常(欠陥)2001を含んだ表面に縞パターンを照射した例を示した図である。図17に示される例では、異常(欠陥)2001が、x方向に延びている。この場合、照明制御部102は、x方向に交差するy方向、換言すれば異常(欠陥)2001の長手方向に交差する方向に縞パターンが移動するように設定する。当該設定により、検出精度を向上させることができる。
図18は、図17において、y方向、換言すれば異常(欠陥)2001の長手方向に直交する方向に縞パターンを変化させた場合における、異常(欠陥)2001とスクリーン130上の縞パターンの関係を示した図である。図18に示されるように、y方向に幅が狭く、且つ当該y方向に交差するx方向を長手方向とする異常(欠陥)2001が生じている場合、照明装置120から照射された光は、x方向に交差するy方向で光の振幅の打ち消しが大きくなる。このため、PC100では、y方向に移動させた縞パターンに対応する振幅画像データから、当該異常(欠陥)2001を検出できる。
第2変形例の検査システムにおいて、被検査体に生じる欠陥の長手方向がランダムな場合には、複数方向(例えば、x方向、および当該x方向に交差するy方向等)で縞パターンを表示することで、欠陥の形状を問わずに当該欠陥の検出が可能となり、異常(欠陥)の検出精度を向上させることができる。また、異常の形状に合わせた縞パターンを投影することで、異常の検出精度を向上させることができる。
<第3変形例>
さらに、実施形態の技術は、上述した第2変形例のような、x方向の異常検出と、y方向の異常検出と、を行うために縞パターンを切り替える技術に制限されるものでない。そこで、第3変形例として、照明制御部102が照明装置120に出力する縞パターンをx方向およびy方向に同時に動かす例について説明する。
さらに、実施形態の技術は、上述した第2変形例のような、x方向の異常検出と、y方向の異常検出と、を行うために縞パターンを切り替える技術に制限されるものでない。そこで、第3変形例として、照明制御部102が照明装置120に出力する縞パターンをx方向およびy方向に同時に動かす例について説明する。
図19は、第3変形例の照明制御部102が照明装置120に出力する縞パターンの例を示した図である。図19に示される例では、照明制御部102が縞パターンを、方向2201に移動させる。
図19に示される縞パターンは、x方向では1周期2202の縞パターンを含み、y方向では1周期2203の縞パターンを含んでいる。つまり、図19に示される縞パターンは、幅が異なる交差する方向に延びた複数の縞を有している。ここで、第3変形例では、x方向の縞パターンの幅と、y方向の縞パターンの幅と、を異ならせる必要がある。これにより、x方向に対応する時間相関画像データと、y方向に対応する時間相関画像データと、を生成する際に、対応する参照信号を異ならせることができる。なお、縞パターンによる光の強度の変化の周期(周波数)が変化すればよいので、縞の幅を変化させるのに変えて、縞パターン(縞)の移動速度を変化させてもよい。
そして、時間相関カメラ110が、x方向の縞パターンに対応する参照信号に基づいて、x方向の縞パターンに対応する時間相関画像データを生成し、y方向の縞パターンに対応する参照信号に基づいて、y方向の縞パターンに対応する時間相関画像データを生成する。そして、PC100の制御部103は、x方向の縞パターンに対応する時間相関画像データに基づいて、異常検出を行った後、y方向の縞パターンに対応する時間相関画像データに基づいて、異常検出を行う。これにより、第3変形例では、欠陥の生じた方向を問わずに検出が可能となり、異常(欠陥)の検出精度を向上させることができる。
上述した実施形態のPC100で実行される検査プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、上述した実施形態のPC100で実行される検査プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述した実施形態のPC100で実行される検査プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
以上、本発明のいくつかの実施形態および変形例を説明したが、これらの実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100…PC、104…画像生成部、105…領域特定部、106…異常サイズ算出部、107…異常判定部、110…時間相関カメラ、120…照明装置(照明部)、130…スクリーン(照明部)。
Claims (8)
- 被検査体に対して光の強度の周期的な時間変化および空間変化を与える面的な照明部と、
時間相関カメラまたはそれと等価な動作をする撮像システムから出力される画像データから位相画像を生成する画像生成部と、
前記位相画像に対して閾値処理を含む画像処理を実行して、前記被検査体の異常が存在する異常領域を特定する領域特定部と、
前記異常領域における位相の変化量を算出し、当該位相の変化量に基づいて、前記被検査体のうち前記異常を含む第1部分のサイズを表す第1の値を算出する異常サイズ算出部と、
を備える、検査システム。 - 前記第1の値と、所定の規格で定められた第1閾値との比較結果に基づいて、前記異常が前記所定の規格から外れているか否かを判定する異常判定部をさらに備える、
請求項1に記載の検査システム。 - 前記異常サイズ算出部は、前記画像データに位相限定ラプラシアンを用いた処理を施すことで得られるラプラシアン画像における前記異常領域に対応した領域の値に基づいて、前記位相の変化量を算出する、
請求項1または2に記載の検査システム。 - 前記異常サイズ算出部は、前記異常領域と、当該異常領域の周囲の領域と、の位相の違い、または、前記異常領域を含む前記位相画像と、当該位相画像に基づいて生成される、前記異常領域を含まない参照画像と、の位相の違いに基づいて、前記位相の変化量を算出する、
請求項1または2に記載の検査システム。 - 前記異常サイズ算出部は、前記位相の変化量に基づいて、前記照明部から前記第1部分に向かう出射光の前記照明部に対応した面内における出射位置と、前記出射光が前記第1部分で反射されることで前記第1部分から前記照明部に向かう反射光の前記照明部に対応した面内における入射位置と、の位置ずれを表す第2の値を算出し、当該第2の値に基づいて、前記第1部分の形状に関する第3の値を算出し、当該第3の値と、前記閾値処理で用いられる第2閾値と、に基づいて、前記第1の値を算出する、
請求項1〜4のいずれか1項に記載の検査システム。 - 前記サイズは、前記第1部分の平面視における寸法を含む、
請求項1〜5のいずれか1項に記載の検査システム。 - 前記サイズは、前記第1部分の高さを含む、
請求項1〜6のいずれか1項に記載の検査システム。 - 光の強度の周期的な時間変化および空間変化を与える面的な照明部により照らされた被検査体を撮像する時間相関カメラまたはそれと等価な動作をする撮像システムから出力される画像データから位相画像を生成する画像生成ステップと、
前記位相画像に対して閾値処理を含む画像処理を実行して、前記被検査体の異常が存在する異常領域を特定する領域特定ステップと、
前記異常領域における位相の変化量を算出し、当該位相の変化量に基づいて、前記被検査体のうち前記異常を含む第1部分のサイズを表す第1の値を算出する異常サイズ算出ステップと、
を備える、検査方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017119706A JP2019002873A (ja) | 2017-06-19 | 2017-06-19 | 検査システムおよび検査方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017119706A JP2019002873A (ja) | 2017-06-19 | 2017-06-19 | 検査システムおよび検査方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019002873A true JP2019002873A (ja) | 2019-01-10 |
Family
ID=65005819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017119706A Pending JP2019002873A (ja) | 2017-06-19 | 2017-06-19 | 検査システムおよび検査方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019002873A (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05280945A (ja) * | 1992-03-30 | 1993-10-29 | Sharp Corp | クリーム半田の印刷状態検査装置 |
JP2007327836A (ja) * | 2006-06-07 | 2007-12-20 | Olympus Corp | 外観検査装置及び方法 |
JP2009014571A (ja) * | 2007-07-05 | 2009-01-22 | Omron Corp | 三次元形状計測装置、三次元形状計測方法 |
US20150204797A1 (en) * | 2012-07-23 | 2015-07-23 | Msc & Sgcc | Method and device for detecting, in particular, refracting defects |
JP2015200632A (ja) * | 2014-03-31 | 2015-11-12 | 国立大学法人 東京大学 | 検査システムおよび検査方法 |
JP2016223911A (ja) * | 2015-05-29 | 2016-12-28 | リコーエレメックス株式会社 | 検査システム |
-
2017
- 2017-06-19 JP JP2017119706A patent/JP2019002873A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05280945A (ja) * | 1992-03-30 | 1993-10-29 | Sharp Corp | クリーム半田の印刷状態検査装置 |
JP2007327836A (ja) * | 2006-06-07 | 2007-12-20 | Olympus Corp | 外観検査装置及び方法 |
JP2009014571A (ja) * | 2007-07-05 | 2009-01-22 | Omron Corp | 三次元形状計測装置、三次元形状計測方法 |
US20150204797A1 (en) * | 2012-07-23 | 2015-07-23 | Msc & Sgcc | Method and device for detecting, in particular, refracting defects |
JP2015200632A (ja) * | 2014-03-31 | 2015-11-12 | 国立大学法人 東京大学 | 検査システムおよび検査方法 |
JP2016223911A (ja) * | 2015-05-29 | 2016-12-28 | リコーエレメックス株式会社 | 検査システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6433268B2 (ja) | 検査システムおよび検査方法 | |
JP6316068B2 (ja) | 検査システムおよび検査方法 | |
JP6542586B2 (ja) | 検査システム | |
JP6553412B2 (ja) | 検査システム | |
WO2018159825A1 (ja) | 検査システムおよび検査方法 | |
JP6276092B2 (ja) | 検査システムおよび検査方法 | |
JP6420131B2 (ja) | 検査システム、及び検査方法 | |
JP2018028527A (ja) | 検査システム | |
JP2018009849A (ja) | 検査システムおよび検査方法 | |
JP2017101977A (ja) | 検査システムおよび検査方法 | |
JP2019002761A (ja) | 検査システムおよび検査方法 | |
JP2017101979A (ja) | 検査システム | |
JP2018115937A (ja) | 検査システム | |
JP6909378B2 (ja) | 検査システム | |
JP6703415B2 (ja) | 検査装置及び検査方法 | |
JP2019002873A (ja) | 検査システムおよび検査方法 | |
JP6781430B2 (ja) | 検査システム | |
JP2019174232A (ja) | 検査システムおよび検査方法 | |
JP6909377B2 (ja) | 検査システムおよび検査方法 | |
JP2018112470A (ja) | 検査システムおよび検査方法 | |
JP2020012816A (ja) | 検査システムおよび検査方法 | |
JP6826813B2 (ja) | 検査装置及び検査方法 | |
JP2019039685A (ja) | 検査システムおよび検査方法 | |
JP6529247B2 (ja) | 較正システムおよび検査システム | |
JP2019178941A (ja) | 検査システムおよび検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200603 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210406 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211012 |