JP2018115937A - 検査システム - Google Patents
検査システム Download PDFInfo
- Publication number
- JP2018115937A JP2018115937A JP2017006249A JP2017006249A JP2018115937A JP 2018115937 A JP2018115937 A JP 2018115937A JP 2017006249 A JP2017006249 A JP 2017006249A JP 2017006249 A JP2017006249 A JP 2017006249A JP 2018115937 A JP2018115937 A JP 2018115937A
- Authority
- JP
- Japan
- Prior art keywords
- image
- amplitude
- region
- area
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】被検査体の不良の判別精度を向上させる。【解決手段】実施形態の検査システムは、光の強度の周期的な時間変化および空間変化を与える面的な照明部と、被検査体を撮像した時間相関カメラまたはそれと等価な動作をする撮像システムから出力される複素時間相関画像を取得する画像取得部と、時間相関カメラまたはそれと等価な動作をする撮像システムから出力される画像データから、光の振幅を表した振幅画像を生成する画像生成部と、振幅画像から、所定の条件に基づいて対象領域を抽出し、当該対象領域に対して膨張処理を行うことで膨らんだ領域に対して、振幅成分の微分値が所定の閾値以上となる領域を増加領域として抽出し、当該対象領域に当該増加領域を追加して、振幅画像の検査対象領域を生成する抽出部と、検査対象領域の面積と、増加領域の面積と、に基づいて、被検査体の表面の不良を判別する判別部と、を備える。【選択図】図1
Description
本発明の実施形態は、検査システムに関する。
従来、周期的に変化する光を被検査体に照射し、当該被検査体の表面からの反射光を撮影することで、光の強度のみならず、光の時間遷移に関する情報をも含んだ時間相関画像を取得する技術が提案されている。このような時間相関画像は、例えば、被検査体の異常を検出するために用いることができる。
従来技術においては、時間相関画像の振幅成分を用いて異常を検出する技術がある。例えば、振幅の変化が閾値以上であるか否かに応じて、異常であるか否かを判定することができる。しかしながら、振幅の変化に応じて被検査体の不良を検出する場合に、被検査体の不良か、被検査体に付着したほこり等かを判別しにくい場合がある。
実施形態の検査システムは、光の強度の周期的な時間変化および空間変化を与える面的な照明部と、被検査体を撮像した時間相関カメラまたはそれと等価な動作をする撮像システムから出力される複素時間相関画像を取得する画像取得部と、時間相関カメラまたはそれと等価な動作をする撮像システムから出力される画像データから、光の振幅を表した振幅画像を生成する画像生成部と、振幅画像から、所定の条件に基づいて対象領域を抽出し、当該対象領域に対して膨張処理を行うことで膨らんだ領域に対して、振幅成分の微分値が所定の閾値以上となる領域を増加領域として抽出し、当該対象領域に当該増加領域を追加して、振幅画像の検査対象領域を生成する抽出部と、検査対象領域の面積と、増加領域の面積と、に基づいて、被検査体の表面の不良を判別する判別部と、を備える。
(実施形態)
実施形態の検査システムについて説明する。実施形態の検査システムは、被検査体を検査するために様々な構成を備えている。図1は、実施形態の検査システムの構成例を示した図である。図1に示されるように、実施形態の検査システムは、PC100と、時間相関カメラ110と、照明装置120と、スクリーン130と、アーム140と、を備えている。
実施形態の検査システムについて説明する。実施形態の検査システムは、被検査体を検査するために様々な構成を備えている。図1は、実施形態の検査システムの構成例を示した図である。図1に示されるように、実施形態の検査システムは、PC100と、時間相関カメラ110と、照明装置120と、スクリーン130と、アーム140と、を備えている。
アーム140は、被検査体150を固定するために用いられ、PC100からの制御に応じて、時間相関カメラ110が撮影可能な被検査体150の表面の位置と向きを変化させる。
照明装置120は、被検査体150に光を照射する装置であって、PC100からの縞パターンに従って、照射する光の強度を領域単位で制御できる。さらに、照明装置120は、周期的な時間の遷移に従って当該領域単位の光の強度を制御できる。換言すれば、照明装置120は、光の強度の周期的な時間変化および空間変化を与えることができる。なお、具体的な光の強度の制御手法については後述する。
スクリーン130は、照明装置120から出力された光を拡散させた上で、被検査体150に対して面的に光を照射する。実施形態のスクリーン130は、照明装置120から入力された周期的な時間変化および空間変化が与えられた光を、面的に被検査体150に照射する。なお、照明装置120とスクリーン130との間には、集光用のフレネルレンズ等の光学系部品(図示されず)が設けられてもよい。
なお、実施形態は、照明装置120とスクリーン130とを組み合わせて、光強度の周期的な時間変化および空間変化を与える面的な照射部を構成する例について説明するが、このような組み合わせに制限するものではなく、例えば、LEDを面的に配置して照明部を構成してもよい。
図2は、実施形態の時間相関カメラ110の構成を示したブロック図である。時間相関カメラ110は、光学系210と、イメージセンサ220と、データバッファ230と、制御部240と、参照信号出力部250と、を備えている。
光学系210は、撮影レンズ等を含み、時間相関カメラ110の外部の被写体(被検査体150を含む)からの光束を透過し、その光束により形成される被写体の光学像を結像させる。
イメージセンサ220は、光学系210を介して入射された光の強弱を光強度信号として画素毎に高速に出力可能なセンサとする。
実施形態の光強度信号は、検査システムの照明装置120が被写体(被検査体150を含む)に対して光を照射し、当該被写体からの反射光を、イメージセンサ220が受け取ったものである。
イメージセンサ220は、例えば従来のものと比べて高速に読み出し可能なセンサであり、行方向(x方向)、列方向(y方向)の2種類の方向に画素が配列された2次元平面状に構成されたものとする。そして、イメージセンサ220の各画素を、画素P(1,1),……,P(i,j),……,P(X,Y)とする(なお、実施形態の画像サイズをX×Yとする。)。なお、イメージセンサ220の読み出し速度を制限するものではなく、従来と同様であってもよい。
イメージセンサ220は、光学系210によって透過された、被写体(被検査体150を含む)からの光束を受光して光電変換することで、被写体から反射された光の強弱を示した光強度信号(撮影信号)で構成される、2次元平面状のフレームを生成し、制御部240に出力する。実施形態のイメージセンサ220は、読み出し可能な単位時間毎に、当該フレームを出力する。
実施形態の制御部240は、例えばCPU、ROM、およびRAM等で構成され、ROMに格納された検査プログラムを実行することで、転送部241と、読出部242と、強度画像用重畳部243と、第1の乗算器244と、第1の相関画像用重畳部245と、第2の乗算器246と、第2の相関画像用重畳部247と、画像出力部248と、を実現する。なお、CPU等で実現することに制限するものではなく、FPGA、またはASICで実現してもよい。
転送部241は、イメージセンサ220から出力された、光強度信号で構成されたフレームを、データバッファ230に、時系列順に蓄積する。
データバッファ230は、イメージセンサ220から出力された、光強度信号で構成されたフレームを、時系列順に蓄積する。
図3は、実施形態の時間相関カメラ110で時系列順に蓄積されたフレームを表した概念図である。図3に示されるように、実施形態のデータバッファ230には、時刻t(t=t0,t1,t2,……,tn)毎の複数の光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)の組み合わせで構成された複数のフレームFk(k=1,2,……,n)が、時系列順に蓄積される。なお、時刻tで作成される一枚のフレームは、光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)で構成される。
実施形態の光強度信号(撮像信号)G(1,1,t),……,G(i,j,t),……,G(X,Y,t)には、フレーム画像Fk(k=1,2,……,n)を構成する各画素P(1,1),……,P(i,j),……,P(X,Y)が対応づけられている。
イメージセンサ220から出力されるフレームは、光強度信号のみで構成されており、換言すればモノクロの画像データとも考えることができる。なお、実施形態は、解像度、感度、およびコスト等を考慮して、イメージセンサ220がモノクロの画像データを生成する例について説明するが、イメージセンサ220としてモノクロ用のイメージセンサに制限するものではなく、カラー用のイメージセンサを用いてもよい。
図2に戻り、実施形態の読出部242は、データバッファ230から、光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)をフレーム単位で、時系列順に読み出して、第1の乗算器244と、第2の乗算器246と、強度画像用重畳部243と、に出力する。
実施形態の時間相関カメラ110は、読出部242の出力先毎に画像データを生成する。換言すれば、時間相関カメラ110は、3種類の画像データを作成する。
実施形態の時間相関カメラ110は、3種類の画像データとして、強度画像データと、2種類の時間相関画像データと、を生成する。なお、実施形態は、2種類の時間相関画像データを生成することに制限されるものではなく、1種類又は3種類以上の時間相関画像データを生成する場合も考えられる。
実施形態のイメージセンサ220は、上述したように単位時間毎に、光強度信号で構成されたフレームを出力している。しかしながら、通常の画像データを生成するためには、撮影に必要な露光時間分の光強度信号が必要になる。そこで、実施形態では、強度画像用重畳部243が、撮影に必要な露光時間分の複数のフレームを重畳して、強度画像データを生成する。なお、強度画像データの各画素値(光の強度を表す値)G(x,y)は、以下に示す式(1)から導き出すことができる。なお、露光時間は、t0とtnの時間差とする。
これにより、従来のカメラの撮影と同様に、被写体(被検査体150を含む)が撮影された強度画像データが生成される。そして、強度画像用重畳部243は、生成した強度画像データを、画像出力部248に出力する。
時間相関画像データは、時間遷移に応じた光の強弱の変化を示す画像データである。つまり、実施形態では、時系列順のフレーム毎に、当該フレームに含まれる光強度信号に対して、時間遷移を示した参照信号を乗算し、参照信号と光強度信号と乗算結果である時間相関値で構成された、時間相関値フレームを生成し、複数の時間相関値フレームを重畳することで、時間相関画像データを生成する。
ところで、時間相関画像データを用いて、被検査体150の異常を検出するためには、イメージセンサ220に入力される光強度信号を、参照信号に同期させて変化させる必要がある。このために、照明装置120が、上述したように、スクリーン130を介して周期的に時間変化および縞の空間的な移動を与えるような、面的な光の照射を行うこととした。
実施形態では、2種類の時間相関画像データを生成する。参照信号は、時間遷移を表した信号であればよいが、実施形態では、複素正弦波e-jωtを用いる。なお、角周波数ω、時刻tとする。参照信号を表す複素正弦波e-jωtが、上述した露光時間(換言すれば強度画像データ、時間相関画像を生成するために必要な時間)の一周期と相関をとるように、角周波数ωが設定されるものとする。換言すれば、照明装置120およびスクリーン130等の照明部によって形成された面的かつ動的な光は、被検査体150の表面(反射面)の各位置で第一の周期(時間周期)での時間的な照射強度の変化を与えるとともに、表面に沿った少なくとも一方向に沿った第二の周期(空間周期)での空間的な照射強度の増減分布を与える。この面的な光は、表面で反射される際に、当該表面のスペック(法線ベクトルの分布等)に応じて複素変調される。時間相関カメラ110は、表面で複素変調された光を受光し、第一の周期の参照信号を用いて直交検波(直交復調)することにより、複素信号としての時間相関画像データを得る。このような複素時間相関画像データに基づく変復調により、表面の法線ベクトルの分布に対応した特徴を検出することができる。
複素正弦波e-jωtは、e-jωt=cos(ωt)−j・sin(ωt)と表すこともできる。従って、時間相関画像データの各画素値C(x,y)は、以下に示す式(2)から導き出すことができる。
実施形態では、式(2)において、実数部を表す画素値C1(x,y)と、虚数部を表す画素値C2(x,y)と、に分けて2種類の時間相関画像データを生成する。
このため、参照信号出力部250は、第1の乗算器244と、第2の乗算器246と、に対してそれぞれ異なる参照信号を生成し、出力する。実施形態の参照信号出力部250は、複素正弦波e-jωtの実数部に対応する第1の参照信号cosωtを第1の乗算器244に出力し、複素正弦波e-jωtの虚数部に対応する第2の参照信号sinωtを第2の乗算器246に出力する。このように実施形態の参照信号出力部250は、互いにヒルベルト変換対をなす正弦波および余弦波の時間関数として表される2種類の参照信号を出力する例について説明するが、参照信号は時間関数のような時間遷移に応じて変化する参照信号であればよい。
そして、第1の乗算器244は、読出部242から入力されたフレーム単位で、当該フレームの光強度信号毎に、参照信号出力部250から入力された複素正弦波e-jωtの実数部cosωtを乗算する。
第1の相関画像用重畳部245は、撮影に必要な露光時間分の複数のフレームについて、第1の乗算器244の乗算結果を画素毎に重畳する処理を行う。これにより、第1の時間相関画像データの各画素値C1(x,y)が、以下の式(3)から導出される。
そして、第2の乗算器246は、読出部242から入力されたフレームの光強度信号に対して、参照信号出力部250から入力された複素正弦波e-jωtの虚数部sinωtを乗算する。
第2の相関画像用重畳部247は、撮影に必要な露光時間分の複数のフレームについて、第2の乗算器246の乗算結果を画素毎に重畳する処理を行う。これにより、第2の時間相関画像データの各画素値C2(x、y)が、以下の式(4)から導出される。
上述した処理を行うことで、2種類の時間相関画像データ、換言すれば2自由度を有する時間相関画像データを生成できる。
また、実施形態は、参照信号の種類を制限するものでない。例えば、実施形態では、複素正弦波e-jωtの実部と虚部の2種類の時間相関画像データを作成するが、光の振幅と、光の位相と、による2種類の画像データを生成してもよい。
なお、実施形態の時間相関カメラ110は、時間相関画像データとして、複数系統分作成可能とする。これにより、例えば複数種類の幅の縞が組み合わされた光が照射された際に、上述した実部と虚部とによる2種類の時間相関画像データを、縞の幅毎に作成可能とする。このために、時間相関カメラ110は、2個の乗算器と2個の相関画像用重畳部とからなる組み合わせを、複数系統分備えるとともに、参照信号出力部250は、系統毎に適した角周波数ωによる参照信号を出力可能とする。
そして、画像出力部248が、2種類の時間相関画像データと、強度画像データと、をPC100に出力する。これにより、PC100が、2種類の時間相関画像データと、強度画像データと、を用いて、被検査体150の異常を検出する。そのためには、被写体に対して光を照射する必要がある。
実施形態の照明装置120は、高速に移動する縞パターンを照射する。図4は、実施形態の照明装置120が照射する縞パターンの一例を示した図である。図4に示す例では、縞パターンをx方向にスクロール(移動)させている例とする。白い領域が縞に対応した明領域、黒い領域が縞と縞との間に対応した間隔領域(暗領域)である。
実施形態では、時間相関カメラ110が強度画像データおよび時間相関画像データを撮影する露光時間で、照明装置120が照射する縞パターンが一周期分移動させる。これにより、照明装置120は、光の強度の縞パターンの空間的な移動により光の強度の周期的な時間変化を与える。実施形態では、図4の縞パターンが一周期分移動する時間を、露光時間と対応させることで、時間相関画像データの各画素には、少なくとも、縞パターン一周期分の光の強度信号に関する情報が埋め込まれる。
図4に示されるように、実施形態では、照明装置120が矩形波に基づく縞パターンを照射する例について説明するが、矩形波以外を用いてもよい。実施形態では、照明装置120がスクリーン130を介して照射されることで、矩形波の明暗の境界領域をぼかすことができる。
実施形態では、照明装置120が照射する縞パターンをA(1+cos(ωt+kx))と表す。すなわち、縞パターンには、複数の縞が反復的に(周期的に)含まれる。なお、被検査体150に照射される光の強度は0〜2Aの間で調整可能とし、光の位相kxとする。kは、縞の波数である。xは、位相が変化する方向である。
そして、フレームの各画素の光強度信号f(x,y,t)の基本周波数成分は、以下の式(5)として表すことができる。式(5)で示されるように、x方向で縞の明暗が変化する。
f(x,y,t)=A(1+cos(ωt+kx))
=A+A/2{ej(ωt+kx)+e-j(ωt+kx)}……(5)
=A+A/2{ej(ωt+kx)+e-j(ωt+kx)}……(5)
式(5)で示されるように、照明装置120が照射する縞パターンの強度信号は、複素数として考えることができる。
そして、イメージセンサ220には、当該照明装置120からの光が被写体(被検査体150を含む)から反射して入力される。
したがって、イメージセンサ220に入力される光強度信号G(x,y,t)を、照明装置120が照射された際のフレームの各画素の光強度信号f(x,y,t)とできる。そこで、強度画像データを導出するための式(1)に式(5)を代入すると、式(6)を導出できる。なお、位相kxとする。
式(6)から、強度画像データの各画素には、露光時間Tに、照明装置120が出力している光の強度の中間値Aを乗じた値が入力されていることが確認できる。さらに、時間相関画像データを導出するための式(2)に式(5)を代入すると、式(7)を導出できる。なお、AT/2を振幅とし、kxを位相とする。
これにより、式(7)で示された複素数で示された時間相関画像データは、上述した2種類の時間相関画像データと置き換えることができる。つまり、上述した実部と虚部とで構成される時間相関画像データには、被検査体150に照射された光強度変化における位相変化と振幅変化とが含まれている。換言すれば、実施形態のPC100は、2種類の時間相関画像データに基づいて、照明装置120から照射された光の位相変化と、光の振幅変化と、を検出できる。
そこで、実施形態のPC100は、時間相関画像データおよび強度画像データに基づいて、画素毎に入る光の位相変化を表した位相画像と、画素毎に入る光の振幅を表した振幅画像とを生成する。また、PC100は、強度画像データに基づいて、画素毎に入る光の強度を表した強度画像を生成する。そして、PC100は、位相画像と、振幅画像と、強度画像とに基づいて、被検査体150の異常を検出する。
ところで、被検査体150の表面形状に凹凸に基づく異常が生じている場合、被検査体150の表面の法線ベクトルの分布には、凹凸に基づく異常に対応した変化が生じている。また、被検査体150の表面に光を吸収するような異常が生じている場合、反射した光の強度に変化が生じる。法線ベクトルの分布の変化は、光の位相変化および振幅変化のうち少なくともいずれか一つとして検出される。そこで、実施形態では、時間相関画像データおよび強度画像データを用いて、法線ベクトルの分布の変化に対応した、光の位相変化および振幅変化のうち少なくともいずれか一つを検出する。これにより、表面形状の異常を検出可能となる。次に、被検査体150の異常、法線ベクトル、および光の位相変化又は振幅変化の関係について説明する。
図5は、第1の実施形態の時間相関カメラ110による、被検査体の異常の第1の検出例を示した図である。図5に示される例では、被検査体500に突形状の異常501がある状況とする。当該状況においては、異常501の点502の近傍領域においては、法線ベクトル521、522、523が異なる方向を向いていることを確認できる。そして、当該法線ベクトル521、522、523が異なる方向を向いていることで、異常501から反射した光に拡散(例えば、光511、512、513)が生じ、時間相関カメラ110のイメージセンサ220の任意の画素531に入る縞パターンの幅503が広くなる。
図6は、図5に示される異常501が被検査体500にある場合に、当該異常に応じて変化する、光の振幅の例を表した図である。図6に示される例では、光の振幅を実部(Re)と、虚部(Im)に分けて2次元平面上に表している。図6では、図5の光511、512、513に対応する光の振幅611、612、613として示している。そして、光の振幅611、612、613は互いに打ち消し合い、イメージセンサ220の当該任意の画素531には、振幅621の光が入射する。
したがって、図6に示される状況では、被検査体500の異常501が撮像された領域で、局所的に振幅が小さいことが確認できる。換言すれば、振幅変化を示した振幅画像で、周囲と比べて暗くなっている領域がある場合に、当該領域で局所的に光同士の振幅の打ち消し合いが生じていると推測できるため、当該領域に対応する被検査体500の位置で異常501が生じていると判断できる。
実施形態の検査システムは、図5の異常501のように傾きが急峻に変化しているものに限らず、緩やかに変化する異常も検出できる。図7は、第1の実施形態の時間相関カメラ110による、被検査体700の異常の第2の検出例を示した図である。図7に示される例では、正常な場合は被検査体の表面が平面(換言すれば法線が平行)となるが、被検査体700に緩やかな勾配701が生じた状況とする。このような状況においては、勾配701上の法線ベクトル721、722、723も同様に緩やかに変化する。したがって、イメージセンサ220に入力する光711、712、713も少しずつずれていく。図7に示される例では、緩やかな勾配701のために光の振幅の打ち消し合いは生じないため、図5、図6で表したような光の振幅はほとんど変化しない。しかしながら、本来スクリーン130から投影された光が、そのままイメージセンサ220に平行に入るはずが、緩やかな勾配701のために、スクリーン130から投影された光が平行の状態でイメージセンサ220に入らないために、光に位相変化が生じる。従って、光の位相変化について、周囲等との違いを検出することで、図7に示したような緩やかな勾配701による異常を検出できる。
また、被検査体の表面形状(換言すれば、被検査体の法線ベクトルの分布)以外にも異常が生じる場合がある。図8は、第1の実施形態の時間相関カメラ110による、被検査体の異常の第3の検出例を示した図である。図8に示される例では、被検査体800に汚れ801が付着しているため、照明装置120から照射された光が吸収あるいは拡散反射し、時間相関カメラ110の、汚れ801を撮影している任意の画素領域では光がほとんど強度変化しない例を表している。換言すれば、汚れ801を撮影している任意の画素領域では、光強度は位相打ち消しを起こし振動成分がキャンセルされ、ほとんど直流的な明るさになる例を示している。
このような場合、汚れ801を撮影している画素領域においては、光の振幅がほとんどないため、振幅画像を表示した際に、周囲と比べて暗くなる領域が生じる。したがって、当該領域に対応する被検査体800の位置に、汚れ等の異常801があることを推定できる。
このように、実施形態では、強度画像データと、時間相関画像データ(位相画像データおよび振幅画像データ)とを用いて、光の位相、振幅および強度の少なくとも1つの局所的な変化を検出することで、被検査体の異常箇所を推定できる。
図1に戻り、PC100について説明する。PC100は、検出システム全体の制御を行う。PC100は、アーム制御部101と、照明制御部102と、制御部103と、を備える。
アーム制御部101は、被検査体150の時間相関カメラ110による撮像対象となる表面を変更するために、アーム140を制御する。実施形態では、PC100において、被検査体150の撮影対象となる表面を複数設定しておく。そして、時間相関カメラ110が被検査体150の撮影が終了する毎に、アーム制御部101が、当該設定に従って、時間相関カメラ110が設定された表面を撮影できるように、アーム140が被検査体150を移動させる。なお、実施形態は撮影が終了する毎にアーム140を移動させ、撮影が開始する前に停止させることを繰り返すことに制限するものではなく、継続的にアーム140を駆動させてもよい。なお、アーム140は、搬送部、移動部、位置変更部、姿勢変更部等とも称されうる。
照明制御部102は、被検査体150を検査するために照明装置120が照射する縞パターンを出力する。実施形態の照明制御部102は、少なくとも3枚以上の縞パターンを、照明装置120に受け渡し、当該縞パターンを露光時間中に切り替えて表示するように照明装置120に指示する。
図9は、照明制御部102が照明装置120に出力する縞パターンの例を示した図である。図9(B)に示す矩形波に従って、図9(A)に示す黒領域と白領域とが設定された縞パターンが出力されるように、照明制御部102が制御を行う。
実施形態で照射する縞パターン毎の縞の間隔は、検出対象となる異常(欠陥)の大きさに応じて設定されるものとして、ここでは詳しい説明を省略する。
また、縞パターンを出力するための矩形波の角周波数ωは、参照信号の角周波数ωと同じ値とする。
図9に示されるように、照明制御部102が出力する縞パターンは、矩形波として示すことができるが、スクリーン130を介することで、縞パターンの境界領域をぼかす、すなわち、縞パターンにおける明領域(縞の領域)と暗領域(間隔の領域)との境界での光の強度変化を緩やかにする(鈍らせる)ことで、正弦波に近似させることができる。図10は、スクリーン130を介した後の縞パターンを表した波の形状の例を示した図である。図10に示されるように波の形状が、正弦波に近づくことで、計測精度を向上させることができる。また、縞に明度が多段階に変化するグレー領域を追加したり、グラデーションを与えたりしてもよい。また、カラーの縞を含む縞パターンを用いてもよい。
図1に戻り、制御部103は、画像生成部104と、検査対象領域抽出部105と、異常判別部106と、を備える。制御部103は、時間相関カメラ110から入力される強度画像データに基づいて生成される強度画像と、当該強度画像データおよび時間相関画像データに基づいて生成される位相画像および振幅画像とを用いて、位相、振幅および強度のうち少なくとも1つが局所的に変化する(つまり周囲と異なる)ことによって被検査体150の異常を検出するための特徴を算出するための処理を行う。なお、実施形態では、検査を行うために、複素数で示した時間相関画像データ(複素時間相関画像データと称す)の代わりに、複素数相関画像データの実部と虚部とで分けた2種類の時間相関画像データを、時間相関カメラ110から受け取るものとする。
画像生成部104は、時間相関カメラ110から入力される画像データ(強度画像データおよび時間相関画像データ)から、位相画像と、振幅画像と、強度画像とを生成する。位相画像および振幅画像は、強度画像データおよび時間相関画像データに基づいて生成され、強度画像は、強度画像データに基づいて生成される。前述したように、位相画像とは、画素毎に入る光の位相を表した画像であり、振幅画像とは、画素毎に入る光の振幅を表した画像であり、強度画像とは、画素毎に入る光の強度を表した画像である。
実施形態は、振幅画像の算出手法を制限するものではないが、例えば、画像生成部104は、2種類の時間相関画像データの画素値C1(x,y)およびC2(x,y)から、式(8)を用いて、振幅画像の各画素値F(x,y)を導き出す。
そして、実施形態では、振幅画像の各画素値(振幅)と、強度画像の各画素値と、に基づいて、異常が生じている領域があるか否かを判定できる。例えば、強度画像データの画素値(AT)を2で除算した値と、振幅画像データの振幅(打ち消し合いが生じない場合にはAT/2となる)と、がある程度一致する領域は異常が生じていないと推測できる。一方、一致していない領域については、振幅の打ち消しが生じていると推測できる。なお、具体的な手法については後述する。
同様に、画像生成部104は、画素値C1(x,y)およびC2(x,y)から、式(9)を用いて、位相画像の各画素値φ(x,y)を導き出す。
検査対象領域抽出部105は、画像生成部104により生成された位相画像、振幅画像および強度画像に基づいて、検査対称面の法線ベクトルの分布と対応した特徴などといった、光の位相、振幅および強度のうち少なくとも1つの局所的な変化(周囲との違い)として表れる特徴を算出し、算出した特徴に基づいて、被検査体150の異常箇所を推定する。そして、検査対象領域抽出部105は、推定された異常箇所に対応する画素を含めるように、位相画像、振幅画像および強度画像から、それぞれ、位相、振幅および強度が局所的に変化する検査対象領域を抽出する。
ここで、被検査体150が、塗装が施された製品である場合、位相、振幅および強度の少なくとも1つが局所的に変化する箇所の全てを異常箇所(塗装不良)として検出すると、本来であれば塗装不良として検出しなくてもよい箇所まで塗装不良として検出してしまう過検出が発生することがある。しかしながら、実施形態の検査対象領域抽出部105は、位相、振幅および強度の局所的な変化を検出することで、過検出に該当するか否かに関わらず、塗装不良の存在が疑われる全ての領域を、検査対象領域として抽出する。なお、過検出となり得る被検査体150の状態の具体例については、図16を参照して後で詳細に述べるため、ここでは説明を省略する。
実施形態の検査対象領域抽出部105は、法線ベクトルの分布に対応した特徴として、たとえば、複素時間相関画像の振幅の分布を用いて、被検査体150の異常を検出する。複素時間相関画像の振幅の分布とは、複素時間相関画像の各画素の振幅の分布を示したデータであり、振幅画像に相当する。
実施形態の検査対象領域抽出部105における振幅画像に基づく検査対象領域の抽出処理について説明する。本実施形態においては、振幅画像に基づく検査対象領域の抽出処理を複数段階に分けて行う。図11は、本実施形態の検査対象領域抽出部105における振幅画像の検査対象領域の抽出処理を段階毎に例示した図である。図11に示されるように、本実施形態の検査対象領域抽出部105は、対象領域TH1、対象領域ABS、対象領域TH2、対象領域GRAD20を抽出し、これら対象領域の合計を、振幅画像に基づく検査対象領域と設定する。
ここで、図12を参照して、実施形態の検査対象領域抽出部105における振幅画像に基づく検査対象領域の抽出処理について説明する。図12は、実施形態の検査対象領域抽出部105における当該処理の手順を示すフローチャートである。
図13は、本実施形態の検査対象領域抽出部105により抽出される振幅画像の検査対象領域の概念を示した図である。図13に示されるように、対象領域TH1及び対象領域ABSを抽出した後、徐々に検査対象領域として対象領域を広げていくことになる。図12に戻り、具体的な処理を説明する。
図12に戻り、検査対象領域抽出部105は、振幅画像に対してガウシアン差分処理する(ステップS1201)。そして、検査対象領域抽出部105は、ガウシアン差分処理で隣接する画素との間の減衰量が閾値tha以上となる領域(図13の領域1301)を、対象領域TH1として抽出する(ステップS1202)。
また、検査対象領域抽出部105は、振幅画像のうち、絶対値(画素値)が閾値thb以下の領域(図13の領域1302)を、対象領域ABSとして抽出する(ステップS1203)。
さらに、検査対象領域抽出部105は、対象領域TH1及び対象領域ABSのOR演算で得られた領域を6画素膨張させた膨張領域を特定する(ステップS1204)。
そして、検査対象領域抽出部105は、ステップS1204の膨張領域からガウシアン差分処理を行う(ステップS1205)。検査対象領域抽出部105は、ガウシアン差分処理で隣接する画素との間の減衰量が閾値thc以上となる領域(図13の領域1303)を、対象領域TH2として抽出する(ステップS1206)。
さらに、検査対象領域抽出部105は、対象領域TH1、対象領域ABS、及び対象領域TH2のOR演算で得られた領域を3画素膨張させた膨張領域を特定する(ステップS1207)。
検査対象領域抽出部105は、ステップS1207の膨張領域の微分値が閾値thd(20)以上となる領域(図13の領域1304)を、対象領域GRAD20として抽出する(ステップS1208)。閾値thdは、本実施形態においては“20”が設定された例について説明するが、他の値であっても良い。
そして、検査対象領域抽出部105は、対象領域TH1、対象領域ABS、対象領域TH2、及び対象領域GRAD20のOR演算で得られた領域を、振幅画像の検査対象領域として、対象領域GRAD20を増加領域として設定する(ステップS1209)。
上述した処理手順により、各画素の振幅値(換言すれば、振幅の分布)に基づき、振幅画像から、被検査体150において異常が推定される箇所を示す検査対象領域を抽出できる。しかしながら、実施形態は、上述した処理に基づいて検査対象領域を抽出することに制限するものではない。
つまり、検査対象領域抽出部105は、振幅画像から、所定の条件に基づいて対象領域(図12に示す例では、対象領域TH1、対象領域ABS、及び対象領域TH2の演算で得られた領域)を抽出し、当該対象領域に対して膨張処理を行うことで膨らんだ領域に対して、振幅成分の微分値が所定の閾値以上となる領域を増加領域として抽出し、当該対象領域(図12に示す例では、対象領域TH1、対象領域ABS、及び対象領域TH2のOR演算で得られた領域)に当該増加領域を追加し、振幅画像の検査対象領域を生成すればよい。
本実施形態は、所定の条件に基づいて抽出した対象領域として、対象領域TH1、対象領域ABS、及び対象領域TH2のOR演算で得られた領域を用いた例について説明したが、対象領域TH1、対象領域ABS、及び対象領域TH2の全ての領域のOR演算を行う手法に制限するものではなく、対象領域TH1、対象領域ABS、及び対象領域TH2のうちいずれか一つでも良いし、対象領域TH1、対象領域ABS、及び対象領域TH2のうちいずれか2つの領域にOR演算を行っても良い。さらには、対象領域が、対象領域TH1、対象領域ABS、及び対象領域TH2以外の領域であってもよく、例えば、異常と推定する条件を設定し、当該条件を満たした領域を、対象領域として抽出しても良い。
図14を参照して、実施形態の検査対象領域抽出部105における位相画像に基づく異常検出処理について説明する。図14は、実施形態の検査対象領域抽出部105における当該処理の手順を示すフローチャートである。
図14に示すように、検査対象領域抽出部105は、まず、位相画像の画素毎の光の位相値(を表した画素値)から、当該画素を基準(例えば中心)として、N×N領域の平均位相値を減算し(ステップS1401)、位相の平均差分画像を生成する。位相の平均差分画像は、位相のラプラシアンに対応する。
次に、検査対象領域抽出部105は、減算により生成された位相の平均差分画像の大きさ(絶対値)と、閾値とを比較し、平均差分画像の大きさが閾値以上となる画素を、異常(欠陥)のある画素として検出する(ステップS1402)。そして、検査対象領域抽出部105は、当該ステップS1402において検出された画素を含む所定の領域を、検査対象領域として抽出する。
なお、ステップS1402の検出結果により、検査対象領域抽出部105は、平均差分画像の正負、すなわち、画素の位相値と平均位相値との大小関係によって、凹凸を判別することができる(ステップS1403)。画素の位相値と平均位相値とのどちらが大きい場合に凸となるかは、各部の設定によって変化するが、大小関係が異なると、凹凸が異なる。
なお、他の手法によって得られた位相の分布の勾配からも、異常(欠陥)がある画素を検出することができる。例えば、検査対象領域抽出部105は、別の手法として、正規化された時間相関画像データのN×Nの領域の平均ベクトルと、正規化された各画素のベクトルとの差の大きさが、閾値よりも大きい場合に、異常がある画素として検出することができる。また、位相の分布の勾配に限られず、位相の分布に対応する情報に基づいて、異常がある画素を検出してもよい。
次に、図15を参照して、実施形態の検査対象領域抽出部105における振幅画像および強度画像に基づく異常検出処理について説明する。図15は、実施形態の検査対象領域抽出部105における当該処理の手順を示すフローチャートである。
図15に示すように、検査対象領域抽出部105は、時間相関画像データと強度画像データとから、各画素について、次の式(100)を用いて、振幅(を表す画素値)C(x,y)(式(7)参照)と強度(を表す画素値)G(x,y)(式(6)参照)との比R(x,y)を算出する(ステップS1501)。
R(x,y)=C(x,y)/G(x,y)……(100)
次に、検査対象領域抽出部105は、比R(x,y)と閾値とを比較し、比R(x,y)の値が対応する閾値以下となる画素を、異常(欠陥)のある画素として検出する(ステップS1502)。また、検査対象領域抽出部105は、比R(x,y)と閾値とを比較し、比R(x,y)の値が対応する別の閾値以上となる画素を、ムラ(汚れ等)のある画素として検出する(ステップS1503)。そして、検査対象領域抽出部105は、これらステップS1502およびS1503で検出された画素を含む所定の領域を、振幅画像の検査対象領域として抽出する。
なお、法線ベクトルの分布の異常により、振幅の打ち消し合い(減殺)が顕著となった場合には、強度に比べて振幅がより大きく下がる。一方、法線ベクトルの分布にはそれほどの異常は無いものの被検査体150の表面の汚れ等によって光の吸収が顕著となった場合には、振幅に比べて強度がより大きく下がる。よって、検査対象領域抽出部105は、ステップS1502およびステップS1503による異常種別の検出が可能となる。
さらに、実施形態の検査対象領域抽出部105における強度画像に基づく異常検出処理について簡単に説明する。強度は、光の明るさに対応するので、強度画像において明るさが局所的に急峻に変化する箇所が存在すれば、当該箇所に異常(欠陥)があると推定できる。したがって、強度画像に、2値化処理や平滑化処理などを施した上で、所定の閾値を用いた閾値処理を施せば、強度画像における異常箇所を検出することができる。そして、検査対象領域抽出部105は、このような手法で検出した異常箇所を含む所定の領域を、強度画像の検査対象領域として抽出することができる。
このように、検査対象領域抽出部105は、画像生成部104により生成された位相画像、振幅画像および強度画像から、それぞれ、位相、振幅および強度が局所的に変化する(周囲と異なる)画素を算出し、当該算出した画素を含む所定の領域を、位相画像、振幅画像および強度画像の各々の検査対象領域として抽出することができる。
ところで、上述したように、被検査体150が、塗装が施された製品である場合、位相、振幅および強度の少なくとも1つが局所的に変化する箇所の全てを異常(塗装不良)として検出すると、本来であれば塗装不良として検出しなくてもよい箇所まで異常として検出してしまう過検出が発生することがある。
図16は、実施形態の検査システムによって塗装検査を行う場合に、位相、振幅および強度のうち少なくとも1つの局所的な変化として表れる、被検査体の状態の具体例を示した図である。図16に示すように、塗装検査においては、塗装表面下にゴミやホコリなどの塵芥D1が混入することで塗装表面上にブツ1605が発生している被検査体1601と、塗装表面上にブツは発生していないものの塗装表面下に塵芥D2が混入している被検査体1602とについては、いずれも塗装不良(外層欠陥、内層欠陥)に該当するため、異常として検出する必要があるが、塗装表面上に単に塵芥D3が付着しているに過ぎず、塗装自体に不備が無い被検査体1603については、過検出に該当するため、異常として検出しないことが望ましい。
しかしながら、図16に示すように、外層欠陥に該当する例と、内層欠陥に該当する例と、過検出に該当する例とのいずれの例においても、位相、振幅および強度の少なくとも1つには、局所的な変化が表れる。したがって、位相、振幅および強度の少なくとも1つが局所的に変化する箇所の全てを塗装不良として検出すると、ゴミ・ホコリの付着が発生している例まで塗装不良として検出されてしまい、過検出が発生することになる。
そこで、上記のような過検出が発生するのを抑制するため、実施形態の異常判別部106は、検査対象領域抽出部105により抽出された、位相画像、振幅画像および強度画像の各々の検査対象領域が有する特徴に基づいて、塗装不良(外層欠陥および内層欠陥)に該当する例および過検出に該当する例から、塗装不良に該当する例のみを判別する。
図17に、実施形態における、位相画像、振幅画像および強度画像の各々の検査対象領域と、当該検査対象領域が有する特徴とを例示する。図17の例では、領域A、BおよびCが、位相画像、振幅画像および強度画像の全てにおいて検査対象領域として抽出されている。図17に示すように、検査対象領域として抽出される領域A〜Cは、いずれも、複数の画素を含んでいる。
実施形態では、塗装不良を判別するための特徴として、位相画像、振幅画像及び強度画像の各々において、検査対象領域を構成する複数の画素の合計面積(area)と、当該複数の画素がそれぞれ有する複数の画素値の平均値(ave)と、当該複数の画素値の分散(dev)と、当該複数の画素値の最大値および最小値の差(Range)と、当該複数の画素値の最小値(min)との、5個の特徴が用いられる。
また、図16に示された例では、外層欠陥の場合、及び過検出の場合において、振幅の変化が生じることを示した。しかしながら、外層欠陥の場合、及び過検出の場合においては、振幅の変化に違いが生じる。振幅の変化の違いは、上述した増加領域の違いとして生じることになる。
図18は、振幅画像における、塗装不良等の欠陥が生じている場合の振幅値(画素値)の変化を例示した図である。図18に示されるように、通常の塗装不良等の欠陥の場合、対象領域TH1、対象領域ABS、及び対象領域TH2のOR演算で得られた領域より外側の領域において、振幅値が急峻に変化している。このため、当該OR演算で得られた領域を膨張させた後、GRAD20(微分値が閾値thd(20)以上)を抽出条件として抽出処理を行うと、増加領域1801、1802が抽出できる。
図19は、振幅画像における、ゴミ・ホコリが付着している場合の振幅値(画素値)の変化を例示した図である。図19に示されるように、ゴミ・ホコリが付着している場合、対象領域TH1、対象領域ABS、及び対象領域TH2のOR演算で得られた領域より外側の領域において、振幅値がゆるやかに変化している。このため、当該OR演算で得られた領域を膨張させた後、GRAD20(微分値が閾値thd(20)以上)を抽出条件として抽出処理を行っても、増加領域はほとんど抽出されない。
このような違いに基づいて、本実施形態は、欠陥か否かを判別するための特徴として、検査対象領域の面積と、増加領域の面積と、に基づいた特徴(ANS)を用いることとした。
異常判別部106は、強度画像、振幅画像、及び位相画像を用いて、被検査体150の表面の不良を判別する。本実施形態においては、強度画像、振幅画像、及び位相画像の検査対象から抽出された複数種類の特徴に基づいて、被検査体150の表面の不良を判別する。
本実施形態の異常判別部106は、上述した複数種類に特徴に基づいた表面の不良の判別に、振幅画像の検査対象領域の面積と増加領域の面積とに基づいた、被検査体150の表面の不良の判別を、組み合わせた多変量解析を行う。
まず、異常判別部106は、上述した手法で検査対象領域抽出部105が算出した、検査対象領域の面積と、増加領域の面積と、に基づいた特徴(ANS)を算出する。
特徴(ANS)の算出のために、異常判別部106は、検査対象領域の面積SAと、増加領域の面積SCと、から、変数Y0、及び変数Y1を算出する。算出には、下の式(101)、式(102)を用いる。
Y0=(SA−Sa)/Sb…(101)
Y1=(SC−Sc)/Sd…(102)
なお、変数Saは、ゴミ・ホコリの場合の検査対象領域の平均的な面積(画素数)であり、変数Scは、ゴミ・ホコリの場合の増加領域の平均的な面積(画素数)とする。また、変数Sbは、ゴミ・ホコリの場合の検査対象領域の面積(画素数)の標準偏差であり、変数Sdは、ゴミ・ホコリの場合の増加領域の面積(画素数)の標準偏差とする。
Y1=(SC−Sc)/Sd…(102)
なお、変数Saは、ゴミ・ホコリの場合の検査対象領域の平均的な面積(画素数)であり、変数Scは、ゴミ・ホコリの場合の増加領域の平均的な面積(画素数)とする。また、変数Sbは、ゴミ・ホコリの場合の検査対象領域の面積(画素数)の標準偏差であり、変数Sdは、ゴミ・ホコリの場合の増加領域の面積(画素数)の標準偏差とする。
さらに、異常判別部106は、以下の式(103)、式(104)を用いて、特徴(ANS)を算出する。
Ans=Y0^2*g1+2*Y0*Y1*g2+Y1^2*g1…(103)
ANS=sqrt(Ans/2)…(104)
なお、変数g1,g2は、予め定められた重みとする。変数g1,g2は、どのような値でも良いが、例えば、特徴(ANS)がゴミ・ホコリに近いほど‘1’に近づくような重みとして、変数g1,g2を設定する等が考えられる。
ANS=sqrt(Ans/2)…(104)
なお、変数g1,g2は、予め定められた重みとする。変数g1,g2は、どのような値でも良いが、例えば、特徴(ANS)がゴミ・ホコリに近いほど‘1’に近づくような重みとして、変数g1,g2を設定する等が考えられる。
なお、以下では、位相画像、振幅画像及び強度画像の各々の5個の特徴、及び振幅画像の特徴(ANS)による、16個の特徴全てが用いられる例について説明するが、実施形態では、16個の特徴全て用いることに制限するものではなく、特徴のうち1以上が用いられていればよい。
実施形態の異常判別部106は、位相画像の検査対象領域が有する上記5個の特徴を表す5個のデータと、振幅画像の検査対象領域が有する上記6個の特徴を表す6個のデータと、強度画像の検査対象領域が有する上記5個の特徴を表す5個のデータとの組み合わせ(合計16個のデータ)に対して所定の判別処理を実行することで、被検査体150の塗装不良を判別する。なお、ここで実行される所定の判別処理の詳細については、後で説明する。
ここで、実施形態の検査システムにおける被検査体150の検査処理について説明する。図20は、実施形態の検査システムにおける当該検査処理の手順を示すフローチャートである。なお、被検査体150は、すでにアーム140に固定された状態で、検査の初期位置に配置されているものとする。
図20に示すように、PC100は、まず、照明装置120に対して、被検査体150を検査するための縞パターンを出力する(ステップS2001)。
照明装置120は、PC100から入力された縞パターンを格納する(ステップS2021)。そして、照明装置120は、格納された縞パターンを、時間遷移に従って変化するように表示する(ステップS2022)。なお、照明装置120が表示を開始する条件は、縞パターンが格納された際に制限するものではなく、例えば検査者が照明装置120に対して開始操作を行った際でもよい。
そして、PC100の制御部103が、時間相関カメラ110に対して、撮影の開始指示を送信する(ステップS2002)。
次に、時間相関カメラ110が、送信されてきた撮影指示に従って、被検査体150を含む領域について撮像を開始する(ステップS2011)。次に、時間相関カメラ110の制御部240が、強度画像データと、時間相関画像データと、を生成する(ステップS2012)。そして、時間相関カメラ110の制御部240が、強度画像データと、時間相関画像データと、を、PC100に出力する(ステップS2013)。
PC100の制御部103は、強度画像データと、時間相関画像データと、を受け取る(ステップS2003)。そして、画像生成部104は、受け取った強度画像データと時間相関画像データとから、位相画像と、振幅画像と、強度画像とを生成する(ステップS2004)。
そして、検査対象領域抽出部105は、位相画像、振幅画像および強度画像から、それぞれ、位相、振幅および強度が局所的に変化する検査対象領域を抽出し、振幅画像から微分値が所定の閾値以上となる増加領域を抽出する(ステップS2005)。具体的に、検査対象領域抽出部105は、位相画像の検査対象領域と、振幅画像の検査対象領域及び増加領域と、強度画像の検査対象領域とを抽出する。
異常判別部106は、ステップS2005で抽出された検査対象領域が有する特徴に基づいて、被検査体150の塗装不良(外層欠陥および内層欠陥)を判別する異常判別処理を実行する(ステップS2006)。
ここで、図21を参照して、ステップS2006で実行される異常判別処理についてより具体的に説明する。図21は、当該処理の詳細を示したフローチャートである。
図21に示すように、異常判別部106は、まず、第1の判別基準で所定の判別処理を実行し、外層欠陥を判別する(ステップS2101)。このステップS2101の処理により、検査対象領域内に見られる、位相、振幅および強度のうち少なくとも1つの局所的な変化が、塗装不良としての外層欠陥に該当するか、外層欠陥以外(塗装不良としての内層欠陥、および、ゴミ・ホコリの付着などの過検出)に該当するかが判別される。
図16に例示したように、外層欠陥に該当する例は、他の2例(内層欠陥に該当する例、および、過検出に該当する例)と比べて、位相および振幅の変化が比較的大きくなることが多い。そこで、異常判別部106は、外層欠陥を判別可能な第1の判別基準として、少なくとも位相画像および振幅画像の検査対象領域が有する特徴を用いる。すなわち、異常判別部106は、位相画像の検査対象領域が有する特徴と、振幅画像の検査対象領域が有する特徴と、強度画像の検査対象領域が有する特徴とのうち、位相画像の検査対象領域が有する特徴と、振幅画像の検査対象領域が有する特徴とに主として着目した第1の判別基準に基づいて、所定の判別処理を実行する。そして、判別処理の結果から、塗装不良としての外層欠陥であるか否かを判別する。
本実施形態では、外層欠陥であるか否かの判別に特徴(ANS)を用いる。例えば‘1’を基準値として、振幅画像の特徴(ANS)と基準値との差分(距離)を、外層欠陥又は過検出であるか否かの判断基準に用いることができる。
そして、異常判別部106は、外層欠陥に該当する検査対象領域を、異常箇所として特定するとともに、当該外層欠陥に該当する検査対象領域を、以降の異常判別処理の対象から除外する。
図21に戻り、ステップS2101の処理を実行した後、異常判別部106は、第2の判別基準で所定の判別処理を実行し、内層欠陥を判別する(ステップS2102)。上記のように、外層欠陥に該当する例は、ステップS2101の処理によって判別処理の対象から除外されているので、ステップS2102の処理では、検査対象領域内に見られる、位相、振幅および強度のうち少なくとも1つの局所的な変化が、内層欠陥に該当するか、過検出に該当するかが判別される。
図16に例示したように、内層欠陥に該当する例では、位相および振幅にはほとんど変化が見られないももの、強度に大きな変化が見られることが多い。一方、過検出に該当する例では、塗装表面に付着した塵芥D3の大きさや種類などによるものの、位相、振幅および強度の全てに変化が見られることが多い。そこで、異常判別部106は、内層欠陥を判別可能な第2の判別基準として、位相画像、振幅画像および強度画像の全ての検査対象領域が有する特徴を用いる。その際に、振幅の特徴(ANS)も考慮する。すなわち、異常判別部106は、位相画像の検査対象領域が有する特徴と、振幅画像の検査対象領域が有する特徴と、強度画像の検査対象領域が有する特徴とに総合的に着目した第2の判別基準に基づいて、所定の判別処理を実行することで、塗装不良としての内層欠陥を判別する。そして、異常判別部106は、内層欠陥に該当する検査対象領域を、異常箇所として特定するとともに、過検出に該当する検査対象領域を、異常の無い箇所として特定する。
以上の手順により、塗装不良の疑いがあるものとして抽出された検査対象領域のうち、外層欠陥および内層欠陥といった塗装不良に該当する検査対象領域のみが、異常箇所として特定され、塗装不良に該当しない、過検出に該当する検査対象領域が、異常の無い箇所として特定される。
なお、図21に示した例では、第1の判別基準で外層欠陥を判別した後、第2の判別基準で内層欠陥を判別しているが、内層欠陥を判別した後、外層欠陥を判別してもよい。また、上記では、外層欠陥を判別するための第1の判別基準が、少なくとも位相画像および振幅画像の検査対象領域が有する特徴を用いたものであり、内層欠陥を判別するための第2の判別基準が、位相画像、振幅画像および強度画像の全ての検査対象領域が有する特徴を用いたものである例を示した。しかしながら、実施形態では、外層欠陥および内層欠陥を判別可能であれば、第1の判別基準および第2の判別基準が、それぞれ上記以外の特徴を用いたものであってもよい。
また、図21に示した例では、所定の判別処理を2回(上記のステップS2101およびS2102)実行することで、外層欠陥および内層欠陥を段階的に判別している。しかしながら、実施形態では、所定の判別処理を、判別基準を段階的に異ならせて3回以上実行してもよい。たとえば、外層欠陥および内層欠陥が、その欠陥度合や種別などに応じてさらに細かく分類される場合、所定の判別処理を、分類の数に応じて複数回実行すれば、外層欠陥および内層欠陥を、その欠陥度合に応じてさらに細かく分類しながら判別することができると考えられる。
ここで、上記のステップS2101およびS2102で実行される所定の判別処理についてより具体的に説明する。実施形態では、所定の判別処理として、MT法(マハラノビスタグチ法)や、PLS法(部分最小二乗法)などといった、多変量解析の手法による判別処理が用いられる。
まず、MT法について説明する。MT法とは、多数の情報をマハラノビス距離という1つの尺度に集約し、マハラノビス距離の大小によって、検査対象の品質を判定する方法である。具体的に、MT法では、品質に問題が無い良品サンプルの特徴を表すデータに基づいて予め基準を作成し、作成した基準と、検査対象の特徴を表すデータとに基づいて、検査対象に対応するマハラノビス距離を算出し、算出したマハラノビス距離を所定の閾値と比較等することで、検査対象の品質を判定する。
実施形態の異常判別処理にMT法を適用する場合、基準の作成や、マハラノビス距離の算出に用いられるデータとして、上述した位相画像、振幅画像および強度画像の各々が有する5つの特徴と、振幅画像が有する1つの特徴と、を合わせた16個のデータ(図17参照)が用いられる。
実施形態では、外層欠陥が存在するサンプルから取得される上記の16個のデータや、内層欠陥が存在するサンプルから取得される上記の16個のデータなどを用いて、外層欠陥に該当するか否かを判定するための第1の閾値(第1の判別基準)と、内層欠陥に該当するか否かを判定するための第2の閾値(第2の判別基準)との、互いに異なる2つの閾値を予め計算しておく。そして、実施形態では、異常判別処理を実行する際に、予め計算しておいた上記の2つの閾値を段階的に用いることで、塗装不良に該当する外層欠陥および内層欠陥を異常として判定し、塗装不良に該当しない過検出を異常として判定しないことを実現する。
次に、PLS法について説明する。PLS法とは、回帰分析の一種であり、説明変数と目的変数との関係を表す数式等のモデルを算出する方法である。具体的に、PLS法とは、説明変数と目的変数とも異なる潜在変数を導入し、当該潜在変数と目的変数との相関を大きくするとともに潜在変数の分散を大きくすることで、説明変数に含まれる情報をできるだけ用いて回帰分析を行うという考え方に基づいた分析方法である。なお、潜在変数とは、データとして直接観測可能ではないが、説明変数と目的変数との関係の解釈に影響すると推定される変数のことである。
実施形態の異常判別処理にPLS法を適用する場合、説明変数として、上述した位相画像、振幅画像および強度画像の各々が有する5つの特徴と振幅画像が有する1つの特徴とを合わせた16個のデータ(図17参照)が用いられ、目的変数として、たとえば1および−1(1および0でも良い)という数値が用いられる。
実施形態では、上記の16個のデータを多数のサンプルから取得してPLS法による回帰分析を行うことで、外層欠陥に該当するか否かを判別するための第1のモデル(第1の判別基準)と、内層欠陥に該当するか否かを判定するための第2のモデル(第2の判別基準)との、互いに異なる2つのモデルを予め計算しておく。第1のモデルとは、検査対象の特徴を表すデータが入力された際に、検査対象が外層欠陥に該当する場合には1という数値が出力され、該当しない場合には−1という数値が出力されるようなモデルである。また、第2のモデルとは、検査対象の特徴を表すデータが入力された際に、検査対象が内層欠陥に該当する場合には1という数値が出力され、該当しない場合には−1という数値が出力されるようなモデルである。そして、実施形態では、異常判別処理を実行する際に、予め計算しておいた上記の2つのモデルを段階的に用いることで、塗装不良に該当する外層欠陥および内層欠陥を異常として判定し、塗装不良に該当しない過検出を異常として判定しないことを実現する。
なお、実施形態では、MT法およびPLS法以外の、他の多変量解析の手法を用いた判別処理により、塗装不良に該当する外層欠陥および内層欠陥を異常として判定し、塗装不良に該当しない過検出を異常として判定しないことを実現してもよい。
また、実施形態では、MT法およびPLS法による解析に用いる複数のデータを、時間相関カメラ110を用いて取得している。つまり、実施形態では、時間相関カメラ110を用いて1回の撮像を行うだけで、同一の撮像対象を同一のタイミングで同一の角度から撮像した3種類の異なる画像(位相画像、振幅画像および強度画像)から、解析に用いる複数のデータを取得することができるので、たとえば通常のカメラを用いて撮像条件を変えながら複数回の撮像を行うことで複数のデータを取得する場合と異なり、より正確なデータに基づいて、より効率的に解析を行うことができる。
図20に戻り、異常判別部106は、ステップS2006における異常判別処理の結果(判別結果)を、PC100が備える表示装置(図示せず)に出力する(ステップS2007)。判別結果の出力例としては、塗装不良(外層欠陥および内層欠陥)が検出された領域を検査者が視覚的に認識できるように、当該塗装不良が検出された領域を、位相画像、振幅画像および強度画像内で装飾表示するなどが考えられる。また、視覚に基づく出力に制限するものではなく、音声等で、塗装不良が検出されたことを出力してもよい。
制御部103は、被検査体150の検査が終了したか否かを判定する(ステップS2008)。検査が終了していないと判定した場合(ステップS2008:No)、アーム制御部101が、予め定められた設定に従って、次の検査対象となる被検査体150の表面が、時間相関カメラ110で撮影できるように、アームの移動制御を行う(ステップS2009)。アームの移動制御が終了した後、制御部103が、再び時間相関カメラ110に対して、撮影の開始指示を送信する(ステップS2002)。
一方、制御部103は、被検査体150の検査が終了したと判定した場合(ステップS2008:Yes)、終了指示を時間相関カメラ110に対して出力し(ステップS2010)、処理を終了する。
そして、時間相関カメラ110は、終了指示を受け付けたか否かを判定する(ステップS2014)。終了指示を受け付けていない場合(ステップS2014:No)、再びステップS2011から処理を行う。一方、終了指示を受け付けた場合(ステップS2014:Yes)、処理を終了する。
なお、照明装置120の終了処理は、検査者が行ってもよいし、他の構成からの指示に従って終了してもよい。
また、実施形態では、時間相関カメラ110を用いて、強度画像データと、時間相関画像データとを生成する例について説明した。しかしながら、強度画像データと、時間相関画像データとを生成するために時間相関カメラ110を用いることに制限するものではなく、アナログ的な処理で実現可能な時間相関カメラや、それと等価な動作をする撮像システムを用いてもよい。例えば、通常のデジタルスチルカメラが生成した画像データを出力し、情報処理装置が、デジタルスチルカメラが生成した画像データを、フレーム画像データとして用いて参照信号を重畳することで、時間相関画像データを生成してもよいし、イメージセンサ220内で光強度信号に参照信号を重畳するようなデジタルカメラを用いて、時間相関画像データを生成してもよい。
以上説明したように、実施形態の検査システムは、時間相関カメラ110から出力される画像データから、位相画像、振幅画像および強度画像を生成する画像生成部104と、位相画像、振幅画像および強度画像から、それぞれ、位相、振幅および強度が局所的に変化する検査対象領域を抽出する検査対象領域抽出部105と、位相画像、振幅画像および強度画像の検査対象領域が有する特徴に基づいて、検査対象の塗装不良を判別する異常判別部106とを備える。これにより、たとえば、検査対象領域抽出部105により、塗装不良が疑われる領域を検査対象領域として抽出した後、異常判別部106により、当該検査対象領域が、外層欠陥や内層欠陥といった塗装不良に該当するか、塗装不良ではない過検出に該当するかを判別することができる。この結果、過検出を抑制しながら、塗装不良を、より精度良く検出することができる。
(変形例1)
実施形態では、位相、振幅および強度の局所的な変化(周囲との違い)に基づいて、検査対象領域を抽出する例について説明したが、位相画像、振幅画像、及び強度画像の各々の検査対象が有する特徴に基づいて欠陥があるか否かを判定する手法に制限するものではない。例えば、振幅画像のみ生成し、当該振幅画像から、検査対象領域及び増加領域を抽出し、検査対象領域及び増加領域に基づいて、外層欠陥であるか否かを判定しても良い。そこで、変形例1では、被検査体150の表面の振幅画像から抽出された、検査対象領域と増加領域とに基づいて、欠陥であるか否か判定する場合について説明する。
実施形態では、位相、振幅および強度の局所的な変化(周囲との違い)に基づいて、検査対象領域を抽出する例について説明したが、位相画像、振幅画像、及び強度画像の各々の検査対象が有する特徴に基づいて欠陥があるか否かを判定する手法に制限するものではない。例えば、振幅画像のみ生成し、当該振幅画像から、検査対象領域及び増加領域を抽出し、検査対象領域及び増加領域に基づいて、外層欠陥であるか否かを判定しても良い。そこで、変形例1では、被検査体150の表面の振幅画像から抽出された、検査対象領域と増加領域とに基づいて、欠陥であるか否か判定する場合について説明する。
変形例1では、検査対象領域抽出部105が、第1の実施形態と同様の手法で、振幅画像から、検査対象領域及び増加領域を抽出する。
そして、変形例1における異常判別部106は、検査対象領域の面積及び増加領域の面積から、第1の実施形態と同様の手法で、特徴(ANS)を算出する。そして、異常判別部106は、当該特徴(ANS)が、“1”を基準とした所定の範囲内に含まれているか否かに応じて、被検査体150の表面の不良を判別する。変形例1では、振幅画像から被検査体150の表面の不良を判別する際に、外層欠陥とゴミ・ホコリ等の過検出との違いを判別できるので、欠陥の検出精度を向上させることができる。
(変形例2)
実施形態では、x方向に縞パターンを動かして、被検査体150の異常(欠陥)を検出する例について説明した。しかしながら、x方向に垂直なy方向で急峻に法線の分布が変化する異常(欠陥)が被検査体に生じている場合、x方向に縞パターンを動かすよりも、y方向に縞パターンを動かす方が欠陥の検出が容易になる場合がある。そこで、変形例2では、x方向に移動する縞パターンと、y方向に移動する縞パターンとを、交互に切り替える例について説明する。
実施形態では、x方向に縞パターンを動かして、被検査体150の異常(欠陥)を検出する例について説明した。しかしながら、x方向に垂直なy方向で急峻に法線の分布が変化する異常(欠陥)が被検査体に生じている場合、x方向に縞パターンを動かすよりも、y方向に縞パターンを動かす方が欠陥の検出が容易になる場合がある。そこで、変形例2では、x方向に移動する縞パターンと、y方向に移動する縞パターンとを、交互に切り替える例について説明する。
変形例2の照明制御部102は、所定の時間間隔毎に、照明装置120に出力する縞パターンを切り替える。これにより、照明装置120は、一つの検査対象面に対して、異なる方向に延びた複数の縞パターンを出力する。
図22は、変形例2の照明制御部102が出力する縞パターンの切り替え例を示した図である。図22(A)に示されるように、照明制御部102は、まず、照明装置120が表示する縞パターンをx方向に遷移させる。その後、図22(B)に示されるように、照明制御部102は、照明装置120が表示する縞パターンをy方向に遷移させる。
そして、PC100の制御部103は、図22(A)の縞パターン照射から得られた時間相関画像データに基づいて、異常検出を行い、図22(B)の縞パターン照射から得られた時間相関画像データに基づいて、異常検出を行う。
図23は、変形例2の照明制御部102が、異常(欠陥)2301を含めた表面に縞パターンを照射した例を示した図である。図23に示す例では、異常(欠陥)2301が、x方向に延びている。この場合、照明制御部102は、x方向に交差するy方向、換言すれば異常(欠陥)2301の長手方向に交差する方向に縞パターンが移動するように設定する。当該設定により、検出精度を向上させることができる。
図24は、変形例2において、y方向、換言すれば異常(欠陥)2301の長手方向に直交する方向に縞パターンを変化させた場合における、異常(欠陥)2301とスクリーン130上の縞パターンの関係を示した図である。図24に示されるように、y方向に幅が狭く、且つ当該y方向に交差するx方向を長手方向とする異常(欠陥)2301が生じている場合、照明装置120から照射された光は、x方向に交差するy方向で光の振幅の打ち消しが大きくなる。このため、PC100では、y方向に移動させた縞パターンに対応する振幅画像データから、当該異常(欠陥)2301を検出できる。
変形例2の検査システムにおいて、被検査体に生じる欠陥の長手方向がランダムな場合には、複数方向(例えば、x方向、および当該x方向に交差するy方向等)で縞パターンを表示することで、欠陥の形状を問わずに当該欠陥の検出が可能となり、異常(欠陥)の検出精度を向上させることができる。また、異常の形状に合わせた縞パターンを投影することで、異常の検出精度を向上させることができる。
(変形例3)
また、上述した変形例2は、x方向の異常検出と、y方向の異常検出と、を行う際に、縞パターンを切り替える手法に制限するものでない。そこで、変形例3では、照明制御部102が照明装置120に出力する縞パターンをx方向およびy方向同時に動かす例について説明する。
また、上述した変形例2は、x方向の異常検出と、y方向の異常検出と、を行う際に、縞パターンを切り替える手法に制限するものでない。そこで、変形例3では、照明制御部102が照明装置120に出力する縞パターンをx方向およびy方向同時に動かす例について説明する。
図25は、変形例3の照明制御部102が照明装置120に出力する縞パターンの例を示した図である。図25に示される例では、照明制御部102が縞パターンを、方向2501に移動させる。
図25に示される縞パターンは、x方向では1周期2502の縞パターンを含み、y方向では一周期2503の縞パターンを含んでいる。つまり、図25に示される縞パターンは、幅が異なる交差する方向に延びた複数の縞を有している。なお、x方向の縞パターンの幅と、y方向の縞パターンの幅と、を異ならせる必要がある。これにより、x方向に対応する時間相関画像データと、y方向に対応する時間相関画像データと、を生成する際に、対応する参照信号を異ならせることができる。なお、縞パターンによる光の強度の変化の周期(周波数)が変化すればよいので、縞の幅を変化させるのに変えて、縞パターン(縞)の移動速度を変化させてもよい。
そして、時間相関カメラ110が、x方向の縞パターンに対応する参照信号に基づいて、x方向の縞パターンに対応する時間相関画像データを生成し、y方向の縞パターンに対応する参照信号に基づいて、y方向の縞パターンに対応する時間相関画像データを生成する。その後、PC100の制御部103は、x方向の縞パターンに対応する時間相関画像データに基づいて、異常検出を行った後、y方向の縞パターンに対応する時間相関画像データに基づいて、異常検出を行う。これにより、変形例3では、欠陥の生じた方向を問わずに検出が可能となり、異常(欠陥)の検出精度を向上させることができる。
上述した実施形態のPC100で実行される検査プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、上述した実施形態のPC100で実行される検査プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述した実施形態のPC100で実行される検査プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
本発明のいくつかの実施形態および変形例を説明したが、これらの実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
100…PC(検査システム)、104…画像生成部、105…検査対象領域抽出部(抽出部)、106…異常判別部(判別部)、110…時間相関カメラ、120…照明装置(照明部)、130…スクリーン(照明部)。
Claims (4)
- 光の強度の周期的な時間変化および空間変化を与える面的な照明部と、
被検査体を撮像した時間相関カメラまたはそれと等価な動作をする撮像システムから出力される複素時間相関画像を取得する画像取得部と、
時間相関カメラまたはそれと等価な動作をする撮像システムから出力される画像データから、光の振幅を表した振幅画像を生成する画像生成部と、
前記振幅画像から、所定の条件に基づいて対象領域を抽出し、当該対象領域に対して膨張処理を行うことで膨らんだ領域に対して、振幅成分の微分値が所定の閾値以上となる領域を増加領域として抽出し、当該対象領域に当該増加領域を追加して、前記振幅画像の検査対象領域を生成する抽出部と、
前記検査対象領域の面積と、前記増加領域の面積と、に基づいて、前記被検査体の表面の不良を判別する判別部と、
を備える検査システム。 - 前記抽出部は、さらに、前記所定の条件として、前記振幅画像にガウシアン差分処理を行った結果、減衰量が第1の閾値以上となる領域、及び前記振幅画像の画素値が所定の閾値以下となる領域のうち、いずれか一つ以上の領域を前記対象領域として抽出する、
請求項1に記載の検査システム。 - 前記抽出部は、さらに、前記所定の条件として、前記いずれか一つ以上の領域に膨張処理を行うことで膨らんだ領域に、ガウシアン差分処理を行った結果、減衰量が第2の閾値以上となる領域を、前記対象領域に追加する、
請求項2に記載の検査システム。 - 前記判別部は、前記検査対象領域の面積、及び前記増加領域の面積に基づいて算出された特徴量を用いて多変量解析を行うことで、前記被検査体の表面の不良を判別する、
請求項1乃至3のいずれか一つに記載の検査システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017006249A JP2018115937A (ja) | 2017-01-17 | 2017-01-17 | 検査システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017006249A JP2018115937A (ja) | 2017-01-17 | 2017-01-17 | 検査システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018115937A true JP2018115937A (ja) | 2018-07-26 |
Family
ID=62985268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017006249A Pending JP2018115937A (ja) | 2017-01-17 | 2017-01-17 | 検査システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018115937A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6664569B1 (ja) * | 2019-09-06 | 2020-03-13 | 三菱電機株式会社 | 変状検出システムおよび変状検出方法 |
JP2021117068A (ja) * | 2020-01-24 | 2021-08-10 | 興和株式会社 | 表面検査装置とその方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10232206A (ja) * | 1997-02-19 | 1998-09-02 | Hitachi Ltd | 金属表面欠陥検出方法及び装置 |
JP2003044832A (ja) * | 2001-07-31 | 2003-02-14 | Kobe Steel Ltd | 検査パラメータ設定方法、検査パラメータ設定装置及び検査パラメータ設定プログラム |
JP2005208054A (ja) * | 2003-12-25 | 2005-08-04 | Showa Denko Kk | 表面検査方法および同装置 |
JP2012016454A (ja) * | 2010-07-07 | 2012-01-26 | Olympus Corp | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2014504803A (ja) * | 2011-01-11 | 2014-02-24 | ケーエルエー−テンカー コーポレイション | 進歩したウェーハ表面ナノトポグラフィのためのオブジェクトに基づく計測方法及びシステム |
JP2016223911A (ja) * | 2015-05-29 | 2016-12-28 | リコーエレメックス株式会社 | 検査システム |
-
2017
- 2017-01-17 JP JP2017006249A patent/JP2018115937A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10232206A (ja) * | 1997-02-19 | 1998-09-02 | Hitachi Ltd | 金属表面欠陥検出方法及び装置 |
JP2003044832A (ja) * | 2001-07-31 | 2003-02-14 | Kobe Steel Ltd | 検査パラメータ設定方法、検査パラメータ設定装置及び検査パラメータ設定プログラム |
JP2005208054A (ja) * | 2003-12-25 | 2005-08-04 | Showa Denko Kk | 表面検査方法および同装置 |
JP2012016454A (ja) * | 2010-07-07 | 2012-01-26 | Olympus Corp | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2014504803A (ja) * | 2011-01-11 | 2014-02-24 | ケーエルエー−テンカー コーポレイション | 進歩したウェーハ表面ナノトポグラフィのためのオブジェクトに基づく計測方法及びシステム |
JP2016223911A (ja) * | 2015-05-29 | 2016-12-28 | リコーエレメックス株式会社 | 検査システム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6664569B1 (ja) * | 2019-09-06 | 2020-03-13 | 三菱電機株式会社 | 変状検出システムおよび変状検出方法 |
WO2021044628A1 (ja) * | 2019-09-06 | 2021-03-11 | 三菱電機株式会社 | 変状検出システムおよび変状検出方法 |
JP2021117068A (ja) * | 2020-01-24 | 2021-08-10 | 興和株式会社 | 表面検査装置とその方法 |
JP7408411B2 (ja) | 2020-01-24 | 2024-01-05 | 興和株式会社 | 表面検査装置とその方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6433268B2 (ja) | 検査システムおよび検査方法 | |
JP6316068B2 (ja) | 検査システムおよび検査方法 | |
JP6542586B2 (ja) | 検査システム | |
JP6553412B2 (ja) | 検査システム | |
JP6276092B2 (ja) | 検査システムおよび検査方法 | |
JP2018115937A (ja) | 検査システム | |
JP2017101977A (ja) | 検査システムおよび検査方法 | |
JP2017101976A (ja) | 検査システム、及び検査方法 | |
JP2018009849A (ja) | 検査システムおよび検査方法 | |
JP6420131B2 (ja) | 検査システム、及び検査方法 | |
JP2018028527A (ja) | 検査システム | |
JP6703415B2 (ja) | 検査装置及び検査方法 | |
JP2019002761A (ja) | 検査システムおよび検査方法 | |
JP6909378B2 (ja) | 検査システム | |
JP2017101979A (ja) | 検査システム | |
JP6902684B2 (ja) | 画像処理装置および検査システム | |
JP2018112470A (ja) | 検査システムおよび検査方法 | |
JP2020012816A (ja) | 検査システムおよび検査方法 | |
JP6909377B2 (ja) | 検査システムおよび検査方法 | |
JP6826813B2 (ja) | 検査装置及び検査方法 | |
JP2018116026A (ja) | 照明装置および透過部材 | |
JP6781430B2 (ja) | 検査システム | |
JP2020101417A (ja) | 検査システム | |
JP2018112471A (ja) | 検査システムおよび検査方法 | |
JP2024017229A (ja) | 検査システムおよび検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200804 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210216 |