JP2023058332A - 検査システム、画像処理方法、および、欠陥検査装置 - Google Patents
検査システム、画像処理方法、および、欠陥検査装置 Download PDFInfo
- Publication number
- JP2023058332A JP2023058332A JP2021168296A JP2021168296A JP2023058332A JP 2023058332 A JP2023058332 A JP 2023058332A JP 2021168296 A JP2021168296 A JP 2021168296A JP 2021168296 A JP2021168296 A JP 2021168296A JP 2023058332 A JP2023058332 A JP 2023058332A
- Authority
- JP
- Japan
- Prior art keywords
- image
- complex
- noise
- unit
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 133
- 230000007547 defect Effects 0.000 title claims abstract description 29
- 238000003672 processing method Methods 0.000 title abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 108
- 230000001629 suppression Effects 0.000 claims abstract description 61
- 238000009826 distribution Methods 0.000 claims description 78
- 238000005259 measurement Methods 0.000 claims description 67
- 230000000737 periodic effect Effects 0.000 claims description 30
- 230000005284 excitation Effects 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 24
- 238000012935 Averaging Methods 0.000 claims description 17
- 230000001678 irradiating effect Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000010008 shearing Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000010363 phase shift Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000010355 oscillation Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000004556 laser interferometry Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 239000004334 sorbic acid Substances 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 239000004020 conductor Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
- G01N21/45—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/04—Analysing solids
- G01N29/043—Analysing solids in the interior, e.g. by shear waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/04—Analysing solids
- G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
- G01N29/0654—Imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/22—Details, e.g. general constructional or apparatus details
- G01N29/24—Probes
- G01N29/2418—Probes using optoacoustic interaction with the material, e.g. laser radiation, photoacoustics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/22—Details, e.g. general constructional or apparatus details
- G01N29/32—Arrangements for suppressing undesired influences, e.g. temperature or pressure variations, compensating for signal noise
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
- G01N29/4409—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison
- G01N29/4436—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison with a reference signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/02—Mechanical
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/061—Sources
- G01N2201/06113—Coherent sources; lasers
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
【課題】周期的な状態の変化を測定する場合にもノイズを効果的に抑制することが可能な検査システム、画像処理方法、および、欠陥検査装置を提供することである。【解決手段】この検査システム100は、検査対象Pの振動状態の周期的な変化を示す複素数によって各々の画素が表された複素数画像Dのノイズを抑制する制御部4を備える。制御部4は、複素数画像Dにおいて画定された対象画像領域z(xi)に含まれる画素と、対象画像領域z(xi)とは別個に複素数画像Dにおいて画定された複数の参照画像領域z(xj)に含まれる画素との類似度を、各々の画素を表す複素数同士を比較することによって取得するとともに、取得された類似度に基づく重みを用いて対象画像領域z(xi)のノイズ抑制処理を実行する。【選択図】図1
Description
本発明は、検査システム、画像処理方法、および、欠陥検査装置に関する。
従来、検査対象の振動状態を測定する欠陥検査装置が知られている(たとえば、特許文献1参照)。
上記特許文献1に記載の欠陥検査装置は、被検査物体に弾性波を励起する励振部と、被検査物体の表面の測定領域にストロボ照明の照射を行う照明部と、変位測定部と、を備える。変位測定部は、弾性波の位相とストロボ照明のタイミングとを制御することにより、弾性波の互いに異なる少なくとも3つの位相において測定領域各点の前後方向の変位を測定するように構成されている。そして、この欠陥検査装置は、測定領域各点の前後方向の変位を測定することによって、測定領域各点の振動状態(振幅および位相)を測定する。そして、上記特許文献1では、測定された測定領域各点の振動状態(振幅および位相)に基づいて画像を生成する構成が開示されている。
ここで、上記特許文献1には記載されていないが、測定領域を測定して画像を生成する場合には、生成された画像にノイズが含まれる場合がある。たとえば、上記特許文献1に記載の欠陥検査装置のように、レーザ干渉法により振動の状態を測定することによって画像を生成する場合には、導体内の電子の不規則な運動による熱雑音や装置の振動などに起因して生成された画像にノイズが生じる。このような場合に、一般的に、生成された画像に対して画像に含まれるノイズを抑制するノイズ抑制処理が実行される。しかしながら、上記特許文献1に記載の欠陥検査装置のように、弾性波が励起された被検査物体(検査対象)のような周期的に変化する振動の状態を測定することによって画像を生成する場合には、生成された画像のノイズの状態が、周期的に変化する振動の状態に応じて変化する場合がある。その場合には、生成された画像に対してノイズの抑制を行った場合に、振動の状態に応じて変化するノイズの抑制が十分に行われないことが考えられる。そのため、周期的な状態の変化を測定する場合にもノイズを効果的に抑制することが望まれている。
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、周期的な状態の変化を測定する場合にもノイズを効果的に抑制することが可能な検査システム、画像処理方法、および、欠陥検査装置を提供することである。
上記目的を達成するために、この発明の第1の局面における検査システムは、検査対象に弾性波を励起する励振部と、励振部により弾性波が励起された検査対象における振動状態を測定する測定部と、測定部の測定結果に基づいて、検査対象の振動状態の周期的な変化を示す複素数によって各々の画素が表された複素数画像のノイズを抑制するように構成されている画像処理部と、を備え、画像処理部は、複素数画像において画定された対象画像領域に含まれる画素と、対象画像領域とは別個に複素数画像において画定された複数の参照画像領域に含まれる画素との類似度を、各々の画素を表す複素数同士を比較することによって取得するとともに、取得された類似度に基づく重みを用いて対象画像領域のノイズ抑制処理を実行する。
この発明の第2の局面における画像処理方法は、周期的な状態の変化を示す複素数によって各々の画素が表された複素数画像を取得するステップと、取得された複素数画像において画定された対象画像領域と、対象画像領域とは別個に複素数画像において画定された複数の参照画像領域とを取得するステップと、取得された対象画像領域に含まれる画素と複数の参照画像領域に含まれる画素との類似度を、各々の画素を表す複素数同士を比較することによって取得するステップと、取得された類似度に基づく重みを用いて対象画像領域のノイズ抑制処理を実行するステップと、を備える。
この発明の第3の局面における欠陥検査装置は、検査対象に弾性波を励起する励振部と、励振部により弾性波が励起された検査対象にレーザ光を照射する照射部と、照射部によって照射され、検査対象において反射されたレーザ光である反射レーザ光と、照射部によって照射されたレーザ光である参照レーザ光とを干渉させるとともに、反射レーザ光と参照レーザ光とを干渉させた干渉光を撮像して測定することによって、励振部により弾性波が励起された検査対象の振動状態を測定する測定部と、測定部の測定結果に基づいて検査対象の振動状態の周期的な変化を示す複素数によって各々の画素が表された欠陥検査用の複素数画像のノイズを抑制するように構成されている制御部と、を備え、制御部は、複素数画像において画定された対象画像領域に含まれる画素と、対象画像領域とは別個に複素数画像において画定された複数の参照画像領域に含まれる画素との類似度を、各々の画素を表す複素数同士を比較することによって取得するとともに、取得された類似度に基づく重みを用いて対象画像領域のノイズ抑制処理を実行する。
上記第1の局面における検査システム、上記第2の局面における画像処理方法、および、上記第3の局面における欠陥検査装置では、複素数画像において画定された対象画像領域に含まれる画素と、対象画像領域とは別個に複素数画像において画定された複数の参照画像領域に含まれる画素との類似度を、各々の画素を表す複素数同士を比較することによって取得する。そして、取得された類似度に基づく重みを用いて対象画像領域のノイズ抑制処理を実行する。これにより、複素数画像において画定された対象画像領域のノイズ抑制処理を実行することによって、複素数画像のノイズを抑制することができる。そのため、周期的な状態の変化を示す複素数によって各々の画素が表された複素数画像が振動の周期的な状態の変化を反映しているので、実数値によって表された画像に対してノイズ抑制処理を実行する場合と異なり、複素数画像のノイズを抑制することにより、振動の状態に応じてノイズの状態が変化する場合にもノイズを効果的に抑制することができる。その結果、周期的な状態の変化を測定する場合にもノイズを効果的に抑制することができる。
以下、本発明を具体化した実施形態を図面に基づいて説明する。
[第1実施形態]
(検査システムの全体構成)
図1~図8を参照して、本発明の第1実施形態による検査システム100について説明する。
(検査システムの全体構成)
図1~図8を参照して、本発明の第1実施形態による検査システム100について説明する。
第1実施形態による検査システム100は、図1に示すように、振動子1と、照射部2と、スペックル・シェアリング干渉計3と、制御部4と、信号発生器5と、表示部6と、操作部7とを備える。なお、振動子1は、特許請求の範囲の「励振部」の一例であり、スペックル・シェアリング干渉計3は、特許請求の範囲の「測定部」の一例である。また、制御部4は、特許請求の範囲における「画像処理部」の一例である。
振動子1および照射部2は、信号発生器5にケーブルを介して接続されている。また、スペックル・シェアリング干渉計3、信号発生器5、表示部6、および、操作部7は、制御部4にケーブルを介して接続されている。
振動子1は、検査対象Pの測定領域Paに弾性波を励起する。具体的には、振動子1は、検査対象Pに接触するように配置され、信号発生器5からの交流信号を機械的振動に変換し、測定領域Paに弾性波を励起するために励振振動を発生させる。なお、振動子1によって検査対象Pに励起される弾性波の周波数は、振動子1の振動(励振振動)の周波数と等しい周波数となる。すなわち、振動子1に入力される交流信号の周波数と、振動子1によって検査対象Pに励起される弾性波の周波数とは、等しい周波数である。
照射部2は、振動子1により弾性波が励起された検査対象Pの測定領域Paにレーザ光を照射する。照射部2は、図示しないレーザ光源を含んでいる。レーザ光源から照射されたレーザ光は、照明光レンズ21によって検査対象Pの表面の測定領域Pa全体に拡げてられて照射される。また、照射部2は、信号発生器5からの電気信号に基づいて、所定のタイミングにおいてレーザ光を照射する。つまり、照射部2は、振動子1による弾性波に対応して、レーザ光を検査対象Pに照射する。レーザ光源は、たとえば、レーザダイオードであり、波長が785nmのレーザ光(近赤外光)を照射する。
第1実施形態では、スペックル・シェアリング干渉計3は、振動子1により弾性波が励起された検査対象Pの測定領域Paにおける振動状態を測定する。具体的には、スペックル・シェアリング干渉計3は、照射部2によって照射され、検査対象Pの測定領域Paにおいて反射されたレーザ光をレーザ干渉法により干渉させるとともに、干渉されたレーザ光(干渉光)を撮像する。詳細には、スペックル・シェアリング干渉計3は、振動子1により励振された検査対象Pの測定領域Paの互いに異なる2点において反射されたレーザ光(反射レーザ光および参照レーザ光)をレーザ干渉法により干渉させる。また、スペックル・シェアリング干渉計3は、ビームスプリッタ31、第1反射鏡32a、第2反射鏡32b、集光レンズ33、イメージセンサ34、および、位相シフタ35を含む。
ビームスプリッタ31は、ハーフミラーを含む。ビームスプリッタ31は、検査対象Pの測定領域Paにおいて反射されたレーザ光が入射する位置に配置されている。また、ビームスプリッタ31は、入射したレーザ光を、図1中の直線L1で示す光路のように、第1反射鏡32a側に反射させるとともに、図1中の破線L2で示す光路のように、第2反射鏡32b側に透過させる。また、ビームスプリッタ31は、図1中の直線L1で示す光路のように、第1反射鏡32aにより反射されて入射するレーザ光をイメージセンサ34側に透過させるとともに、図1中の破線L2で示すように、第2反射鏡32bによって反射されたレーザ光をイメージセンサ34側に反射させる。
第1反射鏡32aは、ビームスプリッタ31によって反射されたレーザ光の光路上において、ビームスプリッタ31の反射面に対して、45度の角度となるように配置されている。第1反射鏡32aは、ビームスプリッタ31により反射されたレーザ光をビームスプリッタ31側に反射させる。
第2反射鏡32bは、ビームスプリッタ31を透過するレーザ光の光路上において、ビームスプリッタ31の反射面に対して、45度の角度からわずかに傾斜した角度になるように配置されている。第2反射鏡32bは、ビームスプリッタ31を透過して入射してくるレーザ光をビームスプリッタ31側に反射させる。
集光レンズ33は、ビームスプリッタ31とイメージセンサ34の間に配置され、ビームスプリッタ31を透過したレーザ光(図1中の直線L1)とビームスプリッタ31で反射されたレーザ光(図1中の破線L2)とを集光させる。
イメージセンサ34は、干渉されたレーザ光である干渉光を撮像する。イメージセンサ34は、平面状に配置された検出素子を多数有し、ビームスプリッタ31において反射された後に第1反射鏡32aで反射されてビームスプリッタ31を透過するレーザ光(図1中の直線L1)と、ビームスプリッタ31を透過した後に第2反射鏡32bで反射されてビームスプリッタ31で反射されるレーザ光(図1中の破線L2)と、の光路上に配置される。イメージセンサ34は、たとえば、CMOSイメージセンサ、または、CCDイメージセンサなどを含む。
位相シフタ35は、ビームスプリッタ31と第1反射鏡32aとの間に配置され、制御部4の制御により、透過するレーザ光(図1の直線L1)の位相を変化(シフト)させる。具体的には、位相シフタ35は、透過するレーザ光の光路長を変化させるように構成されている。
スペックル・シェアリング干渉計3では、たとえば、測定領域Paの表面上の位置Pa1および第1反射鏡32aで反射されるレーザ光(図1中の直線L1)と、測定領域Paの表面上の位置Pa2および第2反射鏡32bで反射されるレーザ光(図1中の破線L2)とが、互いに干渉し、イメージセンサ34の同一箇所に入射する(同一素子において検出される)。位置Pa1および位置Pa2は、微小距離分だけ互いに離間した位置である。測定領域Paの各々の領域における、互いに異なる位置(Pa1およびPa2)から反射されたレーザ光(反射レーザ光および参照レーザ光)は、スペックル・シェアリング干渉計3により導光されて干渉光となり、イメージセンサ34に入射する。
制御部4は、スペックル・シェアリング干渉計3の各部の制御と、信号発生器5の動作の制御を行う。制御部4は、たとえば、CPU(Central Processing Unit)を含むコンピュータである。また、制御部4は、各種パラメータおよびプログラムなどを記憶する記憶装置を含む。なお、制御部4の制御の詳細は後述する。
信号発生器5は、制御部4による制御に基づいて、振動子1の振動と、照射部2のレーザ光の照射のタイミングとを制御するための交流信号を出力する。信号発生器5は、たとえば、FPGA(field―programmable gate array)を含む。
表示部6は、制御部4によって生成された画像を表示する。具体的には、表示部6は、制御部4により生成された後述する振動状態画像E(図2参照)を表示する。表示部6は、液晶ディスプレイまたは有機EL(Electro-Luminescence)ディスプレイなどを含む。
操作部7は、検査作業者による入力操作を受け付ける。操作部7は、たとえば、キーボードおよびマウスなどのポインティングデバイスである。また、操作部7は、受け付けられた入力操作に基づく操作信号を制御部4に対して出力する。
検査対象Pは、たとえば、鋼板に塗膜が塗装された塗装鋼板である。欠陥Qは、測定領域Paのうち内部(表層・表面)に発生している不良部位であり、亀裂や剥離などを含む。
(制御部による制御)
図2に示すように、制御部4は、スペックル・シェアリング干渉計3によって測定された干渉光に基づいて、欠陥Qを検査するための振動状態画像Eを生成する。振動状態画像Eは、生成された検査対象Pの測定領域Paに励起される弾性波の振動状態を視覚的に認識可能な画像である。たとえば、振動状態画像Eでは、振動状態の不連続性を視認することによって、検査対象Pに含まれる欠陥Q(不良部位)の位置を認識可能な画像である。
図2に示すように、制御部4は、スペックル・シェアリング干渉計3によって測定された干渉光に基づいて、欠陥Qを検査するための振動状態画像Eを生成する。振動状態画像Eは、生成された検査対象Pの測定領域Paに励起される弾性波の振動状態を視覚的に認識可能な画像である。たとえば、振動状態画像Eでは、振動状態の不連続性を視認することによって、検査対象Pに含まれる欠陥Q(不良部位)の位置を認識可能な画像である。
そして、第1実施形態では、制御部4は、生成される振動状態画像Eにおけるノイズを抑制する処理を実行する。具体的には、第1実施形態では、制御部4は、スペックル・シェアリング干渉計3による測定結果に基づいて、測定領域Paにおける検査対象Pの振動状態の周期的な変化を示す複素数によって各々の画素が表された欠陥検査用の複素数画像D(図4参照)を生成する。そして、制御部4は、生成された複素数画像Dのノイズを抑制する処理を実行することによって、振動状態画像Eにおけるノイズを抑制するように構成されている。なお、図2では、ノイズ抑制処理を実行していないノイズを含んだ状態の振動状態画像Eを図示している。以下に、制御部4による制御処理の詳細を説明する。
〈制御部による干渉光の測定〉
制御部4は、弾性波が励起されている検査対象Pの測定領域Paに対して、レーザ光を照射させることによって、検査対象Pの振動状態を測定する。具体的には、制御部4は、位相シフタ35によってレーザ光の位相を変化させながら、イメージセンサ34の各検出素子によって撮像された干渉光の強度パターンに基づいて、検査対象Pの測定領域Paにおける振動状態を測定した干渉光画像を取得(撮像)する。干渉光画像は、干渉光のスペックルパターンが撮像された画像である。
制御部4は、弾性波が励起されている検査対象Pの測定領域Paに対して、レーザ光を照射させることによって、検査対象Pの振動状態を測定する。具体的には、制御部4は、位相シフタ35によってレーザ光の位相を変化させながら、イメージセンサ34の各検出素子によって撮像された干渉光の強度パターンに基づいて、検査対象Pの測定領域Paにおける振動状態を測定した干渉光画像を取得(撮像)する。干渉光画像は、干渉光のスペックルパターンが撮像された画像である。
具体的には、制御部4は、スペックル・シェアリング干渉計3内に配置された位相シフタ35を、図示しないアクチュエータによって稼働させ、透過するレーザ光の位相を変化させる。これにより、たとえば、点Pa1において反射されたレーザ光と点Pa2において反射されたレーザ光の位相差が変化する。これら2つのレーザ光が干渉した干渉光の強度をイメージセンサ34の複数の検出素子が検出する。
また、図3および図4に示すように、制御部4は、信号発生器5を介して、振動子1の振動と照射部2によって照射されるレーザ光の照射のタイミングとを制御し、位相シフト量を変化させながら、イメージセンサ34の検出素子の各々において干渉光を撮像する。制御部4は、位相シフト量をλ/4ずつ変化させ、各位相シフト量(0、λ/4、λ/2、3λ/4)において、弾性波の位相がT/8ずつ異なるタイミングt(t=0~7)分の32枚の画像と各位相シフト量(0、λ/4、λ/2、3λ/4)前後の5枚の消灯時の画像との合計37枚の干渉光画像を撮像する。なお、λは、レーザ光の波長である。また、Tは、検査対象Pに励起される弾性波の周期である。
そして、制御部4は、撮像された干渉光画像に基づいて、弾性波の位相のタイミングt(t=0~7)が同じで、レーザ光の位相シフト量がλ/4ずつ異なる4枚の画像の輝度値I0~I3から、式(1)により、光位相(位相シフト量ゼロの時の、2光路間の位相差)Φtを求める。
Φt=-arctan{(I3-I1)/(I2-I0)}・・・(1)
また、制御部4は、光位相Φtに対して、最小二乗法により正弦波近似を行い、式(2)における近似係数A、φ、Cを求める。
Φt=Acos(φ+tπ/4)+C=Bexp(tπ/4)+C・・・(2)
ただし、Bは、複素振幅であり、式(3)のように、表される。
B=Aexp(iφ):複素振幅・・・(3)
また、位相シフト量やレーザ光を照射するタイミングのステップはこれに限らない。この場合、計算式は上記式(1)~式(3)と異なる式になる。
Φt=-arctan{(I3-I1)/(I2-I0)}・・・(1)
また、制御部4は、光位相Φtに対して、最小二乗法により正弦波近似を行い、式(2)における近似係数A、φ、Cを求める。
Φt=Acos(φ+tπ/4)+C=Bexp(tπ/4)+C・・・(2)
ただし、Bは、複素振幅であり、式(3)のように、表される。
B=Aexp(iφ):複素振幅・・・(3)
また、位相シフト量やレーザ光を照射するタイミングのステップはこれに限らない。この場合、計算式は上記式(1)~式(3)と異なる式になる。
そして、上記式(3)によって表された複素振幅は、オイラーの定理から、I(x)=a(x)+ib(x)と表すことができる。I(x)は、イメージセンサ34において、測定領域Paの座標xに対応する検出素子によって検出された干渉光に基づく光位相の状態(検査対象Pの振動状態)を複素数によって表したものとなる。このようにして、第1実施形態では、制御部4は、スペックル・シェアリング干渉計3のイメージセンサ34により撮像された干渉光の測定結果に基づいて、複素数画像Dを生成する。複素数画像Dは、イメージセンサ34の各々の検出素子に対応するように、平面状に配置された複数の画素を有する。そして、複素数画像Dでは、各々の画素が、上記式(1)~(3)によって取得された複素数I(x)によって表されている。この複素数I(x)は、測定された振動状態(周期的に変化する光路差の位相および振幅)を示している。なお、複素数I(x)は、測定領域Paの座標に対応する複素数画像Dの座標xにおける画素の複素数を示す。
〈干渉度合いの補正〉
ここで、図4に示すように、制御部4は、干渉度合いcoh(x)に応じて複素数画像Dを補正するように構成されている。具体的には、第1実施形態では、制御部4は、測定された干渉光の干渉度合いcoh(x)を取得するように構成されている。そして、制御部4は、取得された干渉度合いcoh(x)に応じて、複素数画像Dの各々の画素を表す複素数I(x)を重み付けすることによって、各々の画素を表す複素数I(x)を補正するように構成されている。なお、coh(x)は、座標xにおける干渉度合いを示す。
ここで、図4に示すように、制御部4は、干渉度合いcoh(x)に応じて複素数画像Dを補正するように構成されている。具体的には、第1実施形態では、制御部4は、測定された干渉光の干渉度合いcoh(x)を取得するように構成されている。そして、制御部4は、取得された干渉度合いcoh(x)に応じて、複素数画像Dの各々の画素を表す複素数I(x)を重み付けすることによって、各々の画素を表す複素数I(x)を補正するように構成されている。なお、coh(x)は、座標xにおける干渉度合いを示す。
具体的には、制御部4は、弾性波の位相のタイミングt(t=0~7)が同じで、レーザ光の位相シフト量がλ/4ずつ異なる4枚の画像の輝度値I0~I3の変化量に基づいて複素数画像Dの各々の画素における干渉度合いcoh(x)を測定する。すなわち、位相シフタ35によってシフト量を変更させた場合にも、輝度値I0~I3の変化が小さい画素は、干渉度合いcoh(x)が小さい値となる。一方で、位相シフタ35によってシフト量を変更させた場合に、輝度値I0~I3の変化が大きい画素は、干渉度合いcoh(x)が大きい値となる。
そして、制御部4は、以下の式(4)によって、複素数画像Dにおける各々の画素の干渉度合いcoh(x)を補正する。
なお、I´(x)は、座標xにおける画素の値が補正された値である。また、Cnは重みの合計を1にするための正規化項である。また、Nkは、補正に用いられる注目画素(補正する画素)周囲の画素数(カーネルサイズ)、γcは、干渉度合いの影響の大きさを調整するパラメータである。上記式(4)によって、制御部4は、干渉度合いcoh(x)の小さい画素を、周囲の干渉度合いcoh(x)の大きい画素からの重み付けにより補間(補正)する。なお、制御部4は、上記式(4)による干渉度合いcoh(x)の補正を複素数画像Dの全ての画素に対して実行する。
〈ノイズ抑制処理〉
そして、第1実施形態では、制御部4は、干渉度合いcoh(x)が補正された複素数画像Dのノイズを抑制する処理を実行するように構成されている。なお、以下の説明では、複素数画像D、および、複素数I(x)は、上記の干渉度合いcoh(x)による補正が実行された後の値を示す。
そして、第1実施形態では、制御部4は、干渉度合いcoh(x)が補正された複素数画像Dのノイズを抑制する処理を実行するように構成されている。なお、以下の説明では、複素数画像D、および、複素数I(x)は、上記の干渉度合いcoh(x)による補正が実行された後の値を示す。
図5に示すように、第1実施形態では、制御部4は、取得された複素数画像Dにおいて画定された対象画像領域z(xi)と、対象画像領域z(xi)とは別個に複素数画像Dにおいて画定された複数の参照画像領域z(xj)(j:1~N)とを取得する。具体的には、制御部4は、複素数画像Dのうちから所定の領域を抽出することによって対象画像領域z(xi)を取得する。そして、制御部4は、対象画像領域z(xi)とは別個に、複素数画像Dのうちから対象画像領域z(xi)と同じ大きさの複数の所定の領域を抽出することによって、複数(N個)の参照画像領域z(xj)を取得する。
対象画像領域z(xi)は、座標xiを含む所定の領域である。たとえば、対象画像領域z(xi)は、座標xiを中心とした7×7個の画素を有する領域である。すなわち、対象画像領域z(xi)は、複素数I(xi)によって表された画素を中心とする49個の画素の集合である。また、対象画像領域z(xi)は、ノイズ抑制処理が実行される対象となる領域である。そして、参照画像領域z(xj)は、対象画像領域z(xi)の周囲における互いに異なるN個の領域である。たとえば、参照画像領域z(xj)は、座標x1~座標xNの各々を中心とした7×7個の画素を有する領域である。すなわち、参照画像領域z(xj)は、各々が複素数I(xj)(複素数I(x1)~複素数I(xN))によって表された画素を中心とする49個の画素の集合である。参照画像領域z(xj)は、座標xiを中心とした所定の領域S(xi)(たとえば、21×21の画素分を含む領域)のうちから抽出される。なお、参照画像領域z(xj)は、複素数画像Dの全体から抽出されてもよい。また、参照画像領域z(xj)は、対象画像領域z(xi)と一部の画素が共通であってもよい。同様に、複数の参照画像領域z(xj)のうち、異なる参照画像領域z(xj)同士において、共通の画素を有していてもよい。
そして、制御部4は、複数の参照画像領域z(xj)との比較によって、対象画像領域z(xi)に対してノイズ抑制処理を実行する。
具体的には、第1実施形態では、制御部4は、取得された対象画像領域z(xi)に含まれる画素と複数の参照画像領域z(xj)に含まれる画素との類似度を、各々の画素を表す複素数I(x)同士を比較することによって取得する。そして、制御部4は、取得された類似度に基づく重みを取得する。また、制御部4は、取得された重みに基づいて、複数の参照画像領域z(xj)の各々に対して重みを用いて平均化する処理を実行することによって、対象画像領域z(xi)のノイズを抑制するノンローカルミーンズ処理をノイズ抑制処理として実行する。
〈ノンローカルミーンズ処理〉
ここで、制御部4は、ノンローカルミーンズ処理において、信号の分布(ノイズ分布)を重みとすることによって、検査システム100に最適なノイズ抑制処理を実行するように構成されている。この重みは、複数の参照画像領域z(xj)の各々と、対象画像領域z(xi)との類似度を表している。
ここで、制御部4は、ノンローカルミーンズ処理において、信号の分布(ノイズ分布)を重みとすることによって、検査システム100に最適なノイズ抑制処理を実行するように構成されている。この重みは、複数の参照画像領域z(xj)の各々と、対象画像領域z(xi)との類似度を表している。
図6に示すように、複素数画像Dに含まれるノイズは特有のノイズ分布を有する。たとえば、複素数画像Dにノイズが含まれない場合には、7×7個の画素を含む領域における7×7個の画素の各々における振動の位相および振幅は略等しくなるため、抽出された各々の画素の複素数I(x)を複素平面上にプロットした場合には、プロットされた信号点が略同一の点に集合する。一方で、複素数画像Dにノイズが含まれる場合には、抽出された各々の画素の複素数I(x)を複素平面上にプロットした場合には、プロットされた信号点は、広がりを持った分布(ノイズ分布)に従って拡散されたようになる。
また、このノイズ分布は、検出された信号の強度に応じて大きく広がる。すなわち、このノイズ分布は、測定領域Paにおける検査対象Pの振動状態の周期的な変化の振幅の大きさに応じて大きくなる。たとえば、振動状態画像Eの振動の状態が腹の部分では、振幅が大きくなるため、ノイズ分布の広がりが大きくなる。そして、振動の状態が節の部分では、振幅が小さくなるため、ノイズ分布の広がりが小さい。
図7に示すように第1実施形態では、制御部4は、対象画像領域z(xi)の各々の画素を表す複素数I(x)の複素平面上における信号点のノイズ分布を、検査対象Pの振動状態の周期的な変化の振幅の大きさに応じて、複素平面上における原点からの信号点方向に偏って広がる二次元の正規分布に従って分布するように近似する。
具体的には、制御部4は、複素数画像Dのある画素においてノイズが無い場合の真の信号点をu=a+ibとした場合に、複素数画像Dにおける実際の信号点の分布(ノイズを含むノイズ分布)は、正規分布N(u|Σ)に従うと近似する。原点から信号点方向(θ)への広がりの度合いをλ1、信号点方向に直交する直交方向への広がりの度合いをλ2とすると、角度θ方向(信号点方向)に対してλ1倍、直交方向にλ2倍する拡大行列を考えて、u=|u|cosθ+i|u|sinθと表せられることから、正規分布N(u|Σ)の共分散行列Σは、以下の式(5)のように表される。
そして、制御部4は、λ1およびλ2を以下の式(6)のように定めることによって、ノイズ分布を、振幅の大きさに応じて信号点方向に偏って広がる二次元の正規分布に従って分布するように近似する。
ここで、ncは等方的に広がる信号非依存のノイズの大きさを示すパラメータ、nrは原点から信号点方向に偏って広がる信号依存のノイズの大きさを示すパラメータ、γは信号点の振幅に対する依存の度合いを示すパラメータである。
そして、第1実施形態では、制御部4は、下記のような演算処理を行うことによって、近似されたノイズ分布に基づいて対象画像領域z(xi)に含まれる画素と参照画像領域z(xj)に含まれる画素との類似度を取得するとともに、ノイズ抑制処理を実行するように構成されている。
具体的には、対象画像領域z(xi)のノイズを抑制する場合に、対象画像領域z(xi)における画素においてノイズが無い場合の真の値からなる領域をu(xi)とし、対象画像領域z(xi)における画素においてノイズが抑制されたと推定される領域(ノイズ抑制後の領域)をu´(xi)とすると、式(7)に表すように、最適な推定は事後期待損失を最小にすることによって取得される。
なお、p(u(xi)|z(xi))は、z(xi)を観測した時のu(xi)の条件付き確率分布である。また、上記式(7)から、損失関数Lを二乗誤差であるとすると、u´(xi)の最適な推定値u´(xi)optは、式(8)によって表すことができる。
そして、式(8)は、ベイズの定理によって書き換えて、式(9)のように表すことができる。
ここで、p(z(xi)|u(xi))は、真の値がu(xi)の時のz(xi)の条件付き確率分布、p(u(xi))は、u(xi)の事前分布である。
そして、p(z(xi)|u(xi))およびp(u(xi))は、正確な値を測定することができないので、制御部4は、対象画像領域z(xi)の周囲の領域から抽出された参照画像領域z(xj)における各々の画素を表す複素数I(xj)を取得する。そして、事前分布p(u(xi))が一様分布に従うとすると、u´(xi)は式(9)から式(10)のように近似することができる。
なお、式(10)に示すように、制御部4は、未知の値であるu(xj)の替わりに、複数(N個)の参照画像領域z(xj)における各々の画素の実際に測定された値(複素数I(xj))を用いてu´(xi)を近似するように構成されている。
そして、対象画像領域z(xi)に含まれるn個の画素の各々を、z(xi,k)、(k:1~n)と表すとともに、参照画像領域z(xj)に含まれるn個の画素の各々を、z(xj,k)、(k:1~n)と表した場合に、z(xi,k)|z(xj,k)が、正規分布N(z(xi,k)|Σ)に従うと近似される。なお、p(z(xi,k)|z(xj,k))は、式(11)のようになるものとする。
また、kは、対象画像領域z(xi)および参照画像領域z(xj)の各々における画素の相対的な座標を示す数値である。対象画像領域z(xi)および参照画像領域z(xj)が、7×7の画素を有する場合(n=49の場合)には、k=1~49となる。
上記のような演算処理によって制御部4は、信号点のノイズ分布を、式(5)に示す共分散行列Σの正規分布に従うと近似するとともに、式(12)~式(14)に示す演算処理により、参照画像領域z(xi)に対して、ノイズ抑制処理を実行する。
なお、上記式(12)~(14)では、p(z(xi,k)|z(xj,k))が、対象画像領域z(xi)と複数の参照画像領域z(xj)の各々との類似度に基づく重みを表す値である。制御部4は、p(z(xi,k)|z(xj,k))を、複数の参照画像領域z(xj)を平均化する際の重みとして用いるように構成されている。また、式(13)に表すように、p(z(xi,k)|z(xj,k))では、対象画像領域z(xi)の各々の画素(z(xi,k))における複素数I(xi,k)の実部a(xi,k)および虚部b(xi,k)と、複数の参照画像領域z(xj)の各々の画素(z(xj,k))における複素数I(xj,k)の実部a(xj,k)および虚部b(xj,k)とのそれぞれの差を比較結果として類似度が算出される。
制御部4は、式(13)によって表された重みp(z(xi,k)|z(xj,k))を用いて、複数の参照画像領域z(xj)の各々を重み付けするとともに、平均化することによって、ノイズが抑制されたと推定される領域(ノイズ抑制後の領域)であるu´(xi)を取得する。制御部4は、取得されたu´(xi)をノイズが抑制された対象画像領域z(xi)として取得することによって、対象画像領域z(xi)に対するノイズ抑制処理を実行する。
そして、制御部4は、複素数画像Dの全体に対して、対象画像領域z(xi)を順次抽出(画定)するとともに、順次抽出した対象画像領域z(xi)に対して同様のノイズ抑制処理を実行することによって、複素数画像Dの全体のノイズを抑制するように構成されている。
〈振動状態画像の生成〉
そして、図8に示すように、第1実施形態では、制御部4は、ノイズ抑制処理が実行されることによってノイズが抑制された複素数画像Dに基づいて、測定領域Paにおける検査対象Pの振動状態を視覚的に認識可能な振動状態画像Eを生成するように構成されている。たとえば、制御部4は、ノイズが抑制された複素数画像Dの各々の画素の複素数I(x)から、位相を回転させながら実部を時系列画像に変換することによって、動画像としての振動状態画像Eを生成する。また、制御部4は、ノイズが抑制された複素数画像Dの各々の画素の複素数I(x)の振幅または位相を実数値として取得するとともに、実数値として取得された振幅または位相を輝度値として1枚の静止画像として振動状態画像Eを生成してもよい。そして、制御部4は、振動状態の不連続領域を検査対象Pの内部に発生している欠陥Q(不良部位)として視覚的に認識可能なように、振動状態画像Eを表示部6に表示する。なお、図8では、図2の振動状態画像Eからノイズが抑制された状態を示している。
そして、図8に示すように、第1実施形態では、制御部4は、ノイズ抑制処理が実行されることによってノイズが抑制された複素数画像Dに基づいて、測定領域Paにおける検査対象Pの振動状態を視覚的に認識可能な振動状態画像Eを生成するように構成されている。たとえば、制御部4は、ノイズが抑制された複素数画像Dの各々の画素の複素数I(x)から、位相を回転させながら実部を時系列画像に変換することによって、動画像としての振動状態画像Eを生成する。また、制御部4は、ノイズが抑制された複素数画像Dの各々の画素の複素数I(x)の振幅または位相を実数値として取得するとともに、実数値として取得された振幅または位相を輝度値として1枚の静止画像として振動状態画像Eを生成してもよい。そして、制御部4は、振動状態の不連続領域を検査対象Pの内部に発生している欠陥Q(不良部位)として視覚的に認識可能なように、振動状態画像Eを表示部6に表示する。なお、図8では、図2の振動状態画像Eからノイズが抑制された状態を示している。
(パラメータ変更)
また、第1実施形態では、制御部4は、ノイズ分布を近似する場合における分布の広がり度合いを示すパラメータnc、パラメータnr、および、パラメータγのうちのパラメータncおよびnrを変更させるように構成されている。具体的には、表示部6に表示された振動状態画像Eを視認した検査作業者によるパラメータncおよびnrを変更させる入力操作が操作部7によって受け付けられる。制御部4は、操作部7によって受け付けられた入力操作に基づいて、パラメータncおよびnrを変更させることによって、ノイズ抑制処理においてノイズ分布を近似する際の二次元の正規分布の広がり具合を調整可能に構成されている。
また、第1実施形態では、制御部4は、ノイズ分布を近似する場合における分布の広がり度合いを示すパラメータnc、パラメータnr、および、パラメータγのうちのパラメータncおよびnrを変更させるように構成されている。具体的には、表示部6に表示された振動状態画像Eを視認した検査作業者によるパラメータncおよびnrを変更させる入力操作が操作部7によって受け付けられる。制御部4は、操作部7によって受け付けられた入力操作に基づいて、パラメータncおよびnrを変更させることによって、ノイズ抑制処理においてノイズ分布を近似する際の二次元の正規分布の広がり具合を調整可能に構成されている。
また、第1実施形態では、制御部4は、対象画像領域z(xi)と、複数の参照画像領域z(xj)との各々に含まれる画素を表す複素数I(x)同士を比較した比較結果を記憶させるように構成されている。たとえば、式(13)に示すように、対象画像領域z(xi)と参照画像領域z(xj)との各々に含まれる画素を表す複素数I(x)同士における実部a(x)同士の差、および、虚部b(x)同士の差は、パラメータncおよびnrを変更させた場合にも変化しない。制御部4は、初めに複素数画像Dのノイズを抑制する処理を実行する際に、パラメータncおよびnrを変更させた場合にも変化しない上記の比較結果などの演算結果を記憶装置に記憶するように構成されている。
そして、第1実施形態では、制御部4は、一度ノイズ抑制処理を実行した後に、操作部7によって分布の広がり度合いを示すパラメータncおよびnrを変更させる操作が受け付けられた場合に、変更されたパラメータncおよびnrと、記憶された比較結果とを用いて、二次元の正規分布の広がり具合が調整された状態で、再度ノイズ分布を近似することによって類似度を再度取得して、ノイズ抑制処理(ノンローカルミーンズ処理)に用いられる重みp(z(xi,k)|z(xj,k))を上記の式(13)によって再度取得するように構成されている。そして、取得された重みp(z(xi,k)|z(xj,k))を用いて、ノイズ抑制処理が再度実行される。
(欠陥検査方法について)
次に、図9を参照して、第1実施形態による検査システム100による画像処理方法について説明する。第1実施形態の画像処理方法は、制御部4による制御処理によって実行される。
次に、図9を参照して、第1実施形態による検査システム100による画像処理方法について説明する。第1実施形態の画像処理方法は、制御部4による制御処理によって実行される。
まず、ステップ401において、スペックル・シェアリング干渉計3による測定結果に基づいて、測定領域Paにおける検査対象Pの振動状態の周期的な変化を示す複素数I(x)によって各々の画素が表された複素数画像Dが取得される。
次に、ステップ402において、取得された複素数画像Dにおいて画定された対象画像領域z(xi)と、対象画像領域z(xi)とは別個に複素数画像Dにおいて区画された複数の参照画像領域z(xj)とが取得される。
次に、ステップ403において、取得された対象画像領域z(xi)に含まれる画素と複数の参照画像領域z(xj)に含まれる画素との類似度が、各々の画素を表す複素数I(x)同士を比較することによって取得される。具体的には、対象画像領域z(xi)と参照画像領域z(xj)との各々に含まれる画素のうち、相対的な座標が同一の画素を表す複素数I(x)同士の、実部a(x)同士と虚部b(x)同士との各々の差が比較結果として取得されることによって、対象画像領域z(xi)と参照画像領域z(xj)との類似度が取得される。なお、j=1~Nである。また、取得された比較結果が記憶される。
次に、ステップ404において、取得された類似度に基づいて、複数の参照画像領域z(xj)を重み付けするための重みp(z(xi,k)|z(xj,k))が取得される。
次に、ステップ405において、取得された重みp(z(xi,k)|z(xj,k))に基づいて、対象画像領域z(xi)に対してノイズ抑制処理が実行される。具体的には、取得された重みp(z(xi,k)|z(xj,k))を用いて、複数の参照画像領域z(xj)を重み付けして平均化することによって、ノイズ抑制処理が実行された対象画像領域z(xi)(式(12)のu´(xi))が取得される。
次に、ステップ406において、対象画像領域z(xi)のノイズ抑制処理が実行されることによって複素数画像Dのノイズが抑制される。
次に、ステップ407において、ノイズが抑制された複素数画像Dに基づいて、測定領域Paにおける検査対象Pの振動状態を視覚的に認識可能な振動状態画像Eが生成される。そして、生成された振動状態画像Eが表示部6に表示される。
次に、ステップ408において、ノイズ分布を近似する場合における分布の広がり度合いを示すパラメータnc、パラメータnr、および、パラメータγのうちのパラメータncおよびnrを変更する入力操作が操作部7によって受け付けられたか否かが判断される。パラメータncおよびnrを変更する入力操作が受け付けられたと判断された場合には、ステップ409に進む。パラメータncおよびnrを変更する入力操作が受け付けられたと判断されない場合には、制御処理が終了される。
ステップ409では、操作部7によって受け付けられた入力操作に基づいて、パラメータncおよびnrが変更される。そして、変更されたパラメータncおよびnrとステップ403において記憶された比較結果とを用いて類似度が再度算出され、ステップ404に戻る。そして、ステップ404~ステップ407が再度実行されることによって、変更されたパラメータncおよびnrを用いた複素数画像Dのノイズの抑制処理が再度実行されるとともに、振動状態画像Eが再度生成されて表示部6に表示される。
(第1実施形態の効果)
第1実施形態では、以下のような効果を得ることができる。
第1実施形態では、以下のような効果を得ることができる。
第1実施形態の検査システム100では、上記のように、複素数画像Dにおいて画定された対象画像領域z(xi)に含まれる画素と、対象画像領域z(xi)とは別個に複素数画像Dにおいて画定された複数の参照画像領域z(xj)に含まれる画素との類似度を、各々の画素を表す複素数I(x)同士を比較することによって取得する。そして、取得された類似度に基づく重みp(z(xi,k)|z(xj,k))を用いて対象画像領域z(xi)のノイズ抑制処理を実行する。これにより、複素数画像Dにおいて画定された対象画像領域z(xi)のノイズ抑制処理を実行することによって、複素数画像Dのノイズを抑制することができる。そのため、周期的な状態の変化を示す複素数I(x)によって各々の画素が表された複素数画像Dが振動の周期的な状態の変化を反映しているので、実数値によって表された画像に対してノイズ抑制処理を実行する場合と異なり、複素数画像Dのノイズを抑制することにより、振動の状態に応じてノイズの状態が変化する場合にもノイズを効果的に抑制することができる。その結果、周期的な状態の変化を測定する場合にもノイズを効果的に抑制することができる。
また、第1実施形態では、以下のように構成したことによって、更なる効果が得られる。
すなわち、第1実施形態では、上記のように、制御部4(画像処理部)は、対象画像領域z(xi)の各々の画素を表す複素数I(x)の複素平面上における信号点のノイズ分布を、検査対象Pの振動状態の周期的な変化の振幅の大きさに応じて、複素平面上における原点からの信号点方向に偏って広がる二次元の正規分布に従って分布するように近似するとともに、近似された分布に基づいて類似度を取得するように構成されている。このように構成すれば、複素平面上におけるノイズ分布の広がりに偏りがある場合にも、複素平面上における原点からの信号点方向に偏って広がる二次元の正規分布に従って分布するように近似することによって、実際のノイズの偏った広がりに対応するようにノイズ分布を近似することができる。そのため、複素平面上におけるノイズ分布の広がりに偏りがある場合に、より適切に類似度の算出を行うことができる。その結果、類似度に基づく重みp(z(xi,k)|z(xj,k))を用いたノイズ処理において、ノイズをより効果的に抑制することができる。
また、第1実施形態では、上記のように、検査システム100は、ノイズ分布を近似する場合における分布の広がり度合いを示すパラメータncおよびnrを変更する操作を受け付ける操作部7を備える。このように構成すれば、検査作業者は、ノイズ分布の広がり度合いを調整する操作を容易に行うことができる。そのため、複素数画像Dにおけるノイズの抑制の度合いを容易に調整することができる。
また、第1実施形態では、上記のように、制御部4(画像処理部)は、対象画像領域z(xi)と、複数の参照画像領域z(xj)との各々に含まれる画素を表す複素数I(x)同士を比較した比較結果を記憶させるとともに、分布の広がり度合いを示すパラメータncおよびnrを変更する操作が受け付けられた場合に、変更された分布の広がり度合いを示すパラメータncおよびnrと記憶された比較結果とを用いて類似度を取得するように構成されている。このように構成すれば、対象画像領域z(xi)と、複数の参照画像領域z(xj)との各々に含まれる画素を表す複素数I(x)同士を比較した比較結果の値は、分布の広がり度合いを示すパラメータncおよびnrを変更させた場合にも変化しない。そのため、一度算出した比較結果を記憶させることによって、分布の広がり度合いを示すパラメータncおよびnrを変更した場合に、複素数画像Dのノイズを抑制する処理を再度実行する場合に要する時間を短縮することができる。
また、第1実施形態では、上記のように、制御部4(画像処理部)は、複数の参照画像領域z(xj)に対して取得された類似度に基づく重みp(z(xi,k)|z(xj,k))を用いて平均化することによって、対象画像領域z(xi)のノイズを抑制するノンローカルミーンズ処理をノイズ抑制処理として実行するように構成されている。このように構成すれば、類似度に基づく重みp(z(xi,k)|z(xj,k))を用いて参照画像領域z(xj)を単純に平均化するノンローカルミーンズ処理を用いるため、取得された重みp(z(xi,k)|z(xj,k))に対してしきい値を設ける処理などを行う場合に比べて、対象画像領域z(xi)のノイズを容易に抑制することができる。
また、第1実施形態では、上記のように、検査システム100は、振動子1(励振部)により弾性波が励起された検査対象Pにレーザ光を照射する照射部2を備え、スペックル・シェアリング干渉計3(測定部)は、照射部2によって照射され、検査対象Pにおいて反射されたレーザ光である反射レーザ光と、照射部2によって照射されたレーザ光である参照レーザ光とを干渉させるとともに、反射レーザ光と参照レーザ光とを干渉させた干渉光を撮像して測定するように構成されており、制御部4(画像処理部)は、撮像された干渉光の測定結果に基づいて生成された複素数画像Dのノイズを抑制するように構成されている。このように構成すれば、測定されたレーザ光の干渉光は弾性波の振動により周期的に変化するので、測定結果を複素数画像Dによって表すとともにノイズを抑制することによって、測定結果に含まれるノイズ成分を効果的に抑制することができる。
また、弾性波が励起された検査対象Pにレーザ光を照射する場合には、弾性波の振動により、検査対象Pの表面に対するレーザ光の照射角度の変化、または、検査対象Pの表面が変位することによるスペックルパターンの変化に起因して、複素数画像Dの各画素を表す複素数I(x)の複素平面上における信号点のノイズ分布が偏って広がるように分布する。そのため、第1実施形態のように、干渉光の測定結果に基づいて複素数画像Dを生成するとともに、信号点のノイズ分布を、振幅の大きさに応じて信号点方向に偏って広がる二次元の正規分布に従って分布すると近似することによって、干渉光の測定結果に基づいて生成された複素数画像Dに特有のノイズ分布に対応するようにノイズを抑制することができる。
また、第1実施形態では、上記のように、制御部4(画像処理部)は、測定された干渉光の干渉度合いcoh(x)を取得するように構成されており、取得された干渉度合いcoh(x)に応じて、複素数画像Dの各々の画素を表す複素数I(x)を重み付けすることによって、各々の画素を表す複素数I(x)を補正するように構成されている。ここで、干渉度合いcoh(x)の小さい画素では、測定された振動状態が不正確な値となる。そのため、干渉度合いcoh(x)の小さい画素を表す複素数I(x)を含んだ状態で類似度を算出した場合には、ノイズを抑制する処理の正確性が低下する。これに対して、第1実施形態では、制御部4は、測定された干渉光の干渉度合いcoh(x)を取得するように構成されており、取得された干渉度合いcoh(x)に応じて、複素数画像Dの各々の画素を表す複素数I(x)を重み付けすることによって、各々の画素を表す複素数I(x)を補正するように構成されている。このように構成すれば、干渉度合いcoh(x)の小さい画素を表す複素数I(x)の重み付けを小さくするように補正することによって、不正確な値の複素数I(x)を用いてノイズを抑制する処理を行うことを抑制することができる。その結果、複素数画像Dに干渉度合いcoh(x)の小さい画素が含まれる場合にも、ノイズの抑制処理の正確性が低下することを抑制することができる。
また、第1実施形態では、上記のように、制御部4(画像処理部)は、ノイズ抑制処理が実行されることによってノイズが抑制された複素数画像Dに基づいて、検査対象Pの振動状態を視覚的に認識可能な振動状態画像Eを生成するように構成されている。このように構成すれば、生成される振動状態画像Eにおけるノイズを抑制することができるので、生成された振動状態画像Eを視覚的に認識することによって、検査作業者は、検査対象Pの振動状態の分布を容易に認識することができる。そのため、検査対象Pの欠陥Qを検査する場合には、振動状態画像Eを視覚的に認識することによって、検査対象Pにおける振動状態の連続性を認識することができるので、検査対象Pにおける欠陥Qを容易に認識することができる。
(第1実施形態による画像処理方法の効果)
第1実施形態の画像処理方法では、以下のような効果を得ることができる。
第1実施形態の画像処理方法では、以下のような効果を得ることができる。
第1実施形態の画像処理方法では、上記のように構成することにより、複素数画像Dにおいて画定された対象画像領域z(xi)に含まれる画素と、対象画像領域z(xi)とは別個に複素数画像Dにおいて画定された複数の参照画像領域z(xj)とに含まれる画素との類似度を、各々の画素を表す複素数I(x)同士を比較することによって取得する。そして、取得された類似度に基づく重みp(z(xi,k)|z(xj,k))を用いて対象画像領域z(xi)のノイズ抑制処理を実行する。これにより、複素数画像Dにおいて画定された対象画像領域z(xi)のノイズ抑制処理を実行することによって、複素数画像Dのノイズを抑制することができる。そのため、周期的な状態の変化を示す複素数I(x)によって各々の画素が表された複素数画像Dが振動の周期的な状態の変化を反映しているので、実数値によって表された画像に対してノイズ抑制処理を実行する場合と異なり、複素数画像Dのノイズを抑制することにより、振動の状態に応じてノイズの状態が変化する場合にもノイズを効果的に抑制することができる。その結果、周期的な状態の変化を測定する場合にもノイズを効果的に抑制することが可能な画像処理方法を提供することができる。
[第2実施形態]
次に、図10および図11を参照して、本発明の第2実施形態による検査システム200の構成について説明する。この第2実施形態では、低周波成分を除去することによって振動状態画像Eの背景成分を抑制するように構成されている。なお、上記第1実施形態と同一の構成については、図中において同じ符号を付して図示し、その説明を省略する。
次に、図10および図11を参照して、本発明の第2実施形態による検査システム200の構成について説明する。この第2実施形態では、低周波成分を除去することによって振動状態画像Eの背景成分を抑制するように構成されている。なお、上記第1実施形態と同一の構成については、図中において同じ符号を付して図示し、その説明を省略する。
図10に示すように、第2実施形態による検査システム200は、制御部204を備える。なお、第2実施形態によるスペックル・シェアリング干渉計3による干渉光の測定は、第1実施形態と同様である。そして、制御部204は、第1実施形態の制御部4と同様の制御処理によって、スペックル・シェアリング干渉計3による測定結果に基づいて、複素数画像Dを生成する。なお、制御部204は、特許請求の範囲における「画像処理部」の一例である。
そして、図11に示すように、複素数画像Dに基づいて生成される振動状態画像Eでは、欠陥Qの近傍では振動の状態が急峻に変化する(周波数が大きい)が、欠陥Q以外の背景部分では、比較的振動の状態が穏やかに変化する(周波数が小さい)。そこで、第2実施形態では、制御部204は、低周波成分が除去されるとともに、ノイズが抑制された振動状態画像E200を生成するように構成されている。
具体的には、制御部204は、第1実施形態の制御部4と同様に、生成された複素数画像Dから対象画像領域z(xi)と、複数の参照画像領域z(xj)(j:1~N)とを取得する。また、制御部204は、第1実施形態の制御部4と同様に、対象画像領域z(xi)のノイズを抑制するために、複数の参照画像領域z(xj)を重み付けするための重みp(z(xi,k)|z(xj,k))(式(13)参照)を取得する。
そして、制御部204は、複数の参照画像領域z(xj)に対して、低周波成分を除去する処理を実行する。制御部204は、低周波成分を除去する処理として、たとえば、フーリエ変換を利用したローカットフィルタ処理を参照画像領域z(xj)に対して実行する。
そして、第2実施形態では、制御部204は、低周波成分が除去された複数の参照画像領域zlowcut(xj)に対して取得された類似度に基づく重みp(z(xi,k)|z(xj,k))を用いて平均化することによって、対象画像領域z(xi)のノイズを抑制するノンローカルミーンズ処理をノイズ抑制処理として実行するように構成されている。
すなわち、制御部204は、低周波成分が除去される前の複数の参照画像領域z(xj)と対象画像領域z(xi)との類似度に基づいて取得された重みp(z(xi,k)|z(xj,k))を用いて、低周波成分が除去された後の複数の参照画像領域zlowcut(xj)に対して重み付けして平均化することによって、ノイズが抑制されるとともに低周波成分が除去された対象画像領域z(xi)であるulowcut´(xi)を取得する。ulowcut´(xi)は、式(12)にzlowcut(xj)を代入することによって、下記の式(15)のように表される。
そして、制御部204は、ノイズが抑制されるとともに低周波成分が除去された対象画像領域z(xi)に基づいて、複素数画像Dにおけるノイズを抑制するとともに、背景成分(低周波成分)を除去する。そして、制御部204は、第1実施形態と同様の処理により、低周波成分が除去されるとともにノイズが抑制された複素数画像Dに基づいて、低周波成分が除去されるとともに、ノイズが抑制された振動状態画像E200を生成する。なお、第2実施形態のその他の構成は、第1実施形態と同様である。
[第2実施形態の効果]
第2実施形態では、以下のような効果を得ることができる。
第2実施形態では、以下のような効果を得ることができる。
第2実施形態では、上記のように、制御部204(画像処理部)は、複数の参照画像領域z(xj)の低周波成分を除去するとともに、低周波成分が除去された複数の参照画像領域zlowcut(xj)に対して取得された類似度に基づく重みp(z(xi,k)|z(xj,k))を用いて平均化することによって、対象画像領域z(xi)のノイズを抑制するノンローカルミーンズ処理をノイズ抑制処理として実行するように構成されている。ここで、複素数画像Dにおいて低周波成分が背景成分として含まれる場合に、予め低周波成分が除去された状態で類似度を取得するとともに重みを算出した場合には、正確な類似度を取得することができないのでノイズの抑制の効果が低下する。また、ノイズ抑制処理を実行した後に低周波成分が除去される場合には、低周波成分を除去する前には目立たなかったノンローカルミーンズ処理によって生じた高調波成分(アーティファクト)が強調される。これに対して、第2実施形態では、制御部204を、複数の参照画像領域z(xj)の低周波成分を除去するとともに、低周波成分が除去された複数の参照画像領域zlowcut(xj)に対して取得された類似度に基づく重みp(z(xi,k)|z(xj,k))を用いて平均化することによって、対象画像領域z(xi)のノイズを抑制するノンローカルミーンズ処理をノイズ抑制処理として実行するように構成する。このように構成すれば、複素数画像Dにおいて低周波成分が背景成分として含まれる場合に、類似度に基づいて重みp(z(xi,k)|z(xj,k))を算出する場合には低周波成分を除去せずに、算出された重みp(z(xi,k)|z(xj,k))を用いて平均化する場合には低周波成分が除去された参照画像領域zlowcut(xj)に対して重み付けして平均化することができる。そのため、重みp(z(xi,k)|z(xj,k))を算出する場合に正確性が低下することを抑制しながら低周波成分を除去することができるとともに、ノンローカルミーンズ処理によって生じた高調波成分が強調されることを抑制することができる。その結果、複素数画像Dにおいて低周波成分が背景成分として含まれる場合に、背景成分を除去しながらノイズを効果的に抑制することができる。
なお、第2実施形態によるその他の効果は、第1実施形態と同様である。
[第3実施形態]
次に、図12および図13を参照して、本発明の第3実施形態による検査システム300の構成について説明する。この第3実施形態では、対象画像領域z(xi)の各々の画素と、参照画像領域z(xj)の各々の画素とを比較する場合に平均値を用いるように構成されている。なお、上記第1実施形態と同一の構成については、図中において同じ符号を付して図示し、その説明を省略する。
次に、図12および図13を参照して、本発明の第3実施形態による検査システム300の構成について説明する。この第3実施形態では、対象画像領域z(xi)の各々の画素と、参照画像領域z(xj)の各々の画素とを比較する場合に平均値を用いるように構成されている。なお、上記第1実施形態と同一の構成については、図中において同じ符号を付して図示し、その説明を省略する。
図12に示すように、第3実施形態による検査システム300は、制御部304を備える。なお、第3実施形態によるスペックル・シェアリング干渉計3による干渉光の測定は、第1実施形態と同様である。そして、制御部304は、第1実施形態の制御部4と同様の制御処理によって、スペックル・シェアリング干渉計3による測定結果に基づいて、複素数画像Dを生成する。なお、制御部304は、特許請求の範囲における「画像処理部」の一例である。
また、制御部304は、第1実施形態の制御部4と同様に、生成された複素数画像Dから対象画像領域z(xi)と、複数の参照画像領域z(xj)(j:1~N)とを取得する。
そして、図13に示すように、第3実施形態では、制御部304は、対象画像領域z(xi)の各々の画素(z(xi,k))を表す複素数I(xi,k)の平均値Iavr(xi)と、参照画像領域z(xj)の各々の画素(z(xj,k))を表す複素数I(xj,k)の平均値Iavr(xj)とを比較することによって類似度を取得するように構成されている。
具体的には、制御部304は、対象画像領域z(xi)に含まれるn個の画素を表す複素数I(xi,k)の平均値Iavr(xi)を算出する。Iavr(xi)は、Iavr(xi)=aavr(xi)+ibavr(xi)と表される。同様に、制御部304は、対象画像領域z(xj)に含まれるn個の画素を表す複素数I(xj,k)の平均値Iavr(xj)を算出する。平均値Iavr(xj)は、Iavr(xj)=aavr(xj)+ibavr(xj)と表される。なお、k=1~nである。
制御部304は、平均値Iavr(xi)と平均値Iavr(xj)との差を算出することによって、対象画像領域z(xi)と参照画像領域z(xj)とを比較して類似度を取得するとともに、平均値Iavr(xi)と平均値Iavr(xj)とによって、参照画像領域z(xj)を平均化する際の重みp(z(xi)|z(xj))を取得する。すなわち、制御部304は、式(15)のa(xi,k)およびb(xi,k)のそれぞれの替わりに、aavr(xi)およびbavr(xi)を用いるとともに、a(xj,k)およびb(xj,k)のそれぞれの替わりに、aavr(xj)およびbavr(xj)を用いることによって、重みp(z(xi)|z(xj))を取得する。
すなわち、第3実施形態では、制御部304は、参照画像領域z(xj)の各々の画素ごとに類似度に基づく重み付けをして平均化を実行するように構成されていた第1実施形態の制御部4とは異なり、参照画像領域z(xj)に対して1つの類似度に基づく重み付けをして平均化するように構成されている。
そして、制御部304は、参照画像領域z(xj)を重み付けして平均化することにより、ノイズ抑制処理が実行され対象画像領域z(xi)を取得して複素数画像Dのノイズを抑制する。
なお、制御部304は、対象画像領域z(xi)の平均値Iavr(xi)と、参照画像領域z(xj)の平均値Iavr(xj)とを記憶させるように構成されている。そして、制御部304は、パラメータncおよびnrが変更された場合には、変更されたパラメータncおよびnrと、記憶された平均値Iavr(xi)および平均値Iavr(xj)とを用いて重みを算出するように構成されている。
なお、第3実施形態のその他の構成は、第1実施形態と同様である。
[第3実施形態の効果]
第3実施形態では、以下のような効果を得ることができる。
第3実施形態では、以下のような効果を得ることができる。
第3実施形態では、上記のように、制御部304(画像処理部)は、対象画像領域z(xi)の各々の画素を表す複素数I(xi,k)の平均値Iavr(xi)と、参照画像領域z(xj)の各々の画素を表す複素数I(xj,k)の平均値Iavr(xj)とを比較することによって類似度を取得するように構成されている。このように構成すれば、対象画像領域z(xi)に含まれる各々の画素と、複数の参照画像領域z(xj)に含まれる各々の画素とを比較する場合に比べて、比較結果を算出する処理を実行する回数を低減することができる。そのため、類似度を算出するために実行される演算処理に要する時間を短縮することができるので、複素数画像Dのノイズの抑制に要する時間を短縮することができる。
なお、第3実施形態によるその他の効果は、第1および第2実施形態と同様である。
[変形例]
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
たとえば、上記第1~第3実施形態では、振動子1(励振部)、照射部2、スペックル・シェアリング干渉計3(測定部)、および、制御部4、204、304(画像処理部)の各々が別個に設けられている検査システム100(200、300)の例を示したが、本発明はこれに限られない。本発明では、欠陥検査装置として、励振部、照射部、測定部、および、制御部が一体的に構成されていてもよい。この場合、欠陥検査装置の制御部は第1~第3実施形態の制御部4、204、304(画像処理部)と同様の構成である。
また、上記第1~第3実施形態では、信号点のノイズ分布を、検査対象Pの振動状態の周期的な変化の振幅の大きさに応じて、複素平面上における原点からの信号点方向に偏って広がる二次元の正規分布に従って分布するように近似する例を示したが、本発明はこれに限られない。本発明では、信号点のノイズ分布を、振動状態の周期的な変化の振幅の大きさに係わらず、一定の広がりを有するように近似するようにしてもよい。また、信号点のノイズ分布を、偏らずに等方的に広がる正規分布に従って分布するように近似してもよい。また、信号点のノイズ分布を、信号点方向のみならず、信号点方向と直交する直交方向においても、振動状態の周期的な変化の振幅の大きさに応じて広がるように近似してもよい。
また、上記第1~第3実施形態では、ノイズ分布を近似する場合における分布の広がり度合いを示すパラメータncおよびnrを変更させる例を示したが、本発明はこれに限られない。たとえば、3つのパラメータnc、nr、および、γの全てを変更可能に構成してもよいし、3つのパラメータnc、nr、および、γのうちのいずれか1つのみを変更可能に構成してもよい。たとえば、検査対象Pの材質などに対応するように、適切な3つのパラメータnc、nr、および、γの値が予め選択可能に設定されていてもよい。また、パラメータncは、照明等の撮影環境によって最適な値が変化する一方で、パラメータnr、および、γは、検査対象Pの材質などによって最適な値が変化しない場合が考えられる。その場合には、予め校正作業を行うことによって、検査対象Pに応じてパラメータnr、および、γを設定した状態で、パラメータncを変更しながら、ノイズの抑制を調整するように構成してもよい。
また、上記第1~第3実施形態では、対象画像領域z(xi)と複数の参照画像領域z(xj)との各々に含まれる画素を表す複素数I(x)同士を比較した比較結果を記憶させる例を示したが、本発明はこれに限られない。たとえば、比較結果を記憶せずに、パラメータncおよびnrが変更されるたびに比較結果を計算し直すようにしてもよい。
また、上記第1~第3実施形態では、重み付けされた参照画像領域z(xj)の平均化によって対象画像領域z(xi)のノイズ抑制処理を実行するノンローカルミーンズ処理の例を示したが、本発明はこれに限られない。たとえば、取得された重みp(z(xi,k)|z(xj,k))が所定のしきい値以上である参照画像領域z(xj)のみを用いてノイズが抑制された対象画像領域z(xi)を算出するようにしてもよい。また、参照画像領域z(xj)の単純な平均ではなく、二乗平均を取得するようにしてもよい。
また、上記第2実施形態では、低周波成分が除去される前の複数の参照画像領域z(xj)と対象画像領域z(xi)との類似度に基づいて取得された重みp(z(xi,k)|z(xj,k))を用いて、低周波成分が除去された後の複数の参照画像領域zlowcut(xj)に対して重み付けして平均化することによって、ノイズが抑制されるとともに低周波成分が除去された対象画像領域z(xi)を取得する例を示したが、本発明はこれに限られない。たとえば、低周波成分を除去した後に、類似度に基づいて重みp(z(xi,k)|z(xj,k))を取得するとともに、参照画像領域zlowcut(xj)に対して重み付けして平均化するようにしてもよい。また、重みp(z(xi,k)|z(xj,k))を用いて複数の参照画像領域z(xj)に対して重み付けして平均化した後に、低周波成分を除去するようにしてもよい。
また、上記第3実施形態では、対象画像領域z(xi)および参照画像領域z(xj)の各々の画素の平均値(Iavr(xi)およびIavr(xj))を取得する例を示したが、本発明はこれに限られない。たとえば、平均値ではなく、中央値、または、最頻値を取得するようにしてもよい。
また、上記第1~第3実施形態では、スペックル・シェアリング干渉計3を用いて、干渉されたレーザ光である干渉光を測定する例を示したが、本発明はこれに限られない。たとえば、マイケルソン干渉計などを用いて干渉光を測定してもよい。また、デジタルイメージ相関法、または、モアレサンプリング法などの、光学的な計測方法によって、外表面における振動状態を測定するようにしてもよい。また、ToF(time of flight)カメラを用いて検査対象Pの振動状態を測定するようにしてもよい。
また、上記第1~第3実施形態では、干渉度合いcoh(x)に応じて複素数画像D全体の各々の画素を補正する例を示したが、本発明はこれに限られない。たとえば、複素数画像Dにおいて、干渉度合いcoh(x)が小さい画素のみを抽出して補正するようにしてもよい。
また、上記第1~第3実施形態では、測定領域Paにおける検査対象Pの振動状態を視覚的に認識可能な振動状態画像Eを生成する例を示したが、本発明はこれに限られない。たとえば、振動の連続性を検出することによって、欠陥Qと推定される領域を検出するようにしてもよい。その場合には、欠陥Qと推定される領域を認識可能な画像、または、座標などの数値を出力するようにしてもよい。
また、上記第1~第3実施形態では、検査対象Pに弾性波を励起させる励振部の例として振動子1を用いる例を示したが、本発明はこれに限られない。たとえば、音声を発するラウドスピーカによって弾性波を励起させるようにしてもよい。
[態様]
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
(項目1)
検査対象に弾性波を励起する励振部と、
前記励振部により前記弾性波が励起された前記検査対象における振動状態を測定する測定部と、
前記測定部の測定結果に基づいて、前記検査対象の振動状態の周期的な変化を示す複素数によって各々の画素が表された複素数画像のノイズを抑制するように構成されている画像処理部と、を備え、
前記画像処理部は、
前記複素数画像において画定された対象画像領域に含まれる画素と、前記対象画像領域とは別個に前記複素数画像において画定された複数の参照画像領域に含まれる画素との類似度を、各々の画素を表す複素数同士を比較することによって取得するとともに、
取得された前記類似度に基づく重みを用いて前記対象画像領域のノイズ抑制処理を実行する、検査システム。
検査対象に弾性波を励起する励振部と、
前記励振部により前記弾性波が励起された前記検査対象における振動状態を測定する測定部と、
前記測定部の測定結果に基づいて、前記検査対象の振動状態の周期的な変化を示す複素数によって各々の画素が表された複素数画像のノイズを抑制するように構成されている画像処理部と、を備え、
前記画像処理部は、
前記複素数画像において画定された対象画像領域に含まれる画素と、前記対象画像領域とは別個に前記複素数画像において画定された複数の参照画像領域に含まれる画素との類似度を、各々の画素を表す複素数同士を比較することによって取得するとともに、
取得された前記類似度に基づく重みを用いて前記対象画像領域のノイズ抑制処理を実行する、検査システム。
(項目2)
前記画像処理部は、前記対象画像領域の各々の画素を表す複素数の複素平面上における信号点のノイズ分布を、前記検査対象の振動状態の周期的な変化の振幅の大きさに応じて、複素平面上における原点からの前記信号点方向に偏って広がる二次元の正規分布に従って分布するように近似するとともに、近似された分布に基づいて前記類似度を取得するように構成されている、項目1に記載の検査システム。
前記画像処理部は、前記対象画像領域の各々の画素を表す複素数の複素平面上における信号点のノイズ分布を、前記検査対象の振動状態の周期的な変化の振幅の大きさに応じて、複素平面上における原点からの前記信号点方向に偏って広がる二次元の正規分布に従って分布するように近似するとともに、近似された分布に基づいて前記類似度を取得するように構成されている、項目1に記載の検査システム。
(項目3)
前記ノイズ分布を近似する場合における分布の広がり度合いを示すパラメータを変更する操作を受け付ける操作部をさらに備える、項目2に記載の検査システム。
前記ノイズ分布を近似する場合における分布の広がり度合いを示すパラメータを変更する操作を受け付ける操作部をさらに備える、項目2に記載の検査システム。
(項目4)
前記画像処理部は、前記対象画像領域と、前記複数の参照画像領域との各々に含まれる画素を表す複素数同士を比較した比較結果を記憶させるとともに、前記分布の広がり度合いを示すパラメータを変更する操作が受け付けられた場合に、変更された前記分布の広がり度合いを示すパラメータと記憶された前記比較結果とを用いて前記類似度を取得するように構成されている、項目3に記載の検査システム。
前記画像処理部は、前記対象画像領域と、前記複数の参照画像領域との各々に含まれる画素を表す複素数同士を比較した比較結果を記憶させるとともに、前記分布の広がり度合いを示すパラメータを変更する操作が受け付けられた場合に、変更された前記分布の広がり度合いを示すパラメータと記憶された前記比較結果とを用いて前記類似度を取得するように構成されている、項目3に記載の検査システム。
(項目5)
前記画像処理部は、前記複数の参照画像領域に対して取得された前記類似度に基づく重みを用いて平均化することによって、前記対象画像領域のノイズを抑制するノンローカルミーンズ処理を前記ノイズ抑制処理として実行するように構成されている、項目1~4のいずれか1項に記載の検査システム。
前記画像処理部は、前記複数の参照画像領域に対して取得された前記類似度に基づく重みを用いて平均化することによって、前記対象画像領域のノイズを抑制するノンローカルミーンズ処理を前記ノイズ抑制処理として実行するように構成されている、項目1~4のいずれか1項に記載の検査システム。
(項目6)
前記画像処理部は、前記複数の参照画像領域の低周波成分を除去するとともに、低周波成分が除去された前記複数の参照画像領域に対して取得された前記類似度に基づく重みを用いて平均化することによって、前記対象画像領域のノイズを抑制するノンローカルミーンズ処理を前記ノイズ抑制処理として実行するように構成されている、項目5に記載の検査システム。
前記画像処理部は、前記複数の参照画像領域の低周波成分を除去するとともに、低周波成分が除去された前記複数の参照画像領域に対して取得された前記類似度に基づく重みを用いて平均化することによって、前記対象画像領域のノイズを抑制するノンローカルミーンズ処理を前記ノイズ抑制処理として実行するように構成されている、項目5に記載の検査システム。
(項目7)
前記画像処理部は、前記対象画像領域の各々の画素を表す複素数の平均値と、前記参照画像領域の各々の画素を表す複素数の平均値とを比較することによって前記類似度を取得するように構成されている、項目1~6のいずれか1項に記載の検査システム。
前記画像処理部は、前記対象画像領域の各々の画素を表す複素数の平均値と、前記参照画像領域の各々の画素を表す複素数の平均値とを比較することによって前記類似度を取得するように構成されている、項目1~6のいずれか1項に記載の検査システム。
(項目8)
前記励振部により前記弾性波が励起された前記検査対象にレーザ光を照射する照射部をさらに備え、
前記測定部は、前記照射部によって照射され、前記検査対象において反射された前記レーザ光である反射レーザ光と、前記照射部によって照射された前記レーザ光である参照レーザ光とを干渉させるとともに、前記反射レーザ光と前記参照レーザ光とを干渉させた干渉光を撮像して測定するように構成されており、
前記画像処理部は、撮像された前記干渉光の測定結果に基づいて生成された前記複素数画像のノイズを抑制するように構成されている、項目1~7のいずれか1項に記載の検査システム。
前記励振部により前記弾性波が励起された前記検査対象にレーザ光を照射する照射部をさらに備え、
前記測定部は、前記照射部によって照射され、前記検査対象において反射された前記レーザ光である反射レーザ光と、前記照射部によって照射された前記レーザ光である参照レーザ光とを干渉させるとともに、前記反射レーザ光と前記参照レーザ光とを干渉させた干渉光を撮像して測定するように構成されており、
前記画像処理部は、撮像された前記干渉光の測定結果に基づいて生成された前記複素数画像のノイズを抑制するように構成されている、項目1~7のいずれか1項に記載の検査システム。
(項目9)
前記画像処理部は、測定された前記干渉光の干渉度合いを取得するように構成されており、取得された前記干渉度合いに応じて、前記複素数画像の各々の画素を表す複素数を重み付けすることによって、各々の画素を表す複素数を補正するように構成されている、項目8に記載の検査システム。
前記画像処理部は、測定された前記干渉光の干渉度合いを取得するように構成されており、取得された前記干渉度合いに応じて、前記複素数画像の各々の画素を表す複素数を重み付けすることによって、各々の画素を表す複素数を補正するように構成されている、項目8に記載の検査システム。
(項目10)
前記画像処理部は、前記ノイズ抑制処理が実行されることによってノイズが抑制された前記複素数画像に基づいて、前記検査対象の振動状態を視覚的に認識可能な振動状態画像を生成するように構成されている、項目1~9のいずれか1項に記載の検査システム。
前記画像処理部は、前記ノイズ抑制処理が実行されることによってノイズが抑制された前記複素数画像に基づいて、前記検査対象の振動状態を視覚的に認識可能な振動状態画像を生成するように構成されている、項目1~9のいずれか1項に記載の検査システム。
(項目11)
周期的な状態の変化を示す複素数によって各々の画素が表された複素数画像を取得するステップと、
取得された前記複素数画像において画定された対象画像領域と、前記対象画像領域とは別個に前記複素数画像において画定された複数の参照画像領域とを取得するステップと、
取得された前記対象画像領域に含まれる画素と前記複数の参照画像領域に含まれる画素との類似度を、各々の画素を表す複素数同士を比較することによって取得するステップと、
取得された前記類似度に基づく重みを用いて前記対象画像領域のノイズ抑制処理を実行するステップと、を備える、画像処理方法。
周期的な状態の変化を示す複素数によって各々の画素が表された複素数画像を取得するステップと、
取得された前記複素数画像において画定された対象画像領域と、前記対象画像領域とは別個に前記複素数画像において画定された複数の参照画像領域とを取得するステップと、
取得された前記対象画像領域に含まれる画素と前記複数の参照画像領域に含まれる画素との類似度を、各々の画素を表す複素数同士を比較することによって取得するステップと、
取得された前記類似度に基づく重みを用いて前記対象画像領域のノイズ抑制処理を実行するステップと、を備える、画像処理方法。
(項目12)
検査対象に弾性波を励起する励振部と、
前記励振部により前記弾性波が励起された前記検査対象にレーザ光を照射する照射部と、
前記照射部によって照射され、前記検査対象において反射された前記レーザ光である反射レーザ光と、前記照射部によって照射された前記レーザ光である参照レーザ光とを干渉させるとともに、前記反射レーザ光と前記参照レーザ光とを干渉させた干渉光を撮像して測定することによって、前記励振部により前記弾性波が励起された前記検査対象の振動状態を測定する測定部と、
前記測定部の測定結果に基づいて前記検査対象の振動状態の周期的な変化を示す複素数によって各々の画素が表された欠陥検査用の複素数画像のノイズを抑制するように構成されている制御部と、を備え、
前記制御部は、
前記複素数画像において画定された対象画像領域に含まれる画素と、前記対象画像領域とは別個に前記複素数画像において画定された複数の参照画像領域に含まれる画素との類似度を、各々の画素を表す複素数同士を比較することによって取得するとともに、
取得された前記類似度に基づく重みを用いて前記対象画像領域のノイズ抑制処理を実行する、欠陥検査装置。
検査対象に弾性波を励起する励振部と、
前記励振部により前記弾性波が励起された前記検査対象にレーザ光を照射する照射部と、
前記照射部によって照射され、前記検査対象において反射された前記レーザ光である反射レーザ光と、前記照射部によって照射された前記レーザ光である参照レーザ光とを干渉させるとともに、前記反射レーザ光と前記参照レーザ光とを干渉させた干渉光を撮像して測定することによって、前記励振部により前記弾性波が励起された前記検査対象の振動状態を測定する測定部と、
前記測定部の測定結果に基づいて前記検査対象の振動状態の周期的な変化を示す複素数によって各々の画素が表された欠陥検査用の複素数画像のノイズを抑制するように構成されている制御部と、を備え、
前記制御部は、
前記複素数画像において画定された対象画像領域に含まれる画素と、前記対象画像領域とは別個に前記複素数画像において画定された複数の参照画像領域に含まれる画素との類似度を、各々の画素を表す複素数同士を比較することによって取得するとともに、
取得された前記類似度に基づく重みを用いて前記対象画像領域のノイズ抑制処理を実行する、欠陥検査装置。
1 振動子(励振部)
2 照射部
3 スペックル・シェアリング干渉計(測定部)
4、204、304 制御部
100、200、300 検査システム
2 照射部
3 スペックル・シェアリング干渉計(測定部)
4、204、304 制御部
100、200、300 検査システム
Claims (12)
- 検査対象に弾性波を励起する励振部と、
前記励振部により前記弾性波が励起された前記検査対象における振動状態を測定する測定部と、
前記測定部の測定結果に基づいて、前記検査対象の振動状態の周期的な変化を示す複素数によって各々の画素が表された複素数画像のノイズを抑制するように構成されている画像処理部と、を備え、
前記画像処理部は、
前記複素数画像において画定された対象画像領域に含まれる画素と、前記対象画像領域とは別個に前記複素数画像において画定された複数の参照画像領域に含まれる画素との類似度を、各々の画素を表す複素数同士を比較することによって取得するとともに、
取得された前記類似度に基づく重みを用いて前記対象画像領域のノイズ抑制処理を実行する、検査システム。 - 前記画像処理部は、前記対象画像領域の各々の画素を表す複素数の複素平面上における信号点のノイズ分布を、前記検査対象の振動状態の周期的な変化の振幅の大きさに応じて、複素平面上における原点からの前記信号点方向に偏って広がる二次元の正規分布に従って分布するように近似するとともに、近似された分布に基づいて前記類似度を取得するように構成されている、請求項1に記載の検査システム。
- 前記ノイズ分布を近似する場合における分布の広がり度合いを示すパラメータを変更する操作を受け付ける操作部をさらに備える、請求項2に記載の検査システム。
- 前記画像処理部は、前記対象画像領域と、前記複数の参照画像領域との各々に含まれる画素を表す複素数同士を比較した比較結果を記憶させるとともに、前記分布の広がり度合いを示すパラメータを変更する操作が受け付けられた場合に、変更された前記分布の広がり度合いを示すパラメータと記憶された前記比較結果とを用いて前記類似度を取得するように構成されている、請求項3に記載の検査システム。
- 前記画像処理部は、前記複数の参照画像領域に対して取得された前記類似度に基づく重みを用いて平均化することによって、前記対象画像領域のノイズを抑制するノンローカルミーンズ処理を前記ノイズ抑制処理として実行するように構成されている、請求項1~4のいずれか1項に記載の検査システム。
- 前記画像処理部は、前記複数の参照画像領域の低周波成分を除去するとともに、低周波成分が除去された前記複数の参照画像領域に対して取得された前記類似度に基づく重みを用いて平均化することによって、前記対象画像領域のノイズを抑制するノンローカルミーンズ処理を前記ノイズ抑制処理として実行するように構成されている、請求項5に記載の検査システム。
- 前記画像処理部は、前記対象画像領域の各々の画素を表す複素数の平均値と、前記参照画像領域の各々の画素を表す複素数の平均値とを比較することによって前記類似度を取得するように構成されている、請求項1~6のいずれか1項に記載の検査システム。
- 前記励振部により前記弾性波が励起された前記検査対象にレーザ光を照射する照射部をさらに備え、
前記測定部は、前記照射部によって照射され、前記検査対象において反射された前記レーザ光である反射レーザ光と、前記照射部によって照射された前記レーザ光である参照レーザ光とを干渉させるとともに、前記反射レーザ光と前記参照レーザ光とを干渉させた干渉光を撮像して測定するように構成されており、
前記画像処理部は、撮像された前記干渉光の測定結果に基づいて生成された前記複素数画像のノイズを抑制するように構成されている、請求項1~7のいずれか1項に記載の検査システム。 - 前記画像処理部は、測定された前記干渉光の干渉度合いを取得するように構成されており、取得された前記干渉度合いに応じて、前記複素数画像の各々の画素を表す複素数を重み付けすることによって、各々の画素を表す複素数を補正するように構成されている、請求項8に記載の検査システム。
- 前記画像処理部は、前記ノイズ抑制処理が実行されることによってノイズが抑制された前記複素数画像に基づいて、前記検査対象の振動状態を視覚的に認識可能な振動状態画像を生成するように構成されている、請求項1~9のいずれか1項に記載の検査システム。
- 周期的な状態の変化を示す複素数によって各々の画素が表された複素数画像を取得するステップと、
取得された前記複素数画像において画定された対象画像領域と、前記対象画像領域とは別個に前記複素数画像において画定された複数の参照画像領域とを取得するステップと、
取得された前記対象画像領域に含まれる画素と前記複数の参照画像領域に含まれる画素との類似度を、各々の画素を表す複素数同士を比較することによって取得するステップと、
取得された前記類似度に基づく重みを用いて前記対象画像領域のノイズ抑制処理を実行するステップと、を備える、画像処理方法。 - 検査対象に弾性波を励起する励振部と、
前記励振部により前記弾性波が励起された前記検査対象にレーザ光を照射する照射部と、
前記照射部によって照射され、前記検査対象において反射された前記レーザ光である反射レーザ光と、前記照射部によって照射された前記レーザ光である参照レーザ光とを干渉させるとともに、前記反射レーザ光と前記参照レーザ光とを干渉させた干渉光を撮像して測定することによって、前記励振部により前記弾性波が励起された前記検査対象の振動状態を測定する測定部と、
前記測定部の測定結果に基づいて前記検査対象の振動状態の周期的な変化を示す複素数によって各々の画素が表された欠陥検査用の複素数画像のノイズを抑制するように構成されている制御部と、を備え、
前記制御部は、
前記複素数画像において画定された対象画像領域に含まれる画素と、前記対象画像領域とは別個に前記複素数画像において画定された複数の参照画像領域に含まれる画素との類似度を、各々の画素を表す複素数同士を比較することによって取得するとともに、
取得された前記類似度に基づく重みを用いて前記対象画像領域のノイズ抑制処理を実行する、欠陥検査装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021168296A JP2023058332A (ja) | 2021-10-13 | 2021-10-13 | 検査システム、画像処理方法、および、欠陥検査装置 |
CN202211157680.9A CN115963174A (zh) | 2021-10-13 | 2022-09-22 | 检查系统、图像处理方法及缺陷检查装置 |
US17/964,884 US20230114484A1 (en) | 2021-10-13 | 2022-10-12 | Inspection system, image processing method, and defect inspection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021168296A JP2023058332A (ja) | 2021-10-13 | 2021-10-13 | 検査システム、画像処理方法、および、欠陥検査装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023058332A true JP2023058332A (ja) | 2023-04-25 |
Family
ID=85798171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021168296A Pending JP2023058332A (ja) | 2021-10-13 | 2021-10-13 | 検査システム、画像処理方法、および、欠陥検査装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230114484A1 (ja) |
JP (1) | JP2023058332A (ja) |
CN (1) | CN115963174A (ja) |
-
2021
- 2021-10-13 JP JP2021168296A patent/JP2023058332A/ja active Pending
-
2022
- 2022-09-22 CN CN202211157680.9A patent/CN115963174A/zh active Pending
- 2022-10-12 US US17/964,884 patent/US20230114484A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230114484A1 (en) | 2023-04-13 |
CN115963174A (zh) | 2023-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4644819B2 (ja) | 微小変位計測法及び装置 | |
CN110268223B (zh) | 三维形状计测装置、三维形状计测方法以及非暂时性存储介质 | |
KR101861672B1 (ko) | 파장 가변 레이저를 이용한 대면적 oct 시스템과 3차원 이미지 보정 방법 | |
US9568304B2 (en) | Image sequence and evaluation method and system for structured illumination microscopy | |
KR101418832B1 (ko) | 간섭 거리 측정기에서의 스페클 경감 방법 및 대응하는 거리 측정기 | |
JP7124958B2 (ja) | 欠陥検査装置および欠陥検査方法 | |
EP3594617B1 (en) | Three-dimensional-shape measurement device, three-dimensional-shape measurement method, and program | |
CN112154320B (zh) | 缺陷检测方法以及装置 | |
JP5037610B2 (ja) | 光学的断面画像の線を消去するためのシステムおよび方法 | |
JP2013092465A (ja) | 三次元表面検査装置および三次元表面検査方法 | |
WO2021145034A1 (ja) | 欠陥検査装置および欠陥検査方法 | |
US8520216B2 (en) | Shape measuring apparatus | |
JP6673266B2 (ja) | 相互反射検出装置、相互反射検出方法、およびプログラム | |
JP2023058332A (ja) | 検査システム、画像処理方法、および、欠陥検査装置 | |
TWI428568B (zh) | 測距方法、測距系統與其處理軟體 | |
JP6047764B2 (ja) | 白色干渉計、画像処理方法及び画像処理プログラム | |
JP7396374B2 (ja) | 欠陥検査装置および欠陥検査方法 | |
TW201812250A (zh) | 使用了掃描型白色干涉顯微鏡的三維形狀計測方法 | |
CN116490767A (zh) | 缺陷检查装置 | |
JP2006119099A (ja) | 周期可動物の変位測定装置 | |
JP5087165B1 (ja) | 表面検査装置を調整するためのデータを出力する調整装置、調整データ出力方法及びプログラム | |
TW201344147A (zh) | 影像處理系統及其方法 | |
JP6945106B2 (ja) | 検査システム | |
JP2020024169A (ja) | 干渉計の測定方法 | |
JP2001272214A (ja) | 縞解析における縞位相決定方法 |