JP2015197340A - inspection system and inspection method - Google Patents
inspection system and inspection method Download PDFInfo
- Publication number
- JP2015197340A JP2015197340A JP2014074788A JP2014074788A JP2015197340A JP 2015197340 A JP2015197340 A JP 2015197340A JP 2014074788 A JP2014074788 A JP 2014074788A JP 2014074788 A JP2014074788 A JP 2014074788A JP 2015197340 A JP2015197340 A JP 2015197340A
- Authority
- JP
- Japan
- Prior art keywords
- image
- polarization
- light
- polarization component
- inspected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
本発明の実施形態は、検査システムおよび検査方法に関する。 Embodiments described herein relate generally to an inspection system and an inspection method.
従来、被検査体に光を照射し、当該被検査体の表面からの反射光を画像データとして撮像し、当該画像データの輝度変化等に基づいて、被検査体の異常を検出する技術が提案されている。 Conventionally, there has been proposed a technique for irradiating an object to be inspected, imaging reflected light from the surface of the object to be inspected as image data, and detecting an abnormality of the object to be inspected based on a change in luminance of the image data. Has been.
その際に被検査体に照射する光の強度を周期的に変化させ、撮像された画像データの輝度変化に基づいて、異常を検出する技術が提案されている。 In this case, a technique has been proposed in which the intensity of light applied to the object to be inspected is periodically changed and an abnormality is detected based on a change in luminance of the captured image data.
被検査体の被検査面は、例えば、下地、下地の上で塗装が行われた面、さらにこの上に透明な層等のような複数の層から構成される場合がある。このような場合、いずれの層に異常が存在するかを検出することができれば、より正確に異常検出を行うことができる。 The surface to be inspected of the object to be inspected may be composed of, for example, a base, a surface coated on the base, and a plurality of layers such as a transparent layer thereon. In such a case, if it is possible to detect which layer has an abnormality, the abnormality can be detected more accurately.
実施形態の検査システムは、複数の層からなる被検査面に対して所定の入射角で照射光を出射する照明部と、前記照射光から所定の偏光成分を透過させる第1偏光フィルタと、前記被検査面に照射される前記照射光の偏光成分の反射光から所定の偏光成分を透過させる第2偏光フィルタと、前記第2偏光フィルタから透過した反射光の偏光成分によって前記被検査面を撮像する撮像部と、前記第1偏光フィルタによる偏光成分と前記第2偏光フィルタによる偏光成分とに基づいて、前記撮像部で撮像された撮像画像が、前記複数の層の少なくともいずれの層の画像であるかを判定する判定部と、を備えた。 The inspection system of the embodiment includes an illumination unit that emits irradiation light at a predetermined incident angle with respect to a surface to be inspected composed of a plurality of layers, a first polarizing filter that transmits a predetermined polarization component from the irradiation light, and Imaging the surface to be inspected with a second polarization filter that transmits a predetermined polarization component from the reflected light of the polarization component of the irradiation light irradiated on the surface to be inspected, and a polarization component of the reflected light transmitted from the second polarization filter The captured image captured by the imaging unit based on the polarization component by the first polarization filter and the polarization component by the second polarization filter is an image of at least any one of the plurality of layers. And a determination unit for determining whether or not there is.
(実施形態1)
図1は、実施形態1の検査システムの構成例を示した図である。図1に示されるように、実施形態1の検査システムは、PC100と、カメラ10と、照明装置120と、スクリーン130と、アーム140と、第1偏光フィルタ160と、第2偏光フィルタ170とを備えている。
(Embodiment 1)
FIG. 1 is a diagram illustrating a configuration example of an inspection system according to the first embodiment. As shown in FIG. 1, the inspection system of the first embodiment includes a
アーム140は、被検査体150を固定するために用いられ、PC100からの制御に応じて、カメラ10が撮影可能な被検査体150の表面を変化させる。
The
照明装置120は、被検査体150に光を照射する装置である。スクリーン130は、照明装置120から出力された光を拡散させた上で、被検査体150に対して面的に光を照射する。ここで、照明装置120は、照明光のP偏光のすべてが後述する被検査面のクリア層の表面で反射しない角度の入射角で、照明光を被検査面に照射する。この入射角の詳細については後述する。
The
本実施形態のスクリーン130は、照明装置120から入力された光を、面的に被検査体150に照射する。
The
第1偏光フィルタ160は、スクリーン130の被検査体側の面の近傍に設けられ、スクリーン130から面的に照射された照射光から所定方向の偏光を透過する。本実施形態では、第1偏光フィルタ160は、所定方向の偏光として、S偏光とP偏光とを切替えて透過するようになっている。ここで、第1偏光フィルタ160は、取り外し可能となっており、照明光を偏光せずに被検査体150の被検査面に照射する場合には、検査者は第1偏光フィルタ160をスクリーン130の前から取り外す。
The first polarizing
第2偏光フィルタ170は、カメラ10のレンズの前に設けられ、被検査体150の被検査面からの反射光から所定方向の偏光を透過する。本実施形態では、第2偏光フィルタ170は、所定方向の偏光として、S偏光とP偏光とを切替えて透過するようになっている。なお、第1偏光フィルタ160、第2偏光フィルタ170のそれぞれについて、S偏光透過の状態、P偏光透過の状態を示す情報を偏光情報と呼ぶ。
The second polarizing
なお、第1偏光フィルタ160および第2偏光フィルタ170によるS偏光とP偏光の切替えは、検査者が手動で第1偏光フィルタ160、第2偏光フィルタ170のそれぞれを回転操作すること等により行われる。ただし、これに限定されるものではなく、PC100からの指令のより、第1偏光フィルタ160、第2偏光フィルタ170のそれぞれを回転移動すること等により、S偏光とP偏光とを切り返す手段等を設けるように構成してもよい。
Note that switching between the S-polarized light and the P-polarized light by the first polarizing
また、照明装置120とスクリーン130との間に、集光用のフレネルレンズ等の光学系部品を設けるように構成してもよい。
Further, an optical system component such as a condensing Fresnel lens may be provided between the
なお、本実施形態は、照明装置120とスクリーン130とを組み合わせて、面的な照明部を構成する例について説明するが、このような組み合わせに制限するものではなく、例えば、LEDを面的に配置して照明部を構成してもよい。
In addition, although this embodiment demonstrates the example which combines the
PC100は、機能的構成としては、図1に示すように、アーム制御部101と、照明制御部102と、判定部103と、異常検出処理部105と、メモリ107とを主に備えている。PC100のハードウェア構成としては、CPU、RAMやROM等のメモリ107、キーボードやマウスなどの入力デバイス、ディスプレイなどの表示デバイス等を備えた通常のコンピュータの構成である。
As shown in FIG. 1, the PC 100 mainly includes an
メモリ107には、第1偏光フィルタ160、第2偏光フィルタ170のそれぞれの偏光情報、すなわち、P偏光透過の状態か、S偏光透過の状態かを時系列に記憶している。このメモリ107への偏光情報の登録は、検査者が入力デバイスを介して手動で行う他、第1偏光フィルタ160、第2偏光フィルタ170をPC100が切り換える場合には、PC100によりメモリ107に登録するように構成してもよい。
The
アーム制御部101は、被検査体150のカメラ10による撮像対象となる表面を変更するために、アーム140を制御する。本実施形態では、PC100において、被検査体の撮影対象となる表面を複数設定しておく。そして、カメラ10が被検査体150の撮影が終了する毎に、アーム制御部101が、当該設定に従って、カメラ10が設定された表面を撮影できるように、アーム140が被検査体150を移動させる。なお、本実施形態は撮影が終了する毎にアームを移動させ、撮影が開始する前に停止させることを繰り返すことに制限するものではなく、継続的にアーム140を駆動させてもよい。なお、アーム140は、搬送部、移動部、位置変更部、姿勢変更部等とも称されうる。
The
照明制御部102は、被検査体150を検査するために照明装置120の照射を制御する。本実施形態の照明制御部102は、無地のパターンの照明光を照射するように照明装置120を制御する。
The
判定部103は、カメラ10から撮像画像を取得し、メモリ107から第1偏光フィルタ160、第2偏光フィルタ170のそれぞれの偏光情報を取得する。そして、判定部103は、当該偏光情報に基づいて、撮像画像が被検査面を構成する複数の層のいずれの層からの反射光で撮像されたか、すなわち撮像画像が複数の層のいずれの層の画像であるかを判定する。以下、かかる判定を画像判定という。
The
異常検出処理部105は、判定部103による判定結果と撮像画像から被検査面の層ごとの欠陥を検出する。なお、本実施形態では、異常検出の手法については、公知の手法を用いることができる。
The abnormality
ここで、画像判定の詳細について説明する。被検査面は、下地の上に塗装された面と、塗装された面の上で透明にコーティングされたたクリア層とからなっている。ここで、下地の上には塗装面として塗装によるメタリック粒子が存在する。以下、下地と塗装面のメタリック粒子とを総称して内層と呼ぶ。 Details of the image determination will be described here. The surface to be inspected is composed of a surface painted on the base and a clear layer transparently coated on the painted surface. Here, metallic particles by painting exist as a painted surface on the base. Hereinafter, the base and the metallic particles on the painted surface are collectively referred to as an inner layer.
判定部103は、第1偏光フィルタ160の偏光情報成分と第2偏光フィルタ170の偏光情報とに基づいて、撮像画像がクリア層の表面からの反射光で撮像された画像(クリア層表面の撮像画像)か、内層のメタリック粒子からの反射光で撮像された画像(内層表面の撮像画像)か、下地からの反射光で撮像された画像(下地の撮像画像)かを判定する。
Based on the polarization information component of the
これ以降、照明光が第1偏光フィルタ160によってS偏光として出射して被検査面に入射する場合をS偏光入射といい、照明光が第1偏光フィルタ160によってP偏光として出射して被検査面に入射する場合をP偏光入射という。また、第1偏光フィルタ160を設けずに照明光を被検査体150に照射した場合を偏光無し入射と呼ぶ。
Hereinafter, the case where the illumination light is emitted as S-polarized light by the first
また、被検査面からの反射光を第2偏光フィルタ170によりS偏光としてカメラ10で撮像される場合をS偏光受光といい、被検査面からの反射光を第2偏光フィルタ170でP偏光としてカメラ10で撮像される場合をP偏光受光という。
The case where the reflected light from the surface to be inspected is captured by the
照明光の被検査面への入射角について説明する。図2は、空気とガラスの界面の反射率と入射角の関係を示すグラフである。図2では、S偏光とP偏光の入射角に対する反射率の関係を示している。不図示ではあるが、空気とアルミ等の金属の界面での反射率は、S偏光、P偏光のいずれも高い反射率を示すが、空気とガラス等の誘電体の界面の反射率は、図2に示すようになる。図2からわかるように、S偏光の反射率は、入射角が0°から90°に増加するに従って増加するが、P偏光の反射率は、入射角が0°で約5%で、入射角が増加するに従って徐々に減少し、入射角が約60°のときにP偏光の反射率は0となる。その後、入射角が増加するに従って、反射率は急激に増加する。 The incident angle of the illumination light on the surface to be inspected will be described. FIG. 2 is a graph showing the relationship between the reflectance at the interface between air and glass and the incident angle. FIG. 2 shows the relationship of reflectance with respect to the incident angles of S-polarized light and P-polarized light. Although not shown, the reflectivity at the interface between air and a metal such as aluminum shows high reflectivity for both S-polarized light and P-polarized light, but the reflectivity at the interface between air and a dielectric such as glass is shown in FIG. As shown in 2. As can be seen from FIG. 2, the reflectance of S-polarized light increases as the incident angle increases from 0 ° to 90 °, while the reflectance of P-polarized light is about 5% when the incident angle is 0 °. As the angle increases, it gradually decreases. When the incident angle is about 60 °, the reflectance of P-polarized light becomes zero. Thereafter, the reflectance increases rapidly as the incident angle increases.
本実施形態では、P偏光の反射率が0になるときの入射角(図2の例では60°)で照明光を被検査面に照射するように照明装置120を構成している。このため、被検査面に照射されたP偏光は、クリア層表面で反射せずに、クリア層内部を透過し、内層に達することになる。
In the present embodiment, the
照明光が第1偏光フィルタ160によってS偏光として出射して被検査面に入射する場合(S偏光入射)について説明する。図3は、実施形態1におけるS偏光入射の状態の一例を示す図である。
A case where illumination light is emitted as S-polarized light by the first
図3に示すように、第1偏光フィルタ160より出射された照明光のS偏光は、クリア層の表面で反射してS偏光の状態でカメラ10に向かう光と、クリア層内部を透過して内層表面のメタリック粒子で反射してS偏光の状態でカメラ10に向かう光と、内層の内部に入り込んで内層内部で多数の反射を繰り返して、その結果無偏光となって内層、クリア層から出射しカメラ10に向かう光とに分かれる。
As shown in FIG. 3, the S-polarized light of the illumination light emitted from the first
図4は、実施形態1におけるS偏光入射で、S偏光受光の場合の撮像画像の観察状態の一例を示す図である。S偏光入射、かつS偏光受光は、第1偏光フィルタ160でS偏光を透過し、第2偏光フィルタ170でS偏光を透過して観察する場合である。
FIG. 4 is a diagram illustrating an example of an observation state of a captured image in the case of S-polarized light reception in the first embodiment. S-polarized light incidence and S-polarized light reception are cases where the first
この場合には、カメラ10は、クリア層の表面からの反射光(S偏光)を、第2偏光フィルタ170を介してS偏光で撮像して観察するので、図4に示すように、クリア層表面の反射光が観察される。また、カメラ10は、内層の表面からの反射光(S偏光)を、第2偏光フィルタ170を介してS偏光で撮像して観察するので、図4に示すように、内層の表面に存在するメタリック粒子が観察される。さらに、内層の内部に透過したS偏光は、内部で多数の反射で無偏光となり、内層、クリア層から出射されるので第2偏光フィルタ170を介して、下地の反射光として観察される。
In this case, since the
図5は、実施形態1におけるS偏光入射で、P偏光受光の場合の撮像画像の観察状態の一例を示す図である。S偏光入射、かつP偏光受光は、第1偏光フィルタ160でS偏光を透過し、第2偏光フィルタ170でP偏光を透過して観察する場合である。
FIG. 5 is a diagram illustrating an example of an observation state of a captured image in the case of receiving S-polarized light and receiving P-polarized light according to the first embodiment. S-polarized light incidence and P-polarized light reception are cases where the first
この場合には、図5に示すように、クリア層の表面からの反射光(S偏光)および内層の表面に存在するメタリック粒子からの反射光(S偏光)のいずれも、P偏光を透過する第2偏光フィルタ170で遮断され、カメラ10では受光されない。一方、内層の内部に透過したS偏光は、内部で多数の反射で無偏光となり、内層、クリア層から出射されるので、第2偏光フィルタ170を介して、下地の反射光として観察される。
In this case, as shown in FIG. 5, both the reflected light from the surface of the clear layer (S-polarized light) and the reflected light from the metallic particles present on the surface of the inner layer (S-polarized light) transmit P-polarized light. The light is blocked by the second
次に、照明光が第1偏光フィルタ160によってP偏光として出射して被検査面に入射する場合(P偏光入射)について説明する。図6は、実施形態1におけるP偏光入射の状態の一例を示す図である。
Next, the case where illumination light is emitted as P-polarized light by the first
図6に示すように、第1偏光フィルタ160より出射された照明光のP偏光は、上述のようにP偏光の反射率が0となる入射角で被検査面に照射されるので、クリア層の表面を反射せずに、クリア層内部を透過する。そして、内層表面のメタリック粒子で反射してP偏光の状態でカメラ10に向かう光と、内層の内部に入り込んで内層内部で多数の反射を繰り返して、その結果無偏光となって内層、クリア層から出射しカメラ10に向かう光とに分かれる。
As shown in FIG. 6, the P-polarized light of the illumination light emitted from the first
図7は、実施形態1におけるP偏光入射で、S偏光受光の場合の撮像画像の観察状態の一例を示す図である。P偏光入射、かつS偏光受光は、第1偏光フィルタ160でP偏光を透過し、第2偏光フィルタ170でS偏光を透過して観察する場合である。
FIG. 7 is a diagram illustrating an example of an observation state of a captured image in the case of receiving P-polarized light and receiving S-polarized light according to the first embodiment. P-polarized light incidence and S-polarized light reception are cases in which P-polarized light is transmitted through the first
この場合には、P偏光はクリア層の表面から反射しないので、図7に示すように、クリア層表面の反射光は観察されない。また、カメラ10は、内層の表面からの反射光(P偏光)を、第2偏光フィルタ170を介してS偏光で撮像して観察するので、図7に示すように、内層の表面に存在するメタリック粒子からの反射光は第2偏光フィルタ170で遮断され、メタリック粒子もカメラ10で観察することはできない。一方、内層の内部に透過したP偏光は、内部で多数の反射で無偏光となって、内層、クリア層から出射されるので第2偏光フィルタ170を介して、下地の反射光として観察される。
In this case, since the P-polarized light is not reflected from the surface of the clear layer, the reflected light on the surface of the clear layer is not observed as shown in FIG. Further, since the
図8は、実施形態1におけるP偏光入射で、P偏光受光の場合の撮像画像の観察状態の一例を示す図である。P偏光入射、かつP偏光受光は、第1偏光フィルタ160でP偏光を透過し、第2偏光フィルタ170でP偏光を透過して観察する場合である。
FIG. 8 is a diagram illustrating an example of an observation state of a captured image when P-polarized light is incident and P-polarized light is received in the first embodiment. P-polarized light incidence and P-polarized light reception are cases in which P-polarized light is transmitted through the first
この場合には、図8に示すように、P偏光はクリア層の表面から反射しないので、クリア層表面の反射光は観察されない。また、カメラ10は、内層の表面からの反射光(P偏光)を、第2偏光フィルタ170を介してP偏光で撮像して観察するので、図8に示すように、内層の表面に存在するメタリック粒子が観察される。さらに、内層の内部に透過したP偏光は、内部で多数の反射で無偏光となり、内層、クリア層から出射されるので第2偏光フィルタ170を介して、下地の反射光として観察される。
In this case, as shown in FIG. 8, since the P-polarized light is not reflected from the surface of the clear layer, the reflected light on the surface of the clear layer is not observed. Further, since the
以上により、判定部103は、カメラ10で撮像された撮像画像に対して、偏光情報、すなわち、S偏光入射かつS偏光観察、S偏光入射かつP偏光観察、P偏光入射かつS偏光観察、P偏光入射かつP偏光観察、P偏光入射かつ無偏光観察、P偏光入射かつ無偏光観察に応じて、撮像画像がいずれの層の反射光で撮像された画像であるか、すなわち撮像画像がいずれの層の画像であるかを判定する。
As described above, the
図9は、実施形態1における偏光情報と反射光の層との関係を示す図である。図9では、S偏光入射、P偏光入射、偏光無し入射のそれぞれの場合において、S偏光受光、P偏光受光で観察される反射光が被検査面のいずれの層からの反射光となるかを示している。 FIG. 9 is a diagram illustrating a relationship between polarization information and a layer of reflected light in the first embodiment. In FIG. 9, in each of the cases of S-polarized light incident, P-polarized light incident, and non-polarized light incident, the reflected light observed by the S-polarized light reception and the P-polarized light reception is reflected from which layer on the surface to be inspected. Show.
判定部103は、図9に示すように、S偏光入射でS偏光受光の場合、撮像画像がクリア層表面の反射光と内層(メタリック粒子および下地)からの反射光で撮像された画像、すなわち、クリア層表面、メタリック粒子および下地の画像であると判断する。また、判定部103は、S偏光入射でP偏光受光の場合、図9に示すように、撮像画像が下地からの反射光で撮像された画像、すなわち、下地の画像であると判断する。
As shown in FIG. 9, in the case of S-polarized light reception and S-polarized light reception, the
また、判定部103は、P偏光入射でS偏光受光の場合、図9に示すように、撮像画像が下地からの反射光で撮像された画像、すなわち、下地の画像であると判断する。また、判定部103は、P偏光入射でP偏光受光の場合、図9に示すように、撮像画像が下地からの反射光で撮像された画像、すなわち、下地の画像であると判断する。
Further, in the case of P-polarized incident and S-polarized light reception, the
さらに、判定部103は、偏光無し入射でS偏光受光の場合には、図9に示すように、撮像画像がクリア層表面の反射光と内層(メタリック粒子および下地)からの反射光で撮像された画像、すなわち、クリア層表面、メタリック粒子および下地の画像であると判断する。判定部103は、偏光無し入射でP偏光受光の場合には、図9に示すように、撮像画像が内層(メタリック粒子および下地)からの反射光で撮像された画像、すなわち、メタリック粒子および下地の画像であると判断する。
Further, in the case of S-polarized light reception with no polarization incident, the
次に、以上のように構成された本実施形態の検査システムのPC100による被検査体150の検査処理について説明する。図10は、実施形態1にかかる検査処理の流れを示すシーケンス図である。
Next, the inspection process of the inspected object 150 by the
なお、本実施形態では、スクリーン130の前に設置された第1偏光フィルタ160の偏光の状態をS偏光を透過またはP偏光を透過のいずれかに固定し、カメラ10の前に設けられた第2偏光フィルタ170の偏光を切替えるものとする。
In the present embodiment, the polarization state of the first
また、照明装置120からは無地のパターンの照明光がスクリーン130に対して照射されているものとする。
In addition, it is assumed that illumination light having a plain pattern is emitted from the
まず、検査者は、カメラ10側において、第2偏光フィルタの偏光状態を切り換える(ステップS1011)。そして、カメラ10は、被検査体150の被検査面からの反射光を、第2偏光フィルタ170を介して受光し、これにより被検査面を撮像する(ステップS1012)。そして、カメラ10は撮像画像データをPC100に出力する(ステップS1013)。
First, the inspector switches the polarization state of the second polarizing filter on the
上記ステップS1011からS1013までの処理は、被検査面の同じ領域に対して、第2偏光フィルタ170を異なる偏光状態で2回繰り返して実行される。例えば、1回目の処理では第2偏光フィルタ170をS偏光を透過するようにしてS偏光受光とし、2回目の処理では、第2偏光フィルタ170をP偏光を透過するように切り換えてP偏光受光とする等である。これにより、S偏光受光とP偏光受光とで2枚の撮像画像データが得られ、PC100に出力されることになる。
The processes from step S1011 to S1013 are executed by repeating the second
PC100は、2枚の撮像画像データをカメラ10から受け取る(ステップS1101)。そして、判定部103が2枚の撮像画像データに対して画像判定処理を実行する(ステップS1002)。
The
図11は、実施形態1の画像判定処理の手順を示すフローチャートである。判定部103は、メモリ107に設定された第1偏光フィルタ160の偏光情報、第2偏光フィルタ170の偏光情報を取得する(ステップS11)。ここで、第2偏光フィルタ170の偏光情報については、1枚目の撮像画像データの撮像時の偏光情報、2枚目の撮像画像データの撮像時の偏光情報をそれぞれ取得する。
FIG. 11 is a flowchart illustrating a procedure of image determination processing according to the first embodiment. The
そして、判定部103は、1枚目の撮像画像データに対して、第1偏光フィルタ160の偏光情報、第2偏光フィルタ170の1枚目の撮像画像データの撮像時の偏光情報から、反射光の判定を行う(ステップS12)。すなわち、1枚目の撮像画像データがいずれかの層からの反射光で撮像された画像かを判定する。判定の手法は、図2の表に基づいて上述したとおりに行われる。これにより、判定結果として1枚目の撮像画像データを撮像した層が得られる。
Then, the
次に、判定部103は、2枚目の撮像画像データに対して、第1偏光フィルタ160の偏光情報、第2偏光フィルタ170の2枚目の撮像画像データの撮像時の偏光情報から、反射光の判定を行う(ステップS13)。すなわち、2枚目の撮像画像データがいずれかの層からの反射光で撮像された画像かを判定する。これにより、判定結果として2枚目の撮像画像データを撮像した層が得られる。
Next, the
次に、判定部103は、1枚目の撮像画像データと2枚目の撮像画像データの差分である差分画像を生成する(ステップS14)。そして,判定部103は、この差分画像を撮像した反射光を判定する(ステップS15)。
Next, the
このように差分画像を求めて反射光の判定を行うのは、以下の理由による。例えば、1枚目の撮像画像データの撮像の際において、第1偏光フィルタ160の偏光情報がS偏光透過であり、第2偏光フィルタ170の偏光情報がS偏光透過である場合、すなわち、S偏光入射でS偏光観察の場合、判定部103は、図2の表に示すとおり、1枚目の撮像が画像データは、クリア層表面の撮像画像、内層表面のメタリック粒子の撮像画像、および下地の撮像画像であると判定する。すなわち、1枚目の撮像画像データだけでは、特定の層に絞り込むことができない。
The reason for obtaining the difference image and determining the reflected light in this way is as follows. For example, when imaging the first captured image data, the polarization information of the first
一方、被検査面の同じ領域を撮像した2枚目の撮像画像データの撮像の際において、第1偏光フィルタ160の偏光情報がS偏光透過であり、第2偏光フィルタ170の偏光情報がP偏光透過である場合、すなわち、S偏光入射でP偏光観察の場合、判定部103は、図2の表に示すとおり、2枚目の撮像が画像データは、下地の撮像画像であると判定する。
On the other hand, when imaging the second captured image data obtained by imaging the same area of the surface to be inspected, the polarization information of the first
このため、1枚目の撮像画像データと2枚目の撮像画像データとの差分をとると、差分画像では、下地部分が除去されることになり、クリア層表面から反射光とメタリック粒子からの反射光による画像が得られることになり、少なくともクリア層の画像と下地の画像とを分離することが可能となる。この場合、ステップS15では、差分画像の反射光を、クリア層表面から反射光とメタリック粒子からの反射光と特定する。 For this reason, when the difference between the first imaged image data and the second imaged image data is taken, the background image is removed from the difference image, and the reflected light and metallic particles from the surface of the clear layer are removed. An image by reflected light is obtained, and at least a clear layer image and a ground image can be separated. In this case, in step S15, the reflected light of the difference image is specified as the reflected light from the clear layer surface and the reflected light from the metallic particles.
そして、判定部103は、1枚目の撮像画像データ、1枚目の撮像画像データ、差分画像を、それぞれの判定結果と対応付けて異常判定処理部105に出力する(ステップS16)。
Then, the
図10に戻り、ステップS1002の画像判定処理が終了したら、異常検出処理部105は、画像判定の判定結果を用いて被検査面に欠陥が存在するか否かの異常検出処理を実行する(ステップS1003)。すなわち、画像判定の結果、撮像画像がクリア層、下地層のいずれの画像であるわかるため、異常検出処理部105は、被検査面のクリア層での欠陥の有無、被検査面の下地での欠陥の有無を検出することが可能となる。そして、異常検出処理部105は、異常検出結果を、PC1100が備える(図示しない)表示装置に出力する(ステップS1004)。
Returning to FIG. 10, when the image determination process in step S1002 is completed, the abnormality
アーム制御部101は、当該被検査体の検査が終了したか否かを判定する(ステップS1005)。検査が終了していないと判定した場合(ステップS1005:No)、アーム制御部101が、予め定められた設定に従って、次の検査対象となる被検査体の表面が、カメラ10で撮影できるように、アームの移動制御を行う(ステップS1006)。
The
一方、アーム制御部101が当該被検査体の検査が終了したと判定した場合(ステップS1005:Yes)、処理は終了する。
On the other hand, when the
このように本実施形態では、PC100の判定部103が、第1偏光フィルタ160の偏光情報、第2偏光フィルタ170の偏光情報から、S偏光入射かつS偏光観察、S偏光入射かつP偏光観察、P偏光入射かつS偏光観察、P偏光入射かつP偏光観察、P偏光入射かつ無偏光観察、P偏光入射かつ無偏光観察のいずれのパターンかを判断する。そして、異常検出処理部105は、当該パターンにより、反射光が被検査面を構成するクリア層、内層、下地のいずれの層からの反射光であるかを判断した上で、欠陥検出を行っている。このため、本実施形態によれば、より正確な欠陥検査を行うことができる。
As described above, in this embodiment, the
本実施形態では、第1偏光フィルタ160の偏光状態を固定とし切り換えないようにしていたが、これに限定されるものではなく、第1偏光フィルタ160の偏光状態を切り換えるように構成してもよい。
In the present embodiment, the polarization state of the first
また、本実施形態では、クリア層と内層の撮像画像と下地の撮像画像という2枚の撮像画像の差分をとって、クリア層の画像を得てから、異常検出処理を各層毎に行っているが、これに限定されるものではない。例えば、クリア層と内層の撮像画像で異常検出処理を行い、下地の撮像画像で異常検出処理を行い、その検出結果の差分でクリア層における欠陥の有無や欠陥の数を判断するように、判定部103および異常検出処理部105を構成してもよい。
Further, in the present embodiment, the abnormality detection process is performed for each layer after obtaining the clear layer image by taking the difference between the two captured images of the clear layer and inner layer captured images and the ground captured image. However, the present invention is not limited to this. For example, the abnormality detection process is performed on the captured images of the clear layer and the inner layer, the abnormality detection process is performed on the captured image of the background, and the difference between the detection results is used to determine the presence or absence of defects in the clear layer and the number of defects. The
(実施形態2)
本実施形態では、時間相関カメラを用いた検査システムにおいて、偏光情報を用いて被検査面のうちいずれの層の撮像画像かを判断して、欠陥の有無等の異常検出を行っている。すなわち、本実施形態の検査システムは、実施形態1のカメラに代えて時間相関カメラを用い、縞パターンの照明光を被検査面に照射する。
(Embodiment 2)
In the present embodiment, in an inspection system using a time correlation camera, an abnormality such as the presence / absence of a defect is detected by determining which layer of the surface to be inspected is captured using polarization information. That is, the inspection system according to the present embodiment uses a time correlation camera instead of the camera according to the first embodiment, and irradiates the surface to be inspected with illumination light having a fringe pattern.
図12は、本実施形態の検査システムの構成例を示した図である。図12に示されるように、本実施形態の検査システムは、PC1100と、時間相関カメラ110と、照明装置120と、スクリーン130と、アーム140と、第1偏光フィルタ160と、第2偏光フィルタ170とを備えている。
FIG. 12 is a diagram illustrating a configuration example of the inspection system according to the present embodiment. As shown in FIG. 12, the inspection system of the present embodiment includes a
アーム140は、被検査体150を固定するために用いられ、PC1100からの制御に応じて、時間相関カメラ110が撮影可能な被検査体150の表面の位置と向きを変化させる。
The
照明装置120は、被検査体150に光を照射する装置であって、PC1100からの縞パターンに従って、照射する光の強度を領域単位で制御できる。さらに、照明装置120は、周期的な時間の遷移に従って当該領域単位の光の強度を制御できる。換言すれば、照明装置120は、光の強度の周期的な時間変化及び空間変化を与えることができる。なお、具体的な光の強度の制御手法については後述する。
The illuminating
スクリーン130は、照明装置120から出力された光を拡散させた上で、被検査体150に対して面的に光を照射する。本実施形態のスクリーン130は、照明装置120から入力された周期的な時間変化及び空間変化が与えられた光を、面的に被検査体150に照射する。なお、照明装置120とスクリーン130との間には、集光用のフレネルレンズ等の光学系部品(図示されず)が設けられてもよい。
The
なお、本実施形態は、照明装置120とスクリーン130とを組み合わせて、光強度の周期的な時間変化及び空間変化を与える面的な照明部を構成する例について説明するが、このような組み合わせに制限するものではなく、例えば、LEDを面的に配置して照明部を構成してもよい。
In addition, although this embodiment demonstrates the example which comprises the planar illumination part which combines the
第1偏光フィルタ160は、実施形態1と同様に、スクリーン130の被検査体側の面の近傍に設けられ、スクリーン130から面的に照射された照射光から、S偏光とP偏光とを切替えて透過する。第2偏光フィルタ170は、時間相関カメラ110のレンズの前に設けられ、被検査体150の被検査面からの反射光から、S偏光とP偏光とを切替えて透過するようになっている。
Similar to the first embodiment, the first
時間相関カメラ110は、光学系210と、イメージセンサ220と、データバッファ230と、制御部240と、参照信号出力部250と、を備えている。図13は、本実施形態の時間相関カメラ110の構成を示したブロック図である。
The
光学系210は、撮影レンズ等を含み、時間相関カメラ110の外部の被写体(被検査体を含む)からの光束を透過し、その光束により形成される被写体の光学像を結像させる。
The
イメージセンサ220は、光学系210を介して入射された光の強弱を光強度信号として画素毎に高速に出力可能なセンサとする。
The
本実施形態の光強度信号は、検査システムの照明装置120が被写体(被検査体を含む)に対して光を照射し、当該被写体からの反射光を、イメージセンサ220が受け取ったものである。
The light intensity signal of the present embodiment is a signal obtained by the
イメージセンサ220は、例えば従来のものと比べて高速に読み出し可能なセンサであり、行方向(x方向)、列方向(y方向)の2種類の方向に画素が配列された2次元平面状に構成されたものとする。そして、イメージセンサ220の各画素を、画素P(1,1),……,P(i,j),……,P(X,Y)とする(なお、本実施形態の画像サイズをX×Yとする。)。なお、イメージセンサ220の読み出し速度を制限するものではなく、従来と同様であってもよい。
The
イメージセンサ220は、光学系210によって透過された、被写体(被検査体を含む)からの光束を受光して光電変換することで、被写体から反射された光の強弱を示した光強度信号(撮影信号)で構成される、2次元平面状のフレームを生成し、制御部240に出力する。本実施形態のイメージセンサ220は、読み出し可能な単位時間毎に、当該フレームを出力する。
The
本実施形態の制御部240は、例えばCPU、ROM、及びRAM等で構成され、ROMに格納された検査プログラムを実行することで、転送部241と、読出部242と、強度画像用重畳部243と、第1の乗算器244と、第1の相関画像用重畳部245と、第2の乗算器246と、第2の相関画像用重畳部247と、画像出力部248と、を実現する。なお、CPU等で実現することに制限するものではなく、FPGA、またはASICで実現してもよい。
The control unit 240 according to the present embodiment includes, for example, a CPU, a ROM, a RAM, and the like. By executing an inspection program stored in the ROM, the transfer unit 241, the
転送部241は、イメージセンサ220から出力された、光強度信号で構成されたフレームを、データバッファ230に、時系列順に蓄積する。
The transfer unit 241 stores the frames composed of the light intensity signals output from the
データバッファ230は、イメージセンサ220から出力された、光強度信号で構成されたフレームを、時系列順に蓄積する。
The
図14は、本実施形態の時間相関カメラ110で時系列順に蓄積されたフレームを表した概念図である。図14に示されるように、本実施形態のデータバッファ230には、時刻t(t=t0,t1,t2,……,tn)毎の複数の光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)の組み合わせで構成された複数のフレームFk(k=1,2,……,n)が、時系列順に蓄積される。なお、時刻tで作成される一枚のフレームは、光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)で構成される。
FIG. 14 is a conceptual diagram showing frames accumulated in time series in the
本実施形態の光強度信号(撮像信号)G(1,1,t),……,G(i,j,t),……,G(X,Y,t)には、フレーム画像Fk(k=1,2,……,n)を構成する各画素P(1,1),……,P(i,j),……,P(X,Y)が対応づけられている。 A light intensity signal (imaging signal) G (1,1, t),..., G (i, j, t),. Each pixel P (1,1),..., P (i, j),..., P (X, Y) constituting k = 1, 2,.
イメージセンサ220から出力されるフレームは、光強度信号のみで構成されており、換言すればモノクロの画像データとも考えることができる。なお、本実施形態は、解像度、感度、及びコスト等を考慮して、イメージセンサ220がモノクロの画像データを生成する例について説明するが、イメージセンサ220としてモノクロ用のイメージセンサに制限するものではなく、カラー用のイメージセンサを用いても良い。
The frame output from the
図13に戻り、本実施形態の読出部242は、データバッファ230から、光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)をフレーム単位で、時系列順に読み出して、第1の乗算器244と、第2の乗算器246と、強度画像用の重畳部と、に出力する。
Returning to FIG. 13, the
本実施形態の時間相関カメラ110は、読出部242の出力先毎に画像データを生成する。換言すれば、時間相間カメラは、3種類の画像データを作成する。
The
本実施形態の時間相関カメラ110は、3種類の画像データとして、強度画像データと、2種類の時間相関画像データと、を生成する。なお、本実施形態は、3種類の画像データを生成することに制限するものではなく、強度画像データを生成しない場合や、1種類又は3種類以上の時間相関画像データを生成する場合も考えられる。
The
本実施形態のイメージセンサ220は、上述したように単位時間毎に、光強度信号で構成されたフレームを出力している。しかしながら、通常の画像データを生成するためには、撮影に必要な露光時間分の光強度信号が必要になる。そこで、本実施形態では、強度画像用重畳部243が、撮影に必要な露光時間分の複数のフレームを重畳して、強度画像データを生成する。なお、強度画像データの各画素値(光の強度を表す値)G(x,y)は、以下に示す式(1)から導き出すことができる。なお、露光時間は、t0とtnの時間差とする。
As described above, the
これにより、従来のカメラの撮影と同様に、被写体(被検査体を含む)が撮影された強度画像データが生成される。そして、強度画像用重畳部243は、生成した強度画像データを、画像出力部248に出力する。
Thereby, the intensity image data in which the subject (including the object to be inspected) is photographed is generated in the same manner as the conventional camera photographing. Then, the intensity
時間相関画像データは、時間遷移に応じた光の強弱の変化を示す画像データである。つまり、本実施形態では、時系列順のフレーム毎に、当該フレームに含まれる光強度信号に対して、時間遷移を示した参照信号を乗算し、参照信号と光強度信号と乗算結果である時間相関値で構成された、時間相関値フレームを生成し、複数の時間相関値フレームを重畳することで、時間相関画像データを生成する。 The time correlation image data is image data indicating changes in light intensity according to time transition. That is, in the present embodiment, for each frame in time series order, the light intensity signal included in the frame is multiplied by the reference signal indicating the time transition, and the reference signal, the light intensity signal, and the time that is the multiplication result Temporal correlation image data is generated by generating a temporal correlation value frame composed of correlation values and superimposing a plurality of temporal correlation value frames.
ところで、時間相関画像データを用いて、被検査体の異常を検出するためには、イメージセンサ220に入力される光強度信号を、参照信号に同期させて変化させる必要がある。このために、照明装置120が、上述したように、スクリーン130を介して周期的に時間変化および縞の空間的な移動を与えるような、面的な光の照射を行うこととした。
By the way, in order to detect abnormality of the object to be inspected using the time correlation image data, it is necessary to change the light intensity signal input to the
本実施形態では、2種類の時間相関画像データを生成する。参照信号は、時間遷移を表した信号であればよいが、本実施形態では、複素正弦波e-jωtを用いる。なお、角周波数ω、時刻tとする。参照信号を表す複素正弦波e-jωtが、上述した露光時間(換言すれば強度画像データ、時間相関画像を生成するために必要な時間)の一周期と相関をとるように、角周波数ωが設定されるものとする。換言すれば、照明装置120およびスクリーン130等の照明部によって形成された面的かつ動的な光は、被検査体150の表面(反射面)の各位置で第一の周期(時間周期)での時間的な照射強度の変化を与えるとともに、表面に沿った少なくとも一方向に沿った第二の周期(空間周期)での空間的な照射強度の増減分布を与える。この面的な光は、表面で反射される際に、当該表面のスペック(法線ベクトルの分布等)に応じて複素変調される。時間相関カメラ110は、表面で複素変調された光を受光し、第一の周期の参照信号を用いて直交検波(直交復調)することにより、複素信号としての時間相関画像データを得る。このような複素時間相関画像データに基づく変復調により、表面の法線ベクトルの分布に対応した特徴を検出することができる。
In this embodiment, two types of time correlation image data are generated. The reference signal may be a signal representing a time transition, but in the present embodiment, a complex sine wave e −jωt is used. It is assumed that the angular frequency is ω and the time is t. The angular frequency ω is such that the complex sine wave e −jωt representing the reference signal correlates with one period of the above-described exposure time (in other words, the time required to generate the intensity image data and the time correlation image). It shall be set. In other words, the planar and dynamic light formed by the
複素正弦波e-jωtは、e-jωt=cos(ωt)―j・sin(ωt)と表すこともできる。従って、時間相関画像データの各画素値C(x,y)は、以下に示す式(2)から導き出すことができる。 The complex sine wave e −jωt can also be expressed as e −jωt = cos (ωt) −j · sin (ωt). Accordingly, each pixel value C (x, y) of the time correlation image data can be derived from the following equation (2).
本実施形態では、式(2)において、実数部を表す画素値C1(x,y)と、虚数部を表す画素値C2(x,y)と、に分けて2種類の時間相関画像データを生成する。 In this embodiment, in the formula (2), two types of time correlation image data are divided into a pixel value C1 (x, y) representing the real part and a pixel value C2 (x, y) representing the imaginary part. Generate.
このため、参照信号出力部250は、第1の乗算器244と、第2の乗算器246と、に対してそれぞれ異なる参照信号を生成し、出力する。本実施形態の参照信号出力部250は、複素正弦波e-jωtの実数部に対応する第1の参照信号cosωtを第1の乗算器244に出力し、複素正弦波e-jωtの虚数部に対応する第2の参照信号sinωtを第2の乗算器246に出力する。このように本実施形態の参照信号出力部250は、互いにヒルベルト変換対をなす正弦波および余弦波の時間関数として表される2種類の参照信号を出力する例について説明するが、参照信号は時間関数のような時間遷移に応じて変化する参照信号であればよい。
For this reason, the reference
そして、第1の乗算器244は、読出部242から入力されたフレーム単位で、当該フレームの光強度信号毎に、参照信号出力部250から入力された複素正弦波e-jωtの実数部cosωtを乗算する。
Then, the first multiplier 244 calculates the real part cosωt of the complex sine wave e −jωt input from the reference
第1の相関画像用重畳部245は、撮影に必要な露光時間分の複数のフレームについて、第1の乗算器244の乗算結果を画素毎に重畳する処理を行う。これにより、第1の時間相関画像データの各画素値C1(x,y)が、以下の式(3)から導出される。
The first correlation
そして、第2の乗算器246は、読出部242から入力されたフレームの光強度信号に対して、参照信号出力部250から入力された複素正弦波e-jωtの虚数部sinωtを乗算する。
The
第2の相関画像用重畳部247は、撮影に必要な露光時間分の複数のフレームについて、第2の乗算器246の乗算結果を画素毎に重畳する処理を行う。これにより、第2の時間相関画像データの各画素値C2(x、y)が、以下の式(4)から導出される。
The second correlation image superimposing unit 247 performs a process of superimposing the multiplication result of the
上述した処理を行うことで、2種類の時間相関画像データ、換言すれば2自由度を有する時間相関画像データを生成できる。 By performing the processing described above, two types of time correlation image data, in other words, time correlation image data having two degrees of freedom can be generated.
また、本実施形態は、参照信号の種類を制限するものでない。例えば、本実施形態では、複素正弦波e-jωtの実部と虚部の2種類の時間相関画像データを作成するが、光の振幅と、光の位相と、による2種類の画像データを生成してもよい。 Further, the present embodiment does not limit the type of reference signal. For example, in this embodiment, two types of time-correlated image data of the real part and the imaginary part of the complex sine wave e −jωt are created, but two types of image data based on the light amplitude and the light phase are generated. May be.
なお、本実施形態の時間相関カメラ110は、時間相関画像データとして、複数系統分作成可能とする。これにより、例えば複数種類の幅の縞が組み合わされた光が照射された際に、上述した実部と虚部とによる2種類の時間相関画像データを、縞の幅毎に作成可能とする。このために、時間相関カメラ110は、2個の乗算器と2個の相関画像用重畳部とからなる組み合わせを、複数系統分備えるとともに、参照信号出力部250は、系統毎に適した角周波数ωによる参照信号を出力可能とする。
Note that the
そして、画像出力部248が、2種類の時間相関画像データと、強度画像データと、をPC1100に出力する。これにより、PC1100が、2種類の時間相関画像データと、強度画像データと、を用いて、被検査体の異常を検出する。そのためには、被写体に対して光を照射する必要がある。
Then, the
本実施形態の照明装置120は、高速に移動する縞パターンを照射する。図15は、本実施形態の照明装置120が照射する縞パターンの一例を示した図である。図15に示す例では、縞パターンをx方向にスクロール(移動)させている例とする。白い領域が縞に対応した明領域、黒い領域が縞と縞との間に対応した間隔領域(暗領域)である。
The illuminating
本実施形態では、時間相関カメラ110が強度画像データ及び時間相関画像データを撮影する露光時間で、照明装置120が照射する縞パターンが一周期分移動させる。これにより、照明装置120は、光の強度の縞パターンの空間的な移動により光の強度の周期的な時間変化を与える。本実施形態では、図15の縞パターンが一周期分移動する時間を、露光時間と対応させることで、時間相関画像データの各画素には、少なくとも、縞パターン一周期分の光の強度信号に関する情報が埋め込まれる。
In the present embodiment, the fringe pattern irradiated by the illuminating
図15に示されるように、本実施形態では、照明装置120が矩形波に基づく縞パターンを照射する例について説明するが、矩形波以外を用いてもよい。本実施形態では、照明装置120がスクリーン130を介して照射されることで、矩形波の明暗の境界領域をぼかすことができる。
As shown in FIG. 15, in this embodiment, an example in which the
本実施形態では、照明装置120が照射する縞パターンをA(1+cos(ωt+kx)と表す。すなわち、縞パターンには、複数の縞が反復的に(周期的に)含まれる。なお、被検査体に照射される光の強度は0〜2Aの間で調整可能とし、光の位相kxとする。kは、縞の波数である。xは、位相が変化する方向である。
In this embodiment, the stripe pattern irradiated by the
そして、フレームの各画素の光強度信号f(x,y,t)の基本周波数成分は、以下の式(5)として表すことができる。式(5)で示されるように、x方向で縞の明暗が変化する。 The fundamental frequency component of the light intensity signal f (x, y, t) of each pixel in the frame can be expressed as the following equation (5). As shown in Expression (5), the brightness of the stripe changes in the x direction.
f(x,y,t)=A(1+cos(ωt+kx))
=A+A/2{ej(ωt+kx)+e-j(ωt+kx)}……(5)
f (x, y, t) = A (1 + cos (ωt + kx))
= A + A / 2 {e j (ωt + kx) + e− j (ωt + kx) } (5)
式(5)で示されるように、照明装置120が照射する縞パターンの強度信号は、複素数として考えることができる。
As shown in Expression (5), the intensity signal of the fringe pattern irradiated by the
そして、イメージセンサ220には、当該照明装置120からの光が被写体(被検査体を含む)から反射して入力される。
Then, the light from the
したがって、イメージセンサ220に入力される光強度信号G(x,y,t)を、照明装置120が照射された際のフレームの各画素の光強度信号f(x,y,t)とできる。そこで、強度画像データを導出するための式(1)に式(5)を代入すると、式(6)を導出できる。なお、位相kxとする。
Therefore, the light intensity signal G (x, y, t) input to the
式(6)から、強度画像データの各画素には、露光時間Tに、照明装置120が出力している光の強度の中間値Aを乗じた値が入力されていることが確認できる。さらに、時間相関画像データを導出するための式(2)に式(5)を代入すると、式(7)を導出できる。なお、AT/2を振幅とし、kxを位相とする。
From Expression (6), it can be confirmed that each pixel of the intensity image data is input with a value obtained by multiplying the exposure time T by the intermediate value A of the intensity of the light output from the
これにより、式(7)で示された複素数で示された時間相関画像データは、上述した2種類の時間相関画像データと置き換えることができる。つまり、上述した実部と虚部とで構成される時間相関画像データには、検査体に照射された光強度変化における位相変化と振幅変化とが含まれている。換言すれば、本実施形態のPC1100は、2種類の時間相関画像データに基づいて、照明装置120から照射された光の位相変化と、光の振幅変化と、を検出できる。そこで、本実施形態のPC1100が、時間相関画像データ及び強度画像データに基づいて、画素毎に入る光の振幅を表した振幅画像データと、画素毎に入る光の位相変化を表した位相画像データと、を生成する。
Thereby, the time correlation image data shown by the complex number shown by Formula (7) is replaceable with the two types of time correlation image data mentioned above. That is, the above-described time correlation image data composed of the real part and the imaginary part includes a phase change and an amplitude change due to a change in light intensity irradiated on the test object. In other words, the
さらに、PC1100は、生成した振幅画像データと位相画像データとに基づいて、被検査体の異常を検出する。
Furthermore, the
ところで、被検査体の表面形状に凹凸に基づく異常が生じている場合、被検査体の表面の法線ベクトルの分布には異常に対応した変化が生じている。また、被検査体の表面に光を吸収するような異常が生じている場合、反射した光の強度に変化が生じる。法線ベクトルの分布の変化は、光の位相変化及び振幅変化のうち少なくともいずれか一つとして検出される。そこで、本実施形態では、時間相関画像データ及び強度画像データを用いて、法線ベクトルの分布の変化に対応した、光の位相変化及び振幅変化のうち少なくともいずれか一つを検出する。これにより、表面形状の異常を検出可能となる。次に、被検査体の異常、法線ベクトル、及び光の位相変化又は振幅変化の関係について説明する。 By the way, when an abnormality based on the unevenness occurs in the surface shape of the object to be inspected, a change corresponding to the abnormality occurs in the distribution of normal vectors on the surface of the object to be inspected. Further, when an abnormality that absorbs light occurs on the surface of the object to be inspected, the intensity of the reflected light changes. A change in the normal vector distribution is detected as at least one of a phase change and an amplitude change of light. Thus, in the present embodiment, using the time correlation image data and the intensity image data, at least one of the light phase change and the amplitude change corresponding to the change in the normal vector distribution is detected. Thereby, the abnormality of the surface shape can be detected. Next, the relationship between the abnormality of the inspected object, the normal vector, and the phase change or amplitude change of light will be described.
図16は、第1の実施形態の時間相関カメラ110による、被検査体の異常の第1の検出例を示した図である。図16に示される例では、被検査体500に突形状の異常501がある状況とする。当該状況においては、異常501の点502の近傍領域においては、法線ベクトル521、522、523が異なる方向を向いていることを確認できる。そして、当該法線ベクトル521、522、523が異なる方向を向いていることで、異常501から反射した光に拡散(例えば、光511、512、513)が生じ、時間相関カメラ110のイメージセンサ220の任意の画素531に入る縞パターンの幅503が広くなる。
FIG. 16 is a diagram illustrating a first detection example of abnormality of an object to be inspected by the
図17は、図16に示される異常501が被検査体500にある場合に、当該異常に応じて変化する、光の振幅の例を表した図である。図17に示される例では、光の振幅を実部(Re)と、虚部(Im)に分けて2次元平面上に表している。図17では、図16の光511、512、513に対応する光の振幅611、612、613として示している。そして、光の振幅611、612、613は互いに打ち消し合い、イメージセンサ220の当該任意の画素531には、振幅621の光が入射する。
FIG. 17 is a diagram illustrating an example of the amplitude of light that changes in accordance with the abnormality when the
したがって、図17に示される状況で、検査体500の異常501が撮像された領域で振幅が小さいことが確認できる。換言すれば、振幅変化を示した振幅画像データで、周囲と比べて暗くなっている領域がある場合に、当該領域で光同士の振幅の打ち消し合いが生じていると推測できるため、当該領域に対応する被検査体500の位置で異常501が生じていると判断できる。
Therefore, in the situation shown in FIG. 17, it can be confirmed that the amplitude is small in the region where the
本実施形態の検査システムは、図16の異常501のように傾きが急峻に変化しているものに限らず、緩やかに変化する異常も検出できる。図18は、第1の実施形態の時間相関カメラ110による、被検査体の異常の第2の検出例を示した図である。図18に示される例では、正常な場合は被検査体の表面が平面(換言すれば法線が平行)となるが、被検査体700に緩やかな勾配701が生じた状況とする。このような状況においては、勾配701上の法線ベクトル721、722、723も同様に緩やかに変化する。したがって、イメージセンサ220に入力する光711、712、713も少しずつずれていく。図18に示される例では、緩やかな勾配701のために光の振幅の打ち消し合いは生じないため、図16、図17で表したような光の振幅はほとんど変化しない。しかしながら、本来スクリーン130から投影された光が、そのままイメージセンサに平行に入るはずが、緩やかな勾配701のために、スクリーン130から投影された光が平行の状態でイメージセンサに入らないために、光に位相変化が生じる。従って、光の位相変化について、周囲等との違いを検出することで、図18に示したような緩やかな勾配701による異常を検出できる。
The inspection system according to the present embodiment is not limited to the one in which the inclination changes steeply like the
また、被検査体の表面形状(換言すれば、被検査体の法線ベクトルの分布)以外にも異常が生じる場合がある。図19は、第1の実施形態の時間相関カメラ110による、被検査体の異常の第3の検出例を示した図である。図19に示される例では、被検査体800に汚れ801が付着しているため、照明装置120から照射された光が吸収あるいは拡散反射し、時間相関カメラ110の、汚れ801を撮影している任意の画素領域では光がほとんど強度変化しない例を表している。換言すれば、汚れ801を撮影している任意の画素領域では、光強度は位相打ち消しを起こし振動成分がキャンセルされ、ほとんど直流的な明るさになる例を示している。
In addition, there may be an abnormality other than the surface shape of the inspection object (in other words, the distribution of the normal vector of the inspection object). FIG. 19 is a diagram illustrating a third example of detection of abnormality of an object to be inspected by the
このような場合、汚れ801を撮影している画素領域においては、光の振幅がほとんどないため、振幅画像データを表示した際に、周囲と比べて暗くなる領域が生じる。したがって、当該領域に対応する被検査体800の位置に、汚れ等の異常801があることを推定できる。
In such a case, in the pixel region where the
このように、本実施形態では、時間相関画像データに基づいて、光の振幅の変化と、光の位相の変化と、を検出することで、被検査体に異常があることを推定できる。 As described above, in the present embodiment, it is possible to estimate that the object to be inspected is abnormal by detecting the change in the amplitude of the light and the change in the phase of the light based on the time correlation image data.
図12に戻り、PC1100について説明する。PC1100は、検出システム全体の制御を行う。PC1100は、アーム制御部101と、照明制御部102と、制御部1103と、を備える。
Returning to FIG. 12, the
アーム制御部101は、被検査体150の時間相関カメラ110による撮像対象となる表面を変更するために、アーム140を制御する。本実施形態では、PC1100において、被検査体の撮影対象となる表面を複数設定しておく。そして、時間相関カメラ110が被検査体150の撮影が終了する毎に、アーム制御部101が、当該設定に従って、時間相関カメラ110が設定された表面を撮影できるように、アーム140が被検査体150を移動させる。なお、本実施形態は撮影が終了する毎にアームを移動させ、撮影が開始する前に停止させることを繰り返すことに制限するものではなく、継続的にアーム140を駆動させてもよい。なお、アーム140は、搬送部、移動部、位置変更部、姿勢変更部等とも称されうる。
The
照明制御部102は、被検査体150を検査するために照明装置120が照射する縞パターンを出力する。本実施形態の照明制御部102は、少なくとも3枚以上の縞パターンを、照明装置120に受け渡し、当該縞パターンを露光時間中に切り替えて表示するように照明装置120に指示する。
The
図20は、照明制御部102が照明装置120に出力する縞パターンの例を示した図である。図20(B)に示す矩形波に従って、図20(A)に示す黒領域と白領域とが設定された縞パターンが出力されるように、照明制御部102が制御を行う。
FIG. 20 is a diagram illustrating an example of a fringe pattern output from the
本実施形態で照射する縞パターン毎の縞の間隔は、検出対象となる異常(欠陥)の大きさに応じて設定されるものとしてここでは詳しい説明を省略する。 In this embodiment, the stripe interval for each stripe pattern to be irradiated is set according to the size of the abnormality (defect) to be detected, and detailed description thereof is omitted here.
また、縞パターンを出力するための矩形波の角周波数ωは、参照信号の角周波数ωと同じ値とする。 In addition, the angular frequency ω of the rectangular wave for outputting the fringe pattern is set to the same value as the angular frequency ω of the reference signal.
図20に示されるように、照明制御部102が出力する縞パターンは、矩形波として示すことができるが、スクリーン130を介することで、縞パターンの境界領域をぼかす、すなわち、縞パターンにおける明領域(縞の領域)と暗領域(間隔の領域)との境界での光の強度変化を緩やかにする(鈍らせる)ことで、正弦波に近似させることができる。図21は、スクリーン130を介した後の縞パターンを表した波の形状の例を示した図である。図21に示されるように波の形状が、正弦波に近づくことで、計測精度を向上させることができる。また、縞に明度が多段階に変化するグレー領域を追加したり、グラデーションを与えたりしてもよい。また、カラーの縞を含む縞パターンを用いてもよい。
As shown in FIG. 20, the fringe pattern output from the
図12に戻り、制御部1103は、振幅−位相画像生成部104と、異常検出処理部105と、判定部1104を備える。制御部1103は、第1偏光フィルタ160および第2偏光フィルタ170の各偏光情報から、時間相関カメラ110から入力された強度画像データと時間相関画像データとが、被検査面のクリア層、下地のいずれの画像であるかを判定し、強度画像データと時間相関画像データとにより、被検査体150の検査対象面の法線ベクトルの分布と対応した特徴であって、周囲との違いによって異常を検出する特徴を算出するための処理を行う。なお、本実施形態は、検査を行うために、複素数で示した時間相関画像データ(複素時間相関画像データと称す)の代わりに、複素数相関画像データの実部と虚部とで分けた2種類の時間相関画像データを、時間相関カメラ110から受け取る。
Returning to FIG. 12, the
振幅−位相画像生成部104は、時間相関カメラ110から入力された強度画像データと、時間相関画像データと、に基づいて、振幅画像データと、位相画像データと、を生成する。
The amplitude-phase
振幅画像データは、画素毎に入る光の振幅を表した画像データとする。位相画像データは、画素毎に入る光の位相を表した画像データとする。 The amplitude image data is image data representing the amplitude of light entering each pixel. The phase image data is image data representing the phase of light entering each pixel.
本実施形態は振幅画像データの算出手法を制限するものではないが、例えば、振幅−位相画像生成部104は、2種類の時間相関画像データの画素値C1(x,y)及びC2(x,y)から、式(8)を用いて、振幅画像データの各画素値F(x,y)を導き出せる。
Although the present embodiment does not limit the calculation method of the amplitude image data, for example, the amplitude-phase
そして、本実施形態では、振幅画像データの画素値(振幅)と、強度画像データの画素値と、に基づいて、異常が生じている領域があるか否かを判定できる。例えば、強度画像データの画素値(AT)を2で除算した値と、振幅画像データの振幅(打ち消し合いが生じない場合にはAT/2となる)と、がある程度一致する領域は異常が生じていないと推測できる。一方、一致していない領域については、振幅の打ち消しが生じていると推測できる。なお、具体的な手法については後述する。 In the present embodiment, it is possible to determine whether there is a region where an abnormality has occurred based on the pixel value (amplitude) of the amplitude image data and the pixel value of the intensity image data. For example, an abnormality occurs in a region where the value obtained by dividing the pixel value (AT) of the intensity image data by 2 and the amplitude of the amplitude image data (which is AT / 2 when cancellation does not occur) to some extent I can guess that it is not. On the other hand, it can be presumed that the amplitude cancellation occurs in the non-matching region. A specific method will be described later.
同様に、振幅−位相画像生成部104は、画素値C1(x,y)及びC2(x,y)から、式(9)を用いて、位相画像データの各画素値P(x,y)を導き出せる。
Similarly, the amplitude-phase
判定部1104は、メモリ107から第1偏光フィルタ160、第2偏光フィルタ170のそれぞれの偏光情報を取得し、当該偏光情報に基づいて、時間相関カメラ110から取得した各画像が被検査面を構成する複数の層のいずれの層からの反射光で撮像されたか、すなわち撮像画像が複数の層のいずれの層の画像であるかの画像判定を行う。ここで、画像判定の詳細については、実施形態1と同様に行われるため、説明を省略する。
The
異常検出処理部105は、振幅−位相画像生成部104により生成された振幅画像データ、及び位相画像データにより、検査対称面の法線ベクトルの分布と対応した特徴であって、周囲との違いによって、被検査体150の異常に関連する特徴を検出する。本実施形態では、法線ベクトルの分布に対応した特徴として、複素時間相関画像の振幅の分布を用いた例について説明する。なお、複素時間相関画像の振幅の分布とは、複素時間相関画像の各画素の振幅の分布を示したデータであり、振幅画像データに相当する。本実施形態では、異常検出は、判定部1104による判定結果である、クリア層、下地ごとに行われる。
The abnormality
次に、本実施形態の異常検出処理部105における振幅に基づく異常検出処理について説明する。図22は、本実施形態の異常検出処理部105における当該処理の手順を示すフローチャートである。
Next, the abnormality detection process based on the amplitude in the abnormality
まず、異常検出処理部105は、振幅画像データの各画素に格納された、光の振幅値(を表した画素値)から、当該画素を基準(例えば中心)として、N×N領域の平均振幅値を減算し(ステップS1101)、振幅の平均差分画像データを生成する。振幅の平均差分画像データは、振幅の勾配に対応する。なお、整数Nは実施の態様に応じて適切な値が設定されるものとする。
First, the abnormality
次に、異常検出処理部105は、減算により生成された振幅の平均差分画像データに対して、予め定められた振幅の閾値を用いたマスク処理を行う(ステップS1102)。
Next, the abnormality
さらに、異常検出処理部105は、平均差分画像データのマスク領域内について画素毎に標準偏差を算出する(ステップS1103)。なお、本実施形態では、標準偏差に基づいた手法について説明するが、標準偏差を用いた場合に制限するものではなく、例えば平均値等を用いてもよい。
Further, the abnormality
そして、異常検出処理部105は、平均を引いた振幅画素値が−4.5δ(δ:標準偏差)より小さい値の画素を、異常(欠陥)がある領域として検出する(ステップS1104)。
Then, the abnormality
上述した処理手順により、各画素の振幅値(換言すれば、振幅の分布)から、被検査体の異常を検出できる。しかしながら、本実施形態は、複素時間相関画像の振幅の分布から異常を検出することに制限するものではない。検査対称面の法線ベクトルの分布と対応した特徴として、位相の分布の勾配を用いてもよい。そこで、次に位相の分布の勾配を用いた例について説明する。 By the processing procedure described above, an abnormality of the object to be inspected can be detected from the amplitude value of each pixel (in other words, the amplitude distribution). However, the present embodiment is not limited to detecting an abnormality from the amplitude distribution of the complex time correlation image. The gradient of the phase distribution may be used as a feature corresponding to the distribution of normal vectors on the inspection symmetry plane. An example using the gradient of the phase distribution will be described next.
次に、本実施形態の異常検出処理部105における位相に基づく異常検出処理について説明する。図23は、本実施形態の異常検出処理部105における当該処理の手順を示すフローチャートである。
Next, the abnormality detection process based on the phase in the abnormality
まず、異常検出処理部105は、位相画像データの画素毎の光の位相値(を表した画素値)から、当該画素を基準(例えば中心)として、N×N領域の平均位相値を減算し(ステップS1201)、位相の平均差分画像データを生成する。位相の平均差分画像データは、位相の勾配に対応する。
First, the abnormality
次に、異常検出処理部105は、減算により生成された位相の平均差分画像データの大きさ(絶対値)と、閾値とを比較し、平均差分画像データの大きさが閾値以上となる画素を、異常(欠陥)のある画素として検出する(ステップS1202)。
Next, the abnormality
このS1202の検出結果により、異常検出処理部105は、平均差分画像データの正負、すなわち、画素の位相値と平均位相値との大小関係によって、凹凸を判別することができる(ステップS1203)。画素の位相値と平均位相値とのどちらが大きい場合に凸となるかは、各部の設定によって変化するが、大小関係が異なると、凹凸が異なる。
Based on the detection result of S1202, the abnormality
なお、他の手法によって得られた位相の分布の勾配から、異常を検出することができる。例えば、異常検出処理部105は、別の手法として、正規化された時間相関画像データのN×Nの領域の平均ベクトルと、正規化された各画素のベクトルとの差の大きさが、閾値よりも大きい場合に、異常(欠陥)がある画素として検出することができる。また、位相の分布の勾配に限られず、位相の分布に対応する情報に基づいて被検査体の異常を検出すればよい。
An abnormality can be detected from the gradient of the phase distribution obtained by another method. For example, as another method, the abnormality
次に、本実施形態の異常検出処理部105における振幅および強度に基づく異常検出処理について説明する。図24は、本実施形態の異常検出処理部105における当該処理の手順を示すフローチャートである。
Next, the abnormality detection process based on the amplitude and intensity in the abnormality
まず、異常検出処理部105は、時間相関画像データと強度画像データとから、各画素について、次の式(10)を用いて、振幅(を表す画素値)C(x,y)(式(7)参照)と強度(を表す画素値)G(x,y)(式(6)参照)との比R(x,y)を算出する(ステップS1301)。
First, the abnormality
R(x,y)=C(x,y)/G(x,y)……(10) R (x, y) = C (x, y) / G (x, y) (10)
次に、異常検出処理部105は、比R(x,y)と閾値とを比較し、比R(x,y)の値が対応する閾値以下となる画素を、異常(欠陥)のある画素として検出する(ステップS1302)。また、異常検出処理部105は、比R(x,y)と閾値とを比較し、比R(x,y)の値が対応する別の閾値以上となる画素を、ムラ(汚れ等)のある画素として検出する(ステップS1303)。法線ベクトルの分布の異常により、振幅の打ち消し合い(減殺)が顕著となった場合には、強度に比べて振幅がより大きく下がる。一方、法線ベクトルの分布にはそれほどの異常は無いものの被検査体150の表面の汚れ等によって光の吸収が顕著となった場合には、振幅に比べて強度がより大きく下がる。よって、異常検出処理部105は、ステップS1302およびステップS1303による異常種別の検出が可能となる。
Next, the abnormality
次に、本実施形態の検査システムにおける被検査体の検査処理について説明する。図25は、本実施形態の検査システムにおける上述した処理の手順を示すフローチャートである。なお、被検査体150は、すでにアーム140に固定された状態で、検査の初期位置に配置されているものとする。
Next, an inspection process for an object to be inspected in the inspection system of the present embodiment will be described. FIG. 25 is a flowchart showing a procedure of the above-described processing in the inspection system of the present embodiment. It is assumed that the device under test 150 is already fixed to the
また、本実施形態でも、スクリーン130の前に設置された第1偏光フィルタ160の偏光の状態をS偏光を透過またはP偏光を透過のいずれかに固定し、時間相関カメラ110の前に設けられた第2偏光フィルタ170の偏光を切替えるものとする。
Also in this embodiment, the polarization state of the first
本実施形態のPC1100が、照明装置120に対して、被検査体を検査するための縞パターンを出力する(ステップS1401)。
The
照明装置120は、PC1100から入力された縞パターンを格納する(ステップS1421)。そして、照明装置120は、格納された縞パターンを、時間遷移に従って変化するように表示する(ステップS1422)。なお、照明装置120が表示を開始する条件は、縞パターンが格納された際に制限するものではなく、例えば検査者が照明装置120に対して開始操作を行った際でもよい。
The illuminating
そして、検査者は、時間相関カメラ110側において、第2偏光フィルタ170の偏光状態を切り換える(ステップS1011)。
Then, the inspector switches the polarization state of the second
そして、PC1100の制御部1103が、時間相関カメラ110に対して、撮影の開始指示を送信する(ステップS1402)。
Then, the
次に、時間相関カメラ110が、送信されてきた撮影指示に従って、被検査体150を含む領域について撮像を開始する(ステップS1411)。次に、時間相関カメラ110の制御部240が、強度画像データと、時間相関画像データと、を生成する(ステップS1412)。そして、時間相関カメラ110の制御部240が、強度画像データと、時間相関画像データと、を、PC1100に出力する(ステップS1413)。
Next, the
上記ステップS1011およびS1411からS1413までの処理は、被検査面の同じ領域に対して、第2偏光フィルタ170を異なる偏光状態で2回繰り返して実行される。例えば、1回目の処理では第2偏光フィルタ170をS偏光を透過するようにしてS偏光受光とし、2回目の処理では、第2偏光フィルタ170をP偏光を透過するように切り換えてP偏光受光とする等である。
The processes in steps S1011 and S1411 to S1413 are executed by repeating the second
PC1100の制御部1103は、強度画像データと、時間相関画像データと、を受け取る(ステップS1403)。そして、振幅−位相画像生成部104は、受け取った強度画像データと時間相関画像データとから、振幅画像データと、位相画像データとを生成する(ステップS1404)。
The
判定部103が、2枚の強度画像に対して画像判定処理を実行する(ステップS1002)。画像判定処理は実施形態1と同様に行われる。
The
そして、異常検出処理部105が、判定部1104の判定結果と、振幅画像データと、位相画像データとに基づいて、被検査体の異常検出制御を行う(ステップS1405)。すなわち、画像判定の結果、各画像がクリア層、下地層のいずれの画像であるわかるため、異常検出処理部105は、被検査面のクリア層での欠陥の有無、被検査面の下地での欠陥の有無を検出することが可能となる。そして、異常検出処理部105は、異常検出結果を、PC1100が備える(図示しない)表示装置に出力する(ステップS1406)。
Then, the abnormality
異常検出結果の出力例としては、強度画像データを表示するとともに、振幅画像データと位相画像データとに基づいて異常が検出された領域に対応する、強度画像データの領域を、検査者が異常を認識できるように装飾表示するなどが考えられる。また、視覚に基づく出力に制限するものではなく、音声等で異常が検出されたことを出力してもよい。 As an output example of the abnormality detection result, the intensity image data is displayed, and an area of the intensity image data corresponding to the area where the abnormality is detected based on the amplitude image data and the phase image data is displayed. For example, it is possible to display the decoration so that it can be recognized. Further, the output is not limited to visual output, and it may be output that an abnormality has been detected by voice or the like.
制御部1103は、当該被検査体の検査が終了したか否かを判定する(ステップS1407)。検査が終了していないと判定した場合(ステップS1407:No)、アーム制御部101が、予め定められた設定に従って、次の検査対象となる被検査体の表面が、時間相関カメラ110で撮影できるように、アームの移動制御を行う(ステップS1408)。アームの移動制御が終了した後、制御部1103が、再び時間相関カメラ110に対して、撮影の開始指示を送信する(ステップS1402)。
The
一方、制御部1103は、当該被検査体の検査が終了したと判定した場合(ステップS1407:Yes)、終了指示を時間相関カメラ110に対して出力し(ステップS1409)、処理を終了する。
On the other hand, if the
そして、時間相関カメラ110は、終了指示を受け付けたか否かを判定する(ステップS1414)。終了指示を受け付けていない場合(ステップS1414:No)、再びステップS1011から処理を行う。一方、終了指示を受け付けた場合(ステップS1414:Yes)、処理を終了する。
Then, the
なお、照明装置120の終了処理は、検査者が行ってもよいし、他の構成からの指示に従って終了してもよい。
Note that the inspecting process of the
このように本実施形態では、時間相関カメラを用いた検査システムにおいて、時間相関画像を用いて欠陥の有無等の異常検出を行う場合に、偏光情報を用いて被検査面のうちいずれの層の画像かを判断した上で異常検出を行っているので、外乱光が多い環境で検査処理を実行する場合でも、外乱光の影響を最小限にして安定した欠陥検査を行うことができ、より正確な欠陥検出を行うことができる。 As described above, in this embodiment, in the inspection system using the time correlation camera, when detecting abnormality such as the presence / absence of a defect using the time correlation image, any layer of the surface to be inspected using the polarization information. Since abnormality detection is performed after judging whether the image is an image, even when inspection processing is performed in an environment with a lot of ambient light, stable defect inspection can be performed with minimal influence of ambient light. Defect detection can be performed.
なお、本実施形態では、時間相関カメラ110を用いて生成された強度画像データと、時間相関画像データと、を生成する例について説明した。しかしながら、強度画像データと、時間相関画像データと、を生成するために時間相関カメラ110を用いることに制限するものではなく、それと等価な動作をする撮像システムを用いてもよい。例えば、通常のデジタルスチルカメラが生成した画像データを出力し、情報処理装置が、デジタルスチルカメラが生成した画像データを、フレーム画像データとして用いて参照信号を重畳することで、時間相関画像データを生成してもよいし、イメージセンサ内で光強度信号に参照信号を重畳するようなデジタルカメラを用いて、時間相関画像データを生成しても良い。
In the present embodiment, an example in which intensity image data generated using the
本実施形態では、周囲との違いに基づいて、異常に関連する特徴を検出する例について説明したが、周囲との違いに基づいて当該特徴を検出することに制限するものではなく、参照形状のデータ(参照データ、例えば、時間相関データや、振幅画像データ、位相画像データ等)との差異に基づいて当該特徴を検出してもよい。この場合、参照データの場合とで、空間位相変調照明(縞パターン)の位置合わせおよび同期が必要となる。 In this embodiment, an example in which a feature related to an abnormality is detected based on a difference from the surroundings has been described, but the present invention is not limited to detecting the feature based on a difference from the surroundings. The feature may be detected based on a difference from data (reference data such as time correlation data, amplitude image data, phase image data, etc.). In this case, it is necessary to align and synchronize the spatial phase modulation illumination (stripe pattern) with the reference data.
本実施形態では、x方向に縞パターンを動かして、被検査体の異常(欠陥)を検出する例について説明したが、これに限定されるものではない。例えば、x方向に垂直なy方向で急峻に法線の分布が変化する異常(欠陥)が被検査体に生じている場合、x方向に縞パターンを動かすよりも、y方向に縞パターンを動かす方が欠陥の検出が容易になる場合があり、このような場合には、x方向に移動する縞パターンと、y方向に移動する縞パターンとを、交互に切り替えるように構成してもよい。照明制御部102が照明装置120に出力する縞パターンをx方向及びy方向に同時に動かすように構成してもよい。
In the present embodiment, the example in which the abnormality (defect) of the object to be inspected is detected by moving the stripe pattern in the x direction has been described, but the present invention is not limited to this. For example, when an abnormality (defect) in which the normal distribution changes steeply in the y direction perpendicular to the x direction occurs in the object to be inspected, the stripe pattern is moved in the y direction rather than in the x direction. In some cases, it may be easier to detect the defect. In such a case, the stripe pattern moving in the x direction and the stripe pattern moving in the y direction may be switched alternately. You may comprise so that the fringe pattern which the
また、本実施形態では、照明装置120が、x方向に縞の幅が一種類の縞パターンを表示する例について説明したが、これに限定されるものではない。例えば、x方向の縞の幅を複数種類にするように構成してもよい。
Moreover, although this embodiment demonstrated the example which the illuminating
また、本実施形態では、S偏光入射とP偏光入射を別個に行っていたが、これに限定されるものではなく、被検査体150へのS偏光入射とP偏光入射とを同時に行うように構成してもよい。例えば、照明装置120からの照射光をハーフミラー等で2光束に分離して、それぞれの光束を別個のスクリーンに投影する。そして、一方のスクリーンからの光束を偏光フィルタでS偏光として被検査体150に照射し、他方のスクリーンからの光束を偏光フィルタでS偏光として被検査体150に照射することで、S偏光入射とP偏光入射を同時に行うように構成することができる。この場合、さらに、S偏光の周波数とP偏光の周波数とを異なるように構成することができる。これにより、S偏光入射とP偏光入射とを切り換える必要がなくなり、検査効率を向上させることが可能となる。
In this embodiment, the S-polarized light incidence and the P-polarized light incidence are performed separately. However, the present invention is not limited to this, and the S-polarized light incidence and the P-polarized light incident on the object 150 are performed simultaneously. It may be configured. For example, the irradiation light from the
上述した実施形態のPC100で実行される検査プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
The inspection program executed by the
また、上述した実施形態のPC100で実行される検査プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した実施形態のPCで実行される検査プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
In addition, the inspection program executed by the
本発明のいくつかの実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態及び変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments and modifications of the present invention have been described, these embodiments and modifications are presented as examples and are not intended to limit the scope of the invention. These novel embodiments and modifications can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and equivalents thereof.
10…カメラ、100,1100…PC、110…時間相関カメラ、101…アーム制御部、102…照明制御部、103、1104…判定部、104…位相画像生成部、105…異常検出処理部、110…時間相関カメラ、120…照明装置、130…スクリーン、140…アーム、160…第1偏光フィルタ、170…第2偏光フィルタ、210…光学系、220…イメージセンサ、230…データバッファ、240…制御部、241…転送部、242…読出部、243…強度画像用重畳部、244…第1の乗算器、245…第1の相関画像用重畳部、246…第2の乗算器、247…第2の相関画像用重畳部、248…画像出力部、250…参照信号出力部、1103…制御部。
DESCRIPTION OF
Claims (10)
前記照射光から所定の偏光成分を透過させる第1偏光フィルタと、
前記被検査面に照射される前記照射光の偏光成分の反射光から所定の偏光成分を透過させる第2偏光フィルタと、
前記第2偏光フィルタから透過した反射光の偏光成分によって前記被検査面を撮像する撮像部と、
前記第1偏光フィルタによる偏光成分と前記第2偏光フィルタによる偏光成分とに基づいて、前記撮像部で撮像された撮像画像が、前記複数の層の少なくともいずれの層の画像であるかを判定する判定部と、
を備えた検査システム。 An illumination unit that emits irradiation light at a predetermined incident angle with respect to a surface to be inspected composed of a plurality of layers;
A first polarizing filter that transmits a predetermined polarization component from the irradiation light;
A second polarizing filter that transmits a predetermined polarization component from the reflected light of the polarization component of the irradiation light irradiated on the surface to be inspected;
An imaging unit that images the surface to be inspected with a polarization component of reflected light transmitted from the second polarizing filter;
Based on the polarization component by the first polarization filter and the polarization component by the second polarization filter, it is determined whether the captured image captured by the imaging unit is an image of at least one of the plurality of layers. A determination unit;
Inspection system equipped with.
前記所定の入射角は、前記照明光のP偏光のすべてが前記クリア層の表面で反射しない角度であり、
前記判定部は、前記第1偏光フィルタによる偏光成分と前記第2偏光フィルタによる偏光成分とに基づいて、前記撮像画像が、前記クリア層の表面の画像か、前記塗装面の画像か、前記下地の画像かの少なくともいずれかを判定する、
請求項1に記載の検査システム。 The surface to be inspected comprises a base, a painted surface painted on the ground, and a clear layer transparent on the painted surface,
The predetermined incident angle is an angle at which not all of the P-polarized light of the illumination light is reflected by the surface of the clear layer,
The determination unit determines whether the captured image is an image of the surface of the clear layer, an image of the painted surface, or the base based on a polarization component by the first polarization filter and a polarization component by the second polarization filter. Determine at least one of the images
The inspection system according to claim 1.
請求項2に記載の検査システム。 In the determination unit, when the polarization component by the first polarization filter is S-polarized light and the polarization component by the second polarization filter is S-polarization, the captured image is the surface of the clear layer, the painted surface, and the It is determined that the image is a background image.
The inspection system according to claim 2.
請求項2または3に記載の検査システム。 The determination unit determines that the captured image is the background image when the polarization component by the first polarization filter is S polarization and the polarization component by the second polarization filter is P polarization.
The inspection system according to claim 2 or 3.
請求項2〜4のいずれか一つに記載の検査システム。 The determination unit determines that the captured image is the background image when the polarization component by the first polarization filter is P polarization and the polarization component by the second polarization filter is S polarization.
The inspection system according to any one of claims 2 to 4.
請求項2〜5のいずれか一つに記載の検査システム。 When the polarization component by the first polarizing filter is P-polarized light and the polarization component by the second polarizing filter is P-polarized light, the determination unit determines that the captured image is an image of the painted surface and the background. judge,
The inspection system according to any one of claims 2 to 5.
前記検査システムは、
時間相関カメラまたはそれと等価な動作をする撮像システムによって時間相関画像を生成する時間相関画像生成部と、
前記時間相関画像より、検査対象面の法線ベクトルの分布と対応した特徴であって、周囲との違いおよび参照表面との違いのうち少なくとも一方によって異常を検出する特徴を算出する、演算処理部と、
前記判定部による判定結果と前記演算処理部により算出された特徴に基づいて、前記検査対象面の異常を検出する異常検出処理部と、
をさらに備えた請求項1〜6のいずれか一つに記載の検査システム。 The illuminating unit is a planar illuminating unit that gives a periodic temporal change and a spatial change of light intensity,
The inspection system includes:
A time correlation image generating unit that generates a time correlation image by a time correlation camera or an imaging system that performs an equivalent operation;
An arithmetic processing unit that calculates, from the time correlation image, a feature corresponding to the distribution of the normal vector on the surface to be inspected and detecting an abnormality by at least one of a difference from the surroundings and a difference from the reference surface When,
An abnormality detection processing unit that detects an abnormality of the inspection target surface based on the determination result by the determination unit and the feature calculated by the arithmetic processing unit;
The inspection system according to any one of claims 1 to 6, further comprising:
前記特徴は、前記複素時間相関画像の位相の分布に対応する、請求項1に記載の検査システム。 The time correlation image generation unit generates a complex time correlation image,
The inspection system according to claim 1, wherein the feature corresponds to a phase distribution of the complex time correlation image.
前記特徴は、前記複素時間相関画像の振幅の分布に対応する、
請求項7または8に記載の検査システム。 The time correlation image generation unit generates a complex time correlation image,
The feature corresponds to the amplitude distribution of the complex time correlation image;
The inspection system according to claim 7 or 8.
第1偏光フィルタにより、前記照射光から所定の偏光成分を透過させ、
第2偏光フィルタにより、前記被検査面に照射される前記照射光の偏光成分の反射光から所定の偏光成分を透過させ、
前記第2偏光フィルタから透過した反射光の偏光成分によって前記被検査面を撮像し、
前記第1偏光フィルタによる偏光成分と前記第2偏光フィルタによる偏光成分とに基づいて、前記撮像部で撮像された撮像画像が前記複数の層の少なくともいずれの層の画像であるかを判定する、
ことを含む検査方法。 Irradiation light is emitted at a predetermined incident angle to the surface to be inspected consisting of a plurality of layers
The first polarizing filter transmits a predetermined polarization component from the irradiation light,
The second polarizing filter transmits a predetermined polarization component from the reflected light of the polarization component of the irradiation light irradiated on the surface to be inspected,
Imaging the surface to be inspected by the polarization component of the reflected light transmitted from the second polarizing filter;
Determining whether a captured image captured by the imaging unit is an image of at least one of the plurality of layers, based on a polarization component by the first polarization filter and a polarization component by the second polarization filter;
Inspection method including that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014074788A JP6276092B2 (en) | 2014-03-31 | 2014-03-31 | Inspection system and inspection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014074788A JP6276092B2 (en) | 2014-03-31 | 2014-03-31 | Inspection system and inspection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015197340A true JP2015197340A (en) | 2015-11-09 |
JP6276092B2 JP6276092B2 (en) | 2018-02-07 |
Family
ID=54547130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014074788A Expired - Fee Related JP6276092B2 (en) | 2014-03-31 | 2014-03-31 | Inspection system and inspection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6276092B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017101977A (en) * | 2015-11-30 | 2017-06-08 | リコーエレメックス株式会社 | Inspection system and inspection method |
JP2017101979A (en) * | 2015-11-30 | 2017-06-08 | リコーエレメックス株式会社 | Inspection system |
JP2018040599A (en) * | 2016-09-05 | 2018-03-15 | リコーエレメックス株式会社 | Inspection system |
WO2023171203A1 (en) * | 2022-03-08 | 2023-09-14 | パナソニックIpマネジメント株式会社 | Imaging device |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09269296A (en) * | 1996-03-29 | 1997-10-14 | Ishizuka Glass Co Ltd | Coating defect inspecting device for sheet |
JPH11295240A (en) * | 1998-04-10 | 1999-10-29 | Nkk Corp | Method and equipment for inspecting surface flaw |
JP2000097873A (en) * | 1998-09-28 | 2000-04-07 | Ricoh Co Ltd | Surface defect inspecting device |
JP2002107304A (en) * | 2000-09-29 | 2002-04-10 | Sumitomo Osaka Cement Co Ltd | Device for inspecting birefringent object to be inspected |
JP2002214150A (en) * | 2001-01-17 | 2002-07-31 | Nippon Steel Corp | Flaw inspecting method and device for insulating film covered steel sheet |
JP2007304042A (en) * | 2006-05-15 | 2007-11-22 | Toyota Motor Corp | Device and method for measuring excoriation |
US20080212096A1 (en) * | 2007-03-01 | 2008-09-04 | Deepak Kumar | Property determination with light impinging at characteristic angle |
JP2011002240A (en) * | 2009-06-16 | 2011-01-06 | Olympus Corp | Three-dimensional shape measurement method and device |
JP2014002125A (en) * | 2012-06-21 | 2014-01-09 | Fujitsu Ltd | Inspection method and inspection device |
-
2014
- 2014-03-31 JP JP2014074788A patent/JP6276092B2/en not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09269296A (en) * | 1996-03-29 | 1997-10-14 | Ishizuka Glass Co Ltd | Coating defect inspecting device for sheet |
JPH11295240A (en) * | 1998-04-10 | 1999-10-29 | Nkk Corp | Method and equipment for inspecting surface flaw |
JP2000097873A (en) * | 1998-09-28 | 2000-04-07 | Ricoh Co Ltd | Surface defect inspecting device |
JP2002107304A (en) * | 2000-09-29 | 2002-04-10 | Sumitomo Osaka Cement Co Ltd | Device for inspecting birefringent object to be inspected |
JP2002214150A (en) * | 2001-01-17 | 2002-07-31 | Nippon Steel Corp | Flaw inspecting method and device for insulating film covered steel sheet |
JP2007304042A (en) * | 2006-05-15 | 2007-11-22 | Toyota Motor Corp | Device and method for measuring excoriation |
US20080212096A1 (en) * | 2007-03-01 | 2008-09-04 | Deepak Kumar | Property determination with light impinging at characteristic angle |
JP2011002240A (en) * | 2009-06-16 | 2011-01-06 | Olympus Corp | Three-dimensional shape measurement method and device |
JP2014002125A (en) * | 2012-06-21 | 2014-01-09 | Fujitsu Ltd | Inspection method and inspection device |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017101977A (en) * | 2015-11-30 | 2017-06-08 | リコーエレメックス株式会社 | Inspection system and inspection method |
JP2017101979A (en) * | 2015-11-30 | 2017-06-08 | リコーエレメックス株式会社 | Inspection system |
JP2018040599A (en) * | 2016-09-05 | 2018-03-15 | リコーエレメックス株式会社 | Inspection system |
WO2023171203A1 (en) * | 2022-03-08 | 2023-09-14 | パナソニックIpマネジメント株式会社 | Imaging device |
Also Published As
Publication number | Publication date |
---|---|
JP6276092B2 (en) | 2018-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6316068B2 (en) | Inspection system and inspection method | |
JP6433268B2 (en) | Inspection system and inspection method | |
JP6542586B2 (en) | Inspection system | |
JP6553412B2 (en) | Inspection system | |
WO2018159825A1 (en) | Inspection system and inspection method | |
JP6276092B2 (en) | Inspection system and inspection method | |
JP6682251B2 (en) | Inspection system and inspection method | |
JP6420131B2 (en) | Inspection system and inspection method | |
JP2016109462A (en) | Inspection system and flexible illumination device | |
JP2017101977A (en) | Inspection system and inspection method | |
JP6909378B2 (en) | Inspection system | |
JP2017101979A (en) | Inspection system | |
JP2018115937A (en) | Inspection system | |
JP6902684B2 (en) | Image processing equipment and inspection system | |
JP6703415B2 (en) | Inspection device and inspection method | |
JP6781430B2 (en) | Inspection system | |
JP2018116026A (en) | Illumination device and light-transmissive member | |
JP6909377B2 (en) | Inspection system and inspection method | |
JP6826813B2 (en) | Inspection equipment and inspection method | |
JP2020012816A (en) | Detection system and detection method | |
JP6529247B2 (en) | Calibration system and inspection system | |
JP2018205039A (en) | Image processing device and inspection system | |
JP2024017231A (en) | Inspection system and inspection method | |
JP2019039685A (en) | Inspection system and inspection method | |
JP2024017229A (en) | Inspection system and inspection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6276092 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |