JP2020193890A - Visual inspection apparatus - Google Patents

Visual inspection apparatus Download PDF

Info

Publication number
JP2020193890A
JP2020193890A JP2019100101A JP2019100101A JP2020193890A JP 2020193890 A JP2020193890 A JP 2020193890A JP 2019100101 A JP2019100101 A JP 2019100101A JP 2019100101 A JP2019100101 A JP 2019100101A JP 2020193890 A JP2020193890 A JP 2020193890A
Authority
JP
Japan
Prior art keywords
reflected light
light
image
inspection object
linear polarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019100101A
Other languages
Japanese (ja)
Other versions
JP6570211B1 (en
Inventor
保良 鈴木
Yasuyoshi Suzuki
保良 鈴木
菅野 純一
Junichi Sugano
純一 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visco Tech Corp
VISCO TECHNOLOGIES CORP
Original Assignee
Visco Tech Corp
VISCO TECHNOLOGIES CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visco Tech Corp, VISCO TECHNOLOGIES CORP filed Critical Visco Tech Corp
Priority to JP2019100101A priority Critical patent/JP6570211B1/en
Application granted granted Critical
Publication of JP6570211B1 publication Critical patent/JP6570211B1/en
Publication of JP2020193890A publication Critical patent/JP2020193890A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

To provide a visual inspection apparatus capable of simultaneously inspecting defects exposed to the surface and the inside of an inspection object, with which it is made possible to recognize a larger number of defects while suppressing an increase in the size of the apparatus structure.SOLUTION: A visual inspection apparatus 10 comprises: lights 11R, 11G, 11B for irradiating an inspection object W at respectively different angles with red, green and blue rays of light having the same linear polarization characteristic; a polarization beam splitter 13 for separating reflected light 30 into reflected light 31 having a prescribed linear polarization characteristic and reflected light 32 having the prescribed linear polarization characteristic removed; a color camera 15 for simultaneously photographing parallel beams 31, 32 of reflected light; and an image processing device 16 for extracting red, green and blue color components from the image of the color camera 15. Thus, it is made possible to actualize a greater number of defects by optimizing the irradiation angle of each illumination in accordance with the inspection object. Moreover, as the beams of reflected light 31, 32 enter the same color camera 15, it is possible to suppress an increase in the size of the apparatus structure.SELECTED DRAWING: Figure 1

Description

本発明は外観検査装置に関し、特に、検査対象物の表面に露出する欠陥と、検査対象物の内部に存在する欠陥の両方を同時に検査可能な外観検査装置に関する。 The present invention relates to a visual inspection apparatus, and more particularly to a visual inspection apparatus capable of simultaneously inspecting both a defect exposed on the surface of an inspection object and a defect existing inside the inspection object.

チップ部品などの検査対象物の外観検査を行う外観検査装置としては、特許文献1及び2に記載された外観検査装置が知られている。特許文献1及び2に記載された外観検査装置においては、赤色光の照明照射軸と光軸のなす角度を大きく設定する一方、青色光の照明照射軸と光軸のなす角度を小さくすることで、暗視野光学系と明視野光学系を実現している。暗視野光学では、検査対象物の表面からの反射(鏡面反射)がカメラへ入射しないため、検査対象物の内部に入り込んだ光の反射(拡散反射)のみがカメラに入射する。一方で、明視野光学系では、鏡面反射及び拡散反射がともにカメラへ入射するが、鏡面反射の反射率が高いために、得られる画像は対象表面からの反射が支配的となる。このように、特許文献1及び2に記載された外観検査装置においては、照明照射角度をあらかじめ所定の角度に固定することにより、検査対象物の内部欠陥および表面欠陥の可視化を実現している。 As a visual inspection apparatus for visually inspecting an inspection object such as a chip part, the visual inspection apparatus described in Patent Documents 1 and 2 is known. In the visual inspection apparatus described in Patent Documents 1 and 2, the angle formed by the red light illumination irradiation axis and the optical axis is set large, while the angle formed by the blue light illumination irradiation axis and the optical axis is small. , A dark field optical system and a bright field optical system are realized. In dark-field optics, since the reflection from the surface of the inspection object (specular reflection) does not enter the camera, only the reflection of the light that has entered the inside of the inspection object (diffuse reflection) is incident on the camera. On the other hand, in the bright-field optical system, both specular reflection and diffuse reflection are incident on the camera, but since the reflectance of specular reflection is high, the reflection from the target surface is dominant in the obtained image. As described above, in the visual inspection apparatus described in Patent Documents 1 and 2, the internal defects and surface defects of the inspection object are visualized by fixing the illumination irradiation angle to a predetermined angle in advance.

しかしながら、特許文献1及び2に記載された外観検査装置においては、照明照射角度があらかじめ所定の角度に固定されていることから、当該照射角度では顕在化しない欠陥を発見することができないという問題があった。 However, in the visual inspection devices described in Patent Documents 1 and 2, since the illumination irradiation angle is fixed to a predetermined angle in advance, there is a problem that defects that do not become apparent at the irradiation angle cannot be found. there were.

一方、特許文献3〜5には、偏光ビームスプリッタを用いて検査対象物からの反射光をS偏光波とP偏光波に分離し、S偏光波からなる像とP偏光波からなる像をそれぞれ異なるカメラによって撮影する方法が開示されている。この方法によれば、複数の波長の照明を用いることなく、検査対象物の表面に存在する欠陥と内部に存在する欠陥の両方を認識することが可能となる。 On the other hand, in Patent Documents 3 to 5, the reflected light from the inspection object is separated into an S-polarized wave and a P-polarized wave by using a polarizing beam splitter, and an image composed of the S-polarized wave and an image composed of the P-polarized wave are separated from each other. Methods of shooting with different cameras are disclosed. According to this method, it is possible to recognize both the defects existing on the surface of the inspection object and the defects existing inside the inspection object without using illumination of a plurality of wavelengths.

特許第4713279号公報Japanese Patent No. 471279 特許第4493048号公報Japanese Patent No. 4493048 特開平10−227623号公報Japanese Unexamined Patent Publication No. 10-2276223 特許第3358099号公報Japanese Patent No. 3358099 特許第4716827号公報Japanese Patent No. 4716827

しかしながら、特許文献3〜5に記載された外観検査装置においても、当該照射角度では顕在化しない欠陥を発見することは困難である。しかも、S偏光波が入射されるカメラとP偏光波が入射されるカメラの2台が必要となることから、装置構成が大型化するという問題もあった。 However, even in the visual inspection apparatus described in Patent Documents 3 to 5, it is difficult to find a defect that does not become apparent at the irradiation angle. Moreover, since two cameras, one for which the S-polarized wave is incident and the other for which the P-polarized wave is incident, are required, there is also a problem that the apparatus configuration becomes large.

したがって、本発明は、検査対象物の表面に露出する欠陥と、検査対象物の内部に存在する欠陥の両方を同時に検査可能な外観検査装置において、装置構成の大型化を抑えつつ、より多くの欠陥を認識可能とすることを目的とする。 Therefore, the present invention is a visual inspection apparatus capable of simultaneously inspecting both the defects exposed on the surface of the inspection object and the defects existing inside the inspection object, while suppressing the increase in size of the apparatus configuration. The purpose is to make the defect recognizable.

本発明による外観検査装置は、検査対象物が載置されるステージと、第1の波長を有し、所定の直線偏光特性を有する第1の偏光を検査対象物に第1の角度で照射する第1の照明と、第1の波長とは異なる第2の波長を有し、所定の直線偏光特性と同じ直線偏光特性を有する第2の偏光を第1の角度とは異なる第2の角度で検査対象物に照射する第2の照明と、検査対象物からの反射光を受け、所定の直線偏光特性を有する第1の反射光と所定の直線偏光特性が除去された第2の反射光に分離する第1の偏光ビームスプリッタと、第1の反射光の光軸と第2の反射光の光軸を平行とする第1のミラーと、平行な第1及び第2の反射光を同時に受け、第1の反射光に基づく第1の画像と、第2の反射光に基づく第2の画像を生成する第1のカラーカメラと、第1の画像から第1の波長成分と第2の波長成分を抽出するとともに、第2の画像から第1の波長成分と第2の波長成分を抽出する画像処理装置とを備えることを特徴とする。 The visual inspection apparatus according to the present invention irradiates the inspection object with a stage on which the inspection object is placed and a first polarization having a first wavelength and a predetermined linear polarization characteristic at a first angle. A first illumination and a second polarization having a second wavelength different from the first wavelength and having the same linear polarization characteristic as a predetermined linear polarization characteristic are applied at a second angle different from the first angle. The second illumination that irradiates the inspection object, the first reflected light that receives the reflected light from the inspection object and has a predetermined linear polarization characteristic, and the second reflected light from which the predetermined linear polarization characteristic is removed. The first polarized beam splitter to be separated, the first mirror in which the optical axis of the first reflected light and the optical axis of the second reflected light are parallel to each other, and the parallel first and second reflected light are simultaneously received. , A first color camera that produces a first image based on the first reflected light, a second image based on the second reflected light, and a first wavelength component and a second wavelength from the first image. It is characterized by comprising an image processing apparatus that extracts a first wavelength component and a second wavelength component from a second image while extracting the components.

本発明によれば、互いに波長及び照射角度の異なる複数の照明を用いるとともに、波長ごとに直線偏光特性の異なる2つの反射光に分離していることから、検査対象物に応じて各照明の照射角度を最適化することにより、より多くの欠陥を顕在化させることが可能となる。しかも、偏光ビームスプリッタによって分離した2つの反射光がミラーによって平行化され、同じカラーカメラに入射することから、装置構成の大型化を抑えることも可能となる。 According to the present invention, since a plurality of illuminations having different wavelengths and irradiation angles are used and separated into two reflected lights having different linear polarization characteristics for each wavelength, irradiation of each illumination is performed according to the inspection object. By optimizing the angle, it becomes possible to expose more defects. Moreover, since the two reflected lights separated by the polarizing beam splitter are parallelized by the mirror and incident on the same color camera, it is possible to suppress the increase in size of the apparatus configuration.

図1は、本発明の第1の実施形態による外観検査装置10の構成を説明するための模式図である。FIG. 1 is a schematic view for explaining the configuration of the visual inspection apparatus 10 according to the first embodiment of the present invention. 図2は、反射光31,32の光路上にそれぞれNDフィルタ42及びガラス板41を配置した例を示す模式図である。FIG. 2 is a schematic view showing an example in which the ND filter 42 and the glass plate 41 are arranged on the optical paths of the reflected lights 31 and 32, respectively. 図3は、反射光31,32から赤色光を抽出した画像であり、左側が反射光31に基づく画像、右側が反射光32に基づく画像である。FIG. 3 is an image obtained by extracting red light from the reflected lights 31 and 32, the left side is an image based on the reflected light 31, and the right side is an image based on the reflected light 32. 図4は、反射光31,32から緑色光を抽出した画像であり、左側が反射光31に基づく画像、右側が反射光32に基づく画像である。FIG. 4 is an image obtained by extracting green light from the reflected lights 31 and 32, the left side is an image based on the reflected light 31, and the right side is an image based on the reflected light 32. 図5は、反射光31,32から青色光を抽出した画像であり、左側が反射光31に基づく画像、右側が反射光32に基づく画像である。FIG. 5 is an image obtained by extracting blue light from the reflected lights 31 and 32, the left side is an image based on the reflected light 31, and the right side is an image based on the reflected light 32. 図6は、本発明の第2の実施形態による外観検査装置20の構成を説明するための模式図である。FIG. 6 is a schematic view for explaining the configuration of the visual inspection apparatus 20 according to the second embodiment of the present invention.

以下、添付図面を参照しながら、本発明の好ましい実施形態について詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

<第1の実施形態>
図1は、本発明の第1の実施形態による外観検査装置10の構成を説明するための模式図である。
<First Embodiment>
FIG. 1 is a schematic view for explaining the configuration of the visual inspection apparatus 10 according to the first embodiment of the present invention.

図1に示すように、第1の実施形態による外観検査装置10は、検査対象物(ワーク)Wが載置される透明なステージSと、検査対象物Wに光を照射する照明11R,11G,11B,11RGBを有している。検査対象物Wの種類については特に限定されないが、積層セラミックコンデンサなどの小型チップ部品を対象とすることができる。積層セラミックコンデンサなどの小型チップ部品は、その表面に欠陥が存在する場合があるとともに、内部(表層部分)に欠陥が存在する場合があり、本実施形態による外観検査装置10は、検査対象物Wの表面に露出する欠陥と、検査対象物Wの内部に存在する欠陥の両方を同時に検査することが可能である。 As shown in FIG. 1, the visual inspection apparatus 10 according to the first embodiment includes a transparent stage S on which an inspection object (work) W is placed, and illuminations 11R and 11G that irradiate the inspection object W with light. , 11B, 11RGB. The type of the inspection target W is not particularly limited, but a small chip component such as a multilayer ceramic capacitor can be targeted. A small chip component such as a multilayer ceramic capacitor may have a defect on its surface and may have a defect inside (surface layer portion). Therefore, the visual inspection apparatus 10 according to the present embodiment has an inspection object W. It is possible to simultaneously inspect both the defects exposed on the surface of the ceramic surface and the defects existing inside the inspection object W.

照明11R,11G,11Bは、互いに波長および照射角度の異なる光を検査対象物Wに照射する。ここで、照明11Rは赤色光を照射し、照明11Gは緑色光を照射し、照明11Bは青色光を照射する。また、照明11RGBは、赤色光、緑色光及び青色光が混在した白色光を照射することによって明るさを補うための補助照明である。ここで、互いに照射角度の異なる3種類の光を検査対象物Wに照射しているのは、照射角度によって顕在化する欠陥の種類が異なるからである。例えば、検査対象物Wが積層セラミックコンデンサである場合、照明11Rは、セラミック部の表面の傷、汚れ及び異物、セラミック部の内部の汚れ及び異物、並びに、端子電極部のサイズ及び形状の検査に適している。また、照明11Gは、セラミック部の稜線上における欠けの検査に適している。さらに、照明11Bは、セラミック部の表面の金属異物、セラミック部の稜線上における欠け、並びに、セラミック部の内部のクラックの検査に適している。これら、各照明光の波長を分けた上で、カラーカメラにより撮像することで、照射角度の異なる3種類の画像を1回の撮像で得ることが可能となる。 The illuminations 11R, 11G, and 11B irradiate the inspection object W with light having different wavelengths and irradiation angles from each other. Here, the illumination 11R irradiates red light, the illumination 11G irradiates green light, and the illumination 11B irradiates blue light. Further, the illumination 11RGB is an auxiliary illumination for supplementing the brightness by irradiating white light in which red light, green light and blue light are mixed. Here, the reason why the inspection object W is irradiated with three types of light having different irradiation angles is that the types of defects that become apparent differ depending on the irradiation angle. For example, when the inspection object W is a multilayer ceramic capacitor, the illumination 11R is used for inspecting scratches, stains and foreign substances on the surface of the ceramic portion, stains and foreign substances inside the ceramic portion, and the size and shape of the terminal electrode portion. Is suitable. Further, the illumination 11G is suitable for inspecting a chip on the ridgeline of the ceramic portion. Further, the illumination 11B is suitable for inspecting metal foreign matter on the surface of the ceramic portion, chipping on the ridgeline of the ceramic portion, and cracks inside the ceramic portion. By separating the wavelengths of each of these illumination lights and then taking an image with a color camera, it is possible to obtain three types of images having different irradiation angles in one image.

ここで、各照明によって顕在化する欠陥は、照射角度によってコントラストが大きく変化する。例えば、照明11Rによって顕在化する欠陥は、照射光を光軸に対してできるだけ平行に照射することによってコントラストが高められる。この点を考慮し、本実施形態においては、照明11Rの照射角度を光軸に対して90°傾けるとともに、ハーフミラー12を用いて光軸と同軸に導いている。一方、照明11Bによって顕在化する欠陥は、照射光を光軸に対してある程度角度をつけて照射することによってコントラストが高められる。この点を考慮し、本実施形態においては、照明11Bの照射角度を光軸に対して所定の角度に傾けている。また、照明11Gによって顕在化する欠陥は、検査対象物Wの裏面側から照射することによってコントラストが高められる。この点を考慮し、本実施形態においては、照明11GをステージSの裏面S2側から照射している。一方、照明11R,11Bは、検査対象物Wが載置されるステージSの載置面S1側に配置される。 Here, the contrast of the defects that become apparent by each illumination changes greatly depending on the irradiation angle. For example, the defect that becomes apparent by the illumination 11R is enhanced in contrast by irradiating the irradiation light as parallel to the optical axis as possible. In consideration of this point, in the present embodiment, the irradiation angle of the illumination 11R is tilted by 90 ° with respect to the optical axis, and the half mirror 12 is used to guide the illumination 11R coaxially with the optical axis. On the other hand, the defect that becomes apparent by the illumination 11B is enhanced in contrast by irradiating the irradiation light at a certain angle with respect to the optical axis. In consideration of this point, in the present embodiment, the irradiation angle of the illumination 11B is tilted to a predetermined angle with respect to the optical axis. Further, the defect that becomes apparent by the illumination 11G is enhanced in contrast by irradiating it from the back surface side of the inspection object W. In consideration of this point, in the present embodiment, the illumination 11G is irradiated from the back surface S2 side of the stage S. On the other hand, the illuminations 11R and 11B are arranged on the mounting surface S1 side of the stage S on which the inspection object W is mounted.

このように、本実施形態による外観検査装置10は、互いに波長の異なる光を互いに異なる角度で検査対象物Wに照射している。また、各照明11R,11G,11Bの照射角度は固定的ではなく、最も高いコントラストが得られるよう、適宜調整することが可能である。 As described above, the visual inspection apparatus 10 according to the present embodiment irradiates the inspection object W with light having different wavelengths at different angles. Further, the irradiation angles of the illuminations 11R, 11G, and 11B are not fixed, and can be appropriately adjusted so that the highest contrast can be obtained.

各照明11R,11G,11Bは、図示しない偏光フィルタを備えており、各照明11R,11G,11Bから照射される光は互いに同じ直線偏光特性に揃えられている。例えば、各照明11R,11G,11Bから照射される光がいずれもS偏光波であっても構わない。この場合、検査対象物Wに照射される光は各波長成分ともにS偏光波であることから、検査対象物Wからの鏡面反射光もS偏光波となる。これに対し、照射された光が検査対象物Wの表層に拡散して得られる拡散反射光は、偏光特性が失われ、無偏光波となる。したがって、ハーフミラー12を通過する反射光30には、鏡面反射によるS偏光波と拡散反射による無偏光波が混在することになる。 Each of the illuminations 11R, 11G, 11B includes a polarizing filter (not shown), and the light emitted from each of the illuminations 11R, 11G, 11B has the same linear polarization characteristics. For example, the light emitted from each of the illuminations 11R, 11G, and 11B may be an S-polarized wave. In this case, since the light emitted to the inspection object W is an S-polarized wave for each wavelength component, the specularly reflected light from the inspection object W is also an S-polarized wave. On the other hand, the diffusely reflected light obtained by diffusing the irradiated light on the surface layer of the inspection object W loses its polarization characteristics and becomes an unpolarized wave. Therefore, the reflected light 30 passing through the half mirror 12 contains a mixture of S-polarized waves due to specular reflection and unpolarized waves due to diffuse reflection.

反射光30は、偏光ビームスプリッタ13に入射され、偏光ビームスプリッタ13によって第1の反射光31と第2の反射光32に分離される。第1の反射光31は、各照明11R,11G,11Bから照射される光の直線偏光成分を含む光であり、反射光30をそのまま通過させたものであっても構わないし、該直線偏光成分を選択的に通過させる偏光フィルタを通過させた光であっても構わない。つまり、各照明11R,11G,11Bから照射される光がS偏光波である場合、第1の反射光31はS偏光波を含む光である。したがって、第1の反射光31の主な成分は、検査対象物Wからの鏡面反射光である。 The reflected light 30 is incident on the polarizing beam splitter 13 and is separated into the first reflected light 31 and the second reflected light 32 by the polarizing beam splitter 13. The first reflected light 31 is light containing a linearly polarized light component of the light emitted from each of the illuminations 11R, 11G, and 11B, and the reflected light 30 may be passed through as it is, or the linearly polarized light component may be used. It may be light that has passed through a polarizing filter that selectively passes through. That is, when the light emitted from each of the illuminations 11R, 11G, 11B is an S-polarized wave, the first reflected light 31 is light including the S-polarized wave. Therefore, the main component of the first reflected light 31 is the specularly reflected light from the inspection object W.

これに対し、第2の反射光32は、各照明11R,11G,11Bから照射される光の直線偏光成分が除去された光であり、該直線偏光成分を選択的にカットする偏光フィルタを通過させた光である。例えば、各照明11R,11G,11Bから照射される光がS偏光波である場合、P偏光波を選択的に通過させる偏光フィルタを用いて、S偏光波を除去する。したがって、第2の反射光32の主な成分は、検査対象物Wからの拡散反射光である。但し、第2の反射光32からS偏光波を完全に除去することは必須でなく、少なくとも一部が除去されていれば足りる。 On the other hand, the second reflected light 32 is light from which the linearly polarized light component of the light emitted from each of the illuminations 11R, 11G, 11B is removed, and passes through a polarizing filter that selectively cuts the linearly polarized light component. It is the light that made me. For example, when the light emitted from each of the illuminations 11R, 11G, 11B is an S-polarized wave, the S-polarized wave is removed by using a polarizing filter that selectively passes the P-polarized wave. Therefore, the main component of the second reflected light 32 is the diffuse reflected light from the inspection object W. However, it is not essential to completely remove the S-polarized wave from the second reflected light 32, and it is sufficient if at least a part of the S-polarized wave is removed.

第2の反射光32はプリズム14に入射し、プリズム14に含まれるミラー14mによって進行方向が90°曲げられ、第1の反射光31と平行とされる。平行な第1及び第2の反射光31,32は、カラーカメラ15に入射される。これにより、第1の反射光31に基づく画像と、第2の反射光32に基づく画像を同時に得ることができる。カラーカメラ15によって得られた画像は、画像処理装置16に供給される。 The second reflected light 32 is incident on the prism 14, and the traveling direction is bent by 90 ° by the mirror 14 m included in the prism 14, so that the second reflected light 32 is parallel to the first reflected light 31. The parallel first and second reflected lights 31, 32 are incident on the color camera 15. As a result, an image based on the first reflected light 31 and an image based on the second reflected light 32 can be obtained at the same time. The image obtained by the color camera 15 is supplied to the image processing device 16.

ここで、図2に示すように、第2の反射光32の光路上には、第1の反射光31の光路長と第2の反射光32の光路長を一致させるガラス板41を配置することが好ましい。このように、ガラス板41を用いて第1の反射光31の光路長と第2の反射光32の光路長を一致させれば、カラーカメラ15は第1の反射光31からなる像と第2の反射光32からなる像の両方に正しくピントを合わせることが可能となる。また、図2に示すように、第1の反射光31の光路上には、第1の反射光31の光量を低減させるNDフィルタ42を配置することが好ましい。このように、NDフィルタ42を用いて第1の反射光31の光量を低減させれば、第1の反射光31の光量と第2の反射光32の光量の差を低減することが可能となる。 Here, as shown in FIG. 2, a glass plate 41 that matches the optical path length of the first reflected light 31 and the optical path length of the second reflected light 32 is arranged on the optical path of the second reflected light 32. Is preferable. In this way, if the optical path length of the first reflected light 31 and the optical path length of the second reflected light 32 are matched by using the glass plate 41, the color camera 15 has an image composed of the first reflected light 31 and a second. It is possible to correctly focus on both of the images composed of the reflected light 32 of 2. Further, as shown in FIG. 2, it is preferable to arrange an ND filter 42 for reducing the amount of light of the first reflected light 31 on the optical path of the first reflected light 31. In this way, if the amount of light of the first reflected light 31 is reduced by using the ND filter 42, it is possible to reduce the difference between the amount of light of the first reflected light 31 and the amount of light of the second reflected light 32. Become.

画像処理装置16は、カラーカメラ15によって得られた画像から照明11R,11G,11Bの波長成分を抽出することによって、3つの画像を生成する。つまり、反射光31,32から赤色光を抽出した画像、反射光31,32から緑色光を抽出した画像、反射光31,32から青色光を抽出した画像が得られる。各画像は、モニタ17を介してオペレータが確認することができる。 The image processing device 16 generates three images by extracting the wavelength components of the illuminations 11R, 11G, and 11B from the image obtained by the color camera 15. That is, an image obtained by extracting red light from the reflected light 31 and 32, an image obtained by extracting green light from the reflected light 31 and 32, and an image obtained by extracting blue light from the reflected light 31 and 32 can be obtained. Each image can be confirmed by the operator via the monitor 17.

図3〜図5は、反射光31,32からそれぞれ赤色光、緑色光及び青色光を抽出した画像であり、左側が反射光31に基づく画像、右側が反射光32に基づく画像である。図3〜図5に示すように、本実施形態による外観検査装置10は、一つの検査対象物Wから6つの画像を同時に取得することができる。6つの画像とはつまり、赤色光、緑色光及び青色光の鏡面反射によって得られた画像と、赤色光、緑色光及び青色光の拡散反射によって得られた画像である。図3〜図5に示すように、鏡面反射によって得られた画像からは、検査対象物Wの表面や稜線の状態が把握でき、拡散反射によって得られた画像からは、検査対象物Wの内部や稜線の状態が把握できることが分かる。 3 to 5 are images obtained by extracting red light, green light, and blue light from the reflected light 31 and 32, respectively. The left side is an image based on the reflected light 31, and the right side is an image based on the reflected light 32. As shown in FIGS. 3 to 5, the visual inspection apparatus 10 according to the present embodiment can simultaneously acquire six images from one inspection object W. The six images are, that is, an image obtained by specular reflection of red light, green light and blue light, and an image obtained by diffuse reflection of red light, green light and blue light. As shown in FIGS. 3 to 5, the state of the surface and the ridge line of the inspection object W can be grasped from the images obtained by specular reflection, and the inside of the inspection object W can be grasped from the images obtained by diffuse reflection. It can be seen that the state of the ridge and the ridge can be grasped.

以上説明したように、本実施形態による外観検査装置10によれば、一つの検査対象物Wから6つの画像を同時に取得することができる。また、コントラストが最も高くなるよう、各照明11R,11G,11Bの照射角度を任意に変更できることから、より多くの欠陥を顕在化させることが可能となる。しかも、偏光ビームスプリッタ13によって分離した2つの反射光31,32が平行化され、同じカラーカメラ15に入射することから、装置構成の大型化を抑えることも可能となる。 As described above, according to the visual inspection apparatus 10 according to the present embodiment, six images can be simultaneously acquired from one inspection object W. Further, since the irradiation angles of the illuminations 11R, 11G, and 11B can be arbitrarily changed so as to have the highest contrast, more defects can be made apparent. Moreover, since the two reflected lights 31 and 32 separated by the polarizing beam splitter 13 are parallelized and incident on the same color camera 15, it is possible to suppress the increase in size of the apparatus configuration.

<第2の実施形態>
図6は、本発明の第2の実施形態による外観検査装置20の構成を説明するための模式図である。
<Second embodiment>
FIG. 6 is a schematic view for explaining the configuration of the visual inspection apparatus 20 according to the second embodiment of the present invention.

図6に示すように、第2の実施形態による外観検査装置20は、2台のカラーカメラ26U,26Lを用いて、透明なステージSの載置面S1に載置された検査対象物(ワーク)Wを上下両側から同時に撮影するものである。ステージSの載置面S1側には、照明21R,21B,21RGB、ハーフミラー23U、偏光ビームスプリッタ24U、プリズム25U及びカラーカメラ26Uが配置され、ステージSの裏面S2側には、照明22R,22G,22RGB、ハーフミラー23L、偏光ビームスプリッタ24L、プリズム25L及びカラーカメラ26Lが配置される。ここで、ステージSは透明であることから、裏面S2側に配置される照明22R,22Gからの光も検査対象物Wに照射される。 As shown in FIG. 6, the visual inspection device 20 according to the second embodiment uses two color cameras 26U and 26L to inspect an object (work) mounted on the mounting surface S1 of the transparent stage S. ) W is photographed from both the upper and lower sides at the same time. Lighting 21R, 21B, 21RGB, half mirror 23U, polarization beam splitter 24U, prism 25U and color camera 26U are arranged on the mounting surface S1 side of the stage S, and lighting 22R, 22G on the back surface S2 side of the stage S. , 22RGB, half mirror 23L, polarization beam splitter 24L, prism 25L and color camera 26L are arranged. Here, since the stage S is transparent, the light from the illuminations 22R and 22G arranged on the back surface S2 side is also irradiated to the inspection object W.

照明21R,21Bは、それぞれ赤色光及び青色光を照射するものであり、いずれも検査対象物Wの前後左右4方向から照明する。ここで、照明21Rと照明21Bは、ステージSからの位置が互いに異なっているため、照明21Rによる赤色光の照射角度と照明21Bによる青色光の照射角度は互いに異なる。図6に示す例では、照明21Rがハイアングル照明を構成し、照明21Bがローアングル照明を構成する。照明21RGBは、赤色光、緑色光及び青色光が混在した白色光を照射することによって明るさを補うための補助照明であり、ハーフミラー23Uによってカラーカメラ26Uの光軸と同軸に照射される。 The illuminations 21R and 21B irradiate red light and blue light, respectively, and both illuminate the inspection object W from four directions, front, back, left, and right. Here, since the positions of the illumination 21R and the illumination 21B are different from each other from the stage S, the irradiation angle of the red light by the illumination 21R and the irradiation angle of the blue light by the illumination 21B are different from each other. In the example shown in FIG. 6, the illumination 21R constitutes high-angle illumination and the illumination 21B constitutes low-angle illumination. The illumination 21RGB is an auxiliary illumination for supplementing the brightness by irradiating white light in which red light, green light, and blue light are mixed, and is irradiated coaxially with the optical axis of the color camera 26U by the half mirror 23U.

照明22R,22Gは、それぞれ赤色光及び緑色光を照射するものであり、いずれも検査対象物Wの前後左右4方向から照明する。ここで、照明22Rと照明22Gは、ステージSからの位置が互いに異なっているため、照明22Rによる赤色光の照射角度と照明22Gによる緑色光の照射角度は互いに異なる。図6に示す例では、照明22Rがハイアングル照明を構成し、照明22Gがローアングル照明を構成する。照明22RGBは、赤色光、緑色光及び青色光が混在した白色光を照射することによって明るさを補うための補助照明であり、ハーフミラー23Lによってカラーカメラ26Lの光軸と同軸に照射される。 The illuminations 22R and 22G irradiate red light and green light, respectively, and both illuminate the inspection object W from four directions, front, back, left, and right. Here, since the positions of the illumination 22R and the illumination 22G are different from each other from the stage S, the irradiation angle of the red light by the illumination 22R and the irradiation angle of the green light by the illumination 22G are different from each other. In the example shown in FIG. 6, the illumination 22R constitutes high-angle illumination and the illumination 22G constitutes low-angle illumination. The illumination 22RGB is an auxiliary illumination for supplementing the brightness by irradiating white light in which red light, green light, and blue light are mixed, and is irradiated coaxially with the optical axis of the color camera 26L by the half mirror 23L.

第1の実施形態と同様、各照明21R,21B,22R,22Gは、図示しない偏光フィルタを備えており、各照明21R,21B,22R,22Gから照射される光は互いに同じ直線偏光特性(例えばS偏光波)に揃えられている。そして、偏光ビームスプリッタ24U,24Lは、各照明21R,21B,22R,22Gから照射される光の直線偏光成分を含む光、つまり鏡面反射光と、各照明21R,21B,22R,22Gから照射される光の直線偏光成分が除去された光、つまり拡散反射光に分離する。鏡面反射光及び拡散反射光は、プリズム25U,25Lに含まれるミラー25Um,25Lmによって平行化され、カラーカメラ26U,26Lに入射する。 Similar to the first embodiment, each of the illuminations 21R, 21B, 22R, 22G includes a polarizing filter (not shown), and the light emitted from each of the illuminations 21R, 21B, 22R, 22G has the same linear polarization characteristics (for example,). S polarized wave). The polarized beam splitters 24U and 24L are irradiated from light containing a linearly polarized light component of light emitted from each of the illuminations 21R, 21B, 22R and 22G, that is, specularly reflected light and each illumination 21R, 21B, 22R and 22G. The linearly polarized light component of the light is removed, that is, it is separated into diffusely reflected light. The specular reflected light and the diffuse reflected light are parallelized by the mirrors 25Um and 25Lm included in the prisms 25U and 25L, and are incident on the color cameras 26U and 26L.

かかる構成により、カラーカメラ26Uは検査対象物Wを上面側から撮影し、カラーカメラ26Lは検査対象物Wを下面側から撮影することができる。そして、画像処理装置27は、カラーカメラ26U,26Lによって得られた画像から赤色成分、緑色成分、青色成分を抽出することによって、鏡面反射光による像又は拡散反射光による像からなる合計12個の画像を生成する。各画像は、モニタ28を介してオペレータが確認することができる。 With such a configuration, the color camera 26U can photograph the inspection object W from the upper surface side, and the color camera 26L can photograph the inspection object W from the lower surface side. Then, the image processing device 27 extracts a red component, a green component, and a blue component from the images obtained by the color cameras 26U and 26L, so that a total of 12 images composed of an image by specular reflection light or an image by diffuse reflection light are formed. Generate an image. Each image can be confirmed by the operator via the monitor 28.

以上説明したように、本実施形態による外観検査装置20によれば、第1の実施形態による外観検査装置10の効果に加え、一つの検査対象物Wから上下両側から同時に撮影することによって、検査対象物Wの全体を一度に検査することが可能となる。 As described above, according to the visual inspection device 20 according to the present embodiment, in addition to the effect of the visual inspection device 10 according to the first embodiment, inspection is performed by simultaneously photographing from one inspection object W from both the upper and lower sides. The entire object W can be inspected at once.

以上、本発明の好ましい実施形態について説明したが、本発明は、上記の実施形態に限定されることなく、本発明の主旨を逸脱しない範囲で種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることはいうまでもない。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications can be made without departing from the gist of the present invention, and these are also the present invention. It goes without saying that it is included in the range.

例えば、上記各実施形態においては、赤色光、緑色光及び青色光からなる3色の光を検査対象物Wに照射しているが、本発明において3色の光を用いることは必須でなく、検査対象物Wの種類や検出すべき欠陥の種類に応じ、2色又は4色以上の光を用いても構わない。 For example, in each of the above embodiments, the inspection object W is irradiated with three colors of light including red light, green light, and blue light, but it is not essential to use the three colors of light in the present invention. Depending on the type of the object W to be inspected and the type of defect to be detected, two colors or four or more colors of light may be used.

10,20 外観検査装置
11R,11G,11B,11RGB,21R,21B,21RGB,22R,22G,22RGB 照明
12,23L,23U ハーフミラー
13,24L,24U 偏光ビームスプリッタ
14,25L,25U プリズム
14m,25Lm,25Um ミラー
15,26U,26L カラーカメラ
16,27 画像処理装置
17,28 モニタ
30〜32 反射光
41 ガラス板
42 NDフィルタ
S ステージ
S1 載置面
S2 裏面
W 検査対象物
10,20 Visual inspection equipment 11R, 11G, 11B, 11RGB, 21R, 21B, 21RGB, 22R, 22G, 22RGB Lighting 12, 23L, 23U Half mirror 13, 24L, 24U Polarized beam splitter 14, 25L, 25U Prism 14m, 25Lm , 25Um Mirror 15, 26U, 26L Color camera 16, 27 Image processing device 17, 28 Monitor 30-32 Reflected light 41 Glass plate 42 ND filter S Stage S1 Mounting surface S2 Back surface W Inspection object

Claims (6)

検査対象物が載置されるステージと、
第1の波長を有し、所定の直線偏光特性を有する第1の偏光を前記検査対象物に第1の角度で照射する第1の照明と、
前記第1の波長とは異なる第2の波長を有し、前記所定の直線偏光特性と同じ直線偏光特性を有する第2の偏光を前記第1の角度とは異なる第2の角度で前記検査対象物に照射する第2の照明と、
前記検査対象物からの反射光を受け、前記所定の直線偏光特性を有する第1の反射光と、前記所定の直線偏光特性が除去された第2の反射光に分離する第1の偏光ビームスプリッタと、
前記第1の反射光の光軸と前記第2の反射光の光軸を平行とする第1のミラーと、
平行な前記第1及び第2の反射光を同時に受け、前記第1の反射光に基づく第1の画像と、前記第2の反射光に基づく第2の画像を生成する第1のカラーカメラと、
前記第1の画像から前記第1の波長成分と前記第2の波長成分を抽出するとともに、前記第2の画像から前記第1の波長成分と前記第2の波長成分を抽出する画像処理装置と、を備えることを特徴とする外観検査装置。
The stage on which the inspection object is placed and
A first illumination that irradiates the inspection object with a first polarized light having a first wavelength and a predetermined linear polarization characteristic at a first angle.
The inspection target is a second polarized light having a second wavelength different from the first wavelength and having the same linear polarization characteristic as the predetermined linear polarization characteristic at a second angle different from the first angle. A second light that illuminates an object,
A first polarized beam splitter that receives reflected light from the inspection object and separates it into a first reflected light having the predetermined linear polarization characteristic and a second reflected light from which the predetermined linear polarization characteristic has been removed. When,
A first mirror in which the optical axis of the first reflected light and the optical axis of the second reflected light are parallel to each other.
A first color camera that simultaneously receives the first and second reflected lights in parallel and generates a first image based on the first reflected light and a second image based on the second reflected light. ,
An image processing device that extracts the first wavelength component and the second wavelength component from the first image and extracts the first wavelength component and the second wavelength component from the second image. , A visual inspection apparatus comprising.
前記第1及び第2の波長とは異なる第3の波長を有し、前記所定の直線偏光特性と同じ直線偏光特性を有する第3の偏光を前記第1及び第2の角度とは異なる第3の角度で前記検査対象物に照射する第3の照明をさらに備え、
前記画像処理装置は、前記第1の画像から前記第3の波長成分をさらに抽出するとともに、前記第2の画像から前記第3の波長成分をさらに抽出することを特徴とする請求項1に記載の外観検査装置。
A third polarized light having a third wavelength different from the first and second wavelengths and having the same linear polarization characteristic as the predetermined linear polarization characteristic is different from the first and second angles. Further equipped with a third illumination that illuminates the inspection object at the angle of
The first aspect of the present invention, wherein the image processing apparatus further extracts the third wavelength component from the first image and further extracts the third wavelength component from the second image. Visual inspection equipment.
前記第1又は第2の反射光の光路上に配置され、前記第1の反射光の光路長と前記第2の反射光の光路長を一致させるガラス板をさらに備えることを特徴とする請求項1又は2に記載の外観検査装置。 A claim, further comprising a glass plate arranged on the optical path of the first or second reflected light and matching the optical path length of the first reflected light with the optical path length of the second reflected light. The visual inspection apparatus according to 1 or 2. 前記第1又は第2の反射光の光路上に配置されたNDフィルタをさらに備えることを特徴とする請求項1乃至3のいずれか一項に記載の外観検査装置。 The visual inspection apparatus according to any one of claims 1 to 3, further comprising an ND filter arranged on the optical path of the first or second reflected light. 前記ステージは透明であり、
前記第1の照明は、前記ステージの表面のうち前記検査対象物が載置される載置面側に位置し、
前記第2の照明は、前記ステージの表面のうち前記載置面とは反対の裏面側に位置することを特徴とする請求項1乃至4のいずれか一項に記載の外観検査装置。
The stage is transparent
The first illumination is located on the surface of the stage on the mounting surface side on which the inspection object is mounted.
The visual inspection apparatus according to any one of claims 1 to 4, wherein the second illumination is located on the back surface side of the front surface of the stage opposite to the above-described mounting surface.
前記検査対象物からの別の反射光を受け、前記所定の直線偏光特性を有する第3の反射光と、前記所定の直線偏光特性が除去された第4の反射光に分離する第2の偏光ビームスプリッタと、
前記第3の反射光の光軸と前記第4の反射光の光軸を平行とする第2のミラーと、
平行な前記第3及び第4の反射光を同時に受け、前記第3の反射光に基づく第3の画像と、前記第4の反射光に基づく第4の画像を得る第2のカラーカメラと、をさらに備え、
前記画像処理装置は、前記第3の画像から前記第1の波長成分と前記第2の波長成分を抽出するとともに、前記第4の画像から前記第1の波長成分と前記第2の波長成分を抽出し、
前記第1の偏光ビームスプリッタ及び前記第1のカラーカメラは、前記ステージの前記載置面側に設けられ、
前記第2の偏光ビームスプリッタ及び前記第2のカラーカメラは、前記ステージの前記裏面側に設けられることを特徴とする請求項5に記載の外観検査装置。
A second polarized light that receives another reflected light from the inspection object and separates it into a third reflected light having the predetermined linear polarization characteristic and a fourth reflected light from which the predetermined linear polarization characteristic has been removed. Beam splitter and
A second mirror in which the optical axis of the third reflected light and the optical axis of the fourth reflected light are parallel to each other.
A second color camera that simultaneously receives the third and fourth reflected lights in parallel and obtains a third image based on the third reflected light and a fourth image based on the fourth reflected light. With more
The image processing apparatus extracts the first wavelength component and the second wavelength component from the third image, and extracts the first wavelength component and the second wavelength component from the fourth image. Extract and
The first polarization beam splitter and the first color camera are provided on the front surface side of the stage.
The visual inspection apparatus according to claim 5, wherein the second polarization beam splitter and the second color camera are provided on the back surface side of the stage.
JP2019100101A 2019-05-29 2019-05-29 Appearance inspection device Active JP6570211B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019100101A JP6570211B1 (en) 2019-05-29 2019-05-29 Appearance inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019100101A JP6570211B1 (en) 2019-05-29 2019-05-29 Appearance inspection device

Publications (2)

Publication Number Publication Date
JP6570211B1 JP6570211B1 (en) 2019-09-04
JP2020193890A true JP2020193890A (en) 2020-12-03

Family

ID=67844741

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019100101A Active JP6570211B1 (en) 2019-05-29 2019-05-29 Appearance inspection device

Country Status (1)

Country Link
JP (1) JP6570211B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022254747A1 (en) * 2021-06-03 2022-12-08 三菱電機株式会社 Appearance inspection device, appearance inspection method, learning device, and inference device
KR20230039957A (en) * 2021-09-15 2023-03-22 주식회사 싸이너스 simultaneous measurement apparatus of two opposite sides
WO2024009868A1 (en) * 2022-07-05 2024-01-11 三菱電機株式会社 Appearance inspection system, appearance inspection method, training device, and inference device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110514670B (en) * 2019-10-08 2024-02-20 京隆科技(苏州)有限公司 IC material tape inspection device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0261610A (en) * 1988-08-26 1990-03-01 Rikagaku Kenkyusho Optical observation device and image pickup device
JP2009042202A (en) * 2007-08-08 2009-02-26 Taniguchi Consulting Engineers Co Ltd Wafer inspection equipment and wafer inspection method
US20100059657A1 (en) * 2008-09-05 2010-03-11 Nikon Corporation System and Method Producing Data For Correcting Autofocus Error in An Imaging Optical System
JP2011164061A (en) * 2010-02-15 2011-08-25 Ricoh Co Ltd Transparent object detection system
JP2014142339A (en) * 2012-12-31 2014-08-07 Djtech Co Ltd Inspection device
JP2017531787A (en) * 2014-09-30 2017-10-26 ケーエルエー−テンカー コーポレイション Wafer edge inspection with trajectory following edge profile
JP2018072075A (en) * 2016-10-26 2018-05-10 株式会社ニューフレアテクノロジー Polarization image acquisition device, pattern inspection device, polarization image acquisition method, and pattern inspection method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0261610A (en) * 1988-08-26 1990-03-01 Rikagaku Kenkyusho Optical observation device and image pickup device
JP2009042202A (en) * 2007-08-08 2009-02-26 Taniguchi Consulting Engineers Co Ltd Wafer inspection equipment and wafer inspection method
US20100059657A1 (en) * 2008-09-05 2010-03-11 Nikon Corporation System and Method Producing Data For Correcting Autofocus Error in An Imaging Optical System
JP2011164061A (en) * 2010-02-15 2011-08-25 Ricoh Co Ltd Transparent object detection system
JP2014142339A (en) * 2012-12-31 2014-08-07 Djtech Co Ltd Inspection device
JP2017531787A (en) * 2014-09-30 2017-10-26 ケーエルエー−テンカー コーポレイション Wafer edge inspection with trajectory following edge profile
JP2018072075A (en) * 2016-10-26 2018-05-10 株式会社ニューフレアテクノロジー Polarization image acquisition device, pattern inspection device, polarization image acquisition method, and pattern inspection method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022254747A1 (en) * 2021-06-03 2022-12-08 三菱電機株式会社 Appearance inspection device, appearance inspection method, learning device, and inference device
KR20230039957A (en) * 2021-09-15 2023-03-22 주식회사 싸이너스 simultaneous measurement apparatus of two opposite sides
KR102594832B1 (en) * 2021-09-15 2023-10-27 주식회사 싸이너스 simultaneous measurement apparatus of two opposite sides
WO2024009868A1 (en) * 2022-07-05 2024-01-11 三菱電機株式会社 Appearance inspection system, appearance inspection method, training device, and inference device

Also Published As

Publication number Publication date
JP6570211B1 (en) 2019-09-04

Similar Documents

Publication Publication Date Title
JP6570211B1 (en) Appearance inspection device
TWI700487B (en) System and method for inspecting object
KR20150005405A (en) Illumination System for Use in Optical Inspection, Illumination System-based Inspection System, and Illumination System-based Inspection Method
JP2009531701A (en) Sheet glass inspection
KR102350549B1 (en) Apparatus for inspecting defects of a substrate
KR20060053847A (en) Method for inspecting defects of glass plate and apparatus thereof
JP3762952B2 (en) Optical apparatus and image measuring apparatus and inspection apparatus using the same
KR101376632B1 (en) Image measuring device
KR20130109365A (en) Surface defect detecting apparatus and control method thereof
TW201312099A (en) Pattern inspection apparatus and method
JP2001050899A (en) Lighting for inspecting article surface
KR101078404B1 (en) Camera for detecting defect of metallic surface, metallic surface defect detection device including the same, and method of detecting defect of metallic surface
US7545489B2 (en) Apparatus and method of inspecting the surface of a wafer
JP2002214158A (en) Defect detecting method and detecting device for transparent plate-like body
TWI711816B (en) System and method for inspecting object
JP2006220578A (en) Surface inspecting apparatus
US20110019200A1 (en) Apparatus for visual inspection
KR101745764B1 (en) Apparatus and Method for Optically Inspecting Surface of Plate Member
JP2008064656A (en) Peripheral edge inspecting apparatus
TWI707131B (en) System and method for inspecting objects
JP2005233695A (en) Flaw inspection device for transparent panel
JP2005308725A (en) Device for inspecting defect in transparent plate
JP7413234B2 (en) Optical imaging device, optical inspection device, and optical inspection method
JP2023073722A (en) Inspection illumination device and inspection system
TW202411609A (en) Defect detection method and detection system for semi-reflective film irradiated with different light sources along the same optical axis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190529

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190529

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190805

R150 Certificate of patent or registration of utility model

Ref document number: 6570211

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250