JP2023019494A

JP2023019494A - inspection system

Info

Publication number: JP2023019494A
Application number: JP2021124257A
Authority: JP
Inventors: 一馬原口; Kazuma Haraguchi
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2021-07-29
Filing date: 2021-07-29
Publication date: 2023-02-09

Abstract

To provide an inspection system capable of estimating the direction of the surface of an article and capable of calibrating the color balance of a captured image.SOLUTION: An inspection system 100 includes a lighting unit 50, and a camera 80. The lighting unit 50 includes an area light source 10, a lens 30, and a color filter 20. The color filter 20 is placed at or near the focal position of lens 30 between area light source 10 and the lens 30. The color filter 20 is provided with a predetermined color distribution in the direction that intersects with the traveling direction of the inspection light emitted from the area light source 10. The image of item 200 is generated based on the reflected light of the inspection light reflected by article 200 and incident on the camera 80. The inspection system is configured so that the brightness information in the image of the item 200 is constant regardless of the incident direction of the inspection light to the article 200.SELECTED DRAWING: Figure 1A

Description

本開示は、物品の外観検査に用いられる検査システムに関する。 The present disclosure relates to an inspection system used for visual inspection of articles.

従来、物品の外観検査に用いられる照明装置として、特許文献１，２に開示される構成が知られている。 Conventionally, configurations disclosed in Patent Literatures 1 and 2 are known as illumination devices used for visual inspection of articles.

特許文献１，２に開示される従来の構成では、面光源とレンズとの間に遮光フィルターが配置される。また、この遮光フィルターは、レンズの入射側の焦点位置に配置される。照明装置をこのような構成とすることで、物品の表面の各点において照明条件を同じにすることができる。また、特許文献２に開示されるように、遮光フィルターとカラーフィルターとを組み合わせることで、物品の表面の方向（傾き）に応じて反射光の色分布を変更させることができる。このことにより、照明装置を備えた検査システムにおいて、物品の表面の方向や表面凹凸や傷等を高精度に検出できる。 In the conventional configurations disclosed in Patent Documents 1 and 2, a light shielding filter is arranged between the surface light source and the lens. Also, this light shielding filter is arranged at the focal position on the incident side of the lens. By configuring the lighting device in this manner, the lighting conditions can be made the same at each point on the surface of the article. Further, as disclosed in Patent Document 2, by combining a light-shielding filter and a color filter, it is possible to change the color distribution of reflected light according to the direction (inclination) of the surface of the article. As a result, in an inspection system equipped with an illumination device, the direction of the surface of an article, surface irregularities, scratches, and the like can be detected with high accuracy.

特許第５８６６５７３号公報Japanese Patent No. 5866573 特許第６４５１８２１号公報Japanese Patent No. 6451821

ところで、検査システムにおいて、照明装置から出射された検査光は、物品の表面で反射され、反射光がカメラに入射されて、物品の画像が撮像される。また、特許文献２に開示される構成では、物品の画像はカラー画像として取得される。 By the way, in the inspection system, the inspection light emitted from the lighting device is reflected by the surface of the article, the reflected light is incident on the camera, and the image of the article is captured. Further, in the configuration disclosed in Patent Document 2, the image of the article is obtained as a color image.

このような場合、撮像された画像におけるカラーバランスを校正する必要がある。一般的には、白色の物品を用いて画像を撮像し、ホワイトバランスが調整される。 In such cases, it is necessary to calibrate the color balance in the captured image. In general, an image is captured using a white article and the white balance is adjusted.

しかし、特許文献２に開示される構成では、カラーフィルターが、検査光の入射面内で色分布を有している。このため、検査光が物品に照射される方向によって、検査光の色が異なってしまう。また、物品の表面の方向が異なると、カメラで撮像された画像の色分布も異なってしまう。 However, in the configuration disclosed in Patent Document 2, the color filter has a color distribution within the plane of incidence of the inspection light. Therefore, the color of the inspection light differs depending on the direction in which the inspection light is irradiated onto the article. In addition, if the direction of the surface of the article is different, the color distribution of the image captured by the camera will also be different.

つまり、特許文献２に開示された構成では、物品の表面の方向推定と撮像された画像のカラーバランスの校正とが両立しないという課題があった。 In other words, in the configuration disclosed in Patent Document 2, there is a problem that the estimation of the direction of the surface of the article and the calibration of the color balance of the imaged image are not compatible.

本開示は、物品の表面の方向推定が可能であるとともに撮像された画像のカラーバランスの校正が可能な検査システムを提供することにある。 SUMMARY OF THE DISCLOSURE The present disclosure seeks to provide an inspection system capable of estimating the orientation of the surface of an article and capable of calibrating the color balance of the captured image.

上記目的を達成するため、本開示に係る検査システムは、物品に検査光を照射する照明装置と、前記検査光が照射された前記物品を撮像する撮像装置と、を少なくとも備えた検査システムであって、前記照明装置は、前記検査光を出射する面光源と、前記面光源から出射された前記検査光を前記物品に向けて集光するレンズと、を少なくとも備え、前記検査光は、進行方向と交差する方向に所定の色分布が付与された状態で、前記レンズに入射され、前記撮像装置で撮像された前記物品の画像は、前記物品で反射され、かつ前記撮像装置に入射された前記検査光の反射光に基づいて生成され、前記撮像装置で撮像された前記物品の画像における輝度情報が、前記物品に対する前記検査光の入射方向によらず一定となるように構成されていることを特徴とする。 In order to achieve the above object, an inspection system according to the present disclosure includes at least an illumination device that irradiates an article with inspection light, and an imaging device that images the article irradiated with the inspection light. The illumination device includes at least a surface light source that emits the inspection light, and a lens that converges the inspection light emitted from the surface light source toward the article, and the inspection light travels in a traveling direction. The image of the article incident on the lens and captured by the imaging device in a state in which a predetermined color distribution is imparted in a direction intersecting with the wherein luminance information in the image of the article, which is generated based on the reflected light of the inspection light and captured by the imaging device, is constant regardless of the incident direction of the inspection light with respect to the article. Characterized by

本開示によれば、撮像された画像のカラーバランスの校正を行うことができる。また、物品の表面の方向を推定することができ、物品の表面が平坦でない場合にも、物品の外観検査を行うことができる。 According to the present disclosure, it is possible to calibrate the color balance of a captured image. In addition, the orientation of the surface of the article can be estimated, and the appearance of the article can be inspected even when the surface of the article is not flat.

実施形態１に係る検査システムの概略構成図である。1 is a schematic configuration diagram of an inspection system according to Embodiment 1; FIG. 図１Ａの破線で囲まれた部分の拡大図である。1B is an enlarged view of the portion surrounded by the broken line in FIG. 1A; FIG. 物品に照射される検査光の照射立体角を示す模式図である。It is a schematic diagram which shows the irradiation solid angle of the test|inspection light with which an article|item is irradiated. 物品の表面に傾きがある場合の反射光の状態を示す模式図である。FIG. 4 is a schematic diagram showing the state of reflected light when the surface of an article is tilted; 物品の表面に別の傾きがある場合の反射光の状態を示す模式図である。FIG. 10 is a schematic diagram showing a state of reflected light when the surface of the article has another inclination; 金属の反射率の波長依存性の一例を示す図である。It is a figure which shows an example of the wavelength dependence of the reflectance of a metal. カラーフィルターの平面模式図である。It is a plane schematic diagram of a color filter. カメラで撮像した画像のＲＧＢ色空間における輝度表現の一例を示す図である。It is a figure which shows an example of the brightness|luminance representation in the RGB color space of the image imaged with the camera. 実施形態２に係るカラーフィルターの平面模式図である。3 is a schematic plan view of a color filter according to Embodiment 2. FIG. カメラの撮像画像における赤色光成分の輝度の位相依存性を示す図である。It is a figure which shows the phase dependence of the brightness|luminance of a red light component in the captured image of a camera. カメラの撮像画像における緑色光成分の輝度の位相依存性を示す図である。FIG. 4 is a diagram showing the phase dependence of luminance of a green light component in an image captured by a camera; カメラの撮像画像における青色光成分の輝度の位相依存性を示す図である。It is a figure which shows the phase dependence of the brightness|luminance of a blue light component in the captured image of a camera. 変形例１に係る液晶フィルターの平面模式図である。3 is a schematic plan view of a liquid crystal filter according to Modification 1. FIG. 変形例２に係る検査システムの概略構成図である。FIG. 11 is a schematic configuration diagram of an inspection system according to Modification 2; 変形例２に係る面光源の平面模式図である。FIG. 11 is a schematic plan view of a surface light source according to modification 2;

以下、本開示の実施形態を図面に基づいて説明する。なお、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本開示、その適用物或いはその用途を制限することを意図するものではない。 Hereinafter, embodiments of the present disclosure will be described based on the drawings. It should be noted that the following description of preferred embodiments is merely illustrative in nature and is not intended to limit the present disclosure, its applications or uses.

（実施形態１）
［検査システムの構成及び動作］
図１Ａは、本実施形態に係る検査システムの概略構成図を示し、図１Ｂは、図１Ａの破線で囲まれた部分の拡大図を示す。図２は、物品に照射される検査光の照射立体角を模式的に示す。図３Ａは、物品の表面に傾きがある場合の反射光の状態を模式的に示し、図３Ｂは、物品の表面に別の傾きがある場合の反射光の状態を模式的に示す。なお、以降の説明において、検査光の光軸方向をＸ方向と呼び、支持体からカメラ８０に向かう方向をＺ方向と呼ぶことがある。Ｘ方向及びＺ方向とそれぞれ交差する方向をＹ方向と呼ぶことがある。 (Embodiment 1)
[Configuration and operation of inspection system]
FIG. 1A shows a schematic configuration diagram of an inspection system according to this embodiment, and FIG. 1B shows an enlarged view of the portion surrounded by the broken line in FIG. 1A. FIG. 2 schematically shows an irradiation solid angle of inspection light with which an article is irradiated. FIG. 3A schematically shows the state of reflected light when the surface of the article is tilted, and FIG. 3B schematically shows the state of reflected light when the surface of the article is tilted differently. In the following description, the direction of the optical axis of inspection light may be called the X direction, and the direction from the support toward the camera 80 may be called the Z direction. A direction that intersects the X direction and the Z direction is sometimes called the Y direction.

図１に示すように、検査システム１００は、照明装置５０とハーフミラー（光学部材）６０と支持台７０とカメラ（撮像装置）８０とを備えている。照明装置５０とハーフミラー６０は、筐体４０の内部に配置されている。 As shown in FIG. 1 , the inspection system 100 includes an illumination device 50 , a half mirror (optical member) 60 , a support base 70 and a camera (imaging device) 80 . The illumination device 50 and the half mirror 60 are arranged inside the housing 40 .

後で詳述するように、検査システム１００では、支持台７０に載置された物品２００に照明装置５０から検査光を照査し、物品２００で反射された反射光をカメラ８０で撮像する。カメラ８０で撮像された画像に基づいて、物品２００の外観が検査される。 As will be described in detail later, in the inspection system 100 , an article 200 placed on a support table 70 is illuminated with inspection light from the lighting device 50 , and the reflected light reflected by the article 200 is captured by the camera 80 . The appearance of the article 200 is inspected based on the image captured by the camera 80 .

照明装置５０は、面光源１０とカラーフィルター２０とレンズ３０とで構成され、面光源１０は、白色の平面光を検査光として出射する。 The illumination device 50 includes a surface light source 10, a color filter 20, and a lens 30. The surface light source 10 emits white planar light as inspection light.

カラーフィルター２０は、面光源１０とレンズ３０との間であって、レンズ３０の焦点位置、この場合は、入射側の焦点位置に配置されている。カラーフィルター２０は、検査光の入射面内で所定の色分布を有している。このため、面光源１０から出射された検査光は、カラーフィルター２０を透過することで、検査光の進行方向と交差する方向に前述の色分布を有する平面光となる。カラーフィルター２０に付与された色分布については後で詳述する。 The color filter 20 is arranged between the surface light source 10 and the lens 30 and at the focal position of the lens 30, in this case, the focal position on the incident side. The color filter 20 has a predetermined color distribution within the plane of incidence of inspection light. Therefore, the inspection light emitted from the surface light source 10 passes through the color filter 20 and becomes planar light having the above-described color distribution in the direction intersecting with the traveling direction of the inspection light. The color distribution given to the color filter 20 will be detailed later.

レンズ３０は、面光源１０から出射され、カラーフィルター２０を透過した検査光を物品２００に向けて集光する。また、検査光は、レンズ３０を透過することで所定の照射立体角ＩＳ（図２参照）が付与される。このことについてさらに述べる。 The lens 30 converges the inspection light emitted from the surface light source 10 and transmitted through the color filter 20 toward the article 200 . Further, the inspection light is given a predetermined irradiation solid angle IS (see FIG. 2) by passing through the lens 30 . More on this.

図１に示すように、面光源１０とカラーフィルター２０とレンズ３０とを配置した場合、検査光の光軸上であって、かつレンズ３０の出射側焦点位置である点Ｐ１における照射立体角ＩＳは、カラーフィルター２０における検査光の光路の直径とレンズ３０の焦点距離ｆにより一義的に決まる。なお、ここで言う「照射立体角」とは、検査光の光路上の所定の点を頂点とし、当該所定の点に光が照射される範囲を示す任意形状の錐体を言う（例えば、図２参照）。前述の光路の直径をｒとすると、照射立体角ＩＳの平面半角θは式（１）に示す関係を満たす。 As shown in FIG. 1, when the surface light source 10, the color filter 20, and the lens 30 are arranged, the illumination solid angle IS is uniquely determined by the diameter of the optical path of the inspection light in the color filter 20 and the focal length f of the lens 30 . The term "irradiation solid angle" as used herein refers to an arbitrary-shaped cone having a predetermined point on the optical path of the inspection light as its apex and indicating the range in which the predetermined point is irradiated with light (for example, the 2). Assuming that the diameter of the optical path described above is r, the plane half angle θ of the irradiation solid angle IS satisfies the relationship shown in Equation (1).

θ＝ｔａｎ^－１（ｒ／２ｆ）・・・（１）
また、検査光の光軸から離れた位置であっても、レンズ３０の中心からレンズ３０の出射側焦点位置だけ離れた位置における照射立体角ＩＳも、点Ｐ１における照射立体角ＩＳと同じ形状で同じ大きさとなる。また、レンズ３０の出射側焦点位置よりも遠い位置における照射立体角ＩＳも、点Ｐ１における照射立体角ＩＳと同じ形状で同じ大きさとなる。 θ=tan ⁻¹ (r/2f) (1)
Further, even at a position away from the optical axis of the inspection light, the irradiation solid angle IS at a position separated from the center of the lens 30 by the exit-side focal position of the lens 30 has the same shape as the irradiation solid angle IS at the point P1. be the same size. Further, the irradiation solid angle IS at a position farther from the exit-side focal position of the lens 30 also has the same shape and size as the irradiation solid angle IS at the point P1.

また、検査光がハーフミラー６０により反射された場合にも、これらの照射立体角ＩＳは維持される。したがって、図２に示すように、検査光は、物品２００の表面の各点において同じ照射立体角ＩＳを有するように照射される。つまり、物品２００の表面の任意の点において、面光源１０からの距離に依存せず、照明条件が同じとなる。 Moreover, even when the inspection light is reflected by the half mirror 60, these illumination solid angles IS are maintained. Therefore, as shown in FIG. 2, the inspection light is projected such that each point on the surface of the article 200 has the same solid angle of illumination IS. That is, at any point on the surface of the article 200, the lighting conditions are the same regardless of the distance from the surface light source 10. FIG.

ハーフミラー（光学部材）６０は、レンズ３０を透過した検査光の光路中であって、物品２００で反射された反射光がカメラ８０に向かう光路中に配置されている。ハーフミラー６０は、レンズ３０で集光された検査光を物品２００に向けて反射する一方、物品２００で反射された反射光を透過する。つまり、ハーフミラー６０は、検査光を物品２００に照射させるとともに、物品２００からの反射光をカメラ８０に入射させる。 The half mirror (optical member) 60 is arranged in the optical path of the inspection light transmitted through the lens 30 and in the optical path of the reflected light reflected by the article 200 toward the camera 80 . The half mirror 60 reflects the inspection light condensed by the lens 30 toward the article 200 and transmits the reflected light reflected by the article 200 . In other words, the half mirror 60 irradiates the article 200 with inspection light and allows the reflected light from the article 200 to enter the camera 80 .

支持台７０は、平坦な表面を有しており、当該表面に物品２００が載置される。 The support base 70 has a flat surface on which the article 200 is placed.

カメラ（撮像装置）８０は、物品２００で反射され、ハーフミラー６０を透過した反射光を受光し、物品２００の画像を生成する。つまり、カメラ８０は、検査光が照射された物品２００の画像を撮像する。なお、カメラ８０で撮像される画像はカラー画像である。よって、図示しないが、カメラ８０は、撮像面を有する撮像素子として、カラーフィルターが搭載されたＣＭＯＳイメージセンサを有している。また、カメラ８０は、ＣＭＯＳイメージセンサの出力信号を処理して画像を生成するプロセッサ（図示せず）を備えていてもよい。 A camera (imaging device) 80 receives reflected light that has been reflected by the article 200 and has passed through the half mirror 60 to generate an image of the article 200 . That is, the camera 80 captures an image of the article 200 irradiated with the inspection light. Note that the image captured by the camera 80 is a color image. Therefore, although not shown, the camera 80 has a CMOS image sensor equipped with a color filter as an imaging element having an imaging surface. Camera 80 may also include a processor (not shown) that processes the output signal of the CMOS image sensor to generate an image.

次に、検査システム１００の動作原理について説明する。 Next, the operating principle of the inspection system 100 will be described.

図１に示すように、検査光は、ハーフミラー６０により、光軸がＺ方向に向くように反射される。物品２００の表面が平坦でかつ支持台７０の表面と平行である場合、物品２００の表面で反射される反射光（以下、単に反射光という）は、白色光となる。例えば、図１Ｂに示す物品２００の表面の領域Ｓ１での反射光は白色光としてカメラ８０に入射される。 As shown in FIG. 1, the inspection light is reflected by the half mirror 60 so that the optical axis is directed in the Z direction. When the surface of the article 200 is flat and parallel to the surface of the support base 70, the reflected light reflected by the surface of the article 200 (hereinafter simply referred to as reflected light) becomes white light. For example, the reflected light from area S1 on the surface of article 200 shown in FIG. 1B enters camera 80 as white light.

一方、カラーフィルター２０は検査光の入射面内で色分布を有している。その結果、図１Ａに示す例で言えば、カラーフィルター２０の赤色領域（以下、Ｒ領域（図４参照）という）を透過した検査光の光軸は、カラーフィルター２０の青色領域（以下、Ｂ領域（図４参照）という）を透過した検査光の光軸と方向が異なっている。また、前述したように、物品２００の表面の各点において、照射立体角ＩＳは同じである。このため、物品２００の表面に傾きがある場合、検査光の光軸の方向が異なることに対応して反射光の色が変化する。 On the other hand, the color filter 20 has a color distribution within the plane of incidence of the inspection light. As a result, in the example shown in FIG. 1A, the optical axis of the inspection light transmitted through the red region (hereinafter referred to as the R region (see FIG. 4)) of the color filter 20 is aligned with the blue region (hereinafter referred to as the B region) of the color filter 20. The optical axis and direction of the inspection light transmitted through the region (refer to FIG. 4) are different. Also, as described above, at each point on the surface of the article 200, the illumination solid angle IS is the same. Therefore, when the surface of the article 200 is tilted, the color of the reflected light changes corresponding to the difference in the direction of the optical axis of the inspection light.

図３Ａに示すように、物品２００の表面が紙面の左側に傾いていると、Ｂ領域を透過した検査光はカメラ８０の撮像面に向かって反射される。一方、Ｒ領域を透過した検査光の一部は、カメラ８０の撮像面から離れるように反射される。その結果、カメラ８０で撮像される物品２００の画像は、青みがかった色となる。例えば、図１Ｂに示す物品２００の表面の領域Ｓ２は、青みがかった色の領域としてカメラ８０で撮像される。 As shown in FIG. 3A, when the surface of the article 200 is tilted to the left of the paper surface, the inspection light transmitted through the B area is reflected toward the imaging surface of the camera 80 . On the other hand, part of the inspection light transmitted through the R region is reflected away from the imaging plane of camera 80 . As a result, the image of article 200 captured by camera 80 has a bluish color. For example, area S2 on the surface of article 200 shown in FIG. 1B is imaged by camera 80 as a bluish area.

また、図３Ｂに示すように、物品２００の表面が紙面の右側に傾いていると、Ｒ領域を透過した検査光はカメラ８０の撮像面に向かって反射される。一方、Ｂ領域を透過した検査光の一部は、カメラ８０の撮像面から離れるように反射される。その結果、カメラ８０で撮像される物品２００の画像は、赤みがかった色となる。例えば、図１Ｂに示す物品２００の表面の領域Ｓ３は、赤みがかった色の領域としてカメラ８０で撮像される。 Also, as shown in FIG. 3B, when the surface of the article 200 is tilted to the right side of the paper surface, the inspection light transmitted through the R area is reflected toward the image pickup surface of the camera 80 . On the other hand, part of the inspection light transmitted through area B is reflected away from the imaging plane of camera 80 . As a result, the image of article 200 captured by camera 80 has a reddish color. For example, area S3 on the surface of article 200 shown in FIG. 1B is imaged by camera 80 as a reddish area.

以上説明したように、図１Ａに示す検査システム１００によれば、カラーフィルター２０の色分布を適切に設定することで、カメラ８０での撮像画像における各色、例えば、赤色光、緑色光及び青色光（以下、これらを総称してＲＧＢと呼ぶことがある。）の強度等から、物品２００の表面の方向（傾き）を推定することができる。言い換えると、物品２００の表面が互いに方向の求まる複数の面で構成される場合、それぞれの面の方向を推定することができる。このことを利用して、物品２００の外観検査を行うことができる。例えば、白色光の照射のみでは識別が困難な物品２００の表面凹凸や傷の有無等を検査することができる。 As described above, according to the inspection system 100 shown in FIG. 1A, by appropriately setting the color distribution of the color filter 20, each color in the image captured by the camera 80, for example, red light, green light, and blue light (These may be collectively referred to as RGB hereinafter.) The direction (inclination) of the surface of the article 200 can be estimated from the intensity and the like. In other words, when the surface of the article 200 is composed of a plurality of surfaces whose directions can be determined with respect to each other, the direction of each surface can be estimated. By utilizing this fact, the appearance inspection of the article 200 can be performed. For example, it is possible to inspect the presence or absence of surface irregularities and scratches on the article 200, which is difficult to identify only by irradiation with white light.

［カラーフィルターの構成及びキャリブレーションについて］
前述した物品２００の表面の方向推定を行う場合、撮像画像におけるカラーバランスが構成されていることが必要である。言い換えると、撮像画像におけるＲＧＢの強度が校正されていることが必要である。一般には、白色の物品２００を照明環境毎に撮像し、ＲＧＢの強度を調整する。 [Construction and calibration of color filters]
When estimating the direction of the surface of the article 200 described above, it is necessary to configure the color balance in the captured image. In other words, it is necessary that the RGB intensities in the captured image are calibrated. In general, the white article 200 is imaged for each lighting environment, and the intensity of RGB is adjusted.

また、物品２００の材質が異なる場合、反射率の波長依存性も異なる。図４は、金属の反射率の波長依存性の一例を示し、例えば、銀（Ａｇ）は、可視光領域（４００ｎｍ～７００ｎｍ）で反射率が１程度と一定である。一方、波長が６５０ｎｍから５００ｎｍにかけて、金（Ａｕ）の反射率は、１から０．４程度まで低下する。また、５００ｎｍ以下の波長域では、反射率が０．４程度と略一定となる。波長が６５０ｎｍから４００ｎｍにかけて、銅（Ｃｕ）は、の反射率は、１から０．５程度まで低下する。このことに鑑みれば、検査対象となる物品２００の材質が異なる場合も、ＲＧＢの強度校正が必要となる。 Further, when the material of the article 200 is different, the wavelength dependency of the reflectance is also different. FIG. 4 shows an example of the wavelength dependence of the reflectance of metals. For example, silver (Ag) has a constant reflectance of about 1 in the visible light region (400 nm to 700 nm). On the other hand, the reflectance of gold (Au) decreases from 1 to about 0.4 when the wavelength is from 650 nm to 500 nm. Moreover, in the wavelength region of 500 nm or less, the reflectance is substantially constant at about 0.4. The reflectance of copper (Cu) decreases from 1 to about 0.5 when the wavelength is from 650 nm to 400 nm. In view of this, even when the material of the article 200 to be inspected is different, it is necessary to calibrate the intensity of RGB.

しかし、図１Ａに示す検査システム１００では、物品２００に照射される検査光は、カラーフィルター２０の色分布に対応して、物品２００への照射方向毎に色が異なる。よって、物品２００の表面に方向（傾き）が異なる面が複数存在すると、物品２００からの反射光も各面で異なる色となる。 However, in the inspection system 100 shown in FIG. 1A , the inspection light irradiated onto the article 200 has different colors depending on the irradiation direction of the article 200 in accordance with the color distribution of the color filter 20 . Therefore, if there are a plurality of surfaces with different directions (inclinations) on the surface of the article 200, the reflected light from the article 200 also has different colors on each surface.

したがって、カメラ８０の撮像面と物品２００の表面における各面の方向、及び物品２００への照射方向毎の検査光の色分布の三者の関係、さらに物品２００の材質が予め把握できていないと、ＲＧＢの強度を校正することができない。つまり、物品２００の表面の方向推定とＲＧＢの強度校正とが両立しないという課題があった。 Therefore, it is necessary to grasp the relationship between the imaging surface of the camera 80 and the direction of each surface on the surface of the article 200, the color distribution of the inspection light for each irradiation direction to the article 200, and the material of the article 200 in advance. , RGB intensities cannot be calibrated. In other words, there is a problem that the direction estimation of the surface of the article 200 and the intensity calibration of RGB are incompatible.

そこで、本実施形態では、以下に示す手順によりＲＧＢの強度校正を行い、また、その結果に基づいて、物品２００の表面の方向推定を可能としている。 Therefore, in the present embodiment, RGB intensity calibration is performed according to the procedure described below, and the direction of the surface of the article 200 can be estimated based on the result.

まず、カメラ８０と支持台７０と照明装置５０の各部の配置関係は、正確に規定する。次に、物品２００の表面の方向は、カメラ８０で撮像できる範囲で任意とする。さらに、カラーフィルター２０に関して、検査光の照射方向によらない一つあるいは複数の色表現の制限を付加する。 First, the positional relationship among the camera 80, the support base 70, and the illumination device 50 is precisely defined. Next, the direction of the surface of the article 200 is arbitrary as long as the image can be captured by the camera 80 . Furthermore, regarding the color filter 20, one or a plurality of color expression restrictions are added regardless of the irradiation direction of the inspection light.

このように設定された状態で、例えば、物品２００の表面の方向を変化させながら、物品２００をカメラ８０で撮像する。さらに、撮像された画像の輝度情報に基づき、ＲＧＢの強度を校正する。あるいは、互いに方向が異なる複数の表面を有する物品２００をカメラ８０で撮像する。さらに、撮像された画像における複数点の輝度情報に基づき、ＲＧＢの強度を校正する。カラーフィルター２０及びその色表現の制限についてさらに説明する。 In this state, the article 200 is imaged by the camera 80 while changing the direction of the surface of the article 200, for example. Further, the intensity of RGB is calibrated based on the luminance information of the captured image. Alternatively, the camera 80 images the article 200 having a plurality of surfaces with different directions. Further, the RGB intensities are calibrated based on luminance information of a plurality of points in the captured image. The color filter 20 and its color representation limitations will be further described.

なお、本願明細書において「輝度情報」を以下のように定義する。輝度情報には、検査光の輝度が含まれる。また、輝度情報には、検査光に含まれる赤色光成分（以下、Ｒ成分という）、緑色光成分（以下、Ｇ成分という）、青色光成分（以下、Ｂ成分という）のそれぞれの輝度が含まれる。また、輝度情報には、検査光に含まれるＲ成分の輝度とＧ成分の輝度とＢ成分の輝度との和が含まれる。 In the specification of the present application, "luminance information" is defined as follows. The brightness information includes the brightness of the inspection light. The luminance information includes the luminance of each of the red light component (hereinafter referred to as R component), green light component (hereinafter referred to as G component), and blue light component (hereinafter referred to as B component) included in the inspection light. be The luminance information also includes the sum of the luminance of the R component, the luminance of the G component, and the luminance of the B component contained in the inspection light.

なお、Ｒ成分、Ｇ成分及びＢ成分は、それぞれ所定の波長幅を有している。例えば、Ｒ成分は、６５０ｎｍの波長を含み、数十ｎｍ～１００ｎｍ程度の波長幅を有している。Ｇ成分は、５００ｎｍの波長を含み、数十ｎｍ～１００ｎｍ程度の波長幅を有している。Ｂ成分は、４５０ｎｍの波長を含み、数十ｎｍ～１００ｎｍ程度の波長幅を有している。 Note that each of the R component, the G component and the B component has a predetermined wavelength width. For example, the R component includes a wavelength of 650 nm and has a wavelength width of several tens of nm to 100 nm. The G component includes a wavelength of 500 nm and has a wavelength width of several tens of nm to 100 nm. The B component includes a wavelength of 450 nm and has a wavelength width of several tens of nm to 100 nm.

図５は、カラーフィルターの平面模式図を示し、図６は、カメラで撮像した画像のＲＧＢ色空間における輝度表現の一例を示す。 FIG. 5 shows a schematic plan view of a color filter, and FIG. 6 shows an example of luminance representation in an RGB color space of an image captured by a camera.

なお、説明の便宜上、図５に示すカラーフィルター２０において、赤色領域（以下、Ｒ領域という）、Ｇ領域及びＢ領域をそれぞれ区分して図示しているが、実際には、面内の色分布は連続的に、あるいは段階的に変化している。 For convenience of explanation, the color filter 20 shown in FIG. changes continuously or stepwise.

図５に示すカラーフィルター２０の色分布は、色相（Hue）と彩度（Saturation）と明度（Value Brightness)とで表現される。つまり、通常のＲＧＢ色空間ではなく、ＨＳＶ色空間で表現される。具体的には、カラーフィルター２０における検査光の入射面において、検査光の光軸からの角度を色相として割り当てる。当該光軸からの距離を彩度として割り当てる。カラーフィルター２０を透過した検査光の強度を明度として割り当てる。 The color distribution of the color filter 20 shown in FIG. 5 is represented by Hue, Saturation, and Value Brightness. In other words, it is expressed in the HSV color space instead of the usual RGB color space. Specifically, on the incident surface of the inspection light in the color filter 20, the angle from the optical axis of the inspection light is assigned as the hue. The distance from the optical axis is assigned as saturation. The intensity of the inspection light transmitted through the color filter 20 is assigned as brightness.

このようにカラーフィルター２０を設定し、さらに、明度に関して、検査光の照射方向によらず一定となるように、カラーフィルター２０に色分布を付与する。つまり、カラーフィルター２０は、検査光がカラーフィルター２０を透過する位置によらず、明度が一定となるように構成されている。なお、カラーフィルター２０の色分布は、具体的には、以下に示す手順で設定される。 The color filter 20 is set in this way, and further, a color distribution is imparted to the color filter 20 so that the brightness is constant regardless of the irradiation direction of the inspection light. That is, the color filter 20 is configured such that the brightness is constant regardless of the position where the inspection light passes through the color filter 20 . Note that the color distribution of the color filter 20 is specifically set by the following procedure.

物品２００の表面における反射率が一定の場合、カメラ８０で撮像された画像上の輝度は、物品２００の表面の方向によらず、色空間における所定の位置の点で記述される。例えば、ＲＧＢ色空間上では、図６に示すように、Ｖ_Ｒ＝Ｖ_Ｇ＝Ｖ_Ｂ（＝一定）となる平面上の点となる。なお、Ｖ_Ｒは、撮像画像における赤色光の輝度ゲインである。Ｖ_Ｇは、撮像画像における緑色光の輝度ゲインである。Ｖ_Ｂは、撮像画像における青色光の輝度ゲインである。 When the reflectance on the surface of the article 200 is constant, the luminance on the image captured by the camera 80 is described at a given point in the color space regardless of the direction of the surface of the article 200 . For example, in the RGB color space, as shown in FIG. 6, it is a point on the plane where V _R =V _G =V _B (=constant). Note that _VR is the luminance gain of red light in the captured image. _VG is the luminance gain of green light in the captured image. _VB is the luminance gain of blue light in the captured image.

しかし、物品２００の表面の方向が一定でない等の場合、ゲインＶ_Ｒ，Ｖ_Ｇ。Ｖ_Ｂの値は、それぞれ等しくならない。このため、例えばゲインＶ_Ｒを基準として、残りのゲインＶ_Ｇ。Ｖ_Ｂに関し、調整係数α_Ｇ，α_Ｂを求める。調整後のゲインＶ’_Ｇ。Ｖ’_Ｂは、それぞれ式（２）、（３）に示すように表される。 However, if the direction of the surface of the article 200 is not constant, etc., the gains V _R , V _G . The values of _VB are not equal to each other. For this reason, for example, the gain V _R is used as a reference, and the remaining gain V _G . Regarding V _B , the adjustment coefficients α _G and α _B are obtained. Adjusted gain V′ _G . _V'B is expressed as shown in formulas (2) and (3), respectively.

Ｖ’_Ｇ＝α_Ｇ×Ｖ_Ｇ・・・（２）
Ｖ’_Ｂ＝α_Ｂ×Ｖ_Ｂ・・・（３）
つまり、図６に示すＧ軸に垂直な平面は、Ｖ’_Ｇ＝α_Ｇ×Ｖ_Ｇで記述される。Ｂ軸に垂直な平面は、Ｖ’_Ｂ＝α_Ｂ×Ｖ_Ｂで記述される。 _V′G = _αG × _VG (2)
V' _B =α _B ×V _B (3)
That is, the plane perpendicular to the G axis shown in FIG. 6 is described by _V′G = _αG × _VG . A plane perpendicular to the B axis is described by _V′B = _αB × _VB .

本実施形態では、物品２００の表面の方向によらず、ゲインＶ_Ｒ＝Ｖ’_Ｇ＝Ｖ’_Ｂ（＝一定）となるように、調整係数α_Ｇ，α_Ｂを設定する。このようにして、明度に関して、検査光の照射方向によらず一定となるように、カラーフィルター２０に色分布が付与される。 In this embodiment, the adjustment coefficients α _G and α _B are set so that the gain V _R =V′ _G =V′ _B (=constant) regardless of the direction of the surface of the article 200 . In this manner, a color distribution is imparted to the color filter 20 so that the brightness is constant regardless of the irradiation direction of the inspection light.

以上の通りであるから、本実施形態の検査システム１００は、以下の特徴を備えているとも言える。つまり、物品２００に照射される検査光は、Ｒ成分とＧ成分とＢ成分とを少なくとも含んでいる。 As described above, it can be said that the inspection system 100 of the present embodiment has the following features. That is, the inspection light with which the article 200 is irradiated contains at least the R component, the G component, and the B component.

カラーフィルター２０は、カメラ８０で撮像された物品２００の画像において、Ｒ成分の輝度とＧ成分の輝度とＢ成分の輝度とが、物品２００に対する検査光の入射方向によらずそれぞれ同じとなるように構成される。 The color filter 20 is arranged so that the brightness of the R component, the brightness of the G component, and the brightness of the B component in the image of the article 200 captured by the camera 80 are the same regardless of the incident direction of the inspection light to the article 200. configured to

なお、ゲイン調整前のデータのバラツキが大きい場合、撮像画像における各成分の輝度に関し、ゲインだけでなくオフセットを入れるのが好ましい。つまり、各軸に垂直な平面の原点からの距離が等しく、各点の輝度が当該平面上に位置するようにゲインに関する調整係数やオフセットを調整してもよい。 It should be noted that if there is a large variation in the data before the gain adjustment, it is preferable to add not only the gain but also the offset to the brightness of each component in the captured image. That is, the gain adjustment coefficients and offsets may be adjusted so that the distance from the origin of the plane perpendicular to each axis is the same and the brightness of each point is located on the plane.

［効果等］
以上説明したように、本実施形態に係る検査システム１００は、物品２００に検査光を照射する照明装置５０と、検査光が照射された物品２００を撮像するカメラ（撮像装置）８０と、を少なくとも備えている。 [Effects, etc.]
As described above, the inspection system 100 according to the present embodiment includes at least the illumination device 50 that irradiates the article 200 with inspection light, and the camera (imaging device) 80 that images the article 200 irradiated with the inspection light. I have.

検査システム１００は、カメラ８０で撮像された物品２００の画像に基づいて、物品２００の外観を検査するように構成される。また、検査システム１００は、当該画像に基づいて、物品２００の表面に傷や凹凸が形成されているか否かを検査するように構成される。 Inspection system 100 is configured to inspect the appearance of article 200 based on images of article 200 captured by camera 80 . Moreover, the inspection system 100 is configured to inspect whether or not the surface of the article 200 is flawed or uneven, based on the image.

照明装置５０は、検査光を出射する面光源１０と、面光源１０から出射された検査光を物品２００に向けて集光するレンズ３０と、を少なくとも備えている。 The illumination device 50 includes at least a surface light source 10 that emits inspection light, and a lens 30 that collects the inspection light emitted from the surface light source 10 toward the article 200 .

また、照明装置５０は、面光源１０とレンズ３０との間であって、レンズ３０の焦点位置または当該焦点位置の近傍に配置されたカラーフィルター２０をさらに備えている。カラーフィルター２０は、検査光の進行方向と交差する方向において、所定の色分布が付与されている。 The illumination device 50 further includes a color filter 20 arranged between the surface light source 10 and the lens 30 and at or near the focal position of the lens 30 . The color filter 20 is given a predetermined color distribution in a direction intersecting with the traveling direction of the inspection light.

検査光は、進行方向と交差する方向に所定の色分布が付与された状態で、レンズ３０に入射される。また、カラーフィルター２０を透過した後の検査光において、異なる色成分の光は、物品２００に照射されるときに、光軸の方向が互いに異なっている。 The inspection light is incident on the lens 30 while being given a predetermined color distribution in the direction intersecting the direction of travel. In addition, in the inspection light after passing through the color filter 20 , the light of different color components has different optical axis directions when the article 200 is irradiated.

カメラ８０で撮像された物品２００の画像は、物品２００で反射され、かつカメラ８０に入射された検査光の反射光に基づいて生成される。 The image of the article 200 captured by the camera 80 is generated based on the reflected light of the inspection light that has been reflected by the article 200 and entered the camera 80 .

カメラ８０で撮像された物品２００の画像における輝度情報が、物品２００に対する検査光の入射方向によらず一定となるように構成されている。なお、本実施形態では、カラーフィルター２０は、カメラ８０で撮像された物品２００の画像において、Ｒ成分の輝度とＧ成分の輝度とＢ成分の輝度とが、物品２００に対する検査光の入射方向によらずそれぞれ同じとなるように構成される。 The brightness information in the image of the article 200 captured by the camera 80 is configured to be constant regardless of the incident direction of the inspection light to the article 200 . In this embodiment, in the image of the article 200 captured by the camera 80 , the color filter 20 has the luminance of the R component, the luminance of the G component, and the luminance of the B component in the incident direction of the inspection light to the article 200 . are configured to be the same regardless of

検査システム１００をこのように構成することで、カメラ８０で撮像された画像におけるＲＧＢの強度校正を行うことができる。また、その結果に基づいて、物品２００の表面の方向を推定することができる。このことにより、物品２００の表面が平坦でない場合にも、物品２００の外観検査を行うことができる。また、物品２００の表面の方向を変えることで、カメラ８０で撮像される反射光の色成分が変化するため、例えば、反射率の波長依存性が互いに異なる複数の物品２００に関し、同じ検査システム１００で外観検査を行うことができる。 By configuring the inspection system 100 in this way, it is possible to calibrate the intensity of RGB in the image captured by the camera 80 . Also, based on the result, the orientation of the surface of the article 200 can be estimated. Accordingly, even when the surface of the article 200 is not flat, the appearance inspection of the article 200 can be performed. Also, by changing the direction of the surface of the article 200, the color component of the reflected light captured by the camera 80 changes. A visual inspection can be performed at

なお、物品２００の表面の方向によっては、カメラ８０で撮像された物品２００の画像において、Ｒ成分、Ｇ成分及びＢ成分のすべてが含まれるとは限らない。よって、カラーフィルター２０は、カメラ８０で撮像された物品２００の画像において、Ｒ成分の輝度とＧ成分の輝度とＢ成分の輝度のうち少なくとも２つが、物品２００に対する検査光の入射方向によらずそれぞれ同じとなるように構成されていればよい。この場合も、前述の効果を奏することができる。すなわち、カメラ８０で撮像された画像におけるＲＧＢの強度校正を行うことができる。また、その結果に基づいて、物品２００の表面の方向を推定することができる。また、反射率の波長依存性が互いに異なる複数の物品２００に関し、同じ検査システム１００で外観検査を行うことができる。 Depending on the direction of the surface of the article 200, the image of the article 200 captured by the camera 80 does not necessarily include all of the R, G, and B components. Therefore, in the image of the article 200 captured by the camera 80, the color filter 20 has at least two of the luminance of the R component, the luminance of the G component, and the luminance of the B component, regardless of the incident direction of the inspection light to the article 200. It is sufficient that they are configured to be the same. In this case as well, the above effects can be obtained. That is, it is possible to calibrate the intensity of RGB in the image captured by the camera 80 . Also, based on the result, the orientation of the surface of the article 200 can be estimated. In addition, the same inspection system 100 can be used to inspect the appearance of a plurality of articles 200 having different reflectance wavelength dependencies.

カラーフィルター２０に付与された色分布は、色相と彩度と明度とで表現される。カラーフィルター２０における検査光の入射面において、検査光の光軸からの角度を色相とし、光軸からの距離を前記彩度とし、かつカラーフィルター２０を透過した検査光の強度を明度とする。 The color distribution given to the color filter 20 is represented by hue, saturation and lightness. On the incident surface of the inspection light on the color filter 20, the angle from the optical axis of the inspection light is the hue, the distance from the optical axis is the saturation, and the intensity of the inspection light transmitted through the color filter 20 is the brightness.

この場合において、カラーフィルター２０は、検査光がカラーフィルター２０を透過する位置によらず、明度が一定となるように構成されている。 In this case, the color filter 20 is configured such that the brightness is constant regardless of the position where the inspection light passes through the color filter 20 .

このようにすることで、カメラ８０で撮像された物品２００の画像を用いて、ＲＧＢの強度校正を容易に行うことができる。 By doing so, the image of the article 200 captured by the camera 80 can be used to easily calibrate the intensity of RGB.

検査システム１００は、物品２００で反射された反射光がカメラ８０に向かう光路中に配置されたハーフミラー（光学部材）６０をさらに備えている。ハーフミラー６０は、レンズ３０で集光された検査光を物品２００に向けて反射する一方、物品２００で反射された反射光を透過する。 The inspection system 100 further includes a half mirror (optical member) 60 arranged in the optical path of the light reflected by the article 200 toward the camera 80 . The half mirror 60 reflects the inspection light condensed by the lens 30 toward the article 200 and transmits the reflected light reflected by the article 200 .

このようにハーフミラー６０を設けることで、物品２００を撮像する方向と、物品２００に検査光を照射する方向とを一致させることができる。つまり、検査システム１００をいわゆる同軸照明系とすることができ、検査システム１００の小型化が図れる。 By providing the half mirror 60 in this manner, the direction in which the article 200 is imaged can be matched with the direction in which the article 200 is irradiated with the inspection light. That is, the inspection system 100 can be a so-called coaxial illumination system, and the size of the inspection system 100 can be reduced.

（実施形態２）
図７は、本実施形態に係るカラーフィルターの平面模式図を示す。図８Ａは、カメラの撮像画像における赤色光成分の輝度の位相依存性を示し、図８Ｂは、緑色光成分の輝度の位相依存性を示し、図８Ｃは、青色光成分の輝度の位相依存性を示す。 (Embodiment 2)
FIG. 7 shows a schematic plan view of a color filter according to this embodiment. 8A shows the phase dependence of the luminance of the red light component in the captured image of the camera, FIG. 8B shows the phase dependence of the luminance of the green light component, and FIG. 8C shows the phase dependence of the luminance of the blue light component. indicates

なお、図８Ａ～８Ｃにおいて、物品２００の表面の方向を段階的に変化させた場合の輝度を同じグラフに図示している。 In FIGS. 8A to 8C, the luminance when the direction of the surface of the article 200 is changed stepwise is shown in the same graph.

また、説明の便宜上、図７及び以降に示す各図面において、実施形態１と同様の箇所について同一の符号を付して詳細な説明を省略する。 Also, for convenience of explanation, in FIG. 7 and subsequent drawings, the same parts as in Embodiment 1 are given the same reference numerals, and detailed explanations thereof are omitted.

図７に示すカラーフィルター２１は、以下に示す点で、図５に示すカラーフィルター２０と異なる。 The color filter 21 shown in FIG. 7 differs from the color filter 20 shown in FIG. 5 in the following points.

まず、検査光の光軸からの距離を振幅とし、検査光の光軸を中心として、所定方向からの角度を位相とする。これら振幅と位相とは、カラーフィルター２１を透過した検査光のＲ成分、Ｇ成分及びＢ成分の輝度から算出される。 First, the distance from the optical axis of the inspection light is defined as the amplitude, and the angle from a predetermined direction centered on the optical axis of the inspection light is defined as the phase. These amplitude and phase are calculated from the brightness of the R, G and B components of the inspection light that has passed through the color filter 21 .

また、本実施形態では、カメラ８０で撮像された物品２００の画像において、Ｒ成分、Ｇ成分及びＢ成分の輝度の平均値が物品２００の表面の方向によらず一定となるように、カラーフィルター２１に色分布が付与される。つまり、カラーフィルター２１に関して、検査光の照射方向によらない一つあるいは複数の色表現の制限が付加される。 In addition, in the present embodiment, in the image of the article 200 captured by the camera 80, the color filter is used so that the average value of the brightness of the R component, the G component, and the B component is constant regardless of the direction of the surface of the article 200. 21 is given a color distribution. That is, one or a plurality of color expression restrictions are added to the color filter 21 regardless of the irradiation direction of the inspection light.

また、カメラ８０で撮像された物品２００の所定領域の画像において、Ｒ成分の輝度とＧ成分の輝度とＢ成分の輝度との和が、所定領域の面の方向によらず一定となるように、カラーフィルター２１に色分布が付与される。 Further, in the image of the predetermined area of the article 200 captured by the camera 80, the sum of the luminance of the R component, the luminance of the G component, and the luminance of the B component is constant regardless of the direction of the surface of the predetermined area. , the color filter 21 is provided with a color distribution.

具体的には、前述したゲインＶ_Ｒ，Ｖ_Ｇ，Ｖ_Ｂに関し、以下の式（４）に示す満たす関係を満たすように調整係数α_Ｇ，α_Ｂを求める。 Specifically, regarding the gains V _R , V _G , and V _B described above, the adjustment coefficients α _G and α _B are obtained so as to satisfy the relationship shown in the following equation (4).

Ｖ_Ｒ＋α_ＧＶ_Ｇ＋α_ＢＶ_Ｂ＝一定・・・（４）
これらの調整係数α_Ｇ，α_Ｂを求めるにあたって、図８Ａ～８Ｃに示す輝度の波長依存性を参照する。例えば、図８Ａ～８Ｃに示す例で言えば、Ｒ成分の輝度は、位相が０度のときに最大となり、１８０度のときに最小となる。Ｇ成分の輝度は、位相が１２０度のときに最大となり、３００度のときに最小となる。Ｂ成分の輝度は、位相が２４０度のときに最大となり、６０度のときに最小となる。 _VR + α _G V _G + α _B V _B = constant (4)
In obtaining these adjustment coefficients α _G and α _B , the wavelength dependence of luminance shown in FIGS. 8A to 8C is referred to. For example, in the example shown in FIGS. 8A-8C, the luminance of the R component is maximum when the phase is 0 degrees and minimum when the phase is 180 degrees. The luminance of the G component is maximum when the phase is 120 degrees and minimum when the phase is 300 degrees. The luminance of the B component is maximum when the phase is 240 degrees and minimum when the phase is 60 degrees.

図８Ａ～８Ｃに示す各成分の輝度の波長依存性を参照すれば、所定の位相における各成分の輝度を求めることができる。各位相における各成分の輝度の和を求めて、式（４）を満足するように調整係数α_Ｇ，α_Ｂを求める。なお、調整係数α_Ｇ，α_Ｂを求めるにあたって最小二乗法等の推定方法を用いることができる。 By referring to the wavelength dependence of the brightness of each component shown in FIGS. 8A to 8C, the brightness of each component at a given phase can be obtained. The sum of the brightness of each component in each phase is obtained, and the adjustment coefficients α _G and α _B are obtained so as to satisfy the equation (4). An estimation method such as the method of least squares can be used to obtain the adjustment coefficients α _G and α _B .

求められた調整係数α_Ｇ，α_Ｂに基づいて、式（４）を満足するように、カラーフィルター２１に色分布が付与される。 Based on the obtained adjustment coefficients α _G and α _B , a color distribution is given to the color filter 21 so as to satisfy Expression (4).

カラーフィルター２１は、カメラ８０で撮像された物品２００の画像において、Ｒ成分の輝度とＧ成分の輝度とＢ成分の輝度との和が、物品２００に対する検査光の入射方向によらず同じとなるように構成される。言い換えると、カラーフィルター２１は、カメラ８０で撮像された物品２００の画像において、Ｒ成分の輝度とＧ成分の輝度とＢ成分の輝度との和が、物品２００に対する検査光の入射方向によらず同じとなるように構成される。 In the image of the article 200 captured by the camera 80, the color filter 21 makes the sum of the luminance of the R component, the luminance of the G component, and the luminance of the B component the same regardless of the incident direction of the inspection light to the article 200. configured as In other words, in the image of the article 200 captured by the camera 80, the color filter 21 makes the sum of the luminance of the R component, the luminance of the G component, and the luminance of the B component irrespective of the incident direction of the inspection light to the article 200. configured to be the same.

本実施形態によれば、実施形態１に示す構成が奏するのと同様の効果を奏することができる。つまり、カメラ８０で撮像された画像におけるＲＧＢの強度校正を行うことができる。また、その結果に基づいて、物品２００の表面の方向を推定することができる。このことにより、物品２００の表面が平坦でない場合にも、物品２００の外観検査を行うことができる。また、物品２００の表面の方向を変えることで、カメラ８０で撮像される反射光の色成分が変化するため、例えば、反射率の波長依存性が互いに異なる複数の物品２００に関し、同じ検査システム１００で外観検査を行うことができる。 According to this embodiment, the same effects as those of the configuration shown in the first embodiment can be obtained. That is, it is possible to calibrate the intensity of RGB in the image captured by the camera 80 . Also, based on the result, the orientation of the surface of the article 200 can be estimated. Accordingly, even when the surface of the article 200 is not flat, the appearance inspection of the article 200 can be performed. Also, by changing the direction of the surface of the article 200, the color component of the reflected light captured by the camera 80 changes. A visual inspection can be performed at

なお、前述したように、物品２００の表面の方向によっては、カメラ８０で撮像された物品２００の画像において、Ｒ成分、Ｇ成分及びＢ成分のすべてが含まれるとは限らない。例えば、当該画像において、Ｒ成分のみが含まれることもありうる。よって、Ｒ成分の輝度とＧ成分の輝度とＢ成分の輝度との和において、１種類のみの色成分の輝度が含まれていてもよい。また、Ｒ成分の輝度とＧ成分の輝度とＢ成分の輝度との和は、Ｒ成分、Ｇ成分及びＢ成分のうちいずれか２つの色成分の輝度の和であってもよい。 As described above, depending on the direction of the surface of the article 200, the image of the article 200 captured by the camera 80 does not necessarily include all of the R, G, and B components. For example, the image may contain only the R component. Therefore, the sum of the luminance of the R component, the luminance of the G component, and the luminance of the B component may include the luminance of only one kind of color component. Also, the sum of the luminance of the R component, the luminance of the G component, and the luminance of the B component may be the sum of the luminance of any two of the R component, the G component, and the B component.

＜変形例１＞
図９は、本変形例に係る液晶フィルターの平面模式図を示す。 <Modification 1>
FIG. 9 shows a schematic plan view of a liquid crystal filter according to this modification.

図１Ａに示す検査システム１００において、カラーフィルター２０を図９に示す液晶フィルター２２に置き換えてもよい。なお、液晶フィルター２２も一般的なカラーフィルターに含まれることは言うまでもない。 In the inspection system 100 shown in FIG. 1A, the color filter 20 may be replaced with the liquid crystal filter 22 shown in FIG. It goes without saying that the liquid crystal filter 22 is also included in general color filters.

この場合も、実施形態１に示す態様で液晶フィルター２２における色分布が設定される。ただし、前述したように、物品２００の表面の方向によっては、カメラ８０で撮像された物品２００の画像において、Ｒ成分、Ｇ成分及びＢ成分のすべてが含まれるとは限らない。 Also in this case, the color distribution in the liquid crystal filter 22 is set in the manner shown in the first embodiment. However, as described above, depending on the direction of the surface of the article 200, the image of the article 200 captured by the camera 80 does not always include all of the R, G, and B components.

よって、液晶フィルター２２は、カメラ８０で撮像された物品２００の画像において、Ｒ成分の輝度とＧ成分の輝度とＢ成分の輝度のうち少なくとも２つが、物品２００に対する検査光の入射方向によらずそれぞれ同じとなるように構成される。 Therefore, in the image of the article 200 captured by the camera 80, the liquid crystal filter 22 has at least two of the luminance of the R component, the luminance of the G component, and the luminance of the B component. configured to be the same.

あるいは、実施形態２に示す態様で液晶フィルター２２における色分布が設定されてもよい。つまり、液晶フィルター２２は、カメラ８０で撮像された物品２００の画像において、Ｒ成分の輝度とＧ成分の輝度とＢ成分の輝度との和が、物品２００に対する検査光の入射方向によらず同じとなるように構成される。この場合、Ｒ成分の輝度とＧ成分の輝度とＢ成分の輝度との和において、１種類のみの色成分の輝度が含まれていてもよい。また、Ｒ成分の輝度とＧ成分の輝度とＢ成分の輝度との和は、Ｒ成分、Ｇ成分及びＢ成分のうちいずれか２つの色成分の輝度の和であってもよい。 Alternatively, the color distribution in the liquid crystal filter 22 may be set in the manner shown in the second embodiment. That is, in the image of the article 200 captured by the camera 80, the liquid crystal filter 22 makes the sum of the luminance of the R component, the luminance of the G component, and the luminance of the B component the same regardless of the incident direction of the inspection light to the article 200. is configured to be In this case, the sum of the luminance of the R component, the luminance of the G component, and the luminance of the B component may include the luminance of only one kind of color component. Also, the sum of the luminance of the R component, the luminance of the G component, and the luminance of the B component may be the sum of the luminance of any two of the R component, the G component, and the B component.

なお、これらの色分布を実現するために、液晶フィルター２２において、赤色光を透過する赤色フィルター（以下、Ｒフィルターという）と、緑色光を透過する緑色フィルター（以下、Ｇフィルターという）と、青色光を透過する青色フィルター（以下、Ｂフィルターという）との配列関係は、適宜変更されうる。つまり、液晶フィルター２２において、ＲフィルターとＧフィルターとＢフィルターとの配列関係は、図９に示す例に特に限定されない。 In order to realize these color distributions, the liquid crystal filter 22 includes a red filter that transmits red light (hereinafter referred to as an R filter), a green filter that transmits green light (hereinafter referred to as a G filter), and a blue filter. The arrangement relationship with a blue filter (hereinafter referred to as B filter) that transmits light can be changed as appropriate. That is, in the liquid crystal filter 22, the arrangement relationship among the R filter, the G filter, and the B filter is not particularly limited to the example shown in FIG.

また、液晶フィルター２２に限定されず、ＲフィルターとＧフィルターとＢフィルターとがモザイク状あるいはブロック状に配置されたカラーフィルターを用いてもよい。 In addition, it is not limited to the liquid crystal filter 22, and a color filter in which an R filter, a G filter, and a B filter are arranged in a mosaic pattern or in a block pattern may be used.

つまり、本変形例の検査システム１００において、面光源１０は白色の検査光を出射する。一方で、カラーフィルターは、Ｒフィルターと、Ｇフィルターと、Ｂフィルターとが、平面的に配置されて構成される。 That is, in the inspection system 100 of this modified example, the surface light source 10 emits white inspection light. On the other hand, the color filter is configured by arranging an R filter, a G filter, and a B filter in a plane.

本変形例によれば、実施形態１や実施形態２に示す構成が奏するのと同様の効果をすすることができる。つまり、カメラ８０で撮像された画像におけるＲＧＢの強度校正を行うことができる。また、その結果に基づいて、物品２００の表面の方向を推定することができる。このことにより、物品２００の表面が平坦でない場合にも、物品２００の外観検査を行うことができる。また、物品２００の表面の方向を変えることで、カメラ８０で撮像される反射光の色成分が変化するため、例えば、反射率の波長依存性が互いに異なる複数の物品２００に関し、同じ検査システム１００で外観検査を行うことができる。 According to this modified example, it is possible to obtain the same effects as those of the configurations shown in the first and second embodiments. That is, it is possible to calibrate the intensity of RGB in the image captured by the camera 80 . Also, based on the result, the orientation of the surface of the article 200 can be estimated. Accordingly, even when the surface of the article 200 is not flat, the appearance inspection of the article 200 can be performed. Also, by changing the direction of the surface of the article 200, the color component of the reflected light captured by the camera 80 changes. A visual inspection can be performed at

なお、面光源１０と液晶フィルター２２とが一体化されて、液晶ディスプレイとして構成されてもよい。この場合、一体化された液晶ディスプレイは、図１Ａにおけるカラーフィルター２０の位置に配置される。なお、面光源１０は、白色光を発するライン光源（図示せず）と光拡散版（図示せず）とで構成されてもよい。 Note that the surface light source 10 and the liquid crystal filter 22 may be integrated to form a liquid crystal display. In this case, the integrated liquid crystal display is placed at the location of the color filter 20 in FIG. 1A. The surface light source 10 may be composed of a line light source (not shown) that emits white light and a light diffusion plate (not shown).

＜変形例２＞
図１０は、本変形例に係る検査システムの概略構成図を示し、図１１は、面光源の平面模式図を示す。 <Modification 2>
FIG. 10 shows a schematic configuration diagram of an inspection system according to this modification, and FIG. 11 shows a schematic plan view of a surface light source.

図１０に示す検査システム１００は、図１Ａに示す検査システム１００に対して、カラーフィルター２０が省略されている点及び面光源１１が図１Ａにおけるカラーフィルター２０の位置に配置されている点で異なる。また、図１１に示すように、面光源１１が、ＬＥＤ光源１１Ｒ，１１Ｇ，１１Ｂがモザイク状に配列された構成である点で異なる。なお、ＬＥＤ光源１１Ｒは赤色光を出射する。ＬＥＤ光源１１Ｇは緑色光を出射する。ＬＥＤ光源１１Ｂは青色光を出射する。 The inspection system 100 shown in FIG. 10 differs from the inspection system 100 shown in FIG. 1A in that the color filter 20 is omitted and the surface light source 11 is arranged at the position of the color filter 20 in FIG. 1A. . Also, as shown in FIG. 11, the surface light source 11 is different in that the LED light sources 11R, 11G, and 11B are arranged in a mosaic pattern. Note that the LED light source 11R emits red light. The LED light source 11G emits green light. The LED light source 11B emits blue light.

この場合、面光源１１から出射される検査光の色分布は、実施形態１に示す態様で設定される。ただし、前述したように、物品２００の表面の方向によっては、カメラ８０で撮像された物品２００の画像において、Ｒ成分、Ｇ成分及びＢ成分のすべてが含まれるとは限らない。 In this case, the color distribution of the inspection light emitted from the surface light source 11 is set as shown in the first embodiment. However, as described above, depending on the direction of the surface of the article 200, the image of the article 200 captured by the camera 80 does not always include all of the R, G, and B components.

よって、面光源１１から出射される検査光は、カメラ８０で撮像された物品２００の画像において、Ｒ成分の輝度とＧ成分の輝度とＢ成分の輝度のうち少なくとも２つが、物品２００に対する検査光の入射方向によらずそれぞれ同じとなるように構成される。 Therefore, in the image of the article 200 captured by the camera 80, the inspection light emitted from the surface light source 11 has at least two of the luminance of the R component, the luminance of the G component, and the luminance of the B component. are configured to be the same regardless of the incident direction.

あるいは、実施形態２に示す態様で色分布が設定されてもよい。つまり、面光源１１から出射される検査光は、カメラ８０で撮像された物品２００の画像において、Ｒ成分の輝度とＧ成分の輝度とＢ成分の輝度との和が、物品２００に対する検査光の入射方向によらず同じとなるように構成される。なお、実施形態２に示したのと同様に、Ｒ成分の輝度とＧ成分の輝度とＢ成分の輝度との和において、１種類のみの色成分の輝度が含まれていてもよい。また、Ｒ成分の輝度とＧ成分の輝度とＢ成分の輝度との和は、Ｒ成分、Ｇ成分及びＢ成分のうちいずれか２つの色成分の輝度の和であってもよい。 Alternatively, the color distribution may be set in the manner shown in the second embodiment. That is, in the image of the article 200 captured by the camera 80, the inspection light emitted from the surface light source 11 is the sum of the luminance of the R component, the luminance of the G component, and the luminance of the B component. It is configured to be the same regardless of the direction of incidence. As in the second embodiment, the sum of the luminance of the R component, the luminance of the G component, and the luminance of the B component may include the luminance of only one kind of color component. Also, the sum of the luminance of the R component, the luminance of the G component, and the luminance of the B component may be the sum of the luminance of any two of the R component, the G component, and the B component.

なお、これらの色分布を実現するために、面光源１１において、ＬＥＤ光源１１Ｒ，１１Ｇ，１１Ｂの配列関係は、適宜変更されうる。つまり、面光源１１において、ＬＥＤ光源１１Ｒ，１１Ｇ，１１Ｂの配列関係は、図１１に示す例に特に限定されない。 In order to realize these color distributions, the arrangement relationship of the LED light sources 11R, 11G, and 11B in the surface light source 11 can be changed as appropriate. That is, in the surface light source 11, the arrangement relationship of the LED light sources 11R, 11G, and 11B is not particularly limited to the example shown in FIG.

つまり、本変形例の検査システム１００において、面光源１１は、赤色光を出射する赤色光源であるＬＥＤ光源１１Ｒと、緑色光を出射する緑色光源であるＬＥＤ光源１１Ｇと、青色光を出射する青色光源ＬＥＤ光源１１Ｂとが、平面的に配置されて構成される。 That is, in the inspection system 100 of this modified example, the surface light source 11 includes an LED light source 11R that is a red light source that emits red light, an LED light source 11G that is a green light source that emits green light, and a blue light source that emits blue light. A light source and an LED light source 11B are arranged two-dimensionally.

本開示の検査システムは、物品の表面の方向推定が可能であるとともに撮像された画像のカラーバランスの校正が可能なため、物品の外観検査に用いる上で有用である。 INDUSTRIAL APPLICABILITY The inspection system of the present disclosure can estimate the orientation of the surface of an article and calibrate the color balance of the captured image, and is therefore useful for visual inspection of articles.

１０，１１面光源
２０，２１カラーフィルター
２２液晶フィルター（カラーフィルター）
３０レンズ
４０筐体
５０照明装置
６０ハーフミラー（光学部材）
７０支持台
８０カメラ（撮像装置）
１００検査システム
２００物品 10, 11 surface light source 20, 21 color filter 22 liquid crystal filter (color filter)
30 lens 40 housing 50 illumination device 60 half mirror (optical member)
70 support base 80 camera (imaging device)
100 inspection system 200 article

Claims

An inspection system comprising at least an illumination device for irradiating an article with inspection light and an imaging device for imaging the article irradiated with the inspection light,
The lighting device
a surface light source that emits the inspection light;
at least a lens that collects the inspection light emitted from the surface light source toward the article,
The inspection light is incident on the lens in a state in which a predetermined color distribution is imparted in a direction that intersects with the direction of travel,
The image of the article captured by the imaging device is generated based on the reflected light of the inspection light reflected by the article and incident on the imaging device,
An inspection system, wherein luminance information in an image of the article captured by the imaging device is constant regardless of the incident direction of the inspection light with respect to the article.

In the inspection system according to claim 1,
The lighting device
further comprising a color filter arranged between the surface light source and the lens and at or near the focal position of the lens;
The inspection system according to claim 1, wherein the color filter is provided with the color distribution in a direction intersecting with a traveling direction of the inspection light.

In the inspection system according to claim 2,
The color distribution is represented by hue, saturation and lightness,
In the incident surface of the inspection light in the color filter, the angle from the optical axis of the inspection light is the hue, the distance from the optical axis is the saturation, and the intensity of the inspection light transmitted through the color filter. is the brightness,
The inspection system, wherein the color filter is configured such that the brightness is constant regardless of the position where the inspection light passes through the color filter.

In the inspection system according to claim 3,
the inspection light with which the article is irradiated includes at least a red light component, a green light component, and a blue light component;
At least two of the brightness of the red light component, the brightness of the green light component, and the brightness of the blue light component, in the image of the article captured by the imaging device, are the inspection light for the article. An inspection system characterized in that it is configured to be the same regardless of the incident direction of the .

In the inspection system according to claim 2,
the inspection light with which the article is irradiated includes at least a red light component, a green light component, and a blue light component;
In the image of the article captured by the imaging device, the color filter is configured such that the sum of the luminance of the red light component, the luminance of the green light component, and the luminance of the blue light component is the sum of the luminance of the inspection light for the article. An inspection system characterized in that it is configured to be constant regardless of the direction of incidence.

In the inspection system according to any one of claims 2 to 5,
The surface light source emits the white inspection light,
The inspection system according to claim 1, wherein the color filters include a red filter that transmits red light, a green filter that transmits green light, and a blue filter that transmits blue light, which are arranged in a plane.

In the inspection system according to any one of claims 2 to 6,
An inspection system, wherein the surface light source and the color filter are integrated to form a liquid crystal display.

In the inspection system according to claim 1,
the inspection light emitted from the surface light source includes at least a red light component, a green light component, and a blue light component;
In the image of the article captured by the imaging device, at least two of the luminance of the red light component, the luminance of the green light component, and the luminance of the blue light component vary depending on the direction of incidence of the inspection light on the article. An inspection system characterized in that it is configured to be the same for each.

In the inspection system according to claim 1,
the inspection light emitted from the surface light source includes at least a red light component, a green light component, and a blue light component;
In the image of the article captured by the imaging device, the sum of the luminance of the red light component, the luminance of the green light component, and the luminance of the blue light component is independent of the direction of incidence of the inspection light on the article. An inspection system characterized in that it is configured to be constant.

In the inspection system according to claim 8 or 9,
An inspection system, wherein the surface light source comprises a red light source that emits red light, a green light source that emits green light, and a blue light source that emits blue light, which are arranged in a plane.

In the inspection system according to any one of claims 1 to 10,
further comprising an optical member arranged in an optical path in which the reflected light reflected by the article travels toward the imaging device;
The inspection system, wherein the optical member reflects the inspection light condensed by the lens toward the article and transmits the reflected light reflected by the article.

In the inspection system according to any one of claims 1 to 11,
An inspection system that inspects the appearance of the article based on the image of the article captured by the imaging device.

The inspection system of claim 12, wherein
An inspection system for inspecting whether or not a surface of an article has scratches or irregularities on the basis of an image of the article.