JP2020128971A - Inspection device - Google Patents

Inspection device Download PDF

Info

Publication number
JP2020128971A
JP2020128971A JP2019120295A JP2019120295A JP2020128971A JP 2020128971 A JP2020128971 A JP 2020128971A JP 2019120295 A JP2019120295 A JP 2019120295A JP 2019120295 A JP2019120295 A JP 2019120295A JP 2020128971 A JP2020128971 A JP 2020128971A
Authority
JP
Japan
Prior art keywords
inspection
image data
texture image
pixel value
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019120295A
Other languages
Japanese (ja)
Inventor
真達 下平
Masatatsu Shimodaira
真達 下平
修平 大野
Shuhei Ono
修平 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2019021809 priority Critical
Priority to JP2019021809 priority
Application filed by Keyence Corp filed Critical Keyence Corp
Publication of JP2020128971A publication Critical patent/JP2020128971A/en
Pending legal-status Critical Current

Links

Images

Abstract

To provide an inspection device which can inspect a measurement object by simple configuration while suppressing an increase in cost.SOLUTION: A measurement object S is irradiated with light from a plurality of directions by a plurality of illuminating units 110, respectively, and a plurality of pattern image data indicating the image of the measurement object S for each direction are successively generated by an imaging unit 120, and a plurality of texture image data indicating each of a plurality of images of the measurement object S for a plurality of directions are generated on the basis of the light emitted from the plurality of illuminating units 110. Height data indicating the height image of the measurement object S for each direction is generated by an arithmetic processing unit 132 on the basis of the plurality of pattern image data, and texture image data for inspection in which the influence of halation or blind spot of lighting is reduced is generated on the basis of the plurality of texture image data. Inspection of the measurement object S is executed by an inspection unit 230 using the height data or the texture data for inspection.SELECTED DRAWING: Figure 1

Description

本発明は、測定対象物の形状を検査する検査装置に関する。 The present invention relates to an inspection device that inspects the shape of a measurement target.

測定対象物の形状の検査を行うために種々の検査装置が用いられる。このような検査装置として、三角測距の原理を用いて測定対象物の検査を行う三角測距方式の検査装置がある。三角測距方式の検査装置においては、投光部により測定対象物の表面に光が照射され、その反射光が1次元または2次元に配列された画素を有する受光部により受光される。受光部により得られる受光量分布のデータに基づいて、測定対象物の高さ画像を示す高さデータが生成される。このような高さデータは、工場等の生産現場において、生産された測定対象物の高さを検査(インライン検査)するために用いられることがある。 Various inspection devices are used to inspect the shape of a measurement object. As such an inspection device, there is an inspecting device of a triangulation type which inspects an object to be measured using the principle of triangulation. In the triangulation type inspection apparatus, the light projecting unit irradiates the surface of the object to be measured with light, and the reflected light is received by the light receiving unit having pixels arranged one-dimensionally or two-dimensionally. Height data indicating a height image of the measurement target is generated based on the data of the received light amount distribution obtained by the light receiving unit. Such height data may be used in a production site such as a factory for inspecting the height of an object to be measured (in-line inspection).

例えば、特許文献1の三次元画像処理装置においては、測定対象物がベルトコンベアにより搬送され、所定の位置で投光手段により測定対象物に光が多数回照射される。また、測定対象物からの各反射光が撮像部で受光されることにより測定対象物が撮像される。測定対象物の複数の画像データに基づいて、測定対象物の高さデータ(高さ画像)が生成される。 For example, in the three-dimensional image processing apparatus of Patent Document 1, the measurement target is conveyed by a belt conveyor, and the measurement target is irradiated with light multiple times at a predetermined position. Further, the reflected light from the measurement target is received by the image capturing unit, so that the measurement target is imaged. Height data (height image) of the measurement target is generated based on the plurality of image data of the measurement target.

また、測定対象物の形状の検査を行うための検査装置としては、上記の三角測距方式の検査装置の他、フォトメトリックステレオ法を用いて測定対象物の検査を行う検査装置がある。この検査装置においては、例えば測定対象物に対して互いに異なる複数の位置に配置された複数の投光部から順次光が照射される。また、各投光部による光の照射時に、複数の投光部に対して予め定められた位置に配置された撮像部により測定対象物が撮像される。これにより、互いに異なる複数の光の照射方向にそれぞれ対応する複数の画像データが生成される。その後、フォトメトリックステレオ法を用いることにより、生成された複数の画像データに基づいて測定対象物の表面形状を示す形状データ(形状画像)が生成される。 Further, as an inspection device for inspecting the shape of the measurement object, there is an inspection device for inspecting the measurement object using the photometric stereo method, in addition to the above-described triangulation type inspection device. In this inspection device, for example, light is sequentially emitted to a measurement object from a plurality of light projecting units arranged at a plurality of different positions. Further, when the light is emitted from each light projecting unit, the image of the measurement target is imaged by the imaging unit arranged at a predetermined position with respect to the plurality of light projecting units. Thereby, a plurality of image data respectively corresponding to a plurality of different irradiation directions of light are generated. Then, by using the photometric stereo method, shape data (shape image) indicating the surface shape of the measurement target is generated based on the generated plurality of image data.

特開2015−45587号公報JP, 2015-45587, A

高さデータまたは形状データのみでなく、測定対象物の二次元画像(外観の画像)を示すテクスチャ画像データをさらに用いて上記のインライン検査を行うことが好ましい。しかしながら、高解像度の高さデータまたは形状データを生成するためには、光学系の位置関係が制限される。そのため、高さデータ生成用または形状データ生成用の光学系と共通の光学系を用いて検査に適したテクスチャ画像データを生成可能であるとは限らない。一方、テクスチャ画像データ生成用の光学系を追加すると、検査装置が大型になるとともに、構造的または光学設計的に複雑になる。また、コストが増加する。 It is preferable to perform not only the height data or the shape data but also the texture image data showing the two-dimensional image (image of the appearance) of the measurement object to perform the inline inspection. However, the positional relationship of the optical system is limited in order to generate high-resolution height data or shape data. Therefore, it is not always possible to generate texture image data suitable for inspection using an optical system common to the height data generation or shape data generation optical system. On the other hand, if an optical system for generating texture image data is added, the inspection device becomes large and the structure or optical design becomes complicated. Also, the cost increases.

本発明の目的は、コストの増加を抑制しつつ簡単な構成で測定対象物の検査を行うことが可能な検査装置を提供することである。 An object of the present invention is to provide an inspection device capable of inspecting an object to be measured with a simple configuration while suppressing an increase in cost.

(1)第1の発明に係る検査装置は、互いに異なる複数の方向からそれぞれ光を測定対象物に照射する複数の照明部と、周期的なパターンを有する構造化光を位相シフトさせつつ出射するように複数の照明部を制御するとともに、一様光を測定対象物に照射するように複数の照明部を制御する撮像処理部と、測定対象物により反射された構造化光を順次受光することにより各方向についての測定対象物の画像を示す複数のパターン画像データを順次生成するとともに、測定対象物により反射された一様光を受光することにより複数の方向についての測定対象物の複数の画像をそれぞれ示す複数のテクスチャ画像データを生成する撮像部と、撮像部により生成された複数のパターン画像データに基づいて各方向についての測定対象物の高さ画像を示す高さデータを生成するとともに、撮像部により生成された複数のテクスチャ画像データに基づいてハレーションまたは照明の死角部分の影響が低減された検査用テクスチャ画像データを生成する演算処理部と、演算処理部により生成された高さデータまたは検査用テクスチャ画像データを用いて測定対象物の検査を実行する検査部とを備える。 (1) The inspection device according to the first aspect of the invention emits a plurality of illumination units that irradiate the measurement object with light from a plurality of different directions, and structured light having a periodic pattern while phase-shifting the light. To control the plurality of illumination units so that the measurement object is irradiated with uniform light, and to sequentially receive the structured light reflected by the measurement object. By sequentially generating a plurality of pattern image data showing the image of the measuring object in each direction by, by receiving the uniform light reflected by the measuring object, a plurality of images of the measuring object in a plurality of directions While generating the height data indicating the height image of the measurement object in each direction based on the plurality of pattern image data generated by the imaging unit, the imaging unit that generates a plurality of texture image data respectively showing, An arithmetic processing unit for generating inspection texture image data in which the influence of the blind spot portion of halation or illumination is reduced based on the plurality of texture image data generated by the imaging unit, and height data generated by the arithmetic processing unit or An inspection unit that performs inspection of the measurement target using the inspection texture image data.

この検査装置においては、互いに異なる複数の方向から複数の照明部によりそれぞれ光が測定対象物に照射される。複数の照明部は、周期的なパターンを有する構造化光を位相シフトさせつつ出射するように撮像処理部により制御される。測定対象物により反射された構造化光が順次受光されることにより各方向についての測定対象物の画像を示す複数のパターン画像データが撮像部により順次生成される。また、複数の照明部は、一様光を出射するように撮像処理部により制御される。測定対象物により反射された一様光が受光されることにより複数の方向についての測定対象物の複数の画像をそれぞれ示す複数のテクスチャ画像データが撮像部により生成される。 In this inspection apparatus, light is applied to the object to be measured from a plurality of different directions by a plurality of illumination units. The plurality of illumination units are controlled by the imaging processing unit so as to emit structured light having a periodic pattern while phase-shifting the structured light. The structured light reflected by the measurement object is sequentially received, so that the imaging unit sequentially generates a plurality of pattern image data indicating images of the measurement object in each direction. Further, the plurality of illumination units are controlled by the imaging processing unit so as to emit uniform light. By receiving the uniform light reflected by the measurement object, a plurality of texture image data representing a plurality of images of the measurement object in a plurality of directions are generated by the imaging unit.

撮像部により生成された複数のパターン画像データに基づいて各方向についての測定対象物の高さ画像を示す高さデータが演算処理部により生成される。また、撮像部により生成された複数のテクスチャ画像データに基づいてハレーションまたは照明の死角部分の影響が低減された検査用テクスチャ画像データが演算処理部により生成される。演算処理部により生成された高さデータまたは検査用テクスチャ画像データを用いて測定対象物の検査が検査部により実行される。 The height data indicating the height image of the measuring object in each direction is generated by the arithmetic processing unit based on the plurality of pattern image data generated by the imaging unit. Further, the arithmetic processing unit generates inspection texture image data in which the influence of the blind spot portion of halation or illumination is reduced based on the plurality of texture image data generated by the imaging unit. The inspection unit executes the inspection of the measurement object using the height data or the inspection texture image data generated by the arithmetic processing unit.

この構成によれば、高さデータ生成用の照明部と共通の照明部を用いて検査用テクスチャ画像データが生成される。検査用テクスチャ画像データにおいては、ハレーションまたは照明の死角部分の影響が低減される。したがって、検査用テクスチャ画像データは、測定対象物の検査に適したテクスチャ画像データとなる。この場合、測定対象物の検査に適したテクスチャ画像データを生成するために高さデータ生成用の照明部とは別個の照明部を追加する必要がない。これにより、コストの増加を抑制しつつ簡単な構成で測定対象物の検査を行うことが可能になる。 According to this configuration, the inspection texture image data is generated using the illumination unit that is common to the height data generation illumination unit. In the texture image data for inspection, the influence of the halation or the blind spot portion of the illumination is reduced. Therefore, the inspection texture image data becomes texture image data suitable for the inspection of the measurement target. In this case, it is not necessary to add an illumination unit separate from the illumination unit for height data generation in order to generate texture image data suitable for the inspection of the measurement object. This makes it possible to inspect the measurement target with a simple configuration while suppressing an increase in cost.

(2)第2の発明に係る検査装置は、互いに異なる複数の方向からそれぞれ光を測定対象物に照射する複数の照明部と、周期的なパターンを有する構造化光を位相シフトさせつつ出射するように複数の照明部を制御する撮像処理部と、測定対象物により反射された構造化光を順次受光することにより各方向についての測定対象物の画像を示す複数のパターン画像データを順次生成する撮像部と、撮像部により生成された複数のパターン画像データに基づいて各方向についての測定対象物の高さ画像を示す高さデータを生成するとともに、撮像部により生成された各方向についての複数のパターン画像データに基づいて当該方向についてのテクスチャ画像データを生成し、生成された複数の方向についての複数のテクスチャ画像データに基づいてハレーションまたは照明の死角部分の影響が低減された検査用テクスチャ画像データを生成する演算処理部と、演算処理部により生成された高さデータまたは検査用テクスチャ画像データを用いて測定対象物の検査を実行する検査部とを備える。 (2) The inspection device according to the second aspect of the invention emits a plurality of illuminating units that irradiate the measurement object with light from a plurality of mutually different directions and phased structured light having a periodic pattern. By sequentially receiving the structured light reflected by the measurement target object and the imaging processing unit that controls the plurality of illumination units, a plurality of pattern image data indicating the image of the measurement target object in each direction are sequentially generated. The height data indicating the height image of the measurement target in each direction is generated based on the imaging unit and the plurality of pattern image data generated by the imaging unit, and the plurality of height data generated in each direction by the imaging unit is generated. Texture image data for the direction is generated based on the pattern image data of, and the texture image for inspection in which the influence of the blind spot portion of halation or illumination is reduced based on the generated texture image data for the plurality of directions. An arithmetic processing unit that generates data and an inspection unit that inspects the measurement target using the height data or the inspection texture image data generated by the arithmetic processing unit are provided.

この検査装置においては、互いに異なる複数の方向から複数の照明部によりそれぞれ光が測定対象物に照射される。複数の照明部は、周期的なパターンを有する構造化光を位相シフトさせつつ出射するように撮像処理部により制御される。測定対象物により反射された構造化光が順次受光されることにより各方向についての測定対象物の画像を示す複数のパターン画像データが撮像部により順次生成される。また、撮像部により生成された各方向についての複数のパターン画像データに基づいて当該方向についてのテクスチャ画像データが生成され、生成された複数の方向についての複数のテクスチャ画像データが演算処理部により生成される。 In this inspection apparatus, light is applied to the object to be measured from a plurality of different directions by a plurality of illumination units. The plurality of illumination units are controlled by the imaging processing unit so as to emit structured light having a periodic pattern while phase-shifting the structured light. The structured light reflected by the measurement object is sequentially received, so that the imaging unit sequentially generates a plurality of pattern image data indicating images of the measurement object in each direction. Further, the texture image data for the direction is generated based on the plurality of pattern image data for each direction generated by the imaging unit, and the plurality of texture image data for the plurality of generated directions is generated by the arithmetic processing unit. To be done.

撮像部により生成された複数のパターン画像データに基づいて各方向についての測定対象物の高さ画像を示す高さデータが演算処理部により生成される。また、生成された複数のテクスチャ画像データに基づいてハレーションまたは照明の死角部分の影響が低減された検査用テクスチャ画像データが演算処理部により生成される。演算処理部により生成された高さデータまたは検査用テクスチャ画像データを用いて測定対象物の検査が検査部により実行される。 The height data indicating the height image of the measuring object in each direction is generated by the arithmetic processing unit based on the plurality of pattern image data generated by the imaging unit. Further, the arithmetic processing unit generates inspection texture image data in which the influence of the blind spot portion of halation or illumination is reduced based on the generated plurality of texture image data. The inspection unit executes the inspection of the measurement object using the height data or the inspection texture image data generated by the arithmetic processing unit.

この構成によれば、高さデータ生成用の照明部と共通の照明部を用いて検査用テクスチャ画像データが生成される。検査用テクスチャ画像データにおいては、ハレーションまたは照明の死角部分の影響が低減される。したがって、検査用テクスチャ画像データは、測定対象物の検査に適したテクスチャ画像データとなる。この場合、測定対象物の検査に適したテクスチャ画像データを生成するために高さデータ生成用の照明部とは別個の照明部を追加する必要がない。これにより、コストの増加を抑制しつつ簡単な構成で測定対象物の検査を行うことが可能になる。 According to this configuration, the inspection texture image data is generated using the illumination unit that is common to the height data generation illumination unit. In the texture image data for inspection, the influence of the halation or the blind spot portion of the illumination is reduced. Therefore, the inspection texture image data becomes texture image data suitable for the inspection of the measurement target. In this case, it is not necessary to add an illumination unit separate from the illumination unit for height data generation in order to generate texture image data suitable for the inspection of the measurement object. This makes it possible to inspect the measurement target with a simple configuration while suppressing an increase in cost.

(3)演算処理部は、複数の方向についての複数のテクスチャ画像データにおける互いに対応する各画素について、少なくとも最大の画素値または少なくとも最小の画素値を除いて予め定められた第1の規則に従って画素値を選択し、選択された画素値を検査用テクスチャ画像データにおいて対応する画素の画素値とすることにより検査用テクスチャ画像データを生成してもよい。この場合、ハレーションまたは照明の死角部分の影響が低減された検査用テクスチャ画像データを容易に生成することができる。 (3) The arithmetic processing unit determines, for each pixel corresponding to each other in the plurality of texture image data in the plurality of directions, pixels according to a predetermined first rule except at least the maximum pixel value or at least the minimum pixel value. The inspection texture image data may be generated by selecting a value and setting the selected pixel value as the pixel value of the corresponding pixel in the inspection texture image data. In this case, it is possible to easily generate the inspection texture image data in which the influence of the halation or the blind spot portion of the illumination is reduced.

(4)複数の照明部は、第1の方向において互いに対向するように配置される第1対の照明部と、第1の方向に交差する第2の方向において互いに対向するように配置される第2対の照明部とを含み、演算処理部は、検査用テクスチャ画像データの生成時に、第1対の照明部に対応する2つのテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第1画素値として選択し、第2対の照明部に対応する2つのテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第2画素値として選択し、各画素について互いに対応する第1画素値および第2画素値のうち小さい画素値を検査用テクスチャ画像データの画素値として決定してもよい。 (4) The plurality of illumination units are arranged so as to face each other in the first direction, and the first pair of illumination units face each other in the second direction intersecting the first direction. The calculation processing unit includes a second pair of illumination units, and when generating the inspection texture image data, the calculation processing unit includes two pixel value values for each pixel corresponding to each other in the two texture image data corresponding to the first pair of illumination units. The larger pixel value is selected as the first pixel value, and the larger pixel value of the two pixel values is selected as the second pixel value for each corresponding pixel in the two texture image data corresponding to the second pair of illumination units. However, the smaller pixel value of the first pixel value and the second pixel value corresponding to each pixel may be determined as the pixel value of the texture image data for inspection.

この場合、検査用テクスチャ画像データの生成時には、第1画素値および第2画素値の選択時に、対向配置された各対の照明部に対応する2つのテクスチャ画像データから照明の死角部分に起因する成分の少なくとも一部が除去される。また、第1画素値および第2画素値に基づく検査用テクスチャ画像データの各画素値の決定時に、ハレーションに起因する成分の少なくとも一部が除去される。その結果、ハレーションおよび照明の死角部分の影響が低減された検査用テクスチャ画像データを容易に生成することができる。 In this case, when the inspection texture image data is generated, when the first pixel value and the second pixel value are selected, the blind spot portion of the illumination results from the two texture image data corresponding to each pair of the illumination units that face each other. At least some of the components are removed. Further, at the time of determining each pixel value of the inspection texture image data based on the first pixel value and the second pixel value, at least a part of the component caused by halation is removed. As a result, it is possible to easily generate inspection texture image data in which the effects of halation and blind spots of illumination are reduced.

(5)検査装置は、当該検査装置の動作モードとして第1または第2の動作モードの指示を受け付けるモード受付部をさらに備え、第1の動作モード時に、撮像部は、複数の方向についての複数のテクスチャ画像データを生成し、演算処理部は、撮像部により生成された複数のテクスチャ画像データに基づいて検査用テクスチャ画像データを生成し、検査部は、演算処理部により生成された検査用テクスチャ画像データを用いて測定対象物の検査を実行し、第2の動作モード時に、撮像部は、少なくとも1つのテクスチャ画像データを生成し、検査部は、撮像部により生成された少なくとも1つのテクスチャ画像データを用いて測定対象物の検査を実行してもよい。 (5) The inspection device further includes a mode acceptance unit that accepts an instruction of the first or second operation mode as the operation mode of the inspection device, and in the first operation mode, the imaging unit is configured to operate in a plurality of directions in a plurality of directions. Of the texture image data, the arithmetic processing unit generates inspection texture image data based on the plurality of texture image data generated by the imaging unit, and the inspection unit generates the inspection texture generated by the arithmetic processing unit. The inspection of the measurement target is performed using the image data, and in the second operation mode, the imaging unit generates at least one texture image data, and the inspection unit causes the at least one texture image generated by the imaging unit. The inspection of the measurement object may be performed using the data.

この構成によれば、ハレーションまたは照明の死角部分の影響が低減されたテクスチャ画像データを生成することが不要な場合に、第2の動作モードが指示されることにより、検査に用いるための少なくとも1つのテクスチャ画像データが生成される。これにより、測定対象物の検査をより短時間で終了することができる。 According to this configuration, when it is not necessary to generate the texture image data in which the influence of the blind spot portion of the halation or the illumination is unnecessary, the second operation mode is instructed, so that at least 1 for use in the inspection is obtained. One texture image data is generated. Thereby, the inspection of the measurement object can be completed in a shorter time.

(6)複数の照明部の各々は、互いに異なる複数の波長の光を測定対象物に照射するように構成され、撮像処理部は、複数の波長の一様光を順次出射するように複数の照明部を制御し、撮像部は、各方向についてのテクスチャ画像データを各照明部により出射される一様光の波長に対応して生成し、演算処理部は、各波長に対応する複数のテクスチャ画像データに基づいて、当該波長に対応する検査用テクスチャ画像データを生成してもよい。この場合、複数の波長にそれぞれ対応する複数の検査用テクスチャ画像データを用いて測定対象物をより正確に検査することができる。 (6) Each of the plurality of illumination units is configured to irradiate the measurement target with light having a plurality of different wavelengths, and the imaging processing unit is configured to sequentially emit a plurality of uniform lights having a plurality of wavelengths. The illumination unit is controlled, the imaging unit generates texture image data in each direction corresponding to the wavelength of the uniform light emitted by each illumination unit, and the arithmetic processing unit causes the plurality of textures corresponding to each wavelength. Inspection texture image data corresponding to the wavelength may be generated based on the image data. In this case, the measurement object can be inspected more accurately by using the plurality of inspection texture image data corresponding to the plurality of wavelengths.

(7)演算処理部は、複数の方向についての複数のテクスチャ画像データにおける互いに対応する各画素について、少なくとも最大の画素値または少なくとも最小の画素値を除いて予め定められた第1の規則に従って画素値を選択し、選択された画素値を検査用テクスチャ画像データにおいて対応する画素の画素値とすることにより検査用テクスチャ画像データを生成してもよい。この場合、ハレーションまたは照明の死角部分の影響が低減された検査用テクスチャ画像データを容易に生成することができる。 (7) The arithmetic processing unit determines, for each pixel corresponding to each other in the plurality of texture image data in the plurality of directions, pixels according to a predetermined first rule except at least the maximum pixel value or at least the minimum pixel value. The inspection texture image data may be generated by selecting a value and setting the selected pixel value as the pixel value of the corresponding pixel in the inspection texture image data. In this case, it is possible to easily generate the inspection texture image data in which the influence of the halation or the blind spot portion of the illumination is reduced.

(8)複数の照明部は、第1の方向において互いに対向するように配置される第1対の照明部と、第1の方向に交差する第2の方向において互いに対向するように配置される第2対の照明部とを含み、演算処理部は、検査用テクスチャ画像データの生成時に、第1対の照明部に対応する2つのテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第1画素値として選択し、第2対の照明部に対応する2つのテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第2画素値として選択し、各画素について互いに対応する第1画素値および第2画素値のうち小さい画素値を検査用テクスチャ画像データの画素値として決定してもよい。 (8) The plurality of lighting units are arranged to face each other in the first direction and the first pair of lighting units arranged to face each other in the second direction intersecting the first direction. The calculation processing unit includes a second pair of illumination units, and when generating the inspection texture image data, the arithmetic processing unit includes The larger pixel value is selected as the first pixel value, and the larger pixel value of the two pixel values is selected as the second pixel value for each corresponding pixel in the two texture image data corresponding to the second pair of illumination units. However, the smaller pixel value of the first pixel value and the second pixel value corresponding to each pixel may be determined as the pixel value of the inspection texture image data.

この場合、検査用テクスチャ画像データの生成時には、第1画素値および第2画素値の選択時に、対向配置された各対の照明部に対応する2つのテクスチャ画像データから照明の死角部分に起因する成分の少なくとも一部が除去される。また、第1画素値および第2画素値に基づく検査用テクスチャ画像データの各画素値の決定時に、ハレーションに起因する成分の少なくとも一部が除去される。その結果、ハレーションおよび照明の死角部分の影響が低減された検査用テクスチャ画像データを容易に生成することができる。 In this case, when the inspection texture image data is generated, when the first pixel value and the second pixel value are selected, the blind spot portion of the illumination results from the two texture image data corresponding to each pair of the illumination units that face each other. At least some of the components are removed. Further, at the time of determining each pixel value of the inspection texture image data based on the first pixel value and the second pixel value, at least a part of the component caused by halation is removed. As a result, it is possible to easily generate inspection texture image data in which the effects of halation and blind spots of illumination are reduced.

(9)検査装置は、当該検査装置の動作モードとして第1または第2の動作モードの指示を受け付けるモード受付部をさらに備え、第1の動作モード時に、演算処理部は、複数の方向についての複数のテクスチャ画像データを生成し、生成された複数のテクスチャ画像データに基づいて検査用テクスチャ画像データを生成し、検査部は、演算処理部により生成された検査用テクスチャ画像データを用いて測定対象物の検査を実行し、第2の動作モード時に、演算処理部は、少なくとも1つのテクスチャ画像データを生成し、検査部は、演算処理部により生成された少なくとも1つのテクスチャ画像データを用いて測定対象物の検査を実行してもよい。 (9) The inspection device further includes a mode accepting unit that accepts an instruction of the first or second operation mode as the operation mode of the inspection device, and in the first operation mode, the arithmetic processing unit is configured to detect a plurality of directions. A plurality of texture image data is generated, inspection texture image data is generated based on the generated plurality of texture image data, and the inspection unit uses the inspection texture image data generated by the arithmetic processing unit to measure the measurement target. Inspecting an object, the arithmetic processing unit generates at least one texture image data in the second operation mode, and the inspection unit measures using at least one texture image data generated by the arithmetic processing unit. Inspection of the object may be performed.

この構成によれば、ハレーションまたは照明の死角部分の影響が低減されたテクスチャ画像データを生成することが不要な場合に、第2の動作モードが指示されることにより、検査に用いるための少なくとも1つのテクスチャ画像データが生成される。これにより、測定対象物の検査をより短時間で終了することができる。 According to this configuration, when it is not necessary to generate the texture image data in which the influence of the blind spot portion of the halation or the illumination is unnecessary, the second operation mode is instructed, so that at least 1 for use in the inspection is obtained. One texture image data is generated. Thereby, the inspection of the measurement object can be completed in a shorter time.

(10)複数の照明部の各々は、互いに異なる複数の波長の光を測定対象物に照射するように構成され、撮像処理部は、複数の波長の構造化光を順次出射するように複数の照明部を制御し、演算処理部は、各方向についてのテクスチャ画像データを各照明部により出射される構造化光の波長に対応して生成し、生成された各波長に対応する複数のテクスチャ画像データに基づいて、当該波長に対応する検査用テクスチャ画像データを生成してもよい。この場合、複数の波長にそれぞれ対応する複数の検査用テクスチャ画像データを用いて測定対象物をより正確に検査することができる。 (10) Each of the plurality of illumination units is configured to irradiate the measurement target with light of a plurality of wavelengths different from each other, and the imaging processing unit is configured to emit a plurality of structured lights of a plurality of wavelengths sequentially. The illumination unit is controlled, and the arithmetic processing unit generates texture image data for each direction corresponding to the wavelength of the structured light emitted by each illumination unit, and a plurality of texture images corresponding to each generated wavelength. The inspection texture image data corresponding to the wavelength may be generated based on the data. In this case, the measurement object can be inspected more accurately by using the plurality of inspection texture image data corresponding to the plurality of wavelengths.

(11)演算処理部は、複数の波長にそれぞれ対応する複数の検査用テクスチャ画像データを合成することによりカラーの検査用テクスチャ画像データを生成してもよい。この場合、カラーの検査用テクスチャ画像データを用いて測定対象物をより正確にかつ効率よく検査することができる。 (11) The arithmetic processing unit may generate color inspection texture image data by combining a plurality of inspection texture image data corresponding to a plurality of wavelengths. In this case, the measurement object can be inspected more accurately and efficiently using the color inspection texture image data.

(12)演算処理部は、各方向についての複数のテクスチャ画像データにおいて、互いに対応する画素の代表となる画素値を画素ごとに代表画素値として特定し、複数の方向についてそれぞれ特定された複数の代表画素値のうち予め定められた第2の規則に従って1つの代表画素値を画素ごとに抽出し、抽出された代表画素値に対応する1つの方向を画素ごとに特定し、複数の検査用テクスチャ画像データにおいて互いに対応する画素の画素値が、特定された方向についてのテクスチャ画像データにおいて対応する画素の画素値となるように複数の検査用テクスチャ画像データを生成してもよい。 (12) In the plurality of texture image data in each direction, the arithmetic processing unit specifies a pixel value that is a representative of pixels corresponding to each other as a representative pixel value for each pixel, and a plurality of pixel values specified in each of the plurality of directions are specified. Of the representative pixel values, one representative pixel value is extracted for each pixel according to a second rule set in advance, one direction corresponding to the extracted representative pixel value is specified for each pixel, and a plurality of inspection textures are specified. A plurality of inspection texture image data may be generated such that pixel values of pixels corresponding to each other in the image data become pixel values of corresponding pixels in the texture image data in the specified direction.

この場合、同一方向についての複数のテクスチャ画像データにおいて対応する画素の画素値を用いて、カラーの検査用テクスチャ画像データの画素が生成される。これにより、カラーの検査用テクスチャ画像データにおける各画素に偽の色を発生させることなく、各画素の色を正確に再現することができる。 In this case, the pixel of the texture image data for color inspection is generated using the pixel value of the corresponding pixel in the plurality of texture image data in the same direction. As a result, the color of each pixel can be accurately reproduced without generating a false color in each pixel in the color inspection texture image data.

(13)演算処理部は、カラーの検査用テクスチャ画像データをベイヤ配列を有する検査用ベイヤデータに変換し、検査部は、演算処理部により変換された検査用ベイヤデータを取得し、取得された検査用ベイヤデータを用いて測定対象物の検査を実行してもよい。この場合、カラーの検査用テクスチャ画像データのデータ量が低減される。これにより、演算処理部から検査部へのテクスチャ画像データの出力が短時間で行われる。その結果、測定対象物の検査をより短時間で終了することができる。 (13) The arithmetic processing unit converts the color inspection texture image data into inspection Bayer data having a Bayer array, and the inspection unit acquires the inspection Bayer data converted by the arithmetic processing unit, and acquires the acquired inspection data. The inspection of the measuring object may be performed using the Bayer data. In this case, the amount of color inspection texture image data is reduced. Accordingly, the texture image data is output from the arithmetic processing unit to the inspection unit in a short time. As a result, the inspection of the measuring object can be completed in a shorter time.

(14)複数の照明部は、第1の方向において互いに対向するように配置される第1対の照明部と、第1の方向に交差する第2の方向において互いに対向するように配置される第2対の照明部とを含み、演算処理部は、第1および第2の生成方法のうち選択された生成方法により検査用テクスチャ画像データを生成可能に構成され、第1の生成方法による検査用テクスチャ画像データの生成時に、複数の方向についての複数のテクスチャ画像データにおける互いに対応する各画素について、少なくとも最大の画素値または少なくとも最小の画素値を除いて予め定められた第1の規則に従って画素値を選択し、選択された画素値を検査用テクスチャ画像データにおいて対応する画素の画素値として決定し、第2の生成方法による検査用テクスチャ画像データの生成時に、第1対の照明部に対応する2つのテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第1画素値として選択し、第2対の照明部に対応する2つのテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第2画素値として選択し、各画素について互いに対応する第1画素値および第2画素値のうち小さい画素値を検査用テクスチャ画像データの画素値として決定してもよい。 (14) The plurality of lighting units are arranged so as to face each other in the second direction intersecting the first direction and the first pair of lighting units arranged so as to face each other in the first direction. And a second pair of illumination units, and the arithmetic processing unit is configured to be capable of generating the texture image data for inspection by the generation method selected from the first and second generation methods, and performs the inspection by the first generation method. When generating the texture image data for use, the pixels corresponding to each other in the plurality of texture image data in the plurality of directions are pixel-shaped according to the first rule except at least the maximum pixel value or at least the minimum pixel value. A value is selected, the selected pixel value is determined as the pixel value of the corresponding pixel in the inspection texture image data, and when the inspection texture image data is generated by the second generation method, it corresponds to the first pair of illumination units. For each pixel corresponding to each other in the two texture image data, a larger pixel value of the two pixel values is selected as the first pixel value, and each corresponding pixel in the two texture image data corresponding to the second pair of illumination units is selected. For a pixel, a larger pixel value of the two pixel values is selected as the second pixel value, and a smaller pixel value of the first pixel value and the second pixel value corresponding to each pixel is set as the pixel value of the inspection texture image data. You may decide.

この場合、測定対象物の表面状態および形状等に応じて第1および第2の生成方法が選択されることにより、測定対象物に応じたより適切な検査用テクスチャ画像データを取得することができる。 In this case, by selecting the first and second generation methods according to the surface state and shape of the measurement target, it is possible to acquire more appropriate inspection texture image data according to the measurement target.

(15)検査装置は、使用者による第1および第2の生成方法のうちいずれかの選択を受け付ける生成方法受付部をさらに備え、演算処理部は、生成方法受付部により受け付けられた選択に従って、検査用テクスチャ画像データを生成してもよい。この場合、使用者は所望の方法で生成された検査用テクスチャ画像データを容易に取得することができる。 (15) The inspection device further includes a generation method reception unit that receives a selection by the user from one of the first and second generation methods, and the arithmetic processing unit follows the selection received by the generation method reception unit. The texture image data for inspection may be generated. In this case, the user can easily acquire the inspection texture image data generated by the desired method.

(16)演算処理部は、複数の方向についての複数の高さデータを合成することにより測定不可能な部分が低減された検査用高さデータを生成し、検査部は、演算処理部により生成された検査用高さデータを用いて測定対象物の検査を実行してもよい。この場合、検査用高さデータを用いて測定対象物の広範囲に渡る部分を容易に検査することができる。 (16) The arithmetic processing unit generates the inspection height data in which the unmeasurable portion is reduced by combining the plurality of height data in the plurality of directions, and the inspection unit generates the arithmetic processing unit. The inspection of the measurement object may be performed using the obtained inspection height data. In this case, it is possible to easily inspect a wide area of the measurement target using the inspection height data.

(17)第3の発明に係る検査装置は、互いに異なる4以上の方向においてそれぞれ一様光を測定対象物に照射する4以上の照明部と、一様光が測定対象物に順次照射されるように4以上の照明部を制御する撮像処理部と、4以上の照明部から測定対象物に照射されて測定対象物により反射された4以上の一様光を順次受光することにより、4以上の方向についての測定対象物の4以上の画像をそれぞれ示す4以上のテクスチャ画像データを生成する撮像部と、撮像部により生成された4以上のテクスチャ画像データに基づいてフォトメトリックステレオ法により測定対象物の形状を示す形状データを生成するとともに、4以上のテクスチャ画像データを合成することによりハレーションまたは照明の死角部分の影響が低減された検査用テクスチャ画像データを生成する演算処理部と、演算処理部により生成された形状データおよび検査用テクスチャ画像データのうち少なくとも一方を用いて測定対象物の検査を実行可能な検査部とを備え、4以上の照明部は、第1の方向において互いに対向するように配置される第1対の照明部と、第1の方向に交差する第2の方向において互いに対向するように配置される第2対の照明部とを含み、演算処理部は、第1対の照明部に対応する2つのテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第1画素値として選択し、第2対の照明部に対応する2つのテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第2画素値として選択し、各画素について互いに対応する第1画素値および第2画素値のうち小さい画素値を検査用テクスチャ画像データの画素値として決定する。 (17) In the inspection device according to the third aspect of the invention, four or more illumination units that respectively irradiate the measurement object with uniform light in four or more different directions, and the measurement light is sequentially irradiated with the uniform light. 4 or more by sequentially receiving 4 or more uniform light reflected by the measurement target from the imaging processing unit that controls the 4 or more illuminators. And an imaging unit that generates four or more texture image data representing four or more images of the measurement target in each direction, and a measurement target by a photometric stereo method based on the four or more texture image data generated by the imaging unit. An arithmetic processing unit that generates shape data indicating the shape of an object and generates inspection texture image data in which the influence of a blind spot portion of halation or illumination is reduced by combining four or more texture image data, and arithmetic processing An inspection unit capable of inspecting the measurement object using at least one of the shape data and the inspection texture image data generated by the unit, and the four or more illumination units face each other in the first direction. And a second pair of illumination units arranged to face each other in a second direction intersecting the first direction, and the arithmetic processing unit includes a first For each pixel corresponding to each other in the two texture image data corresponding to the pair of illumination units, a larger pixel value of the two pixel values is selected as the first pixel value, and two texture images corresponding to the second pair of illumination units are selected. For each pixel corresponding to each other in the data, the larger pixel value of the two pixel values is selected as the second pixel value, and for each pixel, the smaller pixel value of the corresponding first pixel value and second pixel value is selected as the inspection texture. It is determined as the pixel value of the image data.

この検査装置においては、互いに異なる4以上の方向から4以上の照明部によりそれぞれ光が測定対象物に照射される。4以上の照明部は、一様光を順次出射するように撮像処理部により制御される。測定対象物により反射された一様光が受光されることにより4以上の方向についての測定対象物の4以上の画像をそれぞれ示す4以上のテクスチャ画像データが撮像部により生成される。 In this inspection apparatus, light is applied to the measurement target from four or more different illumination directions by four or more illumination units. The four or more illumination units are controlled by the imaging processing unit so as to sequentially emit uniform light. By receiving the uniform light reflected by the measurement target, the imaging unit generates four or more texture image data representing four or more images of the measurement target in four or more directions.

撮像部により生成された4以上のパターン画像データに基づいて測定対象物の形状を示す形状データが演算処理部により生成される。また、撮像部により生成された4以上のテクスチャ画像データに基づいてハレーションまたは照明の死角部分の影響が低減された検査用テクスチャ画像データが演算処理部により生成される。演算処理部により生成された形状データおよび検査用テクスチャ画像データのうち少なくとも一方を用いて測定対象物の検査が検査部により実行される。 The shape data indicating the shape of the measuring object is generated by the arithmetic processing unit based on the four or more pattern image data generated by the image capturing unit. Further, the arithmetic processing unit generates inspection texture image data in which the influence of the blind spot portion of halation or illumination is reduced based on the four or more texture image data generated by the imaging unit. The inspection unit executes the inspection of the measurement target using at least one of the shape data and the inspection texture image data generated by the arithmetic processing unit.

上記の構成によれば、形状データ生成用の照明部と共通の照明部を用いて検査用テクスチャ画像データが生成される。検査用テクスチャ画像データにおいては、ハレーションまたは照明の死角部分の影響が低減される。したがって、検査用テクスチャ画像データは、測定対象物の検査に適したテクスチャ画像データとなる。この場合、測定対象物の検査に適したテクスチャ画像データを生成するために形状データ生成用の照明部とは別個の照明部を追加する必要がない。これにより、コストの増加を抑制しつつ簡単な構成で測定対象物の検査を行うことが可能になる。 According to the above configuration, the inspection texture image data is generated using the illumination unit common to the shape data generation illumination unit. In the texture image data for inspection, the influence of the halation or the blind spot portion of the illumination is reduced. Therefore, the inspection texture image data becomes texture image data suitable for the inspection of the measurement target. In this case, it is not necessary to add an illumination unit separate from the illumination unit for generating shape data in order to generate texture image data suitable for the inspection of the measurement object. This makes it possible to inspect the measurement target with a simple configuration while suppressing an increase in cost.

また、上記の構成によれば、検査用テクスチャ画像データの生成時には、第1画素値および第2画素値の選択時に、対向配置された各対の照明部に対応する2つのテクスチャ画像データから照明の死角部分に起因する成分の少なくとも一部が除去される。さらに、第1画素値および第2画素値に基づく検査用テクスチャ画像データの各画素値の決定時に、ハレーションに起因する成分の少なくとも一部が除去される。その結果、ハレーションおよび照明の死角部分の影響が低減された検査用テクスチャ画像データを容易に生成することができる。 Further, according to the above configuration, when the inspection texture image data is generated, when the first pixel value and the second pixel value are selected, the illumination is performed from the two texture image data corresponding to each pair of the illumination units that are arranged facing each other. At least a part of the component due to the blind spot portion of is removed. Furthermore, at the time of determining each pixel value of the inspection texture image data based on the first pixel value and the second pixel value, at least a part of the component caused by halation is removed. As a result, it is possible to easily generate inspection texture image data in which the effects of halation and blind spots of illumination are reduced.

本発明によれば、コストの増加を抑制しつつ簡単な構成で測定対象物の検査を行うことが可能になる。 According to the present invention, it is possible to inspect an object to be measured with a simple configuration while suppressing an increase in cost.

本発明の第1の実施の形態に係る検査装置の構成を示すブロック図である。It is a block diagram which shows the structure of the inspection apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係る検査装置の構成を示すブロック図である。It is a block diagram which shows the structure of the inspection apparatus which concerns on the 1st Embodiment of this invention. 図1の各照明部の構成の一例を示す図である。It is a figure which shows an example of a structure of each illumination part of FIG. 三角測距方式の原理を説明するための図である。It is a figure for explaining the principle of the triangulation method. 測定対象物の一例を示す図である。It is a figure which shows an example of a measuring object. 検査用高さデータに基づく測定対象物の高さ画像を示す図である。It is a figure which shows the height image of the measuring object based on the height data for inspection. 複数の照明部から同時に一様光が出射されたときの測定対象物のテクスチャ画像を示す図である。It is a figure which shows the texture image of a measuring object when uniform light is simultaneously emitted from several illumination parts. 複数の照明部から個別に一様光が出射されたときの測定対象物の複数のテクスチャ画像を示す図である。It is a figure which shows the some texture image of a measurement object when uniform light is individually radiate|emitted from several illumination parts. 検査用テクスチャ画像データに基づく測定対象物のテクスチャ画像を示す図である。It is a figure which shows the texture image of the measuring object based on the inspection texture image data. 図1の検査装置により実行される検査処理のアルゴリズムの一例を示すフローチャートである。7 is a flowchart showing an example of an algorithm of an inspection process executed by the inspection device of FIG. 1. 図1の演算部により実行される図10の高さ生成処理のアルゴリズムの一例を示すフローチャートである。11 is a flowchart showing an example of an algorithm of the height generation processing of FIG. 10 executed by the calculation unit of FIG. 1. 図1の演算部により実行される図10のテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。11 is a flowchart showing an example of an algorithm of the texture generation processing of FIG. 10 executed by the calculation unit of FIG. 1. 図1の検査部により実行される図10の判定処理のアルゴリズムの一例を示すフローチャートである。11 is a flowchart showing an example of an algorithm of the determination process of FIG. 10 executed by the inspection unit of FIG. 第2の実施の形態におけるテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。9 is a flowchart illustrating an example of an algorithm of texture generation processing according to the second embodiment. 第2の実施の形態におけるテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。9 is a flowchart illustrating an example of an algorithm of texture generation processing according to the second embodiment. 図14および図15のテクスチャ生成処理により生成された検査用データ群を示す図である。It is a figure which shows the test data group produced|generated by the texture production|generation process of FIG. 14 and FIG. 第2の実施の形態の変形例におけるテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。14 is a flowchart showing an example of an algorithm of texture generation processing in the modification of the second embodiment. 本発明の第3の実施の形態に係る検査装置の構成を示すブロック図である。It is a block diagram which shows the structure of the inspection apparatus which concerns on the 3rd Embodiment of this invention. 第2のグレーモードにおけるテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。It is a flow chart which shows an example of the algorithm of the texture generation processing in the 2nd gray mode. 第2のカラーモードにおけるテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。9 is a flowchart showing an example of an algorithm of texture generation processing in the second color mode. 第1および第2のベイヤモードを説明するための図である。It is a figure for demonstrating the 1st and 2nd Bayer mode. 第1のベイヤモードにおけるテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。It is a flow chart which shows an example of the algorithm of the texture generation processing in the 1st Bayer mode. 第1のベイヤモードにおけるテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。It is a flow chart which shows an example of the algorithm of the texture generation processing in the 1st Bayer mode. 第1のベイヤモードにおける判定処理のアルゴリズムの一例を示すフローチャートである。It is a flowchart which shows an example of the algorithm of the determination process in a 1st Bayer mode. 第2のベイヤモードにおけるテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。It is a flow chart which shows an example of the algorithm of the texture generation processing in the 2nd Bayer mode. 第2のベイヤモードにおける判定処理のアルゴリズムの一例を示すフローチャートである。It is a flow chart which shows an example of the algorithm of the judgment processing in the 2nd Bayer mode. ヘアライン加工が施された金属製の測定対象物の一例を示す図である。It is a figure which shows an example of the measuring object made of metal by which the hairline process was given. 図27の突出部の上面の模式的な拡大図である。It is a typical enlarged view of the upper surface of the protrusion part of FIG. 図27の測定対象物の検査時における図2の4つの照明部および撮像部と測定対象物との位置関係の一例を示す模式的斜視図である。FIG. 28 is a schematic perspective view showing an example of the positional relationship between the four illumination units and the imaging unit of FIG. 2 and the measurement target when the measurement target of FIG. 27 is inspected. 図29の例において4つの照明部から個別に一様光が出射されたときの測定対象物の複数のテクスチャ画像を示す図である。FIG. 30 is a diagram showing a plurality of texture images of a measurement target when uniform lights are individually emitted from four illumination units in the example of FIG. 29. 図30の4つのテクスチャ画像から各画素について4つの画素値のうち2番目に大きい画素値を選択する単純生成方法により得られる検査用テクスチャ画像データの画像を示す図である。It is a figure which shows the image of the texture image data for an inspection obtained by the simple generation method which selects the pixel value with the 2nd largest among four pixel values for each pixel from the four texture images of FIG. 測定対象物の他の例を示す図である。It is a figure which shows the other example of a measuring object. 図31の測定対象物の検査時における図2の4つの照明部および撮像部と測定対象物との位置関係の一例を示す模式的斜視図である。FIG. 32 is a schematic perspective view showing an example of the positional relationship between the four illumination sections and the imaging section of FIG. 2 and the measurement target when the measurement target of FIG. 31 is inspected. 図33の例において4つの照明部から個別に一様光が出射されたときの測定対象物の複数のテクスチャ画像を示す図である。FIG. 34 is a diagram showing a plurality of texture images of a measurement object when uniform light is individually emitted from four illumination units in the example of FIG. 33. 図34の4つのテクスチャ画像から各画素について4つの画素値のうち3番目に大きい画素値を選択する単純生成方法により得られる検査用テクスチャ画像データの画像を示す図である。It is a figure which shows the image of the texture image data for an inspection obtained by the simple generation method which selects the pixel value with the 3rd largest among four pixel values for each pixel from the four texture images of FIG. 第5の実施の形態に係るテクスチャ生成処理の概念図である。It is a conceptual diagram of the texture generation process which concerns on 5th Embodiment. 図34の4つのテクスチャ画像からトーナメント生成方法により得られる検査用テクスチャ画像データの画像を示す図である。It is a figure which shows the image of the inspection texture image data obtained by the tournament generation method from the four texture images of FIG. 第5の実施の形態におけるテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。It is a flow chart which shows an example of an algorithm of texture generation processing in a 5th embodiment. 単純生成方法およびトーナメント生成方法を使用者に選択させるための操作画面の一例を示す図である。It is a figure which shows an example of the operation screen for making a user select a simple generation method and a tournament generation method. 形状生成処理のアルゴリズムの一例を示すフローチャートである。It is a flow chart which shows an example of an algorithm of shape generation processing.

以下、本発明の実施の形態に係る検査装置について図面を参照しながら説明する。 Hereinafter, an inspection device according to an embodiment of the present invention will be described with reference to the drawings.

[1]第1の実施の形態
(1)検査装置の構成
図1および図2は、本発明の第1の実施の形態に係る検査装置の構成を示すブロック図である。図1および図2に示すように、検査装置300は、ヘッド部100、コントローラ部200、操作部310および表示部320を備える。コントローラ部200は、プログラマブルロジックコントローラ等の外部機器400に接続される。
[1] First Embodiment (1) Configuration of Inspection Apparatus FIGS. 1 and 2 are block diagrams showing the configuration of an inspection apparatus according to a first embodiment of the present invention. As shown in FIGS. 1 and 2, the inspection device 300 includes a head unit 100, a controller unit 200, an operation unit 310, and a display unit 320. The controller unit 200 is connected to an external device 400 such as a programmable logic controller.

図1に太い矢印で示すように、複数の測定対象物Sが、ヘッド部100の下方の空間を通過するようにベルトコンベア301により順次搬送される。各測定対象物Sがヘッド部100の下方の空間を通過する際には、当該測定対象物Sがヘッド部100の下方の所定の位置で一時的に静止するように、ベルトコンベア301が一定時間停止する。 As indicated by thick arrows in FIG. 1, a plurality of measurement objects S are sequentially conveyed by the belt conveyor 301 so as to pass through the space below the head unit 100. When each measurement object S passes through the space below the head unit 100, the belt conveyor 301 is kept for a certain time so that the measurement object S temporarily stops at a predetermined position below the head unit 100. Stop.

ヘッド部100は、例えば投受光一体の撮像デバイスであり、複数の照明部110、撮像部120および演算部130を含む。なお、図2においては、演算部130の図示が省略されている。本実施の形態においては、4個の照明部110が90度間隔で撮像部120を取り囲むように設けられる(図2参照)。 The head unit 100 is, for example, an image pickup device integrated with light projection and reception, and includes a plurality of illumination units 110, an image pickup unit 120, and a calculation unit 130. Note that the illustration of the calculation unit 130 is omitted in FIG. 2. In the present embodiment, four illumination units 110 are provided so as to surround the imaging unit 120 at intervals of 90 degrees (see FIG. 2).

各照明部110は、任意のパターンを有する白色の光とパターンを有しない一様な白色の光とを、選択的に斜め上方から測定対象物Sに照射可能に構成される。以下、任意のパターンを有する光を構造化光と呼び、一様な光を一様光と呼ぶ。また、4個の照明部110を区別する場合は、4個の照明部110をそれぞれ照明部110A,110B,110C,110Dと呼ぶ。照明部110Aと照明部110Bとは、例えばベルトコンベア301の上面に平行な第1の方向において撮像部120を挟んで対向する。また、照明部110Cと照明部110Dとは、例えばベルトコンベア301の上面に平行でかつ第1の方向に交差する第2の方向において撮像部120を挟んで対向する。なお、第1の方向は後述するX方向(図4)に対応し、第2の方向は後述するY方向(図4)に対応する。照明部110の構成については後述する。 Each illumination unit 110 is configured to be capable of selectively irradiating the measurement target S with white light having an arbitrary pattern and uniform white light having no pattern from obliquely above. Hereinafter, light having an arbitrary pattern is referred to as structured light, and uniform light is referred to as uniform light. Further, when distinguishing the four illumination units 110, the four illumination units 110 are referred to as illumination units 110A, 110B, 110C, and 110D, respectively. The illumination unit 110A and the illumination unit 110B face each other across the imaging unit 120 in a first direction parallel to the upper surface of the belt conveyor 301, for example. Further, the illumination unit 110C and the illumination unit 110D face each other with the imaging unit 120 sandwiched therebetween in a second direction that is parallel to the upper surface of the belt conveyor 301 and intersects the first direction, for example. Note that the first direction corresponds to the X direction (FIG. 4) described below, and the second direction corresponds to the Y direction (FIG. 4) described below. The configuration of the illumination unit 110 will be described later.

撮像部120は、撮像素子121および受光レンズ122,123を含む。測定対象物Sにより上方に反射された光は、撮像部120の受光レンズ122,123により集光および結像された後、撮像素子121により受光される。撮像素子121は、例えばモノクロCCD(電荷結合素子)であり、各画素から受光量に対応するアナログの電気信号を出力することにより画像データを生成する。撮像素子121は、CMOS(相補性金属酸化膜半導体)イメージセンサ等の他の撮像素子であってもよい。 The image capturing section 120 includes an image capturing element 121 and light receiving lenses 122 and 123. The light reflected upward by the measuring object S is condensed and image-formed by the light receiving lenses 122 and 123 of the image pickup unit 120, and then received by the image pickup device 121. The image sensor 121 is, for example, a monochrome CCD (charge coupled device), and generates image data by outputting an analog electric signal corresponding to the amount of light received from each pixel. The image pickup device 121 may be another image pickup device such as a CMOS (complementary metal oxide semiconductor) image sensor.

以下の説明では、構造化光が測定対象物Sに照射されたときの測定対象物Sの画像を示す画像データをパターン画像データと呼ぶ。これに対し、一様光が測定対象物Sに照射されたときの測定対象物Sの画像を示す画像データをテクスチャ画像データと呼ぶ。テクスチャ画像データが示す画像(後述するテクスチャ画像)においては、光が照射された測定対象物Sの表面における色、模様および濃淡等の外観に関する状態が識別可能に表される。 In the following description, image data showing an image of the measurement object S when the measurement object S is irradiated with the structured light is referred to as pattern image data. On the other hand, image data indicating an image of the measurement target S when the measurement target S is irradiated with uniform light is referred to as texture image data. In the image represented by the texture image data (a texture image described later), the state of appearance such as color, pattern, and shade on the surface of the measurement target S irradiated with light is identifiable.

演算部130は、例えばFPGA(フィールドプログラマブルゲートアレイ)により実現され、撮像処理部131、演算処理部132、記憶部133および出力処理部134を含む。本実施の形態においては、演算部130はFPGAにより実現されるが、本発明はこれに限定されない。演算部130は、CPU(中央演算処理装置)およびRAM(ランダムアクセスメモリ)により実現されてもよいし、マイクロコンピュータにより実現されてもよい。 The arithmetic unit 130 is realized by, for example, an FPGA (Field Programmable Gate Array), and includes an imaging processing unit 131, an arithmetic processing unit 132, a storage unit 133, and an output processing unit 134. In the present embodiment, arithmetic unit 130 is realized by an FPGA, but the present invention is not limited to this. The arithmetic unit 130 may be realized by a CPU (central processing unit) and RAM (random access memory), or may be realized by a microcomputer.

撮像処理部131は、照明部110および撮像部120の動作を制御する。演算処理部132は、複数のパターン画像データに基づいて測定対象物Sの高さ画像を示す高さデータを生成する。高さ画像においては、測定対象物Sの表面の各部の高さが識別可能に表される。また、演算処理部132は、複数のテクスチャ画像データに基づいて、ハレーションまたは照明の死角部分の影響が低減されたテクスチャ画像データを生成する。 The imaging processing unit 131 controls the operations of the illumination unit 110 and the imaging unit 120. The arithmetic processing unit 132 generates height data indicating a height image of the measuring object S based on the plurality of pattern image data. In the height image, the height of each part on the surface of the measuring object S is identifiable. Further, the arithmetic processing unit 132 generates texture image data in which the influence of the blind spot portion of halation or illumination is reduced based on the plurality of texture image data.

記憶部133は、撮像部120または演算処理部132により生成されたパターン画像データ、テクスチャ画像データまたは高さデータを一時的に記憶する。出力処理部134は、記憶部133に記憶された高さデータまたはテクスチャ画像データを出力する。演算部130の詳細については後述する。 The storage unit 133 temporarily stores the pattern image data, texture image data, or height data generated by the imaging unit 120 or the arithmetic processing unit 132. The output processing unit 134 outputs the height data or the texture image data stored in the storage unit 133. Details of the calculation unit 130 will be described later.

コントローラ部200は、ヘッド制御部210、画像メモリ220および検査部230を含む。ヘッド制御部210は、外部機器400により与えられる指令に基づいて、ヘッド部100の動作を制御する。画像メモリ220は、演算部130により出力された高さデータまたはテクスチャ画像データを記憶する。 The controller unit 200 includes a head control unit 210, an image memory 220, and an inspection unit 230. The head control unit 210 controls the operation of the head unit 100 based on a command given by the external device 400. The image memory 220 stores the height data or texture image data output by the calculation unit 130.

検査部230は、使用者により指定された検査内容に基づいて、画像メモリ220に記憶された高さデータまたはテクスチャ画像データについてエッジ検出または寸法計測等の処理を実行する。また、検査部230は、計測値を所定のしきい値と比較することにより、測定対象物Sの良否を判定し、判定結果を外部機器400に与える。 The inspection unit 230 performs processing such as edge detection or dimension measurement on the height data or the texture image data stored in the image memory 220 based on the inspection content designated by the user. In addition, the inspection unit 230 determines the quality of the measurement target S by comparing the measured value with a predetermined threshold value, and gives the determination result to the external device 400.

コントローラ部200には、操作部310および表示部320が接続される。操作部310は、キーボード、ポインティングデバイスまたは専用のコンソールを含む。ポインティングデバイスとしては、マウスまたはジョイスティック等が用いられる。使用者は、操作部310を操作することにより、コントローラ部200に所望の検査内容を指定することができる。 An operation unit 310 and a display unit 320 are connected to the controller unit 200. The operation unit 310 includes a keyboard, a pointing device, or a dedicated console. A mouse, a joystick, or the like is used as the pointing device. By operating the operation unit 310, the user can specify desired inspection contents in the controller unit 200.

表示部320は、例えばLCD(液晶ディスプレイ)パネルまたは有機EL(エレクトロルミネッセンス)パネルにより構成される。表示部320は、画像メモリ220に記憶された高さデータに基づく高さ画像等を表示する。また、表示部320は、検査部230による測定対象物Sの判定結果を表示する。 The display unit 320 is composed of, for example, an LCD (liquid crystal display) panel or an organic EL (electroluminescence) panel. The display unit 320 displays a height image based on the height data stored in the image memory 220. The display unit 320 also displays the determination result of the measurement target S by the inspection unit 230.

図3は、図1の各照明部110の構成の一例を示す図である。図3に示すように、各照明部110は、光源111,112,113、ダイクロイックミラー114,115、照明レンズ116、ミラー117、パターン生成部118および投光レンズ119を含む。光源111,112,113は、例えばLED(発光ダイオード)であり、緑色光、青色光および赤色光をそれぞれ出射する。各光源111〜113はLED以外の他の光源であってもよい。 FIG. 3 is a diagram showing an example of the configuration of each illumination unit 110 in FIG. As shown in FIG. 3, each illumination unit 110 includes light sources 111, 112 and 113, dichroic mirrors 114 and 115, an illumination lens 116, a mirror 117, a pattern generation unit 118 and a light projecting lens 119. The light sources 111, 112, and 113 are, for example, LEDs (light emitting diodes), and emit green light, blue light, and red light, respectively. Each of the light sources 111 to 113 may be a light source other than the LED.

ダイクロイックミラー114は、光源111により出射された緑色光と光源112により出射された青色光とを重ね合わせ可能に配置される。ダイクロイックミラー115は、ダイクロイックミラー114により重ね合わされた光と光源113により出射された赤色光とを重ね合わせ可能に配置される。これにより、光源111〜113によりそれぞれ出射された光が共通の光路上で重ね合わされ、白色光が生成可能となる。 The dichroic mirror 114 is arranged so that the green light emitted by the light source 111 and the blue light emitted by the light source 112 can be superimposed on each other. The dichroic mirror 115 is arranged so that the light superposed by the dichroic mirror 114 and the red light emitted by the light source 113 can be superposed on each other. Thereby, the lights emitted from the light sources 111 to 113 are superposed on the common optical path, and white light can be generated.

照明レンズ116は、ダイクロイックミラー115を通過または反射した光を集光する。ミラー117は、照明レンズ116により集光された光をパターン生成部118に反射する。パターン生成部118は、例えばDMD(デジタルマイクロミラーデバイス)であり、入射した光に任意のパターンを付与する。パターン生成部118は、LCDまたはLCOS(反射型液晶素子)であってもよい。投光レンズ119は、パターン生成部118からの光を平行化し、図1の測定対象物Sに照射する。 The illumination lens 116 collects the light that has passed through or reflected the dichroic mirror 115. The mirror 117 reflects the light condensed by the illumination lens 116 to the pattern generation unit 118. The pattern generation unit 118 is, for example, a DMD (digital micromirror device), and imparts an arbitrary pattern to incident light. The pattern generation unit 118 may be an LCD or an LCOS (reflection type liquid crystal element). The light projection lens 119 collimates the light from the pattern generation unit 118 and irradiates the measurement target S of FIG.

図1の演算部130は、光源111〜113による光の出射を制御するとともに、パターン生成部118により光に付与されるパターンを制御する。これにより、白色の構造化光と白色の一様光とを選択的に照明部110から出射することが可能となる。 The arithmetic unit 130 of FIG. 1 controls the emission of light by the light sources 111 to 113, and controls the pattern given to the light by the pattern generation unit 118. As a result, it becomes possible to selectively emit the white structured light and the white uniform light from the illumination unit 110.

(2)高さデータの生成
検査装置300においては、ヘッド部100に固有の三次元座標系(以下、装置座標系と呼ぶ。)が定義される。本例の装置座標系は、原点と互いに直交するX軸、Y軸およびZ軸とを含む。以下の説明では、装置座標系のX軸に平行な方向をX方向と呼び、Y軸に平行な方向をY方向と呼び、Z軸に平行な方向をZ方向と呼ぶ。X方向およびY方向は、ベルトコンベア301の上面(以下、基準面と呼ぶ。)に平行な面内で互いに直交する。Z方向は、基準面に対して直交する。
(2) Generation of Height Data In the inspection device 300, a three-dimensional coordinate system unique to the head unit 100 (hereinafter, referred to as a device coordinate system) is defined. The apparatus coordinate system of this example includes an X axis, a Y axis, and a Z axis that are orthogonal to the origin. In the following description, the direction parallel to the X axis of the device coordinate system is called the X direction, the direction parallel to the Y axis is called the Y direction, and the direction parallel to the Z axis is called the Z direction. The X direction and the Y direction are orthogonal to each other in a plane parallel to the upper surface of the belt conveyor 301 (hereinafter referred to as a reference plane). The Z direction is orthogonal to the reference plane.

ヘッド部100においては、三角測距方式により測定対象物Sの高さ画像を示す高さデータが生成される。図4は、三角測距方式の原理を説明するための図である。図4には、X方向、Y方向およびZ方向がそれぞれ矢印で示される。図4に示すように、照明部110から出射される光の光軸と撮像部120に入射する光の光軸との間の角度αが予め設定される。角度αは、0度よりも大きく90度よりも小さい。 In the head unit 100, height data indicating a height image of the measuring object S is generated by the triangulation method. FIG. 4 is a diagram for explaining the principle of the triangulation method. In FIG. 4, the X direction, the Y direction, and the Z direction are indicated by arrows. As shown in FIG. 4, an angle α between the optical axis of light emitted from the illumination unit 110 and the optical axis of light incident on the imaging unit 120 is set in advance. The angle α is larger than 0 degrees and smaller than 90 degrees.

ヘッド部100の下方に測定対象物Sが存在しない場合、照明部110から出射される光は、基準面Rの点Oにより反射され、撮像部120に入射する。一方、ヘッド部100の下方に測定対象物Sが存在する場合、照明部110から出射される光は、測定対象物Sの表面の点Aにより反射され、撮像部120に入射する。これにより、測定対象物Sが撮像され、測定対象物Sの画像を示す画像データが生成される。 When the measurement target S does not exist below the head unit 100, the light emitted from the illumination unit 110 is reflected by the point O on the reference plane R and enters the imaging unit 120. On the other hand, when the measurement target S is present below the head unit 100, the light emitted from the illumination unit 110 is reflected by the point A on the surface of the measurement target S and enters the imaging unit 120. As a result, the measurement target S is imaged, and image data indicating an image of the measurement target S is generated.

点Oと点Aとの間のX方向における距離をdとすると、基準面Rに対する測定対象物Sの点Aの高さhは、h=d÷tan(α)により与えられる。演算部130は、撮像部120により生成される画像データに基づいて、距離dを算出する。また、演算部130は、算出された距離dに基づいて、測定対象物Sの表面の点Aの高さhを算出する。測定対象物Sの表面の全ての点の高さを算出することにより、光が照射された全ての点について装置座標系で表される座標を特定することができる。それにより、測定対象物Sの高さデータが生成される。 When the distance between the point O and the point A in the X direction is d, the height h of the point A of the measuring object S with respect to the reference plane R is given by h=d÷tan(α). The calculation unit 130 calculates the distance d based on the image data generated by the imaging unit 120. In addition, the calculation unit 130 calculates the height h of the point A on the surface of the measuring object S based on the calculated distance d. By calculating the heights of all the points on the surface of the measuring object S, the coordinates represented by the device coordinate system can be specified for all the points irradiated with light. Thereby, height data of the measuring object S is generated.

測定対象物Sの表面の全ての点に光を照射するために、各照明部110から種々の構造化光が出射される。本実施の形態においては、Y方向に平行でかつX方向に並ぶような直線状の断面を有する縞状の構造化光(以下、縞状光と呼ぶ。)が、その空間位相が変化されつつ各照明部110から複数回出射される。また、Y方向に平行な直線状の断面を有しかつ明部分と暗部分とがX方向に並ぶコード状の構造化光(以下、コード状光と呼ぶ。)が、その明部分および暗部分がグレイコード状に変化されつつ各照明部110から複数回出射される。 In order to irradiate all points on the surface of the measuring object S with light, various structured lights are emitted from the respective illumination units 110. In the present embodiment, the striped structured light (hereinafter referred to as striped light) having a linear cross section that is parallel to the Y direction and aligned in the X direction has its spatial phase changed. The light is emitted from each illumination unit 110 multiple times. Further, the coded structured light (hereinafter, referred to as coded light) having a linear cross section parallel to the Y direction and having the bright portion and the dark portion aligned in the X direction is the bright portion and the dark portion. While being changed into a gray code, the light is emitted from each illuminating unit 110 a plurality of times.

また、本実施の形態においては、複数の照明部110により測定対象物Sに対して互いに異なる複数(本例では4個)の方向から光を出射することができる。それにより、いずれかの照明部110から出射される光により測定不可能な部分がある場合でも、その測定不可能な部分の形状を他の照明部110から出射される光を用いて測定することができる。そこで、複数の照明部110に対応して生成された高さデータを合成することにより、測定不可能な部分が低減された高さデータを生成することができる。 Further, in the present embodiment, it is possible to emit light from the plurality of (four in this example) different directions to the measurement target S by the plurality of illumination units 110. Therefore, even if there is a portion that cannot be measured by the light emitted from any one of the illumination units 110, the shape of the portion that cannot be measured is measured using the light emitted from another illumination unit 110. You can Therefore, by combining the height data generated corresponding to the plurality of illumination units 110, it is possible to generate height data in which unmeasurable portions are reduced.

図5は、測定対象物Sの一例を示す図である。図5に示すように、本例における測定対象物Sは、矩形状の基部S1上に立方体形状の突出部S2および半球状の突出部S3が形成された構成を有する。以下の説明では、測定対象物Sとして図5の測定対象物Sを用いる。この測定対象物Sについて、図2の照明部110A〜110Dにそれぞれ対応する4個の高さデータが生成され、これらの高さデータが合成される。以下の説明では、測定不可能な部分が低減されるように合成された高さデータを検査用高さデータと呼ぶ。 FIG. 5 is a diagram illustrating an example of the measurement target S. As shown in FIG. 5, the measurement object S in this example has a configuration in which a cubical projection S2 and a hemispherical projection S3 are formed on a rectangular base S1. In the following description, the measurement target S of FIG. 5 is used as the measurement target S. For this measuring object S, four pieces of height data corresponding to the illumination units 110A to 110D of FIG. 2 are generated, and these height data are combined. In the following description, the height data combined so as to reduce the unmeasurable portion is referred to as inspection height data.

図6は、検査用高さデータに基づく測定対象物Sの高さ画像を示す図である。なお、本例の高さ画像においては、測定対象物Sの各部分の高さが色の濃淡により表示される。図6に示すように、上記の4個の高さデータが合成されることにより、測定不可能な部分が存在しない測定対象物Sの高さ画像を示す検査用高さデータHを生成することができる。 FIG. 6 is a diagram showing a height image of the measuring object S based on the inspection height data. In the height image of this example, the height of each portion of the measuring object S is displayed in shades of color. As shown in FIG. 6, by combining the above four pieces of height data, the inspection height data H indicating the height image of the measuring object S in which there is no unmeasurable portion is generated. You can

(3)テクスチャ画像データ
図2の複数の照明部110A〜110Dから同時に一様光が出射された状態で測定対象物Sが撮像されることにより、測定対象物Sの画像(以下、テクスチャ画像と呼ぶ。)を示すテクスチャ画像データを生成することが可能である。図7は、複数の照明部110A〜110Dから同時に一様光が出射されたときの測定対象物Sのテクスチャ画像を示す図である。
(3) Texture image data The image of the measurement object S is captured by imaging the measurement object S in a state in which uniform light is simultaneously emitted from the plurality of illumination units 110A to 110D in FIG. It is possible to generate the texture image data which shows. FIG. 7 is a diagram showing a texture image of the measuring object S when uniform lights are simultaneously emitted from the plurality of illumination units 110A to 110D.

図7に示すように、テクスチャ画像データTにおいては、突出部S3における複数の部分h1〜h4にハレーションが発生する。また、基部S1における突出部S2の周辺の複数の部分s1〜s4に照明の死角部分として影が発生する。そのため、部分s1〜s4,h1〜h4に対応する測定対象物Sの部分を検査する場合には、図7のテクスチャ画像データTを用いると、正確な検査を行うことができない。 As shown in FIG. 7, in the texture image data T, halation occurs in the plurality of portions h1 to h4 in the protruding portion S3. In addition, shadows are generated as blind spots of illumination on a plurality of portions s1 to s4 around the protrusion S2 in the base S1. Therefore, when inspecting the portions of the measuring object S corresponding to the portions s1 to s4 and h1 to h4, if the texture image data T of FIG. 7 is used, an accurate inspection cannot be performed.

一方、複数の照明部110A〜110Dから個別に一様光が出射された状態で測定対象物Sが撮像されることにより、測定対象物Sの複数のテクスチャ画像をそれぞれ示す複数のテクスチャ画像データを生成することも可能である。図8は、複数の照明部110A〜110Dから個別に一様光が出射されたときの測定対象物Sの複数のテクスチャ画像を示す図である。テクスチャ画像データT1〜T4は、それぞれ照明部110A〜110Dに対応する。 On the other hand, the measurement object S is imaged in a state in which uniform light is individually emitted from the plurality of illumination units 110A to 110D, so that a plurality of texture image data representing a plurality of texture images of the measurement object S are obtained. It is also possible to generate. FIG. 8 is a diagram showing a plurality of texture images of the measuring object S when uniform lights are individually emitted from the plurality of illumination units 110A to 110D. The texture image data T1 to T4 correspond to the illumination units 110A to 110D, respectively.

図8に示すように、テクスチャ画像データT1においては、突出部S3における左の部分h1にハレーションが発生するが、他の部分にはハレーションはほとんど発生しない。また、基部S1における突出部S2の右方の部分s1に影が発生するが、他の部分には影はほとんど発生しない。テクスチャ画像データT2においては、突出部S3における右の部分h2にハレーションが発生するが、他の部分にはハレーションはほとんど発生しない。また、基部S1における突出部S2の左方の部分s2に影が発生するが、他の部分には影はほとんど発生しない。 As shown in FIG. 8, in the texture image data T1, halation occurs in the left portion h1 of the protruding portion S3, but almost no halation occurs in other portions. Further, a shadow is formed on the right portion s1 of the protruding portion S2 in the base S1, but almost no shadow is formed on the other portions. In the texture image data T2, halation occurs in the right portion h2 of the protruding portion S3, but almost no halation occurs in other portions. Further, a shadow is formed on the portion s2 on the left side of the protruding portion S2 in the base S1, but almost no shadow is formed on the other portions.

テクスチャ画像データT3においては、突出部S3における上の部分h3にハレーションが発生するが、他の部分にはハレーションはほとんど発生しない。また、基部S1における突出部S2の下方の部分s3に影が発生するが、他の部分には影はほとんど発生しない。テクスチャ画像データT4においては、突出部S4における下の部分h4にハレーションが発生するが、他の部分にはハレーションはほとんど発生しない。また、基部S1における突出部S2の上方の部分s4に影が発生するが、他の部分には影はほとんど発生しない。 In the texture image data T3, halation occurs in the upper portion h3 of the protruding portion S3, but almost no halation occurs in other portions. Further, a shadow is formed on the portion s3 of the base S1 below the protruding portion S2, but almost no shadow is formed on other portions. In the texture image data T4, halation occurs in the lower portion h4 of the protruding portion S4, but almost no halation occurs in other portions. Further, a shadow is formed on the portion s4 of the base S1 above the protruding portion S2, but almost no shadow is formed on other portions.

そこで、複数の方向にそれぞれ対応する複数のテクスチャ画像データに基づいて、ハレーションまたは照明の死角部分の影響が低減されたテクスチャ画像データが生成される。以下の説明では、複数のテクスチャ画像データに基づいて、ハレーションまたは照明の死角部分の影響が低減されるように生成されたテクスチャ画像データを検査用テクスチャ画像データと呼ぶ。 Therefore, the texture image data in which the influence of the blind spot portion of halation or illumination is reduced is generated based on the plurality of texture image data respectively corresponding to the plurality of directions. In the following description, the texture image data generated based on a plurality of texture image data so as to reduce the influence of the blind spot portion of halation or illumination is referred to as inspection texture image data.

検査用テクスチャ画像データの生成の一例として、複数のテクスチャ画像データにおいて互いに対応する各画素について、当該画素の複数の画素値のうち最も大きい画素値または最も小さい画素値を除いて予め定められた規則に従って画素値が選択される。選択された各画素の画素値が、検査用テクスチャ画像データの各画素の画素値とされる。 As an example of the generation of the inspection texture image data, for each pixel corresponding to each other in the plurality of texture image data, a predetermined rule is excluded except for the largest pixel value or the smallest pixel value of the plurality of pixel values of the pixel. The pixel value is selected according to. The pixel value of each selected pixel is set as the pixel value of each pixel of the inspection texture image data.

図9は、検査用テクスチャ画像データに基づく測定対象物Sのテクスチャ画像を示す図である。図9の例においては、図8のテクスチャ画像データT1〜T4において互いに対応する各画素について、当該画素の4個の画素値のうち2番目に大きい画素値が選択される。選択された各画素の画素値が、検査用テクスチャ画像データT0の各画素の画素値とされる。これにより、図9に示すように、ハレーションおよび影がほとんど発生しないテクスチャ画像データT0を生成することができる。 FIG. 9 is a diagram showing a texture image of the measuring object S based on the inspection texture image data. In the example of FIG. 9, for the pixels corresponding to each other in the texture image data T1 to T4 of FIG. 8, the second largest pixel value of the four pixel values of the pixel is selected. The pixel value of each selected pixel is set as the pixel value of each pixel of the inspection texture image data T0. Thereby, as shown in FIG. 9, it is possible to generate texture image data T0 in which halation and shadow hardly occur.

(4)検査処理
図10は、図1の検査装置300により実行される検査処理のアルゴリズムの一例を示すフローチャートである。検査処理では、図10に示すように、高さ生成処理が実行される(ステップS10)。高さ生成処理は、ヘッド部100において、検査用高さデータを生成し、生成された検査用高さデータをコントローラ部200の画像メモリ220に蓄積させる処理である。
(4) Inspection Processing FIG. 10 is a flowchart showing an example of an inspection processing algorithm executed by the inspection device 300 of FIG. In the inspection process, as shown in FIG. 10, a height generation process is executed (step S10). The height generation process is a process of generating inspection height data in the head unit 100 and accumulating the generated inspection height data in the image memory 220 of the controller unit 200.

また、テクスチャ生成処理が実行される(ステップS30)。テクスチャ生成処理は、ヘッド部100において、検査用テクスチャ画像データを生成し、生成された検査用テクスチャ画像データをコントローラ部200の画像メモリ220に蓄積させる処理である。高さ生成処理およびテクスチャ生成処理の後、判定処理が実行される(ステップS50)。判定処理は、コントローラ部200において、画像メモリ220に蓄積された検査用高さデータまたは検査用テクスチャ画像データに基づいて測定対象物Sの良否を判定する処理である。 Further, texture generation processing is executed (step S30). The texture generation process is a process in which the head unit 100 generates inspection texture image data and stores the generated inspection texture image data in the image memory 220 of the controller unit 200. After the height generation processing and the texture generation processing, the determination processing is executed (step S50). The determination process is a process in which the controller unit 200 determines the quality of the measuring object S based on the inspection height data or the inspection texture image data stored in the image memory 220.

図11は、図1の演算部130により実行される図10の高さ生成処理のアルゴリズムの一例を示すフローチャートである。高さ生成処理では、図11に示すように、撮像処理部131は、照明部110A〜110Dのうち、いずれか1つの照明部110を選択する(ステップS11)。次に、撮像処理部131は、所定のパターンを有する白色の構造化光を出射するように、ステップS11または後述するステップS19で選択された照明部110を制御する(ステップS12)。 FIG. 11 is a flowchart showing an example of an algorithm of the height generation processing of FIG. 10 executed by the calculation unit 130 of FIG. In the height generation process, as illustrated in FIG. 11, the imaging processing unit 131 selects any one of the illumination units 110A to 110D (step S11). Next, the imaging processing unit 131 controls the illumination unit 110 selected in step S11 or step S19 described below so as to emit white structured light having a predetermined pattern (step S12).

また、撮像処理部131は、ステップS12における構造化光の出射と同期して測定対象物Sを撮像するように撮像部120を制御する(ステップS13)。これにより、測定対象物Sのパターン画像データが撮像部120により生成される。その後、撮像処理部131は、ステップS13で生成されたパターン画像データを記憶部133に記憶させる(ステップS14)。続いて、撮像処理部131は、所定の回数撮像が実行されたか否かを判定する(ステップS15)。 In addition, the imaging processing unit 131 controls the imaging unit 120 so as to image the measurement target S in synchronization with the emission of the structured light in step S12 (step S13). As a result, the pattern image data of the measuring object S is generated by the image capturing unit 120. After that, the imaging processing unit 131 stores the pattern image data generated in step S13 in the storage unit 133 (step S14). Subsequently, the imaging processing unit 131 determines whether or not imaging has been performed a predetermined number of times (step S15).

ステップS15で、所定の回数撮像が実行されていない場合、撮像処理部131は、構造化光のパターンを変更するように図3のパターン生成部118を制御し(ステップS16)、ステップS12に戻る。所定の回数撮像が実行されるまで、ステップS12〜S16が繰り返される。これにより、パターンが変化されつつ縞状光およびコード状が測定対象物Sに順次照射されたときの複数のパターン画像データが記憶部133に記憶される。なお、縞状光とコード状とは、いずれが先に出射されてもよい。 In step S15, when the imaging has not been executed a predetermined number of times, the imaging processing unit 131 controls the pattern generation unit 118 of FIG. 3 to change the pattern of structured light (step S16), and returns to step S12. .. Steps S12 to S16 are repeated until imaging is performed a predetermined number of times. As a result, the storage unit 133 stores a plurality of pattern image data when the measurement object S is sequentially irradiated with the striped light and the code while the pattern is changed. Either the striped light or the coded light may be emitted first.

ステップS15で、所定の回数撮像が実行された場合、演算処理部132は、記憶部133に記憶された複数のパターン画像データについて演算を行うことにより、高さデータを生成する(ステップS17)。次に、演算処理部132は、所定数(本例では4個)の高さデータが生成されたか否かを判定する(ステップS18)。所定数の高さデータが生成されていない場合、撮像処理部131は、他の照明部110を選択し(ステップS19)、ステップS12に戻る。所定数の高さデータが生成されるまで、ステップS12〜S19が繰り返される。 When the imaging is performed a predetermined number of times in step S15, the arithmetic processing unit 132 generates height data by performing an arithmetic operation on the plurality of pattern image data stored in the storage unit 133 (step S17). Next, the arithmetic processing unit 132 determines whether or not a predetermined number (four in this example) of height data has been generated (step S18). When the predetermined number of height data has not been generated, the imaging processing unit 131 selects another illumination unit 110 (step S19) and returns to step S12. Steps S12 to S19 are repeated until a predetermined number of height data are generated.

ステップS18で、所定数の高さデータが生成された場合、演算処理部132は、生成された所定数の高さデータを合成することにより検査用高さデータを生成する(ステップS20)。また、出力処理部134は、ステップS20で生成された検査用高さデータをコントローラ部200に出力する(ステップS21)。これにより、コントローラ部200の画像メモリ220に検査用高さデータが蓄積され、高さ生成処理が終了する。 When the predetermined number of height data is generated in step S18, the arithmetic processing unit 132 generates the inspection height data by synthesizing the generated predetermined number of height data (step S20). Further, the output processing unit 134 outputs the inspection height data generated in step S20 to the controller unit 200 (step S21). As a result, the inspection height data is accumulated in the image memory 220 of the controller unit 200, and the height generation processing ends.

図12は、図1の演算部130により実行される図10のテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。テクスチャ生成処理では、図12に示すように、撮像処理部131は、照明部110A〜110Dのうち、いずれか1つの照明部110を選択する(ステップS31)。次に、撮像処理部131は、白色の一様光を出射するように、ステップS31または後述するステップS36で選択された照明部110を制御する(ステップS32)。 FIG. 12 is a flowchart showing an example of an algorithm of the texture generation processing of FIG. 10 executed by the calculation unit 130 of FIG. In the texture generation process, as illustrated in FIG. 12, the imaging processing unit 131 selects any one of the illumination units 110A to 110D (step S31). Next, the imaging processing unit 131 controls the illumination unit 110 selected in step S31 or step S36 described below so as to emit white uniform light (step S32).

また、撮像処理部131は、ステップS32における一様光の出射と同期して測定対象物Sを撮像するように撮像部120を制御する(ステップS33)。これにより、測定対象物Sのテクスチャ画像データが撮像部120により生成される。その後、撮像処理部131は、ステップS33で生成されたテクスチャ画像データを記憶部133に記憶させる(ステップS34)。 Further, the image capturing processing unit 131 controls the image capturing unit 120 to capture an image of the measurement target S in synchronization with the emission of uniform light in step S32 (step S33). As a result, the texture image data of the measuring object S is generated by the imaging unit 120. Then, the imaging processing unit 131 stores the texture image data generated in step S33 in the storage unit 133 (step S34).

続いて、撮像処理部131は、所定数(本例では4個)のテクスチャ画像データが生成されたか否かを判定する(ステップS35)。所定数のテクスチャ画像データが生成されていない場合、撮像処理部131は、他の照明部110を選択し(ステップS36)、ステップS32に戻る。所定数のテクスチャ画像データが生成されるまで、ステップS32〜S36が繰り返される。 Subsequently, the imaging processing unit 131 determines whether or not a predetermined number (four in this example) of texture image data has been generated (step S35). When the predetermined number of texture image data has not been generated, the imaging processing unit 131 selects another illumination unit 110 (step S36) and returns to step S32. Steps S32 to S36 are repeated until a predetermined number of texture image data are generated.

ステップS35で、所定数のテクスチャ画像データが生成された場合、演算処理部132は、生成された所定数のテクスチャ画像データに基づいて検査用テクスチャ画像データを生成する(ステップS37)。例えば、演算処理部132は、生成された所定数のテクスチャ画像データの互いに対応する各画素について、当該画素の所定数の画素値のうち2番目に大きい画素値を予め定められた規則に従う画素値として選択する。また、演算処理部132は、各画素の画素値を選択された画素値とする画像データを検査用テクスチャ画像データとして生成する。 When a predetermined number of texture image data are generated in step S35, the arithmetic processing unit 132 generates inspection texture image data based on the generated predetermined number of texture image data (step S37). For example, for each pixel corresponding to each other in the generated predetermined number of texture image data, the arithmetic processing unit 132 sets the second largest pixel value of the predetermined number of pixel values of the pixel according to a predetermined rule. To choose as. Further, the arithmetic processing unit 132 generates image data having the pixel value of each pixel as the selected pixel value as the inspection texture image data.

その後、出力処理部134は、ステップS37で生成された検査用テクスチャ画像データをコントローラ部200に出力する(ステップS38)。これにより、コントローラ部200の画像メモリ220に検査用テクスチャ画像データが蓄積され、テクスチャ生成処理が終了する。 After that, the output processing unit 134 outputs the inspection texture image data generated in step S37 to the controller unit 200 (step S38). As a result, the inspection texture image data is accumulated in the image memory 220 of the controller unit 200, and the texture generation process ends.

高さ生成処理とテクスチャ生成処理とは、いずれが先に実行されてもよいし、部分的に並列して実行されてもよい。例えば、高さ生成処理のステップS15の後にテクスチャ生成処理のステップS32,S33が実行されてもよい。この場合、テクスチャ生成処理のステップS31,S35,S36が省略される。そのため、撮像に要する時間を短縮することができる。また、テクスチャ生成処理のステップS32〜S34,S37,S38は、高さ生成処理のステップS17と並列して実行されてもよい。この場合、処理時間をさらに短縮することができる。 Either of the height generation processing and the texture generation processing may be executed first, or may be partially executed in parallel. For example, steps S32 and S33 of the texture generation process may be executed after step S15 of the height generation process. In this case, steps S31, S35 and S36 of the texture generation process are omitted. Therefore, the time required for imaging can be shortened. Further, steps S32 to S34, S37, and S38 of the texture generation process may be executed in parallel with step S17 of the height generation process. In this case, the processing time can be further shortened.

図13は、図1の検査部230により実行される図10の判定処理のアルゴリズムの一例を示すフローチャートである。判定処理では、図13に示すように、検査部230は、画像メモリ220に蓄積された検査用高さデータまたは検査用テクスチャ画像データに画像処理を実行する(ステップS51)。これにより、使用者により予め指定された検査内容に基づいて、検査用高さデータまたは検査用テクスチャ画像データにおける所定部分の計測が実行される。 FIG. 13 is a flowchart showing an example of an algorithm of the determination process of FIG. 10 executed by the inspection unit 230 of FIG. In the determination processing, as shown in FIG. 13, the inspection unit 230 executes image processing on the inspection height data or the inspection texture image data stored in the image memory 220 (step S51). As a result, the measurement of a predetermined portion of the inspection height data or the inspection texture image data is executed based on the inspection content designated in advance by the user.

次に、検査部230は、ステップS51で得られた計測値を所定のしきい値と比較することにより測定対象物Sの良否を判定し(ステップS52)、判定処理を終了する。なお、検査部230は、ステップS52における判定結果を表示部320に表示してもよいし、外部機器400に与えてもよい。 Next, the inspection unit 230 determines the quality of the measurement object S by comparing the measurement value obtained in step S51 with a predetermined threshold value (step S52), and ends the determination process. In addition, the inspection unit 230 may display the determination result in step S52 on the display unit 320 or may give the determination result to the external device 400.

(5)効果
本実施の形態に係る検査装置300においては、互いに異なる複数の方向から複数の照明部110によりそれぞれ光が測定対象物Sに照射される。各照明部110は、周期的なパターンを有する構造化光を位相シフトさせつつ出射するように撮像処理部131により制御される。また、各照明部110は、一様光を測定対象物Sにさらに照射するように撮像処理部131により制御される。
(5) Effects In the inspection device 300 according to the present embodiment, the measurement target S is irradiated with light from the plurality of illumination units 110 from different directions. Each illuminator 110 is controlled by the imaging processor 131 to emit structured light having a periodic pattern while phase-shifting the structured light. In addition, each of the illumination units 110 is controlled by the imaging processing unit 131 so that the measurement target S is further irradiated with uniform light.

測定対象物Sにより反射された構造化光が順次受光されることにより各方向についての測定対象物Sの画像を示す複数のパターン画像データが撮像部120により順次生成される。また、測定対象物Sにより反射された一様光が受光されることにより複数の方向についての複数のテクスチャ画像データが撮像部120により生成される。 The structured light reflected by the measuring object S is sequentially received, so that the plurality of pattern image data showing images of the measuring object S in each direction are sequentially generated by the imaging unit 120. Further, the uniform light reflected by the measuring object S is received, so that the plurality of texture image data in a plurality of directions is generated by the imaging unit 120.

撮像部120により生成された複数のパターン画像データに基づいて各方向についての測定対象物Sの高さ画像を示す高さデータが演算処理部132により生成される。また、複数の高さデータが合成されることにより、測定不可能な部分が低減された検査用高さデータが演算処理部132により生成される。さらに、撮像部120により生成された複数のテクスチャ画像データに基づいてハレーションまたは照明の死角部分の影響が低減された検査用テクスチャ画像データが演算処理部132により生成される。演算処理部132により生成された高さデータまたは検査用テクスチャ画像データを用いて測定対象物Sの検査が検査部230により実行される。 The height data indicating the height image of the measuring object S in each direction is generated by the arithmetic processing unit 132 based on the plurality of pattern image data generated by the imaging unit 120. Further, the height data for inspection in which the unmeasurable portion is reduced is generated by the arithmetic processing unit 132 by combining the plurality of height data. Further, the arithmetic processing unit 132 generates inspection texture image data in which the influence of the blind spot portion of halation or illumination is reduced based on the plurality of texture image data generated by the imaging unit 120. The inspection unit 230 executes the inspection of the measuring object S using the height data or the inspection texture image data generated by the arithmetic processing unit 132.

この構成によれば、高さデータ生成用の照明部110と共通の照明部110を用いて検査用テクスチャ画像データが生成される。検査用テクスチャ画像データにおいては、ハレーションまたは照明の死角部分の影響が低減される。したがって、検査用テクスチャ画像データは、測定対象物Sの検査に適したテクスチャ画像データとなる。この場合、測定対象物Sの検査に適したテクスチャ画像データを生成するために高さデータ生成用の照明部110とは別個の照明部を追加する必要がない。これにより、コストの増加を抑制しつつ簡単な構成で測定対象物Sの検査を行うことが可能になる。また、検査用高さデータを用いることにより、測定対象物Sの広範囲に渡る部分を容易に検査することができる。 According to this configuration, the inspection texture image data is generated using the illumination unit 110 that is common to the height data generation illumination unit 110. In the texture image data for inspection, the influence of the halation or the blind spot portion of the illumination is reduced. Therefore, the texture image data for inspection is texture image data suitable for the inspection of the measuring object S. In this case, in order to generate the texture image data suitable for the inspection of the measurement object S, it is not necessary to add an illumination unit separate from the illumination unit 110 for height data generation. This makes it possible to inspect the measurement target S with a simple configuration while suppressing an increase in cost. Further, by using the height data for inspection, it is possible to easily inspect a wide area of the measuring object S.

[2]第2の実施の形態
(1)検査装置の構成
第2の実施の形態に係る検査装置300について、第1の実施の形態に係る検査装置300と異なる点を説明する。本実施の形態においては、図1の演算部130は、図3の照明部110から出射される光に所望のパターンが付与されるようにパターン生成部118を制御するとともに、光源111〜113による光の出射を個別に制御する。これにより、白色の構造化光と、赤色、緑色または青色の一様光とが各照明部110から選択的に出射される。
[2] Second Embodiment (1) Configuration of Inspection Device The inspection device 300 according to the second embodiment will be described while referring to differences from the inspection device 300 according to the first embodiment. In the present embodiment, the calculation unit 130 of FIG. 1 controls the pattern generation unit 118 so that the light emitted from the illumination unit 110 of FIG. The emission of light is individually controlled. As a result, white structured light and red, green, or blue uniform light are selectively emitted from each illuminating unit 110.

赤色、緑色および青色の一様光がそれぞれ測定対象物Sに照射されたときのテクスチャ画像データをRデータ、GデータおよびBデータと呼ぶ。本実施の形態においては、4個の照明部110A〜110Dの各々に対応して、Rデータ、GデータおよびBデータが生成される。すなわち、合計12個のテクスチャ画像データが生成される。 Texture image data when the uniform light of red, green, and blue is irradiated on the measurement object S is referred to as R data, G data, and B data. In the present embodiment, R data, G data, and B data are generated corresponding to each of four illumination units 110A to 110D. That is, a total of 12 pieces of texture image data are generated.

また、第1の実施の形態と同様の方法により、4個のRデータに基づいて検査用Rデータが生成される。同様に、4個のGデータに基づいて検査用Gデータが生成される。4個のBデータに基づいて検査用Bデータが生成される。以下の説明では、検査用Rデータ、検査用Gデータおよび検査用Bデータのセットを検査用データ群と呼ぶ。検査用データ群が合成されることにより、カラーの検査用テクスチャ画像データが生成される。この場合、カラーの検査用テクスチャ画像データを用いて測定対象物Sをより正確にかつ効率よく検査することができる。 Further, the inspection R data is generated based on the four R data by the same method as that of the first embodiment. Similarly, the inspection G data is generated based on the four G data. Inspection B data is generated based on the four B data. In the following description, a set of inspection R data, inspection G data, and inspection B data is referred to as an inspection data group. By combining the inspection data groups, color inspection texture image data is generated. In this case, the measurement object S can be inspected more accurately and efficiently using the color inspection texture image data.

(2)検査処理
以下、本実施の形態における検査処理をフローチャートを用いて説明する。第1の実施の形態における図10の検査処理と同様に、本実施の形態における検査処理は、高さ生成処理、テクスチャ生成処理および判定処理からなる。本実施の形態における高さ生成処理は、第1の実施の形態における図11の高さ生成処理と同様である。
(2) Inspection Processing The inspection processing according to this embodiment will be described below with reference to a flowchart. Similar to the inspection process of FIG. 10 in the first embodiment, the inspection process in this embodiment includes height generation processing, texture generation processing, and determination processing. The height generation processing in this embodiment is the same as the height generation processing in FIG. 11 in the first embodiment.

図14および図15は、第2の実施の形態におけるテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。本実施の形態におけるテクスチャ生成処理は、以下の点を除き、第1の実施の形態における図12のテクスチャ生成処理と基本的に同様である。本実施の形態のテクスチャ生成処理においては、図14に示すように、ステップS32〜S34に代えてステップS32A〜S32C,S33A〜S33C,S34A〜S34Cが実行される。また、図15に示すように、ステップS37の前にステップS37A〜S37Cが追加される。 14 and 15 are flowcharts illustrating an example of an algorithm of texture generation processing according to the second embodiment. The texture generation process in this embodiment is basically the same as the texture generation process in FIG. 12 in the first embodiment except for the following points. In the texture generation process of this embodiment, as shown in FIG. 14, steps S32A to S32C, S33A to S33C, and S34A to S34C are executed instead of steps S32 to S34. Further, as shown in FIG. 15, steps S37A to S37C are added before step S37.

具体的には、ステップS31の後、撮像処理部131は、赤色の一様光を出射するように、ステップS31またはステップS36で選択された照明部110を制御する(ステップS32A)。また、撮像処理部131は、ステップS32Aにおける赤色の一様光の出射と同期して測定対象物Sを撮像するように撮像部120を制御する(ステップS33A)。これにより、測定対象物SのRデータが撮像部120により生成される。その後、撮像処理部131は、ステップS33Aで生成されたRデータを記憶部133に記憶させる(ステップS34A)。 Specifically, after step S31, the imaging processing unit 131 controls the illumination unit 110 selected in step S31 or step S36 so as to emit uniform red light (step S32A). In addition, the imaging processing unit 131 controls the imaging unit 120 to image the measurement target S in synchronization with the emission of the uniform red light in step S32A (step S33A). Thereby, the R data of the measuring object S is generated by the imaging unit 120. After that, the imaging processing unit 131 stores the R data generated in step S33A in the storage unit 133 (step S34A).

次に、撮像処理部131は、緑色の一様光を出射するように、ステップS31またはステップS36で選択された照明部110を制御する(ステップS32B)。また、撮像処理部131は、ステップS32Bにおける緑色の一様光の出射と同期して測定対象物Sを撮像するように撮像部120を制御する(ステップS33B)。これにより、測定対象物SのGデータが撮像部120により生成される。その後、撮像処理部131は、ステップS33Bで生成されたGデータを記憶部133に記憶させる(ステップS34B)。 Next, the imaging processing unit 131 controls the illumination unit 110 selected in step S31 or step S36 so as to emit uniform green light (step S32B). Further, the image capturing processing unit 131 controls the image capturing unit 120 to capture an image of the measurement target S in synchronization with the emission of the uniform green light in step S32B (step S33B). Thereby, the G data of the measuring object S is generated by the imaging unit 120. After that, the imaging processing unit 131 stores the G data generated in step S33B in the storage unit 133 (step S34B).

次に、撮像処理部131は、青色の一様光を出射するように、ステップS31またはステップS36で選択された照明部110を制御する(ステップS32C)。また、撮像処理部131は、ステップS32Cにおける青色の一様光の出射と同期して測定対象物Sを撮像するように撮像部120を制御する(ステップS33C)。これにより、測定対象物SのBデータが撮像部120により生成される。その後、撮像処理部131は、ステップS33Cで生成されたBデータを記憶部133に記憶させる(ステップS34C)。 Next, the imaging processing unit 131 controls the illumination unit 110 selected in step S31 or step S36 so as to emit uniform blue light (step S32C). Further, the image capturing processing unit 131 controls the image capturing unit 120 to capture an image of the measurement target S in synchronization with the emission of the uniform blue light in step S32C (step S33C). Thereby, the B data of the measuring object S is generated by the imaging unit 120. After that, the imaging processing unit 131 stores the B data generated in step S33C in the storage unit 133 (step S34C).

ステップS32A,S33A,S34Aと、ステップS32B,S33B,S34Bと、ステップS32C,S33C,S34Cとは、いずれが先に実行されてもよい。これらの処理が実行された後、撮像処理部131はステップS35に進む。なお、本例のステップS35においては、4個ではなく12個のテクスチャ画像データが生成されたか否かが判定される。 Any of steps S32A, S33A, S34A, steps S32B, S33B, S34B, and steps S32C, S33C, S34C may be executed first. After these processes are executed, the imaging processing unit 131 proceeds to step S35. Note that in step S35 of this example, it is determined whether 12 pieces of texture image data have been generated instead of 4.

ステップS35で12個のテクスチャ画像データが生成された場合、演算処理部132は、4個のRデータに基づいて検査用Rデータを生成する(ステップS37A)。また、演算処理部132は、4個のGデータに基づいて検査用Gデータを生成する(ステップS37B)。さらに、演算処理部132は、4個のBデータに基づいて検査用Bデータを生成する(ステップS37C)。ステップS37Aと、ステップS37Bと、ステップS37Cとは、いずれが先に実行されてもよい。 When 12 pieces of texture image data are generated in step S35, the arithmetic processing unit 132 generates inspection R data based on the 4 pieces of R data (step S37A). Further, the arithmetic processing unit 132 generates the inspection G data based on the four G data (step S37B). Further, the arithmetic processing unit 132 generates inspection B data based on the four B data (step S37C). Any of step S37A, step S37B, and step S37C may be executed first.

その後、ステップS37では、ステップS37A〜S37Cでそれぞれ生成された検査用Rデータ、検査用Gデータおよび検査用Bデータが合成されることにより、カラーの検査用テクスチャ画像データが生成される。また、ステップS38では、ステップS37で生成されたカラーの検査用テクスチャ画像データがコントローラ部200に出力される。本実施の形態における判定処理は、第1の実施の形態における図13の判定処理と同様である。 Then, in step S37, the inspection R data, the inspection G data, and the inspection B data generated in steps S37A to S37C are combined to generate color inspection texture image data. In step S38, the color inspection texture image data generated in step S37 is output to the controller unit 200. The determination process in this embodiment is the same as the determination process in FIG. 13 in the first embodiment.

(3)テクスチャ生成処理の変形例
図14および図15のテクスチャ生成処理によれば、単純な処理により検査用データ群を生成することができる。また、検査用データ群を合成することによりカラーの検査用テクスチャ画像データを生成することができる。図16は、図14および図15のテクスチャ生成処理により生成された検査用データ群を示す図である。
(3) Modified Example of Texture Generation Process According to the texture generation process of FIGS. 14 and 15, the inspection data group can be generated by a simple process. Further, color inspection texture image data can be generated by combining the inspection data groups. FIG. 16 is a diagram showing an inspection data group generated by the texture generation processing of FIGS. 14 and 15.

図16の例では、検査用Rデータ、検査用Gデータ、検査用Bデータおよび検査用テクスチャ画像データにおける画素p1〜p4が図示されている。検査用Rデータの画素p1と、検査用Gデータの画素p1と、検査用Bデータの画素p1とは互いに対応し、これらの画素p1が合成されることにより、検査用テクスチャ画像データの画素p1が生成される。画素p2〜p4についても同様である。 In the example of FIG. 16, pixels p1 to p4 in the inspection R data, the inspection G data, the inspection B data, and the inspection texture image data are illustrated. The pixel p1 of the inspection R data, the pixel p1 of the inspection G data, and the pixel p1 of the inspection B data correspond to each other, and by combining these pixels p1, the pixel p1 of the inspection texture image data is obtained. Is generated. The same applies to the pixels p2 to p4.

図16に示すように、検査用Rデータにおいては、画素p1〜p3は照明部110Aに対応するRデータの画素により生成され、画素p4は照明部110Bに対応するRデータの画素により生成される。検査用Gデータにおいては、画素p1〜p3は照明部110Aに対応するGデータの画素により生成され、画素p4は照明部110Cに対応するGデータの画素により生成される。検査用Bデータにおいては、画素p1〜p3は照明部110Aに対応するBデータの画素により生成され、画素p4は照明部110Dに対応するBデータの画素により生成される。 As shown in FIG. 16, in the inspection R data, the pixels p1 to p3 are generated by the pixels of the R data corresponding to the illumination unit 110A, and the pixels p4 are generated by the pixels of the R data corresponding to the illumination unit 110B. .. In the inspection G data, the pixels p1 to p3 are generated by the G data pixels corresponding to the illumination unit 110A, and the pixel p4 is generated by the G data pixels corresponding to the illumination unit 110C. In the inspection B data, the pixels p1 to p3 are generated by the B data pixels corresponding to the illumination unit 110A, and the pixel p4 is generated by the B data pixels corresponding to the illumination unit 110D.

このように、検査用Rデータ、検査用Gデータおよび検査用Bデータにおいて、画素p1〜p3は、同一の照明部110(すなわち同一の方向)に対応する。この場合、これらの検査用Rデータ、検査用Gデータおよび検査用Bデータが合成された検査用テクスチャ画像データの画素p1〜p3においては、検査用Rデータ、検査用Gデータおよび検査用Bデータの画素値の比が維持される。そのため、テクスチャ画像データにおける画素p1〜p3の色が正確に再現される。 As described above, in the inspection R data, the inspection G data, and the inspection B data, the pixels p1 to p3 correspond to the same illumination section 110 (that is, the same direction). In this case, in the pixels p1 to p3 of the inspection texture image data in which the inspection R data, the inspection G data, and the inspection B data are combined, the inspection R data, the inspection G data, and the inspection B data are included. The ratio of the pixel values of is maintained. Therefore, the colors of the pixels p1 to p3 in the texture image data are accurately reproduced.

一方、検査用Rデータ、検査用Gデータおよび検査用Bデータにおいて、画素p4は、それぞれ異なる照明部110(すなわち異なる方向)に対応する。この場合、これらの検査用Rデータ、検査用Gデータおよび検査用Bデータが合成された検査用テクスチャ画像データの画素p4においては、検査用Rデータ、検査用Gデータおよび検査用Bデータの画素値の比が維持されない。そのため、テクスチャ画像データにおける画素p4の色が正確に再現されず、画素p4に偽の色が発生する。 On the other hand, in the inspection R data, the inspection G data, and the inspection B data, the pixel p4 corresponds to a different illumination unit 110 (that is, different direction). In this case, in the pixel p4 of the inspection texture image data in which the inspection R data, the inspection G data, and the inspection B data are combined, the pixels of the inspection R data, the inspection G data, and the inspection B data are included. The ratio of values is not maintained. Therefore, the color of the pixel p4 in the texture image data is not accurately reproduced, and a false color occurs in the pixel p4.

そこで、本実施の形態におけるテクスチャ生成処理の変形例では、以下の処理が行われる。図17は、第2の実施の形態の変形例におけるテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。図17では、図14のステップS32A〜S34A,S32B〜S34B,S32C〜S34Cの一連の処理が、「測定対象物の撮像によるRデータ、GデータおよびBデータの生成および記憶」という1つの処理ブロックで示される。図17に示すように、テクスチャ生成処理の変形例においては、図14のステップS35で所定数のテクスチャ画像データが生成されたと判定された後、ステップS39〜S41が実行される。 Therefore, in the modification of the texture generation processing according to the present embodiment, the following processing is performed. FIG. 17 is a flowchart showing an example of an algorithm of texture generation processing in the modification of the second embodiment. In FIG. 17, a series of processes of steps S32A to S34A, S32B to S34B, and S32C to S34C in FIG. 14 is one processing block called “generation and storage of R data, G data, and B data by imaging of a measurement object” Indicated by. As shown in FIG. 17, in the modification of the texture generation processing, steps S39 to S41 are executed after it is determined in step S35 of FIG. 14 that a predetermined number of texture image data has been generated.

ステップS39で、演算処理部132は、各方向に対応するRデータ、GデータおよびBデータにおいて、互いに対応する画素の代表となる画素値(以下、代表画素値と呼ぶ。)を画素ごとに特定する(ステップS39)。代表画素値は、例えばRデータ、GデータおよびBデータにおける対応画素の画素値の平均値であってもよいし、合計値であってもよいし、最大値であってもよい。 In step S39, the arithmetic processing unit 132 identifies, for each pixel, a pixel value that is a representative of pixels that correspond to each other in the R data, the G data, and the B data corresponding to each direction. Yes (step S39). The representative pixel value may be, for example, an average value of pixel values of corresponding pixels in the R data, G data, and B data, a total value, or a maximum value.

次に、演算処理部132は、複数の方向にそれぞれ対応する複数の代表画素値のうち、最も大きい代表画素値または最も小さい代表画素値を除外した1つの代表画素値を画素ごとに選択する(ステップS40)。本例では、4つの方向にそれぞれ対応する4つの代表画素値のうち、最も大きい代表画素値および最も小さい代表画素値を除外した1つの代表画素値が画素ごとに選択される。 Next, the arithmetic processing unit 132 selects one representative pixel value excluding the largest representative pixel value or the smallest representative pixel value from the plurality of representative pixel values respectively corresponding to the plurality of directions for each pixel ( Step S40). In this example, one representative pixel value excluding the largest representative pixel value and the smallest representative pixel value among the four representative pixel values respectively corresponding to the four directions is selected for each pixel.

続いて、演算処理部132は、ステップS40で選択された1つの代表画素値に対応する方向を画素ごとに特定する(ステップS41)。その後、演算処理部132は、ステップS37A〜S38に進む。 Subsequently, the arithmetic processing unit 132 specifies, for each pixel, the direction corresponding to the one representative pixel value selected in step S40 (step S41). After that, the arithmetic processing unit 132 proceeds to steps S37A to S38.

ステップS37Aにおいては、ステップS41で特定された方向に対応するRデータの各画素の画素値が、検査用Rデータの対応画素の画素値とされる。ステップS37Bにおいては、ステップS41で特定された方向に対応するGデータの各画素の画素値が、検査用Gデータの対応画素の画素値とされる。ステップS37Cにおいては、ステップS41で特定された方向に対応するBデータの各画素の画素値が、検査用Bデータの対応画素の画素値とされる。 In step S37A, the pixel value of each pixel of the R data corresponding to the direction specified in step S41 is set as the pixel value of the corresponding pixel of the inspection R data. In step S37B, the pixel value of each pixel of the G data corresponding to the direction specified in step S41 is set as the pixel value of the corresponding pixel of the inspection G data. In step S37C, the pixel value of each pixel of the B data corresponding to the direction specified in step S41 is set as the pixel value of the corresponding pixel of the inspection B data.

この変形例によれば、検査用Rデータ、検査用Gデータおよび検査用Bデータにおける同一の画素は、同一の方向に対応する。したがって、検査用テクスチャ画像データの対応画素においては、検査用Rデータ、検査用Gデータおよび検査用Bデータの画素値の比が維持される。これにより、テクスチャ画像データにおける各画素に偽の色を発生させることなく、各画素の色を正確に再現することができる。 According to this modification, the same pixel in the inspection R data, the inspection G data, and the inspection B data corresponds to the same direction. Therefore, in the corresponding pixels of the inspection texture image data, the ratio of the pixel values of the inspection R data, the inspection G data, and the inspection B data is maintained. As a result, the color of each pixel can be accurately reproduced without generating a false color in each pixel in the texture image data.

[3]第3の実施の形態
(1)検査装置の構成
第3の実施の形態に係る検査装置300について、第1または第2の実施の形態に係る検査装置300と異なる点を説明する。図18は、本発明の第3の実施の形態に係る検査装置の構成を示すブロック図である。図18に示すように、本実施の形態においては、コントローラ部200は、ヘッド制御部210、画像メモリ220および検査部230に加えて、モード受付部240を含む。
[3] Third Embodiment (1) Configuration of Inspection Device The inspection device 300 according to the third embodiment will be described while referring to differences from the inspection device 300 according to the first or second embodiment. FIG. 18 is a block diagram showing the configuration of the inspection device according to the third embodiment of the present invention. As shown in FIG. 18, in the present embodiment, controller unit 200 includes a mode acceptance unit 240 in addition to head control unit 210, image memory 220 and inspection unit 230.

モード受付部240は、操作部310から検査装置300の動作モードの選択を受け付ける。動作モードは、第1のグレーモード、第1のカラーモード、第2のグレーモードおよび第2のカラーモードを含む。使用者は、操作部310を操作することにより、いずれかの動作モードを選択することができる。ヘッド制御部210および検査部230は、モード受付部240により受け付けられた動作モードで動作する。 The mode reception unit 240 receives selection of the operation mode of the inspection apparatus 300 from the operation unit 310. The operation modes include a first gray mode, a first color mode, a second gray mode and a second color mode. The user can select one of the operation modes by operating the operation unit 310. The head control unit 210 and the inspection unit 230 operate in the operation mode accepted by the mode acceptance unit 240.

第1のグレーモードにおいては、第1の実施の形態と同様の検査処理が実行される。第1のカラーモードにおいては、第2の実施の形態と同様の検査処理が実行される。第2のグレーモードにおいては、ハレーションおよび照明の死角部分の影響が低減されたテクスチャ画像データが生成されない点を除き、第1のグレーモードと同様の検査処理が実行される。第2のカラーモードにおいては、ハレーションおよび照明の死角部分の影響が低減されたテクスチャ画像データが生成されない点を除き、第1のカラーモードと同様の検査処理が実行される。 In the first gray mode, the inspection process similar to that of the first embodiment is executed. In the first color mode, the inspection process similar to that in the second embodiment is executed. In the second gray mode, the inspection processing similar to that in the first gray mode is executed, except that texture image data in which the effects of the blind spots of halation and illumination are reduced is not generated. In the second color mode, an inspection process similar to that in the first color mode is executed, except that texture image data in which the effects of halation and blind spots of illumination are reduced is not generated.

以下、各動作モードにおける検査処理をフローチャートを用いて説明する。なお、第1のグレーモードにおける検査処理のフローチャートは、図10〜図13のフローチャートと同様である。また、第1のカラーモードにおける検査処理のフローチャートは、図10、図11、図14、図15および図17のフローチャートと同様である。そのため、第1のグレーモードおよび第1のカラーモードにおける検査処理の説明を省略する。 The inspection process in each operation mode will be described below with reference to a flowchart. The flowchart of the inspection process in the first gray mode is the same as the flowcharts of FIGS. 10 to 13. Further, the flowchart of the inspection process in the first color mode is the same as the flowcharts of FIGS. 10, 11, 14, 15, and 17. Therefore, the description of the inspection process in the first gray mode and the first color mode is omitted.

(2)第2のグレーモード
第1の実施の形態における図10の検査処理と同様に、第2のグレーモードにおける検査処理は、高さ生成処理、テクスチャ生成処理および判定処理からなる。第2のグレーモードにおける高さ生成処理は、第1の実施の形態における図11の高さ生成処理と同様である。
(2) Second Gray Mode Similar to the inspection processing of FIG. 10 in the first embodiment, the inspection processing in the second gray mode includes height generation processing, texture generation processing, and determination processing. The height generation process in the second gray mode is the same as the height generation process of FIG. 11 in the first embodiment.

図19は、第2のグレーモードにおけるテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。第2のグレーモードにおけるテクスチャ生成処理は、以下の点を除き、第1の実施の形態における図12のテクスチャ生成処理と基本的に同様である。第2のグレーモードにおけるテクスチャ生成処理においては、図19に示すように、ステップS35〜S37が実行されず、ステップS31,S38に代えてステップS31A,S38Aがそれぞれ実行される。 FIG. 19 is a flowchart showing an example of an algorithm of texture generation processing in the second gray mode. The texture generation process in the second gray mode is basically the same as the texture generation process of FIG. 12 in the first embodiment, except for the following points. In the texture generation process in the second gray mode, as shown in FIG. 19, steps S35 to S37 are not executed, and steps S31A and S38A are executed instead of steps S31 and S38, respectively.

具体的には、ステップS31Aで、撮像処理部131は、全部の照明部110を選択する(ステップS31A)。この場合、ステップS32で白色の一様光を出射するように全部の照明部110が制御され、ステップS33で一様光の出射と同期して測定対象物Sを撮像するように撮像部120が制御される。これにより、測定対象物Sのテクスチャ画像データが撮像部120により生成される。その後、ステップS34で、生成されたテクスチャ画像データが記憶部133に記憶される。 Specifically, in step S31A, the imaging processing unit 131 selects all the illumination units 110 (step S31A). In this case, all the illumination units 110 are controlled to emit white uniform light in step S32, and the imaging unit 120 is configured to image the measurement target S in synchronization with the emission of uniform light in step S33. Controlled. As a result, the texture image data of the measuring object S is generated by the imaging unit 120. Then, in step S34, the generated texture image data is stored in the storage unit 133.

その後、出力処理部134は、ステップS34で記憶部133に記憶されたテクスチャ画像データをコントローラ部200に出力する(ステップS38A)。これにより、コントローラ部200の画像メモリ220にテクスチャ画像データが蓄積され、テクスチャ生成処理が終了する。 After that, the output processing unit 134 outputs the texture image data stored in the storage unit 133 in step S34 to the controller unit 200 (step S38A). As a result, the texture image data is accumulated in the image memory 220 of the controller unit 200, and the texture generation process ends.

第2のグレーモードにおける判定処理は、検査用テクスチャ画像データではなく、上記のテクスチャ画像データの計測が行われる点を除き、第1の実施の形態における図13の判定処理と同様である。 The determination process in the second gray mode is the same as the determination process in FIG. 13 in the first embodiment except that the texture image data is measured instead of the inspection texture image data.

(3)第2のカラーモード
第2の実施の形態における検査処理と同様に、第2のカラーモードにおける検査処理は、高さ生成処理、テクスチャ生成処理および判定処理からなる。第2のカラーモードにおける高さ生成処理は、第2の実施の形態における高さ生成処理と同様である。
(3) Second Color Mode Similar to the inspection processing in the second embodiment, the inspection processing in the second color mode includes height generation processing, texture generation processing, and determination processing. The height generation process in the second color mode is the same as the height generation process in the second embodiment.

図20は、第2のカラーモードにおけるテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。第2のカラーモードにおけるテクスチャ生成処理は、以下の点を除き、第2の実施の形態における図14および図15のテクスチャ生成処理と基本的に同様である。第2のカラーモードにおけるテクスチャ生成処理においては、図20に示すように、ステップS35,S36,S37A〜S37Cが実行されず、ステップS31,S37,S38に代えて、ステップS31B,S37D,S38Bがそれぞれ実行される。 FIG. 20 is a flowchart showing an example of an algorithm of texture generation processing in the second color mode. The texture generation process in the second color mode is basically the same as the texture generation process of FIGS. 14 and 15 in the second embodiment, except for the following points. In the texture generation process in the second color mode, as shown in FIG. 20, steps S35, S36, S37A to S37C are not executed, and instead of steps S31, S37, S38, steps S31B, S37D, S38B are respectively performed. To be executed.

具体的には、ステップS31Bで、撮像処理部131は、全部の照明部110を選択する(ステップS31B)。この場合、ステップS32Aで赤色の一様光を出射するように全部の照明部110が制御され、ステップS33Aで一様光の出射と同期して測定対象物Sを撮像するように撮像部120が制御される。これにより、測定対象物SのRデータが撮像部120により生成される。その後、ステップS34Aで、生成されたRデータが記憶部133に記憶される。 Specifically, in step S31B, the imaging processing unit 131 selects all the illumination units 110 (step S31B). In this case, all the illumination units 110 are controlled so as to emit the uniform red light in step S32A, and the imaging unit 120 is configured to capture the measurement target S in synchronization with the emission of the uniform light in step S33A. Controlled. Thereby, the R data of the measuring object S is generated by the imaging unit 120. Then, in step S34A, the generated R data is stored in the storage unit 133.

また、ステップS32Bで緑色の一様光を出射するように全部の照明部110が制御され、ステップS33Bで一様光の出射と同期して測定対象物Sを撮像するように撮像部120が制御される。これにより、測定対象物SのGデータが撮像部120により生成される。その後、ステップS34Bで、生成されたGデータが記憶部133に記憶される。 Further, in step S32B, all the illumination units 110 are controlled so as to emit green uniform light, and in step S33B, the imaging unit 120 controls so as to image the measurement target S in synchronization with the emission of uniform light. To be done. Thereby, the G data of the measuring object S is generated by the imaging unit 120. Then, in step S34B, the generated G data is stored in the storage unit 133.

さらに、ステップS32Cで青色の一様光を出射するように全部の照明部110が制御され、ステップS33Cで一様光の出射と同期して測定対象物Sを撮像するように撮像部120が制御される。これにより、測定対象物SのBデータが撮像部120により生成される。その後、ステップS34Cで、生成されたBデータが記憶部133に記憶される。 Further, all the illumination units 110 are controlled so as to emit uniform blue light in step S32C, and the image capturing unit 120 is controlled so as to image the measurement target S in synchronization with the emission of uniform light in step S33C. To be done. Thereby, the B data of the measuring object S is generated by the imaging unit 120. Then, in step S34C, the generated B data is stored in the storage unit 133.

次に、演算処理部132は、ステップS34A〜S34Cで記憶部133にそれぞれ記憶されたRデータ、GデータおよびBデータを合成することにより、カラーのテクスチャ画像データを生成する(ステップS37D)。その後、出力処理部134は、ステップS37Dで生成されたテクスチャ画像データをコントローラ部200に出力する(ステップS38B)。これにより、コントローラ部200の画像メモリ220にカラーのテクスチャ画像データが蓄積され、テクスチャ生成処理が終了する。 Next, the arithmetic processing unit 132 generates color texture image data by synthesizing the R data, G data, and B data respectively stored in the storage unit 133 in steps S34A to S34C (step S37D). After that, the output processing unit 134 outputs the texture image data generated in step S37D to the controller unit 200 (step S38B). As a result, the color texture image data is accumulated in the image memory 220 of the controller unit 200, and the texture generation process ends.

第2のカラーモードにおける判定処理は、検査用テクスチャ画像データではなく、上記のテクスチャ画像データの計測が行われる点を除き、第2の実施の形態における判定処理と同様である。 The determination process in the second color mode is the same as the determination process in the second embodiment except that the texture image data is measured instead of the inspection texture image data.

(4)効果
第1または第2の実施の形態においては、ハレーションまたは照明の死角部分の影響が低減された高品質な検査用テクスチャ画像データが生成される。これにより、より正確な検査を行うことができる。しかしながら、撮像回数および処理時間が増加するため、検査のタクトタイムが長くなる。
(4) Effects In the first or second embodiment, high-quality inspection texture image data in which the influence of the blind spots of halation or illumination is reduced is generated. Thereby, a more accurate inspection can be performed. However, since the number of times of imaging and the processing time increase, the takt time of inspection becomes long.

一方で、測定対象物Sにおける検査を行う部分が、テクスチャ画像データにおけるハレーションまたは照明の死角が発生しない部分に対応する場合には、高品質なテクスチャ画像データを用いる必要がない。あるいは、テクスチャ画像データが、高さ画像の確認のために補助的に用いられ、計測には用いられない場合には、当該テクスチャ画像データにハレーションまたは照明の死角が発生してもよい。これらの場合には、高品質なテクスチャ画像データが生成されることよりも、より高速にテクスチャ画像データが生成されることが求められる。 On the other hand, when the portion of the measurement object S to be inspected corresponds to the portion in the texture image data where halation or the blind spot of illumination does not occur, it is not necessary to use high quality texture image data. Alternatively, when the texture image data is used auxiliary for confirmation of the height image and is not used for measurement, halation or blind spots of illumination may occur in the texture image data. In these cases, it is required that the texture image data is generated at a higher speed than the generation of high quality texture image data.

そこで、高品質なテクスチャ画像データを生成することが不要な場合には、使用者は、第2のグレーモードまたは第2のカラーモードを選択する。これにより、テクスチャ画像データがより高速に画像メモリ220に蓄積される。その結果、測定対象物Sの検査をより短時間で終了することができる。なお、画像メモリ220へのテクスチャ画像データの蓄積が終了するまでの時間の短さは、第2のグレーモード、第2のカラーモード、第1のグレーモードおよび第1のカラーモードの順となる。 Therefore, when it is not necessary to generate high quality texture image data, the user selects the second gray mode or the second color mode. As a result, the texture image data is stored in the image memory 220 at a higher speed. As a result, the inspection of the measuring object S can be completed in a shorter time. Note that the shortest time until the storage of the texture image data in the image memory 220 is completed is in the order of the second gray mode, the second color mode, the first gray mode, and the first color mode. ..

[4]第4の実施の形態
(1)検査装置の構成
第4の実施の形態に係る検査装置300について、第3の実施の形態に係る検査装置300と異なる点を説明する。本実施の形態においては、検査装置300の動作モードは、第1のグレーモード、第1のカラーモード、第2のグレーモードおよび第2のカラーモードに加えて、第1のベイヤモードおよび第2のベイヤモードを含む。
[4] Fourth Embodiment (1) Configuration of Inspection Apparatus Regarding the inspection apparatus 300 according to the fourth embodiment, differences from the inspection apparatus 300 according to the third embodiment will be described. In the present embodiment, the operation modes of inspection apparatus 300 are the first gray mode, the first color mode, the second gray mode, and the second color mode, as well as the first Bayer mode and the second Bayer mode. Including Bayer mode.

図21は、第1および第2のベイヤモードを説明するための図である。図21においては、Rデータの画素が第1のハッチングパターンおよび文字「R」により示される。Gデータの画素がドットパターンおよび文字「G」により示される。Bデータの画素が第2のハッチングパターンおよび文字「B」により示される。 FIG. 21 is a diagram for explaining the first and second Bayer modes. In FIG. 21, the pixel of the R data is indicated by the first hatching pattern and the letter “R”. The pixel of the G data is indicated by the dot pattern and the letter “G”. The pixels of the B data are indicated by the second hatching pattern and the letter "B".

第1および第2のベイヤモードでは、図21に示すように、ヘッド部100において、Rデータ、GデータおよびBデータに基づいてベイヤ配列に変換されたテクスチャ画像データが生成される。ベイヤ配列に変換されたテクスチャ画像データをベイヤデータと呼ぶ。ベイヤデータは、Rデータの画素、Gデータの画素およびBデータの画素を1:2:1の割合で含む。検査用ベイヤデータは、ハレーションまたは照明の死角部分の影響が低減されたベイヤデータである。 In the first and second Bayer modes, as shown in FIG. 21, the head unit 100 generates texture image data converted into a Bayer array based on R data, G data, and B data. The texture image data converted into the Bayer array is called Bayer data. The Bayer data includes R data pixels, G data pixels, and B data pixels in a ratio of 1:2:1. The inspection Bayer data is Bayer data in which the influence of a blind spot portion of halation or illumination is reduced.

第1のベイヤモードでは、検査用ベイヤデータが生成される。第2のベイヤモードでは、単なるベイヤデータが生成される。生成されたベイヤデータは、コントローラ部200に出力される。コントローラ部200において、ベイヤデータにディベイヤ処理が施される。これにより、ベイヤデータが非ベイヤ配列に変換されることにより、テクスチャ画像データが再生成される。再生成されたテクスチャ画像データに基づいて計測が実行される。以下、第1および第2のベイヤモードにおける検査処理をフローチャートを用いて説明する。 In the first Bayer mode, inspection Bayer data is generated. In the second Bayer mode, just Bayer data is generated. The generated Bayer data is output to the controller unit 200. Debayer processing is performed on the Bayer data in the controller unit 200. As a result, the texture image data is regenerated by converting the Bayer data into the non-Bayer array. Measurement is performed based on the regenerated texture image data. The inspection process in the first and second Bayer modes will be described below with reference to the flowchart.

(2)第1のベイヤモード
第1のカラーモードにおける検査処理と同様に、第1のベイヤモードにおける検査処理は、高さ生成処理、テクスチャ生成処理および判定処理からなる。第1のベイヤモードにおける高さ生成処理は、第1のカラーモードにおける高さ生成処理と同様である。
(2) First Bayer Mode Similar to the inspection processing in the first color mode, the inspection processing in the first Bayer mode includes height generation processing, texture generation processing, and determination processing. The height generation process in the first Bayer mode is the same as the height generation process in the first color mode.

図22および図23は、第1のベイヤモードにおけるテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。第1のベイヤモードにおけるテクスチャ生成処理は、以下の点を除き、第1のカラーモードにおける図14および図15のテクスチャ生成処理と基本的に同様である。第1のベイヤモードにおけるテクスチャ生成処理においては、図22および図23に示すように、ステップS37の後にステップS37Eが追加されるとともに、ステップS38に代えてステップS38Cが実行される。 22 and 23 are flowcharts showing an example of an algorithm of texture generation processing in the first Bayer mode. The texture generation process in the first Bayer mode is basically the same as the texture generation process of FIGS. 14 and 15 in the first color mode except for the following points. In the texture generation process in the first Bayer mode, as shown in FIGS. 22 and 23, step S37E is added after step S37, and step S38C is executed instead of step S38.

具体的には、ステップS37の後、演算処理部132は、ステップS37で生成された検査用テクスチャ画像データにベイヤ処理を実行する(ステップS37E)。これにより、検査用ベイヤデータが生成される。その後、出力処理部134は、ステップS37Eで生成された検査用ベイヤデータをコントローラ部200に出力する(ステップS38C)。これにより、コントローラ部200の画像メモリ220に検査用ベイヤデータが蓄積され、テクスチャ生成処理が終了する。 Specifically, after step S37, the arithmetic processing unit 132 executes the Bayer process on the inspection texture image data generated in step S37 (step S37E). Thereby, the inspection Bayer data is generated. Then, the output processing unit 134 outputs the inspection Bayer data generated in step S37E to the controller unit 200 (step S38C). As a result, the inspection Bayer data is accumulated in the image memory 220 of the controller unit 200, and the texture generation process ends.

図24は、第1のベイヤモードにおける判定処理のアルゴリズムの一例を示すフローチャートである。第1のベイヤモードにおける判定処理は、以下の点を除き、第1のカラーモードにおける判定処理と同様である。第1のベイヤモードにおける判定処理においては、図24に示すように、ステップS51の前にステップS53が追加される。 FIG. 24 is a flowchart showing an example of the algorithm of the determination process in the first Bayer mode. The determination process in the first Bayer mode is the same as the determination process in the first color mode except for the following points. In the determination processing in the first Bayer mode, step S53 is added before step S51, as shown in FIG.

具体的には、検査部230は、ステップS38Cで画像メモリ220に蓄積された検査用ベイヤデータにディベイヤ処理を実行する(ステップS53)。これにより、検査用ベイヤデータが非ベイヤ配列に変換され、検査用テクスチャ画像データが再生成される。その後、ステップS53で再生成された検査用テクスチャ画像データを用いて、ステップS51が実行される。 Specifically, the inspection unit 230 executes the debayering process on the inspection Bayer data stored in the image memory 220 in step S38C (step S53). As a result, the inspection Bayer data is converted into the non-Bayer array, and the inspection texture image data is regenerated. Then, step S51 is performed using the inspection texture image data regenerated in step S53.

(3)第2のベイヤモード
第2のカラーモードにおける検査処理と同様に、第2のベイヤモードにおける検査処理は、高さ生成処理、テクスチャ生成処理および判定処理からなる。第2のベイヤモードにおける高さ生成処理は、第2のカラーモードにおける高さ生成処理と同様である。
(3) Second Bayer Mode Similar to the inspection process in the second color mode, the inspection process in the second Bayer mode includes height generation processing, texture generation processing, and determination processing. The height generation processing in the second Bayer mode is the same as the height generation processing in the second color mode.

図25は、第2のベイヤモードにおけるテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。第2のベイヤモードにおけるテクスチャ生成処理は、以下の点を除き、第2のカラーモードにおける図20のテクスチャ生成処理と基本的に同様である。第2のベイヤモードにおけるテクスチャ生成処理においては、図25に示すように、ステップS37Dの後にステップS37Fが追加されるとともに、ステップS38Bに代えてステップS38Dが実行される。 FIG. 25 is a flowchart showing an example of an algorithm of texture generation processing in the second Bayer mode. The texture generation process in the second Bayer mode is basically the same as the texture generation process of FIG. 20 in the second color mode except for the following points. In the texture generation process in the second Bayer mode, as shown in FIG. 25, step S37F is added after step S37D, and step S38D is executed instead of step S38B.

具体的には、ステップS37Dの後、演算処理部132は、ステップS37Dで生成されたテクスチャ画像データにベイヤ処理を実行する(ステップS37F)。これにより、ベイヤデータが生成される。その後、出力処理部134は、ステップS37Fで生成されたベイヤデータをコントローラ部200に出力する(ステップS38D)。これにより、コントローラ部200の画像メモリ220にベイヤデータが蓄積され、テクスチャ生成処理が終了する。 Specifically, after step S37D, the arithmetic processing unit 132 executes the Bayer process on the texture image data generated in step S37D (step S37F). Thereby, Bayer data is generated. After that, the output processing unit 134 outputs the Bayer data generated in step S37F to the controller unit 200 (step S38D). As a result, the Bayer data is accumulated in the image memory 220 of the controller unit 200, and the texture generation process ends.

図26は、第2のベイヤモードにおける判定処理のアルゴリズムの一例を示すフローチャートである。第2のベイヤモードにおける判定処理は、以下の点を除き、第2のカラーモードにおける判定処理と同様である。第2のベイヤモードにおける判定処理においては、図26に示すように、ステップS51の前にステップS54が追加される。 FIG. 26 is a flowchart showing an example of an algorithm of the determination process in the second Bayer mode. The determination process in the second Bayer mode is the same as the determination process in the second color mode, except for the following points. In the determination process in the second Bayer mode, step S54 is added before step S51, as shown in FIG.

具体的には、検査部230は、ステップS38Dで画像メモリ220に蓄積されたベイヤデータにディベイヤ処理を実行する(ステップS54)。これにより、ベイヤデータが非ベイヤ配列に変換され、テクスチャ画像データが再生成される。その後、ステップS54で再生成されたテクスチャ画像データを用いて、ステップS51が実行される。 Specifically, the inspection unit 230 executes the debayering process on the Bayer data accumulated in the image memory 220 in step S38D (step S54). As a result, the Bayer data is converted into the non-Bayer array, and the texture image data is regenerated. Then, step S51 is executed using the texture image data regenerated in step S54.

(4)効果
第1のカラーモードまたは第2のカラーモードにおいては、高い解像度を有するカラーのテクスチャ画像データ(検査用テクスチャ画像データを含む。)が生成される。しかしながら、カラーのテクスチャ画像データのデータ量は大きいため、ヘッド部100からコントローラ部200へのテクスチャ画像データの出力に長時間を要する。
(4) Effects In the first color mode or the second color mode, color texture image data (including inspection texture image data) having high resolution is generated. However, since the amount of color texture image data is large, it takes a long time to output the texture image data from the head unit 100 to the controller unit 200.

これに対し、第1のベイヤモードまたは第2のベイヤモードにおいては、カラーのテクスチャ画像データの解像度は低下するものの、カラーのテクスチャ画像データのデータ量はモノクロのテクスチャ画像データのデータ量と同程度に低減される。これにより、ヘッド部100からコントローラ部200へのテクスチャ画像データの出力が短時間で行われる。 On the other hand, in the first Bayer mode or the second Bayer mode, although the resolution of the color texture image data is reduced, the data amount of the color texture image data is reduced to the same level as that of the monochrome texture image data. To be done. Thereby, the output of the texture image data from the head unit 100 to the controller unit 200 is performed in a short time.

そこで、高解像度を有するテクスチャ画像データを生成することが不要な場合には、使用者は、第1のベイヤモードまたは第2のベイヤモードを選択する。これにより、テクスチャ画像データがより高速に画像メモリ220に蓄積される。その結果、測定対象物Sの検査をより短時間で終了することができる。その結果、測定対象物Sの検査をより短時間で終了することができる。 Therefore, when it is unnecessary to generate texture image data having high resolution, the user selects the first Bayer mode or the second Bayer mode. As a result, the texture image data is stored in the image memory 220 at a higher speed. As a result, the inspection of the measuring object S can be completed in a shorter time. As a result, the inspection of the measuring object S can be completed in a shorter time.

なお、本実施の形態においては、ヘッド部100とコントローラ部200との間の通信に要する時間は、種々のテクスチャ画像データの生成に要する時間よりも短い。この場合、画像メモリ220へのテクスチャ画像データの蓄積が終了するまでの時間の短さは、第2のグレーモード、第2のベイヤモード、第2のカラーモード、第1のグレーモード、第1のベイヤモードおよび第1のカラーモードの順となる。 Note that in the present embodiment, the time required for communication between the head unit 100 and the controller unit 200 is shorter than the time required for generating various texture image data. In this case, the short time until the storage of the texture image data in the image memory 220 is finished depends on the second gray mode, the second Bayer mode, the second color mode, the first gray mode, and the first gray mode. The order is the Bayer mode and the first color mode.

[5]第5の実施の形態
(1)測定対象物の表面状態および形状がテクスチャ画像に及ぼす影響
第1の実施の形態では、検査用テクスチャ画像データを得るために、複数の照明部110による光の照射方向にそれぞれ対応する複数のテクスチャ画像データが生成される。また、生成された複数のテクスチャ画像データの互いに対応する各画素について、複数の画素値のうち最も大きい画素値または最も小さい画素値を除いて予め定められた規則に従って画素値が選択される。予め定められた規則は、例えば複数の画素値の大きさの順位で定められる。各画素の画素値を選択された画素値とする画像データが検査用テクスチャ画像データとして生成される。このような、第1の実施の形態に係る検査用テクスチャ画像データの生成方法を単純生成方法と呼ぶ。単純生成方法により生成された検査用テクスチャ画像データによれば、ハレーションおよび影がほとんど存在しないテクスチャ画像が得られると考えられる。
[5] Fifth Embodiment (1) Effect of Surface Condition and Shape of Measurement Object on Texture Image In the first embodiment, a plurality of illumination units 110 are used to obtain texture image data for inspection. A plurality of texture image data corresponding to the light irradiation directions are generated. In addition, for each pixel corresponding to each other in the plurality of generated texture image data, a pixel value is selected according to a predetermined rule excluding the largest pixel value or the smallest pixel value among the plurality of pixel values. The predetermined rule is determined, for example, in order of magnitude of a plurality of pixel values. Image data having the pixel value of each pixel as the selected pixel value is generated as the inspection texture image data. Such a generation method of the inspection texture image data according to the first embodiment is called a simple generation method. According to the inspection texture image data generated by the simple generation method, it is considered that a texture image having almost no halation and shadow can be obtained.

しかしながら、実際には、測定対象物Sの表面状態によっては、単純生成方法で生成される検査用テクスチャ画像データであっても、ハレーション成分を十分に除去することができない場合がある。単純生成方法による検査用テクスチャ画像データの生成時にハレーションの成分を除去することができない例について説明する。 However, in reality, depending on the surface state of the measuring object S, the halation component may not be sufficiently removed even with the inspection texture image data generated by the simple generation method. An example in which the halation component cannot be removed when the inspection texture image data is generated by the simple generation method will be described.

金属製の測定対象物Sにおいては、その表面にヘアライン加工が施される場合がある。ヘアライン加工によれば、測定対象物Sの表面に一方向に延びる微細なライン状の溝がその一方向に直交する方向に多数並ぶように形成される。それにより、測定対象物Sの外観に所定の質感が与えられる。 Hairline processing may be performed on the surface of the measurement object S made of metal. According to the hairline processing, a large number of fine linear grooves extending in one direction are formed on the surface of the measuring object S so as to be arranged in a direction orthogonal to the one direction. Thereby, a predetermined texture is given to the appearance of the measuring object S.

図27は、ヘアライン加工が施された金属製の測定対象物Sの一例を示す図である。図27の測定対象物Sは、突出部S2の上面USにヘアライン加工が施されている点を除いて、図5の測定対象物Sと同じ形状を有する。図28は、図27の突出部S2の上面USの模式的な拡大図である。図28に示すように、突出部S2の上面USには、多数のライン状の溝が形成されている。 FIG. 27 is a diagram showing an example of a measurement object S made of metal, which is subjected to hairline processing. The measurement object S of FIG. 27 has the same shape as the measurement object S of FIG. 5, except that the hairline processing is applied to the upper surface US of the protrusion S2. 28 is a schematic enlarged view of the upper surface US of the protrusion S2 of FIG. As shown in FIG. 28, a large number of linear grooves are formed on the upper surface US of the protrusion S2.

ここで、測定対象物Sの上面USにおいてライン状の溝が延びる方向をヘアライン方向と呼び、測定対象物Sの上面USにおいてヘアライン方向に直交する方向を交差方向と呼ぶ。図28に示すように、上面US上の各溝は、ヘアライン方向に直交する断面がV字形状を示すように形成されている。そのため、上面USには、ヘアライン方向に延びかつ斜め上方を向く多数の傾斜面が微視的に形成されている。 Here, the direction in which the linear groove extends on the upper surface US of the measurement target S is called the hairline direction, and the direction on the upper surface US of the measurement target S that is orthogonal to the hairline direction is called the crossing direction. As shown in FIG. 28, each groove on the upper surface US is formed so that the cross section orthogonal to the hairline direction has a V shape. Therefore, on the upper surface US, a large number of inclined surfaces extending in the hairline direction and facing obliquely upward are microscopically formed.

このような構成を有する測定対象物Sについて、図2のヘッド部100を用いて4つの照明部110にそれぞれ対応する4つのテクスチャ画像データを生成する場合を想定する。 It is assumed that the measurement target S having such a configuration is used to generate four texture image data corresponding to the four illumination units 110 using the head unit 100 of FIG.

図29は、図27の測定対象物Sの検査時における図2の4つの照明部110および撮像部120と測定対象物Sとの位置関係の一例を示す模式的斜視図である。図29では、複数の照明部110と撮像部120との位置関係の把握を容易にするために、図2の4個の照明部110A,110B,110C,110Dおよび撮像部120が丸印で示される。また、撮像部120を通ってX方向およびY方向にそれぞれ平行に延びる2本の直線が一点鎖線で示される。 FIG. 29 is a schematic perspective view showing an example of the positional relationship between the measurement object S and the four illumination units 110 and the imaging unit 120 of FIG. 2 when the measurement object S of FIG. 27 is inspected. In FIG. 29, four illumination units 110A, 110B, 110C, 110D and the imaging unit 120 of FIG. 2 are indicated by circles in order to facilitate understanding of the positional relationship between the plurality of illumination units 110 and the imaging unit 120. Be done. Further, two straight lines extending in parallel with each other in the X direction and the Y direction through the image capturing unit 120 are indicated by alternate long and short dash lines.

本例では、測定対象物Sは、そのヘアライン方向がX方向に平行となるようにベルトコンベア301上に載置されている。この場合、照明部110Cと照明部110Dとは、測定対象物Sの交差方向において撮像部120を挟んで対向することになる。 In this example, the measuring object S is placed on the belt conveyor 301 such that the hairline direction thereof is parallel to the X direction. In this case, the illuminating section 110C and the illuminating section 110D are opposed to each other in the intersecting direction of the measuring object S with the imaging section 120 interposed therebetween.

それにより、照明部110Cから突出部S2の上面USに照射される一様光の一部は、その上面USにおける照明部110Cの方向に向く多数の傾斜面により正反射されて撮像部120に入射する。また、照明部110Dから突出部S2の上面USに照射される一様光の一部は、その上面USにおける照明部110Dの方向に向く多数の傾斜面により正反射されて撮像部120に入射する。したがって、2つの照明部110C,110Dにそれぞれ対応して生成される2つのテクスチャ画像データにおいては、測定対象物Sの上面US部分についてほぼ同等のハレーションが発生することになる。 As a result, a part of the uniform light emitted from the illuminating section 110C to the upper surface US of the protrusion S2 is specularly reflected by the multiple inclined surfaces of the upper surface US facing the illuminating section 110C and enters the imaging section 120. To do. Further, a part of the uniform light emitted from the illumination unit 110D to the upper surface US of the protruding portion S2 is specularly reflected by the many inclined surfaces of the upper surface US that face the direction of the illumination unit 110D and enters the imaging unit 120. .. Therefore, in the two texture image data generated corresponding to the two illumination units 110C and 110D, almost the same halation occurs in the upper surface US portion of the measuring object S.

図30は、図29の例において4つの照明部110A〜110Dから個別に一様光が出射されたときの測定対象物Sの複数のテクスチャ画像を示す図である。テクスチャ画像データT1〜T4は、それぞれ照明部110A〜110Dに対応する。図30では、テクスチャ画像におけるハレーションの発生部分の識別を容易にするために、ハレーションの発生部分をドットパターンで表す。 FIG. 30 is a diagram showing a plurality of texture images of the measuring object S when uniform light is individually emitted from the four illumination units 110A to 110D in the example of FIG. The texture image data T1 to T4 correspond to the illumination units 110A to 110D, respectively. In FIG. 30, in order to easily identify the halation occurrence portion in the texture image, the halation occurrence portion is represented by a dot pattern.

ここで、測定対象物Sの突出部S2の上面USの画像に着目すると、図30に示すように、テクスチャ画像データT1,T2では、突出部S2の上面USの部分にハレーションはほとんど発生していない。一方、テクスチャ画像データT3,T4では、突出部S2の上面USの部分に同程度のハレーションが発生している。 Here, focusing on the image of the upper surface US of the protruding portion S2 of the measuring object S, as shown in FIG. 30, in the texture image data T1 and T2, halation is almost generated in the portion of the upper surface US of the protruding portion S2. Absent. On the other hand, in the texture image data T3 and T4, the same degree of halation occurs in the portion of the upper surface US of the protruding portion S2.

この場合、各画素について4つの画素値のうち2番目に大きい画素値を選択するという規則に基づく単純生成方法では、突出部S2の上面USを示すテクスチャ画像データT3,T4のいずれかのハレーション成分が検査用テクスチャ画像データに残留することになる。 In this case, in the simple generation method based on the rule of selecting the second largest pixel value of the four pixel values for each pixel, any halation component of the texture image data T3 or T4 indicating the upper surface US of the protruding portion S2. Will remain in the inspection texture image data.

図31は、図30の4つのテクスチャ画像から各画素について4つの画素値のうち2番目に大きい画素値を選択する単純生成方法により得られる検査用テクスチャ画像データの画像を示す図である。図31においても、図30の例と同様に、テクスチャ画像におけるハレーションの発生部分をドットパターンで表す。図31によれば、測定対象物Sにおける突出部S2の上面US部分にハレーションが発生している。 FIG. 31 is a diagram showing an image of inspection texture image data obtained by the simple generation method of selecting the second largest pixel value of the four pixel values for each pixel from the four texture images of FIG. In FIG. 31 as well, as in the example of FIG. 30, a portion where halation occurs in the texture image is represented by a dot pattern. According to FIG. 31, halation occurs in the upper surface US portion of the protrusion S2 of the measuring object S.

上記の点を考慮すると、単純生成方法における画素値を選択するための規則を変更することにより、検査用テクスチャ画像データを生成することが考えられる。例えば、4つのテクスチャ画像データの互いに対応する各画素について4つの画素値のうち3番目に大きい画素値を選択する単純生成方法により、検査用テクスチャ画像データを生成することが考えられる。この場合、突出部S2の上面USを示すテクスチャ画像データT3,T4の画素値が検査用テクスチャ画像データとして選択されることが防止される。しかしながら、この場合であっても、測定対象物Sの形状によっては、影の成分を十分に除去することができない場合がある。単純生成方法による検査用テクスチャ画像データの生成時に影の成分を除去することができない例について説明する。 Considering the above points, it is possible to generate the inspection texture image data by changing the rule for selecting the pixel value in the simple generation method. For example, it is conceivable to generate the texture image data for inspection by a simple generation method of selecting the third largest pixel value of the four pixel values for each corresponding pixel of the four texture image data. In this case, the pixel values of the texture image data T3 and T4 indicating the upper surface US of the protruding portion S2 are prevented from being selected as the inspection texture image data. However, even in this case, the shadow component may not be sufficiently removed depending on the shape of the measuring object S. An example in which the shadow component cannot be removed when the inspection texture image data is generated by the simple generation method will be described.

図32は、測定対象物Sの他の例を示す図である。図33は、図31の測定対象物Sの検査時における図2の4つの照明部110および撮像部120と測定対象物Sとの位置関係の一例を示す模式的斜視図である。図33では、図29の例と同様に、図2の4個の照明部110A,110B,110C,110Dおよび撮像部120が丸印で示される。また、撮像部120を通ってX方向およびY方向にそれぞれ平行に延びる2本の直線が一点鎖線で示される。 FIG. 32 is a diagram showing another example of the measuring object S. FIG. 33 is a schematic perspective view showing an example of the positional relationship between the measurement object S and the four illumination units 110 and the imaging section 120 of FIG. 2 when the measurement object S of FIG. 31 is inspected. In FIG. 33, as in the example of FIG. 29, the four illumination units 110A, 110B, 110C, 110D and the imaging unit 120 of FIG. 2 are indicated by circles. Further, two straight lines extending in parallel with each other in the X direction and the Y direction through the image capturing unit 120 are indicated by alternate long and short dash lines.

図32の測定対象物Sは、上面が開放された扁平な箱形状を有する。具体的には、本例の測定対象物Sは、正方形状を有する底板部S4と、底板部S4の4辺からそれぞれ上方に延びる第1側壁S5a、第2側壁S5b、第3側壁S5cおよび第4側壁S5dとを有する。第1側壁S5aおよび第2側壁S5bは互いに対向し、第3側壁S5cおよび第4側壁S5dは互いに対向する。底板部S4の上面は灰色であり、第1側壁S5a、第2側壁S5b、第3側壁S5cおよび第4側壁S5dの上端面は光沢のない白色である。 The measurement object S of FIG. 32 has a flat box shape with an open upper surface. Specifically, the measurement object S of this example includes a bottom plate portion S4 having a square shape, a first side wall S5a, a second side wall S5b, a third side wall S5c, and a third side wall S5c that extend upward from four sides of the bottom plate portion S4. 4 side walls S5d. The first side wall S5a and the second side wall S5b face each other, and the third side wall S5c and the fourth side wall S5d face each other. The upper surface of the bottom plate portion S4 is gray, and the upper end surfaces of the first side wall S5a, the second side wall S5b, the third side wall S5c and the fourth side wall S5d are dull white.

図33の例では、第1側壁S5aおよび第2側壁S5bがX方向において対向しかつ第3側壁S5cおよび第4側壁S5dがY方向において対向しかつ底板部S4の上面が撮像部120に対向するように、測定対象物Sがベルトコンベア301上に載置されている。この場合、4つの照明部110A〜110Dから個別に一様光が照射されると、底板部S4上には少なくとも一部に影が発生する。 In the example of FIG. 33, the first side wall S5a and the second side wall S5b face each other in the X direction, the third side wall S5c and the fourth side wall S5d face each other in the Y direction, and the upper surface of the bottom plate portion S4 faces the imaging unit 120. Thus, the measurement target S is placed on the belt conveyor 301. In this case, when uniform light is individually emitted from the four illumination units 110A to 110D, a shadow is generated on at least a part of the bottom plate S4.

図34は、図33の例において4つの照明部110A〜110Dから個別に一様光が出射されたときの測定対象物Sの複数のテクスチャ画像を示す図である。テクスチャ画像データT1〜T4は、それぞれ照明部110A〜110Dに対応する。図34では、テクスチャ画像における影の発生部分をハッチングで表す。 FIG. 34 is a diagram showing a plurality of texture images of the measuring object S when uniform light is individually emitted from the four illumination units 110A to 110D in the example of FIG. The texture image data T1 to T4 correspond to the illumination units 110A to 110D, respectively. In FIG. 34, the portion where the shadow is generated in the texture image is represented by hatching.

図34に示すように、4つのテクスチャ画像データT1〜T4の各々においては、底板部S4の上面のうち光が出射される照明部に最も近い位置にある側壁から一定幅の領域に影が発生している。この場合、各画素について4つの画素値のうち3番目に大きい画素値を選択するという規則に基づく単純生成方法では、生成される検査用テクスチャ画像データの一部に影の成分が残留することになる。 As shown in FIG. 34, in each of the four texture image data T1 to T4, a shadow is generated on the upper surface of the bottom plate S4 in a region of a certain width from the side wall that is closest to the illumination unit that emits light. doing. In this case, in the simple generation method based on the rule of selecting the third largest pixel value among the four pixel values for each pixel, the shadow component remains in a part of the generated inspection texture image data. Become.

図35は、図34の4つのテクスチャ画像から各画素について4つの画素値のうち3番目に大きい画素値を選択する単純生成方法により得られる検査用テクスチャ画像データの画像を示す図である。図35においても、図34の例と同様に、テクスチャ画像における影の発生部分をハッチングで表す。図35によれば、測定対象物Sにおける底板部S4の上面の四隅に影が発生している。 FIG. 35 is a diagram showing an image of the inspection texture image data obtained by the simple generation method of selecting the third largest pixel value of the four pixel values for each pixel from the four texture images of FIG. 34. In FIG. 35 as well, as in the example of FIG. 34, the shaded portion in the texture image is represented by hatching. According to FIG. 35, shadows are generated at the four corners of the upper surface of the bottom plate S4 of the measuring object S.

そこで、第5の実施の形態に係る検査装置300においては、図27および図32の測定対象物Sについてハレーションおよび影がほとんど発生しないテクスチャ画像データが生成されるように、テクスチャ生成処理が行われる。なお、本実施の形態に係る検査装置300は、テクスチャ生成処理の処理内容が異なる点を除いて、第1の実施の形態に係る検査装置300と同じ構成および動作を有する。 Therefore, in the inspection device 300 according to the fifth embodiment, the texture generation processing is performed so that the texture image data in which the halation and the shadow hardly occur is generated for the measurement object S of FIGS. 27 and 32. .. The inspection apparatus 300 according to the present embodiment has the same configuration and operation as the inspection apparatus 300 according to the first embodiment, except that the processing content of the texture generation processing is different.

(2)第5の実施の形態に係るテクスチャ生成処理の概念
図36は、第5の実施の形態に係るテクスチャ生成処理の概念図である。図36に太い点線で示すように、本実施の形態に係るテクスチャ生成処理では、まず照明部110A〜110Dにそれぞれ対応するテクスチャ画像データが生成される。その後、X方向において撮像部120を挟んで対向する照明部110A,110Bに対応して生成された第1対のテクスチャ画像データが合成され、第1の合成画像データが生成される。この合成時には、互いに対応する各画素について2つの画素値が比較される。また、2つの画素値のうち大きい画素値が第1画素値として選択され、選択された第1画素値が、第1の合成画像データの当該画素の画素値とされる。これにより、第1対のテクスチャ画像データにそれぞれ存在する画素値の低い成分が除去される。すなわち、第1対のテクスチャ画像データにおける影等に起因する成分の少なくとも一部が除去される。
(2) Concept of Texture Generation Processing According to Fifth Embodiment FIG. 36 is a conceptual diagram of texture generation processing according to the fifth embodiment. As shown by the thick dotted line in FIG. 36, in the texture generation process according to the present embodiment, first, texture image data corresponding to the illumination units 110A to 110D is generated. After that, the first pair of texture image data generated corresponding to the illumination units 110A and 110B facing each other across the imaging unit 120 in the X direction are combined to generate the first combined image data. At the time of this combination, two pixel values are compared for each pixel corresponding to each other. Further, the larger pixel value of the two pixel values is selected as the first pixel value, and the selected first pixel value is set as the pixel value of the pixel of the first combined image data. As a result, the low pixel value components respectively present in the first pair of texture image data are removed. That is, at least a part of the components caused by the shadow or the like in the first pair of texture image data is removed.

続いて、Y方向において撮像部120を挟んで対向する照明部110C,110Dに対応して生成された第2対のテクスチャ画像データが合成され、第2の合成画像データが生成される。この合成時においても、第1の合成画像データの生成時と同様に、互いに対応する各画素について2つの画素値が比較される。また、2つの画素値のうち大きい画素値が第2画素値として選択され、選択された第2画素値が、第2の合成画像データの当該画素の画素値とされる。これにより、第2対のテクスチャ画像データにそれぞれ存在する画素値の低い成分が除去される。すなわち、第2対のテクスチャ画像データにおける影等に起因する成分の少なくとも一部が除去される。 Then, the second pair of texture image data generated corresponding to the illumination units 110C and 110D facing each other across the image capturing unit 120 in the Y direction is combined to generate the second combined image data. Also in this combination, two pixel values are compared for each pixel corresponding to each other, as in the case of generating the first combined image data. In addition, the larger pixel value of the two pixel values is selected as the second pixel value, and the selected second pixel value is set as the pixel value of the pixel of the second combined image data. As a result, the low pixel value components respectively present in the second pair of texture image data are removed. That is, at least a part of the components caused by the shadow or the like in the second pair of texture image data is removed.

最後に、第1の合成画像データと第2の合成画像データとが合成され、検査用テクスチャ画像データが生成される。この合成時には、互いに対応する各画素について2つの画素値が比較される。また、2つの画素値のうち小さい画素値が検査用テクスチャ画像データの画素値として決定される。これにより、第1および第2の合成画像データにそれぞれ存在する画素値の高い成分が除去される。すなわち、第1および第2の合成画像データにおけるハレーション等に起因する成分の少なくとも一部が除去される。これらの結果、ハレーションおよび照明の死角部分の影響が低減された検査用テクスチャ画像データが得られる。 Finally, the first combined image data and the second combined image data are combined to generate inspection texture image data. At the time of this combination, two pixel values are compared for each pixel corresponding to each other. The smaller pixel value of the two pixel values is determined as the pixel value of the inspection texture image data. As a result, the components having high pixel values existing in the first and second composite image data are removed. That is, at least a part of the components due to halation or the like in the first and second combined image data is removed. As a result, inspection texture image data in which the effects of halation and blind spots of illumination are reduced can be obtained.

以下の説明では、図36に示される検査用テクスチャ画像データの生成方法をトーナメント生成方法と呼ぶ。 In the following description, the method for generating the inspection texture image data shown in FIG. 36 is called a tournament generation method.

図30の4つのテクスチャ画像からトーナメント生成方法により得られる検査用テクスチャ画像データの画像においては、図31の例で示された突出部S2の上面USのハレーションが除去される。その結果、図9に示されるように、ハレーションが十分に低減された画像が得られる。 In the image of the inspection texture image data obtained by the tournament generation method from the four texture images of FIG. 30, the halation on the upper surface US of the protrusion S2 shown in the example of FIG. 31 is removed. As a result, an image with sufficiently reduced halation is obtained as shown in FIG.

図37は、図34の4つのテクスチャ画像からトーナメント生成方法により得られる検査用テクスチャ画像データの画像を示す図である。図37の画像によれば、図36の例で示された底板部S4の上面の四隅の影が除去されている。 FIG. 37 is a diagram showing an image of inspection texture image data obtained by the tournament generation method from the four texture images of FIG. 34. According to the image of FIG. 37, the shadows at the four corners of the upper surface of the bottom plate S4 shown in the example of FIG. 36 are removed.

なお、トーナメント生成方法においては、画素ごとに第1画素値および第2画素値のいずれかが選択されていれば、選択された画素値に基づいて検査用テクスチャ画像データの各画素値を決定することができる。そのため、第1および第2の合成画像データは必ずしも生成されなくてよい。 In the tournament generation method, if either the first pixel value or the second pixel value is selected for each pixel, each pixel value of the inspection texture image data is determined based on the selected pixel value. be able to. Therefore, the first and second combined image data do not necessarily have to be generated.

(3)テクスチャ生成処理
図38は、第5の実施の形態におけるテクスチャ生成処理のアルゴリズムの一例を示すフローチャートである。本実施の形態におけるテクスチャ生成処理においては、図38に示すように、図12のステップS37の処理に代えてステップS37G〜S37Iが実行される。それにより、トーナメント生成方法に従って検査用テクスチャ画像データが生成される。
(3) Texture Generation Process FIG. 38 is a flowchart showing an example of an algorithm of the texture generation process according to the fifth embodiment. In the texture generation process in the present embodiment, as shown in FIG. 38, steps S37G to S37I are executed instead of the process of step S37 of FIG. Thereby, the inspection texture image data is generated according to the tournament generation method.

具体的には、ステップS35において所定数(本例では4個)のテクスチャ画像データが生成された場合、演算処理部132は、上記の第1対のテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第1画素値として選択する(ステップS37G)。 Specifically, when a predetermined number (four in this example) of texture image data is generated in step S35, the arithmetic processing unit 132 sets 2 for each pixel corresponding to each other in the first pair of texture image data. The larger pixel value of the two pixel values is selected as the first pixel value (step S37G).

また、演算処理部132は、上記の第2対のテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第2画素値として選択する(ステップS37H)。 Further, the arithmetic processing unit 132 selects, as the second pixel value, the larger pixel value of the two pixel values for each pixel corresponding to each other in the second pair of texture image data (step S37H).

続いて、演算処理部132は、各画素について選択されかつ互いに対応する第1画素値および第2画素値のうち小さい画素値を検査用テクスチャ画像データの画素値として決定する(ステップS37I)。これにより、全ての画素について画素値が決定されることにより検査用テクスチャ画像データが生成される。その後、ステップS38では、ステップS37Iにより生成された検査用テクスチャ画像データがコントローラ部200に出力される。 Then, the arithmetic processing unit 132 determines a pixel value of the first pixel value and the second pixel value selected for each pixel and corresponding to each other, which is smaller as the pixel value of the texture image data for inspection (step S37I). Thereby, the inspection texture image data is generated by determining the pixel values for all the pixels. Then, in step S38, the inspection texture image data generated in step S37I is output to the controller unit 200.

(4)効果
本実施の形態に係る検査装置300においては、トーナメント生成方法に従って検査用テクスチャ画像データが生成される。この場合、第1画素値および第2画素値の選択時には、対向配置された各対の照明部110に対応する2つのテクスチャ画像データから照明の死角部分に起因する影成分の少なくとも一部が除去される。また、第1画素値および第2画素値に基づく検査用テクスチャ画像データの各画素値の決定時に、ハレーション成分の少なくとも一部が除去される。その結果、ハレーションおよび照明の死角部分の影響が低減された検査用テクスチャ画像データを容易に生成することができる。
(4) Effects In the inspection device 300 according to the present embodiment, the inspection texture image data is generated according to the tournament generation method. In this case, at the time of selecting the first pixel value and the second pixel value, at least a part of the shadow component caused by the blind spot portion of the illumination is removed from the two texture image data corresponding to each pair of the illumination units 110 arranged opposite to each other. To be done. Further, at the time of determining each pixel value of the inspection texture image data based on the first pixel value and the second pixel value, at least a part of the halation component is removed. As a result, it is possible to easily generate inspection texture image data in which the effects of halation and blind spots of illumination are reduced.

(5)第5の実施の形態における変形例
(5−a)本実施の形態に係る検査装置300は、トーナメント生成方法に従って検査用テクスチャ画像データを生成するために互いに対向配置された2対の照明部110を備えるが、検査装置300は、互いに対向配置された3以上の複数対の照明部110を備えてもよい。検査装置300は、n(nは3以上の整数)対の照明部110を備える場合、検査用テクスチャ画像データの各画素の決定候補として第1画素値〜第n画素値までの3以上の複数の画素値を取得することができる。この場合、演算処理部132は、互いに対応する第1画素値〜第n画素値のうち最大の画素値を検査用テクスチャ画像データの画素値として決定する。それにより、ハレーションおよび照明の死角部分の影響がさらに低減された検査用テクスチャ画像データを容易に生成することができる。
(5) Modified Example of Fifth Embodiment (5-a) The inspection device 300 according to the present embodiment includes two pairs of opposed arrangements for generating inspection texture image data according to the tournament generation method. Although the illumination unit 110 is provided, the inspection apparatus 300 may include three or more pairs of illumination units 110 arranged to face each other. When the inspection device 300 includes n (n is an integer of 3 or more) pairs of illumination units 110, a plurality of three or more from the first pixel value to the nth pixel value are determined as candidates for determining each pixel of the inspection texture image data. The pixel value of can be acquired. In this case, the arithmetic processing unit 132 determines the maximum pixel value among the corresponding first pixel value to nth pixel value as the pixel value of the inspection texture image data. This makes it possible to easily generate inspection texture image data in which the effects of halation and blind spots of illumination are further reduced.

(5−b)本実施の形態に係る検査装置300においては、第2の実施の形態と同様に、テクスチャ生成処理時に4個の照明部110A〜110Dの各々に対応するRデータ、GデータおよびBデータが生成されてもよい。この場合、4個のRデータに基づいてトーナメント生成方法により検査用Rデータを生成することができる。また、4個のGデータに基づいてトーナメント生成方法により検査用Gデータを生成することができる。また、4個のBデータに基づいてトーナメント生成方法により検査用Bデータを生成することができる。生成された検査用データ群が合成されることにより、ハレーションおよび照明の死角部分の影響が低減されたカラーの検査用テクスチャ画像データを生成することができる。 (5-b) In the inspection device 300 according to the present embodiment, similar to the second embodiment, R data, G data, and G data corresponding to each of the four illumination units 110A to 110D during texture generation processing are generated. B data may be generated. In this case, the inspection R data can be generated by the tournament generation method based on the four R data. Further, the inspection G data can be generated by the tournament generation method based on the four G data. Further, the inspection B data can be generated by the tournament generation method based on the four B data. By combining the generated inspection data groups, it is possible to generate color inspection texture image data in which the effects of halation and blind spots of illumination are reduced.

[6]第6の実施の形態
第6の実施の形態に係る検査装置300は、単純生成方法およびトーナメント生成方法による検査用テクスチャ画像データの生成が可能でかつそれらの生成方法が使用者により選択可能である点が第1および第5の実施の形態に係る検査装置300とは異なる。
[6] Sixth Embodiment The inspection device 300 according to the sixth embodiment can generate inspection texture image data by the simple generation method and the tournament generation method, and the generation method is selected by the user. It is possible to differ from the inspection apparatus 300 according to the first and fifth embodiments.

本実施の形態においては、例えば測定対象物Sの検査時に、図1の表示部320に検査用テクスチャ画像データの生成方法として単純生成方法およびトーナメント生成方法を使用者に選択させるための操作画面が表示される。 In the present embodiment, for example, when the measurement object S is inspected, an operation screen for allowing the user to select the simple generation method and the tournament generation method as the generation method of the inspection texture image data is displayed on the display unit 320 of FIG. Is displayed.

図39は、単純生成方法およびトーナメント生成方法を使用者に選択させるための操作画面の一例を示す図である。図39の操作画面では、検査用テクスチャ画像データの生成方法として単純生成方法およびトーナメント生成方法にそれぞれ対応する2つのチェックボックスCBが表示されている。 FIG. 39 is a diagram showing an example of an operation screen for allowing the user to select the simple generation method and the tournament generation method. On the operation screen of FIG. 39, two check boxes CB corresponding to the simple generation method and the tournament generation method are displayed as the inspection texture image data generation method.

この場合、使用者は、図1の操作部310を操作することにより、所望の生成方法に対応するチェックボックスCBをチェックすることができる。使用者が2つのチェックボックスCBのうちいずれか一方をチェックすることにより、コントローラ部200はチェックされた生成方法の選択を受け付ける。また、コントローラ部200のヘッド制御部210は、受け付けた方法で検査用テクスチャ画像データを生成するようにヘッド部100に指令する。それにより、演算処理部132は、受け付けられた選択に従って検査用テクスチャ画像データを生成する。 In this case, the user can check the check box CB corresponding to the desired generation method by operating the operation unit 310 of FIG. When the user checks one of the two check boxes CB, the controller unit 200 accepts the selection of the checked generation method. Further, the head control unit 210 of the controller unit 200 instructs the head unit 100 to generate the inspection texture image data by the accepted method. Thereby, the arithmetic processing unit 132 generates the inspection texture image data according to the accepted selection.

このような構成により、使用者は、測定対象物Sの表面状態および形状等に応じて第1および第2の生成方法のうち所望の方法を選択することにより、測定対象物Sに応じたより適切な検査用テクスチャ画像データを取得することができる。 With such a configuration, the user can select a desired method from among the first and second generation methods according to the surface state and shape of the measurement target S, and thus the user can be more appropriate according to the measurement target S. It is possible to acquire various inspection texture image data.

なお、図39のいずれのチェックボックスCBもチェックされない場合には、4つの照明部110から一様光が同時に出射された状態で測定対象物Sが撮像されることにより得られるテクスチャ画像が検査用テクスチャ画像とされてもよい。 If none of the check boxes CB in FIG. 39 is checked, the texture image obtained by imaging the measuring object S in a state where the four illumination units 110 simultaneously emit uniform light is used for inspection. It may be a texture image.

また、本実施の形態では、単純生成方法およびトーナメント生成方法の選択は、使用者による手動操作に基づいて行われるが、その選択は予め定められた条件に従って自動的に行われてもよい。 Further, in the present embodiment, the selection of the simple generation method and the tournament generation method is performed based on the manual operation by the user, but the selection may be automatically performed according to a predetermined condition.

[7]第7の実施の形態
(1)検査装置の構成および動作
第7の実施の形態に係る検査装置300は、ヘッド部100において測定対象物Sの高さデータに代えて測定対象物Sの表面形状を示す形状データ(形状画像)が生成される点が第1の実施の形態に係る検査装置300とは異なる。
[7] Seventh Embodiment (1) Configuration and Operation of Inspecting Device In the inspecting device 300 according to the seventh embodiment, the height data of the measuring object S in the head unit 100 is replaced with the measuring object S. The difference from the inspection apparatus 300 according to the first embodiment is that shape data (shape image) indicating the surface shape is generated.

そのため、本実施の形態では、検査処理が開始されると図10の高さ生成処理に代えて形状生成処理が行われる。形状生成処理後には、第1の実施の形態と同様に、テクスチャ生成処理および判定処理が行われる。なお、第7の実施の形態において行われるテクスチャ生成処理は、第1の実施の形態と同様に単純生成方法に従うものであってもよいし、第5の実施の形態と同様にトーナメント生成方法に従うものであってもよい。 Therefore, in the present embodiment, when the inspection process is started, the shape generation process is performed instead of the height generation process of FIG. After the shape generation process, the texture generation process and the determination process are performed as in the first embodiment. Note that the texture generation processing performed in the seventh embodiment may follow the simple generation method as in the first embodiment, or may follow the tournament generation method as in the fifth embodiment. It may be one.

ここで、形状データは、測定対象物Sの表面における複数の部分の凹凸および傾きの状態を測定対象物Sの表面画像として示す画像データであり、フォトメトリックステレオ法により生成される。 Here, the shape data is image data that shows, as a surface image of the measurement target S, the states of unevenness and inclination of a plurality of portions on the surface of the measurement target S, and is generated by the photometric stereo method.

フォトメトリックステレオ法による形状データを生成する際には、4つの照明部110A〜110Dから白色の一様光が測定対象物Sに順次照射され、各照射時に測定対象物Sが撮像される。それにより、照明部110A〜110Dにそれぞれ対応する4つのテクスチャ画像データが得られる。 When the shape data is generated by the photometric stereo method, the uniform white light is sequentially emitted from the four illumination units 110A to 110D, and the measurement target S is imaged at each irradiation. Thereby, four texture image data corresponding to the illumination units 110A to 110D are obtained.

これらの4つのテクスチャ画像データによれば、各画素について互いに対応する画素値に基づいて当該画素に対応する反射率および法線ベクトルを求めることができる。そこで、各画素について、法線ベクトルが求められた上で、例えば各画素についてX方向の傾きを示す傾き画像と各画素についてY方向の傾きを示す傾き画像とが生成される。これらの傾き画像から各画素についての高さ成分が抽出されることにより測定対象物Sの形状データが生成される。 According to these four texture image data, it is possible to obtain the reflectance and the normal vector corresponding to the pixel based on the pixel values corresponding to each pixel. Therefore, for each pixel, a normal vector is obtained, and then a tilt image showing the tilt in the X direction for each pixel and a tilt image showing the tilt in the Y direction for each pixel are generated. The shape data of the measuring object S is generated by extracting the height component for each pixel from these tilt images.

図40は、形状生成処理のアルゴリズムの一例を示すフローチャートである。図40に示すように、形状生成処理が開始されると、撮像処理部131は、第1の実施の形態に係るテクスチャ生成処理のステップS31〜S36(図12)と同様のステップS61〜S66の処理を行う。 FIG. 40 is a flowchart showing an example of an algorithm of shape generation processing. As illustrated in FIG. 40, when the shape generation process is started, the imaging processing unit 131 performs steps S61 to S66 similar to steps S31 to S36 (FIG. 12) of the texture generation process according to the first embodiment. Perform processing.

ステップS65で、所定数(本例では4つ)のテクスチャ画像データが生成された場合、演算処理部132は、生成された所定数のテクスチャ画像データに基づいて形状データを生成する(ステップS67)。 When a predetermined number (four in this example) of texture image data is generated in step S65, the arithmetic processing unit 132 generates shape data based on the generated predetermined number of texture image data (step S67). ..

その後、出力処理部134は、ステップS67で生成された形状データをコントローラ部200に出力する(ステップS68)。これにより、コントローラ部200の画像メモリ220に形状データが蓄積され、形状生成処理が終了する。 After that, the output processing unit 134 outputs the shape data generated in step S67 to the controller unit 200 (step S68). As a result, the shape data is stored in the image memory 220 of the controller unit 200, and the shape generation process ends.

上記のように、本実施の形態では、検査用高さデータに代えて形状データが生成される。そのため、判定処理では、形状データおよび検査用テクスチャ画像データのうち少なくとも一方に基づいて測定対象物Sの良否が判定される。 As described above, in the present embodiment, the shape data is generated instead of the inspection height data. Therefore, in the determination process, the quality of the measurement target S is determined based on at least one of the shape data and the inspection texture image data.

(2)効果
本実施の形態に係る検査装置300においては、複数の照明部110A〜110Dにそれぞれ対応する複数のテクスチャ画像データに基づいて形状データが生成される。また、複数のテクスチャ画像データに基づいてハレーションまたは照明の死角部分の影響が低減された検査用テクスチャ画像データが生成される。
(2) Effect In the inspection device 300 according to the present embodiment, shape data is generated based on a plurality of texture image data respectively corresponding to the plurality of illumination units 110A to 110D. Further, inspection texture image data in which the influence of the blind spot portion of halation or illumination is reduced is generated based on the plurality of texture image data.

この構成によれば、形状データ生成用の照明部110と共通の照明部110を用いて検査用テクスチャ画像データが生成される。検査用テクスチャ画像データにおいては、ハレーションまたは照明の死角部分の影響が低減される。そのため、測定対象物Sの検査に適したテクスチャ画像データを生成するために形状データ生成用の照明部110とは別個の照明部を追加する必要がない。これにより、コストの増加を抑制しつつ簡単な構成で測定対象物Sの検査を行うことが可能になる。また、検査用高さデータを用いることにより、測定対象物Sの広範囲に渡る部分を容易に検査することができる。 According to this configuration, the inspection texture image data is generated using the illumination unit 110 common to the shape data generation illumination unit 110. In the texture image data for inspection, the influence of the halation or the blind spot portion of the illumination is reduced. Therefore, in order to generate the texture image data suitable for the inspection of the measurement object S, it is not necessary to add an illumination unit separate from the illumination unit 110 for generating shape data. This makes it possible to inspect the measurement target S with a simple configuration while suppressing an increase in cost. Further, by using the height data for inspection, it is possible to easily inspect a wide area of the measuring object S.

(3)第7の実施の形態における変形例
本実施の形態に係る検査装置300は、第6の実施の形態に係る検査装置300と同様に、単純生成方法およびトーナメント生成方法による検査用テクスチャ画像データの生成が可能でかつそれらの生成方法が使用者により選択可能に構成されてもよい。
(3) Modification Example of Seventh Embodiment The inspection device 300 according to the present embodiment is similar to the inspection device 300 according to the sixth embodiment, and the inspection texture image by the simple generation method and the tournament generation method is used. The data may be generated and the generation method thereof may be selectable by the user.

[8]他の実施の形態
(1)上記実施の形態において、ヘッド部100は4個の照明部110A〜110Dを含むが、本発明はこれに限定されない。ヘッド部100は2個の照明部110A,110Bを含んでもよいし、3個の照明部110を含んでもよいし、5個以上の任意の数の照明部110を含んでもよい。
[8] Other Embodiments (1) In the above embodiment, the head unit 100 includes four illumination units 110A to 110D, but the present invention is not limited to this. The head unit 100 may include two illumination units 110A and 110B, may include three illumination units 110, and may include any number of illumination units 110 of 5 or more.

(2)上記実施の形態において、一様光が測定対象物Sに照射されたときの測定対象物Sが撮像されることによりテクスチャ画像データが生成されるが、本発明はこれに限定されない。複数のパターン画像データが合成されることにより、一様光が測定対象物Sに照射されたときと同様の測定対象物Sの画像を示すテクスチャ画像データが生成されてもよい。 (2) In the above embodiment, the texture image data is generated by imaging the measurement target S when the measurement target S is irradiated with the uniform light, but the present invention is not limited to this. By combining a plurality of pattern image data, texture image data indicating the same image of the measurement object S as when the measurement object S is irradiated with the uniform light may be generated.

例えば、第1の実施の形態においては、図11の高さ生成処理のステップS12〜S16で、空間位相が変化されつつ縞状光が測定対象物Sに複数回照射される。したがって、測定対象物Sの各部に縞状光の明部分が1回ずつ照射される。そこで、複数のパターン画像データを平均または合計することにより、テクスチャ画像データを生成することができる。この方法においては、測定対象物Sへの一様光の照射および撮像を行う必要がない。そのため、図12のテクスチャ生成処理におけるステップS31〜S36が実行されない。したがって、複数のテクスチャ画像データを高速に生成することができる。 For example, in the first embodiment, in steps S12 to S16 of the height generation processing of FIG. 11, the striped light is irradiated to the measurement object S multiple times while the spatial phase is changed. Therefore, each part of the measuring object S is irradiated with the bright part of the striped light once. Therefore, texture image data can be generated by averaging or summing a plurality of pattern image data. In this method, it is not necessary to irradiate the measurement target S with uniform light and perform imaging. Therefore, steps S31 to S36 in the texture generation process of FIG. 12 are not executed. Therefore, a plurality of texture image data can be generated at high speed.

第2の実施の形態においても、赤色、緑色または青色の縞状光を用いて同様の処理を行うことが可能である。この場合、赤色、緑色および青色の縞状光にそれぞれ対応する3個のパターン画像データが合成されることにより、白色の縞状光に対応するパターン画像データが生成される。このようにして生成された複数のパターン画像データに基づいて高さデータが生成される。 Also in the second embodiment, similar processing can be performed using red, green, or blue striped light. In this case, the pattern image data corresponding to the white striped light is generated by combining the three pattern image data corresponding to the striped lights of red, green, and blue, respectively. Height data is generated based on the plurality of pattern image data thus generated.

また、赤色の縞状光に対応する複数のパターン画像データが合成されることによりRデータが生成される。緑色の縞状光に対応する複数のパターン画像データが合成されることによりGデータが生成される。青色の縞状光に対応する複数のパターン画像データが合成されることによりBデータが生成される。そのため、測定対象物Sに赤色、緑色および青色の一様光を照射する必要がない。 Further, R data is generated by combining a plurality of pattern image data corresponding to red striped light. G data is generated by synthesizing a plurality of pattern image data corresponding to green striped light. B data is generated by synthesizing a plurality of pattern image data corresponding to blue striped light. Therefore, it is not necessary to irradiate the measurement object S with uniform light of red, green, and blue.

(3)上記第1〜第4の実施の形態において、各画素における4個の画素値のうち2番目に大きい画素値に基づいて検査用テクスチャ画像データが生成されるが、本発明はこれに限定されない。他の方法により検査用テクスチャ画像データが生成されてもよい。 (3) In the above-described first to fourth embodiments, the inspection texture image data is generated based on the second largest pixel value among the four pixel values in each pixel. Not limited. The inspection texture image data may be generated by another method.

例えば、各画素における4個の画素値のうち、3番目に大きい画素値に基づいて検査用テクスチャ画像データが生成されてもよいし、2番目に大きい画素値と3番目に大きい画素値との平均値に基づいて検査用テクスチャ画像データが生成されてもよい。あるいは、各画素における全部の画素値の平均値に基づいて検査用テクスチャ画像データが生成されてもよい。これらの方法における平均値は、重み付き平均値を含む。 For example, the inspection texture image data may be generated based on the third largest pixel value among the four pixel values in each pixel, or the inspection texture image data may be generated with the second largest pixel value and the third largest pixel value. The inspection texture image data may be generated based on the average value. Alternatively, the inspection texture image data may be generated based on the average value of all pixel values in each pixel. The average value in these methods includes a weighted average value.

また、ヘッド部100が5個以上の照明部110を含む場合には、各画素における複数の画素値のうち、例えば4番目に大きい画素値に基づいて検査用テクスチャ画像データが生成されてもよい。 When the head unit 100 includes five or more illumination units 110, the inspection texture image data may be generated based on, for example, the fourth largest pixel value among the plurality of pixel values in each pixel. ..

さらに、第1〜第6の実施の形態においては、高さデータに加えて、または高さデータに代えて、第7の実施の形態の例と同様に、例えばフォトメトリックステレオ法を用いることにより、検査に適した形状データが生成されてもよい。 Further, in the first to sixth embodiments, in addition to the height data or in place of the height data, for example, by using the photometric stereo method as in the example of the seventh embodiment, Shape data suitable for inspection may be generated.

(4)上記第1〜第6の実施の形態において、複数の高さデータが合成されることにより検査用高さデータが生成されるが、本発明はこれに限定されない。複数の高さデータは、合成されることなく測定対象物Sの検査に用いられてもよい。この場合、図11の高さ生成処理においては、ステップS20で複数の高さデータの合成が行われず、ステップS21で複数の高さデータの各々がコントローラ部200に出力される。 (4) In the first to sixth embodiments, the height data for inspection is generated by combining a plurality of height data, but the present invention is not limited to this. The plurality of height data may be used for the inspection of the measuring object S without being combined. In this case, in the height generation process of FIG. 11, the plurality of height data is not combined in step S20, and each of the plurality of height data is output to the controller unit 200 in step S21.

(5)第2の実施の形態において、検査用データ群が合成されることによりカラーの検査用テクスチャ画像データが生成されるが、本発明はこれに限定されない。検査用データ群は、合成されることなく測定対象物Sの検査に用いられてもよい。この場合でも、検査用Rデータ、検査用Gデータおよび検査用Bデータを用いて測定対象物Sをより正確に検査することができる。この処理においては、図17のテクスチャ生成処理で、ステップS37が省略される。また、ステップS38で、検査用データ群が出力される。第3または第4の実施の形態における第1のカラーモードにおいても同様である。 (5) In the second embodiment, color inspection texture image data is generated by combining inspection data groups, but the present invention is not limited to this. The inspection data group may be used for inspection of the measuring object S without being combined. Even in this case, the measuring object S can be more accurately inspected by using the inspection R data, the inspection G data, and the inspection B data. In this process, step S37 is omitted in the texture generation process of FIG. Further, in step S38, the inspection data group is output. The same applies to the first color mode in the third or fourth embodiment.

同様に、第3または第4の実施の形態における第2のカラーモードにおいて、Rデータ、GデータおよびBデータが合成されることによりカラーのテクスチャ画像データが生成されるが、本発明はこれに限定されない。Rデータ、GデータおよびBデータは、合成されることなく測定対象物Sの検査に用いられてもよい。この処理においては、図20のテクスチャ生成処理で、ステップS37Dが省略される。また、ステップS38Bで、Rデータ、GデータおよびBデータが出力される。 Similarly, in the second color mode in the third or fourth embodiment, color texture image data is generated by combining R data, G data, and B data. Not limited. The R data, G data, and B data may be used for the inspection of the measuring object S without being combined. In this process, step S37D is omitted in the texture generation process of FIG. In step S38B, R data, G data, and B data are output.

[9]請求項の各構成要素と実施の形態の各部との対応関係
請求項の各構成要素と実施の形態の各部との対応の例について説明する。上記実施の形態においては、測定対象物Sが測定対象物の例であり、照明部110が照明部の例であり、撮像処理部131が撮像処理部の例であり、撮像部120が撮像部の例である。演算処理部132が演算処理部の例であり、検査部230が検査部の例であり、検査装置300が検査装置の例であり、モード受付部240がモード受付部の例である。
[9] Correspondence between each constituent of the claims and each part of the embodiment An example of correspondence between each constituent of the claims and each part of the embodiment will be described. In the above embodiment, the measurement target S is an example of the measurement target, the illumination unit 110 is an example of the illumination unit, the imaging processing unit 131 is an example of the imaging processing unit, and the imaging unit 120 is the imaging unit. Is an example of. The arithmetic processing unit 132 is an example of the arithmetic processing unit, the inspection unit 230 is an example of the inspection unit, the inspection device 300 is an example of the inspection device, and the mode reception unit 240 is an example of the mode reception unit.

また、互いに対向する照明部110Aおよび照明部110B(または照明部110Cおよび照明部110D)が第1対の照明部の例であり、互いに対向する照明部110Cおよび照明部110D(または照明部110Aおよび照明部110B)が第2対の照明部の例であり、操作部310、表示部320およびヘッド制御部210が生成方法受付部の例である。 Illumination unit 110A and illumination unit 110B (or illumination unit 110C and illumination unit 110D) facing each other are examples of the first pair of illumination units, and illumination unit 110C and illumination unit 110D (or illumination unit 110A and Illumination unit 110B) is an example of a second pair of illumination units, and operation unit 310, display unit 320, and head control unit 210 are examples of generation method reception units.

100…ヘッド部,110,110A〜110D…照明部,光源111〜113,114,115…ダイクロイックミラー,116…照明レンズ,117…ミラー,118…パターン生成部,119…投光レンズ,120…撮像部,121…撮像素子,122,123…受光レンズ,130…演算部,131…撮像処理部,132…演算処理部,133…記憶部,134…出力処理部,200…コントローラ部,210…ヘッド制御部,220…画像メモリ,230…検査部,240…モード受付部,300…検査装置,301…ベルトコンベア,310…操作部,320…表示部,400…外部機器,CB…チェックボックス,H…検査用高さデータ,h1〜h4,s1〜s4…部分,p1〜p4…画素,R…基準面,S…測定対象物,S1…基部,S2,S3…突出部,S4…底板部,S5a…第1側壁,S5b…第2側壁,S5c…第3側壁,S5d…第4側壁,T,T1〜T4…テクスチャ画像データ,T0…検査用テクスチャ画像データ,US…上面 100... Head part, 110, 110A-110D... Illumination part, Light sources 111-113, 114, 115... Dichroic mirror, 116... Illumination lens, 117... Mirror, 118... Pattern generation part, 119... Projection lens, 120... Imaging Unit: 121... Image pickup device, 122, 123... Light receiving lens, 130... Calculation unit, 131... Image pickup processing unit, 132... Calculation processing unit, 133... Storage unit, 134... Output processing unit, 200... Controller unit, 210... Head Control unit, 220... Image memory, 230... Inspecting unit, 240... Mode accepting unit, 300... Inspecting device, 301... Belt conveyor, 310... Operation unit, 320... Display unit, 400... External device, CB... Check box, H ... Height data for inspection, h1 to h4, s1 to s4... Part, p1 to p4... Pixel, R... Reference plane, S... Measuring object, S1... Base, S2, S3... Projection, S4... Bottom plate, S5a... First side wall, S5b... Second side wall, S5c... Third side wall, S5d... Fourth side wall, T, T1 to T4... Texture image data, T0... Texture image data for inspection, US... Top surface

Claims (17)

互いに異なる複数の方向からそれぞれ光を測定対象物に照射する複数の照明部と、
周期的なパターンを有する構造化光を位相シフトさせつつ出射するように前記複数の照明部を制御するとともに、一様光を測定対象物に照射するように前記複数の照明部を制御する撮像処理部と、
測定対象物により反射された構造化光を順次受光することにより各方向についての測定対象物の画像を示す複数のパターン画像データを順次生成するとともに、測定対象物により反射された一様光を受光することにより前記複数の方向についての測定対象物の複数の画像をそれぞれ示す複数のテクスチャ画像データを生成する撮像部と、
前記撮像部により生成された複数のパターン画像データに基づいて各方向についての測定対象物の高さ画像を示す高さデータを生成するとともに、前記撮像部により生成された複数のテクスチャ画像データに基づいてハレーションまたは照明の死角部分の影響が低減された検査用テクスチャ画像データを生成する演算処理部と、
前記演算処理部により生成された高さデータまたは検査用テクスチャ画像データを用いて測定対象物の検査を実行する検査部とを備える、検査装置。
A plurality of illumination units for irradiating the measurement object with light from a plurality of mutually different directions,
Imaging processing for controlling the plurality of illumination units so as to emit structured light having a periodic pattern while phase-shifting the same, and for controlling the plurality of illumination units so as to irradiate the measurement object with uniform light. Department,
By sequentially receiving structured light reflected by the measuring object, a plurality of pattern image data showing images of the measuring object in each direction are sequentially generated, and uniform light reflected by the measuring object is received. An imaging unit that generates a plurality of texture image data respectively showing a plurality of images of the measurement object in the plurality of directions by doing,
Based on a plurality of texture image data generated by the imaging unit, while generating height data indicating a height image of the measurement target in each direction based on the plurality of pattern image data generated by the imaging unit An arithmetic processing unit that generates inspection texture image data in which the influence of the blind spots of halation or illumination is reduced,
An inspection device, comprising: an inspection unit that inspects an object to be measured using the height data or the inspection texture image data generated by the arithmetic processing unit.
互いに異なる複数の方向からそれぞれ光を測定対象物に照射する複数の照明部と、
周期的なパターンを有する構造化光を位相シフトさせつつ出射するように前記複数の照明部を制御する撮像処理部と、
測定対象物により反射された構造化光を順次受光することにより各方向についての測定対象物の画像を示す複数のパターン画像データを順次生成する撮像部と、
前記撮像部により生成された複数のパターン画像データに基づいて各方向についての測定対象物の高さ画像を示す高さデータを生成するとともに、前記撮像部により生成された各方向についての複数のパターン画像データに基づいて当該方向についてのテクスチャ画像データを生成し、生成された複数の方向についての複数のテクスチャ画像データに基づいてハレーションまたは照明の死角部分の影響が低減された検査用テクスチャ画像データを生成する演算処理部と、
前記演算処理部により生成された高さデータまたは検査用テクスチャ画像データを用いて測定対象物の検査を実行する検査部とを備える、検査装置。
A plurality of illumination units for irradiating the measurement object with light from a plurality of mutually different directions,
An imaging processing unit that controls the plurality of illumination units so as to emit structured light having a periodic pattern while phase-shifting the light.
An imaging unit that sequentially generates a plurality of pattern image data showing images of the measurement target object in each direction by sequentially receiving structured light reflected by the measurement target object,
A plurality of patterns in each direction generated by the image capturing unit while generating height data indicating a height image of the measurement target in each direction based on the plurality of pattern image data generated by the image capturing unit Texture image data for the direction is generated based on the image data, and inspection texture image data in which the influence of the halation or the blind spot portion of the illumination is reduced is generated based on the generated texture image data for the plurality of directions. An arithmetic processing unit to generate,
An inspection device comprising: an inspection unit that inspects an object to be measured using the height data or the inspection texture image data generated by the arithmetic processing unit.
前記演算処理部は、前記複数の方向についての複数のテクスチャ画像データにおける互いに対応する各画素について、少なくとも最大の画素値または少なくとも最小の画素値を除いて予め定められた第1の規則に従って画素値を選択し、選択された画素値を検査用テクスチャ画像データにおいて対応する画素の画素値とすることにより検査用テクスチャ画像データを生成する、請求項1記載の検査装置。 The arithmetic processing unit, for each pixel corresponding to each other in the plurality of texture image data in the plurality of directions, according to a predetermined first rule except at least the maximum pixel value or at least the minimum pixel value 2. The inspection apparatus according to claim 1, wherein the inspection texture image data is generated by selecting, and selecting the selected pixel value as a pixel value of a corresponding pixel in the inspection texture image data. 前記複数の照明部は、
第1の方向において互いに対向するように配置される第1対の照明部と、
前記第1の方向に交差する第2の方向において互いに対向するように配置される第2対の照明部とを含み、
前記演算処理部は、検査用テクスチャ画像データの生成時に、前記第1対の照明部に対応する2つのテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第1画素値として選択し、前記第2対の照明部に対応する2つのテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第2画素値として選択し、各画素について互いに対応する第1画素値および第2画素値のうち小さい画素値を前記検査用テクスチャ画像データの画素値として決定する、請求項1記載の検査装置。
The plurality of lighting units,
A first pair of illuminating parts arranged to face each other in the first direction;
A second pair of illuminators arranged to face each other in a second direction intersecting the first direction,
The arithmetic processing unit, when generating the inspection texture image data, selects a pixel value having a larger pixel value out of the two pixel values for each corresponding pixel in the two texture image data corresponding to the first pair of illumination units as the first pixel. Value is selected, and a larger pixel value of the two pixel values is selected as the second pixel value for each pixel corresponding to each other in the two texture image data corresponding to the second pair of illumination units, and each pixel is associated with each other. The inspection apparatus according to claim 1, wherein a smaller pixel value of the first pixel value and the second pixel value to be determined is determined as the pixel value of the inspection texture image data.
前記検査装置の動作モードとして第1または第2の動作モードの指示を受け付けるモード受付部をさらに備え、
前記第1の動作モード時に、
前記撮像部は、前記複数の方向についての複数のテクスチャ画像データを生成し、
前記演算処理部は、前記撮像部により生成された複数のテクスチャ画像データに基づいて検査用テクスチャ画像データを生成し、
前記検査部は、前記演算処理部により生成された検査用テクスチャ画像データを用いて測定対象物の検査を実行し、
前記第2の動作モード時に、
前記撮像部は、少なくとも1つのテクスチャ画像データを生成し、
前記検査部は、前記撮像部により生成された少なくとも1つのテクスチャ画像データを用いて測定対象物の検査を実行する、請求項1、3および4のいずれか一項に記載の検査装置。
Further comprising a mode acceptance unit that accepts an instruction of a first or second operation mode as an operation mode of the inspection device,
In the first operation mode,
The imaging unit generates a plurality of texture image data for the plurality of directions,
The arithmetic processing unit generates inspection texture image data based on the plurality of texture image data generated by the imaging unit,
The inspection unit executes an inspection of a measurement target using the inspection texture image data generated by the arithmetic processing unit,
In the second operation mode,
The imaging unit generates at least one texture image data,
The inspection device according to any one of claims 1, 3 and 4, wherein the inspection unit performs an inspection of a measurement target using at least one texture image data generated by the imaging unit.
前記複数の照明部の各々は、互いに異なる複数の波長の光を測定対象物に照射するように構成され、
前記撮像処理部は、前記複数の波長の一様光を順次出射するように前記複数の照明部を制御し、
前記撮像部は、各方向についてのテクスチャ画像データを各照明部により出射される一様光の波長に対応して生成し、
前記演算処理部は、各波長に対応する複数のテクスチャ画像データに基づいて、当該波長に対応する検査用テクスチャ画像データを生成する、請求項1、3、4および5のいずれか一項に記載の検査装置。
Each of the plurality of illumination units is configured to irradiate the measurement target with light having a plurality of different wavelengths,
The imaging processing unit controls the plurality of illumination units to sequentially emit the uniform light of the plurality of wavelengths,
The imaging unit generates texture image data for each direction corresponding to the wavelength of uniform light emitted by each illumination unit,
The said arithmetic processing part produces|generates the texture image data for an inspection corresponding to the said wavelength based on the some texture image data corresponding to each wavelength, The any one of Claim 1, 3, 4, and 5 statement. Inspection equipment.
前記演算処理部は、前記複数の方向についての複数のテクスチャ画像データにおける互いに対応する各画素について、少なくとも最大の画素値または少なくとも最小の画素値を除いて予め定められた第1の規則に従って画素値を選択し、選択された画素値を検査用テクスチャ画像データにおいて対応する画素の画素値とすることにより検査用テクスチャ画像データを生成する、請求項2記載の検査装置。 The arithmetic processing unit, for each pixel corresponding to each other in the plurality of texture image data in the plurality of directions, according to a predetermined first rule except at least the maximum pixel value or at least the minimum pixel value 3. The inspection apparatus according to claim 2, wherein the inspection texture image data is generated by selecting, and using the selected pixel value as a pixel value of a corresponding pixel in the inspection texture image data. 前記複数の照明部は、
第1の方向において互いに対向するように配置される第1対の照明部と、
前記第1の方向に交差する第2の方向において互いに対向するように配置される第2対の照明部とを含み、
前記演算処理部は、検査用テクスチャ画像データの生成時に、前記第1対の照明部に対応する2つのテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第1画素値として選択し、前記第2対の照明部に対応する2つのテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第2画素値として選択し、各画素について互いに対応する第1画素値および第2画素値のうち小さい画素値を前記検査用テクスチャ画像データの画素値として決定する、請求項2記載の検査装置。
The plurality of lighting units,
A first pair of illuminating parts arranged to face each other in the first direction;
A second pair of illuminators arranged to face each other in a second direction intersecting the first direction,
The arithmetic processing unit, when generating the inspection texture image data, selects a pixel value having a larger pixel value out of the two pixel values for each corresponding pixel in the two texture image data corresponding to the first pair of illumination units as the first pixel. Value is selected, and a larger pixel value of the two pixel values is selected as the second pixel value for each pixel corresponding to each other in the two texture image data corresponding to the second pair of illumination units, and each pixel is associated with each other. The inspection apparatus according to claim 2, wherein a smaller pixel value of the first pixel value and the second pixel value that is determined is determined as the pixel value of the inspection texture image data.
前記検査装置の動作モードとして第1または第2の動作モードの指示を受け付けるモード受付部をさらに備え、
前記第1の動作モード時に、
前記演算処理部は、前記複数の方向についての複数のテクスチャ画像データを生成し、生成された複数のテクスチャ画像データに基づいて検査用テクスチャ画像データを生成し、
前記検査部は、前記演算処理部により生成された検査用テクスチャ画像データを用いて測定対象物の検査を実行し、
前記第2の動作モード時に、
前記演算処理部は、少なくとも1つのテクスチャ画像データを生成し、
前記検査部は、前記演算処理部により生成された少なくとも1つのテクスチャ画像データを用いて測定対象物の検査を実行する、請求項2、7および8のいずれか一項に記載の検査装置。
Further comprising a mode acceptance unit that accepts an instruction of a first or second operation mode as an operation mode of the inspection device,
In the first operation mode,
The arithmetic processing unit generates a plurality of texture image data for the plurality of directions, and generates inspection texture image data based on the plurality of generated texture image data,
The inspection unit executes an inspection of a measurement target using the inspection texture image data generated by the arithmetic processing unit,
In the second operation mode,
The arithmetic processing unit generates at least one texture image data,
The inspection device according to any one of claims 2, 7 and 8, wherein the inspection unit performs an inspection of a measurement target using at least one texture image data generated by the arithmetic processing unit.
前記複数の照明部の各々は、互いに異なる複数の波長の光を測定対象物に照射するように構成され、
前記撮像処理部は、前記複数の波長の構造化光を順次出射するように前記複数の照明部を制御し、
前記演算処理部は、各方向についてのテクスチャ画像データを各照明部により出射される構造化光の波長に対応して生成し、生成された各波長に対応する複数のテクスチャ画像データに基づいて、当該波長に対応する検査用テクスチャ画像データを生成する、請求項2、7、8および9のいずれか一項に記載の検査装置。
Each of the plurality of illumination units is configured to irradiate the measurement target with light having a plurality of different wavelengths,
The imaging processing unit controls the plurality of illumination units to sequentially emit the structured light having the plurality of wavelengths,
The arithmetic processing unit generates texture image data for each direction corresponding to the wavelength of the structured light emitted by each illumination unit, based on the plurality of texture image data corresponding to each generated wavelength, The inspection apparatus according to any one of claims 2, 7, 8 and 9, which generates inspection texture image data corresponding to the wavelength.
前記演算処理部は、前記複数の波長にそれぞれ対応する複数の検査用テクスチャ画像データを合成することによりカラーの検査用テクスチャ画像データを生成する、請求項6または10記載の検査装置。 The inspection apparatus according to claim 6 or 10, wherein the arithmetic processing unit generates color inspection texture image data by combining a plurality of inspection texture image data corresponding to the plurality of wavelengths. 前記演算処理部は、
各方向についての複数のテクスチャ画像データにおいて、互いに対応する画素の代表となる画素値を画素ごとに代表画素値として特定し、
前記複数の方向についてそれぞれ特定された複数の代表画素値のうち予め定められた第2の規則に従って1つの代表画素値を画素ごとに抽出し、
抽出された代表画素値に対応する1つの方向を画素ごとに特定し、
複数の検査用テクスチャ画像データにおいて互いに対応する画素の画素値が、特定された方向についてのテクスチャ画像データにおいて対応する画素の画素値となるように複数の検査用テクスチャ画像データを生成する、請求項11記載の検査装置。
The arithmetic processing unit,
In a plurality of texture image data in each direction, a pixel value that is representative of pixels corresponding to each other is specified as a representative pixel value for each pixel,
Extracting one representative pixel value for each pixel according to a second rule set in advance out of the plurality of representative pixel values specified for each of the plurality of directions,
One direction corresponding to the extracted representative pixel value is specified for each pixel,
A plurality of inspection texture image data is generated such that pixel values of pixels corresponding to each other in the plurality of inspection texture image data become pixel values of corresponding pixels in the texture image data in the specified direction. 11. The inspection apparatus according to item 11.
前記演算処理部は、カラーの検査用テクスチャ画像データをベイヤ配列を有する検査用ベイヤデータに変換し、
前記検査部は、前記演算処理部により変換された検査用ベイヤデータを取得し、取得された検査用ベイヤデータを用いて測定対象物の検査を実行する、請求項11または12記載の検査装置。
The arithmetic processing unit converts the color inspection texture image data into inspection Bayer data having a Bayer array,
The inspection device according to claim 11 or 12, wherein the inspection unit acquires the inspection Bayer data converted by the arithmetic processing unit, and executes the inspection of the measurement target using the acquired inspection Bayer data.
前記複数の照明部は、
第1の方向において互いに対向するように配置される第1対の照明部と、
前記第1の方向に交差する第2の方向において互いに対向するように配置される第2対の照明部とを含み、
前記演算処理部は、
第1および第2の生成方法のうち選択された生成方法により検査用テクスチャ画像データを生成可能に構成され、
前記第1の生成方法による検査用テクスチャ画像データの生成時に、前記複数の方向についての複数のテクスチャ画像データにおける互いに対応する各画素について、少なくとも最大の画素値または少なくとも最小の画素値を除いて予め定められた第1の規則に従って画素値を選択し、選択された画素値を検査用テクスチャ画像データにおいて対応する画素の画素値として決定し、
前記第2の生成方法による検査用テクスチャ画像データの生成時に、前記第1対の照明部に対応する2つのテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第1画素値として選択し、前記第2対の照明部に対応する2つのテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第2画素値として選択し、各画素について互いに対応する第1画素値および第2画素値のうち小さい画素値を前記検査用テクスチャ画像データの画素値として決定する、請求項1または2記載の検査装置。
The plurality of lighting units,
A first pair of illuminating parts arranged to face each other in the first direction;
A second pair of illuminators arranged to face each other in a second direction intersecting the first direction,
The arithmetic processing unit,
The inspection texture image data can be generated by the selected generation method of the first and second generation methods,
When generating the inspection texture image data by the first generation method, for each pixel corresponding to each other in the plurality of texture image data in the plurality of directions, at least the maximum pixel value or at least the minimum pixel value is excluded in advance. A pixel value is selected according to the first rule defined, and the selected pixel value is determined as the pixel value of the corresponding pixel in the inspection texture image data,
At the time of generating the inspection texture image data by the second generation method, a larger pixel value out of two pixel values for each corresponding pixel in the two texture image data corresponding to the first pair of illumination units is set to the first pixel value. A pixel value is selected, and a larger pixel value of the two pixel values is selected as the second pixel value for each pixel corresponding to each other in the two texture image data corresponding to the second pair of illumination units, and the pixel values are selected for each pixel. The inspection apparatus according to claim 1, wherein a smaller pixel value of the corresponding first pixel value and second pixel value is determined as a pixel value of the inspection texture image data.
使用者による前記第1および第2の生成方法のうちいずれかの選択を受け付ける生成方法受付部をさらに備え、
前記演算処理部は、前記生成方法受付部により受け付けられた選択に従って、検査用テクスチャ画像データを生成する、請求項14記載の検査装置。
A generation method receiving unit that receives a selection of one of the first and second generation methods by the user,
The inspection apparatus according to claim 14, wherein the arithmetic processing unit generates inspection texture image data according to the selection received by the generation method reception unit.
前記演算処理部は、前記複数の方向についての複数の高さデータを合成することにより測定不可能な部分が低減された検査用高さデータを生成し、
前記検査部は、前記演算処理部により生成された検査用高さデータを用いて測定対象物の検査を実行する、請求項1〜15のいずれか一項に記載の検査装置。
The arithmetic processing unit generates inspection height data in which unmeasurable portions are reduced by combining a plurality of height data in the plurality of directions,
The inspection device according to any one of claims 1 to 15, wherein the inspection unit executes an inspection of an object to be measured using the inspection height data generated by the arithmetic processing unit.
互いに異なる4以上の方向においてそれぞれ一様光を測定対象物に照射する4以上の照明部と、
一様光が測定対象物に順次照射されるように前記4以上の照明部を制御する撮像処理部と、
前記4以上の照明部から測定対象物に照射されて測定対象物により反射された4以上の一様光を順次受光することにより、前記4以上の方向についての測定対象物の4以上の画像をそれぞれ示す4以上のテクスチャ画像データを生成する撮像部と、
前記撮像部により生成された4以上のテクスチャ画像データに基づいてフォトメトリックステレオ法により測定対象物の形状を示す形状データを生成するとともに、前記4以上のテクスチャ画像データを合成することによりハレーションまたは照明の死角部分の影響が低減された検査用テクスチャ画像データを生成する演算処理部と、
前記演算処理部により生成された形状データおよび検査用テクスチャ画像データのうち少なくとも一方を用いて測定対象物の検査を実行可能な検査部とを備え、
前記4以上の照明部は、
第1の方向において互いに対向するように配置される第1対の照明部と、
前記第1の方向に交差する第2の方向において互いに対向するように配置される第2対の照明部とを含み、
前記演算処理部は、前記第1対の照明部に対応する2つのテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第1画素値として選択し、前記第2対の照明部に対応する2つのテクスチャ画像データにおける互いに対応する各画素について2つの画素値のうち大きい画素値を第2画素値として選択し、各画素について互いに対応する第1画素値および第2画素値のうち小さい画素値を前記検査用テクスチャ画像データの画素値として決定する、検査装置。
Four or more illuminating units that respectively irradiate the measurement object with uniform light in four or more different directions,
An imaging processing unit that controls the four or more illumination units so that uniform light is sequentially irradiated to the measurement target;
The four or more images of the measurement object in the four or more directions are displayed by sequentially receiving the four or more uniform lights that are irradiated to the measurement object from the four or more illumination units and reflected by the measurement object. An image pickup unit that generates four or more texture image data items respectively shown,
The shape data indicating the shape of the object to be measured is generated by the photometric stereo method based on the four or more texture image data generated by the image capturing unit, and the four or more texture image data are combined to generate halation or illumination. An arithmetic processing unit that generates inspection texture image data in which the influence of the blind spot portion of
An inspection unit capable of inspecting a measurement target using at least one of the shape data and the inspection texture image data generated by the arithmetic processing unit,
The four or more illumination units are
A first pair of illuminating parts arranged to face each other in the first direction;
A second pair of illuminators arranged to face each other in a second direction intersecting the first direction,
The arithmetic processing unit selects, as a first pixel value, a larger pixel value out of two pixel values for each corresponding pixel in the two texture image data corresponding to the first pair of illumination units, and the second pair For each pixel corresponding to each other in the two texture image data corresponding to the illuminating unit, the larger pixel value of the two pixel values is selected as the second pixel value, and the first pixel value and the second pixel corresponding to each pixel are selected. An inspection device that determines a smaller pixel value among the values as the pixel value of the inspection texture image data.
JP2019120295A 2019-02-08 2019-06-27 Inspection device Pending JP2020128971A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019021809 2019-02-08
JP2019021809 2019-02-08

Publications (1)

Publication Number Publication Date
JP2020128971A true JP2020128971A (en) 2020-08-27

Family

ID=72174473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019120295A Pending JP2020128971A (en) 2019-02-08 2019-06-27 Inspection device

Country Status (1)

Country Link
JP (1) JP2020128971A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3945524A1 (en) 2020-07-30 2022-02-02 Renesas Electronics Corporation Semiconductor device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3945524A1 (en) 2020-07-30 2022-02-02 Renesas Electronics Corporation Semiconductor device

Similar Documents

Publication Publication Date Title
JP5648749B2 (en) Shape measuring apparatus and shape measuring method
JP5170154B2 (en) Shape measuring apparatus and calibration method
US9756314B2 (en) Three-dimensional image processing apparatus, three-dimensional image processing method, three-dimensional image processing program, computer-readable recording medium, and recording device
JP5432864B2 (en) Inspection apparatus and inspection method
JP6939641B2 (en) Image inspection equipment and image inspection method
JP5399205B2 (en) Inspection device for inspection object and position correction device for electronic substrate
JP2019168285A (en) Image processing device
CN105372259B (en) Measurement apparatus, base board checking device and its control method, storage media
JP2020128971A (en) Inspection device
JP2019168286A (en) Image processing device
JP2019148438A (en) Image processing system and setting method
JP2009025189A (en) Measuring instrument
JP2021183989A (en) Image inspection device and image inspection method
JP5867123B2 (en) Three-dimensional shape measuring apparatus and calibration method
JP5461841B2 (en) Inspection device for inspection object
US11017543B2 (en) Inspection device
US10909702B2 (en) Inspection device
JP2019090647A (en) Method for determining position of liquid crystal display element in projection unit of inspection device
US11170518B2 (en) Inspection device for generating height data of a measurement target
JP6791631B2 (en) Image generation method and inspection equipment
JP2016008837A (en) Shape measuring method, shape measuring device, structure manufacturing system, structure manufacturing method, and shape measuring program
JP2020128933A (en) Inspection device
JP2021004863A (en) Inspection apparatus
JP2020128932A (en) Inspection device
JP6506784B2 (en) Inspection information display device, inspection information display method and inspection information display program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220309