JP2015232481A - Inspection device, inspection method, and program - Google Patents

Inspection device, inspection method, and program Download PDF

Info

Publication number
JP2015232481A
JP2015232481A JP2014119104A JP2014119104A JP2015232481A JP 2015232481 A JP2015232481 A JP 2015232481A JP 2014119104 A JP2014119104 A JP 2014119104A JP 2014119104 A JP2014119104 A JP 2014119104A JP 2015232481 A JP2015232481 A JP 2015232481A
Authority
JP
Japan
Prior art keywords
image
inspection
shape
texture
reflectance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014119104A
Other languages
Japanese (ja)
Other versions
JP6278842B2 (en
Inventor
典正 眞弓
Norimasa Mayumi
典正 眞弓
Original Assignee
株式会社キーエンス
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社キーエンス, Keyence Corp filed Critical 株式会社キーエンス
Priority to JP2014119104A priority Critical patent/JP6278842B2/en
Publication of JP2015232481A publication Critical patent/JP2015232481A/en
Application granted granted Critical
Publication of JP6278842B2 publication Critical patent/JP6278842B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To reduce an error in shape of shape images showing the shape of the surface of a workpiece created by using a photometric stereo method.SOLUTION: A camera 4 photographs an inspection object by a photometric stereo method to create a plurality of luminance images. A photometric processing part 811 calculates a normal vector and reflectance of the surface of the inspection object from the plurality of luminance images. The photometric processing part 811 creates a shape image having a plurality of pixel values according to the shape of the surface on the basis of the normal vector, and creates a reflectance image having a plurality of pixel values according to the reflectance. The photometric processing part 811 extracts, from the reflectance image, texture information indicating capturing of texture or mirror reflection light included in the shape image. The photometric processing part 811 executes reduction processing of a false shape on the basis of the texture information.

Description

本発明は検査装置、検査方法およびプログラムに関する。   The present invention relates to an inspection apparatus, an inspection method, and a program.
フォトメトリックステレオの原理を使ってワーク(検査対象製品)について正確な三次元形状を計測するためには、ワークの各表面に対して均一な光量で照明光が入射するような照明光源が必要となる。また、照明光の入射角は既知である必要がある。さらに、ワークの部位に応じて光の入射角が変化してはならないため、検査したいワークのサイズに応じたサイズの照明光源が必要となる。また、カメラに映し出された画像のスケール情報(1画素あたりの実寸法)も必要となる。外観検査装置はユーザにより設置されることが多く、これらの厳格な設置条件をユーザに要求するのは困難である。そこで、特許文献1によれば、照明とカメラを一体化した専用装置を提案することで、ユーザの設置負担を軽減している。   In order to measure an accurate three-dimensional shape of a workpiece (product to be inspected) using the principle of photometric stereo, an illumination light source that allows illumination light to enter each surface of the workpiece with a uniform amount of light is required. Become. Moreover, the incident angle of illumination light needs to be known. Furthermore, since the incident angle of light should not change according to the part of the workpiece, an illumination light source having a size corresponding to the size of the workpiece to be inspected is required. In addition, scale information (actual dimensions per pixel) of the image displayed on the camera is also required. The appearance inspection apparatus is often installed by the user, and it is difficult to require the user for these strict installation conditions. Therefore, according to Patent Document 1, the installation burden on the user is reduced by proposing a dedicated device in which the illumination and the camera are integrated.
特開2007−206797号公報JP 2007-206797 A
フォトメトリックステレオの原理によれば、それぞれ照明方向が異なる複数の輝度画像から表面の法線ベクトルを求め、この法線ベクトルに基づきワークの表面形状を示す形状画像を生成することができる。ところでワークには文字や模様などのテクスチャが印刷されていることがある。このようなテクスチャは平面的であって凹凸形状ではないが、輝度に影響する。よって、このようなテクスチャの存在するワークの形状画像を生成すると、テクスチャが形状として形状画像に表れてしまうことがある。たとえば、平面的なワークに印刷されている文字が形状画像では凸状の文字となってしまったり、彫りこまれたような窪んだ文字となってしまったりする。このように形状でないものが形状となって表れてしまうことを形状誤差と呼ぶことにする。同様にワークの表面に鏡面反射を起こすような部分が存在する場合も、鏡面反射光によって法線ベクトルに誤差が発生し、形状画像に偽の形状が発生してしまう。   According to the principle of photometric stereo, it is possible to obtain a surface normal vector from a plurality of luminance images having different illumination directions, and to generate a shape image indicating the surface shape of the workpiece based on the normal vector. By the way, textures such as letters and patterns may be printed on the work. Such a texture is planar and not uneven, but affects the brightness. Therefore, when a shape image of a workpiece having such a texture is generated, the texture may appear as a shape in the shape image. For example, a character printed on a planar work may be a convex character in a shape image, or may be a hollow character that is engraved. Such a non-shape appearing as a shape is called a shape error. Similarly, when there is a part that causes specular reflection on the surface of the workpiece, an error occurs in the normal vector due to the specular reflection light, and a false shape is generated in the shape image.
そこで、本発明は、フォトメトリックステレオ法を用いて生成されるワークの表面形状を示す形状画像において形状誤差を削減することを目的とする。   Accordingly, an object of the present invention is to reduce a shape error in a shape image showing a surface shape of a work generated using a photometric stereo method.
本発明によれば、たとえば、
検査対象物をフォトメトリックステレオ法により撮像して複数の輝度画像を生成する輝度画像生成手段と、
前記複数の輝度画像においてそれぞれ座標が一致している複数の画素の画素値を用いて前記検査対象物の表面の法線ベクトルと反射率とを算出し、前記検査対象物の表面の法線ベクトルに基づき、当該表面の形状に応じた複数の画素値を有する形状画像を生成するとともに、前記検査対象物の表面の反射率に応じた複数の画素値を有する反射率画像を生成する生成手段と、
前記反射率画像に基づき前記形状画像に含まれているテクスチャの映り込みまたは鏡面反射光を示すテクスチャ情報を抽出する抽出手段と、
前記抽出手段により抽出された前記テクスチャ情報に基づき、テクスチャの映り込みまたは鏡面反射光に起因した偽形状の軽減処理を実行する軽減処理手段と、
前記軽減処理を施された形状画像を用いて前記検査対象物の良否を判定する判定手段と
を有することを特徴とする検査装置が提供される。
According to the present invention, for example,
Luminance image generation means for imaging a test object by a photometric stereo method and generating a plurality of luminance images;
A normal vector and a reflectance of the surface of the inspection object are calculated using pixel values of a plurality of pixels whose coordinates coincide with each other in the plurality of luminance images, and a normal vector of the surface of the inspection object is calculated. Generating means for generating a shape image having a plurality of pixel values according to the shape of the surface, and generating a reflectance image having a plurality of pixel values according to the reflectance of the surface of the inspection object; ,
Extraction means for extracting texture information indicating reflection of a texture or specular reflection light included in the shape image based on the reflectance image;
Based on the texture information extracted by the extraction means, a mitigation processing means for performing a process of mitigating a false shape caused by reflection of a texture or specular reflection light,
There is provided an inspection apparatus comprising: a determination unit that determines the quality of the inspection object using the shape image subjected to the reduction process.
本発明によれば、フォトメトリックステレオ法を用いて生成されるワークの表面形状を示す形状画像において形状誤差を削減できるようになる。   According to the present invention, a shape error can be reduced in a shape image showing a surface shape of a work generated using a photometric stereo method.
検査装置の概要を示す図Diagram showing the outline of the inspection device フォトメトリックステレオの原理を説明するための図Diagram for explaining the principle of photometric stereo 積み上げ演算を説明するための図Diagram for explaining stacking operation 特徴サイズに基づく重みの決定方法を示す図The figure which shows the determination method of the weight based on feature size 特徴サイズの異なる検査画像の一例を示す図A figure showing an example of inspection images with different feature sizes 表面形状画像の生成に関与する画像を説明する図The figure explaining the image involved in the generation of the surface shape image テクスチャ画像の生成方法を説明する図Diagram explaining how to create a texture image 検査装置の機能ブロック図Functional block diagram of inspection equipment 設定モードを示すフローチャートFlow chart showing setting mode ユーザインタフェースの一例を示す図The figure which shows an example of the user interface ユーザインタフェースの一例を示す図The figure which shows an example of the user interface ユーザインタフェースの一例を示す図The figure which shows an example of the user interface ユーザインタフェースの一例を示す図The figure which shows an example of the user interface ユーザインタフェースの一例を示す図The figure which shows an example of the user interface ユーザインタフェースの一例を示す図The figure which shows an example of the user interface ユーザインタフェースの一例を示す図The figure which shows an example of the user interface ユーザインタフェースの一例を示す図The figure which shows an example of the user interface ユーザインタフェースの一例を示す図The figure which shows an example of the user interface ユーザインタフェースの一例を示す図The figure which shows an example of the user interface 検査モードを示すフローチャートFlow chart showing inspection mode ユーザインタフェースの一例を示す図The figure which shows an example of the user interface ユーザインタフェースの一例を示す図The figure which shows an example of the user interface ユーザインタフェースの一例を示す図The figure which shows an example of the user interface ユーザインタフェースの一例を示す図The figure which shows an example of the user interface ユーザインタフェースの一例を示す図The figure which shows an example of the user interface ユーザインタフェースの一例を示す図The figure which shows an example of the user interface テクスチャの映り込みによって発生した形状誤差(偽形状)の一例を示す図The figure which shows an example of the shape error (fake shape) which occurred by the reflection of the texture フォトメトリック処理部に含まれる機能の一部を例示した図Diagram illustrating some of the functions included in the photometric processing unit 軽減処理の一例を示す図Diagram showing an example of mitigation processing 実施例の効果を示す図The figure which shows the effect of the example 画像の明るさの違いに応じてエッジ強度の一例を示す図The figure which shows an example of edge strength according to the difference in the brightness of an image
以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。   An embodiment of the present invention is shown below. The individual embodiments described below will help to understand various concepts, such as the superordinate concept, intermediate concept and subordinate concept of the present invention. Further, the technical scope of the present invention is determined by the scope of the claims, and is not limited by the following individual embodiments.
図1は外観検査システムの一例を示す図である。ライン1は検査対象物であるワーク2を搬送する搬送ベルトなどである。照明装置3はフォトメトリックステレオ法にしたがって検査対象物を照明する照明手段の一例である。カメラ4はフォトメトリックステレオ法にしたがって前記照明された検査対象物からの反射光を受光して輝度画像を生成する撮像手段の一例である。画像処理装置5は、カメラ4により取得された複数の輝度画像からワーク2の表面の法線ベクトルを算出し、複数の輝度画像から算出された法線ベクトルに基づく画素値により構成された傾き画像と、当該傾き画像の縮小画像とについて、注目画素に隣接する隣接画素の法線ベクトルを用いて注目画素の画素値を積み上げ演算し、画素値を有する検査画像を生成し、検査画像を用いて検査対象物の良否を判定する外観検査装置である。傾き画像は法線ベクトル画像と呼ばれることもある。画像処理装置5は輝度画像から反射率画像(アルベド画像)を作成してもよい。表示部7は検査に関連する制御パラメータを設定するためのユーザインタフェースや傾き画像、反射率画像、検査画像などを表示する。入力部6は、コンソール、ポインティングデバイス、キーボードなどであり、制御パラメータを設定するために使用される。画像処理装置5と照明装置3は信号線8によって接続されている。画像処理装置5とカメラ4は信号線9によって接続されている。   FIG. 1 is a diagram illustrating an example of an appearance inspection system. A line 1 is a conveyance belt that conveys a workpiece 2 that is an inspection object. The illuminating device 3 is an example of an illuminating unit that illuminates an inspection object according to a photometric stereo method. The camera 4 is an example of an imaging unit that receives reflected light from the illuminated inspection object according to a photometric stereo method and generates a luminance image. The image processing device 5 calculates a normal vector of the surface of the workpiece 2 from a plurality of luminance images acquired by the camera 4, and an inclination image composed of pixel values based on the normal vectors calculated from the plurality of luminance images. And the reduced image of the tilt image, the pixel value of the pixel of interest is calculated using the normal vector of the adjacent pixel adjacent to the pixel of interest, an inspection image having the pixel value is generated, and the inspection image is used. It is an appearance inspection apparatus that determines the quality of an inspection object. The tilt image is sometimes called a normal vector image. The image processing device 5 may create a reflectance image (albedo image) from the luminance image. The display unit 7 displays a user interface for setting control parameters related to the inspection, an inclination image, a reflectance image, an inspection image, and the like. The input unit 6 is a console, a pointing device, a keyboard, or the like, and is used for setting control parameters. The image processing device 5 and the illumination device 3 are connected by a signal line 8. The image processing device 5 and the camera 4 are connected by a signal line 9.
とりわけ、図1によればカメラ4と照明装置3とが独立して移動可能なようにそれぞれ異なるフレームによって支持されている。このように照明装置3は、カメラ4から独立して移動可能となっているため、ワーク2から照明装置3までの距離を自在に調整できるようになっている。つまり、ワーク2の種類や置き方に応じて照明装置3をワーク2から遠ざけて配置させることで、カメラ4は正反射光を強く受光できるようになる。また、照明装置3をワーク2に近づけて配置することでカメラ4は拡散反射光を強く受光できるようになる。なお、同一のフレームによってカメラ4と照明装置3とが指示されていてもよい。この場合には、照明装置3の取り付け位置を調整するためのクランプ機構などで照明装置3をフレームに固定すればよい。   In particular, according to FIG. 1, the camera 4 and the illumination device 3 are supported by different frames so that they can move independently. Thus, since the illuminating device 3 can move independently from the camera 4, the distance from the workpiece 2 to the illuminating device 3 can be freely adjusted. That is, by arranging the illumination device 3 away from the work 2 in accordance with the type and placement of the work 2, the camera 4 can strongly receive regular reflection light. Further, by arranging the illumination device 3 close to the workpiece 2, the camera 4 can strongly receive diffuse reflection light. Note that the camera 4 and the illumination device 3 may be instructed by the same frame. In this case, what is necessary is just to fix the illuminating device 3 to a flame | frame with the clamp mechanism etc. for adjusting the attachment position of the illuminating device 3. FIG.
<フォトメトリクスステレオの原理>
一般的なフォトメトリックステレオ法では、図2に示すように、ワーク2に対して4方向から照明光L1〜L4を順番に切り替えながら照射し、4枚の輝度画像を生成する。各輝度画像を撮影する際に使用される照明光の方向は一方向だけである。なお、輝度画像は複数の画素により構成されており、4枚の輝度画像において座標が一致する4つの画素は同一のワーク表面に対応している。4つの画素の画素値(輝度値)I1、I2、I3、I4と、法線ベクトルnとの間には図2示した式1が成り立つ。ここでρは反射率である。Lは各方向からの照明光の光量であり、既知である。ここでは4方向とも光量は同一である。Sは照明方向行列であり、既知である。この数式を解くことで各座標(ワーク表面)ごとの反射率ρと法線ベクトルnが求められる。その結果、反射率画像と傾き画像とが得られる。
<Principle of photometric stereo>
In a general photometric stereo method, as shown in FIG. 2, illumination light L1 to L4 is irradiated onto a work 2 while sequentially switching from four directions to generate four luminance images. The direction of the illumination light used when photographing each luminance image is only one direction. The luminance image is composed of a plurality of pixels, and four pixels having the same coordinates in the four luminance images correspond to the same work surface. 2 is established between the pixel values (luminance values) I1, I2, I3, and I4 of the four pixels and the normal vector n. Here, ρ is the reflectance. L is the amount of illumination light from each direction and is known. Here, the light quantity is the same in all four directions. S is an illumination direction matrix and is known. By solving this mathematical formula, the reflectance ρ and the normal vector n for each coordinate (work surface) are obtained. As a result, a reflectance image and a tilt image are obtained.
本実施形態では、さらに、傾き画像から高さ成分を抽出しワークの形状を示す形状画像を検査画像として作成する。検査画像は、図2に示し式2である積み上げ演算式により求められる。ここで、znはn回目の積み上げ結果であり、ワーク表面の形状を示している。x、yは画素の座標を示している。nは何回目の繰り返し計算であるかを示している。pは水平方向の傾き成分を示し、qは垂直方向の傾き成分を示している。p、qは法線ベクトルnから求められる。wは重みである。また、1回目の積み上げ演算では1/1の傾き画像を用い、2回目の積み上げには1/2の縮小傾き画像を用い、3回目の積み上げには1/4の縮小傾き画像を用いる。縮小画像を作成する際にはガウシアン処理を施してから縮小処理が施されてもよい。   In the present embodiment, the height component is further extracted from the tilt image, and a shape image indicating the shape of the work is created as an inspection image. The inspection image is obtained by a stacking arithmetic expression which is Expression 2 shown in FIG. Here, zn is the result of the n-th stacking and indicates the shape of the workpiece surface. x and y indicate pixel coordinates. n indicates the number of repeated calculations. p indicates a horizontal inclination component, and q indicates a vertical inclination component. p and q are obtained from the normal vector n. w is a weight. In addition, a 1/1 tilt image is used for the first stacking operation, a 1/2 reduced tilt image is used for the second stacking operation, and a 1/4 reduced tilt image is used for the third stacking operation. When creating a reduced image, reduction processing may be performed after performing Gaussian processing.
本実施形態では積み上げ演算において特徴サイズというパラメータを採用する。特徴サイズは積み上げ演算において使用される縮小画像の成分に対する重みを与えるパラメータである。特徴サイズはワーク2の表面形状の大きさを示すパラメータである。たとえば、特徴サイズが1であればxy方向で注目画素に隣接した4つの画素についての重みが最も大きくされて積み上げ演算される。特徴サイズが2であればxy方向で注目画素に隣接した8つの画素についての重みが最も大きく設定されて積み上げ演算が実行される。ただし、8つの画素を用いて演算することは演算量の増大を招くため、上述した縮小画像を作成して演算に使用する。つまり、8つの隣接画素を用いる代わりに、傾き画像を1/2に縮小して演算を実行する。これにより、ある注目画素について縮小画像における4つの画素を演算に考慮すればよいことになる。これは特徴サイズが4、8、16、32と増加したときもそれに応じた縮小画像を作成し、特徴サイズに対応した縮小画像について重みを最大に設定することで、同様の演算負荷の軽減効果が得られる。   In this embodiment, a parameter called feature size is employed in the stacking calculation. The feature size is a parameter that gives a weight to the components of the reduced image used in the accumulation operation. The feature size is a parameter indicating the size of the surface shape of the workpiece 2. For example, if the feature size is 1, the weights for the four pixels adjacent to the pixel of interest in the xy direction are maximized and the calculation is performed. If the feature size is 2, the weights for the eight pixels adjacent to the pixel of interest in the xy direction are set to be the largest, and the accumulation operation is executed. However, since calculation using eight pixels causes an increase in the amount of calculation, the above-described reduced image is created and used for the calculation. That is, instead of using eight adjacent pixels, the tilt image is reduced to ½ and the calculation is executed. Thus, four pixels in the reduced image may be taken into consideration for a certain target pixel. Even when the feature size increases to 4, 8, 16, 32, a reduced image corresponding to the feature size is created and the weight is set to the maximum for the reduced image corresponding to the feature size. Is obtained.
図3は積み上げ演算の一例を示している。この例では法線ベクトルnから求められた2枚の傾き画像(水平方向の傾き成分pの画像と垂直方向の傾き成分qの画像)を入力としている。まず、縮小度の大きい傾き画像で全体の形状を積み上げ、それよりも縮小度の小さい画像で細部形状を積み上げる。これにより短時間で全体の形状を復元できるようになる。図3によれば、たとえば、1/32の縮小画像について式2により注目画素についてワーク表面の形状zを算出する。重みwは特徴サイズに応じて決定される。縮小画像を構成する1つ1つの画素を注目画素として積み上げ演算をイタレーション(繰り返し処理)する。zの初期値はゼロである。次に式2にしたがって1/16の縮小画像についてzを算出する。ここでは、1/32の演算結果に対して1/16の縮小画像の傾き成分が積み上げられる。同様にして、1/8縮小画像から1/1画像まで積み上げ演算が実行される。   FIG. 3 shows an example of a stacking operation. In this example, two tilt images obtained from the normal vector n (a horizontal tilt component p image and a vertical tilt component q image) are input. First, the entire shape is accumulated with an inclination image having a large reduction degree, and the detailed shape is accumulated with an image having a smaller reduction degree. As a result, the entire shape can be restored in a short time. According to FIG. 3, for example, the shape z of the workpiece surface is calculated for the target pixel using Equation 2 for a 1/32 reduced image. The weight w is determined according to the feature size. The accumulation operation is iterated (repeatedly processed) with each pixel constituting the reduced image as a target pixel. The initial value of z is zero. Next, z is calculated for a 1/16 reduced image according to Equation 2. Here, the inclination components of 1/16 reduced images are accumulated with respect to the 1/32 calculation result. Similarly, a stacking operation is performed from a 1/8 reduced image to a 1/1 image.
図4は各特徴サイズごと重みの一例を示している。横軸は解像度レベル(縮小度)を示し、縦軸は重みを示している。図4からわかるように、特徴サイズ1では縮小度が最も小さいレベル0(1/1画像)の重みが最大となる。これにより微細な形状を積み上げることが可能となる。特徴サイズ2ではレベル1(1/2画像)の重みが最大となる。これによりさらに大きなサイズの形状を積み上げることが可能となる。このように各重みは、特徴サイズに対応したレベルでピークが生じるように決定される。   FIG. 4 shows an example of the weight for each feature size. The horizontal axis indicates the resolution level (reduction degree), and the vertical axis indicates the weight. As can be seen from FIG. 4, in the feature size 1, the weight of level 0 (1/1 image) having the smallest reduction degree is the largest. Thereby, it becomes possible to accumulate fine shapes. In feature size 2, the weight of level 1 (1/2 image) is the maximum. Thereby, it becomes possible to pile up the shape of a bigger size. Thus, each weight is determined so that a peak occurs at a level corresponding to the feature size.
形状画像の復元方法としては、上記の積み上げ演算の他に公知のフーリエ変換積分法を採用することもできる(A Method for Enforcing Integrability in Shape from Shading Algorithms, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.10, No.4 July 1988)。当該方法においても計算プロセスにおいて縮小画像を生成し、重み付け成分を調整することにより抽出する特徴サイズを変更することが可能である。   As a restoration method of the shape image, a known Fourier transform integration method can be adopted in addition to the above-described accumulation operation (A Method for Enforcing Integrability in Shape from Shading Algorithms, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 10, No.4 July 1988). Also in this method, it is possible to change the feature size to be extracted by generating a reduced image in the calculation process and adjusting the weighting component.
図5は特徴サイズの違いに応じた検査画像の一例を示している。特徴サイズ4では細部の形状が抽出されており、特徴サイズ64では全体の形状が抽出されており、特徴サイズ16ではこれらの中間的なサイズの形状が抽出されていることがわかる。このように小さな特徴サイズは細かい傷を検査するのに役立ち、大きな特徴サイズは物体の有無の判別に適しており、中間の特徴サイズは凹凸文字のOCRなどに適している。つまり検査ツールに応じて適切な特徴サイズを選択することで検査精度を向上させることが可能となる。   FIG. 5 shows an example of an inspection image corresponding to a difference in feature size. It can be seen that the detailed shape is extracted in the feature size 4, the entire shape is extracted in the feature size 64, and the intermediate size is extracted in the feature size 16. The small feature size is useful for inspecting fine scratches, the large feature size is suitable for determining the presence or absence of an object, and the intermediate feature size is suitable for OCR of uneven characters. That is, it is possible to improve inspection accuracy by selecting an appropriate feature size according to the inspection tool.
図6はフォトメトリックステレオ法による検査画像の作成工程を示す図である。輝度画像601〜604はそれぞれ照明方向の異なる照明光によりワーク2を照明して取得された輝度画像である。なお、輝度画像600は4方向から同時に照明して得られた輝度画像である。それぞれ照明方向の異なる照明光によりワーク2を照明して取得された複数の輝度画像から演算によりワーク表面の法線ベクトルが求められる。傾き画像611は、輝度画像601〜604から求められた法線ベクトルのX方向の傾き成分を画素値とした傾き画像である。傾き画像612は、輝度画像601〜604から求められた法線ベクトルのY方向の傾き成分を画素値とした傾き画像である。反射率画像610は、輝度画像601〜604から求められた法線ベクトルから、ワーク表面の傾きによる輝度値の変動分を除去し、ワーク表面の反射率を画像にした反射率画像である。検査画像621〜623は傾き画像611、612から求められたそれぞれ特徴サイズの異なる画像(表面形状画像)である。なお、検査画像621〜623も傾き成分に基づく画素により構成されているため、傾き画像の一種である。このような手順でワーク2の検査画像が生成される。なお、検査ツールに依存して全方向照明画像である輝度画像600や反射率画像610が検査画像として採用されてもよい。全方向照明画像とは、照明装置3が備える複数の光源をすべて点灯させて取得された輝度画像のことである。   FIG. 6 is a diagram showing a process of creating an inspection image by the photometric stereo method. The luminance images 601 to 604 are luminance images obtained by illuminating the work 2 with illumination light having different illumination directions. Note that the luminance image 600 is a luminance image obtained by simultaneously illuminating from four directions. A normal vector of the workpiece surface is obtained by calculation from a plurality of luminance images obtained by illuminating the workpiece 2 with illumination light having different illumination directions. The tilt image 611 is a tilt image in which the X direction tilt component of the normal vector obtained from the luminance images 601 to 604 is used as a pixel value. The tilt image 612 is a tilt image in which the Y direction tilt component of the normal vector obtained from the luminance images 601 to 604 is a pixel value. The reflectance image 610 is a reflectance image obtained by removing the variation of the luminance value due to the tilt of the workpiece surface from the normal vector obtained from the luminance images 601 to 604 and using the reflectance of the workpiece surface as an image. The inspection images 621 to 623 are images (surface shape images) having different feature sizes obtained from the tilt images 611 and 612, respectively. The inspection images 621 to 623 are also a kind of tilt image because they are composed of pixels based on the tilt component. An inspection image of the work 2 is generated by such a procedure. Depending on the inspection tool, the luminance image 600 and the reflectance image 610 that are omnidirectional illumination images may be adopted as the inspection image. An omnidirectional illumination image is a luminance image acquired by turning on all of a plurality of light sources included in the illumination device 3.
<テクスチャ情報>
テクスチャ情報とはワーク2の表面の反射率ρに基づく情報である。式1によって反射率ρが求められる、つまり4枚の輝度画像から1枚の反射率画像が得られる。反射率画像はワーク表面の反射率ρに比例した画素値を有する画像である。図7に示すように、4枚の輝度画像701〜704から法線ベクトルを算出し、算出された法線ベクトルと複数の輝度画像の各々対応する画素の輝度値に基づいて各画素の反射率に比例した画素値を算出することで反射率画像であるテクスチャ画像711、712が求められる。この合成方法としては4枚の輝度画像の画素平均によってテクスチャ画像を求める方法や、4枚の輝度画像からハレーションを除去してから画素平均によってテクスチャ画像を求める方法などがある。テクスチャ画像711は画像平均によって求められたものであり、テクスチャ画像712はハレーション除去によって求められたものの一例である。4枚の輝度画像において座標が一致する画素が4つ存在する。4つの画素のうち画素値が1番大きい画素を除外したり、画素値の大きい順に1番目からN番目(Nは3以下の自然数)までの画素を除外したりすることでハレーションを除去することが可能である。ハレーションは高い輝度として画像に表れるからである。テクスチャ画像711、712はともに反射率に基づく画素により構成されているため、反射率画像の一種である。
<Texture information>
The texture information is information based on the reflectance ρ of the surface of the work 2. The reflectance ρ is obtained by Equation 1, that is, one reflectance image is obtained from four luminance images. The reflectance image is an image having a pixel value proportional to the reflectance ρ of the workpiece surface. As shown in FIG. 7, a normal vector is calculated from four luminance images 701 to 704, and the reflectance of each pixel is calculated based on the calculated normal vector and the luminance value of each corresponding pixel in the plurality of luminance images. The texture images 711 and 712, which are reflectance images, are obtained by calculating pixel values proportional to. As this synthesis method, there are a method for obtaining a texture image by pixel average of four luminance images, a method for obtaining a texture image by pixel average after removing halation from the four luminance images, and the like. The texture image 711 is obtained by image averaging, and the texture image 712 is an example obtained by removing halation. There are four pixels with the same coordinates in the four luminance images. Eliminate halation by excluding the pixel with the largest pixel value from the four pixels, or excluding the first to Nth pixels (N is a natural number of 3 or less) in the descending order of the pixel value. Is possible. This is because halation appears in the image as high luminance. Since texture images 711 and 712 are both composed of pixels based on reflectance, they are a kind of reflectance image.
<機能ブロック>
図8は検査装置のブロック図である。この例では照明装置3、カメラ4および画像処理装置5がそれぞれ個別の筐体に収容されているが、これは一例に過ぎず、適宜に一体化されてもよい。照明装置3は、フォトメトリックステレオ法にしたがって検査対象物を照明する照明手段の一例であり、光源群801とこれを制御する照明コントローラ802を備えている。複数の発光素子で1つのセグメントが構成され、さらに複数のセグメントによって光源群801が構成されていてもよい。セグメントの数は一般的には4つであるが、3つ以上であればよい。これは3方向以上の照明方向からワーク2を照明できれば、フォトメトリックステレオ法により検査画像を生成できるからである。図1に示したように照明装置3の外形はリング状をしていてもよい。また、照明装置3は、それぞれ分離した複数の照明ユニットにより構成されていてもよい。たとえば、市場にはワーク2を撮影するために使用される照明ユニットが存在しているが、これらはフォトメトリックステレオ用に開発されたものではない。ただし、このような照明ユニットを複数個用意するとともに、これらを制御する照明コントローラを接続することで、照明装置3を構成してもよい。照明コントローラ802は、画像処理装置5からの制御コマンドに応じて光源群801の点灯タイミングや照明パターン(点灯パターン)を制御する。照明コントローラ802は照明装置3に内蔵されているものとして説明するが、カメラ4に内蔵されていてもよいし、画像処理装置5に内蔵されていてもよいし、これらからは独立した筐体に収容されていてもよい。
<Functional block>
FIG. 8 is a block diagram of the inspection apparatus. In this example, the illumination device 3, the camera 4, and the image processing device 5 are each housed in separate housings, but this is only an example and may be appropriately integrated. The illumination device 3 is an example of illumination means for illuminating an inspection object according to a photometric stereo method, and includes a light source group 801 and an illumination controller 802 that controls the light source group 801. One segment may be composed of a plurality of light emitting elements, and the light source group 801 may be composed of a plurality of segments. The number of segments is generally four, but may be three or more. This is because if the workpiece 2 can be illuminated from three or more illumination directions, an inspection image can be generated by the photometric stereo method. As shown in FIG. 1, the outer shape of the lighting device 3 may be ring-shaped. Moreover, the illuminating device 3 may be comprised by the some illumination unit each isolate | separated. For example, there are lighting units in the market that are used to photograph the workpiece 2, but these are not developed for photometric stereo. However, you may comprise the illuminating device 3 by preparing several such lighting units and connecting the lighting controller which controls these. The illumination controller 802 controls the lighting timing and illumination pattern (lighting pattern) of the light source group 801 in accordance with a control command from the image processing apparatus 5. Although the illumination controller 802 is described as being incorporated in the illumination device 3, it may be incorporated in the camera 4, may be incorporated in the image processing device 5, or may be provided in a casing independent of these. It may be accommodated.
カメラ4はフォトメトリックステレオ法にしたがって照明された検査対象物からの反射光を受光して輝度画像を生成する撮像手段の一例であり、画像処理装置5からの制御コマンドに応じて撮像処理を実行する。カメラ4はワーク2の輝度画像を作成して画像処理装置5に転送してもよいし、撮像素子から得られる輝度信号を画像処理装置5に転送し、画像処理装置5が輝度画像を生成してもよい。輝度信号は輝度画像の元になる信号であるため、広義には輝度信号も輝度画像である。   The camera 4 is an example of an imaging unit that receives reflected light from an inspection object illuminated according to a photometric stereo method and generates a luminance image, and executes imaging processing according to a control command from the image processing device 5 To do. The camera 4 may create a luminance image of the work 2 and transfer it to the image processing device 5, or transfer a luminance signal obtained from the image sensor to the image processing device 5, and the image processing device 5 generates a luminance image. May be. Since the luminance signal is a signal from which the luminance image is based, the luminance signal is also a luminance image in a broad sense.
画像処理装置5は、コンピュータの一種であり、CPUやASICなどのプロセッサ810と、RAM、ROM、可搬記憶媒体などの記憶装置820と、ASICなどの画像処理部830と、ネットワークインタフェースなどの通信部850とを有している。プロセッサ810は検査ツールの設定や、制御パラメータの調整、検査画像の生成・再生成・更新を担当する。フォトメトリック処理部811は、カメラ4により取得された複数の輝度画像からワーク2の表面の法線ベクトルnを算出し、複数の輝度画像から算出された法線ベクトルnに基づく画素値を有する傾き画像と、傾き画像の縮小画像とについて、注目画素に隣接する隣接画素の法線ベクトルnを用いて当該注目画素の画素値を積み上げ演算し、当該画素値を有する検査画像を生成する演算手段(検査画像生成手段)として機能する。なお、具体的には上述した数式などを使用して検査画像が生成される。照明制御部812は、照明コントローラ802に対して制御コマンドを送信することで点灯パターンや照明切り替えタイミングなどを制御する。撮像制御部813は、カメラ4を制御する。UI管理部814は、検査ツールを設定するためのユーザインタフェース(UI)や検査画像を生成するために必要となるパラメータを設定するためのUIなどを表示部7に表示し、入力部6から入力された情報したがって検査ツールやパラメータを設定する。とりわけ、特徴サイズ設定部815は積み上げ演算において使用される縮小画像の成分に対する重みwを与えるパラメータである特徴サイズを設定する設定手段として機能する。画像選択部816は複数の輝度画像や複数の検査画像、複数の傾き画像、複数の反射率画像のうち表示すべき画像などを選択したりする。画像選択部816はカメラ4により取得された複数の輝度画像および検査画像のうち保存対象もしくは出力対象となる画像を選択してもよい。検査ツール設定部817は画像選択部816により選択された検査画像に対して検査ツールを設定する。検査ツール設定部817は、たとえば、基準画像に対して傷検査領域を設定したり、文字認識領域を設定したりする。基準画像設定部818は良品から取得された検査画像である基準画像を設定する。表示制御部851は輝度画像と検査画像を切り替えて表示部7に表示させたり、または、輝度画像と検査画像とを同時に表示させたりする。また表示制御部851は制御パラメータが調整されると表示部7に表示されている画像を当該制御パラメータが反映された画像に更新する。検査ツール設定部817は、表示制御部851、特徴サイズ設定部815、画像選択部816、基準画像設定部818および条件設定部819を内包していてもよい。画像処理部830は基準画像を用いて検査画像にパターンサーチを実行し、検査画像に検査領域(例:傷検査領域や文字認識領域など)を設定する検査領域設定手段として機能する。検査領域は、たとえば、文字認識領域である。条件設定部819は画像を表示部7や通信部850に接続された外部機器に出力する条件や、可搬記憶媒体などに保存する条件を設定する。判定部840は検査画像を用いてワーク2の良否を判定する判定手段として機能する。たとえば、判定部840は画像処理部830において検査画像を用いて実行された検査の結果を受け取って検査結果が良品条件(公差など)を満たしているかどうかを判定する。   The image processing apparatus 5 is a kind of computer, and includes a processor 810 such as a CPU and an ASIC, a storage device 820 such as a RAM, a ROM, and a portable storage medium, an image processing unit 830 such as an ASIC, and a communication such as a network interface. Part 850. The processor 810 is in charge of setting an inspection tool, adjusting control parameters, and generating / regenerating / updating an inspection image. The photometric processing unit 811 calculates a normal vector n of the surface of the work 2 from a plurality of luminance images acquired by the camera 4, and has a pixel value based on the normal vector n calculated from the plurality of luminance images. An arithmetic unit that accumulates the pixel value of the target pixel using the normal vector n of the adjacent pixel adjacent to the target pixel and generates an inspection image having the pixel value for the image and the reduced image of the tilt image ( Function as inspection image generation means). Specifically, the inspection image is generated using the above-described mathematical formula and the like. The illumination control unit 812 controls a lighting pattern, illumination switching timing, and the like by transmitting a control command to the illumination controller 802. The imaging control unit 813 controls the camera 4. The UI management unit 814 displays a user interface (UI) for setting an inspection tool, a UI for setting parameters necessary for generating an inspection image, and the like on the display unit 7 and inputs from the input unit 6. Set information and thus inspection tools and parameters. In particular, the feature size setting unit 815 functions as a setting unit that sets a feature size that is a parameter that gives a weight w to a component of a reduced image used in a stacking operation. The image selection unit 816 selects an image to be displayed from among a plurality of luminance images, a plurality of inspection images, a plurality of tilt images, and a plurality of reflectance images. The image selection unit 816 may select an image to be stored or output from among a plurality of luminance images and inspection images acquired by the camera 4. The inspection tool setting unit 817 sets an inspection tool for the inspection image selected by the image selection unit 816. For example, the inspection tool setting unit 817 sets a flaw inspection area or a character recognition area for the reference image. The reference image setting unit 818 sets a reference image that is an inspection image acquired from a non-defective product. The display control unit 851 switches the luminance image and the inspection image to be displayed on the display unit 7 or displays the luminance image and the inspection image at the same time. Further, when the control parameter is adjusted, the display control unit 851 updates the image displayed on the display unit 7 to an image reflecting the control parameter. The inspection tool setting unit 817 may include a display control unit 851, a feature size setting unit 815, an image selection unit 816, a reference image setting unit 818, and a condition setting unit 819. The image processing unit 830 functions as an inspection area setting unit that performs a pattern search on the inspection image using the reference image and sets an inspection area (eg, a flaw inspection area or a character recognition area) in the inspection image. The inspection area is, for example, a character recognition area. The condition setting unit 819 sets conditions for outputting an image to an external device connected to the display unit 7 and the communication unit 850, and conditions for saving the image in a portable storage medium. The determination unit 840 functions as a determination unit that determines the quality of the workpiece 2 using the inspection image. For example, the determination unit 840 receives the result of the inspection performed using the inspection image in the image processing unit 830 and determines whether the inspection result satisfies a non-defective product condition (tolerance or the like).
記憶装置820は、カメラ4によって取得された輝度画像のデータである輝度画像データ821、フォトメトリック処理部811により生成された傾き画像データ822や反射率画像データ823を記憶する。また、記憶装置820は各種の設定データやユーザインタフェースを生成するためのプログラムコードなども記憶している。記憶装置820は特徴サイズがそれぞれ異なる検査画像を記憶して保持していてもよい。また、記憶装置820は検査画像に加え、検査画像の元になった傾き画像データや反射率画像データを記憶してもよい。これらはワーク2の誤判定が見つかったときに、検査画像、傾き画像または反射率画像のいずれに問題があったのかを特定して、その制御パラメータを修正するのに役立つであろう。   The storage device 820 stores luminance image data 821 that is luminance image data acquired by the camera 4, tilt image data 822 and reflectance image data 823 generated by the photometric processing unit 811. The storage device 820 also stores various setting data, a program code for generating a user interface, and the like. The storage device 820 may store and hold inspection images having different feature sizes. In addition to the inspection image, the storage device 820 may store tilt image data and reflectance image data that are the basis of the inspection image. These will help to identify whether there is a problem with the inspection image, the tilt image or the reflectance image and to correct the control parameters when an erroneous determination of the workpiece 2 is found.
画像処理部830は、フォトメトリック処理部811によって生成された検査画像(傾き画像データ822や反射率画像データ823)を用いて外観検査を実行する。傷検査部831は、それぞれ異なる特徴サイズ用いて生成された複数の検査画像の傷検査領域において傷検査を実行する。OCR部832はそれぞれ異なる特徴サイズ用いて生成された複数の検査画像に対して文字認識処理を実行する文字認識処理手段として機能する。傷検査部831やOCR部832は記憶装置820に記憶されている検査画像(傾き画像データ822や反射率画像データ823)を読み出し、文字認識領域において検査を実行し、検査結果を記憶装置820に書き込んだり、判定部840に渡したりしてもよい。判定部840はこの検査結果に基づきワーク2の良否を判定する。   The image processing unit 830 performs an appearance inspection using the inspection image (tilt image data 822 and reflectance image data 823) generated by the photometric processing unit 811. The flaw inspection unit 831 performs a flaw inspection in a flaw inspection region of a plurality of inspection images generated using different feature sizes. The OCR unit 832 functions as a character recognition processing unit that executes character recognition processing on a plurality of inspection images generated using different feature sizes. The wound inspection unit 831 and the OCR unit 832 read the inspection image (tilt image data 822 and reflectance image data 823) stored in the storage device 820, perform inspection in the character recognition area, and store the inspection result in the storage device 820. It may be written or passed to the determination unit 840. The determination unit 840 determines the quality of the workpiece 2 based on the inspection result.
<設定モード>
検査システムには検査ツールを設定する設定モードと、設定された検査ツールにしたがってワーク2の外観検査を実行する検査モード(運転モード)とを有しいている。ここでは設定モードの一例について説明する。
<Setting mode>
The inspection system has a setting mode for setting an inspection tool and an inspection mode (operation mode) for executing an appearance inspection of the workpiece 2 in accordance with the set inspection tool. Here, an example of the setting mode will be described.
図9は設定モードに関するフローチャートである。入力部6を通じて設定モードの開始が指示されると、プロセッサ810のUI管理部814は検査ツールを設定するためのUIを表示部7に表示する。   FIG. 9 is a flowchart regarding the setting mode. When the start of the setting mode is instructed through the input unit 6, the UI management unit 814 of the processor 810 displays a UI for setting the inspection tool on the display unit 7.
図10はUIの一例を示している。UI管理部814が表示部7に表示するUI1000には、検査結果の保存先を指定するプルダウンメニュー1001や検査ツールの名称を入力するテキストボックス1002が設けられている。UI管理部814は実行ボタンの押し下げを検出すると次のUIを表示する。   FIG. 10 shows an example of a UI. The UI 1000 displayed on the display unit 7 by the UI management unit 814 is provided with a pull-down menu 1001 for designating a storage destination of the inspection result and a text box 1002 for inputting the name of the inspection tool. When the UI management unit 814 detects that the execution button has been pressed, the UI management unit 814 displays the next UI.
図11に示すUI1100には、検査ツールを設定するためのガイダンス1101と、カメラ4に撮像を指示する計測実行ボタン1102と、カメラ4により撮像された画像を表示する表示領域1103と、カメラ設定の開始を指示するカメラ設定ボタン1104を有している。なお、画像選択部1105は、表示領域1103に表示する画像や検査に使用する画像を選択するためのボタンである。この例では画像選択部1105によって、形状1、形状2、テクスチャおよびノーマルのうちいずれか1つの画像が択一的に選択される。計測実行ボタン1102が操作されると、撮像制御部がカメラ4に撮像を指示する。UI管理部814はカメラ4により取得された輝度画像を表示領域1103にレンダリングする。なお、画像選択部1105によって別の画像が選択されると、UI管理部814は画像選択部1105によって選択された画像を表示領域1103にレンダリングする。このようにユーザは画像選択部1105を操作するか、入力部6を通じて画像の切り替えを指示することで表示領域1103に表示される画像を切り替えることができる。カメラ設定ボタン1104が操作されると、UI管理部814は次のUIに切り替える。   A UI 1100 illustrated in FIG. 11 includes a guidance 1101 for setting an inspection tool, a measurement execution button 1102 for instructing the camera 4 to perform imaging, a display area 1103 for displaying an image captured by the camera 4, and camera settings. A camera setting button 1104 for instructing start is provided. Note that the image selection unit 1105 is a button for selecting an image to be displayed in the display area 1103 or an image to be used for inspection. In this example, the image selection unit 1105 selectively selects one of the images of shape 1, shape 2, texture, and normal. When the measurement execution button 1102 is operated, the imaging control unit instructs the camera 4 to perform imaging. The UI management unit 814 renders the luminance image acquired by the camera 4 in the display area 1103. When another image is selected by the image selection unit 1105, the UI management unit 814 renders the image selected by the image selection unit 1105 in the display area 1103. As described above, the user can switch the image displayed in the display area 1103 by operating the image selection unit 1105 or instructing the switching of the image through the input unit 6. When the camera setting button 1104 is operated, the UI management unit 814 switches to the next UI.
S901でUI管理部814はカメラ4を設定するためUIを表示部7に表示し、カメラ設定を実行する。図12はカメラ設定UI1200の一例を示している。カメラ設定タブ1201には、カメラの機種を設定するプルダウンメニュー1202、画像サイズを設定するプルダウンメニュー1203、シャッタースピードを設定するプルダウンメニュー1204、カメラの感度を設定するスライダー1205などを有している。なお、計測実行ボタン1102が操作されると、UI管理部814は、その時点で設定されている撮像パラメータにしたがってカメラ4によって取得された輝度画像を表示領域1103に表示する。これによりユーザは設定したパラメータが適切かどうかを判定できる。   In step S <b> 901, the UI management unit 814 displays a UI on the display unit 7 for setting the camera 4, and executes camera setting. FIG. 12 shows an example of the camera setting UI 1200. The camera setting tab 1201 includes a pull-down menu 1202 for setting the camera model, a pull-down menu 1203 for setting the image size, a pull-down menu 1204 for setting the shutter speed, and a slider 1205 for setting the sensitivity of the camera. When the measurement execution button 1102 is operated, the UI management unit 814 displays the luminance image acquired by the camera 4 in the display area 1103 according to the imaging parameter set at that time. Thereby, the user can determine whether the set parameter is appropriate.
S902でUI管理部814はフォトメトリック処理を設定するためUIを表示部7に表示し、設定を実行する。たとえば、カメラ設定UI1200に設けられているフォトメトリックステレオ設定タブ1210が操作されたこと検知すると、UI管理部814は、図13に示すように、フォトメトリックステレオ設定タブ1210を有効に切り替える。有効に切り替えるとは、ユーザ操作可能な状態にフォトメトリックステレオ設定タブ1210の表示状態を切り替えることをいう。フォトメトリックステレオ設定タブ1210には、画像を選択するためのプルダウンメニュー1301と、特徴サイズ設定部1302とが含まれている。この例では、それぞれ特徴サイズが異なる3つの検査画像(形状1、形状2、形状3)のいずれかを選択できるものとする。プルダウンメニュー1301によって選択された画像ごとに特徴サイズ設定部1302により特徴サイズが設定される。   In step S902, the UI management unit 814 displays a UI on the display unit 7 for setting photometric processing, and executes the setting. For example, when detecting that the photometric stereo setting tab 1210 provided in the camera setting UI 1200 is operated, the UI management unit 814 switches the photometric stereo setting tab 1210 to be valid as shown in FIG. To switch to enable means to switch the display state of the photometric stereo setting tab 1210 to a state in which the user can operate. The photometric stereo setting tab 1210 includes a pull-down menu 1301 for selecting an image and a feature size setting unit 1302. In this example, it is assumed that one of three inspection images (shape 1, shape 2, and shape 3) having different feature sizes can be selected. A feature size is set by the feature size setting unit 1302 for each image selected by the pull-down menu 1301.
フォトメトリックステレオ設定タブ1210に点灯パターンを選択するための選択部が配置されてもよい。また、一回の照明あたりの発光量を指定する指定部が設けられてもよい。   A selection unit for selecting a lighting pattern may be arranged in the photometric stereo setting tab 1210. In addition, a designation unit that designates a light emission amount per one illumination may be provided.
S903でUI管理部814は検査ツールを設定するためのUIを表示部7に表示し、設定を実行する。図14は検査ツールを設定するUI1400の一例である。画像選択ボタン1401は、複数ある検査画像のうち検査に使用する検査画像を選択するためのボタンである。検査カテゴリー選択ボタン1402は、複数ある検査カテゴリーのうち検査ツールとして追加すべきツールのカテゴリーを選択するためのボタンである。認識対象設定ボタン1403は複数ある認識対象のうち1つを選択するためのボタンである。この例では、検査画像として「形状1」が選択され、カテゴリーとして「認識」が選択され、認識処理として「文字認識」が選択されている。追加ボタン1404が操作されると、UI管理部814は次のUIに切り替える。図15は基準画像登録UI1500を示している。基準画像登録UI1500には、上述した計測実行ボタン1102、表示領域1103に加え、登録ボタン1501が配置されている。登録ボタン1501が操作されると、UI管理部814は計測実行ボタン1102によって取得され、表示領域1103に表示されている画像を基準画像として登録する。登録が完了すると、UI管理部814は次のUIに切り替える。   In step S903, the UI management unit 814 displays a UI for setting the inspection tool on the display unit 7, and executes the setting. FIG. 14 shows an example of a UI 1400 for setting an inspection tool. The image selection button 1401 is a button for selecting an inspection image to be used for inspection from among a plurality of inspection images. The inspection category selection button 1402 is a button for selecting a category of a tool to be added as an inspection tool from among a plurality of inspection categories. The recognition target setting button 1403 is a button for selecting one of a plurality of recognition targets. In this example, “shape 1” is selected as the inspection image, “recognition” is selected as the category, and “character recognition” is selected as the recognition process. When the add button 1404 is operated, the UI management unit 814 switches to the next UI. FIG. 15 shows a reference image registration UI 1500. The reference image registration UI 1500 includes a registration button 1501 in addition to the above-described measurement execution button 1102 and display area 1103. When the registration button 1501 is operated, the UI management unit 814 registers the image acquired by the measurement execution button 1102 and displayed in the display area 1103 as a reference image. When registration is completed, the UI management unit 814 switches to the next UI.
図16は計測領域設定UI1600を示している。計測領域設定UI1600の表示領域1103には基準画像1601と、計測領域を示すフレーム1602が配置される。UI管理部814は入力部6からの指示に応じてフレーム1602の位置とサイズを変更する。ユーザは基準画像1601のうち計測対象としたい部分の位置とサイズに合わせてフレーム1602の位置とサイズを調整する。なお、さらに、UI管理部814は、文字の切り出し設定や、認識すべき文字の具体例(文字画像)と文字画像に対応する文字キャラクタを登録するための辞書設定などを実行してもよい。   FIG. 16 shows a measurement area setting UI 1600. A reference image 1601 and a frame 1602 indicating the measurement area are arranged in the display area 1103 of the measurement area setting UI 1600. The UI management unit 814 changes the position and size of the frame 1602 according to an instruction from the input unit 6. The user adjusts the position and size of the frame 1602 in accordance with the position and size of the portion to be measured in the reference image 1601. Further, the UI management unit 814 may perform character cutout settings, dictionary settings for registering specific examples (character images) of characters to be recognized and character characters corresponding to the character images, and the like.
次に傷検査ツールについて説明する。図17に示すように、検査カテゴリー選択ボタン1402によって傷検査が選択されると、UI管理部814は、検査内容選択ボタン1701を表示する。この例では、検査内容選択ボタン1701によって傷の総面積を計測するツールが選択されている。追加ボタン1404が操作されると、UI管理部814はUIを切り替える。   Next, the flaw inspection tool will be described. As shown in FIG. 17, when a wound inspection is selected by the inspection category selection button 1402, the UI management unit 814 displays an inspection content selection button 1701. In this example, a tool for measuring the total area of the wound is selected by the inspection content selection button 1701. When the add button 1404 is operated, the UI management unit 814 switches the UI.
図18は計測領域設定UI1800を示している。計測領域設定UI1800には、計測領域(傷検査領域)を示すフレーム1802が配置される。フレーム1802の形状は変更可能であり、たとえば、形状を選択するためのプルダウンメニュー1801によって複数の形状のうちいずれかの形状が選択される。UI管理部814はプルダウンメニュー1801によって選択された形状のフレーム1802を表示領域1103にレンダリングする。UI管理部814は入力部6からの指示に応じてフレーム1802の位置とサイズを変更する。   FIG. 18 shows a measurement area setting UI 1800. In the measurement area setting UI 1800, a frame 1802 indicating a measurement area (scratch inspection area) is arranged. The shape of the frame 1802 can be changed. For example, one of a plurality of shapes is selected by a pull-down menu 1801 for selecting a shape. The UI management unit 814 renders the frame 1802 having the shape selected by the pull-down menu 1801 in the display area 1103. The UI management unit 814 changes the position and size of the frame 1802 in accordance with an instruction from the input unit 6.
図19は傷の検出条件を設定するための設定UI1900を示している。設定UI1900には、傷の検出方向を選択するためのプルダウンメニュー1901と、傷のセグメントサイズを指定するためのボックス1902と、傷のレベルを指定するためのスライダー1903が配置されている。設定UI1900により設定された傷検出条件に基づいて傷検査領域内(フレーム1802内)で傷検査部831が傷を検出したときは、UI管理部814が傷の位置に傷検出マーク1910を表示してもよい。これにより、ユーザは、傷検出条件が適切かどうかを判断できよう。   FIG. 19 shows a setting UI 1900 for setting a flaw detection condition. The setting UI 1900 includes a pull-down menu 1901 for selecting a flaw detection direction, a box 1902 for designating a flaw segment size, and a slider 1903 for designating a flaw level. When the flaw inspection unit 831 detects a flaw in the flaw inspection area (within the frame 1802) based on the flaw detection condition set by the setting UI 1900, the UI management unit 814 displays a flaw detection mark 1910 at the flaw position. May be. Thereby, the user will be able to judge whether the flaw detection condition is appropriate.
<検査モード>
図20は検査モードを示すフローチャートである。入力部6を通じて検査モードの開始が指示されると、プロセッサ810が動作モードを検査モードに移行させる。
<Inspection mode>
FIG. 20 is a flowchart showing the inspection mode. When the start of the inspection mode is instructed through the input unit 6, the processor 810 shifts the operation mode to the inspection mode.
S2001でプロセッサ810は設定された点灯パターンにしたがって照明方向を切り替えながらワーク2の画像を撮像して取得する。具体的には、照明制御部812が、記憶装置820に保持されている設定データを参照して点灯パターンを特定し、点灯パターンを指定するためのコマンドを照明コントローラ802に送出する。撮像制御部813は記憶装置820に保持されている設定データを参照してカメラ4に関する制御パラメータ(シャッタースピードや感度など)を特定し、これを指定するコマンドをカメラ4に送信する。フォトメトリック処理部811は照明の開始を指示するためのトリガー信号を照明コントローラ802に送信するとともに、これと連動して撮像の開始を指示するためのトリガー信号をカメラ4に送信する。照明コントローラ802はトリガー信号に同期して照明方向を切り替える。たとえば、照明コントローラ802はコマンドにより指定された点灯パターンにしたがって4つの照明方向について1つずつ順番に対応する発光素子を点灯させる。照明コントローラ802はコマンドと点灯パターンとの対応関係をメモリなどに保持していてもよい。トリガー信号は照明開始時に1つだけ発行されてもよいし、切り替えタイミングにおいても発行されてもよい。カメラ4は制御パラメータにしたがってワーク2を撮像し、輝度画像を画像処理装置5に転送する。このようにして、たとえば、1つの照明方向につき1枚の輝度画像が生成される。   In step S2001, the processor 810 captures and acquires an image of the work 2 while switching the illumination direction according to the set lighting pattern. Specifically, the illumination control unit 812 identifies a lighting pattern with reference to setting data held in the storage device 820, and sends a command for designating the lighting pattern to the lighting controller 802. The imaging control unit 813 specifies control parameters (such as shutter speed and sensitivity) related to the camera 4 with reference to the setting data held in the storage device 820, and transmits a command for specifying the control parameter to the camera 4. The photometric processing unit 811 transmits a trigger signal for instructing the start of illumination to the illumination controller 802 and transmits a trigger signal for instructing the start of imaging to the camera 4 in conjunction with the trigger signal. The illumination controller 802 switches the illumination direction in synchronization with the trigger signal. For example, the lighting controller 802 turns on the light emitting elements corresponding to the four lighting directions one by one in accordance with the lighting pattern specified by the command. The lighting controller 802 may hold the correspondence between the command and the lighting pattern in a memory or the like. Only one trigger signal may be issued at the start of illumination, or may be issued at the switching timing. The camera 4 captures the workpiece 2 according to the control parameters and transfers the luminance image to the image processing device 5. In this way, for example, one luminance image is generated for one illumination direction.
S2002でプロセッサ810は複数の輝度画像から法線ベクトルnと反射率ρとを求める。上述したようにフォトメトリック処理部811は複数の輝度画像の画素値について式1を適用し、法線ベクトルnと反射率ρとを求める。   In S2002, the processor 810 obtains a normal vector n and a reflectance ρ from a plurality of luminance images. As described above, the photometric processing unit 811 applies Equation 1 to the pixel values of a plurality of luminance images to obtain the normal vector n and the reflectance ρ.
S2003でプロセッサ810は設定された特徴サイズにしたがって検査画像を生成する。上述したようにフォトメトリック処理部811は特徴サイズに対応する重みWを重みテーブルなどから決定し、式2を用いて積み上げ演算を実行して検査画像(傾き画像)を生成する。このように、フォトメトリック処理部811は複数の輝度画像からワーク2の表面の法線ベクトルnに基づく画素値を有する傾き画像を生成してもよい。なお、それぞれ値の異なる複数の特徴サイズを設定されている場合、フォトメトリック処理部811は設定された複数の特徴サイズのそれぞれについて検査画像を生成してもよい。また、フォトメトリック処理部811は上述した手法により反射率画像やテクスチャ画像を生成してもよい。たとえば、フォトメトリック処理部811は複数の輝度画像からワーク2の表面の法線ベクトルnとともにワーク2の表面の反射率ρを算出し、当該反射率ρに基づく画素値を有する反射率画像を生成してもよい。ここでは検査の対象とされる画像が生成され、検査の対象とさていない画像については生成が省略されてもよい。   In step S2003, the processor 810 generates an inspection image according to the set feature size. As described above, the photometric processing unit 811 determines the weight W corresponding to the feature size from the weight table or the like, and executes a stacking operation using Expression 2 to generate an inspection image (tilt image). As described above, the photometric processing unit 811 may generate an inclination image having a pixel value based on the normal vector n on the surface of the workpiece 2 from a plurality of luminance images. When a plurality of feature sizes having different values are set, the photometric processing unit 811 may generate an inspection image for each of the set feature sizes. The photometric processing unit 811 may generate a reflectance image or a texture image by the above-described method. For example, the photometric processing unit 811 calculates the reflectance ρ of the surface of the workpiece 2 together with the normal vector n of the surface of the workpiece 2 from a plurality of luminance images, and generates a reflectance image having a pixel value based on the reflectance ρ. May be. Here, an image to be inspected is generated, and generation of an image not to be inspected may be omitted.
S2004でプロセッサ810は検査画像を表示部7に表示する。UI管理部814は検査画像とともに、輝度画像、傾き画像、反射率画像を表示部7に同時または選択的に表示してもよい。選択的に表示する場合、UI管理部814は入力部6からの切り替え指示にしたがって、たとえば、4つの輝度画像を順番に切り替え表示してもよい。たとえば、入力部6のうちコンソールに設けられた特定のキーが画像の切替ボタンとして割り当てられていてもよい。   In step S2004, the processor 810 displays the inspection image on the display unit 7. The UI management unit 814 may display the luminance image, the tilt image, and the reflectance image together with the inspection image on the display unit 7 simultaneously or selectively. In the case of selective display, the UI management unit 814 may switch and display, for example, four luminance images in accordance with a switching instruction from the input unit 6. For example, a specific key provided on the console of the input unit 6 may be assigned as an image switching button.
S2005でプロセッサ810は画像処理部830に検査の実行を指示する。画像処理部830は検査を指示されると、予め設定された検査ツールを起動して検査画像に対して検査を実行する。たとえば、傷検査部831は設定された計測領域や検出条件にしたがって傷のレベルを判別し、検査結果(傷のレベル)を判定部840に転送する。なお、傷検査部831は、上述した基準画像を用いてパターンサーチを実行して検査領域を設定し、検査領域において検査を実行してもよい。また、OCR部832は、予め設定された文字認識設定にしたがって検査画像に対して文字認識処理を実行し、文字認識結果を判定部840に転送する。OCR部832も上述した基準画像を用いてパターンサーチを実行して検査領域(文字認識領域)を設定し、検査領域において検査を実行してもよい。   In step S2005, the processor 810 instructs the image processing unit 830 to execute inspection. When the inspection is instructed, the image processing unit 830 activates a preset inspection tool and executes the inspection on the inspection image. For example, the wound inspection unit 831 determines the level of the scratch according to the set measurement region and detection condition, and transfers the inspection result (scratch level) to the determination unit 840. Note that the flaw inspection unit 831 may perform a pattern search using the above-described reference image to set an inspection region, and perform inspection in the inspection region. In addition, the OCR unit 832 performs character recognition processing on the inspection image in accordance with preset character recognition settings, and transfers the character recognition result to the determination unit 840. The OCR unit 832 may perform a pattern search using the above-described reference image to set an inspection area (character recognition area), and execute an inspection in the inspection area.
S2006でプロセッサ810の判定部840は検査結果と判定閾値とを比較して、ワーク2が良品であるかどうかを判定する。たとえば、傷検査とOCRの両方を実行するように設定されている場合、判定部840は傷検査部831の検査結果とOCR部832の文字認識結果との両方が合格レベルにあるときに、ワーク2を良品と判定する。   In S2006, the determination unit 840 of the processor 810 compares the inspection result with the determination threshold value to determine whether the workpiece 2 is a non-defective product. For example, in a case where both the wound inspection and the OCR are set to be executed, the determination unit 840 determines whether the inspection result of the wound inspection unit 831 and the character recognition result of the OCR unit 832 are at a pass level. 2 is judged as a good product.
<画像保存設定>
図21は検査フローを設定するUI2100の一例を示している。UI管理部814はUI2100を表示部7に表示させ、検査フローのスタートからエンドまでの間に実行される複数の工程を入力部6から入力される指示にしたがって設定して行く。この例では、撮像工程、パターンサーチ工程、位置補正工程および傷検査工程が検査フローに追加されている。たとえば、入力部6を通じて検査フローのエンドが指定されると、UI管理部814はエンドにおいて検査履歴を蓄積するように設定してもよい。検査履歴とは、検査結果や検査に使用された画像などである。
<Image save settings>
FIG. 21 shows an example of a UI 2100 for setting an inspection flow. The UI management unit 814 displays the UI 2100 on the display unit 7, and sets a plurality of processes to be executed from the start to the end of the inspection flow according to instructions input from the input unit 6. In this example, an imaging process, a pattern search process, a position correction process, and a flaw inspection process are added to the inspection flow. For example, when the end of the inspection flow is designated through the input unit 6, the UI management unit 814 may be set to accumulate the inspection history at the end. The inspection history is an inspection result or an image used for the inspection.
なお、各工程を追加するときにUI管理部814は各工程で使用される画像の選択を、入力部6を通じて受け付けてもよい。たとえば、ユーザは入力部6を通じて撮像工程に対しては照明方向と異なる4つの輝度画像や傾き画像、反射率画像などを取得対象として指定し、パターンサーチ工程に対してはいずれかの輝度画像(全方向照明画像など)をサーチ対象として指定し、傷検査工程に対しては傾き画像から生成された検査画像などを検査対象として指定してもよい。   When adding each process, the UI management unit 814 may accept selection of an image used in each process through the input unit 6. For example, the user designates four luminance images, tilt images, reflectance images, and the like that are different from the illumination direction for the imaging process through the input unit 6 as acquisition targets, and any luminance image (for the pattern search process). An omnidirectional illumination image or the like) may be designated as a search target, and an inspection image or the like generated from an inclination image may be designated as an inspection target for a scratch inspection process.
図22は履歴を蓄積する条件を設定するUI2200の一例を示している。蓄積条件を識別するための識別情報を設定する設定部2201は複数ある識別情報から設定対象となる識別情報を選択するためのプルダウンメニューによって構成されている。この例では設定部2201において「0:」という識別情報の蓄積条件が選択されている。蓄積条件としては、たとえば、検査結果が良品ではないときにのみ画像を蓄積するといった条件や、検査結果に依存せずに各ワークごとに常に画像を蓄積するといった条件などがある。ここでは、プロセッサ810は詳細設定ボタンなどが押されたことを検知すると条件設定部819を起動する。条件設定部819は、たとえば、常に画像を保存または出力するモードと、判定部840により検査対象物が良品ではないと判定されたときに画像を保存または出力するモードとのうちいずれかを設定してもよい。画像選択部2202は蓄積条件が満たされたときに保存する画像を選択する。ここでは画像選択部2202によって「すべて」と「指定」とを選択することができる。保存先選択部2203は、画像の保存先(例:内蔵メモリ、メモリカードなどの可搬メディアやFTPサーバなどのネットワークストレージ)を選択するためのプルダウンメニューによって構成されている。   FIG. 22 shows an example of a UI 2200 for setting conditions for accumulating history. The setting unit 2201 for setting identification information for identifying the accumulation condition is configured by a pull-down menu for selecting identification information to be set from a plurality of identification information. In this example, an accumulation condition of identification information “0:” is selected in the setting unit 2201. Examples of the accumulation condition include a condition that an image is accumulated only when the inspection result is not a non-defective product, and a condition that an image is always accumulated for each workpiece without depending on the inspection result. Here, the processor 810 activates the condition setting unit 819 when detecting that the detailed setting button or the like is pressed. For example, the condition setting unit 819 sets one of a mode in which an image is always stored or output and a mode in which an image is stored or output when the determination unit 840 determines that the inspection target is not a good product. May be. The image selection unit 2202 selects an image to be saved when the accumulation condition is satisfied. Here, “all” and “designation” can be selected by the image selection unit 2202. The storage destination selection unit 2203 includes a pull-down menu for selecting an image storage destination (for example, portable media such as a built-in memory or a memory card, or a network storage such as an FTP server).
図23は画像選択部2202で「指定」が選択されたときにUI管理部814が表示部7に表示させるUI2300の一例を示している。この例では、検査フローにおいて扱われるすべての種類の画像のうち実際に保存すべき画像を選択するためのチェックボックス2301が設けられている。形状1、2は特徴サイズが異なる検査画像(傾き画像)である。テクスチャは反射率画像である。ノーマルは全方向照明により取得された画像である。4つの矢印は照明方向を示すアイコンである。つまり矢印マークによって照明方向が異なる4つの輝度画像が区別されている。チェックボックスにチェックされた画像が保存対象として設定される。   FIG. 23 shows an example of a UI 2300 that the UI management unit 814 displays on the display unit 7 when “designation” is selected by the image selection unit 2202. In this example, a check box 2301 for selecting an image to be actually saved among all types of images handled in the inspection flow is provided. Shapes 1 and 2 are inspection images (tilt images) having different feature sizes. The texture is a reflectance image. Normal is an image acquired by omnidirectional illumination. Four arrows are icons indicating the illumination direction. That is, four luminance images having different illumination directions are distinguished by the arrow marks. An image whose check box is checked is set as a save target.
ところで、プロセッサ810は判定部840が判定を終了した後で画像を保存または出力する条件が満たされているかどうかを判断する判断手段を備えていてもよい。すなわち、検査フローのエンド部において、プロセッサ810は、条件設定部819により設定された蓄積条件や出力条件が満たされているかどうかを判断してもよい。   By the way, the processor 810 may include a determination unit that determines whether a condition for saving or outputting an image is satisfied after the determination unit 840 completes the determination. That is, at the end part of the inspection flow, the processor 810 may determine whether the storage condition and the output condition set by the condition setting unit 819 are satisfied.
図24は画像出力工程2401を検査フローに追加する例を示している。上述した実施例では検査フローの最後に画像を出力するように設定したが、この例では入力部6から入力されるユーザ指示にしたがってUI管理部814が検査フローの任意の位置に画像出力工程2401を設定する。このように、プロセッサ810は、判定部840が判定を終了する前に位置する画像出力工程2401で画像を保存または出力する条件が満たされているかどうかを判断してもよい。画像出力工程2401に関連する蓄積設定等は図21ないし図23を用いて説明したのと同様であってもよいし、異なってもよい。   FIG. 24 shows an example in which an image output process 2401 is added to the inspection flow. In the above-described embodiment, an image is set to be output at the end of the inspection flow. However, in this example, the UI management unit 814 performs an image output process 2401 at an arbitrary position in the inspection flow according to a user instruction input from the input unit 6. Set. As described above, the processor 810 may determine whether or not a condition for saving or outputting an image is satisfied in the image output step 2401 positioned before the determination unit 840 ends the determination. The accumulation settings and the like related to the image output process 2401 may be the same as or different from those described with reference to FIGS.
図25は蓄積設定(出力設定)に関するUIの別の例を示している。画像出力工程2401が入力部6により選択された状態で、さらに入力部6により設定を開始する指示が入力されると、UI管理部814はUI2501を表示する。画像変数2502は出力すべき画像を選択する画像選択部として機能し、この例では検査フローにおける各工程に付与されている画像変数によって出力すべき画像が指定される。つまり、各工程ごとに出力すべき画像を選択できる。UI2501において画像の出力枚数や画像形式なども設定されてもよい。出力先選択部2503は画像の出力先(例:内蔵メモリ、メモリカードなどの可搬記憶メディアやFTPサーバなどのネットワークストレージ)を選択するためのプルダウンメニューである。   FIG. 25 shows another example of a UI related to accumulation setting (output setting). When the image output process 2401 is selected by the input unit 6 and an instruction to start setting is further input by the input unit 6, the UI management unit 814 displays the UI 2501. The image variable 2502 functions as an image selection unit that selects an image to be output. In this example, an image to be output is designated by an image variable assigned to each process in the inspection flow. That is, an image to be output can be selected for each process. In the UI 2501, the number of output images and the image format may be set. An output destination selection unit 2503 is a pull-down menu for selecting an image output destination (for example, a portable storage medium such as a built-in memory or a memory card, or a network storage such as an FTP server).
図26は画像を選択するUI2600の一例である。UI2501において詳細設定ボタンが押し下げられると、UI管理部814はUI2600を表示する。UI2600ではすべての画像を保存するか、個別指定するかを選択するためのラジオボタンや、画像を個別に選択するためのチェックボックスなどが配置されている。この例では、ラジオボタンにより個別指定が選択されているため、チェックボックスが有効となり、チェックボックスを通じていくつかの画像が選択されている。このように、複数の輝度画像、検査画像、全方向照明画像および複数の輝度画像を合成して得られた合成輝度画像から保存対象もしくは出力対象となる画像が選択されてもよい。また、それぞれ特徴サイズが異なる複数の検査画像から保存対象もしくは出力対象となる画像を選択できるようにUI2600が構成されてもよい。また、複数の輝度画像、検査画像および検査対象物の表面の反射率を画素値とした反射率画像から保存対象もしくは出力対象となる画像を選択できるようにUI2600が構成されてもよい。   FIG. 26 shows an example of a UI 2600 for selecting an image. When the detailed setting button is pressed on the UI 2501, the UI management unit 814 displays the UI 2600. In the UI 2600, radio buttons for selecting whether all images are stored or individually designated, check boxes for individually selecting images, and the like are arranged. In this example, since individual designation is selected by a radio button, the check box is valid, and several images are selected through the check box. As described above, an image to be stored or output may be selected from a combined luminance image obtained by combining a plurality of luminance images, an inspection image, an omnidirectional illumination image, and a plurality of luminance images. Further, the UI 2600 may be configured such that an image to be saved or output can be selected from a plurality of inspection images each having a different feature size. Further, the UI 2600 may be configured so that an image to be stored or output can be selected from a plurality of luminance images, an inspection image, and a reflectance image using the reflectance of the surface of the inspection object as a pixel value.
<形状誤差の軽減処理>
図27はテクスチャの映り込みによって発生した形状誤差(偽形状)の一例を示す図である。上述したようにワークの表面に印刷された文字や模様などのテクスチャが形状画像に形状となって表れてしまうことがある。形状画像2703は8つの輝度画像2700から生成された形状画像である。8つの輝度画像2700にはそれぞれ短冊状のワーク2701とその表面に印刷された文字2702が写っている。このように印刷された文字2702は平面的であり、本来は3次元形状を構成しない。しかしながら、形状画像2703には文字2702が凹凸形状として表れてしまっている。また、形状画像2713は8つの輝度画像2710から生成された形状画像である。8つの輝度画像2710には円形の平面的なワーク2711とその表面に印刷された格子模様2712が写っている。このように印刷された格子模様2712は平面的であり、本来は凹凸形状を構成しない。しかしながら、形状画像2713には格子模様2712が凹凸形状として表れてしまっている。図27が示すように模様の縁部など反射率が大きく変化する場所がエッジとなって形状画像に表れやすい。
<Shape error reduction processing>
FIG. 27 is a diagram illustrating an example of a shape error (pseudo shape) generated by the reflection of a texture. As described above, textures such as characters and patterns printed on the surface of the workpiece may appear as shapes in the shape image. A shape image 2703 is a shape image generated from eight luminance images 2700. Each of the eight luminance images 2700 includes a strip-shaped work 2701 and characters 2702 printed on the surface thereof. Characters 2702 printed in this way are planar and do not originally form a three-dimensional shape. However, the character 2702 appears in the shape image 2703 as an uneven shape. A shape image 2713 is a shape image generated from eight luminance images 2710. The eight luminance images 2710 show a circular planar work 2711 and a lattice pattern 2712 printed on the surface thereof. The lattice pattern 2712 printed in this way is planar, and does not originally form an uneven shape. However, the lattice pattern 2712 appears as an uneven shape in the shape image 2713. As shown in FIG. 27, the places where the reflectance changes greatly, such as the edges of the pattern, are likely to appear on the shape image as edges.
このような形状誤差は、撮像素子のオフセットや輝度の飽和、鏡面反射光の存在、照明光の角度ムラ、照明光の光量ムラ、環境光の存在、撮像素子の受光光量と輝度信号との線形性の崩れなどが原因となり、大きくなりやすい。つまり、これらによってテクスチャが映り込み易くなるため、算出された傾きに誤差が発生し、傾き画像に偽のエッジが発生し、最終的には形状画像に偽の凹凸が発生する。   Such shape errors include image sensor offset and brightness saturation, presence of specular reflected light, illumination light angle unevenness, illumination light amount unevenness, presence of ambient light, and linearity between the light intensity received by the image sensor and the luminance signal. It tends to become large due to the collapse of sex. That is, since the texture is easily reflected by these, an error occurs in the calculated inclination, a false edge is generated in the inclination image, and a false unevenness is finally generated in the shape image.
そこで、フォトメトリック処理部811は、形状画像に含まれているテクスチャの映り込みまたは鏡面反射光を示すテクスチャ情報を反射率画像から抽出し、テクスチャ情報に基づきテクスチャの映り込みまたは鏡面反射光に起因した偽形状の軽減処理を実行する。   Therefore, the photometric processing unit 811 extracts texture information indicating the reflection of the texture or the specular reflection light included in the shape image from the reflectance image, and is caused by the reflection of the texture or the specular reflection light based on the texture information. Execute the false shape reduction process.
図28はフォトメトリック処理部811に含まれる機能の一部を例示した図である。本実施形態では、形状画像データを生成する際に反射率画像データからテクスチャによる偽形状を特定し、偽形状が軽減されるように重みづけ演算を行う。   FIG. 28 is a diagram illustrating a part of functions included in the photometric processing unit 811. In this embodiment, when generating shape image data, a false shape due to a texture is specified from reflectance image data, and a weighting operation is performed so that the false shape is reduced.
カメラ4はワークをフォトメトリックステレオ法により撮像して複数の輝度画像データ821を生成する。上述したように、フォトメトリック処理部811は、複数の輝度画像データにおいてそれぞれ座標が一致している複数の画素の画素値を用いてワークの表面の法線ベクトルと反射率とを算出する。x成分傾き画像演算部2801は、法線ベクトルを算出し、そのうちx成分の傾きを求めてx成分の傾き画像データを生成する。同様に、成分傾き画像演算部2801は、法線ベクトルからx成分の傾きを求めてy成分の傾き画像データを生成する。縮小画像演算部2802は、x成分の傾き画像データを縮小して縮小画像データを生成する。ここでは複数レベルの縮小度の縮小画像データが生成されてもよい。同様に縮小画像演算部2812はy成分の傾き画像データを縮小して縮小画像データを生成する。ここでは複数レベルの縮小度の縮小画像データが生成されてもよい。微分部2803はx成分の縮小画像データに微分演算を施す。同様に微分部2813はy成分の縮小画像データに微分演算を施す。   The camera 4 captures the work by the photometric stereo method and generates a plurality of luminance image data 821. As described above, the photometric processing unit 811 calculates the normal vector and the reflectance of the surface of the workpiece using the pixel values of a plurality of pixels having the same coordinates in the plurality of luminance image data. The x component inclination image calculation unit 2801 calculates a normal vector, finds the inclination of the x component, and generates inclination image data of the x component. Similarly, the component inclination image calculation unit 2801 obtains the inclination of the x component from the normal vector and generates the inclination image data of the y component. The reduced image calculation unit 2802 reduces the inclination image data of the x component to generate reduced image data. Here, reduced image data having a plurality of levels of reduction may be generated. Similarly, the reduced image calculation unit 2812 reduces the y-component tilt image data to generate reduced image data. Here, reduced image data having a plurality of levels of reduction may be generated. The differentiating unit 2803 performs a differentiation operation on the reduced image data of the x component. Similarly, the differentiating unit 2813 performs a differentiation operation on the reduced image data of the y component.
一方、テクスチャ演算部2821は輝度画像データ821からテクスチャ(ここでは反射率)を算出し、反射率画像データ(テクスチャ画像データ)を生成する。縮小画像演算部2822は反射率画像データを縮小して縮小画像データを生成する。ここでは複数レベルの縮小度の縮小画像データが生成されてもよい。X方向形状重み演算部2823は、反射率画像データや縮小された少なくとも1つの反射率画像データのうち2つ以上の画像データを用いてX方向のエッジ強度を算出し、算出したエッジ強度に応じたX方向形状重みを算出する。同様に、Y方向形状重み演算部2824は、反射率画像データや縮小された少なくとも1つの反射率画像データのうち2つ以上の画像データを用いてY方向のエッジ強度を算出し、算出したエッジ強度に応じたY方向形状重みを算出する。重みは各画素ごとに決定される。重みはテクスチャ情報によって特定される偽形状を軽減するような値に決定される。たとえば、テクスチャのエッジ強度が所定値よりも高い領域を特定し、特定された領域に対応する形状画像の領域のコントラストを低下させるように重みが決定される。このように、文字や模様などの輪郭は偽形状となりやすいが、これらはテクスチャ画像においてエッジ検出を実行することでその画素の位置とエッジ強度と求まり、偽形状の軽減に有用である。   On the other hand, the texture calculation unit 2821 calculates a texture (reflectance in this case) from the luminance image data 821, and generates reflectance image data (texture image data). The reduced image calculation unit 2822 reduces the reflectance image data and generates reduced image data. Here, reduced image data having a plurality of levels of reduction may be generated. The X-direction shape weight calculation unit 2823 calculates the edge strength in the X direction using two or more image data of the reflectance image data and the reduced at least one reflectance image data, and according to the calculated edge strength. The X-direction shape weight is calculated. Similarly, the Y-direction shape weight calculation unit 2824 calculates the edge strength in the Y direction using two or more image data of the reflectance image data and the reduced at least one reflectance image data, and calculates the calculated edge. A Y-direction shape weight corresponding to the intensity is calculated. The weight is determined for each pixel. The weight is determined to be a value that reduces the false shape specified by the texture information. For example, a region where the edge strength of the texture is higher than a predetermined value is specified, and the weight is determined so as to reduce the contrast of the region of the shape image corresponding to the specified region. As described above, outlines of characters, patterns and the like tend to be false shapes, but these are useful for reducing false shapes by obtaining edge positions and edge strengths by executing edge detection in a texture image.
重みづけ合成部2804は、x成分について、縮小していない傾き画像データや少なくとも1つの縮小傾き画像データとのうち2つ以上の画像データに対して画素ごとにX方向形状重みを乗算する。たとえば、重みづけ合成部2804は、2つの画像の画素値(傾き)の微分に対して重みづけを行ってもよい。なお、形状画像の生成方法自体は公知の方法を採用できる。これは、本実施例では偽形状の軽減するための重みを用いて合成を行う点に特徴があるからである。同様に、重みづけ合成部2804は、y成分について、縮小していない傾き画像データや少なくとも1つの縮小傾き画像データとのうち2つ以上の画像データに対して画素ごとにY方向形状重みを乗算する。さらに、重みづけ合成部2804は画素ごとにx成分の積とy成分の積を加算して形状画像データ2890を生成する。つまり、重みづけ合成部2804はX方向形状重み演算部2823から取得した重みとY方向形状重み演算部2824から取得した重みを用いて上述した積み上げ演算を行っている。   For the x component, the weighting synthesis unit 2804 multiplies two or more pieces of image data of the non-reduced tilt image data and at least one reduced tilt image data by the X-direction shape weight for each pixel. For example, the weighting synthesis unit 2804 may weight the differentiation of the pixel values (tilt) of two images. A known method can be adopted as the method for generating the shape image itself. This is because the present embodiment is characterized in that synthesis is performed using weights for reducing false shapes. Similarly, with respect to the y component, the weighting synthesis unit 2804 multiplies two or more image data of the unreduced tilt image data and at least one reduced tilt image data by a Y-direction shape weight for each pixel. To do. Further, the weighting synthesis unit 2804 adds the product of the x component and the product of the y component for each pixel to generate the shape image data 2890. That is, the weighting synthesis unit 2804 performs the above-described accumulation operation using the weight acquired from the X-direction shape weight calculation unit 2823 and the weight acquired from the Y-direction shape weight calculation unit 2824.
一般に形状画像を生成するには、テクスチャ演算部2821などのテクスチャ画像を生成するための機能は不要である。しかし、本実施例では、テクスチャ画像から偽形状となり得る画素を特定し、その画素のコントラストが低下するように重み作成するために、テクスチャ画像の生成機能を利用している。   Generally, in order to generate a shape image, a function for generating a texture image such as the texture calculation unit 2821 is not necessary. However, in this embodiment, a texture image generation function is used to identify a pixel that can be a false shape from a texture image and create a weight so that the contrast of the pixel is lowered.
<エッジの方向ごとに重みを算出する利点>
図28では重みを計算する際に、エッジの方向に着目して、X方向のエッジとY方向のエッジとのそれぞれに分離してエッジの検出と重みの算出とを実行している。その理由について図29(A)ないし図29(C)を用いて説明する。
<Advantage of calculating weight for each edge direction>
In FIG. 28, when calculating the weight, focusing on the edge direction, the edge detection and weight calculation are performed separately for the X-direction edge and the Y-direction edge. The reason will be described with reference to FIGS. 29A to 29C.
図29(A)はあるワークから得られた傾き画像とテクスチャ画像の一例を示している。図29(B)は傾き画像をx微分して得られる画像、y微分して得られる画像およびテクスチャ画像から求められた各画素の重みから形状画像が生成されることを示している。この重みはエッジの方向を考慮していないものとする。傾き画像にテクスチャが存在しなければx微分して得られる画像には偽形状が発生しない。しかし、この例ではワークにテクスチャが存在するため、x微分して得られる画像には偽形状が発生してしまう。とりわけ、この例では、傾き画像におけるエッジの方向とテクスチャのエッジの方向とが直交しており、偽形状によって形状誤差が発生してしまう。これはエッジの方向に応じて重みを算出することで緩和できる。   FIG. 29A shows an example of an inclination image and a texture image obtained from a certain work. FIG. 29B shows that a shape image is generated from the weight of each pixel obtained from an image obtained by x differentiation of an inclination image, an image obtained by y differentiation, and a texture image. This weight does not consider the direction of the edge. If there is no texture in the tilted image, no false shape is generated in the image obtained by x differentiation. However, in this example, since a texture exists in the work, a false shape is generated in an image obtained by x differentiation. In particular, in this example, the edge direction in the tilt image and the texture edge direction are orthogonal to each other, and a shape error occurs due to a false shape. This can be alleviated by calculating the weight according to the direction of the edge.
図29(C)が示すように、X方向形状重み演算部2823がエッジのX方向の成分について重みを求め、Y方向形状重み演算部2824がエッジのY方向の成分について重みを求め、重みづけ合成部2804に供給する。図29(C)が示すように、重みづけ合成部2804は、X成分の傾き画像にはX方向の重みを乗算して形状画像のX成分を算出し、Y成分の傾き画像にはY方向の重みを乗算して形状画像のY成分を算出し、これらを合成して形状画像を生成する。これにより、偽形状による形状誤差が目立ちにくくなる。   As shown in FIG. 29C, the X-direction shape weight calculation unit 2823 obtains a weight for the X-direction component of the edge, and the Y-direction shape weight calculation unit 2824 obtains a weight for the Y-direction component of the edge. This is supplied to the synthesis unit 2804. As shown in FIG. 29C, the weighting synthesis unit 2804 calculates the X component of the shape image by multiplying the X component gradient image by the X direction weight, and the Y component gradient image in the Y direction. The Y component of the shape image is calculated by multiplying these weights, and these are combined to generate a shape image. Thereby, the shape error due to the false shape is less noticeable.
図30は本実施例の効果を示す図である。形状画像3001は、図27で説明した形状画像2703に対して本実施例の形状誤差の軽減処理を施したものである。印刷文字による偽形状が緩和されることを理解できよう。同様に形状画像3002は、図27で説明した形状画像2713に対して本実施例の形状誤差の軽減処理を施したものである。ワーク表面に印刷された格子模様による偽形状が緩和されることを理解できよう。   FIG. 30 is a diagram showing the effect of this embodiment. A shape image 3001 is obtained by applying the shape error reduction processing of this embodiment to the shape image 2703 described with reference to FIG. It will be understood that false shapes due to printed characters are alleviated. Similarly, the shape image 3002 is obtained by performing the shape error reduction processing of this embodiment on the shape image 2713 described with reference to FIG. It will be understood that the false shape due to the lattice pattern printed on the work surface is alleviated.
<縮小画像を用いることによる利点>
図28では傾き画像やテクスチャ画像から縮小画像を生成するものとして説明したが、これらは本発明にとって必須ではない。ただし、縮小画像を用いることで処理時間を大幅に削減できる。
<Advantages of using reduced images>
In FIG. 28, the reduced image is generated from the tilt image or the texture image. However, these are not essential for the present invention. However, the processing time can be significantly reduced by using the reduced image.
たとえば、縮小されていない傾き画像のサイズを1024ピクセル×1024ピクセルと仮定する。この場合、各画素ごとに演算が必要となるため、トータルでは1048576画素について演算が必要となってしまう。これはテクスチャ画像についても同様である。また、1つの画素について形状を求めるために、±64画素で差分を求めると仮定する。この場合、1つの画素について形状を求めるためにはトータルで8129画素(64×64×2=8192)について積和が必要となる。つまり、トータル演算量は1048576×8129=8589934592となる。   For example, assume that the size of the unreduced tilt image is 1024 pixels × 1024 pixels. In this case, since calculation is required for each pixel, the calculation is required for 1048576 pixels in total. The same applies to the texture image. Further, in order to obtain the shape for one pixel, it is assumed that the difference is obtained with ± 64 pixels. In this case, in order to obtain the shape for one pixel, a sum of products is required for a total of 8129 pixels (64 × 64 × 2 = 8192). That is, the total calculation amount is 1048576 × 8129 = 8589934592.
一方で、画像サイズを1/64に縮小すると、傾き画像やテクスチャ画像のサイズは16画素×16画素となる。よって、算出対象となる画素の数は256画素となる。また、1画素について形状を求めるためには、2画素について演算すればよい(1×1×2=2)。ただし、縮小のために積和が必要な画素の数は1048576画素である。よって、トータル演算量は256×2+1048576=1049088となる。   On the other hand, when the image size is reduced to 1/64, the size of the tilt image and the texture image becomes 16 pixels × 16 pixels. Therefore, the number of pixels to be calculated is 256 pixels. Further, in order to obtain the shape for one pixel, it is only necessary to calculate for two pixels (1 × 1 × 2 = 2). However, the number of pixels that need product sum for reduction is 1048576 pixels. Therefore, the total calculation amount is 256 × 2 + 1048576 = 1049088.
このように元の画像をそのまま使用する場合のトータル演算量と、縮小画像を使用する場合のトータル演算量とでは8188倍も異なる。よって、縮小画像を採用することで、大幅に演算量を削減できるようになり、短時間で形状画像が得られるようになる。   In this way, the total calculation amount when the original image is used as it is and the total calculation amount when the reduced image is used are different by 8188 times. Therefore, by adopting a reduced image, the amount of calculation can be greatly reduced, and a shape image can be obtained in a short time.
<エッジの計算方法の工夫>
たとえば、x方向においてi番目の画素についてエッジを求めることを考える。単純な方法では、注目画素であるi番目の画素のエッジ強度は、注目画素の左隣に位置するi−1番目の画素値と注目画素の右隣に位置するi+1番目の画素値との差分である。つまり、X方向形状重み演算部2823は、注目画素の右隣りに位置する画素の画素値と左隣りに位置する画素の画素値との差分を当該注目画素のエッジ強度として算出するエッジ強度算出手段を有している。なお、Y方向形状重み演算部2824は、それぞれ注目画素の上隣りに位置する画素の画素値と下隣りに位置する画素の画素値との差分を当該注目画素のエッジ強度として算出するエッジ強度算出手段を有している。
<Ingenuity of edge calculation method>
For example, consider obtaining an edge for the i-th pixel in the x direction. In a simple method, the edge strength of the i-th pixel that is the target pixel is the difference between the (i−1) -th pixel value located on the left side of the target pixel and the i + 1-th pixel value located on the right side of the target pixel. It is. In other words, the X-direction shape weight calculation unit 2823 calculates the difference between the pixel value of the pixel located on the right side of the target pixel and the pixel value of the pixel located on the left side as the edge strength of the target pixel. have. Note that the Y-direction shape weight calculation unit 2824 calculates edge strength that calculates the difference between the pixel value of the pixel located above and below the pixel of interest as the edge strength of the pixel of interest. Have means.
図31(A)は比較的に明るい画像におけるエッジ強度の算出例を示している。図31(B)は比較的に暗い画像におけるエッジ強度の算出例を示している。画素値の最大値を256とする。このように明るい画像におけるエッジ強度は100であり、暗い画像におけるエッジ強度は10となってしまい、画像の明るさに依存して重みが変わってしまう。これは、形状誤差の軽減処理では、エッジ強度から重みを算出しているからである。   FIG. 31A shows an example of calculating edge strength in a relatively bright image. FIG. 31B shows an example of calculating edge strength in a relatively dark image. The maximum pixel value is 256. Thus, the edge strength in a bright image is 100, the edge strength in a dark image is 10, and the weight changes depending on the brightness of the image. This is because the weight is calculated from the edge strength in the shape error reduction processing.
そこで、2つの画素値の対数を求めてその対数差分をエッジ強度として求めたり、2つの画素値の商(比率)をエッジ強度として求めたりしてもよい。これにより、明るさの影響を軽減できる。   Therefore, the logarithm of two pixel values may be obtained and the logarithmic difference thereof may be obtained as edge strength, or the quotient (ratio) of the two pixel values may be obtained as edge strength. Thereby, the influence of brightness can be reduced.
図31(C)は、図31(A)に示した例について対数差分によりエッジ強度を求めた例を示している。図31(D)は、図31(B)に示した例について対数差分によりエッジ強度を求めた例を示している。図31(A)においてi−1番目の画素の画素値は100であるため、その常用対数はlog10(100)=2.0となる。図31(A)においてi+1番目の画素の画素値は200であるため、その常用対数はlog10(200)=2.3となる。よって対数差分は2.3−2.0=0.3となる。図31(B)においてi−1番目の画素の画素値は10であるためその常用対数はlog10(10)=1.0となる。図31(B)においてi+1番目の画素の画素値は20であるためその常用対数はlog10(20)=1.3となる。よって対数差分は1.3−1.0=0.3となる。よって、画像の明るさがエッジ強度に及ぼす影響が低減されることがわかる。   FIG. 31C shows an example in which the edge strength is obtained from the logarithmic difference in the example shown in FIG. FIG. 31D shows an example in which the edge strength is obtained from the logarithmic difference in the example shown in FIG. In FIG. 31A, since the pixel value of the (i−1) -th pixel is 100, the common logarithm is log10 (100) = 2.0. In FIG. 31A, since the pixel value of the (i + 1) th pixel is 200, the common logarithm is log10 (200) = 2.3. Therefore, the logarithmic difference is 2.3-2.0 = 0.3. In FIG. 31B, since the pixel value of the (i−1) th pixel is 10, the common logarithm is log10 (10) = 1.0. In FIG. 31B, since the pixel value of the i + 1-th pixel is 20, the common logarithm is log10 (20) = 1.3. Therefore, the logarithmic difference is 1.3−1.0 = 0.3. Therefore, it can be seen that the influence of the brightness of the image on the edge strength is reduced.
<その他>
軽減処理の効果についてはユーザが調整できるようにしてもよい。たとえば、UI管理部814は、軽減処理の効果を複数のレベルからユーザに選択させるためのUIを表示部7に表示させ、入力部6を通じてレベルの選択を受け付けてもよい。たとえば、スライダーバーによって効果のレベルを変更できるようにしてもよいし、テキストボックスにレベルを入力できるようにしてもよい。フォトメトリック処理部811は、ユーザにより指定されたレベルに応じて重みを調整する。たとえば、重みにレベルを乗算することが一例として考えられる。重みづけ合成部2804は、レベル調整された重みを用いて合成処理を実行することで、選択されたレベルにしたがって軽減処理の効果を制御できるようになる。このよう重みを調整することでユーザは軽減処理の効果を確認しつつ、形状誤差を削減できるようになろう。フォトメトリック処理部811は、調整された重みを用いて生成された形状画像を表示部7にプレビュー表示してもよい。
<Others>
The effect of the reduction process may be adjusted by the user. For example, the UI management unit 814 may display a UI for allowing the user to select the effect of the mitigation process from a plurality of levels on the display unit 7 and accept the selection of the level through the input unit 6. For example, the effect level may be changed by a slider bar, or the level may be input in a text box. The photometric processing unit 811 adjusts the weight according to the level specified by the user. For example, multiplying a weight by a level can be considered as an example. The weighting synthesis unit 2804 can control the effect of the reduction process according to the selected level by executing the synthesis process using the level-adjusted weight. By adjusting the weight in this way, the user will be able to reduce the shape error while confirming the effect of the reduction processing. The photometric processing unit 811 may display a preview of the shape image generated using the adjusted weight on the display unit 7.
<まとめ>
本実施例によれば、カメラ4は輝度画像生成手段として機能し、検査対象物をフォトメトリックステレオ法により撮像して複数の輝度画像を生成する。フォトメトリック処理部811が複数の輝度画像においてそれぞれ座標が一致している複数の画素の画素値を用いて検査対象物の表面の法線ベクトルと反射率とを算出する算出手段として機能する。また、フォトメトリック処理部811が検査対象物の表面の法線ベクトルに基づき当該表面の形状に応じた複数の画素値を有する形状画像を生成する形状画像生成手段として機能するとともに、検査対象物の表面の反射率に応じた複数の画素値を有する反射率画像を生成する反射率画像生成手段として機能する。図28などを用いて説明したように、X方向形状重み演算部2823やY方向形状重み演算部2824は、形状画像に含まれているテクスチャの映り込みまたは鏡面反射光を示すテクスチャ情報を反射率画像から抽出する。たとえば、反射率画像からエッジを検出してそのエッジ強度が求められる。重みづけ合成部2804は抽出されたテクスチャ情報に基づき、テクスチャの映り込みまたは鏡面反射光に起因した偽形状の軽減処理を実行する。判定部840は軽減処理を施された形状画像を用いて検査対象物の良否を判定する。このようにテクスチャの映り込みまたは鏡面反射光に起因した偽形状が形状画像から軽減されるため、形状誤差が小さくなる。
<Summary>
According to the present embodiment, the camera 4 functions as a luminance image generation unit, and images a test object by a photometric stereo method to generate a plurality of luminance images. The photometric processing unit 811 functions as a calculation unit that calculates the normal vector and the reflectance of the surface of the inspection object using pixel values of a plurality of pixels whose coordinates match in a plurality of luminance images. The photometric processing unit 811 functions as a shape image generating unit that generates a shape image having a plurality of pixel values corresponding to the shape of the surface based on the normal vector of the surface of the inspection object, and It functions as a reflectance image generating means for generating a reflectance image having a plurality of pixel values corresponding to the reflectance of the surface. As described with reference to FIG. 28 and the like, the X-direction shape weight calculation unit 2823 and the Y-direction shape weight calculation unit 2824 reflect the texture information indicating the reflection of the texture included in the shape image or specular reflection light with the reflectance Extract from image. For example, an edge is detected from the reflectance image, and the edge strength is obtained. Based on the extracted texture information, the weighting synthesis unit 2804 executes a process for reducing a false shape caused by reflection of a texture or specular reflection light. The determination unit 840 determines pass / fail of the inspection object using the shape image subjected to the reduction process. As described above, since the false shape caused by the reflection of the texture or the specular reflection light is reduced from the shape image, the shape error is reduced.
図28や図29などを用いて説明したように、X方向形状重み演算部2823やY方向形状重み演算部2824は、反射率画像の各画素のエッジ強度に基づき反射率画像においてテクスチャのエッジ強度が高い領域を特定し、当該特定された領域に対応する形状画像の領域のコントラストを低下させることでテクスチャの映り込みを軽減している。これにより、テクスチャが偽形状となって表れそうな画素を特定することができ、またそのような画素については軽減処理の重みを大きく設定することで、効率よく形状誤差を削減できるようになろう。エッジ強度が高いかどうかは、たとえば、しきい値と比較することで判定されてもよい。また、X方向形状重み演算部2823やY方向形状重み演算部2824は、テクスチャ情報に基づき反射率画像における注目領域内のテクスチャのエッジ強度が高くなるに応じて、形状画像における対応する注目領域内のコントラストを低下させることでテクスチャの映り込みを軽減してもよい。反射率画像をいくつかの画素からなる領域に分割し、各領域を注目領域としてエッジ強度が求められる。同様に、形状画像もいくつかの画素からなる領域に分割し、各領域を注目領域としてコントラストが調整される。なお、反射率画像における領域と形状画像における領域とは一対一で対応している。そのため、反射率画像における領域のエッジ強度が高くなれば、対応する形状画像の領域のコントラスとを低下させることになる。   As described with reference to FIGS. 28 and 29, the X-direction shape weight calculation unit 2823 and the Y-direction shape weight calculation unit 2824 are based on the edge intensity of each pixel of the reflectance image, and the edge strength of the texture in the reflectance image. A region having a high image quality is identified, and the reflection of the texture is reduced by reducing the contrast of the region of the shape image corresponding to the identified region. As a result, it is possible to identify pixels that are likely to appear as textures with a false shape, and for such pixels, it will be possible to efficiently reduce shape errors by increasing the weight of the reduction processing. . Whether the edge strength is high may be determined by, for example, comparing with a threshold value. In addition, the X-direction shape weight calculation unit 2823 and the Y-direction shape weight calculation unit 2824 increase the texture edge intensity of the texture in the attention area in the reflectance image based on the texture information. The reflection of the texture may be reduced by lowering the contrast. The reflectance image is divided into regions composed of several pixels, and the edge strength is obtained with each region as a region of interest. Similarly, the shape image is also divided into areas made up of several pixels, and the contrast is adjusted with each area as a target area. Note that there is a one-to-one correspondence between regions in the reflectance image and regions in the shape image. For this reason, if the edge strength of the region in the reflectance image increases, the contrast of the region of the corresponding shape image decreases.
図28や図29などを用いて説明したように、x成分傾き画像演算部2801が法線ベクトルのX方向の傾き成分を画素値としたX方向傾き画像を生成し、y成分傾き画像演算部2811が法線ベクトルのY方向の傾き成分を画素値としたY方向傾き画像を生成してもよい。X方向形状重み演算部2823およびY方向形状重み演算部2824は、テクスチャ情報として、反射率画像からX方向におけるテクスチャのエッジ強度とY方向におけるテクスチャのエッジ強度を求める。重みづけ合成部2804は、X方向のエッジ強度に応じてX方向傾き画像のコントラストを低下させるとともに、Y方向のエッジ強度に応じてY方向傾き画像のコントラストを低下させ、軽減処理を施されたX方向傾き画像とY方向傾き画像とを合成して形状画像を生成してもよい。図29を用いて説明したように、X方向とY方向とに分離して軽減処理を実行することで、X方向のエッジとY方向のエッジとが直交する部分においても精度よく偽形状を軽減でき、形状誤差を削減できるようになろう。   As described with reference to FIGS. 28 and 29, the x component inclination image calculation unit 2801 generates an X direction inclination image using the X direction inclination component of the normal vector as the pixel value, and the y component inclination image calculation unit. 2811 may generate a Y-direction tilt image using the Y-direction tilt component of the normal vector as a pixel value. The X-direction shape weight calculation unit 2823 and the Y-direction shape weight calculation unit 2824 obtain texture edge strength in the X direction and texture edge strength in the Y direction from the reflectance image as texture information. The weighting synthesis unit 2804 reduces the contrast of the X-direction tilt image according to the X-direction edge strength, and reduces the contrast of the Y-direction tilt image according to the Y-direction edge strength, and is subjected to the reduction processing. The shape image may be generated by combining the X-direction tilt image and the Y-direction tilt image. As described with reference to FIG. 29, by executing the reduction processing separately in the X direction and the Y direction, the false shape can be accurately reduced even in the portion where the edge in the X direction and the edge in the Y direction are orthogonal to each other. It will be possible to reduce the shape error.
具体的にx成分傾き画像演算部2801はX方向傾き画像の各画素に対する重みをX方向におけるテクスチャのエッジ強度に応じて決定する。y成分傾き画像演算部2811はY方向傾き画像の各画素に対する重みをY方向におけるテクスチャのエッジ強度に応じて決定する。そして、重みづけ合成部2804は、テクスチャ情報としてエッジ強度から求められた重みを取得し、X方向傾き画像の各画素に対応する重みを乗算するとともにY方向傾き画像の各画素に対応する重みを乗算して合成することで検査用の形状画像を生成してもよい。   Specifically, the x component inclination image calculation unit 2801 determines a weight for each pixel of the X direction inclination image according to the edge strength of the texture in the X direction. The y component inclination image calculation unit 2811 determines the weight for each pixel of the Y direction inclination image according to the edge strength of the texture in the Y direction. Then, the weighting synthesis unit 2804 acquires the weight obtained from the edge strength as the texture information, multiplies the weight corresponding to each pixel of the X-direction tilt image, and calculates the weight corresponding to each pixel of the Y-direction tilt image. A shape image for inspection may be generated by multiplication and synthesis.
図28を用いて説明したように、縮小画像演算部2802、2812はX方向傾き画像とY方向傾き画像とについて複数レベルの縮小画像を生成してもよい。この場合、重みづけ合成部2804は、複数レベルの縮小画像のそれぞれについて軽減処理を適用し、さらに上述した積み上げ計算を実行することで形状画像を生成してもよい。縮小画像を用いることで演算時間を大幅に短縮できるようになる。   As described with reference to FIG. 28, the reduced image calculation units 2802 and 2812 may generate reduced images of a plurality of levels for the X-direction tilt image and the Y-direction tilt image. In this case, the weighting synthesis unit 2804 may generate the shape image by applying the reduction processing to each of the reduced images of a plurality of levels and further executing the above-described accumulation calculation. By using the reduced image, the calculation time can be greatly shortened.
エッジ強度の求め方は様々なものがありうる。たとえば、注目画素を挟んで注目画素の隣りに位置する2つの画素の画素値の差分を当該注目画素のエッジ強度として算出することが考えられる。2つの画素は、X方向に関しては右隣りと左隣の画素であり、Y方向に関しては上隣の画素と下隣の画素となる。また、3つ以上の隣接画素ないしは周辺画素を考慮してエッジ強度が求められてもよい。つまり、注目画素の近傍に位置する少なくとも2つの画素の階調値の差分または重み付き和を、当該注目画素のエッジ強度として算出してもよい。たとえば、エッジ検出フィルタとして知られているソーベルフィルタは3x3画素ごとにエッジ強度を算出できる。   There are various ways of obtaining the edge strength. For example, it is conceivable to calculate the difference between the pixel values of two pixels located adjacent to the target pixel with the target pixel in between as the edge intensity of the target pixel. The two pixels are the right adjacent pixel and the left adjacent pixel in the X direction, and the upper adjacent pixel and the lower adjacent pixel in the Y direction. Further, the edge strength may be obtained in consideration of three or more adjacent pixels or peripheral pixels. That is, the difference or the weighted sum of the gradation values of at least two pixels located in the vicinity of the target pixel may be calculated as the edge intensity of the target pixel. For example, a Sobel filter known as an edge detection filter can calculate edge strength for every 3 × 3 pixels.
図31を用いて説明したように、少なくとも2つの画素の画素値の商または対数を注目画素のエッジ強度として算出してもよい。これにより画像の明るさが異なっても適切に重みを決定できるようになる。たとえば、注目画素の近傍に位置する少なくとも2つの画素の階調値を除積算した値を注目画素のエッジ強度として算出してもよい。また、注目画素の近傍に位置する少なくとも2つの画素の階調値の対数変換後の値の差分または重み付き和を該注目画素のエッジ強度として算出してもよい。   As described with reference to FIG. 31, the quotient or logarithm of the pixel values of at least two pixels may be calculated as the edge intensity of the target pixel. As a result, the weight can be appropriately determined even if the brightness of the image is different. For example, a value obtained by dividing and adding the gradation values of at least two pixels located in the vicinity of the target pixel may be calculated as the edge strength of the target pixel. Further, a difference or a weighted sum of values after logarithmic conversion of gradation values of at least two pixels located in the vicinity of the target pixel may be calculated as the edge intensity of the target pixel.
UI管理部814、表示部7および入力部6は、軽減処理の効果を複数のレベルからユーザに選択させる選択手段として機能してもよい。X方向形状重み演算部2823やY方向形状重み演算部2824が選択されたレベルにしたがって重みを調整することで、ユーザは軽減処理の効果を制御することが可能となる。   The UI management unit 814, the display unit 7, and the input unit 6 may function as a selection unit that allows the user to select the effect of the reduction process from a plurality of levels. By adjusting the weight according to the level selected by the X direction shape weight calculation unit 2823 and the Y direction shape weight calculation unit 2824, the user can control the effect of the reduction process.
上述したようにフォトメトリック処理部811は特徴サイズの異なる複数の形状画像を生成できる。そこで、フォトメトリック処理部811は特徴サイズの異なる複数の形状画像のそれぞれに軽減処理を実行してもよい。これにより、特徴サイズの異なる複数の形状画像のそれぞれの形状誤差を削減できるようになる。また、形状誤差の小さな形状画像を用いて外観検査を実行することにより、外観検査の精度も向上するであろう。   As described above, the photometric processing unit 811 can generate a plurality of shape images having different feature sizes. Therefore, the photometric processing unit 811 may perform a reduction process on each of a plurality of shape images having different feature sizes. Thereby, it becomes possible to reduce the shape error of each of a plurality of shape images having different feature sizes. In addition, by performing an appearance inspection using a shape image with a small shape error, the accuracy of the appearance inspection will be improved.

Claims (12)

  1. 検査対象物をフォトメトリックステレオ法により撮像して複数の輝度画像を生成する輝度画像生成手段と、
    前記複数の輝度画像においてそれぞれ座標が一致している複数の画素の画素値を用いて前記検査対象物の表面の法線ベクトルと反射率とを算出し、前記検査対象物の表面の法線ベクトルに基づき、当該表面の形状に応じた複数の画素値を有する形状画像を生成するとともに、前記検査対象物の表面の反射率に応じた複数の画素値を有する反射率画像を生成する生成手段と、
    前記反射率画像に基づき前記形状画像に含まれているテクスチャの映り込みまたは鏡面反射光を示すテクスチャ情報を抽出する抽出手段と、
    前記抽出手段により抽出された前記テクスチャ情報に基づき、テクスチャの映り込みまたは鏡面反射光に起因した偽形状の軽減処理を実行する軽減処理手段と、
    前記軽減処理を施された形状画像を用いて前記検査対象物の良否を判定する判定手段と
    を有することを特徴とする検査装置。
    Luminance image generation means for imaging a test object by a photometric stereo method and generating a plurality of luminance images;
    A normal vector and a reflectance of the surface of the inspection object are calculated using pixel values of a plurality of pixels whose coordinates coincide with each other in the plurality of luminance images, and a normal vector of the surface of the inspection object is calculated. Generating means for generating a shape image having a plurality of pixel values according to the shape of the surface, and generating a reflectance image having a plurality of pixel values according to the reflectance of the surface of the inspection object; ,
    Extraction means for extracting texture information indicating reflection of a texture or specular reflection light included in the shape image based on the reflectance image;
    Based on the texture information extracted by the extraction means, a mitigation processing means for performing a process of mitigating a false shape caused by reflection of a texture or specular reflection light,
    An inspection apparatus comprising: a determination unit that determines the quality of the inspection object using the shape image subjected to the reduction process.
  2. 前記軽減処理手段は、前記テクスチャ情報に基づき前記反射率画像において注目領域内のテクスチャのエッジ強度が高くなるに応じて、前記形状画像の当該注目領域内のコントラストを低下させることでテクスチャの映り込みを軽減することを特徴とする請求項1に記載の検査装置。   The reduction processing means reflects the texture by reducing the contrast in the attention area of the shape image as the edge strength of the texture in the attention area increases in the reflectance image based on the texture information. The inspection apparatus according to claim 1, wherein the inspection apparatus is reduced.
  3. 前記生成手段は、前記法線ベクトルのX方向の傾き成分を画素値としたX方向傾き画像と前記法線ベクトルのY方向の傾き成分を画素値としたY方向傾き画像とを生成し、
    前記抽出手段は、前記テクスチャ情報として、前記反射率画像から前記X方向におけるテクスチャのエッジ強度と、前記反射率画像からY方向におけるテクスチャのエッジ強度を求め、
    前記軽減処理手段は、前記X方向におけるテクスチャのエッジ強度に応じて前記X方向傾き画像のコントラストを低下させるとともに、前記Y方向におけるテクスチャのエッジ強度に応じて前記Y方向傾き画像のコントラストを低下させ、
    前記生成手段は、前記軽減処理を施された前記X方向傾き画像と前記Y方向傾き画像とを合成して前記形状画像を生成することを特徴とする請求項2に記載の検査装置。
    The generating means generates an X-direction tilt image having a pixel value as an X-direction tilt component of the normal vector and a Y-direction tilt image having a Y-direction tilt component of the normal vector as a pixel value,
    The extraction means obtains the texture edge strength in the X direction from the reflectance image and the texture edge strength in the Y direction from the reflectance image as the texture information,
    The reduction processing means reduces the contrast of the X-direction tilt image according to the texture edge strength in the X direction, and reduces the contrast of the Y-direction tilt image according to the texture edge strength in the Y direction. ,
    The inspection apparatus according to claim 2, wherein the generation unit generates the shape image by combining the X-direction tilt image and the Y-direction tilt image that have been subjected to the reduction processing.
  4. 前記抽出手段は、前記X方向傾き画像の各画素に対する重みを前記X方向におけるテクスチャのエッジ強度に応じて決定するとともに、前記Y方向傾き画像の各画素に対する重みを前記Y方向におけるテクスチャのエッジ強度に応じて決定し、
    前記軽減処理手段は、前記テクスチャ情報として前記抽出手段から重みを取得し、前記X方向傾き画像の各画素にそれぞれ対応する重みを乗算するとともに前記Y方向傾き画像の各画素にそれぞれ対応する重みを乗算して合成することで検査用の形状画像を生成することを特徴とする請求項3に記載の検査装置。
    The extraction unit determines a weight for each pixel of the X-direction tilt image according to a texture edge strength in the X direction, and determines a weight for each pixel of the Y-direction tilt image as a texture edge strength in the Y direction. Depending on the
    The mitigation processing unit obtains a weight from the extraction unit as the texture information, multiplies a weight corresponding to each pixel of the X-direction tilt image, and calculates a weight corresponding to each pixel of the Y-direction tilt image. The inspection apparatus according to claim 3, wherein a shape image for inspection is generated by multiplication and synthesis.
  5. 前記生成手段は、前記X方向傾き画像と前記Y方向傾き画像とについて複数レベルの縮小画像を生成し、前記複数レベルの縮小画像のそれぞれについて前記軽減処理を適用し、さらに積み上げ計算を実行することで前記検査用の形状画像を生成することを請求項4に記載の検査装置。   The generation unit generates a plurality of levels of reduced images for the X-direction tilt image and the Y-direction tilt image, applies the reduction processing to each of the plurality of levels of the contracted image, and further executes a stacking calculation. The inspection apparatus according to claim 4, wherein the shape image for inspection is generated.
  6. 前記抽出手段は、注目画素の近傍に位置する少なくとも2つの画素の階調値の差分または重み付き和を、当該注目画素のエッジ強度として算出するエッジ強度算出手段を有することを特徴とする請求項2ないし5のいずれか1項に記載の検査装置。   The extraction means includes edge intensity calculation means for calculating a difference or a weighted sum of gradation values of at least two pixels located in the vicinity of the target pixel as an edge intensity of the target pixel. The inspection apparatus according to any one of 2 to 5.
  7. 前記抽出手段は、注目画素の近傍に位置する少なくとも2つの画素の階調値を除積算した値を、当該注目画素のエッジ強度として算出するエッジ強度算出手段を有することを特徴とする請求項2ないし5のいずれか1項に記載の検査装置。   The extraction means includes edge strength calculation means for calculating a value obtained by dividing and adding the gradation values of at least two pixels located in the vicinity of the target pixel as the edge strength of the target pixel. 6. The inspection apparatus according to any one of items 5 to 5.
  8. 前記抽出手段は、注目画素の近傍に位置する少なくとも2つの画素の階調値の対数変換後の値の差分または重み付き和を、当該注目画素のエッジ強度として算出するエッジ強度算出手段を有することを特徴とする請求項2ないし5のいずれか1項に記載の検査装置。   The extraction unit includes an edge strength calculation unit that calculates a difference or a weighted sum of values after logarithmic conversion of gradation values of at least two pixels located in the vicinity of the target pixel as an edge strength of the target pixel. The inspection apparatus according to claim 2, wherein:
  9. 前記軽減処理の効果を複数のレベルからユーザに選択させる選択手段をさらに有し、
    前記軽減処理手段は選択されたレベルにしたがって前記軽減処理の効果を制御することを特徴とする請求項1ないし8のいずれか1項に記載の検査装置。
    A selection unit that allows the user to select the effect of the reduction processing from a plurality of levels;
    9. The inspection apparatus according to claim 1, wherein the mitigation processing unit controls the effect of the mitigation processing according to a selected level.
  10. 前記生成手段は特徴サイズの異なる複数の形状画像を生成し、
    前記軽減処理手段は前記特徴サイズの異なる複数の形状画像のそれぞれに前記軽減処理を実行することを特徴とする請求項1ないし9のいずれか1項に記載の検査装置。
    The generating means generates a plurality of shape images having different feature sizes,
    The inspection apparatus according to claim 1, wherein the reduction processing unit performs the reduction processing on each of a plurality of shape images having different feature sizes.
  11. 検査対象物をフォトメトリックステレオ法により撮像して複数の輝度画像を生成する輝度画像生成工程と、
    前記複数の輝度画像においてそれぞれ座標が一致している複数の画素の画素値を用いて前記検査対象物の表面の法線ベクトルと反射率とを算出し、前記検査対象物の表面の法線ベクトルに基づき、当該表面の形状に応じた複数の画素値を有する形状画像を生成するとともに、前記検査対象物の表面の反射率に応じた複数の画素値を有する反射率画像を生成する生成工程と、
    前記反射率画像に基づき前記形状画像に含まれているテクスチャの映り込みまたは鏡面反射光を示すテクスチャ情報を抽出する抽出工程と、
    前記抽出工程により抽出された前記テクスチャ情報に基づき、テクスチャの映り込みまたは鏡面反射光に起因した偽形状の軽減処理を実行する軽減処理工程と、
    前記軽減処理を施された形状画像を用いて前記検査対象物の良否を判定する判定工程と
    を有することを特徴とする検査方法。
    A luminance image generation step of imaging a test object by a photometric stereo method to generate a plurality of luminance images;
    A normal vector and a reflectance of the surface of the inspection object are calculated using pixel values of a plurality of pixels whose coordinates coincide with each other in the plurality of luminance images, and a normal vector of the surface of the inspection object is calculated. Generating a shape image having a plurality of pixel values according to the shape of the surface, and generating a reflectance image having a plurality of pixel values according to the reflectance of the surface of the inspection object; ,
    An extraction step of extracting texture information indicating reflection of a texture or specular reflection light included in the shape image based on the reflectance image;
    Based on the texture information extracted by the extraction step, a mitigation processing step of performing a false shape mitigation process caused by reflection of texture or specular reflection light,
    And a determination step of determining pass / fail of the inspection object using the shape image subjected to the reduction processing.
  12. 検査対象物をフォトメトリックステレオ法により撮像して複数の輝度画像を生成する輝度画像生成手段と、
    前記複数の輝度画像においてそれぞれ座標が一致している複数の画素の画素値を用いて前記検査対象物の表面の法線ベクトルと反射率とを算出し、前記検査対象物の表面の法線ベクトルに基づき、当該表面の形状に応じた複数の画素値を有する形状画像を生成するとともに、前記検査対象物の表面の反射率に応じた複数の画素値を有する反射率画像を生成する生成手段と、
    前記反射率画像に基づき前記形状画像に含まれているテクスチャの映り込みまたは鏡面反射光を示すテクスチャ情報を抽出する抽出手段と、
    前記抽出手段により抽出された前記テクスチャ情報に基づき、テクスチャの映り込みまたは鏡面反射光に起因した偽形状の軽減処理を実行する軽減処理手段と、
    前記軽減処理を施された形状画像を用いて前記検査対象物の良否を判定する判定手段としてコンピュータを機能させることを特徴とするプログラム。
    Luminance image generation means for imaging a test object by a photometric stereo method and generating a plurality of luminance images;
    A normal vector and a reflectance of the surface of the inspection object are calculated using pixel values of a plurality of pixels whose coordinates coincide with each other in the plurality of luminance images, and a normal vector of the surface of the inspection object is calculated. Generating means for generating a shape image having a plurality of pixel values according to the shape of the surface, and generating a reflectance image having a plurality of pixel values according to the reflectance of the surface of the inspection object; ,
    Extraction means for extracting texture information indicating reflection of a texture or specular reflection light included in the shape image based on the reflectance image;
    Based on the texture information extracted by the extraction means, a mitigation processing means for performing a process of mitigating a false shape caused by reflection of a texture or specular reflection light,
    A program that causes a computer to function as a determination unit that determines the quality of the inspection object using the shape image subjected to the reduction processing.
JP2014119104A 2014-06-09 2014-06-09 Inspection device, inspection method, and program Active JP6278842B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014119104A JP6278842B2 (en) 2014-06-09 2014-06-09 Inspection device, inspection method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014119104A JP6278842B2 (en) 2014-06-09 2014-06-09 Inspection device, inspection method, and program

Publications (2)

Publication Number Publication Date
JP2015232481A true JP2015232481A (en) 2015-12-24
JP6278842B2 JP6278842B2 (en) 2018-02-14

Family

ID=54934012

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014119104A Active JP6278842B2 (en) 2014-06-09 2014-06-09 Inspection device, inspection method, and program

Country Status (1)

Country Link
JP (1) JP6278842B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11012612B2 (en) 2019-04-05 2021-05-18 Keyence Corporation Image inspection system and image inspection method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000315257A (en) * 1999-04-30 2000-11-14 Shiseido Co Ltd Method for generating three-dimensional image of skin state
JP2002213931A (en) * 2001-01-17 2002-07-31 Fuji Xerox Co Ltd Instrument and method for measuring three-dimensional shape
JP2004279187A (en) * 2003-03-14 2004-10-07 Mitsubishi Electric Corp Method for measuring shape
JP2006133055A (en) * 2004-11-05 2006-05-25 Seiko Epson Corp Unevenness defect detection method and device, spatial filter, unevenness defect inspection system, and program for unevenness defect detection method
JP2007206797A (en) * 2006-01-31 2007-08-16 Omron Corp Image processing method and image processor
US20100103169A1 (en) * 2008-10-29 2010-04-29 Chunghwa Picture Tubes, Ltd. Method of rebuilding 3d surface model

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000315257A (en) * 1999-04-30 2000-11-14 Shiseido Co Ltd Method for generating three-dimensional image of skin state
JP2002213931A (en) * 2001-01-17 2002-07-31 Fuji Xerox Co Ltd Instrument and method for measuring three-dimensional shape
JP2004279187A (en) * 2003-03-14 2004-10-07 Mitsubishi Electric Corp Method for measuring shape
JP2006133055A (en) * 2004-11-05 2006-05-25 Seiko Epson Corp Unevenness defect detection method and device, spatial filter, unevenness defect inspection system, and program for unevenness defect detection method
JP2007206797A (en) * 2006-01-31 2007-08-16 Omron Corp Image processing method and image processor
US20100103169A1 (en) * 2008-10-29 2010-04-29 Chunghwa Picture Tubes, Ltd. Method of rebuilding 3d surface model

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11012612B2 (en) 2019-04-05 2021-05-18 Keyence Corporation Image inspection system and image inspection method

Also Published As

Publication number Publication date
JP6278842B2 (en) 2018-02-14

Similar Documents

Publication Publication Date Title
JP6290720B2 (en) Inspection device, inspection method, and program
JP6470506B2 (en) Inspection device
JP6403445B2 (en) Inspection device, inspection method, and program
JP2020042053A (en) Image inspection device and image inspection method
JP6278842B2 (en) Inspection device, inspection method, and program
JP6405124B2 (en) Inspection device, inspection method, and program
JP6585793B2 (en) Inspection device, inspection method, and program
JP2019045510A (en) Inspection device
JP2020038215A (en) Inspection device and control method thereof
JP6864722B2 (en) Inspection equipment, inspection methods and programs
JP6395455B2 (en) Inspection device, inspection method, and program
JP6638098B2 (en) Inspection device
JP6425406B2 (en) Information processing apparatus, information processing method, and program
JP6475875B2 (en) Inspection device
JP6280451B2 (en) Inspection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180116

R150 Certificate of patent or registration of utility model

Ref document number: 6278842

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250