JP2019100937A - Defect inspection device and defect inspection method - Google Patents

Defect inspection device and defect inspection method Download PDF

Info

Publication number
JP2019100937A
JP2019100937A JP2017234072A JP2017234072A JP2019100937A JP 2019100937 A JP2019100937 A JP 2019100937A JP 2017234072 A JP2017234072 A JP 2017234072A JP 2017234072 A JP2017234072 A JP 2017234072A JP 2019100937 A JP2019100937 A JP 2019100937A
Authority
JP
Japan
Prior art keywords
image
luminance
pixel
low resolution
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017234072A
Other languages
Japanese (ja)
Other versions
JP6643301B2 (en
Inventor
吉田 敦志
Atsushi Yoshida
敦志 吉田
一郎 末廣
Ichiro Suehiro
一郎 末廣
大和 輿水
Yamato Koshimizu
大和 輿水
公也 青木
Kimiya Aoki
公也 青木
裕一郎 吉村
Yuichiro Yoshimura
裕一郎 吉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nitto Denko Corp
Umemura Educational Institutions
Original Assignee
Nitto Denko Corp
Umemura Educational Institutions
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nitto Denko Corp, Umemura Educational Institutions filed Critical Nitto Denko Corp
Priority to JP2017234072A priority Critical patent/JP6643301B2/en
Publication of JP2019100937A publication Critical patent/JP2019100937A/en
Application granted granted Critical
Publication of JP6643301B2 publication Critical patent/JP6643301B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide a defect inspection device and a defect inspection method capable of improving a defect inspection accuracy.SOLUTION: A defect inspection device prepares a plurality of low resolution images each obtained by lowering a resolution of a picked-up image imaging an inspection target, and extracts a defect candidate according to an image synthesizing the plurality of low resolution images in a non-binarized state.SELECTED DRAWING: Figure 2

Description

本発明は、検査対象を撮像した画像を用いて該検査対象の欠陥を発見する欠陥検査装置、及び欠陥検査方法に関する。   The present invention relates to a defect inspection apparatus that finds a defect of an inspection target using an image obtained by imaging the inspection target, and a defect inspection method.

従来、検査対象を撮像した撮像画像から所定のサイズの分割領域を分割する分割手段と、分割領域を分割する位相(位置)を変更する位相変更手段と、前記位相変更手段で位相を変更しながら前記分割手段で分割した複数の分割領域のそれぞれについて、分割領域に含まれている複数の画素の輝度の平均値を求め、該複数の画素の輝度を該平均値に置き換えて低解像度化する平均化手段とを有する画像処理装置が知られている(例えば、特許文献1、特許文献2参照)。   Conventionally, while changing the phase by a division means for dividing a divided area of a predetermined size from a captured image obtained by imaging an inspection object, a phase changing means for changing a phase (position) for dividing the divided area, and the phase changing means For each of the plurality of divided areas divided by the dividing means, an average value of the luminances of a plurality of pixels contained in the divided area is determined, and the average of the resolution is reduced by replacing the luminances of the plurality of pixels with the average value. There is known an image processing apparatus having an image processing unit (for example, see Patent Document 1 and Patent Document 2).

また、画像処理装置では、平均化手段で低解像度化した画像(以下、低解像度画像と称する)のそれぞれについて、低解像度画像に含まれる各画素を2値化した量子化データを作成した後に、該量子化データを複数枚加算して検査用の画像を作成しており、検査用の画像中における輝度の相対的に高い、または低い領域を欠陥候補として認識できるようになっている。   Further, in the image processing apparatus, for each of the images reduced in resolution by the averaging means (hereinafter referred to as a low resolution image), after creating quantized data obtained by binarizing each pixel included in the low resolution image, A plurality of pieces of the quantized data are added to create an inspection image, and a region having relatively high or low luminance in the inspection image can be recognized as a defect candidate.

特開2017−13371号公報JP 2017-13371 A 特許第5821708号公報Patent No. 5821708

ところで、上記従来の欠陥検査装置において、低解像度画像には輝度レベルが低い値のものや、高い値のものが含まれているが、低解像度画像から量子化データを作成するにあたり、前記輝度レベルが2値に変換されるため、欠陥を示している輝度の情報が量子化データには反映されないことがある。その結果、量子化データを加算して作成した検査用の画像に欠陥候補が正しく反映されず、欠陥の検査精度が低下してしまうことが問題となっている。
また、解像度毎に位相を振った画像を加算した場合、解像度によって位相を振る回数が違うため、そのまま加算すると位相を振る回数の少ない解像度の欠陥の重みが少なくなり、検出できない欠陥が発生することも問題となっている。
By the way, in the above-mentioned conventional defect inspection apparatus, although the low resolution image includes low values and high values of the luminance level, the above luminance level is used to generate the quantization data from the low resolution image. Is converted into a binary value, information on luminance indicating a defect may not be reflected in the quantized data. As a result, the defect candidate is not correctly reflected on the inspection image created by adding the quantized data, and the defect inspection accuracy is lowered.
In addition, when an image whose phase is shifted for each resolution is added, since the number of times the phase is shifted differs depending on the resolution, the weight of defects with a small number of times the phase is shifted less when added as it is. Is also a problem.

そこで、本発明は、かかる実情に鑑み、欠陥の検査精度を高めることができる欠陥検査装置、及び欠陥検査方法を提供することを課題とする。   Then, this invention makes it a subject to provide the defect inspection apparatus which can raise the inspection accuracy of a defect, and the defect inspection method in view of this situation.

本発明の欠陥検査装置は、
検査対象を撮像した撮像画像に基づいて、該撮像画像よりも解像度を下げた低解像度画像を複数作成する解像度変更手段と、
該解像度変更手段で作成した複数の低解像度画像を合成した合成画像を作成して該合成画像から欠陥候補を抽出する欠陥候補抽出手段と、を備え、
前記解像度変更手段は、
撮像画像内での位相をずらしながら前記撮像画像に前記分割領域を設定する分割領域設定手段と、
該分割領域設定手段で前記分割領域を設定したときに前記分割領域内の各画素の輝度の平均値を1つの画素の輝度値とした平均画像を作成する平均画像作成手段と、
該平均画像作成手段で作成した平均画像に輝度値を設定して輝度画像を作成する輝度値設定手段と、
該輝度値設定手段で作成した輝度画像を複数枚合成して前記低解像度画像を作成する位相画像合成手段と、を有するとともに、
前記分割領域設定手段で設定する分割領域のサイズを変化させながら、前記平均画像作成手段と、前記輝度値設定手段と、前記位相画像合成手段とで解像度の異なる複数の前記低解像度画像を作成するように構成され、
前記欠陥候補抽出手段は、前記位相画像合成手段で作成した複数の前記低解像度画像を合成することにより、前記合成画像を作成するように構成される。
The defect inspection apparatus of the present invention is
Resolution changing means for creating a plurality of low resolution images having a lower resolution than the captured image based on the captured image obtained by capturing an inspection object;
Defect candidate extracting means for generating a composite image obtained by combining the plurality of low resolution images created by the resolution changing means and extracting a defect candidate from the composite image;
The resolution changing means is
Division area setting means for setting the division area in the captured image while shifting the phase in the captured image;
An average image generation unit that generates an average image in which the average value of the luminance of each pixel in the divided area is set to the luminance value of one pixel when the divided area is set by the divided area setting unit;
Luminance value setting means for setting a luminance value to the average image created by the average image creation means to create a luminance image;
And phase image combining means for combining the plurality of brightness images created by the brightness value setting means to create the low resolution image.
The average image creating unit, the luminance value setting unit, and the phase image combining unit create a plurality of low resolution images having different resolutions while changing the size of the divided region set by the divided region setting unit. Configured as
The defect candidate extraction unit is configured to generate the combined image by combining the plurality of low resolution images created by the phase image combining unit.

上記構成の欠陥検査装置によれば、低解像度画像を作成する際においては分割画像を2値化せずに合成し、また、合成画像を作成する際においては低解像度画像を2値化せずに合成しているため、欠陥候補の抽出に用いる合成画像には欠陥のコントラスト情報が残る。   According to the defect inspection apparatus of the above configuration, when creating a low resolution image, the divided images are combined without being binarized, and when creating a combined image, the low resolution image is not binarized. Therefore, the contrast information of the defect remains in the composite image used to extract the defect candidate.

従って、前記欠陥検査装置では、合成画像のコントラスト情報に合わせて欠陥候補の有無を判断(抽出)できるようにすることで、欠陥の検査精度を高めることができる。   Therefore, in the defect inspection apparatus, the defect inspection accuracy can be enhanced by making it possible to judge (extract) the presence or absence of the defect candidate in accordance with the contrast information of the composite image.

本発明の欠陥検査装置において、
前記輝度値設定手段は、
前記平均画像に対して、
着目画素と、該着目画素の両側に隣接する一対の隣接画素とを抽出し、
前記着目画素の輝度値に対して、前記一対の隣接画素のそれぞれが共に明るい又は暗い場合にのみ輝度差に基づいて輝度値を設定し、それ以外の画素は輝度値を0に設定する。
ように構成されていてもよい。
In the defect inspection apparatus of the present invention,
The luminance value setting means
For the average image,
Extracting a pixel of interest and a pair of adjacent pixels adjacent to both sides of the pixel of interest;
With respect to the luminance value of the target pixel, the luminance value is set based on the luminance difference only when both of the pair of adjacent pixels are both bright or dark, and the luminance value is set to 0 for the other pixels.
It may be configured as follows.

上記構成の欠陥検査装置によれば、着目画素(着目点)に対して両側の隣接画素の片側の画素が明るく、他方の画素が暗い場合は、平均画像内の輝度変化を正常部の輝度変化と捉え、正常部が欠陥として過剰に検出されてしまうことを防止できる。   According to the defect inspection apparatus of the above configuration, when the pixel on one side of the adjacent pixels on both sides is bright with respect to the pixel of interest (point of interest) and the other pixel is dark, the luminance change in the average image is the luminance change of the normal part Therefore, it is possible to prevent the normal part from being excessively detected as a defect.

また、正常部に模様が入っている場合は、その境界部分においては、両側隣接画素の片側が着目画素と同等の輝度で、もう一方が明るいまたは暗いという画素が入ってくるが、これも正常部として判定することができる。   In addition, when a pattern is included in the normal part, in the boundary part, a pixel in which one side of both adjacent pixels has the same luminance as the target pixel and the other is bright or dark comes in, but this is also normal. It can be determined as a part.

さらに、本発明の欠陥検査装置において、
前記位相画像合成手段は、前記輝度画像を合成して正規化し、
前記欠陥候補抽出手段は、前記位相画像合成手段により正規化された複数の前記低解像度画像を合成して前記合成画像を作成する。
Furthermore, in the defect inspection apparatus of the present invention,
The phase image synthesizing unit synthesizes and normalizes the luminance image.
The defect candidate extraction unit combines the plurality of low resolution images normalized by the phase image combining unit to create the combined image.

かかる構成によれば、解像度毎における位相をずらす回数の違いによる重みの差をなくすことができ、複数の低解像度画像や、複数の輝度画像を合成する際に、欠陥であることを示す輝度値の情報が失われてしまうことを抑制することができる。   According to this configuration, it is possible to eliminate the difference in weight due to the difference in the number of times of phase shift in each resolution, and to indicate a defect when combining multiple low resolution images or multiple luminance images. Loss of information can be suppressed.

本発明の欠陥検査方法は、
検査対象を撮像した撮像画像に基づいて、該撮像画像よりも解像度を下げた低解像度画像を複数作成するステップと、
該低解像度画像を複数作成するステップで作成した複数の前記低解像度画像を合成した合成画像を作成して該合成画像から欠陥候補を抽出するステップと、を備え、
前記低解像度画像を複数作成するステップでは、
撮像画像内での位相をずらしながら前記撮像画像に分割領域を設定し、且つ該分割領域内の各画素の輝度の平均値を1つの画素の輝度値とした平均画像を作成する平均画像作成処理と、該平均画像作成処理で作成した平均画像について、輝度値を設定した輝度画像を作成する輝度値設定処理と、該輝度値設定処理で作成した各輝度画像を合成して前記低解像度画像を作成する位相画像合成処理とを、前記撮像画像に分割領域を設定する際に分割領域のサイズを変化させながら繰り返して実行することによって解像度の異なる複数の前記低解像度画像を作成するように構成され、
前記欠陥候補を抽出するステップでは、複数の前記低解像度画像を合成することにより、前記合成画像を作成するように構成される。
The defect inspection method of the present invention is
Creating a plurality of low resolution images having a lower resolution than the captured image based on the captured image obtained by capturing the inspection object;
Creating a composite image combining the plurality of low resolution images created in the step of creating a plurality of low resolution images, and extracting a defect candidate from the composite image;
In the step of creating a plurality of low resolution images,
Average image creation processing for creating an average image in which divided areas are set in the captured image while shifting the phase in the captured image, and the average value of the luminance of each pixel in the divided area is the luminance value of one pixel And a luminance value setting process for generating a luminance image having a luminance value set for the average image generated in the average image generation process and each luminance image generated in the luminance value setting process to obtain the low resolution image A plurality of low resolution images having different resolutions are generated by repeatedly executing phase image synthesis processing to be created while changing the size of the divided area when setting the divided area in the captured image. ,
The step of extracting the defect candidate is configured to create the combined image by combining a plurality of the low resolution images.

上記構成の欠陥検査装置によれば、低解像度画像を作成する際においては分割画像を2値化せずに合成し、また、合成画像を作成する際においては低解像度画像を2値化せずに合成しているため、欠陥候補の抽出に用いる合成画像には欠陥のコントラスト情報が残る。   According to the defect inspection apparatus of the above configuration, when creating a low resolution image, the divided images are combined without being binarized, and when creating a combined image, the low resolution image is not binarized. Therefore, the contrast information of the defect remains in the composite image used to extract the defect candidate.

従って、前記欠陥検査装置では、合成画像のコントラスト情報に合わせて欠陥候補の有無を判断(抽出)できるようにすることで、欠陥の検査精度を高めることができる。   Therefore, in the defect inspection apparatus, the defect inspection accuracy can be enhanced by making it possible to judge (extract) the presence or absence of the defect candidate in accordance with the contrast information of the composite image.

本発明の欠陥検査方法において、
前記輝度値設定処理では、
前記平均画像に対して、着目画素と、該着目画素の両側に隣接する一対の隣接画素とを抽出し、
前記着目画素の画素値に対して、前記一対の隣接画素のそれぞれが共に明るい又は暗い場合にのみ輝度差に基づいて輝度値を設定し、それ以外の場合は輝度値を0に設定するように構成されていてもよい。
In the defect inspection method of the present invention,
In the luminance value setting process,
Extracting a pixel of interest and a pair of adjacent pixels adjacent to both sides of the pixel of interest with respect to the average image;
The luminance value is set based on the luminance difference only when both of the pair of adjacent pixels are both bright or dark with respect to the pixel value of the pixel of interest, otherwise the luminance value is set to 0. It may be configured.

上記構成の欠陥検査装置によれば、着目画素(着目点)に対して両側の隣接画素の片側の画素が明るく、他方の画素が暗い場合は、平均画像内の輝度変化を正常部の輝度変化と捉え、正常部が欠陥として過剰に検出されてしまうことを防止できる。   According to the defect inspection apparatus of the above configuration, when the pixel on one side of the adjacent pixels on both sides is bright with respect to the pixel of interest (point of interest) and the other pixel is dark, the luminance change in the average image is the luminance change of the normal part Therefore, it is possible to prevent the normal part from being excessively detected as a defect.

また、正常部に模様が入っている場合は、その境界部分においては、両側隣接画素の片側が着目画素と同等の輝度で、もう一方が明るいまたは暗いという画素が入ってくるが、これも正常部として判定することができる。   In addition, when a pattern is included in the normal part, in the boundary part, a pixel in which one side of both adjacent pixels has the same luminance as the target pixel and the other is bright or dark comes in, but this is also normal. It can be determined as a part.

さらに、本発明の欠陥検査方法において、
前記位相画像合成処理は、前記輝度画像を合成して正規化し、
前記欠陥候補を抽出するステップでは、前記位相画像合成処理により正規化された複数の前記低解像度画像を合成して前記合成画像を作成する。
Furthermore, in the defect inspection method of the present invention,
The phase image synthesis process synthesizes and normalizes the luminance image.
In the step of extracting the defect candidate, the plurality of low resolution images normalized by the phase image combining process are combined to create the combined image.

かかる構成によれば、解像度毎における位相をずらす回数の違いによる重みの差をなくすことができ、複数の低解像度画像や、複数の輝度画像を合成する際に、欠陥であることを示す輝度値の情報が失われてしまうことを抑制することができる。   According to this configuration, it is possible to eliminate the difference in weight due to the difference in the number of times of phase shift in each resolution, and to indicate a defect when combining multiple low resolution images or multiple luminance images. Loss of information can be suppressed.

以上のように、本発明の欠陥検査装置及び欠陥検査方法によれば、検査対象の欠陥を精度良く発見できるという優れた効果を奏し得る。   As described above, according to the defect inspection apparatus and the defect inspection method of the present invention, it is possible to achieve an excellent effect that a defect to be inspected can be found accurately.

図1は、本発明の一実施形態に係る欠陥検査装置のブロック図である。FIG. 1 is a block diagram of a defect inspection apparatus according to an embodiment of the present invention. 図2は、同実施形態に係る欠陥検査装置のフローチャートである。FIG. 2 is a flowchart of the defect inspection apparatus according to the embodiment. 図3において(a)〜(c)は、撮像画像の分割サイズの説明図である。(A)-(c) in FIG. 3 is explanatory drawing of the division size of a captured image. 図4において(a)〜(i)は、分割領域の位相の設定の仕方の説明図である。(A)-(i) in FIG. 4 is explanatory drawing of how to set the phase of a division | segmentation area | region. 図5は、同実施形態に係る欠陥検査装置の平均画像を作成する処理の説明図である。FIG. 5 is an explanatory view of a process of creating an average image of the defect inspection apparatus according to the embodiment. 図6において(a)〜(d)は、輝度画像を作成する処理の説明図である。In FIG. 6, (a) to (d) are explanatory diagrams of processing for creating a luminance image. 図7において(a)〜(c)は、ブロブ処理の説明図である。(A)-(c) in FIG. 7 is explanatory drawing of a blob process.

以下、本発明の一実施形態にかかる欠陥検査装置について、添付図面を参照しつつ説明する。欠陥検査装置は、物品の外観を撮像した画像を基にして傷等の結果を発見するように構成されている。なお、物品には、例えば、金属や、プラスチックフィルム、布、印刷物等が挙げられる。   Hereinafter, a defect inspection apparatus according to an embodiment of the present invention will be described with reference to the attached drawings. The defect inspection apparatus is configured to discover a result such as a scratch based on an image obtained by imaging the appearance of the article. Examples of the article include metals, plastic films, cloths, and printed materials.

なお、欠陥検査装置は、例えば、パソコンのように、情報の処理や機器の制御を行う処理装置や、情報を記憶する記憶装置、ディスプレイ等の出力装置等を備えていればよい。   The defect inspection apparatus may be provided with, for example, a processing apparatus that processes information or controls an apparatus, a storage apparatus that stores information, an output apparatus such as a display, or the like, such as a personal computer.

図1に示すように、欠陥検査装置1は、検査対象を撮像した撮像画像を取得する画像取得手段2と、該画像取得手段2で取得した撮像画像に基づいて、該撮像画像よりも解像度を下げた低解像度画像を複数作成する解像度変更手段3と、該解像度変更手段3で作成した複数の低解像度画像を合成した合成画像を作成して該合成画像から欠陥候補を抽出する欠陥候補抽出手段4と、を備えている。   As shown in FIG. 1, the defect inspection apparatus 1 has a resolution higher than that of the captured image based on the image acquisition unit 2 that acquires a captured image obtained by imaging the inspection target and the captured image acquired by the image acquisition unit 2. Resolution changing means 3 for generating a plurality of lowered low resolution images, and defect candidate extracting means for generating a composite image combining the plurality of low resolution images generated by the resolution changing means 3 and extracting defect candidates from the composite image 4 and.

画像取得手段2は、撮像装置が撮像した検査対象となる物品の画像を、該撮像装置から直接取得してもよいし、欠陥検査装置1の記憶装置や、外部の記憶装置に記憶されている検査対象の画像を取得するように構成されていてもよい。   The image acquisition unit 2 may directly acquire from the imaging device an image of an article to be inspected which is imaged by the imaging device, and is stored in the storage device of the defect inspection apparatus 1 or an external storage device. It may be configured to acquire an image of an inspection target.

解像度変更手段3は、撮像画像内での位相をずらしながら前記撮像画像に分割領域を設定する分割領域設定手段30と、該分割領域設定手段30で分割領域を設定したときに分割領域内の各画素の輝度の平均値を1つの画素の輝度値とした平均画像を作成する平均画像作成手段31と、該平均画像作成手段31で作成した平均画像について、輝度値を設定して輝度画像を作成する輝度値設定手段32と、該輝度値設定手段32で作成した各輝度画像を合成して前記低解像度画像を作成する位相画像合成手段33と、を有する。   The resolution changing unit 3 sets divided regions in the captured image while shifting the phase in the captured image, and each region in the divided regions when the divided regions are set by the divided region setting unit 30. A brightness image is created by setting the brightness value for the average image created by the average image creation unit 31 that creates an average image using the average value of the pixel brightness as the brightness value of one pixel, and the average image created by the average image creation unit 31 Brightness value setting means 32; and phase image combining means 33 for combining the respective brightness images created by the brightness value setting means 32 to create the low resolution image.

また、本実施形態に係る解像度変更手段3は、分割領域設定手段30が撮像画像内での位相(分割領域の位相)をずらした後に、平均画像作成手段31が位相をずらした分割領域内の各画素の輝度の平均値を1つの画素の輝度値として平均画像を作成し、輝度値設定手段32が平均画像に輝度値を設定して輝度画像を作成する処理をくり返し行うことにより、複数の輝度画像を作成するように構成されている。   In the resolution changing unit 3 according to the present embodiment, after the divided area setting unit 30 shifts the phase (phase of the divided area) in the captured image, the average image creating unit 31 shifts the phase in the divided area. By creating an average image with the average value of the luminance of each pixel as the luminance value of one pixel, the luminance value setting means 32 repeatedly performs processing of setting the luminance value to the average image to create a luminance image. It is configured to create a luminance image.

また、解像度変更手段3は、分割領域設定手段30で分割領域のサイズ(前記平均画像作成手段31で作成する平均画像のサイズ)を変化させながら、前記平均画像作成手段31と、前記輝度値設定手段32と、前記位相画像合成手段33とで解像度の異なる複数の前記低解像度画像を作成するように構成されている。   Further, the resolution changing unit 3 changes the size of the divided area (the size of the average image generated by the average image generating unit 31) by the divided area setting unit 30, and sets the average image generating unit 31 and the luminance value setting. The means 32 and the phase image combining means 33 are configured to create a plurality of low resolution images of different resolutions.

分割領域設定手段30は、分割領域のサイズと、位相(分割領域内に設定する位置)とを設定できるように構成されている。   The division area setting means 30 is configured to be able to set the size of the division area and the phase (position to be set in the division area).

分割領域設定手段30は、分割領域のサイズを変更可能に構成することができ、さらに、低解像度画像を作成するためにあらかじめ設定しておいたサイズ(すなわち、分割領域のサイズの初期値)が定められていてもよい。   The divided area setting means 30 can be configured to be able to change the size of the divided area, and furthermore, the size (that is, the initial value of the size of the divided area) set in advance for creating the low resolution image is It may be defined.

なお、分割領域設定手段30は、例えば、3×3画素(縦3画素、横3画素)のサイズ4×4画素(縦4画素、横4画素)のサイズ5×5画素(縦5画素、横5画素)のサイズと順に画素数を増加させて検査画像に写る最大の欠陥(最大と予測される欠陥)と同サイズになるまで分割領域のサイズを変更するように構成されていればよい。   The divided area setting unit 30 has, for example, a size of 3 × 3 pixels (3 vertical pixels × 3 horizontal pixels) 4 × 4 pixels (4 vertical pixels × 4 horizontal pixels) 5 × 5 pixels (5 vertical pixels) The size of the divided area may be changed by increasing the number of pixels in order of the size of 5 pixels horizontally and the number of pixels in order to obtain the same size as the largest defect (the defect predicted to be the largest) shown in the inspection image .

さらに、分割領域設定手段30は、分割領域のサイズを変えずに、該分割領域の位相(撮像画像内での位置)を1画素ずつずらすように構成されている(図4(a)〜図4(i)参照)。位相をずらす方向は横方向、縦方向のそれぞれの方向にずらしている。なお、図4(a)〜図4(i)においては、撮像画像を「P1」、分割領域を「R1」で示している。   Furthermore, the divided area setting unit 30 is configured to shift the phase (the position in the captured image) of the divided area by one pixel without changing the size of the divided area (FIG. 4 (a) to FIG. 4 (i)). The phases are shifted in the horizontal direction and in the vertical direction. In FIG. 4A to FIG. 4I, the captured image is indicated by “P1” and the divided areas are indicated by “R1”.

平均画像作成手段31は、分割領域設定手段30で設定した分割領域内の各画素の輝度の平均値を1つの画素の輝度値として平均画像を作成する(図5参照)。なお、図5では、撮像画像を「P1」、分割領域を「R1」、平均画像を「P2」で示している。   The average image creation unit 31 creates an average image with the average value of the luminance of each pixel in the divided area set by the divided area setting unit 30 as the luminance value of one pixel (see FIG. 5). In FIG. 5, the captured image is indicated by “P1”, the divided area is indicated by “R1”, and the average image is indicated by “P2”.

輝度値設定手段32は、平均画像作成手段31で作成された平均画像に対し、基準となる画素と、該画素の周囲の画素との輝度の比較を行い、比較して計算された輝度値に該当する画素の輝度値を変換する。   The luminance value setting unit 32 compares the luminance of the pixel serving as a reference with the pixels around the pixel with respect to the average image generated by the average image generation unit 31, and calculates the luminance value calculated by comparison. Convert the luminance value of the corresponding pixel.

位相画像合成手段33では、分割領域のサイズ毎(解像度毎)に、全ての平均画像に輝度値を設定した後、同じサイズの輝度画像(同じサイズの分割領域に基づいて作成された輝度画像)の全てを合成した画像を作成し、該画像の画素値を正規化することにより、低解像度画像を作成する。   In the phase image synthesizing unit 33, after setting the luminance value to all the average images for each size of the divided area (each resolution), a luminance image of the same size (a luminance image created based on the divided areas of the same size) A low resolution image is created by creating an image combining all of the above and normalizing the pixel values of the image.

輝度値設定手段32について詳細に説明する。輝度値設定手段32は、前記平均画像に対して、着目画素と、該着目画素の両側に隣接する一対の隣接画素とを抽出し、着目画素と各隣接画素の輝度の関係に基づいて平均画像に輝度値を設定する。   The luminance value setting means 32 will be described in detail. The luminance value setting means 32 extracts a pixel of interest and a pair of adjacent pixels adjacent to both sides of the pixel of interest with respect to the average image, and calculates an average image based on the relationship between the luminance of the pixel of interest and each adjacent pixel. Set the brightness value to

なお、輝度値設定手段32が一対の隣接画素として抽出する画素は、着目画素の左右に隣接する画素であってもよいし、着目画素の上下に隣接する画素であってもよいし、着目画素の斜め上と斜め下に隣接する画素であってもよい。   The pixels extracted by the luminance value setting means 32 as a pair of adjacent pixels may be pixels adjacent to the left and right of the pixel of interest, or may be pixels adjacent to the upper and lower sides of the pixel of interest, It may be pixels adjacent to diagonally above and diagonally below.

輝度値設定手段32では、着目画素の画素値と各隣接画素の画素値とを取得し、一対の隣接画素のそれぞれが着目画素よりも明るい場合又は暗い場合(図6(a)と(b)参照)においてのみ、すなわち、一対の隣接画素のそれぞれの明るさ(輝度値)が着目画素の明るさ(輝度値)よりも高い又は低い場合に、着目画素と隣接画素の輝度差に基づいて平均画像に輝度値を設定する。   The luminance value setting means 32 obtains the pixel value of the pixel of interest and the pixel values of the adjacent pixels, and the pair of adjacent pixels is brighter or darker than the pixel of interest (FIGS. 6A and 6B) Reference) only, ie, when the brightness (brightness value) of each pair of adjacent pixels is higher or lower than the brightness (brightness value) of the pixel of interest, the average is based on the brightness difference between the pixel of interest and the adjacent pixels. Set the brightness value to the image.

本実施形態では、着目画素の画素値と一方の隣接画素の画素値との差をL1、着目画素の画素値と他方の隣接画素値との差をL2とした場合、着目画素の画素値Lを式1の計算値とする。

Figure 2019100937
In the present embodiment, assuming that the difference between the pixel value of the target pixel and the pixel value of one adjacent pixel is L1 and the difference between the pixel value of the target pixel and the other adjacent pixel value is L2, the pixel value L of the target pixel Is the calculated value of equation 1.
Figure 2019100937

これは、着目画素と一方の隣接画素の画素値の差L1と着目画素の画素値と他方の隣接画素値との差L2が同等の輝度値の場合(図6(a)参照)は明らかに欠陥であるので大きな値を出力し、着目画素と一方の隣接画素の画素値の差L1と着目画素の画素値と他方の隣接画素値との差L2の差が大きい時(図6(b)参照)は欠陥でない可能性があるため、着目画素の輝度値を小さい値にして感度(欠陥候補の検出率)を下げている。なお、式(1)により算出した輝度値が負の数となる場合は、着目画素の輝度値を0に設定する。   This is apparent when the difference L1 between the pixel value of the pixel of interest and one of the adjacent pixels, and the difference L2 between the pixel value of the pixel of interest and the other adjacent pixel value are equal (see FIG. 6A). When the difference L1 between the pixel value of the pixel of interest and one adjacent pixel and the difference L2 between the pixel value of the pixel of interest and the other adjacent pixel value are large because a defect is output (FIG. 6 (b)) Since the reference) may not be a defect, the sensitivity (detection rate of defect candidate) is lowered by setting the luminance value of the pixel of interest to a small value. In addition, when the luminance value calculated by Formula (1) turns into a negative number, the luminance value of a view pixel is set to zero.

なお、画素値Lは、着目画素の左右に隣接する画素の画素値で求めた値、着目画素の上下に隣接する画素で求めた値、着目画素の右斜め上と左斜め下に隣接する画素で求めた値、左斜め上と右斜め下に隣接する画素で求めた値の4通りの値に基づいて求めることができる。また、その値の最大となる値を輝度値と設定するか、合計値を輝度値と設定してもよいし、上下と左右のみの2つの値から設定するか、上下と左右、斜めの4つの値全てを用いて値を設定してもよい。   The pixel value L is a value determined by the pixel values of pixels adjacent to the left and right of the pixel of interest, a value determined by pixels adjacent to the upper and lower sides of the pixel of interest, and pixels adjacent to the upper right and lower left of the pixel of interest. It can obtain | require based on four kinds of values of the value calculated | required by, and the value calculated | required by the pixel which adjoins the diagonally upper left and the diagonal lower right. Also, the maximum value of the values may be set as the luminance value, or the total value may be set as the luminance value, or it may be set from two values of only up and down and left and right, or 4 All three values may be used to set the value.

一対の隣接画素のうちの一方の画素値が着目画素よりも明るく、他方が着目画素よりも暗い場合(図6(c)参照)は、平均画像輝度値に0を設定する。このように、平均画像輝度値の値に欠陥候補抽出手段4が正常部であると判定できる値を設定することにより、平均画像内の輝度変化を正常部の輝度変化であると捉えることができるようになる。   If one of the pixel values of the pair of adjacent pixels is brighter than the pixel of interest and the other is darker than the pixel of interest (see FIG. 6C), 0 is set as the average image luminance value. Thus, by setting a value that allows the defect candidate extraction means 4 to determine that the defect candidate extraction unit 4 is a normal part to the value of the average image luminance value, it is possible to regard the change in luminance in the average image as the change in luminance of the normal part. It will be.

また、一対の隣接画素のうちの一方の画素値が着目画素と同等の明るさであり、他方が着目画素よりも明るい又は暗い場合(図6(d)参照)も、平均画像の輝度値に0を設定する。この場合においても、平均画像輝度値の値に欠陥候補抽出手段4が正常部であると判定できる値を設定することにより、正常部に模様が入っている場合であり、その模様の境界部分において、両側隣接画素の片側が着目画素と同等の輝度で、もう一方が明るいまたは暗いという画素が入ってくる場合も、正常部として判定できるようになる。なお、図6(a)〜図6(d)において、着目画素は「Px1」、隣接画素は「Px2」で示している。   Also, when one of the pixel values of the pair of adjacent pixels has the same brightness as the focused pixel and the other is brighter or darker than the focused pixel (see FIG. 6D), the brightness value of the average image is obtained. Set 0. Even in this case, by setting a value that allows the defect candidate extraction means 4 to determine that the defect candidate extraction means 4 is a normal part to the value of the average image luminance value, a pattern is included in the normal part. If one of the adjacent pixels on both sides has the same luminance as the target pixel and another pixel is bright or dark, it can be determined as a normal part. In FIGS. 6A to 6D, the pixel of interest is indicated by “Px1” and the adjacent pixel is indicated by “Px2”.

位相画像合成手段33は、上述のように、輝度画像を合成して低解像度画像を作成するが、合成する輝度画像の枚数は、撮像画像を分割するサイズにより異なるため、低解像度画像を正規化するように構成されている。   As described above, the phase image synthesis unit 33 synthesizes the luminance image to create a low resolution image, but the number of luminance images to be synthesized differs depending on the size of division of the captured image, so the low resolution image is normalized. It is configured to

例えば、撮像画像を分割するサイズが3×3画素の場合は9枚の平均画像(輝度画像)が作成され、撮像画像を分割するサイズが4×4画素の場合は16枚の平均画像(輝度画像)が作成されるため、撮像画像を分割するサイズが大きくなると、合成する平均枚数が多くなる。従って、平均画像(輝度画像)をそのまま加算して合成した場合は、撮像画像を分割するサイズが大きくなるにつれて、合成後の輝度値も大きくなる傾向となる(図3(a)〜図3(c)参照)。なお、図3(a)〜図3(c)では、撮像画像を「P1」、分割領域を「R1」で示している。   For example, when the size of dividing the captured image is 3 × 3 pixels, nine average images (luminance images) are created, and when the size of dividing the captured image is 4 × 4 pixels, 16 average images (luminance Since the image is created, if the size of dividing the captured image becomes large, the average number of images to be combined increases. Therefore, when the average image (luminance image) is added as it is and synthesized, the luminance value after synthesis tends to increase as the size of dividing the captured image increases (FIG. 3A to FIG. c) see In FIGS. 3A to 3C, the captured image is indicated by “P1” and the divided areas are indicated by “R1”.

位相画像合成手段33による正規化では、分割領域のサイズ毎に、位相が異なる輝度画像が複数枚存在しており、該輝度画像の同じ座標(輝度画像が重なり合う領域)の画素値を加算することにより輝度画像同士が合成される。   In normalization by the phase image synthesizing unit 33, there are a plurality of luminance images having different phases for each size of divided areas, and pixel values of the same coordinates of the luminance images (regions where the luminance images overlap) are added. Thus, the luminance images are combined.

そして、輝度画像を合成した画像に対し2値化を行い、ブロブ処理で欠陥候補点を抽出する。2値化の閾値は合成した画像枚数に比例して大きな値とする。この欠陥候補点に対し、画像取得手段2で得た撮像画像の輝度値を用いて輝度を再計算する。   Then, binarization is performed on the image obtained by combining the luminance image, and defect candidate points are extracted by blob processing. The threshold value for binarization is a large value in proportion to the number of combined images. For the defect candidate point, the brightness is recalculated using the brightness value of the captured image obtained by the image acquisition unit 2.

続いて、輝度値の再計算方法の例を説明すると、輝度画像の画素値を加算することにより合成した画像に対して2値化処理を行い、ブロブ処理により欠陥候補点の形状と、欠陥候補点の平均輝度を計算する。   Subsequently, an example of the method of recalculating the luminance value will be described. Binarization processing is performed on the image synthesized by adding the pixel values of the luminance image, and the shape of the defect candidate point by the blob processing and the defect candidate Calculate the average brightness of the points.

このとき、欠陥候補点の輝度計算を行う画像は、画像取得手段2で得た低解像度化する前の画像の画素値を用いる。さらに、欠陥候補点の形状を膨張処理により拡大し、拡大した領域から拡大前の領域を差し引くことで、欠陥候補点の周辺部の形状を得る。この欠陥候補点の周辺部の平均輝度を、画像取得手段2で得た低解像度化する前の画像の画素値を用いて算出する(図7(a)〜図7(c)参照)。なお、図7(a)〜図7(c)においては、欠陥候補点を「R2」、欠陥候補点を拡大した領域を「R3」で示している。   At this time, the pixel value of the image before resolution reduction obtained by the image acquisition unit 2 is used as the image for calculating the luminance of the defect candidate point. Furthermore, the shape of the defect candidate point is expanded by dilation processing, and the area before the enlargement is subtracted from the expanded region to obtain the shape of the peripheral portion of the defect candidate point. The average luminance of the peripheral portion of the defect candidate point is calculated using the pixel value of the image before resolution reduction obtained by the image acquiring unit 2 (see FIGS. 7A to 7C). In FIGS. 7A to 7C, the defect candidate point is indicated by “R2”, and the region obtained by enlarging the defect candidate point is indicated by “R3”.

欠陥候補点の平均輝度と欠陥候補点の周辺部の平均輝度の差を合成後の輝度とする。このブロブ処理を使った手法では、入力である元の低解像度画像が8ビットであれば、出力である合成後の出力画像も8ビットであり、加算回数に依存しない欠陥コントラストを出力することができる。   The difference between the average luminance of the defect candidate point and the average luminance of the peripheral portion of the defect candidate point is taken as the luminance after combination. In the method using this blob processing, if the original low resolution image which is the input is 8 bits, the output image after the synthesis which is the output is also 8 bits, and it is possible to output the defect contrast independent of the number of additions. it can.

なお、位相画像合成手段33による輝度画像の合成時における正規化では、輝度画像の同じ座標(輝度画像が重なり合う領域)の画素値を加算することで輝度画像同士を合成する場合は、撮像画像を分割するサイズ(分割領域のサイズ)毎の画像枚数が違うため、加算後の輝度値は入力画像のビット数を超えることがあるが、同じ座標の画素値の最大値を合成後の画像の輝度値とすれば、入力である輝度画像と出力である合成画像の最大輝度を同じにすることができる。かかる方法においても入力と出力の画像のビット数を揃えることができる。   In addition, in the normalization at the time of the synthesis | combination of the luminance image by the phase image synthetic | combination means 33, when synthesize | combining a luminance image by adding the pixel value of the same coordinate (region which a luminance image overlaps) of a luminance image, Since the number of images for each size to be divided (size of divided area) is different, the luminance value after addition may exceed the bit number of the input image, but the luminance of the image after combining the maximum values of pixel values at the same coordinates If it is a value, the maximum luminance of the input luminance image and the maximum luminance of the output composite image can be made the same. Also in this method, the number of bits of the input and output images can be made uniform.

位相画像合成手段33は、サイズを画像取得手段2で得た撮像画像のサイズに合わせて低解像度画像を拡大することにより、各低解像度画像のサイズを揃えるように構成されている。位相画像合成手段33では、低解像度画像の輝度が正規化されている一方、低解像度画像のサイズはそれぞれ異なっているが、位相画像合成手段33のかかる処理により、低解像度画像のサイズが揃えられる。   The phase image synthesizing unit 33 is configured to make the sizes of the respective low resolution images uniform by enlarging the low resolution image according to the size of the captured image obtained by the image acquisition unit 2. In the phase image synthesizing means 33, while the luminances of the low resolution images are normalized, the sizes of the low resolution images are different from each other, but the sizes of the low resolution images are equalized by the processing of the phase image synthesizing means 33. .

画像サイズを揃えた位相合成画像に対し、同じ座標の画素値を加算することで、低解像度画像の合成後の画像を得ることができる。なお、画像サイズを揃えた位相合成画像に対し、同じ座標の画素値の最大値を合成後の画素値として使用してもよい。   By adding pixel values at the same coordinates to the phase synthesized image having the same image size, it is possible to obtain an image after synthesis of the low resolution image. Note that the maximum value of the pixel values at the same coordinates may be used as the pixel value after synthesis for the phase synthesized image in which the image sizes are aligned.

欠陥候補抽出手段4は、低解像度画像合成後の画像に対し、輝度値に基づいて欠陥の有無(欠陥であるか正常部であるかの判断)を行うように構成されている。本実施形態に係る欠陥候補抽出手段4は、判別分析法等の一般的な2値化処理にて欠陥部を抽出し、その面積や形状で欠陥か正常部かの判断を行うように構成されている。   The defect candidate extraction unit 4 is configured to determine the presence or absence of a defect (determination as to whether it is a defect or a normal part) based on the luminance value on the image after low resolution image synthesis. The defect candidate extraction unit 4 according to the present embodiment is configured to extract a defective portion by a general binarization process such as a discriminant analysis method, and to determine whether it is a defect or a normal portion by its area and shape. ing.

本実施形態に係る欠陥検査装置1の構成は、以上の通りである。続いて、欠陥検査装置1による欠陥検査方法について説明する。   The configuration of the defect inspection apparatus 1 according to the present embodiment is as described above. Subsequently, a defect inspection method by the defect inspection apparatus 1 will be described.

欠陥検査方法は、画像取得手段2で撮像画像を取得するステップと、検査対象を撮像した撮像画像に基づいて、該撮像画像よりも解像度を下げた低解像度画像を複数作成するステップと、該解像度変更手段3で作成した複数の低解像度画像を合成した合成画像を作成して該合成画像から欠陥候補を抽出するステップとを備えている。   The defect inspection method includes the steps of acquiring a captured image by the image acquisition unit 2, creating a plurality of low resolution images having a lower resolution than the captured image based on the captured image obtained by imaging the inspection target, and the resolution And a step of creating a composite image obtained by combining the plurality of low resolution images created by the change means 3 and extracting a defect candidate from the composite image.

図2に示すように、画像取得手段2で撮像画像を取得し(S1)、分割領域設定手段30が分割サイズ設定手段により分割領域のサイズを決定し(S2)、さらに、撮像画像に分割領域を設定する位置(位相)を決定し(S3)、撮像画像に分割領域を設定する。   As shown in FIG. 2, the captured image is acquired by the image acquisition means 2 (S1), and the divided area setting means 30 determines the size of the divided area by the divided size setting means (S2), and further divided into the imaged image Are determined (S3), and division areas are set in the captured image.

そして、平均画像作成手段31が、分割領域内の各画素の輝度の平均値を1つの画素の輝度値とした画像に設定することで平均画像を作成する(S4)。   Then, the average image creation unit 31 creates an average image by setting the average value of the luminance of each pixel in the divided area as the luminance value of one pixel (S4).

続いて、輝度値設定手段32が平均画像に対して輝度値を設定する(S5)。より具体的に説明すると、輝度値設定手段32は、平均画像内から着目画素と該着目画素の両側に隣接する一対の隣接画素とを抽出し、該着目画素と各隣接画素の明るさ(輝度値)の関係に基づいて平均画像の輝度値を設定する。   Subsequently, the luminance value setting means 32 sets a luminance value for the average image (S5). More specifically, the luminance value setting unit 32 extracts the pixel of interest and a pair of adjacent pixels adjacent to both sides of the pixel of interest from within the average image, and the brightness of the pixel of interest and each adjacent pixel (luminance The brightness value of the average image is set based on the value relationship.

一対の隣接画素のそれぞれの画素値が着目画素よりも明るい場合又は暗い場合、すなわち、一対の隣接画素のそれぞれの明るさ(輝度値)が着目画素の明るさ(輝度値)よりも共に高い又は低い場合、着目画素と隣接画素の輝度差に基づいて平均画像に輝度値を設定する。この場合の平均画像に輝度値は、式(1)により導出される。   When each pixel value of a pair of adjacent pixels is brighter or darker than the pixel of interest, that is, the brightness (luminance value) of each pair of adjacent pixels is both higher than the brightness (luminance value) of the pixel of interest or If it is low, the luminance value is set to the average image based on the luminance difference between the pixel of interest and the adjacent pixel. The luminance value of the average image in this case is derived by Equation (1).

そして、一対の隣接画素のうちの一方の画素値が着目画素よりも明るく、他方が着目画素よりも暗い場合は、平均画像の輝度値に0を設定する。また、一対の隣接画素のうちの一方が着目画素と同等の明るさであり、他方が着目画素よりも明るい又は暗い場合も、平均画像の輝度値を0に設定する。   Then, when one pixel value of the pair of adjacent pixels is brighter than the focused pixel and the other is darker than the focused pixel, 0 is set as the luminance value of the average image. The luminance value of the average image is set to 0 also when one of the pair of adjacent pixels has the same brightness as the focused pixel and the other is brighter or darker than the focused pixel.

これにより、平均画像に輝度値が設定された輝度画像が作成される。   Thus, a luminance image in which the luminance value is set to the average image is created.

撮像画像から新たな輝度画像を作成する場合(S6でNo)は、分割領域の位相を変更し、再び輝度画像を作成する処理(S2〜S5)を実行する。   In the case of creating a new luminance image from the captured image (No in S6), the phase of the divided area is changed, and processing (S2 to S5) of creating a luminance image is executed again.

輝度画像を作成し終えた場合(S6でYes)は、位相画像合成手段33が輝度画像を合成して(S7)低解像度画像を作成する。   When the luminance image has been created (Yes in S6), the phase image combining means 33 combines the luminance image (S7) to create a low resolution image.

さらに、別の解像度で新たな低解像度画像を作成する場合(S8でNo)は、分割領域のサイズを新たに設定し(S2)、平均画像作成手段31、輝度値設定手段32、位相画像合成手段33による低解像度画像の作成処理を再び実行する(S3〜S7)   Furthermore, when creating a new low resolution image with another resolution (No in S8), the size of the divided area is newly set (S2), average image creation means 31, luminance value setting means 32, phase image synthesis The low resolution image creating process by means 33 is executed again (S3 to S7)

低解像度画像を作成し終えた場合(S8でYes)は、解像度変更手段3で作成した複数の低解像度画像を合成した合成画像を作成し(S9)、欠陥候補抽出手段4により該合成画像から欠陥候補を抽出(検出)する(S10)。   When the low resolution image has been created (Yes in S8), a composite image combining the plurality of low resolution images created by the resolution changing unit 3 is created (S9), and the defect candidate extracting unit 4 uses the composite image Defect candidates are extracted (detected) (S10).

以上のように、本実施形態に係る欠陥検査装置1及び欠陥検査方法によれば、低解像度画像を作成する際においては分割画像を2値化せずに合成し、また、合成画像を作成する際においては低解像度画像を2値化せずに合成しているため、欠陥候補の抽出に用いる合成画像には欠陥のコントラスト情報が残る。   As described above, according to the defect inspection apparatus 1 and the defect inspection method according to the present embodiment, when creating a low resolution image, division images are synthesized without being binarized, and a synthesized image is generated. In this case, since the low resolution image is synthesized without being binarized, the contrast information of the defect remains in the synthesized image used to extract the defect candidate.

従って、合成画像のコントラスト情報に合わせて欠陥候補の有無を判断(抽出)できるようにすることで、欠陥の検査精度を高めることができるという優れた効果を奏し得る。なお、本実施形態では、低解像度画像合成手段での出力画像において、欠陥候補点となる領域が抽出されているため、欠陥検出処理では単純な処理で欠陥の判断をすることが可能である。   Therefore, by being able to judge (extract) the presence or absence of a defect candidate in accordance with the contrast information of the composite image, it is possible to achieve an excellent effect that the inspection accuracy of the defect can be enhanced. In the present embodiment, in the output image of the low resolution image combining means, the area serving as a defect candidate point is extracted, so that it is possible to judge the defect by a simple process in the defect detection process.

また、着目画素(着目点)に対して両側の隣接画素の片側の画素値が明るい、又は暗い場合は、平均画像内の輝度変化を正常部の輝度変化と捉え、正常部が欠陥として過剰に検出されてしまうことを防止でき、正常部に模様が入っている場合は、その境界部分においては、両側隣接画素の片側が着目画素と同等の輝度で、もう一方が明るいまたは暗いという画素が入ってくるが、これも正常部として判定することができる。   In addition, when the pixel value on one side of adjacent pixels on both sides with respect to the pixel of interest (focused point) is bright or dark, the brightness change in the average image is regarded as the brightness change of the normal part, and the normal part is excessive as a defect. It can be prevented from being detected, and when the normal part has a pattern, in the boundary part, a pixel in which one side of the adjacent pixels on both sides has the same luminance as the target pixel and the other is bright or dark However, this can also be determined as a normal part.

なお、本実施形態では、解像度(すなわち、分割画像のサイズ)を変えることで欠陥のサイズと、画素のサイズが同じになる低解像度画像を作成でき、また、撮像画像内での位相(すなわち、撮像画像内から分割画像を分割する位置)をずらすことにより、欠陥のサイズと低解像度画像の画素(分割画像)のサイズが同じ場合に、該低解像度画像の画素の中心に欠陥が写っている画像を得ることができる。そのため、一つの画素の中心に欠陥を写すことができ、これにより、欠陥が写っている画素と、その両側の画素の輝度を比較することにより、最大の欠陥コントラストを得ることが可能になる。   In the present embodiment, by changing the resolution (that is, the size of the divided image), it is possible to create a low resolution image in which the size of the defect and the size of the pixel are the same. When the size of the defect and the size of the pixel (divided image) of the low resolution image are the same by shifting the division position of the divided image from the captured image, the defect is reflected at the center of the pixel of the low resolution image You can get an image. Therefore, a defect can be imaged at the center of one pixel, and thereby it is possible to obtain the maximum defect contrast by comparing the brightness of the pixel where the defect appears with the pixels on both sides thereof.

さらに、解像度毎における位相をずらす回数の違いによる重みの差をなくすことができ、複数の低解像度画像や、複数の輝度画像を合成する際に、欠陥であることを示す輝度値の情報が失われてしまうことを抑制することができる。   Furthermore, it is possible to eliminate the difference in weight due to the difference in the number of times the phase is shifted for each resolution, and when combining multiple low resolution images and multiple luminance images, information on luminance values indicating defects is lost. It is possible to suppress being broken.

なお、本発明の欠陥検査装置1、及び欠陥検査方法は、上記一実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更を行うことは勿論である。   The defect inspection apparatus 1 and the defect inspection method of the present invention are not limited to the above embodiment, and it goes without saying that various changes can be made without departing from the scope of the present invention.

上記実施形態において、合成する輝度画像が重なり合う領域が存在する場合は、該輝度画像の重なり合う領域の輝度値を加算した値を輝度値としていたが、この構成に限定されない。例えば、合成する輝度画像が重なり合う重合領域の輝度値の最大値を設定してもよい。   In the above embodiment, when there is a region in which the luminance images to be combined overlap, the luminance value is obtained by adding the luminance values of the overlapping regions of the luminance images, but the present invention is not limited to this configuration. For example, the maximum value of the luminance values of overlapping regions where the luminance images to be synthesized overlap may be set.

上記実施形態において、欠陥候補抽出手段4は、複数の低解像度画像を合成した合成画像を2値化するように構成されていたが、この構成に限定されない。例えば、欠陥候補抽出手段4は、一つの低解像度画像の輝度値の情報を反映させた画像を合成画像とし、該合成画像を2値化するように構成されていてもよい。   In the above embodiment, the defect candidate extraction unit 4 is configured to binarize a combined image obtained by combining a plurality of low resolution images, but the present invention is not limited to this configuration. For example, the defect candidate extraction unit 4 may be configured to use an image on which information on luminance values of one low resolution image is reflected as a composite image and to binarize the composite image.

上記実施形態では、式(1)により平均画像に設定する輝度差の値を算出していたが、この構成に限定されず、例えば、下式(2)により平均画像に設定する輝度差の値を算出してもよい。

Figure 2019100937
In the above embodiment, although the value of the luminance difference to be set to the average image is calculated by equation (1), the present invention is not limited to this configuration. For example, the value of the luminance difference to be set to the average image by the following equation (2) May be calculated.

Figure 2019100937

1…欠陥検査装置、2…画像取得手段、3…解像度変更手段、4…欠陥候補抽出手段、22…画像取得手段、30…分割領域設定手段、31…平均画像作成手段、32…輝度値設定手段、33…位相画像合成手段   DESCRIPTION OF SYMBOLS 1 ... Defect inspection apparatus, 2 ... Image acquisition means, 3 ... Resolution change means, 4 ... Defect candidate extraction means, 22 ... Image acquisition means, 30 ... Division area setting means, 31 ... Average image creation means, 32 ... Brightness value setting Means, 33 ... phase image synthesizing means

Claims (6)

検査対象を撮像した撮像画像に基づいて、該撮像画像よりも解像度を下げた低解像度画像を複数作成する解像度変更手段と、
該解像度変更手段で作成した複数の低解像度画像を合成した合成画像を作成して該合成画像から欠陥候補を抽出する欠陥候補抽出手段と、を備え、
前記解像度変更手段は、
撮像画像内での位相をずらしながら前記撮像画像に前記分割領域を設定する分割領域設定手段と、
該分割領域設定手段で前記分割領域を設定したときに前記分割領域内の各画素の輝度の平均値を1つの画素の輝度値とした平均画像を作成する平均画像作成手段と、
該平均画像作成手段で作成した平均画像に輝度値を設定して輝度画像を作成する輝度値設定手段と、
該輝度値設定手段で作成した輝度画像を複数枚合成して前記低解像度画像を作成する位相画像合成手段と、を有するとともに、
前記分割領域設定手段で設定する分割領域のサイズを変化させながら、前記平均画像作成手段と、前記輝度値設定手段と、前記位相画像合成手段とで解像度の異なる複数の前記低解像度画像を作成するように構成され、
前記欠陥候補抽出手段は、前記位相画像合成手段で作成した複数の前記低解像度画像を合成することにより、前記合成画像を作成するように構成される欠陥検査装置。
Resolution changing means for creating a plurality of low resolution images having a lower resolution than the captured image based on the captured image obtained by capturing an inspection object;
Defect candidate extracting means for generating a composite image obtained by combining the plurality of low resolution images created by the resolution changing means and extracting a defect candidate from the composite image;
The resolution changing means is
Division area setting means for setting the division area in the captured image while shifting the phase in the captured image;
An average image generation unit that generates an average image in which the average value of the luminance of each pixel in the divided area is set to the luminance value of one pixel when the divided area is set by the divided area setting unit;
Luminance value setting means for setting a luminance value to the average image created by the average image creation means to create a luminance image;
And phase image combining means for combining the plurality of brightness images created by the brightness value setting means to create the low resolution image.
The average image creating unit, the luminance value setting unit, and the phase image combining unit create a plurality of low resolution images having different resolutions while changing the size of the divided region set by the divided region setting unit. Configured as
The defect inspection apparatus, wherein the defect candidate extraction unit is configured to create the combined image by combining the plurality of low resolution images created by the phase image combining unit.
前記輝度値設定手段は、
前記平均画像に対して、
着目画素と、該着目画素の両側に隣接する一対の隣接画素とを抽出し、
前記着目画素の輝度値に対して、前記一対の隣接画素のそれぞれが共に明るい又は暗い場合にのみ輝度差に基づいて輝度値を設定し、それ以外の画素は輝度値を0に設定する請求項1に記載の欠陥検査装置。
The luminance value setting means
For the average image,
Extracting a pixel of interest and a pair of adjacent pixels adjacent to both sides of the pixel of interest;
The luminance value is set based on the luminance difference only when both of the pair of adjacent pixels are both bright or dark with respect to the luminance value of the pixel of interest, and the other pixels have the luminance value set to 0. The defect inspection device according to 1.
前記位相画像合成手段は、前記輝度画像を合成して正規化し、
前記欠陥候補抽出手段は、前記位相画像合成手段により正規化された複数の前記低解像度画像を合成して前記合成画像を作成する
請求項1又は請求項2に記載の欠陥検査装置。
The phase image synthesizing unit synthesizes and normalizes the luminance image.
The defect inspection apparatus according to claim 1, wherein the defect candidate extraction unit synthesizes the plurality of low resolution images normalized by the phase image synthesis unit to create the synthesized image.
検査対象を撮像した撮像画像に基づいて、該撮像画像よりも解像度を下げた低解像度画像を複数作成するステップと、
該低解像度画像を複数作成するステップで作成した複数の前記低解像度画像を合成した合成画像を作成して該合成画像から欠陥候補を抽出するステップと、を備え、
前記低解像度画像を複数作成するステップでは、
撮像画像内での位相をずらしながら前記撮像画像に分割領域を設定し、且つ該分割領域内の各画素の輝度の平均値を1つの画素の輝度値とした平均画像を作成する平均画像作成処理と、該平均画像作成処理で作成した平均画像について、輝度値を設定した輝度画像を作成する輝度値設定処理と、該輝度値設定処理で作成した各輝度画像を合成して前記低解像度画像を作成する位相画像合成処理とを、前記撮像画像に分割領域を設定する際に分割領域のサイズを変化させながら繰り返して実行することによって解像度の異なる複数の前記低解像度画像を作成するように構成され、
前記欠陥候補を抽出するステップでは、複数の前記低解像度画像を合成することにより、前記合成画像を作成するように構成される
欠陥検査方法。
Creating a plurality of low resolution images having a lower resolution than the captured image based on the captured image obtained by capturing the inspection object;
Creating a composite image combining the plurality of low resolution images created in the step of creating a plurality of low resolution images, and extracting a defect candidate from the composite image;
In the step of creating a plurality of low resolution images,
Average image creation processing for creating an average image in which divided areas are set in the captured image while shifting the phase in the captured image, and the average value of the luminance of each pixel in the divided area is the luminance value of one pixel And a luminance value setting process for generating a luminance image having a luminance value set for the average image generated in the average image generation process and each luminance image generated in the luminance value setting process to obtain the low resolution image A plurality of low resolution images having different resolutions are generated by repeatedly executing phase image synthesis processing to be created while changing the size of the divided area when setting the divided area in the captured image. ,
The defect inspection method is configured to create the combined image by combining the plurality of low resolution images in the step of extracting the defect candidate.
前記輝度値設定処理では、
前記平均画像に対して、着目画素と、該着目画素の両側に隣接する一対の隣接画素とを抽出し、
前記着目画素の画素値に対して、前記一対の隣接画素のそれぞれが共に明るい又は暗い場合にのみ輝度差に基づいて輝度値を設定し、それ以外の場合は輝度値を0に設定するように構成される
請求項4に記載の欠陥検査方法。
In the luminance value setting process,
Extracting a pixel of interest and a pair of adjacent pixels adjacent to both sides of the pixel of interest with respect to the average image;
The luminance value is set based on the luminance difference only when both of the pair of adjacent pixels are both bright or dark with respect to the pixel value of the pixel of interest, otherwise the luminance value is set to 0. The defect inspection method according to claim 4 configured.
前記位相画像合成処理は、前記輝度画像を合成して正規化し、
前記欠陥候補を抽出するステップでは、前記位相画像合成処理により正規化された複数の前記低解像度画像を合成して前記合成画像を作成する
請求項4又は請求項5に記載の欠陥検査方法。
The phase image synthesis process synthesizes and normalizes the luminance image.
The defect inspection method according to claim 4 or 5, wherein, in the step of extracting the defect candidate, the plurality of low resolution images normalized by the phase image synthesis process are synthesized to create the synthesized image.
JP2017234072A 2017-12-06 2017-12-06 Defect inspection device and defect inspection method Active JP6643301B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017234072A JP6643301B2 (en) 2017-12-06 2017-12-06 Defect inspection device and defect inspection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017234072A JP6643301B2 (en) 2017-12-06 2017-12-06 Defect inspection device and defect inspection method

Publications (2)

Publication Number Publication Date
JP2019100937A true JP2019100937A (en) 2019-06-24
JP6643301B2 JP6643301B2 (en) 2020-02-12

Family

ID=66976738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017234072A Active JP6643301B2 (en) 2017-12-06 2017-12-06 Defect inspection device and defect inspection method

Country Status (1)

Country Link
JP (1) JP6643301B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476797A (en) * 2020-03-19 2020-07-31 上海工程技术大学 Image segmentation method for overlapped craters in shot peening forming
WO2021210875A1 (en) * 2020-04-17 2021-10-21 삼성전자 주식회사 Electronic device for detecting defect in image on basis of difference among sub-images acquired by multiple photodiode sensor, and operation method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476797A (en) * 2020-03-19 2020-07-31 上海工程技术大学 Image segmentation method for overlapped craters in shot peening forming
CN111476797B (en) * 2020-03-19 2023-10-10 上海工程技术大学 Image segmentation method for overlapping pits in shot blasting forming
WO2021210875A1 (en) * 2020-04-17 2021-10-21 삼성전자 주식회사 Electronic device for detecting defect in image on basis of difference among sub-images acquired by multiple photodiode sensor, and operation method thereof

Also Published As

Publication number Publication date
JP6643301B2 (en) 2020-02-12

Similar Documents

Publication Publication Date Title
JP6088792B2 (en) Image detection apparatus, control program, and image detection method
AU2016225841B2 (en) Predicting accuracy of object recognition in a stitched image
US20120207379A1 (en) Image Inspection Apparatus, Image Inspection Method, And Computer Program
CN105718931B (en) System and method for determining clutter in acquired images
JP2016200970A (en) Main subject detection method, main subject detection device and program
JP2018045691A (en) Image viewpoint conversion device and method
JP6177541B2 (en) Character recognition device, character recognition method and program
JP2005172559A (en) Method and device for detecting line defect on panel
JP5772675B2 (en) Gray image edge extraction method, edge extraction device, and gray image edge extraction program
CN116503388A (en) Defect detection method, device and storage medium
JP6643301B2 (en) Defect inspection device and defect inspection method
JP6045429B2 (en) Imaging apparatus, image processing apparatus, and image processing method
JP2011227748A (en) Image processing apparatus, image processing method, image processing program, and defect detection apparatus
JP2005165387A (en) Method and device for detecting stripe defective of picture and display device
US20200013142A1 (en) Image processing apparatus, image processing method, and storage medium
JP2017085570A (en) Image correction method and image correction device
JP2019109710A (en) Image processing apparatus, image processing method, and program
JP2015184944A (en) Person detection device
JP2015176252A (en) Image processor and image processing method
US10380463B2 (en) Image processing device, setting support method, and non-transitory computer-readable media
JP2018109824A (en) Electronic control device, electronic control system, and electronic control method
JP6317413B1 (en) Image processing apparatus, image processing method, and image processing program
JP2008226176A (en) Thermal target tracking device and method
WO2023243202A1 (en) Image generation method and external appearance inspection device
JP2018200506A (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20181101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200106

R150 Certificate of patent or registration of utility model

Ref document number: 6643301

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250