JP2022123235A - Image inspection device, image inspection method, and learned model creation device - Google Patents
Image inspection device, image inspection method, and learned model creation device Download PDFInfo
- Publication number
- JP2022123235A JP2022123235A JP2021020407A JP2021020407A JP2022123235A JP 2022123235 A JP2022123235 A JP 2022123235A JP 2021020407 A JP2021020407 A JP 2021020407A JP 2021020407 A JP2021020407 A JP 2021020407A JP 2022123235 A JP2022123235 A JP 2022123235A
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection
- defective product
- label
- divided image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 320
- 238000000034 method Methods 0.000 title claims description 32
- 230000002950 deficient Effects 0.000 claims abstract description 345
- 230000007547 defect Effects 0.000 claims abstract description 98
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000004891 communication Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 21
- 238000003384 imaging method Methods 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013107 unsupervised machine learning method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像検査装置、画像検査方法及び学習済みモデル生成装置に関する。 The present invention relates to an image inspection apparatus, an image inspection method, and a trained model generation apparatus.
従来、対象物を撮影した画像に基づいて、当該対象物の検査を行う画像検査装置が知られている。 2. Description of the Related Art Conventionally, there has been known an image inspection apparatus that inspects an object based on a photographed image of the object.
例えば、特許文献1には、入力される判定対象画像データに基づいて異常を判定する異常判定を行う異常判定装置において、正常画像データ群から抽出される特徴量から正常画像データを再構成するための再構成用パラメータを用いて、判定対象画像データの特徴量から再構成画像データを生成し、生成した再構成画像データと該判定対象画像データとの差異情報に基づいて異常判定を行うための異常判定処理を実行する処理実行手段を有するものが記載されている。 For example, Japanese Patent Laid-Open No. 2002-200000 discloses an anomaly determination apparatus that performs an anomaly determination based on input image data to be determined. for generating reconstructed image data from the feature amount of the determination target image data using the reconstruction parameters of and performing abnormality determination based on difference information between the generated reconstructed image data and the determination target image data It has a process executing means for executing an abnormality determination process.
特許文献1の異常判定装置は、判定対象画像データが複数チャネルの画像データを含む場合、再構成用パラメータを用いて各チャネルの画像データの特徴量から再構成画像データをチャネルごとに生成し、生成した各再構成画像データと該判定対象画像データの各チャネルの画像データとの差異情報に基づいて異常判定を行っている。
When image data to be determined includes image data of a plurality of channels, the abnormality determination device of
ここで、従来、良品の対象物の良品画像を小さいサイズに分割して入力し、当該良品画像の特徴量を出力するように学習させた学習済みモデルを用い、特徴空間において、検査画像から抽出した特徴量と良品画像の特徴量とに基づいて、検査画像の欠陥を検出する方法があった。 Here, conventionally, a non-defective product image of a non-defective object is divided into small sizes and input, and a trained model trained to output the feature amount of the non-defective product image is extracted from the inspection image in the feature space. There has been a method of detecting defects in an inspection image based on the feature amount obtained by the inspection and the feature amount of the non-defective product image.
しかしながら、良品画像に特殊パターンが局所的に存在する場合、この特殊パターンを含む良品画像の特徴量が、特徴空間において、他の良品画像の特徴量群から離れた位置にプロットされてしまい、特殊パターンを含む対象物を不良品として検出してしまうことがあった。 However, when a special pattern locally exists in a non-defective image, the feature amount of the non-defective image including this special pattern is plotted at a position distant from the feature amount group of other non-defective image in the feature space. An object including a pattern may be detected as a defective product.
また、別の良品画像が、ある位置では良品である一方、別の位置では不良品であるパターンを含む場合、このようなパターンを当該別の位置に含む検査画像の特徴量が、特徴空間において、良品画像の特徴量群の近くにプロットされてしまい、不良品を見逃してしまうことがあった。 In addition, when another non-defective product image includes a pattern that is a non-defective product at one position and a defective product at another position, the feature amount of the inspection image that includes such a pattern at the other position is , is plotted near the group of feature values of non-defective product images, and defective products may be overlooked.
本発明は、このような事情に鑑みてなされたものであり、良品画像の特徴量に対し、特殊パターンを含む検査画像の特徴量を近くにプロットするとともに、不良品の検査画像の特徴量を遠くにプロットすることができる画像検査装置、画像検査方法、及び学習済みモデル生成装置を提供することを目的の1つとする。 The present invention has been made in view of such circumstances, and plots the feature amount of an inspection image containing a special pattern close to the feature amount of a non-defective product image, and plots the feature amount of an inspection image of a defective product. One of the objects is to provide an image inspection device, an image inspection method, and a learned model generation device that can plot at a distance.
本発明の一態様に係る画像検査装置は、良品の検査対象物の分割画像である良品分割画像、及び当該良品分割画像に対応するラベル情報の画像である良品ラベル画像を入力とし、良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査対象物の分割画像である検査分割画像、及び当該検査分割画像に対応するラベル情報の画像である検査ラベル画像を入力し、検査分割画像の特徴量を抽出する抽出部と、抽出された検査分割画像の特徴量、及び学習時に出力された良品分割画像の特徴量により形成される特徴空間に基づいて、検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得部と、取得された欠陥度合いに基づいて、検査対象物を検査する検査部と、を備え、良品ラベル画像又は検査ラベル画像を学習済みモデルに入力する際に、当該良品ラベル画像又は当該検査ラベル画像を良品分割画像又は検査分割画像とは異なるチャネルに入力する。 An image inspection apparatus according to an aspect of the present invention receives as inputs a non-defective product divided image that is a divided image of a non-defective product to be inspected and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image. An inspection divided image that is a divided image of an object to be inspected and an inspection label image that is an image of label information corresponding to the inspection divided image are input to a trained model trained to output the feature amount of the inspection Based on a feature space formed by an extraction unit that extracts the feature amount of the divided image, the feature amount of the extracted inspection divided image, and the feature amount of the non-defective divided image output during learning, defects in the inspection divided image are detected. An acquisition unit that acquires a defect degree indicating a degree of defect, and an inspection unit that inspects an inspection object based on the acquired defect degree, and when a non-defective product label image or an inspection label image is input to a learned model, , the non-defective product label image or the inspection label image is input to a channel different from the non-defective product divided image or the inspection divided image.
この態様によれば、良品分割画像と良品ラベル画像とを入力として良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査分割画像と検査ラベル画像とを入力し、検査分割画像の特徴量を抽出させることができる。このとき、学習済みモデルに良品ラベル画像又は検査ラベル画像を入力する際に、当該良品ラベル画像又は当該検査ラベル画像を良品分割画像又は検査分割画像とは異なるチャネルに入力する。そして、学習済みモデルから抽出された検査分割画像の特徴量と、学習時に出力された複数の良品分割画像の特徴量により形成される特徴空間とに基づいて、検査分割画像の欠陥度合いを取得し、その欠陥度合いに基づいて、検査対象物を検査することができるため、検査対象物の検査精度を高めることが可能となる。 According to this aspect, the inspection divided image and the inspection label image are input to the trained model trained to output the feature amount of the non-defective product divided image by inputting the non-defective product divided image and the non-defective product label image, and the inspection division is performed. A feature amount of an image can be extracted. At this time, when inputting the non-defective product label image or the inspection label image to the learned model, the non-defective product label image or the inspection label image is input to a channel different from the non-defective product divided image or the inspection divided image. Then, the defect degree of the inspection divided image is acquired based on the feature amount of the inspection divided image extracted from the trained model and the feature space formed by the feature amount of the plurality of non-defective product divided images output during learning. Since the object to be inspected can be inspected based on the degree of defect, it is possible to improve the inspection accuracy of the object to be inspected.
ここで、学習済みモデルは、良品ラベル画像に基づいて各良品分割画像に特有のパターンを学習することができ、特徴空間において、各良品分割画像の特徴量が示す点は、良品画像において同じ位置にある他の良品分割画像の特徴量によって形成される集合の近くにプロットされる。したがって、特徴空間において、特殊パターンを含む検査分割画像の特徴量が示す点を、当該検査分割画像に対応する複数の良品分割画像の特徴量が形成する集合の近くにプロットすることができ、その結果欠陥の程度が小さい欠陥度合いを取得して良品と判定することが可能となる。また、学習済みモデルは、良品ラベル画像に基づいて良品画像における位置によって異なる判別基準を学習することができ、特徴空間において、各良品分割画像に対応する特徴量が示す点の集合を、良品画像における良品分割画像の位置ごとに異なる範囲、領域に集めることができる。したがって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の検査分割画像の特徴量が示す点を、当該別の位置の複数の良品分割画像の特徴量が形成する集合に対して遠くにプロットすることができ、その結果欠陥の程度が大きい欠陥度合いを取得して不良品と判定することが可能となる。 Here, the trained model can learn a pattern specific to each non-defective product segmented image based on the non-defective product label image. is plotted near the set formed by the features of the other good segmented images in . Therefore, in the feature space, the point indicated by the feature amount of the inspection divided image including the special pattern can be plotted near the set formed by the feature amounts of the plurality of non-defective product divided images corresponding to the inspection divided image. As a result, it becomes possible to acquire the degree of defect with a small degree of defect and determine that the product is non-defective. In addition, the trained model can learn discrimination criteria that differ depending on the position in the non-defective product image based on the non-defective product label image. can be collected in different ranges and regions for each position of the non-defective divided images in . Therefore, in the feature space, the point indicated by the feature amount of the inspection division image at another position, which includes a pattern that is good at one position but is defective at another position, is defined as a plurality of good product divisions at that other position. It is possible to plot a set far from the set formed by the feature amount of the image, and as a result, it is possible to obtain the degree of defect with a large degree of defect and determine it as a defective product.
上記態様において、良品ラベル画像及び検査ラベル画像は、ラベル情報に含まれるラベルを識別する値ごとに異なる濃度値を有する画像、及びラベルを識別する値ごとに異なるパターンを有する画像のいずれかであってもよい。 In the above aspect, the non-defective label image and the inspection label image are either an image having different density values for each label identifying value included in the label information, or an image having different patterns for each label identifying value. may
この態様によれば、良品画像における良品分割画像の位置、又は検査画像における検査分割画像の位置ごとに、濃度値又はパターンが相互に異なる良品ラベル画像又は検査ラベル画像を分布させることが可能になる。 According to this aspect, it is possible to distribute non-defective product label images or inspection label images having mutually different density values or patterns for each position of a non-defective product divided image in the non-defective product image or for each position of the inspection divided image in the inspection image. .
上記態様において、取得部は、検査分割画像の特徴量と特徴空間を形成する良品分割画像の特徴量との間の距離に基づいて、検査分割画像の欠陥度合いを取得してもよい。 In the above aspect, the acquisition unit may acquire the degree of defect of the inspection divided image based on the distance between the feature amount of the inspection divided image and the feature amount of the non-defective product divided image forming the feature space.
この態様によれば、特徴量に対応する検査分割画像の欠陥度合いは、特徴空間における、特徴量が示す点と、複数の良品分割画像に対応する特徴量によって形成される集合と、の間の距離に基づいて取得される。これにより、検査分割画像の欠陥の程度を容易に示すことが可能になる。 According to this aspect, the defect degree of the inspection divided image corresponding to the feature amount is the point in the feature space indicated by the feature amount and the set formed by the feature amounts corresponding to the plurality of non-defective product divided images. Obtained based on distance. This makes it possible to easily indicate the degree of defects in the inspection divided image.
上記態様において、取得部は、検査分割画像の特徴量と、特徴空間を形成する良品分割画像の特徴量のうち検査分割画像の特徴量との間の距離が最も近い良品分割画像の特徴量と、に基づいて、検査分割画像の欠陥度合いを取得してもよい。 In the above aspect, the obtaining unit obtains the feature amount of the non-defective divided image having the closest distance between the feature amount of the inspection divided image and the feature amount of the non-defective divided image among the feature amounts of the non-defective divided image forming the feature space. , the defect degree of the inspection divided image may be obtained based on .
この態様によれば、特徴量に対応する検査分割画像の欠陥度合いは、特徴空間における、特徴量が示す点と、複数の良品分割画像に対応する特徴量のうち検査分割画像に対応する特徴量との間の距離が最も近い良品分割画像に対応する特徴量と、の間の距離に基づいて取得される。これにより、検査分割画像の欠陥の程度を容易に示すことが可能になる。 According to this aspect, the defect degree of the inspection divided image corresponding to the feature amount is determined by the point indicated by the feature amount in the feature space and the feature amount corresponding to the inspection divided image among the feature amounts corresponding to the plurality of non-defective product divided images. is acquired based on the distance between the feature quantity corresponding to the non-defective divided image with the closest distance between and. This makes it possible to easily indicate the degree of defects in the inspection split image.
上記態様において、検査部は、複数の欠陥度合いに基づいて欠陥度合い画像を生成し、欠陥度合い画像に基づいて検査対象物を検査してもよい。 In the above aspect, the inspection unit may generate a defect degree image based on a plurality of defect degrees, and inspect the inspection object based on the defect degree image.
この態様によれば、検査対象物が良品であるか不良品であるかを容易に判定することができ、検査精度の高い検査を容易に実現することが可能になる。 According to this aspect, it is possible to easily determine whether an object to be inspected is a non-defective product or a defective product, and it is possible to easily realize an inspection with high inspection accuracy.
上記態様において、良品の検査対象物に含まれる複数の良品分割画像を用いて学習モデルを学習させ、学習済みモデルを生成する学習部をさらに備えることとしてもよい。 The above aspect may further include a learning unit that learns a learning model using a plurality of non-defective product divided images included in the non-defective product inspection object and generates a trained model.
この態様によれば、学習済みモデル生成装置がなくても、学習済みモデルを得ることが可能になる。 According to this aspect, a trained model can be obtained without a trained model generation device.
本発明の他の態様に係る画像検査方法は、良品の検査対象物の分割画像である良品分割画像、及び当該良品分割画像に対応するラベル情報の画像である良品ラベル画像を入力とし、良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査対象物の分割画像である検査分割画像、及び当該検査分割画像に対応するラベル情報の画像である検査ラベル画像を入力し、検査分割画像の特徴量を抽出する抽出ステップと、抽出された検査分割画像の特徴量、及び学習時に出力された良品分割画像の特徴量により形成される特徴空間に基づいて、検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得ステップと、取得された欠陥度合いに基づいて、検査対象物を検査する検査ステップと、を含み、良品ラベル画像又は検査ラベル画像を学習済みモデルに入力する際に、当該良品ラベル画像又は当該検査ラベル画像を良品分割画像又は検査分割画像とは異なるチャネルに入力する。 An image inspection method according to another aspect of the present invention receives as input a non-defective product divided image that is a divided image of a non-defective product inspection object and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image, and divides a non-defective product. inputting an inspection divided image that is a divided image of an object to be inspected and an inspection label image that is an image of label information corresponding to the inspection divided image into a trained model that has been trained to output image feature values; Based on the feature space formed by the extraction step of extracting the feature amount of the inspection divided image, the feature amount of the extracted inspection divided image, and the feature amount of the non-defective product divided image output during learning, defects in the inspection divided image are detected. and an inspection step of inspecting the inspection object based on the acquired defect degree, when inputting a good product label image or an inspection label image to a trained model Secondly, the non-defective product label image or the inspection label image is input to a channel different from the non-defective product divided image or the inspection divided image.
この態様によれば、良品分割画像と良品ラベル画像とを入力として良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査分割画像と検査ラベル画像とを入力し、検査分割画像の特徴量を抽出させることができる。このとき、学習済みモデルに良品ラベル画像又は検査ラベル画像を入力する際に、当該良品ラベル画像又は当該検査ラベル画像を良品分割画像又は検査分割画像とは異なるチャネルに入力する。そして、学習済みモデルから抽出された検査分割画像の特徴量と、学習時に出力された複数の良品分割画像の特徴量により形成される特徴空間とに基づいて、検査分割画像の欠陥度合いを取得し、その欠陥度合いに基づいて、検査対象物を検査することができるため、検査対象物の検査精度を高めることが可能となる。 According to this aspect, the inspection divided image and the inspection label image are input to the trained model trained to output the feature amount of the non-defective product divided image by inputting the non-defective product divided image and the non-defective product label image, and the inspection division is performed. A feature amount of an image can be extracted. At this time, when inputting the non-defective product label image or the inspection label image to the learned model, the non-defective product label image or the inspection label image is input to a channel different from the non-defective product divided image or the inspection divided image. Then, the defect degree of the inspection divided image is acquired based on the feature amount of the inspection divided image extracted from the trained model and the feature space formed by the feature amount of the plurality of non-defective product divided images output during learning. Since the object to be inspected can be inspected based on the degree of defect, it is possible to improve the inspection accuracy of the object to be inspected.
ここで、学習済みモデルは、良品ラベル画像に基づいて各良品分割画像に特有のパターンを学習することができ、特徴空間において、各良品分割画像の特徴量が示す点は、良品画像において同じ位置にある他の良品分割画像の特徴量によって形成される集合の近くにプロットされる。したがって、特徴空間において、特殊パターンを含む検査分割画像の特徴量が示す点を、当該検査分割画像に対応する複数の良品分割画像の特徴量が形成する集合の近くにプロットすることができ、その結果欠陥の程度が小さい欠陥度合いを取得して良品と判定することが可能となる。また、学習済みモデルは、良品ラベル画像に基づいて良品画像における位置によって異なる判別基準を学習することができ、特徴空間において、各良品分割画像に対応する特徴量が示す点の集合を、良品画像における良品分割画像の位置ごとに異なる範囲、領域に集めることができる。したがって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の検査分割画像の特徴量が示す点を、当該別の位置の複数の良品分割画像の特徴量が形成する集合に対して遠くにプロットすることができ、その結果欠陥の程度が大きい欠陥度合いを取得して不良品と判定することが可能となる。 Here, the trained model can learn a pattern specific to each non-defective product segmented image based on the non-defective product label image. is plotted near the set formed by the features of the other good segmented images in . Therefore, in the feature space, the point indicated by the feature amount of the inspection divided image including the special pattern can be plotted near the set formed by the feature amounts of the plurality of non-defective product divided images corresponding to the inspection divided image. As a result, it becomes possible to acquire the degree of defect with a small degree of defect and determine that the product is non-defective. In addition, the trained model can learn discrimination criteria that differ depending on the position in the non-defective product image based on the non-defective product label image. can be collected in different ranges and regions for each position of the non-defective divided images in . Therefore, in the feature space, the point indicated by the feature amount of the inspection division image at another position, which includes a pattern that is good at one position but is defective at another position, is defined as a plurality of good product divisions at that other position. It is possible to plot a set far from the set formed by the feature amount of the image, and as a result, it is possible to obtain the degree of defect with a large degree of defect and determine it as a defective product.
本発明の他の態様に係る学習済みモデル生成装置は、良品の検査対象物の分割画像である良品分割画像、及び当該良品分割画像に対応するラベル情報の画像である良品ラベル画像を入力とし、良品分割画像の特徴量を出力するように学習させた学習済みモデルを生成するモデル生成部を備える。 A learned model generating apparatus according to another aspect of the present invention receives as input a non-defective product divided image that is a divided image of a non-defective product inspection object and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image, A model generating unit that generates a trained model that is trained to output a feature amount of a non-defective divided image is provided.
この態様によれば、良品分割画像と良品ラベル画像とを入力として良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査分割画像と検査ラベル画像とを入力し、検査分割画像の特徴量を抽出させることができる。このとき、学習済みモデルに良品ラベル画像又は検査ラベル画像を入力する際に、当該良品ラベル画像又は当該検査ラベル画像を良品分割画像又は検査分割画像とは異なるチャネルに入力する。学習済みモデルは、良品ラベル画像に基づいて各良品分割画像に特有のパターンを学習することができ、特徴空間において、各良品分割画像の特徴量が示す点は、良品画像において同じ位置にある他の良品分割画像の特徴量によって形成される集合の近くにプロットされる。したがって、特徴空間において、特殊パターンを含む検査分割画像の特徴量が示す点を、当該検査分割画像に対応する複数の良品分割画像の特徴量が形成する集合の近くにプロットすることができる。また、学習済みモデルは、良品ラベル画像に基づいて良品画像における位置によって異なる判別基準を学習することができ、特徴空間において、各良品分割画像に対応する特徴量が示す点の集合を、良品画像における良品分割画像の位置ごとに異なる範囲、領域に集めることができる。したがって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の検査分割画像の特徴量が示す点を、当該別の位置の複数の良品分割画像の特徴量が形成する集合に対して遠くにプロットすることができる。 According to this aspect, the inspection divided image and the inspection label image are input to the trained model trained to output the feature amount of the non-defective product divided image by inputting the non-defective product divided image and the non-defective product label image, and the inspection division is performed. A feature amount of an image can be extracted. At this time, when inputting the non-defective product label image or the inspection label image to the learned model, the non-defective product label image or the inspection label image is input to a channel different from the non-defective product divided image or the inspection divided image. The trained model can learn a pattern specific to each non-defective product divided image based on the non-defective product label image. is plotted near the set formed by the features of the good segmented images of . Therefore, in the feature space, the point indicated by the feature amount of the inspection divided image including the special pattern can be plotted near the set formed by the feature amounts of the plurality of non-defective product divided images corresponding to the inspection divided image. In addition, the trained model can learn discrimination criteria that differ depending on the position in the non-defective product image based on the non-defective product label image. can be collected in different ranges and regions for each position of the non-defective divided images in . Therefore, in the feature space, the point indicated by the feature amount of the inspection division image at another position, which includes a pattern that is good at one position but is defective at another position, is defined as a plurality of good product divisions at that other position. It can be plotted far relative to the set formed by the image features.
本発明によれば、良品画像の特徴量に対し、特殊パターンを含む良品画像の特徴量を近くにプロットするとともに、不良品の検査画像の特徴量を遠くにプロットすることができる画像検査装置、画像検査方法及び学習済みモデル生成装置を提供することができる。 According to the present invention, an image inspection apparatus capable of plotting the feature amount of a non-defective product image containing a special pattern closer to the feature amount of a non-defective product image and plotting the feature value of an inspection image of a defective product farther away, It is possible to provide an image inspection method and a trained model generation device.
以下に本発明の実施形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号で表している。但し、図面は模式的なものである。従って、具体的な寸法等は以下の説明を照らし合わせて判断するべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。さらに、本発明の技術的範囲は、当該実施形態に限定して解するべきではない。 Embodiments of the present invention are described below. In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals. However, the drawings are schematic. Therefore, specific dimensions and the like should be determined by referring to the following description. In addition, it goes without saying that there are portions with different dimensional relationships and ratios between the drawings. Furthermore, the technical scope of the present invention should not be construed as being limited to this embodiment.
添付図面を参照して、本発明の好適な実施形態について説明する。 Preferred embodiments of the present invention will be described with reference to the accompanying drawings.
図1は、本発明の一実施形態に係る画像検査システム1の概略構成図である。画像検査システム1は、画像検査装置20及び照明25を含む。照明25は、検査対象物30に光Lを照射する。画像検査装置20は、反射光Rを撮影し、検査対象物30の画像(以下、「検査画像」ともいう。)に基づいて、検査対象物30の検査を行う。画像検査装置20は、通信ネットワーク15を介して、学習済みモデル生成装置10に接続されている。学習済みモデル生成装置10は、画像検査装置20が検査対象物30の検査を行うために用いる学習済みモデルを生成する。
FIG. 1 is a schematic configuration diagram of an
図2は、本実施形態に係る学習済みモデル生成装置10の構成を示す機能ブロック図である。学習済みモデル生成装置10は、例えば、記憶部100、学習部110及び通信部120を備える。
FIG. 2 is a functional block diagram showing the configuration of the trained
記憶部100は、各種の情報を記憶する。本実施形態において、記憶部100は、例えば、良品画像40、ラベル画像候補45、学習用画像50、学習済みモデル65及び特徴量70を記憶する。良品画像40は、良品の検査対象物の画像である。ラベル画像候補45は、後述する良品ラベル画像及び検査ラベル画像の候補となる画像を記憶するテーブルである。学習用画像50は、モデルの学習用に入力する画像である。学習済みモデル65は、後述する学習部110により生成されるモデルである。特徴量70は、学習済みモデル65から出力されるデータである。
The
学習部110は、例えば、学習用画像生成部111及びモデル生成部112を備える。
The
学習用画像生成部111は、モデル生成部112が学習処理を行うために用いる学習用画像50を生成する。学習用画像50には、良品画像40を分割した良品分割画像と、その良品分割画像に対応するラベル情報の画像(以下、「良品ラベル画像」という。)とが含まれる。図3を参照して、良品分割画像及びラベル情報について説明する。
The learning image generation unit 111 generates a learning
学習用画像生成部111は、記憶部100から良品画像40を取得し、その良品画像40を分割することにより複数の良品分割画像400、402、404、・・・を生成する。本実施形態において、学習用画像生成部111は、良品画像40を縦及び横にそれぞれ4分割することにより、計16個の良品分割画像を生成する。なお、良品画像40は、2から15個の良品分割画像に分割されてもよいし、17個以上の良品分割画像に分割されてもよい。
The learning image generation unit 111 acquires the
学習用画像生成部111は、複数の良品分割画像のそれぞれにラベル情報を付与し、良品分割画像及びラベル情報により構成される複数のデータセットを生成する。学習用画像生成部111は、予め指定されたアルゴリズムに基づきラベル情報を良品分割画像に付与してもよいし、ユーザの操作に基づいてラベル情報を良品分割画像に付与してもよい。 The learning image generation unit 111 assigns label information to each of the plurality of non-defective product divided images, and generates a plurality of data sets configured by the non-defective product divided images and the label information. The learning image generation unit 111 may assign label information to the non-defective product divided image based on a predetermined algorithm, or may assign label information to the non-defective product divided image based on the user's operation.
例えば、互いに異なる複数の良品画像のそれぞれについて、良品分割画像が生成されているとする。この場合、生成された良品分割画像のうち、良品画像における位置が互いに一致する良品分割画像の全てに、同一のラベル情報を付与する。 For example, assume that a non-defective divided image is generated for each of a plurality of non-defective product images that are different from each other. In this case, among the generated non-defective product divided images, all the non-defective product divided images whose positions in the non-defective product image match each other are given the same label information.
学習用画像生成部111は、良品分割画像にラベル情報を付与すると、どの位置の良品分割画像にどのラベル情報を付与したのかを示す情報を、記憶部100に記憶させることとしてもよい。
After assigning the label information to the non-defective product divided images, the learning image generation unit 111 may cause the
例えば、図3の良品分割画像400には、ラベル情報(A)が付与され、良品分割画像400及びラベル情報(A)が1組のデータセットとして記憶される。同様にして、学習用画像生成部111は、良品分割画像402及びラベル情報(B)のデータセット、並びに良品分割画像404及びラベル情報(C)のデータセット等、16個の良品分割画像のそれぞれに基づくデータセットを生成して記憶させる。
For example, the non-defective product divided
ここで、図4及び図5を参照して、学習用画像生成部111が良品分割画像に付与するラベル情報の具体例を説明する。図4は、良品画像40の一例を示す図である。図4に示す良品画像40は、4つのパターン(第1パターン402、第2パターン404、第3パターン406及び第4パターン408)が含まれている。また、図4に示す良品画像40は、縦及び横にそれぞれ4分割されており、合計16個の良品分割画像に分割されている。
Here, a specific example of the label information that the learning image generation unit 111 assigns to the non-defective divided images will be described with reference to FIGS. 4 and 5. FIG. FIG. 4 is a diagram showing an example of a
図5は、16個の良品分割画像のそれぞれに付与されるラベル情報の一例を示す図である。なお、図5では、図4に示した4つのパターンを省略して示している。また、図5の良品分割画像に示されている数字は、ラベルを識別する値(以下、「ラベル識別値」という。)であり、ラベル情報に含まれるデータである。 FIG. 5 is a diagram showing an example of label information assigned to each of 16 non-defective divided images. 5, the four patterns shown in FIG. 4 are omitted. Also, the numbers shown in the non-defective product divided image in FIG. 5 are values for identifying labels (hereinafter referred to as “label identification values”), and are data included in label information.
図5に示す良品画像40では、ラスタスキャンの順番で、16個の良品分割画像のそれぞれにラベル情報が付与されている。すなわち、図5に示す良品画像40では、矢印で示した順番に、16個の良品分割画像のそれぞれに、0から15までのラベル識別値が付与されている。例えば、一番上の行の4つの良品分割画像のそれぞれには、左端の良品分割画像420から順番に、0から3までのラベル識別値が付与されている。また、一番上から2番目の行の4つの良品分割画像のそれぞれには、一番左側の良品分割画像422から順番に、4から7までのラベル識別値が付与されている。さらに、一番上から3番目及び4番目の行にある8つの良品分割画像には、8から15までのラベル識別値が矢印の順番で付与されている。
In the
なお、ここでは、一番上の左端の良品分割画像420をラベル識別値が0となる開始の良品分割画像として説明したが、いずれの良品分割画像を開始の良品分割画像としてもよい。また、ラベル識別値の数値は、ラスタスキャンの順番に限らず、いかなる順番で良品分割画像に付与してもよい。
Here, although the good product divided
学習用画像生成部111は、データセットを構成するラベル情報に基づいて、良品分割画像に対応する良品ラベル画像を選定する。具体的に、学習用画像生成部111は、ラベル情報に含まれるラベル識別値を用いてラベル画像候補45を参照し、ラベル識別値に対応するラベル画像を抽出することにより、良品ラベル画像を選定する。
The learning image generation unit 111 selects a non-defective product label image corresponding to the non-defective product divided image based on the label information forming the data set. Specifically, the learning image generation unit 111 refers to the
図6A及び図6Bを参照して、ラベル画像候補45の一例について説明する。図6Aは、ラベル識別値ごとに異なる濃度値を有するラベル画像を、ラベル画像の候補として設定したテーブルの概念図である。同図に示すラベル画像の各候補は、それぞれ一様濃度の画像であり、ラベル識別値が異なると、異なる濃度になるように画像の濃度値が設定されている。
An example of the
図6Bは、ラベル識別値ごとに異なるパターンを有するラベル画像を、ラベル画像の候補として設定したテーブルの概念図である。同図に示すラベル画像の各候補は、ラベル識別値が異なると、異なるパターンになるように画像のパターンが設定されている。 FIG. 6B is a conceptual diagram of a table in which label images having different patterns for each label identification value are set as label image candidates. The candidate label images shown in FIG. 4 are set to have different image patterns for different label identification values.
ラベル画像候補45に設定するラベル画像は、濃度値やパターンが相互に異なる画像に限定されず、例えば、色相や明度、彩度等が相互に異なる画像であってもよい。
The label images to be set as the
学習用画像生成部111は、良品分割画像とその良品分割画像に対応する良品ラベル画像との組み合わせを学習用画像50として記憶部100に記憶させる。これにより、良品画像40を構成する複数の良品分割画像に対応する学習用画像50を記憶させることができる。
The learning image generating unit 111 stores the combination of the non-defective product divided image and the non-defective product label image corresponding to the non-defective product divided image in the
このような学習用画像50を記憶させることで、良品画像40を構成する各良品分割画像を、互いに濃度値又はパターンが異なる良品ラベル画像のいずれかと組み合わせて記憶させることができる。つまり、複数の良品分割画像により構成される良品画像40の濃度分布又はパターン分布を、良品分割画像の位置ごとに異なる濃度又はパターンによって表現することが可能となる。
By storing such a
図2に示すモデル生成部112は、学習用画像50を用いて学習処理を実行し、学習済みモデル65を生成する。学習済みモデル65は、例えば、良品画像40を構成する複数の良品分割画像それぞれに対応する学習用画像50を入力とし、各良品分割画像の特徴量をそれぞれ出力するモデルである。
The
モデル生成部112は、良品ラベル画像を学習済みモデル65に入力する際に、当該良品ラベル画像を良品分割画像とは異なるチャネルに入力する。良品分割画像のチャネル数及び良品ラベル画像のチャネル数は、適宜指定できるようにする。
When inputting the non-defective product label image to the trained
具体的に、良品分割画像又は良品ラベル画像が複数チャネルの画像データを含む場合には、良品分割画像のチャネル数又は良品ラベル画像のチャネル数も複数チャネルに指定し、良品分割画像又は良品ラベル画像が単一チャネルの画像データを含む場合には、良品分割画像のチャネル数又は良品ラベル画像のチャネル数も単一チャネルに指定することが望ましい。 Specifically, when the non-defective product divided image or the non-defective product label image includes image data of a plurality of channels, the number of channels of the non-defective product divided image or the number of channels of the non-defective product label image is also designated as a plurality of channels, and the non-defective product divided image or the non-defective product label image contains single-channel image data, it is desirable to specify that the number of channels of the good split image or the number of channels of the good label image is also single-channel.
例えば、良品分割画像又は良品ラベル画像がRGBのカラー画像である場合には、3つのチャネルを指定し、良品分割画像又は良品ラベル画像がグレースケール画像である場合には、1つのチャネルを指定することができる。 For example, if the non-defective product divided image or the non-defective product label image is an RGB color image, three channels are designated, and if the non-defective product divided image or the non-defective product label image is a grayscale image, one channel is designated. be able to.
図7に例示するように、モデル生成部112が学習済みモデル65を生成するために用いる学習モデル60は、例えば、ニューラルネットワークの1つであり、教師なし機械学習の手法の1つでもあるオートエンコーダを用いることができる。オートエンコーダは、入力層601と、出力層605と、入力層601と出力層605との間に配置されている中間層603と、を含んでいる。
As illustrated in FIG. 7, the
なお、学習モデル60は、オートエンコーダに限定されるものではない。学習モデル60は、例えば、PCA(Principal Component Analysis)を用いたモデルであってもよい。また、中間層603は、1層である場合に限定されず、2層以上であってもよい。
Note that the
入力層601及び出力層605は、それぞれ、2つのチャネルを有している。具体的には、入力層601は第1入力チャネル601a及び第2入力チャネル601bを有し、出力層605は、第1出力チャネル605a及び第2出力チャネル605bを有する。良品分割画像と対応する良品ラベル画像とは、それぞれ、異なるチャネルに入力される。例えば、第1入力チャネル601aに良品分割画像が入力され、第2入力チャネル601bに良品ラベル画像が入力される。入力層601に入力された良品分割画像及び良品ラベル画像は、中間層603において画像の次元が削減され、出力層605において次元が戻されて出力される。具体的には、第1出力チャネル605aから良品分割画像に対応する出力良品分割画像が出力され、第2出力チャネル605bから良品ラベル画像に対応する出力良品ラベル画像が出力される。
オートエンコーダは、良品分割画像と出力良品分割画像との間の差分(以下、「第1差分」ともいう)及び良品ラベル画像と出力良品ラベル画像との間の差分(以下、「第2差分」ともいう)の合計が最小となるように、重み(係数ともいう)を学習する。より詳細には、円形状で表される各ノードは、線で表される各エッジにおいて固有の重み付けを行い、重み付けされた値が次の層のノードに入力される。この重み付けにおける重みを学習することで、第1差分と第2差分との合計が最小になる。この学習によって、中間層603から特徴量を出力することが可能となる。
The autoencoder detects the difference between the non-defective product divided image and the output non-defective product divided image (hereinafter also referred to as the "first difference") and the difference between the non-defective product label image and the output non-defective product label image (hereinafter referred to as the "second difference"). weights (also called coefficients) are learned so that the sum of More specifically, each node, represented by a circle, has a unique weighting at each edge, represented by a line, and the weighted values are input to the nodes of the next layer. Learning the weight in this weighting minimizes the sum of the first difference and the second difference. Through this learning, it becomes possible to output the feature amount from the
本実施形態において、良品分割画像400を入力するチャネルと、良品ラベル画像450を入力するチャネルとは、それぞれ異なるチャネルにより構成される。良品分割画像400用のチャネルのチャネル数及び良品ラベル画像450用のチャネルのチャネル数は、それぞれの画像データのチャネル数に合わせて適宜指定することができる。
In this embodiment, the channel for inputting the non-defective product divided
ここで、特徴量は、求めたい事物の特徴を定量的に表した変数である。出力層605から出力される特徴量は、例えば良品分割画像であることを特徴付けるものであり、具体的には良品分割画像が有する濃淡の配列、良品分割画像における輝度、赤単体、緑単体、青単体、又は赤・緑・青(RGB)のヒストグラム等が挙げられる。一般に、良品分割画像は、1種類の特徴量で認識されるよりも、複数種類の特徴量を用いて認識されることが多い。
Here, the feature amount is a variable that quantitatively expresses the feature of the thing to be obtained. The feature amount output from the
特徴量は、例えば、複数の特徴量を成分とするベクトル(以下、「特徴ベクトル」ともいう。)により表現することができる。本実施形態では、例示的に特徴量をベクトルにより表現する場合について説明するが、これに限定されず、特徴量を、スカラー、行列、テンソルにより表現してもよい A feature amount can be represented, for example, by a vector (hereinafter also referred to as a "feature vector") having a plurality of feature amounts as components. In this embodiment, a case where the feature amount is represented by a vector will be described as an example, but the present invention is not limited to this, and the feature amount may be represented by a scalar, matrix, or tensor.
特徴量の数(個数)は、特徴量の次元(次元数)を表す。特徴量により形成される空間は、特徴空間と呼ばれ、1つの特徴量は特徴空間上の1点として表される。 The number (number) of feature amounts represents the dimension (number of dimensions) of the feature amount. A space formed by feature quantities is called a feature space, and one feature quantity is represented as one point on the feature space.
本実施形態において、学習モデル60への入力は、例えば良品分割画像及び良品ラベル画像であり、学習モデル60の中間層603からの出力は、その良品分割画像の特徴量である。また、良品分割画像を入力するチャネルと、良品ラベル画像を入力するチャネルとは異なる。
In this embodiment, the input to the
例えば、図4の良品画像40のための学習済みモデル65を生成する場合、学習モデル60には、良品画像40に基づいて生成された、良品分割画像及び良品ラベル画像の組合せが入力される。そして、学習モデル60は、良品分割画像ごとに、その良品分割画像と同じ位置に配置されている複数の良品分割画像の特徴量を示す点の集まりが、特徴空間において近い距離にプロットされるように、各重みを学習する。これにより、良品分割画像の特徴量を出力する学習済みモデル65が生成される。
For example, when generating the trained
このように、モデル生成部112は、良品分割画像とその良品分割画像に対応する良品ラベル画像を学習モデル60に入力し、学習モデル60を学習させることで、学習済みモデル65を生成する。
In this way, the
学習済みモデル65は、良品画像における位置を特定するための良品ラベル画像及びその良品ラベル画像に対応する良品分割画像に基づいて学習するため、良品画像におけるどの位置の良品分割画像のパターンであるのかを判別して学習することができる。
Since the trained
図2に戻り、学習済みモデル生成装置10の通信部120について説明する。通信部120は、各種の情報を送受信することができる。例えば、通信部120は、通信ネットワーク15を介して、学習済みモデル65を画像検査装置20に送信する。このとき、良品画像におけるどの位置の良品分割画像にどのラベル情報が付与されたのかを示す情報も、画像検査装置20に送信される。
Returning to FIG. 2, the
図8は、本実施形態に係る画像検査装置20の構成を示す機能ブロック図である。画像検査装置20は、例えば、通信部200、記憶部210、撮影部220、処理部230及び学習部240を備える。
FIG. 8 is a functional block diagram showing the configuration of the
通信部200は、例えば、通信ネットワーク15を介して、学習済みモデル生成装置10から学習済みモデル65及び特徴量70を受信する。また、通信部200は、例えば、通信ネットワーク15を介して、学習済みモデル生成装置10又は他の装置から学習用画像50を受信することもできる。受信した学習用画像50、学習済みモデル65及び特徴量70は、記憶部210に書き込まれて記憶される。なお、通信部200は、学習済みモデル65及び特徴量70と学習用画像50とのいずれか一方のみを受信してもよい。通信部200が学習用画像50のみを受信する場合、後述する学習部240は、その学習用画像50を用い、学習済みモデル65を生成し、学習済みモデル65を生成する過程で特徴量70を抽出してもよい。
The
記憶部210は、各種の情報を記憶するように構成されている。記憶部210は、例えば、学習用画像50と、学習済みモデル65と、特徴量70とを記憶する。学習済みモデル65には、良品画像におけるどの位置の良品分割画像にどのラベル情報が付与されたのかを表す情報も付与される。学習済みモデル65を記憶部210に記憶させることで、学習済みモデルを容易に読み出すことが可能となる。
The
学習部240は、学習用画像50により学習モデルを学習させ、学習済みモデル65を生成するように構成されている。学習済みモデル65は、学習用画像50に含まれる良品分割画像及び良品ラベル画像を入力とし、その良品分割画像の特徴量を出力するモデルである。生成した学習済みモデル65は、記憶部210に書き込まれて記憶される。なお、学習モデルを学習させる方法は、前述した学習済みモデル生成装置10のモデル生成部112による方法と同様であるため、その説明を省略する。
The
画像検査装置20に学習部240を備えることにより、学習済みモデル生成装置10がなくても、学習済みモデル65を得ることができる。
By providing the
撮影部220は、例えばカメラ等の撮像装置を含み、検査対象物30の画像を撮像する。本実施形態において、撮影部220は、検査対象物30からの反射光Rを受光し、検査対象物30の画像を撮像する。撮影部220は、撮像した画像を処理部230に出力する。
The
処理部230は、各種の処理を検査対象物の画像に施し、検査対象物の検査を行う。図9は、本実施形態に係る処理部230の構成を示す機能ブロック図である。処理部230は、例えば、分割部231、ラベル付与部232、ラベル画像選定部233、抽出部234、取得部235及び検査部236を備える。
The
分割部231は、撮影部220から検査対象物の画像を取得し、その検査対象物の画像を分割することにより複数の検査分割画像を生成する。なお、検査対象物の画像を分割する方法は、前述した学習済みモデル生成装置10の学習用画像生成部111による良品画像の分割方法と同様であるため、その説明を省略する。
The dividing
ラベル付与部232は、複数の検査分割画像のそれぞれにラベル情報を付与し、検査分割画像及びラベル情報により構成される複数のデータセットを生成する。本実施形態において、ラベル付与部232は、学習済みモデル65に紐づけて記憶されている、良品画像におけるどの位置の良品分割画像にどのラベル情報が付与されたのかを示す情報を参照し、検査分割画像と同じ位置にある良品分割画像のラベル情報を、検査分割画像に付与する。
The
ラベル画像選定部233は、データセットを構成するラベル情報に基づいて、検査分割画像に対応する検査ラベル画像を選定する。なお、検査ラベル画像を選定する方法は、前述した学習済みモデル生成装置10の学習用画像生成部111による良品ラベル画像の選定方法と同様であるため、その説明を省略する。
The label
抽出部234は、学習済みモデル65に検査分割画像及び検査ラベル画像を入力し、その検査分割画像の特徴量を抽出する。検査ラベル画像を学習済みモデル65に入力する際に、当該検査ラベル画像を検査分割画像とは異なるチャネルに入力する方法は、前述した学習済みモデル生成装置10のモデル生成部112による入力方法と同様であるため、その説明を省略する。
The
取得部235は、抽出された検査分割画像の特徴量と、学習時に出力された良品分割画像の特徴量70により形成される特徴空間とに基づいて、検査分割画像の特徴量に対応する検査分割画像の欠陥の程度を示す欠陥度合いを取得する。取得部235が欠陥度合いを取得する際の手順を、以下に説明する。
The
最初に、取得部235は、記憶部210に記憶された特徴量70を読み出し、各特徴量70が示す点を特徴空間にプロットする。これにより、例えば、図10に示すように、2次元の特徴空間に、各特徴量70が示す黒丸の点によって、破線で示す集合S1が形成される。この集合S1は、例えば良品画像40における良品分割画像の位置ごとに形成される。なお、取得部235は、複数の特徴量70に基づいて特徴空間における集合S1をあらかじめ形成しておき、その集合S1に関する情報を記憶部210に書き込んで記憶していてもよい。
First, the
続いて、取得部235は、集合S1に対応する位置の検査分割画像の特徴量が示す点を、特徴空間にプロットする。図10では、集合S1に対応する位置の検査分割画像の特徴量は、白丸の点P1で示されている。そして、取得部235は、この検査分割画像の特徴量が示す点P1と集合S1とに基づいて、検査分割画像の欠陥度合いを取得する。
Subsequently, the acquiring
より詳細には、取得部235は、抽出された特徴量について、特徴空間における、その特徴量が示す点と複数の良品分割画像の特徴量によって形成される集合との間の距離に基づいて、その特徴量に対応する検査分割画像の欠陥度合いを取得する。
More specifically, the
図10に示す例では、第1特徴量及び第2特徴量により形成される特徴空間において、取得部235は、ある検査分割画像の特徴量が示す点P1と、その検査分割画像に対応する複数の良品分割画像の特徴量の集合S1との間の距離に基づいて、その検査分割画像の欠陥度合いを取得する。この欠陥度合いは、例えば距離に応じた値である。このように、特徴量に対応する検査分割画像の欠陥度合いが、特徴空間における、特徴量が示す点P1と複数の良品分割画像の特徴量によって形成される集合S1との間の距離に基づいて取得されることにより、検査分割画像の欠陥の程度を容易に示すことができる。
In the example shown in FIG. 10, in the feature space formed by the first feature amount and the second feature amount, the
ここで、検査分割画像の欠陥度合いを取得する際に、ある検査分割画像の特徴量が示す点と、複数の良品分割画像の特徴量のうちの1つが示す点との間の距離に基づいて、検査分割画像の欠陥度合いを取得することとしてもよい。 Here, when acquiring the defect degree of the inspection divided image, based on the distance between the point indicated by the feature amount of a certain inspection divided image and the point indicated by one of the feature amounts of the plurality of non-defective product divided images, , the defect degree of the inspection divided image may be obtained.
例えば、図11に示すように、第1特徴量及び第2特徴量により形成される特徴空間において、取得部235は、ある検査分割画像の特徴量が示す点P2と、その検査分割画像に対応する複数の良品分割画像の特徴量の集合S2に含まれる点P3との間の距離に基づいて、検査分割画像の欠陥度合いを取得する。この欠陥度合いは、例えば距離に応じた値である。また、集合S2に含まれる点P3は、集合S2に含まれる複数の点のうち、点P2に最も近い点である。取得部235は、集合S2に含まれる複数の点のそれぞれについて点P2との間の距離を算出し、点P2に最も近い点を決定することができる。
For example, as shown in FIG. 11, in the feature space formed by the first feature amount and the second feature amount, the
このように、特徴量に対応する検査分割画像の欠陥度合いが、特徴空間における、特徴量が示す点P2と複数の良品分割画像の特徴量のうちの1つが示す点との間の距離に基づいて取得されることにより、検査分割画像の欠陥の程度を容易に示すことができる。 In this way, the defect degree of the inspection divided image corresponding to the feature amount is based on the distance between the point P2 indicated by the feature amount and the point indicated by one of the feature amounts of the plurality of non-defective product divided images in the feature space. , the degree of defects in the inspection divided image can be easily indicated.
取得部235は、抽出部234により抽出される各特徴量について、以上の手順を繰り返し行い、複数の検査分割画像のそれぞれの欠陥度合いを取得する。そして、取得部235は、複数の欠陥度合いを検査部236に出力する。
The acquiring
図9に戻り、検査部236について説明する。検査部236は、取得部235によって取得された複数の欠陥度合いに基づいて、検査対象物30を検査する。
Returning to FIG. 9, the
例えば、検査部236は、複数の欠陥度合いに基づいて欠陥度合い画像を生成し、生成した欠陥度合い画像に基づいて検査対象物30を検査する。これにより、検査対象物が良品であるか不良品であるかを容易に判定することができ、検査精度の高い検査を容易に実現することができる。欠陥度合いは、検査分割画像の欠陥の程度を示す値であることが好ましい。これにより、検査分割画像の欠陥の程度を定量的に示すことができる。
For example, the
具体的に、検査部236は、図12に示すように、取得部235によって取得された各欠陥度合い460,462、464,・・・を、それぞれの値に基づいて画像化することで、部分画像480,482,484,・・・を生成する。部分画像480,482,484,・・・は、例えば、欠陥度合いの値を、白黒の階調に変換したグレースケール画像や、RGBの階調に変換したカラー画像等である。
Specifically, as shown in FIG. 12, the
検査部236は、生成された部分画像480,482,484,・・・を統合することで、欠陥度合い画像48を生成する。なお、欠陥度合い画像48の縦及び横のサイズ(画素数)は、検査画像と同じであってもよいし、異なっていてもよい。そして、検査部236は、欠陥度合い画像48に基づいて検査対象物30が良品であるか否かを判定する。
The
図13に示すように、欠陥度合い画像48は、例えば、2つの欠陥部分画像482,484を含む。欠陥部分画像484は欠陥度合いが相対的に低い部分画像であり、欠陥部分画像482は欠陥度合いが相対的に高い部分画像である。
As shown in FIG. 13, the
検査部236は、例えば、欠陥度合い画像48における欠陥部分画像482,484の占める割合が、所定の閾値以下である場合に検査対象物30が良品であると判定し、所定の閾値を超える場合に検査対象物30が良品ではない、つまり、不良品であると判定する。
For example, the
ここで、検査部236は、欠陥度合い画像48に含まれる欠陥部分画像482,484の有無に基づいて、検査対象物30の欠陥を検出してもよい。
Here, the
このように、特徴空間における、検査分割画像の特徴量が示す点と複数の良品分割画像の特徴量によって形成される集合とに基づいて、各検査分割画像の欠陥度合いを取得し、これら複数の欠陥度合いに基づいて、検査対象物30を検査することにより、検査対象物30の検査精度を高めることができる。
In this way, the defect degree of each inspection divided image is acquired based on the point indicated by the feature amount of the inspection divided image and the set formed by the feature amount of a plurality of non-defective divided images in the feature space. By inspecting the
次に、図14を参照して、実施形態に係る学習済みモデル生成装置が実行する学習済みモデル生成処理の一例を説明する。 Next, an example of a learned model generation process executed by the learned model generation device according to the embodiment will be described with reference to FIG. 14 .
最初に、通信部120は、通信ネットワーク15を介して、複数の良品画像40を取得する(ステップS101)。取得された複数の良品画像40は、記憶部100に記憶される。
First, the
続いて、学習用画像生成部111は、記憶部100から複数の良品画像40を読み出し、複数の良品画像40に基づいて、複数の学習用画像50を生成する(ステップS102)。学習用画像50として、前述したように、良品分割画像及び良品ラベル画像の組合せを用いる。
Subsequently, the learning image generating unit 111 reads the plurality of
続いて、モデル生成部112は、ステップS102において生成された複数の学習用画像50を入力とし、その学習用画像の特徴量を出力するように学習させた学習済みモデル65を生成する(ステップS103)。生成された学習済みモデル65は、記憶部100に記憶される。
Subsequently, the
続いて、通信部120は、ステップS103において生成された学習済みモデル65と、学習済みモデル65を生成する過程で抽出された特徴量70とを、通信ネットワーク15を介して、画像検査装置20に送信する(ステップS104)。これにより、画像検査装置20は、学習済みモデル生成装置10によって生成された学習済みモデルを使用できるようになる。
Subsequently, the
ステップS104の後、学習済みモデル生成装置10は、学習済みモデル生成処理を終了する。
After step S104, the learned
次に、図15を参照して、実施形態に係る画像検査装置が実行する画像検査処理の一例を説明する。 Next, an example of image inspection processing executed by the image inspection apparatus according to the embodiment will be described with reference to FIG.
なお、以下の例では、通信部200が学習済みモデル生成装置10から学習済みモデル65及び特徴量70を受信し、記憶部210に学習済みモデル65及び特徴量70が記憶されているものとして説明する。
In the following example, the
最初に、撮影部220が、検査対象物30の検査画像を取得する(ステップS201)。取得された検査画像は、処理部230に出力される。
First, the
続いて、処理部230の分割部231は、ステップS201において取得された検査画像を分割し、複数の検査分割画像を生成する(ステップS202)。生成された複数の検査分割画像は、処理部230のラベル付与部232に出力される。
Subsequently, the dividing
続いて、ラベル付与部232は、ステップS202において生成された検査分割画像に、当該検査分割画像と同じ位置にある良品分割画像のラベル情報を付与してデータセットを生成する(ステップS203)。生成されたデータセットは、処理部230のラベル画像選定部233に出力される。
Subsequently, the
続いて、ラベル画像選定部233は、ステップS203において生成されたデータセットのラベル情報に基づいて、検査分割画像に対応する検査ラベル画像を選定する(ステップS204)。選定された検査ラベル画像及び検査分割画像の組合せは、処理部230の抽出部234に出力される。
Subsequently, the label
続いて、抽出部234は、記憶部210にあらかじめ記憶された学習済みモデル65を読み出し、ステップS204において選定された検査ラベル画像及び検査分割画像の組合せを、学習済みモデル65に入力し、検査分割画像の特徴量を抽出する(ステップS205)。抽出された特徴量は、処理部230の取得部235に出力される。
Next, the
続いて、取得部235は、記憶部210にあらかじめ記憶された良品分割画像の特徴量70を読み出し、ステップS205において抽出された特徴量について、特徴空間における、その特徴量が示す点と、読み出された特徴量70によって形成される集合との間の距離に基づいて、その特徴量に対応する検査分割画像の欠陥度合いを取得する(ステップS206)。得られた欠陥度合いは、処理部230の検査部236に出力される。
Subsequently, the
続いて、検査部236は、ステップS206において得られた欠陥度合いの値から部分画像を生成し、生成した部分画像を統合して欠陥度合い画像を生成する(ステップS207)。
Subsequently, the
続いて、検査部236は、ステップS207において生成された欠陥度合い画像に基づいて、検査対象物30を検査する(ステップS208)。
Subsequently, the
ステップS208の後、画像検査装置20は、画像検査処理を終了する。
After step S208, the
なお、本実施形態で説明したフローチャートは、処理に矛盾が生じない限り、順序を入れ替えてもよい。 The order of the flowcharts described in the present embodiment may be changed as long as there is no contradiction in processing.
図16は、本実施形態に係る学習済みモデル生成装置10の物理的構成を示す図である。学習済みモデル生成装置10は、演算部に相当するCPU(Central Processing Unit)10aと、記憶部に相当するRAM(Random Access Memory)10bと、記憶部に相当するROM(Read only Memory)10cと、通信部10dと、入力部10eと、表示部10fと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。
FIG. 16 is a diagram showing the physical configuration of the trained
なお、画像検査装置20の物理的構成は、学習済みモデル生成装置10の物理的構成と同様であるため、その説明を省略する。
Note that the physical configuration of the
なお、本例では、学習済みモデル生成装置10及び画像検査装置20のそれぞれが、一台のコンピュータで構成されるものとして説明するが、学習済みモデル生成装置10及び画像検査装置20のそれぞれは、複数のコンピュータが組み合わされて実現されてもよい。また、学習済みモデル生成装置10及び画像検査装置20が一台のコンピュータで構成されてもよい。また、図16で示す構成は一例であり、学習済みモデル生成装置10及び画像検査装置20は、これら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
In this example, the trained
CPU10aは、RAM10b又はROM10cに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う演算部である。学習済みモデル生成装置10が備えるCPU10aは、学習データを用いて学習処理を実施して、学習済みモデルを生成するプログラム(学習プログラム)を実行する演算部である。また、画像検査装置20が備えるCPU10aは、検査対象物の画像を用いて、検査対象物の検査を行うプログラム(画像検査プログラム)を実行する演算部である。CPU10aは、入力部10eや通信部10dから種々のデータを受け取り、データの演算結果を表示部10fに表示したり、RAM10bに格納したりする。
The
RAM10bは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。RAM10bは、CPU10aが実行するプログラム、学習用データ、学習済みモデルといったデータを記憶してよい。なお、これらは例示であって、RAM10bには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。
The
ROM10cは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ROM10cは、例えば画像検査プログラム、学習プログラム及び書き換えが行われないデータを記憶してよい。
The
通信部10dは、学習済みモデル生成装置10又は画像検査装置20を他の機器に接続するインターフェースである。通信部10dは、インターネット等の通信ネットワークに接続されてよい。
The
入力部10eは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。入力部10eは、例えば良品分割画像又は検査分割画像のラベル情報等の入力を受け付けてもよい。
The
表示部10fは、CPU10aによる演算結果を視覚的に表示するものであり、例えば、LCD(Liquid Crystal Display)により構成されてよい。表示部10fは、例えば、検査対象物の検査結果等を表示してよい。
The display unit 10f visually displays the calculation result by the
画像検査プログラムは、RAM10bやROM10c等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部10dにより接続される通信ネットワークを介して提供されてもよい。学習済みモデル生成装置10では、CPU10aが学習プログラムを実行することにより、図2等を用いて説明した様々な機能が実現される。また、画像検査装置20では、CPU10aが画像検査プログラムを実行することにより、図8及び図9等を用いて説明した様々な機能が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、学習済みモデル生成装置10及び画像検査装置20のそれぞれは、CPU10aとRAM10bやROM10cが一体化したLSI(Large-Scale Integration)を備えていてもよい。
The image inspection program may be stored in a computer-readable storage medium such as the
前述したように、本実施形態における画像検査装置20及び画像検査方法によれば、良品分割画像と良品ラベル画像とを入力として良品分割画像の特徴量を出力するように学習させた学習済みモデル65に、検査分割画像と検査ラベル画像を入力し、検査分割画像の特徴量を抽出させることができる。このとき、学習済みモデル65に良品ラベル画像又は検査ラベル画像を入力する際に、当該良品ラベル画像又は当該検査ラベル画像を良品分割画像又は検査分割画像とは異なるチャネルに入力する。そして、学習済みモデル65から抽出された検査分割画像の特徴量と、学習時に出力された複数の良品分割画像の特徴量により形成される特徴空間とに基づいて、検査分割画像の欠陥度合いを取得し、その欠陥度合いに基づいて、検査対象物を検査することができるため、検査対象物30の検査精度を高めることが可能となる。
As described above, according to the
ここで、本実施形態における学習済みモデル65は、良品ラベル画像に基づいて各良品分割画像に特有のパターンを学習することができ、特徴空間において、各良品分割画像の特徴量が示す点は、良品画像において同じ位置にある他の良品分割画像の特徴量によって形成される集合の近くにプロットされる。
Here, the trained
したがって、特徴空間において、特殊パターンを含む検査分割画像の特徴量が示す点を、当該検査分割画像に対応する複数の良品分割画像の特徴量が形成する集合の近くにプロットすることができ、その結果欠陥の程度が小さい欠陥度合いを取得して良品と判定することが可能となる。 Therefore, in the feature space, the point indicated by the feature amount of the inspection divided image including the special pattern can be plotted near the set formed by the feature amounts of the plurality of non-defective product divided images corresponding to the inspection divided image. As a result, it becomes possible to acquire the degree of defect with a small degree of defect and determine that the product is non-defective.
それゆえ、良品画像に特殊パターンが局所的に存在する場合であっても、特殊パターンを含む対象物を良品として正しく検査することが可能となる。 Therefore, even if the special pattern is locally present in the non-defective product image, it is possible to correctly inspect the object including the special pattern as a non-defective product.
また、本実施形態における学習済みモデル65は、良品ラベル画像に基づいて良品画像における位置によって異なる判別基準を学習することができ、特徴空間において、各良品分割画像に対応する特徴量が示す点の集合を、良品画像における良品分割画像の位置ごとに異なる範囲、領域に集めることができる。
In addition, the trained
したがって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の検査分割画像の特徴量が示す点を、当該別の位置の複数の良品分割画像の特徴量が形成する集合に対して遠くにプロットすることができ、その結果欠陥の程度が大きい欠陥度合いを取得して不良品と判定することが可能となる。 Therefore, in the feature space, the point indicated by the feature amount of the inspection division image at another position, which includes a pattern that is good at one position but is defective at another position, is defined as a plurality of good product divisions at that other position. It is possible to plot a set far from the set formed by the feature amount of the image, and as a result, it is possible to obtain the degree of defect with a large degree of defect and determine it as a defective product.
それゆえ、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む場合であっても、不良品の見逃しを抑制することが可能となる。 Therefore, even if the feature space includes a pattern that is a non-defective product at one position but is a defective product at another position, it is possible to prevent the defective product from being overlooked.
なお、前述した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更/改良され得るとともに、本発明にはその等価物も含まれる。すなわち、実施形態に当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。例えば、実施形態が備える各要素及びその配置、材料、条件、形状、サイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、実施形態は例示であり、異なる実施形態で示した構成の部分的な置換又は組み合わせが可能であることは言うまでもなく、これらも本発明の特徴を含む限り本発明の範囲に包含される。 It should be noted that the above-described embodiments are intended to facilitate understanding of the present invention, and are not intended to limit and interpret the present invention. The present invention may be modified/improved without departing from its spirit, and the present invention also includes equivalents thereof. In other words, any design modifications made by those skilled in the art to the embodiments are also included in the scope of the present invention as long as they have the features of the present invention. For example, each element provided in the embodiment and its arrangement, material, condition, shape, size, etc. are not limited to those illustrated and can be changed as appropriate. In addition, the embodiments are examples, and it goes without saying that partial substitutions or combinations of configurations shown in different embodiments are possible, and these are also included in the scope of the present invention as long as they include the features of the present invention.
[付記1]
良品の検査対象物の分割画像である良品分割画像、及び当該良品分割画像に対応するラベル情報の画像である良品ラベル画像を入力とし、良品分割画像の特徴量を出力するように学習させた学習済みモデル(65)に、検査対象物の分割画像である検査分割画像、及び当該検査分割画像に対応するラベル情報の画像である検査ラベル画像を入力し、検査分割画像の特徴量を抽出する抽出部(234)と、
抽出された検査分割画像の特徴量、及び学習時に出力された良品分割画像の特徴量により形成される特徴空間に基づいて、検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得部(235)と、
取得された欠陥度合いに基づいて、検査対象物を検査する検査部(236)と、
を備え、
良品ラベル画像又は検査ラベル画像を学習済みモデル(65)に入力する際に、当該良品ラベル画像又は当該検査ラベル画像を良品分割画像又は検査分割画像とは異なるチャネルに入力する、
画像検査装置(20)。
[Appendix 1]
A non-defective product divided image that is a divided image of a non-defective product inspection object and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image are input, and learning is performed so that the feature amount of the non-defective product divided image is output. An inspection divided image, which is a divided image of an object to be inspected, and an inspection label image, which is an image of label information corresponding to the inspection divided image, are input to the finished model (65), and the feature amount of the inspection divided image is extracted. a part (234);
An acquisition unit (235 )When,
an inspection unit (236) that inspects the inspection object based on the obtained degree of defect;
with
inputting the non-defective product label image or the inspection label image into the trained model (65), inputting the non-defective product label image or the inspection label image into a channel different from the non-defective product divided image or the inspection divided image;
An image inspection device (20).
[付記2]
良品の検査対象物の分割画像である良品分割画像、及び当該良品分割画像に対応するラベル情報の画像である良品ラベル画像を入力とし、良品分割画像の特徴量を出力するように学習させた学習済みモデル(65)に、検査対象物の分割画像である検査分割画像、及び当該検査分割画像に対応するラベル情報の画像である検査ラベル画像を入力し、検査分割画像の特徴量を抽出する抽出ステップと、
抽出された検査分割画像の特徴量、及び学習時に出力された良品分割画像の特徴量により形成される特徴空間に基づいて、検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得ステップと、
取得された欠陥度合いに基づいて、検査対象物を検査する検査ステップと、
を含み、
良品ラベル画像又は検査ラベル画像を学習済みモデル(65)に入力する際に、当該良品ラベル画像又は当該検査ラベル画像を良品分割画像又は検査分割画像とは異なるチャネルに入力する、
画像検査方法。
[Appendix 2]
A non-defective product divided image that is a divided image of a non-defective product inspection object and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image are input, and learning is performed so that the feature amount of the non-defective product divided image is output. An inspection divided image, which is a divided image of an object to be inspected, and an inspection label image, which is an image of label information corresponding to the inspection divided image, are input to the finished model (65), and the feature amount of the inspection divided image is extracted. a step;
an acquisition step of acquiring a degree of defect indicating the degree of defect in the inspection divided image based on a feature space formed by the feature amount of the extracted inspection divided image and the feature amount of the non-defective product divided image output during learning;
an inspection step of inspecting the inspection object based on the obtained degree of defect;
including
inputting the non-defective product label image or the inspection label image into the trained model (65), inputting the non-defective product label image or the inspection label image into a channel different from the non-defective product divided image or the inspection divided image;
Image inspection method.
[付記3]
良品の検査対象物の分割画像である良品分割画像、及び当該良品分割画像に対応するラベル情報の画像である良品ラベル画像を入力とし、良品分割画像の特徴量を出力するように学習させた学習済みモデル(65)を生成するモデル生成部(112)を備える、
学習済みモデル生成装置(10)。
[Appendix 3]
A non-defective product divided image that is a divided image of a non-defective product inspection object and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image are input, and learning is performed so that the feature amount of the non-defective product divided image is output. a model generator (112) for generating a finished model (65);
A trained model generation device (10).
1…画像検査システム、10…学習済みモデル生成装置、10a…CPU、10b…RAM、10c…ROM、10d…通信部、10e…入力部、10f…表示部、15…通信ネットワーク、20…画像検査装置、25…照明、30…検査対象物、40…良品画像、50…学習用画像、60…学習モデル、65…学習済みモデル、70…特徴量、100…記憶部、110…学習部、111…学習用画像生成部、112…モデル生成部、120…通信部、200…通信部、210…記憶部、220…撮影部、230…処理部、231…分割部、232…ラベル付与部、233…ラベル画像選定部、234…抽出部、235…取得部、236…検査部、240…学習部、601…入力層、605…出力層
DESCRIPTION OF
Claims (8)
前記抽出された前記検査分割画像の特徴量、及び学習時に出力された前記良品分割画像の特徴量により形成される特徴空間に基づいて、前記検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得部と、
前記取得された前記欠陥度合いに基づいて、前記検査対象物を検査する検査部と、
を備え、
前記良品ラベル画像又は前記検査ラベル画像を学習済みモデルに入力する際に、当該良品ラベル画像又は当該検査ラベル画像を前記良品分割画像又は前記検査分割画像とは異なるチャネルに入力する、
画像検査装置。 A non-defective product divided image that is a divided image of a non-defective product inspection object and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image are input, and learning is performed so that the feature amount of the non-defective product divided image is output. An extraction unit that inputs an inspection divided image that is a divided image of an object to be inspected and an inspection label image that is an image of label information corresponding to the inspection divided image to the trained model, and extracts the feature amount of the inspection divided image. When,
Based on the feature space formed by the feature amount of the extracted inspection divided image and the feature amount of the non-defective product divided image output during learning, a degree of defect indicating the degree of defect of the inspection divided image is acquired. an acquisition unit;
an inspection unit that inspects the inspection object based on the acquired degree of defect;
with
When inputting the non-defective product label image or the inspection label image to the trained model, inputting the non-defective product label image or the inspection label image to a channel different from the non-defective product divided image or the inspection divided image;
Image inspection equipment.
請求項1に記載の画像検査装置。 The non-defective label image and the inspection label image are either an image having different density values for each label identifying value included in the label information, or an image having different patterns for each label identifying value. ,
The image inspection apparatus according to claim 1.
請求項1又は2に記載の画像検査装置。 The acquisition unit acquires the defect degree of the inspection divided image based on a distance between the feature amount of the inspection divided image and the feature amount of the non-defective product divided image forming the feature space.
The image inspection apparatus according to claim 1 or 2.
請求項3に記載の画像検査装置。 The acquisition unit obtains a feature of the non-defective divided image in which a distance between the feature amount of the inspection divided image and the feature amount of the non-defective divided image forming the feature space is the closest to the feature amount of the non-defective divided image that forms the feature space. obtaining the defect degree of the inspection split image based on the quantity and
The image inspection apparatus according to claim 3.
請求項1から4のいずれか一項に記載の画像検査装置。 The inspection unit generates a defect degree image based on a plurality of the defect degrees, and inspects the inspection object based on the defect degree image.
The image inspection apparatus according to any one of claims 1 to 4.
請求項1から5のいずれか一項に記載の画像検査装置。 further comprising a learning unit that learns a learning model using the plurality of non-defective product divided images included in the non-defective product inspection object and generates the learned model;
The image inspection apparatus according to any one of claims 1 to 5.
前記抽出された前記検査分割画像の特徴量、及び学習時に出力された前記良品分割画像の特徴量により形成される特徴空間に基づいて、前記検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得ステップと、
前記取得された前記欠陥度合いに基づいて、前記検査対象物を検査する検査ステップと、
を含み、
前記良品ラベル画像又は前記検査ラベル画像を学習済みモデルに入力する際に、当該良品ラベル画像又は当該検査ラベル画像を前記良品分割画像又は前記検査分割画像とは異なるチャネルに入力する、
画像検査方法。 A non-defective product divided image that is a divided image of a non-defective product inspection object and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image are input, and learning is performed so that the feature amount of the non-defective product divided image is output. An extraction step of inputting an inspection divided image, which is a divided image of an object to be inspected, and an inspection label image, which is an image of label information corresponding to the inspection divided image, into a learned model, and extracting a feature amount of the inspection divided image. When,
Based on the feature space formed by the feature amount of the extracted inspection divided image and the feature amount of the non-defective product divided image output during learning, a degree of defect indicating the degree of defect of the inspection divided image is acquired. an acquisition step;
an inspection step of inspecting the inspection object based on the acquired degree of defect;
including
When inputting the non-defective product label image or the inspection label image to the trained model, inputting the non-defective product label image or the inspection label image to a channel different from the non-defective product divided image or the inspection divided image;
Image inspection method.
学習済みモデル生成装置。 A non-defective product divided image that is a divided image of a non-defective product inspection object and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image are input, and learning is performed so that the feature amount of the non-defective product divided image is output. Equipped with a model generation unit that generates a trained model,
Trained model generator.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021020407A JP2022123235A (en) | 2021-02-12 | 2021-02-12 | Image inspection device, image inspection method, and learned model creation device |
PCT/JP2021/009534 WO2022172470A1 (en) | 2021-02-12 | 2021-03-10 | Image inspection device, image inspection method, and trained model generation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021020407A JP2022123235A (en) | 2021-02-12 | 2021-02-12 | Image inspection device, image inspection method, and learned model creation device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022123235A true JP2022123235A (en) | 2022-08-24 |
Family
ID=82837633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021020407A Pending JP2022123235A (en) | 2021-02-12 | 2021-02-12 | Image inspection device, image inspection method, and learned model creation device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2022123235A (en) |
WO (1) | WO2022172470A1 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6340228B2 (en) * | 2014-03-27 | 2018-06-06 | 株式会社メガチップス | Object detection device |
JP2020052520A (en) * | 2018-09-25 | 2020-04-02 | エヌ・ティ・ティ・コムウェア株式会社 | Determination device, determination method, and program |
JP2020181532A (en) * | 2019-04-26 | 2020-11-05 | 富士通株式会社 | Image determination device and image determination method |
JP6818961B1 (en) * | 2020-04-08 | 2021-01-27 | 三菱電機株式会社 | Learning device, learning method, and inference device |
-
2021
- 2021-02-12 JP JP2021020407A patent/JP2022123235A/en active Pending
- 2021-03-10 WO PCT/JP2021/009534 patent/WO2022172470A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022172470A1 (en) | 2022-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6573226B2 (en) | DATA GENERATION DEVICE, DATA GENERATION METHOD, AND DATA GENERATION PROGRAM | |
JP6230622B2 (en) | Defect detection on wafers using template image matching | |
KR20230124713A (en) | Fault detection methods, devices and systems | |
KR20200089621A (en) | Method of defect detection on a specimen and system thereof | |
JP2011214903A (en) | Appearance inspection apparatus, and apparatus, method and program for generating appearance inspection discriminator | |
JP2016115331A (en) | Identifier generator, identifier generation method, quality determination apparatus, quality determination method and program | |
KR20210150970A (en) | Detecting defects in semiconductor specimens using weak labeling | |
US20230118767A1 (en) | Learning device, learning method, inference device, and storage medium | |
KR102440742B1 (en) | Inspecting system for semiconductor device and operating method of the same | |
CN109410241A (en) | The metamorphic testing method of image-region growth algorithm | |
JP2022045688A (en) | Defect management device, method, and program | |
KR102437115B1 (en) | Apparatus and method of defect inspection using structure prediction based on deep learning | |
CN109447968A (en) | The metamorphic testing system of image-region growth algorithm | |
JP7354421B2 (en) | Error factor estimation device and estimation method | |
WO2022172470A1 (en) | Image inspection device, image inspection method, and trained model generation device | |
WO2022172468A1 (en) | Image inspection device, image inspection method, and trained model generation device | |
JP2023145412A (en) | Defect detection method and system | |
CN115222649A (en) | System, apparatus and method for detecting and classifying patterns of heatmaps | |
JP7475901B2 (en) | Method and system for detecting defects on a test piece | |
JP7206892B2 (en) | Image inspection device, learning method for image inspection, and image inspection program | |
WO2022172475A1 (en) | Image inspection device, image inspection method, and trained model generation device | |
WO2022172469A1 (en) | Image inspection device, image inspection method, and trained model generation device | |
JP7270314B1 (en) | inspection method, inspection system, neural network | |
WO2021229901A1 (en) | Image inspection device, image inspection method, and prelearned model generation device | |
WO2023112302A1 (en) | Training data creation assistance device and training data creation assistance method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231212 |