JP2022123235A - Image inspection device, image inspection method, and learned model creation device - Google Patents

Image inspection device, image inspection method, and learned model creation device Download PDF

Info

Publication number
JP2022123235A
JP2022123235A JP2021020407A JP2021020407A JP2022123235A JP 2022123235 A JP2022123235 A JP 2022123235A JP 2021020407 A JP2021020407 A JP 2021020407A JP 2021020407 A JP2021020407 A JP 2021020407A JP 2022123235 A JP2022123235 A JP 2022123235A
Authority
JP
Japan
Prior art keywords
image
inspection
defective product
label
divided image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021020407A
Other languages
Japanese (ja)
Inventor
泰之 池田
Yasuyuki Ikeda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2021020407A priority Critical patent/JP2022123235A/en
Priority to PCT/JP2021/009534 priority patent/WO2022172470A1/en
Publication of JP2022123235A publication Critical patent/JP2022123235A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

To plot the feature quantity of a non-defective article image including a special pattern close to the feature quantity of a non-defective article image, and plot the feature quantity of an inspection image of a defective article away from the feature quantity of the non-defective article image.SOLUTION: An image inspection device comprises: an extraction unit 234 that inputs inspection division images and an inspection label image to a learned model having learned to output the feature quantities of non-defective article division images with the non-defective article division images and a non-defective article label image as input, and thereby extracts the feature quantities of the inspection division images; an acquisition unit 235 that acquires the degree of defects of the inspection division images based on a feature space formed by the extracted feature quantities of the inspection division images and the feature quantities of the non-defective article division images output during the learning; and an inspection unit 236 that inspects an inspection target based on the acquired degree of defects. When inputting the non-defective article label image or the inspection label image to the learned model, the image inspection device inputs the non-defective article label image or the inspection label image to a channel different from the non-defective article division images or the inspection division images.SELECTED DRAWING: Figure 9

Description

本発明は、画像検査装置、画像検査方法及び学習済みモデル生成装置に関する。 The present invention relates to an image inspection apparatus, an image inspection method, and a trained model generation apparatus.

従来、対象物を撮影した画像に基づいて、当該対象物の検査を行う画像検査装置が知られている。 2. Description of the Related Art Conventionally, there has been known an image inspection apparatus that inspects an object based on a photographed image of the object.

例えば、特許文献1には、入力される判定対象画像データに基づいて異常を判定する異常判定を行う異常判定装置において、正常画像データ群から抽出される特徴量から正常画像データを再構成するための再構成用パラメータを用いて、判定対象画像データの特徴量から再構成画像データを生成し、生成した再構成画像データと該判定対象画像データとの差異情報に基づいて異常判定を行うための異常判定処理を実行する処理実行手段を有するものが記載されている。 For example, Japanese Patent Laid-Open No. 2002-200000 discloses an anomaly determination apparatus that performs an anomaly determination based on input image data to be determined. for generating reconstructed image data from the feature amount of the determination target image data using the reconstruction parameters of and performing abnormality determination based on difference information between the generated reconstructed image data and the determination target image data It has a process executing means for executing an abnormality determination process.

特許文献1の異常判定装置は、判定対象画像データが複数チャネルの画像データを含む場合、再構成用パラメータを用いて各チャネルの画像データの特徴量から再構成画像データをチャネルごとに生成し、生成した各再構成画像データと該判定対象画像データの各チャネルの画像データとの差異情報に基づいて異常判定を行っている。 When image data to be determined includes image data of a plurality of channels, the abnormality determination device of Patent Document 1 generates reconstructed image data for each channel from the feature amount of the image data of each channel using reconstruction parameters, Abnormality determination is performed based on difference information between each generated reconstructed image data and image data of each channel of the determination target image data.

特開2018-5773号公報JP 2018-5773 A

ここで、従来、良品の対象物の良品画像を小さいサイズに分割して入力し、当該良品画像の特徴量を出力するように学習させた学習済みモデルを用い、特徴空間において、検査画像から抽出した特徴量と良品画像の特徴量とに基づいて、検査画像の欠陥を検出する方法があった。 Here, conventionally, a non-defective product image of a non-defective object is divided into small sizes and input, and a trained model trained to output the feature amount of the non-defective product image is extracted from the inspection image in the feature space. There has been a method of detecting defects in an inspection image based on the feature amount obtained by the inspection and the feature amount of the non-defective product image.

しかしながら、良品画像に特殊パターンが局所的に存在する場合、この特殊パターンを含む良品画像の特徴量が、特徴空間において、他の良品画像の特徴量群から離れた位置にプロットされてしまい、特殊パターンを含む対象物を不良品として検出してしまうことがあった。 However, when a special pattern locally exists in a non-defective image, the feature amount of the non-defective image including this special pattern is plotted at a position distant from the feature amount group of other non-defective image in the feature space. An object including a pattern may be detected as a defective product.

また、別の良品画像が、ある位置では良品である一方、別の位置では不良品であるパターンを含む場合、このようなパターンを当該別の位置に含む検査画像の特徴量が、特徴空間において、良品画像の特徴量群の近くにプロットされてしまい、不良品を見逃してしまうことがあった。 In addition, when another non-defective product image includes a pattern that is a non-defective product at one position and a defective product at another position, the feature amount of the inspection image that includes such a pattern at the other position is , is plotted near the group of feature values of non-defective product images, and defective products may be overlooked.

本発明は、このような事情に鑑みてなされたものであり、良品画像の特徴量に対し、特殊パターンを含む検査画像の特徴量を近くにプロットするとともに、不良品の検査画像の特徴量を遠くにプロットすることができる画像検査装置、画像検査方法、及び学習済みモデル生成装置を提供することを目的の1つとする。 The present invention has been made in view of such circumstances, and plots the feature amount of an inspection image containing a special pattern close to the feature amount of a non-defective product image, and plots the feature amount of an inspection image of a defective product. One of the objects is to provide an image inspection device, an image inspection method, and a learned model generation device that can plot at a distance.

本発明の一態様に係る画像検査装置は、良品の検査対象物の分割画像である良品分割画像、及び当該良品分割画像に対応するラベル情報の画像である良品ラベル画像を入力とし、良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査対象物の分割画像である検査分割画像、及び当該検査分割画像に対応するラベル情報の画像である検査ラベル画像を入力し、検査分割画像の特徴量を抽出する抽出部と、抽出された検査分割画像の特徴量、及び学習時に出力された良品分割画像の特徴量により形成される特徴空間に基づいて、検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得部と、取得された欠陥度合いに基づいて、検査対象物を検査する検査部と、を備え、良品ラベル画像又は検査ラベル画像を学習済みモデルに入力する際に、当該良品ラベル画像又は当該検査ラベル画像を良品分割画像又は検査分割画像とは異なるチャネルに入力する。 An image inspection apparatus according to an aspect of the present invention receives as inputs a non-defective product divided image that is a divided image of a non-defective product to be inspected and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image. An inspection divided image that is a divided image of an object to be inspected and an inspection label image that is an image of label information corresponding to the inspection divided image are input to a trained model trained to output the feature amount of the inspection Based on a feature space formed by an extraction unit that extracts the feature amount of the divided image, the feature amount of the extracted inspection divided image, and the feature amount of the non-defective divided image output during learning, defects in the inspection divided image are detected. An acquisition unit that acquires a defect degree indicating a degree of defect, and an inspection unit that inspects an inspection object based on the acquired defect degree, and when a non-defective product label image or an inspection label image is input to a learned model, , the non-defective product label image or the inspection label image is input to a channel different from the non-defective product divided image or the inspection divided image.

この態様によれば、良品分割画像と良品ラベル画像とを入力として良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査分割画像と検査ラベル画像とを入力し、検査分割画像の特徴量を抽出させることができる。このとき、学習済みモデルに良品ラベル画像又は検査ラベル画像を入力する際に、当該良品ラベル画像又は当該検査ラベル画像を良品分割画像又は検査分割画像とは異なるチャネルに入力する。そして、学習済みモデルから抽出された検査分割画像の特徴量と、学習時に出力された複数の良品分割画像の特徴量により形成される特徴空間とに基づいて、検査分割画像の欠陥度合いを取得し、その欠陥度合いに基づいて、検査対象物を検査することができるため、検査対象物の検査精度を高めることが可能となる。 According to this aspect, the inspection divided image and the inspection label image are input to the trained model trained to output the feature amount of the non-defective product divided image by inputting the non-defective product divided image and the non-defective product label image, and the inspection division is performed. A feature amount of an image can be extracted. At this time, when inputting the non-defective product label image or the inspection label image to the learned model, the non-defective product label image or the inspection label image is input to a channel different from the non-defective product divided image or the inspection divided image. Then, the defect degree of the inspection divided image is acquired based on the feature amount of the inspection divided image extracted from the trained model and the feature space formed by the feature amount of the plurality of non-defective product divided images output during learning. Since the object to be inspected can be inspected based on the degree of defect, it is possible to improve the inspection accuracy of the object to be inspected.

ここで、学習済みモデルは、良品ラベル画像に基づいて各良品分割画像に特有のパターンを学習することができ、特徴空間において、各良品分割画像の特徴量が示す点は、良品画像において同じ位置にある他の良品分割画像の特徴量によって形成される集合の近くにプロットされる。したがって、特徴空間において、特殊パターンを含む検査分割画像の特徴量が示す点を、当該検査分割画像に対応する複数の良品分割画像の特徴量が形成する集合の近くにプロットすることができ、その結果欠陥の程度が小さい欠陥度合いを取得して良品と判定することが可能となる。また、学習済みモデルは、良品ラベル画像に基づいて良品画像における位置によって異なる判別基準を学習することができ、特徴空間において、各良品分割画像に対応する特徴量が示す点の集合を、良品画像における良品分割画像の位置ごとに異なる範囲、領域に集めることができる。したがって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の検査分割画像の特徴量が示す点を、当該別の位置の複数の良品分割画像の特徴量が形成する集合に対して遠くにプロットすることができ、その結果欠陥の程度が大きい欠陥度合いを取得して不良品と判定することが可能となる。 Here, the trained model can learn a pattern specific to each non-defective product segmented image based on the non-defective product label image. is plotted near the set formed by the features of the other good segmented images in . Therefore, in the feature space, the point indicated by the feature amount of the inspection divided image including the special pattern can be plotted near the set formed by the feature amounts of the plurality of non-defective product divided images corresponding to the inspection divided image. As a result, it becomes possible to acquire the degree of defect with a small degree of defect and determine that the product is non-defective. In addition, the trained model can learn discrimination criteria that differ depending on the position in the non-defective product image based on the non-defective product label image. can be collected in different ranges and regions for each position of the non-defective divided images in . Therefore, in the feature space, the point indicated by the feature amount of the inspection division image at another position, which includes a pattern that is good at one position but is defective at another position, is defined as a plurality of good product divisions at that other position. It is possible to plot a set far from the set formed by the feature amount of the image, and as a result, it is possible to obtain the degree of defect with a large degree of defect and determine it as a defective product.

上記態様において、良品ラベル画像及び検査ラベル画像は、ラベル情報に含まれるラベルを識別する値ごとに異なる濃度値を有する画像、及びラベルを識別する値ごとに異なるパターンを有する画像のいずれかであってもよい。 In the above aspect, the non-defective label image and the inspection label image are either an image having different density values for each label identifying value included in the label information, or an image having different patterns for each label identifying value. may

この態様によれば、良品画像における良品分割画像の位置、又は検査画像における検査分割画像の位置ごとに、濃度値又はパターンが相互に異なる良品ラベル画像又は検査ラベル画像を分布させることが可能になる。 According to this aspect, it is possible to distribute non-defective product label images or inspection label images having mutually different density values or patterns for each position of a non-defective product divided image in the non-defective product image or for each position of the inspection divided image in the inspection image. .

上記態様において、取得部は、検査分割画像の特徴量と特徴空間を形成する良品分割画像の特徴量との間の距離に基づいて、検査分割画像の欠陥度合いを取得してもよい。 In the above aspect, the acquisition unit may acquire the degree of defect of the inspection divided image based on the distance between the feature amount of the inspection divided image and the feature amount of the non-defective product divided image forming the feature space.

この態様によれば、特徴量に対応する検査分割画像の欠陥度合いは、特徴空間における、特徴量が示す点と、複数の良品分割画像に対応する特徴量によって形成される集合と、の間の距離に基づいて取得される。これにより、検査分割画像の欠陥の程度を容易に示すことが可能になる。 According to this aspect, the defect degree of the inspection divided image corresponding to the feature amount is the point in the feature space indicated by the feature amount and the set formed by the feature amounts corresponding to the plurality of non-defective product divided images. Obtained based on distance. This makes it possible to easily indicate the degree of defects in the inspection divided image.

上記態様において、取得部は、検査分割画像の特徴量と、特徴空間を形成する良品分割画像の特徴量のうち検査分割画像の特徴量との間の距離が最も近い良品分割画像の特徴量と、に基づいて、検査分割画像の欠陥度合いを取得してもよい。 In the above aspect, the obtaining unit obtains the feature amount of the non-defective divided image having the closest distance between the feature amount of the inspection divided image and the feature amount of the non-defective divided image among the feature amounts of the non-defective divided image forming the feature space. , the defect degree of the inspection divided image may be obtained based on .

この態様によれば、特徴量に対応する検査分割画像の欠陥度合いは、特徴空間における、特徴量が示す点と、複数の良品分割画像に対応する特徴量のうち検査分割画像に対応する特徴量との間の距離が最も近い良品分割画像に対応する特徴量と、の間の距離に基づいて取得される。これにより、検査分割画像の欠陥の程度を容易に示すことが可能になる。 According to this aspect, the defect degree of the inspection divided image corresponding to the feature amount is determined by the point indicated by the feature amount in the feature space and the feature amount corresponding to the inspection divided image among the feature amounts corresponding to the plurality of non-defective product divided images. is acquired based on the distance between the feature quantity corresponding to the non-defective divided image with the closest distance between and. This makes it possible to easily indicate the degree of defects in the inspection split image.

上記態様において、検査部は、複数の欠陥度合いに基づいて欠陥度合い画像を生成し、欠陥度合い画像に基づいて検査対象物を検査してもよい。 In the above aspect, the inspection unit may generate a defect degree image based on a plurality of defect degrees, and inspect the inspection object based on the defect degree image.

この態様によれば、検査対象物が良品であるか不良品であるかを容易に判定することができ、検査精度の高い検査を容易に実現することが可能になる。 According to this aspect, it is possible to easily determine whether an object to be inspected is a non-defective product or a defective product, and it is possible to easily realize an inspection with high inspection accuracy.

上記態様において、良品の検査対象物に含まれる複数の良品分割画像を用いて学習モデルを学習させ、学習済みモデルを生成する学習部をさらに備えることとしてもよい。 The above aspect may further include a learning unit that learns a learning model using a plurality of non-defective product divided images included in the non-defective product inspection object and generates a trained model.

この態様によれば、学習済みモデル生成装置がなくても、学習済みモデルを得ることが可能になる。 According to this aspect, a trained model can be obtained without a trained model generation device.

本発明の他の態様に係る画像検査方法は、良品の検査対象物の分割画像である良品分割画像、及び当該良品分割画像に対応するラベル情報の画像である良品ラベル画像を入力とし、良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査対象物の分割画像である検査分割画像、及び当該検査分割画像に対応するラベル情報の画像である検査ラベル画像を入力し、検査分割画像の特徴量を抽出する抽出ステップと、抽出された検査分割画像の特徴量、及び学習時に出力された良品分割画像の特徴量により形成される特徴空間に基づいて、検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得ステップと、取得された欠陥度合いに基づいて、検査対象物を検査する検査ステップと、を含み、良品ラベル画像又は検査ラベル画像を学習済みモデルに入力する際に、当該良品ラベル画像又は当該検査ラベル画像を良品分割画像又は検査分割画像とは異なるチャネルに入力する。 An image inspection method according to another aspect of the present invention receives as input a non-defective product divided image that is a divided image of a non-defective product inspection object and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image, and divides a non-defective product. inputting an inspection divided image that is a divided image of an object to be inspected and an inspection label image that is an image of label information corresponding to the inspection divided image into a trained model that has been trained to output image feature values; Based on the feature space formed by the extraction step of extracting the feature amount of the inspection divided image, the feature amount of the extracted inspection divided image, and the feature amount of the non-defective product divided image output during learning, defects in the inspection divided image are detected. and an inspection step of inspecting the inspection object based on the acquired defect degree, when inputting a good product label image or an inspection label image to a trained model Secondly, the non-defective product label image or the inspection label image is input to a channel different from the non-defective product divided image or the inspection divided image.

この態様によれば、良品分割画像と良品ラベル画像とを入力として良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査分割画像と検査ラベル画像とを入力し、検査分割画像の特徴量を抽出させることができる。このとき、学習済みモデルに良品ラベル画像又は検査ラベル画像を入力する際に、当該良品ラベル画像又は当該検査ラベル画像を良品分割画像又は検査分割画像とは異なるチャネルに入力する。そして、学習済みモデルから抽出された検査分割画像の特徴量と、学習時に出力された複数の良品分割画像の特徴量により形成される特徴空間とに基づいて、検査分割画像の欠陥度合いを取得し、その欠陥度合いに基づいて、検査対象物を検査することができるため、検査対象物の検査精度を高めることが可能となる。 According to this aspect, the inspection divided image and the inspection label image are input to the trained model trained to output the feature amount of the non-defective product divided image by inputting the non-defective product divided image and the non-defective product label image, and the inspection division is performed. A feature amount of an image can be extracted. At this time, when inputting the non-defective product label image or the inspection label image to the learned model, the non-defective product label image or the inspection label image is input to a channel different from the non-defective product divided image or the inspection divided image. Then, the defect degree of the inspection divided image is acquired based on the feature amount of the inspection divided image extracted from the trained model and the feature space formed by the feature amount of the plurality of non-defective product divided images output during learning. Since the object to be inspected can be inspected based on the degree of defect, it is possible to improve the inspection accuracy of the object to be inspected.

ここで、学習済みモデルは、良品ラベル画像に基づいて各良品分割画像に特有のパターンを学習することができ、特徴空間において、各良品分割画像の特徴量が示す点は、良品画像において同じ位置にある他の良品分割画像の特徴量によって形成される集合の近くにプロットされる。したがって、特徴空間において、特殊パターンを含む検査分割画像の特徴量が示す点を、当該検査分割画像に対応する複数の良品分割画像の特徴量が形成する集合の近くにプロットすることができ、その結果欠陥の程度が小さい欠陥度合いを取得して良品と判定することが可能となる。また、学習済みモデルは、良品ラベル画像に基づいて良品画像における位置によって異なる判別基準を学習することができ、特徴空間において、各良品分割画像に対応する特徴量が示す点の集合を、良品画像における良品分割画像の位置ごとに異なる範囲、領域に集めることができる。したがって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の検査分割画像の特徴量が示す点を、当該別の位置の複数の良品分割画像の特徴量が形成する集合に対して遠くにプロットすることができ、その結果欠陥の程度が大きい欠陥度合いを取得して不良品と判定することが可能となる。 Here, the trained model can learn a pattern specific to each non-defective product segmented image based on the non-defective product label image. is plotted near the set formed by the features of the other good segmented images in . Therefore, in the feature space, the point indicated by the feature amount of the inspection divided image including the special pattern can be plotted near the set formed by the feature amounts of the plurality of non-defective product divided images corresponding to the inspection divided image. As a result, it becomes possible to acquire the degree of defect with a small degree of defect and determine that the product is non-defective. In addition, the trained model can learn discrimination criteria that differ depending on the position in the non-defective product image based on the non-defective product label image. can be collected in different ranges and regions for each position of the non-defective divided images in . Therefore, in the feature space, the point indicated by the feature amount of the inspection division image at another position, which includes a pattern that is good at one position but is defective at another position, is defined as a plurality of good product divisions at that other position. It is possible to plot a set far from the set formed by the feature amount of the image, and as a result, it is possible to obtain the degree of defect with a large degree of defect and determine it as a defective product.

本発明の他の態様に係る学習済みモデル生成装置は、良品の検査対象物の分割画像である良品分割画像、及び当該良品分割画像に対応するラベル情報の画像である良品ラベル画像を入力とし、良品分割画像の特徴量を出力するように学習させた学習済みモデルを生成するモデル生成部を備える。 A learned model generating apparatus according to another aspect of the present invention receives as input a non-defective product divided image that is a divided image of a non-defective product inspection object and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image, A model generating unit that generates a trained model that is trained to output a feature amount of a non-defective divided image is provided.

この態様によれば、良品分割画像と良品ラベル画像とを入力として良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査分割画像と検査ラベル画像とを入力し、検査分割画像の特徴量を抽出させることができる。このとき、学習済みモデルに良品ラベル画像又は検査ラベル画像を入力する際に、当該良品ラベル画像又は当該検査ラベル画像を良品分割画像又は検査分割画像とは異なるチャネルに入力する。学習済みモデルは、良品ラベル画像に基づいて各良品分割画像に特有のパターンを学習することができ、特徴空間において、各良品分割画像の特徴量が示す点は、良品画像において同じ位置にある他の良品分割画像の特徴量によって形成される集合の近くにプロットされる。したがって、特徴空間において、特殊パターンを含む検査分割画像の特徴量が示す点を、当該検査分割画像に対応する複数の良品分割画像の特徴量が形成する集合の近くにプロットすることができる。また、学習済みモデルは、良品ラベル画像に基づいて良品画像における位置によって異なる判別基準を学習することができ、特徴空間において、各良品分割画像に対応する特徴量が示す点の集合を、良品画像における良品分割画像の位置ごとに異なる範囲、領域に集めることができる。したがって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の検査分割画像の特徴量が示す点を、当該別の位置の複数の良品分割画像の特徴量が形成する集合に対して遠くにプロットすることができる。 According to this aspect, the inspection divided image and the inspection label image are input to the trained model trained to output the feature amount of the non-defective product divided image by inputting the non-defective product divided image and the non-defective product label image, and the inspection division is performed. A feature amount of an image can be extracted. At this time, when inputting the non-defective product label image or the inspection label image to the learned model, the non-defective product label image or the inspection label image is input to a channel different from the non-defective product divided image or the inspection divided image. The trained model can learn a pattern specific to each non-defective product divided image based on the non-defective product label image. is plotted near the set formed by the features of the good segmented images of . Therefore, in the feature space, the point indicated by the feature amount of the inspection divided image including the special pattern can be plotted near the set formed by the feature amounts of the plurality of non-defective product divided images corresponding to the inspection divided image. In addition, the trained model can learn discrimination criteria that differ depending on the position in the non-defective product image based on the non-defective product label image. can be collected in different ranges and regions for each position of the non-defective divided images in . Therefore, in the feature space, the point indicated by the feature amount of the inspection division image at another position, which includes a pattern that is good at one position but is defective at another position, is defined as a plurality of good product divisions at that other position. It can be plotted far relative to the set formed by the image features.

本発明によれば、良品画像の特徴量に対し、特殊パターンを含む良品画像の特徴量を近くにプロットするとともに、不良品の検査画像の特徴量を遠くにプロットすることができる画像検査装置、画像検査方法及び学習済みモデル生成装置を提供することができる。 According to the present invention, an image inspection apparatus capable of plotting the feature amount of a non-defective product image containing a special pattern closer to the feature amount of a non-defective product image and plotting the feature value of an inspection image of a defective product farther away, It is possible to provide an image inspection method and a trained model generation device.

本発明の一実施形態に係る画像検査システムの概略構成図である。1 is a schematic configuration diagram of an image inspection system according to an embodiment of the present invention; FIG. 同実施形態に係る学習済みモデル生成装置の構成を示す機能ブロック図である。FIG. 2 is a functional block diagram showing the configuration of a trained model generation device according to the same embodiment; 良品分割画像及びラベル情報を説明するための図である。FIG. 4 is a diagram for explaining non-defective product divided images and label information; 良品画像の一例を示す図である。It is a figure which shows an example of a non-defective product image. 図4の良品画像に含まれる複数の良品分割画像のそれぞれに付与されるラベル情報の一例を示す図である。5 is a diagram showing an example of label information given to each of a plurality of non-defective product divided images included in the non-defective product image of FIG. 4; FIG. 良ラベル画像候補の一例を示す図である。FIG. 10 is a diagram showing an example of good label image candidates; 良ラベル画像候補の他の例を示す図である。FIG. 10 is a diagram showing another example of good label image candidates; 同実施形態に係るモデル生成部が学習させるモデルを説明するための図である。It is a figure for demonstrating the model which the model generation part which concerns on the same embodiment learns. 同実施形態に係る画像検査装置の構成を示す機能ブロック図である。It is a functional block diagram showing the configuration of the image inspection apparatus according to the same embodiment. 図8の処理部の構成を示す機能ブロック図である。9 is a functional block diagram showing the configuration of a processing unit in FIG. 8; FIG. 欠陥度合いを取得する方法の一例を説明するための概念図である。It is a conceptual diagram for explaining an example of a method of acquiring the degree of defect. 欠陥度合いを取得する方法の他の例を説明するための概念図である。FIG. 11 is a conceptual diagram for explaining another example of a method of acquiring a degree of defect; 同実施形態に係る検査部による処理を説明するための概念図である。It is a conceptual diagram for demonstrating the process by the test|inspection part which concerns on the same embodiment. 欠陥度合い画像の一例を示す図である。It is a figure which shows an example of a defect degree image. 同実施形態に係る学習済みモデル生成装置が実行する学習済みモデル生成処理の一例を説明するためのフローチャートである。7 is a flowchart for explaining an example of a learned model generation process executed by the learned model generation device according to the embodiment; 実施形態に係る画像検査装置が実行する画像検査処理の一例を説明するためのフローチャートである。5 is a flowchart for explaining an example of image inspection processing executed by the image inspection apparatus according to the embodiment; 同実施形態に係る画像検査装置及び学習済みモデル生成装置の物理的構成を示すブロック図である。2 is a block diagram showing physical configurations of an image inspection apparatus and a trained model generation apparatus according to the same embodiment; FIG.

以下に本発明の実施形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号で表している。但し、図面は模式的なものである。従って、具体的な寸法等は以下の説明を照らし合わせて判断するべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。さらに、本発明の技術的範囲は、当該実施形態に限定して解するべきではない。 Embodiments of the present invention are described below. In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals. However, the drawings are schematic. Therefore, specific dimensions and the like should be determined by referring to the following description. In addition, it goes without saying that there are portions with different dimensional relationships and ratios between the drawings. Furthermore, the technical scope of the present invention should not be construed as being limited to this embodiment.

添付図面を参照して、本発明の好適な実施形態について説明する。 Preferred embodiments of the present invention will be described with reference to the accompanying drawings.

図1は、本発明の一実施形態に係る画像検査システム1の概略構成図である。画像検査システム1は、画像検査装置20及び照明25を含む。照明25は、検査対象物30に光Lを照射する。画像検査装置20は、反射光Rを撮影し、検査対象物30の画像(以下、「検査画像」ともいう。)に基づいて、検査対象物30の検査を行う。画像検査装置20は、通信ネットワーク15を介して、学習済みモデル生成装置10に接続されている。学習済みモデル生成装置10は、画像検査装置20が検査対象物30の検査を行うために用いる学習済みモデルを生成する。 FIG. 1 is a schematic configuration diagram of an image inspection system 1 according to one embodiment of the present invention. The image inspection system 1 includes an image inspection device 20 and illumination 25 . The illumination 25 irradiates the inspection object 30 with the light L. As shown in FIG. The image inspection device 20 captures the reflected light R and inspects the inspection object 30 based on the image of the inspection object 30 (hereinafter also referred to as “inspection image”). The image inspection device 20 is connected to the trained model generation device 10 via the communication network 15 . The trained model generation device 10 generates a trained model used by the image inspection device 20 to inspect the inspection object 30 .

図2は、本実施形態に係る学習済みモデル生成装置10の構成を示す機能ブロック図である。学習済みモデル生成装置10は、例えば、記憶部100、学習部110及び通信部120を備える。 FIG. 2 is a functional block diagram showing the configuration of the trained model generating device 10 according to this embodiment. The trained model generation device 10 includes, for example, a storage unit 100, a learning unit 110, and a communication unit 120.

記憶部100は、各種の情報を記憶する。本実施形態において、記憶部100は、例えば、良品画像40、ラベル画像候補45、学習用画像50、学習済みモデル65及び特徴量70を記憶する。良品画像40は、良品の検査対象物の画像である。ラベル画像候補45は、後述する良品ラベル画像及び検査ラベル画像の候補となる画像を記憶するテーブルである。学習用画像50は、モデルの学習用に入力する画像である。学習済みモデル65は、後述する学習部110により生成されるモデルである。特徴量70は、学習済みモデル65から出力されるデータである。 The storage unit 100 stores various information. In this embodiment, the storage unit 100 stores, for example, the non-defective product image 40, the label image candidate 45, the learning image 50, the trained model 65, and the feature amount . The non-defective product image 40 is an image of a non-defective inspection object. The label image candidate 45 is a table that stores images that are candidates for non-defective label images and inspection label images, which will be described later. The learning image 50 is an image input for model learning. The learned model 65 is a model generated by the learning unit 110, which will be described later. The feature quantity 70 is data output from the trained model 65 .

学習部110は、例えば、学習用画像生成部111及びモデル生成部112を備える。 The learning unit 110 includes, for example, a learning image generation unit 111 and a model generation unit 112 .

学習用画像生成部111は、モデル生成部112が学習処理を行うために用いる学習用画像50を生成する。学習用画像50には、良品画像40を分割した良品分割画像と、その良品分割画像に対応するラベル情報の画像(以下、「良品ラベル画像」という。)とが含まれる。図3を参照して、良品分割画像及びラベル情報について説明する。 The learning image generation unit 111 generates a learning image 50 that is used by the model generation unit 112 to perform learning processing. The learning image 50 includes a non-defective product divided image obtained by dividing the non-defective product image 40 and an image of label information corresponding to the non-defective product divided image (hereinafter referred to as a “non-defective product label image”). A non-defective divided image and label information will be described with reference to FIG.

学習用画像生成部111は、記憶部100から良品画像40を取得し、その良品画像40を分割することにより複数の良品分割画像400、402、404、・・・を生成する。本実施形態において、学習用画像生成部111は、良品画像40を縦及び横にそれぞれ4分割することにより、計16個の良品分割画像を生成する。なお、良品画像40は、2から15個の良品分割画像に分割されてもよいし、17個以上の良品分割画像に分割されてもよい。 The learning image generation unit 111 acquires the non-defective product image 40 from the storage unit 100 and divides the non-defective product image 40 to generate a plurality of non-defective product divided images 400, 402, 404, . In this embodiment, the learning image generation unit 111 generates a total of 16 non-defective divided images by vertically and horizontally dividing the non-defective item image 40 into four. The non-defective product image 40 may be divided into 2 to 15 non-defective divided images, or may be divided into 17 or more non-defective divided images.

学習用画像生成部111は、複数の良品分割画像のそれぞれにラベル情報を付与し、良品分割画像及びラベル情報により構成される複数のデータセットを生成する。学習用画像生成部111は、予め指定されたアルゴリズムに基づきラベル情報を良品分割画像に付与してもよいし、ユーザの操作に基づいてラベル情報を良品分割画像に付与してもよい。 The learning image generation unit 111 assigns label information to each of the plurality of non-defective product divided images, and generates a plurality of data sets configured by the non-defective product divided images and the label information. The learning image generation unit 111 may assign label information to the non-defective product divided image based on a predetermined algorithm, or may assign label information to the non-defective product divided image based on the user's operation.

例えば、互いに異なる複数の良品画像のそれぞれについて、良品分割画像が生成されているとする。この場合、生成された良品分割画像のうち、良品画像における位置が互いに一致する良品分割画像の全てに、同一のラベル情報を付与する。 For example, assume that a non-defective divided image is generated for each of a plurality of non-defective product images that are different from each other. In this case, among the generated non-defective product divided images, all the non-defective product divided images whose positions in the non-defective product image match each other are given the same label information.

学習用画像生成部111は、良品分割画像にラベル情報を付与すると、どの位置の良品分割画像にどのラベル情報を付与したのかを示す情報を、記憶部100に記憶させることとしてもよい。 After assigning the label information to the non-defective product divided images, the learning image generation unit 111 may cause the storage unit 100 to store information indicating which label information is assigned to which positions of the non-defective product divided images.

例えば、図3の良品分割画像400には、ラベル情報(A)が付与され、良品分割画像400及びラベル情報(A)が1組のデータセットとして記憶される。同様にして、学習用画像生成部111は、良品分割画像402及びラベル情報(B)のデータセット、並びに良品分割画像404及びラベル情報(C)のデータセット等、16個の良品分割画像のそれぞれに基づくデータセットを生成して記憶させる。 For example, the non-defective product divided image 400 in FIG. 3 is given label information (A), and the non-defective product divided image 400 and the label information (A) are stored as a set of data sets. Similarly, the learning image generation unit 111 generates 16 non-defective divided images, such as a data set of non-defective divided images 402 and label information (B), and a data set of non-defective divided images 404 and label information (C). Generate and store a dataset based on

ここで、図4及び図5を参照して、学習用画像生成部111が良品分割画像に付与するラベル情報の具体例を説明する。図4は、良品画像40の一例を示す図である。図4に示す良品画像40は、4つのパターン(第1パターン402、第2パターン404、第3パターン406及び第4パターン408)が含まれている。また、図4に示す良品画像40は、縦及び横にそれぞれ4分割されており、合計16個の良品分割画像に分割されている。 Here, a specific example of the label information that the learning image generation unit 111 assigns to the non-defective divided images will be described with reference to FIGS. 4 and 5. FIG. FIG. 4 is a diagram showing an example of a non-defective product image 40. As shown in FIG. The non-defective product image 40 shown in FIG. 4 includes four patterns (first pattern 402, second pattern 404, third pattern 406 and fourth pattern 408). In addition, the non-defective product image 40 shown in FIG. 4 is vertically and horizontally divided into four parts, and is divided into a total of 16 non-defective product divided images.

図5は、16個の良品分割画像のそれぞれに付与されるラベル情報の一例を示す図である。なお、図5では、図4に示した4つのパターンを省略して示している。また、図5の良品分割画像に示されている数字は、ラベルを識別する値(以下、「ラベル識別値」という。)であり、ラベル情報に含まれるデータである。 FIG. 5 is a diagram showing an example of label information assigned to each of 16 non-defective divided images. 5, the four patterns shown in FIG. 4 are omitted. Also, the numbers shown in the non-defective product divided image in FIG. 5 are values for identifying labels (hereinafter referred to as “label identification values”), and are data included in label information.

図5に示す良品画像40では、ラスタスキャンの順番で、16個の良品分割画像のそれぞれにラベル情報が付与されている。すなわち、図5に示す良品画像40では、矢印で示した順番に、16個の良品分割画像のそれぞれに、0から15までのラベル識別値が付与されている。例えば、一番上の行の4つの良品分割画像のそれぞれには、左端の良品分割画像420から順番に、0から3までのラベル識別値が付与されている。また、一番上から2番目の行の4つの良品分割画像のそれぞれには、一番左側の良品分割画像422から順番に、4から7までのラベル識別値が付与されている。さらに、一番上から3番目及び4番目の行にある8つの良品分割画像には、8から15までのラベル識別値が矢印の順番で付与されている。 In the non-defective product image 40 shown in FIG. 5, label information is assigned to each of 16 non-defective product divided images in the order of raster scanning. That is, in the non-defective product image 40 shown in FIG. 5, label identification values from 0 to 15 are assigned to each of the 16 non-defective product divided images in the order indicated by the arrows. For example, label identification values from 0 to 3 are assigned to each of the four non-defective divided images in the top row in order from the non-defective divided image 420 on the left end. Label identification values from 4 to 7 are assigned to the four non-defective divided images in the second row from the top in order from the leftmost non-defective divided image 422 . Furthermore, label identification values from 8 to 15 are given in the order of the arrows to the eight non-defective divided images in the third and fourth rows from the top.

なお、ここでは、一番上の左端の良品分割画像420をラベル識別値が0となる開始の良品分割画像として説明したが、いずれの良品分割画像を開始の良品分割画像としてもよい。また、ラベル識別値の数値は、ラスタスキャンの順番に限らず、いかなる順番で良品分割画像に付与してもよい。 Here, although the good product divided image 420 at the top left end has been described as the starting good product divided image whose label identification value is 0, any good product divided image may be used as the start good product divided image. Also, the numerical value of the label identification value is not limited to the order of raster scanning, and may be given to the non-defective divided images in any order.

学習用画像生成部111は、データセットを構成するラベル情報に基づいて、良品分割画像に対応する良品ラベル画像を選定する。具体的に、学習用画像生成部111は、ラベル情報に含まれるラベル識別値を用いてラベル画像候補45を参照し、ラベル識別値に対応するラベル画像を抽出することにより、良品ラベル画像を選定する。 The learning image generation unit 111 selects a non-defective product label image corresponding to the non-defective product divided image based on the label information forming the data set. Specifically, the learning image generation unit 111 refers to the label image candidates 45 using the label identification value included in the label information, extracts the label image corresponding to the label identification value, and selects the non-defective label image. do.

図6A及び図6Bを参照して、ラベル画像候補45の一例について説明する。図6Aは、ラベル識別値ごとに異なる濃度値を有するラベル画像を、ラベル画像の候補として設定したテーブルの概念図である。同図に示すラベル画像の各候補は、それぞれ一様濃度の画像であり、ラベル識別値が異なると、異なる濃度になるように画像の濃度値が設定されている。 An example of the label image candidate 45 will be described with reference to FIGS. 6A and 6B. FIG. 6A is a conceptual diagram of a table in which label images having different density values for each label identification value are set as label image candidates. Each candidate for the label image shown in the figure is an image of uniform density, and the density value of the image is set so that different label identification values result in different densities.

図6Bは、ラベル識別値ごとに異なるパターンを有するラベル画像を、ラベル画像の候補として設定したテーブルの概念図である。同図に示すラベル画像の各候補は、ラベル識別値が異なると、異なるパターンになるように画像のパターンが設定されている。 FIG. 6B is a conceptual diagram of a table in which label images having different patterns for each label identification value are set as label image candidates. The candidate label images shown in FIG. 4 are set to have different image patterns for different label identification values.

ラベル画像候補45に設定するラベル画像は、濃度値やパターンが相互に異なる画像に限定されず、例えば、色相や明度、彩度等が相互に異なる画像であってもよい。 The label images to be set as the label image candidates 45 are not limited to images having mutually different density values and patterns.

学習用画像生成部111は、良品分割画像とその良品分割画像に対応する良品ラベル画像との組み合わせを学習用画像50として記憶部100に記憶させる。これにより、良品画像40を構成する複数の良品分割画像に対応する学習用画像50を記憶させることができる。 The learning image generating unit 111 stores the combination of the non-defective product divided image and the non-defective product label image corresponding to the non-defective product divided image in the storage unit 100 as the learning image 50 . As a result, the learning images 50 corresponding to the plurality of non-defective divided images forming the non-defective product image 40 can be stored.

このような学習用画像50を記憶させることで、良品画像40を構成する各良品分割画像を、互いに濃度値又はパターンが異なる良品ラベル画像のいずれかと組み合わせて記憶させることができる。つまり、複数の良品分割画像により構成される良品画像40の濃度分布又はパターン分布を、良品分割画像の位置ごとに異なる濃度又はパターンによって表現することが可能となる。 By storing such a learning image 50, each of the non-defective product divided images constituting the non-defective product image 40 can be stored in combination with any of the non-defective product label images having different density values or patterns. That is, the density distribution or pattern distribution of the non-defective product image 40 composed of a plurality of non-defective product divided images can be represented by different densities or patterns for each position of the non-defective product divided images.

図2に示すモデル生成部112は、学習用画像50を用いて学習処理を実行し、学習済みモデル65を生成する。学習済みモデル65は、例えば、良品画像40を構成する複数の良品分割画像それぞれに対応する学習用画像50を入力とし、各良品分割画像の特徴量をそれぞれ出力するモデルである。 The model generation unit 112 shown in FIG. 2 executes learning processing using the learning image 50 to generate a trained model 65 . The trained model 65 is, for example, a model that inputs the learning image 50 corresponding to each of the non-defective product divided images that constitute the non-defective product image 40, and outputs the feature amount of each non-defective product divided image.

モデル生成部112は、良品ラベル画像を学習済みモデル65に入力する際に、当該良品ラベル画像を良品分割画像とは異なるチャネルに入力する。良品分割画像のチャネル数及び良品ラベル画像のチャネル数は、適宜指定できるようにする。 When inputting the non-defective product label image to the trained model 65, the model generation unit 112 inputs the non-defective product label image to a channel different from the non-defective product divided image. The number of channels of the non-defective product divided image and the number of channels of the non-defective product label image can be specified as appropriate.

具体的に、良品分割画像又は良品ラベル画像が複数チャネルの画像データを含む場合には、良品分割画像のチャネル数又は良品ラベル画像のチャネル数も複数チャネルに指定し、良品分割画像又は良品ラベル画像が単一チャネルの画像データを含む場合には、良品分割画像のチャネル数又は良品ラベル画像のチャネル数も単一チャネルに指定することが望ましい。 Specifically, when the non-defective product divided image or the non-defective product label image includes image data of a plurality of channels, the number of channels of the non-defective product divided image or the number of channels of the non-defective product label image is also designated as a plurality of channels, and the non-defective product divided image or the non-defective product label image contains single-channel image data, it is desirable to specify that the number of channels of the good split image or the number of channels of the good label image is also single-channel.

例えば、良品分割画像又は良品ラベル画像がRGBのカラー画像である場合には、3つのチャネルを指定し、良品分割画像又は良品ラベル画像がグレースケール画像である場合には、1つのチャネルを指定することができる。 For example, if the non-defective product divided image or the non-defective product label image is an RGB color image, three channels are designated, and if the non-defective product divided image or the non-defective product label image is a grayscale image, one channel is designated. be able to.

図7に例示するように、モデル生成部112が学習済みモデル65を生成するために用いる学習モデル60は、例えば、ニューラルネットワークの1つであり、教師なし機械学習の手法の1つでもあるオートエンコーダを用いることができる。オートエンコーダは、入力層601と、出力層605と、入力層601と出力層605との間に配置されている中間層603と、を含んでいる。 As illustrated in FIG. 7, the learning model 60 used by the model generating unit 112 to generate the trained model 65 is, for example, one of neural networks and an auto model which is one of unsupervised machine learning methods. An encoder can be used. The autoencoder includes an input layer 601 , an output layer 605 and an intermediate layer 603 positioned between the input layer 601 and the output layer 605 .

なお、学習モデル60は、オートエンコーダに限定されるものではない。学習モデル60は、例えば、PCA(Principal Component Analysis)を用いたモデルであってもよい。また、中間層603は、1層である場合に限定されず、2層以上であってもよい。 Note that the learning model 60 is not limited to an autoencoder. The learning model 60 may be, for example, a model using PCA (Principal Component Analysis). Further, the intermediate layer 603 is not limited to one layer, and may be two or more layers.

入力層601及び出力層605は、それぞれ、2つのチャネルを有している。具体的には、入力層601は第1入力チャネル601a及び第2入力チャネル601bを有し、出力層605は、第1出力チャネル605a及び第2出力チャネル605bを有する。良品分割画像と対応する良品ラベル画像とは、それぞれ、異なるチャネルに入力される。例えば、第1入力チャネル601aに良品分割画像が入力され、第2入力チャネル601bに良品ラベル画像が入力される。入力層601に入力された良品分割画像及び良品ラベル画像は、中間層603において画像の次元が削減され、出力層605において次元が戻されて出力される。具体的には、第1出力チャネル605aから良品分割画像に対応する出力良品分割画像が出力され、第2出力チャネル605bから良品ラベル画像に対応する出力良品ラベル画像が出力される。 Input layer 601 and output layer 605 each have two channels. Specifically, the input layer 601 has a first input channel 601a and a second input channel 601b, and the output layer 605 has a first output channel 605a and a second output channel 605b. The non-defective product segmented image and the corresponding non-defective product label image are respectively input to different channels. For example, a non-defective divided image is input to the first input channel 601a, and a non-defective label image is input to the second input channel 601b. The non-defective divided image and the non-defective label image input to the input layer 601 are reduced in dimension in the intermediate layer 603 and restored in dimension in the output layer 605 to be output. Specifically, the output non-defective product divided image corresponding to the non-defective product divided image is output from the first output channel 605a, and the output non-defective product label image corresponding to the non-defective product label image is output from the second output channel 605b.

オートエンコーダは、良品分割画像と出力良品分割画像との間の差分(以下、「第1差分」ともいう)及び良品ラベル画像と出力良品ラベル画像との間の差分(以下、「第2差分」ともいう)の合計が最小となるように、重み(係数ともいう)を学習する。より詳細には、円形状で表される各ノードは、線で表される各エッジにおいて固有の重み付けを行い、重み付けされた値が次の層のノードに入力される。この重み付けにおける重みを学習することで、第1差分と第2差分との合計が最小になる。この学習によって、中間層603から特徴量を出力することが可能となる。 The autoencoder detects the difference between the non-defective product divided image and the output non-defective product divided image (hereinafter also referred to as the "first difference") and the difference between the non-defective product label image and the output non-defective product label image (hereinafter referred to as the "second difference"). weights (also called coefficients) are learned so that the sum of More specifically, each node, represented by a circle, has a unique weighting at each edge, represented by a line, and the weighted values are input to the nodes of the next layer. Learning the weight in this weighting minimizes the sum of the first difference and the second difference. Through this learning, it becomes possible to output the feature amount from the intermediate layer 603 .

本実施形態において、良品分割画像400を入力するチャネルと、良品ラベル画像450を入力するチャネルとは、それぞれ異なるチャネルにより構成される。良品分割画像400用のチャネルのチャネル数及び良品ラベル画像450用のチャネルのチャネル数は、それぞれの画像データのチャネル数に合わせて適宜指定することができる。 In this embodiment, the channel for inputting the non-defective product divided image 400 and the channel for inputting the non-defective product label image 450 are configured by different channels. The number of channels for the non-defective product divided image 400 and the number of channels for the non-defective product label image 450 can be appropriately specified according to the number of channels of each image data.

ここで、特徴量は、求めたい事物の特徴を定量的に表した変数である。出力層605から出力される特徴量は、例えば良品分割画像であることを特徴付けるものであり、具体的には良品分割画像が有する濃淡の配列、良品分割画像における輝度、赤単体、緑単体、青単体、又は赤・緑・青(RGB)のヒストグラム等が挙げられる。一般に、良品分割画像は、1種類の特徴量で認識されるよりも、複数種類の特徴量を用いて認識されることが多い。 Here, the feature amount is a variable that quantitatively expresses the feature of the thing to be obtained. The feature amount output from the output layer 605 characterizes, for example, a non-defective product divided image. A simple substance, or a red/green/blue (RGB) histogram or the like can be used. In general, non-defective divided images are often recognized using multiple types of feature amounts rather than using one type of feature amount.

特徴量は、例えば、複数の特徴量を成分とするベクトル(以下、「特徴ベクトル」ともいう。)により表現することができる。本実施形態では、例示的に特徴量をベクトルにより表現する場合について説明するが、これに限定されず、特徴量を、スカラー、行列、テンソルにより表現してもよい A feature amount can be represented, for example, by a vector (hereinafter also referred to as a "feature vector") having a plurality of feature amounts as components. In this embodiment, a case where the feature amount is represented by a vector will be described as an example, but the present invention is not limited to this, and the feature amount may be represented by a scalar, matrix, or tensor.

特徴量の数(個数)は、特徴量の次元(次元数)を表す。特徴量により形成される空間は、特徴空間と呼ばれ、1つの特徴量は特徴空間上の1点として表される。 The number (number) of feature amounts represents the dimension (number of dimensions) of the feature amount. A space formed by feature quantities is called a feature space, and one feature quantity is represented as one point on the feature space.

本実施形態において、学習モデル60への入力は、例えば良品分割画像及び良品ラベル画像であり、学習モデル60の中間層603からの出力は、その良品分割画像の特徴量である。また、良品分割画像を入力するチャネルと、良品ラベル画像を入力するチャネルとは異なる。 In this embodiment, the input to the learning model 60 is, for example, a non-defective product segmented image and a non-defective product label image, and the output from the intermediate layer 603 of the learning model 60 is the feature quantity of the non-defective product segmented image. Also, the channel for inputting non-defective product divided images is different from the channel for inputting non-defective product label images.

例えば、図4の良品画像40のための学習済みモデル65を生成する場合、学習モデル60には、良品画像40に基づいて生成された、良品分割画像及び良品ラベル画像の組合せが入力される。そして、学習モデル60は、良品分割画像ごとに、その良品分割画像と同じ位置に配置されている複数の良品分割画像の特徴量を示す点の集まりが、特徴空間において近い距離にプロットされるように、各重みを学習する。これにより、良品分割画像の特徴量を出力する学習済みモデル65が生成される。 For example, when generating the trained model 65 for the good product image 40 of FIG. Then, the learning model 60 plots, for each non-defective product divided image, a collection of points indicating feature amounts of a plurality of non-defective product divided images arranged at the same position as the non-defective product divided image at a short distance in the feature space. , learn each weight. As a result, a learned model 65 is generated that outputs the feature amount of the non-defective divided image.

このように、モデル生成部112は、良品分割画像とその良品分割画像に対応する良品ラベル画像を学習モデル60に入力し、学習モデル60を学習させることで、学習済みモデル65を生成する。 In this way, the model generating unit 112 inputs the non-defective product divided image and the non-defective product label image corresponding to the non-defective product divided image to the learning model 60 and causes the learning model 60 to learn, thereby generating the trained model 65 .

学習済みモデル65は、良品画像における位置を特定するための良品ラベル画像及びその良品ラベル画像に対応する良品分割画像に基づいて学習するため、良品画像におけるどの位置の良品分割画像のパターンであるのかを判別して学習することができる。 Since the trained model 65 learns based on the non-defective product label image for specifying the position in the non-defective product image and the non-defective product divided image corresponding to the non-defective product label image, it is possible to determine which position in the non-defective product image is the pattern of the non-defective product divided image. can be discriminated and learned.

図2に戻り、学習済みモデル生成装置10の通信部120について説明する。通信部120は、各種の情報を送受信することができる。例えば、通信部120は、通信ネットワーク15を介して、学習済みモデル65を画像検査装置20に送信する。このとき、良品画像におけるどの位置の良品分割画像にどのラベル情報が付与されたのかを示す情報も、画像検査装置20に送信される。 Returning to FIG. 2, the communication unit 120 of the trained model generation device 10 will be described. The communication unit 120 can transmit and receive various types of information. For example, the communication unit 120 transmits the learned model 65 to the image inspection device 20 via the communication network 15 . At this time, the image inspection apparatus 20 also receives information indicating which label information has been assigned to which position of the non-defective product divided image in the non-defective product image.

図8は、本実施形態に係る画像検査装置20の構成を示す機能ブロック図である。画像検査装置20は、例えば、通信部200、記憶部210、撮影部220、処理部230及び学習部240を備える。 FIG. 8 is a functional block diagram showing the configuration of the image inspection apparatus 20 according to this embodiment. The image inspection apparatus 20 includes, for example, a communication unit 200, a storage unit 210, an imaging unit 220, a processing unit 230, and a learning unit 240.

通信部200は、例えば、通信ネットワーク15を介して、学習済みモデル生成装置10から学習済みモデル65及び特徴量70を受信する。また、通信部200は、例えば、通信ネットワーク15を介して、学習済みモデル生成装置10又は他の装置から学習用画像50を受信することもできる。受信した学習用画像50、学習済みモデル65及び特徴量70は、記憶部210に書き込まれて記憶される。なお、通信部200は、学習済みモデル65及び特徴量70と学習用画像50とのいずれか一方のみを受信してもよい。通信部200が学習用画像50のみを受信する場合、後述する学習部240は、その学習用画像50を用い、学習済みモデル65を生成し、学習済みモデル65を生成する過程で特徴量70を抽出してもよい。 The communication unit 200 receives the trained model 65 and the feature quantity 70 from the trained model generation device 10 via the communication network 15, for example. The communication unit 200 can also receive the learning images 50 from the trained model generating device 10 or other devices via the communication network 15, for example. The received learning image 50, trained model 65, and feature amount 70 are written and stored in the storage unit 210. FIG. Note that the communication unit 200 may receive only one of the trained model 65 and feature amount 70 and the learning image 50 . When the communication unit 200 receives only the learning image 50, the learning unit 240, which will be described later, uses the learning image 50 to generate the trained model 65, and calculates the feature amount 70 in the process of generating the trained model 65. may be extracted.

記憶部210は、各種の情報を記憶するように構成されている。記憶部210は、例えば、学習用画像50と、学習済みモデル65と、特徴量70とを記憶する。学習済みモデル65には、良品画像におけるどの位置の良品分割画像にどのラベル情報が付与されたのかを表す情報も付与される。学習済みモデル65を記憶部210に記憶させることで、学習済みモデルを容易に読み出すことが可能となる。 The storage unit 210 is configured to store various types of information. The storage unit 210 stores, for example, the learning image 50, the trained model 65, and the feature amount 70. FIG. The learned model 65 is also given information indicating which label information is given to which position of the good product divided image in the good product image. By storing the learned model 65 in the storage unit 210, the learned model can be easily read.

学習部240は、学習用画像50により学習モデルを学習させ、学習済みモデル65を生成するように構成されている。学習済みモデル65は、学習用画像50に含まれる良品分割画像及び良品ラベル画像を入力とし、その良品分割画像の特徴量を出力するモデルである。生成した学習済みモデル65は、記憶部210に書き込まれて記憶される。なお、学習モデルを学習させる方法は、前述した学習済みモデル生成装置10のモデル生成部112による方法と同様であるため、その説明を省略する。 The learning unit 240 is configured to learn a learning model using the learning image 50 and generate a trained model 65 . The trained model 65 is a model that receives as input the non-defective product divided image and the non-defective product label image included in the learning image 50 and outputs the feature amount of the non-defective product divided image. The generated trained model 65 is written and stored in the storage unit 210 . Note that the method of learning the learning model is the same as the method by the model generation unit 112 of the trained model generation device 10 described above, and therefore the description thereof will be omitted.

画像検査装置20に学習部240を備えることにより、学習済みモデル生成装置10がなくても、学習済みモデル65を得ることができる。 By providing the learning unit 240 in the image inspection apparatus 20, the trained model 65 can be obtained without the trained model generation apparatus 10. FIG.

撮影部220は、例えばカメラ等の撮像装置を含み、検査対象物30の画像を撮像する。本実施形態において、撮影部220は、検査対象物30からの反射光Rを受光し、検査対象物30の画像を撮像する。撮影部220は、撮像した画像を処理部230に出力する。 The imaging unit 220 includes an imaging device such as a camera, and captures an image of the inspection object 30 . In this embodiment, the imaging unit 220 receives reflected light R from the inspection object 30 and captures an image of the inspection object 30 . The imaging unit 220 outputs the captured image to the processing unit 230 .

処理部230は、各種の処理を検査対象物の画像に施し、検査対象物の検査を行う。図9は、本実施形態に係る処理部230の構成を示す機能ブロック図である。処理部230は、例えば、分割部231、ラベル付与部232、ラベル画像選定部233、抽出部234、取得部235及び検査部236を備える。 The processing unit 230 performs various processes on the image of the inspection object to inspect the inspection object. FIG. 9 is a functional block diagram showing the configuration of the processing section 230 according to this embodiment. The processing unit 230 includes, for example, a dividing unit 231, a labeling unit 232, a label image selecting unit 233, an extracting unit 234, an acquiring unit 235, and an inspecting unit 236.

分割部231は、撮影部220から検査対象物の画像を取得し、その検査対象物の画像を分割することにより複数の検査分割画像を生成する。なお、検査対象物の画像を分割する方法は、前述した学習済みモデル生成装置10の学習用画像生成部111による良品画像の分割方法と同様であるため、その説明を省略する。 The dividing unit 231 acquires the image of the inspection object from the imaging unit 220 and divides the image of the inspection object to generate a plurality of divided inspection images. Note that the method for dividing the image of the inspection object is the same as the method for dividing the non-defective product image by the learning image generation unit 111 of the trained model generation device 10 described above, so the description thereof will be omitted.

ラベル付与部232は、複数の検査分割画像のそれぞれにラベル情報を付与し、検査分割画像及びラベル情報により構成される複数のデータセットを生成する。本実施形態において、ラベル付与部232は、学習済みモデル65に紐づけて記憶されている、良品画像におけるどの位置の良品分割画像にどのラベル情報が付与されたのかを示す情報を参照し、検査分割画像と同じ位置にある良品分割画像のラベル情報を、検査分割画像に付与する。 The label assigning unit 232 assigns label information to each of the plurality of divided inspection images, and generates a plurality of data sets composed of the divided inspection images and the label information. In the present embodiment, the label assigning unit 232 refers to information indicating which label information is assigned to which position of the non-defective product divided image in the non-defective product image, which is stored in association with the learned model 65. The label information of the non-defective divided image located at the same position as the divided image is added to the inspection divided image.

ラベル画像選定部233は、データセットを構成するラベル情報に基づいて、検査分割画像に対応する検査ラベル画像を選定する。なお、検査ラベル画像を選定する方法は、前述した学習済みモデル生成装置10の学習用画像生成部111による良品ラベル画像の選定方法と同様であるため、その説明を省略する。 The label image selection unit 233 selects an inspection label image corresponding to the inspection divided image based on the label information forming the data set. The method for selecting the inspection label image is the same as the method for selecting the non-defective product label image by the learning image generation unit 111 of the trained model generation device 10 described above, and thus the description thereof will be omitted.

抽出部234は、学習済みモデル65に検査分割画像及び検査ラベル画像を入力し、その検査分割画像の特徴量を抽出する。検査ラベル画像を学習済みモデル65に入力する際に、当該検査ラベル画像を検査分割画像とは異なるチャネルに入力する方法は、前述した学習済みモデル生成装置10のモデル生成部112による入力方法と同様であるため、その説明を省略する。 The extraction unit 234 inputs the inspection divided image and the inspection label image to the trained model 65 and extracts the feature amount of the inspection divided image. When inputting the inspection label image to the trained model 65, the method of inputting the inspection label image into a channel different from that of the inspection divided image is the same as the input method by the model generation unit 112 of the learned model generation device 10 described above. Therefore, the description thereof is omitted.

取得部235は、抽出された検査分割画像の特徴量と、学習時に出力された良品分割画像の特徴量70により形成される特徴空間とに基づいて、検査分割画像の特徴量に対応する検査分割画像の欠陥の程度を示す欠陥度合いを取得する。取得部235が欠陥度合いを取得する際の手順を、以下に説明する。 The acquisition unit 235 performs inspection division corresponding to the feature amount of the inspection divided image based on the extracted feature amount of the inspection divided image and the feature space formed by the feature amount 70 of the non-defective divided image output during learning. A defect degree indicating the degree of image defect is acquired. A procedure when the acquisition unit 235 acquires the degree of defect will be described below.

最初に、取得部235は、記憶部210に記憶された特徴量70を読み出し、各特徴量70が示す点を特徴空間にプロットする。これにより、例えば、図10に示すように、2次元の特徴空間に、各特徴量70が示す黒丸の点によって、破線で示す集合S1が形成される。この集合S1は、例えば良品画像40における良品分割画像の位置ごとに形成される。なお、取得部235は、複数の特徴量70に基づいて特徴空間における集合S1をあらかじめ形成しておき、その集合S1に関する情報を記憶部210に書き込んで記憶していてもよい。 First, the acquisition unit 235 reads the feature amounts 70 stored in the storage unit 210 and plots the points indicated by each feature amount 70 in the feature space. As a result, for example, as shown in FIG. 10, a set S1 indicated by a dashed line is formed in the two-dimensional feature space by black dots indicated by the respective feature amounts 70 . This set S1 is formed for each position of the non-defective product divided image in the non-defective product image 40, for example. Note that the acquisition unit 235 may form a set S1 in the feature space in advance based on the plurality of feature amounts 70, and write and store information about the set S1 in the storage unit 210. FIG.

続いて、取得部235は、集合S1に対応する位置の検査分割画像の特徴量が示す点を、特徴空間にプロットする。図10では、集合S1に対応する位置の検査分割画像の特徴量は、白丸の点P1で示されている。そして、取得部235は、この検査分割画像の特徴量が示す点P1と集合S1とに基づいて、検査分割画像の欠陥度合いを取得する。 Subsequently, the acquiring unit 235 plots points indicated by the feature amounts of the inspection divided images at positions corresponding to the set S1 in the feature space. In FIG. 10, the feature amount of the inspection divided image at the position corresponding to the set S1 is indicated by a white circle point P1. Then, the acquisition unit 235 acquires the degree of defect of the inspection divided image based on the point P1 indicated by the feature amount of the inspection divided image and the set S1.

より詳細には、取得部235は、抽出された特徴量について、特徴空間における、その特徴量が示す点と複数の良品分割画像の特徴量によって形成される集合との間の距離に基づいて、その特徴量に対応する検査分割画像の欠陥度合いを取得する。 More specifically, the acquisition unit 235 obtains the extracted feature amount based on the distance between the point indicated by the feature amount in the feature space and the set formed by the feature amounts of the plurality of non-defective divided images. A defect degree of the inspection divided image corresponding to the feature amount is acquired.

図10に示す例では、第1特徴量及び第2特徴量により形成される特徴空間において、取得部235は、ある検査分割画像の特徴量が示す点P1と、その検査分割画像に対応する複数の良品分割画像の特徴量の集合S1との間の距離に基づいて、その検査分割画像の欠陥度合いを取得する。この欠陥度合いは、例えば距離に応じた値である。このように、特徴量に対応する検査分割画像の欠陥度合いが、特徴空間における、特徴量が示す点P1と複数の良品分割画像の特徴量によって形成される集合S1との間の距離に基づいて取得されることにより、検査分割画像の欠陥の程度を容易に示すことができる。 In the example shown in FIG. 10, in the feature space formed by the first feature amount and the second feature amount, the acquisition unit 235 obtains a point P1 indicated by the feature amount of a certain inspection divided image and a plurality of points corresponding to the inspection divided image. The degree of defect of the inspection divided image is acquired based on the distance between the set S1 of the feature amount of the non-defective divided image. This defect degree is, for example, a value corresponding to the distance. In this way, the defect degree of the inspection divided image corresponding to the feature amount is determined based on the distance between the point P1 indicated by the feature amount and the set S1 formed by the feature amounts of a plurality of non-defective product divided images in the feature space. By being acquired, it is possible to easily indicate the degree of defects in the inspection split image.

ここで、検査分割画像の欠陥度合いを取得する際に、ある検査分割画像の特徴量が示す点と、複数の良品分割画像の特徴量のうちの1つが示す点との間の距離に基づいて、検査分割画像の欠陥度合いを取得することとしてもよい。 Here, when acquiring the defect degree of the inspection divided image, based on the distance between the point indicated by the feature amount of a certain inspection divided image and the point indicated by one of the feature amounts of the plurality of non-defective product divided images, , the defect degree of the inspection divided image may be obtained.

例えば、図11に示すように、第1特徴量及び第2特徴量により形成される特徴空間において、取得部235は、ある検査分割画像の特徴量が示す点P2と、その検査分割画像に対応する複数の良品分割画像の特徴量の集合S2に含まれる点P3との間の距離に基づいて、検査分割画像の欠陥度合いを取得する。この欠陥度合いは、例えば距離に応じた値である。また、集合S2に含まれる点P3は、集合S2に含まれる複数の点のうち、点P2に最も近い点である。取得部235は、集合S2に含まれる複数の点のそれぞれについて点P2との間の距離を算出し、点P2に最も近い点を決定することができる。 For example, as shown in FIG. 11, in the feature space formed by the first feature amount and the second feature amount, the acquisition unit 235 obtains a point P2 indicated by the feature amount of a certain inspection divided image and a point P2 corresponding to the inspection divided image. Based on the distance from the point P3 included in the set S2 of the feature amounts of the plurality of non-defective product divided images, the defect degree of the inspection divided image is acquired. This defect degree is, for example, a value corresponding to the distance. A point P3 included in the set S2 is the closest point to the point P2 among the plurality of points included in the set S2. The obtaining unit 235 can calculate the distance between each of the plurality of points included in the set S2 and the point P2, and determine the closest point to the point P2.

このように、特徴量に対応する検査分割画像の欠陥度合いが、特徴空間における、特徴量が示す点P2と複数の良品分割画像の特徴量のうちの1つが示す点との間の距離に基づいて取得されることにより、検査分割画像の欠陥の程度を容易に示すことができる。 In this way, the defect degree of the inspection divided image corresponding to the feature amount is based on the distance between the point P2 indicated by the feature amount and the point indicated by one of the feature amounts of the plurality of non-defective product divided images in the feature space. , the degree of defects in the inspection divided image can be easily indicated.

取得部235は、抽出部234により抽出される各特徴量について、以上の手順を繰り返し行い、複数の検査分割画像のそれぞれの欠陥度合いを取得する。そして、取得部235は、複数の欠陥度合いを検査部236に出力する。 The acquiring unit 235 repeats the above procedure for each feature amount extracted by the extracting unit 234, and acquires the degree of defect of each of the plurality of divided inspection images. The acquisition unit 235 then outputs a plurality of defect degrees to the inspection unit 236 .

図9に戻り、検査部236について説明する。検査部236は、取得部235によって取得された複数の欠陥度合いに基づいて、検査対象物30を検査する。 Returning to FIG. 9, the inspection unit 236 will be described. The inspection unit 236 inspects the inspection object 30 based on the plurality of defect degrees acquired by the acquisition unit 235 .

例えば、検査部236は、複数の欠陥度合いに基づいて欠陥度合い画像を生成し、生成した欠陥度合い画像に基づいて検査対象物30を検査する。これにより、検査対象物が良品であるか不良品であるかを容易に判定することができ、検査精度の高い検査を容易に実現することができる。欠陥度合いは、検査分割画像の欠陥の程度を示す値であることが好ましい。これにより、検査分割画像の欠陥の程度を定量的に示すことができる。 For example, the inspection unit 236 generates defect degree images based on a plurality of defect degrees, and inspects the inspection object 30 based on the generated defect degree images. As a result, it is possible to easily determine whether an object to be inspected is a non-defective product or a defective product, and it is possible to easily realize an inspection with high inspection accuracy. The degree of defect is preferably a value indicating the degree of defect in the inspection divided image. This makes it possible to quantitatively indicate the degree of defects in the inspection divided image.

具体的に、検査部236は、図12に示すように、取得部235によって取得された各欠陥度合い460,462、464,・・・を、それぞれの値に基づいて画像化することで、部分画像480,482,484,・・・を生成する。部分画像480,482,484,・・・は、例えば、欠陥度合いの値を、白黒の階調に変換したグレースケール画像や、RGBの階調に変換したカラー画像等である。 Specifically, as shown in FIG. 12, the inspection unit 236 converts the defect degrees 460, 462, 464, . Images 480, 482, 484, . . . are generated. The partial images 480, 482, 484, .

検査部236は、生成された部分画像480,482,484,・・・を統合することで、欠陥度合い画像48を生成する。なお、欠陥度合い画像48の縦及び横のサイズ(画素数)は、検査画像と同じであってもよいし、異なっていてもよい。そして、検査部236は、欠陥度合い画像48に基づいて検査対象物30が良品であるか否かを判定する。 The inspection unit 236 generates the defect degree image 48 by integrating the generated partial images 480, 482, 484, . The vertical and horizontal sizes (number of pixels) of the defect degree image 48 may be the same as or different from those of the inspection image. Then, the inspection unit 236 determines whether or not the inspection object 30 is non-defective based on the defect degree image 48 .

図13に示すように、欠陥度合い画像48は、例えば、2つの欠陥部分画像482,484を含む。欠陥部分画像484は欠陥度合いが相対的に低い部分画像であり、欠陥部分画像482は欠陥度合いが相対的に高い部分画像である。 As shown in FIG. 13, the defect degree image 48 includes two defect partial images 482 and 484, for example. The defective partial image 484 is a partial image with a relatively low defect degree, and the defective partial image 482 is a partial image with a relatively high defect degree.

検査部236は、例えば、欠陥度合い画像48における欠陥部分画像482,484の占める割合が、所定の閾値以下である場合に検査対象物30が良品であると判定し、所定の閾値を超える場合に検査対象物30が良品ではない、つまり、不良品であると判定する。 For example, the inspection unit 236 determines that the inspection object 30 is non-defective when the ratio of the defect partial images 482 and 484 in the defect degree image 48 is equal to or less than a predetermined threshold, and when the ratio exceeds the predetermined threshold, It is determined that the inspection object 30 is not a non-defective product, that is, is a defective product.

ここで、検査部236は、欠陥度合い画像48に含まれる欠陥部分画像482,484の有無に基づいて、検査対象物30の欠陥を検出してもよい。 Here, the inspection unit 236 may detect defects in the inspection object 30 based on the presence or absence of the defect partial images 482 and 484 included in the defect degree image 48 .

このように、特徴空間における、検査分割画像の特徴量が示す点と複数の良品分割画像の特徴量によって形成される集合とに基づいて、各検査分割画像の欠陥度合いを取得し、これら複数の欠陥度合いに基づいて、検査対象物30を検査することにより、検査対象物30の検査精度を高めることができる。 In this way, the defect degree of each inspection divided image is acquired based on the point indicated by the feature amount of the inspection divided image and the set formed by the feature amount of a plurality of non-defective divided images in the feature space. By inspecting the inspection object 30 based on the degree of defect, the inspection accuracy of the inspection object 30 can be improved.

次に、図14を参照して、実施形態に係る学習済みモデル生成装置が実行する学習済みモデル生成処理の一例を説明する。 Next, an example of a learned model generation process executed by the learned model generation device according to the embodiment will be described with reference to FIG. 14 .

最初に、通信部120は、通信ネットワーク15を介して、複数の良品画像40を取得する(ステップS101)。取得された複数の良品画像40は、記憶部100に記憶される。 First, the communication unit 120 acquires a plurality of non-defective product images 40 via the communication network 15 (step S101). The acquired non-defective product images 40 are stored in the storage unit 100 .

続いて、学習用画像生成部111は、記憶部100から複数の良品画像40を読み出し、複数の良品画像40に基づいて、複数の学習用画像50を生成する(ステップS102)。学習用画像50として、前述したように、良品分割画像及び良品ラベル画像の組合せを用いる。 Subsequently, the learning image generating unit 111 reads the plurality of non-defective product images 40 from the storage unit 100, and generates a plurality of learning images 50 based on the plurality of non-defective product images 40 (step S102). As the learning image 50, a combination of the non-defective product divided image and the non-defective product label image is used as described above.

続いて、モデル生成部112は、ステップS102において生成された複数の学習用画像50を入力とし、その学習用画像の特徴量を出力するように学習させた学習済みモデル65を生成する(ステップS103)。生成された学習済みモデル65は、記憶部100に記憶される。 Subsequently, the model generation unit 112 receives the plurality of learning images 50 generated in step S102, and generates a trained model 65 trained to output the feature amount of the learning images (step S103). ). The generated trained model 65 is stored in the storage unit 100 .

続いて、通信部120は、ステップS103において生成された学習済みモデル65と、学習済みモデル65を生成する過程で抽出された特徴量70とを、通信ネットワーク15を介して、画像検査装置20に送信する(ステップS104)。これにより、画像検査装置20は、学習済みモデル生成装置10によって生成された学習済みモデルを使用できるようになる。 Subsequently, the communication unit 120 transmits the trained model 65 generated in step S103 and the feature quantity 70 extracted in the process of generating the trained model 65 to the image inspection apparatus 20 via the communication network 15. It transmits (step S104). This enables the image inspection device 20 to use the trained model generated by the trained model generation device 10 .

ステップS104の後、学習済みモデル生成装置10は、学習済みモデル生成処理を終了する。 After step S104, the learned model generation device 10 ends the learned model generation process.

次に、図15を参照して、実施形態に係る画像検査装置が実行する画像検査処理の一例を説明する。 Next, an example of image inspection processing executed by the image inspection apparatus according to the embodiment will be described with reference to FIG.

なお、以下の例では、通信部200が学習済みモデル生成装置10から学習済みモデル65及び特徴量70を受信し、記憶部210に学習済みモデル65及び特徴量70が記憶されているものとして説明する。 In the following example, the communication unit 200 receives the learned model 65 and the feature amount 70 from the learned model generation device 10, and the storage unit 210 stores the learned model 65 and the feature amount 70. do.

最初に、撮影部220が、検査対象物30の検査画像を取得する(ステップS201)。取得された検査画像は、処理部230に出力される。 First, the imaging unit 220 acquires an inspection image of the inspection object 30 (step S201). The acquired inspection image is output to the processing unit 230 .

続いて、処理部230の分割部231は、ステップS201において取得された検査画像を分割し、複数の検査分割画像を生成する(ステップS202)。生成された複数の検査分割画像は、処理部230のラベル付与部232に出力される。 Subsequently, the dividing unit 231 of the processing unit 230 divides the inspection image acquired in step S201 to generate a plurality of divided inspection images (step S202). A plurality of generated inspection divided images are output to the labeling section 232 of the processing section 230 .

続いて、ラベル付与部232は、ステップS202において生成された検査分割画像に、当該検査分割画像と同じ位置にある良品分割画像のラベル情報を付与してデータセットを生成する(ステップS203)。生成されたデータセットは、処理部230のラベル画像選定部233に出力される。 Subsequently, the label assigning unit 232 assigns the label information of the non-defective product split image at the same position as the inspection split image generated in step S202 to generate a data set (step S203). The generated data set is output to the label image selection section 233 of the processing section 230 .

続いて、ラベル画像選定部233は、ステップS203において生成されたデータセットのラベル情報に基づいて、検査分割画像に対応する検査ラベル画像を選定する(ステップS204)。選定された検査ラベル画像及び検査分割画像の組合せは、処理部230の抽出部234に出力される。 Subsequently, the label image selection unit 233 selects an inspection label image corresponding to the inspection divided image based on the label information of the data set generated in step S203 (step S204). The combination of the selected inspection label image and inspection divided image is output to the extraction section 234 of the processing section 230 .

続いて、抽出部234は、記憶部210にあらかじめ記憶された学習済みモデル65を読み出し、ステップS204において選定された検査ラベル画像及び検査分割画像の組合せを、学習済みモデル65に入力し、検査分割画像の特徴量を抽出する(ステップS205)。抽出された特徴量は、処理部230の取得部235に出力される。 Next, the extraction unit 234 reads out the learned model 65 pre-stored in the storage unit 210, inputs the combination of the inspection label image and the inspection divided image selected in step S204 into the learned model 65, and performs inspection division. A feature amount of the image is extracted (step S205). The extracted feature amount is output to the acquisition section 235 of the processing section 230 .

続いて、取得部235は、記憶部210にあらかじめ記憶された良品分割画像の特徴量70を読み出し、ステップS205において抽出された特徴量について、特徴空間における、その特徴量が示す点と、読み出された特徴量70によって形成される集合との間の距離に基づいて、その特徴量に対応する検査分割画像の欠陥度合いを取得する(ステップS206)。得られた欠陥度合いは、処理部230の検査部236に出力される。 Subsequently, the acquisition unit 235 reads the feature amount 70 of the non-defective divided image stored in advance in the storage unit 210, and the feature amount extracted in step S205 is obtained by determining the point indicated by the feature amount in the feature space and the readout feature amount. Based on the distance from the set formed by the obtained feature amount 70, the defect degree of the inspection divided image corresponding to the feature amount is acquired (step S206). The obtained defect degree is output to the inspection section 236 of the processing section 230 .

続いて、検査部236は、ステップS206において得られた欠陥度合いの値から部分画像を生成し、生成した部分画像を統合して欠陥度合い画像を生成する(ステップS207)。 Subsequently, the inspection unit 236 generates a partial image from the defect degree values obtained in step S206, and integrates the generated partial images to generate a defect degree image (step S207).

続いて、検査部236は、ステップS207において生成された欠陥度合い画像に基づいて、検査対象物30を検査する(ステップS208)。 Subsequently, the inspection unit 236 inspects the inspection object 30 based on the defect degree image generated in step S207 (step S208).

ステップS208の後、画像検査装置20は、画像検査処理を終了する。 After step S208, the image inspection apparatus 20 ends the image inspection process.

なお、本実施形態で説明したフローチャートは、処理に矛盾が生じない限り、順序を入れ替えてもよい。 The order of the flowcharts described in the present embodiment may be changed as long as there is no contradiction in processing.

図16は、本実施形態に係る学習済みモデル生成装置10の物理的構成を示す図である。学習済みモデル生成装置10は、演算部に相当するCPU(Central Processing Unit)10aと、記憶部に相当するRAM(Random Access Memory)10bと、記憶部に相当するROM(Read only Memory)10cと、通信部10dと、入力部10eと、表示部10fと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。 FIG. 16 is a diagram showing the physical configuration of the trained model generation device 10 according to this embodiment. The trained model generation device 10 includes a CPU (Central Processing Unit) 10a equivalent to a calculation unit, a RAM (Random Access Memory) 10b equivalent to a storage unit, a ROM (Read only memory) 10c equivalent to a storage unit, It has a communication unit 10d, an input unit 10e, and a display unit 10f. These components are connected to each other via a bus so that data can be sent and received.

なお、画像検査装置20の物理的構成は、学習済みモデル生成装置10の物理的構成と同様であるため、その説明を省略する。 Note that the physical configuration of the image inspection device 20 is the same as the physical configuration of the trained model generation device 10, so description thereof will be omitted.

なお、本例では、学習済みモデル生成装置10及び画像検査装置20のそれぞれが、一台のコンピュータで構成されるものとして説明するが、学習済みモデル生成装置10及び画像検査装置20のそれぞれは、複数のコンピュータが組み合わされて実現されてもよい。また、学習済みモデル生成装置10及び画像検査装置20が一台のコンピュータで構成されてもよい。また、図16で示す構成は一例であり、学習済みモデル生成装置10及び画像検査装置20は、これら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。 In this example, the trained model generation device 10 and the image inspection device 20 are each configured by one computer, but each of the trained model generation device 10 and the image inspection device 20 A plurality of computers may be combined and realized. Also, the trained model generation device 10 and the image inspection device 20 may be configured by one computer. Also, the configuration shown in FIG. 16 is an example, and the trained model generation device 10 and the image inspection device 20 may have configurations other than these, or may not have some of these configurations. good.

CPU10aは、RAM10b又はROM10cに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う演算部である。学習済みモデル生成装置10が備えるCPU10aは、学習データを用いて学習処理を実施して、学習済みモデルを生成するプログラム(学習プログラム)を実行する演算部である。また、画像検査装置20が備えるCPU10aは、検査対象物の画像を用いて、検査対象物の検査を行うプログラム(画像検査プログラム)を実行する演算部である。CPU10aは、入力部10eや通信部10dから種々のデータを受け取り、データの演算結果を表示部10fに表示したり、RAM10bに格納したりする。 The CPU 10a is a computing unit that controls the execution of programs stored in the RAM 10b or the ROM 10c and computes and processes data. The CPU 10a included in the trained model generation device 10 is a computing unit that executes a program (learning program) that performs learning processing using learning data and generates a trained model. The CPU 10a included in the image inspection apparatus 20 is an arithmetic unit that executes a program (image inspection program) for inspecting an inspection object using an image of the inspection object. The CPU 10a receives various data from the input section 10e and the communication section 10d, and displays the calculation results of the data on the display section 10f and stores them in the RAM 10b.

RAM10bは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。RAM10bは、CPU10aが実行するプログラム、学習用データ、学習済みモデルといったデータを記憶してよい。なお、これらは例示であって、RAM10bには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。 The RAM 10b is a rewritable part of the storage unit, and may be composed of, for example, a semiconductor memory element. The RAM 10b may store data such as programs executed by the CPU 10a, learning data, and learned models. Note that these are examples, and the RAM 10b may store data other than these, or may not store some of them.

ROM10cは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ROM10cは、例えば画像検査プログラム、学習プログラム及び書き換えが行われないデータを記憶してよい。 The ROM 10c is one of the storage units from which data can be read, and may be composed of, for example, a semiconductor memory element. The ROM 10c may store, for example, an image inspection program, a learning program, and data that is not rewritten.

通信部10dは、学習済みモデル生成装置10又は画像検査装置20を他の機器に接続するインターフェースである。通信部10dは、インターネット等の通信ネットワークに接続されてよい。 The communication unit 10d is an interface that connects the trained model generation device 10 or the image inspection device 20 to other devices. The communication unit 10d may be connected to a communication network such as the Internet.

入力部10eは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。入力部10eは、例えば良品分割画像又は検査分割画像のラベル情報等の入力を受け付けてもよい。 The input unit 10e receives data input from the user, and may include, for example, a keyboard and a touch panel. The input unit 10e may receive an input such as label information of a non-defective product divided image or an inspection divided image, for example.

表示部10fは、CPU10aによる演算結果を視覚的に表示するものであり、例えば、LCD(Liquid Crystal Display)により構成されてよい。表示部10fは、例えば、検査対象物の検査結果等を表示してよい。 The display unit 10f visually displays the calculation result by the CPU 10a, and may be configured by, for example, an LCD (Liquid Crystal Display). The display unit 10f may display, for example, the inspection result of the inspection object.

画像検査プログラムは、RAM10bやROM10c等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部10dにより接続される通信ネットワークを介して提供されてもよい。学習済みモデル生成装置10では、CPU10aが学習プログラムを実行することにより、図2等を用いて説明した様々な機能が実現される。また、画像検査装置20では、CPU10aが画像検査プログラムを実行することにより、図8及び図9等を用いて説明した様々な機能が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、学習済みモデル生成装置10及び画像検査装置20のそれぞれは、CPU10aとRAM10bやROM10cが一体化したLSI(Large-Scale Integration)を備えていてもよい。 The image inspection program may be stored in a computer-readable storage medium such as the RAM 10b and the ROM 10c and provided, or may be provided via a communication network connected by the communication unit 10d. In the trained model generation device 10, the CPU 10a executes the learning program to implement various functions described with reference to FIG. 2 and the like. Further, in the image inspection apparatus 20, the CPU 10a executes the image inspection program to implement various functions described with reference to FIGS. 8 and 9 and the like. It should be noted that these physical configurations are examples, and do not necessarily have to be independent configurations. For example, each of the trained model generation device 10 and the image inspection device 20 may include an LSI (Large-Scale Integration) in which the CPU 10a, the RAM 10b, and the ROM 10c are integrated.

前述したように、本実施形態における画像検査装置20及び画像検査方法によれば、良品分割画像と良品ラベル画像とを入力として良品分割画像の特徴量を出力するように学習させた学習済みモデル65に、検査分割画像と検査ラベル画像を入力し、検査分割画像の特徴量を抽出させることができる。このとき、学習済みモデル65に良品ラベル画像又は検査ラベル画像を入力する際に、当該良品ラベル画像又は当該検査ラベル画像を良品分割画像又は検査分割画像とは異なるチャネルに入力する。そして、学習済みモデル65から抽出された検査分割画像の特徴量と、学習時に出力された複数の良品分割画像の特徴量により形成される特徴空間とに基づいて、検査分割画像の欠陥度合いを取得し、その欠陥度合いに基づいて、検査対象物を検査することができるため、検査対象物30の検査精度を高めることが可能となる。 As described above, according to the image inspection apparatus 20 and the image inspection method of the present embodiment, the trained model 65 trained to receive the non-defective product divided image and the non-defective product label image as input and output the feature amount of the non-defective product divided image. , an inspection divided image and an inspection label image can be input, and the feature amount of the inspection divided image can be extracted. At this time, when the non-defective product label image or the inspection label image is input to the trained model 65, the non-defective product label image or the inspection label image is input to a channel different from the non-defective product divided image or the inspection divided image. Then, the defect degree of the inspection divided image is obtained based on the feature amount of the inspection divided image extracted from the trained model 65 and the feature space formed by the feature amounts of the plurality of non-defective product divided images output during learning. Since the object to be inspected can be inspected based on the degree of defect, the inspection accuracy of the object to be inspected 30 can be improved.

ここで、本実施形態における学習済みモデル65は、良品ラベル画像に基づいて各良品分割画像に特有のパターンを学習することができ、特徴空間において、各良品分割画像の特徴量が示す点は、良品画像において同じ位置にある他の良品分割画像の特徴量によって形成される集合の近くにプロットされる。 Here, the trained model 65 in this embodiment can learn a pattern specific to each non-defective product divided image based on the non-defective product label image. It is plotted near the set formed by the features of the other good split images at the same position in the good image.

したがって、特徴空間において、特殊パターンを含む検査分割画像の特徴量が示す点を、当該検査分割画像に対応する複数の良品分割画像の特徴量が形成する集合の近くにプロットすることができ、その結果欠陥の程度が小さい欠陥度合いを取得して良品と判定することが可能となる。 Therefore, in the feature space, the point indicated by the feature amount of the inspection divided image including the special pattern can be plotted near the set formed by the feature amounts of the plurality of non-defective product divided images corresponding to the inspection divided image. As a result, it becomes possible to acquire the degree of defect with a small degree of defect and determine that the product is non-defective.

それゆえ、良品画像に特殊パターンが局所的に存在する場合であっても、特殊パターンを含む対象物を良品として正しく検査することが可能となる。 Therefore, even if the special pattern is locally present in the non-defective product image, it is possible to correctly inspect the object including the special pattern as a non-defective product.

また、本実施形態における学習済みモデル65は、良品ラベル画像に基づいて良品画像における位置によって異なる判別基準を学習することができ、特徴空間において、各良品分割画像に対応する特徴量が示す点の集合を、良品画像における良品分割画像の位置ごとに異なる範囲、領域に集めることができる。 In addition, the trained model 65 in this embodiment can learn discrimination criteria that differ depending on the position in the non-defective product image based on the non-defective product label image. The set can be collected in a different range or area for each position of the non-defective divided image in the non-defective image.

したがって、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む、当該別の位置の検査分割画像の特徴量が示す点を、当該別の位置の複数の良品分割画像の特徴量が形成する集合に対して遠くにプロットすることができ、その結果欠陥の程度が大きい欠陥度合いを取得して不良品と判定することが可能となる。 Therefore, in the feature space, the point indicated by the feature amount of the inspection division image at another position, which includes a pattern that is good at one position but is defective at another position, is defined as a plurality of good product divisions at that other position. It is possible to plot a set far from the set formed by the feature amount of the image, and as a result, it is possible to obtain the degree of defect with a large degree of defect and determine it as a defective product.

それゆえ、特徴空間において、ある位置で良品であるが別の位置では不良品であるパターンを含む場合であっても、不良品の見逃しを抑制することが可能となる。 Therefore, even if the feature space includes a pattern that is a non-defective product at one position but is a defective product at another position, it is possible to prevent the defective product from being overlooked.

なお、前述した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更/改良され得るとともに、本発明にはその等価物も含まれる。すなわち、実施形態に当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。例えば、実施形態が備える各要素及びその配置、材料、条件、形状、サイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、実施形態は例示であり、異なる実施形態で示した構成の部分的な置換又は組み合わせが可能であることは言うまでもなく、これらも本発明の特徴を含む限り本発明の範囲に包含される。 It should be noted that the above-described embodiments are intended to facilitate understanding of the present invention, and are not intended to limit and interpret the present invention. The present invention may be modified/improved without departing from its spirit, and the present invention also includes equivalents thereof. In other words, any design modifications made by those skilled in the art to the embodiments are also included in the scope of the present invention as long as they have the features of the present invention. For example, each element provided in the embodiment and its arrangement, material, condition, shape, size, etc. are not limited to those illustrated and can be changed as appropriate. In addition, the embodiments are examples, and it goes without saying that partial substitutions or combinations of configurations shown in different embodiments are possible, and these are also included in the scope of the present invention as long as they include the features of the present invention.

[付記1]
良品の検査対象物の分割画像である良品分割画像、及び当該良品分割画像に対応するラベル情報の画像である良品ラベル画像を入力とし、良品分割画像の特徴量を出力するように学習させた学習済みモデル(65)に、検査対象物の分割画像である検査分割画像、及び当該検査分割画像に対応するラベル情報の画像である検査ラベル画像を入力し、検査分割画像の特徴量を抽出する抽出部(234)と、
抽出された検査分割画像の特徴量、及び学習時に出力された良品分割画像の特徴量により形成される特徴空間に基づいて、検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得部(235)と、
取得された欠陥度合いに基づいて、検査対象物を検査する検査部(236)と、
を備え、
良品ラベル画像又は検査ラベル画像を学習済みモデル(65)に入力する際に、当該良品ラベル画像又は当該検査ラベル画像を良品分割画像又は検査分割画像とは異なるチャネルに入力する、
画像検査装置(20)。
[Appendix 1]
A non-defective product divided image that is a divided image of a non-defective product inspection object and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image are input, and learning is performed so that the feature amount of the non-defective product divided image is output. An inspection divided image, which is a divided image of an object to be inspected, and an inspection label image, which is an image of label information corresponding to the inspection divided image, are input to the finished model (65), and the feature amount of the inspection divided image is extracted. a part (234);
An acquisition unit (235 )When,
an inspection unit (236) that inspects the inspection object based on the obtained degree of defect;
with
inputting the non-defective product label image or the inspection label image into the trained model (65), inputting the non-defective product label image or the inspection label image into a channel different from the non-defective product divided image or the inspection divided image;
An image inspection device (20).

[付記2]
良品の検査対象物の分割画像である良品分割画像、及び当該良品分割画像に対応するラベル情報の画像である良品ラベル画像を入力とし、良品分割画像の特徴量を出力するように学習させた学習済みモデル(65)に、検査対象物の分割画像である検査分割画像、及び当該検査分割画像に対応するラベル情報の画像である検査ラベル画像を入力し、検査分割画像の特徴量を抽出する抽出ステップと、
抽出された検査分割画像の特徴量、及び学習時に出力された良品分割画像の特徴量により形成される特徴空間に基づいて、検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得ステップと、
取得された欠陥度合いに基づいて、検査対象物を検査する検査ステップと、
を含み、
良品ラベル画像又は検査ラベル画像を学習済みモデル(65)に入力する際に、当該良品ラベル画像又は当該検査ラベル画像を良品分割画像又は検査分割画像とは異なるチャネルに入力する、
画像検査方法。
[Appendix 2]
A non-defective product divided image that is a divided image of a non-defective product inspection object and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image are input, and learning is performed so that the feature amount of the non-defective product divided image is output. An inspection divided image, which is a divided image of an object to be inspected, and an inspection label image, which is an image of label information corresponding to the inspection divided image, are input to the finished model (65), and the feature amount of the inspection divided image is extracted. a step;
an acquisition step of acquiring a degree of defect indicating the degree of defect in the inspection divided image based on a feature space formed by the feature amount of the extracted inspection divided image and the feature amount of the non-defective product divided image output during learning;
an inspection step of inspecting the inspection object based on the obtained degree of defect;
including
inputting the non-defective product label image or the inspection label image into the trained model (65), inputting the non-defective product label image or the inspection label image into a channel different from the non-defective product divided image or the inspection divided image;
Image inspection method.

[付記3]
良品の検査対象物の分割画像である良品分割画像、及び当該良品分割画像に対応するラベル情報の画像である良品ラベル画像を入力とし、良品分割画像の特徴量を出力するように学習させた学習済みモデル(65)を生成するモデル生成部(112)を備える、
学習済みモデル生成装置(10)。
[Appendix 3]
A non-defective product divided image that is a divided image of a non-defective product inspection object and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image are input, and learning is performed so that the feature amount of the non-defective product divided image is output. a model generator (112) for generating a finished model (65);
A trained model generation device (10).

1…画像検査システム、10…学習済みモデル生成装置、10a…CPU、10b…RAM、10c…ROM、10d…通信部、10e…入力部、10f…表示部、15…通信ネットワーク、20…画像検査装置、25…照明、30…検査対象物、40…良品画像、50…学習用画像、60…学習モデル、65…学習済みモデル、70…特徴量、100…記憶部、110…学習部、111…学習用画像生成部、112…モデル生成部、120…通信部、200…通信部、210…記憶部、220…撮影部、230…処理部、231…分割部、232…ラベル付与部、233…ラベル画像選定部、234…抽出部、235…取得部、236…検査部、240…学習部、601…入力層、605…出力層 DESCRIPTION OF SYMBOLS 1... Image inspection system 10... Trained model generation apparatus 10a... CPU, 10b... RAM, 10c... ROM, 10d... Communication part, 10e... Input part, 10f... Display part, 15... Communication network, 20... Image inspection Apparatus 25 Illumination 30 Inspection object 40 Non-defective product image 50 Learning image 60 Learning model 65 Learned model 70 Feature amount 100 Storage unit 110 Learning unit 111 Learning image generation unit 112 Model generation unit 120 Communication unit 200 Communication unit 210 Storage unit 220 Photographing unit 230 Processing unit 231 Dividing unit 232 Labeling unit 233 Label image selection unit 234 Extraction unit 235 Acquisition unit 236 Inspection unit 240 Learning unit 601 Input layer 605 Output layer

Claims (8)

良品の検査対象物の分割画像である良品分割画像、及び当該良品分割画像に対応するラベル情報の画像である良品ラベル画像を入力とし、前記良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査対象物の分割画像である検査分割画像、及び当該検査分割画像に対応するラベル情報の画像である検査ラベル画像を入力し、前記検査分割画像の特徴量を抽出する抽出部と、
前記抽出された前記検査分割画像の特徴量、及び学習時に出力された前記良品分割画像の特徴量により形成される特徴空間に基づいて、前記検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得部と、
前記取得された前記欠陥度合いに基づいて、前記検査対象物を検査する検査部と、
を備え、
前記良品ラベル画像又は前記検査ラベル画像を学習済みモデルに入力する際に、当該良品ラベル画像又は当該検査ラベル画像を前記良品分割画像又は前記検査分割画像とは異なるチャネルに入力する、
画像検査装置。
A non-defective product divided image that is a divided image of a non-defective product inspection object and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image are input, and learning is performed so that the feature amount of the non-defective product divided image is output. An extraction unit that inputs an inspection divided image that is a divided image of an object to be inspected and an inspection label image that is an image of label information corresponding to the inspection divided image to the trained model, and extracts the feature amount of the inspection divided image. When,
Based on the feature space formed by the feature amount of the extracted inspection divided image and the feature amount of the non-defective product divided image output during learning, a degree of defect indicating the degree of defect of the inspection divided image is acquired. an acquisition unit;
an inspection unit that inspects the inspection object based on the acquired degree of defect;
with
When inputting the non-defective product label image or the inspection label image to the trained model, inputting the non-defective product label image or the inspection label image to a channel different from the non-defective product divided image or the inspection divided image;
Image inspection equipment.
前記良品ラベル画像及び前記検査ラベル画像は、前記ラベル情報に含まれるラベルを識別する値ごとに異なる濃度値を有する画像、及び前記ラベルを識別する値ごとに異なるパターンを有する画像のいずれかである、
請求項1に記載の画像検査装置。
The non-defective label image and the inspection label image are either an image having different density values for each label identifying value included in the label information, or an image having different patterns for each label identifying value. ,
The image inspection apparatus according to claim 1.
前記取得部は、前記検査分割画像の特徴量と前記特徴空間を形成する前記良品分割画像の特徴量との間の距離に基づいて、前記検査分割画像の前記欠陥度合いを取得する、
請求項1又は2に記載の画像検査装置。
The acquisition unit acquires the defect degree of the inspection divided image based on a distance between the feature amount of the inspection divided image and the feature amount of the non-defective product divided image forming the feature space.
The image inspection apparatus according to claim 1 or 2.
前記取得部は、前記検査分割画像の特徴量と、前記特徴空間を形成する前記良品分割画像の特徴量のうち前記検査分割画像の特徴量との間の距離が最も近い前記良品分割画像の特徴量と、に基づいて、前記検査分割画像の前記欠陥度合いを取得する、
請求項3に記載の画像検査装置。
The acquisition unit obtains a feature of the non-defective divided image in which a distance between the feature amount of the inspection divided image and the feature amount of the non-defective divided image forming the feature space is the closest to the feature amount of the non-defective divided image that forms the feature space. obtaining the defect degree of the inspection split image based on the quantity and
The image inspection apparatus according to claim 3.
前記検査部は、複数の前記欠陥度合いに基づいて欠陥度合い画像を生成し、前記欠陥度合い画像に基づいて前記検査対象物を検査する、
請求項1から4のいずれか一項に記載の画像検査装置。
The inspection unit generates a defect degree image based on a plurality of the defect degrees, and inspects the inspection object based on the defect degree image.
The image inspection apparatus according to any one of claims 1 to 4.
良品の検査対象物に含まれる複数の前記良品分割画像を用いて学習モデルを学習させ、前記学習済みモデルを生成する学習部をさらに備える、
請求項1から5のいずれか一項に記載の画像検査装置。
further comprising a learning unit that learns a learning model using the plurality of non-defective product divided images included in the non-defective product inspection object and generates the learned model;
The image inspection apparatus according to any one of claims 1 to 5.
良品の検査対象物の分割画像である良品分割画像、及び当該良品分割画像に対応するラベル情報の画像である良品ラベル画像を入力とし、前記良品分割画像の特徴量を出力するように学習させた学習済みモデルに、検査対象物の分割画像である検査分割画像、及び当該検査分割画像に対応するラベル情報の画像である検査ラベル画像を入力し、前記検査分割画像の特徴量を抽出する抽出ステップと、
前記抽出された前記検査分割画像の特徴量、及び学習時に出力された前記良品分割画像の特徴量により形成される特徴空間に基づいて、前記検査分割画像の欠陥の程度を示す欠陥度合いを取得する取得ステップと、
前記取得された前記欠陥度合いに基づいて、前記検査対象物を検査する検査ステップと、
を含み、
前記良品ラベル画像又は前記検査ラベル画像を学習済みモデルに入力する際に、当該良品ラベル画像又は当該検査ラベル画像を前記良品分割画像又は前記検査分割画像とは異なるチャネルに入力する、
画像検査方法。
A non-defective product divided image that is a divided image of a non-defective product inspection object and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image are input, and learning is performed so that the feature amount of the non-defective product divided image is output. An extraction step of inputting an inspection divided image, which is a divided image of an object to be inspected, and an inspection label image, which is an image of label information corresponding to the inspection divided image, into a learned model, and extracting a feature amount of the inspection divided image. When,
Based on the feature space formed by the feature amount of the extracted inspection divided image and the feature amount of the non-defective product divided image output during learning, a degree of defect indicating the degree of defect of the inspection divided image is acquired. an acquisition step;
an inspection step of inspecting the inspection object based on the acquired degree of defect;
including
When inputting the non-defective product label image or the inspection label image to the trained model, inputting the non-defective product label image or the inspection label image to a channel different from the non-defective product divided image or the inspection divided image;
Image inspection method.
良品の検査対象物の分割画像である良品分割画像、及び当該良品分割画像に対応するラベル情報の画像である良品ラベル画像を入力とし、前記良品分割画像の特徴量を出力するように学習させた学習済みモデルを生成するモデル生成部を備える、
学習済みモデル生成装置。
A non-defective product divided image that is a divided image of a non-defective product inspection object and a non-defective product label image that is an image of label information corresponding to the non-defective product divided image are input, and learning is performed so that the feature amount of the non-defective product divided image is output. Equipped with a model generation unit that generates a trained model,
Trained model generator.
JP2021020407A 2021-02-12 2021-02-12 Image inspection device, image inspection method, and learned model creation device Pending JP2022123235A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021020407A JP2022123235A (en) 2021-02-12 2021-02-12 Image inspection device, image inspection method, and learned model creation device
PCT/JP2021/009534 WO2022172470A1 (en) 2021-02-12 2021-03-10 Image inspection device, image inspection method, and trained model generation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021020407A JP2022123235A (en) 2021-02-12 2021-02-12 Image inspection device, image inspection method, and learned model creation device

Publications (1)

Publication Number Publication Date
JP2022123235A true JP2022123235A (en) 2022-08-24

Family

ID=82837633

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021020407A Pending JP2022123235A (en) 2021-02-12 2021-02-12 Image inspection device, image inspection method, and learned model creation device

Country Status (2)

Country Link
JP (1) JP2022123235A (en)
WO (1) WO2022172470A1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6340228B2 (en) * 2014-03-27 2018-06-06 株式会社メガチップス Object detection device
JP2020052520A (en) * 2018-09-25 2020-04-02 エヌ・ティ・ティ・コムウェア株式会社 Determination device, determination method, and program
JP2020181532A (en) * 2019-04-26 2020-11-05 富士通株式会社 Image determination device and image determination method
JP6818961B1 (en) * 2020-04-08 2021-01-27 三菱電機株式会社 Learning device, learning method, and inference device

Also Published As

Publication number Publication date
WO2022172470A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
JP6573226B2 (en) DATA GENERATION DEVICE, DATA GENERATION METHOD, AND DATA GENERATION PROGRAM
JP6230622B2 (en) Defect detection on wafers using template image matching
KR20230124713A (en) Fault detection methods, devices and systems
KR20200089621A (en) Method of defect detection on a specimen and system thereof
JP2011214903A (en) Appearance inspection apparatus, and apparatus, method and program for generating appearance inspection discriminator
JP2016115331A (en) Identifier generator, identifier generation method, quality determination apparatus, quality determination method and program
KR20210150970A (en) Detecting defects in semiconductor specimens using weak labeling
US20230118767A1 (en) Learning device, learning method, inference device, and storage medium
KR102440742B1 (en) Inspecting system for semiconductor device and operating method of the same
CN109410241A (en) The metamorphic testing method of image-region growth algorithm
JP2022045688A (en) Defect management device, method, and program
KR102437115B1 (en) Apparatus and method of defect inspection using structure prediction based on deep learning
CN109447968A (en) The metamorphic testing system of image-region growth algorithm
JP7354421B2 (en) Error factor estimation device and estimation method
WO2022172470A1 (en) Image inspection device, image inspection method, and trained model generation device
WO2022172468A1 (en) Image inspection device, image inspection method, and trained model generation device
JP2023145412A (en) Defect detection method and system
CN115222649A (en) System, apparatus and method for detecting and classifying patterns of heatmaps
JP7475901B2 (en) Method and system for detecting defects on a test piece
JP7206892B2 (en) Image inspection device, learning method for image inspection, and image inspection program
WO2022172475A1 (en) Image inspection device, image inspection method, and trained model generation device
WO2022172469A1 (en) Image inspection device, image inspection method, and trained model generation device
JP7270314B1 (en) inspection method, inspection system, neural network
WO2021229901A1 (en) Image inspection device, image inspection method, and prelearned model generation device
WO2023112302A1 (en) Training data creation assistance device and training data creation assistance method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231212