JP2023090960A - 学習装置、検査装置、学習方法および検査方法 - Google Patents

学習装置、検査装置、学習方法および検査方法 Download PDF

Info

Publication number
JP2023090960A
JP2023090960A JP2023078363A JP2023078363A JP2023090960A JP 2023090960 A JP2023090960 A JP 2023090960A JP 2023078363 A JP2023078363 A JP 2023078363A JP 2023078363 A JP2023078363 A JP 2023078363A JP 2023090960 A JP2023090960 A JP 2023090960A
Authority
JP
Japan
Prior art keywords
physical property
category
learning
property information
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023078363A
Other languages
English (en)
Inventor
裕也 菅澤
Yuya SUGASAWA
秀幸 新井
Hideyuki Arai
恒 相川
Tsune Aikawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2023090960A publication Critical patent/JP2023090960A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8845—Multiple wavelengths of illumination or detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G01N2021/889—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques providing a bare video image, i.e. without visual measurement aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

【課題】教師データの作成負担を軽減しつつ、教師データを用いた機械学習によって学習モデルを生成する。【解決手段】学習装置は、物性情報とカテゴリとに関する情報に基づいて、対象物の画像の画素における前記カテゴリを特定して教師データを生成し、前記画像の入力に対して前記画素のカテゴリを出力する学習済みモデルを、前記教師データを用いた機械学習によって生成するように構成された演算部を備える。【選択図】図２

Description

本開示は、撮像された画像データを学習する学習装置に関する。
特許文献１は、教示用欠陥画像と欠陥の種類に対応するカテゴリとの対応関係を示す教示用データを学習して取得する過程と、教示用データを元に欠陥の種類を分類する分類過程とを含む欠陥の分類方法を開示する。これにより、分類実行時に、入力された欠陥画像の欠陥属性を分類することができる。
特開２０００－５７３４９号公報
本開示の一態様における学習装置は、物性情報とカテゴリとに関する情報に基づいて、対象物の画像の画素における前記カテゴリを特定して教師データを生成し、前記画像の入力に対して前記画素のカテゴリを出力する学習済みモデルを、前記教師データを用いた機械学習によって生成するように構成された演算部を備える。
本開示の他の態様における学習方法では、物性情報とカテゴリとに関する情報に基づいて、対象物の画像の画素における前記カテゴリを特定して教師データを生成する。前記画像の入力に対して前記画素のカテゴリを出力する学習済みモデルを、前記教師データを用いた機械学習によって生成する。
本開示の学習装置と学習方法により、教師データの作成負担を軽減しつつ、教師データを用いた機械学習によって学習モデルを生成することができる。
図１は従来の学習モデル用の教師データの生成方法を示す模式図である。 図２は実施の形態１に係る学習システムの構成を示す図である。 図３は実施の形態１に係る学習装置により実施される学習モデル生成方法を説明するための模式図である。 図４はハイパースペクトルカメラにより得られる、繊維、髪の毛、プラスチック、アルミニウム（Ａｌ）、および銅（Ｃｕ）の反射スペクトルを示すグラフである。 図５は実施の形態１に係る学習システムのルール情報の例を説明するための模式図である。 図６Ａは実施の形態１に係る学習システムのルール情報の他の例を示す図である。 図６Ｂは実施の形態１に係る学習システムのルール情報の他の例を示す図である。 図７Ａは実施の形態１に係る学習システムの教師データの例を示す模式図である。 図７Ｂは実施の形態１に係る学習システムの教師データの例を示す模式図である。 図８Ａは実施の形態１に係る学習システムの教師データの例を示す模式図である。 図８Ｂは実施の形態１に係る学習システムの教師データの例を示す模式図である。 図９Ａは実施の形態１に係る学習システムの教師データの例を示す模式図である。 図９Ｂは実施の形態１に係る学習システムの教師データの例を示す模式図である。 図１０は実施の形態１に係る学習システムによる学習処理の流れを示すフローチャートである。 図１１は実施の形態１に係る学習システムのルール情報に基づいて物性情報のカテゴリを特定する具体例を示す模式図である。 図１２は実施の形態２に係る学習システムの構成を示す図である。 図１３Ａは実施の形態２に係る学習システムのルール情報の例を説明するための模式図である。 図１３Ｂは実施の形態２に係る学習システムのルール情報の他の例を説明するための模式図である。 図１３Ｃは実施の形態２に係る学習システムのルール情報の他の例を説明するための模式図である。 図１４Ａは実施の形態２に係る学習システムの教師データの例を示す模式図である。 図１４Ｂは実施の形態２に係る学習システムの教師データの例を示す模式図である。 図１４Ｃは実施の形態２に係る学習システムの教師データの例を示す模式図である。 図１５は実施の形態３に係る学習システムの構成を示す図である。 図１６は実施の形態３に係る学習システムのＸ線電子分光法を用いて銀板の表面を測定することにより得られるスペクトルの例を示すグラフである。 図１７は実施の形態４に係る学習システムの構成を示す図である。 図１８Ａは実施の形態４に係る学習システムの教師データの例を示す模式図である。 図１８Ｂは実施の形態４に係る学習システムの教師データの例を示す模式図である。 図１９は実施の形態５に係る検査システムの構成を示す図である。 図２０は実施の形態５に係る検査システムによる検査の流れの一例を示すフローチャートである。 図２１は実施の形態６に係る検査システムの構成を示す図である。 図２２は実施の形態６に係る検査システムの３つの製造ラインにおける学習および検査の実施例を示す図である。 図２３は実施の形態６に係る検査システムの３つの製造ラインにおける学習および検査の実施例を示す図である。 図２４は実施の形態６に係る検査システムの３つの製造ラインにおける学習および検査の実施例を示す図である。 図２５は実施の形態６に係る検査システムの３つの製造ラインにおける学習および検査の実施例を示す図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
（本開示に至った経緯）
製造工程を経て完成した製品は、通常、所望の品質を有するか否かについて検査を受ける。製品に意図しない不純物が混入しもしくは傷が付いている場合、または試薬などの製品の純度が規定の値に達しておらず所望のグレードに達していない場合、製品は所望の品質に達していないと判断されなければならない。また、野菜または鮮魚などの商食品に対しても、異物の混入および傷の有無、鮮度などについて調査し、所望の品質を有するか否かについての検査が行われる。
上記のような検査工程の工数を軽減させ、または、検査精度を向上させるために、従来から、製品の画像データを解析することにより、製品表面上の不純物または傷などの欠陥を検出して製品が良品か不良品かを判別する。そのような技術の一つでは、複数のカテゴリのうちの良品または不良品などの製品に応じたカテゴリが付された画像データである教師データを用いて、ニューラルネットワークなどの機械学習によって学習モデルを生成し、この学習モデルを使用して製品の画像データから、製品の良、不良の分類検査を行う。
図１は、比較例の学習モデル用の教師データの生成方法を示す模式図である。従来の技術においては、教師データを作成するために、まず、教師データを作成するための教師サンプルをカメラで撮像し、教師サンプルの画像データを得る。次に、オペレータが画像を目視で確認し、複数のカテゴリのうちの画像中の欠陥に対応するカテゴリを特定し、特定したカテゴリを画像データに付与することで、教師データを生成する。一般的に、複数のカテゴリは、異物、不純物、傷などを含む欠陥、グレード、または品質を示す分類である。図１の例では、各欠陥に、それぞれＣｕ、Ａｌおよび酸化物の複数のカテゴリのうちの１つのカテゴリが付与されている。
以上のように、図１に示す方法においては、教師データの生成、特にカテゴリの特定は、人的手段によって行われている。この方法では、実効性のある学習モデルを構築するためには、多数の教師データ画像が必要であるため、多大な労力が必要である。特に、製造品については一般的に不良率が低いため、大量の良品画像の中から不良品のサンプルを目視選別するには多くの人的コストが必要となる。
また、人の手作業による分類を行うと、例えば不良品を良品と判断するなど、人的エラーにより教師データの質を悪化させるおそれがある。したがって、カテゴリ付与を手作業で行うと、人的コストが係る上に、教師データの質ひいては学習モデルを用いた検査の精度が下がる。
本開示における学習装置は、教師データの生成負担を軽減したうえで学習モデルを生成する。本開示における検査装置はその学習モデルを用いる。
（実施の形態１）
［１－１．構成］
図２は、実施の形態１に係る学習システム１の構成を示す図である。学習システム１は、学習装置１００とカメラ１０１と物性情報取得部１０２とを備える。図３は、実施の形態１における学習装置により実施される学習モデル生成方法を説明するための模式図である。本実施の形態では、教師データを得るための教師サンプル１０をカメラ１０１で撮像して画像データを得るとともに、物性情報取得部１０２によって教師サンプル１０の物性情報を取得する。実施の形態１では物性情報取得部１０２はハイパースペクトルカメラであり、教師サンプル１０の物性情報として反射スペクトル情報を取得する。次に、物性情報に基づいて、画像データに自動的にカテゴリ項目の複数のカテゴリのうちの１つのカテゴリを付与して教師データを作成する。教師データは、画像データと、その画像データに付与されたカテゴリとを含む。このようにして、多数の教師データを自動的に作成することができる。そして、学習装置（コンピュータ）は、多数の教師データを用いて、機械学習用のモデルを学習して学習モデルを生成する。
ここで、機械学習用のモデルは、例えば、ニューラルネットワークまたは決定木学習またはサポートベクターマシンである。
本明細書において、「物性情報」とは、教師サンプル１０などの物の組成または性質を示す情報である。この情報は、典型的には、物へ電磁波、電圧、電流、熱などを加えた際にその物から発せられる応答を観察することにより得られる。
本実施の形態では、物性情報は、教師サンプル１０に光を照射し、教師サンプル１０上で反射した反射光の波長と強度を計測することによって得られる反射スペクトル情報を含む。特に、本実施の形態では、ハイパースペクトルカメラである物性情報取得部１０２によって得られる物性情報は、教師サンプル１０を撮像して得られた教師サンプル１０の画像の各画素において、多数の狭い波長帯域（バンド）に分光された反射光のスペクトルを示す反射スペクトル情報であるハイパースペクトルデータである。実施の形態１では波長帯域の数は例えば数十から数百である。反射スペクトル情報は、教師サンプル１０を構成する物の組成を示す情報として利用される。
物性情報取得部１０２は教師サンプル１０の物性情報を取得するハイパースペクトルカメラである。学習装置１００は、教師サンプル１０の画像と教師サンプル１０に付与されるカテゴリとを対応付けた教師データ１０７を自動的に作成する。
学習装置１００は、カメラ１０１によって撮像された画像データと、物性情報取得部１０２によって取得された物性情報とを受け取る入力部１０３を備える。さらに、学習装置１００は、画像データおよび物性情報などを処理して教師データ１０７と学習モデル１１０とを作成する演算部１０４と、様々なデータを記憶する記憶部１０５とを備える。学習モデル１１０は、後述のように、多数の教師データ１０７を用いて、演算部１０４によって生成される。
演算部１０４は、学習装置１００の動作全体の制御を司るコントローラである。演算部１０４は、プログラムを実行することにより所定の機能を実現するＣＰＵまたはＭＰＵのような汎用プロセッサを含む。演算部１０４は、記憶部１０５に格納された制御プログラムを呼び出して実行することにより、学習装置１００における各種の制御を実現する。演算部１０４は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、演算部１０４は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。
記憶部１０５は、ＲＡＭ、ＲＯＭ、ハードディスク、ＳＳＤなどの記録媒体である。記憶部１０５には、物性情報のカテゴリを決定するためのルール情報１０６、教師データ１０７、および学習モデル１１０などが格納される。
入力部１０３は、カメラ１０１および物性情報取得部１０２等の周辺機器を学習装置１００と接続するインタフェース回路（モジュール）である。入力部１０３としては、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標、以下同様）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈ（登録商標）等、種々のインタフェースが用いられる。
カメラ１０１は、例えばＣＣＤまたはＣＭＯＳイメージセンサなどの画像センサを備えるＲＧＢカメラ、赤外線カメラ、またはモノクロカメラなどである。
物性情報取得部１０２であるハイパースペクトルカメラは、多数（例えば数十～数百）の狭い波長帯域（バンド）に分光された反射すペトルを示す反射スペクトル情報であるハイパースペクトルデータを画素毎に取得する。３バンドの情報しか取得できないＲＧＢカメラに比べて、ハイパースペクトルカメラは詳細な物性情報を得ることができる。また、従来の分光測定ではサンプルの１点においてスペクトルを測定するのに対し、実施の形態１における物性情報取得部１０２であるハイパースペクトルカメラは、視野内の平面領域の全ての画素について連続スペクトルを測定することができる。
図４は、物性情報取得部１０２であるハイパースペクトルカメラにより得られる、繊維、髪の毛、プラスチック、アルミニウム（Ａｌ）、および銅（Ｃｕ）の反射スペクトルを示すグラフである。具体的には、図４は、Ｃｕの反射スペクトルＳｐ１１（実線）と、Ａｌの反射スペクトルＳｐ１２（破線）と、プラスチックの反射スペクトルＳｐ１３（一点鎖線）と、繊維の反射スペクトルＳｐ１４（二点鎖線）と、髪の毛の反射スペクトルＳｐ１５（点線）を示す。ハイパースペクトルカメラは、数十から数百バンドのスペクトル情報を取得して、図４に示された物質を含む様々な物質を同定することを可能とする情報を提供する。したがって、本実施の形態では、物性情報取得部１０２としてハイパースペクトルカメラを用いることによって、教師サンプル１０のカテゴリを特定することができる。教師サンプル１０のカテゴリは、例えば、教師サンプル１０上の不純物（図３参照）の材質、位置、または量である。
教師サンプル１０のカテゴリは、図２に示すルール情報１０６に基づいて決定される。ルール情報１０６は、例えば反射スペクトルデータである。例えば、学習装置１００がルール情報１０６としてＣｕの反射スペクトルデータを有し、ハイパースペクトルカメラである物性情報取得部１０２によって取得された画像のある画素の反射スペクトルがルール情報１０６と一致した場合、学習装置１００は、その画素にある物質がＣｕであると同定できる。
［１－１－１．ルール情報］
図５は、ルール情報１０６の例を説明するための模式図である。教師サンプル１０を物性情報取得部１０２であるハイパースペクトルカメラで測定すると、教師サンプル１０上の背景（例えば基板）および不純物（例えば、Ｃｕ、Ａｌまたは酸化物）のハイパースペクトルデータが得られる。
得られたハイパースペクトルデータについて主成分分析を行い、図５に示すように、主成分空間において、背景および不純物の各素材を示す特徴量をプロットする。異なる素材のハイパースペクトルデータについて主成分分析を行った結果である特徴量は、例えば第１主成分と第２主成分で表される２次元の主成分空間において異なる領域にプロットされる。例えば、図５では、主成分空間のうちの領域Ｒ１１はＣｕに対応し、主成分空間のうちの領域Ｒ１２は酸化物に対応し、主成分空間のうちの領域Ｒ１３は背景に対応し、主成分空間のうちの領域Ｒ１４はＡｌに対応している。ルール情報１０６は、これらの領域Ｒ１１～Ｒ１４を識別する境界線に対応する。ルール情報１０６により、測定された反射スペクトルがどの素材またはカテゴリに該当するのかを特定することができる。
ここで、主成分分析は、ハイパースペクトルデータの次元数より少ない次元数の特徴量を生成する既知の解析手段である。ハイパースペクトルデータは、例えばバンドの数（例えば１００）と画素の数との積の数の次元を有する。これに主成分分析を行うことにより、例えば第１主成分と第２主成分で表される２次元データを作成することができる。
なお、上記の主成分分析は例示であり、ハイパースペクトルデータなどの物性情報の解析方法はこれに限定されない。物性情報の解析には、重回帰分析、因子分析、クラスター分析などの一般的な多変量解析が使用されてもよい。また、パラメータの閾値を定めて分類してもよい。
また、ルール情報１０６を決定するために、教師サンプル１０を測定してハイパースペクトルデータを得る代わりに、例えばＣｕ、Ａｌなどの反射スペクトルデータ等の既知のスペクトルデータを用いてもよい。
図６Ａおよび図６Ｂは、ルール情報１０６の他の例を示す図である。ルール情報１０６は、図５に示すもののように対象物の成分を同定するものに限られず、図６Ａに示すように、成分を同定後に教師サンプル１０に酸化物が混入していれば不良（不良品）と判断し、そうでなければ良（良品）と判断するものも含まれてよい。この場合、カテゴリ項目は対象物の良否であり、カテゴリは良と不良の２つである。あるいは、図６Ｂに示すように、ルール情報１０６は、教師サンプル１０に傷があれば不良（不良品）と判断し、そうでなければ良（良品）と判断するものであってもよい。
また、ルール情報１０６は、教師サンプル１０上に所定の大きさ以上の傷があれば不良と判断し、そうでなければ良品と判断するものであってもよい。ルール情報１０６は、上記のルール情報の組合せであってもよい。ルール情報１０６は、上記のものに限定されない。
［１－１－２．教師データ］
図７Ａから図９Ｂは、教師データ１０７の例を示す模式図である。教師データ１０７は、カメラ１０１によって撮像された教師サンプル１０の画像（入力画像）と、教師サンプル１０に付与されるべきカテゴリとを対応付けたデータである。
図７Ａには、入力画像と、入力画像に含まれる不純物の種類を示すカテゴリとが対応付けられた教師データ１０７の例が示されている。この場合は、カテゴリ項目は不純物の種類であり、サンプル１、２にはいずれも複数のカテゴリが付与されている。具体的には、サンプル１にはＣｕ／Ａｌ／酸化物の３つのカテゴリが付与されており、サンプル２にはＣｕ／酸化物の２つのカテゴリが付与されている。教師データ１０７において画像データに関連付けられるカテゴリは、図７Ｂに示すように、良品、不良（不良品）であってもよい。この場合は、カテゴリ項目は対象物の良否であり、カテゴリとしては良品と不良の２つである。
図８Ａおよび図８Ｂは、入力画像の各画素にサンプルの当該画素の位置の部分の物理的、科学的特性の意味を持たせた、いわゆるセグメンテーション用の教師データ１０７の例である。セグメンテーションとは、例えば、各画素のカテゴリを特定し、背景を黒で、Ｃｕを赤で、酸化物を青で、Ａｌを黄色で着色して、図８Ａのカテゴリの欄に示されたような画像を得ることである。
教師データ１０７において、セグメンテーション化された画像をカテゴリとして入力画像に関連付けてもよい。セグメンテーション用の教師データ１０７は、具体的には、図８Ｂに示すように、入力画像の各画素に写っているものが、入力画像に対応付けられている。すなわち、各画素のカテゴリが、入力画像に対応付けられている。
図９Ｂは、入力画像のどこに何があるのかを示す物体検出用の教師データ１０７の例である。例えば図９Ａのようなサンプル１０の入力画像に対して、図９Ｂの教師データ１０７は、Ｃｕ、酸化物およびＡｌのそれぞれの位置と大きさを示すデータを有する。
［１－２．動作］
図１０は、本実施の形態の学習システム１による学習処理の流れを示すフローチャートである。図２および図１０を参照して、本実施の形態の学習システム１による学習処理について説明する。
まず、カメラ１０１は、教師サンプル１０を撮像し、画像データを生成する（ステップＳ０１）。また、ハイパースペクトルカメラである物性情報取得部１０２によって、教師サンプル１０の物性情報、具体的にはハイパースペクトルデータを取得する（ステップＳ０２）。ステップＳ０１とステップＳ０２の順番は逆であってもよいし、同時であってもよい。
次に、演算部１０４は、ルール情報１０６に基づいて、複数のカテゴリのうちの物性情報の１つのカテゴリを特定する（ステップＳ０３）。図１１は、ルール情報１０６に基づいて物性情報のカテゴリを特定する具体例を示す模式図である。図１１に示されている領域Ｒ１１～Ｒ１４を含む主成分空間は、図５に例示した主成分空間と同一である。
ステップＳ０２において物性情報取得部１０２によって図１１のような教師サンプル１０の物性情報を取得した場合、画像データの各画素についての反射スペクトル情報が得られている。画像データの各画素についての反射スペクトル情報に主成分分析を施すことにより、図１１に示すように、画像データの各画素の特徴量を主成分空間にマッピングすることができる。
例えば、画像データのある画素の特徴量が図１１に示す主成分空間の領域Ｒ１１内にマッピングされた場合、その画素に写っている物質がＣｕであると特定することができる。このようにして、画像データの各画素に写っている物質の素材またはカテゴリを同定することができる。
ステップＳ０１はステップＳ０２およびステップＳ０３の後に実施されてもよい。
図１０に示すように、演算部１０４は、カメラ１０１によって撮像された画像データと、ステップＳ０３において特定されたカテゴリと、を関連付けた教師データ１０７を生成し、記憶部１０５に格納する（ステップＳ０４）。
学習処理においては、多数の教師サンプル１０に対して、以上のステップＳ０１～Ｓ０４を行う。予め設定した必要な数の教師データ１０７が生成されると、教師データ１０７の生成を終える（ステップＳ０５）。
以上のステップＳ０１～Ｓ０５により、学習システム１は、大量の教師データ１０７の生成、特にカテゴリの特定を、人的手段を介さずに自動的に行うことができる。したがって、カテゴリと画像データとを人が関連付ける場合に比べて、工数を大幅に削減するとともに、人的エラーを低減することができる。
最後に、演算部１０４は、蓄積された多数の教師データ１０７を用いて機械学習によってモデルに学習させ、学習モデル１１０を生成する（ステップＳ０６）。このようにして生成された学習モデル１１０は、検査段階において、検査サンプルの画像データの入力に対して検査サンプルのカテゴリを出力するようにコンピュータを機能させることができる。
［１－３．効果等］
以上のように、本実施の形態において、学習装置１００は、教師サンプル１０を撮像して画像データを取得するカメラ１０１と、教師サンプル１０の物性情報を取得する物性情報取得部１０２と、学習モデル１１０を生成する演算部１０４と、を備える。演算部１０４は、物性情報とカテゴリとを関連付けるルール情報１０６に基づいて、教師サンプル１０のカテゴリを特定し、特定したカテゴリと画像データとを関連付けて教師データ１０７を生成し、教師データ１０７を用いた機械学習によって、サンプルの画像データの入力に対してサンプルのカテゴリを出力する学習モデル１１０を生成する。
学習装置１００は、画像データに加えて、教師サンプル１０の物性情報を取得することにより、カテゴリと画像データとを関連付けて教師データを作成する工程を自動化することができる。したがって、カテゴリと画像データとを人が関連付ける場合に比べて、工数を大幅に削減するとともに、カテゴリ付けについての人的エラーを低減することができる。
（実施の形態２）
図１２は、実施の形態２に係る学習システム２の構成を示す図である。実施の形態１と異なり、学習システム２は、物性情報取得部１０２の代わりに物性情報取得部２０２を備える。物性情報取得部２０２は表面形状測定部である。本実施の形態では、物性情報は、教師サンプル１０の表面の凹凸などの表面形状を示す物理的または光学的情報である。
物性情報取得部２０２である表面形状測定部は、教師サンプル１０の表面の凹凸などの表面形状を計測する装置である。例えば、表面形状測定部は、レーザー顕微鏡、白色干渉計、走査型電子顕微鏡などである。
図１３Ａは、ルール情報２０６の例を説明するための模式図である。表面形状測定部である物性情報取得部２０２によって得られた教師サンプル１０の表面形状データから、例えば最も深い部分の深さと、深さ１０μｍ以上の部分の面積とを抽出する。そして、図１３Ａのように最も深い部分の深さを縦軸とし、深さ１０μｍ以上の部分の面積を横軸として構成されたグラフに、教師サンプル１０の表面形状データから抽出されたデータをマッピングする。
実施の形態２では、教師サンプル１０が有する傷の深さと面積とにより、図１３Ａに示す４つの領域Ｒ２１～Ｒ２４のいずれかにプロットされてマッピングされる。具体的には図１３Ａでは、最も深い部分の深さが２０μｍ以上であり、かつ、深さ１０μｍ以上の部分の面積が１０画素未満である教師サンプル１０は、領域Ｒ２１にプロットされる。領域Ｒ２１にプロットされた教師サンプル１０は、傷の面積に関しては良品であるが、傷の深さについては不良品である。最も深い部分の深さが２０μｍ未満であり、かつ、深さ１０μｍ以上の部分の面積が１０画素以上である教師サンプル１０は、領域Ｒ２２にプロットされる。領域Ｒ２２にプロットされた教師サンプル１０は、傷の深さに関しては良品であるが、傷の面積については不良品である。最も深い部分の深さが２０μｍ以上であり、かつ、深さ１０μｍ以上の部分の面積が１０画素以上である教師サンプル１０は、領域Ｒ２３にプロットされる。領域Ｒ２３にプロットされた教師サンプル１０は、傷の面積に関しては不良品であり、傷の深さについても不良品である。最も深い部分の深さが２０μｍ未満であり、かつ、深さ１０μｍ以上の部分の面積が１０画素未満である教師サンプル１０は、領域Ｒ２４にプロットされる。領域Ｒ２４にプロットされた教師サンプル１０は、傷の面積に関しては良品であり、傷の深さについても良品である。ルール情報２０６は、この面積を数えるときの基準となる深さや、各領域の間の境界線に対応する。ルール情報２０６により、表面形状を示すデータがどのカテゴリに該当するのかを特定することができる。
本実施の形態では、カテゴリは、例えば、サンプル表面上の傷（凹部）または異物（凸部）のあり／なしである。サンプル表面上に傷または異物がある場合、カテゴリは、傷または異物の面積の大／小である。具体的には、カテゴリは、傷または異物の長さが所定の値より大きいか否か、または、傷または異物の面積が所定の値より大きいか否か、または、傷の深さもしくは異物の高さが所定の値より大きいか否か、などである。あるいは、カテゴリは、傷または異物のサンプル表面上における位置であってもよい。
これらの代わりに、またはこれらに加えて、図１３Ｂ、図１３Ｃに示すように、ルール情報２０６は、教師サンプル１０の表面に傷または異物があれば不良と判断し、そうでなければ良品と判断するものであってもよい。ルール情報２０６は、上記のルール情報の組合せであってもよい。ルール情報２０６は、上記のものに限定されない。
図１４Ａから図１４Ｃは、教師データ２０７の例を示す模式図である。図１４Ａには、入力画像と、入力画像に含まれる傷の有無および傷の大きさを示すカテゴリとが対応付けられた教師データ２０７の例が示されている。傷の大きさは、図１４Ａのように所定の大きさ以上か否かを示すものであってもよい。あるいは、傷の長さおよび／または傷の幅の値を示すものであってもよい。
教師データ２０７において画像データに関連付けられるカテゴリは、図１４Ｂおよび図１４Ｃに示すように、良品／不良品であってもよい。小さい傷があるサンプルＮｏ．３のサンプルの入力画像には、図１４Ｂでは不良品というカテゴリが付されているのに対し、図１４Ｃでは良品というカテゴリが付されている。これは、ルール情報２０６の違いによるものである。例えば、ルール情報２０６が、教師サンプル１０に傷があれば、その大小にかかわらず不良品とするようなものである場合は、図１４Ｂのような教師データ２０７が生成される。これに対し、ルール情報２０６が、所定の大きさより小さい傷であれば良品とするようなものである場合は、図１４Ｃのような教師データ２０７が生成される。
次に、本実施の形態の学習システム２による学習処理の流れを説明する。これについてのフローチャートは、ハイパースペクトルカメラである物性情報取得部１０２を表面形状測定部である物性情報取得部２０２に変更したこと以外は図１０のフローチャートと同様であるため、物性情報取得部１０２を物性情報取得部２０２に置き換えて図１０に基づき学習処理を説明する。
まず、カメラ１０１は、教師サンプル１０を撮像し、画像データを生成する（図１０に示すステップＳ０１に対応）。また、表面形状測定部である物性情報取得部２０２によって、教師サンプル１０の表面の高さ情報などの表面形状情報を取得する（図１０に示すステップＳ０２に対応）。演算部１０４は、画像データおよび表面形状情報を取得し、傷の大きさや深さなどの特徴量をマッピングする。マッピングした空間にはルール情報２０６に相当する境界線があるため、演算部１０４は、マッピング位置によって、画像データの各画素のカテゴリ、例えば傷のあり／なしを特定する（図１０に示すステップＳ０３に対応）。
次に、演算部１０４は、特定されたカテゴリと、カメラ１０１によって撮像された画像データと、を関連付けた教師データ２０７を生成し、記憶部１０５に格納する（図１０に示すステップＳ０４に対応）。
次に、演算部１０４は、学習モデルの生成に要する数の教師データ２０７を生成するまでステップＳ０１～Ｓ０４の処理を繰り返す（図１０に示すステップＳ０５に対応）。
最後に、演算部１０４は、教師データ２０７を用いて機械学習によってモデルを学習させ、学習モデル２１０を生成する（図１０に示すステップＳ０６に対応）。
（実施の形態３）
図１５は、実施の形態３に係る学習システム３の構成を示す図である。実施の形態１、２と異なり、学習システム３は、物性情報取得部１０２、２０２の代わりに、物性情報取得部３０２を備える。物性情報取得部３０２はＸ線電子分光装置である。
本実施の形態では、物性情報は、教師サンプル１０にＸ線を照射して教師サンプル１０から放出される光電子のエネルギーおよび単位時間当たりの数であるＸ線電子分光スペクトルである。Ｘ線電子分光スペクトルは、教師サンプル１０を構成する物の組成を示す情報として利用される。
Ｘ線電子分光装置である物性情報取得部３０２は、教師サンプル１０の表面にＸ線を照射し、教師サンプル１０から放出される光電子のエネルギーおよび単位時間当たりの数から、教師サンプル１０の表面の元素を特定する。
図１６は、Ｘ線電子分光法を用いて銀板の表面を測定することにより得られるスペクトルの例を示すグラフである。図１６のグラフの横軸は電子の結合エネルギーであり、図１６のグラフの縦軸は測定された単位時間当たり光電子の数（ｃｏｕｎｔｓ ｐｅｒ ｓｅｃｏｎｄ、ＣＰＳ）である。銀板は銀単体から変色した部分である変色部と、銀単体からから変色していない部分である非変色部とを有する。図１６は、測定された変色部のスペクトルＳｐ２１（実線）と非変色部のスペクトルＳｐ２２（破線）を示している。図１６のグラフは、測定された銀板の変色部に硫化銀（Ａｇ２Ｓ）が含まれていることを示している。このように、本実施の形態では、教師サンプル１０の表面の元素を特定し、カテゴリを特定することができる。
本実施の形態において、Ｘ線電子分光装置である物性情報取得部３０２によって得られたスペクトルについて主成分分析を行うことにより、教師サンプル１０の表面の元素がどのカテゴリに該当するのかを特定するルール情報３０６を決定する。
本実施の形態の教師データ３０７は、例えば、入力画像と、入力画像に含まれる不純物の種類を示すカテゴリとが対応付けられたデータである。これらの情報に加えて、教師データ３０７は、入力画像に対応する教師サンプル１０の良／不良の情報を有するものであってもよい。
本実施の形態の学習システム３による学習処理の流れを示すフローチャートは、ハイパースペクトルカメラである物性情報取得部１０２をＸ線電子分光装置である物性情報取得部３０２に変更したこと以外は図１０のフローチャートと同様である。
（実施の形態４）
図１７は、実施の形態４に係る学習システム４の構成を示す図である。実施の形態１～３と異なり、学習システム４は、物性情報取得部１０２、２０２、３０２の代わりに、高速カメラである物性情報取得部４０２を備える。本実施の形態では、物性情報は、フレームレートの高い高速カメラである物性情報取得部４０２によって得られる教師サンプル１０の光学的情報である。
物性情報取得部４０２の高速カメラは、１秒間に撮像するフレーム数（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ、ｆｐｓ）が１００フレーム以上であるカメラであり、時間的に詳細な画像、すなわち高速画像を物性情報として取得することができる。例えば、高速カメラである物性情報取得部４０２は、３００ｆｐｓのフレームレートを有し、カメラ１０１のフレームレートの１０倍以上のフレームレートを有する。物性情報取得部４０２の高速カメラのフレームレートは、さらに高くてもよく、例えば１０００ｆｐｓ、５０００ｆｐｓ、１００００ｆｐｓであってもよい。
サンプルライン１０００を高速で流れる教師サンプル１０を、約２０～６０ｆｐｓのフレームレートを有する通常の、すなわち高速でないカメラ１０１で撮像すると、教師サンプル１０の表面上に傷があっても、傷がぶれて撮像され、傷の面積、傷の有無、または傷の位置などを判別することができない。これに対して、物性情報取得部４０２として高速カメラを使用すると、サンプルライン１０００を高速で流れる教師サンプル１０の画像を鮮明に撮像することができ、傷の面積、傷の有無、または傷の位置などを判別することができる。
このように、サンプルライン１０００を高速で流れる教師サンプル１０をカメラ１０１で撮像すると、傷の大きさ、傷の有無、または傷の位置などを判別することはできない。しかしながら、カメラ１０１で撮像された、傷の付いたサンプルのぶれた画像データからも、傷を示す何らかの特徴量を抽出することができる。そこで、学習装置４００は、カメラ１０１によって取得された教師サンプル１０のぶれた画像データと、物性情報取得部４０２の高速カメラによって取得された当該教師サンプル１０の鮮明な高速画像と、を対応付けて教師データ４０７を生成し、教師データ４０７を用いて学習モデルに学習させる。これにより、ぶれた画像データからであっても傷の大きさ、傷の有無、または傷の位置などを判別することが可能になる。
本実施の形態のルール情報４０６は、高速カメラである物性情報取得部４０２によって撮像された高速画像情報がどのカテゴリに該当するのかを特定するものである。カテゴリは、例えば、サンプル表面上の傷（凹部）または異物（凸部）のあり／なしである。サンプル表面上に傷または異物がある場合、カテゴリは、傷または異物の大／小である。具体的には、カテゴリは、傷または異物の長さが所定の値より大きいか否か、または、傷または異物の面積が所定の値より大きいか否か、または、傷の深さもしくは異物の高さが所定の値より大きいか否か、などである。あるいは、カテゴリは、傷または異物のサンプル表面上における位置であってもよい。
これらの代わりに、またはこれらに加えて、ルール情報４０６は、教師サンプル１０の表面に傷または異物があれば不良と判断し、そうでなければ良品と判断するものであってもよい。
図１８Ａおよび図１８Ｂは、教師データ４０７の例を示す模式図である。図１８Ａには、カメラ１０１で撮像された入力画像と、入力画像に含まれる傷または汚れの有無を示すカテゴリとが対応付けられた教師データ４０７の例が示されている。これらの情報に加えて、図１８Ｂに示すように、教師データ４０７は、入力画像に対応する教師サンプル１０の良／不良の情報を有するものであってもよい。
本実施の形態の学習システム４による学習処理の流れを示すフローチャートは、ハイパースペクトルカメラである物性情報取得部１０２を高速カメラである物性情報取得部４０２に変更したこと以外は図１０のフローチャートと同様である。
以上のように、学習装置４００は、カメラ１０１によって取得された教師サンプル１０のぶれた画像データと、物性情報取得部４０２の高速カメラによって取得された当該教師サンプル１０の鮮明な高速画像と、を対応付けた多量の教師データ４０７を学習する。これにより、学習装置４００は、ぶれた画像データが入力されたとしても、傷の大きさ、傷の有無、または傷の位置などを判別してカテゴリ付与を行うことができる。
（実施の形態５）
図１９は、実施の形態５に係る検査システム５の構成を示す図である。検査システム５は、実施の形態１～４の学習システム１～４により生成された学習モデルのうちの１つを用いて検査ライン２０００を流れる被検査サンプル２０を検査し、例えば被検査サンプル２０にカテゴリを付与し、または被検査サンプル２０を良品と不良品とに分類する。
検査システム５は、検査装置５００と、被検査サンプル２０を撮像する検査カメラであるカメラ５０１と、カメラ５０１によって撮像された画像データを受け取る入力部５０３と、学習モデル５１０などを記憶する記憶部５０５と、学習モデル５１０を用いて検査処理を行う検査部５０４とを備える。検査装置５００は、検査結果を表示するための、液晶ディスプレイまたは有機ＥＬディスプレイなどの表示部５０８を更に含む。
検査部５０４は、検査装置５００の動作全体の制御を司るコントローラであり、ＣＰＵ、ＭＰＵまたはＧＰＵのような汎用プロセッサを含む。
記憶部５０５は、ＲＡＭ、ＲＯＭ、ハードディスク、ＳＳＤなどの記録媒体である。記憶部５０５には、物性情報のカテゴリを決定するためのルール情報５０６、教師データ５０７、および学習モデル５１０などが格納される。
入力部５０３は、検査装置５００と周辺機器とを接続するインタフェース回路（モジュール）である。入力部５０３としては、ＵＳＢ、ＨＤＭＩ、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈ等、種々のインタフェースが用いられる。
カメラ５０１は、例えばＣＣＤまたはＣＭＯＳイメージセンサなどの画像センサを備えるＲＧＢカメラである。
学習モデル５１０は、例えば、実施の形態１～４の学習システム１～４により生成された学習モデル１１０、２１０、３１０、４１０のうちの１つである。検査装置５００は、図１９のように予め学習モデル５１０を検査装置５００内、すなわち自装置内の記憶部５０５に実装する代わりに、ネットワークを介して、他の装置内の学習モデルを利用してもよい。したがって、学習モデル５１０を学習させる場所と、学習モデル５１０が検査に活用される場所とは異なる場合がある。例えば、学習モデル５１０の学習は研究所などで行われ、検査装置５００による検査は工場内のラインで行われる。しかしながら、学習モデル５１０を学習させる場所と、学習モデル５１０が検査に活用される場所とは同一であってもよい。
図２０は、本実施の形態の検査システム５による検査の流れの一例を示すフローチャートである。まず、カメラ５０１によって被検査サンプル２０を撮像し、画像データを生成する（ステップＳ１１）。検査装置５００の検査部５０４は、入力部５０３を介して、カメラ５０１から画像データを取得し、学習モデル５１０に入力する（ステップＳ１２）。学習モデル５１０は、入力された画像データに対応するカテゴリを出力する。例えば、カテゴリとして、被検査サンプル２０が良品であることを示す指標「良」または被検査サンプル２０が不良品であることを示す指標「不良」が出力される。
出力されたカテゴリの情報は、入力された画像データと被検査サンプル２０との少なくとも１つに関連付けられ、記憶部５０５に格納される（ステップＳ１３）。出力されたカテゴリは、検査システム５を監視するオペレータが確認できるように、表示部５０８を用いて表示されてもよい。
（実施の形態６）
図２１は、実施の形態６における検査システム６の構成を示す図である。検査システム６は検査装置６００を備える。検査装置６００は、検査ライン３０００において被検査サンプル３０の物性情報を取得して教師データ６０７を生成し、学習モデル６１０を生成できる。
通常、製造ラインは、製造ライン毎に異なる特徴を有する。この特徴は、例えば、製造ライン毎に、製造ラインが完成した時期が異なること、製造ラインに使用されている部品の形状や材料が異なること、製造ラインの周囲の環境が異なること、などに起因する。そのため、製造ライン毎に、その製造ラインで製造されたサンプルに混入し得る異物、傷などが異なる。
製造ラインごとに異なる特徴を有する場合には、製造ラインで使用される学習モデルを、その製造ラインで製造されたサンプルに基づく教師データを用いて学習させることが好ましい。そこで、本実施の形態では、実際に製品を大量生産する製造ラインにおいて製造されたサンプル３０を用いて学習を行う。
検査装置６００は、実施の形態５の検査システム５の構成に加えて、更に、サンプル３０の物性情報を取得する物性情報取得装置６０２を備える。検査部５０４は、画像データおよび物性情報などを処理して教師データ６０７と学習モデル６１０とを生成する機能と、学習モデル６１０を用いてサンプル３０の検査を行う機能とを有する。記憶部５０５は、物性情報のカテゴリを決定するためのルール情報６０６、教師データ６０７、および学習モデル６１０などを記憶する。
物性情報取得装置６０２は、実施の形態１～４で述べたものであり、例えば、ハイパースペクトルカメラ、表面形状測定部、Ｘ線電子分光装置、高速カメラなどである。
本実施の形態のように、実際に製品を生産する製造ラインにおいて製造されたサンプル３０を用いることにより、製造ラインに応じた学習モデル６１０を生成することができる。
なお、ネットワークを介して、他の学習装置で学習させた学習モデルを取得し、実際に製品を生産する製造ラインにおいて製造されたサンプル３０から生成された教師データ６０７を用いて、取得した学習モデルを更新して学習モデル６１０としてもよい。これによっても、製造ラインに応じた学習モデル６１０を生成することができる。物性情報取得装置６０２は取得した学習モデルを生成するための物性情報取得装置と異なる更なる物性情報取得装置であっても良いが、物性情報取得装置６０２として、取得した学習モデルを生成するための物性情報取得装置を用いることもできる。
図２２は、３つの製造ライン６５０ａ、６５０ｂ、６５０ｃを備える製造システム７の構成図である。図２２に示す製造システム７は、検査装置６００ａ、６００ｂ、６００ｃと、これらのそれぞれに取り付けられたカメラ５０１ａ、５０１ｂ、５０１ｃとを備える。検査装置６００ａ、６００ｂ、６００ｃのうちの検査装置６００ａにのみ、物性情報取得装置６０２が取り付けられている。
物性情報取得装置６０２は、検査装置６００ａから取外し可能である。取り外された物性情報取得装置６０２は、他の製造ライン６５０ｂ、６５０ｃにおいて教師サンプルの物性情報を取得するために使用することができる。物性情報取得装置６０２が高価である場合、物性情報取得装置６０２が取外し可能であると、複数の製造ラインにおいて利用可能であるため有益である。
図２２において、ライン６５０ａでは、カメラ５０１ａによって取得された教師サンプル１０ａの画像データと、物性情報取得装置６０２によって取得された教師サンプル１０ａの物性情報と、ルール情報６０６ａと、を用いて教師データ６０７ａが生成される。検査装置６００ａは、教師データ６０７ａを用いて学習モデル６１０ａを学習させる。
図２３は、図２２に示す状態よりも時間的に後の状態を示している。図２３では、物性情報取得装置６０２は、検査装置６００ａから取り外されて、検査装置６００ｂに取り付けられている。ライン６５０ａにおいて、検査装置６００ａは、生成された学習モデル６１０ａを用いて、被検査サンプル３０ａの検査を行う。ライン６５０ｂでは、教師サンプル１０ｂにより検査装置６００ｂが学習モデル６１０ｂを学習させている。
物性情報取得装置６０２による物性情報の取得に時間がかかる場合であっても、検査時においては、検査装置６００ａではカメラ５０１ａのみを用いて検査を行うため、高速に検査を行うことができる。
図２４は、図２３に示す状態よりも時間的に後の状態を示している。図２４では、物性情報取得装置６０２は、検査装置６００ｂから取り外されて、検査装置６００ｃに取り付けられている。ライン６５０ａおよびライン６５０ｂでは、被検査サンプル３０ａ、３０ｂの検査が行われている。ライン６５０ｃでは、検査装置６００ｃが教師サンプル１０ｃにより学習モデル６１０ｃを学習させている。学習完了後、ライン６５０ｃにおいても、学習モデル６１０ｃを用いて被検査サンプルの検査が行われる。
図２５は、図２４に示す状態よりも時間的に後の状態を示している。図２５では、物性情報取得装置６０２は、検査装置６００ｃから取り外されて、再び検査装置６００ａに取り付けられている。ライン６５０ｂおよびライン６５０ｃでは、被検査サンプル３０ｂ、３０ｃの検査が行われている。ライン６５０ａでは、検査装置６００ａが更なる教師サンプル１０ａにより学習モデル６１０を生成するプロセスと同様のプロセスで学習モデル６１０ａを更新している。学習完了後、ライン６５０ａにおいても、更新された学習モデル６１０ａを用いて被検査サンプル３０ａ検査が行われる（図２３、図２４参照）。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１～６を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１～６で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
実施の形態１では、物性情報取得部１０２の一例としてハイパースペクトルカメラを説明した。実施の形態１の物性情報取得部１０２は、安価であって検査に導入しやすいＲＧＢカメラによっては取得できない光学情報を取得するものであればよい。したがって、実施の形態１の物性情報取得部１０２は、ハイパースペクトルカメラに限定されない。例えば、実施の形態１の物性情報取得部１０２は、４つ以上の波長域に分光された光に対するサンプルの光学的情報を取得できるマルチスペクトルカメラであってもよい。また、実施の形態１の物性情報取得部１０２は、可視光波長域以外の波長域の光に対するサンプルの光学的情報を取得できるカメラであってもよい。
また、実施の形態２～４では、物性情報取得部２０２、３０２、４０２として、それぞれ表面形状測定部、Ｘ線電子分光装置、高速カメラを説明した。物性情報取得部は、物の物性情報を取得するものであればよい。したがって、物性情報取得部は、これらに限定されず、磁気的情報、電気的情報、熱的情報、実施の形態１～６で例示した以外の光学的情報などであってもよい。
具体的には、物性情報取得部は、Ｘ線回折装置であってもよい。物質によってＸ線の散乱強度スペクトルが異なるため、Ｘ線回折装置によって、教師サンプルまたは被検査サンプルに含まれる物質を同定することができる。
実施の形態４では、物性情報取得部４０２として高いフレームレートを有する高速カメラを説明した。実施の形態４の物性情報取得部４０２は、安価であって検査に導入しやすいカメラで撮像しては画像がぶれてしまうような高速で移動するサンプルについて、ぶれのない明瞭な画像を撮像できるものであればよい。したがって、実施の形態４の物性情報取得部４０２は、高いフレームレートを有する高速カメラに限定されない。例えば、実施の形態４の物性情報取得部４０２は、速いシャッタースピードを有するカメラであってもよい。具体的には、実施の形態４の物性情報取得部４０２は、カメラ１０１のシャッタースピードの１０倍以上のシャッタースピードを有するカメラであってもよい。例えば、実施の形態４の物性情報取得部４０２は、４００分の１秒以上のシャッタースピード、例えば４００分の１秒、１０００分の１秒、５０００分の１秒、１００００分の１秒、１３３３３３分の１秒のシャッタースピードを有するカメラである。
実施の形態１～６では、ルール情報を用いたカテゴリ判定および機械学習は、同一の演算部１０４で行われていたが、それぞれ別の演算部で行われてもよい。例えば、ルール情報を用いたカテゴリ判定を行う１つの演算部は学習装置内にある一方で、機械学習を行う更なる演算部が学習装置外にあり、これらの演算部がネットワークを介して接続されてもよい。すなわち、演算部１０４が複数の演算部から構成されてもよい。
実施の形態１～６では、１つの記憶部を備える学習装置および検査装置を例示した。しかしながら、記憶部は、複数の記録媒体から構成されてもよい。例えば、データ量の大きな教師データと学習モデルはＨＤＤに保存され、データ量の小さなルール情報は、ＳＳＤなどに保存されてもよい。また、例えば、学習装置または検査装置の中に、データ量の小さなルール情報を記憶するＨＤＤ、ＳＳＤなどの１つの記憶部が備えられ、データ量の大きな教師データは、ネットワークを介して学習装置または検査装置に接続された更なる記憶部に記憶されてもよい。
実施の形態１～６では、カテゴリの一例として、異物、不純物、傷などを含む欠陥を説明し、教師サンプルまたは被検査サンプルの一例として、銀板などの工業製品を挙げた。カテゴリは、上記のような欠陥のみならず、グレードまたは品質を示す分類であってもよい。教師サンプルまたは被検査サンプルは、このようなカテゴリによって分類されるべきあらゆる物であってもよい。したがって、教師サンプルまたは被検査サンプルは、銀板などの工業製品に限定されない。例えば、教師サンプルまたは被検査サンプルは、野菜や鮮魚などの食品であり、または毛皮、木材、薬品などであってもよい。
より具体的には、教師サンプルまたは被検査サンプルは、牛肉片であってもよい。新鮮な牛肉片の反射スペクトルと、時間が経過した牛肉片の反射スペクトルは異なる。したがって、ハイパースペクトルカメラ（物性情報取得部１０２）によって牛肉片の教師サンプルの物性情報を取得することにより、牛肉片の鮮度すなわち品質について複数のカテゴリを設定して、複数のカテゴリのうちの「１つのカテゴリを特定してその教師サンプルに付与することができる。
他の例では、教師サンプルまたは被検査サンプルは、木材であってもよい。木材は、節の数および大きさによって、無節、特選上小節、上小節、小節、一等材、節ありなどのグレードで分類される。また、節ありの木材は、節が生き節か、死に節か、抜け節かによって更にグレード分けされる。節の種類は、例えばハイパースペクトルカメラ（物性情報取得部１０２）または表面形状測定部（物性情報取得部２０２）によって判別することができる。したがって、木材のグレードについて複数のカテゴリを設定し、それらのカテゴリのうちの１つのカテゴリを特定して教師サンプルに付与することができる。
なお、１つの教師サンプルや１つの被検査サンプルに付与されるカテゴリ項目は１つに限定されず、複数のカテゴリ項目が付与されても良い。例えば、１つの教師サンプルの表面に銅が付着していた場合、良否のカテゴリ項目と、不純物の種類のカテゴリ項目との両方、すなわち２つ以上のカテゴリ項目を付与することができる。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
１ 学習システム
１０ 教師サンプル
２０ 被検査サンプル
３０ サンプル
１００ 学習装置
１０１ カメラ
１０２ 物性情報取得部
１０３ 入力部
１０４ 演算部
１０５ 記憶部
１０６ ルール情報
１０７ 教師データ
１１０ 学習モデル
２０２ 物性情報取得部
３０２ 物性情報取得部
４０２ 物性情報取得部
５００ 検査装置
５０１ カメラ
５０３ 入力部
５０４ 検査部
５０５ 記憶部
５０６ ルール情報
５０７ 教師データ
５０８ 表示部
５１０ 学習モデル
６０２ 物性情報取得装置

Claims (8)

  1. 物性情報とカテゴリとに関する情報に基づいて、対象物の画像の画素における前記カテゴリを特定して教師データを生成し、
    前記画像の入力に対して前記画素のカテゴリを出力する学習済みモデルを、前記教師データを用いた機械学習によって生成する、
    ように構成された演算部を備えた学習装置。
  2. 前記演算部は、前記対象物の画像の各画素における前記カテゴリを特定して教師データを生成する、
    請求項１に記載の学習装置。
  3. 前記演算部は、前記物性情報と前記カテゴリに関するルール情報に基づいて前記カテゴリを特定して教師データを生成する、
    請求項２に記載の学習装置。
  4. 前記物性情報は、４つ以上の波長域に分光された光に対する前記対象物の光学的情報である、
    請求項３に記載の学習装置。
  5. 前記物性情報は、ハイパースペクトル情報である、
    請求項４に記載の学習装置。
  6. 前記教師データは、セグメンテーション化され、前記各画素のカテゴリが前記画像に対応付けられている、
    請求項５に記載の学習装置。
  7. 物性情報とカテゴリとに関する情報に基づいて、対象物の画像の画素における前記カテゴリを特定して教師データを生成することと、
    前記画像の入力に対して前記画素のカテゴリを出力する学習済みモデルを、前記教師データを用いた機械学習によって生成することと、
    を含む、学習済みモデルの生成方法。
  8. コンピュータに、
    物性情報とカテゴリとに関する情報に基づいて、対象物の画像の画素における前記カテゴリを特定して教師データを生成することと、
    前記画像の入力に対して前記画素のカテゴリを出力する学習済みモデルを、前記教師データを用いた機械学習によって生成することと、
    を実行させるためのプログラム。
JP2023078363A 2018-05-31 2023-05-11 学習装置、検査装置、学習方法および検査方法 Pending JP2023090960A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018105352 2018-05-31
JP2018105352 2018-05-31
PCT/JP2019/018946 WO2019230356A1 (ja) 2018-05-31 2019-05-13 学習装置、検査装置、学習方法および検査方法
JP2020521830A JP7320704B2 (ja) 2018-05-31 2019-05-13 学習装置、検査装置、学習方法および検査方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020521830A Division JP7320704B2 (ja) 2018-05-31 2019-05-13 学習装置、検査装置、学習方法および検査方法

Publications (1)

Publication Number Publication Date
JP2023090960A true JP2023090960A (ja) 2023-06-29

Family

ID=68697242

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020521830A Active JP7320704B2 (ja) 2018-05-31 2019-05-13 学習装置、検査装置、学習方法および検査方法
JP2023078363A Pending JP2023090960A (ja) 2018-05-31 2023-05-11 学習装置、検査装置、学習方法および検査方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020521830A Active JP7320704B2 (ja) 2018-05-31 2019-05-13 学習装置、検査装置、学習方法および検査方法

Country Status (3)

Country Link
US (1) US11977033B2 (ja)
JP (2) JP7320704B2 (ja)
WO (1) WO2019230356A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6858377B1 (ja) * 2019-12-16 2021-04-14 Ａｓｓｅｓｔ株式会社 魚の品質判別プログラム及びシステム
JP2021099261A (ja) * 2019-12-23 2021-07-01 セイコーエプソン株式会社 付着物判定方法、付着物判定装置、及び付着物判定プログラム
JP7445956B2 (ja) 2019-12-27 2024-03-08 有限会社電マーク 鶏の雛の雌雄鑑別のための情報処理方法並びにシステム及びプログラム並びに鶏の雛の雌雄鑑別方法
JP7130267B2 (ja) * 2020-09-03 2022-09-05 株式会社リガク 全反射蛍光ｘ線分析装置及び推定方法
WO2022075094A1 (ja) * 2020-10-05 2022-04-14 パナソニックＩｐマネジメント株式会社 処理装置、システム、方法、コンピュータプログラム
CN116802481A (zh) * 2021-02-12 2023-09-22 松下知识产权经营株式会社 光学装置
IT202100017702A1 (it) * 2021-07-05 2023-01-05 Microtec Srl Apparecchiatura e metodo per eseguire una analisi non distruttiva di una tavola di legno
CN113706527B (zh) * 2021-10-27 2021-12-21 南通宝田包装科技有限公司 一种化妆品包装的质量检测方法及系统
DE102021130143B3 (de) * 2021-11-18 2022-04-28 Audi Aktiengesellschaft Verfahren zum Bereitstellen von Lerndaten für ein KI-System und Verarbeitungssystem

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4220595B2 (ja) 1998-08-10 2009-02-04 株式会社日立製作所 欠陥の分類方法並びに教示用データ作成方法
JP3731672B2 (ja) 2004-02-05 2006-01-05 秋田県 パターン抽出装置
JP3834041B2 (ja) 2004-03-31 2006-10-18 オリンパス株式会社 学習型分類装置及び学習型分類方法
JP4176041B2 (ja) 2004-04-14 2008-11-05 オリンパス株式会社 分類装置及び分類方法
JP5075070B2 (ja) 2008-09-19 2012-11-14 大日本スクリーン製造株式会社 教師データ作成方法、並びに、画像分類方法および画像分類装置
JP5246066B2 (ja) 2009-06-30 2013-07-24 Ｊｆｅスチール株式会社 カテゴリ判定ルールの作成方法、装置およびコンピュータプログラム
FR2952216B1 (fr) 2009-10-29 2011-12-30 Galderma Res & Dev Procede et dispositif d'analyse d'images hyper-spectrales
US9870505B2 (en) * 2012-11-19 2018-01-16 Altria Client Services Llc Hyperspectral imaging system for monitoring agricultural products during processing and manufacturing
US10062008B2 (en) 2013-06-13 2018-08-28 Sicpa Holding Sa Image based object classification
EP3367887A4 (en) 2015-10-28 2019-05-22 Spectral MD Inc. TIME-RESOLVED MULTISPECTRAL OPTICAL IMAGING METHODS, REFLECTIVE MODE AND FABRIC CLASSIFICATION APPARATUSES
JP2017102865A (ja) 2015-12-04 2017-06-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6910792B2 (ja) 2016-12-13 2021-07-28 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、プログラム、および電子機器
US20180232689A1 (en) * 2017-02-13 2018-08-16 Iceberg Luxembourg S.A.R.L. Computer Vision Based Food System And Method
WO2018160963A1 (en) * 2017-03-02 2018-09-07 Spectral Md, Inc. Machine learning systems and techniques for multispectral amputation site analysis

Also Published As

Publication number Publication date
JPWO2019230356A1 (ja) 2021-06-24
US11977033B2 (en) 2024-05-07
JP7320704B2 (ja) 2023-08-04
US20210233232A1 (en) 2021-07-29
WO2019230356A1 (ja) 2019-12-05

Similar Documents

Publication Publication Date Title
JP7320704B2 (ja) 学習装置、検査装置、学習方法および検査方法
Mahendran et al. Application of computer vision technique on sorting and grading of fruits and vegetables
WO2019059011A1 (ja) 教師データ作成方法及び装置並びに欠陥検査方法及び装置
US8649580B2 (en) Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program
WO2019151393A1 (ja) 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法
JP2022522348A (ja) 基板上の膜の検査のための装置及び方法
KR20160032593A (ko) 초분광영상화 기법을 이용한 글라스(Glass) 결함 검출 방법 및 장치
Salvucci et al. Fast olive quality assessment through RGB images and advanced convolutional neural network modeling
JP6970112B2 (ja) 概観画像をセグメント化することにより分散オブジェクトを検査するための方法
Portalés et al. An image-based system to preliminary assess the quality of grape harvest batches on arrival at the winery
Ettalibi et al. AI and Computer Vision-based Real-time Quality Control: A Review of Industrial Applications
PP et al. Automated quality assessment of cocoons using a smart camera based system
US9519963B2 (en) Device and method for analysis of coating additive performance
Markovic et al. Application of statistical indicators for digital image analysis and segmentation in sorting of agriculture products
JP2006300615A (ja) 外観検査装置及び外観検査方法
Limsripraphan et al. Algorithm for mango classification using image processing and naive bayes classifier
JP7411155B2 (ja) 色ムラ検査装置および色ムラ検査方法
JP7423368B2 (ja) 不良検出装置及び不良検出方法
Menon et al. Digital grading and sorting of fruits
Alie et al. Quality checking and inspection based on machine vision technique to determine tolerancevalue using single ceramic cup
JP2011232302A (ja) 画像検査方法及び画像検査装置
US10627351B2 (en) Inspection of components for imperfections
Shelke et al. Detection of Artificially Ripened Fruits using Machine Learning
Peng et al. Maturity analysis of citrus based on machine vision and android mobile platform technology
EP4010873B1 (en) Use of an hdr image in a visual inspection process

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230512

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20231208

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20231218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240424