JP2019204232A - 情報処理方法、情報処理装置、及びプログラム - Google Patents

情報処理方法、情報処理装置、及びプログラム Download PDF

Info

Publication number
JP2019204232A
JP2019204232A JP2018098169A JP2018098169A JP2019204232A JP 2019204232 A JP2019204232 A JP 2019204232A JP 2018098169 A JP2018098169 A JP 2018098169A JP 2018098169 A JP2018098169 A JP 2018098169A JP 2019204232 A JP2019204232 A JP 2019204232A
Authority
JP
Japan
Prior art keywords
data
product data
defective
learning model
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018098169A
Other languages
English (en)
Inventor
晶詳 中瀬
Akiyoshi Nakase
晶詳 中瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JTEKT Corp
Original Assignee
JTEKT Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JTEKT Corp filed Critical JTEKT Corp
Priority to JP2018098169A priority Critical patent/JP2019204232A/ja
Priority to US16/413,699 priority patent/US20190362188A1/en
Priority to DE102019113504.4A priority patent/DE102019113504A1/de
Priority to CN201910424389.5A priority patent/CN110580700A/zh
Publication of JP2019204232A publication Critical patent/JP2019204232A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • G06F18/2115Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

【課題】良品と不良品との判別の他に、不良品についてもその種別の判別が可能となる学習モデルの生成を容易にする。【解決手段】製品データから抽出された所定数の良品データを教師データとして機械学習を行って第一学習モデルM1を生成する(第一生成ステップS1)。第一学習モデルM1に基づいて、その生成後に対象となる複数の製品データについて、良品と不良品との判別を行なう(第一判別ステップS2)。不良品として判別された複数の製品データを対象として、不良の種別を分類項目としてグループ分けする(分類分けステップS3)。グループ分けされた不良の種別のグループ毎に、一括して、当該種別を示す種別ラベルを対応付ける(ラベル付与ステップ)。種別ラベルが対応付けられた不良品データ、及び、良品データを教師データとして機械学習を行って第二学習モデルM2を生成する(第二生成ステップ)。【選択図】 図2

Description

本発明は、情報処理方法、情報処理装置、及びプログラムに関する。
コンピュータによる機械学習を用いて判定や分類等を行なう場合、一般的に、機械学習のために、大量のデータが必要とされ、更に、これらのデータには、それぞれの注釈である教師ラベルが必要とされる。例えば、コンピュータが製品の外観検査を行なう場合、検査対象となる製品の大量の製品データ(例えば、外観画像データ)と、教師ラベルとして、その製品の良品ラベル及び不良品ラベルが必要である。製品の外観検査を、良品と不良品との二分類で判別するのであれば、例えば良品の教師ラベル(良品ラベル)が付された製品データを対象としてコンピュータにより機械学習させ、学習モデルを生成すればよい。特許文献1には、このような情報処理をコンピュータが行なう技術が開示されている。
特開2017−102865号公報
しかし、不良品の中でさらに不良の種別の分類を行なうためには、大量の製品データそれぞれに、教師データとして不良の種別を示す種別ラベルを紐付け、機械学習を行わせる必要がある。大量の製品データの全てに識別ラベルを付する作業に膨大な工数を要し、実際的ではない。また、このような識別ラベルを付する作業を作業員が行なうと、特に大量の製品データを扱う場合、作業員によって種別の判別にばらつきが生じたり、判別誤りが発生したりすることがある。従来では、不良品について、その種別の判別が可能となる学習モデルを生成することは困難であった。
そこで、本発明は、良品と不良品との判別の他に、不良品についてもその種別の判別が可能となる学習モデルの生成を容易にすることを目的とする。
本発明の情報処理方法は、製品データから抽出された所定数の良品データ及び不良品データの少なくとも一方を教師データとして機械学習を行って第一学習モデルを生成する第一生成ステップと、前記第一学習モデルに基づいて、当該第一学習モデルの生成後に対象となる複数の製品データについて、良品と不良品との判別を行なう第一判別ステップと、前記第一判別ステップで不良品として判別された複数の前記製品データを対象として、不良の種別を分類項目としてグループ分けする分類分けステップと、前記分類分けステップでグループ分けされた不良の種別のグループ毎に、一括して、当該種別を示す種別ラベルを対応付けるラベル付与ステップと、前記種別ラベルが対応付けられた不良品データ、及び、良品データを教師データとして機械学習を行って第二学習モデルを生成する第二生成ステップと、を含む。
前記情報処理方法によれば、第一生成ステップにおいて製品データが少数であれば、この少数の製品データから良品データ及び不良品データの少なくとも一方を抽出し、抽出したデータに対して教師ラベルを付与する作業は、さほど困難ではない。そして、抽出したデータにより生成された第一学習モデルに基づいて、第一判別ステップにおいて(製品データが少数でなくても)良品と不良品との判別ができる。更に、分類分けステップにおいて、不良品として判別された製品データが不良の種別毎にグループ分けされると、ラベル付与ステップで、グループ毎に一括して種別ラベルを対応付けることから、製品データが多くても、そのラベル付けの処理は容易である。そして、第二生成ステップでは、種別ラベルが付与された不良品データ及び良品データに基づいて第二学習モデルが生成される。このため、この第二学習モデルは、良品と不良品との判別の他に、不良品についてもその種別の判別が可能となる学習モデルとなる。以上より、良品と不良品との判別の他に、不良品についてもその種別の判別が可能となる学習モデル(第二学習モデル)の生成が容易となる。
また、前記情報処理方法は、前記第二生成ステップの後、前記第二学習モデルに基づいて、当該第二学習モデルの生成の後に対象となる複数の製品データについて、良品と不良品との判別及び不良の種別の判別を行なう第二判別ステップを、更に含むのが好ましい。この場合、第二学習モデルを用いることで、製品データが多数となっても、良品と不良品との判別の他に、不良品についてもその種別の判別が可能となる。
また、第一生成ステップにおいて、実際に生産された製品の場合、不良品データが揃わないことがある。これに対して、良品データは不良品データよりも揃いやすい。そこで、前記第一生成ステップで行われる前記機械学習は、良品データを教師データとして用いて行なう良品学習であるのが好ましい。この場合、第一判別ステップにおいて行なう良品と不良品との判別精度を高くすることが可能となる。
また、前記第一生成ステップにおいて用いられる前記製品データは、情報処理の開始初期に得られるデータであり、前記第一判別ステップにおいて判別の対象とされる前記製品データは、情報処理の開始初期よりも後の中期に得られるデータであり、前記第二生成ステップにおいて判別の対象とされる前記製品データは、情報処理の開始後の中期よりも更に後に得られるデータであるのが好ましい。この場合、第一生成ステップが行われる情報処理の開始初期では、製品データが少数であることから、少数の製品データから所定数の製品データを抽出し、更に、その製品データに対して教師ラベルを付与する作業は、さほど困難ではない。情報処理の開始後の中期で製品データが増加したとしても、既に生成された第一学習モデルに基づいて第一判別ステップで良品と不良品との判別を行なうことができる。そして、情報処理の開始後の中期よりも後(実際の運用)において、製品データが多くなっても、第二学習モデルを用いることから、良品と不良品との判別の他に、不良品についてもその種別の判別が可能となる。このように、前記構成によれば、製品の生産ライン(検査工程)の立ち上げが容易となる。
また、前記分類分けステップでは、教師データ無しでクラスター分析によりグループ分けが行われるのが好ましく、これにより、不良品として判別された複数の製品データが、不良の種別毎に分類される。
また、本発明の情報処理装置は、所定数の良品データ及び不良品データの少なくとも一方を教師データとして機械学習を行って第一学習モデルを生成する第一生成部と、前記第一学習モデルに基づいて複数の製品データについて良品と不良品との判別を行なう第一判別部と、前記第一判別部により不良品として判別された複数の前記製品データを対象として、不良の種別を分類項目としてグループ分けする分類分け部と、前記分類分け部によってグループ分けされた不良の種別のグループ毎に、一括して、当該種別を示す種別ラベルが対応付けられた不良品データ、及び、良品データを教師データとして機械学習を行って第二学習モデルを生成する第二生成部と、を備える。
前記情報処理装置によれば、前記情報処理方法を実行することが可能であり、良品と不良品との判別の他に、不良品についてもその種別の判別が可能となる学習モデル(第二学習モデル)の生成が容易となる。
また、本発明のプログラムは、コンピュータを、所定数の良品データ及び不良品データの少なくとも一方を教師データとして機械学習を行って第一学習モデルを生成する第一生成部、前記第一学習モデルに基づいて複数の製品データについて良品と不良品との判別を行なう第一判別部、前記第一判別部により不良品として判別された複数の前記製品データを対象として、不良の種別を分類項目としてグループ分けする分類分け部、及び、前記分類分け部によってグループ分けされた不良の種別のグループ毎に、一括して、当該種別を示す種別ラベルが対応付けられた不良品データ、及び、良品データを教師データとして機械学習を行って第二学習モデルを生成する第二生成部、として機能させるためのプログラムである。
前記プログラムによれば、前記情報処理方法を実行することが可能であり、良品と不良品との判別の他に、不良品についてもその種別の判別が可能となる学習モデル(第二学習モデル)の生成が容易となる。
本発明によれば、良品と不良品との判別の他に、不良品についてもその種別の判別が可能となる学習モデル(第二学習モデル)の生成が容易となる。
情報処理装置のハードウエア構成の一例を示す概略構成図である。 情報処理装置が行なう情報処理のイメージ図である。 情報処理装置のソフトウエア構成を示す図である。
〔情報処理装置について〕
図1は、情報処理装置のハードウエア構成の一例を示す概略構成図である。本実施形態の情報処理装置10は、製品の生産ラインの検査工程に用いられる。製品として、例えば転がり軸受の軌道輪のような部品の他に、複数の部品が組み立てられて得た組立品がある。組立品の例としては、例えばステアリング装置(電動パワーステアリング装置)及び転がり軸受である。
製品が組立品である場合、検査工程において製品を動作させ(回転させ)、製品の一部に接触させたセンサ7によって製品の振動(音)が計測される。センサ7の計測により得られたデータが、製品データとして情報処理装置10に入力される。また、製品が部品であっても組立品であっても、検査工程において製品をカメラ8によって撮影し、外観検査を行なってもよい。この場合、カメラ8による撮影画像のデータが、製品データとして情報処理装置10に入力される。このように製品データを、振動データ又は画像データ(外観画像データ)とすることができる。又は、製品データは、センサ7による振動データ(生データ)を加工した加工データ、又は、カメラ8による画像データ(生データ)を加工した加工データであってもよい。加工データの例として、センサ7によって取得された時系列データである振動データを解析(フーリエ解析)して生成した周波数データが挙げられる。又は、加工データは、撮影画像のデータを画像解析して得た画像解析データであってもよい。振動データを用いる場合、情報処理装置10は、製品の動作検査を行なうことができる。画像データを用いる場合、情報処理装置10は、製品の外観検査を行なうことができる。
情報処理装置10は、生産ラインにおいて生産された製品について、良品と不良品との判別を行ない、更に、不良品については、その不良の種別(種類)の判別を行なう機能を有する。ここでは、製品がステアリング装置であり、製品データとして振動データを用いる場合について説明する。この場合の不良の種別としては、特定のギア部分の不良、及び特定の軸受部の不良が例として挙げられる。これらの不良は、ステアリング装置を動作させると、それぞれ異なる周波数成分を有する振動を発生させる。周波数成分に特徴があることから、この特徴に基づいて情報処理装置10は不良の種別を判別することが可能となる。なお、製品データとして画像データを用いる場合、傷等による濃淡がデータ化され、このデータに基づいて情報処理装置10は不良の種別を判別することが可能となる。
情報処理装置10の構成について説明する。情報処理装置10は、中央処理装置(CPU)11、ROM及びRAMにより構成されたメモリ12、ハードディスクドライブにより構成された記憶装置13、表示部14、入力部15、及び、通信部16を有する。中央処理装置11は、メモリ12又は記憶装置13に記憶されたプログラム(コンピュータプログラム)を読み出して各種処理を実行する。記憶装置13は、センサ7から取得したデータ、このデータを加工して得たデータ(製品データ)、後述する学習モデル、及びプログラム等の各種情報を記憶する。後に説明する情報処理装置10が備える各種の機能部(各機能部が実行する処理)は、CPU11が、メモリ12又は記憶装置13に格納されたプログラムを読み出し、このプログラムを実行することにより実現される。
情報処理装置10が行なう情報処理によって製品(ステアリング装置)の検査が行われる。製品の検査(検査工程)は、製品を生産する生産ラインの一部に含まれる。図2は、情報処理装置10が行なう情報処理(検査)のイメージ図である。情報処理装置10は、センサ7によって得られた振動データ(生データ)D1を周波数解析する。情報処理装置10は、周波数解析して得たスペクトログラム等の加工データD2を「製品データ」として扱う。情報処理装置10は、生産ラインの立ち上げの際から用いられる。生産ラインの立ち上げ初期、つまり、情報処理装置10が行なう情報処理の開始初期では、製品データが少ない。生産ラインによる製品の生産が進むにしたがって、製品データが増加する。
〔情報処理装置10が有する機能について〕
図3は、情報処理装置10のソフトウエア構成を示す図である。情報処理装置10は、前記機能部として、第一生成部21、第一判別部22、分類分け部23、第二生成部24、及び、第二判別部25を備える。前記のとおり、これら各機能部は、前記プログラムを実行することにより実現される。つまり、このプログラムは、コンピュータを、前記第一生成部21、前記第一判別部22、前記分類分け部23、前記第二生成部24、及び、前記第二判別部25として機能させるためのプログラムである。このプログラムは、各種記憶媒体に保存される。
前記のとおり、生産ラインの立ち上げ初期(情報処理の開始初期)、製品データが少ない。そこで、生産ラインの立ち上げ初期に得られた少数の製品データから良品である製品について得られた製品データ(これを「良品データ」と称する。)が所定数について抽出される。抽出された良品データには、教師ラベルとして「良品ラベル」の情報が対応付けられる(紐付けられる)。前記抽出及び前記対応付けは、作業員によって行われる。なお、不良品である製品について得られた製品データについては「不良品データ」と称する。
第一生成部21は、抽出された前記良品データを教師データとして機械学習を行って第一学習モデルM1を生成する処理を行なう(図2のステップS1)。ここで用いられる機械学習として、ディープラーニングが挙げられる。実際に製品を生産する生産ラインでは、生産ラインの立ち上げ初期(情報処理の開始初期)、不良品データは揃いにくい。これに対して、良品データは不良品データよりも揃いやすい。このため、本実施形態では、第一生成部21が行なう機械学習は、良品データを教師データとして用いて行なう良品学習である。この良品データは、情報処理の開始初期に得られたデータである。良品学習のために用いられる良品データを第一生成部21が取得する処理が、図2において矢印F0で示される。なお、情報処理の開始初期において、もし不良品が多く揃う場合、不良品データを教師データとして機械学習を行ってもよい。または、良品データと不良品データとを教師データとしてもよい。このように、第一生成部21は、生産ラインの立ち上げ初期に得られた少数の製品データから(作業員によって)抽出された所定数の良品データ(又は、良品データ及び不良品データの少なくとも一方)を教師データとして機械学習を行って第一学習モデルM1を生成する機能を有する。第一生成部21によって生成された第一学習モデルM1は、製品について良品と不良品との判別を行なうために用いられる学習モデルとなる。
第一判別部22は、第一生成部21が生成した第一学習モデルM1に基づいて、複数の製品データについて、良品と不良品とを判別する処理を行なう(図2のステップS2)。この判別のための手段の例として、Variational Auto encoder(VAE)が挙げられる。判別の対象となる製品データは、第一学習モデルM1の生成後に得られる複数の製品データである。つまり、情報処理の開始初期よりも後の中期に得られるデータである。情報処理の中期では、生産ラインにおいて製品の生産も進んでおり、不良品データが初期よりも増加する。このため、不良品データが所定数集まったと推測される段階で、第一判別部22による判別処理が行われる。この判別処理によって、実際の製品に関する製品データが、良品データと不良品データとに判別される。この判別の対象となる製品データを第一判別部22が取得する処理が、図2において矢印F1で示される。第一判別部22によれば、図2中の第一ブロックB1の右側に示されるように、「良品」として分類された製品(製品データ)と、「不良品」として分類された製品(製品データ)とに分けられる。
ここで、本実施形態では、検査対象となる製品がステアリング装置であることから、ステアリング装置を動作させると、不良の種別に応じてそれぞれ異なる周波数成分を有する振動が発生する。不良の種別毎の周波数成分に特徴があることから、情報処理装置10は、この特徴に基づいて不良の種別を判別してグループ分けすることが可能となる。このグループ分けの処理を分類分け部23が行なう。
つまり、分類分け部23は、第一判別部22により不良品として判別された複数の製品データ(不良品データ)を対象として、不良の種別を分類項目としてグループ分けする処理を行なう(図2のステップS3)。ここで行われるグループ分けは、教師データ無しで行われる処理であり、クラスター分析(クラスタリング)により行われる。クラスタリングのアルゴリズムとして、例えば、k平均法が採用される。これにより、不良品として判別された複数の製品データが、不良の種別毎に分類される。この分類の処理、つまり、グループ分けの処理は、コンピュータが行なう処理であることから、不良の種別が、具体的にどのような不良であるのかについて識別できない。このため、図2中の第二ブロックB2の右側に示されるように、分類分け部23によって、不良品データが複数のグループに分けられる。図例では、不良品データが「異常A」「異常B」及び「異常C」の三つのグループに分けられる。なお、グループの数は、三つ以外となる場合があり、通常、三つ以上のグループに分けられる。
ステアリング装置では、不良の種別の例として、ギアAの傷等の不良(「ギアA不良」と称する)、ギアBの傷等の不良(「ギアB不良」と称する)、及び、軸受の圧痕等の不良(「軸受不良」と称する)等が挙げられる。そこで、グループ分けされた「異常A」「異常B」「異常C」がそれぞれ、「ギアA不良」「ギアB不良」「軸受不良」のうちのどの不良に該当するのかを対応付け、不良の識別ラベルを付する。本実施形態では「異常A」が「ギアA不良」に相当し、「異常B」が「ギアB不良」に相当し、「異常C」が「軸受不良」に相当する。そこで、このような対応付け(グループ名付け)、つまり、不良の識別ラベルの対応付けが行われる(図2のステップS4)。この対応付け(グループ名付け)は、作業員によって行われる。対応付けは、グループ分けされた製品データの製品(又は製品データ)の中から、サンプルとしていくつかの製品(又は製品データ)が抽出されることで行われる。例えば、抽出した製品を目視し(又は製品データを解析し)傷等の欠陥の有無を確認し、その製品の不良の種別を認定し、その製品が含まれるグループに、その不良の種別を、一括して名付けする。つまり、その製品が含まれるグループに対して、一括して不良の識別ラベルを対応付ける。
このように、分類分け部23によってグループ分けされた不良の種別のグループ毎に、一括して、その種別を示す種別ラベルが対応付けられる。つまり、分類分けされた不良品データの一つ一つに対して、不良の種別ラベルが付されるのではなく、分類分けされたグループに含まれる複数の不良品データの全てに、一括して、同じ種別ラベルが付される。
第二生成部24は、第二学習モデルM2(図2参照)を生成する機能を有する(図2のステップS5)。第二学習モデルM2は、前記のようにして種別ラベルが一括して対応付けられた不良品データ及び良品データを教師データとして、機械学習を行うことで生成される。ここで用いられる機械学習として、ディープラーニングが挙げられる。機械学習に用いられる良品データは、ステップS1で良品学習を行なう際に用いられた良品データと、ステップS2で第一判別部22によって良品であると判別された製品データ(良品データ)とのうちの少なくとも一方である。本実施形態では、双方の良品データ(製品データ)が用いられる。この機械学習で用いられる製品データには、良品データの他に、不良の種別を示す識別ラベルが対応付けられた不良品データ(製品データ)も含まれる。つまり、良品ラベルが付された良品データ、及び不良の種別を示す識別ラベルが付された不良品データが教師データとなる機械学習が行われる。既に生成されている第一学習モデルM1は、良品であるか不良品であるかを判別することが可能となる学習モデルであるのに対して、第二学習モデルM2は、良品であるか不良品であるかを判別する他に、不良品である場合に、不良の種別を判別することが可能となる学習モデルとなる。
第二学習モデルM2が生成されると、情報処理装置10が用いる学習モデルを、第一学習モデルM1から第二学習モデルM2へと変更する処理が行われる。
第二判別部25は、第二生成部24によって生成された第二学習モデルM2に基づいて、複数の製品データについて、良品と不良品との判別及び不良の種別の判別を行なう機能を有する(図2のステップS6)。この判別のための手段の例として、Variational Auto encoder(VAE)が挙げられる。判別の対象となる製品データは、第二学習モデルM2の生成後に得られる製品の製品データである。つまり、情報処理の開始後の中期よりも更に後に得られる複数の製品データである。情報処理の中期よりも後では、生産ラインにおいて製品の生産が進んでおり、製品データが更に増加する。判別の対象となる製品データを第二判別部25が取得する処理が、図2において矢印F2で示される。第二学習モデルM2が用いられることで、製品データが多数となっても、良品と不良品との判別の他に、不良品についてもその種別の判別が可能となる。
〔情報処理方法(検査方法)について〕
前記構成を備える情報処理装置10が行なう情報処理方法について図2により説明する。この情報処理方法には、第一学習モデルM1を生成する第一生成ステップS1と、第一判別ステップS2と、分類分けステップS3と、ラベル付与ステップS4と、第二生成ステップS5と、第二判別ステップS6とが含まれる。第一生成ステップS1は、前記第一生成部21(図3参照)によって実行される。第一判別ステップS2は、前記第一判別部22によって実行される。分類分けステップS3は、前記分類分け部23によって実行される。ラベル付与ステップS4は、他のステップと同様にコンピュータが行ってもよいが、本実施形態では作業員によって行われる。第二生成ステップS5は、前記第二生成部24によって実行される。第二判別ステップS6は、前記第二判別部25によって実行される。
第一生成ステップS1では、生産ラインの立ち上げ初期に得られた少数の製品データから抽出された所定数の良品データを教師データとして機械学習を行って第一学習モデルM1を生成する。第一判別ステップS2では、第一学習モデルM1に基づいて、この第一学習モデルM1の生成後に対象となる複数の製品データについて、良品と不良品との判別を行なう。第一判別ステップS2で不良品として判別された製品データ(不良品データ)がある程度の数について揃うと、分類分けステップS3では、これら複数の製品データ(不良品データ)を対象として、不良の種別を分類項目としてグループ分けする。ここでのグループ分けの処理は、製品データの特徴が似た者同士で分類される処理であり、教師データ無しで行われる。ラベル付与ステップS4では、分類分けステップS3でグループ分けされた不良の種別のグループ毎に、一括して、この種別を示す種別ラベルを対応付ける。第二生成ステップS5では、前記種別ラベルが対応付けられた不良品データ、及び、良品データを教師データとして機械学習を行って第二学習モデルM2を生成する。そして、第二生成ステップS5の後、第二判別ステップS6では、第一学習モデルM1の代わりとして、第二学習モデルM2を用い、第二学習モデルM2の生成の後に対象となる複数の製品データについて、良品と不良品との判別及び不良の種別の判別を行なう。
前記のような第一生成ステップS1、第一判別ステップS2、分類分けステップS3、ラベル付与ステップS4、及び、第二生成ステップS5を含む情報処理方法によれば、次に説明するように、良品と不良品との判別の他に、不良品についてもその種別の判別が可能となる学習モデルの生成が容易となる。すなわち、第一生成ステップS1において製品データが少数であれば、この少数の製品データから良品データを抽出し、抽出した良品データに対して教師ラベル(良品ラベル)を付与する作業は、さほど困難ではない。そして、抽出した良品データにより生成された第一学習モデルM1に基づいて、第一判別ステップS2において、(製品データが少数でなくても)良品と不良品との判別ができる。更に、分類分けステップS3において、不良品として判別された製品データが不良の種別毎にグループ分けされると、ラベル付与ステップS4で、グループ毎に一括して種別ラベルを対応付けることから、製品データ(不良品データ)が多くても、そのラベル付けの処理は容易である。そして、第二生成ステップS5では、種別ラベルが付与された不良品データ及び良品データに基づいて第二学習モデルM2が生成される。このため、この第二学習モデルM2は、良品と不良品との判別の他に、不良品についてもその種別の判別が可能となる学習モデルとなる。以上より、良品と不良品との判別の他に、不良品についてもその種別の判別が可能となる学習モデル(第二学習モデルM2)の生成が容易となる。
そして、第二判別ステップS6において、第一学習モデルM1の代わりとして、第二学習モデルM2が用いられる。このため、製品データが多数となっても、良品と不良品との判別の他に、不良品についてもその種別の判別が可能となる。
以上より、本実施形態の情報処理方法によれば、教師データ及び学習モデル(第二学習モデルM2)を半自動で生成できる。この生成が容易であるため、情報処理装置10が行なう検査工程(自動検査工程)の立ち上げが容易となる。この結果、検査工程の自動化が促進される。そして、作業員の省力化となるため、人件費の低減が可能となり、製品コストの低減に貢献することができる。
また、本実施形態では、第一生成ステップS1において用いられる製品データは、情報処理の開始初期に得られるデータである。第一判別ステップS2において判別の対象とされる製品データは、情報処理の開始初期の後、例えば、不良品データが所定数集まったと推定される段階である、情報処理の開始初期よりも後の中期に得られるデータである。そして、第二生成ステップS5において判別の対象とされる製品データは、情報処理の開始後の中期よりも更に後に得られるデータである。第一生成ステップS1が行われる情報処理の開始初期では、製品データが少数であることから、少数の製品データから所定数の製品データ(良品データ)を抽出し、更に、その製品データ(良品データ)に対して教師ラベル(良品データ)を付与する作業は、さほど困難ではない。情報処理の中期で製品データが増加したとしても、既に生成された第一学習モデルM1に基づいて第一判別ステップS2で良品と不良品との判別を行なうことができる。そして、情報処理の中期よりも後(実際の運用)において、製品データが多くなっても、第一学習モデルに代えて、第二学習モデルM2が用いられることから、良品と不良品との判別の他に、不良品についてもその種別の判別が可能となる。このように、情報処理の中期よりも後(実際の運用)において、製品の生産が継続されると、第二学習モデルM2を用いた判別(自動検査工程)が継続される。以上より、製品の生産ライン(検査工程)の立ち上げが容易となる。
今回開示した実施形態はすべての点で例示であって制限的なものではない。本発明の権利範囲は、上述の実施形態に限定されるものではなく、特許請求の範囲の範囲に記載された構成と均等の範囲内でのすべての変更が含まれる。
対象となる製品は、ステアリング装置及び転がり軸受以外であってもよく、様々な組立品及び機械部品が対象となる。また、製品データは、振動データ及び画像データ以外であってもよく、温度データ(温度変化データ)等であってもよい。
前記不良品データに対して、不良の種別を示す種別ラベルが対応付けられることについて説明したが、更に、その不良の発生の原因となった検査工程前の工程の情報を示す工程ラベルについても追加的に対応付けられてもよい。この場合、検査結果としてある種別の不良品と判定された場合に、その不良の原因となる工程を容易に認識することができる。この結果、その工程の不具合を解決し、不良品の発生を最小限に抑えることが可能となる。
10:情報処理装置 21:第一生成部 22:第一判別部
23:分類分け部 24:第二生成部 25:第二判別部
M1:第一学習モデル M2:第二学習モデル

Claims (7)

  1. 製品データから抽出された所定数の良品データ及び不良品データの少なくとも一方を教師データとして機械学習を行って第一学習モデルを生成する第一生成ステップと、
    前記第一学習モデルに基づいて、当該第一学習モデルの生成後に対象となる複数の製品データについて、良品と不良品との判別を行なう第一判別ステップと、
    前記第一判別ステップで不良品として判別された複数の前記製品データを対象として、不良の種別を分類項目としてグループ分けする分類分けステップと、
    前記分類分けステップでグループ分けされた不良の種別のグループ毎に、一括して、当該種別を示す種別ラベルを対応付けるラベル付与ステップと、
    前記種別ラベルが対応付けられた不良品データ、及び、良品データを教師データとして機械学習を行って第二学習モデルを生成する第二生成ステップと、
    を含む情報処理方法。
  2. 前記第二生成ステップの後、前記第二学習モデルに基づいて、当該第二学習モデルの生成の後に対象となる複数の製品データについて、良品と不良品との判別及び不良の種別の判別を行なう第二判別ステップを、更に含む請求項1に記載の情報処理方法。
  3. 前記第一生成ステップで行われる前記機械学習は、良品データを教師データとして用いて行なう良品学習である、請求項1又は2に記載の情報処理方法。
  4. 前記第一生成ステップにおいて用いられる前記製品データは、情報処理の開始初期に得られるデータであり、
    前記第一判別ステップにおいて判別の対象とされる前記製品データは、情報処理の開始初期よりも後の中期に得られるデータであり、
    前記第二生成ステップにおいて判別の対象とされる前記製品データは、情報処理の開始後の中期よりも更に後に得られるデータである、
    請求項2に記載の情報処理方法。
  5. 前記分類分けステップでは、教師データ無しでクラスター分析によりグループ分けが行われる、請求項1〜4のいずれか一項に記載の情報処理方法。
  6. 所定数の良品データ及び不良品データの少なくとも一方を教師データとして機械学習を行って第一学習モデルを生成する第一生成部と、
    前記第一学習モデルに基づいて複数の製品データについて良品と不良品との判別を行なう第一判別部と、
    前記第一判別部により不良品として判別された複数の前記製品データを対象として、不良の種別を分類項目としてグループ分けする分類分け部と、
    前記分類分け部によってグループ分けされた不良の種別のグループ毎に、一括して、当該種別を示す種別ラベルが対応付けられた不良品データ、及び、良品データを教師データとして機械学習を行って第二学習モデルを生成する第二生成部と、
    を備える情報処理装置。
  7. コンピュータを、
    所定数の良品データ及び不良品データの少なくとも一方を教師データとして機械学習を行って第一学習モデルを生成する第一生成部、
    前記第一学習モデルに基づいて複数の製品データについて良品と不良品との判別を行なう第一判別部、
    前記第一判別部により不良品として判別された複数の前記製品データを対象として、不良の種別を分類項目としてグループ分けする分類分け部、
    及び、
    前記分類分け部によってグループ分けされた不良の種別のグループ毎に、一括して、当該種別を示す種別ラベルが対応付けられた不良品データ、及び、良品データを教師データとして機械学習を行って第二学習モデルを生成する第二生成部、
    として機能させるためのプログラム。
JP2018098169A 2018-05-22 2018-05-22 情報処理方法、情報処理装置、及びプログラム Pending JP2019204232A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018098169A JP2019204232A (ja) 2018-05-22 2018-05-22 情報処理方法、情報処理装置、及びプログラム
US16/413,699 US20190362188A1 (en) 2018-05-22 2019-05-16 Information processing method, information processing apparatus, and program
DE102019113504.4A DE102019113504A1 (de) 2018-05-22 2019-05-21 Informationsverarbeitungsverfahren, Informationsverarbeitungsgerät und Programm
CN201910424389.5A CN110580700A (zh) 2018-05-22 2019-05-21 信息处理方法、信息处理装置及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018098169A JP2019204232A (ja) 2018-05-22 2018-05-22 情報処理方法、情報処理装置、及びプログラム

Publications (1)

Publication Number Publication Date
JP2019204232A true JP2019204232A (ja) 2019-11-28

Family

ID=68499531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018098169A Pending JP2019204232A (ja) 2018-05-22 2018-05-22 情報処理方法、情報処理装置、及びプログラム

Country Status (4)

Country Link
US (1) US20190362188A1 (ja)
JP (1) JP2019204232A (ja)
CN (1) CN110580700A (ja)
DE (1) DE102019113504A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7400639B2 (ja) 2020-06-24 2023-12-19 コニカミノルタ株式会社 不良部品予測モデルの作成方法、不良部品予測方法、不良部品予測プログラムおよび不良部品予測装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021166232A1 (ja) * 2020-02-21 2021-08-26 三菱電機株式会社 プログラマブル表示器、制御システムおよび解析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005121639A (ja) * 2003-09-22 2005-05-12 Omron Corp 検査方法および検査装置ならびに設備診断装置
JP2011070635A (ja) * 2009-08-28 2011-04-07 Hitachi Ltd 設備状態監視方法およびその装置
US20130279795A1 (en) * 2012-04-19 2013-10-24 Applied Materials Israel Ltd. Optimization of unknown defect rejection for automatic defect classification
JP2017102906A (ja) * 2015-11-25 2017-06-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005121639A (ja) * 2003-09-22 2005-05-12 Omron Corp 検査方法および検査装置ならびに設備診断装置
JP2011070635A (ja) * 2009-08-28 2011-04-07 Hitachi Ltd 設備状態監視方法およびその装置
US20130279795A1 (en) * 2012-04-19 2013-10-24 Applied Materials Israel Ltd. Optimization of unknown defect rejection for automatic defect classification
JP2017102906A (ja) * 2015-11-25 2017-06-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7400639B2 (ja) 2020-06-24 2023-12-19 コニカミノルタ株式会社 不良部品予測モデルの作成方法、不良部品予測方法、不良部品予測プログラムおよび不良部品予測装置

Also Published As

Publication number Publication date
CN110580700A (zh) 2019-12-17
DE102019113504A1 (de) 2019-11-28
US20190362188A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
CN114065613A (zh) 基于深度迁移学习的多工况流程工业故障检测诊断方法
JP7102941B2 (ja) 情報処理方法、情報処理装置、及びプログラム
JP6880843B2 (ja) 管理装置および管理プログラム
CN111340250A (zh) 设备检修装置、方法及计算机可读存储介质
US20210232126A1 (en) Quality monitoring of industrial processes
JP2019204232A (ja) 情報処理方法、情報処理装置、及びプログラム
KR20070037314A (ko) 검사 기준 결정 지원 장치
WO2022044175A1 (ja) データ処理装置、データ処理方法およびデータ処理プログラム
Eger et al. Knowledge capturing platform in multi-stage production systems for zero-defect manufacturing
US11255716B2 (en) Analysis support apparatus, analysis support method, and a computer-readable medium containing an analysis support program
JP6997964B2 (ja) 判別システム、判別装置、学習装置、判別方法及びプログラム
CN110914771B (zh) 品质分析装置及品质分析方法
CN112836724A (zh) 物体缺陷识别模型训练方法、装置、电子设备和存储介质
US20230325640A1 (en) Artificial intelligence-based anomaly detection and prediction
JP5824550B1 (ja) データ管理装置及びデータ管理プログラム
Seevers et al. Automatic detection of manufacturing equipment cycles using time series
WO2022259380A1 (ja) 点検支援装置、点検支援システム、点検支援方法および点検支援プログラム
Bonomi et al. Smart quality control powered by machine learning algorithms
EP3623965A1 (en) Fabricated data detection method
Nagy et al. An industrial application using process mining to reduce the number of faulty products
Diraco et al. Machine Learning-Based Anomaly Prediction for Smart Manufacturing
WO2022215446A1 (ja) 画像判定装置、画像判定方法、及び、プログラム
JP7369541B2 (ja) 同じタイプの一連の構成部品における少なくとも1つの重要な特徴を取得する方法及びそのような一連の構成部品を分類する方法
Teubl et al. Development of an ML model for the classification of surface quality in a milling process
Roczek et al. A hybrid diagnostic system of main drive of industrial press line

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221011