JP2019179319A - Prediction model generation device, prediction model generation method, and prediction model generation program - Google Patents
Prediction model generation device, prediction model generation method, and prediction model generation program Download PDFInfo
- Publication number
- JP2019179319A JP2019179319A JP2018066999A JP2018066999A JP2019179319A JP 2019179319 A JP2019179319 A JP 2019179319A JP 2018066999 A JP2018066999 A JP 2018066999A JP 2018066999 A JP2018066999 A JP 2018066999A JP 2019179319 A JP2019179319 A JP 2019179319A
- Authority
- JP
- Japan
- Prior art keywords
- prediction model
- feature
- model creation
- data
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000004458 analytical method Methods 0.000 claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 claims abstract description 23
- 238000004519 manufacturing process Methods 0.000 claims abstract description 23
- 239000000284 extract Substances 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 41
- 238000010801 machine learning Methods 0.000 claims description 12
- 239000002994 raw material Substances 0.000 description 22
- 238000010586 diagram Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 14
- 210000002569 neuron Anatomy 0.000 description 13
- 239000000047 product Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000000634 powder X-ray diffraction Methods 0.000 description 6
- 238000001878 scanning electron micrograph Methods 0.000 description 5
- 239000011265 semifinished product Substances 0.000 description 5
- 239000012467 final product Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Landscapes
- Machine Tool Sensing Apparatuses (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本件は、予測モデル作成装置、予測モデル作成方法、および予測モデル作成プログラムに関する。 This case relates to a prediction model creation device, a prediction model creation method, and a prediction model creation program.
ものづくりの現場において品質予測を早期に行うことは、高品質な製品を作るだけでなく、安価な製品を製造するうえでも重要である。これらの取り組みにおいて、機械学習などのＡＩ（人工知能）技術を活用して材料の特性を予測し、ものづくり工程の改善を進めるマテリアルインフォマティクスという考えが浸透し始めている。そこで、ニューラルネットワークを用いて品質予測モデルを作成する技術が開示されている（例えば、特許文献１，２参照）。 Early quality prediction at the manufacturing site is important not only for producing high-quality products, but also for producing inexpensive products. In these efforts, the idea of material informatics, which uses AI (artificial intelligence) technology such as machine learning to predict material characteristics and improve the manufacturing process, has begun to permeate. Therefore, a technique for creating a quality prediction model using a neural network is disclosed (for example, see Patent Documents 1 and 2).
しかしながら、ニューラルネットワークを用いてモデルを作成しようとしても、品質予測の精度を高めるためには多量のデータが必要となってしまう。 However, even if an attempt is made to create a model using a neural network, a large amount of data is required to improve the accuracy of quality prediction.
１つの側面では、本件は、少ないデータで高い精度の品質予測モデルを作成することができる予測モデル作成装置、予測モデル作成方法、および予測モデル作成プログラムを提供することを目的とする。 In one aspect, an object of the present invention is to provide a prediction model creation device, a prediction model creation method, and a prediction model creation program that can create a high-precision quality prediction model with a small amount of data.
１つの態様では、予測モデル作成装置は、１以上の工程を含む製造工程の各工程の分析データから、事前に機械学習したアルゴリズムにより特徴量を抽出する特徴量抽出部と、前記特徴量抽出部が抽出した特徴量からニューラルネットワークによって品質予測モデルを作成するモデル作成部と、を備える。 In one aspect, the prediction model creation device includes a feature amount extraction unit that extracts a feature amount from an analysis data of each step of a manufacturing process including one or more steps by an algorithm that has been machine-learned in advance, and the feature amount extraction unit And a model creation unit that creates a quality prediction model from the feature quantity extracted by the neural network.
少ないデータで高い精度の品質予測モデルを作成することができる予測モデル作成装置、予測モデル作成方法、および予測モデル作成プログラムを提供することができる。 It is possible to provide a prediction model creation device, a prediction model creation method, and a prediction model creation program capable of creating a quality prediction model with high accuracy with a small amount of data.
一般に、画像やスペクトルなどの複数の分析データをデータ加工せずに入力して、特性と関連するパラメータを抽出し、その抽出方法を学習するためには膨大なデータが必要である。しかしながら、ものづくり現場には、データ形式がそろった大量のデータが十分に無いことが現状である。また、それらのデータを今後取得したとしても、膨大な数の試作品などを作成することが困難な昨今の製造現場においては、少量データからでも品質を予測する方法や、過去のデータを活用した方法などの提案が必要とされている。 In general, enormous amounts of data are required to input a plurality of analysis data such as images and spectra without data processing, extract parameters related to characteristics, and learn the extraction method. However, at present, the manufacturing site does not have a large amount of data in a uniform data format. Moreover, even if such data will be acquired in the future, it is difficult to create a huge number of prototypes, etc., and in recent manufacturing sites, a method for predicting quality even from a small amount of data and past data have been used. Proposals such as methods are needed.
そこで、ディープラーニングによる品質予測の試みが考えられる。具体的には、入力データを用いてニューラルネットワーク構造を基に重み因子を決定し、非線形演算を行うニューラルネットワーク法を利用することで、品質予測モデルを作成することが考えられる。一般的なニューラルネットワーク法は、入力データを１次元配列に並べ替え、ニューロンを模した複数の隠し層に線形結合を行う。ここで、入力データが画像データやセンサデータの場合、データ入力が膨大になるため、畳み込み演算などによって特徴量を抽出するなどして、入力データを低次元化することが望まれる。製造工程毎に複数のデータが取得される場合、それらを全て入力データとすると、膨大な入力データ量となる。そのため、出力層の精度を高めるためには、データを大量に用意する必要がある。しかしながら、製造現場で真に利用可能な技術とするための課題は、少数サンプルからの学習精度向上と考えられる。一方で、入力データの次元が多くなると何が最終特性に影響しているか分からなくなるため、分析結果の物理的背景が不明瞭になるという問題も発生する。 Therefore, an attempt of quality prediction by deep learning can be considered. Specifically, it is conceivable to create a quality prediction model by using a neural network method in which a weighting factor is determined based on a neural network structure using input data and a nonlinear operation is performed. In a general neural network method, input data is rearranged into a one-dimensional array, and a linear connection is made to a plurality of hidden layers imitating neurons. Here, when the input data is image data or sensor data, the data input becomes enormous. Therefore, it is desired to reduce the input data by extracting feature amounts by a convolution operation or the like. When a plurality of data is acquired for each manufacturing process, if all of them are input data, the amount of input data becomes enormous. Therefore, in order to increase the accuracy of the output layer, it is necessary to prepare a large amount of data. However, it is considered that the challenge for making the technology truly usable at the manufacturing site is to improve the learning accuracy from a small number of samples. On the other hand, when the dimension of the input data increases, it becomes difficult to know what influences the final characteristics, so that the physical background of the analysis result becomes unclear.
そこで、以下の実施例では、少ないデータで高い精度の品質予測モデルを作成することができる予測モデル作成装置、予測モデル作成方法、および予測モデル作成プログラムについて説明する。 Therefore, in the following embodiments, a prediction model creation device, a prediction model creation method, and a prediction model creation program that can create a quality prediction model with high accuracy with a small amount of data will be described.
図１（ａ）は、実施例１に係る予測モデル作成装置１００の全体構成を例示するブロック図である。図１（ａ）で例示するように、予測モデル作成装置１００は、特徴量抽出部１０、演算部２０、モデル格納部３０、出力装置４０などを備える。演算部２０は、モデル作成部２１、最適化部２２および品質予測部２３を備える。
FIG. 1A is a block diagram illustrating the overall configuration of the prediction
図１（ｂ）は、特徴量抽出部１０、演算部２０およびモデル格納部３０のハードウェア構成を説明するためのブロック図である。図１（ｂ）で例示するように、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３等が備わっている。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、中央演算処理装置である。ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。記憶装置１０３は、予測モデル作成プログラムを記憶している。ＣＰＵ１０１が記憶装置１０３に記憶されている予測モデル作成プログラムを実行することで、特徴量抽出部１０、演算部２０およびモデル格納部３０が実現される。なお、特徴量抽出部１０、演算部２０およびモデル格納部３０は、専用の回路などのハードウェアであってもよい。
FIG. 1B is a block diagram for explaining a hardware configuration of the feature
図２は、予測モデル作成装置１００による品質予測の概念図である。図２の例では、原材料に対する製造工程を経て最終製品が製造される場合の品質予測モデルの作成が例示されている。ここで、製造工程とは、原材料を取得する初期工程、原材料に対して所定の処理を施すことで仕掛品や半製品を製造する後工程、仕掛品や半製品から最終製品を製造する最終工程などを含む。
FIG. 2 is a conceptual diagram of quality prediction by the prediction
ここでは、異なる原材料Ａ〜Ｉを同様の製造工程に流した場合に製造される最終製品の品質にばらつきがある場合を想定している。例えば、原材料Ａ〜Ｉは、異なる鉱山から産出された材料、異なる材料メーカーが製造した材料等であり、材料としての性質が互いに異なっている。最終製品の品質は、「優」から「劣」まで定量的に測定できるものとする。 Here, it is assumed that the quality of the final product manufactured when different raw materials A to I are flowed through the same manufacturing process varies. For example, the raw materials A to I are materials produced from different mines, materials produced by different material manufacturers, etc., and the properties as materials are different from each other. The quality of the final product can be measured quantitatively from “excellent” to “inferior”.
原材料の分析データ（初期工程の分析データ）と、仕掛品、半製品等の分析データ（後工程の分析データ）とから、品質予測モデルを作成する。この場合において、実測データをそのままディープラーニング等で分析するのではなく、事前に実測データから意味のある特徴量を説明因子として抽出する。例えば、各原材料の分析データから、特徴量１〜９を説明因子として抽出する。また、後工程の分析データから、特徴量１０〜１２を説明因子として抽出する。これらの特徴量から、品質予測モデルを作成する。本実施例においては、解析の負荷を軽減するため、後工程の分析データから抽出した特徴量１０〜１２を原材料の分析データから抽出した特徴量１〜９と同列に入力するのではなく、隠し層に入力する。それにより、品質予測モデルを作成する際の決定因子の削減を行う。
A quality prediction model is created from analysis data of raw materials (analysis data of initial process) and analysis data of work-in-process products and semi-finished products (analysis data of post-process). In this case, the actual measurement data is not directly analyzed by deep learning or the like, but meaningful feature amounts are extracted from the actual measurement data in advance as explanatory factors. For example, feature amounts 1 to 9 are extracted as explanatory factors from the analysis data of each raw material. Further,
図３は、実測された原材料の分析データから、公共のナレッジデータを活用し、有用な特徴量を事前に抽出する特徴量抽出工程を例示する図である。原材料特性を示すデータとしての画像データやスペクトルデータからなる入力データ群に対して、公共のナレッジデータを用いてどのような特徴量を抽出すればよいか、事前に機械学習によってアルゴリズムを求めておく。図３の例では、原材料の分析データの一例として、粉末ＸＲＤが用いられている。例えば、公共のナレッジデータを用いれば、粉末ＸＲＤからピーク強度、ピーク半値幅、ピークの有無などを特徴量として抽出するアルゴリズムを事前に機械学習することができる。一例として、原材料の分析データからピーク強度、ピーク半値幅、ピークの有無等の測量値を学習値として、その値を出力するアルゴリズムを機械学習によって事前に求めておく。公共のナレッジデータを利用するため、データ量は十分である。そのため、汎用データから特徴量を抽出するアルゴリズムを機械学習により事前に求めておくことができる。 FIG. 3 is a diagram exemplifying a feature amount extraction step for extracting useful feature amounts in advance by utilizing public knowledge data from measured raw material analysis data. For the input data group consisting of image data and spectral data as raw material characteristics data, what kind of feature values should be extracted using public knowledge data is determined in advance by machine learning . In the example of FIG. 3, powder XRD is used as an example of raw material analysis data. For example, if public knowledge data is used, it is possible to perform machine learning in advance on an algorithm for extracting peak intensity, peak half-value width, presence / absence of a peak, etc. from a powder XRD as a feature amount. As an example, a survey value such as peak intensity, peak half-value width, peak presence / absence or the like is learned from raw material analysis data, and an algorithm for outputting the value is obtained in advance by machine learning. Since public knowledge data is used, the amount of data is sufficient. Therefore, an algorithm for extracting feature amounts from general-purpose data can be obtained in advance by machine learning.
図４は、実測された原材料の分析データから、社内データベースを活用し、有用な特徴量を事前に抽出する特徴量抽出工程を例示する図である。図４の例では、原材料の分析データの一例として、ＳＥＭ画像が用いられている。ここでは公共のナレッジデータのほか、より具体的にかつ材料特性の説明に特化した物理量を以前に社内で解析したことがある場合を想定している。この場合、品質予測モデルに役に立つか立たないかは別問題として、同様の分析対象物に対して測定した実績がある場合、それらを抽出する工程を経るものである。社内データベースを用いてどのような特徴量を抽出すればよいか、事前に機械学習によってアルゴリズムを求めておく。例えば、入力画像から凝集度、粒径等の測量値を学習値として、その値を出力するアルゴリズムを機械学習によって事前に求めておく。社内データベースに大量の画像がある場合、特徴量を抽出するためのアルゴリズムを事前学習によって求めておくことができる。 FIG. 4 is a diagram exemplifying a feature amount extraction step of extracting useful feature amounts in advance from the measured analysis data of raw materials using an in-house database. In the example of FIG. 4, an SEM image is used as an example of raw material analysis data. Here, in addition to public knowledge data, it is assumed that a physical quantity specialized for explanation of material properties has been analyzed in-house before. In this case, as another problem whether it is useful for the quality prediction model or not, if there is a record of measuring the same analysis object, a process of extracting them is performed. An algorithm is obtained in advance by machine learning as to what kind of feature value should be extracted using an in-house database. For example, a survey value such as a degree of aggregation and particle size is used as a learning value from an input image, and an algorithm for outputting the value is obtained in advance by machine learning. When there are a large number of images in the in-house database, an algorithm for extracting feature amounts can be obtained by prior learning.
これらの特徴量抽出工程を経て得られた特徴量を説明因子として用いてニューラルネットワーク法によって品質予測モデルを作成する。入力データの何が特性に関するものかわからない場合、求めたい特性値毎に利用される特徴量を学習しなければならない。そのため、学習には入力データの精度に関係してデータ数が必要である。これに対して、本実施例では、あらかじめ入力データから特徴量を抽出する手法が機械学習されているため、その手間が不要となる。 A quality prediction model is created by a neural network method using the feature values obtained through these feature value extraction steps as explanatory factors. If you do not know what the input data relates to the characteristics, you must learn the feature values used for each characteristic value you want to find. Therefore, learning requires a number of data related to the accuracy of input data. On the other hand, in this embodiment, since the method of extracting the feature amount from the input data is machine-learned in advance, the labor is not required.
図５は、一般的なニューラルネットワーク法の概念図を例示する図である。図５で例示するように、説明因子として特徴量を用いる。図５の例では、特徴量１〜７を用いるため、入力層におけるニューロン数（ノード）は、７個である。説明因子をいくつかの隠し層に演算する際に最適な重み因子を線形演算し、隠し層の数値データとする。ここで、活性化関数を演算することで非線形性を与える必要があるが、ここでは省略してある。図５の例では、隠し層の階層数は、１つである。隠し層におけるニューロン数は、３個である。また、図５の例では、出力層におけるニューロン数は、１個である。 FIG. 5 is a diagram illustrating a conceptual diagram of a general neural network method. As illustrated in FIG. 5, feature quantities are used as explanatory factors. In the example of FIG. 5, since the feature amounts 1 to 7 are used, the number of neurons (nodes) in the input layer is seven. When calculating the explanatory factors for several hidden layers, the optimal weighting factor is linearly calculated to obtain numerical data of the hidden layers. Here, it is necessary to give the nonlinearity by calculating the activation function, but it is omitted here. In the example of FIG. 5, the number of hidden layers is one. The number of neurons in the hidden layer is three. In the example of FIG. 5, the number of neurons in the output layer is one.
ニューラルネットワーク法において決定すべき因子は重み因子である。そのため、特徴量が増えるにしたがってニューロン数が増加し、隠し層の階層数も増加し、決定すべき重み因子の数は爆発的に増加する。ここで、隠し層のｊ番目のニューロンにおけるＨｊは、隠し層の評価値である。なお、「ｉ」は、ｉ番目の特徴量を表す。ｆｉは、ｉ番目の評価値である。ｗｊｉは、重み因子である。この場合、Ｈｊは下記式（１）で表すことができる。
Ｈｊ＝Σｉ（ｗｊｉ×ｆｉ） （１）
A factor to be determined in the neural network method is a weight factor. Therefore, as the feature amount increases, the number of neurons increases, the number of hidden layers increases, and the number of weight factors to be determined increases explosively. Here, H j in the j-th neuron of the hidden layer is an evaluation value of the hidden layer. “I” represents the i-th feature amount. f i is the i-th evaluation value. w ji is a weight factor. In this case, H j can be expressed by the following formula (1).
H j = Σ i (w ji × f i ) (1)
例えば画像などを入力データとした場合、すべての画素に対して重み因子を計算することは現実的ではないため、畳み込み演算などによって特徴を抽出する工程が含まれる。本実施例においては、公共ナレッジデータや社内データベースを活用した事前の知見を加味して機械学習されているため、特徴量を減らすことができている。 For example, when an image or the like is used as input data, it is not realistic to calculate a weight factor for all pixels, and therefore a step of extracting features by a convolution operation or the like is included. In the present embodiment, since the machine learning is performed in consideration of prior knowledge using public knowledge data or an in-house database, the feature amount can be reduced.
ここからは、複数工程からの検査結果が得られるような製品品質を予測する品質予測モデル作成のための手法を説明する。通常のニューラルネットワーク法では、後工程で得られた説明因子も全て一緒に入力データとして考慮する。その場合、一般的には説明因子が増えれば、ニューロン数が増え、検討する隠し層の階層数も増え、決定すべき重み因子の数も増える。結果として必要データがさらに増加し、スモールデータが基本のものづくり工程では十分な品質予測精度が得られないおそれがある。 Hereafter, a method for creating a quality prediction model for predicting product quality that can obtain inspection results from a plurality of processes will be described. In the normal neural network method, all explanatory factors obtained in the subsequent process are considered as input data together. In this case, in general, as the explanatory factor increases, the number of neurons increases, the number of hidden layers to be examined increases, and the number of weight factors to be determined also increases. As a result, the necessary data further increases, and there is a possibility that sufficient quality prediction accuracy cannot be obtained in the manufacturing process based on small data.
例えば、説明因子が７個から１１個に増加した場合を考える。隠し層を２階層とし、それぞれ７因子、３因子、予測結果の順番でニューロン数が減っていくとすると、決定すべき重み因子の数は合計で１０１個となる。これに対し、図５の例で原材料からのみ品質を予測する場合では隠し層は１層で３因子とすると決定すべき重み因子は２４個であった。そこで、本実施例では、原材料の分析で求まった隠し層部分（例えば最終特性の隠し層部分）に、製造工程の途中の工程で抽出される特徴量を加えて、重み因子を決定するフローを構築する。 For example, consider a case where the explanatory factor increases from 7 to 11. If there are two hidden layers and the number of neurons decreases in the order of 7 factors, 3 factors, and prediction results, respectively, the total number of weight factors to be determined is 101. On the other hand, in the case of predicting quality only from the raw material in the example of FIG. 5, there are 24 weighting factors to be determined when there are three hidden layers and one factor. Therefore, in this embodiment, a flow for determining the weighting factor by adding the feature amount extracted in the process in the middle of the manufacturing process to the hidden layer part (for example, the hidden layer part of the final characteristic) obtained by the analysis of the raw material is performed. To construct.
図６は、その概念図である。この例では、原材料から求まる隠し層に後工程から新たに求まった特徴量を４個加えている。このようにすれば説明因子が４個増えても、決定すべき重み因子は４８個となり、決定すべき重み因子の削減につながる。後工程の特徴量を入力すべき箇所は、ニューラルネットワーク法によって重み因子や隠し層の階層数、ニューロン数を決定する際に、入力箇所も変数として同時に最適化して決定する。 FIG. 6 is a conceptual diagram thereof. In this example, four feature quantities newly obtained from the subsequent process are added to the hidden layer obtained from the raw material. In this way, even if the number of explanatory factors increases by 4, the number of weighting factors to be determined is 48, leading to a reduction in the weighting factors to be determined. The location where the feature value of the post-process should be input is determined by simultaneously optimizing the input location as a variable when determining the weighting factor, the number of hidden layers, and the number of neurons by the neural network method.
図７は、予測モデル作成装置１００による品質予測モデル作成処理の一例を表すフローチャートである。以下、図７のフローチャートに沿って、予測モデル作成装置１００の各部の処理について説明する。まず、特徴量抽出部１０は、分析装置２００から分析データを取得する（ステップＳ１）。例えば、特徴量抽出部１０は、分析装置２００が各原材料に対して取得した粉末ＸＲＤ、ＳＥＭ画像等を初期工程の分析データとして取得する。また、特徴量抽出部１０は、分析装置２００が、仕掛品、半製品等に対して取得した粉末ＸＲＤ、ＳＥＭ画像等を後工程の分析データとして取得する。
FIG. 7 is a flowchart illustrating an example of quality prediction model creation processing by the prediction
次に、特徴量抽出部１０は、分析データから初期工程の特徴量を抽出する（ステップＳ２）。例えば、図３または図４で説明したように、公共ナレッジデータ３００、社内データベース４００などを用いて事前に機械学習することで得られたアルゴリズムを用いて、分析データから特徴量を抽出する。
Next, the feature
次に、特徴量抽出部１０は、抽出した初期工程の特徴量を演算部２０に入力する（ステップＳ３）。次に、モデル作成部２１は、ニューラルネットワーク法による品質予測モデルを作成する（ステップＳ４）。次に、最適化部２２は、ステップＳ４で作成された品質予測モデルと、入力された実測品質との相関が最適であるか否かを判定する（ステップＳ５）。例えば、相関が１または１に近い所定範囲の値になれば最適であると判定される。ステップＳ５で「Ｎｏ」と判定された場合、モデル作成部２１は、隠し層の階層数およびニューロン数の少なくともいずれか一方を変更する（ステップＳ６）。次に、変更された隠し層の数およびニューロン数を用いて、ステップＳ４から再度実行される。
Next, the feature
ステップＳ５で「Ｙｅｓ」と判定された場合、モデル作成部２１は、１つ後の後工程があるか否かを判定する（ステップＳ７）。ステップＳ７で「Ｙｅｓ」と判定された場合、特徴量抽出部１０は、１つ後の後工程の特徴量を演算部２０に入力する（ステップＳ８）。次に、モデル作成部２１は、ニューラルネットワーク法による品質予測モデル作成を行う（ステップＳ９）。次に、最適化部２２は、ステップＳ９で作成された品質予測モデルと実測品質との相関が最適であるか否かを判定する（ステップＳ１０）。ステップＳ１０で「Ｎｏ」と判定された場合、モデル作成部２１は、当該後工程の入力箇所、隠し層の階層数およびニューロン数の少なくともいずれかを変更する（ステップＳ１１）。次に、変更された入力箇所、隠し層の階層数およびニューロン数を用いて、ステップＳ９から再度実行される。
If it is determined as “Yes” in step S5, the
ステップＳ１０で「Ｙｅｓ」と判定された場合、ステップＳ７が再度実行される。ステップＳ７で「Ｎｏ」と判定された場合、モデル格納部３０は、作成された品質予測モデルを格納する（ステップＳ１２）。その後、フローチャートの実行が終了する。以上の処理により、品質予測モデルの作成が終了する。
If it is determined “Yes” in step S10, step S7 is executed again. When it is determined “No” in step S7, the
図８は、作成された品質予測モデルを用いて品質予測を行う際に実行されるフローチャートを例示する図である。以下、図８のフローチャートに沿って、予測モデル作成装置１００の各部の処理について説明する。まず、特徴量抽出部１０は、分析装置２００から分析データを取得する（ステップＳ２１）。例えば、特徴量抽出部１０は、分析装置２００が各原材料に対して取得した粉末ＸＲＤ、ＳＥＭ画像等を初期工程の分析データとして取得する。また、特徴量抽出部１０は、分析装置２００が、仕掛品、半製品等に対して取得した粉末ＸＲＤ、ＳＥＭ画像等を後工程の分析データとして取得する。
FIG. 8 is a diagram illustrating a flowchart executed when quality prediction is performed using the created quality prediction model. Hereinafter, the processing of each unit of the prediction
次に、特徴量抽出部１０は、分析データから各工程の特徴量を抽出する（ステップＳ２２）。例えば、図３または図４で説明したように、公共ナレッジデータ３００、社内データベース４００などを用いて事前に機械学習することで得られたアルゴリズムを用いて、分析データから特徴量を抽出する。次に、品質予測部２３は、ステップＳ２２で抽出された特徴量を、モデル格納部３０に格納された品質予測モデルに適用することで、品質予測を行う（ステップＳ２３）。出力装置４０は、品質予測結果を出力する（ステップＳ２４）。以上の処理により、品質予測を行うことができる。
Next, the feature
図９は、本実施例に従って作成された品質予測モデルの結果を示す図である。図９において、横軸は最終製品の実測品質を示し、縦軸は予測された品質を示す。得られた結果が直線に近いほど、品質を正確に予測できていることになる。３種類のプロットは、重み因子をランダムに与えた場合の品質予測結果（凡例にて「ランダムｗｅｉｇｈｔ」と記述）、原材料の特徴量のみから最終品質予測を行った結果（凡例にて「１工程のみ」と記述）、そして後工程で得られた特徴量を隠し層の途中から加えた本手法によって得られた結果（凡例にて「２工程利用」と記述）である。実測品質と予測品質とを直線近似した場合のＲ因子を調べたところ、「ランダムｗｅｉｇｈｔ」よりも「１工程のみ」の品質予測精度が高く、「２工程利用」の品質予測精度がさらに高くなっていることがわかる。 FIG. 9 is a diagram showing the result of the quality prediction model created according to the present embodiment. In FIG. 9, the horizontal axis indicates the actually measured quality of the final product, and the vertical axis indicates the predicted quality. The closer the obtained result is to a straight line, the more accurately the quality can be predicted. The three types of plots are the results of quality prediction when random weighting factors are given (denoted as “random weight” in the legend), and the results of final quality prediction based only on the raw material features (“1 step in the legend”) Only ”), and the result obtained by this method in which the feature value obtained in the subsequent process is added from the middle of the hidden layer (described as“ use of two steps ”in the legend). When the R factor when the measured quality and the predicted quality are linearly approximated is examined, the quality prediction accuracy of “only one process” is higher than the “random weight”, and the quality prediction accuracy of “two-step use” is further increased. You can see that
本実施例によれば、各工程の分析データから事前に機械学習したアルゴリズムにより特徴量を抽出し、当該抽出された特徴量を用いてニューラルネットワークによって品質予測モデルを作成している。この場合、機械学習しないで特徴量を抽出する場合と比較して、必要なデータ数を削減することができる。すなわち、少ないデータで高い精度の品質予測モデルを作成することができる。 According to the present embodiment, feature quantities are extracted from the analysis data of each process using an algorithm that has been machine-learned in advance, and a quality prediction model is created by a neural network using the extracted feature quantities. In this case, the number of necessary data can be reduced as compared with the case of extracting feature amounts without machine learning. That is, a highly accurate quality prediction model can be created with a small amount of data.
製造工程が複数の工程を含む場合に、ニューラルネットワークにおいて、複数の工程のうち後工程の分析データから抽出された特徴量を、初期工程から導かれる隠し層に入力することで、決定すべき重み因子数を削減することができる。それにより、少ないデータで高い精度の品質予測モデルを作成することができる。 In the case where a manufacturing process includes a plurality of processes, the weight to be determined by inputting the feature quantity extracted from the analysis data of the subsequent process out of the plurality of processes into the hidden layer derived from the initial process in the neural network. The number of factors can be reduced. As a result, a high-precision quality prediction model can be created with a small amount of data.
公共ナレッジや社内データベースは、事前に得られているデータベースであるため、これらのデータベースを参照することで、少ないデータで特徴量抽出のアルゴリズムを機械学習することができる。 Since public knowledge and in-house databases are databases obtained in advance, by referring to these databases, it is possible to machine-learn an algorithm for feature amount extraction with a small amount of data.
更なる本手法の効果として、事前処理によって物理的背景のはっきりした特徴量が抽出されており、かつ決定因子が少ないため重み因子から逆分析が容易となる。つまり、製品特性に直接的に影響度の高い特徴量を抽出することが容易となる。製品特性に影響を及ぼす物理的背景のはっきりした特徴量を見出すことにより、製品特性に及ぼす物理的背景の気付きにつながる。 As a further effect of this method, feature quantities with a clear physical background are extracted by pre-processing, and since there are few determinants, inverse analysis is easy from weight factors. That is, it becomes easy to extract a feature quantity that directly affects the product characteristics. Finding a clear feature quantity of the physical background that affects the product characteristics leads to awareness of the physical background on the product characteristics.
上記実施例において、特徴量抽出部１０が、１以上の工程を含む製造工程の各工程の分析データから、事前に機械学習したアルゴリズムにより特徴量を抽出する特徴量抽出部の一例である。モデル作成部２１が、前記特徴量抽出部が抽出した特徴量からニューラルネットワークによって品質予測モデルを作成するモデル作成部の一例である。品質予測部２３が、前記モデル作成部が前記品質予測モデルを作成した後に、前記特徴量抽出部が前記製造工程の各工程の分析データから抽出した特徴量を、前記品質予測モデルに適用することで、品質を予測する品質予測部の一例である。
In the said Example, the feature-
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the embodiments of the present invention have been described in detail above, the present invention is not limited to such specific embodiments, and various modifications and changes can be made within the scope of the gist of the present invention described in the claims. It can be changed.
１０ 特徴量抽出部
２０ 演算部
２１ モデル作成部
２２ 最適化部
２３ 品質予測部
３０ モデル格納部
４０ 出力装置
１００ 予測モデル作成装置
DESCRIPTION OF
Claims (6)
前記特徴量抽出部が抽出した特徴量からニューラルネットワークによって品質予測モデルを作成するモデル作成部と、を備えることを特徴とする予測モデル作成装置。 A feature quantity extraction unit that extracts a feature quantity from an analysis data of each process of the manufacturing process including one or more processes by an algorithm that has been machine-learned in advance;
A prediction model creation device comprising: a model creation unit that creates a quality prediction model by a neural network from the feature amount extracted by the feature amount extraction unit.
前記モデル作成部は、前記ニューラルネットワークにおいて、前記複数の工程のうち後工程の分析データから前記特徴量抽出部が抽出した特徴量を、初期工程から導かれる隠し層に入力することを特徴とする請求項１記載の予測モデル作成装置。 The manufacturing process includes a plurality of processes,
In the neural network, the model creation unit inputs the feature amount extracted by the feature amount extraction unit from the analysis data of a later step among the plurality of steps into a hidden layer derived from an initial step. The prediction model creation apparatus according to claim 1.
モデル作成部が、前記特徴量抽出部が抽出した特徴量からニューラルネットワークによって品質予測モデルを作成する、ことを特徴とする予測モデル作成方法。 The feature quantity extraction unit extracts feature quantities from an analysis data of each process of the manufacturing process including one or more processes by an algorithm learned in advance,
A prediction model creation method, wherein the model creation unit creates a quality prediction model by a neural network from the feature amount extracted by the feature amount extraction unit.
１以上の工程を含む製造工程の各工程の分析データから、事前に機械学習したアルゴリズムにより特徴量を抽出する処理と、
抽出された前記特徴量からニューラルネットワークによって品質予測モデルを作成する処理と、を実行させることを特徴とする予測モデル作成プログラム。 On the computer,
A process of extracting feature amounts from an analysis data of each process of the manufacturing process including one or more processes by an algorithm learned in advance;
A prediction model creation program for executing a process for creating a quality prediction model from the extracted feature quantity by a neural network.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018066999A JP2019179319A (en) | 2018-03-30 | 2018-03-30 | Prediction model generation device, prediction model generation method, and prediction model generation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018066999A JP2019179319A (en) | 2018-03-30 | 2018-03-30 | Prediction model generation device, prediction model generation method, and prediction model generation program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019179319A true JP2019179319A (en) | 2019-10-17 |
Family
ID=68278708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018066999A Pending JP2019179319A (en) | 2018-03-30 | 2018-03-30 | Prediction model generation device, prediction model generation method, and prediction model generation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019179319A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021086503A1 (en) * | 2019-10-31 | 2021-05-06 | Landmark Graphics Corporation | Model parameter reductions and model parameter selection to optimize execution time of reservoir management workflows |
| WO2021166634A1 (en) * | 2020-02-18 | 2021-08-26 | 昭和電工マテリアルズ株式会社 | Information processing system, information processing method, and information processing program |
| WO2022064545A1 (en) * | 2020-09-23 | 2022-03-31 | 日本電気株式会社 | Sell prediction device, sell prediction method, and recording medium |
| WO2022176945A1 (en) * | 2021-02-22 | 2022-08-25 | パナソニックＩｐマネジメント株式会社 | Preparation-process output device, preparation-process output method, and program |
| WO2023189006A1 (en) * | 2022-03-30 | 2023-10-05 | 国立大学法人大阪大学 | Material property value prediction method, trained model generation method, program, and device |
| JP7395987B2 (en) | 2019-11-22 | 2023-12-12 | 株式会社リコー | Information processing systems, methods, and programs |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04130568A (en) * | 1990-09-20 | 1992-05-01 | Fujitsu Ltd | Structure active correlation simulation device |
| JP2006024195A (en) * | 2004-06-03 | 2006-01-26 | National Cheng Kung Univ | System and method for predicting product quality during manufacturing processes |
| JP2017536584A (en) * | 2014-11-25 | 2017-12-07 | ストリーム モザイク，インコーポレイテッド | Improved process control technology for semiconductor manufacturing processes. |
-
2018
- 2018-03-30 JP JP2018066999A patent/JP2019179319A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04130568A (en) * | 1990-09-20 | 1992-05-01 | Fujitsu Ltd | Structure active correlation simulation device |
| JP2006024195A (en) * | 2004-06-03 | 2006-01-26 | National Cheng Kung Univ | System and method for predicting product quality during manufacturing processes |
| JP2017536584A (en) * | 2014-11-25 | 2017-12-07 | ストリーム モザイク，インコーポレイテッド | Improved process control technology for semiconductor manufacturing processes. |
Non-Patent Citations (2)
| Title |
|---|
| 佐藤 挙斗，ほか: ""文字レベル深層学習によるテキスト分類と転移学習"", 第１０２回 人工知能基本問題研究会資料 （ＳＩＧ−ＦＰＡＩ−Ｂ５０５）, JPN6022026253, 8 December 2016 (2016-12-08), JP, pages 13 - 19, ISSN: 0004811515 * |
| 鈴木 藍雅，ほか: ""２段階転移学習を用いた深層畳み込みニューラルネットによるびまん性肺疾患の識別と特徴表現の解析"", 情報処理学会 研究報告 数理モデル化と問題解決（ＭＰＳ） ２０１８−ＭＰＳ−１１７ ［ＯＮＬＩＮＥ］, JPN6022026254, 22 February 2018 (2018-02-22), JP, pages 1 - 6, ISSN: 0004811516 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021086503A1 (en) * | 2019-10-31 | 2021-05-06 | Landmark Graphics Corporation | Model parameter reductions and model parameter selection to optimize execution time of reservoir management workflows |
| GB2603374A (en) * | 2019-10-31 | 2022-08-03 | Landmark Graphics Corp | Model parameter reductions and model parameter selection to optimize execution time of reservoir management workflows |
| GB2603374B (en) * | 2019-10-31 | 2024-04-03 | Landmark Graphics Corp | Model parameter reductions and model parameter selection to optimize execution time of reservoir management workflows |
| JP7395987B2 (en) | 2019-11-22 | 2023-12-12 | 株式会社リコー | Information processing systems, methods, and programs |
| WO2021166634A1 (en) * | 2020-02-18 | 2021-08-26 | 昭和電工マテリアルズ株式会社 | Information processing system, information processing method, and information processing program |
| WO2022064545A1 (en) * | 2020-09-23 | 2022-03-31 | 日本電気株式会社 | Sell prediction device, sell prediction method, and recording medium |
| WO2022176945A1 (en) * | 2021-02-22 | 2022-08-25 | パナソニックＩｐマネジメント株式会社 | Preparation-process output device, preparation-process output method, and program |
| WO2023189006A1 (en) * | 2022-03-30 | 2023-10-05 | 国立大学法人大阪大学 | Material property value prediction method, trained model generation method, program, and device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2019179319A (en) | Prediction model generation device, prediction model generation method, and prediction model generation program | |
| Sajedi et al. | Vibration‐based semantic damage segmentation for large‐scale structural health monitoring | |
| Ma et al. | Discriminative deep belief networks with ant colony optimization for health status assessment of machine | |
| Saxena et al. | Evolving an artificial neural network classifier for condition monitoring of rotating mechanical systems | |
| US20210081798A1 (en) | Neural network method and apparatus | |
| KR20180014471A (en) | Method and apparatus for searching new material | |
| US11380422B2 (en) | Identification and assignment of rotational spectra using artificial neural networks | |
| CN114912578B (en) | Training method and device for structural response prediction model and computer equipment | |
| CN115438897A (en) | Industrial process product quality prediction method based on BLSTM neural network | |
| CN117668622B (en) | Training method of equipment fault diagnosis model, fault diagnosis method and device | |
| CN115269247A (en) | Flash memory bad block prediction method, system, medium and device based on deep forest | |
| US9002684B2 (en) | Apparatus and method for processing a process simulation database of a process | |
| CN113110961B (en) | Equipment abnormality detection method and device, computer equipment and readable storage medium | |
| CN116720079A (en) | Wind driven generator fault mode identification method and system based on multi-feature fusion | |
| Rajendran et al. | Data mining when each data point is a network | |
| TW202312030A (en) | Recipe construction system, recipe construction method, computer readable recording media with stored programs, and non-transitory computer program product | |
| Trinks et al. | Image mining for real time quality assurance in rapid prototyping | |
| CN113010687A (en) | Exercise label prediction method and device, storage medium and computer equipment | |
| Bergs et al. | Health indication of electric motors using a hybrid modeling approach | |
| CN113807606B (en) | Intermittent process quality online prediction method capable of explaining ensemble learning | |
| Li et al. | Structural damage quantification using long short-term memory (LSTM) auto-encoder and impulse response functions | |
| EP4300504A1 (en) | System and method for processing material properties of structural materials | |
| TWI810602B (en) | Automatic search method for key factor based on machine learning | |
| Sadr et al. | Improving the neural network method for finite element model updating using homogenous distribution of design points | |
| CN117391146A (en) | Experiment model construction method and system based on neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220131 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220628 |