JP2023056139A - 機械学習の評価方法及び機械学習による推定モデルの生成方法 - Google Patents

機械学習の評価方法及び機械学習による推定モデルの生成方法 Download PDF

Info

Publication number
JP2023056139A
JP2023056139A JP2021165284A JP2021165284A JP2023056139A JP 2023056139 A JP2023056139 A JP 2023056139A JP 2021165284 A JP2021165284 A JP 2021165284A JP 2021165284 A JP2021165284 A JP 2021165284A JP 2023056139 A JP2023056139 A JP 2023056139A
Authority
JP
Japan
Prior art keywords
machine learning
value
values
estimation
estimation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021165284A
Other languages
English (en)
Other versions
JP7251590B1 (ja
Inventor
祐 村松
Yu Muramatsu
竜介 横山
Ryusuke Yokoyama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumco Corp
Original Assignee
Sumco Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumco Corp filed Critical Sumco Corp
Priority to JP2021165284A priority Critical patent/JP7251590B1/ja
Application granted granted Critical
Publication of JP7251590B1 publication Critical patent/JP7251590B1/ja
Publication of JP2023056139A publication Critical patent/JP2023056139A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Figure 2023056139000001
【課題】機械学習による入力値に対する推定値の信頼性を精度よく評価する方法及び生成方法を提供する。
【解決手段】未学習の機械学習プログラムＰに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データＴＤとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルＭ１～Ｍｎを複数生成するステップＳ１と、生成した複数の学習済みの推定モデルＭ１～Ｍｎのそれぞれに同じ入力値ａを入力し、それぞれの推定モデルから出力値Ｘ１～Ｘｎを得るステップＳ２と、得られた複数の出力値の平均値Ｘｍと標準偏差出るＸｍとを求めるステップＳ３と、前記標準偏差δＸｍが小さい出力値ほど、入力値に対する出力値の信頼性が高いと評価するステップＳ４と、を含む。
【選択図】 図１

Description

本発明は、機械学習の評価方法、機械学習による推定値の評価方法、機械学習による推定モデルの信頼性の評価方法及び機械学習による推定モデルの生成方法に関するものである。
機械学習プログラムを用いた熱伝導率等の物理特性の推定方法として、半導体結晶製品の製造装置の構成部材を測定試料として準備するステップと、測定試料の一部を所定の加熱条件で加熱して、定常状態における前記測定試料の表面の温度分布を測定するステップと、前記測定試料と同じ形状の試料モデルの仮の熱伝導率および加熱条件の複数の組み合わせについて伝熱シミュレーションを実施して、前記複数の組み合わせのそれぞれについて前記試料モデルの表面の温度分布を計算するステップと、前記伝熱シミュレーションで用いた前記複数の組み合わせおよび当該複数の組み合わせから得られた温度分布の計算結果を訓練データとして、入力を前記測定試料の表面の温度分布とし、出力を前記測定試料の熱伝導率とする推定モデルを、機械学習法を用いて作成するステップと、前記測定試料の表面の温度分布測定結果を前記回帰モデルに入力して、前記測定試料の熱伝導率を推定するステップとを備えた熱伝導率推定方法が知られている（特許文献１参照）。
特開２０２０－８５７３７号公報
このように、機械学習プログラムは、高精度な分類や推定をするための推定装置として活用されることがあるが、その分類又は推定において、なぜその結果になったのかという理由を示すことは難しく、したがって、その結果にどの程度の信頼性があるかを示すことは困難である。
上記従来技術では、機械学習で用いる訓練データ（目標とするネットワークの関数を定めるために、「ある入力ｘに対する望ましい出力ｄ」というような、関数の入力と出力のペアの集合であり、機械学習法を利用した回帰モデル等の生成に用いられる。学習データともいう。）とは異なるテストデータを用いて推定値、あるいは推定モデルの信頼性を評価している。すなわち、答えの分かったテストデータに対して推定を行い、推定値を答えと比較するという評価方法であり、多くのテストデータに対して高い成績を収めた推定モデルは、信頼性が高いと評価する。
確かに、多くのテストデータに対して高い成績を収めた推定モデルは、出力値が未知である入力値を推定させても、出力値の推定信頼性は高い可能性はあるといえる。しかしながら、テストデータとは異なる新規な分類又は推定においては、入力値に対する出力値が、どの程度の信頼性を有するのか、精度よく評価できないという問題があった。
本発明が解決しようとする課題は、精度が良い、機械学習の評価方法、機械学習による推定値の評価方法、機械学習による推定モデルの信頼性の評価方法及び機械学習による推定モデルの生成方法を提供することである。
本発明は、未学習の機械学習プログラムに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルを複数生成するステップと、
生成した複数の学習済みの推定モデルのそれぞれに同じ入力値を入力し、それぞれの推定モデルから出力値を得るステップと、
得られた複数の出力値の平均値と標準偏差とを求めるステップと、
前記標準偏差を用いて機械学習の評価を行うステップと、を含む機械学習の評価方法によって、上記課題を解決する。
また本発明は、未学習の機械学習プログラムに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルを複数生成するステップと、
生成した複数の学習済みの推定モデルのそれぞれに同じ入力値を入力し、それぞれの推定モデルから出力値を得るステップと、
得られた複数の出力値の平均値と標準偏差とを求めるステップと、
前記標準偏差が小さい出力値ほど、入力値に対する出力値の信頼性が高いと評価するステップと、を含む機械学習による推定値評価方法によって、上記課題を解決する。
さらに本発明は、未学習の機械学習プログラムに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルを複数生成するステップと、
生成した複数の学習済みの推定モデルのそれぞれに同じ入力値を入力し、それぞれの推定モデルから出力値を得るステップと、
得られた複数の出力値の平均値と標準偏差とを求めるステップと、
前記標準偏差が小さい出力値の推定モデルほど、入力値に対する出力値の信頼性が高いと評価するステップと、を含む機械学習プログラムの信頼性評価方法によって、上記課題を解決する。
さらにまた本発明は、未学習の機械学習プログラムに対し、数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルを複数生成するステップと、
生成した複数の学習済みの推定モデルのそれぞれに同じ入力値を入力し、それぞれの推定モデルから出力値を得るステップと、
得られた複数の出力値の平均値と標準偏差とを求めるステップと、
前記標準偏差が所定値以下となる出力値の推定モデルを抽出するステップと、を含む機械学習プログラムの生成方法によって、上記課題を解決する。
上記発明において、前記推定モデルは、回帰推定モデル又は分類推定モデルであることがより好ましい。
本発明によれば、精度が良い、機械学習の評価方法、機械学習による推定値の評価方法、機械学習による推定モデルの信頼性の評価方法及び機械学習による推定モデルの生成方法を提供することができる。
本発明に係る機械学習による推定値の評価方法を示す工程図である。 図１のステップＳ１を説明するための図である。 図１のステップＳ２を説明するための図（その１）である。 図１のステップＳ２を説明するための図（その２）である。 本発明に係る機械学習による推定値の評価方法の実施例を示すグラフである。 本発明に係る機械学習による推定値の評価方法の他の実施例を示すグラフである。 本発明に係る学習済み機械学習による推定モデルの信頼性評価方法を示す工程図である。 図６のステップＳ１１を説明するための図である。 図６のステップＳ１１を説明するための図である。 図６のステップＳ１２を説明するための図である。
《機械学習による推定値の評価方法》
以下、図面を参照して本発明の実施の形態を説明する。図１は、本発明に係る機械学習による推定値の評価方法を示す工程図、図２は、図１のステップＳ１を説明するための図、図３は、図１のステップＳ２を説明するための図である。本実施形態は、学習済み機械学習プログラムの入力値に対する推定値の信頼性を評価する方法であり、訓練データとは異なる答えの分かったテストデータを用いて評価する方法に代わる新たな評価方法である。
本実施形態の機械学習による推定値評価方法は、図１に示すように、未学習の機械学習プログラムＰに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データＴＤとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルＭ１～Ｍｎを複数生成するステップＳ１と、生成した複数の学習済みの推定モデルＭ１～Ｍｎのそれぞれに同じ入力値ａを入力し、それぞれの推定モデルＭ１～Ｍｎから出力値Ｘ１～Ｘｎを得るステップＳ２と、得られた複数の出力値Ｘａ１～Ｘａｎの平均値Ｘａと標準偏差δＸａとを求めるステップＳ３と、前記標準偏差δＸａが小さいほど、入力値に対する出力値（推定値）Xａｎの信頼性が高いと評価するステップＳ４と、を含む。以下、各ステップＳ１～Ｓ４について説明する。なお、機械学習プログラムを用いて入力値から出力値を推定する場合、出力値が推定値になることから、以下においては推定された出力値は推定値を意味するものとする。
ステップＳ１では、まず一つの未学習の機械学習プログラムＰと、訓練データＴＤとを準備する。本実施形態で用いることができる機械学習プログラムは、そのモデル構造など特に限定されない。また訓練データＴＤは、入力値に対する出力値が経験的に既知である、関数の入力と出力のペアの集合であれば、データの種類や数量など特に限定されない。そして、図２に示すように、準備した一つの未学習の機械学習プログラムＰに対し、訓練データＴＤを用いて機械学習法による学習処理をｎ回実行し、ｎ個の学習済み推定モデルＭ１～Ｍｎを生成する。
訓練データＴＤを用いて機械学習プログラムを学習処理した後の学習済みモデルの性能は、学習したデータとモデルの構造によって決まる。モデルの構造は、ハイパーパラメータで示され、ニューラルネットワーク型機械学習では、ネットワークの構造と同等である。ここで、機械学習プログラムの学習処理には、ランダム性があるため、同じ訓練データと同じハイパーパラメータを使用しても、学習処理するごとに生成される学習済みの推定モデルＭ１～Ｍｎは、互いに異なるモデルになる。したがって、ステップＳ２において、異なる複数の学習済みの推定モデルＭ１～Ｍｎを生成する場合、同じ訓練データＴＤを同じハイパーパラメータで学習しても、異なる訓練データＴＤや異なるハイパーパラメータで学習処理してもよい。
ステップＳ３では、ステップＳ２で生成したｎ個の学習済み推定モデルＭ１～Ｍｎのそれぞれに、同じ入力値ａを入力し、それぞれの推定モデルＭ１～Ｍｎから出力値Ｘａ１～Ｘanを得る。すなわち、図３Ａに示すように、学習済み推定モデルＭ１に入力値ａを入力して出力値Ｘａ１を算出し、学習済み推定モデルＭ２に同じ入力値ａを入力して出力値Ｘａ２を算出し、これを学習済み推定モデルＭｎまで行う。
ステップＳ４では、入力値ａに対して得られたｎ個の出力値Ｘａ１～Ｘａｎの平均値Ｘａと標準偏差δＸａとを求める。ここで求められた平均値Ｘａを真の出力値とし、標準偏差δＸａを誤差として扱う。そして、ステップＳ５では、真の出力値と見做した平均値Ｘａに対し、誤差と見做した標準偏差δＸａが小さいほど、入力値に対する出力値Xａｎの信頼性が高いと評価する。
たとえば、入力値ａとは異なる入力値ｂについて、同じ推定モデルＭ１～Ｍｎを用いてステップＳ３の処理を行い、それぞれの推定モデルＭ１～Ｍｎから出力値Ｘｂ１～Ｘｂｎを得る。すなわち、図３Ｂに示すように、学習済み推定モデルＭ１に入力値ｂを入力して出力値Ｘｂ１を算出し、学習済み推定モデルＭ２に同じ入力値ｂを入力して出力値Ｘｂ２を算出し、これを学習済み推定モデルＭｎまで行う。そして、ステップＳ４において、入力値ｂに対して得られたｎ個の出力値Ｘｂ１～Ｘｂｎの平均値Ｘｂと標準偏差δＸｂとを求める。ここで、入力値ａに対して求められた標準偏差δＸａが、入力値ｂに対して求められた標準偏差δＸｂより小さければ、入力値ａに対する出力値（推定値）Ｘａ１～Ｘａｎの信頼性が、入力値ｂに対する出力値（推定値）Ｘｂ１～Ｘｂｎの信頼性に比べて高いと評価する。逆に、入力値ｂに対して求められた標準偏差δＸｂが、入力値ａに対して求められた標準偏差δＸａより小さければ、入力値ｂに対する出力値（推定値）Ｘｂ１～Ｘｂｎの信頼性が、入力値ａに対する出力値（推定値）Ｘａ１～Ｘａｎの信頼性に比べて高いと評価する。すなわち、本実施形態では、入力値ａ，ｂ，ｃ…に対する標準偏差δＸａ，δＸｂ，δＸｃ，…が小さいほど、その入力値に対する出力値（推定値）の信頼性が高いと評価する。
機械学習プログラムは、訓練データＴＤを用いた学習処理によって、入力値と出力値の間の関係を発見しそれを推定処理に活用する。推定した出力値が、学習済みの推定モデルＭ１～Ｍｎによって相違するのは、この学習処理した関係が相違するからである。つまり、推定した出力値が大きく違う場合、すなわちステップＳ４で求めた標準偏差δＸｍが大きい場合には、推定モデルＭ１～Ｍｎごとに相違する関係を求めていて、学習結果に迷いがあると考えられる。そのため、推定した出力値Ｘｍの標準偏差δＸｍが大きいほど、推定した出力値Ｘｅの信頼性が低いと言え、逆に推定した出力値Ｘｍの標準偏差δＸｍが小さいほど、推定した出力値Ｘｅの信頼性が高いと言える。
次に、本発明に係る機械学習による推定値の評価方法をより具体化した実施例を挙げて説明する。
《実施例１》（熱伝導率の推定）
本実施例１では、熱伝導率が不明な部材を含む実験系の温度分布を測定し、これを学習済みの機械学習プログラムに入力することで熱伝導率を推定する。本例の機械学習プログラムは、既知の熱伝導率を有する部材を実験系に含めたときの温度分布と熱伝導率を含む訓練データを用いて学習処理されている。また、訓練データとは独立なテストデータに対して所定値以上の推定精度を有することも確認されている。
ここで、推定した温度依存性を示す熱伝導率をｋ（Ｔ）とすると、推定精度Δは、熱伝導率の実測値ｋＴと機械学習プログラムの推定値ｋを複数の温度Ｔｉを用いて次式の様に比較することで求めることができる。次式は、推定された出力値が答えとどの程度相違するのかを比率で示した式である。一般的には、熱伝導率の推定は、１０％程度の誤差があると言われているため、Δ≦０．１を目標とする。
Figure 2023056139000002
本実施例１で使用する機械学習プログラムの学習済み推定モデルは、所定のテストデータに対してΔ≦０．１の精度を実現したものである。この機械学習プログラムを使用して複数の部材１～３の熱伝導率を推定し、実測値と比較してその精度を算出した。下表１が３つの部材１～３の推定結果である。
Figure 2023056139000003
上記表１に示すように、部材１及び部材２は、目標とする０．１以下の推定精度を実現できたが、部材３は実現できなかった。よって、たとえテストデータに対して精度が良かったとしても、実際には推定される出力値が大きく間違える可能性があることが確認された。
これらの部材１～３に対し、異なる学習済みモデルを５０個生成し、これら５０個の学習済み推定モデルを使用して熱伝導率ｋを推定した。本実施例１では、学習処理に使用する訓練データとハイパーパラメータは全てのモデルで同じものにした。ここでは機械学習プログラムの推定値ｋはある温度Ｔ０での熱伝導率である。そして５０個の熱伝導率ｋに対して、その平均ｋＭと標準偏差δｋとから規格化された標準偏差δｋ／ｋＭを計算した結果、次の表２のとおりになった。これら表１及び表２の結果から、規格化された標準偏差δｋ／ｋＭが小さい部材ほど熱伝導率の推定精度Δが良いという傾向が確認された。
Figure 2023056139000004
同様のことを３０個の部材１～３０に対して実施した。得られた結果から、推定精度Δと規格化した標準偏差δｋ／ｋＭの関係を抽出し、その結果を図４に示す。図４において、横軸が推定精度Δを示し、縦軸が規格化された標準偏差δｋ／ｋＭを示す。図４に示す結果からも、規格化された標準偏差δｋ／ｋＭが小さい部材ほど熱伝導率の推定精度Δが良いという傾向があることが確認された。
《実施例２》（輻射率の推定）
上述した実施例１と同様の実験を輻射率の推定に対して行った。推定する輻射率εは温度依存性を無視した。このため、推定精度Δは、実測値εＴと、機械学習プログラムにより推定した出力値εとを次式の様に比較することで求めることができる。
Figure 2023056139000005
そして、異なる学習済み推定モデルを５０個生成し、これら５０個の推定モデルを使用して輻射率εを推定し、その平均εＭと標準偏差δεとから規格化された標準偏差δε／εＭを計算した結果、図５に示すとおりになった。図５において、横軸が推定精度Δを示し、縦軸が規格化された標準偏差δε／εＭを示す。図５に示す結果からも、規格化された標準偏差δε／εＭが小さい部材ほど熱伝導率の推定精度Δが良いという傾向があることが確認された。
《機械学習による推定モデルの信頼性評価方法》
上述した実施形態は、入力値に対する出力値（推定値）の信頼性を評価する方法であるが、本発明は、機械学習による推定モデルの信頼性を評価する方法にも具現化することができる。すなわち、本実施形態の機械学習による推定モデルの信頼性評価方法は、図６に示すように、未学習の機械学習プログラムＰに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データＴＤとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデル群Ｍｎ（Ｍ１～Ｍｎ），Ｍ´ｎ（Ｍ´１～Ｍ´ｎ）…を複数生成するステップＳ１１と、生成した複数の学習済みの推定モデル群Ｍｎ，Ｍ´ｎ…のそれぞれに同じ入力値ａを入力し、それぞれの推定モデル群Ｍｎ，Ｍ´ｎ…から出力値Ｘ，Ｘ´…を得るステップＳ１２と、得られた複数の出力値Ｘ，Ｘ´…の平均値Ｘｍと標準偏差δＸ，δＸ´…とを求めるステップＳ１３と、前記標準偏差δＸ，δＸ´…が小さい出力値の推定モデル群ほど、入力値に対する出力値の信頼性が高いと評価するステップＳ１４と、を含む。以下、各ステップＳ１１～Ｓ１４について説明する。
ステップＳ１１では、まず一つの未学習の機械学習プログラムＰと、訓練データＴＤとを準備する。本実施形態で用いることができる機械学習プログラムは、そのモデル構造など特に限定されない。また訓練データＴＤは、入力値に対する出力値が経験的に既知である、関数の入力と出力のペアの集合であれば、データの種類や数量など特に限定されない。そして、図７Ａに示すように、準備した一つの未学習の機械学習プログラムＰに対し、訓練データＴＤを用いて機械学習法による学習処理をｎ回実行し、ｎ個の学習済み推定モデルＭ１～Ｍｎを生成する。また、訓練データＴＤとは異なる訓練データＴＤ´を準備し、図７Ｂに示すように、準備した一つの未学習の機械学習プログラムＰに対し、訓練データＴＤ´を用いて機械学習法による学習処理をｎ回実行し、ｎ個の学習済み推定モデルＭ´１～Ｍ´ｎを生成する。これにより複数の学習済みの推定モデル群Ｍｎ，Ｍ´ｎ…が生成される。
訓練データＴＤ，ＴＤ´，…を用いて機械学習プログラムを学習処理した後の学習済みモデルの性能は、学習したデータとモデルの構造によって決まる。モデルの構造は、ハイパーパラメータで示され、ニューラルネットワーク型機械学習では、ネットワークの構造と同等である。ここで、機械学習プログラムの学習処理には、ランダム性があるため、同じ訓練データと同じハイパーパラメータを使用しても、学習処理するごとに生成される学習済みの推定モデルＭ１～Ｍｎは、互いに異なるモデルになる。したがって、ステップＳ１２において、異なる複数の学習済みの推定モデルＭ１～Ｍｎを生成する場合、同じ訓練データＴＤ，ＴＤ´，…を同じハイパーパラメータで学習しても、異なる訓練データＴＤや異なるハイパーパラメータで学習処理してもよい。
ステップＳ１３では、ステップＳ１２で生成したｎ個の学習済み推定モデル群Ｍｎ，Ｍ´ｎ…のそれぞれに、同じ入力値ａを入力し、それぞれの推定モデル群Ｍｎ，Ｍ´ｎ…から出力値Ｘ，Ｘ´，…を得る。すなわち、図８に示すように、学習済み推定モデル群Ｍｎに入力値ａを入力して出力値Ｘを算出し、学習済み推定モデルＭ´ｎに同じ入力値ａを入力して出力値Ｘ´を算出し、これを全ての学習済み推定モデル群まで行う。
ステップＳ１４では、得られた複数個の出力値Ｘ，Ｘ´…の平均値Ｘｍと標準偏差δＸ，δＸ´，…とを求める。ここで求められた平均値Ｘｍを真の出力値とし、標準偏差δＸ，δＸ´，…を誤差として扱う。そして、ステップＳ１５では、真の出力値と見做した平均値Ｘｍに対し、誤差と見做した標準偏差δＸ，δＸ´，…が小さい出力値の推定モデル群ほど、入力値に対する出力値の信頼性が高いと評価する。
上述したとおり、機械学習プログラムは、訓練データＴＤを用いた学習処理によって、入力値と出力値の間の関係を発見しそれを推定処理に活用する。推定した出力値が、学習済みの推定モデル群によって相違するのは、この学習処理した関係が相違するからである。つまり、推定した出力値が大きく違う場合、すなわちステップＳ１４で求めた標準偏差δＸ…が大きい場合には、推定モデル群ごとに相違する関係を求めていて、学習結果に迷いがあると考えられる。そのため、推定した出力値の標準偏差δＸ…が大きい推定モデル群は、推定した出力値の信頼性が低いと言える。
なお、上述した実施形態では、入力値から、当該入力値に対応する出力値を推定する回帰の機械学習プログラムを対象にした信頼性の評価方法を例示した。しかし、本発明に係る信頼性評価方法は、入力が何に分類されるかを出力する分類の機械学習プログラムにも適用することができる。分類の機械学習プログラムでも適用できる理由は、回帰と同様に、図３Ａなどに示す一つの学習済み推定モデルのような学習済みモデルを有することと、分類が各対象に分類される確率値を推定するからである。そして、この確率の標準偏差から、分類の推定モデルの信頼性を評価することができる。すなわち、各対象に分類される確率が小さい推定モデルほど、信頼性が高いと評価することができる。ただし、回帰と違い、分類の推定モデルでは、推定した出力値の平均値からも推定モデルの信頼性を評価することができる。これは推定された出力値自体が、分類される確率だからである。
Ｐ…未学習の機械学習プログラム
Ｍ１～Ｍｎ…推定モデル
ＴＤ，ＴＤ´…訓練データ
ａ，ｂ…入力値
Ｘ…出力値
δＸ…出力値の標準偏差

Claims (8)

  1. 未学習の機械学習プログラムに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルを複数生成するステップと、
    生成した複数の学習済みの推定モデルのそれぞれに同じ入力値を入力し、それぞれの推定モデルから出力値を得るステップと、
    得られた複数の出力値の平均値と標準偏差とを求めるステップと、
    前記標準偏差を用いて機械学習の評価を行うステップと、を含む機械学習の評価方法。
  2. 前記推定モデルは、回帰推定モデル又は分類推定モデルである請求項１に記載の機械学習の評価方法。
  3. 未学習の機械学習プログラムに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルを複数生成するステップと、
    生成した複数の学習済みの推定モデルのそれぞれに同じ入力値を入力し、それぞれの推定モデルから出力値を得るステップと、
    得られた複数の出力値の平均値と標準偏差とを求めるステップと、
    前記標準偏差が小さい出力値ほど、入力値に対する出力値の信頼性が高いと評価するステップと、を含む機械学習による推定値評価方法。
  4. 前記推定モデルは、回帰推定モデル又は分類推定モデルである請求項３に記載の機械学習による推定値評価方法。
  5. 未学習の機械学習プログラムに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済みの推定モデルを複数生成するステップと、
    生成した複数の学習済みの推定モデルのそれぞれに同じ入力値を入力し、それぞれの推定モデルから出力値を得るステップと、
    得られた複数の出力値の平均値と標準偏差とを求めるステップと、
    前記標準偏差が小さい出力値の推定モデルほど、入力値に対する出力値の信頼性が高いと評価するステップと、を含む機械学習による推定モデルの信頼性評価方法。
  6. 前記推定モデルは、回帰推定モデル又は分類推定モデルである請求項５に記載の機械学習による推定モデルの信頼性評価方法。
  7. 未学習の機械学習プログラムに対し、複数の入力値と当該複数の入力値から経験的に得られた既知の出力値とを訓練データとして機械学習法による学習処理を実行し、入力値から出力値を得る学習済み推定モデルを複数生成するステップと、
    生成した複数の学習済みの推定モデルのそれぞれに同じ入力値を入力し、それぞれの推定モデルから出力値を得るステップと、
    得られた複数の出力値の平均値と標準偏差とを求めるステップと、
    前記標準偏差が所定値以下となる出力値の推定モデルを抽出するステップと、を含む機械学習による推定モデルの生成方法。
  8. 前記推定モデルは、回帰推定モデル又は分類推定モデルである請求項７に記載の機械学習による推定モデルの生成方法。
JP2021165284A 2021-10-07 2021-10-07 機械学習の評価方法及び機械学習による推定モデルの生成方法 Active JP7251590B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021165284A JP7251590B1 (ja) 2021-10-07 2021-10-07 機械学習の評価方法及び機械学習による推定モデルの生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021165284A JP7251590B1 (ja) 2021-10-07 2021-10-07 機械学習の評価方法及び機械学習による推定モデルの生成方法

Publications (2)

Publication Number Publication Date
JP7251590B1 JP7251590B1 (ja) 2023-04-04
JP2023056139A true JP2023056139A (ja) 2023-04-19

Family

ID=85779562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021165284A Active JP7251590B1 (ja) 2021-10-07 2021-10-07 機械学習の評価方法及び機械学習による推定モデルの生成方法

Country Status (1)

Country Link
JP (1) JP7251590B1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242803A (ja) * 2004-02-27 2005-09-08 Mitsubishi Heavy Ind Ltd 機械の性能推定器、性能推定方法及び性能推定プログラム
JP2016057701A (ja) * 2014-09-05 2016-04-21 オムロン株式会社 識別装置および識別装置の制御方法
JP2019152948A (ja) * 2018-03-01 2019-09-12 日本電気株式会社 画像判定システム、モデル更新方法およびモデル更新プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242803A (ja) * 2004-02-27 2005-09-08 Mitsubishi Heavy Ind Ltd 機械の性能推定器、性能推定方法及び性能推定プログラム
JP2016057701A (ja) * 2014-09-05 2016-04-21 オムロン株式会社 識別装置および識別装置の制御方法
JP2019152948A (ja) * 2018-03-01 2019-09-12 日本電気株式会社 画像判定システム、モデル更新方法およびモデル更新プログラム

Also Published As

Publication number Publication date
JP7251590B1 (ja) 2023-04-04

Similar Documents

Publication Publication Date Title
Jia et al. Quality-related fault detection approach based on dynamic kernel partial least squares
Wu et al. Inverse uncertainty quantification using the modular Bayesian approach based on Gaussian process, Part 1: Theory
Kong et al. Two-phase degradation process model with abrupt jump at change point governed by Wiener process
Sitte Comparison of software-reliability-growth predictions: neural networks vs parametric-recalibration
Sankararaman et al. Bayesian methodology for diagnosis uncertainty quantification and health monitoring
Hao et al. Nonlinear step-stress accelerated degradation modelling considering three sources of variability
JP6711323B2 (ja) プロセスの異常状態診断方法および異常状態診断装置
Ouyang et al. A new loss function for multi-response optimization with model parameter uncertainty and implementation errors
Li et al. Reliability modeling and evaluation of lifetime delayed degradation process with nondestructive testing
Ye et al. A new class of multi-stress acceleration models with interaction effects and its extension to accelerated degradation modelling
Wu et al. Fuzzy nonlinear programming approach for evaluating and ranking process yields with imprecise data
Liu et al. Misspecification analysis of two‐phase gamma‐Wiener degradation models
Liu et al. RUL prediction based on two‐phase wiener process
Li et al. A wiener-based remaining useful life prediction method with multiple degradation patterns
WO2020105468A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体
Rani et al. Neural network for software reliability analysis of dynamically weighted NHPP growth models with imperfect debugging
JP7251590B1 (ja) 機械学習の評価方法及び機械学習による推定モデルの生成方法
Hanagal et al. Analysis of delayed S-shaped software reliability growth model with time dependent fault content rate function
Eghtesadi et al. Mean‐squared‐error‐based method for parameter ranking and selection with noninvertible fisher information matrix
CN109766518A (zh) 考虑样本个体差异的不确定加速退化建模和分析方法
Liu et al. Reliability evaluation of two-phase degradation process with a fuzzy change-point
CN113361025B (zh) 一种基于机器学习的蠕变疲劳概率损伤评定方法
Maevsky et al. Software reliability. Non-probabilistic approach
Xing et al. Support vector regression for software reliability growth modeling and prediction
JP2011145905A (ja) 予測関数生成装置、方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230306

R150 Certificate of patent or registration of utility model

Ref document number: 7251590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150