JP2021174040A - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP2021174040A JP2021174040A JP2020074558A JP2020074558A JP2021174040A JP 2021174040 A JP2021174040 A JP 2021174040A JP 2020074558 A JP2020074558 A JP 2020074558A JP 2020074558 A JP2020074558 A JP 2020074558A JP 2021174040 A JP2021174040 A JP 2021174040A
- Authority
- JP
- Japan
- Prior art keywords
- model
- information processing
- learning
- parameters
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 49
- 238000003672 processing method Methods 0.000 title claims abstract description 4
- 230000006870 function Effects 0.000 claims abstract description 48
- 238000010801 machine learning Methods 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims description 21
- 230000007423 decrease Effects 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 7
- 238000009795 derivation Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 230000035945 sensitivity Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 40
- 238000004891 communication Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 12
- 238000013459 approach Methods 0.000 description 11
- 238000012423 maintenance Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012417 linear regression Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011480 coordinate descent method Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/048—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
Description
・使用する損失関数
・使用する正則化項
・チューニングする正則化パラメータ
・正則化パラメータの範囲
・複数のモデルのうち、更新前のモデルとして使用するモデル
これまでは、工場およびプラントにおける品質管理を行うシステムを例に説明した。本実施形態は、例えば、電力需要を予測するシステムにも適用できる。この場合、例えば、日ごとの電力需要を目的変数とし、降水確率および日射量などを説明変数として、電力需要が予測される。このようなシステムでは、適切にモデルを更新しなければ予測精度が劣化する。本実施形態を用いることで、モデルをデータに適応的に追従させつつ、ロバストにモデルを更新することができる。
101 通信制御部
102 受付部
103 関数構成部
104 学習部
105 出力制御部
121 記憶部
122 入力デバイス
123 ディスプレイ
200 管理システム
201 通信制御部
202 モデル構成部
221 記憶部
300 ネットワーク
Claims (16)
- 機械学習により推定されるモデルの1以上のパラメータと、第1入力データと、の入力を受け付ける受付部と、
前記第1入力データを学習データとして、前記パラメータの変化が小さいほどコストが小さくなるコスト関数を用いて前記モデルを学習する学習部と、
を備える情報処理装置。 - 前記コスト関数は、損失関数と、更新前の前記パラメータと更新後の前記パラメータとの差分を用いた正則化項と、を含む、
請求項1に記載の情報処理装置。 - 前記正則化項は、前記差分の絶対値を用いて定められる、
請求項2に記載の情報処理装置。 - 前記正則化項は、前記絶対値のL1ノルムにより定められる、
請求項3に記載の情報処理装置。 - 前記正則化項は、前記絶対値のSCAD(Smoothly Clipped Absolute Derivation)、MCP(Minimax Concave Penalty)、Lqノルム(0≦q<1)、Elastic Net、L1/2ノルム、および、L1ノルムの2乗のうち少なくとも1つにより定められる、
請求項3に記載の情報処理装置。 - 前記損失関数は、二乗損失、絶対値損失、分位損失、フーバー損失、イプシロン感度損失、ロジスティック損失、指数損失、ヒンジ損失、および、平滑化ヒンジ損失のうち少なくとも1つにより定められる、
請求項2〜5のいずれか1項に記載の情報処理装置。 - 前記受付部は、前記損失関数、前記正則化項、前記コスト関数に含まれるパラメータであってチューニングする正則化パラメータ、および、前記正則化パラメータの範囲の指定を受け付け、
前記学習部は、指定された前記損失関数と、指定された前記正則化パラメータと、指定された前記正則化項と、を含む前記コスト関数を用いて、前記正則化パラメータが指定された範囲において、前記モデルを学習する、
請求項2に記載の情報処理装置。 - 前記受付部は、前記第1入力データと異なる第2入力データにより学習された前記モデルの前記パラメータの入力を受け付ける、
請求項1〜7のいずれか1項に記載の情報処理装置。 - 前記受付部は、ドメインに関する知識に基づいて定められた前記パラメータの入力を受け付ける、
請求項1〜7のいずれか1項に記載の情報処理装置。 - 更新後の前記パラメータ、および、更新前の前記パラメータと更新後の前記パラメータとの差分、の少なくとも一方を出力する出力制御部をさらに備える、
請求項1〜9のいずれか1項に記載の情報処理装置。 - 前記出力制御部は、前記差分を表形式、および、グラフ形式の少なくとも一方により出力する、
請求項10に記載の情報処理装置。 - 前記受付部は、複数のモデルのうち使用するモデルの指定を受け付け、指定されたモデルの1以上のパラメータの入力を受け付ける、
請求項1〜11のいずれか1項に記載の情報処理装置。 - 前記受付部は、複数のモデルそれぞれについて1以上のパラメータを受け付け、
前記学習部は、前記パラメータのそれぞれとの変化が小さいほどコストが小さくなる前記コスト関数を用いる、
請求項1〜12に記載の情報処理装置。 - 機械学習により推定されるモデルの1以上のパラメータと、第1入力データと、の入力を受け付ける受付部と、
前記第1入力データを学習データとして、前記モデルに対する変化を、連続最適化によりスパースに学習する学習部と、
を備える情報処理装置。 - 機械学習により推定されるモデルの1以上のパラメータと、第1入力データと、の入力を受け付ける受付ステップと、
前記第1入力データを学習データとして、前記パラメータの変化が小さいほどコストが小さくなるコスト関数を用いて前記モデルを学習する学習ステップと、
を含む情報処理方法。 - コンピュータに、
機械学習により推定されるモデルの1以上のパラメータと、第1入力データと、の入力を受け付ける受付ステップと、
前記第1入力データを学習データとして、前記パラメータの変化が小さいほどコストが小さくなるコスト関数を用いて前記モデルを学習する学習ステップと、
を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020074558A JP7135025B2 (ja) | 2020-04-20 | 2020-04-20 | 情報処理装置、情報処理方法およびプログラム |
US17/185,577 US11754985B2 (en) | 2020-04-20 | 2021-02-25 | Information processing apparatus, information processing method and computer program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020074558A JP7135025B2 (ja) | 2020-04-20 | 2020-04-20 | 情報処理装置、情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021174040A true JP2021174040A (ja) | 2021-11-01 |
JP7135025B2 JP7135025B2 (ja) | 2022-09-12 |
Family
ID=78081816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020074558A Active JP7135025B2 (ja) | 2020-04-20 | 2020-04-20 | 情報処理装置、情報処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11754985B2 (ja) |
JP (1) | JP7135025B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000055703A (ja) * | 1998-08-04 | 2000-02-25 | Fuji Electric Co Ltd | ダムにおける流量予測方法 |
JP2015038709A (ja) * | 2013-08-19 | 2015-02-26 | 日本電信電話株式会社 | モデルパラメータ推定方法、装置、及びプログラム |
US20190279037A1 (en) * | 2016-11-08 | 2019-09-12 | Nec Corporation | Multi-task relationship learning system, method, and program |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6789062B1 (en) | 2000-02-25 | 2004-09-07 | Speechworks International, Inc. | Automatically retraining a speech recognition system |
US9536177B2 (en) * | 2013-12-01 | 2017-01-03 | University Of Florida Research Foundation, Inc. | Distributive hierarchical model for object recognition in video |
US10657457B1 (en) * | 2013-12-23 | 2020-05-19 | Groupon, Inc. | Automatic selection of high quality training data using an adaptive oracle-trained learning framework |
US10614373B1 (en) * | 2013-12-23 | 2020-04-07 | Groupon, Inc. | Processing dynamic data within an adaptive oracle-trained learning system using curated training data for incremental re-training of a predictive model |
US11030536B2 (en) | 2015-04-16 | 2021-06-08 | Siemens Aktiengesellschaft | Method and apparatus for operating an automation system and accounting for concept drift |
US10504040B2 (en) * | 2015-06-02 | 2019-12-10 | Nec Corporation | Annealed sparsity via adaptive and dynamic shrinking |
US20170132528A1 (en) * | 2015-11-06 | 2017-05-11 | Microsoft Technology Licensing, Llc | Joint model training |
JP6884517B2 (ja) | 2016-06-15 | 2021-06-09 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10387768B2 (en) * | 2016-08-09 | 2019-08-20 | Palo Alto Research Center Incorporated | Enhanced restricted boltzmann machine with prognosibility regularization for prognostics and health assessment |
JP6544594B2 (ja) | 2017-01-26 | 2019-07-17 | パナソニックIpマネジメント株式会社 | 情報処理システム、情報処理方法、プログラムおよび車両 |
WO2018173121A1 (ja) | 2017-03-21 | 2018-09-27 | 株式会社Preferred Networks | サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム |
JP7066385B2 (ja) | 2017-11-28 | 2022-05-13 | キヤノン株式会社 | 情報処理方法、情報処理装置、情報処理システム及びプログラム |
US11373115B2 (en) * | 2018-04-09 | 2022-06-28 | Here Global B.V. | Asynchronous parameter aggregation for machine learning |
US20210049298A1 (en) * | 2019-08-14 | 2021-02-18 | Google Llc | Privacy preserving machine learning model training |
-
2020
- 2020-04-20 JP JP2020074558A patent/JP7135025B2/ja active Active
-
2021
- 2021-02-25 US US17/185,577 patent/US11754985B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000055703A (ja) * | 1998-08-04 | 2000-02-25 | Fuji Electric Co Ltd | ダムにおける流量予測方法 |
JP2015038709A (ja) * | 2013-08-19 | 2015-02-26 | 日本電信電話株式会社 | モデルパラメータ推定方法、装置、及びプログラム |
US20190279037A1 (en) * | 2016-11-08 | 2019-09-12 | Nec Corporation | Multi-task relationship learning system, method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP7135025B2 (ja) | 2022-09-12 |
US20210325837A1 (en) | 2021-10-21 |
US11754985B2 (en) | 2023-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112115306B (zh) | 用于执行高维传感器数据中的异常事件的自动根本原因分析的方法和系统 | |
US7734451B2 (en) | System, method, and computer program for early event detection | |
Shang et al. | Statistical process control for multistage processes with binary outputs | |
US20210103858A1 (en) | Method and system for model auto-selection using an ensemble of machine learning models | |
Fang et al. | Scalable prognostic models for large-scale condition monitoring applications | |
CN112036426B (zh) | 利用高维传感器数据的多数表决进行无监督异常检测和责任的方法和系统 | |
Shadman et al. | A change point method for Phase II monitoring of generalized linear profiles | |
Kynčlová et al. | Modeling compositional time series with vector autoregressive models | |
US10915602B2 (en) | Automatic detection of outliers in multivariate data | |
US11501107B2 (en) | Key-value memory network for predicting time-series metrics of target entities | |
CN111898247B (zh) | 滑坡位移预测方法、设备及存储介质 | |
Kleijnen et al. | Methodology for determining the acceptability of system designs in uncertain environments | |
Tseng et al. | Joint modeling of laboratory and field data with application to warranty prediction for highly reliable products | |
Huang et al. | Evaluation of run-length distribution for CUSUM charts under gamma distributions | |
Sun et al. | Maximum optimality margin: A unified approach for contextual linear programming and inverse linear programming | |
He et al. | Stationary-Sparse Causality Network Learning. | |
Bodik et al. | Causality in extremes of time series | |
CN116583866A (zh) | 品质预测系统、模型生成装置、品质预测方法及品质预测程序 | |
May et al. | Graph-based prediction of missing KPIs through optimization and random forests for KPI systems | |
Reis et al. | Heteroscedastic latent variable modelling with applications to multivariate statistical process control | |
Park et al. | Multivariate control charts that combine the Hotelling T 2 and classification algorithms | |
JP7135025B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
Moslemi et al. | Robust surface estimation in multi-response multistage statistical optimization problems | |
Shokrolahi et al. | Logarithmic reweighting nonnegative least mean square algorithm | |
Moslemi et al. | A robust posterior preference multi-response optimization approach in multistage processes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211217 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20211217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220831 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7135025 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |