JP2021135683A - 学習装置、推論装置、学習方法及び推論方法 - Google Patents
学習装置、推論装置、学習方法及び推論方法 Download PDFInfo
- Publication number
- JP2021135683A JP2021135683A JP2020030794A JP2020030794A JP2021135683A JP 2021135683 A JP2021135683 A JP 2021135683A JP 2020030794 A JP2020030794 A JP 2020030794A JP 2020030794 A JP2020030794 A JP 2020030794A JP 2021135683 A JP2021135683 A JP 2021135683A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- transformation matrix
- estimated distribution
- data
- inference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000013016 learning Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims description 28
- 239000011159 matrix material Substances 0.000 claims abstract description 83
- 238000009826 distribution Methods 0.000 claims abstract description 73
- 230000009466 transformation Effects 0.000 claims abstract description 70
- 238000013528 artificial neural network Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims description 25
- 238000000611 regression analysis Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 229940050561 matrix product Drugs 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Neurology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は実施形態の学習装置10の機能構成の例を示す図である。実施形態の学習装置10は、学習データ記憶部11、生成部12、変換行列記憶部13、学習部14及び出力部15を備える。
図2は実施形態のニューラルネットワークの例を示す図である。実施形態のニューラルネットワークは、入力層101、中間層102、第1出力層103、乗算部104及び第2出力層105を備える。W1は、入力層101と中間層102との間のニューラルネットワークの重みを示す。W2は、中間層102と第1出力層103との間のニューラルネットワークの重みを示す。
図4は実施形態の推論装置20の機能構成の例を示す図である。実施形態の推論装置20は、受付部21、推論部22、モデル記憶部23及び出力部24を備える。
次に実施形態の変形例について説明する。変形例の説明では、実施形態と同様の説明については省略し、実施形態と異なる箇所について説明する。上述の実施形態では、ニューラルネットワークが回帰分析に用いられる場合を例にして説明したが、変形例では、ニューラルネットワークがクラス分類に用いられる場合について説明する。
図8は実施形態の学習装置10及び推論装置20のハードウェア構成の例を示す図である。
11 学習データ記憶部
12 生成部
13 変換行列記憶部
14 学習部
15 出力部
20 推論装置
21 受付部
22 推論部
23 モデル記憶部
24 出力部
141 第1推定分布算出部
142 第2推定分布算出部
143 更新部
301 制御装置
302 主記憶装置
303 補助記憶装置
304 表示装置
305 入力装置
306 通信装置
310 バス
Claims (10)
- 特徴量と目的値とが関連付けられた学習データから変換行列を生成する生成部と、
前記変換行列の行数と等しい数のノードを有し、前記ノードの値によって第1推定分布を示す第1出力層、及び、前記変換行列と前記第1推定分布との積により定まる第2推定分布を示す第2出力層を有するニューラルネットワークのパラメータを学習する学習部と、
を備える学習装置。 - 前記生成部は、前記学習データから選択データを選択し、前記選択データに基づく行ベクトルを含む行列によって、前記変換行列を生成する、
請求項1に記載の学習装置。 - 前記第1推定分布は、前記行ベクトルの重みを示し、
前記学習部は、前記行ベクトルの重みがより適切な値に決定されるように、前記ニューラルネットワークのパラメータを学習する、
請求項2に記載の学習装置。 - 前記ニューラルネットワークは、回帰分析に用いられ、
前記生成部は、前記学習データからn個の選択データを選択し、前記選択データに関連付けられた目的値を示す行ベクトルをn個含む行列によって、前記変換行列を生成する、
請求項2又は3に記載の学習装置。 - 前記学習部は、前記行ベクトルが示す目的値に関連付けられた特徴量が、前記ニューラルネットワークに入力されたときには、前記目的値を示す行ベクトルが主に用いられるように前記パラメータを学習する、
請求項4に記載の学習装置。 - 前記ニューラルネットワークは、クラス分類に用いられ、
前記生成部は、前記学習データからn個の選択データを選択し、前記選択データのクラスを示すn×1行列によって、前記変換行列を生成する、
請求項2又は3に記載の学習装置。 - 前記学習部は、前記n×1行列が示すクラスに関連付けられた特徴量が、前記ニューラルネットワークに入力されたときには、前記クラスを示すn×1行列の成分が主に用いられるように前記パラメータを学習する、
請求項6に記載の学習装置。 - 入力データを受け付ける受付部と、
学習データから生成された変換行列の行数と等しい数のノードを有し、前記ノードの値によって第1推定分布を示す第1出力層、及び、前記変換行列と前記第1推定分布との積により定まる第2推定分布を示す第2出力層を有するニューラルネットワークに、前記入力データを入力することによって推論処理を実行する推論部と、
前記第2出力層の出力を推論結果として出力する出力部と、
を備える推論装置。 - 学習装置が、特徴量と目的値とが関連付けられた学習データから変換行列を生成するステップと、
前記学習装置が、前記変換行列の行数と等しい数のノードを有し、前記ノードの値によって第1推定分布を示す第1出力層、及び、前記変換行列と前記第1推定分布との積により定まる第2推定分布を示す第2出力層を有するニューラルネットワークのパラメータを学習するステップと、
を含む学習方法。 - 推論装置が、入力データを受け付けるステップと、
前記推論装置が、学習データから生成された変換行列の行数と等しい数のノードを有し、前記ノードの値によって第1推定分布を示す第1出力層、及び、前記変換行列と前記第1推定分布との積により定まる第2推定分布を示す第2出力層を有するニューラルネットワークに、前記入力データを入力することによって推論処理を実行するステップと、
前記推論装置が、前記第2出力層の出力を推論結果として出力するステップと、
含む推論方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020030794A JP7242595B2 (ja) | 2020-02-26 | 2020-02-26 | 学習装置、推論装置、学習方法及び推論方法 |
US16/999,191 US11868885B2 (en) | 2020-02-26 | 2020-08-21 | Learning device, inference device, learning method, and inference method using a transformation matrix generated from learning data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020030794A JP7242595B2 (ja) | 2020-02-26 | 2020-02-26 | 学習装置、推論装置、学習方法及び推論方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021135683A true JP2021135683A (ja) | 2021-09-13 |
JP7242595B2 JP7242595B2 (ja) | 2023-03-20 |
Family
ID=77366244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020030794A Active JP7242595B2 (ja) | 2020-02-26 | 2020-02-26 | 学習装置、推論装置、学習方法及び推論方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11868885B2 (ja) |
JP (1) | JP7242595B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11740613B2 (en) | 2020-05-12 | 2023-08-29 | Kabushiki Kaisha Toshiba | Monitoring apparatus, monitoring method, computer program product, and model training apparatus |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012074007A (ja) * | 2010-08-31 | 2012-04-12 | Fuji Electric Co Ltd | プラントの運転条件最適化システム、プラントの運転条件最適化方法、プラントの運転条件最適化プログラム |
JP2019079352A (ja) * | 2017-10-25 | 2019-05-23 | 新日鐵住金株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2020021343A (ja) * | 2018-08-02 | 2020-02-06 | 日本電信電話株式会社 | 解析装置、解析方法及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021087334A1 (en) * | 2019-11-01 | 2021-05-06 | Vannevar Labs, Inc. | Neural network-based optical character recognition |
US11475313B2 (en) * | 2020-02-13 | 2022-10-18 | International Business Machines Corporation | Unsupervised, semi-supervised, and supervised learning using deep learning based probabilistic generative models |
-
2020
- 2020-02-26 JP JP2020030794A patent/JP7242595B2/ja active Active
- 2020-08-21 US US16/999,191 patent/US11868885B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012074007A (ja) * | 2010-08-31 | 2012-04-12 | Fuji Electric Co Ltd | プラントの運転条件最適化システム、プラントの運転条件最適化方法、プラントの運転条件最適化プログラム |
JP2019079352A (ja) * | 2017-10-25 | 2019-05-23 | 新日鐵住金株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2020021343A (ja) * | 2018-08-02 | 2020-02-06 | 日本電信電話株式会社 | 解析装置、解析方法及びプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11740613B2 (en) | 2020-05-12 | 2023-08-29 | Kabushiki Kaisha Toshiba | Monitoring apparatus, monitoring method, computer program product, and model training apparatus |
Also Published As
Publication number | Publication date |
---|---|
US11868885B2 (en) | 2024-01-09 |
JP7242595B2 (ja) | 2023-03-20 |
US20210264259A1 (en) | 2021-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | A weighted LS-SVM based learning system for time series forecasting | |
JP5943358B2 (ja) | 学習装置、処理装置、予測システム、学習方法、処理方法、およびプログラム | |
US20220067588A1 (en) | Transforming a trained artificial intelligence model into a trustworthy artificial intelligence model | |
US11704570B2 (en) | Learning device, learning system, and learning method | |
US11715003B2 (en) | Optimization system, optimization apparatus, and optimization system control method for solving optimization problems by a stochastic search | |
US11380301B2 (en) | Learning apparatus, speech recognition rank estimating apparatus, methods thereof, and program | |
CN111077768B (zh) | 优化装置及优化装置的控制方法 | |
US20210158212A1 (en) | Learning method and learning apparatus | |
JP6612716B2 (ja) | パターン識別装置、パターン識別方法およびプログラム | |
CN103782290A (zh) | 建议值的生成 | |
Ke et al. | Sparse attentive backtracking: Long-range credit assignment in recurrent networks | |
CN114118570A (zh) | 业务数据预测方法及装置、电子设备和存储介质 | |
JP2021135683A (ja) | 学習装置、推論装置、学習方法及び推論方法 | |
JPWO2020049666A1 (ja) | 時系列データ処理装置 | |
Mills et al. | L2nas: Learning to optimize neural architectures via continuous-action reinforcement learning | |
JP7215966B2 (ja) | ハイパーパラメータ管理装置、ハイパーパラメータ管理方法及びハイパーパラメータ管理プログラム製品 | |
WO2021140884A1 (ja) | モデルを再利用する方法及びコンピュータシステム | |
US9183503B2 (en) | Sparse higher-order Markov random field | |
JP2019095894A (ja) | 推定装置、学習装置、学習済みモデル、推定方法、学習方法、及びプログラム | |
JP7462206B2 (ja) | 学習装置、学習方法、及び学習プログラム | |
JP7280921B2 (ja) | 計算機システム、推論方法、及びプログラム | |
JP7470019B2 (ja) | 情報処理システム | |
WO2022270163A1 (ja) | 計算機システム及び介入効果予測方法 | |
US20230195842A1 (en) | Automated feature engineering for predictive modeling using deep reinforcement learning | |
JPH07191967A (ja) | 関数近似装置及び電力需要予測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230308 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7242595 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |