JP2019046236A - 学習装置、情報処理装置、学習方法およびプログラム - Google Patents
学習装置、情報処理装置、学習方法およびプログラム Download PDFInfo
- Publication number
- JP2019046236A JP2019046236A JP2017169448A JP2017169448A JP2019046236A JP 2019046236 A JP2019046236 A JP 2019046236A JP 2017169448 A JP2017169448 A JP 2017169448A JP 2017169448 A JP2017169448 A JP 2017169448A JP 2019046236 A JP2019046236 A JP 2019046236A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- model
- objective function
- value
- model parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】学習装置は、算出部と、学習部と、を備える。算出部は、モデルの出力の局所分布の滑らかさを表す平滑度を含み、モデルを定める第1モデルパラメータを推定するための第1目的関数の値と、第1目的関数を利用してモデルを学習する学習方法のハイパーパラメータを第2モデルパラメータとして、学習データの距離スケールにより近い第2モデルパラメータを推定するための第2目的関数の値と、を算出する。学習部は、第1目的関数の値および第2目的関数の値を最適化するように第1モデルパラメータおよび第2モデルパラメータを更新する。
【選択図】図1
Description
図1は、第1の実施形態にかかる学習装置100を含む情報処理装置200の構成の一例を示すブロック図である。情報処理装置200は、学習装置100により学習されたモデルを用いた情報処理を実行する装置の例である。情報処理は、モデルを用いた処理であればどのような処理であってもよい。例えば情報処理は、モデルを用いた音声認識、画像認識、および、文字認識などの認識処理であってもよい。また情報処理は、装置の異常予測、および、センサの値(室温など)の予測などの予測処理であってもよい。
F(x)=a(3)(w(3)a(2)(w(2)a(2)(w(1)x+b(1))+b(2))+b(3)) ・・・(1)
φ={w(l),b(l);l=1,2,3} ・・・(2)
第1の実施形態では、平滑度は入力データ空間上での変化に対するモデルの出力の滑らかさを表す。一方、入力データ空間よりも射影空間(例えばニューラルネットワークの場合、中間層の出力)の方が空間的に良い性質を持っていることが知られている。第2の実施形態では、平滑度を射影空間上での変化に対するモデル出力の滑らかさとして算出する。
第1および第2の実施形態では、すべての学習データに対して適切なハイパーパラメータεが学習される。一方、学習データの密度が異なる場合には、データ点ごとに近傍の距離が大きく異なることが予想される。そこで、第3の実施形態では、データ点ごとに定められるハイパーパラメータεiを用いる。
101、101−2、101−3 算出部
102、102−3 学習部
121 学習データ記憶部
122 モデルパラメータ記憶部
200、200−2、200−3 情報処理装置
201 制御部
Claims (10)
- モデルの出力の局所分布の滑らかさを表す平滑度を含み、前記モデルを定める第1モデルパラメータを推定するための第1目的関数の値と、前記第1目的関数を利用して前記モデルを学習する学習方法のハイパーパラメータを第2モデルパラメータとして、学習データの距離スケールにより近い前記第2モデルパラメータを推定するための第2目的関数の値と、を算出する算出部と、
前記第1目的関数の値および前記第2目的関数の値を最適化するように前記第1モデルパラメータおよび前記第2モデルパラメータを更新する学習部と、
を備える学習装置。 - 前記距離スケールは、予め定められた射影空間上での距離スケールである、
請求項1に記載の学習装置。 - 前記モデルは、ニューラルネットワークであり、
前記距離スケールは、前記ニューラルネットワークの中間層の出力を示す射影空間上での距離スケールである、
請求項2に記載の学習装置。 - 前記距離スケールは、複数の第1学習データそれぞれと、複数の学習データのうち他の学習データより前記第1学習データに距離が近い第2学習データと、の間の距離の平均である、
請求項1に記載の学習装置。 - 前記距離スケールは、学習データごとに求められる、
請求項1に記載の学習装置。 - 前記ハイパーパラメータは、前記平滑度を算出するためのハイパーパラメータである、
請求項1に記載の学習装置。 - 前記モデルは、ニューラルネットワークである、
請求項1に記載の学習装置。 - 請求項1から請求項7のいずれか1項に記載の学習装置と、
更新された前記第1モデルパラメータにより定められる前記モデルを用いた情報処理を制御する制御部と、
を備える情報処理装置。 - モデルの出力の局所分布の滑らかさを表す平滑度を含み、前記モデルを定める第1モデルパラメータを推定するための第1目的関数の値と、前記第1目的関数を利用して前記モデルを学習する学習方法のハイパーパラメータを第2モデルパラメータとして、学習データの距離スケールにより近い前記第2モデルパラメータを推定するための第2目的関数の値と、を算出する算出ステップと、
前記第1目的関数の値および前記第2目的関数の値を最適化するように前記第1モデルパラメータおよび前記第2モデルパラメータを更新する学習ステップと、
を含む学習方法。 - コンピュータを、
モデルの出力の局所分布の滑らかさを表す平滑度を含み、前記モデルを定める第1モデルパラメータを推定するための第1目的関数の値と、前記第1目的関数を利用して前記モデルを学習する学習方法のハイパーパラメータを第2モデルパラメータとして、学習データの距離スケールにより近い前記第2モデルパラメータを推定するための第2目的関数の値と、を算出する算出部と、
前記第1目的関数の値および前記第2目的関数の値を最適化するように前記第1モデルパラメータおよび前記第2モデルパラメータを更新する学習部、
として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017169448A JP6773618B2 (ja) | 2017-09-04 | 2017-09-04 | 学習装置、情報処理装置、学習方法およびプログラム |
US15/899,599 US20190073587A1 (en) | 2017-09-04 | 2018-02-20 | Learning device, information processing device, learning method, and computer program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017169448A JP6773618B2 (ja) | 2017-09-04 | 2017-09-04 | 学習装置、情報処理装置、学習方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019046236A true JP2019046236A (ja) | 2019-03-22 |
JP6773618B2 JP6773618B2 (ja) | 2020-10-21 |
Family
ID=65517588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017169448A Active JP6773618B2 (ja) | 2017-09-04 | 2017-09-04 | 学習装置、情報処理装置、学習方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20190073587A1 (ja) |
JP (1) | JP6773618B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020181265A (ja) * | 2019-04-23 | 2020-11-05 | 日鉄ソリューションズ株式会社 | 情報処理装置、システム、情報処理方法及びプログラム |
US10970313B2 (en) | 2018-05-09 | 2021-04-06 | Kabushiki Kaisha Toshiba | Clustering device, clustering method, and computer program product |
WO2021066504A1 (ko) * | 2019-10-02 | 2021-04-08 | 한국전자통신연구원 | 심층 신경망 구조 학습 및 경량화 방법 |
WO2022113171A1 (ja) * | 2020-11-24 | 2022-06-02 | 株式会社KPMG Ignition Tokyo | Ocrアプリケーション用のインテリジェントな前処理 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7059166B2 (ja) * | 2018-11-29 | 2022-04-25 | 株式会社東芝 | 情報処理装置、情報処理方法およびプログラム |
CN112651510A (zh) * | 2019-10-12 | 2021-04-13 | 华为技术有限公司 | 模型更新方法、工作节点及模型更新系统 |
CN113159080A (zh) * | 2020-01-22 | 2021-07-23 | 株式会社东芝 | 信息处理装置、信息处理方法以及存储介质 |
CN113762327A (zh) * | 2020-06-05 | 2021-12-07 | 宏达国际电子股份有限公司 | 机器学习方法、机器学习系统以及非暂态电脑可读取媒体 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001092975A (ja) * | 1999-07-28 | 2001-04-06 | Ncr Internatl Inc | 商品認識システムおよび商品認識方法 |
JP2016523402A (ja) * | 2013-05-30 | 2016-08-08 | プレジデント アンド フェローズ オブ ハーバード カレッジ | ベイズの最適化を実施するためのシステムおよび方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8254669B2 (en) * | 2007-09-19 | 2012-08-28 | Ricoh Company, Ltd. | Data processing apparatus, computer program product, and data processing method for predicting an optimum function based on a case database and image feature values calculated by a feature-value calculating unit |
-
2017
- 2017-09-04 JP JP2017169448A patent/JP6773618B2/ja active Active
-
2018
- 2018-02-20 US US15/899,599 patent/US20190073587A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001092975A (ja) * | 1999-07-28 | 2001-04-06 | Ncr Internatl Inc | 商品認識システムおよび商品認識方法 |
JP2016523402A (ja) * | 2013-05-30 | 2016-08-08 | プレジデント アンド フェローズ オブ ハーバード カレッジ | ベイズの最適化を実施するためのシステムおよび方法 |
Non-Patent Citations (1)
Title |
---|
宮戸 岳 他: "「分布の局所平滑化による正則化の提案」", 電子情報通信学会技術研究報告, vol. 第115巻 第323号, JPN6018043023, 19 November 2015 (2015-11-19), JP, pages 257 - 264, ISSN: 0004335882 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10970313B2 (en) | 2018-05-09 | 2021-04-06 | Kabushiki Kaisha Toshiba | Clustering device, clustering method, and computer program product |
JP2020181265A (ja) * | 2019-04-23 | 2020-11-05 | 日鉄ソリューションズ株式会社 | 情報処理装置、システム、情報処理方法及びプログラム |
WO2021066504A1 (ko) * | 2019-10-02 | 2021-04-08 | 한국전자통신연구원 | 심층 신경망 구조 학습 및 경량화 방법 |
WO2022113171A1 (ja) * | 2020-11-24 | 2022-06-02 | 株式会社KPMG Ignition Tokyo | Ocrアプリケーション用のインテリジェントな前処理 |
Also Published As
Publication number | Publication date |
---|---|
JP6773618B2 (ja) | 2020-10-21 |
US20190073587A1 (en) | 2019-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6773618B2 (ja) | 学習装置、情報処理装置、学習方法およびプログラム | |
US11853723B2 (en) | Application digital content control using an embedded machine learning module | |
US20210174264A1 (en) | Training tree-based machine-learning modeling algorithms for predicting outputs and generating explanatory data | |
US11062215B2 (en) | Using different data sources for a predictive model | |
US11544743B2 (en) | Digital content control based on shared machine learning properties | |
US10346742B2 (en) | Calculation device, calculation method, and recording medium | |
US11120333B2 (en) | Optimization of model generation in deep learning neural networks using smarter gradient descent calibration | |
JP6965206B2 (ja) | クラスタリング装置、クラスタリング方法およびプログラム | |
CN113095129B (zh) | 姿态估计模型训练方法、姿态估计方法、装置和电子设备 | |
JP2020046883A (ja) | 分類装置、分類方法およびプログラム | |
JP2018045369A (ja) | 認識装置、認識システム、認識方法およびプログラム | |
WO2018150798A1 (ja) | モデル推定システム、方法およびプログラム | |
JPWO2018116921A1 (ja) | 辞書学習装置、辞書学習方法、データ認識方法およびコンピュータプログラム | |
JP6516406B2 (ja) | 処理装置、処理方法、およびプログラム | |
JP2020181240A (ja) | データ生成装置、データ生成方法およびプログラム | |
JPWO2018088277A1 (ja) | 予測モデル生成システム、方法およびプログラム | |
JP7014295B2 (ja) | 異常検出装置、異常検出方法及びプログラム | |
US20200234082A1 (en) | Learning device, learning method, and computer program product | |
JP5950284B2 (ja) | 処理装置、処理方法、およびプログラム | |
JP2019185207A (ja) | モデル学習装置、モデル学習方法、プログラム | |
JP7211430B2 (ja) | 機械学習装置、機械学習方法、及びプログラム | |
JP7235246B2 (ja) | 情報処理装置、方法、プログラム、icチップ及び学習済モデル | |
CN117271803B (zh) | 知识图谱补全模型的训练方法、装置、设备及存储介质 | |
JP2020119108A (ja) | データ処理装置、データ処理方法、データ処理プログラム | |
JP6877666B1 (ja) | 分類装置、分類方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190816 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200901 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201001 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6773618 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |