JP2020030702A - 学習装置、学習方法及び学習プログラム - Google Patents
学習装置、学習方法及び学習プログラム Download PDFInfo
- Publication number
- JP2020030702A JP2020030702A JP2018156733A JP2018156733A JP2020030702A JP 2020030702 A JP2020030702 A JP 2020030702A JP 2018156733 A JP2018156733 A JP 2018156733A JP 2018156733 A JP2018156733 A JP 2018156733A JP 2020030702 A JP2020030702 A JP 2020030702A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- average
- variance
- data
- generation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
- G06F18/21342—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis using statistical independence, i.e. minimising mutual information or maximising non-gaussianity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
Abstract
Description
まず、実施の形態に係る学習装置について、概略構成、評価処理の流れ及び具体例を説明する。図1は、実施の形態に係る学習装置の概略構成を示す模式図である。図2は、深層学習モデルを説明する図である。図3は、GANの学習を説明する図である。
GANでは、列ベクトルであるデータxの確率分布を、正規分布などの確率分布pz(z)に従う列ベクトルである乱数zを使って(1)式に示すような最適化を行う。
ある確率変数z∈Rn平均をμzとし、共分散行列をΣzzとする。そして、列ベクトルx=f(z)を、任意の非線形要素f:Rn→Rpとする。このとき、xの平均μxと、分散行列Σxxと、共分散行列Σzxとを近似計算によって求める。まず、(3)式及び(4)式を満たす2n+1個の代表点(シグマ点){z(l),l=0,・・・,2n}を考える。
まず、Σzzの平方根行列B∈Rn×nを(8)式とする。
以下に、本実施の形態明細書における手法について述べる。本実施の形態の学習方法の実現方法の一例として、生成部11の入力を、平均0、分散Iの正規分布と仮定し、分散と平均の評価基準として、二乗ノルムを使用して説明するが、実現方法はこれに限らない。
GANにおいて、モデルに印加する前の確率変数zは平均0、分散Iの正規分布から求めることが多い。このとき、シグマ点は、(13)式〜(15)式により得られる
次に、学習装置10による事前学習処理の処理手順について説明する。図5は、本実施の形態に係る事前学習処理の処理手順を示すフローチャートである。
上記のように、実施の形態に係る学習装置10は、深層学習に用いられる乱数を非線形関数に入力してデータを生成する数理モデルを有する生成部に対して、UTを用いた分散及び平均の事前学習を実行させる。具体的には、実施の形態では、事前学習において、UTを用いて、前記生成部から生成されるデータの分散及び平均を推定し、推定した分散及び平均と、事前に計算した真のデータの分散及び平均との類似度を評価する評価関数を最小化するように前記生成部11のパラメータを更新する。
図1に示した学習装置10の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、学習装置10の機能の分散及び統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。
図6は、プログラムが実行されることにより、学習装置10が実現されるコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
11 生成部
12 識別部
13 事前学習部
14,15 深層学習モデル
Claims (5)
- 深層学習に用いられる乱数を非線形関数に入力してデータを生成する数理モデルを有する生成部と、
前記生成部に対して、Unscented transformを用いた分散及び平均の事前学習を実行させる事前学習部と、
を有することを特徴とする学習装置。 - 前記事前学習部は、前記Unscented transformを用いて、前記生成部から生成されるデータの分散及び平均を推定し、推定した分散及び平均と、事前に計算した真のデータの分散及び平均との類似度を評価する評価関数を最小化するように前記生成部のパラメータを更新することを特徴とする請求項1に記載の学習装置。
- 前記事前学習部は、前記推定した分散及び平均と、前記事前に計算した真のデータの分散及び平均との二乗のノルムを最小化するように前記生成部のパラメータを更新することを特徴とする請求項2に記載の学習装置。
- 学習装置が実行する学習方法であって、
前記学習装置は、深層学習に用いられる乱数を非線形関数に入力してデータを生成する数理モデルを有する生成部を有し、
前記生成部に対して、Unscented transformを用いた分散及び平均の事前学習を実行させる事前学習工程
を含んだことを特徴とした学習方法。 - コンピュータを請求項1〜3のいずれか一つに記載の学習装置として機能させるための学習プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018156733A JP7047665B2 (ja) | 2018-08-23 | 2018-08-23 | 学習装置、学習方法及び学習プログラム |
PCT/JP2019/031874 WO2020040007A1 (ja) | 2018-08-23 | 2019-08-13 | 学習装置、学習方法及び学習プログラム |
US17/270,056 US20210326705A1 (en) | 2018-08-23 | 2019-08-13 | Learning device, learning method, and learning program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018156733A JP7047665B2 (ja) | 2018-08-23 | 2018-08-23 | 学習装置、学習方法及び学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020030702A true JP2020030702A (ja) | 2020-02-27 |
JP7047665B2 JP7047665B2 (ja) | 2022-04-05 |
Family
ID=69592627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018156733A Active JP7047665B2 (ja) | 2018-08-23 | 2018-08-23 | 学習装置、学習方法及び学習プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210326705A1 (ja) |
JP (1) | JP7047665B2 (ja) |
WO (1) | WO2020040007A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112738092A (zh) * | 2020-12-29 | 2021-04-30 | 北京天融信网络安全技术有限公司 | 一种日志数据增强方法、分类检测方法及系统 |
-
2018
- 2018-08-23 JP JP2018156733A patent/JP7047665B2/ja active Active
-
2019
- 2019-08-13 US US17/270,056 patent/US20210326705A1/en active Pending
- 2019-08-13 WO PCT/JP2019/031874 patent/WO2020040007A1/ja active Application Filing
Non-Patent Citations (1)
Title |
---|
趙雪琴,外3名: "カルマンフィルタに基づいたウェーブレットネットワークによる非線形時系列の予測", 横幹連合コンファレンス予稿集, JPN6019038687, 2005, JP, pages 651 - 654, ISSN: 0004666475 * |
Also Published As
Publication number | Publication date |
---|---|
US20210326705A1 (en) | 2021-10-21 |
JP7047665B2 (ja) | 2022-04-05 |
WO2020040007A1 (ja) | 2020-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210174264A1 (en) | Training tree-based machine-learning modeling algorithms for predicting outputs and generating explanatory data | |
US20200401939A1 (en) | Systems and methods for preparing data for use by machine learning algorithms | |
CN107358293B (zh) | 一种神经网络训练方法及装置 | |
Zheng | Gradient descent algorithms for quantile regression with smooth approximation | |
CN110138595A (zh) | 动态加权网络的时间链路预测方法、装置、设备及介质 | |
CN111695415A (zh) | 图像识别模型的构建方法、识别方法及相关设备 | |
US20240143977A1 (en) | Model training method and apparatus | |
WO2022105108A1 (zh) | 一种网络数据分类方法、装置、设备及可读存储介质 | |
JP7059458B2 (ja) | 生成的敵対神経網ベースの分類システム及び方法 | |
JP6612716B2 (ja) | パターン識別装置、パターン識別方法およびプログラム | |
WO2019229931A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
Ibragimovich et al. | Effective recognition of pollen grains based on parametric adaptation of the image identification model | |
CN114612688B (zh) | 对抗样本生成方法、模型训练方法、处理方法及电子设备 | |
AU2022392233A1 (en) | Method and system for analysing medical images to generate a medical report | |
CN114299304A (zh) | 一种图像处理方法及相关设备 | |
WO2020040007A1 (ja) | 学習装置、学習方法及び学習プログラム | |
CN114830137A (zh) | 用于生成预测模型的方法和系统 | |
CN115952493A (zh) | 一种黑盒模型的逆向攻击方法、攻击装置以及存储介质 | |
EP4242962A1 (en) | Recognition system, recognition method, program, learning method, trained model, distillation model and training data set generation method | |
JP2019075003A (ja) | 近似計算装置、近似計算方法及びプログラム | |
CN114943995A (zh) | 人脸识别模型的训练方法、人脸识别方法及装置 | |
JP7118882B2 (ja) | 変数変換装置、潜在パラメータ学習装置、潜在パラメータ生成装置、これらの方法及びプログラム | |
CN111160487A (zh) | 人脸图像数据集的扩充方法和装置 | |
JP2021144659A (ja) | 計算機、計算方法及びプログラム | |
CN115017321A (zh) | 一种知识点预测方法、装置、存储介质以及计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7047665 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |