JP2020091813A - ニューラルネットワークの学習方法、コンピュータプログラム及びコンピュータ装置 - Google Patents
ニューラルネットワークの学習方法、コンピュータプログラム及びコンピュータ装置 Download PDFInfo
- Publication number
- JP2020091813A JP2020091813A JP2018230323A JP2018230323A JP2020091813A JP 2020091813 A JP2020091813 A JP 2020091813A JP 2018230323 A JP2018230323 A JP 2018230323A JP 2018230323 A JP2018230323 A JP 2018230323A JP 2020091813 A JP2020091813 A JP 2020091813A
- Authority
- JP
- Japan
- Prior art keywords
- output
- layer
- learning
- intermediate layer
- predetermined level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
ここで、xi (0)∈ RNkはi番目のデータ(特徴ベクトル)で、di ∈ RNcはそのラベル(教師信号)である。また、Nfはデータの次元、Ndは学習データの数、Ncはクラスの数である。
(Step 1)
k=0; Ωk= Ω; Ξ = {}; Φ = {}とする。
ここで、Ξは中間層の集合, Φは出力層の集合、 {}は空集合、Ωkはk番目の中間層の出力x(k)で構成されるデータベースである。
(Step 2)
Ω0に基づいて、φ0を生成(学習)し、Φに追加する。
(Step 3)
φkの性能を評価する。評価方法については次の段落で説明する。
φkの性能が所定レベルを超えている場合は学習が成功で終了し、ΞとΦを出力する。
(Step 4)
k=k+1とする。すなわち、中間層を一層ずつ増やしていく。
(Step 5)
k>Kならば、学習が終了する(この場合、学習は失敗する)。k>Kでなければ、次の(Step
6)に進む。
(Step 6)
Ωk-1に基づいてξkとφkとを生成し、Ξ = Ξ + {ξk}; Φ = Φ + {φk}とする。ξkとφkを同時に生成するためには、既知の3層MLPの学習方法を使用する(例えば、良く知られている誤差逆伝播法など)。
(Step 7)
Ωk =ξk(Ωk-1)を求め、(Step 3)に戻る。
(Step 1)
k=0; A = {1,2, … , Nc}; Ωk = Ω; Ξ = {}; Φ = {}とする。
ここで、Aは正確に認識されていないクラスのインデックスの集合である。
(Step 2)
Ω0をベースに、φ0を生成し、Φ = Φ + {φ0}とする。
(Step 3)
φkの性能を評価する。
Bk = {};
Aからi を取り出し、クラスiの認識精度が十分高ければ、Bk = Bk + {i};
A = {}になった場合、学習を終了し、ΞとΦを出力する。
ここで、Bkは、φkで正確に認識できるクラスのインデックスである。図2におけるMkは、Bkのサイズ(元の数)である。
(Step 4)
k=k+1とする。
(Step 5)
k>K ならば、学習が終了する。(この場合、学習は失敗する)。k>Kでなければ、次の(Step 6)に進む。
(Step 6)
Ωk-1に基づいてξkとφkを生成し、Ξ = Ξ + {ξk}; Φ = Φ + {φk}とする。
(Step 7)
Ωk =ξk(Ωk-1)を求め、(Step 3)に戻る。
(Step 1)
k=0; A = {1,2, … , Nc}; Ωk = Ω; Ξ = {}; Φ = {}とする。
(Step 2)
Ω0に基づいて、φ0を生成し、Φ = Φ + {φ0}とする。
(Step 3)
φkの性能を評価する。
Bk = {};
Aからiを取り出し、クラスiの認識精度が十分高ければ、Bk = Bk + {i};
A = {}になった場合、学習を終了し、ΞとΦを出力する。
ここで、Bkは、φkで正確に認識できるクラスのインデックスである。図2におけるMkは、Bkのサイズ(元の数)である。
(Step 4)
k=k+1とする。
(Step 5)
k>K ならば、学習が終了する。(この場合、学習は失敗する)。k>Kでなければ、次の(Step 6)に進む。
(Step 6)
Ωk-1に基づいてξkとφkを生成し、Ξ = Ξ + {ξk}; Φ = Φ + {φk}とする。
(Step 7)
Ωkを求め、(Step 3)に戻る。
ここで、Ωkは、以下のように求める。
Ω0 = Ω = {<xi (0),di>, i = 1,2, … ,Nd}
k>0に対して、xi (k)= xi (k-1) + ξk(xi (k-1)); Ωk = {<xi (k),di>,i = 1,2, … ,Nd}
ただし、演算子+は、二つのベクトルの連結(concatenation)を表す。
例えば、x = (x1 x2)T,y = (y1 y2)Tとして、x + y = (x1 x2 y1 y2)となる。以上の方法で各層の学習データを求めると、k番目のデータの次元はnk = Σj=0 k Njとなる。
・第一の学習方法を利用する場合、クラウドサーバに中間層を実装し、携帯端末に最後の出力層を実装すればよい。
・第二の学習方法を利用する場合、クラウドサーバに中間層を実装し、携帯端末に各階層の出力層が実装される。第二の学習方法では、すべての階層の出力層を実装する必要があるが、出力総数はNcであり、端末装置(携帯端末)での計算量は著しく増えない。
・第三の学習方法を利用する場合は、同様に、クラウドサーバに中間層を実装し、携帯デバイスに各階層の出力層が実装される。出力層をニューラルネットワークで実装するより、決定木(DT: Decision Tree)で実装することもできる。これによって使用する特徴の数を減らし、コストを抑えることができる。ここでコストとは、2つの意味を持つ。一つは、クラウドサーバからもらうデータの量(通信量或は通信料)で、もうひとつは決断するための計算量である。
Claims (11)
- k(k=0,1,…,K)階層の中間層(k=0である0番目の中間層に対応する写像は単位写像)を有するニューラルネットワークの学習方法をコンピュータ装置に実行させるコンピュータプログラムにおいて、前記コンピュータ装置に、
あらかじめ用意したデータ信号と教師信号の組からなる学習データの集合における前記データ信号を前記0番目の中間層の出力として求める第一のステップと、
k>0において、k番目の中間層の写像及びk番目の出力層の写像を、k-1番目の中間層の出力に基づいて生成して学習を行う第二のステップと、
前記k番目の中間層の出力を生成し、当該k番目の出力層の出力を評価する第三のステップと、
前記k番目の出力層の出力の評価が所定レベル以上である場合、学習を終了する第四のステップと、
前記k番目の出力層の出力の評価が所定レベル未満である場合、k=k+1とし、k>Kであれば学習を終了し、k>Kでなければ前記第二のステップ乃至前記第四のステップを繰り返す第五のステップとを実行させることを特徴とするコンピュータプログラム。 - 前記第一のステップにおいて、前記0番目の中間層の出力に基づいて、0番目の出力層の写像を生成し、当該0番目の出力層の出力を評価し、前記0番目の出力層の出力の評価が所定レベル以上である場合、学習を終了し、前記0番目の出力層の出力の評価が所定レベル未満である場合、前記第二のステップに進むことを特徴とする請求項1に記載のコンピュータプログラム。
- k(k=0,1,…,K)階層の中間層(k=0である0番目の中間層に対応する写像は単位写像)を有するニューラルネットワークの学習方法をコンピュータ装置に実行させるコンピュータプログラムにおいて、前記コンピュータ装置に、
あらかじめ用意したデータ信号と教師信号の組からなる学習データの集合における前記データ信号を前記0番目の中間層の出力として求める第一のステップと、
k>0において、k番目の中間層の写像及びk番目の出力層の写像を、k-1番目の中間層の出力に基づいて生成して学習を行う第二のステップと、
前記k番目の中間層の出力を生成し、当該k番目の出力層の出力をクラスごとに評価する第三のステップと、
前記k番目の出力層の出力の評価がすべてのクラスについて所定レベル以上である場合、学習を終了する第四のステップと、
前記k番目の出力層の出力の評価が少なくとも一つのクラスについて所定レベル未満である場合、評価が当該所定レベル未満のクラスの出力のみを残し、k=k+1とし、k>Kであれば学習を終了し、k>Kでなければ前記第二のステップ乃至前記第四のステップを繰り返す第五のステップとを実行させることを特徴とするコンピュータプログラム。 - 前記第一のステップにおいて、前記0番目の中間層の出力に基づいて、0番目の出力層の写像を生成し、当該0番目の出力層の出力を評価し、前記0番目の出力層の出力の評価がすべてのクラスについて所定レベル以上である場合、学習を終了し、前記0番目の出力層の出力の評価が少なくとも一つのクラスについて所定レベル未満である場合、前記第二のステップに進むことを特徴とする請求項3に記載のコンピュータプログラム。
- k(k=0,1,…,K)階層の中間層(k=0である0番目の中間層に対応する写像は単位写像)を有するニューラルネットワークの学習方法をコンピュータ装置に実行させるコンピュータプログラムにおいて、前記コンピュータ装置に、
あらかじめ用意したデータ信号と教師信号の組からなる学習データの集合における前記データ信号を前記0番目の中間層の出力として求める第一のステップと、
k>0において、k番目の中間層の写像及びk番目の出力層の写像を、k-1番目の中間層の出力に基づいて生成し、k番目の出力層の写像を0乃至k-1番目の中間層の出力に基づいて生成して学習を行う第二のステップと、
前記k番目の中間層の出力を生成し、当該k番目の出力層の出力をクラスごとに評価する第三のステップと、
前記k番目の出力層の出力の評価がすべてのクラスについて所定レベル以上である場合、学習を終了する第四のステップと、
前記k番目の出力層の出力の評価が少なくとも一つのクラスについて所定レベル未満である場合、評価が当該所定レベル未満のクラスの出力のみを残し、k=k+1とし、k>Kであれば学習を終了し、k>Kでなければ前記第二のステップ乃至前記第四のステップを繰り返す第五のステップとを実行させることを特徴とするコンピュータプログラム。 - 前記第一のステップにおいて、前記0番目の中間層の出力に基づいて、0番目の出力層の写像を生成し、当該0番目の出力層の出力を評価し、前記0番目の出力層の出力の評価がすべてのクラスについて所定レベル以上である場合、学習を終了し、前記0番目の出力層の出力の評価が少なくとも一つのクラスについて所定レベル未満である場合、前記第二のステップに進むことを特徴とする請求項5に記載のコンピュータプログラム。
- k(k=0,1,…,K)階層の中間層(k=0である0番目の中間層に対応する写像は単位写像)を有するニューラルネットワークの学習方法において、
あらかじめ用意したデータ信号と教師信号の組からなる学習データの集合における前記データ信号を前記0番目の中間層の出力として求める第一のステップと、
k>0において、k番目の中間層の写像及びk番目の出力層の写像を、k-1番目の中間層の出力に基づいて生成して学習を行う第二のステップと、
前記k番目の中間層の出力を生成し、当該k番目の出力層の出力を評価する第三のステップと、
前記k番目の出力層の出力の評価が所定レベル以上である場合、学習を終了する第四のステップと、
前記k番目の出力層の出力の評価が所定レベル未満である場合、k=k+1とし、k>Kであれば学習を終了し、k>Kでなければ前記第二のステップ乃至前記第四のステップを繰り返す第五のステップとを備えることを特徴とする学習方法。 - k(k=0,1,…,K)階層の中間層(k=0である0番目の中間層に対応する写像は単位写像)を有するニューラルネットワークの学習方法において、
あらかじめ用意したデータ信号と教師信号の組からなる学習データの集合における前記データ信号を前記0番目の中間層の出力として求める第一のステップと、
k>0において、k番目の中間層の写像及びk番目の出力層の写像を、k-1番目の中間層の出力に基づいて生成して学習を行う第二のステップと、
前記k番目の中間層の出力を生成し、当該k番目の出力層の出力をクラスごとに評価する第三のステップと、
前記k番目の出力層の出力の評価がすべてのクラスについて所定レベル以上である場合、学習を終了する第四のステップと、
前記k番目の出力層の出力の評価が少なくとも一つのクラスについて所定レベル未満である場合、評価が当該所定レベル未満のクラスの出力のみを残し、k=k+1とし、k>Kであれば学習を終了し、k>Kでなければ前記第二のステップ乃至前記第四のステップを繰り返す第五のステップとを備えることを特徴とする学習方法。 - k(k=0,1,…,K)階層の中間層(k=0である0番目の中間層に対応する写像は単位写像)を有するニューラルネットワークの学習方法において、
あらかじめ用意したデータ信号と教師信号の組からなる学習データの集合における前記
データ信号を前記0番目の中間層の出力として求める第一のステップと、
k>0において、k番目の中間層の写像及びk番目の出力層の写像を、k-1番目の中間層の出力に基づいて生成し、k番目の出力層の写像を0乃至k-1番目の中間層の出力に基づいて生成して学習を行う第二のステップと、
前記k番目の中間層の出力を生成し、当該k番目の出力層の出力をクラスごとに評価する第三のステップと、
前記k番目の出力層の出力の評価がすべてのクラスについて所定レベル以上である場合、学習を終了する第四のステップと、
前記k番目の出力層の出力の評価が少なくとも一つのクラスについて所定レベル未満である場合、評価が当該所定レベル未満のクラスの出力のみを残し、k=k+1とし、k>Kであれば学習を終了し、k>Kでなければ前記第二のステップ乃至前記第四のステップを繰り返す第五のステップとを備えることを特徴とする学習方法。 - 請求項1乃至6のいずれか記載のコンピュータプログラムを実行する前記コンピュータ装置。
- 前記コンピュータ装置は、ネットワーク上のサーバ装置と、前記サーバ装置と通信回線を通じて接続する端末装置とを備え、前記k階層の中間層は前記サーバ装置に実装され、前記出力層は前記端末装置に実装されることを特徴とする請求項10に記載のコンピュータ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018230323A JP7230324B2 (ja) | 2018-12-07 | 2018-12-07 | ニューラルネットワークの学習方法、コンピュータプログラム及びコンピュータ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018230323A JP7230324B2 (ja) | 2018-12-07 | 2018-12-07 | ニューラルネットワークの学習方法、コンピュータプログラム及びコンピュータ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020091813A true JP2020091813A (ja) | 2020-06-11 |
JP7230324B2 JP7230324B2 (ja) | 2023-03-01 |
Family
ID=71012953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018230323A Active JP7230324B2 (ja) | 2018-12-07 | 2018-12-07 | ニューラルネットワークの学習方法、コンピュータプログラム及びコンピュータ装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7230324B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022185529A1 (ja) * | 2021-03-05 | 2022-09-09 | 日本電気株式会社 | 学習装置、学習方法、推論装置、推論方法、及び、記録媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015095215A (ja) * | 2013-11-14 | 2015-05-18 | 株式会社デンソーアイティーラボラトリ | 学習装置、学習プログラム、及び学習方法 |
WO2016157499A1 (ja) * | 2015-04-02 | 2016-10-06 | 株式会社日立製作所 | 画像処理装置、物体検知装置、画像処理方法 |
JP2017037392A (ja) * | 2015-08-07 | 2017-02-16 | トヨタ自動車株式会社 | ニューラルネットワーク学習装置 |
JP2018128942A (ja) * | 2017-02-10 | 2018-08-16 | ヤフー株式会社 | 解析装置、解析方法、およびプログラム |
-
2018
- 2018-12-07 JP JP2018230323A patent/JP7230324B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015095215A (ja) * | 2013-11-14 | 2015-05-18 | 株式会社デンソーアイティーラボラトリ | 学習装置、学習プログラム、及び学習方法 |
WO2016157499A1 (ja) * | 2015-04-02 | 2016-10-06 | 株式会社日立製作所 | 画像処理装置、物体検知装置、画像処理方法 |
JP2017037392A (ja) * | 2015-08-07 | 2017-02-16 | トヨタ自動車株式会社 | ニューラルネットワーク学習装置 |
JP2018128942A (ja) * | 2017-02-10 | 2018-08-16 | ヤフー株式会社 | 解析装置、解析方法、およびプログラム |
Non-Patent Citations (1)
Title |
---|
佐々木駿也ほか: "動的多層化ニューラルネットワーク", 電子情報通信学会論文誌D 早期公開論文, vol. 2018JDP7045, JPN6022033790, 9 November 2018 (2018-11-09), JP, ISSN: 0004853431 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022185529A1 (ja) * | 2021-03-05 | 2022-09-09 | 日本電気株式会社 | 学習装置、学習方法、推論装置、推論方法、及び、記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP7230324B2 (ja) | 2023-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110298663B (zh) | 基于序列宽深学习的欺诈交易检测方法 | |
CN109978142B (zh) | 神经网络模型的压缩方法和装置 | |
CN108062572A (zh) | 一种基于DdAE深度学习模型的水电机组故障诊断方法与系统 | |
CN111695415A (zh) | 图像识别模型的构建方法、识别方法及相关设备 | |
CN109978060B (zh) | 一种自然语言要素抽取模型的训练方法及装置 | |
CN114120041B (zh) | 一种基于双对抗变分自编码器的小样本分类方法 | |
Singh et al. | Steganalysis of digital images using deep fractal network | |
JP6107531B2 (ja) | 特徴抽出プログラム及び情報処理装置 | |
CN114462520A (zh) | 一种基于流量分类的网络入侵检测方法 | |
CN115577858B (zh) | 基于区块链的碳排放量预测方法、装置及电子设备 | |
CN110726898A (zh) | 一种配电网故障类型识别方法 | |
CN111357051A (zh) | 语音情感识别方法、智能装置和计算机可读存储介质 | |
CN111222583B (zh) | 一种基于对抗训练与关键路径提取的图像隐写分析方法 | |
CN115238749A (zh) | 一种基于Transformer的特征融合的调制识别方法 | |
CN108496174B (zh) | 用于面部识别的方法和系统 | |
CN116827685B (zh) | 基于深度强化学习的微服务系统动态防御策略方法 | |
JP7230324B2 (ja) | ニューラルネットワークの学習方法、コンピュータプログラム及びコンピュータ装置 | |
Huang et al. | Flow of renyi information in deep neural networks | |
CN114972695A (zh) | 一种点云生成方法、装置、电子设备及存储介质 | |
CN115062769A (zh) | 基于知识蒸馏的模型训练方法、装置、设备及存储介质 | |
CN114677556A (zh) | 神经网络模型的对抗样本生成方法及相关设备 | |
RU2718409C1 (ru) | Система восстановления трехмерной структуры образца породы | |
KR102083635B1 (ko) | 심층 신경망 시스템 | |
CN112131995A (zh) | 一种动作分类方法、装置、计算设备、以及存储介质 | |
KR101210380B1 (ko) | 유한 상태 자동기계를 동정화하기에 알맞은 새로운 회귀 신경망 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211026 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7230324 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |