JP2021189532A - パターン認識装置、学習方法及び学習プログラム - Google Patents
パターン認識装置、学習方法及び学習プログラム Download PDFInfo
- Publication number
- JP2021189532A JP2021189532A JP2020091429A JP2020091429A JP2021189532A JP 2021189532 A JP2021189532 A JP 2021189532A JP 2020091429 A JP2020091429 A JP 2020091429A JP 2020091429 A JP2020091429 A JP 2020091429A JP 2021189532 A JP2021189532 A JP 2021189532A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- error
- input data
- neural network
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000013016 learning Effects 0.000 title claims abstract description 195
- 238000003909 pattern recognition Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 64
- 210000002569 neuron Anatomy 0.000 claims abstract description 62
- 239000006185 dispersion Substances 0.000 claims abstract description 33
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000007423 decrease Effects 0.000 claims description 5
- 238000004904 shortening Methods 0.000 abstract description 3
- 230000008878 coupling Effects 0.000 description 8
- 238000010168 coupling process Methods 0.000 description 8
- 238000005859 coupling reaction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000012528 membrane Substances 0.000 description 2
- 210000004205 output neuron Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
実施形態1に係るパターン認識装置を説明する。本実施形態のパターン認識装置は、例えば、パーソナルコンピュータ等の情報処理装置で構成されてもよい。具体的には、パターン認識装置は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、インターフェイス部(I/F)等からなるハードウェアで構成されてもよい。
図1は、実施形態1に係るパターン認識装置において、非巡回神経回路網を例示した構成図である。図1に示すように、非巡回神経回路網FNNは、複数のニューロンNRを有している。なお、図が煩雑にならないように、いくつかの符号を省略している。以下の図面も同様である。
次に、本実施形態に係るパターン認識装置の構成を説明する。図4は、実施形態1に係るパターン認識装置を例示したブロック図である。図4に示すように、パターン認識装置1は、処理部11、入力データ記憶部12、ニューロン出力値算出部13、ニューロン出力値記憶部14、教師信号記憶部15、学習誤差算出部16、及び、正規乱数生成部17を備えている。処理部11、入力データ記憶部12、ニューロン出力値算出部13、ニューロン出力値記憶部14、教師信号記憶部15、学習誤差算出部16、及び、正規乱数生成部17は、処理手段、入力データ記憶手段、ニューロン出力値算出手段、ニューロン出力値記憶手段、教師信号記憶手段、学習誤差算出手段、及び、正規乱数生成手段としての機能を有している。パターン認識装置1は、単体として、機能する。
次に、本実施形態のパターン認識装置の動作として、パターン認識装置の学習方法を説明する。図5は、実施形態1に係るパターン認識装置の学習方法を例示したフローチャート図である。
次に、実施形態2に係るパターン認識装置を説明する。前述の実施形態1では、図5及び(13)式で示したように、分散値をループ回数により線形に変化させている。本実施形態では、分散値σk 2をループ回数により非線形に変化させる。例えば、下記の(23)式に示すように、分散値σk 2をループ回数により非線形に変化させてもよい。例えば、ループ回数が進むにつれて減少する割合が徐々に小さくなるように変化させてもよい。ここで、αは、0よりも大きい値である。
複数のパターンを含む入力データを複数回入力することによって学習させる非巡回神経回路網の各ニューロンへ揺らぎノイズとして与える正規乱数を生成する際の分散値を、前記非巡回神経回路網の学習中に変化させる学習方法。
前記入力データを入力する毎に、前記分散値を変化させる、
付記1に記載の学習方法。
前記入力データを入力する毎に、前記分散値を減少させる、
付記1に記載の学習方法。
前記入力データを入力することによって前記非巡回神経回路網から出力された出力値と、前記パターンに対応した教師信号と、の学習誤差に基づいて前記分散値を変化させる、
付記1または2に記載の学習方法。
前記入力データが入力される前記複数回は、第1の回と、前記第1の回よりも前の第2の回と、を含み、
前記第1の回の前記学習誤差の第1誤差と、前記第2の回の前記学習誤差の第2誤差と、の差を含む学習誤差の変化量が、所定の値よりも大きい場合には、前記分散値を小さくし、
前記学習誤差の変化量が、前記所定の値以下の場合には、前記分散値を大きくする、
付記4に記載の学習方法。
前記正規乱数を生成し、
前記正規乱数を与えた前記非巡回神経回路網に前記入力データを入力することによって前記出力値を算出するとともに、前記各ニューロンの結合係数を更新し、
前記学習誤差を算出する、
付記5に記載の学習方法。
前記学習誤差が所定の誤差よりも大きい場合には、次の回の前記入力データの入力に進み、前記学習誤差が前記所定の誤差以下の場合には、学習を終了する、
付記4〜6のいずれか1項に記載の学習方法。
複数のパターンを含む入力データを複数回入力することによって学習させる非巡回神経回路網の各ニューロンへ揺らぎノイズとして与える正規乱数を生成する際の分散値を、前記非巡回神経回路網の学習中に変化させることをコンピュータに実行させる学習プログラム。
前記入力データを入力する毎に、前記分散値を変化させる、
ことをコンピュータに実行させる付記8に記載の学習プログラム。
前記入力データを入力する毎に、前記分散値を減少させる、
ことをコンピュータに実行させる付記8に記載の学習プログラム。
前記入力データを入力することによって前記非巡回神経回路網から出力された出力値と、前記パターンに対応した教師信号と、の学習誤差に基づいて前記分散値を変化させる、
ことをコンピュータに実行させる付記8また9に記載の学習プログラム。
前記入力データが入力される前記複数回は、第1の回と、前記第1の回よりも前の第2の回と、を含み、
前記第1の回の前記学習誤差の第1誤差と、前記第2の回の前記学習誤差の第2誤差と、の差を含む学習誤差の変化量が、所定の値よりも大きい場合には、前記分散値を小さくさせ、
前記学習誤差の変化量が、前記所定の値以下の場合には、前記分散値を大きくさせる、
ことをコンピュータに実行させる付記11に記載の学習プログラム。
前記正規乱数を生成させ、
前記正規乱数を与えた前記非巡回神経回路網に前記入力データを入力することによって前記出力値を算出させるとともに、前記各ニューロンの結合係数を更新させ、
前記学習誤差を算出させる、
ことをコンピュータに実行させる付記12に記載の学習プログラム。
前記学習誤差が所定の誤差よりも大きい場合には、次の回の前記入力データの入力に進ませ、前記学習誤差が前記所定の誤差以下の場合には、学習を終了させる、
ことをコンピュータに実行させる付記11〜13のいずれか1項に記載の学習プログラム。
11 処理部
12 入力データ記憶部
13 ニューロン出力値算出部
14 ニューロン出力値記憶部
15 教師信号記憶部
16 学習誤差算出部
17 正規乱数生成部
IL 入力層
FNN 非巡回神経回路網
ML 中間層
NR ニューロン
OL 出力層
Claims (10)
- 複数のパターンを含む入力データを複数回入力することによって学習させる非巡回神経回路網の各ニューロンへ揺らぎノイズとして与える正規乱数を生成する際の分散値を、前記非巡回神経回路網の学習中に変化させる処理部を備えたパターン認識装置。
- 前記処理部は、前記入力データを入力する毎に、前記分散値を変化させる、
請求項1に記載のパターン認識装置。 - 前記処理部は、前記入力データを入力する毎に、前記分散値を減少させる、
請求項1に記載のパターン認識装置。 - 前記処理部は、前記入力データを入力することによって前記非巡回神経回路網から出力された出力値と、前記パターンに対応した教師信号と、の学習誤差に基づいて前記分散値を変化させる、
請求項1または2に記載のパターン認識装置。 - 前記入力データが入力される前記複数回は、第1の回と、前記第1の回よりも前の第2の回と、を含み、
前記処理部は、
前記第1の回の前記学習誤差の第1誤差と、前記第2の回の前記学習誤差の第2誤差と、の差を含む学習誤差の変化量が、所定の値よりも大きい場合には、前記分散値を小さくし、
前記学習誤差の変化量が、前記所定の値以下の場合には、前記分散値を大きくする、
請求項4に記載のパターン認識装置。 - 前記正規乱数を生成する正規乱数生成部と、
前記正規乱数を与えた前記非巡回神経回路網に前記入力データを入力することによって前記出力値を算出するとともに、前記各ニューロンの結合係数を更新するニューロン出力値算出部と、
前記学習誤差を算出する学習誤差算出部と、
をさらに備えた、
請求項5に記載のパターン認識装置。 - 前記処理部は、前記学習誤差が所定の誤差よりも大きい場合には、次の回の前記入力データの入力に進み、前記学習誤差が前記所定の誤差以下の場合には、学習を終了する、
請求項4〜6のいずれか1項に記載のパターン認識装置。 - 複数のパターンを含む入力データを複数回入力することによって学習させる非巡回神経回路網の各ニューロンへ揺らぎノイズとして与える正規乱数を生成する際の分散値を、前記非巡回神経回路網の学習中に変化させる学習方法。
- 前記入力データが入力される前記複数回は、第1の回と、前記第1の回よりも前の第2の回と、を含み、
前記入力データを入力することによって前記非巡回神経回路網から出力された出力値と、前記パターンに対応した教師信号と、の学習誤差に基づいて前記分散値を変化させる際に、
前記第1の回の前記学習誤差の第1誤差と、前記第2の回の前記学習誤差の第2誤差と、の差を含む学習誤差の変化量が、所定の値よりも大きい場合には、前記分散値を小さくし、
前記学習誤差の変化量が、前記所定の値以下の場合には、前記分散値を大きくする、
請求項8に記載の学習方法。 - 複数のパターンを含む入力データを複数回入力することによって学習させる非巡回神経回路網の各ニューロンへ揺らぎノイズとして与える正規乱数を生成する際の分散値を、前記非巡回神経回路網の学習中に変化させることをコンピュータに実行させる学習プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020091429A JP7010541B2 (ja) | 2020-05-26 | 2020-05-26 | パターン認識装置、学習方法及び学習プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020091429A JP7010541B2 (ja) | 2020-05-26 | 2020-05-26 | パターン認識装置、学習方法及び学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021189532A true JP2021189532A (ja) | 2021-12-13 |
JP7010541B2 JP7010541B2 (ja) | 2022-01-26 |
Family
ID=78848417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020091429A Active JP7010541B2 (ja) | 2020-05-26 | 2020-05-26 | パターン認識装置、学習方法及び学習プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7010541B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7491622B1 (ja) | 2023-03-29 | 2024-05-28 | Necプラットフォームズ株式会社 | パターン認識装置、学習方法、及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0561848A (ja) * | 1991-09-02 | 1993-03-12 | Hitachi Ltd | 最適アルゴリズムの選定及び実行のための装置及び方法 |
JPH05197891A (ja) * | 1991-03-12 | 1993-08-06 | Babcock Hitachi Kk | 異常検出方法および装置 |
JPH05298277A (ja) * | 1992-04-24 | 1993-11-12 | Hitachi Ltd | ニュ−ラルネット学習装置及び学習方法 |
-
2020
- 2020-05-26 JP JP2020091429A patent/JP7010541B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05197891A (ja) * | 1991-03-12 | 1993-08-06 | Babcock Hitachi Kk | 異常検出方法および装置 |
JPH0561848A (ja) * | 1991-09-02 | 1993-03-12 | Hitachi Ltd | 最適アルゴリズムの選定及び実行のための装置及び方法 |
JPH05298277A (ja) * | 1992-04-24 | 1993-11-12 | Hitachi Ltd | ニュ−ラルネット学習装置及び学習方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7491622B1 (ja) | 2023-03-29 | 2024-05-28 | Necプラットフォームズ株式会社 | パターン認識装置、学習方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7010541B2 (ja) | 2022-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Behera et al. | On adaptive learning rate that guarantees convergence in feedforward networks | |
Suliman et al. | A review on back-propagation neural networks in the application of remote sensing image classification | |
Lawrence et al. | What size neural network gives optimal generalization? Convergence properties of backpropagation | |
US11676026B2 (en) | Using back propagation computation as data | |
Zimmermann et al. | Forecasting with recurrent neural networks: 12 tricks | |
Lehtokangas et al. | Initializing weights of a multilayer perceptron network by using the orthogonal least squares algorithm | |
US5630023A (en) | Signal processor | |
Wang et al. | A modified error function for the backpropagation algorithm | |
JP2007265345A (ja) | 情報処理装置および方法、学習装置および方法、並びにプログラム | |
Salvatori et al. | Predictive coding can do exact backpropagation on convolutional and recurrent neural networks | |
Abiyev et al. | Identification and control of dynamic plants using fuzzy wavelet neural networks | |
JP7010541B2 (ja) | パターン認識装置、学習方法及び学習プログラム | |
Solazzi et al. | Regularising neural networks using flexible multivariate activation function | |
Tsung et al. | Phase-space learning | |
Annabi et al. | Bidirectional interaction between visual and motor generative models using predictive coding and active inference | |
Gabrijel et al. | On-line identification and reconstruction of finite automata with generalized recurrent neural networks | |
Yang et al. | A neural network learning algorithm of chemical process modeling based on the extended Kalman filter | |
Aizenberg et al. | Why we need complex-valued neural networks? | |
Chartier et al. | BAM learning of nonlinearly separable tasks by using an asymmetrical output function and reinforcement learning | |
Kumar et al. | Neural networks and fuzzy logic | |
Peng et al. | Nonmonotone BFGS-trained recurrent neural networks for temporal sequence processing | |
Gorse et al. | A pulse-based reinforcement algorithm for learning continuous functions | |
Malagon et al. | Evolving neural networks in reinforcement learning by means of UMDAc | |
Sorheim | A combined network architecture using ART2 and back propagation for adaptive estimation of dynamical processes | |
Ghorrati | A New Adaptive Learning algorithm to train Feed-Forward Multi-layer Neural Networks, Applied on Function Approximation Problem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7010541 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |