JP2022522807A - 回帰型ニューラルネットワークのルジャンドルメモリユニット - Google Patents
回帰型ニューラルネットワークのルジャンドルメモリユニット Download PDFInfo
- Publication number
- JP2022522807A JP2022522807A JP2021551888A JP2021551888A JP2022522807A JP 2022522807 A JP2022522807 A JP 2022522807A JP 2021551888 A JP2021551888 A JP 2021551888A JP 2021551888 A JP2021551888 A JP 2021551888A JP 2022522807 A JP2022522807 A JP 2022522807A
- Authority
- JP
- Japan
- Prior art keywords
- node
- lmu
- input
- output
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、概して、人工知能及びディープラーニングに関し、より具体的には、ソフトウェア及びハードウェアにおいて実装することができる回帰型ニューラルネットワークアーキテクチャに関する。この出願は、2019年3月6日に出願された米国仮特許出願第62/814,767号及び2019年5月6日に出願された米国仮特許出願第62/844,090号への優先権を主張し、それらの内容は、参照により本明細書に組み込まれる。
ディープラーニングは、人工知能の分野に多くの急速且つ印象的な進歩をもたらしたことは間違いない。そのブラックボックスの性質により、画像認識、音声認識、自然言語理解、質問応答及び言語翻訳を含めて、大多数の重要な問題において最先端の性能を達成するために、専門領域の知識も、ニューラルネットワークの内部機能の理解も不要である(Y. LeCun, Y. Bengio, and G. Hinton, Deep learning. Nature, vol. 521, no. 7553, pp. 436-444, May 2015を参照)。基本的なレシピは、ディープラーニングのためのソフトウェアライブラリをインストールすること、ネットワークアーキテクチャを選択すること、そのハイパーパラメータを設定すること、次いで、ハードウェア(例えば、グラフィックス処理ユニット)がメモリに保持できる限りのデータを使用して訓練することである。
本発明の一実施形態では、ルジャンドルメモリユニット(LMU)セルを有する回帰型ニューラルネットワークを生成するための方法であって、回帰型ニューラルネットワークにおける各ノードに対するノード応答関数を定義することであって、ノード応答関数が、経時的な状態を表し、状態が、2値事象又は実数値のうちの1つに符号化され、各ノードが、ノード入力及びノード出力を有する、定義することと、各ノード入力との接続重みのセットを定義することと、各ノード出力との接続重みのセットを定義することと、公式
本発明は、添付の図面の図に示されており、添付の図面は、制限ではなく、例示的であることが意図され、添付の図面では、同様の参照番号は、同様の又は対応する部分を指すことが意図される。
ここからは、上記の発明を要約して、先行技術との対比及び先行技術に勝る利点をより明示的に説明しながら、ある例示的な及び詳細な実施形態について以下で説明する。
式中、fは、連続時間の事例の場合のθ、tによってパラメータ化されるAの関数であり、関数
式中、gは、連続時間の事例の場合のθ、tによってパラメータ化されるBの関数であり、関数
方程式1及び2を導出するため、
次いで、方程式3は、q個の常微分方程式(ODE)の以下の連続時間系に相当する。
方程式3は、Δtの時間ステップに離散化されたq個のODEの以下の離散時間力学系に相当し、
方程式1及び2をそれぞれ評価する際に接続重みを決定するため、f(A;θ,t)又は
ルジャンドル多項式を使用して1つ又は複数のノードからの出力接続重みを決定するため、例えば、ルジャンドル多項式のシフトに対してロドリゲスの公式(O. Rodrigues, De l’attraction des spheroides, Correspondence sur l’E-cole Imperiale Polytechnique. PhD Thesis, University of Paris, 1816を参照)を使用して、最初のq個の多項式を評価することができる:
ニューラルネットワークのパラメータは、例えば、通時的誤差逆伝播法(BPTT)(P.J. Werbos, Backpropagation through time: What it does and how to do it. Proceedings of the IEEE, vol. 78, no. 10, pp. 1550-1560, Oct. 1990を参照)など、利用可能な任意の方法を使用して訓練することができる。
前述の接続重みを有するニューラルネットワークは、ソフトウェアにおいて実装することができる。方程式1若しくは2又はルジャンドル多項式を評価することによって決定された1つ又は複数の接続重みを有する層は、LMUセルを作成するためのプログラムコードを使用して実装することができる。これらの層は、他のニューラルネットワークアーキテクチャと回帰結合することができる。また、これらの層は、各層を次の層に接続するために、接続重み又は他のニューラルネットワークを使用することによって積み重ねることもできる。
前述の接続重みを有するニューラルネットワークは、神経形態学的なデジタル若しくはアナログハードウェア及び/又はそれらのハイブリッドを含む、ハードウェアにおいて実装することができる。より具体的には、このアーキテクチャは、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、グラフィックス処理ユニット(GPU)において実装することも、アナログコンポーネント及び他の物理的なプリミティブ(これに限定されないが、トランジスタを含む)の構成及び/又は他の並列コンピューティングシステムを使用して実装することもできる。
等しいリソース使用量で積層LMUに対して積層LSTMのメモリ容量を評価するように設計された実験のセットについて考慮する。この場合、積層LSTMの既製のKeras実装形態が使用され、各々が50個のセルを有する3つの層が構築される。各層は、次の層と完全に接続され、すべてのデフォルト設定(例えば、tanh活性化)を使用する。最終層は、同様に、各出力に対するtanh活性化ユニットからなる。連続時間メモリ容量を評価するため、入力データは、白色雑音であり、30Hzに帯域制限され(0から始まる)、[-1,1]の絶対範囲に正規化される。出力データは、0~0.2sの遅延入力の均等配置を表す50次元のベクトルである。データセットは、256のサンプルからなり、各々は、1sの長さを有する。このデータは、50%訓練と50%テストにランダムに区分化される。訓練データは、訓練中の検定精度を報告するために使用される別個のランダムな25%サンプルにさらに区分化される。通時的誤差逆伝播法は、平均二乗誤差(MSE)損失関数に関するアダムオプティマイザを使用して行われる。訓練は、4つのNvidia Titan Xp GPU(各々が12GB)にわたってKeras及びTensorFlowを使用して並列化される。
これらの方法は、ハードウェア及びソフトウェアにおけるパターン分類、データ表現又は信号処理のためにニューラルネットワークを使用するシステムを生成するために使用することができる。
Claims (14)
- ルジャンドルメモリユニット(LMU)セルを有する回帰型ニューラルネットワークを生成するための方法であって、
前記回帰型ニューラルネットワークにおける各ノードに対するノード応答関数を定義することであって、前記ノード応答関数が、経時的な状態を表し、前記状態が、2値事象又は実数値のうちの1つに符号化され、各ノードが、ノード入力及びノード出力を有する、定義することと、
各ノード入力との接続重みのセットを定義することと、
各ノード出力との接続重みのセットを定義することと、
公式
を含む、方法。 - 前記LMUノード接続重みが、方程式f(A:θ,t)に基づいて決定され、式中、fが、Aの関数であり、θが、既定のパラメータであり、tが、時間である、請求項1に記載の方法。
- 前記既定のパラメータが、ユーザによって選択されたもの又は前記ニューラルネットワークにおけるノードの前記出力を使用して決定されたもののうちの1つである、請求項3に記載の方法。
- 前記既定のパラメータの各々が、ユーザによって選択されたもの又は前記ニューラルネットワークにおけるノードの前記出力を使用して決定されたもののうちの1つである、請求項5に記載の方法。
- ノード出力からの1つ又は複数の接続重みが、ルジャンドル多項式を評価することによって決定される、請求項1に記載の方法。
- 前記LMUセルが積層され、各LMUセルが、接続重み行列又は別のニューラルネットワークのどちらかを使用して、次のLMUセルに接続される、請求項1に記載の方法。
- 1つ又は複数のLMUセルが、LSTMセル、GRUセル、NRUセル、他のLMUセル、多層パーセプトロン、シグモイド層、及び、他の線形又は非線形層から選択された他のネットワークアーキテクチャの前記入力への接続及び前記出力からの接続を含む、請求項1に記載の方法。
- 前記ネットワークが、その多数のパラメータを更新することによって、ニューラルネットワークとして訓練される、請求項1に記載の方法。
- 前記ネットワークが、1つ又は複数のパラメータを固定しながら、残りのパラメータを更新することによって、ニューラルネットワークとして訓練される、請求項1に記載の方法。
- ニューラルネットワークにおけるパターン分類、データ表現又は信号処理用のシステムであって、
-1つ又は複数の次元のベクトルを提示する1つ又は複数の入力層であって、各次元が、外部の入力又は前記ネットワークからの以前の出力を使用することのどちらかによって前記ネットワークに提供される、1つ又は複数の入力層と、
-重み行列を介して、前記入力層、他の中間層又は出力層の少なくとも1つに結合された1つ又は複数の中間層と、
-前記入力層で提示される前記データのベクトル表現を生成するか或いはそのデータの関数を1つ若しくは複数の離散時点において又は経時的に連続して演算する1つ又は複数の出力層と
を含む、システムであり、
請求項1に記載の方法を使用して回帰型ニューラルネットワークを生成する、システム。 - 請求項1に記載の方法を使用してノード接続重みを決定する1つ又は複数の回帰接続を有するハードウェアにおいて実装された回路。
- ノード出力からの1つ又は複数の接続重みが、ルジャンドル多項式を評価することによって決定される、請求項13に記載の回路。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962814767P | 2019-03-06 | 2019-03-06 | |
US62/814,767 | 2019-03-06 | ||
US201962844090P | 2019-05-06 | 2019-05-06 | |
US62/844,090 | 2019-05-06 | ||
PCT/CA2020/050303 WO2020176994A1 (en) | 2019-03-06 | 2020-03-06 | Legendre memory units in recurrent neural networks |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022522807A true JP2022522807A (ja) | 2022-04-20 |
JP7284825B2 JP7284825B2 (ja) | 2023-05-31 |
Family
ID=72337362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021551888A Active JP7284825B2 (ja) | 2019-03-06 | 2020-03-06 | 回帰型ニューラルネットワークのルジャンドルメモリユニット |
Country Status (7)
Country | Link |
---|---|
US (1) | US11238345B2 (ja) |
EP (1) | EP3935568A4 (ja) |
JP (1) | JP7284825B2 (ja) |
KR (1) | KR20210117331A (ja) |
CN (1) | CN113454648A (ja) |
CA (1) | CA3098085C (ja) |
WO (1) | WO2020176994A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113033538B (zh) * | 2021-03-25 | 2024-05-10 | 北京搜狗科技发展有限公司 | 一种公式识别方法及装置 |
WO2023159310A1 (en) * | 2022-02-24 | 2023-08-31 | Applied Brain Research Inc. | Methods and systems for processing temporal data with linear artificial neural network layers |
CN116502774B (zh) * | 2023-06-26 | 2023-09-12 | 南京信息工程大学 | 一种基于时间序列分解和勒让德投影的时间序列预测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06319713A (ja) * | 1993-05-14 | 1994-11-22 | Nec Corp | 双極子推定方法および装置 |
JP2008287626A (ja) * | 2007-05-21 | 2008-11-27 | Sony Corp | 学習制御装置および方法、並びにプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11403479B2 (en) * | 2017-12-19 | 2022-08-02 | Intel Corporation | Feedback signaling to facilitate data classification functionality of a spiking neural network |
US11631004B2 (en) * | 2018-03-28 | 2023-04-18 | Intel Corporation | Channel pruning of a convolutional network based on gradient descent optimization |
-
2020
- 2020-03-06 WO PCT/CA2020/050303 patent/WO2020176994A1/en active Application Filing
- 2020-03-06 EP EP20767153.8A patent/EP3935568A4/en active Pending
- 2020-03-06 JP JP2021551888A patent/JP7284825B2/ja active Active
- 2020-03-06 CN CN202080014863.8A patent/CN113454648A/zh active Pending
- 2020-03-06 CA CA3098085A patent/CA3098085C/en active Active
- 2020-03-06 US US17/049,943 patent/US11238345B2/en active Active
- 2020-03-06 KR KR1020217026985A patent/KR20210117331A/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06319713A (ja) * | 1993-05-14 | 1994-11-22 | Nec Corp | 双極子推定方法および装置 |
JP2008287626A (ja) * | 2007-05-21 | 2008-11-27 | Sony Corp | 学習制御装置および方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3935568A1 (en) | 2022-01-12 |
KR20210117331A (ko) | 2021-09-28 |
US20210089912A1 (en) | 2021-03-25 |
EP3935568A4 (en) | 2023-01-25 |
CA3098085A1 (en) | 2020-10-09 |
US11238345B2 (en) | 2022-02-01 |
CN113454648A (zh) | 2021-09-28 |
WO2020176994A1 (en) | 2020-09-10 |
CA3098085C (en) | 2021-07-06 |
JP7284825B2 (ja) | 2023-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Marhon et al. | Recurrent neural networks | |
Lawrence et al. | What size neural network gives optimal generalization? Convergence properties of backpropagation | |
Murray et al. | Enhanced MLP performance and fault tolerance resulting from synaptic weight noise during training | |
WO2020176297A1 (en) | Artificial neural network compression via iterative hybrid reinforcement learning approach | |
Song et al. | Identification of sparse neural functional connectivity using penalized likelihood estimation and basis functions | |
JP7284825B2 (ja) | 回帰型ニューラルネットワークのルジャンドルメモリユニット | |
Yang et al. | A novel self-constructing radial basis function neural-fuzzy system | |
Ponnapalli et al. | A formal selection and pruning algorithm for feedforward artificial neural network optimization | |
US20220383126A1 (en) | Low-Rank Adaptation of Neural Network Models | |
Stewart et al. | On-chip few-shot learning with surrogate gradient descent on a neuromorphic processor | |
CN110930996B (zh) | 模型训练方法、语音识别方法、装置、存储介质及设备 | |
Gorse et al. | The new ERA in supervised learning | |
EP1295252B1 (en) | Apparatus for generating sequences of elements | |
Zhou et al. | A dendritic neuron model for exchange rate prediction | |
El-Shafie et al. | Generalized versus non-generalized neural network model for multi-lead inflow forecasting at Aswan High Dam | |
US20230259802A1 (en) | Generative Modeling of Quantum Hardware | |
JP2023533846A (ja) | クロスバーアレイを更新するためのパルス生成 | |
Palit et al. | Biomedical image segmentation using fully convolutional networks on TrueNorth | |
Ali | Design fast feed forward neural networks to solve two point boundary value problems | |
Vavra et al. | Optimization of the novelty detection model based on LSTM autoencoder for ICS environment | |
Sharmila et al. | A comparison of radial basis function and multilayer perceptron network as tool for classification of medical data | |
Milivojević et al. | Long short-term memory prediction for Covid19 time series | |
Wu et al. | Mining causality from continuous-time dynamics models: An application to tsunami forecasting | |
Daniel et al. | Object Recognition Using Deep Learning | |
Engers | Towards understanding and modelling sparse training algorithms at extreme sparsity regime |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211020 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230519 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7284825 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |