JP2022109919A - マルチタスク再帰型ニューラルネットワーク - Google Patents
マルチタスク再帰型ニューラルネットワーク Download PDFInfo
- Publication number
- JP2022109919A JP2022109919A JP2022063945A JP2022063945A JP2022109919A JP 2022109919 A JP2022109919 A JP 2022109919A JP 2022063945 A JP2022063945 A JP 2022063945A JP 2022063945 A JP2022063945 A JP 2022063945A JP 2022109919 A JP2022109919 A JP 2022109919A
- Authority
- JP
- Japan
- Prior art keywords
- data
- memory access
- neural network
- memory
- internal state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 106
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 82
- 230000015654 memory Effects 0.000 claims abstract description 176
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000009826 distribution Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 12
- 230000000717 retained effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 25
- 210000004027 cell Anatomy 0.000 description 34
- 210000002569 neuron Anatomy 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
- G06F12/0284—Multiple user address space allocation, e.g. using different base addresses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0862—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with prefetch
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/60—Details of cache memory
- G06F2212/6024—History based prefetching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Image Analysis (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Feedback Control In General (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Small-Scale Networks (AREA)
- Advance Control (AREA)
- Executing Machine-Instructions (AREA)
Abstract
Description
本明細書は、再帰型ニューラルネットワークに関する。
本明細書は、マルチタスク再帰型ニューラルネットワーク、より詳細には、マイクロプロセッサにおいて時系列予測を向上するマルチタスク再帰型ニューラルネットワークについて説明する。
期記憶(LSTM)ネットワークの場合、状態データは、ネットワーク内の各LSTMユニットについて、隠れ状態hとセル状態cとを含み得る。
納することによって、RNNが各時間ステップにおいて計算しなければならないシーケンス依存性の数が減少し、入力シーケンスの長さだけ、全レイテンシーが低減する。
詳細な説明
本明細書は、マルチタスク再帰型ニューラルネットワーク、より詳細には、マイクロプロセッサにおいて時系列予測を向上するマルチタスク再帰型ニューラルネットワークについて説明する。
依存性を捉える。
捉える。
を格納するように構成されたコンピューティングシステム400の例を示す図である。コンピューティングシステム400は、図示されていない1つ以上のプロセッサを用いて、コンピュータプログラム命令を実行可能である。特に、コンピューティングシステム400は、命令メモリ内にコンピュータプログラムを格納し、その後、コンピュータプログラムによって定義される順番で命令を実行可能である。
のメモリ領域にわたるメモリアクセスよりも予測可能なパターンをたどるため、メモリ領域によってメモリアクセスを分けることによって、メモリアクセス予測を向上可能である。メモリを領域に分割する重要性について、図5を参照してより詳細に説明する。
実にデータが新しいデータによって置換されることはない。
の1つ以上の組合せであり得る。代替的に、またはさらに、プログラム命令は、データ処理装置による実行に好適な受信側装置への送信のために情報をエンコードするよう生成される、たとえばマシンにより生成された電気信号、光信号、または電磁気信号などの、人為的に生成された伝搬信号上でエンコードすることができる。
のモジュール、サブプログラムまたは部分を格納するファイル)において、他のプログラムまたはデータ(たとえばマークアップ言語ドキュメントに格納される1つ以上のスクリプト)を保持するファイルの一部に格納され得る。コンピュータプログラムは、1つの場所に位置するかもしくは複数の場所にわたって分散されデータ通信ネットワークによって相互接続される1つのコンピュータまたは複数のコンピュータ上で実行されるように展開され得る。
報端末(PDA)、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム(GPS)受信機、またはポータブル記憶装置(たとえばユニバーサルシリアルバス(USB)フラッシュドライブ)といった別のデバイスに埋め込まれ得る。
Claims (15)
- 方法であって、
複数のメモリ領域内のコンピュータプログラムのメモリアクセスアドレスを予測するように訓練された再帰型ニューラルネットワークのために、前記複数のメモリ領域の各々について別々の内部状態を指定する内部状態データを保持することと、
前記コンピュータプログラムの以前のメモリアクセスアドレスのシーケンスを定義する入力のシーケンス内の現在の入力を受信することと、
前記入力のシーケンス内の前記現在の入力によって定義される前記メモリアクセスアドレスの特定のメモリ領域を識別することと、
保持された前記データ内で指定された内部状態から、前記特定のメモリ領域についての前記内部状態を選択することと、
前記特定のメモリ領域について選択された前記内部状態に従って、前記再帰型ニューラルネットワークを用いて前記入力のシーケンス内の前記現在の入力を処理して、
前記特定のメモリ領域内の前記コンピュータプログラムの将来のメモリアクセスアドレスである予測されたメモリアクセスアドレスの確率分布を定義する出力を生成し、
前記特定のメモリ領域の選択された前記内部状態を更新することと、
更新された、選択された前記内部状態を、保持された前記データ内の前記特定のメモリ領域と関連付けることとを備える、方法。 - 予測された前記メモリアクセスアドレスは、前記特定のメモリ領域内の前記コンピュータプログラムの次のメモリアクセスアドレスである、請求項1に記載の方法。
- 前記入力のシーケンスは、前記コンピュータプログラムの以前のプログラムカウンタアドレスのシーケンスおよび対応するデルタ値を含み、各デルタ値は、それぞれの第1のメモリアクセスアドレスとそれぞれの第2のメモリアクセスアドレスとの差を定義し、前記第1のメモリアクセスアドレスは、対応する前記プログラムカウンタアドレスによって示される命令が実行されたときにアクセスされたアドレスであり、前記第2のメモリアクセスアドレスは、前記第1のメモリアドレスがアクセスされる前にアクセスされたアドレスである、請求項1または2に記載の方法。
- 前記第1のメモリアクセスアドレスおよび前記第2のメモリアクセスアドレスは、前記複数のメモリ領域の同じメモリ領域内にある、請求項3に記載の方法。
- 予測された前記メモリアクセスアドレスと関連付けられたメモリアクセスはリードアクセスである、請求項1~4のいずれか1項に記載の方法。
- 前記分布内の1つ以上の確率が閾値基準を満たすと判断することと、
それに応じて、前記基準を満たす前記1つ以上の確率と関連付けられた、予測された前記1つ以上のメモリアクセスアドレスからデータをフェッチすることと、
前記データをローカルキャッシュに格納することとをさらに備える、請求項5に記載の方法。 - 前記分布内の1つ以上の確率が閾値基準を満たすと判断することと、
1つ以上のプリフェッチ命令を前記コンピュータプログラムに自動的に挿入することとをさらに備え、前記1つ以上のプリフェッチ命令の実行によって、前記基準を満たす前記1つ以上の確率と関連付けられた、予測された前記1つ以上のメモリアクセスアドレスからデータがフェッチされ、前記1つ以上のプリフェッチ命令は、予測された前記メモリアクセスを生じる命令の前に前記コンピュータプログラムに挿入される、請求項5に記載の方法。 - 回路であって、
再帰型ニューラルネットワークの動作を行うように構成された再帰型ニューラルネットワークセル(RNNセル)と、
複数の状態レジスタとを備え、各状態レジスタは、i)前記再帰型ニューラルネットワークのために内部状態データを格納するように構成され、ii)前記ニューラルネットワークが行うように訓練された複数のタスクのそれぞれのタスクに対応し、前記回路はさらに、
回路構成要素を備え、前記回路構成要素は、
入力のシーケンス内の現在の入力とシーケンス識別データとを受信することと、
前記シーケンス識別データに基づいて前記複数のタスクのうち1つのタスクを識別することと、
識別された前記タスクに対応する前記状態レジスタから内部状態データを取得することと、
取得した前記内部状態データと前記現在の入力とを前記RNNセルに提供して、前記RNNセルに、取得した前記内部状態データと前記現在の入力とを処理して、ニューラルネットワーク出力と識別された前記タスクについて更新された内部状態データとを生成させることと、
前記ニューラルネットワーク出力と識別された前記タスクについて更新された前記内部状態データとを、前記RNNセルから受信することと、
更新された前記内部状態データを、識別された前記タスクに対応する前記状態レジスタに書込むこととを含む動作を行うように構成された、回路。 - 前記シーケンス識別データは、前記現在の入力のプロパティに基づく、請求項8に記載の回路。
- 前記シーケンス識別データは、ユーザ入力に基づく、請求項8に記載の回路。
- それぞれの前記タスクは、前記RNNセルがメモリアクセスアドレスを予測することを含む、請求項8に記載の回路。
- 前記RNNセルは、前記再帰型ニューラルネットワークの固定重みのセットを保持するように構成される、請求項8~11のいずれか1項に記載の回路。
- 前記回路構成要素はマルチプレクサを含み、前記マルチプレクサは、
前記シーケンス識別データに基づいて、識別された前記タスクに対応する前記状態レジスタを選択し、
取得した前記内部状態データを前記RNNセルに提供するように構成される、請求項8~12のいずれか1項に記載の回路。 - 1つ以上のコンピュータと、1つ以上のコンピュータによって実行されると前記1つ以上のコンピュータに請求項1~7のいずれか1項に記載の前記動作を行わせる命令を格納する1つ以上の記憶デバイスとを備える、システム。
- 1つ以上のコンピュータによって実行されると前記1つ以上のコンピュータに請求項1~7のいずれか1項に記載の前記動作を行わせる命令でエンコードされた、1つ以上のコンピュータ可読記憶媒体。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862769512P | 2018-11-19 | 2018-11-19 | |
US62/769,512 | 2018-11-19 | ||
US16/262,785 US11416733B2 (en) | 2018-11-19 | 2019-01-30 | Multi-task recurrent neural networks |
US16/262,785 | 2019-01-30 | ||
PCT/US2019/061780 WO2020106581A1 (en) | 2018-11-19 | 2019-11-15 | Multi-task recurrent neural networks |
JP2020552704A JP7057437B2 (ja) | 2018-11-19 | 2019-11-15 | マルチタスク再帰型ニューラルネットワーク |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020552704A Division JP7057437B2 (ja) | 2018-11-19 | 2019-11-15 | マルチタスク再帰型ニューラルネットワーク |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022109919A true JP2022109919A (ja) | 2022-07-28 |
JP2022109919A5 JP2022109919A5 (ja) | 2022-10-28 |
JP7494242B2 JP7494242B2 (ja) | 2024-06-03 |
Family
ID=70726431
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020552704A Active JP7057437B2 (ja) | 2018-11-19 | 2019-11-15 | マルチタスク再帰型ニューラルネットワーク |
JP2022063945A Active JP7494242B2 (ja) | 2018-11-19 | 2022-04-07 | マルチタスク再帰型ニューラルネットワーク |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020552704A Active JP7057437B2 (ja) | 2018-11-19 | 2019-11-15 | マルチタスク再帰型ニューラルネットワーク |
Country Status (10)
Country | Link |
---|---|
US (1) | US11416733B2 (ja) |
EP (1) | EP3884391A1 (ja) |
JP (2) | JP7057437B2 (ja) |
KR (2) | KR102625762B1 (ja) |
CN (2) | CN112970006B (ja) |
BR (1) | BR112020020110A2 (ja) |
CA (1) | CA3095205C (ja) |
SG (1) | SG11202009486PA (ja) |
TW (2) | TW202341009A (ja) |
WO (1) | WO2020106581A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11494597B2 (en) * | 2019-03-22 | 2022-11-08 | Sri International | Generative memory for lifelong machine learning |
US11568246B2 (en) | 2019-05-09 | 2023-01-31 | Sri International | Synthetic training examples from advice for training autonomous agents |
US11586895B1 (en) * | 2019-06-17 | 2023-02-21 | Green Mountain Semiconductor, Inc. | Recursive neural network using random access memory |
US11151695B1 (en) * | 2019-08-16 | 2021-10-19 | Perceive Corporation | Video denoising using neural networks with spatial and temporal features |
TWI753630B (zh) * | 2020-10-13 | 2022-01-21 | 財團法人工業技術研究院 | 基於神經網路的分類器及分類方法 |
CN112528664B (zh) * | 2021-02-05 | 2021-04-27 | 湖南工商大学 | 基于多任务联合学习与地址层级结构知识的地址匹配方法 |
CN113705839B (zh) * | 2021-09-13 | 2023-10-20 | 北京博瑞华通科技有限公司 | 一种燃料电池电堆的预测性维护方法以及维护系统 |
US12007899B2 (en) * | 2021-09-30 | 2024-06-11 | Micron Technology, Inc. | Delta predictions for page scheduling |
CN114268939B (zh) * | 2021-11-12 | 2024-03-08 | 重庆市中冉数字科技有限公司 | 一种移动通信中异常用户识别的方法及智能设备 |
CN116431315B (zh) * | 2023-06-07 | 2023-08-29 | 成都登临科技有限公司 | 批处理任务的处理方法、装置、电子设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090161466A1 (en) * | 2007-12-20 | 2009-06-25 | Spansion Llc | Extending flash memory data retension via rewrite refresh |
US20120192005A1 (en) * | 2011-01-21 | 2012-07-26 | Apple Inc. | Sharing a fault-status register when processing vector instructions |
US20150170021A1 (en) * | 2013-12-18 | 2015-06-18 | Marc Lupon | Reconfigurable processing unit |
US20150339572A1 (en) * | 2014-05-23 | 2015-11-26 | DataRobot, Inc. | Systems and techniques for predictive data analytics |
US20170228637A1 (en) * | 2016-02-05 | 2017-08-10 | Google Inc. | Augmenting Neural Networks with External Memory |
US20170316313A1 (en) * | 2015-07-27 | 2017-11-02 | Google Inc. | Analyzing health events using recurrent neural networks |
JP2019502212A (ja) * | 2016-01-14 | 2019-01-24 | 株式会社Preferred Networks | 時系列データ適合およびセンサ融合のシステム、方法、および装置 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10171653A (ja) * | 1996-10-09 | 1998-06-26 | Nkk Corp | 情報処理装置の分岐予測方式及びそれを用いた装置 |
US9141390B2 (en) * | 2001-03-05 | 2015-09-22 | Pact Xpp Technologies Ag | Method of processing data with an array of data processors according to application ID |
US7664644B1 (en) | 2006-06-09 | 2010-02-16 | At&T Intellectual Property Ii, L.P. | Multitask learning for spoken language understanding |
US8200593B2 (en) * | 2009-07-20 | 2012-06-12 | Corticaldb Inc | Method for efficiently simulating the information processing in cells and tissues of the nervous system with a temporal series compressed encoding neural network |
JP2013537435A (ja) * | 2010-06-07 | 2013-10-03 | アフェクティヴァ,インコーポレイテッド | ウェブサービスを用いた心理状態分析 |
US8965819B2 (en) * | 2010-08-16 | 2015-02-24 | Oracle International Corporation | System and method for effective caching using neural networks |
CN105264501B (zh) * | 2013-06-19 | 2018-06-08 | 英派尔科技开发有限公司 | 定位多核处理器中的被高速缓存的数据的方法和装置 |
WO2015130928A1 (en) * | 2014-02-26 | 2015-09-03 | Nancy Packes, Inc. | Real estate evaluating platform methods, apparatuses, and media |
TWI655587B (zh) | 2015-01-22 | 2019-04-01 | 美商前進公司 | 神經網路及神經網路訓練的方法 |
US10860837B2 (en) | 2015-07-20 | 2020-12-08 | University Of Maryland, College Park | Deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition |
US9336482B1 (en) * | 2015-07-27 | 2016-05-10 | Google Inc. | Predicting likelihoods of conditions being satisfied using recurrent neural networks |
US10546650B2 (en) * | 2015-10-23 | 2020-01-28 | Google Llc | Neural network for processing aptamer data |
KR102271262B1 (ko) * | 2015-11-12 | 2021-06-30 | 구글 엘엘씨 | Cgr 신경망들 |
CN108780521B (zh) | 2016-02-04 | 2023-05-26 | 渊慧科技有限公司 | 关联长短期记忆神经网络层 |
US11783173B2 (en) | 2016-06-23 | 2023-10-10 | Microsoft Technology Licensing, Llc | Multi-domain joint semantic frame parsing |
TWI612488B (zh) | 2016-12-05 | 2018-01-21 | 財團法人資訊工業策進會 | 用於預測商品的市場需求的計算機裝置與方法 |
US10878314B2 (en) * | 2017-03-09 | 2020-12-29 | Alphaics Corporation | System and method for training artificial intelligence systems using a SIMA based processor |
US11354565B2 (en) * | 2017-03-15 | 2022-06-07 | Salesforce.Com, Inc. | Probability-based guider |
WO2018195459A1 (en) * | 2017-04-20 | 2018-10-25 | Google Llc | Processing sequential data using recurrent neural networks |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
US10733380B2 (en) | 2017-05-15 | 2020-08-04 | Thomson Reuters Enterprise Center Gmbh | Neural paraphrase generator |
JP2019204335A (ja) | 2018-05-24 | 2019-11-28 | 株式会社日立製作所 | データ処理装置およびプリフェッチ方法 |
US20190370632A1 (en) * | 2018-05-31 | 2019-12-05 | Google Llc | Computer system prediction machine learning models |
US20200193268A1 (en) * | 2018-12-14 | 2020-06-18 | Advanced Micro Devices, Inc. | Multi-instance recurrent neural network prediction |
-
2019
- 2019-01-30 US US16/262,785 patent/US11416733B2/en active Active
- 2019-07-18 TW TW112122136A patent/TW202341009A/zh unknown
- 2019-07-18 TW TW108125405A patent/TWI808219B/zh active
- 2019-11-15 WO PCT/US2019/061780 patent/WO2020106581A1/en unknown
- 2019-11-15 CA CA3095205A patent/CA3095205C/en active Active
- 2019-11-15 BR BR112020020110-3A patent/BR112020020110A2/pt unknown
- 2019-11-15 KR KR1020207028824A patent/KR102625762B1/ko active IP Right Grant
- 2019-11-15 CN CN201980023127.6A patent/CN112970006B/zh active Active
- 2019-11-15 KR KR1020247001245A patent/KR20240010548A/ko active Application Filing
- 2019-11-15 SG SG11202009486PA patent/SG11202009486PA/en unknown
- 2019-11-15 EP EP19821339.9A patent/EP3884391A1/en active Pending
- 2019-11-15 JP JP2020552704A patent/JP7057437B2/ja active Active
- 2019-11-15 CN CN202410310760.6A patent/CN118170695A/zh active Pending
-
2022
- 2022-04-07 JP JP2022063945A patent/JP7494242B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090161466A1 (en) * | 2007-12-20 | 2009-06-25 | Spansion Llc | Extending flash memory data retension via rewrite refresh |
US20120192005A1 (en) * | 2011-01-21 | 2012-07-26 | Apple Inc. | Sharing a fault-status register when processing vector instructions |
US20150170021A1 (en) * | 2013-12-18 | 2015-06-18 | Marc Lupon | Reconfigurable processing unit |
US20150339572A1 (en) * | 2014-05-23 | 2015-11-26 | DataRobot, Inc. | Systems and techniques for predictive data analytics |
US20170316313A1 (en) * | 2015-07-27 | 2017-11-02 | Google Inc. | Analyzing health events using recurrent neural networks |
JP2019502212A (ja) * | 2016-01-14 | 2019-01-24 | 株式会社Preferred Networks | 時系列データ適合およびセンサ融合のシステム、方法、および装置 |
US20170228637A1 (en) * | 2016-02-05 | 2017-08-10 | Google Inc. | Augmenting Neural Networks with External Memory |
Also Published As
Publication number | Publication date |
---|---|
EP3884391A1 (en) | 2021-09-29 |
US20230033000A1 (en) | 2023-02-02 |
KR102625762B1 (ko) | 2024-01-16 |
JP7494242B2 (ja) | 2024-06-03 |
US20200160150A1 (en) | 2020-05-21 |
BR112020020110A2 (pt) | 2021-05-25 |
CA3095205A1 (en) | 2020-05-28 |
CN112970006B (zh) | 2024-04-09 |
CN112970006A (zh) | 2021-06-15 |
JP7057437B2 (ja) | 2022-04-19 |
KR20240010548A (ko) | 2024-01-23 |
US11416733B2 (en) | 2022-08-16 |
KR20200127028A (ko) | 2020-11-09 |
TW202341009A (zh) | 2023-10-16 |
WO2020106581A1 (en) | 2020-05-28 |
JP2021525404A (ja) | 2021-09-24 |
CA3095205C (en) | 2023-05-02 |
TW202020746A (zh) | 2020-06-01 |
SG11202009486PA (en) | 2020-10-29 |
TWI808219B (zh) | 2023-07-11 |
CN118170695A (zh) | 2024-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7494242B2 (ja) | マルチタスク再帰型ニューラルネットワーク | |
Hashemi et al. | Learning memory access patterns | |
CN108874694B (zh) | 空间存储器串流预取引擎的设备和方法、制造和测试方法 | |
TW202004497A (zh) | 電腦系統預測機器學習模型 | |
CN109844776B (zh) | 具有片上学习和随机时间步长控制的可编程神经元核心 | |
EP3446260A1 (en) | Memory-efficient backpropagation through time | |
US10748060B2 (en) | Pre-synaptic learning using delayed causal updates | |
US20150195371A1 (en) | Changing a cache queue based on user interface pointer movement | |
CN111324556B (zh) | 用于将预定数目的数据项预取到高速缓存的方法和系统 | |
US11829764B2 (en) | Address manipulation using indices and tags | |
US12033056B2 (en) | Multi-task recurrent neural networks | |
US20220223201A1 (en) | Caching Techniques for Deep Learning Accelerator | |
WO2020146724A1 (en) | Address manipulation using indices and tags | |
US11841799B2 (en) | Graph neural network accelerator with attribute caching | |
Yang et al. | Transformer-Based Cache Replacement Policy Learning | |
Lee et al. | An Efficient Memory Management for Mobile Operating Systems Based on Prediction of Relaunch Distance. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221020 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230831 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231128 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7494242 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |