JP2022512311A - 行列数学命令セットのタイリングアルゴリズム - Google Patents
行列数学命令セットのタイリングアルゴリズム Download PDFInfo
- Publication number
- JP2022512311A JP2022512311A JP2021531339A JP2021531339A JP2022512311A JP 2022512311 A JP2022512311 A JP 2022512311A JP 2021531339 A JP2021531339 A JP 2021531339A JP 2021531339 A JP2021531339 A JP 2021531339A JP 2022512311 A JP2022512311 A JP 2022512311A
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- format
- matrix elements
- elements
- cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 219
- 230000015654 memory Effects 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 27
- 239000000872 buffer Substances 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 abstract description 19
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0207—Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0877—Cache access modes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/3001—Arithmetic instructions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/30032—Movement instructions, e.g. MOVE, SHIFT, ROTATE, SHUFFLE
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/30036—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
- G06F9/30043—LOAD or STORE instructions; Clear instruction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30098—Register arrangements
- G06F9/30105—Register structure
- G06F9/30109—Register structure having multiple operands in a single register
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Neurology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Image Processing (AREA)
- Advance Control (AREA)
- Executing Machine-Instructions (AREA)
- Complex Calculations (AREA)
Abstract
【選択図】図17
Description
Claims (20)
- システムであって、
複数の行列要素を線形フォーマットで記憶するメモリと、
キャッシュと、
前記複数の行列要素を前記線形フォーマットからタイリングフォーマットに変換するように構成されたプロセッサと、
複数の計算ユニットであって、前記複数の計算ユニットの各々が行列演算ユニットを備える、複数の計算ユニットと、を備え、
各行列演算ユニットは、
1つ以上の対応するタイルの所定の複数の行列要素を前記キャッシュからロードすることと、
前記所定の複数の行列要素に対して行列演算を実行して、結果をタイリングフォーマットで生成することと、
を行うように構成されており、
前記システムは、複数の行列演算ユニットからの複数の結果に基づいて第1のデータセットの分類を生成するように構成されている、
システム。 - 前記キャッシュは複数のチャネルを備え、前記複数の計算ユニットは、行列要素を、単一クロックサイクルで前記複数のチャネルに並列にロードするように構成されている、
請求項1のシステム。 - 各計算ユニットは、前記複数の計算ユニットの他の計算ユニットによって実行されるカーネルと同等のカーネルを並列に実行するようにさらに構成されており、
各行列演算ユニットは、前記キャッシュからの行列要素を、他の行列演算ユニットとは異なるチャネルにロードするように構成されている、
請求項2のシステム。 - 前記プロセッサは、第1のソース行列の複数の行列要素を前記線形フォーマットからタイリングフォーマットに変換する要求を受信したことに応じて、
前記メモリの第1のバッファの連続する位置から値を読み出すことであって、前記第1のバッファは行列要素を前記線形フォーマットで記憶する、ことと、
前記値を第2のバッファに書き込みながら、タイル高さに等しいストライドで前記第2のバッファをステップ実行することであって、前記第2のバッファは行列要素を前記タイリングフォーマットで記憶する、ことと、
を行うように構成されている、
請求項1のシステム。 - 前記行列演算は行列乗算演算であり、前記所定の複数の行列要素は、各行列演算ユニットの複数のレーンで伝達される、
請求項1のシステム。 - 前記第1のデータセットの分類は、機械学習エンジンアプリケーションの実行中に生成される、
請求項1のシステム。 - 連続する記憶位置に前記線形フォーマットで記憶される第1のソース行列の要素は、タイル高さによって分けられる記憶位置に前記タイリングフォーマットで記憶される、
請求項1のシステム。 - 方法であって、
プロセッサが、メモリに記憶された複数の行列要素を線形フォーマットからタイリングフォーマットに変換することと、
複数の計算ユニットが、複数の行列要素を前記メモリからキャッシュにロードすることと、
複数の行列演算ユニットの各々が、1つ以上の対応するタイルの所定の複数の行列要素を前記キャッシュからロードすることと、
各行列演算ユニットが、前記所定の複数の行列要素に対して行列演算を実行して、結果を前記タイリングフォーマットで生成することと、
前記複数の行列演算ユニットからの複数の結果に基づいて第1のデータセットの分類を生成することと、を含む、
方法。 - 前記キャッシュは複数のチャネルを備え、前記方法は、前記複数の計算ユニットが、行列要素を、単一クロックサイクルで前記複数のチャネルに並列にロードすることをさらに含む、
請求項8の方法。 - 各計算ユニットが、前記複数の計算ユニットの他の計算ユニットによって実行されるカーネルと同等のカーネルを並列に実行することと、
各行列演算ユニットが、前記キャッシュからの行列要素を、他の行列演算ユニットとは異なるチャネルにロードすることと、をさらに含む、
請求項9の方法。 - 前記方法は、第1のソース行列の複数の行列要素を前記線形フォーマットからタイリングフォーマットに変換する要求を受信したことに応じて、
前記メモリ内の第1のバッファの連続する位置から値を読み出すことであって、前記第1のバッファは行列要素を前記線形フォーマットで記憶する、ことと、
前記値を第2のバッファに書き込みながら、タイル高さに等しいストライドで前記第2のバッファをステップ実行することであって、前記第2のバッファは行列要素を前記タイリングフォーマットで記憶する、ことと、を含む、
請求項8の方法。 - 行列演算ユニット毎に、前記所定の複数の行列要素を前記行列演算ユニットの複数のレーンで伝達することであって、前記行列演算は行列乗算演算である、ことをさらに含む、
請求項8の方法。 - 前記第1のデータセットの分類は、機械学習エンジンアプリケーションの実行中に生成される、
請求項8の方法。 - 連続する記憶位置に前記線形フォーマットで記憶される第1のソース行列の要素は、タイル高さによって分けられる記憶位置に前記タイリングフォーマットで記憶される、
請求項8の方法。 - 装置であって、
複数の行列要素を線形フォーマットで記憶するメモリと、
複数の計算ユニットと、を備え、
前記複数の計算ユニットは、
前記複数の行列要素が前記線形フォーマットからタイリングフォーマットに変換されるための要求を生成することと、
前記タイリングフォーマットの前記複数の行列要素に対して行列演算を実行して、複数の結果を前記タイリングフォーマットで生成することと、
前記複数の結果に基づいて第1のデータセットの分類を生成することと、
を行うように構成されている、
装置。 - キャッシュをさらに備え、前記キャッシュは複数のチャネルを備え、前記複数の計算ユニットは、行列要素を、単一クロックサイクルで前記複数のチャネルに並列にロードするように構成されている、
請求項15の装置。 - 前記複数の計算ユニットの各々は、
前記複数の計算ユニットの他の計算ユニットによって実行されるカーネルと同等のカーネルを並列に実行することと、
前記キャッシュからの行列要素を、前記複数の計算ユニットの他の計算ユニットによって利用される他のチャネルとは異なるチャネルにロードすることと、
を行うように構成されている、
請求項16の装置。 - 前記装置は、第1のソース行列の複数の行列要素を前記線形フォーマットからタイリングフォーマットに変換する要求を受信したことに応じて、
前記メモリの第1のバッファの連続する位置から値を読み出すことであって、前記第1のバッファは行列要素を前記線形フォーマットで記憶する、ことと、
前記値を第2のバッファに書き込みながら、タイル高さに等しいストライドで前記第2のバッファをステップ実行することであって、前記第2のバッファは行列要素を前記タイリングフォーマットで記憶する、ことと、
を行うように構成されている、
請求項15の装置。 - 行列要素は、前記複数の計算ユニットの各々の複数のレーンで伝達され、前記行列演算は行列乗算演算である、
請求項15の装置。 - 前記第1のデータセットの分類は、機械学習エンジンアプリケーションの実行中に生成される、
請求項15の装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811566422.XA CN111338974A (zh) | 2018-12-19 | 2018-12-19 | 用于矩阵数学指令集的图块化算法 |
CN201811566422.X | 2018-12-19 | ||
US16/232,768 US11687615B2 (en) | 2018-12-19 | 2018-12-26 | Tiling algorithm for a matrix math instruction set |
US16/232,768 | 2018-12-26 | ||
PCT/US2019/067050 WO2020131993A1 (en) | 2018-12-19 | 2019-12-18 | Tiling algorithm for a matrix math instruction set |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022512311A true JP2022512311A (ja) | 2022-02-03 |
JP7427001B2 JP7427001B2 (ja) | 2024-02-02 |
Family
ID=71099356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021531339A Active JP7427001B2 (ja) | 2018-12-19 | 2019-12-18 | 行列数学命令セットのタイリングアルゴリズム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11687615B2 (ja) |
EP (1) | EP3899716A1 (ja) |
JP (1) | JP7427001B2 (ja) |
KR (1) | KR102606207B1 (ja) |
CN (1) | CN111338974A (ja) |
WO (1) | WO2020131993A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112433760B (zh) * | 2020-11-27 | 2022-09-23 | 海光信息技术股份有限公司 | 数据排序方法和数据排序电路 |
WO2024167500A1 (en) * | 2023-02-10 | 2024-08-15 | Google Llc | Tensor mapping unit for a hardware integrated circuit |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020198911A1 (en) * | 2001-06-06 | 2002-12-26 | Blomgren James S. | Rearranging data between vector and matrix forms in a SIMD matrix processor |
US20100241824A1 (en) * | 2009-03-18 | 2010-09-23 | International Business Machines Corporation | Processing array data on simd multi-core processor architectures |
US20110055517A1 (en) * | 2009-08-26 | 2011-03-03 | International Business Machines Corporation | Method and structure of using simd vector architectures to implement matrix multiplication |
US20140201450A1 (en) * | 2011-09-15 | 2014-07-17 | Kjetil B. Haugen | Optimized Matrix and Vector Operations In Instruction Limited Algorithms That Perform EOS Calculations |
US20180321938A1 (en) * | 2017-05-08 | 2018-11-08 | Nvidia Corporation | Generalized acceleration of matrix multiply accumulate operations |
WO2018213636A1 (en) * | 2017-05-17 | 2018-11-22 | Google Llc | Performing matrix multiplication in hardware |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2225321T3 (es) | 1991-06-11 | 2005-03-16 | Qualcomm Incorporated | Aparaato y procedimiento para el enmascaramiento de errores en tramas de datos. |
US6067287A (en) | 1997-09-15 | 2000-05-23 | Accton Technology | Neural fuzzy connection admission controller and method in a node of an asynchronous transfer mode (ATM) communication network |
US7469266B2 (en) * | 2003-09-29 | 2008-12-23 | International Business Machines Corporation | Method and structure for producing high performance linear algebra routines using register block data format routines |
US7873812B1 (en) * | 2004-04-05 | 2011-01-18 | Tibet MIMAR | Method and system for efficient matrix multiplication in a SIMD processor architecture |
US8122078B2 (en) * | 2006-10-06 | 2012-02-21 | Calos Fund, LLC | Processor with enhanced combined-arithmetic capability |
US8131660B2 (en) | 2008-04-08 | 2012-03-06 | Microsoft Corporation | Reconfigurable hardware accelerator for boolean satisfiability solver |
US8369595B1 (en) | 2012-08-10 | 2013-02-05 | EyeVerify LLC | Texture features for biometric authentication |
US9319137B2 (en) | 2013-09-09 | 2016-04-19 | Ciena Corporation | Methods and systems for reduced complexity nonlinear compensation |
US9613001B2 (en) | 2013-12-20 | 2017-04-04 | Intel Corporation | Processing device for performing convolution operations |
US10015616B2 (en) | 2014-06-06 | 2018-07-03 | University Of Maryland, College Park | Sparse decomposition of head related impulse responses with applications to spatial audio rendering |
JP5976057B2 (ja) | 2014-08-28 | 2016-08-23 | 京セラドキュメントソリューションズ株式会社 | シート収納カセット及びそれを備えた画像形成装置 |
EP3035204B1 (en) | 2014-12-19 | 2018-08-15 | Intel Corporation | Storage device and method for performing convolution operations |
US10417555B2 (en) | 2015-05-29 | 2019-09-17 | Samsung Electronics Co., Ltd. | Data-optimized neural network traversal |
US20160379109A1 (en) | 2015-06-29 | 2016-12-29 | Microsoft Technology Licensing, Llc | Convolutional neural networks on hardware accelerators |
US10078794B2 (en) | 2015-11-30 | 2018-09-18 | Pilot Ai Labs, Inc. | System and method for improved general object detection using neural networks |
US11055063B2 (en) | 2016-05-02 | 2021-07-06 | Marvell Asia Pte, Ltd. | Systems and methods for deep learning processor |
KR20180012439A (ko) | 2016-07-27 | 2018-02-06 | 삼성전자주식회사 | 회선 신경망에서 가속기 및 이의 동작 방법 |
US20180218303A1 (en) | 2017-02-01 | 2018-08-02 | Weather Build, Inc. | Systems and methods for analyzing weather event impacts on schedule activities |
US9959247B1 (en) | 2017-02-17 | 2018-05-01 | Google Llc | Permuting in a matrix-vector processor |
WO2018174928A1 (en) * | 2017-03-20 | 2018-09-27 | Intel Corporation | Systems, methods, and apparatuses for zeroing a matrix |
KR102367859B1 (ko) | 2017-06-07 | 2022-02-25 | 주식회사 케이티 | 특징 벡터를 이용하여 데이터를 분류하는 장치 및 방법 |
US10582250B2 (en) | 2017-07-24 | 2020-03-03 | Advanced Micro Devices, Inc. | Integrated video codec and inference engine |
US10747844B2 (en) * | 2017-12-12 | 2020-08-18 | Tesla, Inc. | Systems and methods for converting a matrix input to a vectorized input for a matrix processor |
US11561791B2 (en) * | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11948073B2 (en) | 2018-04-20 | 2024-04-02 | Advanced Micro Devices, Inc. | Machine learning inference engine scalability |
US10719323B2 (en) * | 2018-09-27 | 2020-07-21 | Intel Corporation | Systems and methods for performing matrix compress and decompress instructions |
US11769041B2 (en) | 2018-10-31 | 2023-09-26 | Advanced Micro Devices, Inc. | Low latency long short-term memory inference with sequence interleaving |
US11657119B2 (en) * | 2018-12-10 | 2023-05-23 | Advanced Micro Devices, Inc. | Hardware accelerated convolution |
CN111353575A (zh) * | 2018-12-20 | 2020-06-30 | 超威半导体公司 | 用于卷积神经网络的图块化格式 |
CN111723918A (zh) | 2019-03-18 | 2020-09-29 | 超威半导体公司 | 用于卷积内核的自动生成和调谐工具 |
-
2018
- 2018-12-19 CN CN201811566422.XA patent/CN111338974A/zh active Pending
- 2018-12-26 US US16/232,768 patent/US11687615B2/en active Active
-
2019
- 2019-12-18 JP JP2021531339A patent/JP7427001B2/ja active Active
- 2019-12-18 WO PCT/US2019/067050 patent/WO2020131993A1/en unknown
- 2019-12-18 EP EP19836908.4A patent/EP3899716A1/en active Pending
- 2019-12-18 KR KR1020217016767A patent/KR102606207B1/ko active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020198911A1 (en) * | 2001-06-06 | 2002-12-26 | Blomgren James S. | Rearranging data between vector and matrix forms in a SIMD matrix processor |
US20100241824A1 (en) * | 2009-03-18 | 2010-09-23 | International Business Machines Corporation | Processing array data on simd multi-core processor architectures |
US20110055517A1 (en) * | 2009-08-26 | 2011-03-03 | International Business Machines Corporation | Method and structure of using simd vector architectures to implement matrix multiplication |
US20140201450A1 (en) * | 2011-09-15 | 2014-07-17 | Kjetil B. Haugen | Optimized Matrix and Vector Operations In Instruction Limited Algorithms That Perform EOS Calculations |
US20180321938A1 (en) * | 2017-05-08 | 2018-11-08 | Nvidia Corporation | Generalized acceleration of matrix multiply accumulate operations |
WO2018213636A1 (en) * | 2017-05-17 | 2018-11-22 | Google Llc | Performing matrix multiplication in hardware |
Non-Patent Citations (1)
Title |
---|
AMD GRAPHICS CORE NEXT ARCHITECTURE, GENERATION 3, JPN6022030356, August 2016 (2016-08-01), US, pages 10 - 8, ISSN: 0004835402 * |
Also Published As
Publication number | Publication date |
---|---|
US20200201931A1 (en) | 2020-06-25 |
WO2020131993A1 (en) | 2020-06-25 |
CN111338974A (zh) | 2020-06-26 |
KR20210082527A (ko) | 2021-07-05 |
EP3899716A1 (en) | 2021-10-27 |
KR102606207B1 (ko) | 2023-11-24 |
US11687615B2 (en) | 2023-06-27 |
JP7427001B2 (ja) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11900253B2 (en) | Tiling format for convolutional neural networks | |
US11960934B2 (en) | Systems and methods for improved neural network execution | |
JP7407720B2 (ja) | 低電力畳み込みニューラルネットワーク推論アプリケーションのメモリ帯域幅低減技術 | |
CN109919311B (zh) | 生成指令序列的方法、执行神经网络运算的方法和装置 | |
US10255547B2 (en) | Indirectly accessing sample data to perform multi-convolution operations in a parallel processing system | |
JP7196167B2 (ja) | ホスト通信されるマージされた重みと層単位命令のパッケージとを使用するニューラルネットワークアクセラレータによる多層ニューラルネットワーク処理 | |
US20190114534A1 (en) | Neural network processing system having multiple processors and a neural network accelerator | |
CN108388527B (zh) | 直接存储器存取引擎及其方法 | |
TW201447776A (zh) | 透過圖形處理單元執行物件偵測運算 | |
US11030095B2 (en) | Virtual space memory bandwidth reduction | |
US10684824B2 (en) | Stochastic rounding of numerical values | |
CN111465943A (zh) | 芯片上计算网络 | |
EP3678037A1 (en) | Neural network generator | |
US11275632B2 (en) | Broadcast command and response | |
WO2024027039A1 (zh) | 数据处理方法、装置、设备和可读存储介质 | |
JP7427001B2 (ja) | 行列数学命令セットのタイリングアルゴリズム | |
KR20210014561A (ko) | 다수 컨벌루션 윈도우 중의 이미지 데이터를 추출하는 방법, 장치, 기기 및 컴퓨터 판독 가능한 저장매체 | |
US11409840B2 (en) | Dynamically adaptable arrays for vector and matrix operations | |
KR20210113099A (ko) | 조정 가능한 기능-인-메모리 컴퓨팅 시스템 | |
JP2023542935A (ja) | 早期解放を伴うレジスタ圧縮 | |
TWI850513B (zh) | 用於記憶體內計算的方法及用於計算的系統 | |
US20240127056A1 (en) | Computational storage for an energy-efficient deep neural network training system | |
US12073317B2 (en) | Method and system for processing a neural network | |
CN117875382A (zh) | 高能效的深度神经网络训练系统的计算存储装置 | |
US20230237011A1 (en) | Mapping logical and physical processors and logical and physical memory |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221026 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240123 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7427001 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |