JP2021517299A - データ計算システム - Google Patents

データ計算システム Download PDF

Info

Publication number
JP2021517299A
JP2021517299A JP2020546455A JP2020546455A JP2021517299A JP 2021517299 A JP2021517299 A JP 2021517299A JP 2020546455 A JP2020546455 A JP 2020546455A JP 2020546455 A JP2020546455 A JP 2020546455A JP 2021517299 A JP2021517299 A JP 2021517299A
Authority
JP
Japan
Prior art keywords
calculation
data
memory
result
accelerator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020546455A
Other languages
English (en)
Other versions
JP7381481B2 (ja
Inventor
ヤン，チェンヤン
ラオ，マオユアン
Original Assignee
シー−スカイ マイクロシステムズ カンパニー，リミテッド
シー−スカイ マイクロシステムズ カンパニー，リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シー−スカイ マイクロシステムズ カンパニー，リミテッド, シー−スカイ マイクロシステムズ カンパニー，リミテッド filed Critical シー−スカイ マイクロシステムズ カンパニー，リミテッド
Publication of JP2021517299A publication Critical patent/JP2021517299A/ja
Priority to JP2023188892A priority Critical patent/JP2024003111A/ja
Application granted granted Critical
Publication of JP7381481B2 publication Critical patent/JP7381481B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/491—Computations with decimal numbers radix 12 or 20.
    • G06F7/498—Computations with decimal numbers radix 12 or 20. using counter-type accumulators
    • G06F7/4981—Adding; Subtracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30181—Instruction operation extension or modification
    • G06F9/30189—Instruction operation extension or modification according to execution mode, e.g. mode flag
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/491—Computations with decimal numbers radix 12 or 20.
    • G06F7/4915—Multiplying; Dividing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/491—Computations with decimal numbers radix 12 or 20.
    • G06F7/498—Computations with decimal numbers radix 12 or 20. using counter-type accumulators
    • G06F7/4983—Multiplying; Dividing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443—Sum of products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/556—Logarithmic or exponential functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/57—Arithmetic logic units [ALU], i.e. arrangements or devices for performing two or more of the operations covered by groups G06F7/483 – G06F7/556 or for performing logical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Advance Control (AREA)
  • Multi Processors (AREA)
  • Complex Calculations (AREA)

Abstract

データ計算システムは、メモリ（１１）と、プロセッサ（１２）と、アクセラレータ（１３）とを含み、メモリ（１１）はプロセッサ（１２）に通信可能に結合され、計算用データ及び計算結果を記憶するように構成され、データはプロセッサ（１２）によって書き込まれ、プロセッサ（１２）はアクセラレータ（１３）に通信可能に結合され、アクセラレータ（１３）を制御するように構成され、アクセラレータ（１３）はメモリ（１１）に通信可能に結合され、予め構成された制御情報に従ってメモリ（１１）にアクセスし、計算プロセスを実施して計算結果をもたらし、計算結果をメモリ（１１）に書き戻すように構成される。更にデータ計算システムのアクセラレータ及びアクセラレータによって実行される方法。前述のシステムはプロセッサの実行効率を改善し、プロセッサの計算オーバヘッドを減らすことができる。

Description

関連出願の相互参照
[1] 本開示は、参照によりその全体を本明細書に援用する、２０１８年３月２１日に出願された中国特許出願第２０１８１０２３５３１２．９号の優先権の利益を主張する。
背景
[2] 人工知能（ＡＩ）技術の発展と共に、計算能力及び計算速度はＡＩの分野で不可欠な役割を果たしている。従来の計算の実装方法は次の通りである：プロセッサがバス経由でメモリにアクセスしてデータを読み出し、結果を得るために計算を行い、次いで、計算結果をバス経由でメモリに書き戻す。従来の計算の実装方法での１つの問題はプロセッサが大量のバス資源を占有することであり、それはプロセッサが計算中に絶えずメモリにアクセスする必要があるからである。プロセッサの実行効率が悪影響を受ける。
開示の概要
[3] 本開示は、メモリと、プロセッサと、アクセラレータとを含むデータ計算システムを提供する。メモリはプロセッサに通信可能に結合され、計算用データを記憶するように構成され、データはプロセッサによって書き込まれる。プロセッサはアクセラレータに通信可能に結合され、アクセラレータを制御するように構成される。アクセラレータはメモリに通信可能に結合され、予め構成された制御情報に従ってメモリにアクセスし、データの計算を実施し、計算結果をメモリ内に書き戻すように構成される。本開示は、データ計算システムのアクセラレータ及びアクセラレータによって実行される方法も提供する。
図面の簡単な説明
[4]本開示の一部の実施形態による例示的なデータ計算システムの概略図である。 [5]本開示の一部の実施形態による例示的なアクセラレータの概略図である。 [6]本開示の一部の実施形態による例示的な計算モジュールの概略図である。 [7]本開示の一部の実施形態による、例示的な３２チャネル８ｘ８乗累算データ記憶形式及び計算プロセスの図である。 [8]本開示の一部の実施形態による、例示的な４チャネル１６ｘ１６乗累算データ記憶形式及び計算プロセスの図である。 [9]本開示の一部の実施形態による、指数関数、ソフトマックス関数、及びシグモイド関数のための例示的なデータ記憶形式及び計算プロセスの図である。
詳細な説明
[10] 本開示の実施形態の目的、技術的解決策、及び利点をより明確にするために、本開示の実施形態における技術的解決策を本開示の実施形態において添付図面を参照して以下で説明する。当然ながら、記載する実施形態は本開示の実施形態の全てではなく一部に過ぎない。本開示の実施形態に基づき、創造的な取り組みなしに当業者が得る他の全ての実施形態が本開示の保護範囲に含まれるものとする。
[11] 本開示で示すデータ計算システムはプロセッサの実行効率を改善し、プロセッサの計算オーバヘッドを減らすことができる。本開示の一部の実施形態で示すデータ計算システムは、元のメモリ及びプロセッサに基づいてアクセラレータを追加する。プロセッサはバスを使用してアクセラレータを制御し、アクセラレータはメモリにアクセスし、データの計算を実行し、計算を完了した後で計算結果をメモリに書き戻す。従来の構造と比較し、プロセッサはアクセラレータを制御し、具体的なデータの計算はアクセラレータによって完了される。計算プロセスはアクセラレータによって独立に実行され、プロセッサの計算ユニットもバス資源も占有しない。アクセラレータが計算プロセスを実行している間プロセッサは他のイベントを処理することができ、アクセラレータの計算性能が悪影響を受けることはない。従ってプロセッサの実行効率が改善され、プロセッサの計算オーバヘッドが低減され、データの計算に費やされる時間も短縮される。
[12] 本開示の実施形態はデータ計算システムを提供する。図１は、本開示の一部の実施形態による例示的なデータ計算システムの概略図である。図１に示すように、データ計算システムはメモリ１１と、プロセッサ１２と、アクセラレータ１３とを含む。
[13] メモリ１１はプロセッサ１２に通信可能に結合され、計算用データを記憶するように構成される。全ての計算用データはプロセッサ１２によってメモリ１１内に書き込まれる。
[14] プロセッサ１２はアクセラレータ１３に通信可能に結合され、アクセラレータ１３を制御するように構成される。
[15] アクセラレータ１３はメモリ１１に通信可能に結合され、予め構成された制御情報に従ってメモリ１１にアクセスし、データ計算プロセスを実施し、計算結果をメモリ１１に書き戻すように構成される。
[16] 一部の実施形態では、データ計算プロセスを実行するとき、本開示の実施形態で示すデータ計算システムのプロセッサ１２はアクセラレータ１３を制御するがデータ計算プロセスは実行しない。データ計算プロセスはアクセラレータ１３によって完了される。従って、計算プロセスの間プロセッサ１２はメモリ１１にアクセスする必要がなく、従ってバスを占有せず、それによりバスの利用率を改善する。同時に、アクセラレータ１３がデータの計算を実行するときプロセッサ１２は他のイベントを処理することができ、従ってプロセッサの利用率も改善される。加えて、アクセラレータ１３は計算のために任意の種類のメモリに結合することができる。
[17] 加えて、本開示の一部の実施形態を使用してwake-on-voiceアルゴリズムの実験的検証を行うことができる。従来のシステムでは、同じwake-on-voiceアルゴリズムで処理速度を１９６ＭＣＰＳ（Millions of Cycles Per Second：１００万サイクル／秒）に保つ必要があることを実験データの結果が示している。本開示では、アクセラレータ１３を使用して処理速度が９０ＭＣＰＳに達し得る。性能を約５５％改善することができる。
[18] 図２は、本開示の一部の実施形態による例示的なアクセラレータの概略図である。図２に示すように、アクセラレータ１３は制御レジスタモジュール１３１及び計算モジュール１３２を含む。
[19] 制御レジスタモジュール１３１はプロセッサ１２に通信可能に結合され、制御情報を記憶するように構成される。制御情報は、命令を届けるためのバスを使用してプロセッサ１２によって予め構成される。
[20] 計算モジュール１３２はメモリ１１に通信可能に結合され、制御情報に従ってメモリ１１にアクセスし、データ計算を実施し、計算結果をメモリ１１に書き戻すように構成される。
[21] 一部の実施形態では、制御情報が計算用データのための開始アドレス、オペランドの数、計算方式、計算結果のためのライトバックアドレス、及び計算イネーブルフラグを含む。計算方式は、乗累算演算、指数関数、シグモイド関数、正規化線形（ＲｅＬＵ）関数、及びソフトマックス関数を含む。換言すれば、計算モジュール１３２は乗累算演算、指数関数、シグモイド関数、正規化線形（ＲｅＬＵ）関数、及びソフトマックス関数を実装することができる。但し本開示の計算方式は上記の数種類に限定されず、計算方式はソフトウェアアプリケーションの実際の要件に従ってカスタマイズすることができる。実行中、その使用が柔軟且つ便利であるように、プロセッサによって計算方式を制御することができる。更に、チップ面積を最適化する効果を実現するために、計算方式のハードウェア実装を実際の要件に従って追加し又は削除することができる。
[22] 計算イネーブルフラグが１だと検出した後、計算モジュール１３２は、計算用データのための開始アドレスに従ってメモリ１１から逐次的に計算用データとオペランドの数とを読み出し、計算方式に従ってデータの計算を実行し、計算結果のためのライトバックアドレスに従って計算結果をメモリ１１に書き戻す。同時に、計算モジュール１３２は計算イネーブルフラグをリセットする。計算イネーブルフラグが０だと読み取った後、プロセッサ１２は次の計算を開始することができ、又は計算結果をメモリ１１から読み出すことができる。
[23] 図３は、本開示の一部の実施形態による例示的な計算モジュールの概略図である。図３に示すように、乗累算演算又は正規化線形（ＲｅＬＵ）関数を実装する場合、計算モジュール１３２は乗累算ユニット１３２１、正規化線形（ＲｅＬＵ）計算ユニット１３２２、第１のマルチプレクサ１３２３、及び第２のマルチプレクサ１３２４を含む。
[24] 乗累算ユニット１３２１は、２チャネル１６ビット乗算器１３２１１、２チャネル８ビット乗算器１３２１２、累算器１３２１４、及びレジスタ１３２１３を含む。乗累算ユニット１３２１は、２チャネル１６ビット乗算器１３２１１及び２チャネル８ビット乗算器１３２１２を使用して並列計算を実行し、乗累算計算された結果をレジスタ１３２１３内に記憶するように構成される。
[25] 正規化線形（ＲｅＬＵ）計算ユニット１３２２は、入力データ１３２０又は乗累算ユニット１３２１からの乗累算計算された結果に対して正規化線形（ＲｅＬＵ）関数の計算を実行するように構成される。
[26] 第１のマルチプレクサ１３２３は、ReLU_bypass信号に従い、乗累算ユニット１３２１からの乗累算計算された結果又は入力データ１３２０を正規化線形（ＲｅＬＵ）計算ユニット１３２２へのデータ入力として選択するように構成される。
[27] 第２のマルチプレクサ１３２４は、ReLU_bypass信号に従い、乗累算ユニット１３２１からの乗累算計算された結果に対して正規化線形（ＲｅＬＵ）関数の計算を実行するかどうかを選択するように構成される。
[28] 図４は、本開示の一部の実施形態による、例示的な３２チャネル８ｘ８データ記憶形式及び計算プロセスの図である。３２チャネル８ｘ８乗累算計算を実行するために、図４に従って計算プロセスを以下に示す。
[29] プロセッサ１２がデータＡ及びデータＢをバス経由でメモリ１１内に書き込み、その後の計算プロセスが完了するまでデータは書き込まれない。計算プロセスの完了後に計算用データを置換する必要がある場合、プロセッサ１２が計算用データを書き換える。
[30] 計算用データがメモリ１１内に書き込まれた後、プロセッサ１２は、アクセラレータ１３の制御レジスタモジュール１３１、データＡのための開始アドレス（DATA0_Start_addr）、データＢのための開始アドレス（DATA1_Start_addr）、及び計算結果のためのライトバックアドレス（Result_wb_addr）を構成する。
[31] 次いでプロセッサ１２は、計算方式を３２チャネル８ｘ８乗累算計算（例えば図４の計算）であるように構成し、オペランドの数を３２に設定し、計算イネーブルフラグを１に設定する。
[32] 計算イネーブルフラグが１だと検出した後、アクセラレータ１３の計算モジュール１３２は計算プロセスを開始し、データＡのための開始アドレス（DATA0_Start_addr）、データＢのための開始アドレス（DATA1_Start_addr）、及びオペランドの数に従ってメモリ１１から計算用データを読み出し、乗累算計算を実行する。
[33] 計算が完了した後、計算結果がライトバックアドレス（Result_wb_addr）に従ってメモリ１１内に書き戻され、計算イネーブルフラグがリセットされる。
[34] 計算イネーブルフラグが０だと読み取った後、プロセッサ１２は次の計算プロセスを開始することができ、又は計算結果をメモリ１１から読み出すことができる。
[35] 図５は、本開示の一部の実施形態による、例示的な４チャネル１６ｘ１６乗累算データ記憶形式及び計算プロセスの図である。４チャネル１６ｘ１６乗累算計算を実行するために、図５に従って計算プロセスを以下に示す。
[36] プロセッサ１２がデータＡ及びデータＢをバス経由でメモリ１１内に書き込み、その後の計算プロセスが完了するまでデータは書き込まれない。計算プロセスの完了後に計算用データを置換する必要がある場合、プロセッサ１２が計算用データを書き換える。
[37] データがメモリ１１内に書き込まれた後、プロセッサ１２は、アクセラレータ１３の制御レジスタモジュール１３１、データＡのための開始アドレス（DATA0_Start_addr）、データＢのための開始アドレス（DATA1_Start_addr）、及び計算結果のためのライトバックアドレス（Result_wb_addr）を構成する。
[38] 次いでプロセッサ１２は、計算方式を４チャネル１６ｘ１６乗累算計算（例えば図５の計算）であるように構成し、オペランドの数を４に設定し、計算イネーブルフラグを１に設定する。
[39] 計算イネーブルフラグが１だと検出した後、アクセラレータ１３の計算モジュール１３２は計算プロセスを開始し、データＡのための開始アドレス（DATA0_Start_addr）、データＢのための開始アドレス（DATA1_Start_addr）、及びオペランドの数に従ってメモリ１１から計算用データを読み出し、乗累算計算を実行する。
[40] 計算が完了した後、計算結果がライトバックアドレス（Result_wb_addr）に従ってメモリ１１内に書き戻され、計算イネーブルフラグがリセットされる。
[41] 計算イネーブルフラグが０だと読み取った後、プロセッサ１２は次の計算プロセスを開始することができ、又は計算結果をメモリ１１から読み出すことができる。
[42] 図６は、本開示の一部の実施形態による、指数関数、ソフトマックス関数、及びシグモイド関数のための例示的なデータ記憶形式及び計算プロセスの図である。図６の計算プロセスは、図４及び図５の乗累算計算プロセスと同様である。乗累算計算の代わりに、プロセッサ１２は指数関数、ソフトマックス関数、又はシグモイド関数であるように計算方式を構成する。
[43] 本開示の幾つかの具体的な実施形態を上記で説明したが、本開示の保護範囲はそれらの実施形態に限定されない。本開示によって開示する技術的範囲の中で当業者によって容易に考案され得る如何なる変更又は置換も本開示の保護範囲に含まれるものとする。従って、本開示を保護する保護範囲は特許請求の範囲の保護範囲に服するものとする。

Claims (20)

  1. 計算用データを記憶するように構成されるメモリと、
    前記メモリに通信可能に結合され、前記メモリに前記データを書き込むように構成されるプロセッサと、
    前記メモリ及び前記プロセッサに通信可能に結合され、前記プロセッサから制御情報を受信し、前記制御情報に従って前記メモリにアクセスし、計算結果をもたらす計算プロセスを実施し、前記計算結果を前記メモリに書き戻すように構成されるアクセラレータと
    を含む、データ計算システム。
  2. 前記アクセラレータが、
    前記プロセッサに通信可能に結合され、命令を含む前記制御情報を記憶するように構成される制御レジスタモジュールと、
    前記メモリに通信可能に結合され、前記制御情報に従って前記メモリにアクセスし、前記計算プロセスを実施し、前記計算結果を前記メモリに書き戻すように構成される計算モジュールと
    を含む、請求項１に記載のデータ計算システム。
  3. 前記制御レジスタモジュール内に記憶される前記制御情報が、前記計算用データのための開始アドレス、オペランドの数、計算方式、前記計算結果のためのライトバックアドレス、及び計算イネーブルフラグを含む、請求項２に記載のデータ計算システム。
  4. 前記計算方式が、乗累算演算、指数関数、シグモイド関数、正規化線形関数、又はソフトマックス関数のうちの１つを含む、請求項３に記載のデータ計算システム。
  5. 前記計算イネーブルフラグが有効にされたことを検出した後、前記計算モジュールが前記開始アドレス及び前記オペランドの数に従って前記メモリから前記データを読み出し、前記計算方式に従って前記計算プロセスを実施し、前記ライトバックアドレスに従って前記計算結果を前記メモリに書き戻すように更に構成される、請求項３又は４に記載のデータ計算システム。
  6. 前記計算モジュールは、前記計算プロセスが完了した後で前記計算イネーブルフラグをリセットするように構成される、請求項５に記載のデータ計算システム。
  7. 前記計算モジュールが、
    結果を生成するために乗累算演算を実行するように構成される乗累算ユニット
    を含む、請求項４乃至６の何れか一項に記載のデータ計算システム。
  8. 前記計算モジュールが、
    入力データ又は前記乗累算ユニットからの前記結果に対して正規化線形関数を実行するように構成される正規化線形計算ユニットと、
    前記乗累算ユニットからの前記結果又は前記入力データを前記正規化線形計算ユニットへのデータ入力として選択するように構成される第１のマルチプレクサと
    を含む、請求項７に記載のデータ計算システム。
  9. 前記計算モジュールが、
    前記乗累算ユニット又は前記正規化線形計算ユニットからの前記結果を前記計算結果として選択するように構成される第２のマルチプレクサ
    を含む、請求項８に記載のデータ計算システム。
  10. 前記メモリ内に記憶される前記データが前記計算プロセス中に更新されない、請求項１乃至９の何れか一項に記載のデータ計算システム。
  11. 外部プロセッサに通信可能に結合され、前記外部プロセッサから制御情報を受信するように構成される制御レジスタモジュールと、
    前記外部プロセッサに関連する外部メモリに通信可能に結合され、前記制御情報に従って前記外部メモリにアクセスし、計算結果をもたらす計算プロセスを実施し、前記計算結果を前記外部メモリに書き戻すように構成される計算モジュールと
    を含む、アクセラレータ。
  12. 前記制御情報が、前記計算用データのための開始アドレス、オペランドの数、計算方式、前記計算結果のためのライトバックアドレス、及び計算イネーブルフラグを含む、請求項１１に記載のアクセラレータ。
  13. 前記計算方式が、乗累算演算、指数関数、シグモイド関数、正規化線形関数、又はソフトマックス関数のうちの１つを含む、請求項１２に記載のアクセラレータ。
  14. 前記計算イネーブルフラグが有効にされたことを検出した後、前記計算モジュールが前記開始アドレス及び前記オペランドの数に従って前記外部メモリから前記データを読み出し、前記計算方式に従って前記計算プロセスを実施し、前記ライトバックアドレスに従って前記計算結果を前記外部メモリに書き戻すように更に構成される、請求項１２又は１３に記載のアクセラレータ。
  15. 前記計算モジュールは、前記計算プロセスが完了した後で前記計算イネーブルフラグをリセットするように構成される、請求項１４に記載のアクセラレータ。
  16. 前記計算モジュールが、
    結果を生成するために乗累算演算を実行するように構成される乗累算ユニット
    を含む、請求項１３乃至１５の何れか一項に記載のアクセラレータ。
  17. 前記計算モジュールが、
    入力データ又は前記乗累算ユニットからの前記結果に対して正規化線形関数を実行するように構成される正規化線形計算ユニットと、
    前記乗累算ユニットからの前記結果又は前記入力データを前記正規化線形計算ユニットへのデータ入力として選択するように構成される第１のマルチプレクサと
    を含む、請求項１６に記載のアクセラレータ。
  18. 前記計算モジュールが、
    前記乗累算ユニット又は前記正規化線形計算ユニットからの前記結果を前記計算結果として選択するように構成される第２のマルチプレクサ
    を含む、請求項１７に記載のアクセラレータ。
  19. 前記メモリ内に記憶される前記データが前記計算プロセス中に更新されない、請求項１１乃至１８の何れか一項に記載のアクセラレータ。
  20. データ計算システムのアクセラレータによって実行されるデータ計算方法であって、
    計算用データのための開始アドレス、計算方式、及びライトバックアドレスを前記データ計算システムのプロセッサから前記データ計算システムの前記アクセラレータによって受信すること、
    前記開始アドレスに従って、前記プロセッサに結合されるメモリに前記アクセラレータによってアクセスすること、
    前記計算方式に従って前記データに対して計算プロセスを実行して計算結果をもたらすこと、及び
    前記ライトバックアドレスに従って前記計算結果を前記メモリに書き込むこと
    を含む、データ計算方法。
JP2020546455A 2018-03-21 2019-03-06 データ計算システム Active JP7381481B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023188892A JP2024003111A (ja) 2018-03-21 2023-11-02 データ計算システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810235312.9A CN108446096B (zh) 2018-03-21 2018-03-21 数据计算系统
CN201810235312.9 2018-03-21
PCT/CN2019/077132 WO2019179311A1 (en) 2018-03-21 2019-03-06 Data computing system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023188892A Division JP2024003111A (ja) 2018-03-21 2023-11-02 データ計算システム

Publications (2)

Publication Number Publication Date
JP2021517299A true JP2021517299A (ja) 2021-07-15
JP7381481B2 JP7381481B2 (ja) 2023-11-15

Family

ID=63196016

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020546455A Active JP7381481B2 (ja) 2018-03-21 2019-03-06 データ計算システム
JP2023188892A Pending JP2024003111A (ja) 2018-03-21 2023-11-02 データ計算システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023188892A Pending JP2024003111A (ja) 2018-03-21 2023-11-02 データ計算システム

Country Status (5)

Country Link
US (3) US11243771B2 (ja)
EP (2) EP4404055A3 (ja)
JP (2) JP7381481B2 (ja)
CN (1) CN108446096B (ja)
WO (1) WO2019179311A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446096B (zh) * 2018-03-21 2021-01-29 杭州中天微系统有限公司 数据计算系统
CN110245096B (zh) * 2019-06-24 2023-07-25 苏州暴雪电子科技有限公司 一种实现处理器直接连接扩展计算模块的方法
CN112541581A (zh) * 2019-09-23 2021-03-23 阿里巴巴集团控股有限公司 一种加速计算单元和加速计算系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187599A (ja) * 1996-11-07 1998-07-21 Yamaha Corp デジタル信号処理装置
WO2010150474A1 (ja) * 2009-06-23 2010-12-29 セイコーエプソン株式会社 サブプロセッサー、集積回路装置及び電子機器

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04104358A (ja) 1990-08-23 1992-04-06 Hitachi Ltd マイクロコンピュータ装置
US5742839A (en) * 1992-01-30 1998-04-21 Fujitsu Limited Coprocessor for performing an arithmetic operation by automatically reading data from an external memory
KR100572945B1 (ko) * 1998-02-04 2006-04-24 텍사스 인스트루먼츠 인코포레이티드 효율적으로 접속 가능한 하드웨어 보조 처리기를 구비하는디지탈 신호 처리기
US6219764B1 (en) * 1998-08-03 2001-04-17 Micron Technology, Inc. Memory paging control method
US6526430B1 (en) 1999-10-04 2003-02-25 Texas Instruments Incorporated Reconfigurable SIMD coprocessor architecture for sum of absolute differences and symmetric filtering (scalable MAC engine for image processing)
CN101782930B (zh) 2009-01-21 2012-08-22 国际商业机器公司 在多处理器系统上进行分子动力学模拟的方法和装置
CN102122275A (zh) * 2010-01-08 2011-07-13 上海芯豪微电子有限公司 一种可配置处理器
CN101794210A (zh) * 2010-04-07 2010-08-04 上海交通大学 基于fpga的通用矩阵浮点乘法器
US9460144B2 (en) * 2012-01-13 2016-10-04 Oracle International Corporation Lock acceleration
JP6222079B2 (ja) 2012-02-28 2017-11-01 日本電気株式会社 計算機システム、その処理方法、及びプログラム
DE102013212842A1 (de) * 2013-07-02 2015-01-08 Robert Bosch Gmbh Verfahren zum Betreiben eines Steuergeräts sowie Steuergerät mit einer Modellberechnungseinheit
US9785444B2 (en) * 2013-08-16 2017-10-10 Analog Devices Global Hardware accelerator configuration by a translation of configuration data
CN103677739B (zh) * 2013-11-28 2016-08-17 中国航天科技集团公司第九研究院第七七一研究所 一种可配置的乘累加运算单元及其构成的乘累加运算阵列
US9122514B2 (en) * 2014-01-07 2015-09-01 International Business Machines Corporation Administering message acknowledgements in a parallel computer
US20180046903A1 (en) 2016-08-12 2018-02-15 DeePhi Technology Co., Ltd. Deep processing unit (dpu) for implementing an artificial neural network (ann)
CN107688469B (zh) 2016-12-23 2020-02-11 北京国睿中数科技股份有限公司 兼顾通用指令和专用指令的可重构计算装置
US11562115B2 (en) * 2017-01-04 2023-01-24 Stmicroelectronics S.R.L. Configurable accelerator framework including a stream switch having a plurality of unidirectional stream links
KR102369209B1 (ko) * 2017-02-23 2022-02-28 세레브라스 시스템즈 인코포레이티드 가속화된 심층 학습
US10186011B2 (en) * 2017-04-28 2019-01-22 Intel Corporation Programmable coarse grained and sparse matrix compute hardware with advanced scheduling
US11775313B2 (en) * 2017-05-26 2023-10-03 Purdue Research Foundation Hardware accelerator for convolutional neural networks and method of operation thereof
CN107391447A (zh) * 2017-07-26 2017-11-24 成都网烁信息科技有限公司 一种电脑加速系统及方法
CN107527090A (zh) 2017-08-24 2017-12-29 中国科学院计算技术研究所 应用于稀疏神经网络的处理器和处理方法
CN107622305A (zh) 2017-08-24 2018-01-23 中国科学院计算技术研究所 用于神经网络的处理器和处理方法
US11222256B2 (en) * 2017-10-17 2022-01-11 Xilinx, Inc. Neural network processing system having multiple processors and a neural network accelerator
WO2019104695A1 (zh) * 2017-11-30 2019-06-06 深圳市大疆创新科技有限公司 用于神经网络的运算装置、芯片、设备及相关方法
CN108446096B (zh) 2018-03-21 2021-01-29 杭州中天微系统有限公司 数据计算系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187599A (ja) * 1996-11-07 1998-07-21 Yamaha Corp デジタル信号処理装置
WO2010150474A1 (ja) * 2009-06-23 2010-12-29 セイコーエプソン株式会社 サブプロセッサー、集積回路装置及び電子機器

Also Published As

Publication number Publication date
US11243771B2 (en) 2022-02-08
JP2024003111A (ja) 2024-01-11
JP7381481B2 (ja) 2023-11-15
CN108446096A (zh) 2018-08-24
WO2019179311A1 (en) 2019-09-26
EP3765956A1 (en) 2021-01-20
EP3765956A4 (en) 2021-04-28
EP3765956B1 (en) 2024-07-03
EP4404055A2 (en) 2024-07-24
US11972262B2 (en) 2024-04-30
US20240264836A1 (en) 2024-08-08
US20220147357A1 (en) 2022-05-12
EP4404055A3 (en) 2024-10-16
US20210055879A1 (en) 2021-02-25
CN108446096B (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
JP2024003111A (ja) データ計算システム
US8595280B2 (en) Apparatus and method for performing multiply-accumulate operations
CN107766079B (zh) 处理器以及用于在处理器上执行指令的方法
US11967952B2 (en) Electronic system including FPGA and operation method thereof
US11016773B2 (en) Processor trace extensions to facilitate real-time security monitoring
CN115033188B (zh) 一种基于zns固态硬盘的存储硬件加速模块系统
CN112130901A (zh) 基于risc-v的协处理器、数据处理方法及存储介质
CN110348249A (zh) 一种基于存储器内计算的处理器结构
JP2806171B2 (ja) データ演算装置
TW201823972A (zh) 向量產生指令
CN109683959B (zh) 处理器的指令执行方法及其处理器
KR20220143333A (ko) 분산 sram 아키텍쳐를 가지는 모바일넷 하드웨어 가속기 및 상기 가속기의 채널 정상 데이터 플로우 설계 방법
JP2568017B2 (ja) マイクロプロセッサ及びそれを使用したデータ処理システム
CN110096307B (zh) 通信处理器
JP2008102599A (ja) プロセッサ
CN110245096B (zh) 一种实现处理器直接连接扩展计算模块的方法
JPS6225334A (ja) 命令処理方式
CN118779011A (zh) 数据归一化risc-v指令集扩展方法及硬件加速装置
CN114418077A (zh) 一种加速神经网络计算的方法、系统、设备和存储介质
JP5993687B2 (ja) ワンチッププロセッサ
SU608160A1 (ru) Центральный процессор
CN113867686A (zh) 运算方法、装置及相关产品
JPH0363822A (ja) 計算機制御方式
JP2004362368A (ja) プロセッサおよび例外処理方法
JPH0695317B2 (ja) キヤツシユメモリのプリフエツチ制御方式

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231102

R150 Certificate of patent or registration of utility model

Ref document number: 7381481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150