JP2020521198A - 加算器を使用した多次元テンソルにおけるデータへのアクセス - Google Patents

加算器を使用した多次元テンソルにおけるデータへのアクセス Download PDF

Info

Publication number
JP2020521198A
JP2020521198A JP2019553901A JP2019553901A JP2020521198A JP 2020521198 A JP2020521198 A JP 2020521198A JP 2019553901 A JP2019553901 A JP 2019553901A JP 2019553901 A JP2019553901 A JP 2019553901A JP 2020521198 A JP2020521198 A JP 2020521198A
Authority
JP
Japan
Prior art keywords
dimension
value
address offset
partial address
loop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019553901A
Other languages
English (en)
Other versions
JP7051895B2 (ja
Inventor
テマム，オリビエ
カイタン，ハーシット
ナラヤナスワミ，ラビ
ウ，ドン・ヒョク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/603,061 external-priority patent/US9946539B1/en
Application filed by Google LLC filed Critical Google LLC
Publication of JP2020521198A publication Critical patent/JP2020521198A/ja
Priority to JP2022056584A priority Critical patent/JP7433356B2/ja
Application granted granted Critical
Publication of JP7051895B2 publication Critical patent/JP7051895B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/3001—Arithmetic instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30021—Compare instructions, e.g. Greater-Than, Equal-To, MINMAX
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30036—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3005—Arrangements for executing specific machine instructions to perform operations for flow control
    • G06F9/30065—Loop control instructions; iterative instructions, e.g. LOOP, REPEAT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30072—Arrangements for executing specific machine instructions to perform conditional operations, e.g. using predicates or guards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098—Register arrangements
    • G06F9/30101—Special purpose registers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/32—Address formation of the next instruction, e.g. by incrementing the instruction counter
    • G06F9/322—Address formation of the next instruction, e.g. by incrementing the instruction counter for non-sequential address
    • G06F9/325—Address formation of the next instruction, e.g. by incrementing the instruction counter for non-sequential address for loops, e.g. loop detection or loop counter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/34—Addressing or accessing the instruction operand or the result ; Formation of operand address; Addressing modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/34—Addressing or accessing the instruction operand or the result ; Formation of operand address; Addressing modes
    • G06F9/345—Addressing or accessing the instruction operand or the result ; Formation of operand address; Addressing modes of multiple operands or results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/45—Caching of specific data in cache memory
    • G06F2212/454—Vector or matrix data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Executing Machine-Instructions (AREA)
  • Complex Calculations (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

Ｎ次元テンソルにアクセスするための装置を含む方法、システムおよび装置であって、この装置は、Ｎ次元テンソルの各次元について、部分アドレスオフセット値要素を含み、部分アドレスオフセット値要素は、次元の初期値、次元のステップ値および次元のループの繰り返し回数に少なくとも基づいて次元の部分アドレスオフセット値を格納する。この装置は、ハードウェア加算器と、プロセッサとを含む。プロセッサは、Ｎ次元テンソルの特定の要素にアクセスするための命令を取得する。Ｎ次元テンソルは、Ｎ個の次元の各々にわたって配置された複数の要素を有し、Ｎは、１以上の整数である。プロセッサは、部分アドレスオフセット値要素およびハードウェア加算器を使用して、特定の要素のアドレスを求め、特定の要素にアクセスするための求められたアドレスを示すデータを出力する。

Description

背景
本明細書は、一般に、ハードウェア加算器を有する特殊目的計算ユニットを使用して機械学習計算を実行することに関する。
ニューラルネットワークは、モデルの１つ以上のレイヤを利用して、受信した入力に対する出力、たとえば分類、を生成する機械学習モデルである。ニューラルネットワークの中には、出力レイヤに加えて１つ以上の隠れレイヤを含んでいるものもある。各隠れレイヤの出力は、ネットワーク内の次のレイヤ、すなわちネットワークの次の隠れレイヤまたは出力レイヤ、への入力として使用される。ネットワークの各レイヤは、それぞれのパラメータセットの現在の値に従って、受信した入力から出力を生成する。
ニューラルネットワークの中には、１つ以上の畳み込みニューラルネットワークレイヤを含んでいるものもある。各畳み込みニューラルネットワークレイヤは、関連付けられたカーネルセットを有する。カーネルは、重み入力のマトリクス構造として表すことができる。各畳み込みレイヤは、カーネルを使用してレイヤへの入力を処理する。レイヤへの入力セットも、マトリクス構造として表すことができる。
概要
本明細書には、テンソル要素のメモリアドレスを求めるために１つ以上のハードウェア加算器を使用してＮ次元テンソルにアクセスすることに関連する技術が記載されている。
概して、本明細書に記載されている主題の１つの革新的局面は、Ｎ次元テンソルにアクセスするための装置で具体化することができる。上記装置は、上記Ｎ次元テンソルの各次元について、部分アドレスオフセット値要素を含んでもよく、上記部分アドレスオフセット値要素は、上記次元の初期値、上記次元のステップ値および上記次元のループの繰り返し回数に少なくとも基づいて上記次元の部分アドレスオフセット値を格納する。また、上記装置は、１つ以上のハードウェア加算器と、１つ以上のプロセッサとを含んでもよい。上記１つ以上のプロセッサは、上記Ｎ次元テンソルの特定の要素にアクセスするための命令を取得するように構成されてもよい。上記Ｎ次元テンソルは、上記Ｎ個の次元の各々にわたって配置された複数の要素を有してもよい。Ｎは、１以上の整数であってもよい。上記プロセッサは、上記部分アドレスオフセット値要素および上記１つ以上のハードウェア加算器のうちの１つ以上を使用して、上記特定の要素のアドレスを求め、上記Ｎ次元テンソルの上記特定の要素にアクセスするための上記求められたアドレスを示すデータを出力してもよい。
これらのおよび他の実現例の各々は、任意に、以下の特徴のうちの１つ以上を含んでもよい。いくつかの局面では、上記装置は、各次元について、上記次元の上記初期値を格納する初期値要素と、上記次元の上記ステップ値を格納するステップ値要素とを含んでもよい。各部分アドレスオフセット値要素、各初期値要素および各ステップ値要素は、レジスタを含んでもよい。
いくつかの局面では、上記特定の要素の上記アドレスを求めることは、上記１つ以上のハードウェア加算器を使用して各次元について上記部分アドレスオフセット値の合計を求めることを含んでもよい。上記１つ以上のプロセッサは、各次元について、上記ステップ値を上記次元の以前のアドレスオフセット値に加算することによって、上記次元のネステッドループの各繰り返し後に上記次元の上記部分アドレスオフセット値を求めるように構成されてもよい。
上記装置は、各次元について、上記次元の限界値を格納する限界値要素を含んでもよい。上記１つ以上のプロセッサは、各次元について、次元の上記求められた部分アドレスオフセット値が上記次元の上記限界値に等しいか否かを判断してもよい。第１のネステッドループに対応する第１の次元の上記求められた部分アドレスオフセット値が上記第１の次元の上記限界値に等しいと判断したことに応答して、上記１つ以上のプロセッサは、上記第１の次元の上記部分アドレスオフセット値を上記第１の次元の上記初期値にリセットし、上記第１のネステッドループがネストされる第２のネステッドループに対応する第２の次元について、上記１つ以上のハードウェア加算器を使用して、上記第２の次元の上記ステップ値と上記第２の次元の上記部分アドレスオフセット値との合計に等しくなるように上記第２の次元の上記部分アドレスオフセット値を更新してもよい。いくつかの局面では、各次元の上記ステップ値は、１つ以上の上記次元における要素の個数に基づく予め定められた値である。
本明細書に記載されている主題は、以下の利点のうちの１つ以上を実現するように特定の実施形態において実現することができる。レジスタを使用してメモリアドレス値を追跡することによって、プログラムは、１つの命令で、深くネストされたループを繰り返すことができるようになる。メモリアドレス値は、レジスタに格納された値に基づいて単純な加算を適用することによって速やかに求めることができる。特殊目的計算ユニットは、アドレスを計算する加算器を含み得る。算術論理演算ユニット（ＡＬＵ）、乗算器または他の複雑な回路ではなく加算器を使用することによって、回路のサイズおよび回路の製造コストを下げることができる。ハードウェア加算器を使用してメモリアドレス値を求めることによって、プロセッサにおける計算サイクル数を減らすことができ、他の計算タスクのためのプロセッサ帯域幅が増加する。命令数を減らした状態でテンソルをトラバースすることができる。二次元レジスタアーキテクチャは、同時に追跡される異なる次元を各々が有する多次元テンソルを可能にする。
これおよび他の局面の他の実現例は、コンピュータ記憶装置上に符号化された方法のアクションを実行するように構成された対応するシステム、方法およびコンピュータプログラムを含む。１つ以上のコンピュータからなるシステムは、動作時にシステムにアクションを実行させる、システムにインストールされたソフトウェア、ファームウェア、ハードウェアまたはそれらの組み合わせによってそのように構成することができる。１つ以上のコンピュータプログラムは、データ処理装置によって実行されたときに装置にアクションを実行させる命令を有することによってそのように構成することができる。
本明細書に記載されている主題の１つ以上の実現例の詳細については、添付の図面および以下の説明に記載されている。主題の他の考えられる特徴、局面および利点は、明細書、図面および特許請求の範囲から明らかになるであろう。
計算システムの一例のブロック図である。 テンソルトラバーサルユニットの一例を示す図である。 テンソルトラバーサルユニットの一例を示す図である。 テンソルトラバーサルユニットの一例を示す図である。 テンソルトラバーサルユニットの一例を示す図である。 テンソルトラバーサルユニットの一例を示す図である。 テンソルトラバーサルユニットの一例を示す図である。 テンソルトラバーサルユニットの一例を示す図である。 テンソルトラバーサルユニットの一例を示す図である。 多次元テンソル変数のアドレスを求めるためのプロセスの一例を示すフロー図である。
さまざまな図面中の同様の参照番号および名称は、同様の要素を示す。
詳細な説明
一般に、ソフトウェアアルゴリズムがＮ次元テンソルを処理する際にネステッドループが使用されてもよい。各ループは、Ｎ次元テンソルのそれぞれの次元をトラバースすることに関与し得る。多次元テンソルは、マトリクスまたは多次元マトリクスであってもよい。たとえば、二次元テンソルは、マトリクスであり、三次元テンソルは、複数の二次元マトリクスで構成される三次元マトリクスである。Ｎ次元テンソルの各次元は、１つ以上の要素を含んでもよく、各要素は、それぞれのデータ値を格納してもよい。たとえば、テンソルは、プログラムにおける変数であってもよく、この変数は、３つの次元を有してもよい。第１の次元は、３００個の要素の長さを有してもよく、第２の次元は、１０００個の要素の長さを有してもよく、第３の次元は、２０個の要素の長さを有してもよい。当然のことながら、各次元において他の個数の要素も可能である。
ネステッドループにおいてテンソルをトラバースすることは、要素のメモリアドレス値を計算して、この要素の対応するデータ値をロードまたは格納することを含み得る。ｆｏｒループは、３つのループインデックス変数（たとえば、ｉ、ｊおよびｋ）によって追跡される３つのループを、三次元テンソルをトラバースするようにネストすることができるネステッドループの一例である。ニューラルネットワークでは、テンソルに関連付けられた１つ以上のドット積計算に要素の値が使用されてもよい。たとえば、要素の値は、対応するパラメータまたは重みを乗算されてもよい。要素にアクセスして要素の値を用いて１つ以上の計算を実行するために、テンソルの要素は、ネステッドｆｏｒループを使用して順番にトラバースされてもよい。引き続き三次元テンソルの例を参照して、外側ｆｏｒループを使用して、変数ｉによって追跡されるループをトラバースしてもよく、中間ｆｏｒループループを使用して、変数ｊによって追跡されるループをトラバースしてもよく、内側ｆｏｒループを使用して、変数ｋによって追跡されるループをトラバースしてもよい。この例では、アクセスされる第１の要素は（ｉ＝０，ｊ＝０，ｋ＝０）であってもよく、第２の要素は（ｉ＝０，ｊ＝０，ｋ＝１）であってもよい、などである。以下で説明するように、テンソルトラバーサルユニットを使用する目的は、ネステッドループを使用して順番に各要素のメモリアドレスを求めることによって、処理ユニットが要素の値にアクセスして、この要素の値を使用して１つ以上の計算を実行することができるようにすることである。重みまたはパラメータの値にも、ネステッドｆｏｒループを使用して同様にアクセスすることができる。また、テンソルトラバーサルユニットは、計算に使用される重みもしくはパラメータのアドレス、および／または、計算の出力のアドレスを求める目的でも使用することができ、計算の出力は、ニューラルネットワークの隠れレイヤへの入力として使用されてもよい。
場合によっては、プロセッサは、外側ループインデックス変数を用いて内側ループのループ境界を設定するなど、ループ境界条件を実行する必要があるかもしれない。たとえば、ネステッドループの最も内側のループを出るか否かを判断する際に、プログラムは、最も内側のループのループインデックス変数の現在の値とネステッドループの最も外側のループのループインデックス変数の現在の値とを比較してもよい。
これらのタスクは、分岐命令および整数演算命令などの相当数の命令を必要とする可能性がある。各ループ境界が小さく、ループの数が多い場合には、計算が全実行時間のうちのかなりの部分を占めて、全体的性能を非常に劣化させるおそれがある。プロセッサのためのハードウェアテンソルトラバーサルユニットは、テンソルをトラバースする際にプロセッサが処理しなければならない次元の個数を減少させることによってプロセッサの計算帯域幅を増加させることができる。
図１は、テンソルをトラバースするためのコンピューティングシステムの一例１００のブロック図を示す。一般に、コンピューティングシステム１００は、入力１０４を処理して出力１１６を生成する。コンピューティングシステム１００は、線形代数計算を実行するように構成されてもよい。入力１０４は、コンピューティングシステム１００が処理することができる任意の好適なデータであってもよい。コンピューティングシステム１００は、処理ユニット１０２と、記憶媒体１０４と、テンソルトラバーサルユニット１０６とを含む。
一般に、処理ユニット１０２が、テンソルの特定の要素にアクセスするための命令を実行すると、テンソルトラバーサルユニット１０６は、このテンソルの特定の要素のアドレスを求め、それにより、処理ユニット１０２が記憶媒体１０４にアクセスして特定の要素の値を表すデータ１１４を読み出すことができる。たとえば、プログラムは、ネステッドループを含んでもよく、処理ユニット１０２は、ネステッドループに関連付けられた現在のインデックス変数値に従って、ネステッドループ内の二次元配列変数の要素にアクセスするための命令を実行してもよい。ネステッドループに関連付けられた現在のインデックス変数値に基づいて、テンソルトラバーサルユニット１０６は、二次元配列変数の第１の要素のメモリアドレスからのオフセットを表すアドレスオフセット値を求めてもよい。次いで、処理ユニット１０２は、このアドレスオフセット値を使用して、記憶媒体から二次元配列変数の特定の要素にアクセスしてもよい。
処理ユニット１０２は、記憶媒体１０４に格納された命令１１２または別の記憶装置に格納された他の命令を含む、コンピューティングシステム１００内で実行される命令を処理するように構成される。処理ユニット１０２は、１つ以上のプロセッサを含んでもよい。記憶媒体１０４は、コンピューティングシステム１００内の情報を格納する。いくつかの実現例では、記憶媒体１０４は、１つまたは複数の揮発性メモリユニットである。いくつかの他の実現例では、記憶媒体１０４は、１つまたは複数の不揮発性メモリユニットである。また、記憶媒体１０４は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイスもしくはテープデバイス、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、または一連のデバイス（ストレージエリアネットワークもしくは他の構成のデバイスを含む）などの、別の形態のコンピュータ読取可能媒体であってもよい。命令は、処理ユニット１０２によって実行されると、処理ユニット１０２に１つ以上のタスクを実行させる。
テンソルトラバーサルユニット１０６は、特定用途向け集積回路として実現されてもよい。テンソルトラバーサルユニット１０６は、１つ以上のテンソルに関連付けられた状態を判断するように構成されてもよい。この状態は、ループ境界値、現在のループインデックス変数値、メモリアドレス値を求めるための部分アドレスオフセット値、および／または、分岐ループ境界を処理するためのプログラムカウンタ値を含んでもよい。
テンソルトラバーサルユニット１０６は、テンソルインデックスをメモリアドレスに変換する。たとえば、テンソルトラバーサルユニット１０６は、一組のＮ次元テンソルインデックスを一次元アドレス空間に変換してもよい。テンソルトラバーサルユニットは、テンソル要素のメモリアドレスを要素の次元インデックスの組み合わせ（たとえば、線形組み合わせ）にすることによってこのような変換を実行することができる。
テンソルトラバーサルユニット１０６は、テンソル要素のシーケンスを参照するアドレスのシーケンスを効率的にプログラムに従って生成することができる。このアドレスのシーケンスは、ソフトウェアトラバーサルルーチンにおけるループネストによってアクセスされるであろうテンソル要素のシーケンスに対応する。トラバーサル中にアクセスされる要素のシーケンスは、メモリ内で物理的に連続している場合もあれば、そうでない場合もある。図２Ｂ〜図２Ｈに示され、以下で説明する例は、要素のシーケンスがどのようにしてメモリ内で物理的に連続していないかの一例を示す。
テンソルトラバーサルユニット１０６は、テンソルアドレス値要素１２２と、ハードウェア加算器ユニット１２４とを含む。テンソルアドレス値要素１２２の各々は、記憶要素、たとえばレジスタまたはその他の好適な記憶回路であってもよい。いくつかの実現例では、図２Ａ〜図２Ｈを参照して以下でより詳細に説明するように、テンソルアドレス値要素１２２は、異なるグループに物理的または論理的に分類されてもよい。いくつかの実現例では、テンソルアドレス値要素１２２のグループは、多次元配列に物理的または論理的に配置されてもよい。たとえば、テンソルアドレス値要素１２２の各グループは、二次元配列に物理的または論理的に配置されてもよい。
ハードウェア加算器ユニット１２４は、１つ以上のハードウェア加算器を含み得る。各加算器は、加算演算を実行するように構成されたデジタル回路を含んでもよい。たとえば、以下で説明するように、１つ以上の加算器は、部分アドレスオフセット値を加算して、テンソルの要素の合計アドレスオフセット値を求めてもよい。ハードウェア加算器は、算術論理演算ユニット（ＡＬＵ）およびハードウェア乗算器よりも必要な回路部品が少ないので、ハードウェア加算器ユニット１２４の回路のサイズ（したがって、テンソルトラバーサルユニット１０６のサイズ）は、ＡＬＵおよび／または乗算器を含むテンソルトラバーサルユニットよりも小さくすることができる。また、ハードウェア加算器を有するテンソルトラバーサルユニットの製造コストは、ＡＬＵおよび／または乗算器を有するテンソルトラバーサルユニットの製造コストよりも少ないであろう。いくつかの実現例では、ハードウェア加算器ユニット１２４は、加算器のみを含み、他の数学回路または論理回路は含まない。
図２Ａは、テンソルトラバーサルユニットの一組のテンソルアドレス値要素２００の一例を示す。テンソルアドレス値要素２００は、テンソルトラバーサルユニット１０６のテンソルアドレス値要素１２２に対応してもよい。テンソルトラバーサルユニット２００は、一群の初期値要素２０２と、一群のステップ値要素２０４と、一群の終了値要素２０６と、一群の部分アドレスオフセット値要素２０８とを含む。
初期値要素２０２は、Ｍ個の行とＮ個の列とを有する２Ｄ配列として物理的または論理的に配置されてもよく、ＭおよびＮは、１以上の整数である。初期値要素２０２は、テンソル要素のメモリアドレスを求めるために使用される部分アドレスオフセットの初期値を格納してもよい。いくつかの実現例では、初期値要素２０２の各行は、テンソルの初期値を表してもよい。たとえば、プログラムが２つの配列変数Ｖ１およびＶ２を定義する場合、テンソルトラバーサルユニットは、行２０２ａおよび２０２ｂを割り当てて、配列変数Ｖ１およびＶ２の初期値をそれぞれ格納してもよい。いくつかの実現例では、初期値要素２０２の各列は、テンソルに関連付けられたネステッドループインデックス変数値の初期値を表してもよい。たとえば、プログラムが、変数Ｖ１にアクセスするための３つのループを有するネステッドループを定義し、このネステッドループの各ループが、ネステッドループインデックス変数ｉ，ｊおよびｋによって索引付けされる場合、テンソルトラバーサルユニットは、初期値要素Ｖ１，１、Ｖ１，２およびＶ１，３を割り当てて、ネステッドループインデックス変数ｉ，ｊおよびｋの初期値をそれぞれ格納してもよい。初期値要素２０２については、図２Ｂ〜図２Ｈを参照して以下でより詳細に説明する。
ステップ値要素２０４は、初期値要素２０２と同一の次元を有する２Ｄ配列として物理的または論理的に配置されてもよく、ステップ値要素２０４の各要素は、初期値要素２０２の中に対応する要素を有する。ステップ値要素２０４は、テンソル要素のメモリアドレスを求めるために使用される部分アドレスオフセットのステップ値を格納してもよい。いくつかの実現例では、ステップ値要素２０４の各行は、テンソルのステップ値を表してもよい。たとえば、プログラムが２つの配列変数Ｖ１およびＶ２を定義する場合、テンソルトラバーサルユニットは、行２０４ａおよび２０４ｂを割り当てて、配列変数Ｖ１およびＶ２のステップ値をそれぞれ格納してもよい。いくつかの実現例では、ステップ値要素２０４の各列は、テンソルに関連付けられたネステッドループインデックス変数値のステップ値を表してもよい。たとえば、プログラムが、変数Ｖ１にアクセスするための３つのループを有するネステッドループを定義し、このネステッドループの各ループが、ネステッドループインデックス変数ｉ，ｊおよびｋによって索引付けされる場合、テンソルトラバーサルユニットは、ステップ値要素Ｘ１，１、Ｘ１，２およびＸ１，３を割り当てて、ネステッドループインデックス変数ｉ，ｊおよびｋのステップ値をそれぞれ格納してもよい。ステップ値要素２０４については、図２Ｂ〜図２Ｈを参照して以下でより詳細に説明する。
終了値要素２０６は、初期値要素２０２と同一の次元を有する２Ｄ配列として物理的または論理的に配置されてもよく、終了値要素２０６の各要素は、初期値要素２０２の中に対応する要素を有する。終了値要素２０６は、テンソル要素のメモリアドレスを求めるために使用される部分アドレスオフセットの終了値を格納してもよい。いくつかの実現例では、終了値要素２０６の各行は、テンソルの終了値を表してもよい。たとえば、プログラムが２つの配列変数Ｖ１およびＶ２を定義する場合、テンソルトラバーサルユニットは、行２０６ａおよび２０６ｂを割り当てて、配列変数Ｖ１およびＶ２の終了値をそれぞれ格納してもよい。いくつかの実現例では、終了値要素２０６の各列は、テンソルに関連付けられたネステッドループインデックス変数値の終了値を表してもよい。たとえば、プログラムが、変数Ｖ１にアクセスするための３つのループを有するネステッドループを定義し、このネステッドループの各ループが、ネステッドループインデックス変数ｉ，ｊおよびｋによって索引付けされる場合、テンソルトラバーサルユニットは、終了値要素Ｙ１，１、Ｙ１，２およびＹ１，３を割り当てて、ネステッドループインデックス変数ｉ，ｊおよびｋの終了値をそれぞれ格納してもよい。終了値要素２０６については、図２Ｂ〜図２Ｈを参照して以下でより詳細に説明する。
部分アドレスオフセット値要素２０８は、初期値要素２０２と同一の次元を有する２Ｄ配列として物理的または論理的に配置されてもよく、部分アドレスオフセット値要素２０８の各要素は、初期値要素２０２の中に対応する要素を有する。部分アドレスオフセット値要素２０６は、テンソル要素のメモリアドレスを求めるために使用される部分アドレスオフセット値を格納してもよい。いくつかの実現例では、部分アドレスオフセット値要素２０８の各行は、テンソルの部分アドレスオフセット値を表してもよい。たとえば、プログラムが２つの配列変数Ｖ１およびＶ２を定義する場合、テンソルトラバーサルユニットは、行２０８ａおよび２０８ｂを割り当てて、配列変数Ｖ１およびＶ２の部分アドレスオフセット値をそれぞれ格納してもよい。いくつかの実現例では、部分アドレスオフセット値要素２０８の各列は、テンソルに関連付けられたネステッドループインデックス変数値の部分アドレスオフセット値を表してもよい。たとえば、プログラムが、変数Ｖ１にアクセスするための３つのループを有するネステッドループを定義し、このネステッドループの各ループが、ネステッドループインデックス変数ｉ，ｊおよびｋによって索引付けされる場合、テンソルトラバーサルユニットは、部分アドレスオフセット値要素Ｚ１，１、Ｚ１，２およびＺ１，３を割り当てて、ネステッドループインデックス変数ｉ，ｊおよびｋの部分アドレスオフセット値をそれぞれ格納してもよい。部分アドレスオフセット値要素２０８については、図２Ｂ〜図２Ｈを参照して以下でより詳細に説明する。
図２Ｂ〜図２Ｈは、テンソルアドレス値要素２００がどのようにしてテンソルトラバーサルユニットによって使用されてテンソルを処理し得るかの一例を示し、テンソルのテンソル要素のメモリアドレス値を求めることを含む。図２Ｂを参照して、プログラム２１２は、記憶媒体１０４または別の記憶媒体に格納されてもよく、処理ユニット１０２によって実行可能である。プログラム２１２は、第１の次元が３であり、第２の次元が２であり、第３の次元が２である文字配列変数Ｖ１を指定する。プログラム２１２は、変数Ｖ１をトラバースするためのネステッドｆｏｒループを指定し、このｆｏｒループは、ネステッドループインデックス変数ｉによって追跡される外側ループにおいてＶ１の第１の次元をトラバースし、ネステッドループインデックス変数ｊによって追跡される中間ループにおいてＶ１の第２の次元をトラバースし、ネステッドループインデックス変数ｋによって追跡される内側ループにおいてＶ１の第３の次元をトラバースする。本明細書に記載されている図２Ｂ〜図２Ｈの示されている例は、３つの次元を含んでいるが、異なる個数の次元（たとえば、２つ、５つ、８つ、または他の個数の次元）を有するテンソルのメモリアドレス値を同様の態様で求めることができる。たとえば、８つの次元を有するテンソルがトラバースされてもよく、テンソル要素のメモリアドレスは、８重のループネストを使用して求めることができる。
いくつかの実現例では、テンソルアドレス値要素２００は、プログラムの開始時に初期化されてもよい。たとえば、プロセッサは、テンソルアドレス値要素２００を初期化する命令「InitializeElements」を実行してもよい。この命令は、プロセッサによって実行可能な命令セットのハードウェア命令であってもよい。いくつかの実現例では、初期化後、テンソルアドレス値要素２００の各要素は、予め定められた値に設定される。いくつかの実現例では、プロセッサは、たとえば初期値要素２０２のためにある命令を実行し、ステップ値要素のためにある命令を実行するなど、テンソルアドレス値要素の各グループについて別々の命令を実行してもよい。各々の別々の命令は、そのグループの各要素を当該要素のための予め定められた値に設定してもよい。
この例では、各初期値要素２０２は、ゼロという値に設定される。次元の初期値は、この次元をトラバースするｆｏｒループの１回目の繰り返しの間、この次元の部分アドレスオフセット値が設定される値である。したがって、この例では、各次元の部分アドレスオフセット値は、この次元のｆｏｒループの１回目の繰り返しの間はゼロという値に設定されることになる。
ステップ値要素は、テンソル要素のメモリアドレスを求めるために使用される部分アドレスオフセットのステップ値を格納してもよい。次元のステップ値は、この次元をトラバースするｆｏｒループの各繰り返しの後にこの次元の部分アドレスオフセット値に加算される値である。この例では、内側ネステッドループインデックス変数ｋは、１というステップ値を有し、中間ネステッドループインデックス変数ｊは、６というステップ値を有し、外側ネステッドループインデックス変数ｉは、２というステップ値を有する。
いくつかの実現例では、プロセッサ、ユーザ、またはテンソルをトラバースするためのプログラムをコンパイルするコンパイラは、テンソルの１つ以上の次元における要素の個数に基づいて各次元のステップ値および／または終了値を求める。一例では、各次元のステップ値および／または終了値は、テンソルのメモリレイアウトによって決まる。二次元テンソルの場合、メモリレイアウトは、たとえば行優先または列優先の順序に従ってもよい。このように、各テンソル要素について計算されるメモリアドレスは、各々の他のテンソル要素のメモリアドレスとは異なっている。いくつかの実現例では、メモリアドレスは、トラバーサル中にアクセスされる要素のシーケンスがメモリ内で物理的に連続しているように求められる。この例では、第１のテンソル要素は、第１のアドレスを有する第１のメモリ場所に格納されてもよく、第２のテンソル要素は、第１のメモリ場所のすぐ隣に位置する第２のメモリ場所に格納されてもよく、第３のテンソル要素は、第２のメモリ場所のすぐ隣に位置する第３のメモリ場所に格納されてもよい、などである。いくつかの実現例では、メモリアドレスは、トラバーサル中にアクセスされる要素のシーケンスがメモリ内で物理的に連続していないように求められる。この例では、第２のテンソル要素は、第１のテンソル要素のすぐ隣に格納されなくてもよい。
終了値要素は、次元の終了値を格納してもよい。次元の終了値は、部分アドレスオフセット値がこの次元の初期値にリセットされる値を表す。また、第１のループの部分アドレスオフセット値が第１のループの終了値に等しい場合には、第１のループがネストされる第２のループのステップ値が第２のループの部分アドレスオフセット値に加算される。この例では、内側ネステッドループインデックス変数ｉは、２という終了値を有し、中間ネステッドループインデックス変数ｉは、１２というステップ値を有し、外側ネステッドループインデックス変数ｋは、６という終了値を有する。したがって、内側ネステッドループインデックス変数ｉの部分アドレスオフセット値が２という値に達すると、プロセッサは、内側ネステッドループインデックス変数ｉの部分アドレスオフセット値をゼロにリセットして、中間ネステッドループインデックス変数ｊのステップ値（６）を中間ネステッドループインデックス変数ｊの部分アドレスオフセット値に加算してもよい。これが中間ネステッドループインデックス変数ｊによって追跡されるループの１回目の繰り返しであれば、中間ネステッドループインデックス変数ｊの部分アドレスオフセット値は、６（０＋６）になるであろう。
部分アドレスオフセット値要素２０８は、次元の部分アドレスオフセット値を格納する。この例では、プロセッサは、部分アドレスオフセット値をゼロに設定する。部分アドレスオフセット値は、テンソル要素のメモリアドレスオフセットを求めるために使用される。いくつかの実現例では、特定の変数についての特定のテンソル要素のメモリアドレスは、式２２５に示されるように、テンソル要素の予め指定されたベースアドレスとテンソル要素の次元の部分アドレスオフセット値との合計に基づく。変数Ｖ１では、特定のテンソル要素のメモリアドレスは、テンソル要素のベースアドレスと行２０８ａ（一番上の行）における部分アドレスオフセット値との合計に等しい。したがって、変数Ｖ１（ｉ＝０，ｊ＝０，ｋ＝０）の各次元の第１の要素に対応するテンソル要素では、部分アドレスオフセット値が全てゼロであるので、メモリアドレスは、ベースアドレス＋ゼロに等しい。
テンソル要素のメモリアドレスは、図１のハードウェア加算器ユニット１２４を使用して求めることができる。たとえば、特定の変数（たとえば、変数Ｖ１）についての加算器への入力は、ベースアドレスおよびこの変数の特定の行（たとえば、変数Ｖ１の行２０８ａ）における各部分アドレスオフセット値要素の値であってもよい。出力は、この変数のメモリアドレスである。
図２Ｃは、プログラム２１２に従って要素Ｖ１［０］［０］［０］にアクセスすることを示す。たとえば、プロセッサは、アクセスされる要素に対応するメモリアドレスを突き止める命令「LocateTensor」を実行してもよい。いくつかの実現例では、この命令は、ベースメモリアドレスを含んでもよい。たとえば、命令「LocateTensor」は、変数Ｖ１の第１の要素である要素Ｖ１［０］［０］［０］のメモリアドレスを含んでもよい。いくつかの実現例では、この命令は、アクセス対象のテンソルに対応する行番号を含んでもよい。たとえば、命令「LocateTensor」は、変数Ｖ１に対応する行番号を含んでもよい。ここでは、行番号は１である。
いくつかの実現例では、テンソルトラバーサルユニットを含むコンピューティングシステムは、テンソルトラバーサルユニットからメモリアドレス値を照会する有限状態機械（ＦＳＭ）を含んでもよい。たとえば、ＦＳＭは、図２Ｂ〜図２Ｈに関連して説明した「LocateTensor」および「IterateTensor」命令などの命令を実行するプロセッサではないプロセッサのメモリアドレス値を照会してもよい。ＦＳＭは、プロセッサを参照して以下で説明するように、ネステッドループを繰り返しトラバースし、ループをトラバースしながら部分アドレス値を繰り返してもよい。次いで、プロセッサは、求められたメモリアドレス値を、それらが求められた通りにハードウェアカウンタまたはＦＳＭから受信することができる。
いくつかの実現例では、この命令を受信したことに応答して、ハードウェア加算器ユニット（たとえば、図１のハードウェア加算器ユニット１２４）は、部分アドレス値要素２０８の行１（行２０８ａ）における部分アドレスオフセット値要素２０８の各々に格納された値の合計を計算することによってメモリアドレスオフセットを求める。ここで、ハードウェア加算器ユニットは、要素Ｚ１，１、Ｚ１，２およびＺ１，３に格納された値の合計を求める。次いで、プロセッサは、ベースメモリアドレスを求められたメモリアドレスオフセット（すなわち、この例では０）に加算してメモリアドレスを求め、求められたメモリアドレスに基づいて、記憶媒体に格納されたデータにアクセスすることによって、要素Ｖ１［０］［０］［０］にアクセスすることができる。別の例では、ハードウェア加算器は、ベースメモリアドレスと要素Ｚ１，１、Ｚ１，２およびＺ１，３に格納された値との合計を求めることによって要素Ｖ１［０］［０］［０］のメモリアドレスを求めてもよい。次いで、プロセッサは、求められたメモリアドレスに基づいて、記憶媒体に格納されたにアクセスすることができる。
図２Ｄは、プログラム２１２に従って要素Ｖ１［０］［０］［１］にアクセスすることを示す。たとえば、プログラムが内側ループの１回目の繰り返しを完了した後、プロセッサは、プログラムが内側ループの２回目の繰り返し（すなわち、ｉ＝０，ｊ＝０，ｋ＝１）に入ったときに部分アドレスオフセット値を更新する命令「IterateTensor」を実行してもよい。いくつかの実現例では、テンソルトラバーサルユニットは、内側ループ（内側ネステッドループインデックス変数ｉによって追跡されるループ）に対応する次元の部分アドレスオフセット値要素２０８を、内側ループに対応する次元のステップ値だけインクリメントすることによって、部分アドレスオフセット値を更新する。この例では、部分アドレスオフセット値要素Ｚ１，１に格納された部分アドレスオフセット値は、ハードウェア加算器ユニットを使用して、ステップ値要素Ｘ１，１に格納されたステップ値だけインクリメントされる。内側ループのために格納された、結果として生じる更新後の部分アドレスオフセット値は、Ｚ１，１に格納された以前の値とＸ１，１に格納された値との合計、すなわち０＋１＝１である。
いくつかの実現例では、テンソルトラバーサルユニットは、要素Ｚ１，１に格納された更新後の部分オフセットアドレス値と要素Ｙ１，１に格納された内側ループの終了値とを比較する。Ｚ１，１に格納された更新後の部分オフセットアドレス値が、要素Ｙ１，１に格納された内側ループの終了値に等しい場合、テンソルトラバーサルユニットは、要素Ｚ１，１に格納された部分オフセットアドレス値の値を、要素Ｖ１，１に格納された内側ループの初期値にリセットしてもよい。また、以下でより詳細に説明するように、テンソルトラバーサルユニットは、要素Ｚ１，２に格納された中間ループに対応する次元の部分アドレスオフセット値を、Ｘ１，２に格納された中間ループのステップ値だけインクリメントしてもよい。
要素Ｚ１，１に格納された更新後の部分オフセットアドレス値が、要素Ｙ１，１に格納された内側ループの終了値未満である場合、テンソルトラバーサルユニットは、要素Ｚ１，１に格納された内側ループの更新後の部分アドレス値を保持してもよい。この例では、内側ループの更新後の部分アドレスオフセット値（１）は、内側ループの終了値（２）未満である。したがって、テンソルトラバーサルユニットは、中間ループの部分アドレスオフセット値をインクリメントすることなく、内側ループの部分アドレスオフセット要素Ｚ１，１に格納された更新後の部分アドレスオフセット値を保持する。
次いで、プロセッサは、Ｖ１［０］［０］［１］に対応するメモリアドレスを突き止めるための命令「LocateTensor」を実行することによって、要素Ｖ１［０］［０］［１］にアクセスすることができる。この命令を受信したことに応答して、ハードウェア加算器ユニットは、部分アドレス値要素２０８の行１（行２０８ａ）における部分アドレスオフセット値要素２０８の各々に格納された値の合計を計算することによって、メモリアドレスオフセットを求める。ここで、ハードウェア加算器ユニットは、要素Ｚ１，１、Ｚ１，２およびＺ１，３に格納された値の合計を求める。次いで、プロセッサは、ベースメモリアドレスを求められたメモリアドレスオフセット（すなわち、この例では１）に加算してメモリアドレスを求め、求められたメモリアドレスに基づいて、記憶媒体に格納されたデータにアクセスすることによって、要素Ｖ１［０］［０］［１］にアクセスすることができる。別の例では、ハードウェア加算器は、ベースメモリアドレスと要素Ｚ１，１、Ｚ１，２およびＺ１，３に格納された値との合計を求めることによって、要素Ｖ１［０］［０］［１］のメモリアドレスを求めてもよい。次いで、プロセッサは、求められたメモリアドレスに基づいて、記憶媒体に格納されたにアクセスすることができる。
図２Ｅは、プログラム２１２に従って要素Ｖ１［０］［１］［０］にアクセスすることを示す。たとえば、プログラムが内側ループの２回目の繰り返しを完了した後、プロセッサは、プログラムが中間ループの２回目の繰り返し（すなわち、ｉ＝０，ｊ＝１，ｋ＝０）に入ったときに部分アドレスオフセット値を更新する命令「IterateTensor」を実行してもよい。いくつかの実現例では、テンソルトラバーサルユニットは、内側ループ（内側ネステッドループインデックス変数ｉによって追跡されるループ）に対応する次元の部分アドレスオフセット値要素２０８を、内側ループに対応する次元のステップ値だけインクリメントすることによって、部分アドレスオフセット値を更新する。この例では、部分アドレスオフセット値要素Ｚ１，１に格納された部分アドレスオフセット値は、ハードウェア加算器ユニットを使用して、ステップ値要素Ｘ１，１に格納されたステップ値だけインクリメントされる。内側ループのために格納された、結果として生じる更新後の部分アドレスオフセット値は、Ｚ１，１に格納された以前の値とＸ１，１に格納された値との合計、すなわち１＋１＝２である。
いくつかの実現例では、テンソルトラバーサルユニットは、要素Ｚ１，１に格納された更新後の部分オフセットアドレス値と要素Ｙ１，１に格納された内側ループの終了値とを比較する。Ｚ１，１に格納された更新後の部分オフセットアドレス値が、要素Ｙ１，１に格納された内側ループの終了値に等しい場合、テンソルトラバーサルユニットは、要素Ｚ１，１に格納された部分オフセットアドレス値の値を、要素Ｖ１，１に格納された内側ループの初期値にリセットしてもよい。また、テンソルトラバーサルユニットは、要素Ｚ１，２に格納された中間ループに対応する次元の部分アドレスオフセット値を、Ｘ１，２に格納された中間ループのステップ値だけインクリメントしてもよい。
要素Ｚ１，１に格納された更新後の部分オフセットアドレス値が、要素Ｙ１，１に格納された内側ループの終了値未満である場合、テンソルトラバーサルユニットは、要素Ｚ１，１に格納された内側ループの更新後の部分アドレス値を保持してもよい。この例では、内側ループの更新後の部分アドレスオフセット値（２）は、内側ループの終了値（２）に等しい。したがって、テンソルトラバーサルユニットは、要素Ｚ１，１に格納された部分オフセットアドレス値を、要素Ｖ１，１に格納された初期値にリセットする。また、テンソルトラバーサルユニットは、要素Ｚ１，２に格納された中間ループの部分アドレスオフセット値を、Ｘ１，２に格納された中間ループのステップ値だけインクリメントする。この例では、中間ループの更新後の部分アドレスオフセット値は、６（０＋６）である。
いくつかの実現例では、テンソルトラバーサルユニットは、中間ループの部分オフセットアドレス値を更新すると判断したことに応答して、要素Ｚ１，２に格納された中間ループの更新後の部分オフセットアドレス値と、要素Ｙ１，２に格納された中間ループの終了値とを比較する。Ｚ１，２に格納された中間ループ値の更新後の部分オフセットアドレスが、要素Ｙ１，２に格納された中間ループの終了値に等しい場合、テンソルトラバーサルユニットは、要素Ｚ１，２に格納された部分オフセットアドレス値の値を、要素Ｖ１，２に格納された中間ループの初期値にリセットしてもよい。また、以下で説明するように、テンソルトラバーサルユニットは、要素Ｚ１，３に格納された外側ループに対応する次元の部分アドレスオフセット値を、Ｘ１，３に格納された外側ループのステップ値だけインクリメントしてもよい。
要素Ｚ１，２に格納された中間ループの更新後の部分オフセットアドレス値が、要素Ｙ１，２に格納された中間ループの終了値未満である場合、テンソルトラバーサルユニットは、要素Ｚ１，２に格納された中間ループの更新後の部分アドレス値を保持してもよい。この例では、中間ループの更新後の部分アドレスオフセット値（６）は、内側ループの終了値（１２）未満である。したがって、テンソルトラバーサルユニットは、外側ループの部分アドレスオフセット値をインクリメントすることなく、中間ループの部分アドレスオフセット要素Ｚ１，２に格納された更新後の部分アドレスオフセット値を保持する。
次いで、プロセッサは、Ｖ１［０］［１］［０］に対応するメモリアドレスを突き止めるための命令「LocateTensor」を実行することによって、要素Ｖ１［０］［１］［０］にアクセスすることができる。この命令を受信したことに応答して、ハードウェア加算器ユニットは、部分アドレス値要素２０８の行１（行２０８ａ）における部分アドレスオフセット値要素２０８の各々に格納された値の合計を計算することによって、メモリアドレスオフセットを求める。ここで、ハードウェア加算器ユニットは、要素Ｚ１，１、Ｚ１，２およびＺ１，３に格納された値の合計を求める。次いで、プロセッサは、ベースメモリアドレスを求められたメモリアドレスオフセット（すなわち、この例では６）に加算してメモリアドレスを求め、求められたメモリアドレスに基づいて、記憶媒体に格納されたデータにアクセスすることによって、要素Ｖ１［０］［１］［０］にアクセスすることができる。別の例では、ハードウェア加算器は、ベースメモリアドレスと要素Ｚ１，１、Ｚ１，２およびＺ１，３に格納された値との合計を求めることによって、要素Ｖ１［０］［１］［０］のメモリアドレスを求めてもよい。次いで、プロセッサは、求められたメモリアドレスに基づいて、記憶媒体に格納されたにアクセスすることができる。
図２Ｆは、プログラム２１２に従って要素Ｖ１［０］［１］［１］にアクセスすることを示す。たとえば、プログラムが中間ループの２回目の繰り返しのための内側ループの１回目の繰り返しを完了した後、プロセッサは、プログラムが中間ループの２回目の繰り返しのための内側ループの２回目の繰り返し（すなわち、ｉ＝０，ｊ＝１，ｋ＝１）に入ったときに部分アドレスオフセット値を更新する命令「IterateTensor」を実行してもよい。いくつかの実現例では、テンソルトラバーサルユニットは、内側ループ（内側ネステッドループインデックス変数ｉによって追跡されるループ）に対応する次元の部分アドレスオフセット値要素２０８を、内側ループに対応する次元のステップ値だけインクリメントすることによって、部分アドレスオフセット値を更新する。この例では、部分アドレスオフセット値要素Ｚ１，１に格納された部分アドレスオフセット値は、ハードウェア加算器ユニットを使用して、ステップ値要素Ｘ１，１に格納されたステップ値だけインクリメントされる。内側ループのために格納される、結果として生じる更新後の部分アドレスオフセット値は、Ｚ１，１に格納された以前の値とＸ１，１に格納された値との合計、すなわち０＋１＝２である。
いくつかの実現例では、テンソルトラバーサルユニットは、要素Ｚ１，１に格納された更新後の部分オフセットアドレス値と、要素Ｙ１，１に格納された内側ループの終了値とを比較する。Ｚ１，１に格納された更新後の部分オフセットアドレス値が、要素Ｙ１，１に格納された内側ループの終了値に等しい場合、テンソルトラバーサルユニットは、要素Ｚ１，１に格納された部分オフセットアドレス値の値を、要素Ｖ１，１に格納された内側ループの初期値にリセットしてもよい。また、テンソルトラバーサルユニットは、要素Ｚ１，２に格納された中間ループに対応する次元の部分アドレスオフセット値を、Ｘ１，２に格納された中間ループのステップ値だけインクリメントしてもよい。
要素Ｚ１，１に格納された更新後の部分オフセットアドレス値が、要素Ｙ１，１に格納された内側ループの終了値未満である場合、テンソルトラバーサルユニットは、要素Ｚ１，１に格納された内側ループの更新後の部分アドレス値を保持してもよい。この例では、内側ループの更新後の部分アドレスオフセット値（１）は、内側ループの終了値（２）未満である。したがって、テンソルトラバーサルユニットは、中間ループの部分アドレスオフセット値をインクリメントすることなく、内側ループの部分アドレスオフセット要素Ｚ１，１に格納された更新後の部分アドレスオフセット値を保持する。
次いで、プロセッサは、Ｖ１［０］［１］［１］に対応するメモリアドレスを突き止めるための命令「LocateTensor」を実行することによって、要素Ｖ１［０］［１］［１］にアクセスすることができる。この命令を受信したことに応答して、ハードウェア加算器ユニットは、部分アドレス値要素２０８の行１（行２０８ａ）における部分アドレスオフセット値要素２０８の各々に格納された値の合計を計算することによって、メモリアドレスオフセットを求める。ここで、ハードウェア加算器ユニットは、要素Ｚ１，１、Ｚ１，２およびＺ１，３に格納された値の合計を求める。次いで、プロセッサは、ベースメモリアドレスを求められたメモリアドレスオフセット（すなわち、この例では７）を加算してメモリアドレスを求め、求められたメモリアドレスに基づいて、記憶媒体に格納されたデータにアクセスすることによって、要素Ｖ１［０］［１］［１］にアクセスすることができる。別の例では、ハードウェア加算器は、ベースメモリアドレスと要素Ｚ１，１、Ｚ１，２およびＺ１，３に格納された値との合計を求めることによって、要素Ｖ１［０］［１］［１］のメモリアドレスを求めてもよい。次いで、プロセッサは、求められたメモリアドレスに基づいて、記憶媒体に格納されたにアクセスすることができる。
図２Ｇは、プログラム２１２に従って要素Ｖ１［１］［０］［０］にアクセスすることを示す。たとえば、プログラムが中間ループの２回目の繰り返しのための内側ループの２回目の繰り返しを完了した後、プロセッサは、プログラムが外側ループの２回目の繰り返し（すなわち、ｉ＝１，ｊ＝０，ｋ＝０）に入ったときに部分アドレスオフセット値を更新する命令「IterateTensor」を実行してもよい。いくつかの実現例では、テンソルトラバーサルユニットは、内側ループ（内側ネステッドループインデックス変数ｉによって追跡されるループ）に対応する次元の部分アドレスオフセット値要素２０８を、内側ループに対応する次元のステップ値だけインクリメントすることによって、部分アドレスオフセット値を更新する。この例では、部分アドレスオフセット値要素Ｚ１，１に格納された部分アドレスオフセット値は、ハードウェア加算器ユニットを使用して、ステップ値要素Ｘ１，１に格納されたステップ値だけインクリメントされる。内側ループのために格納される、結果として生じる更新後の部分アドレスオフセット値は、Ｚ１，１に格納された以前の値とＸ１，１に格納された値との合計、すなわち１＋１＝２である。
いくつかの実現例では、テンソルトラバーサルユニットは、要素Ｚ１，１に格納された更新後の部分オフセットアドレス値と、要素Ｙ１，１に格納された内側ループの終了値とを比較する。Ｚ１，１に格納された更新後の部分オフセットアドレス値が、要素Ｙ１，１に格納された内側ループの終了値に等しい場合、テンソルトラバーサルユニットは、要素Ｚ１，１に格納された部分オフセットアドレス値の値を、要素Ｖ１，１に格納された内側ループの初期値にリセットしてもよい。また、テンソルトラバーサルユニットは、要素Ｚ１，２に格納された中間ループに対応する次元の部分アドレスオフセット値を、Ｘ１，２に格納された中間ループのステップ値だけインクリメントしてもよい。
要素Ｚ１，１に格納された更新後の部分オフセットアドレス値が、要素Ｙ１，１に格納された内側ループの終了値未満である場合、テンソルトラバーサルユニットは、要素Ｚ１，１に格納された内側ループの更新後の部分アドレス値を保持してもよい。この例では、内側ループの更新後の部分アドレスオフセット値（２）は、内側ループの終了値（２）に等しい。したがって、テンソルトラバーサルユニットは、要素Ｚ１，１に格納された部分オフセットアドレス値を、要素Ｖ１，１に格納された初期値にリセットする。また、テンソルトラバーサルユニットは、要素Ｚ１，２に格納された中間ループの部分アドレスオフセット値を、Ｘ１，２に格納された中間ループのステップ値だけインクリメントする。この例では、中間ループの更新後の部分アドレスオフセット値は、１２（６＋６）である。
いくつかの実現例では、テンソルトラバーサルユニットは、中間ループの部分オフセットアドレス値を更新すると判断したことに応答して、要素Ｚ１，２に格納された中間ループの更新後の部分オフセットアドレス値と、要素Ｙ１，２に格納された中間ループの終了値とを比較する。Ｚ１，２に格納された中間ループの更新後の部分オフセットアドレスが、要素Ｙ１，２に格納された中間ループの終了値に等しい場合、テンソルトラバーサルユニットは、要素Ｚ１，２に格納された部分オフセットアドレス値の値を、要素Ｖ１，２に格納された中間ループの初期値にリセットしてもよい。また、テンソルトラバーサルユニットは、要素Ｚ１，３に格納された外側ループに対応する次元の部分アドレスオフセット値を、Ｘ１，３に格納された外側ループのステップ値だけインクリメントしてもよい。
要素Ｚ１，２に格納された中間ループの更新後の部分オフセットアドレス値が、要素Ｙ１，２に格納された中間ループの終了値未満である場合、テンソルトラバーサルユニットは、要素Ｚ１，２に格納された中間ループの更新後の部分アドレス値を保持してもよい。この例では、中間ループの更新後の部分アドレスオフセット値（１２）は、中間ループの終了値（１２）に等しい。したがって、テンソルトラバーサルユニットは、要素Ｚ１，２に格納された部分オフセットアドレス値を、要素Ｖ１，２に格納された初期値にリセットする。また、テンソルトラバーサルユニットは、要素Ｚ１，３に格納された外側ループの部分アドレスオフセット値を、Ｘ１，３に格納された外側ループのステップ値だけインクリメントする。この例では、外側ループの更新後の部分アドレスオフセット値は、２（０＋２）である。
次いで、プロセッサは、Ｖ１［１］［０］［０］に対応するメモリアドレスを突き止めるための命令「LocateTensor」を実行することによって、要素Ｖ１［１］［０］［０］にアクセスすることができる。この命令を受信したことに応答して、ハードウェア加算器ユニットは、部分アドレス値要素２０８の行１（行２０８ａ）における部分アドレスオフセット値要素２０８の各々に格納された値の合計を計算することによって、メモリアドレスオフセットを求める。ここで、ハードウェア加算器ユニットは、要素Ｚ１，１、Ｚ１，２およびＺ１，３に格納された値の合計を求める。次いで、プロセッサは、ベースメモリアドレスを求められたメモリアドレスオフセット（すなわち、この例では２）に加算してメモリアドレスを求め、求められたメモリアドレスに基づいて、記憶媒体に格納されたデータにアクセスすることによって、要素Ｖ１［１］［０］［０］にアクセスすることができる。別の例では、ハードウェア加算器は、ベースメモリアドレスと要素Ｚ１，１、Ｚ１，２およびＺ１，３に格納された値との合計を求めることによって、要素Ｖ１［１］［０］［０］のメモリアドレスを求めてもよい。次いで、プロセッサは、求められたメモリアドレスに基づいて、記憶媒体に格納されたにアクセスすることができる。
図２Ｈは、プログラム２１２に従って要素Ｖ１［１］［０］［１］にアクセスすることを示す。たとえば、プログラムが外側ループの２回目の繰り返しのための内側ループの１回目の繰り返しを完了した後、プロセッサは、プログラムが外側ループの２回目の繰り返しのための内側ループの２回目の繰り返し（すなわち、ｉ＝１，ｊ＝０，ｋ＝１）に入ったときに部分アドレスオフセット値を更新する命令「IterateTensor」を実行してもよい。いくつかの実現例では、テンソルトラバーサルユニットは、内側ループ（内側ネステッドループインデックス変数ｉによって追跡されるループ）に対応する次元の部分アドレスオフセット値要素２０８を、内側ループに対応する次元のステップ値だけインクリメントすることによって、部分アドレスオフセット値を更新する。この例では、部分アドレスオフセット値要素Ｚ１，１に格納された部分アドレスオフセット値は、ハードウェア加算器ユニットを使用して、ステップ値要素Ｘ１，１に格納されたステップ値だけインクリメントされる。内側ループのために格納される、結果として生じる更新後の部分アドレスオフセット値は、Ｚ１，１に格納された以前の値と、Ｘ１，１に格納された値との合計、すなわち０＋１＝２である。
いくつかの実現例では、テンソルトラバーサルユニットは、要素Ｚ１，１に格納された更新後の部分オフセットアドレス値と、要素Ｙ１，１に格納された内側ループの終了値とを比較する。Ｚ１，１に格納された更新後の部分オフセットアドレス値が、要素Ｙ１，１に格納された内側ループの終了値に等しい場合、テンソルトラバーサルユニットは、要素Ｚ１，１に格納された部分オフセットアドレス値の値を、要素Ｖ１，１に格納された内側ループの初期値にリセットしてもよい。また、テンソルトラバーサルユニットは、要素Ｚ１，２に格納された中間ループに対応する次元の部分アドレスオフセット値を、Ｘ１，２に格納された中間ループのステップ値だけインクリメントしてもよい。
要素Ｚ１，１に格納された更新後の部分オフセットアドレス値が、要素Ｙ１，１に格納された内側ループの終了値未満である場合、テンソルトラバーサルユニットは、要素Ｚ１，１に格納された内側ループの更新後の部分アドレス値を保持してもよい。この例では、内側ループの更新後の部分アドレスオフセット値（１）は、内側ループの終了値（２）未満である。したがって、テンソルトラバーサルユニットは、中間ループの部分アドレスオフセット値をインクリメントすることなく、内側ループの部分アドレスオフセット要素Ｚ１，１に格納された更新後の部分アドレスオフセット値を保持する。
次いで、プロセッサは、Ｖ１［１］［０］［１］に対応するメモリアドレスを突き止めるための命令「LocateTensor」を実行することによって、要素Ｖ１［１］［０］［１］にアクセスすることができる。この命令を受信したことに応答して、ハードウェア加算器ユニットは、部分アドレス値要素２０８の行１（行２０８ａ）における部分アドレスオフセット値要素２０８の各々に格納された値の合計を計算することによって、メモリアドレスオフセットを求める。ここで、ハードウェア加算器ユニットは、要素Ｚ１，１、Ｚ１，２およびＺ１，３に格納された値の合計を求める。次いで、プロセッサは、ベースメモリアドレスを求められたメモリアドレスオフセット（すなわち、この例では３）に加算してメモリアドレスを求め、求められたメモリアドレスに基づいて、記憶媒体に格納されたデータにアクセスすることによって、要素Ｖ１［１］［０］［１］にアクセスすることができる。別の例では、ハードウェア加算器は、ベースメモリアドレスと要素Ｚ１，１、Ｚ１，２およびＺ１，３に格納された値との合計を求めることによって、要素Ｖ１［１］［０］［１］のメモリアドレスを求めてもよい。次いで、プロセッサは、求められたメモリアドレスに基づいて、記憶媒体に格納されたにアクセスすることができる。
テンソルトラバーサルユニットは、ネステッドループの残りの繰り返しについてメモリアドレスを求めて、同様の態様で残りのテンソル要素にアクセスし続けることができる。以下の表１は、図２Ａ〜図２Ｈに示されるステップ値を使用したテンソル要素のメモリアドレスオフセット値を示す。
Figure 2020521198
図３は、多次元テンソル変数のアドレスを求めるためのプロセスの一例３００を示すフロー図である。プロセス３００は、１つ以上のコンピュータのシステム、たとえば図１のコンピューティングシステム１００によって実行されてもよい。このシステムは、初期値要素とステップ値要素と終了値要素と部分アドレスオフセット要素とを含むテンソルアドレス値要素を有するテンソルトラバーサルユニットを含む。テンソルトラバーサルユニットは、１つ以上のハードウェア加算器を有するハードウェア加算器ユニットも含む。
このシステムは、Ｎ次元テンソルの特定の要素にアクセスするための命令を取得する（３０２）。Ｎ次元テンソルは、Ｎ個の次元の各々にわたって配置された複数の要素を含み得て、Ｎは、１以上の整数である。たとえば、このシステムは、テンソルの特定の要素にアクセスするための命令を実行する処理ユニット（たとえば、処理ユニット１０２）を含んでもよい。
いくつかの実現例では、命令は、第１のループと第２のループと第３のループとを含むネステッドループを処理するための命令を表してもよい。第１のループは、第２のループ内にネストされた内側ループであってもよく、第２のループは、第３のループ内にネストされた中間ループであってもよい。第１のループは、第１のインデックス変数を使用して繰り返されてもよい。同様に、第２のループは、第２のインデックス変数を使用して繰り返されてもよく、第３のループは、第３のインデックス変数を使用して繰り返されてもよい。たとえば、プログラムは、記憶媒体に格納されてもよく、処理ユニットによって実行可能である。プログラムは、文字配列変数Ｖ１（または、別のタイプの配列）、２という第１の次元、２という第２の次元および３という第３の次元を指定してもよい。プログラムは、変数Ｖ１をトラバースするためのネステッドｆｏｒループを指定してもよい。このｆｏｒループは、ネステッドループインデックス変数ｉによって追跡される外側ループにおいてＶ１の第３の次元をトラバースしてもよい。また、このｆｏｒループは、ネステッドループインデックス変数ｊによって追跡される中間ループにおいてＶ１の第２の次元をトラバースしてもよく、ネステッドループインデックス変数ｋによって追跡される内側ループにおいて第１の次元をトラバースしてもよい。
このシステムは、１つ以上のハードウェア加算器および部分アドレスオフセット要素を使用して、特定の要素のアドレスを求める（３０４）。いくつかの実現例では、特定の要素のアドレスは、Ｎ次元テンソルの別の要素からオフセットされたアドレスであってもよい。たとえば、特定の要素のアドレスは、Ｎ次元テンソルの別の要素のベースメモリアドレスからオフセットされたアドレスであってもよい。１つ以上のテンソルインデックス要素の各テンソルインデックス要素について、このシステムは、ハードウェア加算器を使用してベースメモリアドレスとともに部分アドレスオフセット要素の現在の値を加算することによって、メモリアドレスを求めてもよい。部分アドレスオフセット要素の現在の値は、ループの現在の繰り返しに基づく。
いくつかの実現例では、テンソルの要素のうちのいずれかの要素のアドレスオフセットを求める前に、このシステムは、テンソルアドレス値要素に格納された値を設定してもよい。たとえば、プロセッサは、テンソルアドレス値要素を初期化する命令「InitializeElements」を実行してもよい。
内側ループの各繰り返しについて、このシステムは、内側ループのステップ値を使用して内側ループの部分アドレスオフセット値を更新してもよい。中間および外側ループの１回目の繰り返しのための内側ループの１回目の繰り返しの前（すなわち、ｉ＝０，ｊ＝０，ｋ＝０）に、内側ループの部分アドレスオフセット値は、内側ループの初期値に設定されてもよい。
内側ループの各繰り返し後、このシステムは、内側ループの部分アドレスオフセット値を、内側ループの以前の部分アドレスオフセット値と内側ループのステップ値との合計に更新してもよい。次いで、このシステムは、内側ループの更新後の部分アドレスオフセット値と内側ループの終了値とを比較してもよい。内側ループの更新後の部分アドレスオフセット値が内側ループの終了値未満である場合、このシステムは、少なくとも内側ループの次の繰り返しまでは、他の部分アドレスオフセット値のいずれも修正することなく、部分アドレスオフセット値要素における内側ループの更新後の部分アドレスオフセット値を維持してもよい。
この更新後の部分アドレスオフセット値が内側ループの終了値に等しい場合、このシステムは、部分アドレスオフセット値を内側ループの初期値にリセットし、内側ループのステップ値を使用して中間ループの部分アドレスオフセット値をインクリメントしてもよい。たとえば、このシステムは、中間ループの部分アドレスオフセット値を、中間ループの以前の部分アドレスオフセット値と中間ループのステップ値との合計に更新してもよい。次いで、このシステムは、中間ループの更新後の部分アドレスオフセット値と中間ループの終了値とを比較してもよい。中間ループの更新後の部分アドレスオフセット値が、内側ループの終了値未満である場合、このシステムは、少なくとも中間ループの次の繰り返しまでは、他の部分アドレスオフセット値のいずれも修正することなく、部分アドレスオフセット値要素における中間ループの更新後の部分アドレスオフセット値を維持してもよい。
この更新後の部分アドレスオフセット値が中間ループの終了値に等しい場合、このシステムは、部分アドレスオフセット値を中間ループの初期値にリセットし、外側ループのステップ値を使用して外側ループの部分アドレスオフセット値をインクリメントしてもよい。たとえば、このシステムは、外側ループの部分アドレスオフセット値を、外側ループの以前の部分アドレスオフセット値と外側ループのステップ値との合計に更新してもよい。次いで、このシステムは、外側ループの更新後の部分アドレスオフセット値と外側ループの終了値とを比較してもよい。
外側ループの更新後の部分アドレスオフセット値が外側ループの終了値未満である場合、このシステムは、部分アドレスオフセット値要素における外側ループの更新後の部分アドレスオフセット値を維持してもよい。この更新後の部分アドレスオフセット値が外側ループの終了値に等しい場合、このシステムは、テンソルの各要素がアクセスされたときに各ループの部分アドレスオフセット値をそれらのそれぞれの初期値にリセットしてもよい。
このシステムは、Ｎ次元テンソルの特定の要素にアクセスするための求められたアドレスを示すデータを出力する（３０６）。たとえば、テンソルトラバーサルユニットは、現在の部分アドレスオフセット値とベースメモリアドレスとの合計に基づいて、求められたアドレスを出力してもよい。システムの処理ユニットは、メモリアドレスオフセット値を使用して、記憶媒体におけるＮ次元配列変数の特定の要素にアクセスしてもよい。
本明細書に記載されている主題および機能動作の実施形態は、デジタル電子回路、有形に具体化されたコンピュータソフトウェアもしくはファームウェア、本明細書に開示されている構造およびそれらの構造的等価物を含むコンピュータハードウェア、またはそれらのうちの１つ以上の組み合わせで実現することができる。本明細書に記載されている主題の実施形態は、１つ以上のコンピュータプログラムとして、すなわちデータ処理装置によって実行されるようにまたはデータ処理装置の動作を制御するように有形の非一時的なプログラムキャリア上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして、実現することができる。代替的にまたは加えて、プログラム命令は、人為的に生成された伝搬信号、たとえば情報を符号化して好適な受信機装置に送信してデータ処理装置によって実行するように生成される、機械によって生成される電気信号、光信号または電磁信号、上に符号化することができる。コンピュータ記憶媒体は、機械読取可能な記憶装置、機械読取可能な記憶基板、ランダムもしくはシリアルアクセスメモリデバイス、またはそれらのうちの１つ以上の組み合わせであってもよい。
本明細書に記載されているプロセスおよび論理フローは、１つ以上のプログラム可能なコンピュータが入力データ上で動作して出力を生成することによって機能を実行するように１つ以上のコンピュータプログラムを実行することによって実行することができる。プロセスおよび論理フローは、特殊目的論理回路、たとえばＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＡＳＩＣ（特定用途向け集積回路）またはＧＰＧＰＵ（汎用グラフィックス処理ユニット）、によっても実行することができ、装置は、特殊目的論理回路としても実現することができる。
コンピュータプログラムの実行に適したコンピュータは、一例として、汎用マイクロプロセッサもしくは特殊目的マイクロプロセッサもしくはそれら両方、またはその他の種類の中央処理装置を含み、それらに基づいてもよい。一般に、中央処理装置は、リードオンリメモリまたはランダムアクセスメモリまたはそれら両方から命令およびデータを受信する。コンピュータの必須の要素は、命令を実施または実行するための中央処理装置と、命令およびデータを格納するための１つ以上のメモリデバイスである。一般に、コンピュータは、データを格納するための１つ以上の大容量記憶装置（たとえば、磁気ディスク、光磁気ディスクまたは光ディスク）も含み、１つ以上の大容量記憶装置からデータを受信したり１つ以上の大容量記憶装置にデータを送信したり１つ以上の大容量記憶装置との間でデータを送受信したりするように動作可能に結合される。しかし、コンピュータは、このような装置を有していなくてもよい。さらに、コンピュータは、別のデバイス、たとえばほんの数例を挙げると、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、携帯オーディオもしくはビデオプレーヤ、ゲーム機、グローバルポジショニングシステム（ＧＰＳ）受信機、またはポータブルストレージデバイス（たとえば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）、に組み込まれてもよい。
コンピュータプログラム命令およびデータの格納に適したコンピュータ読取可能媒体は、全ての形態の不揮発性メモリ、メディアおよびメモリデバイスを含み、メモリデバイスは、一例として、半導体メモリデバイス（たとえば、ＥＰＲＯＭ、ＥＥＰＲＯＭおよびフラッシュメモリデバイス）、磁気ディスク（たとえば、内蔵ハードディスクまたはリムーバブルディスク）、光磁気ディスク、ならびにＣＤ ＲＯＭおよびＤＶＤ−ＲＯＭディスクを含む。プロセッサおよびメモリは、特殊目的論理回路によって補完されてもよく、または特殊目的論理回路に組み入れられてもよい。
本明細書は、多くの具体的な実現例の詳細を含んでいるが、これらは、いずれの発明または請求の範囲を限定するものとして解釈されるべきではなく、特定の発明の特定の実施形態に特有の特徴を説明するものとして解釈されるべきである。別々の実施形態の文脈で本明細書に記載されている特定の特徴は、単一の実施形態において組み合わせて実現することも可能である。逆に、単一の実施形態の文脈で記載されているさまざまな特徴は、複数の実施形態において別々にまたは任意の好適な部分的な組み合わせで実現することも可能である。さらに、特徴は、特定の組み合わせで動作するものとして上記され、最初にそのように記載されているかもしれないが、記載されている組み合わせの中の１つ以上の特徴は、場合によってはこの組み合わせから除外されてもよく、記載されている組み合わせは、部分的な組み合わせまたは部分的な組み合わせの変形例を対象としてもよい。
同様に、動作は、特定の順序で図面に示されているが、これは、望ましい結果を達成するために、示されている特定の順序またはシーケンシャルな順序でこのような動作を実行しなければならないものとして理解されるべきではなく、示されている動作を全て実行しなければならないものとして理解されるべきでもない。特定の状況では、マルチタスクおよび並列処理が有利である場合もある。さらに、上記の実施形態におけるさまざまなシステムモジュールおよびコンポーネントの分離は、このような分離が全ての実施形態で必要であるものとして理解されるべきではなく、記載されているプログラムコンポーネントおよびシステムは、一般に、単一のソフトウェア製品に一体化されるかまたは複数のソフトウェア製品にパッケージングされてもよいということが理解されるべきである。
主題の特定の実施形態について説明してきた。他の実施形態は、以下の特許請求の範囲の範囲内である。たとえば、特許請求の範囲に記載されている動作は、異なる順序で実行されても、依然として望ましい結果を達成することができる。一例として、添付の図面に示されているプロセスは、望ましい結果を達成するために、示されている特定の順序またはシーケンシャルな順序を必ずしも必要としない。特定の実現例では、マルチタスクおよび並列処理が有利である場合もある。

Claims (20)

  1. Ｎ次元テンソルにアクセスするための命令を処理する装置であって、
    前記Ｎ次元テンソルの各次元について、部分アドレスオフセット値要素を備え、前記部分アドレスオフセット値要素は、前記次元の初期値、前記次元のステップ値および前記次元のループの繰り返し回数に少なくとも基づいて前記次元の部分アドレスオフセット値を格納し、前記装置はさらに、
    １つ以上のハードウェア加算器と、
    １つ以上のプロセッサとを備え、前記１つ以上のプロセッサは、
    前記Ｎ次元テンソルの特定の要素にアクセスするための命令を取得するように構成され、前記Ｎ次元テンソルは、前記Ｎ個の次元の各々にわたって配置された複数の要素を有し、Ｎは、１以上の整数であり、前記１つ以上のプロセッサはさらに、
    前記部分アドレスオフセット値要素および前記１つ以上のハードウェア加算器のうちの１つ以上を使用して、前記特定の要素のアドレスを求めるように構成され、
    前記Ｎ次元テンソルの前記特定の要素にアクセスするための前記求められたアドレスを示すデータを出力するように構成される、装置。
  2. 各次元について、
    前記次元の前記初期値を格納する初期値要素と、
    前記次元の前記ステップ値を格納するステップ値要素とをさらに備える、請求項１に記載の装置。
  3. 各部分アドレスオフセット値要素、各初期値要素および各ステップ値要素は、レジスタを備える、請求項２に記載の装置。
  4. 前記特定の要素の前記アドレスを求めることは、前記１つ以上のハードウェア加算器を使用して各次元について前記部分アドレスオフセット値の合計を求めることを備える、請求項１から３のいずれか１項に記載の装置。
  5. 前記１つ以上のプロセッサはさらに、
    各次元について、前記ステップ値を前記次元の以前のアドレスオフセット値に加算することによって、前記次元のネステッドループの各繰り返し後に前記次元の前記部分アドレスオフセット値を求めるように構成される、請求項１から４のいずれか１項に記載の装置。
  6. 各次元について、前記次元の限界値を格納する限界値要素をさらに備え、前記１つ以上のプロセッサはさらに、
    各次元について、次元の前記求められた部分アドレスオフセット値が前記次元の前記限界値に等しいか否かを判断するように構成され、
    第１のネステッドループに対応する第１の次元の前記求められた部分アドレスオフセット値が前記第１の次元の前記限界値に等しいと判断したことに応答して、
    前記第１の次元の前記部分アドレスオフセット値を前記第１の次元の前記初期値にリセットするように構成され、
    前記第１のネステッドループがネストされる第２のネステッドループに対応する第２の次元について、前記１つ以上のハードウェア加算器を使用して、前記第２の次元の前記ステップ値と前記第２の次元の前記部分アドレスオフセット値との合計に等しくなるように前記第２の次元の前記部分アドレスオフセット値を更新するように構成される、請求項５に記載の装置。
  7. 各次元の前記ステップ値は、１つ以上の前記次元における要素の個数に基づく予め定められた値である、請求項１から６のいずれか１項に記載の装置。
  8. システムであって、
    Ｎ次元テンソルに対して線形代数演算を実行するように構成された１つ以上のプロセッサを備え、前記Ｎ次元テンソルは、前記Ｎ個の次元の各々にわたって配置された複数の要素を有し、Ｎは、１以上の整数であり、前記システムはさらに、
    前記Ｎ個の次元の各次元について、部分アドレスオフセット値要素を備え、前記部分アドレスオフセット値要素は、前記次元の初期値、前記次元のステップ値および前記次元のループの繰り返し回数に少なくとも基づいて前記次元の部分アドレスオフセット値を格納し、前記システムはさらに、
    １つ以上のハードウェア加算器を含む回路を備え、前記回路は、
    前記Ｎ次元テンソルの特定の要素にアクセスするための命令を取得するように構成され、
    前記部分アドレスオフセット値要素および前記１つ以上のハードウェア加算器のうちの１つ以上を使用して、前記特定の要素のアドレスを求めるように構成され、
    前記Ｎ次元テンソルの前記特定の要素にアクセスするための前記求められたアドレスを示すデータを出力するように構成される、システム。
  9. 各次元について、
    前記次元の前記初期値を格納する初期値要素と、
    前記次元の前記ステップ値を格納するステップ値要素とをさらに備える、請求項８に記載のシステム。
  10. 各部分アドレスオフセット値要素、各初期値要素および各ステップ値要素は、レジスタを備える、請求項９に記載のシステム。
  11. 前記特定の要素の前記アドレスを求めることは、前記１つ以上のハードウェア加算器を使用して各次元について前記部分アドレスオフセット値の合計を求めることを備える、請求項８に記載のシステム。
  12. 前記回路はさらに、
    各次元について、前記ステップ値を前記次元の以前のアドレスオフセット値に加算することによって、前記次元のネステッドループの各繰り返し後に前記次元の前記部分アドレスオフセット値を求めるように構成される、請求項８から１０のいずれか１項に記載のシステム。
  13. 各次元について、前記次元の限界値を格納する限界値要素をさらに備え、前記回路はさらに、
    各次元について、次元の前記求められた部分アドレスオフセット値が前記次元の前記限界値に等しいか否かを判断するように構成され、
    第１のネステッドループに対応する第１の次元の前記求められた部分アドレスオフセット値が前記第１の次元の前記限界値に等しいと判断したことに応答して、
    前記第１の次元の前記部分アドレスオフセット値を前記第１の次元の前記初期値にリセットするように構成され、
    前記第１のネステッドループがネストされる第２のネステッドループに対応する第２の次元について、前記１つ以上のハードウェア加算器を使用して、前記第２の次元の前記ステップ値と前記第２の次元の前記部分アドレスオフセット値との合計に等しくなるように前記第２の次元の前記部分アドレスオフセット値を更新するように構成される、請求項１２に記載のシステム。
  14. 各次元の前記ステップ値は、１つ以上の前記次元における要素の個数に基づく予め定められた値である、請求項８から１３のいずれか１項に記載のシステム。
  15. コンピュータによって実行される方法であって、
    Ｎ次元テンソルの特定の要素にアクセスするための命令を取得するステップを備え、前記Ｎ次元テンソルは、前記Ｎ個の次元の各々にわたって配置された複数の要素を有し、Ｎは、１以上の整数であり、前記方法はさらに、
    それぞれの部分アドレスオフセット要素に格納された部分アドレスオフセット値および１つ以上のハードウェア加算器を使用して、前記特定の要素のアドレスを求めるステップを備え、前記部分アドレス値は、各次元の部分アドレスオフセット値を含み、次元の前記部分アドレス値は、前記次元の初期値、前記次元のステップ値および前記次元のループの繰り返し回数に少なくとも基づいており、前記方法はさらに、
    前記Ｎ次元テンソルの前記特定の要素にアクセスするための前記求められたアドレスを示すデータを出力するステップを備える、方法。
  16. 各次元の前記初期値は、前記次元の初期値要素に格納され、
    前記次元の前記ステップ値は、前記次元のステップ値要素に格納される、請求項１５に記載の方法。
  17. 各部分アドレスオフセット値要素、各初期値要素および各ステップ値要素は、レジスタを備える、請求項１６に記載の方法。
  18. 前記特定の要素の前記アドレスを求めるステップは、前記１つ以上のハードウェア加算器を使用して各次元について前記部分アドレスオフセット値の合計を求めるステップを備える、請求項１５から１７のいずれか１項に記載の方法。
  19. 各次元について、前記ステップ値を前記次元の以前のアドレスオフセット値に加算することによって、前記次元のネステッドループの各繰り返し後に前記次元の前記部分アドレスオフセット値を求めるステップをさらに備える、請求項１５から１８のいずれか１項に記載の方法。
  20. 各次元について、次元の前記求められた部分アドレスオフセット値が前記次元の限界値に等しいか否かを判断するステップと、
    第１のネステッドループに対応する第１の次元の前記求められた部分アドレスオフセット値が前記第１の次元の前記限界値に等しいと判断したことに応答して、
    前記第１の次元の前記部分アドレスオフセット値を前記第１の次元の前記初期値にリセットするステップと、
    前記第１のネステッドループがネストされる第２のネステッドループに対応する第２の次元について、前記１つ以上のハードウェア加算器を使用して、前記第２の次元の前記ステップ値と前記第２の次元の前記部分アドレスオフセット値との合計に等しくなるように前記第２の次元の前記部分アドレスオフセット値を更新するステップとをさらに備える、請求項１９に記載の方法。
JP2019553901A 2017-05-23 2018-02-26 加算器を使用した多次元テンソルにおけるデータへのアクセス Active JP7051895B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022056584A JP7433356B2 (ja) 2017-05-23 2022-03-30 加算器を使用した多次元テンソルにおけるデータへのアクセス

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/603,061 US9946539B1 (en) 2017-05-23 2017-05-23 Accessing data in multi-dimensional tensors using adders
US15/603,061 2017-05-23
US15/903,991 US10534607B2 (en) 2017-05-23 2018-02-23 Accessing data in multi-dimensional tensors using adders
US15/903,991 2018-02-23
PCT/US2018/019691 WO2018217258A1 (en) 2017-05-23 2018-02-26 Accessing data in multi-dimensional tensors using adders

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022056584A Division JP7433356B2 (ja) 2017-05-23 2022-03-30 加算器を使用した多次元テンソルにおけるデータへのアクセス

Publications (2)

Publication Number Publication Date
JP2020521198A true JP2020521198A (ja) 2020-07-16
JP7051895B2 JP7051895B2 (ja) 2022-04-11

Family

ID=61617155

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019553901A Active JP7051895B2 (ja) 2017-05-23 2018-02-26 加算器を使用した多次元テンソルにおけるデータへのアクセス
JP2022056584A Active JP7433356B2 (ja) 2017-05-23 2022-03-30 加算器を使用した多次元テンソルにおけるデータへのアクセス

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022056584A Active JP7433356B2 (ja) 2017-05-23 2022-03-30 加算器を使用した多次元テンソルにおけるデータへのアクセス

Country Status (6)

Country Link
US (1) US10534607B2 (ja)
EP (1) EP3631625A1 (ja)
JP (2) JP7051895B2 (ja)
KR (2) KR102243036B1 (ja)
CN (1) CN110462586A (ja)
WO (1) WO2018217258A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2567038B (en) * 2017-07-31 2019-09-25 Google Llc Accessing prologue and epilogue data
US10108538B1 (en) 2017-07-31 2018-10-23 Google Llc Accessing prologue and epilogue data
US10936942B2 (en) 2017-11-21 2021-03-02 Google Llc Apparatus and mechanism for processing neural network tasks using a single chip package with multiple identical dies
US10599583B2 (en) * 2018-08-20 2020-03-24 Macronix International Co., Ltd. Pre-match system and pre-match method
US11263011B2 (en) * 2018-11-28 2022-03-01 International Business Machines Corporation Compound instruction set architecture for a neural inference chip
JP7073581B2 (ja) 2019-04-04 2022-05-23 中科寒武紀科技股▲分▼有限公司 データ処理装置及び関連製品
US11620358B2 (en) * 2019-05-14 2023-04-04 Intel Corporation Technologies for performing macro operations in memory
JP7062617B2 (ja) * 2019-06-26 2022-05-06 株式会社東芝 演算装置および演算方法
US11354564B2 (en) * 2019-06-27 2022-06-07 Intel Corporation Tuning of loop orders in blocked dense basic linear algebra subroutines
KR102658003B1 (ko) * 2019-11-27 2024-04-17 한양대학교 에리카산학협력단 효율성이 향상된 양자 가산기 및 가산 방법
CN113391842B (zh) 2020-03-13 2024-09-17 华为技术有限公司 一种单指令多数据simd指令的生成、处理方法以及相关设备
EP3896565B1 (en) * 2020-04-16 2024-03-06 NXP USA, Inc. Memory address generator
US11954580B2 (en) 2020-09-16 2024-04-09 Meta Platforms, Inc. Spatial tiling of compute arrays with shared control
US11704562B1 (en) 2020-11-04 2023-07-18 Meta Platforms, Inc. Architecture for virtual instructions
US11709783B1 (en) 2020-11-11 2023-07-25 Meta Platforms, Inc. Tensor data distribution using grid direct-memory access (DMA) controller
US11972349B1 (en) 2020-11-12 2024-04-30 Meta Platforms, Inc. Flexible compute array utilization in a tensor processor
US11922306B2 (en) 2020-12-28 2024-03-05 Meta Platforms, Inc. Tensor controller architecture
US12001893B1 (en) 2020-12-28 2024-06-04 Meta Platforms, Inc. Distributed synchronization scheme
US11790611B2 (en) 2020-12-30 2023-10-17 Meta Platforms, Inc. Visual editor for designing augmented-reality effects that utilize voice recognition
CN113836049B (zh) * 2021-09-17 2023-08-08 海飞科(南京)信息技术有限公司 存储器访问方法和电子装置
KR20230099190A (ko) 2021-12-27 2023-07-04 서울대학교산학협력단 다차원 텐서의 주소 생성 장치 및 방법
CN114489798B (zh) * 2022-01-25 2024-04-05 海飞科(南京)信息技术有限公司 用于确定张量元素的越界状态的方法和电子装置
CN117435547A (zh) * 2022-07-15 2024-01-23 北京有竹居网络技术有限公司 人工智能芯片、灵活地访问数据的方法、设备和介质
CN115658146B (zh) * 2022-12-14 2023-03-31 成都登临科技有限公司 一种ai芯片、张量处理方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04218847A (ja) * 1990-02-21 1992-08-10 Matsushita Electric Ind Co Ltd 多次元アドレス発生器およびその制御方式
JPH05509426A (ja) * 1990-06-27 1993-12-22 ルミニス　ピーティーワイ　リミテッド 行列構造にアドレスするための整数論的割り当て発生回路
JPH06324935A (ja) * 1993-05-11 1994-11-25 Matsushita Electric Ind Co Ltd アドレス発生器およびアドレス発生システム
JP2005209060A (ja) * 2004-01-26 2005-08-04 Hitachi Ltd アドレス生成装置を含むシステムおよびそのアドレス生成装置
US20170075691A1 (en) * 2011-12-23 2017-03-16 Intel Corporation Instruction for element offset calculation in a multi-dimensional array

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0484506A1 (en) 1990-05-22 1992-05-13 International Business Machines Corporation A learning machine synapse processor system apparatus
US5958048A (en) * 1996-08-07 1999-09-28 Elbrus International Ltd. Architectural support for software pipelining of nested loops
US6219784B1 (en) 1997-11-17 2001-04-17 Advanced Micro Devices, Inc. Processor with N adders for parallel target addresses calculation
US6694311B1 (en) 1999-01-25 2004-02-17 International Business Machines Corporation Method and apparatus for fast query approximation using adaptive query vector projection
US6507835B1 (en) 2000-02-17 2003-01-14 International Business Machines Corporation Generating grouping queries using tensor representations
WO2001090888A1 (en) 2000-05-23 2001-11-29 Theis Jean Paul A data processing system having an address generation unit with hardwired multidimensional memory indexing support
US20040133745A1 (en) * 2002-10-28 2004-07-08 Quicksilver Technology, Inc. Adaptable datapath for a digital processing system
US6952821B2 (en) * 2002-08-19 2005-10-04 Hewlett-Packard Development Company, L.P. Method and system for memory management optimization
US7225439B2 (en) * 2003-03-21 2007-05-29 Sun Microsystems, Inc. Combining write-barriers within an inner loop with fixed step
US8443169B2 (en) 2005-03-28 2013-05-14 Gerald George Pechanek Interconnection network connecting operation-configurable nodes according to one or more levels of adjacency in multiple dimensions of communication in a multi-processor and a neural processor
US20080250227A1 (en) 2007-04-04 2008-10-09 Linderman Michael D General Purpose Multiprocessor Programming Apparatus And Method
US8713285B2 (en) 2008-12-09 2014-04-29 Shlomo Selim Rakib Address generation unit for accessing a multi-dimensional data structure in a desired pattern
US20100153100A1 (en) * 2008-12-11 2010-06-17 Electronics And Telecommunications Research Institute Address generator for searching algebraic codebook
US9141916B1 (en) 2012-06-29 2015-09-22 Google Inc. Using embedding functions with a deep network
US9946539B1 (en) * 2017-05-23 2018-04-17 Google Llc Accessing data in multi-dimensional tensors using adders

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04218847A (ja) * 1990-02-21 1992-08-10 Matsushita Electric Ind Co Ltd 多次元アドレス発生器およびその制御方式
JPH05509426A (ja) * 1990-06-27 1993-12-22 ルミニス　ピーティーワイ　リミテッド 行列構造にアドレスするための整数論的割り当て発生回路
JPH06324935A (ja) * 1993-05-11 1994-11-25 Matsushita Electric Ind Co Ltd アドレス発生器およびアドレス発生システム
JP2005209060A (ja) * 2004-01-26 2005-08-04 Hitachi Ltd アドレス生成装置を含むシステムおよびそのアドレス生成装置
US20170075691A1 (en) * 2011-12-23 2017-03-16 Intel Corporation Instruction for element offset calculation in a multi-dimensional array

Also Published As

Publication number Publication date
KR102243036B1 (ko) 2021-04-21
JP7433356B2 (ja) 2024-02-19
KR20190113973A (ko) 2019-10-08
US20180341479A1 (en) 2018-11-29
CN110462586A (zh) 2019-11-15
EP3631625A1 (en) 2020-04-08
KR20210045509A (ko) 2021-04-26
US10534607B2 (en) 2020-01-14
JP2022095773A (ja) 2022-06-28
WO2018217258A1 (en) 2018-11-29
KR102347119B1 (ko) 2022-01-05
JP7051895B2 (ja) 2022-04-11

Similar Documents

Publication Publication Date Title
JP7433356B2 (ja) 加算器を使用した多次元テンソルにおけるデータへのアクセス
US10802956B2 (en) Accessing prologue and epilogue data
TWI678617B (zh) 用於在使用加法器之多維張量中存取資料之系統、電腦實施方法及設備
JP7279226B2 (ja) 代替ループ限界値
JP7225314B2 (ja) Ｎ次元テンソルにアクセスするための命令を処理するための装置、システム、およびコンピュータによって実現される方法
GB2567038B (en) Accessing prologue and epilogue data

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210521

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220330

R150 Certificate of patent or registration of utility model

Ref document number: 7051895

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150