JP2022541721A - 効率的な乗算のための代替数字形式をサポートするシステムおよび方法 - Google Patents

Abstract

本明細書の開示は、ニューラルネットワークに対する第１の値および第２の値の乗算を実施する、シフト回路類および加算回路類を含む、システム、方法、およびデバイスを含む。第１の値は、第１のビット、およびゼロまたは２ｎ（ｎは０以上の整数）の値を表す２つ以上の第２のビットを含む、所定のフォーマットを有する。デバイスは、２つ以上の第２のビットが２ｎの値を表すとき、シフト回路類を介して第２の値を（ｎ＋１）ビット分シフトして第１の結果を提供し、第１の値の第１のビットの値に基づいて、ゼロまたは第２の値を選択的に出力して第２の結果を提供し、加算回路を介して第１の結果および第２の結果を加算して、第１および第２の値の乗算の結果を提供する。【選択図】図２Ｃ

Description

本開示は、一般に、効率的な乗算のための数字形式を使用するシステムおよび方法を含むがそれらに限定されない、ニューラルネットワークに対する値の乗算を実施するシステムおよび方法に関する。

人工知能（ＡＩ）アクセラレータにおける１つの課題は、ニューラルネットワークに対するＡＩ処理を実施する際の消費電力の制御または低減に関連する。例えば、ニューラルネットワークは、畳み込み層を含むことができる、畳み込みニューラルネットワークであってもよい。畳み込み層では、ＡＩアクセラレータは、畳み込み演算を入力層に適用して、従来の全結合の順伝播型ニューラルネットワークと比較してパラメータの数を低減する形で、結果を次の層に渡すことができる。しかしながら、畳み込みニューラルネットワークで使用される多次元（例えば、複数のチャネル）の入出力が複雑になればなるほど、エネルギーおよびレイテンシを低減する方法が有益であり得る。更に、畳み込み演算を実施するのに必要な乗算が顕著な数であることを鑑みて、効率的な乗算が有益なことがある。

本明細書に開示する様々な実施形態は、ニューラルネットワークの第１の値および第２の値の乗算を実施するデバイスに関する。いくつかの実施形態では、デバイスはシフト回路類および加算回路類を含む回路類を含んでもよい。第１の値は、第１のビット、およびゼロまたは２^ｎ（ｎは０以上の整数）の値を表す２つ以上の第２のビットを含む、所定のフォーマットを有してもよい。回路類は、２つ以上の第２のビットが２^ｎの値を表すとき、シフト回路類を介して第２の値を（ｎ＋１）ビット分シフトして、第１の乗算結果を提供するように構成されてもよい。回路類は、第１の値の第１のビットの値に基づいて、ゼロまたは第２の値を選択的に出力して、第２の乗算結果を提供するように構成されてもよい。回路類は、加算回路類を介して第１の乗算結果および第２の乗算結果を加算して、第１の値および第２の値の乗算の結果を提供するように構成されてもよい。

いくつかの実施形態では、第１の値の第１のビットは第１の値の最下位ビットであってもよい。いくつかの実施形態では、回路類は、２つ以上の第２のビットがゼロの値を表すとき、ゼロの値を第１の乗算結果として提供するように構成されてもよい。いくつかの実施形態では、第２の値はリニア数形式を使用して二進数を表してもよい。

いくつかの実施形態では、第２の値は、第１のビットと、ゼロまたは２^ｍ（ｍはゼロ以上の整数）の値を表す２つ以上の第２のビットとを備える、所定の形式を有してもよい。いくつかの実施形態では、回路類は更に、第１の値の２つ以上の第２のビットが２^ｎの値を表し、第２の値の２つ以上の第２のビットが２^ｍの値を表すとき、シフト回路類を介して２^ｍ＋１の値を（ｎ＋１）ビット分シフトして、第３の乗算結果を提供するように構成されてもよい。回路類は更に、第２の値の第１のビットの値に基づいて、ゼロまたは２^ｎ＋１の値を選択的に出力して、第４の乗算結果を提供するように構成されてもよい。回路類は更に、第１の値の第１のビットの値に基づいて、ゼロまたは２^ｍ＋１の値を選択的に出力して、第５の乗算結果を提供するように構成されてもよい。回路類は更に、第１の値の第１のビットの値に基づいて、ゼロまたは第２の値の第１のビットの値を選択的に出力して、第６の乗算結果を提供するように構成されてもよい。回路類は更に、加算回路類を介して第３～第６の乗算結果を加算して、第１の値および第２の値の乗算の結果を提供するように構成されてもよい。

いくつかの実施形態では、第１の値の２つ以上の第２のビットとしての「１ １」は、４の値を表してもよい。いくつかの実施形態では、第１の値は更に、第１の値が符号ありか符号なしかを示す第３のビットを含んでもよい。いくつかの実施形態では、回路類は、第１の値の第３のビットの値に基づいて、第１の値および第２の値の乗算の結果の符号を決定するように構成されてもよい。いくつかの実施形態では、回路類は更に、重みデータと活性化関数を表す活性化データとを使用して、ニューラルネットワークの第１の層に対する畳み込みを実施するように構成されてもよく、第１の値は、ニューラルネットワークの第１の層に対する重みデータおよび活性化データのうち一方の値を表してもよい。いくつかの実施形態では、第２の値は、ニューラルネットワークの第１の層に対する重みデータおよび活性化データの他方の値を表してもよい。

本明細書に開示する様々な実施形態は、ニューラルネットワークの第１の値および第２の値の乗算を実施する方法に関し、第１の値は、第１のビットと、ゼロまたは２^ｎ（ｎは０以上の整数）の値を表す２つ以上の第２のビットとを備える、所定の形式を有する。いくつかの実施形態では、第１の値および第２の値の乗算を実施することは、２つ以上の第２のビットが２^ｎの値を表すとき、シフト回路類によって第２の値を（ｎ＋１）ビット分シフトして、第１の乗算結果を提供することを含んでもよい。第１の値および第２の値の乗算を実施することは、第１の値の第１のビットの値に基づいて、ゼロまたは第２の値を選択的に出力して、第２の乗算結果を提供することを含んでもよい。第１の値および第２の値の乗算を実施することは、加算回路類によって、第１の乗算結果および第２の乗算結果を加算して、第１の値および第２の値の乗算の結果を提供することを含んでもよい。

いくつかの実施形態では、第１の値の第１のビットは第１の値の最下位ビットであってもよい。いくつかの実施形態では、第１の値および第２の値の乗算を実施することは、２つ以上の第２のビットがゼロの値を表すとき、ゼロの値を第１の乗算結果として提供することを含んでもよい。いくつかの実施形態では、第２の値はリニア数形式を使用して二進数を表してもよい。

いくつかの実施形態では、第２の値は、第１のビットと、ゼロまたは２^ｍ（ｍはゼロ以上の整数）の値を表す２つ以上の第２のビットとを備える、所定の形式を有してもよい。第１の値および第２の値の乗算を実施することは更に、第１の値の２つ以上の第２のビットが２^ｎの値を表し、第２の値の２つ以上の第２のビットが２^ｍの値を表すとき、シフト回路類によって、２^ｍ＋１の値を（ｎ＋１）ビット分シフトして、第３の乗算結果を提供することを含んでもよい。第１の値および第２の値の乗算を実施することは更に、第２の値の第１のビットの値に基づいて、ゼロまたは２^ｎ＋１の値を選択的に出力して、第４の乗算結果を提供することを含んでもよい。第１の値および第２の値の乗算を実施することは更に、第１の値の第１のビットの値に基づいて、ゼロまたは２^ｍ＋１の値を選択的に出力して、第５の乗算結果を提供することを含んでもよい。第１の値および第２の値の乗算を実施することは更に、第１の値の第１のビットの値に基づいて、ゼロまたは第２の値の第１のビットの値を選択的に出力して、第６の乗算結果を提供することを含んでもよい。第１の値および第２の値の乗算を実施することは更に、加算回路類によって、第３～第６の乗算結果を加算して、第１の値および第２の値の乗算の結果を提供することを含んでもよい。

いくつかの実施形態では、第１の値の２つ以上の第２のビットとしての「１ １」は、４の値を表してもよい。いくつかの実施形態では、第１の値は更に、第１の値が符号ありか符号なしかを示す第３のビットを含んでもよい。いくつかの実施形態では、第１の値および第２の値の乗算を実施することは更に、第１の値の第３のビットの値に基づいて、第１の値および第２の値の乗算の結果の符号を決定することを含んでもよい。いくつかの実施形態では、ニューラルネットワークの第１の層に対する畳み込みは、重みデータと活性化関数を表す活性化データとを使用して実施されてもよく、第１の値は、ニューラルネットワークの第１の層に対する重みデータおよび活性化データのうち一方の値を表してもよい。いくつかの実施形態では、第２の値は、ニューラルネットワークの第１の層に対する重みデータおよび活性化データの他方の値を表してもよい。

上記および他の態様ならびに実現例について、以下で詳細に考察する。上述の情報および以下で詳述する説明は、様々な態様および実現例の実例を含み、特許請求する態様および実現例の性質ならびに特徴を理解するための概観または枠組みを提供する。本発明の１つもしくは複数の態様または実施形態に組み込むのに好適なものとして、本明細書に開示される任意の特徴は、本開示のあらゆる態様および実施形態全体にわたって一般化できるものであることが意図されるものと理解されるであろう。図面は、様々な態様および実現例の例示ならびに更なる理解を提供し、本明細書に組み込まれるとともに本明細書の一部を構成する。

添付図面は縮尺通りに描かれることを意図しない。様々な図面における同様の参照番号および記号は同様の要素を示す。明瞭にするため、全ての図面において全ての構成要素に符号が付されるわけではない。

本開示の例示の一実現例による、人工知能（ＡＩ）に関連する処理を実施するシステムの一実施形態を示すブロック図である。 本開示の例示の一実現例による、ＡＩに関連する処理を実施するデバイスの一実施形態を示すブロック図である。 本開示の例示の一実現例による、ＡＩに関連する処理を実施するデバイスの一実施形態を示すブロック図である。 本開示の例示の一実現例によるコンピューティング環境を示すブロック図である。 本開示の例示の一実現例による、ＡＩに関連する処理を実施するデバイスの一実施形態を示すブロック図である。 本開示の例示の一実現例による、ＡＩに関連する処理を実施する代替数字形式の一実施形態を示すブロック図である。 本開示の例示の一実現例による、代替数字形式を使用して乗算を実施する回路類の一実施形態を示すブロック図である。 本開示の例示の一実現例による、代替数字形式を使用して乗算を実施する回路類の別の実施形態を示すブロック図である。 本開示の例示の一実現例による、代替数字形式を使用して乗算を実施する方法を示すフローチャートである。 本開示の別の例示の一実現例による、代替数字形式を使用して乗算を実施する方法を示すフローチャートである。

特定の実施形態を詳細に示す図面に移る前に、本開示は、明細書に記載されるかまたは図面に例示される、詳細もしくは方法論に限定されないことが理解されるべきである。また、本明細書で使用する専門用語は、単に説明のためのものであって限定とみなされるべきでないことが理解されるべきである。

以下の本発明の様々な実施形態についての説明を読むために、本明細書のセクションおよびそれらそれぞれの内容について、次の説明が有用であり得る。
セクションＡは、本発明のシステム、方法、およびデバイスの一実施形態を実践または実現するのに有用な、環境、システム、構成、および／または他の態様について記載する。
セクションＢは、代替数字形式を使用して値の乗算を実施するためのデバイス、システム、および方法の実施形態について記載する。

Ａ．人工知能に関連する処理のための環境
システム、デバイス、および／または方法の実施形態の詳細についてセクションＢで考察する前に、システム、デバイス、および／または方法の特定の実施形態を実践もしくは実現するのに有用な、環境、システム、構成、および／または他の態様について考察するのが有用であり得る。ここで図１Ａを参照すると、人工知能（ＡＩ）に関連する処理を実施するためのシステムの一実施形態が示される。概要では、システムは、入力データ１１０を使用してＡＩに関連する処理を実施することができる、１つまたは複数のＡＩアクセラレータ１０８を含む。ＡＩアクセラレータ１０８として参照しているが、場合によっては、ニューラルネットワークアクセラレータ（ＮＮＡ）、ニューラルネットワークチップもしくはハードウェア、ＡＩプロセッサ、ＡＩチップなどと呼ばれる。ＡＩアクセラレータ１０８は、入力データ１１０および／またはパラメータ１２８（例えば、重みおよび／またはバイアス情報）にしたがって、ＡＩに関連する処理を実施して、出力データ１１２を出力または提供することができる。ＡＩアクセラレータ１０８は、１つもしくは複数のニューラルネットワーク１１４（例えば、人工ニューラルネットワーク）、１つもしくは複数のプロセッサ２４、および／または１つもしくは複数の記憶デバイス１２６を含むことができ、ならびに／あるいは実装することができる。

上述の要素または構成要素はそれぞれ、ハードウェア、またはハードウェアとソフトウェアの組み合わせの形で実装される。例えば、これらの要素または構成要素はそれぞれ、任意のアプリケーション、プログラム、ライブラリ、スクリプト、タスク、サービス、プロセス、あるいはデジタルおよび／またはアナログ要素（例えば、１つもしくは複数のトランジスタ、論理ゲート、レジスタ、メモリデバイス、抵抗素子、導電素子、容量素子）を含むことができる回路類などのハードウェア上で実行する、任意のタイプおよび形態の実行可能命令を含むことができる。

入力データ１１０は、ＡＩアクセラレータ１０８のニューラルネットワーク１１４を構成、調整、訓練、および／または活性化するための、ならびに／あるいはプロセッサ１２４によって処理するための、任意のタイプもしくは形態のデータを含むことができる。ニューラルネットワーク１１４は、場合によっては、人工ニューラルネットワーク（ＡＮＮ）と呼ばれる。ニューラルネットワークの構成、調整、および／または訓練は、履歴データなど、（例えば、入力データ１１０としての）訓練データセットがニューラルネットワークに提供されて処理される、機械学習のプロセスを指すかあるいは含むことができる。調整または構成は、ニューラルネットワーク１１４を訓練または処理して、ニューラルネットワークが精度を改善するのを可能にすることを指すかまたは含むことができる。ニューラルネットワーク１１４の調整または構成は、例えば、ニューラルネットワーク１１４に関する問題のタイプもしくは所望の目標に対して成功することが証明されているアーキテクチャを使用した、ニューラルネットワークの設計、形成、構築、合成、および／または確立を含むことができる。場合によっては、１つまたは複数のニューラルネットワーク１１４は、同じもしくは類似のベースラインモデルで開始してもよいが、調整、訓練、または学習プロセスの間、ニューラルネットワーク１１４の結果は、ベースラインモデルであるかあるいは異なる目標もしくは目的のために調整または訓練された異なるニューラルネットワークよりも高いレベルの精度および信頼性で、特定のタイプの入力を処理し、特定のタイプの出力を生成するように、各ニューラルネットワーク１１４を調整することができるような、十分に異なるものであることができる。ニューラルネットワーク１１４の調整は、各ニューラルネットワーク１１４に対して異なるパラメータ１２８を設定すること、各ニューラルネットワーク１１４に対してパラメータ１１４を異なるように微調整すること、または異なる重み（例えば、ハイパーパラメータ、もしくは学習率）、テンソルフローなどを割り当てることを含むことができる。したがって、ニューラルネットワークならびに／あるいはシステムの調整または訓練プロセスおよび目標に基づいて、ニューラルネットワーク１１４に対して適切なパラメータ１２８を設定することで、システム全体の性能を改善することができる。

ＡＩアクセラレータ１０８のニューラルネットワーク１１４は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、深層畳み込みネットワーク、順伝播型ニューラルネットワーク（例えば、多層パーセプトロン（ＭＬＰ））、深層順伝播型ニューラルネットワーク、放射基底関数ニューラルネットワーク、コホネン自己組織化ニューラルネットワーク、回帰型ニューラルネットワーク、モジュール型ニューラルネットワーク、長期／短期メモリニューラルネットワークなど、任意のタイプのニューラルネットワークを含むことができる。ニューラルネットワーク１１４は、自然言語処理など、データ（例えば、画像、音声、映像）処理、オブジェクトもしくは特徴認識、レコメンダ機能、データもしくは画像分類、データ（例えば、画像）解析などを実施するために展開または使用することができる。

一例として、また１つまたは複数の実施形態では、ニューラルネットワーク１１４は、畳み込みニューラルネットワークとして構成することができ、または畳み込みニューラルネットワークを含むことができる。畳み込みニューラルネットワークは、それぞれ異なる目的に役立ち得る、１つもしくは複数の畳み込みセル（またはプーリング層）およびカーネルを含むことができる。畳み込みニューラルネットワークは、畳み込みカーネル（場合によっては、単に「カーネル」と呼ばれる）を含み、組み込み、および／または使用することができる。畳み込みカーネルは入力データを処理することができ、プーリング層は、例えば、ｍａｘなどの非線形関数を使用して、データを単純化し、それによって不要な特徴を低減することができる。畳み込みニューラルネットワークを含むニューラルネットワーク１１４は、画像、音声、または任意のデータの認識もしくは他の処理を容易にすることができる。例えば、（例えば、センサからの）入力データ１１０を、ファンネルを形成する畳み込みニューラルネットワークの畳み込み層に渡して、入力データ１１０の検出された特徴を圧縮することができる。畳み込みニューラルネットワークの第１の層は第１の特性を検出することができ、第２の層は第２の特性を検出することができ、その先も同様である。

畳み込みニューラルネットワークは、視覚心像、音声情報、および／または他の任意のタイプもしくは形態の入力データ１１０を解析するように構成された、深層順伝播型人工ニューラルネットワークのタイプであることができる。畳み込みニューラルネットワークは、最小限の前処理を使用するように設計された、多層パーセプトロンを含むことができる。畳み込みニューラルネットワークは、重み共有アーキテクチャおよび翻訳不変性特性に基づいて、シフト不変または空間不変人工ニューラルネットワークを含むことができ、またはそのように呼ぶことができる。畳み込みニューラルネットワークは、他のデータ分類／処理アルゴリズムと比較して相対的に少ない前処理を使用することができるので、畳み込みニューラルネットワークは、他のデータ分類／処理アルゴリズムのためにマニュアル設計されてもよいフィルタを自動的に学習して、ニューラルネットワーク１１４の構成、確立、またはセットアップと関連付けられた効率を改善することによって、他のデータ分類／処理技術と比べて技術的利点を提供することができる。

ニューラルネットワーク１１４は、ニューロンもしくはノードの、入力層１１６および出力層１２２を含むことができる。ニューラルネットワーク１１４はまた、ニューロンもしくはノードの、畳み込み層、プーリング層、全結合層、および／または正規化層を含むことができる、１つまたは複数の隠れ層１１８、１１９を有することができる。ニューラルネットワーク１１４では、各ニューロンは、前の層におけるいくつかの位置から入力を受信することができる。全結合層では、各ニューロンは、前の層の全ての要素からの入力を受信することができる。

ニューラルネットワーク１１４の各ニューロンは、前の層の受容野からの入力値に何らかの関数を適用することによって、出力値を計算することができる。入力値に適用される関数は、重みのベクトルおよびバイアス（一般的には実数）によって指定される。ニューラルネットワーク１１４における（例えば、訓練フェーズ中の）学習は、バイアスおよび／または重みを漸増的に調節することによって進行することができる。重みのベクトルおよびバイアスは、フィルタと呼ぶことができ、入力の何らかの特徴（例えば、特定の形状）を表すことができる。畳み込みニューラルネットワークの際立った特徴は、多くのニューロンが同じフィルタを共有できることである。これにより、各受容野が独自のバイアスおよび重みのベクトルを有するのではなく、単一のバイアスおよび重みの単一のベクトルを、該フィルタを共有する全ての受容野にわたって使用することができるので、メモリフットプリントが低減される。

例えば、畳み込み層では、システムは、畳み込み演算を入力層１１６に適用して、結果を次の層に渡すことができる。畳み込みは、個々のニューロンの応答をエミュレートして刺激を入力することができる。各畳み込みニューロンは、その受容野に対してのみデータを処理することができる。畳み込み演算は、全結合順伝播型ニューラルネットワークと比較して、ニューラルネットワーク１１４で使用されるニューロンの数を低減することができる。したがって、畳み込み演算は、自由パラメータの数を低減して、より少ないパラメータでネットワークをより深層化することを可能にすることができる。例えば、入力データ（例えば、画像データ）サイズにかかわらず、同じ共有重みをそれぞれ有するサイズ５×５のタイリング領域は、２５個のみの学習可能パラメータを使用してもよい。このように、畳み込みニューラルネットワークを有する第１のニューラルネットワーク１１４は、逆伝播を使用することによって多くの層を有する従来の多層ニューラルネットワークを訓練する際の、勾配消失または発散の問題を解決することができる。

ニューラルネットワーク１１４（例えば、畳み込みニューラルネットワークで構成される）は、１つまたは複数のプーリング層を含むことができる。１つまたは複数のプーリング層は、ローカルプーリング層またはグローバルプーリング層を含むことができる。プーリング層は、１つの層におけるニューロンクラスタの出力を組み合わせて、次の層における単一のニューロンとすることができる。例えば、最大プーリングは、前の層におけるニューロンのクラスタそれぞれからの最大値を使用することができる。別の例は、前の層におけるニューロンのクラスタそれぞれからの平均値を使用することができる、平均プーリングである。

ニューラルネットワーク１１４（例えば、畳み込みニューラルネットワークで構成される）は、全結合層を含むことができる。全結合層は、１つの層の全てのニューロンを別の層の全てのニューロンに結合することができる。ニューラルネットワーク１１４は、畳み込み層で重みを共有して構成することができ、それは同じフィルタが層内の各受容野に使用されることを指すことができ、それにより、メモリフットプリントが低減され、第１のニューラルネットワーク１１４の性能が改善される。

隠れ層１１８、１１９は、入力データ（例えば、仮想現実システムなどからのセンサデータ）に基づいて、情報を検出するように調整または構成されるフィルタを含むことができる。システムがニューラルネットワーク１１４（例えば、畳み込みニューラルネットワーク）の各層を通るにつれて、システムは、第１の層からの入力を翻訳し、変換された入力を第２の層に出力することができ、その先も同様である。ニューラルネットワーク１１４は、検出、処理、および／または計算されるオブジェクトもしくは情報のタイプ、ならびに入力データ１１０のタイプに基づいて、１つまたは複数の隠れ層１１８、１１９を含むことができる。

いくつかの実施形態では、畳み込み層は、ニューラルネットワーク１１４（例えば、ＣＮＮとして構成される）のコアビルディングブロックである。層のパラメータ１２８は、小さい受容野を有するが、入力ボリュームの深さ全体を通って延在する、学習可能なフィルタ（またはカーネル）のセットを含むことができる。順方向パスの間、各フィルタは、入力ボリュームの幅および高さにわたって畳み込まれて、フィルタのエントリと入力との間のドット積を計算し、該フィルタの二次元活性化マップを作成する。結果として、ニューラルネットワーク１１４は、入力のある空間位置である特定のタイプの特徴を検出すると活性化する、フィルタを学習させることができる。深さ次元に沿って全てのフィルタの活性化マップを積み重ねることで、畳み込み層の全出力ボリュームが形成される。したがって、出力ボリュームの全てのエントリは、入力の小さい領域に注目し、同じ活性化マップのニューロンとパラメータを共有する、ニューロンの出力として解釈することもできる。畳み込み層では、ニューロンは、前の層の制限されたサブエリアから入力を受信することができる。一般的に、サブエリアは正方形形状のもの（例えば、サイズ５×５）である。ニューロンの入力エリアはその受容野と呼ばれる。そのため、全結合層では、受容野は前の層全体である。畳み込み層では、受容エリアは前の層全体よりも小さいものであり得る。

第１のニューラルネットワーク１１４は、（例えば、入力データ１１０に基づいて、オブジェクト、イベント、ワード、および／または他の特徴の確率を検出もしくは決定することによって）入力データ１１０を検出、分類、セグメント化、および／または翻訳するように訓練することができる。例えば、ニューラルネットワーク１１４の第１の入力層１１６は、入力データ１１０を受信し、入力データ１１０を処理してデータを第１の中間出力に変換し、第１の中間出力を第１の隠れ層１１８に伝達することができる。第１の隠れ層１１８は、第１の中間出力を受信し、第１の中間出力を処理して第１の中間出力を第２の中間出力に変換し、第２の中間出力を第２の隠れ層１１９に伝達することができる。第２の隠れ層１１９は、第２の中間出力を受信し、第２の中間出力を処理して第２の中間出力を第３の中間出力に変換し、第３の中間出力を、例えば出力層１２２に伝達することができる。出力層１２２は、第３の中間出力を受信し、第３の中間出力を処理して第３の中間出力を出力データ１１２に変換し、出力データ１１２を（例えば、場合によっては、ユーザに対するレンダリングのため、格納のためなど、後処理エンジンに）伝達することができる。出力データ１１２は、例として、オブジェクト検出データ、強化／翻訳／拡張されたデータ、推奨、分類、および／またはセグメント化されたデータを含むことができる。

再び図１Ａを参照すると、ＡＩアクセラレータ１０８は、１つまたは複数の記憶デバイス１２６を含むことができる。記憶デバイス１２６は、ＡＩアクセラレータ１０８と関連付けられた任意のタイプもしくは形態のデータを、格納、保持、または維持するように、設計または実装することができる。例えば、データは、ＡＩアクセラレータ１０８によって受信される入力データ１１０、および／または出力データ１１２（例えば、次のデバイスもしくは処理段階に出力される前）を含むことができる。データは、ニューラルネットワーク１１４および／またはプロセッサ１２４の処理段階のいずれかに使用される、またはいずれかからの、中間データを含むことができる。データは、記憶デバイス１２６から読み取るかまたはアクセスすることができる、ニューラルネットワーク１１４のニューロンに入力される、また該ニューロンで処理する、１つもしくは複数のオペランドを含むことができる。例えば、データは、記憶デバイス１２６に格納し、そこから読み取るかまたはアクセスすることができる、入力データ、重み情報、および／またはバイアス情報、活性化関数情報、ならびに／あるいは１つもしくは複数のニューロン（またはノード）のためのパラメータ１２８、および／またはニューラルネットワーク１１４の層を含むことができる。データは、記憶デバイス１２６に書き込み、またそこに格納することができる、ニューラルネットワーク１１４のニューロンからの出力データを含むことができる。例えば、データは、記憶デバイス１２６に転送するかもしくは書き込み、格納することができる、ニューラルネットワーク１１４の１つもしくは複数のニューロン（またはノード）および／または層のための、活性化データ、改良もしくは更新されたデータ（例えば、訓練段階などからの重み情報および／またはバイアス情報、活性化関数情報、および／または他のパラメータ１２８）を含むことができる。

いくつかの実施形態では、ＡＩアクセラレータ１０８は１つまたは複数のプロセッサ１２４を含むことができる。１つまたは複数のプロセッサ１２４は、ニューラルネットワーク１１４またはＡＩアクセラレータ１０８のうち任意の１つもしくは複数に対する入力データを前処理するための、ならびに／あるいはニューラルネットワーク１１４またはＡＩアクセラレータ１０８のうち任意の１つもしくは複数に対する出力データを後処理するための、任意の論理、回路類、および／または処理構成要素（例えば、マイクロプロセッサ）を含むことができる。１つまたは複数のプロセッサ１２４は、ニューラルネットワーク１１４またはＡＩアクセラレータ１０８の１つもしくは複数の演算を構成、制御、および／または管理するための、論理、回路類、処理構成要素、および／または機能性を提供することができる。例えば、プロセッサ１２４は、ニューラルネットワーク１１４と関連付けられたデータまたは信号を受信して、（例えば、ニューラルネットワーク１１４の演算を実装する回路類に対するクロックゲート制御を介して）消費電力を制御または低減してもよい。別の例として、プロセッサ１２４は、（例えば、ＡＩアクセラレータ１０８の様々な構成要素における、例えば並列の）別個の処理のため、（例えば、ＡＩアクセラレータ１０８の同じ構成要素における、異なる時間もしくは段階での）逐次処理のため、あるいは記憶デバイスの異なるメモリスライスに、または異なる記憶デバイスに格納するため、データを区画化および／または再配置してもよい。いくつかの実施形態では、プロセッサ１２４は、特定の重み、活性化関数、および／またはパラメータ情報の識別、選択、ならびに／あるいはニューラルネットワーク１１４のニューロンおよび／または層へのロードによって、特定の文脈に対して演算を行い、特定のタイプの処理を提供し、ならびに／あるいは特定のタイプの入力データをアドレスするように、ニューラルネットワーク１１４を構成することができる。

いくつかの実施形態では、ＡＩアクセラレータ１０８は、ディープラーニングおよび／またはＡＩワークロードを扱うかもしくは処理するように、設計および／または実装される。例えば、ＡＩアクセラレータ１０８は、人工ニューラルネットワーク、マシンビジョン、および機械学習を含む人工知能用途のため、ハードウェアアクセラレーションを提供することができる。ＡＩアクセラレータ１０８は、ロボティックス関連、物のインターネット（ＩｏＴ）関連、または他のデータ集約的もしくはセンサ駆動のタスクを扱う演算向けに構成することができる。ＡＩアクセラレータ１０８は、マルチコアまたは複数の処理要素（ＰＥ）設計を含んでもよく、人工現実（例えば、仮想、拡張、もしくは混合現実）システム、スマートフォン、タブレット、およびコンピュータなど、様々なタイプおよび形態のデバイスに組み込むことができる。ＡＩアクセラレータ１０８の特定の実施形態は、少なくとも１つのデジタル信号プロセッサ（ＤＳＰ）、コプロセッサ、マイクロプロセッサ、コンピュータシステム、プロセッサのヘテロジニアスコンピューティング構成、グラフィックス処理装置（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および／または特定用途向け集積回路（ＡＳＩＣ）を含むかあるいはそれらを使用して実装することができる。ＡＩアクセラレータ１０８は、トランジスタベース、半導体ベース、および／または量子コンピューティングベースのデバイスであることができる。

次に図１Ｂを参照すると、ＡＩに関連する処理を実施するためのデバイスの例示の一実施形態が示される。概要では、デバイスは、例えば、図１Ａに関連して上述した１つまたは複数の特徴を有する、ＡＩアクセラレータ１０８を含むかまたはそれに対応することができる。ＡＩアクセラレータ１０８は、１つまたは複数の記憶デバイス１２６（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）デバイスなどのメモリ）、１つまたは複数のバッファ、複数の処理要素（ＰＥ）回路またはＰＥ回路のアレイ、他の論理または回路類（例えば、加算器回路類）、ならびに／あるいは他の構造または構成（例えば、相互接続、データバス、クロック回路類、電力ネットワーク）を含むことができる。上述の要素または構成要素はそれぞれ、ハードウェア、または少なくともハードウェアとソフトウェアの組み合わせの形で実装される。ハードウェアは、例えば、回路要素（例えば、１つもしくは複数のトランジスタ、論理ゲート、レジスタ、メモリデバイス、抵抗素子、導電素子、容量素子、および／またはワイヤもしくは導電性コネクタ）を含むことができる。

ＡＩアクセラレータ１０８において実装されたニューラルネットワーク１１４（例えば、人工ニューラルネットワーク）では、ニューロンは、様々な形態を取ることができ、処理要素（ＰＥ）またはＰＥ回路と呼ぶことができる。ニューロンは、対応するＰＥ回路として実装することができ、ニューロンで起こり得る処理／活性化は、ＰＥ回路で実施することができる。ＰＥは接続されて、異なるパターンが異なる機能的目的に役立つ、特定のネットワークパターンまたはアレイとなる。人工ニューラルネットワークのＰＥは、（例えば、半導体の実現例の実施形態では）電気的に動作し、アナログ、デジタル、またはハイブリッドのいずれかであってもよい。生体シナプスの作用に匹敵するために、ＰＥ間の接続に、適正なシステム出力を作成するように校正または「訓練」することができる、乗法的な重みを割り当てることができる。

ＰＥは、（例えば、ニューロンのマッカロック－ピッツモデルを表す）次式に関して定義することができる。
ζ＝Σ_ｉｗ_ｉｘ_ｉ （１）
ｙ＝σ（ζ） （２）
式中、ζは入力の重み付き合計（例えば、入力ベクトルおよびタップ重みベクトルの内積）であり、σ（ζ）は重み付き合計の関数である。重みおよび入力要素がベクトルｗおよびｘを形成する場合、重み付き合計ζは単純なドット積となる。
ζ＝ｗ・ｘ （３）
これは、活性化関数（例えば、閾値比較の場合）または伝達関数のどちらかと呼ばれることがある。いくつかの実施形態では、１つまたは複数のＰＥはドット積エンジンと呼ばれる場合がある。ニューラルネットワーク１１４に対する入力（例えば、入力データ１１０）ｘは、入力空間からのものであることができ、出力（例えば、出力データ１１２）は出力空間の一部である。いくつかのニューラルネットワークでは、出力空間Ｙは、｛０，１｝のように単純なものであってもよく、または複雑な多次元（例えば、複数チャネル）空間（例えば、畳み込みニューラルネットワークの場合）であってもよい。ニューラルネットワークは、入力空間の自由度ごとに１つの入力、および出力空間の自由度ごとに１つの出力を有する傾向がある。

いくつかの実施形態では、ＰＥは、シストリックアレイとして配置および／または実装することができる。シストリックアレイは、セルまたはノードと呼ばれる、ＰＥなどの結合されたデータ処理装置（ＤＰＵ）のネットワーク（例えば、ホモジニアスネットワーク）であることができる。各ノードまたはＰＥは、上流側の隣接するノードまたはＰＥから受信したデータの関数として、部分結果を独立して計算することができ、結果を自身に格納することができ、結果を例えば下流側に渡すことができる。シストリックアレイは、特定用途向けに構成されたハードワイヤードまたはソフトウェアであることができる。ノードまたはＰＥは、固定された同一のものであることができ、シストリックアレイの相互接続はプログラム可能であることができる。シストリックアレイは同期型データ転送に依存することができる。

再び図１Ｂを参照すると、ＰＥ１２０に対する入力ｘは、記憶デバイス１２６（例えば、ＳＲＡＭ）から読み取られるかまたはアクセスされる、入力ストリーム１３２の一部であることができる。入力ストリーム１３２は、ＰＥの１つの行（水平のバンクもしくはグループ）に方向付けることができ、ＰＥのうち１つもしくは複数にわたって共有するか、またはそれぞれのＰＥに対する入力としてのデータ部分（重なり合うもしくは重なり合わないデータ部分）に区画化することができる。重みストリーム（例えば、記憶デバイス１２６から読み取られる）における重み１３４（もしくは重み情報）は、ＰＥの列（垂直のバンクもしくはグループ）に方向付けるかまたは提供することができる。列のＰＥはそれぞれ、同じ重み１３４を共有するか、または対応する重み１３４を受信してもよい。標的のＰＥそれぞれに対する入力および／または重みは、（例えば、他のＰＥを通過せずに）標的のＰＥに（例えば、記憶デバイス１２６から）直接ルーティングすることができ、あるいは１つもしくは複数のＰＥを通して（例えば、ＰＥの行もしくは列に沿って）ルーティングすることができる。各ＰＥの出力は、ＰＥアレイの外に（例えば、他のＰＥを通過せずに）直接ルーティングすることができ、あるいは１つもしくは複数のＰＥを通して（例えば、ＰＥの列に沿って）ＰＥアレイを出るようにルーティングすることができる。ＰＥの各列の出力は、それぞれの列の加算器回路類において合算または加算し、ＰＥのそれぞれの列に対するバッファ１３０に提供することができる。バッファ１３０は、受信した出力を記憶デバイス１２６に提供、転送、ルーティング、書き込み、および／または格納することができる。いくつかの実施形態では、記憶デバイス１２６によって格納された出力（例えば、ニューラルネットワークの１つの層からの活性化データ）を、記憶デバイス１２６から検索するかまたは読み取り、後の時間における（ニューラルネットワークの後続層の）処理のため、ＰＥ１２０のアレイに対する入力として使用することができる。特定の実施形態では、記憶デバイス１２６によって格納された出力を、ＡＩアクセラレータ１０８に対する出力データ１１２として、記憶デバイス１２６から検索するかまたは読み取ることができる。

次に図１Ｃを参照すると、ＡＩに関連する処理を実施するためのデバイスの例示の一実施形態が示される。概要では、デバイスは、例えば、図１Ａおよび図１Ｂに関連して上述した１つまたは複数の特徴を有する、ＡＩアクセラレータ１０８を含むかまたはそれに対応することができる。ＡＩアクセラレータ１０８は、１つまたは複数のＰＥ１２０、他の論理または回路類（例えば、加算器回路類）、ならびに／あるいは他の構造または構成（例えば、相互接続、データバス、クロック回路類、電力ネットワーク）を含むことができる。上述の要素または構成要素はそれぞれ、ハードウェア、または少なくともハードウェアとソフトウェアの組み合わせの形で実装される。ハードウェアは、例えば、回路要素（例えば、１つもしくは複数のトランジスタ、論理ゲート、レジスタ、メモリデバイス、抵抗素子、導電素子、容量素子、および／またはワイヤもしくは導電性コネクタ）を含むことができる。

いくつかの実施形態では、ＰＥ１２０は、１つもしくは複数の乗累算（ＭＡＣ）ユニットまたは回路１４０を含むことができる。１つまたは複数のＰＥは、場合によっては、（単独でまたは集合的に）ＭＡＣエンジンと呼ぶことができる。ＭＡＣユニットは、乗累算を実施するように構成される。ＭＡＣユニットは、乗算器回路、加算器回路、および／または累算器回路を含むことができる。乗累算は、２つの数字の積を計算し、その積を累算器に加える。ＭＡＣ演算は、累算器オペランドａ、ならびに入力ｂおよびｃに関連して、次のように表すことができる。
ａ←ａ＋（ｂ×ｃ） （４）
いくつかの実施形態では、ＭＡＣユニット１４０は、組み合わせ論理に実装された乗算器とそれに続く加算器（例えば、組み合わせ論理を含むもの）、ならびに結果を格納する累算器レジスタ（例えば、順序および／または組み合わせ論理を含むもの）を含んでもよい。累算器レジスタの出力は、加算器の１つの入力にフィードバックすることができるので、各クロックサイクルにおいて、乗算器の出力を累算器レジスタに加算することができる。

上述したように、ＭＡＣユニット１４０は、乗算および加算両方の機能を実施することができる。ＭＡＣユニット１４０は２つの段階で演算することができる。ＭＡＣユニット１４０は、最初に、第１の段階で所与の数（入力）の積を計算し、結果を第２の段階の演算（例えば、加算および／または累算）のために転送することができる。ｎビットのＭＡＣユニット１４０は、ｎビット乗算器、２ｎビット加算器、および２ｎビット累算器を含むことができる。（例えば、ＰＥにおける）複数のＭＡＣユニット１４０またはＭＡＣユニットのアレイ１４０は、並列積分、畳み込み、相関、行列乗算、データ分類、および／またはデータ解析タスクのため、シストリックアレイの形で配置することができる。

本明細書に記載する様々なシステムおよび／またはデバイスを、コンピューティングシステムに実装することができる。図１Ｄは、代表的なコンピューティングシステム１５０のブロック図を示している。いくつかの実施形態では、図１Ａのシステムは、コンピューティングシステム１５０の処理装置１５６（またはプロセッサ１５６）の少なくとも一部を形成することができる。コンピューティングシステム１５０は、例えば、スマートフォン、他の移動電話、タブレットコンピュータ、ウェアラブルコンピューティングデバイス（例えば、スマートウォッチ、眼鏡、ヘッドマウントディスプレイ）、デスクトップコンピュータ、ラップトップコンピュータなどのデバイス（例えばコンシューマデバイス）として実装するか、あるいは分散型コンピューティングデバイスを実装することができる。コンピューティングシステム１５０は、ＶＲ、ＡＲ、ＭＲ体験を提供するために実装することができる。いくつかの実施形態では、コンピューティングシステム１５０は、プロセッサ１５６、記憶デバイス１５８、ネットワークインターフェース１５１、ユーザ入力デバイス１５２、およびユーザ出力デバイス１５４など、従来の専用またはカスタムのコンピュータ構成要素を含むことができる。

ネットワークインターフェース１５１は、（ローカル／リモート）サーバまたはバックエンドシステムのネットワークインターフェースも接続される、ローカル／ワイドエリアネットワーク（例えば、インターネット）に対する接続を提供することができる。ネットワークインターフェース１５１は、有線インターフェース（例えば、イーサネット）、ならびに／あるいはＷｉ－Ｆｉ、ブルートゥース、またはセルラーデータネットワーク規格（例えば、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなど）などの様々なＲＦデータ通信規格を実装する無線インターフェースを含むことができる。

ユーザ入力デバイス１５２は、ユーザがコンピューティングシステム１５０に信号を提供するのに用いることができる、任意のデバイス（または複数のデバイス）を含むことができ、コンピューティングシステム１５０は、特定のユーザ要求または情報を示すものとして信号を解釈することができる。ユーザ入力デバイス１５２は、キーボード、タッチパッド、タッチスクリーン、マウスもしくは他のポインティングデバイス、スクロールホイール、クリックホイール、ダイアル、ボタン、スイッチ、キーパッド、マイクロフォン、センサ（例えば、モーションセンサ、視線追跡センサなど）などのいずれかまたは全てを含むことができる。

ユーザ出力デバイス１５４は、コンピューティングシステム１５０がユーザに情報を提供するのに用いることができる、任意のデバイスを含むことができる。例えば、ユーザ出力デバイス１５４は、コンピューティングシステム１５０によって生成されるかまたは該システムに送達される画像を表示する、ディスプレイを含むことができる。ディスプレイは、例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）を含む発光ダイオード（ＬＥＤ）、投影システム、陰極線管（ＣＲＴ）などの様々な画像生成技術を、サポートしている電子部品（例えば、デジタル・アナログもしくはアナログ・デジタル変換器、信号プロセッサなど）とともに組み込むことができる。入力および出力両方のデバイスとして機能する、タッチスクリーンなどのデバイスを使用することができる。ユーザ出力デバイス１５４は、ディスプレイに加えてまたはディスプレイの代わりに提供することができる。例としては、インジケータ光、スピーカ、触覚「ディスプレイ」デバイス、プリンタなどが挙げられる。

いくつかの実現例としては、コンピュータプログラム命令を非一時的なコンピュータ可読記憶媒体に格納する、マイクロプロセッサ、記憶装置、およびメモリなどの電子構成要素が挙げられる。本明細書に記載する特徴の多くは、コンピュータ可読記憶媒体として符号化されたプログラム命令のセットとして指定される、プロセスとして実現することができる。これらのプログラム命令は、１つまたは複数のプロセッサによって実行されると、プログラム命令に示されている様々な動作をプロセッサに実施させる。プログラム命令またはコンピュータコードの例としては、コンパイラによって作成されるものなどの機械コード、およびインタープリタを使用してコンピュータ、電子構成要素、またはマイクロプロセッサによって実行される、より高次のコードを含むファイルが挙げられる。好適なプログラミングを通して、プロセッサ１５６は、コンピューティングシステム１５０に対して、サーバまたはクライアントによって実施されるものとして本明細書に記載する機能性、またはメッセージ管理サービスと関連付けられた他の機能性のいずれかを含む、様々な機能性を提供することができる。

コンピューティングシステム１５０は例示であり、変形および修正が可能であることが認識されるであろう。本開示と関連して使用されるコンピュータシステムは、本明細書には具体的に記載しない他の能力を有することができる。更に、コンピューティングシステム１５０について、特定のブロックを参照して記載しているが、該ブロックは説明の便宜上定義されているものであり、構成部品の特定の物理的配置を示唆しようとするものではないことが理解されるべきである。例えば、異なるブロックを、同じ設備に、同じサーバラックに、または同じマザーボード上に配置することができる。更に、ブロックは必ずしも物理的に別個の構成要素に対応していなくてもよい。ブロックは、例えば、プロセッサをプログラミングするか、または適切な制御回路類を提供することによって、様々な動作を実施するように構成することができ、様々なブロックは、初期の構成がどのように得られるかに応じて再構成可能であってもなくてもよい。本開示の実現例は、回路類およびソフトウェアの任意の組み合わせを使用して実装される電子デバイスを含む、様々な装置で実現することができる。

Ｂ．代替数字形式を使用した値の乗算のための方法およびデバイス
本明細書の開示は、効率的な乗算のための数字形式を使用するシステムおよび方法を含むがそれらに限定されない、ニューラルネットワークに対する値の乗算を実施するシステム、方法、およびデバイスの実施形態を含む。いくつかの態様では、本開示は、例えばＡＩチップにおけるエネルギー効率が良い乗算により適した代替形式で数字を表す技術を対象とする。

一態様では、ニューラルネットワークで使用される数字（例えば、訓練中に決定することができる活性化関数からの重みもしくは値）は、例えば、符号付き絶対数表現または２の補数などの従来の二進数形式など、リニア形式で表すことができる。しかしながら、かかるリニア形式での２つの数字の乗算には、加算器またはシフト演算よりも多くのエネルギーを消費することがある、乗算器演算が関与する。この課題に対処するため、本開示は、従来の数字形式に代わる数字形式（以下、「代替数字形式」と呼ばれる場合がある）を使用して、値の乗算を実施する解決策を提供し、それにより、それらの値の乗算は、乗算器演算の代わりによりエネルギー効率が良い演算（例えば、加算器またはシフト演算）で実施することができる。

別の態様では、代替形式の使用によって、乗算における部分積の数を低減することができ、それによって更にエネルギーおよびレイテンシが低減される。例えば、代替形式を使用して乗算を実施する際、いくつかの実施形態では、４ビットデータＢ＝（ｂ３ ｂ２ ｂ１ ｂ０）は、ｂ０＋２×ｂ１＋４×ｂ２（符号ビットｂ３は考慮しない）の代わりに、数字ｂ０＋２×β（β＝２^ｎ（ｎは０以上の整数））を表すことができる。Ｂによって表される数字が別の４ビット数によって乗算される場合、部分積の数は２であるが（例えば、ｂ０×Ａ＋２×β×Ａ）、Ｂがリニア数形式である場合の部分積の数は３になる（例えば、ｂ０×Ａ＋２×ｂ１×Ａ＋４×ｂ２×Ａ）。つまり、例えば２つの４ビット数の乗算の場合、この代替形式は、部分積（および部分積演算）の最大数を、リニア数形式と比較して３から２に低減することができる。

更なる態様では、この代替数字形式は、様々な可能な規定の数字または値のセット（例えば、ニューラルネットワークに対する重みを表す）の使用を組み込むことができ、値の範囲（例えば、いくつかの実施形態では、「０００」～「１１１」によって表される範囲を０～９に拡張することができる）を拡張することができる一方で、いくつかの値のみを飛ばすかまたは却下することができる（例えば、いくつかの実施形態では、代替形式の使用にしたがって６および７は表されない）。例えば、４ビットデータ「０１１０」および「０１１１」はそれぞれ、リニア形式で表されるような６および７の代わりに、８および９を表す。したがって、この代替数字は、ニューラルネットワークの性能（例えば、精度）を大幅に低下させることなく、値の範囲を拡張することができる。

図２Ａは、本開示の例示の一実現例による、ＡＩに関連する処理を実施するデバイスの一実施形態を示すブロック図である。いくつかの実施形態では、ＡＩアクセラレータ２１０は、乗累算を実施するように構成された、１つまたは複数のＭＡＣユニット２１５を含んでもよい。ＭＡＣユニット２１５は、乗算回路類２１６、加算器回路、および／または累算器回路を含むことができる。乗算回路類２１６は、第１の値２１１および第２の値２１２を入力として受信し、第１および第２の値の乗算結果２１３を加算器回路に提供することができる。いくつかの実施形態では、第１の値２１１は、ニューラルネットワークの第１の層に対する重みデータ（例えば、畳み込み演算のための重み値）および活性化データ（例えば、活性化関数の値）のうち一方の値を表してもよく、第２の値２１３は、ニューラルネットワークの第１の層に対する重みデータおよび活性化データの他方の値を表してもよい。

いくつかの実施形態では、乗算回路類２１６は、乗算器演算の代わりに、よりエネルギー効率が良い演算（例えば、加算器またはシフト演算）で乗算を実施することができるので、ＭＡＣユニット２１５は、図１ＣのＭＡＣユニット１４０と同様に、ただしＭＡＣユニット１４０よりもエネルギー効率が良い形で、乗算および加算両方の機能を実施することができる。乗算回路類２１６については、以下の項で詳細に記載する。

図２Ｂは、本開示の例示の一実現例による、ＡＩに関連する処理を実施する代替数字形式の一実施形態を示すブロック図である。図２Ｂを参照すると、いくつかの実施形態では、（ｂ３ ｂ２ ｂ１ ｂ０）によって示される４ビットデータ（Ｂ）は、第１のビット２２１（ｂ０によって示される）と、２つ以上の第２のビット２２２（（ｂ２ ｂ１）によって示される）とを含む所定の形式を有して、ゼロまたは２^ｎ（ｎは０以上の整数）の値を表すので、Ｂは値ｂ０＋２×β（式中、βは２^ｎ）を表すことができる。いくつかの実施形態では、４ビットデータＢは、Ｂによって表される値の符号を表す、第３のビットｂ３を含む。例えば、この所定の形式によれば、Ｂ＝（０ １ １ ０）は、第１のビットｂ０としての「０」と、２^２（ｎ＝２）を表す第２のビット（ｂ２ ｂ１）としての「１ １」と、正の符号を表す「０」とを含み、それによって＋８（＝０＋２×２^２）を表す。また、Ｂ＝（０ １ １ １）は、第１のビットｂ０としての「１」と、２^２（ｎ＝２）を表す第２のビット（ｂ２ ｂ１）としての「１ １」と、正の符号を表す第３のビットｂ３としての「０」とを含み、それによって＋９（＝１＋２×２^２）を表す。

図２Ｂはまた、それぞれの４ビットデータＢによって表される十進数値２２５を示すマッピングテーブル２２０を示している。図２Ｂに示されるように、代替形式の４ビットデータＢ＝（０ ０ ０ ０）～（０ １ ０ １）は、リニア数形式の場合と同じ値を表すことができるが、Ｂ＝（０ １ １ ０）および（０ １ １ １）は、リニア数形式の場合とは異なる値を表すことができる（図２Ｂの円で囲んだ範囲２２６を参照）。更に、図２Ｂに示されるようないくつかの実施形態では、上述した所定の形式を使用して、値６および７は代替数字形式で表されない。

いくつかの実施形態では、代替数字形式は、上述したのとは異なる形で所定の形式を定義することができる。例えば、第２のビット（ｂ２ ｂ１）として、「０ １」が２^１（ｎ＝１）を表し、「１ ０」が２^２（ｎ＝２）を表し、「１ １」が２^３（ｎ＝３）を表す場合、４ビットデータＢは、十進数値０～１、４～５、８～９、１６～１７を表すことができるので、表される値の範囲を０～１７に拡張することができるが、値２～３、６～７、および１０～１５は表されないことがある。いくつかの実施形態では、第２のビットは２を超えるビットを含むことができ、第１のビットは１を超えるビットを含むことができる。例えば、代替数字形式は、第１のビットが（ｂ１ ｂ０）に対応し、第２のビット（ｂ４ ｂ３ ｂ２）が２^ｎを表すように、所定の形式を定義することができる。

図２Ｃは、本開示の例示の一実現例による、代替数字形式を使用して乗算を実施する回路類の一実施形態を示すブロック図である。図２Ｃを参照すると、アクセラレータ２１０（図２Ａを参照）の乗算回路類２１６は、代替数字形式の第１の値２１１およびリリニア数形式の第２の値２１２に対して乗算を実施するため、マッピング回路類２３１、シフト回路類２３２、加算回路類２３４、累算器２３５、および／または符号生成器２３６を含んでもよい。いくつかの実施形態では、加算回路類２３４および累算器２３５は、図１Ｃにそれぞれ示される加算器および累算器と類似の構成を有してもよい。

この例では、代替数字形式の第１の値は、４ビット（ｂ３ ｂ２ ｂ１ ｂ０）を含むＢによって示され、ｂ０は第１のビットであり、（ｂ２ ｂ１）は２^ｎ（ｎは０以上の整数）を表す第２のビットであり、ｂ３は第１の値の符号を表す第３のビット２２３である。この形式では、Ｂは値（ｂ０＋２×β）を表すことができ、β＝２^ｎである。リニア数形式の第２の値は、４ビット（ａ３ ａ２ ａ１ ａ０）を含むＡによって示されるので、Ａは値（ａ０＋２×ａ１＋４×ａ２）を表すことができる。乗算回路類２１６は、第１の値Ｂおよび第２の値Ａを乗算して、値（ｂ０＋２×β）×（ａ０＋２×ａ１＋４×ａ２）＝ｂ０×（ａ０＋２×ａ１＋４×ａ２）＋２^ｎ＋１×（ａ０＋２×ａ１＋４×ａ２）に対応する乗算結果２１３を提供することができる。第１および第２の部分積２^ｎ＋１×（ａ０＋２×ａ１＋４×ａ２）およびｂ０×（ａ０＋２×ａ１＋４×ａ２）はそれぞれ、ｐｐ１およびｐｐ２によって示される。
Ｂ×Ａ＝ｐｐ１＋ｐｐ２＝２^ｎ＋１×（ａ０＋２×ａ１＋４×ａ２）＋ｂ０×（ａ０＋２×ａ１＋４×ａ２）・・・・・・式（１）
例えば、Ｂ＝（０ １ １ １）およびＡ＝（０ １ １ １）の場合、図２Ｂに示されるマッピングにしたがって、β＝２^ｎ＝４を得ることができ、乗算回路類２１６は、十進数形態の（１＋２×４）×（１＋２×１＋４×１）＝６３に対応する乗算結果を提供することができる。次に、乗算回路類２１６がどのようにして、代替数字形式を使用してエネルギー効率が良い形で乗算結果を提供することができるかについて記載する。

いくつかの実施形態では、シフト回路類２３２は、データを２^ｋで乗算するように、データを右方向にｋ回シフトすることができる、１つまたは複数のシフトレジスタであってもよい。いくつかの実施形態では、シフトレジスタのシフト制御入力信号は、シフトレジスタがいつ何回シフトされるかを決定することができる。いくつかの実施形態では、シフト回路類２３２は、指定のビット数分データを循環シフトすることができる、バレルシフタであってもよい。いくつかの実施形態では、シフト回路類２３２は、組込みビット演算を使用して循環シフトを実現することができる、図１Ａのプロセッサ１２４と類似のプロセッサであってもよい。

いくつかの実施形態では、マッピング回路類２３１は、第１の値Ｂの第２のビット（ｂ２ ｂ１）の値がゼロであるか否かを決定するように構成されてもよい。マッピング回路類２３１は、第２のビット（ｂ２ ｂ１）の値がゼロであるという決定に応答して、ゼロの値を第１の部分積ｐｐ１（例えば、第１の乗算結果）として提供するように構成されてもよい。

いくつかの実施形態では、第１の値Ｂの第２のビット（ｂ２ ｂ１）の値がゼロではないという決定に応答して、シフト回路類２３２は、第２の値Ａのビット（ａ２ ａ１ ａ０）の値をロードまたは格納してもよい（図２Ｃの２２）。マッピング回路類２３１は、第１の値Ｂの第２のビット（ｂ２ ｂ１）の値を入力として受信し（図２Ｃの２１）、整数ｎを取得し、（ｎ＋１）サイクルの間にシフト制御入力信号を生成して、シフト回路類２３２に（ｎ＋１）ビット分データをシフトさせるように構成されてもよい（図２Ｃの２３）。（ｎ＋１）サイクルの間にシフト制御入力信号を受信したのに応答して、シフト回路類２３２は、格納されたビット値（ａ２ ａ１ ａ０）を（ｎ＋１）ビット分シフトして、第１の部分積ｐｐ１＝２^ｎ＋１×（ａ０＋２×ａ１＋４×ａ２）を出力してもよい（式１を参照）。例えば、Ｂ＝（０ １ １ １）の場合、マッピング回路類２３１は、第１の値Ｂの第２のビット（ｂ２ ｂ１）の「１ １」を入力として受信し、ｎ＝２を取得し、（ｎ＋１）＝３サイクルの間にシフト回路類２３２に入力されるシフト制御入力信号を生成して、シフト回路類２３２に格納された値（ａ０＋２×ａ１＋４×ａ２）を（ｎ＋１）ビット分シフトさせることができ、それは第１の部分積ｐｐ１＝２^ｎ＋１×（ａ０＋２×ａ１＋４×ａ２）に対応する。

いくつかの実施形態では、マッピング回路類２３１は、図２Ｂのマッピングテーブル２２０と類似のルックアップテーブルであってもよい。いくつかの実施形態では、マッピング回路類２３１は、第２のビット（ｂ２ ｂ１）の値に基づいてルックアップテーブルを探索し、整数ｎを取得または検索し、（ｎ＋１）サイクルの間にシフト回路類に入力されるシフト制御入力信号を生成することができる。いくつかの実施形態では、プロセッサ、例えば図１Ａのプロセッサ１２４は、第２のビット（ｂ２ ｂ１）の値に基づいて、ルックアップテーブルを探索することができる。いくつかの実施形態では、マッピング回路類２３１は、二進数（ｂ２ ｂ１）をＢから読み取り、二進数（ｂ２ ｂ１）の値に基づいて、（ｎ＋１）サイクルの間にシフト制御入力信号を生成するように構成されてもよい。例えば、二進数の「１１」は十進数の「３」に等しいので、Ｂ＝（０ １ １ １）の場合、マッピング回路類２３１は、二進数（「１ １」）の値に基づいて、（ｎ＋１）＝３サイクルの間にシフト制御入力信号を生成することができる。

いくつかの実施形態では、シフト回路類２３２は、シフトされた値、例えば第１の部分積ｐｐ１＝２^ｎ＋１×（ａ０＋２×ａ１＋４×ａ２）を、加算回路類２３４に出力するように構成されてもよい（図２Ｃの２４）。第１の部分積ｐｐ１を受信したのに応答して、加算回路類２３４は、受信した第１の部分積およびゼロ（このとき、累算された値は累算器２３５に存在しないため）を加算し、加算された値を累算器２３５に出力するように構成されてもよい（図２Ｃの２５）。

次に、シフト回路類２３２は、第２の値Ａのビット（ａ２ ａ１ ａ０）の値をロードまたは格納してもよい（図２Ｃの２２）。いくつかの実施形態では、乗算回路類２１６は、第２の値Ａのビット（ａ２ ａ１ ａ０）の値を再度ロードまたは格納しないように、（例えば、「ビットをクリアする」を低に設定することによって）最終値を保持するようにシフト回路類２３２を制御することができる。いくつかの実施形態では、乗算回路類２１６は、第１の値の第１のビット（ｂ０）の値に基づいて、ビットの格納された値（ａ２ ａ１ ａ０）を出力するように、シフト回路類２３２を制御することができる。いくつかの実施形態では、乗算回路類２１６は、ゼロ（ｂ０の値がゼロの場合）またはビットの格納された値（ａ２ ａ１ ａ０）（ｂ０の値が「１」の場合）を加算回路類２３４に選択的に出力するように、シフト回路類２３２を制御することができる（図２Ｃの２４）。このようにして、シフト回路類２３２は、第２の部分積ｐｐ２＝ｂ０×（ａ０＋２×ａ１＋４×ａ２）を加算回路類２３４に出力することができる（図２Ｃの２４）。第２の部分積ｐｐ２を受信したのに応答して、加算回路類２３４は、第２の部分積ｐｐ２と、累算器２３５から前に受信していた第１の部分積ｐｐ１とを加算し（図２Ｃの２７）、加算された値（例えば、ｐｐ１＋ｐｐ２）を累算器２３５に出力するように構成されてもよい（図２Ｃの２５）。加算された値を受信したのに応答して、累算器２３５は、加算された値（ｐｐ１＋ｐｐ２）を符号生成器２３６に出力するように構成されてもよい。加算された値（ｐｐ１＋ｐｐ２）を受信したのに応答して、符号生成器２３６は、第１の値Ｂの第３のビットｂ３の値２２３および第２の値Ａの第３のビットａ３の値２３３に基づいて、乗算結果２１３として、加算された値の正の値または加算された値の負の値を出力するように構成されてもよい（図２Ｃの２８）。

図２Ｃに示される乗算回路類２１６は、代替数字形式を使用して２つの数字の乗算を実施することができ、それにより、乗算器演算の代わりによりエネルギー効率が良い演算（例えば、加算器またはシフト演算）で、それら２つの数字の乗算を実施することができる。更に、代替形式を使用して２つの４ビットの数字を乗算する際、乗算回路類２１６は、２つの部分積（例えば、式１のｐｐ１およびｐｐ２）を用いて乗算を実施し、それによって、リニア数形式と比較して、部分積（および部分積演算）の最大数を３から２に低減することができる。

図２Ｃは、代替数字形式の第１の値と、リニア数形式としての符号付き絶対数表現形式の第２の値との乗算を示している。しかしながら、本開示は、図２Ｃに示される実施形態に限定されない。第２の値が異なるリニア数形式であっても、例えば、２の補数形式または符号なし形式であっても、乗算回路類２１６は、代替数字形式の第１の値と、異なるリニア数形式の第２の値とを類似の方式で乗算することができる。例えば、第２の値が２の補数形式の場合、累算器２３５からの出力は２の補数形式であってもよく、したがって符号生成器２３６は、第１の値の第３のビットｂ３および第２の値の第３のビットａ３に基づいて、乗算結果の符号を決定するだけでなく、符号決定の結果にしたがって、累算器出力を適切な２の補数形式に変換してもよい。第２の値が符号なし形式の場合、シフト回路類２３２は、図２Ｃの２２で、（ａ２ ａ１ ａ０）の代わりに（ａ３ ａ２ ａ１ ａ０）の値を格納またはロードしてもよく、符号生成器２３６は、第１の値の第３のビットｂ３のみに基づいて乗算結果の符号を決定することができる。

図２Ｄは、本開示の例示の一実現例による、代替数字形式を使用して乗算を実施する回路類の別の実施形態を示すブロック図である。図２Ｄを参照すると、乗算回路類２４０は、（１）両方とも代替数字形式である第１の値２４１および第２の値２４２に対して乗算を実施すること、またしたがって（２）マッピング回路類２４４が、第１の値２４１の第２のビットの値を整数にマッピングするだけでなく、第２の値２４２の第２のビットの値も整数にマッピングするように構成されることを除いて、図２Ｃの乗算回路類２１６と同じ構成を有してもよい。

図２Ｄのこの例では、第１の値２４１は、代替数字形式を有し、４ビット（ｂ３ ｂ２ ｂ１ ｂ０）を含むＢによって示され、ｂ０は第１のビットであり、（ｂ２ ｂ１）は２ｎ（ｎは０以上の整数）を表す第２のビットであり、ｂ３は第１の値２４１の符号を表す第３のビットである。この形式では、Ｂは値（ｂ０＋２×β）を表すことができ、β＝２^ｎである。第２の値２４２も、代替数字形式を有し、４ビット（ｃ３ ｃ２ ｃ１ ｃ０）を含むＣによって示され、ｃ０は第１のビットであり、（ｃ２ ｃ１）は２^ｍ（ｍは０以上の整数）を表す第２のビットであり、ｃ３は第２の値２４２の符号を表す第３のビットである。この形式では、Ｃは値（ｃ０＋２×γ）を表すことができ、γ＝２^ｍである。乗算回路類２４０は、第１の値Ｂおよび第２の値Ｃを乗算して、値（ｂ０＋２×β）×（ｃ０＋２×γ）＝ｂ０×ｃ０＋ｂ０×２^ｍ＋１＋ｃ０×２^ｎ＋１＋２^ｎ＋１×２^ｍ＋１に対応する乗算結果２４３を提供することができる。積項２^ｎ＋１×２^ｍ＋１、ｃ０×２^ｎ＋１、ｂ０×２^ｍ＋１、およびｂ０×ｃ０はそれぞれ、ｐｔ１、ｐｔ２、ｐｔ３、およびｐｔ４によって示される。
Ｂ×Ｃ＝ｐｔ１＋ｐｔ２＋ｐｔ３＋ｐｔ４＝２^ｎ＋１×２^ｍ＋１＋ｃ０×２^ｎ＋１＋ｂ０×２^ｍ＋１＋ｂ０×ｃ０・・・・・・式（２）
例えば、Ｂ＝（０ １ １ １）およびＣ＝（０ １ １ １）の場合、図２Ｂに示されるマッピングにしたがって、β＝２^ｎ＝４およびγ＝２^ｍ＝４を得ることができ（ｍ＝ｎ＝２）、乗算回路類２４０は、十進数形態の（２^３×２^３＋１×２^３＋１×２^３＋１×１）＝８１に対応する乗算結果を提供することができる。次に、乗算回路類２４０がどのようにして、代替数字形式を使用してエネルギー効率が良い形で乗算結果を提供することができるかについて記載する。

いくつかの実施形態では、シフト回路類２３２は、１の値（「１」）をロードまたは格納してもよい（図２Ｄの４０）。マッピング回路類２４４は、第２の値Ｃの第２のビット（ｃ２ ｃ１）の値を入力として受信し（図２Ｄの４１）、整数ｍを取得し、（ｍ＋１）サイクルの間にシフト制御入力信号を生成して、シフト回路類２３２に（ｍ＋１）ビット分データ（例えば、「１」）をシフトさせるように構成されてもよい（図２Ｄの４２）。（ｍ＋１）サイクルの間にシフト制御入力信号を受信したのに応答して、シフト回路類２３２は、格納された値（例えば、「１」）を（ｍ＋１）ビット分シフトして、２^ｍ＋１をその中に保持してもよい。次に、マッピング回路類２４４は、第１の値Ｂの第２のビット（ｂ２ ｂ１）の値を入力として受信し（図２Ｄの４３）、整数ｎを取得し、（ｎ＋１）サイクルの間にシフト制御入力信号を生成して、シフト回路類２３２に、格納されたデータ（例えば、２^ｍ＋１）を（ｎ＋１）ビット分シフトさせるように構成されてもよい（図２Ｄの４４）。（ｎ＋１）サイクルの間にシフト制御入力信号を受信したのに応答して、シフト回路類２３２は、格納された値（例えば、２^ｍ＋１）を（ｎ＋１）ビット分シフトして、積項ｐｔ１に対応する２^ｎ＋１×２^ｍ＋１を加算回路類２３４に出力してもよい（図２Ｄの４６）。例えば、Ｂ＝（０ １ １ １）およびＣ＝（０ １ １ １）の場合、マッピング回路類２４４は、ｍ＝ｎ＝２を取得し、対応するシフト制御入力信号を生成することができ、それによってシフト回路類２３２は、格納された値（例えば、「１」）を最初に（ｍ＋１）＝３ビット分、続いて（ｎ＋１）＝３ビット分シフトして、積項ｐｔ１に対応する２^ｎ＋１×２^ｍ＋１（＝６４）を加算回路類２３４に出力することができる。

いくつかの実施形態では、シフト回路類２３２は、シフトされた値、例えば積項ｐｔ１＝２^ｎ＋１×２^ｍ＋１を、加算回路類２３４に出力するように構成されてもよい（図２Ｄの４６）。第１の積項ｐｔ１を受信したのに応答して、加算回路類２３４は、受信した第１の積項およびゼロ（このとき、累算された値は累算器２３５に存在しないため）を加算し、加算された値を累算器２３５に出力するように構成されてもよい（図２Ｄの４７）。

いくつかの実施形態では、シフト回路類２３２は、第２の値Ｃの第１のビットｃ０の値をロードまたは格納してもよい（図２Ｄの４５）。次に、マッピング回路類２４４は、第１の値Ｂの第２のビット（ｂ２ ｂ１）の値を入力として受信し（図２Ｄの４３）、整数ｎを取得し、（ｎ＋１）サイクルの間にシフト制御入力信号を生成して、シフト回路類２３２に、格納されたデータ（例えば、第１のビットｃ０の値）を（ｎ＋１）ビット分シフトさせるように構成されてもよい（図２Ｄの４４）。いくつかの実施形態では、マッピング回路類２４４は、第２のビット（ｂ２ ｂ１）の値を受信せず、整数ｎを取得しないように、シフト回路類２３２に出力された最終値（例えば、ここでは（ｎ＋１））を保持することができる。（ｎ＋１）サイクルの間にシフト制御入力信号を受信したのに応答して、シフト回路類２３２は、格納された値（例えば、第１のビットｃ０の値）を（ｎ＋１）ビット分シフトして、積項ｐｔ２に対応するｃ０×２^ｎ＋１を加算回路類２３４に出力してもよい（図２Ｄの４６）。積項ｐｔ２を受信したのに応答して、加算回路類２３４は、受信した積項ｐｔ２と、累算器２３５から前に受信していた積項ｐｔ１とを加算し（図２Ｃの４９）、加算された値（例えば、ｐｔ１＋ｐｔ２）を累算器２３５に出力するように構成されてもよい（図２Ｃの４７）。

いくつかの実施形態では、シフト回路類２３２は、１の値（「１」）をロードまたは格納してもよい（図２Ｄの４０）。マッピング回路類２３１は、第２の値Ｃの第２のビット（ｃ２ ｃ１）の値を入力として受信し（図２Ｄの４１）、整数ｍを取得し、（ｍ＋１）サイクルの間にシフト制御入力信号を生成して、シフト回路類２３２に（ｍ＋１）ビット分データをシフトさせるように構成されてもよい（図２Ｄの４２）。（ｍ＋１）サイクルの間にシフト制御入力信号を受信したのに応答して、シフト回路類２３２は、格納された値（例えば、「１」）を（ｍ＋１）ビット分シフトして、２^ｍ＋１をその中に保持してもよい。いくつかの実施形態では、乗算回路類２４０は、第１の値の第１のビット（ｂ０）の値に基づいて、格納された値２^ｍ＋１を出力するように、シフト回路類２３２を制御することができる。いくつかの実施形態では、乗算回路類２４０は、ゼロ（ｂ０の値がゼロの場合）または２^ｍ＋１の格納された値（ｂ０の値が「１」の場合）を加算回路類２３４に選択的に出力するように、シフト回路類２３２を制御することができる（図２Ｃの４６）。このようにして、シフト回路類２３２は、積項ｐｔ３＝ｂ０×２^ｍ＋１を加算回路類２３４に出力することができる（図２Ｄの４６）。積項ｐｔ３を受信したのに応答して、加算回路類２３４は、受信した積項ｐｔ３と、累算器２３５から前に受信していた加算された値（ｐｔ１＋ｐｔ２）とを加算し（図２Ｄの４９）、新しく加算された値（例えば、ｐｔ１＋ｐｔ２＋ｐｔ３）を累算器２３５に出力するように構成されてもよい（図２Ｃの４７）。

いくつかの実施形態では、シフト回路類２３２は、第２の値Ｃの第１のビットｃ０の値をロードまたは格納してもよい（図２Ｄの４５）。いくつかの実施形態では、乗算回路類２４０は、第１の値の第１のビット（ｂ０）の値に基づいて、第１のビットｃ０の格納された値を出力するように、シフト回路類２３２を制御することができる。いくつかの実施形態では、乗算回路類２４０は、ゼロ（ｂ０の値がゼロの場合）または第１のビットｃ０の格納された値（ｂ０の値が「１」の場合）を加算回路類２３４に選択的に出力するように、シフト回路類２３２を制御することができる（図２Ｃの４６）。このようにして、シフト回路類２３２は、積項ｐｔ４＝ｂ０×ｃ０を加算回路類２３４に出力することができる（図２Ｄの４６）。積項ｐｔ４を受信したのに応答して、加算回路類２３４は、受信した積項ｐｔ４と、累算器２３５から前に受信していた前に加算された値（ｐｔ１＋ｐｔ２＋ｐｔ３）とを加算し（図２Ｄの４９）、新しく加算された値（例えば、ｐｔ１＋ｐｔ２＋ｐｔ３＋ｐｔ４）を累算器２３５に出力するように構成されてもよい（図２Ｃの４７）。

いくつかの実施形態では、加算された値を受信したのに応答して、累算器２３５は、加算された値（ｐｔ１＋ｐｔ２＋ｐｔ３＋ｐｔ４）を符号生成器２３６に出力するように構成されてもよい。加算された値（ｐｔ１＋ｐｔ２＋ｐｔ３＋ｐｔ４）を受信したのに応答して、符号生成器２３６は、第１の値Ｂの第３のビットｂ３の値２４５および第２の値Ａの第３のビットａ３の値２４６に基づいて、乗算結果２４３として、加算された値の正の値または加算された値の負の値を出力するように構成されてもよい（図２Ｄの５０）。

図２Ｄに示される乗算回路類２４０は、代替数字形式である２つの数字の乗算を実施することができ、それにより、乗算器演算の代わりによりエネルギー効率が良い演算（例えば、加算器またはシフト演算）で、それら２つの数字の乗算を実施することができる。更に、代替形式で２つの４ビットの数字を乗算する場合、乗算回路類２１６は、４つの積項（例えば、式２のｐｔ１、ｐｔ２、ｐｔ３、およびｐｔ４）を用いて乗算を実施し、それによって、両方の数字がリニア数形式である場合と比較して積項（および積演算）の最大数を６から４に低減することができる。

本開示のいくつかの実施形態では、デバイス（例えば、図２ＡのＡＩアクセラレータ２１０）は、ニューラルネットワークの第１の値（例えば、図２Ｃおよび図２Ｄの第１の値２１１または２４１）と第２の値（例えば、図２Ｃおよび図２Ｄの第２の値２１２または２４２）との乗算を実施するため、シフト回路類（例えば、図２Ｃおよび図２Ｄのシフト回路類２３２）と加算回路類（例えば、図２Ｃおよび図２Ｄの加算回路類２３４）とを含む、回路（例えば、図２Ａ、図２Ｃ、および図２Ｄの乗算回路類２１６または２４０）を含む。第１の値は、第１のビット（例えば、図２Ｃおよび図２Ｄのｂ０）と、ゼロまたは２^ｎ（ｎは０以上の整数）の値を表す２つ以上の第２のビット（図２Ｂのマッピングテーブル２２６を参照）とを含む、所定の形式を有してもよい（例えば、図２Ｃおよび図２Ｄで、Ｂ＝（０ １ １ １）の場合、２^２にマッピングされた（ｂ２ ｂ１））。回路類は、２つ以上の第２のビットが２^ｎの値を表すとき、シフト回路類を介して第２の値（例えば、図２Ｃの（ａ２ ａ１ ａ０）の値）を（ｎ＋１）ビット分シフトして、第１の乗算結果（例えば、式１の第１の部分積ｐｐ１）を提供するように構成されてもよい。回路類は、第１の値の第１のビット（例えば、図２Ｃおよび図２Ｄのｂ０）の値に基づいて、ゼロまたは第２の値（例えば、図２Ｃの（ａ２ ａ１ ａ０）の値）を選択的に出力して、第２の乗算結果（例えば、式１の第２の部分積ｐｐ２）を提供するように構成されてもよい。回路類は、第１の乗算結果および第２の乗算結果を、加算回路類（例えば、図２Ｃおよび図２Ｄの加算回路類２３４および累算器２３５）を介して加算して、第１の値および第２の値の乗算の結果（例えば、図２Ｃの乗算結果２１３）を提供するように構成されてもよい。

いくつかの実施形態では、第１の値の２つ以上の第２のビットとしての「１ １」は、４の値を表してもよい。例えば、代替数字形式の４ビットデータＢが（０ １ １ １）の場合、第２のビットとしての「１ １」は４（＝２^２、ｎ＝２）を表すので、Ｂはｂ０＋２×２^２＝９にマッピングされる（図２Ｂのマッピングテーブル２２０も参照）。いくつかの実施形態では、第１の値の第１のビットは第１の値の最下位ビット（ＬＳＢ）であってもよい。例えば、図２Ｂに示されるように、４ビットデータＢの第１のビットｂ０はＬＳＢである。いくつかの実施形態では、第１の値は更に、第１の値が符号ありまたは符号なしであるかを示す、第３のビット（例えば、図２Ｂの第３のビットｂ３）を含んでもよい（例えば、図２Ｂでは、第３のビットｂ３の値２２３はＢの符号ビットである）。いくつかの実施形態では、回路類（例えば、図２Ｃの符号生成器２３６）は、第１の値の第３のビットの値に基づいて（例えば、図２Ｃの第３のビットｂ３の値２２３に基づいて）、第１の値および第２の値の乗算の結果（例えば、乗算結果２１３）の符号を決定するように構成されてもよい。

いくつかの実施形態では、回路類は、２つ以上の第２のビットがゼロの値を表すとき、ゼロの値を第１の乗算結果として提供するように構成されてもよい。例えば、図２Ｃを参照すると、マッピング回路類２３１は、第１の値Ｂの第２のビット（ｂ２ ｂ１）の値がゼロであるか否かを決定するように構成されてもよい。マッピング回路類２３１は、第２のビット（ｂ２ ｂ１）の値がゼロであるという決定に応答して、ゼロの値を第１の部分積ｐｐ１（例えば、第１の乗算結果）として提供するように構成されてもよい。いくつかの実施形態では、第１の値Ｂの第２のビット（ｂ２ ｂ１）の値がゼロではないという決定に応答して、シフト回路類２３２は、第２の値Ａのビット（ａ２ ａ１ ａ０）の値をロードまたは格納してもよい（図２Ｃの２２）。いくつかの実施形態では、第２の値は、リニア数形式を使用して二進数を表してもよい（例えば、図２Ｃでは、第２の値Ａは符号付き絶対数表現形式である）。

いくつかの実施形態では、第２の値（例えば、図２Ｄの第２の値Ｃ）は、第１のビット（例えば、図２Ｄの第１のビットｃ０）と、ゼロまたは２^ｍ（ｍはゼロ以上の整数）の値（例えば、Ｃ＝（０ １ １ １）の場合、第２のビット（ｃ２ ｃ１）は４＝２^２、ｍ＝２を表す）を表す２つ以上の第２のビット（例えば、図２Ｄの第２のビット（ｃ２ ｃ１））とを備える、所定の形式を有してもよい。いくつかの実施形態では、回路類（例えば、図２Ｄの乗算回路類２４０）は更に、第１の値の２つ以上の第２のビットが２^ｎの値を表し（例えば、第１の値Ｂの第２のビット（ｂ２ ｂ１）が４＝２^２、ｎ＝２を表し）、第２の値の２つ以上の第２のビットが２^ｍの値を表す（例えば、第２の値Ｃの第２のビット（ｃ２ ｃ１）が４＝２^２、ｍ＝２を表す）とき、シフト回路類（例えば、図２Ｄのシフト回路類２３２）を介して２^ｍ＋１の値を（ｎ＋１）ビット分シフトして、第３の乗算結果（例えば、式（２）の積項ｐｔ１＝２^ｎ＋１×２^ｍ＋１）を提供するように構成されてもよい。回路類は更に、第２の値の第１のビット（例えば、図２Ｄの第２の値Ｃの第１のビットｃ０）の値に基づいて、ゼロまたは２^ｎ＋１の値を選択的に出力して、第４の乗算結果（例えば、式（２）の積項ｐｔ２＝ｃ０×２^ｎ＋１）を提供するように構成されてもよい。回路類は更に、第１の値の第１のビット（例えば、図２Ｄの第１の値Ｂの第１のビットｂ０）の値に基づいて、ゼロまたは２^ｍ＋１の値を選択的に出力して、第５の乗算結果（例えば、式（２）の積項ｐｔ３＝ｂ０×２^ｍ＋１）を提供するように構成されてもよい。回路類は更に、第１の値の第１のビット（例えば、図２Ｄの第１の値Ｂの第１のビットｂ０）の値に基づいて、ゼロまたは第２の値の第１のビット（例えば、図２Ｄの第２の値Ｃの第１のビットｃ０）の値を選択的に出力して、第６の乗算結果（例えば、式（２）の積項ｐｔ４＝ｂ０×ｃ０）を提供するように構成されてもよい。回路類は更に、加算回路類（例えば、図２Ｄの加算回路類２３４および累算器２３５）を介して第３～第６の乗算結果を加算して（例えば、式（２）のｐｔ１＋ｐｔ２＋ｐｔ３＋ｐｔ４）、第１の値および第２の値の乗算の結果（例えば、図２Ｄの乗算結果２４３）を提供するように構成されてもよい。

いくつかの実施形態では、回路類（例えば、ＭＡＣユニット１４０）は更に、重みデータ（例えば、入力データおよび重み値に対して畳み込み演算を実施する重み値）、および活性化関数（例えば、ニューラルネットワークの層における活性化関数の値）を表す活性化データを使用して、ニューラルネットワークの第１の層に対して畳み込みを実施するように構成されてもよく、第１の値（例えば、図２Ａ、図２Ｃ、および図２Ｄの第１の値２１１または２４１）は、ニューラルネットワークの第１の層に対する重みデータおよび活性化データの一方の値を表してもよい。いくつかの実施形態では、第２の値（例えば、図２Ａ、図２Ｃ、および図２Ｄの第２の値２１２または２４２）は、ニューラルネットワークの第１の層に対する重みデータおよび活性化データの他方の値を表してもよい。

図２Ｅは、本開示の例示の一実現例による、代替数字形式を使用して乗算を実施する方法を示すフローチャートである。概要では、方法は、シフト回路類によって、２つ以上の第２のビットが２^ｎの値を表すとき、第２の値を（ｎ＋１）ビット分シフトして、第１の乗算結果を提供することを含む（２５１）。方法は、第１の値の第１のビットの値に基づいて、ゼロまたは第２の値を選択的に出力して、第２の乗算結果を提供することを含むことができる（２５２）。方法は、加算回路類によって、第１の乗算結果および第２の乗算結果を加算して、第１の値および第２の値の乗算の結果を提供することを含むことができる（２５３）。

方法は、ニューラルネットワークの第１の値（例えば、図２Ｃおよび図２Ｄの第１の値２１１または２４１）および第２の値（例えば、図２Ｃおよび図２Ｄの第２の値２１２または２４２）の乗算を実施することを含む。いくつかの実施形態では、第１の値は、第１のビット（例えば、図２Ｃおよび図２Ｄのｂ０）と、ゼロまたは２^ｎ（ｎは０以上の整数）の値（例えば、図２Ｃおよび図２Ｄで、Ｂ＝（０ １ １ １）の場合、２^２（ｎ＝２）にマッピングされた（ｂ２ ｂ１））を表す２つ以上の第２のビットとを備える、所定の形式を有する。

２５１の更なる詳細では、いくつかの実施形態では、デバイス（例えば、図２ＡのＡＩアクセラレータ２１０）の回路類（例えば、図２Ａ、図２Ｃ、および図２Ｄの乗算回路類２１６または２４０）は、２つ以上の第２のビットが２^ｎの値（例えば、図２Ｃおよび図２Ｄで、Ｂ＝（０ １ １ １）の場合、２^２（ｎ＝２）にマッピングされた（ｂ２ ｂ１））を表すとき、シフト回路類（例えば、図２Ｃおよび図２Ｄのシフト回路類２３２）を介して、第２の値（例えば、図２Ｃの（ａ２ ａ１ ａ０）の値）を（ｎ＋１）ビット分シフトして、第１の乗算結果（例えば、式１の第１の部分積ｐｐ１＝２^ｎ＋１×（ａ０＋２×ａ１＋４×ａ２））を提供してもよい。いくつかの実施形態では、第１の値の第１のビットは第１の値の最下位ビット（ＬＳＢ）であってもよい。例えば、図２Ｂに示されるように、４ビットデータＢの第１のビットｂ０はＬＳＢである。いくつかの実施形態では、第１の値の２つ以上の第２のビットとしての「１ １」は、４の値を表してもよい。例えば、代替数字形式の４ビットデータＢが（０ １ １ １）の場合、第２のビットとしての「１ １」は４（＝２^２、ｎ＝２）を表すので、Ｂはｂ０＋２×２^２＝９にマッピングされる（図２Ｂのマッピングテーブル２２０も参照）。いくつかの実施形態では、第２の値はリニア数形式を使用して二進数を表してもよい。

いくつかの実施形態では、回路類は、２つ以上の第２のビットがゼロの値を表すとき、ゼロの値を第１の乗算結果として提供するように構成されてもよい。例えば、図２Ｃを参照すると、マッピング回路類２３１は、第１の値Ｂの第２のビット（ｂ２ ｂ１）の値がゼロであるか否かを決定するように構成されてもよい。マッピング回路類２３１は、第２のビット（ｂ２ ｂ１）の値がゼロであるという決定に応答して、ゼロの値を第１の部分積ｐｐ１（例えば、第１の乗算結果）として提供するように構成されてもよい。いくつかの実施形態では、第１の値Ｂの第２のビット（ｂ２ ｂ１）の値がゼロではないという決定に応答して、シフト回路類２３２は、第２の値Ａのビット（ａ２ ａ１ ａ０）の値をロードまたは格納してもよい（図２Ｃの２２）。いくつかの実施形態では、第２の値は、リニア数形式を使用して二進数を表してもよい（例えば、図２Ｃでは、第２の値Ａは符号付き絶対数表現形式である）。

２５２の更なる詳細では、いくつかの実施形態では、回路類は、第１の値の第１のビット（例えば、図２Ｃおよび図２Ｄのｂ０）の値に基づいて、ゼロまたは第２の値（例えば、図２Ｃの（ａ２ ａ１ ａ０）の値）を選択的に出力して、第２の乗算結果（例えば、式１の第２の部分積ｐｐ２＝ｂ０×（ａ０＋２×ａ１＋４×ａ２））を提供するように構成されてもよい。

２５３の更なる詳細では、いくつかの実施形態では、回路類は、第１の乗算結果（例えば、式１の第２の部分積ｐｐ１）および第２の乗算結果（例えば、式１の第２の部分積ｐｐ２）を、加算回路類（例えば、図２Ｃおよび図２Ｄの加算回路類２３４および累算器２３５）を介して加算して、第１の値および第２の値の乗算の結果（例えば、図２Ｃの乗算結果２１３）を提供するように構成されてもよい。

いくつかの実施形態では、第１の値は更に、第１の値が符号ありまたは符号なしであるかを示す、第３のビット（例えば、図２Ｂの第３のビットｂ３）を含んでもよい（例えば、図２Ｂでは、第３のビットｂ３の値２２３はＢの符号ビットである）。いくつかの実施形態では、回路類は、第１の値の第３のビットの値に基づいて（例えば、図２Ｃの第３のビットｂ３の値２２３に基づいて）、第１の値および第２の値の乗算の結果（例えば、乗算結果２１３）の符号を決定するように構成されてもよい。

いくつかの実施形態では、回路類（例えば、ＭＡＣユニット１４０）は更に、重みデータ（例えば、入力データおよび重み値に対して畳み込み演算を実施する重み値）、および活性化関数（例えば、ニューラルネットワークの層における活性化関数の値）を表す活性化データを使用して、ニューラルネットワークの第１の層に対して畳み込みを実施するように構成されてもよく、第１の値（例えば、図２Ａ、図２Ｃ、および図２Ｄの第１の値２１１または２４１）は、ニューラルネットワークの第１の層に対する重みデータおよび活性化データの一方の値を表してもよい。いくつかの実施形態では、第２の値（例えば、図２Ａ、図２Ｃ、および図２Ｄの第２の値２１２または２４２）は、ニューラルネットワークの第１の層に対する重みデータおよび活性化データの他方の値を表してもよい。

図２Ｆは、本開示の別の例示の一実現例による、代替数字形式を使用して乗算を実施する方法を示すフローチャートである。概要では、方法は、シフト回路類によって、第１の値の２つ以上の第２のビットが２^ｎの値を表し、第２の値の２つ以上の第２のビットが２^ｍの値を表すとき、２^ｍ＋１の値を（ｎ＋１）ビット分シフトして、第３の乗算結果を提供することを含む（２６１）。方法は、第２の値の第１のビットの値に基づいて、ゼロまたは２^ｎ＋１の値を選択的に出力して、第４の乗算結果を提供することを含むことができる（２６２）。方法は、第１の値の第１のビットの値に基づいて、ゼロまたは２^ｍ＋１の値を選択的に出力して、第５の乗算結果を提供することを含むことができる（２６３）。方法は、第１の値の第１のビットの値に基づいて、ゼロまたは第２の値の第１のビットの値を選択的に出力して、第６の乗算結果を提供することを含むことができる（２６４）。方法は、加算回路類によって、第３～第６の乗算結果を加算して、第１の値および第２の値の乗算の結果を提供することを含むことができる（２６５）。

いくつかの実施形態では、第２の値（例えば、図２Ｄの第２の値Ｃ）は、第１のビット（例えば、図２Ｄの第１のビットｃ０）と、ゼロまたは２^ｍ（ｍはゼロ以上の整数）の値を表す２つ以上の第２のビット（例えば、図２Ｄの第２のビット（ｃ２ ｃ１））とを備える、所定の形式を有してもよい。例えば、第２の値Ｃ＝（０ １ １ １）の場合、第２のビット（ｃ２ ｃ１）は４＝２^２、ｍ＝２を表す。

２６１の更なる詳細では、いくつかの実施形態では、デバイス（例えば、図２ＡのＭＡＣユニット２１５）の回路類（例えば、図２Ｄの乗算回路類２４０）は、第１の値の２つ以上の第２のビットが２^ｎの値を表し（例えば、第１の値Ｂの第２のビット（ｂ２ ｂ１）が４＝２^２、ｎ＝２を表し）、第２の値の２つ以上の第２のビットが２^ｍの値を表す（例えば、第２の値Ｃの第２のビット（ｃ２ ｃ１）が４＝２^２、ｍ＝２を表す）とき、シフト回路類（例えば、図２Ｄのシフト回路類２３２）を介して２^ｍ＋１の値を（ｎ＋１）ビット分シフトして、第３の乗算結果（例えば、式（２）の積項ｐｔ１＝２^ｎ＋１×２^ｍ＋１）を提供してもよい。例えば、図２Ｄを参照すると、第１の値Ｂ＝（０ １ １ １）および第２の値Ｃ＝（０ １ １ １）の場合、乗算回路類２４０は、第１の値Ｂの第２のビット（１ １）が４＝２^２（ｎ＝２）を表し、第２の値Ｃの第２のビット（１ １）が４＝２^２（ｍ＝２）を表すとき、シフト回路類２３２を介して２^３の値を３ビット分シフトして、２^ｎ＋１×２^ｍ＋１＝６４を第３の乗算結果として提供してもよい。

２６２の更なる詳細では、いくつかの実施形態では、回路類（例えば、図２Ｄの乗算回路類２４０）は、第２の値の第１のビット（例えば、図２Ｄの第２の値Ｃの第１のビットｃ０）の値に基づいて、ゼロまたは２^ｎ＋１の値を選択的に出力して、第４の乗算結果（例えば、式（２）の積項ｐｔ２＝ｃ０×２^ｎ＋１）を提供してもよい。例えば、図２Ｄを参照すると、第１の値Ｂ＝（０ １ １ １）および第２の値Ｃ＝（０ １ １ １）の場合、乗算回路類２４０は、ゼロまたは２^３を選択的に出力して、ｃ０×２^ｎ＋１＝８を第４の乗算結果として提供してもよい。

２６３の更なる詳細では、いくつかの実施形態では、回路類（例えば、図２Ｄの乗算回路類２４０）は、第１の値の第１のビット（例えば、図２Ｄの第１の値Ｂの第１のビットｂ０）の値に基づいて、ゼロまたは２^ｍ＋１の値を選択的に出力して、第５の乗算結果（例えば、式（２）の積項ｐｔ３＝ｂ０×２^ｍ＋１）を提供してもよい。例えば、第１の値Ｂ＝（０ １ １ １）および第２の値Ｃ＝（０ １ １ １）の場合、乗算回路類２４０は、ゼロまたは２^３を選択的に出力して、ｂ０×２^ｍ＋１＝８を第５の乗算結果として提供してもよい。

２６４の更なる詳細では、いくつかの実施形態では、回路類は、第１の値の第１のビット（例えば、図２Ｄの第１の値Ｂの第１のビットｂ０）の値に基づいて、ゼロまたは第２の値の第１のビット（例えば、図２Ｄの第２の値Ｃの第１のビットｃ０）の値を選択的に出力して、第６の乗算結果（例えば、式（２）の積項ｐｔ４＝ｂ０×ｃ０）を提供してもよい。例えば、第１の値Ｂ＝（０ １ １ １）および第２の値Ｃ＝（０ １ １ １）の場合、乗算回路類２４０は、ゼロまたは１を選択的に出力して、ｂ０×ｃ０＝１を第６の乗算結果として提供してもよい。

２６５の更なる詳細では、いくつかの実施形態では、回路類は、加算回路類（例えば、図２Ｄの加算回路類２３４および累算器２３５）を介して第３～第６の乗算結果を加算して（例えば、式（２）のｐｔ１＋ｐｔ２＋ｐｔ３＋ｐｔ４）、第１の値および第２の値の乗算の結果（例えば、図２Ｄの乗算結果２４３）を提供してもよい。例えば、第１の値Ｂ＝（０ １ １ １）および第２の値Ｃ＝（０ １ １ １）の場合、乗算回路類２４０は、ｐｔ１（＝６４）、ｐｔ２（＝８）、ｐｔ３（＝８）、およびｐｔ４（＝１）を加算して、８１（＝６４＋８＋８＋１）を第１の値Ｂおよび第２の値Ｃの乗算の結果として提供してもよい。

いくつかの例示的な実現例について記載してきたが、上記は例示であって限定ではなく、例として提示されていることが明白である。特に、本明細書に提示する例の多くには、方法行為またはシステム要素の特定の組み合わせが関与するが、それらの行為および要素は、同じ目的を遂行するために他の形で組み合わせることができる。１つの実現例に関連して考察される行為、要素、および特徴は、他の１つまたは複数の実現例における類似の役割から除外されないものとする。

本明細書に開示する実施形態と関連して記載される、様々なプロセス、動作、例示の論理、論理ブロック、モジュール、および回路を実現するのに使用される、ハードウェアおよびデータ処理構成要素は、汎用シングルもしくはマルチチッププロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のプログラマブル論理デバイス、離散的ゲートもしくはトランジスタ論理、離散的ハードウェア構成要素、または本明細書に記載の機能を実施するように設計された上記のものの任意の組み合わせを用いて、実現または実施されてもよい。汎用プロセッサは、マイクロプロセッサ、または任意の従来のプロセッサ、コントローラ、マイクロコントローラ、もしくは状態機械であってもよい。プロセッサはまた、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連動した１つもしくは複数のマイクロプロセッサ、または他の任意のかかる構成など、コンピューティングデバイスの組み合わせとして実現されてもよい。いくつかの実施形態では、特定のプロセスおよび方法は、所与の機能に特異的な回路類によって実施されてもよい。メモリ（例えば、メモリ、メモリユニット、記憶デバイスなど）は、本開示に記載する様々なプロセス、層、およびモジュールを完成させるかもしくは容易にする、データおよび／またはコンピュータコードを格納する、１つまたは複数のデバイス（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードディスク記憶装置など）を含んでもよい。メモリは、揮発性メモリもしくは不揮発性メモリであるかまたはそれらを含んでもよく、本開示に記載する様々なアクティビティおよび情報構造をサポートする、データベース構成要素、オブジェクトコード構成要素、スクリプト構成要素、または他の任意のタイプの情報構造を含んでもよい。例示的実施形態によれば、メモリは、処理回路を介してプロセッサに通信可能に接続され、本明細書に記載の１つもしくは複数のプロセスを（例えば、処理回路および／またはプロセッサによって）実行するためのコンピュータコードを含む。

本開示は、様々な動作を遂行するための任意の機械可読媒体上における、方法、システム、およびプログラム製品を想到する。本開示の実施形態は、既存のコンピュータプロセッサを使用して、またはこの目的もしくは別の目的のために組み込まれる、適切なシステムのための専用コンピュータプロセッサによって、または配線接続システムによって、実現されてもよい。本開示の範囲内の実施形態は、格納された機械実行可能命令もしくはデータ構造を保持するかまたは有する、機械可読媒体を備えるプログラム製品を含む。かかる機械可読媒体は、汎用もしくは専用コンピュータ、またはプロセッサを有する他の機械によってアクセスすることができる、任意の利用可能な媒体であることができる。例として、かかる機械可読媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、または他の光学ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、あるいは機械実行可能命令またはデータ構造の形態で所望のプログラムコードを保持または格納するのに使用することができ、汎用もしくは専用コンピュータまたはプロセッサを有する他の機械でアクセスすることができる、他の任意の媒体を含むことができる。上記のものの組み合わせはまた、機械可読媒体の範囲に含まれる。機械実行可能命令は、例えば、汎用コンピュータ、専用コンピュータ、または専用処理機械に、特定の機能または機能群を実施させる、命令およびデータを含む。

本明細書で使用する用語および専門用語は、説明のためのものであって限定とみなされるべきではない。本明細書における、「～を含む」、「～を備える」、「～を有する」、「～を含有する」、「～を伴う」、「～によって特徴付けられる」、「～を特徴とする」およびそれらの変形の使用は、該用語とともに列挙される項目、それらの等価物、および追加の項目、ならびに排他的に該用語とともに列挙される項目から成る代替実現例を網羅することを意味する。一実現例では、本明細書に記載するシステムおよび方法は、記載する要素、行為、または構成要素のうちの１つ、２つ以上の各組み合わせ、または全てから成る。

単数形で言及される本明細書のシステムおよび方法の実現例または要素または行為に対する任意の言及は、複数のこれらの要素を含む実現例も包含することができ、本明細書の任意の実現例または要素または行為に対する複数形での任意の言及は、単一の要素のみを含む実現例も包含することができる。単数形または複数形での言及は、本明細書に開示されるシステムもしくは方法、それらの構成要素、行為、または要素を、単数または複数の構成に限定しようとするものではない。任意の情報、行為、または要素に基づいた任意の行為または要素に対する言及は、行為または要素が、任意の情報、行為、または要素に少なくとも部分的に基づく場合の実現例を含むことができる。

本明細書に開示する任意の実現例は、他の任意の実現例または実施形態と組み合わせることができ、「ある実現例」、「いくつかの実現例」、「一実現例」などに対する言及は、必ずしも相互に排他的ではなく、実現例と関連して記載する特定の特徴、構造、または特性が、少なくとも１つの実現例または実施形態に含まれ得ることを示すものとする。かかる用語は、本明細書で使用するとき、必ずしも全てが同じ実現例を指すものではない。任意の実現例は、本明細書に開示する態様および実現例と一致する任意の手法で、他の任意の実現例と包括的または排他的に組み合わせることができる。

図面、詳細な説明、または任意のクレームにおける技術的特徴に参照符号が付される場合、参照符号は、図面、詳細な説明、およびクレームの了解度を向上するために含まれるものである。したがって、参照符号が存在してもしなくても、任意のクレーム要素の範囲に対する限定的影響を何ら有さない。

本明細書に記載するシステムおよび方法は、それらの特性から逸脱することなく、他の特定の形態で具体化されてもよい。「約」、「およそ」、「実質的に」、または他の程度を表す用語に対する言及は、別段の明示がない限り、所与の測定値、単位、または範囲から±１０％の変動を含む。結合された要素は、直接または介在要素を用いて、互いに電気的、機械的、または物理的に結合することができる。本明細書に記載するシステムおよび方法の範囲は、したがって、上述の記載ではなく添付のクレームによって示され、クレームの等価物の意味および範囲内にある変更は包含される。

「結合された」という用語およびその変形は、２つの部材を直接または間接的に互いに接合することを含む。かかる接合は、静的（例えば、恒久的もしくは固定）または可動（例えば、除去可能もしくは解放可能）であってもよい。かかる接合は、互いに直接結合され、または互いに対して結合された２つの部材によって、別個の介在部材および互いに結合された任意の追加の中間部材を使用して互いに結合された２つの部材によって、あるいは２つの部材の一方とともに単一の単位体として一体的に形成された介在部材を使用して互いに結合された２つの部材によって、達成されてもよい。「結合された」またはその変形が、追加の用語によって修正された場合（例えば、直接結合された）、上述の「結合された」の包括的定義は、追加の用語の平易な言葉の意味によって修正され（例えば、「直接結合された」は、任意の別個の介在部材を有さない２つの部材の接合を意味する）、それによって上述の「結合された」の包括的定義よりも狭い定義になる。かかる結合は機械的、電気的、または流体的であってもよい。

「または」に対する言及は包括的と解釈することができるので、「または」を使用して記載されるいずれの用語も、記載される用語の単一、２つ以上、および全てのいずれかを示すことができる。「『Ａ』および『Ｂ』のうち少なくとも１つ」は、「Ａ」のみ、「Ｂ」のみ、ならびに「Ａ」および「Ｂ」の両方を含むことができる。「備える」または他のオープンな用語と併せて使用されるかかる言及は、追加の項目を含むことができる。

様々な要素のサイズ、寸法、構造、形状、および比率、パラメータの値、取付け構造、材料使用、色、向きにおける変形例など、記載される要素および行為の修正は、本明細書に開示する主題の教示および利点から実質的に逸脱することなく行うことができる。例えば、一体的に形成されるものとして示される要素は、複数の部分または要素で構築することができ、要素の位置を反転させるかまたは別の形で変動させることができ、離散的要素または位置の性質もしくは数を改変または変更することができる。他の置換、修正、変更、および省略も、本開示の範囲から逸脱することなく、開示の要素および動作の設計、動作条件、および配置に対して行うことができる。

本明細書における要素の位置に対する言及（例えば、「上側」、「下側」、「上方」、「下方」）は単に、図面における様々な要素の向きを説明するために使用されるものである。様々な要素の向きは、他の例示的実施形態によって異なってもよく、かかる変形は本開示に包含されるものとする。

Claims (15)

1. ニューラルネットワークの第１の値および第２の値の乗算を実施する、シフト回路類および加算回路類を備える回路類を備えるデバイスであって、前記第１の値が、第１のビットと、ゼロまたは２^ｎ（ｎは０以上の整数）の値を表す２つ以上の第２のビットとを備える、所定の形式を有し、前記回路類が、
   前記２つ以上の第２のビットが２^ｎの値を表すとき、前記シフト回路類を介して前記第２の値を（ｎ＋１）ビット分シフトして、第１の乗算結果を提供し、
   前記第１の値の前記第１のビットの値に基づいて、ゼロまたは前記第２の値を選択的に出力して、第２の乗算結果を提供し、
   前記加算回路類を介して前記第１の乗算結果および前記第２の乗算結果を加算して、前記第１の値および前記第２の値の前記乗算の結果を提供するように構成された、
   デバイス。
2. 前記第１の値の前記第１のビットが前記第１の値の最下位ビットである、請求項１に記載のデバイス。
3. 前記回路類が、前記２つ以上の第２のビットがゼロの値を表すとき、ゼロの値を前記第１の乗算結果として提供するように構成された、請求項１または２に記載のデバイス。
4. 前記第２の値がリニア数形式を使用して二進数を表す、請求項１から３のいずれか一項に記載のデバイス。
5. 前記第２の値が、第１のビットと、ゼロまたは２^ｍ（ｍはゼロ以上の整数）の値を表す２つ以上の第２のビットとを備える、前記所定の形式を有し、前記回路類が更に、
   前記第１の値の前記２つ以上の第２のビットが２^ｎの値を表し、前記第２の値の前記２つ以上の第２のビットが２^ｍの値を表すとき、前記シフト回路類を介して２^ｍ＋１の値を（ｎ＋１）ビット分シフトして、第３の乗算結果を提供し、
   前記第２の値の前記第１のビットの値に基づいて、ゼロまたは２^ｎ＋１の値を選択的に出力して、第４の乗算結果を提供し、
   前記第１の値の前記第１のビットの値に基づいて、ゼロまたは２^ｍ＋１の値を選択的に出力して、第５の乗算結果を提供し、
   前記第１の値の前記第１のビットの値に基づいて、ゼロまたは前記第２の値の前記第１のビットの値を選択的に出力して、第６の乗算結果を提供し、
   前記加算回路類を介して前記第３から第６の乗算結果を加算して、前記第１の値および前記第２の値の前記乗算の結果を提供するように構成された、請求項１から４のいずれか一項に記載のデバイス。
6. 前記第１の値の前記２つ以上の第２のビットとしての「１ １」が４の値を表す、請求項１から５のいずれか一項に記載のデバイス。
7. 前記第１の値が更に、前記第１の値が符号ありかまたは符号なしかを示す第３のビットを備え、好ましくは、前記回路類が、前記第１の値の前記第３のビットの値に基づいて、前記第１の値および前記第２の値の前記乗算の前記結果の符号を決定するように構成された、請求項１から６のいずれか一項に記載のデバイス。
8. 前記回路類が更に、重みデータと活性化関数を表す活性化データとを使用して、前記ニューラルネットワークの第１の層に対する畳み込みを実施するように構成され、
   前記第１の値が、前記ニューラルネットワークの前記第１の層に対する前記重みデータおよび前記活性化データの一方の値を表し、好ましくは、前記第２の値が、前記ニューラルネットワークの前記第１の層に対する前記重みデータおよび前記活性化データの他方の値を表す、請求項１から７のいずれか一項に記載のデバイス。
9. ニューラルネットワークの第１の値および第２の値の乗算を実施することを含む方法であって、前記第１の値が、第１のビットと、ゼロまたは２^ｎ（ｎは０以上の整数）の値を表す２つ以上の第２のビットとを備える、所定の形式を有し、
   前記第１の値および前記第２の値の前記乗算を実施することが、
   前記２つ以上の第２のビットが２^ｎの値を表すとき、シフト回路類によって前記第２の値を（ｎ＋１）ビット分シフトして、第１の乗算結果を提供することと、
   前記第１の値の前記第１のビットの値に基づいて、ゼロまたは前記第２の値を選択的に出力して、第２の乗算結果を提供することと、
   加算回路類によって、前記第１の乗算結果および前記第２の乗算結果を加算して、前記第１の値および前記第２の値の前記乗算の結果を提供することと、を含む、
   方法。
10. 前記第１の値の前記第１のビットが前記第１の値の最下位ビットである、請求項９に記載の方法。
11. 前記第１の値および前記第２の値の前記乗算を実施することが、
    前記２つ以上の第２のビットがゼロの値を表すとき、ゼロの値を前記第１の乗算結果として提供すること、および／または好ましくは、前記第２の値がリニア数形式を使用して二進数を表すことを含む、請求項９または１０に記載の方法。
12. 前記第２の値が、第１のビットと、ゼロまたは２^ｍ（ｍはゼロ以上の整数）の値を表す２つ以上の第２のビットとを備える、前記所定の形式を有し、
    前記第１の値および前記第２の値の前記乗算を実施することが更に、
    前記第１の値の前記２つ以上の第２のビットが２^ｎの値を表し、前記第２の値の前記２つ以上の第２のビットが２^ｍの値を表すとき、前記シフト回路類によって、２^ｍ＋１の値を（ｎ＋１）ビット分シフトして、第３の乗算結果を提供することと、
    前記第２の値の前記第１のビットの値に基づいて、ゼロまたは２^ｎ＋１の値を選択的に出力して、第４の乗算結果を提供することと、
    前記第１の値の前記第１のビットの値に基づいて、ゼロまたは２^ｍ＋１の値を選択的に出力して、第５の乗算結果を提供することと、
    前記第１の値の前記第１のビットの値に基づいて、ゼロまたは前記第２の値の前記第１のビットの値を選択的に出力して、第６の乗算結果を提供することと、
    前記加算回路類によって、前記第３から第６の乗算結果を加算して、前記第１の値および前記第２の値の前記乗算の結果を提供することと、を含む、請求項９から１１のいずれか一項に記載の方法。
13. 前記第１の値の前記２つ以上の第２のビットとしての「１ １」が４の値を表す、請求項９から１２のいずれか一項に記載の方法。
14. 前記第１の値が更に、前記第１の値が符号ありかまたは符号なしかを示す第３のビットを備え、好ましくは、前記第１の値および前記第２の値の前記乗算を実施することが更に、
    前記第１の値の前記第３のビットの値に基づいて、前記第１の値および前記第２の値の前記乗算の前記結果の符号を決定することを含む、請求項９から１３のいずれか一項に記載の方法。
15. 重みデータと活性化関数を表す活性化データとを使用して、前記ニューラルネットワークの第１の層に対する畳み込みを実施することを更に含み、
    前記第１の値が、前記ニューラルネットワークの前記第１の層に対する前記重みデータおよび前記活性化データの一方の値を表し、好ましくは、前記第２の値が、前記ニューラルネットワークの前記第１の層に対する前記重みデータおよび前記活性化データの他方の値を表す、請求項９から１４のいずれか一項に記載の方法。
    

Images