JP2019191930A - Neural network circuit - Google Patents
Neural network circuit Download PDFInfo
- Publication number
- JP2019191930A JP2019191930A JP2018084000A JP2018084000A JP2019191930A JP 2019191930 A JP2019191930 A JP 2019191930A JP 2018084000 A JP2018084000 A JP 2018084000A JP 2018084000 A JP2018084000 A JP 2018084000A JP 2019191930 A JP2019191930 A JP 2019191930A
- Authority
- JP
- Japan
- Prior art keywords
- voltage
- bias
- output
- converter
- amplifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 22
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 5
- 101100112673 Rattus norvegicus Ccnd2 gene Proteins 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 1
Images
Landscapes
- Amplifiers (AREA)
- Analogue/Digital Conversion (AREA)
Abstract
Description
本発明は、記憶素子としてのメモリスタを格子状に結合してなる記憶部を有するニューラルネットワーク回路に関する。 The present invention relates to a neural network circuit having a storage unit formed by connecting memristors as storage elements in a grid pattern.
現在、メモリスタと称される、不揮発性でコンダクタンス値を可変できる2端子の素子をシナプスとして用い、ニューラルネットワーク回路を構成する研究が進められている。このようなニューラルネットワーク回路は、例えば図14,非特許文献1のFig.2に示すように、メモリスタを格子状に配置し、メモリスタに電圧を印加して電流を生成する。その合成電流をトランスインピーダンスアンプ,I/V変換アンプで電圧に変換し、活性化関数により波形を整形した後に電圧値として出力する。メモリスタがシナプスとして、I/V変換アンプがニューロンとして動作することで、ニューラルネットワーク回路が構成される。I/V変換アンプは、メモリスタのコンダクタンス値と印加電圧との積和演算をアナログ演算で行う。 Currently, research is underway to construct a neural network circuit using a non-volatile, two-terminal element that can change the conductance value, called a memristor, as a synapse. Such a neural network circuit is shown in FIG. 14, FIG. As shown in FIG. 2, the memristors are arranged in a grid pattern, and a voltage is applied to the memristors to generate a current. The combined current is converted into a voltage by a transimpedance amplifier and an I / V conversion amplifier, and after a waveform is shaped by an activation function, it is output as a voltage value. A neural network circuit is configured by a memristor operating as a synapse and an I / V conversion amplifier operating as a neuron. The I / V conversion amplifier performs a product-sum operation between the conductance value of the memristor and the applied voltage by an analog operation.
ここで、実際の回路において、図14に示すVi1〜Vi3の各入力が−1〜+1の値をとる時は、閾値へのバイアスとしてVi4=−1,を常に印加している。 Here, in the actual circuit, when each of the inputs Vi1 to Vi3 shown in FIG. 14 takes a value of −1 to +1, Vi4 = −1 is always applied as a bias to the threshold.
図14に示す回路を用いて、10層のCNN(畳込みニューラルネットワーク)を構成した例を図15に示す。図16は、このCNNにより画像認識を行った場合の1層目の各入力端子の入力電流比の計算例を示す。入力は−Vb〜+Vbが印加されるVi1〜Vi28の28端子、出力はVo1〜Vo96の96端子で構成され、入力のバイアスは、
Vi28=−Vbが常時印加された状態で計算している。
FIG. 15 shows an example in which a 10-layer CNN (convolutional neural network) is configured using the circuit shown in FIG. FIG. 16 shows a calculation example of the input current ratio of each input terminal in the first layer when image recognition is performed by this CNN. The input consists of 28 terminals Vi1 to Vi28 to which -Vb to + Vb are applied, the output consists of 96 terminals Vo1 to Vo96, and the input bias is
Calculation is performed with Vi28 = −Vb constantly applied.
一般的に入力データはスパース性を有しているため、実際の個々の入力電流に対して、バイアス電流は1桁以上大きな値となる。また、図16に示す例では、バイアス電流は入力電流の総和に対しても40%弱の割合を示している。 In general, since input data has sparsity, the bias current is one digit or more larger than the actual individual input current. In the example shown in FIG. 16, the bias current shows a ratio of less than 40% with respect to the sum of the input currents.
本発明は上記事情に鑑みてなされたものであり、その目的は、バイアス電圧を印加することに基づく消費電力を低減できるニューラルネットワーク回路を提供することにある。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a neural network circuit capable of reducing power consumption based on application of a bias voltage.
請求項1記載のニューラルネットワーク回路によれば、記憶素子であるメモリスタを格子状に結合してなる記憶部の複数の電圧入力端子に、D/Aコンバータ及び駆動アンプを介して信号電圧と基準電圧とを印加する。記憶部の電流出力端子に流れる電流は、I/V変換アンプにより電圧に変換されるとA/DコンバータによりA/D変換される。オフセット補正部は、A/Dコンバータの出力側に配置され、I/V変換アンプに発生するオフセット電圧を補正する。複数の電圧入力端子の1つであるバイアス用端子に接続される駆動アンプはバイアス印加用アンプであり、対応するD/Aコンバータより入力される電圧に応じて、逆極性のバイアス電圧と基準電圧とを印加する。
According to the neural network circuit of
オフセット補正部の制御部は、バイアス設定動作時には、バイアス印加用アンプに逆極性のバイアス電圧を出力させると共に、その他の駆動アンプに基準電圧を出力させるように各D/Aコンバータを制御し、その際にA/D変換されたデータを第1ラッチ回路にラッチさせる。通常動作時には、バイアス印加用アンプに基準電圧を出力させると共に、その他の駆動アンプに信号電圧を出力させるように各D/Aコンバータを制御し、その際にA/D変換されたデータを第2ラッチ回路にラッチさせる。減算器は、第2,第1ラッチ回路のラッチデータを減算した結果を信号データとして出力する。 During the bias setting operation, the control unit of the offset correction unit controls each D / A converter so that the bias applying amplifier outputs a bias voltage having a reverse polarity and the other driving amplifier outputs a reference voltage. At this time, the A / D converted data is latched by the first latch circuit. During normal operation, each D / A converter is controlled so that the reference voltage is output to the bias application amplifier and the signal voltage is output to the other drive amplifiers. The latch circuit latches. The subtracter outputs the result of subtracting the latch data of the second and first latch circuits as signal data.
例えば、印加する逆極性のバイアス電圧を+Vbとすると、バイアス設定動作時に第1ラッチ回路にラッチされるデータは、I/V変換アンプに発生するオフセット電圧Voffに、逆極性のバイアスを印加した時の出力電圧Vbiasを加えたもの(Voff+Vbias)に相当する。また、通常動作時に第2ラッチ回路にラッチされるデータは、I/V変換アンプに入力された信号電圧Vinに応じた、当該アンプの出力電圧Voutにオフセット電圧Voffを加えたもの(Vout+Voff)に相当する。 For example, assuming that the bias voltage of the reverse polarity to be applied is + Vb, the data latched in the first latch circuit during the bias setting operation is when the bias of the reverse polarity is applied to the offset voltage Voff generated in the I / V conversion amplifier. The output voltage Vbias is added (Voff + Vbias). Further, the data latched by the second latch circuit during normal operation is obtained by adding the offset voltage Voff to the output voltage Vout of the amplifier according to the signal voltage Vin input to the I / V conversion amplifier (Vout + Voff). Equivalent to.
したがって、減算器の減算結果は、
(Vout+Voff)−(Voff+Vbias)=Vout−Vbias
となり、オフセット電圧はキャンセルされ、且つバイアス電圧−Vbが加えられた電圧に相当する。つまり、記憶部にバイアス電流が流れるのはバイアス設定動作時のみとなるので、バイアス電流の通電期間を従来よりも短くすることができ、消費電流を低減できる。そして、オフセット電圧の補正も併せて行うことができる。
Therefore, the subtraction result of the subtractor is
(Vout + Voff) − (Voff + Vbias) = Vout−Vbias
Thus, the offset voltage is canceled and corresponds to a voltage to which the bias voltage −Vb is added. In other words, since the bias current flows through the storage unit only during the bias setting operation, the energization period of the bias current can be shortened compared to the conventional case, and current consumption can be reduced. The offset voltage can also be corrected.
請求項2記載のニューラルネットワーク回路によれば、I/V変換アンプまでの構成は請求項1と同様であるが、差動アンプが、対を成す2つのI/V変換アンプの出力について差動演算を行う、所謂差動構成である点が相違する。また、記憶部においてバイアス電圧を印加するメモリスタの差動対は、バイアス電圧の極性が逆になるように予めコンダクタンス値が入れ替えられている。 According to the neural network circuit of the second aspect, the configuration up to the I / V conversion amplifier is the same as that of the first aspect, but the differential amplifier is differential in the outputs of the two I / V conversion amplifiers forming a pair. The difference is that it is a so-called differential configuration that performs computation. In addition, the conductance value of the differential pair of the memristor to which the bias voltage is applied in the storage unit is changed in advance so that the polarity of the bias voltage is reversed.
すなわち、バイアス電圧を印加するメモリスタの差動対は、バイアス電圧の極性が逆になるように予めコンダクタンス値が入れ替えられているので、これは、請求項1のバイアス設定動作時において、バイアス印加用アンプに逆極性のバイアス電圧を出力させる動作と等価になる。したがって、記憶部の出力側が差動構成となるものについても、請求項1と同様に消費電流を低減できる。 That is, the conductance value of the differential pair of the memristor to which the bias voltage is applied is changed in advance so that the polarity of the bias voltage is reversed. This is equivalent to the operation of outputting a bias voltage of reverse polarity to the amplifier. Therefore, even in the case where the output side of the storage unit has a differential configuration, the current consumption can be reduced as in the first aspect.
請求項3記載のニューラルネットワーク回路によれば、制御部は、バイアス設定動作を間欠的に実行するので、消費電流を更に低減できる。 According to the neural network circuit of the third aspect, since the control unit intermittently executes the bias setting operation, the current consumption can be further reduced.
(第1実施形態)
以下、第1実施形態について説明する。図2に示すニューラルネットワーク回路のアナログ積和演算回路1は、入力データData_inをD/Aコンバータ2により電圧変換する。変換された電圧はドライブアンプ3を介してメモリスタクロスバー回路4に印加される。ドライブアンプ3は駆動アンプに相当する。メモリスタクロスバー回路4は、メモリスタを記憶素子とするもので、複数の記憶素子を格子状に配置して構成されており、記憶部に相当する。
(First embodiment)
The first embodiment will be described below. The analog product-
クロスバー回路4からは、各記憶素子に設定されているコンダクタンス値に応じて電流が出力され、その電流はセンスアンプ7により電圧に変換される。センスアンプ7により変換された電圧は、A/Dコンバータ8によりA/D変換され、デジタルデータとして出力される。センスアンプ7はI/V変換アンプに相当する。前記データは、減算部9を介して活性化関数演算部10に入力される。活性化関数演算部10では、入力データに対し、ニューラルネットワーク回路の活性化関数として、例えば図5に示す次式のランプ関数f(x)が適用される。
f(x)=max(0,x) …(1)
このランプ関数f(x)は正極性である。その後、出力されたデータData_outは、次段のアナログ積和演算回路1に入力される。
A current is output from the crossbar circuit 4 according to the conductance value set for each storage element, and the current is converted into a voltage by the
f (x) = max (0, x) (1)
This ramp function f (x) is positive. Thereafter, the output data Data_out is input to the analog product-
オフセット補正制御部11は、D/Aコンバータ2及び減算部9を制御することで、A/Dコンバータ8の出力データに含まれているオフセットの補正を行う。減算部9及びオフセット補正制御部11は、オフセット補正部30を構成する。尚、実際には、D/Aコンバータ2,ドライブアンプ3,センスアンプ7,A/Dコンバータ8等は、より多数設けられている。図1は、図2に示すメモリスタクロスバー回路4の入出力に係る部分を、実態に合せてより詳細に示したものである。
The offset
図3に示すように、D/Aコンバータ2のデータ入力部には、バッファ回路12が配置されている。入力データDIがnビットである場合、最上位ビットDI[n−1]に対応してORゲート13が配置され、それ以外の下位ビットDI[n−2]〜DI[0]に対応してANDゲート14[n−2]〜14[0]が配置されている。これらの論理ゲート13及び14の入力端子の一方には、対応する入力データDIが与えられ、入力端子の他方には、オフセット補正制御部11が出力するイネーブル信号ENが与えられている。但し、ORゲート13には、NOTゲート15を介してイネーブル信号ENが与えられている。
As shown in FIG. 3, a
イネーブル信号EN=0の場合、D/Aコンバータ2の入力データはMSBであるDI[n−1]のみが「1」になり、それ以外の下位ビットDI[n−2]〜DI[0]は全て「0」になる。また、図1に示すように、D/Aコンバータ2(B)に入力されるイネーブル信号ENは、オフセット補正制御部11が出力する制御信号Bias_DAC_selectであり、その他のD/Aコンバータ2(1),2(2)等に入力されるイネーブル信号ENは、制御信号Data_DAC_selectである。
When the enable signal EN = 0, only DI [n−1], which is the MSB, of the input data of the D /
そして、D/Aコンバータ2(1)及び2(2)については、前記制御信号に応じて以下のように変換電圧を出力する。
Data_DAC_select 出力電圧
0(初期動作) 基準電圧Vref
1(通常動作) 入力データに応じた信号電圧
また、D/Aコンバータ2(B)については、制御信号Bias_DAC_selectに応じて以下のように変換電圧を出力する。
Bias_DAC_select 出力電圧
0(通常動作) 基準電圧Vref
1(初期動作) 逆極性バイアス電圧+Vb
尚、「初期動作」,「通常動作」については後述する。
And about D / A converter 2 (1) and 2 (2), a conversion voltage is output as follows according to the said control signal.
Data_DAC_select Output voltage
0 (initial operation) Reference voltage Vref
1 (normal operation) A signal voltage corresponding to input data. For the D / A converter 2 (B), a conversion voltage is output as follows according to the control signal Bias_DAC_select.
Bias_DAC_select Output voltage
0 (normal operation) Reference voltage Vref
1 (initial operation) Reverse polarity bias voltage + Vb
The “initial operation” and “normal operation” will be described later.
図4に示すように、減算部9は、第1ラッチ回路16(1),第2ラッチ回路16(2),ラッチ制御回路17及び減算器18を備えている。ラッチ回路16には、入力データDIが入力され、ラッチ信号はラッチ制御回路17より入力される。ラッチ制御回路17は、ORゲート19(1)及び19(2),NOTゲート20で構成される。ORゲート19(1)及び19(2)の入力端子の一方にはラッチ信号;LEが入力され、入力端子の他方にはセレクト信号Latch_select;SELが入力される。但し、ORゲート19(1)には、NOTゲート20を介してセレクト信号SELが入力される。
As shown in FIG. 4, the
図6に示すように、活性化関数演算部10は、n個のANDゲート21[n−1]〜21[0]で構成されている。ANDゲート21の入力端子の一方には、減算部9が出力するデータD[n−1]〜D[0]が与えられ、入力端子の他方には、データD[n−1]が共通に与えられている。
As illustrated in FIG. 6, the activation
図7に示すように、オフセット補正制御部11は、カウンタ22を備えている。カウンタ22の入力端子には、クロック信号Clockが入力されている。カウンタ22は、カウント値の設定データData_setが入力され、そのカウント値をカウントすると出力信号Qを1クロック周期だけハイレベルにする。出力信号Qの反転信号QNは、1クロック周期だけローレベルにする。
As shown in FIG. 7, the offset
カウンタ22の出力端子QNからは、制御信号Data_DAC_selectと制御信号Latch_selectが出力される。また、カウンタ22の出力端子Qからは、制御信号Bias_DAC_selectが出力される。
A control signal Data_DAC_select and a control signal Latch_select are output from the output terminal QN of the
図8は、オフセット補正制御部11の動作タイミングチャートである。オフセット補正制御部11は、カウンタ22のカウント値でオフセット電圧Voffと逆極性のバイアス電圧+Vbiasとを取り込む初期状態の実施頻度を設定する。この実施頻度は、センスアンプ7のオフセット電圧Voffやメモリスタのコンダクタンスの温度ドリフトによる影響が、演算結果の誤差として許容できるように設定する。
FIG. 8 is an operation timing chart of the offset
この例では、カウンタ22に設定されるデータData_setの値が「4」の場合を示しており、Bias_DAC_selectは、クロック信号Clockの4カウント毎にハイレベルになる。Data_DAC_selectとLatch_selectは、Bias_DAC_selectの反転になる。
In this example, the value of the data Data_set set in the
すなわち、D/Aコンバータ2(1)及び2(2)は、クロック4周期毎に「初期動作」となり、それ以外は「通常動作」となる。D/Aコンバータ2(B)は、クロック4周期毎にD/Aコンバータ2(1)及び2(2)に同期して「初期動作」となり、それ以外は「通常動作」となる。 That is, the D / A converters 2 (1) and 2 (2) perform “initial operation” every four clock cycles, and “normal operation” otherwise. The D / A converter 2 (B) performs “initial operation” in synchronization with the D / A converters 2 (1) and 2 (2) every four clock cycles, and “normal operation” otherwise.
次に、本実施形態の作用について説明する。図9は、図8のタイミングチャートに応じた回路動作を示している。先ず、ステップS1においてオフセット補正制御部11によるバイアス側動作モードが「初期動作」であれば(S2)、D/Aコンバータ2(1)及び2(2)は基準電圧Vrefを出力し、D/Aコンバータ2(B)は逆極性バイアス電圧+Vbを出力する(S3)。「初期動作」は、バイアス設定動作に相当する。
Next, the operation of this embodiment will be described. FIG. 9 shows a circuit operation corresponding to the timing chart of FIG. First, if the bias side operation mode by the offset
ここで、メモリスタの両端に印加可能な電圧範囲を±Vb,センスアンプ7に付与される基準電位Vrefを例えば0Vとする。「初期動作」とは、メモリスタの両端に電位差を生じさせない状態にするもので、
Vin1=Vin2=0V,VinB=+Vb
となる。この時、センスアンプ7にオフセット電圧Voffが発生していると、その出力電圧Voutは、オフセット電圧Voffに、逆極性のバイアス電圧+Vbを印加した時の出力電圧+Vbaisを加えたもの、すなわち、
Vout=Voff+Vbias
になる。そしてこの時、Latch_select=0であるから、減算部9のラッチ回路16(2)により、センスアンプ7の出力電圧(Voff+Vbias)に相当するデータがラッチされる(S4)。
Here, the voltage range that can be applied to both ends of the memristor is ± Vb, and the reference potential Vref applied to the
Vin1 = Vin2 = 0V, VinB = + Vb
It becomes. At this time, if the offset voltage Voff is generated in the
Vout = Voff + Vbias
become. At this time, since Latch_select = 0, the data corresponding to the output voltage (Voff + Vbias) of the
一方、ステップS1においてオフセット補正制御部11によるバイアス側動作モードが「通常動作」であれば(S5)、D/Aコンバータ2(1),2(2)はそれぞれ信号電圧Vin1,Vin2を出力し、D/Aコンバータ2(B)は基準電圧Vrefを出力する(S6)。したがって、センスアンプ7の出力は、信号電圧Vinに応じた出力電圧Voutにオフセット電圧Voffを加えた電圧(Vout+Voff)になる。この時、Latch_select=1であるから、ラッチ回路16(1)により、センスアンプ7の出力電圧(Vout+Voff)に相当するデータがラッチされる(S7)。
On the other hand, if the bias side operation mode by the offset
それから、減算部9の減算器18により、ラッチ回路16(2),16(1)のデータの減算が行われる(S8)。その減算結果は、
(Vout+Voff)−(Voff+Vbias)=Vout−Vbias
となる。これにより得られるデータは、センスアンプ7の出力電圧Voutに正極性のバイアス電圧−Vbを印加した時の出力電圧−Vbiasが加算された電圧に相当する。そして、オフセット電圧Voffはキャンセルされている。
Then, the
(Vout + Voff) − (Voff + Vbias) = Vout−Vbias
It becomes. The data thus obtained corresponds to a voltage obtained by adding the output voltage −Vbias when the positive bias voltage −Vb is applied to the output voltage Vout of the
以上のように本実施形態によれば、メモリスタを記憶素子とするクロスバー回路4の複数の電圧入力端子に、D/Aコンバータ2及びドライブアンプ3を介して信号電圧Vinと基準電圧Vrefとを印加する。メモリスタクロスバー回路4の電流出力端子に流れる電流は、センスアンプ7により電圧に変換され、A/Dコンバータ8によりA/D変換される。オフセット補正部30は、A/Dコンバータ8の出力側に配置され、センスアンプ7に発生するオフセット電圧Voffを補正する。
As described above, according to the present embodiment, the signal voltage Vin and the reference voltage Vref are supplied to the plurality of voltage input terminals of the crossbar circuit 4 using the memristor as the storage element via the D /
メモリスタクロスバー回路4のバイアス用端子に接続されるドライブアンプ3(B)はD/Aコンバータ2(B)より入力される電圧に応じて、逆極性のバイアス電圧+Vbと基準電圧Vrefとを印加する。 The drive amplifier 3 (B) connected to the bias terminal of the memristor crossbar circuit 4 generates the reverse polarity bias voltage + Vb and the reference voltage Vref according to the voltage input from the D / A converter 2 (B). Apply.
オフセット補正制御部11は、初期動作時にはドライブアンプ3(B)に逆極性のバイアス電圧を出力させると共に、ドライブアンプ3(1),3(2)に基準電圧Vrefを出力させるように各D/Aコンバータ2を制御し、その際にA/D変換されたデータを第1ラッチ回路16(1)にラッチさせる。
The offset
通常動作時には、ドライブアンプ3(B)に基準電圧Vrefを出力させると共に、ドライブアンプ3(1),3(2)に信号電圧Vinを出力させるように各D/Aコンバータ2を制御し、その際にA/D変換されたデータを第2ラッチ回路16(2)にラッチさせる。減算器18は、第2,第1ラッチ回路16(2),16(1)のラッチデータを減算した結果を信号データDOUTとして出力する。
During normal operation, each D /
このように構成すれば、メモリスタクロスバー回路4にバイアス電流が流れるのは初期動作時のみとなるので、バイアス電流の通電期間を従来よりも短くすることができ、消費電流を低減できる。そして、オフセット電圧Voffの補正も併せて行うことができる。また、オフセット補正制御部11は初期動作を間欠的に実行するので、バイアス電流の通電期間が更に短くなる。
With this configuration, the bias current flows through the memory stack bar circuit 4 only during the initial operation, so that the energization period of the bias current can be made shorter than in the conventional case, and the current consumption can be reduced. The offset voltage Voff can also be corrected. In addition, since the offset
具体的には、オフセット補正制御部11は、カウンタ22によるクロック信号Clockカウント値が所定値「4」に達する毎に、初期動作を実行する。カウンタ22は、カウント値が所定値に達すると、1クロック周期だけ出力信号Qをハイレベルに変化させる。オフセット補正制御部11は、カウンタ22の出力端子Qより制御信号Bias_DAC_selectを出力してD/Aコンバータ2(B)を制御し、カウンタ22の出力端子QNより制御信号Data_DAC_selectを出力してD/Aコンバータ2(1)及び2(2)を制御し、カウンタ22の出力端子QNより制御信号Latch_selectを出力してラッチ回路16(1),16(2)のラッチタイミングを制御する。これにより、バイアス電流の通電期間を、4クロック周期毎の1クロック周期にできる。
Specifically, the offset
また、D/Aコンバータ2に、入力データ値を制御する制御端子を有するバッファ回路12を備え、バッファ回路12は、制御端子に与えるイネーブル信号ENの二値レベル変化に応じて、対応するドライブアンプ3に基準電圧Vrefを出力させるためのデータを入力する。これにより、初期動作と通常動作との切替を簡単に行うことができる。
Further, the D /
(第2実施形態)
以下、第1実施形態と同一部分には同一符号を付して説明を省略し、異なる部分について説明する。第2実施形態は、オフセット補正制御部11に替えて、図10に示すオフセット補正制御部31を用いる。オフセット補正制御部31は、カウンタ22に替わるDフリップフロップ32と、温度センサ部33とを備えている。
(Second Embodiment)
Hereinafter, the same parts as those in the first embodiment are denoted by the same reference numerals, description thereof will be omitted, and different parts will be described. In the second embodiment, an offset
温度センサ部33は、リセット端子と信号DTを出力する端子とを備えており、例えばメモリスタクロスバー回路4の近傍において温度を検出する。温度センサ部33の出力端子は、Dフリップフロップ32の入力端子Dに接続され、リセット端子は、Dフリップフロップ32の出力端子QNに接続されている。オフセット補正部40は、オフセット補正制御部31を備えて構成される。
The
図11に示すように、温度センサ部33は、検出している温度に上昇下降に関わらず設定値以上の変動が発生すると、信号DTをハイレベルにする。この時、Dフリップフロップ32は、クロック信号Clockに同期してデータ値「1」を取り込み、出力端子Qをハイレベルにする。これにより、バイアス側の初期動作が実行される。出力端子Qがハイレベルになると出力端子QNがローレベルになり、温度センサ部33はリセットされる。それに伴い、信号DTがローレベルに変化するので、次のClockで出力端子QNがハイレベルになり温度センサ部33のリセットが解除される。
As shown in FIG. 11, the
以上のように第2実施形態によれば、オフセット補正制御部31は、温度センサ部33により検出される温度の変動レベルが所定レベルを超えるとバイアス側の初期設定動作を実行する。具体的には、温度センサ部33は、温度の変動レベルが所定レベルを超えると出力信号DTをハイレベルに変化させ、出力信号DTをローレベルに変化させるためのリセット端子を備える。
As described above, according to the second embodiment, the offset
そして、温度センサ部33の出力端子をDフリップフロップ32の入力端子Dに接続し、リセット端子を出力端子QNに接続する。各制御信号Bias_DAC_select,Data_DAC_select,Latch_selectは、第1実施形態のオフセット補正制御部11と同じ構成により出力される。このように構成すれば、温度の変動レベルが所定レベルを超えた場合にだけバイアス側の初期設定動作が実行されるので、必要となるタイミングでバイアス電流を通電させて、通電期間を短くできる。
The output terminal of the
(第3実施形態)
図12に示す第3実施形態のアナログ積和演算回路41は、第1実施形態におけるセンスアンプ7(1),7(2)を、それぞれセンスアンプ7(1p),7(1n)とする。そして、センスアンプ7(1p),7(1n)の出力端子は、差動アンプ42の各入力端子に接続されている。差動アンプ42の出力端子は、出力電圧Vout1をA/Dコンバータ8(1)に入力する。すなわち、アナログ積和演算回路41は、差動構成となっている。
(Third embodiment)
The analog product-
次に、第3実施形態の作用について説明する。メモリスタの特性が大振幅の逆方向バイアスを印加した場合に非線形な動作をする場合は、差動構成にして、入力信号電圧とバイアス電圧を単一極性の電圧入力とすることで演算誤差を低減できる。アナログ積和演算回路41について、第1実施形態と同様に初期動作で入力信号と同じ逆極性のバイアス電圧+Vbを印加して、オフセット補正の演算を実行する。
Next, the operation of the third embodiment will be described. When non-linear operation is performed when reverse bias with a large amplitude is applied to the memristor characteristics, a differential configuration is used, and the input signal voltage and bias voltage are single-polarity voltage inputs to reduce computation errors. it can. As with the first embodiment, the analog product-
通常動作時にバイアス電圧を印加する際には、メモリスタのコンダクタンスはG1B≧G2Bに設定されている。第3実施形態では差動出力なので、事前にコンダクタンス値を入れ替えてG1B≦G2Bとすれば、出力電圧の極性を反転させることができる(S0)。そして、図13に示すように、ステップS3に替わるステップS11では、D/Aコンバータ2(B)に入力信号と同一極性のバイアス電圧+Vbを出力させる。その結果、第1実施形態と同様の演算が実行される。 When a bias voltage is applied during normal operation, the conductance of the memristor is set such that G1B ≧ G2B. Since the third embodiment is a differential output, the polarity of the output voltage can be reversed if the conductance value is changed in advance to satisfy G1B ≦ G2B (S0). As shown in FIG. 13, in step S11 instead of step S3, the D / A converter 2 (B) is made to output a bias voltage + Vb having the same polarity as the input signal. As a result, the same calculation as in the first embodiment is executed.
以上のように第3実施形態によれば、第1実施形態と同様にバイアス電流の通電期間を削減しながら、センスアンプ7のオフセットやメモリスタのコンダクタンスの温度変動に対応できる。
As described above, according to the third embodiment, it is possible to cope with the temperature variation of the offset of the
(その他の実施形態)
第1実施形態において、カウンタ22に設定するデータの値は「4」に限らない。
活性化関数には、ランプ関数以外を用いても良い。
本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
(Other embodiments)
In the first embodiment, the value of data set in the
A function other than the ramp function may be used as the activation function.
Although the present disclosure has been described with reference to the embodiments, it is understood that the present disclosure is not limited to the embodiments and structures. The present disclosure includes various modifications and modifications within the equivalent range. In addition, various combinations and forms, as well as other combinations and forms including only one element, more or less, are within the scope and spirit of the present disclosure.
図面中、1はアナログ積和演算回路、2はD/Aコンバータ、3はドライブアンプ、4はメモリスタクロスバー回路、7はセンスアンプ、8はA/Dコンバータ、9は減算部、11はオフセット補正制御部、12はバッファ回路、16(2)及び16(1)は第1及び第2ラッチ回路、18は減算器、22はカウンタ、30はオフセット補正部である。 In the drawings, 1 is an analog product-sum operation circuit, 2 is a D / A converter, 3 is a drive amplifier, 4 is a memory stacker bar circuit, 7 is a sense amplifier, 8 is an A / D converter, 9 is a subtracting unit, 11 is An offset correction control unit, 12 is a buffer circuit, 16 (2) and 16 (1) are first and second latch circuits, 18 is a subtractor, 22 is a counter, and 30 is an offset correction unit.
Claims (8)
この記憶部の複数の電圧入力端子に、信号電圧と基準電圧とを印加するようにデータが入力される複数のD/Aコンバータ(2)と、
これら複数のD/Aコンバータと、前記複数の電圧入力端子との間に接続される複数の駆動アンプ(3)と、
前記記憶部の電流出力端子に接続され、前記端子に流れる電流を電圧に変換して出力する複数のI/V変換アンプ(7)と、
これら複数のI/V変換アンプにより変換された信号電圧をA/D変換する複数のA/Dコンバータ(8)と、
これら複数のA/Dコンバータの出力側に配置され、前記I/V変換アンプに発生するオフセット電圧を補正する複数のオフセット補正部(30,40)とを備え、
前記複数の電圧入力端子の1つは、バイアス電圧を印加するためのバイアス用端子であり、
前記バイアス用端子に接続される駆動アンプ(3(B))は、対応するD/Aコンバータより入力される電圧に応じて、逆極性のバイアス電圧と基準電圧とを印加するバイアス印加用アンプであり、
前記オフセット補正部は、
前記A/Dコンバータの出力データが入力される第1及び第2ラッチ回路(16(2),16(1))と、
前記第2ラッチ回路のラッチデータより、前記第1ラッチ回路のラッチデータを減算する減算器(18)と、
前記D/Aコンバータ及び前記第1及び第2ラッチ回路を制御する制御部(11,31とを備え、
前記制御部は、
バイアス設定動作時には、前記バイアス印加用アンプに逆極性のバイアス電圧を出力させると共に、その他の駆動アンプに基準電圧を出力させるように各D/Aコンバータを制御し、その際に、前記A/Dコンバータの出力データを前記第1ラッチ回路にラッチさせ、
通常動作時には、前記バイアス印加用アンプに基準電圧を出力させると共に、その他の駆動アンプに信号電圧を出力させるように各D/Aコンバータを制御し、その際に、前記A/Dコンバータの出力データを前記第2ラッチ回路にラッチさせ、
前記減算器の減算結果を、信号データとして出力するニューラルネットワーク回路。 A memory unit (4) formed by connecting the memory elements in a lattice shape, using the memristor as a variable resistance element as a memory element;
A plurality of D / A converters (2) in which data is input so as to apply a signal voltage and a reference voltage to a plurality of voltage input terminals of the storage unit;
A plurality of drive amplifiers (3) connected between the plurality of D / A converters and the plurality of voltage input terminals;
A plurality of I / V conversion amplifiers (7) connected to a current output terminal of the storage unit and converting a current flowing through the terminal into a voltage and outputting the voltage;
A plurality of A / D converters (8) for A / D converting the signal voltages converted by the plurality of I / V conversion amplifiers;
A plurality of offset correction units (30, 40) that are arranged on the output side of the plurality of A / D converters and correct the offset voltage generated in the I / V conversion amplifier;
One of the plurality of voltage input terminals is a bias terminal for applying a bias voltage;
The drive amplifier (3 (B)) connected to the bias terminal is a bias application amplifier that applies a reverse polarity bias voltage and a reference voltage in accordance with a voltage input from a corresponding D / A converter. Yes,
The offset correction unit
First and second latch circuits (16 (2), 16 (1)) to which output data of the A / D converter is input;
A subtractor (18) for subtracting the latch data of the first latch circuit from the latch data of the second latch circuit;
A controller (11, 31) for controlling the D / A converter and the first and second latch circuits;
The controller is
During the bias setting operation, each D / A converter is controlled so that the bias applying amplifier outputs a bias voltage having a reverse polarity and the other driving amplifier outputs a reference voltage. At that time, the A / D The output data of the converter is latched by the first latch circuit,
During normal operation, each D / A converter is controlled so that the bias application amplifier outputs a reference voltage and the other drive amplifiers output a signal voltage. At that time, output data of the A / D converter is output. Is latched by the second latch circuit,
A neural network circuit for outputting a subtraction result of the subtracter as signal data.
この記憶部の複数の電圧入力端子に、信号電圧と基準電圧とを印加するようにデータが入力される複数のD/Aコンバータ(2)と、
これら複数のD/Aコンバータと、前記複数の電圧入力端子との間に接続される複数の駆動アンプ(3)と、
前記記憶部の電流出力端子に接続され、前記端子に流れる電流を電圧に変換して出力する複数のI/V変換アンプ(7)と、
対を成す2つのI/V変換アンプの出力について、差動演算を行う差動アンプ(42)と、
この差動アンプの出力電圧をA/D変換する複数のA/Dコンバータ(8)と、
これら複数のA/Dコンバータの出力側に配置され、前記I/V変換アンプに発生するオフセット電圧を補正する複数のオフセット補正部(11)とを備え、
前記複数の電圧入力端子の1つは、バイアス電圧を印加するためのバイアス用端子であり、
前記バイアス用端子に接続される駆動アンプは、対応するD/Aコンバータより入力される電圧に応じて、前記バイアス電圧と基準電圧とを印加するバイアス印加用アンプ(3(B)であり、
前記記憶部において、前記バイアス電圧を印加するメモリスタの差動対は、前記バイアス電圧の極性が逆になるように予めコンダクタンス値が入れ替えられており、
前記オフセット補正部は、
前記A/Dコンバータの出力データが入力される第1及び第2ラッチ回路(16(2),16(1))と、
前記第2ラッチ回路のラッチデータより、前記第1ラッチ回路のラッチデータを減算する減算器(18)と、
前記D/Aコンバータ及び前記第1及び第2ラッチ回路を制御する制御部(11)とを備え、
前記制御部は、
バイアス設定動作時には、前記バイアス印加用アンプに前記バイアス電圧を出力させると共に、その他の駆動アンプに基準電圧を出力させるように各D/Aコンバータを制御し、その際に、前記A/Dコンバータの出力データを前記第1ラッチ回路にラッチさせ、
通常動作時には、前記バイアス印加用アンプに基準電圧を出力させると共に、その他の駆動アンプに信号電圧を出力させるように各D/Aコンバータを制御し、その際に、前記A/Dコンバータの出力データを前記第2ラッチ回路にラッチさせ、
前記減算器の減算結果を、信号データとして出力するニューラルネットワーク回路。 A memory unit (4) formed by connecting the memory elements in a lattice shape, using the memristor as a variable resistance element as a memory element;
A plurality of D / A converters (2) in which data is input so as to apply a signal voltage and a reference voltage to a plurality of voltage input terminals of the storage unit;
A plurality of drive amplifiers (3) connected between the plurality of D / A converters and the plurality of voltage input terminals;
A plurality of I / V conversion amplifiers (7) connected to a current output terminal of the storage unit and converting a current flowing through the terminal into a voltage and outputting the voltage;
A differential amplifier (42) for performing a differential operation on the outputs of the two I / V conversion amplifiers forming a pair;
A plurality of A / D converters (8) for A / D converting the output voltage of the differential amplifier;
A plurality of offset correction units (11) disposed on the output side of the plurality of A / D converters, for correcting an offset voltage generated in the I / V conversion amplifier,
One of the plurality of voltage input terminals is a bias terminal for applying a bias voltage;
The drive amplifier connected to the bias terminal is a bias application amplifier (3 (B)) that applies the bias voltage and the reference voltage in accordance with a voltage input from a corresponding D / A converter.
In the storage unit, the conductance value of the differential pair of the memristor to which the bias voltage is applied is switched in advance so that the polarity of the bias voltage is reversed,
The offset correction unit
First and second latch circuits (16 (2), 16 (1)) to which output data of the A / D converter is input;
A subtractor (18) for subtracting the latch data of the first latch circuit from the latch data of the second latch circuit;
A controller (11) for controlling the D / A converter and the first and second latch circuits;
The controller is
During the bias setting operation, each D / A converter is controlled so that the bias application amplifier outputs the bias voltage and the other drive amplifier outputs a reference voltage. At that time, the A / D converter Latching output data in the first latch circuit;
During normal operation, each D / A converter is controlled so that the bias application amplifier outputs a reference voltage and the other drive amplifiers output a signal voltage. At that time, output data of the A / D converter is output. Is latched by the second latch circuit,
A neural network circuit for outputting a subtraction result of the subtracter as signal data.
前記制御部は、
前記クロックカウンタの出力信号により前記バイアス印加用アンプに対応するD/Aコンバータを制御し、
前記出力信号の反転により前記駆動アンプに対応するD/Aコンバータを制御すると共に、前記第1及び第2ラッチ回路のラッチタイミングを制御する請求項4記載のニューラルネットワーク回路。 When the count value reaches a predetermined value, the clock counter changes the output signal to an active level for one clock cycle,
The controller is
A D / A converter corresponding to the bias application amplifier is controlled by an output signal of the clock counter;
5. The neural network circuit according to claim 4, wherein a D / A converter corresponding to the drive amplifier is controlled by inversion of the output signal, and latch timings of the first and second latch circuits are controlled.
前記バッファ回路は、前記制御端子に与える二値レベルの変化に応じて、対応するアンプに基準電圧を出力させるためのデータを入力するように構成されている請求項5記載のニューラルネットワーク回路。 The D / A converter includes a buffer circuit (12) having a control terminal for controlling an input data value,
6. The neural network circuit according to claim 5, wherein the buffer circuit is configured to input data for causing a corresponding amplifier to output a reference voltage in accordance with a change in a binary level applied to the control terminal.
前記制御部は、
クロック端子にクロック信号が入力されるDフリップフロップ(32)を備え、
前記温度センサの出力端子は前記Dフリップフロップの入力端子Dに接続され、リセット端子は同反転出力端子QNに接続されており、
前記Dフリップフロップの出力信号により前記バイアス印加用アンプに対応するD/Aコンバータを制御し、
前記出力信号の反転により前記駆動アンプに対応するD/Aコンバータを制御すると共に、前記第1及び第2ラッチ回路のラッチタイミングを制御する請求項7記載のニューラルネットワーク回路。 The temperature sensor includes a reset terminal for changing an output signal to an active level when a fluctuation level of temperature exceeds a predetermined level, and changing the output signal to an inactive level.
The controller is
A D flip-flop (32) in which a clock signal is input to a clock terminal;
The output terminal of the temperature sensor is connected to the input terminal D of the D flip-flop, and the reset terminal is connected to the inverted output terminal QN.
A D / A converter corresponding to the bias applying amplifier is controlled by an output signal of the D flip-flop;
8. The neural network circuit according to claim 7, wherein a D / A converter corresponding to the drive amplifier is controlled by inversion of the output signal, and latch timings of the first and second latch circuits are controlled.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018084000A JP6996411B2 (en) | 2018-04-25 | 2018-04-25 | Neural network circuit |
US16/379,355 US11403518B2 (en) | 2018-04-25 | 2019-04-09 | Neural network circuit |
CN201910317516.1A CN110401450B (en) | 2018-04-25 | 2019-04-19 | Neural network circuit |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018084000A JP6996411B2 (en) | 2018-04-25 | 2018-04-25 | Neural network circuit |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019191930A true JP2019191930A (en) | 2019-10-31 |
JP6996411B2 JP6996411B2 (en) | 2022-01-17 |
Family
ID=68387874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018084000A Active JP6996411B2 (en) | 2018-04-25 | 2018-04-25 | Neural network circuit |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6996411B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021103521A (en) * | 2019-12-24 | 2021-07-15 | 財團法人工業技術研究院Industrial Technology Research Institute | Neural network computing device and method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03132885A (en) * | 1989-10-19 | 1991-06-06 | Fujitsu Ltd | Offset compensating circuit |
WO2017010048A1 (en) * | 2015-07-13 | 2017-01-19 | Denso Corporation | Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit |
WO2017155544A1 (en) * | 2016-03-11 | 2017-09-14 | Hewlett Packard Enterprise Development Lp | Hardware accelerators for calculating node values of neural networks |
JP2018014152A (en) * | 2016-07-20 | 2018-01-25 | 株式会社デンソー | Neural network circuit |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3132885B2 (en) | 1992-03-19 | 2001-02-05 | 富士通株式会社 | Resist composition and pattern forming method using the same |
-
2018
- 2018-04-25 JP JP2018084000A patent/JP6996411B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03132885A (en) * | 1989-10-19 | 1991-06-06 | Fujitsu Ltd | Offset compensating circuit |
WO2017010048A1 (en) * | 2015-07-13 | 2017-01-19 | Denso Corporation | Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit |
WO2017155544A1 (en) * | 2016-03-11 | 2017-09-14 | Hewlett Packard Enterprise Development Lp | Hardware accelerators for calculating node values of neural networks |
JP2018014152A (en) * | 2016-07-20 | 2018-01-25 | 株式会社デンソー | Neural network circuit |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021103521A (en) * | 2019-12-24 | 2021-07-15 | 財團法人工業技術研究院Industrial Technology Research Institute | Neural network computing device and method |
Also Published As
Publication number | Publication date |
---|---|
JP6996411B2 (en) | 2022-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220100255A1 (en) | Unit Element for performing Multiply-Accumulate Operations | |
JP2945805B2 (en) | A / D converter | |
CN110401450B (en) | Neural network circuit | |
JP5807549B2 (en) | Comparison circuit and A / D conversion circuit | |
WO2018173472A1 (en) | Neural network circuit | |
US8692582B1 (en) | Latched comparator circuitry | |
KR20080007997A (en) | Pipeline analog digital converter with self reference voltage driver | |
JP4832282B2 (en) | Circulating digital-analog converter, display device and method thereof | |
JP7124498B2 (en) | neural network circuit | |
JP2018163437A (en) | Neural network circuit | |
JP5566211B2 (en) | Switched capacitor D / A converter | |
JP6996411B2 (en) | Neural network circuit | |
WO2010140523A1 (en) | Successive approximation a/d converter circuit and semiconductor integrated circuit | |
US10312925B1 (en) | Multiplying DAC of pipelined ADC | |
JP6203114B2 (en) | Semiconductor integrated circuit | |
US8022851B2 (en) | DAC with data independent common mode dynamics | |
JP6471629B2 (en) | Boltzmann machine circuit | |
JP4639162B2 (en) | Analog to digital converter | |
JP2015088904A (en) | Analog-digital conversion circuit and method of controlling analog-digital conversion circuit | |
WO2022102002A1 (en) | Analog/digital conversion circuit | |
WO2011104797A1 (en) | A/d converter | |
JP3851305B2 (en) | Analog-digital conversion circuit | |
Pelgrom | Comparators | |
US20220405057A1 (en) | Semiconductor integrated circuit and arithmetic logic operation system | |
JP3956545B2 (en) | A / D converter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211129 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6996411 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |