JP2021047778A - 演算回路 - Google Patents

Abstract

【課題】回路規模の縮小、演算時間の短縮、あるいは低消費電力化が可能なシグモイド関数を演算する演算回路を提供する。【解決手段】実施形態の演算回路は、シグモイド関数の演算を行う演算回路において、シグモイド関数における自然対数の底ｅを基数とする指数演算で指数が負の数である場合に、前記指数を正の数として計算を行い、第１計算結果を出力するべき乗及び開平演算器１２と、１からべき乗及び開平演算器１２による第１計算結果を減算し、減算値を出力する減算器１７とを備える。【選択図】図４

Description

実施形態は、シグモイド関数を演算する演算回路に関する。

近年、ＡＩ開発がブームとなり、例えば、ニューラルネットワークに関する活性化関数のハードウェアへの実装方法の研究が盛んに行われている。

ニューラルネットワークでは、活性化関数としてシグモイド関数がよく利用される。しかし、シグモイド関数は、計算式が複雑であるため、ハードウェアで実装するのは難しい。

特開平６−２０３０５８号公報

実施形態は、回路規模の縮小、演算時間の短縮、あるいは低消費電力化が実現でき、ハードウェアへ容易に実装可能なシグモイド関数を演算する演算回路を提供する。

実施形態の演算回路は、シグモイド関数の演算を行う演算回路において、前記シグモイド関数における自然対数の底ｅを基数とする指数演算で指数が負の数である場合に、前記指数を正の数として計算を行い、第１計算結果を出力する第１回路と、１から前記第１回路による前記第１計算結果を減算し、減算値を出力する第２回路とを備える。

図１は、ニューラルネットワークの概念図である。 図２は、シグモイド関数ｆ(ｘ)を表す図である。 図３は、比較例の演算回路の一例を示す図である。 図４は、第１実施形態の演算回路の構成を示すブロック図である。 図５は、比較例のべき乗及び開平演算器を含む演算回路の構成を示すブロック図である。 図６は、第２実施形態の演算回路の構成を示すブロック図である。 図７は、第３実施形態の演算回路の構成を示すブロック図である。 図８は、シグモイド関数における２のべき乗計算において、各ビットに対応するべき乗の値を示す図である。 図９は、シグモイド関数における２のべき乗計算において、各ビットに対応するべき乗の値を示す図である。 図１０は、第５実施形態のべき乗及び開平演算器を含む演算回路の構成を示すブロック図である。 図１１は、シグモイド関数における２のべき乗計算において、累乗根の固定値テーブルを示す図である。 図１２は、第６実施形態の演算回路の構成を示すブロック図である。

以下、図面を参照して実施形態について説明する。以下の説明において、同一の機能及び構成を有する構成要素については同一符号を付す。また、以下に示す各実施形態は、この実施形態の技術的思想を具体化するための装置や方法を例示するものであって、構成部品の材質、形状、構造、及び配置等を下記のものに特定するものではない。さらに、各実施形態は、組み合わせが可能であれば、２つあるいは多数の実施形態を組み合わせて、１つの実施形態として実行されてもよい。

各機能ブロック（または、回路ブロック）は、ハードウェア、ソフトウェアのいずれかまたは両者を組み合わせたものとして実現することができる。各機能ブロックが以下の例のように区別されていることは必須ではない。例えば、一部の機能が例示の機能ブロックとは別の機能ブロックによって実行されてもよい。さらに、例示の機能ブロックがさらに細かい機能サブブロックに分割されていてもよい。

１．第１実施形態
前述したように、ニューラルネットワークでは、活性化関数としてシグモイド関数がよく利用される。図１に、ニューラルネットワークの概念図を示す。

シグモイド関数ｆ(ｘ)は、以下の式(１)で示され、図２で表すことができる。

上記式(１)で示されたシグモイド関数ｆ(ｘ)を演算するための演算回路の一例を図３に示す。図３に示す演算回路１００は、本実施形態に対する比較例であり、乗算器１１、べき乗及び開平演算器１２、除算器１３、マルチプレクサ１４、加算器１５、及び除算器１６を備える。

このような回路においてシグモイド関数ｆ(ｘ)の演算が行われるが、シグモイド関数の演算の中では、べき乗計算が最も演算量が多い。

以下に、シグモイド関数の演算中で、なぜ、べき乗計算の演算量が多いかを単精度浮動小数点数の例で説明する。

ｅ^{１２．４０６２５}＝ｅ^{１０１０．０１１０１ｂ}
上記式を展開すると、以下の式(２)のようになる。

ここで、以下の式(３)に示すように、各ビットに対応するｅのべき乗（累乗根）の値は、指数の整数部は２乗、指数の小数部は平方根を繰り返し実施して求める必要がある。単精度浮動小数点数では、指数が−１２６〜１２７で表現されるため、その分の２乗・平方根の実施が必要である。また、最終的にそれらを乗算する必要があり、仮数の分（２３ビット）だけ乗算が必要となる。

以下に、第１実施形態の演算回路について説明する。第１実施形態では、シグモイド関数において、最後の逆数演算（または、除算）を減算へ置き換える手法について説明する。

１．１ 演算回路の構成
図４を用いて、第１実施形態の演算回路の構成について説明する。図４は、第１実施形態の演算回路の構成を示すブロック図である。

演算回路１０は、乗算器１１、べき乗及び開平演算器１２、加算器１５、除算器１６、減算器１７、及びマルチプレクサ１８を備える。乗算器１１、べき乗及び開平演算器１２、加算器１５、除算器１６、及び減算器１７の各々は、第１入力端子、第２入力端子、及び出力端子を有する。マルチプレクサ１８は、第１入力端子、第２入力端子、制御端子、及び出力端子を有する。図４に示す演算回路１０は、図３に示した演算回路１００に対して、回路Ａ１が削除され、回路Ａ２が追加されたものである。

１．２ 演算回路の動作
入力信号（または、入力変数）ｘが乗算器１１の第１入力端子に入力され、−ａが乗算器１１の第２入力端子に入力される。ａは、図２におけるｆ(ｘ)の傾きを決める値である。乗算器１１の出力端子からの出力信号が、べき乗及び開平演算器１２の第１入力端子に入力され、ｅがべき乗及び開平演算器１２の第２入力端子に入力される。ｅはネイピア数であり、自然対数の底である。

べき乗及び開平演算器１２の出力端子からの出力信号が、加算器１５の第１入力端子に入力され、１が加算器１５の第２入力端子に入力される。加算器１５の出力端子からの出力信号が、除算器１６の第１入力端子に入力され、１が除算器１６の第２入力端子に入力される。

除算器１６の出力端子からの出力信号が、減算器１７の第１入力端子とマルチプレクサ１８の第１入力端子に入力され、１が減算器１７の第２入力端子に入力される。減算器１７の出力端子からの出力信号が、マルチプレクサ１８の第２入力端子に入力される。マルチプレクサ１８は、制御端子に入力された選択信号に応じて、第１入力端子あるいは第２入力端子のいずれかに入力された信号を、出力端子から出力信号ｆ(ｘ)として出力する。

以下に、シグモイド関数ｆ(ｘ)における逆数演算を減算に置き換える手法を示す。シグモイド関数ｆ(ｘ)においては、ｘ ≧ 0 の場合に、自然対数の底ｅのべき乗演算後に、逆数演算が必要となる。

式(１)で示されるシグモイド関数ｆ(ｘ)は、図２に示すように、座標(0, 0.5)で点対称であることを利用すると、以下の式が成り立つ。

ｆ(ｘ)＝１−ｆ(−ｘ)
よって、ｘ の符号別に処理を分けることで、以下の式(４)に示すように、逆数演算を減算に置き換えることが可能となる。

以下に、図４を用いて、第１実施形態の演算回路の動作について説明する。

乗算器１１は、第１入力端子と第２入力端子に入力された２つの信号に対して乗算を行い、これら２つの信号の積に比例した信号を出力する。具体的には、入力信号ｘと−ａとの乗算を行い、これらの積、すなわち、“−ａｘ”を出力する。

べき乗及び開平演算器１２は、第１入力端子と第２入力端子に入力された２つの信号に対してべき乗演算あるいは開平演算を行い、これら２つの信号のべき乗あるいは開平に比例した信号を出力する。具体的には、基数“ｅ”と指数“−ａｘ”とでべき乗演算を行い、これらのべき乗演算結果、すなわち、“ｅ^−ａｘ”を出力する。

加算器１５は、第１入力端子と第２入力端子に入力された２つの信号に対して加算を行い、これら２つの信号の加算結果に比例した信号を出力する。具体的には、１とｅ^−ａｘとを加算し、加算結果、すなわち、“１＋ｅ^−ａｘ”を出力する。

除算器１６は、第２入力端子に入力された信号に対して、第１入力端子に入力された信号にて除算を行い、除算結果に比例した信号を出力する。具体的には、“１／(１＋ｅ^−ａｘ)”を行い、“１／(１＋ｅ^−ａｘ)”に比例した信号を出力する。

減算器１７は、第２入力端子に入力された信号に対して、第１入力端子に入力された信号にて減算を行い、減算結果に比例した信号を出力する。具体的には、減算器１７は、“１−{１／(１＋ｅ^−ａｘ)}”を行い、“１−{１／(１＋ｅ^−ａｘ)}”に比例した信号を出力する。

マルチプレクサ１８は、第１入力端子と第２入力端子に入力された２つの信号を受け、制御端子に入力された選択信号に応じて、２つの信号のうちのいずれか１つの信号を出力する。具体的には、マルチプレクサ１８は、“１−{１／(１＋ｅ^−ａｘ)}”と“１／(１＋ｅ^−ａｘ)”とを受け取り、選択信号に応じて、いずれか１つの信号を出力信号ｆ(ｘ)として出力する。詳述すると、マルチプレクサ１８は、“１−{１／(１＋ｅ^−ａｘ)}”と“１／(１＋ｅ^−ａｘ)”とを受け取り、ｘ ≧ 0 の場合に、“１−{１／(１＋ｅ^−ａｘ)}”を出力し、ｘ ＜ 0 の場合に、“１／(１＋ｅ^−ａｘ)”を出力信号ｆ(ｘ)として出力する。

１．３ 第１実施形態の効果
第１実施形態によれば、シグモイド関数を演算するための演算回路の回路規模の縮小、演算時間の短縮、及び低消費電力化を実現することができる。これにより、前記演算回路をハードウェアへ容易に実装可能である。

第１実施形態では、シグモイド関数における処理をｘ の正負符号別に分けることにより、べき乗演算後に行われる逆数演算を、減算に置き換えることができる。図３に示した除算器１３を削除し、図４に示したように、除算器１６の後段に減算器１７を追加する。これにより、シグモイド関数を演算する演算回路の回路規模を縮小することができ、この演算回路のハードウェアへの実装が容易になる。さらに、この演算回路における演算時間の短縮、及び低消費電力化を図ることができる。

なお、本実施形態は、前述したように、乗算器、べき乗及び開平演算器、加算器、除算器、及び減算器等の演算器（または、演算回路）を用いたハードウェアにより実施してもよいし、ＣＰＵ（central processing unit）あるいはＤＳＰ（digital signal processor）等のプロセッサを用いてソフトウェアにて実施することも可能である。

２．第２実施形態
次に、第２実施形態の演算回路について説明する。第２実施形態では、シグモイド関数において、自然対数の底ｅの指数関数から２の指数関数への式変換を行うことにより、べき乗演算を簡略化する手法について説明する。

先に、本実施形態に対する比較例の演算回路について説明する。図５は、比較例のべき乗及び開平演算器１２を含む演算回路２００の構成を示すブロック図である。演算回路２００は、繰り返し制御回路２１及びべき乗及び開平演算器１２を含む。演算回路２００は、演算回路１００（または、１０）におけるべき乗及び開平演算器１２を詳細に示すものであり、その他の回路は省略している。べき乗及び開平演算器１２は、マルチプレクサ２２、乗算器２３、ラッチ回路２４、マルチプレクサ２５、乗算器２６、ラッチ回路２７、マルチプレクサ２８、開平演算器２９、ラッチ回路３１、マルチプレクサ３２、乗算器３３、ラッチ回路３４、及び乗算器３５を備える。

シグモイド関数ｆ(ｘ)におけるｅの指数関数に関する計算、すなわち自然対数の底ｅを用いた計算では、図５に示すように多数の乗算器が必要となり、計算が複雑となる。このため、べき乗演算を簡略化するために、シグモイド関数ｆ(ｘ)におけるｅの指数関数を２の指数関数に変換する。

まず、以下のように定義すると、
ｅ^ｘ＝２^ｙ
ｙ＝log_２ｅ^ｘ＝ｘ・log_２ｅ
よって、以下の式(５)に示すように、シグモイド関数ｆ(ｘ)を置き換えることができる。

このとき、log_２ｅは定数である。

log_２ｅ＝１．４４２６９５０４１…
２．１ 演算回路の構成
図６を用いて、第２実施形態の演算回路の構成について説明する。図６は、第２実施形態のべき乗及び開平演算器１２Ａを含む演算回路２０の構成を示すブロック図である。

前述の式(５)に示したように、底ｅの指数関数を２の指数関数に置き換えることができれば、演算回路２００のべき乗及び開平演算器１２内の整数部における複数の乗算器、及び乗算器による複数の乗算の繰り返しを、Ａ３に示すように、バレルシフタ３６に置き換えることができる。これにより、第２実施形態の演算回路２０の回路規模を縮小することが可能である。以下に、縮小化した演算回路２０について説明する。

図６に示すように、演算回路２０は、繰り返し制御回路２１及びべき乗及び開平演算器１２Ａを含む。演算回路２０は、演算回路１０（または、１００）におけるべき乗及び開平演算器１２をべき乗及び開平演算器１２Ａに置き換えたものであり、その他の回路は省略している。

繰り返し制御回路２１は、開平演算器２９と乗算器３３とによる演算の繰り返しを制御する。指数が小数である場合の２のべき乗計算は、２の開平演算を行い、平方根の値Ｘを求め、その値を掛け合わす必要がある。さらに、指数における小数の次の下の桁を計算するために、平方根の値Ｘの平方根をさらに求め、それらの値を掛け合わせる。このように、指数の０より小さい小数点数の計算には、指数の小数の桁ごとに平方根の開平演算と乗算が必要であり、それらを桁の数だけ繰り返す必要がある。繰り返し制御回路２１は、小数の桁の分だけ、平方根の開平演算と乗算とを繰り返す処理を行う。以降の実施形態における繰り返し制御回路２１においても同様である。

べき乗及び開平演算器１２Ａは、バレルシフタ３６、マルチプレクサ２８、開平演算器２９、ラッチ回路３１、マルチプレクサ３２、乗算器３３、ラッチ回路３４、及び乗算器３５を備える。バレルシフタ３６、乗算器３３、及び乗算器３５の各々は、第１入力端子、第２入力端子、及び出力端子を有する。マルチプレクサ２８及び３２の各々は、第１入力端子、第２入力端子、制御端子、及び出力端子を有する。ラッチ回路３１及び３４の各々は、入力端子及び出力端子を有する。

２．２ 演算回路の動作
以下に図６を用いて、第２実施形態の演算回路２０の動作について説明する。

入力信号ｘが繰り返し制御回路２１に入力される。演算回路２０におけるべき乗及び開平演算器１２Ａの整数部を処理する回路では、入力信号ｘがバレルシフタ３６の第１入力端子に入力され、１がバレルシフタ３６の第２入力端子に入力される。バレルシフタ３６の出力端子からの出力信号が乗算器３５の第１入力端子に入力される。

べき乗及び開平演算器１２Ａの小数部を処理する回路では、２がマルチプレクサ２８の第１入力端子に入力され、マルチプレクサ２８の出力端子からの出力信号が開平演算器２９の入力端子に入力され、開平演算器２９の出力端子からの出力信号がラッチ回路３１の入力端子に入力される。ラッチ回路３１の出力端子からの出力信号が、マルチプレクサ２８の第２入力端子、及び乗算器３３の第１入力端子に入力される、すなわちマルチプレクサ２８の第２入力端子にフィードバックされると共に、乗算器３３の第１入力端子に入力される。

乗算器３３の出力端子からの出力信号がラッチ回路３４の入力端子に入力される。１がマルチプレクサ３２の第１入力端子に入力され、マルチプレクサ３２の出力端子からの出力信号が、乗算器３３の第２入力端子に入力される。ラッチ回路３４の出力端子からの出力信号が、マルチプレクサ３２の第２入力端子、及び乗算器３５の第２入力端子に入力される、すなわちマルチプレクサ３２の第２入力端子にフィードバックされると共に、乗算器３５の第２入力端子に入力される。さらに、乗算器３５の出力端子からの出力信号が後段の回路に出力される。このようなべき乗及び開平演算器１２Ａを含む演算回路２０を用いて、式(５)に示したシグモイド関数ｆ(ｘ)が演算される。

２．３ 第２実施形態の効果
第２実施形態によれば、シグモイド関数を演算するための演算回路の回路規模の縮小、演算時間の短縮、及び低消費電力化を実現することができる。これにより、前記演算回路をハードウェアへ容易に実装することが可能である。

第２実施形態では、シグモイド関数において、自然対数の底ｅの指数関数を２の指数関数に置き換えることにより、演算に必要な乗算器を減らすことができる。図５に示した乗算器２３及び２６を、図６に示したように、バレルシフタ３６に置き換える。これにより、シグモイド関数を演算する演算回路の回路規模を縮小することができ、この演算回路のハードウェアへの実装が容易になる。さらに、この演算回路における演算時間の短縮、及び低消費電力化を図ることができる。

なお、本実施形態は、前述したように、各種の演算器（または、演算回路）を用いたハードウェアにより実施してもよいし、ＣＰＵあるいはＤＳＰ等のプロセッサを用いてソフトウェアにて実施することも可能である。

３．第３実施形態
次に、第３実施形態の演算回路について説明する。第３実施形態では、シグモイド関数の演算において、計算値に情報落ちが発生することを利用して無駄な計算を削減する手法について説明する。

まず、シグモイド関数ｆ(ｘ)における２^ｂ｜ｘ｜ と１との加算に着目する。

上記の式(６)に示すように、シグモイド関数ｆ(ｘ)には、２^ｂ｜ｘ｜ と１との加算がある。単精度浮動小数点数の仮数は、２３ビット、ガードビット、及びラウンドビットを足して２５ビットである。このため、ｂ｜ｘ｜≧２６の場合には、２^ｂ｜ｘ｜ に加算される１は無視できる。２^ｂ｜ｘ｜ に１を加算したとき、その計算値に情報落ちが発生するからである。

このとき、式(６)を以下の式(７)に変形でき、ｂ｜ｘ｜≧２６の場合、２^ｂ｜ｘ｜ は無限大∞となり、式(７)に示すように、シグモイド関数ｆ(ｘ)の値が一意に決まる。すなわち、ｘ ≧２６ の場合、シグモイド関数ｇ(ｘ)は１であり、ｘ ≦ −２６ の場合、シグモイド関数ｆ(ｘ)は０である。

３．１ 演算回路の構成
図７を用いて、第３実施形態の演算回路の構成について説明する。図７は、第３実施形態の演算回路の構成を示すブロック図である。

演算回路３０は、乗算器１１、べき乗及び開平演算器１２、除算器１３、マルチプレクサ１４、加算器１５、除算器１６、比較器３７、比較器３８、及びマルチプレクサ３９，４１を備える。乗算器１１、べき乗及び開平演算器１２、除算器１３、加算器１５、除算器１６、及び比較器３７，３８の各々は、第１入力端子、第２入力端子、及び出力端子を有する。マルチプレクサ１４，３９，４１の各々は、第１入力端子、第２入力端子、制御端子、及び出力端子を有する。

３．２ 演算回路の動作
以下に図７を用いて、第３実施形態の演算回路３０の動作について説明する。

入力信号ｘが乗算器１１の第１入力端子に入力され、−ａがその乗算器１１の第２入力端子に入力される。ａは、図２におけるｆ(ｘ)の傾きを決める値である。乗算器１１の出力端子からの出力信号が、べき乗及び開平演算器１２の第１入力端子に入力され、底ｅがべき乗及び開平演算器１２の第２入力端子に入力される。

べき乗及び開平演算器１２の出力端子からの出力信号が、除算器１３の第１入力端子、及びマルチプレクサ１４の第１入力端子に入力され、１が除算器１３の第２入力端子に入力される。除算器１３の出力端子からの出力信号が、マルチプレクサ１４の第２入力端子に入力される。

マルチプレクサ１４の出力端子からの出力信号が、加算器１５の第１入力端子に入力され、１が加算器１５の第２入力端子に入力される。加算器１５の出力端子からの出力信号が、除算器１６の第１入力端子に入力され、１が除算器１６の第２入力端子に入力される。

除算器１６の出力端子からの出力信号が、マルチプレクサ３９の第１入力端子に入力され、１がマルチプレクサ３９の第２入力端子に入力される。マルチプレクサ３９の出力端子からの出力信号が、マルチプレクサ４１の第１入力端子に入力され、０がマルチプレクサ４１の第２入力端子に入力される。

また、入力信号ｘが比較器３７の第１入力端子、及び比較器３８の第１入力端子に入力され、２６が比較器３７の第２入力端子に入力され、−２６が比較器３８の第２入力端子に入力される。

比較器３７の出力端子からの出力信号が、マルチプレクサ３９の制御端子に入力される。マルチプレクサ３９は、制御端子に入力された出力信号（選択信号）に応じて、第１及び第２入力端子のいずれかに入力された信号を出力する。比較器３８の出力端子からの出力信号が、マルチプレクサ４１の制御端子に入力される。マルチプレクサ４１は、制御端子に入力された出力信号（選択信号）に応じて、第１及び第２入力端子のいずれかに入力された信号を出力信号ｆ(ｘ)として出力する。

言い換えると、演算回路３０では、入力信号ｘが比較器３７，３８の第１入力端子にそれぞれ入力される。２６が比較器３７の第２入力端子に入力され、−２６が比較器３８の第２入力端子に入力される。入力信号ｘと２６との比較結果が、比較器３７の出力端子から選択信号として出力される。入力信号ｘと−２６との比較結果が、比較器３８の出力端子から選択信号として出力される。マルチプレクサ３９は、比較器３７から出力された選択信号に応じて、除算器１６からの出力信号あるいは１のいずれかの信号を出力する。さらに、マルチプレクサ４１は、比較器３８から出力された選択信号に応じて、マルチプレクサ３９からの出力信号あるいは０のいずれかの信号を出力する。

すなわち、入力信号ｘが２６以上である場合、マルチプレクサ３９は１を出力信号として出力し、さらにマルチプレクサ４１は、マルチプレクサ３９から受け取った１を出力信号ｆ(ｘ)として出力する。一方、入力信号ｘが−２６以下である場合、マルチプレクサ４１は、０を出力信号ｆ(ｘ)として出力する。このような演算回路３０を用いて、式(７)に示したシグモイド関数ｆ(ｘ)が演算される。

３．３ 第３実施形態の効果
第３実施形態では、シグモイド関数の演算において、計算値に情報落ちが発生することを利用して計算値の整数部の計算量を削減することにより、演算回路における演算時間の短縮、及び低消費電力化を図ることができる。これにより、演算回路のハードウェアへの実装が容易になる。

なお、第３実施形態の演算回路３０は、図３に示した演算回路１００に回路Ａ４を追加したものであるが、図４に示した演算回路１０のマルチプレクサ１８の後段に回路Ａ４を追加した構成としてもよい。

また、本実施形態は、前述したように、各種の演算器（または、演算回路）を用いたハードウェアにより実施してもよいし、ＣＰＵあるいはＤＳＰ等のプロセッサを用いてソフトウェアにて実施することも可能である。

４．第４実施形態
次に、第４実施形態の演算回路について説明する。前述の第３実施形態では、シグモイド関数における計算値の情報落ちを利用して、計算値の整数部の計算量を削減したが、この第４実施形態では、計算値の情報落ちを利用して計算値の小数部の計算量を削減する。

計算値の小数部、すなわち小数点以下に関しても、２^ｂ｜ｘ｜ と１との加算を考慮すると、下位２３ビットまでの計算で十分である。下位２４ビット以下は、２^ｂ｜ｘ｜ と１との加算時に情報落ちするからである。第４実施形態における演算回路の構成、及び動作については、前述した第３実施形態と同様であるため、記載を省略する。

５．第５実施形態
次に、第５実施形態の演算回路について説明する。第５実施形態では、シグモイド関数における２のべき乗計算において、指数の小数点以下下位１２ビットの乗算計算を簡略化する手法について説明する。

以下に、２のべき乗計算において、指数が小数である数値はどのように計算するかを示す。例えば、以下の数値を例に説明する。

２^{１４．４０６２５}＝２^{１１１０．０１１０１ｂ} （指数部の２進数表現）
指数は、整数部と小数部に分離できる。小数部は分数表現が可能である。

式(８)中の指数の加算は、以下の式(９)に示すように置き換えることができる。

整数部の２^１４ は、１のシフト演算(１４ビット左シフト)で求めることが可能である。これにより、底ｅを２に変換したこと(第２実施形態参照)で、整数部の大量の乗算を１回のシフト演算に削減することができる。

また、２のべき乗計算において、指数の小数の計算に着目すると、以下のようになる。

２^ｂ｜ｘ｜ と１との加算による情報落ちを考慮して、小数点以下２３ビットの計算を実施する。

図８中のＢ１に示すように、ｘ＝２^１２ 以降の累乗根の値を見ると、ある決まった値の数値列が１ビットずれて現れることが分かる。これを利用して、各ビットの乗算の組み合わせ（最大１２回）を乗算１つで置き換える。

以下に、図９を用いて、各ビットの乗算の組み合わせについて詳述する。図９は、図８に示したｘ＝２^１２ 以降の累乗根の値を示す図である。

全ビットの半分以上が０の場合、図９に示すように、小数点以下の初めの１以降の値に同じ数値列が現れる。このパターンをＣ_ｘと定義する。

Ｃ_ｘ＝(０．１ｂ)^ｘ ×１０１１０００１０１１１０ｂ
同じ数値列が繰り返される理由は、以下のようになるためである。

１＋Ｃ_ｘ−１＝(１＋Ｃ_ｘ)^２＝１＋２Ｃ_ｘ＋Ｃ_ｘ ^２
ここで、Ｃ_ｘ ^２ は精度以下となり切り捨てられる。

この法則を利用すると、上記の値のうち、２つを選んで乗算する計算が簡略化できる。乗算結果は、それぞれの値の加算で求めることができる。

(１＋ａ)・(１＋ｂ)＝１＋ａ＋ｂ＋ａ・ｂ
ここで、ａ・ｂは精度以下となり切り捨てられる。

よって、下位ビットのそれぞれの乗算は、以下の乗算１つで置き換え可能である。

ｙ＝１＋(１／２^２４)・(index[−１２：−２３])×１０１１０００１０１１１０ｂ
上記式について、以下の数値を例に説明する。

２^{０．０００００００００００１１０００００００００１}
まず、指数部の下位１２桁を以下の通り定義する。

index[−１２：−２３]＝１１０００００００００１ｂ
数値は、分数を使って以下のように表現できる。

ここで、Ｃ_ｘ は以下のように定義されているので、
Ｃ_ｘ＝(０．１ｂ)^ｘ ×１０１１０００１０１１１０ｂ
＝(１／２^ｘ)×１０１１０００１０１１１０ｂ
となり、以下の関係が成り立つ。

よって、数値は以下のように表現することができ、

上記の式(１４)中の乗算部(Ｃ_１３・Ｃ_１４＋Ｃ_１４・Ｃ_２４＋Ｃ_２４・Ｃ_１３＋Ｃ_１３・Ｃ_１４・Ｃ_２４)は、精度以下のために切り捨てられて、以下のように簡潔な式となる。

ここで、先に定義した以下の式を当てはめる。

index[−１２：−２３]＝１１０００００００００１ｂ
これにより、以下の式ｙを導くことができる。

ｙ＝１＋(１／２^２４)・(index[−１２：−２３])×１０１１０００１０１１１０ｂ
これは、変換前の式では、指数部の各桁の１の数分だけ、乗算と乗算する値を開平演算で求める必要があるが、第５実施形態における前記式ｙでは、加算１つ、乗算１つ、及びシフト演算１つで実現できることを示している。

５．１ 演算回路の構成
図１０を用いて、第５実施形態の演算回路の構成について説明する。図１０は、第５実施形態のべき乗及び開平演算器１２Ｂを含む演算回路５０の構成を示すブロック図である。図１０に示す回路は、図５に示した演算回路２００に対して、回路Ａ５を追加したものである。

演算回路５０は、繰り返し制御回路２１及びべき乗及び開平演算器１２Ｂを含む。べき乗及び開平演算器１２Ｂは、乗算器２３，２６，３３，３５，５１、マルチプレクサ２２，２５，２８，３２，５２、開平演算器２９、ラッチ回路２４，２７，３１，３４を備える。乗算器２３，２６，３３，３５，５１の各々は、第１入力端子、第２入力端子、及び出力端子を有する。開平演算器２９及びラッチ回路２４，２７，３１，３４の各々は、入力端子及び出力端子を有する。マルチプレクサ２２，２５，２８，３２，５２の各々は、第１入力端子、第２入力端子、制御端子、及び出力端子を有する。

５．２ 演算回路の動作
以下に図１０を用いて、第５実施形態の演算回路５０の動作について説明する。

演算回路５０におけるべき乗及び開平演算器１２Ｂの整数部を処理する回路では、１がマルチプレクサ２２の第１入力端子に入力され、マルチプレクサ２２の出力端子からの出力信号が、乗算器２３の第１入力端子に入力される。乗算器２３の出力端子からの出力信号は、ラッチ回路２４の入力端子に入力され、底ｅが乗算器２３の第２入力端子に入力される。

ラッチ回路２４の出力端子からの出力信号は、マルチプレクサ２２の第２入力端子、及び乗算器２６の第１入力端子に入力される、すなわちマルチプレクサ２２の第２入力端子にフィードバックされると共に、乗算器２６の第１入力端子に入力される。

１がマルチプレクサ２５の第１入力端子に入力され、マルチプレクサ２５の出力端子からの出力信号が、乗算器２６の第２入力端子に入力される。乗算器２６の出力端子からの出力信号は、ラッチ回路２７の入力端子に入力され、ラッチ回路２７の出力端子からの出力信号は、マルチプレクサ２５の第２入力端子、及び乗算器３５の第１入力端子に入力される、すなわちマルチプレクサ２５の第２入力端子にフィードバックされる共に、乗算器３５の第１入力端子に入力される。

入力信号ｘが繰り返し制御回路２１に入力される。べき乗及び開平演算器１２Ｂの小数部を処理する回路では、入力信号ｘの仮数の下位ビットが乗算器５１の第１入力端子に入力される。定数が乗算器５１の第２入力端子に入力される。乗算器５１の出力端子からの出力信号は、マルチプレクサ５２の第１入力端子に入力される。

底ｅがマルチプレクサ２８の第１入力端子に入力され、マルチプレクサ２８の出力端子からの出力信号が、開平演算器２９の入力端子に入力される。開平演算器２９の出力端子からの出力信号がラッチ回路３１の入力端子に入力される。ラッチ回路３１の出力端子からの出力信号が、マルチプレクサ２８の第２入力端子、及びマルチプレクサ５２の第２入力端子に入力される、すなわちマルチプレクサ２８の第２入力端子にフィードバックされる共に、マルチプレクサ５２の第２入力端子に入力される。

マルチプレクサ５２の出力端子からの出力信号は、乗算器３３の第１入力端子に入力される。１がマルチプレクサ３２の第１入力端子に入力され、マルチプレクサ３２の出力端子からの出力信号が乗算器３３の第２入力端子に入力される。乗算器３３の出力端子からの出力信号は、ラッチ回路３４の入力端子に入力され、ラッチ回路３４の出力端子からの出力信号は、マルチプレクサ３２の第２入力端子、及び乗算器３５の第２入力端子に入力される、すなわちマルチプレクサ３２の第２入力端子にフィードバックされる共に、乗算器３５の第２入力端子に入力される。このようなべき乗及び開平演算器１２Ｂを含む演算回路５０を用いて、前述した２のべき乗計算における簡略化された乗算が行われ、シグモイド関数ｆ(ｘ)が演算される。

５．３ 第５実施形態の効果
第５実施形態によれば、シグモイド関数を演算するための演算回路における演算時間の短縮、及び低消費電力化を実現することができる。これにより、前記演算回路をハードウェアへ容易に実装することが可能である。

第５実施形態では、シグモイド関数における２のべき乗計算において、指数の小数点以下下位１２ビットの乗算計算を簡略化することにより、演算回路における演算時間の短縮、及び低消費電力化を図ることができる。これにより、演算回路のハードウェアへの実装が容易になる。

なお、本実施形態は、前述したように、各種の演算器（または、演算回路）を用いたハードウェアにより実施してもよいし、ＣＰＵあるいはＤＳＰ等のプロセッサを用いてソフトウェアにて実施することも可能である。

６．第６実施形態
次に、第６実施形態の演算回路について説明する。第６実施形態では、シグモイド関数における２のべき乗計算において、指数の小数点以下上位１１ビットの乗算計算を簡略化する手法について説明する。

シグモイド関数ｆ(ｘ)における２のべき乗計算において、ｘ＝２^１〜２^１１ の累乗根の値には法則性がないため、図１１中にＢ２にて示すように、累乗根の固定値をテーブルで持ち、前述の２^１２〜２^２３ の乗算結果を含め、それぞれを単純に乗算する必要がある（最大１１回）。

ただし、各ビットの乗算回数（各ビットの１の数）が半数（６回）以上の場合、以下の式(１６)に示すように、式を変形することで、乗算回数を１／２に減らすことができる。この場合、各累乗根の逆数の固定値テーブルを用意しておくとよい。

６．１ 演算回路の構成
図１２を用いて、第６実施形態の演算回路の構成について説明する。図１２は、第６実施形態のべき乗及び開平演算器１２Ｃを含む演算回路６０の構成を示すブロック図である。図１２に示す回路は、図５に示した演算回路２００に対して、回路Ａ６及びＡ７を追加したものである。

演算回路６０は、繰り返し制御回路２１、べき乗及び開平演算器１２Ｃ、ビット１カウント回路６１、マルチプレクサ６２、及びインバータ６３を含む。べき乗及び開平演算器１２Ｃは、乗算器２３，２６，３３，３５，６４、マルチプレクサ２２，２５，２８，３２，６６、開平演算器２９、ラッチ回路２４，２７，３１，３４、及びシフタ６５を備える。乗算器２３，２６，３３，３５，６４、及びシフタ６５の各々は、第１入力端子、第２入力端子、及び出力端子を有する。開平演算器２９及びラッチ回路２４，２７，３１，３４の各々は、入力端子及び出力端子を有する。マルチプレクサ２２，２５，２８，３２，６６の各々は、第１入力端子、第２入力端子、制御端子、及び出力端子を有する。

６．２ 演算回路の動作
以下に図１２を用いて、第６実施形態の演算回路６０の動作について説明する。

演算回路６０におけるべき乗及び開平演算器１２Ｃの整数部を処理する回路では、１がマルチプレクサ２２の第１入力端子に入力され、マルチプレクサ２２の出力端子からの出力信号が、乗算器２３の第１入力端子に入力される。乗算器２３の出力端子からの出力信号は、ラッチ回路２４の入力端子に入力され、底ｅが乗算器２３の第２入力端子に入力される。

ラッチ回路２４の出力端子からの出力信号は、マルチプレクサ２２の第２入力端子、及び乗算器２６の第１入力端子に入力される、すなわちマルチプレクサ２２の第２入力端子にフィードバックされると共に、乗算器２６の第１入力端子に入力される。

１がマルチプレクサ２５の第１入力端子に入力され、マルチプレクサ２５の出力端子からの出力信号が、乗算器２６の第２入力端子に入力される。乗算器２６の出力端子からの出力信号は、ラッチ回路２７の入力端子に入力され、ラッチ回路２７の出力端子からの出力信号は、マルチプレクサ２５の第２入力端子、及び乗算器３５の第１入力端子に入力される、すなわちマルチプレクサ２５の第２入力端子にフィードバックされると共に、乗算器３５の第１入力端子に入力される。

入力信号ｘがマルチプレクサ６２の第１入力端子に入力され、また入力信号ｘがインバータを介してマルチプレクサ６２の第２入力端子に入力される。マルチプレクサ６２の出力端子からの出力信号が繰り返し制御回路２１に入力される。入力信号ｘがビット１カウント回路６１の入力端子に入力され、ビット１カウント回路６１の出力端子からの出力信号がマルチプレクサ６２及び６６の制御端子に入力される。

べき乗及び開平演算器１２Ｃの小数部を処理する回路では、底ｅがマルチプレクサ２８の第１入力端子に入力され、マルチプレクサ２８の出力端子からの出力信号が、開平演算器２９の入力端子に入力される。開平演算器２９の出力端子からの出力信号がラッチ回路３１の入力端子に入力される。ラッチ回路３１の出力端子からの出力信号が、マルチプレクサ２８の第２入力端子、及び乗算器３３の第１入力端子に入力される、すなわちマルチプレクサ２８の第２入力端子にフィードバックされる共に、乗算器３３の第１入力端子に入力される。

１がマルチプレクサ３２の第１入力端子に入力され、マルチプレクサ３２の出力端子からの出力信号が乗算器３３の第２入力端子に入力される。乗算器３３の出力端子からの出力信号は、ラッチ回路３４の入力端子に入力され、ラッチ回路３４の出力端子からの出力信号は、マルチプレクサ３２の第２入力端子、マルチプレクサ６６の第１入力端子、及び乗算器６４の第１入力端子に入力される、すなわちマルチプレクサ３２の第２入力端子にフィードバックされる共に、マルチプレクサ６６の第１入力端子に入力され、さらに乗算器６４の第１入力端子に入力される。

１が乗算器６４の第２入力端子に入力され、乗算器６４の出力端子からの出力信号がシフタ６５の第１入力端子に入力される。１がシフタ６５の第２入力端子に入力され、シフタ６５の出力端子からの出力信号がマルチプレクサ６６の第２入力端子に入力される。さらに、マルチプレクサ６６の出力端子からの出力信号が、乗算器３５の第２入力端子に入力される。このようなべき乗及び開平演算器１２Ｃを含む演算回路６０を用いて、前述した２のべき乗計算における簡略化された乗算が行われ、シグモイド関数ｆ(ｘ)が演算される。

６．３ 第６実施形態の効果
第６実施形態によれば、シグモイド関数を演算するための演算回路における演算時間の短縮、及び低消費電力化を実現することができる。これにより、前記演算回路をハードウェアへ容易に実装することが可能である。

第６実施形態では、シグモイド関数における２のべき乗計算において、指数の小数点以下上位１１ビットの乗算計算を簡略化することにより、演算回路における演算時間の短縮、及び低消費電力化を図ることができる。これにより、演算回路のハードウェアへの実装が容易になる。また、ルックアップテーブルで全ての組み合わせについて実装する場合よりも、本実施形態の方が回路規模を小さくすることができる。

なお、本実施形態は、前述したように、各種の演算器（または、演算回路）を用いたハードウェアにより実施してもよいし、ＣＰＵあるいはＤＳＰ等のプロセッサを用いてソフトウェアにて実施することも可能である。

７．その他変形例等
前述した第１〜第６実施形態は、以下のような態様を取ることが可能である。

（１）第１実施形態では、シグモイド関数の演算を行う演算回路において、
入力信号が入力される第１入力端子と、第１信号（−ａ信号）が入力される第２入力端子とを有する第１乗算器と、
前記第１乗算器の出力が入力される第１入力端子と、自然対数の底ｅが入力される第２入力端子とを有するべき乗及び開平演算器と、
前記べき乗及び開平演算器の出力が入力される第１入力端子と、１が入力される第２入力端子とを有する加算器と、
前記加算器の出力が入力される第１入力端子と、１が入力される第２入力端子とを有する除算器と、
前記除算器の出力が入力される第１入力端子と、１が入力される第２入力端子とを有する減算器と、
前記除算器の出力が入力される第１入力端子と、前記減算器の出力が入力される第２入力端子とを有する第１マルチプレクサと、
を具備する演算回路。

（２）第２実施形態では、前記（１）に記載の演算回路において、
前記べき乗及び開平演算器は、
入力信号が入力される第１入力端子と、１が入力される第２入力端子とを有するバレルシフタと、
２が入力される第１入力端子と、第２入力端子を有する第２マルチプレクサと、
前記第２マルチプレクサの出力が入力される開平演算器と、
１が入力される第１入力端子と、第２入力端子を有する第３マルチプレクサと、
前記開平演算器の出力が入力される第１入力端子と、前記第３マルチプレクサの出力が入力される第２入力端子を有する第２乗算器と、
前記バレルシフタの出力が入力される第１入力端子と、前記第２乗算器の出力が入力される第２入力端子とを有する第３乗算器と、を具備し、
前記開平演算器の出力は前記第２マルチプレクサの前記第２入力端子に入力され、第２乗算器の出力は前記第３マルチプレクサの前記第２入力端子に入力される演算回路。

（３）第３及び第４実施形態では、シグモイド関数の演算を行う演算回路において、
入力信号が入力される第１入力端子と、第１信号（−ａ信号）が入力される第２入力端子とを有する第１乗算器と、
前記第１乗算器の出力が入力される第１入力端子と、自然対数の底ｅが入力される第２入力端子とを有するべき乗及び開平演算器と、
前記べき乗及び開平演算器の出力が入力される第１入力端子と、１が入力される第２入力端子とを有する第１除算器と、
前記べき乗及び開平演算器の出力が入力される第１入力端子と、前記第１除算器の出力が入力される第２入力端子とを有する第１マルチプレクサと、
前記第１マルチプレクサの出力が入力される第１入力端子と、１が入力される第２入力端子とを有する加算器と、
前記加算器の出力が入力される第１入力端子と、１が入力される第２入力端子とを有する第２除算器と、
前記入力信号が入力される第１入力端子と、２６が入力される第２入力端子とを有する第１比較器と、
前記入力信号が入力される第１入力端子と、-２６が入力される第２入力端子とを有する第２比較器と、
前記第２除算器の出力が入力される第１入力端子と、１が入力される第２入力端子と、前記第１比較器の出力が入力される制御端子を有する第２マルチプレクサと、
前記第２マルチプレクサの出力が入力される第１入力端子と、０が入力される第２入力端子と、前記第２比較器の出力が入力される制御端子を有する第３マルチプレクサと、
を具備する演算回路。

（４）第５実施形態では、前記（１）に記載の演算回路において、
前記べき乗及び開平演算器は、
入力信号の仮数の下位ビットが入力される第１入力端子と、第２信号（定数）が入力される第２入力端子とを有する第２乗算器と、
１が入力される第１入力端子と、第２入力端子とを有する第２マルチプレクサと、
前記第２マルチプレクサの出力が入力される第１入力端子と、自然対数の底ｅが入力される第２入力端子とを有する第３乗算器と、
１が入力される第１入力端子と、第２入力端子とを有する第３マルチプレクサと、
前記第３乗算器の出力が入力される第１入力端子と、前記第３マルチプレクサの出力が入力される第２入力端子とを有する第４乗算器と、
自然対数の底ｅが入力される第１入力端子と、第２入力端子とを有する第４マルチプレクサと、
前記第４マルチプレクサの出力が入力される開平演算器と、
前記第１乗算器の出力が入力される第１入力端子と、前記開平演算器の出力が入力される第２入力端子とを有する第５マルチプレクサと、
１が入力される第１入力端子と、第２入力端子とを有する第６マルチプレクサと、
前記第５マルチプレクサの出力が入力される第１入力端子と、前記第６マルチプレクサの出力が入力される第２入力端子とを有する第５乗算器と、
前記第４乗算器の出力が入力される第１入力端子と、前記第５乗算器の出力が入力される第２入力端子とを有する第６乗算器と、を具備し、
前記第３乗算器の出力は前記第２マルチプレクサの前記第２入力端子に入力され、前記第４乗算器の出力は前記第３マルチプレクサの前記第２入力端子に入力され、前記開平演算器の出力は前記第４マルチプレクサの前記第２入力端子に入力され、前記第５乗算器の出力は前記第６マルチプレクサの前記第２入力端子に入力される演算回路。

（５）第６実施形態では、前記（１）に記載の演算回路において、
前記べき乗及び開平演算器は、
前記入力信号が入力されるビット１カウント回路と、
１が入力される第１入力端子と、第２入力端子とを有する第２マルチプレクサと、
前記第２マルチプレクサの出力が入力される第１入力端子と、自然対数の底ｅが入力される第２入力端子とを有する第２乗算器と、
１が入力される第１入力端子と、第２入力端子とを有する第３マルチプレクサと、
前記第２乗算器の出力が入力される第１入力端子と、前記第３マルチプレクサの出力が入力される第２入力端子とを有する第３乗算器と、
自然対数の底ｅが入力される第１入力端子と、第２入力端子とを有する第４マルチプレクサと、
前記第４マルチプレクサの出力が入力される開平演算器と、
１が入力される第１入力端子と、第２入力端子とを有する第５マルチプレクサと、
前記開平演算器の出力が入力される第１入力端子と、前記第５マルチプレクサの出力が入力される第２入力端子とを有する第４乗算器と、
前記第４乗算器の出力が入力される第１入力端子と、１が入力される第２入力端子とを有する第５乗算器と、
前記第５乗算器の出力が入力される第１入力端子と、１が入力される第２入力端子とを有するシフタと、
前記第４乗算器の出力が入力される第１入力端子と、前記シフタの出力が入力される第２入力端子とを有する第６マルチプレクサと、
前記第３乗算器の出力が入力される第１入力端子と、前記第６マルチプレクサの出力が入力される第２入力端子とを有する第６乗算器と、を具備し、
前記第２乗算器の出力は前記第２マルチプレクサの前記第２入力端子に入力され、前記第３乗算器の出力は前記第３マルチプレクサの前記第２入力端子に入力され、前記開平演算器の出力は前記第４マルチプレクサの前記第２入力端子に入力され、前記第４乗算器の出力は前記第５マルチプレクサの前記第２入力端子に入力され、前記ビット１カウント回路の出力は前記第６マルチプレクサの制御端子に入力される演算回路。

本明細書では、実施形態の演算回路がニューラルネットワークにおいて用いられると説明したが、ニューラルネットワークに限るわけではなく、実施形態の演算回路はシグモイド関数を用いた様々な回路、装置、及びアプリケーション等に用いることが可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…演算回路、１１…乗算器、１２…べき乗及び開平演算器、１３…除算器、１４…マルチプレクサ、１５…加算器、１６…除算器、１７…減算器、１８…マルチプレクサ、２０…演算回路、２１…繰り返し制御回路、２２…マルチプレクサ、２３…乗算器、２４…ラッチ回路、２５…マルチプレクサ、２６…乗算器、２７…ラッチ回路、２８…マルチプレクサ、２９…開平演算器、３０…演算回路、３１…ラッチ回路、３２…マルチプレクサ、３３…乗算器、３４…ラッチ回路、３５…乗算器、３６…バレルシフタ、３７…比較器、３８…比較器、３９…マルチプレクサ、４０…演算回路、４１…マルチプレクサ、５０…演算回路、５１…乗算器、５２…マルチプレクサ、６０…演算回路、６１…ビット１カウント回路、６２…マルチプレクサ、６３…インバータ、６４…乗算器、６５…シフタ、６６…マルチプレクサ。

Claims (9)

1. シグモイド関数の演算を行う演算回路において、
   前記シグモイド関数における自然対数の底ｅを基数とする指数演算で指数が負の数である場合に、前記指数を正の数として計算を行い、第１計算結果を出力する第１回路と、
   １から前記第１回路による前記第１計算結果を減算し、減算値を出力する第２回路と、
   を具備する演算回路。
2. 前記第１回路は、前記指数演算で前記指数が正の数である場合に、前記指数にて計算を行い、第２計算結果を出力し、
   前記演算回路は第３回路をさらに具備し、
   前記第３回路は、前記第２回路からの前記減算値と、前記第２計算結果とを受け取り、選択信号に基づいて、前記減算値と前記第２計算結果のいずれかを出力する請求項１に記載の演算回路。
3. 前記指数が負の数であることを前記選択信号が示すとき、前記第３回路は前記減算値を出力し、前記指数が正の数であることを前記選択信号が示すとき、前記第３回路は前記第２計算結果を出力する請求項２に記載の演算回路。
4. シグモイド関数の演算を行う演算回路において、前記シグモイド関数は２のべき乗演算を含み、
   入力信号に基づいて、２のべき乗演算の整数部における数値列の１をシフトする第１回路と、２のべき乗演算の小数部における数値列を算出する第２回路と、
   を具備する演算回路。
5. 前記第１回路は、第１入力端子に１が入力され、第２入力端子に前記入力信号が入力されたシフタを含み、前記第２回路は、２の平方根を開平する演算器と、前記演算器の出力を乗算する乗算器とを含む請求項４に記載の演算回路。
6. 前記演算回路は、前記シグモイド関数への入力信号が第１値以上である場合に、前記シグモイド関数の出力結果として１を出力する第４回路をさらに具備する請求項１乃至５のいずれかに記載の演算回路。
7. 前記演算回路は、前記シグモイド関数への入力信号が第２値以下である場合に、前記シグモイド関数の出力結果として０を出力する第５回路をさらに具備する請求項１乃至６のいずれかに記載の演算回路。
8. 前記第１回路はべき乗演算を実行するべき乗演算器を含み、前記べき乗演算の小数部の計算において、
   仮数の下位ビットの開平演算結果が第１数値列であることを用い、前記第１数値列と前記仮数の下位ビットとの乗算により、前記べき乗演算の一部を計算する第６回路を備える請求項１乃至３のいずれかに記載の演算回路。
9. 前記第１回路はべき乗演算を実行するべき乗演算器を含み、前記べき乗演算の小数部の計算において、
   仮数のビットを反転して、前記べき乗演算の一部を計算する第７回路を備える請求項１乃至３、８のいずれかに記載の演算回路。

Images