JP2021111082A - 演算装置、認識装置および制御装置 - Google Patents

演算装置、認識装置および制御装置 Download PDF

Info

Publication number
JP2021111082A
JP2021111082A JP2020002022A JP2020002022A JP2021111082A JP 2021111082 A JP2021111082 A JP 2021111082A JP 2020002022 A JP2020002022 A JP 2020002022A JP 2020002022 A JP2020002022 A JP 2020002022A JP 2021111082 A JP2021111082 A JP 2021111082A
Authority
JP
Japan
Prior art keywords
unit
arithmetic unit
calculation
arithmetic
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020002022A
Other languages
English (en)
Other versions
JP7304295B2 (ja
Inventor
真 岸本
Makoto Kishimoto
真 岸本
豪一 小野
Goichi Ono
豪一 小野
晃 北山
Akira Kitayama
晃 北山
浩朗 伊藤
Hiroo Ito
浩朗 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to JP2020002022A priority Critical patent/JP7304295B2/ja
Priority to PCT/JP2020/040917 priority patent/WO2021140730A1/ja
Priority to US17/789,730 priority patent/US20230067212A1/en
Publication of JP2021111082A publication Critical patent/JP2021111082A/ja
Application granted granted Critical
Publication of JP7304295B2 publication Critical patent/JP7304295B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/499—Denomination or exception handling, e.g. rounding or overflow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Complex Calculations (AREA)
  • Image Processing (AREA)

Abstract

【課題】本発明は、演算における消費電力を削減することを課題とする。【解決手段】上記課題を解決するために、外界情報をもとに物体の種類や存在する座標を出力する多層のニューラルネットワークにおいて、外界情報から畳み込み演算部１０７−１〜Ｌへの入力データを選択するための選択器１０３と、縦続接続された複数の層から構成される畳み込み演算部１０７−１〜Ｌと、各層の重みパラメータと各層の累積加算回数と各層の切り捨てビット数を格納したパラメータ格納部１０９とを備え、前記パラメータ格納部１０９内のパラメータと畳み込み演算部１０７−１〜Ｌへの入力データをもとに層ごとに畳み込み演算部１０７−１〜Ｌの演算器の一部もしくは全部を停止する1つ以上の停止信号を畳み込み演算部１０７−１〜Ｌに送信する演算停止信号生成部１１６−１〜Ｌを有する認識装置１０００を提案する。【選択図】図１

Description

本発明は、入力データに基づく演算を実行する演算装置およびその演算方法に関する。また、本発明は、当該演算装置を用いて、入力データを認識する認識装置や入力データに応じた制御を行う制御装置にも関する。
近年、様々な形で入力データに基づく演算装置が用いられている。AI(人工知能)を用いた金融取引、農業あるいは工業における生産管理、対象物に対する制御などに用いられている。
その中の一例として、カメラやLIDAR(Light Detection and Ranging)などを用いて外界情報を収集し、その情報から物体の種類や存在する座標を検出する認識装置およびこの認識装置を用いた制御装置にも用いられている。そして、これらの応用として、車両の制御への応用もなされている。
近年は、交通事故が社会問題となっており、車両による移動時の安全性に対する要求が高まっている。その要求に対応するため、様々な自動運転や運転支援向けの技術が提案されている。それらの中で特にDNN(Deep Neural Network)のひとつであるCNN(Convolutional Neural Network)を用いた物体認識手法や行動予測手法は高い認識性能を有することが知られている。そして、このCNNの自動運転への適用が進展している。
例えば、非特許文献１に記載のCNNは、外界情報である画像データを入力とし、複数の畳み込み層から構成され、縦続的に接続されているニューラルネットワークである。ここで、畳み込み層とは積和演算と活性化関数演算により構成され、入力データ内の画素と対応する重みパラメータの乗算を行い、その結果を一定回数累積加算して出力データを作成し、その後活性化関数演算を行い、その結果を出力する一連の演算のことである。画像データに対して畳み込み層の演算を行うことで、入力された画像データ内の特定の物体の種類や存在する座標を出力する。
ここで、このような処理を行う一般的な構成を説明する。CNNを構成する第1層は入力された画像データと第1層の畳み込み演算の重みパラメータを積和演算することで、畳み込み演算結果を出力する。複数のニューラルネットワークの第ｊ番目の畳み込み層を第ｊ層と呼び、その第ｊ層(1≦j≦Lを満たす整数)は第j-1層の出力データと、第j層の畳み込み演算の重みパラメータから、第j層の畳み込み層の演算結果を出力する。最終層をL層とすると第L層の前段の第L-1層の出力データと第L層目の畳み込み演算の重みパラメータとを入力とし、物体の種類と存在する座標を出力する。
そして、それぞれの畳み込み層は、入力データと重みパラメータを用いて畳み込み演算を行った後、活性化関数演算を行い、結果を出力する。活性化関数演算は活性化関数のひとつであるReLU関数（ランプ関数）により、畳み込み演算結果中の負のデータを全て０に置換する演算である。この演算の一例として、非特許文献２が提案されている。
しかしながら、DNNのような積和演算を主体とする演算量が多い処理を、電力使用量が限られる車載用ECU(Electronic Control Unit)に実装する場合には、消費電力削減が必要となる。従来、DNNを電力制限が大きい車載用ECUに実装する場合、特許文献１に記載の手法のように、低電力化を目的にデータを低ビット長で演算する整数演算が行われてきた。この低ビット整数演算手法は、DNN内部の演算を、ある一定のビット長で演算、さらに次段への転送を行うことである。
但し、この乗算と加算を理想的な演算で行うと、データの表現に必要なビット長が演算を追うごとに増加する課題が発生する。そこで、積和演算後の演算を積和演算前と同等のビット長で行うために、増加したビット長を削減する丸め処理が行われることが一般的である。この丸め処理を行うと、データの表現に必要なビット長が削減されるため、丸め処理後のデータは表現可能範囲が制限され、微小な値は０に丸められる。
さらに、CNNを外界認識装置としてハードウェアに実装した場合について述べる。外部からの入力はカメラやLIDARなどの外界情報取得装置を用いて取得し、ビットマップ化される。ビットマップ化された情報はメモリに格納される。外界認識装置は、メモリ、選択器、学習データ保管部、パラメータ格納部、複数の畳み込み演算部、および学習データ保管部で構成され、物体の種類や存在する座標などの認識結果を出力するものである。
メモリに格納されたビットマップは選択器により後段の畳み込み演算部で利用するサイズとして取り出され、必要な入力データごとに分割し、畳み込み演算部に送信される。また学習データ保管部は事前に学習を行ったデータを保管し、その学習済みデータをパラメータ格納部へ保存する。パラメータ格納部は受け取った学習済みデータから、層ごとの重みパラメータ、層ごとの累積加算回数、層ごとの切り捨てビット数を選択し、1層目からL層目までの畳み込み演算部に送信する。畳み込み演算部は、1層目は選択器からの入力データと、1層目の重みパラメータ、1層目の累積加算回数、1層目の切り捨てビット数を入力として2層目に演算結果を出力する。畳み込み部は縦続接続され、第ｊ番目の層である第ｊ層の畳み込み演算部では、第j-1層の畳み込み演算部の出力と、第j層の重みパラメータと、累積加算回数と、切り捨てビット数とを入力とし、第j+1層に演算結果を出力する。
畳み込み演算部は選択器から送信された入力データと、パラメータ格納部から送信された重みパラメータと累積加算回数をもとに畳み込み演算を行う。そして、演算結果に対してパラメータ格納部から送信された切り捨てビット数をもとに丸め処理を行い、丸め処理の結果に対して活性化関数演算を行い、演算結果を次層に出力する働きを行う。
また、演算装置のおいては、一般的に演算量を削減することがなされている。その一例として、特許文献１について、説明する。特許文献１のステージ演算部は演算記憶部からの入力データおよび停止判定部からの停止信号が入力される。演算値記憶部は、外部からの入力データ及びステージ演算部の出力と、停止判定部からの停止信号が入力される。最大桁検出部はステージ演算部からの演算結果が入力される。
また、特許文献１は、以下の動作で実行する。まず、演算記憶部から入力されたデータに対して、ステージ演算部でいわゆるバタフライ演算からなるFFTの演算を行う。その後、停止判定部が各ステージごとにステージ演算部の出力データをもとに演算停止可否の判定を行う。停止判定部は、演算結果と残りのステージ数から今後のステージ演算を最後まで行った際の推定最大値と外部から入力された最小値情報とを比較する。この結果、最小値情報より推定最大値が小さい場合に、ステージ演算部及び演算記憶部に対して停止信号を送信し、以降のステージ演算を停止するように動作することで、精度を落とすことなく所望のFFT演算を実行する技術が開示されている。
さらに、特許文献２では、FFT(Fast Fourier transform)の演算を行う演算装置で、不必要な演算を停止している。具体的には、外部からの入力データおよび最小値情報を入力とし、停止判定部を用いて、停止するかを判定している。
Wei Liu, et al. "SSD : Single Shot MultiBox Detector"Proc. of European Conference on Computer Vision (ECCV), pp. 21-37, Sep. 2016. X. Glorot, et al. "Deep sparse rectifier neural networks" Proc. of the 14th International Conference on Artificial Intelligence and Statistics (AISTATS), pp. 315-323, Apr. 2011.
特開2019-57249号公報 特開2014-2588号公報
ここで、上述したCNNの前記丸め処理は、長いビット長における上位と下位の切り捨てを行う処理である。ここでCNNは出力結果に0が多いスパース性を持ち、そのスパース性は層ごとに異なることが知られている。前記畳み込み演算における丸め処理により演算結果を２進数のビット列で表現した演算結果には、ビット列内に０となる桁が多数存在する。このような丸め処理により、出力結果の一部もしくは全部を０に丸めることが出来るデータや、積和演算に入力される値の一部、もしくは全部が０のデータに対しては、０との乗算、もしくは０との加算となる。したがって、実際には演算を行わなくても精度への影響はないことが分かっている。しかしながら、従来の演算器構成では並列数が多く０の有無を判定する装置を大量に設置する必要があり、層ごとにこまめに演算を停止することが容易ではなかった。その結果、上記０の乗算などの精度に寄与しない演算が行われ、無駄な電力が消費されるという課題があった。
但し、ここで、上記課題に関連する不要な演算を行う特許文献１および特許文献２について、検討してみる。特許文献１は、FFTのステージ演算出力に対して判定を行い、以降のステージの演算の実行の可否を判定する構成である。
また、特許文献２は、複数の入力データをもとにバタフライ演算を行い、入力データを全て相互に利用してFFT演算が行われる。
このため、特許文献１、２の手法では、FFT内の演算を独立に停止する機構を備えることが出来ず、FFT演算という単位でしか演算を停止することが出来ない。
つまり、特許文献１、２での積和演算内の個別の演算器に対して判定を行う構成では、CNN内の多数の演算器に対する停止制御の負荷が大きいとの課題が生じる。具体的には、特許文献１、２では、多数の演算器それぞれに対して判定器を設けて演算停止の判定を行う必要があるため、演算停止判定用の回路規模が大幅に増加し、実用的ではない。
そこで、本発明では、回路規模を抑えつつニューラルネットワークの層に対する演算停止を行うことで、電力消費量の削減ないし抑止を課題とする。
上記の課題を解決するために、本発明では、所定の演算を行う演算装置において、
入力データに基づき所定の演算を行う第一の演算器と、前記第一の演算器の演算結果を用いて、所定の演算を行う第二の演算器とを有する数値演算部と、前記数値演算部の出力に対する丸め演算を行う丸め演算部と、前記丸め演算部での丸め演算で切り捨てられるビット数を格納したパラメータ格納部と、前記入力データ及び前記ビット数とに基づいて、前記第一の演算器および前記第二の演算器に対する演算停止の要否を判断し、当該判断の結果に応じて、停止信号を出力する演算停止信号生成部とを有する。また、本発明には、上記演算装置を利用した認識装置や制御装置も含まれる。さらに、演算装置、認識装置、制御装置それぞれを用いた方法も、本発明の一態様である。
本発明によれば、演算装置の停止を制御することで、電量消費量の削減が可能になる。
実施例１における認識装置１０００の構成図である。 実施例１における畳み込み演算部１０７の内部構成を示す図である。 実施例１における演算器（２）４０１の内部構成を示す図である。 実施例１における丸め演算部５０１の内部構成を示す図である。 実施例１における丸め演算部５０１の処理フローを示す図である。 実施例１における畳み込み演算部１０７の入力をｎ×ｍに拡張した例を示す図である。 実施例１における停止信号生成部１１６の内部構成を示す図である。 実施例１における畳み込み演算と並列で動作する演算停止判定部１１６の処理を示すフローチャートである。 実施例２における認識装置１０００の構成図である。 実施例２における畳み込み演算部５５１の内部構成を示す図である。 実施例２における演算器（２）８５１の内部構造を示す図である。 実施例１、２を制御装置に応用した例を示す図である。
以下に、実施例１および２について説明する前に、各実施例に共通する考え方を説明する。CNNでは、層ごとにスパース性が異なるという特徴がある。また、層ごとに異なるパラメータが入力される。
しかしながら、同一層の演算では複数の演算器に同一のデータが入力されるという特徴から、本願発明者は、各層に独立に演算停止信号を設けることで、判定器を集約して個々の演算器を独立に停止可能であることに着目した。つまり、各実施例においては、丸め演算を行い、演算器の前段−後段の関係に基づいて、演算停止を判断する。これは、丸め演算により、値を「寄せる」ことになる。「寄せられた」値については、演算が不要（例えば、値が０）になるものが増加する。つまり、丸め処理によっては、前段の演算器およびそれに続く後段の演算器で演算しなくて済むことが発生するためである。この考え方を用いた実施例１、２について、以下説明する。
図１は、実施例１におけるカメラやLIDARなど外界情報取得装置からの外界情報に対する認識装置１０００の構成図である。この認識装置１０００により、外界の状況を認識でき、その結果を用いて、自動運転や運転支援といった制御が可能になる。なお、本実施例では、認識装置１０００を例に説明するが、認識に限定しない演算を行う演算装置も本実施例の範疇に含まれる。
図１の外界情報の認識装置１０００は、外界情報取得装置１０１、メモリ１０２、選択器１０３、学習データ保管部１０８、パラメータ格納部１０９、各層の畳み込み演算部１０７および各層の演算停止信号生成部１１６から構成され、認識結果１０６を出力する。なお、認識装置１０００において、外界情報取得装置１０１、メモリ１０２、選択器１０３、学習データ保管部１０８およびパラメータ格納部１０９のうち少なくともその一部は、認識装置１０００内に設けなくともよい。これらは、認識装置１０００外に設け、認識装置１０００と接続されればよい。このことは、後述の実施例２でも同様である。
次に、図１に示す認識装置１０００の接続関係を説明する。外界情報取得装置１０１は、メモリ１０２に、検知した画像などの外部情報のビットマップを送信する。パラメータ格納部１０９は、学習データ保管部１０８からの出力を受け取る。
畳み込み演算部１０７は、第１層から第L層までが縦続接続されている。そして、その第１層の畳み込み演算部１０７−１には、以下の情報が入力される。それは、選択器１０３の出力データ（畳み込み演算部１０７の入力データ１０４）、パラメータ格納部１０９の出力である自層の重みパラメータ１１３、累積加算回数１１４、切り捨てビット数１１５、演算停止信号生成部１１６の出力である第一停止信号１１７および第二停止信号１１８である。
また、第ｊ番目の層にあたる畳み込み演算部１０７−ｊには、以下の情報が入力される。それは、前層である第ｊ−１層の畳み込み演算部１０７−ｊ−１からの畳み込み演算出力１０５、重みパラメータ１１３、累積加算回数１１４、切り捨てビット数１１５、第一停止信号１１７および第二停止信号１１８である。
さらに、最終層（第L層）の畳み込み演算部１０７−Ｌには、以下の情報が入力される。それは、第L-1層の畳み込み演算層の畳み込み演算出力１０５、重みパラメータ１１３、累積加算回数１１４と切り捨てビット数１１５と、第一停止信号１１７、第二停止信号１１８である。そして、畳み込み演算部１０７−Ｌは、認識結果１０６を出力する。
演算停止信号生成部１１６には、重みパラメータ１１３と、自層の累積加算回数１１４および自層の切り捨てビット数１１５が入力される。
次に、図１の認識識装置の動作および信号の流れを説明する。つまり、認識識装置による外界の認識動作を説明する。
認識装置１０００は、外界情報取得装置１０１より取得した外界情報をメモリ１０２にビットマップとして格納する。その後、選択器１０３により、メモリ１０２に格納されたビットマップのうち、演算に用いるデータを入力データ１０４として選択し、畳み込み演算部１０７に順次送信する。
各畳み込み演算部１０７（１〜Ｌ）では、パラメータ格納部１０９から自層の重みパラメータ１１３、累積加算回数１１４、切り捨てビット数１１５を受け取る。そして、畳み込み演算部１０７は、これらをもとに演算を行い、畳み込み演算出力１０５を次層の畳み込み演算部に送信する。これを第１層から第L層まで繰り返し、第L層では物体の種類や座標である認識結果１０６を出力する。このようにして、認識装置１０００を用いた外界に対する認識が実行される。
ここで、上記認識において、消費電力削減などの演算の効率化を図る際の演算停止について説明する。具体的には、図６を用いて、演算停止信号生成部１１６−１〜Ｌの動作について説明する。
次に、図１の認識装置１０００のうち、各畳み込み演算部１０７の内部構成について、図２を用いて説明する。ここで、本実施例では、各畳み込み演算部１０７が複数の演算器で構成される第一の演算部８０１、第二の演算部８０２を備え、第一の演算部８０１、第二の演算部８０２のそれぞれでは各演算器が並列接続される構成を示す。具体的には、演算器（１）３０１が４並列、演算器（２）４０１が２並列の例を示す。なお、本例は説明の簡易化のためであり、その数は限定されない。
まず、図２の構成について示す。
各畳み込み演算部１０７は、４つの演算器（１）３０１−１〜４および２つの演算器（２）４０１−１〜２を有し、それぞれが第一の演算部８０１、第二の演算部８０２を構成する（図２の破線部）。ここで、演算器（１）３０１−１〜２を第一の演算部８０１、演算器（２）４０１−１〜２を第二の演算部８０２と呼ぶ。なお、第一の演算部８０１には、第一停止信号１１７が入力され、第二の演算部８０２には、第二停止信号が入力される。また、各畳み込み演算部１０７は、２つの丸め演算部５０１−１〜２および２つの活性化関数演算部６０１−１〜２を備える。なお、第一の演算部８０１を前段、第二の演算部８０２を後段と呼ぶことも可能である。
そして、各畳み込み演算部１０７は、入力データ１０４、重みパラメータ１１３、累積加算回数１１４、切り捨てビット数１１５、第一停止信号１１７および第二停止信号１１８が入力され、畳み込み演算出力１０５を出力する。
次に、図２の接続関係を説明する。
各演算器（１）３０１には、それぞれ入力データ１０４から分岐された個別入力データ３０５＿１〜４、重みパラメータ１１３から分岐された個別重みパラメータ３０６＿１〜４および第一停止信号１１７から分岐された演算器（１）３０１への停止信号８０３＿１〜４が入力される。
演算器（２）４０１−１には、演算器（１）３０１―１の出力３０７＿１、演算器（１）３０１−２の出力３０７＿２、第二停止信号１１８から分岐された当該演算器（２）４０１−１への停止信号９０１＿１および累積加算回数１１４が入力される。演算器（２）４０１−２には、演算器（１）３０１−３の出力３０７＿３と演算器（１）３０１−４の出力３０７＿４、第二停止信号１１８から分岐された当該演算器（２）４０１−２への停止信号９０１_２および累積加算回数１１４が入力される。
丸め演算部５０１−１には、演算器（２）４０１−１の出力４０３＿１および切り捨てビット数１１５を入力とする。同じく丸め演算部５０１−２は、演算器（２）４０１−２の出力４０３＿２および切り捨てビット数１１５が入力される。
活性化関数演算部６０１−１は、丸め演算部５０１−１の出力５０３＿１を入力とし、畳み込み演算部１０７−１の第一の畳み込み演算出力を出力する。活性化関数演算部６０１−２は、丸め演算部５０１−２の出力５０３＿２を入力とし、第一の畳み込み演算出力を出力する。ここで、第一と第二の畳み込み演算出力は合成され、畳み込み演算部１０７の畳み込み演算出力１０５となる。なお、本合成には、(図示しない)構成要素を用いてもよいし、単にそれぞれの信号線を接続して合成させてもよい。
次に、畳み込み演算部１０７の動作について示す。
各畳み込み演算部１０７は、入力データ１０４と重みパラメータ１１３をもとに畳み込み演算を行い、その畳み込み演算出力１０５を出力する。畳み込み演算部１０７内の各演算器（１）３０１は、入力データ１０４と重みパラメータ１１３を乗算する。
各演算器（２）４０１は、各演算器（１）３０１からの出力３０７を累積加算する。演算器（２）４０１の詳細は、図３を用いて追って説明する。
次に、各丸め演算部５０１は、演算器（２）４０１の出力４０３から切り捨てビット数１１５をもとに上位と下位を切り捨て特定のビット数を切り出し出力する。丸め演算部５０１の詳細は、図４および図５を用いて追って説明する。
各活性化関数演算部６０１は、丸め演算部５０１の出力５０３をもとに活性化関数演算を行い、その結果を出力する。本実施例では、各活性化関数演算部６０１ではReLU演算を入力されたデータに対して行い、畳み込み演算出力１０５を出力する例を示す。
第一の演算部８０１は、第一停止信号１１７が有効となると、第一の演算部８０１の演算器（１）３０１−１〜４のうち該当するものを、それぞれ独立に停止させる。第二の演算部８０２は、第二停止信号１１８が有効となると、第二の演算部８０２の演算器（２）４０１１〜２のうち該当するものを、それぞれ独立に停止させる。
次に、図３を用いて、演算器（２）４０１について、説明する。まず、演算器（２）４０１の内部構成を説明する。なお、図３では、演算器（２）４０１−１を例に示すが、演算器（２）４０１−２も同様の構成である。
演算器（２）４０１−１は、内部演算器（１）７０１、内部演算器（２）７０２、累積加算結果格納レジスタ７０５および出力レジスタ７０７より構成される。そして、演算器（２）４０１−１は、演算器（１）３０１−１の出力３０７＿１、演算器（１）３０１−２の出力３０７＿２、累積加算回数１１４、当該演算器（２）４０１―１の停止信号９０１＿１を入力とする。そして、それぞれ出力レジスタ７０７から出力４０３＿１を出力する。
次に、図３を用いて、演算器（２）４０１で示さる各構成の接続関係を説明する。
内部演算器（１）７０１へは、演算器（１）３０１−１の出力３０７＿１、演算器（１）３０１−２の出力３０７＿２が入力される。内部演算器（２）７０２へは、累積加算結果格納レジスタ７０５での累積加算結果である出力７０４および内部演算器（１）７０１の出力７０３が入力される。累積加算結果格納レジスタ７０５へは、累積加算回数１１４および内部演算器（２）７０２の出力７０６が入力される。出力レジスタ７０７では、内部演算器（２）７０２の出力７０６および累積加算回数１１４が入力され、図３で示される演算器（２）４０１−１の出力として、出力４０３＿１を出力する。
次に、図３で示される各構成の動作について説明する。
内部演算器（１）７０１および内部演算器（２）７０２は、それぞれ加算器の役割を果たす。内部演算器（１）７０１は、演算器（１）３０１−１の出力３０７＿１、演算器（１）３０１−２の出力３０７＿２を加算して、その加算結果である出力７０３を内部演算器（２）７０２に出力する。内部演算器（２）７０２は、出力７０３、累積加算結果格納レジスタ７０５の出力７０４を加算して、その加算結果である出力７０６を、累積加算結果格納レジスタ７０５および出力レジスタ７０７に出力する。
累積加算結果格納レジスタ７０５は、内部演算器（２）７０２からの出力７０６を保存する。また、その際、累積加算結果格納レジスタ７０５では、内部演算器（２）７０２の演算回数をカウントしており、その演算回数が累積加算回数１１４に達した場合に、当該累積加算結果格納レジスタ７０５内の値をリセットする。出力レジスタ７０７では、内部演算器（２）７０２の出力７０６が入力され、上記演算回数が累積加算回数１１４に達すると、内部データである出力７０６を演算器（２）４０１の出力４０３として出力する。
次に、図４を用いて、前述した丸め演算部５０１について、説明する。まず、丸め演算部５０１の内部構成を説明する。
各丸め演算部５０１は、丸めデータ入力レジスタ４５０、ビットセレクタ４５２、丸めデータ出力レジスタ４５４から構成される。また、丸め演算部５０１は、演算器（２）４０１の出力４０３および切り捨てビット数１１５を入力とし、丸め処理後の出力５０３を出力する。
次に、丸め演算部５０１の内部構成の接続関係を、図３を用いて説明する。
丸めデータ入力レジスタ４５０には、出力４０３が入力データとして入力される。ビットセレクタ４５２には、切り捨てビット数１１５、丸めデータ入力レジスタ４５０の出力４５１が入力される。丸めデータ出力レジスタ４５４は、前記ビットセレクタの出力であるビットセレクタ出力４５３が入力され、出力５０３を出力する。
次に、丸め演算部５０１の動作を説明する。
まず、丸めデータ入力レジスタ４５０に、出力４０３（入力データ）を格納する。次に、ビットセレクタ４５２により、切り捨てビット数１１５をもとに丸めデータ入力レジスタ４５０のデータの中から特定のビット列を取り出し、丸めデータ出力レジスタ４５４に格納する。そして、丸めデータ出力レジスタ４５４の出力５０３が、丸め演算部５０１の出力となる。動作の詳細は図５を用いて、以下説明する。
図５は、出力４０３（入力データ）のビット長bi(例ではbi=19)から丸め演算後の出力５０３のビット長bo(例ではbo=8)を取り出す際の処理を示している。図５上段のビット列(矩形内に記載)は、出力４０３（入力データ）の２進数表示されたビット列を示しており、図５下段のビット列(矩形内に記載)は出力５０３の２進数表示されたビット列を示している。
ここで、矩形の上部の数値は下位から数えたビット位置を示している。上段はビット位置０〜１８、下段はビット位置０〜７の例を示す。図５中の矢印は、丸め処理の前後での切り出し操作を示す。ここでは、出力４０３（入力データ）のビット位置(５〜１２)を出力５０３のビット位置（０〜７）を割り当てる例を示す。切り捨てビット数１１５は、５ビットの例を示す。この際の丸め処理は、切り捨てビット数１１５の値c=５をもとに出力４０３（入力データ）の下位から５ビット上位の方向へシフトしたビット位置からbo＝８に相当する８ビット分の出力４０３（入力データ）を切り出し、出力５０３として出力する。
次に、図６を用いて、畳み込み演算部１０７の演算器（１）３０１と演算器（２）４０１の数を、４×２の例（図２）からｎ×ｍの入力が可能となるように拡張した場合について説明する。ここでは、図６と図２との差分について、説明する。
図６では、畳み込み演算部１０７は入力データ１０４と重みパラメータ１１３はｎ×ｍ種類のデータを持つバス配線となる。第一停止信号１１７はｎ×ｍ個の信号を持つバス配線となり、第二停止信号１１８はｍ個の信号を持つバス配線となる。つまり、演算器（１）３０１はｎ×ｍ個、演算器（２）４０１はｍ個、丸め演算部５０１はｍ個、活性化関数演算部６０１はｍ個で構成される。
以下、図６の接続関係について、説明する。基本的な接続関係は、図２で説明した接続関係と同一であり、演算器（１）３０１、演算器（２）４０１、丸め演算部５０１および活性化関数演算部６０１の数が異なっている。このように、本実施例の畳み込み演算部１０７においては、自身を構成する各構成要素の数は限定されない。
次に、図７を用いて、演算停止信号生成部１１６について説明する。図７に、演算停止信号生成部１１６の内部構成を示す。
演算停止信号生成部１１６は、以下から構成される。
入力データ格納レジスタ１５１
重みパラメータ格納レジスタ１５２
累積加算回数格納レジスタ１５３
切り捨てビット数格納レジスタ１５４
入力データMSB(Most Significant Bit)取得部１５５
重みパラメータMSB取得部１５６
しきい値計算部１５７
第一停止信号生成部２５１
第二停止信号生成部２５２
そして、演算停止信号生成部１１６は、入力データ１０４、重みパラメータ１１３、累積加算回数１１４および切り捨てビット数１１５とを入力し、第一停止信号１１７および第二停止信号１１８を出力する。なお、上記MSBは、入力データにおける有効データの最上位ビットを示す。
次に、引き続き図７を用いて、演算停止信号生成部１１６の接続関係を説明する。
入力データ格納レジスタ１５１には、入力データ１０４が入力される。重みパラメータ格納レジスタ１５２には、重みパラメータ１１３が入力される。累積加算回数格納レジスタ１５３には、累積加算回数１１４が入力される。切り捨てビット数格納レジスタ１５４には、切り捨てビット数１１５が入力される。入力データMSB取得部１５５には、入力データ格納レジスタ１５１の一方の入力データ格納レジスタ出力１５８が入力される。
重みパラメータMSB取得部１５６には、重みパラメータ格納レジスタ１５２の重みパラメータ格納レジスタ出力１５９が入力される。しきい値計算部１５７には、累積加算回数格納レジスタ１５３の一方の累積加算回数格納レジスタ出力１６０および切り捨てビット数格納レジスタ１５４の切り捨てビット数格納レジスタ出力１６１が入力される。
第一停止信号生成部２５１には、以下のデータが入力される。
入力データ格納レジスタ１５１の入力データ格納レジスタ出力１５８
重みパラメータ格納レジスタ１５２の重みパラメータ格納レジスタ出力１５９
入力データMSB取得部１５５の入力データMSB取得部出力１６２
重みパラメータMSB取得部１５６の重みパラメータMSB取得部出力１６３
しきい値計算部１５７の出力であるしきい値ビット数１６４
そして、第一停止信号生成部２５１は、第一停止信号１１７を出力する。第二停止信号生成部２５２には第一停止信号１１７が入力され、第二停止信号１１８を出力する。
引き続き図７を用いて、演算停止信号生成部１１６の各ブロック(構成要素)の動作を説明する。
演算器（１）３０１の数をＰとすると、図中各データ、パラメータや信号１０４、１１３、１５８、１５９、１６２、１６３、２５６、２５７、１１７はそれぞれＰ種類（個）、１１８はＰ／２種類（個）存在する。なお、各データとして説明したＰ種類（個）、Ｐ／２種類（個）は、それぞれ配線種類（数）としてもカウントできる。本実施例の説明ではＰ＝４で説明するが、これに限定されない。つまり、その数（種類）は、用途に応じて必要な数値とすることが可能である。
まず、入力データ１０４、重みパラメータ１１３、累積加算回数１１４、切り捨てビット数１１５は、それぞれ入力データ格納レジスタ１５１に４種類のデータが格納される。また、重みパラメータ格納レジスタ１５２に４種類、累積加算回数格納レジスタ１５３、切り捨てビット数格納レジスタ１５４に１種類のデータが格納される。
累積加算回数格納レジスタ１５３は、入力される累積加算回数１１４の更新をトリガとして、フラグＡ１６５を有効にする。また、入力データ格納レジスタ１５１は入力データ１０４の更新をトリガとして、フラグB１６６を有効にする。
入力データMSB取得部１５５は、入力データ格納レジスタ１５１の入力データ格納レジスタ出力１５８の４種類に対してそれぞれMSBのビット位置Iを取得する。同様に重みパラメータMSB取得部１５６は、重みパラメータ格納レジスタ１５２の重みパラメータ格納レジスタ出力１５９の４種類に対してそれぞれMSBのビット位置Wを取得する。
しきい値計算部１５７では、累積加算回数格納レジスタ１５３の一方の累積加算回数格納レジスタ出力１６０と切り捨てビット数格納レジスタ１５４の切り捨てビット数格納レジスタ出力１６１から演算停止判定を行うためのしきい値ビット数Dを演算する。しきい値ビット数Dは、下記（数１）で演算される。D = c - log2(x) - log2(n) ・・・（数１）
（数１）において、ｃは上記図３で説明した切り捨てビット数である１６１の値、ｘは上記累積加算回数である１６０の値、ｎは本実施例では２である。
続いて、図７を用いて、第一停止信号生成部２５１の構成を説明する。
第一停止信号生成部２５１は、数値比較部２５３、しきい値判定部２５４、論理和演算部２５５から構成される。そして、第一停止信号生成部２５１には、以下のデータが入力される。
入力データ格納レジスタ１５１からの入力データ格納レジスタ出力１５８
重みパラメータ格納レジスタ１５２の重みパラメータ格納レジスタ出力１５９
入力データMSB取得部１５５の入力データMSB取得部出力１６２
重みパラメータMSB取得部１５６の重みパラメータMSB取得部出力１６３
しきい値計算部１５７からのしきい値ビット数１６４
引き続き、図７を用いて、第一停止信号生成部２５１の接続関係を説明する。
数値比較部２５３には、入力データ格納レジスタ１５１からの入力データ格納レジスタ出力１５８および重みパラメータ格納レジスタ１５２の重みパラメータ格納レジスタ出力１５９が入力される。しきい値計算部１５７には、入力データMSB取得部１５５の入力データMSB取得部出力１６２、重みパラメータMSB取得部１５６の重みパラメータMSB取得部出力１６３およびしきい値計算部１５７からのしきい値ビット数１６４が入力される。論理和演算部２５５には、数値比較部２５３の出力である数値比較部出力２５６およびしきい値判定部２５４のしきい値判定部出力２５７が入力され、第一停止信号１１７を出力する。
次に、第一停止信号１１７の出力に関する各構成の動作を説明する。
まず、数値比較部２５３では、入力データ格納レジスタ１５１の４種類のデータの入力データ格納レジスタ出力１５８と、重みパラメータ格納レジスタの４種類のデータである重みパラメータ格納レジスタ出力１５９について、０の値の有無を判定する。この結果、計８種類データのいずれかに０がある場合には、それぞれのデータに対応する停止信号を有効にする。そして、しきい値判定部２５４は、上記４種類のIと上記４種類のWと上記D（しきい値ビット数１６４）から（数２）をもとに数値比較を行い、（数２）が真の場合はしきい値判定部出力２５７を有効にする。
I + W < D ・・・（数２）
次に、論理和演算部２５５では、数値比較部２５３からの４種類の数値比較部出力２５６と、しきい値判定部２５４からの４種類のしきい値判定部出力２５７の論理和を演算する。この結果、論理和演算部２５５は、停止対象の４種類の演算器（１）３０１のどれを停止するかを決定し、当該結果に応じて第一停止信号１１７を有効にする（出力する）。
第二停止信号生成部２５２では、第一停止信号１１７を複数のグループ分けした中で、それぞれの信号が全て有効な場合には対応する第二停止信号を有効にする（出力する）。
次に、図８に示すフローチャートを用いて、ｊ番目の演算停止信号生成部１１６での動作を説明する。
演算停止信号生成部１１６は、累積加算回数の格納フラグＡ１６５が有効となった場合、演算を開始する(ステップＳ１００１)。
次に、演算停止信号生成部１１６は、切り捨てビット数１１５を切り捨てビット数格納レジスタ１５４に格納し、累積加算回数１１４を累積加算回数格納レジスタ１５３に格納する(ステップＳ１００２)。
次に、演算停止信号生成部１１６のしきい値計算部１５７が、上述の（数１）を計算する(ステップＳ１００３)。
次に、演算停止信号生成部１１６は、４種類の入力データ１０４を入力データ格納レジスタ１５１に、４種類の重みパラメータ１１３を重みパラメータ格納レジスタ１５２にそれぞれ格納する（ステップＳ１００４）。
次に、演算停止信号生成部１１６の数値比較部２５３は、入力データ格納レジスタ１５１の入力データ格納レジスタ出力１５８および重みパラメータ格納レジスタ１５２の重みパラメータ格納レジスタ出力１５９における０の値の有無を判定する。この結果、いずれかに０の値がある場合にはステップＳ１００８に進む(ステップＳ１００５：Yes)。どちらも０でない場合にはＳ１００６へ進む(ステップＳ１００５:No)。
この処理（ステップＳ１００５）は、演算器（１）３０１に入力される入力データと重みパラメータの組合せである４種類のそれぞれに対して実行する。
次に、演算停止信号生成部１１６の入力データMSB取得部１５５が、入力データ１０４である４種類の入力データについて、それぞれのMSB Iを演算（特定）する。また、演算停止信号生成部１１６の重みパラメータMSB取得部１５６が、重みパラメータ１１３である４種類の重みパラメータについて、それぞれのMSB Wを演算（特定）する（ステップＳ１００６）。
次に、演算停止信号生成部１１６の数値比較部２５３が、ステップＳ１００３で算出したDと入力データのMSBのIと重みパラメータのMSBのWを用いて、上述の（数２）を計算する。そして、（数２）が真の場合はステップＳ１００８に進む(ステップＳ１００７：Yes)。（数２)が偽の場合はステップＳ１０１１へ進む(ステップＳ１００７: No)。この処理（ステップ）も、演算器（１）３０１に入力される入力データと重みパラメータの組合せ４種類のそれぞれに対して実行する。
次に、演算停止信号生成部１１６の第一停止信号生成部２５１が、入力データ１０４と重みパラメータ１１３の組合せ４種類に対応する演算器（１）３０１への第一停止信号１１７を有効にする(ステップＳ１００８)。つまり、論理和演算部２５５の結果に応じて、第一停止信号１１７を対応する演算器（１）３０１に対して出力する。
次に、第二停止信号生成部２５２が、第一停止信号１１７を複数のグループ分けした中で、それぞれの信号が全て有効な場合（全演算器（１）３０１が停止）には、ステップＳ１０１０に進む(ステップＳ１００９:Yes)。１つ以上無効の場合（少なくとも１つの演算器（１）３０１を停止させない）には、ステップＳ１０１１に進む(ステップＳ１００９:No)。この処理（ステップ）は、第一停止信号の組合せである２組のそれぞれに対して実行する。
次に、第二停止信号生成部２５２は、演算器（２）４０１に対して、対応する演算器（２）に対する第二停止信号１１８を送信する(ステップＳ１０１０)。
次に、演算停止信号生成部１１６は、入力データ更新フラグＢ１６６が有効かを判断する。この結果、有効である場合はステップＳ１００４へ戻る(ステップＳ１０１１:Yes)。また、入力データ更新フラグＢ１６６が、無効の場合はステップＳ１０１２へ進む(ステップＳ１０１１:No)。そして、入力データ更新フラグＢ１６６が無効である場合は、当該ｊ番目の処理（演算停止信号生成部１１６の処理）は、終了すると判断する(ステップＳ１０１２)。
以上で、実施例１の説明を終了する。
次に、実施例２について説明する。実施例２では、クロック信号の遮断により各演算器（１）（２）を停止する外界の認識装置１０００について述べる。なお、実施例１と共通部分については図に同一符号を付し、その説明を省略する。なお、本実施例では、認識装置１０００を例に説明するが、認識に限定しない演算を行う演算装置も本実施例の範疇に含まれる。
図９は、クロック信号を用いる実施例２における認識装置１０００の構成図である。ここで、図９の構成について、図１との差分を説明する。図９では、実施例１の図１で示す構成に対し、クロック信号生成部３５１およびクロック供給を受ける畳み込み演算部５５１が加えられている。また、畳み込み演算部５５１−１〜Ｌについては、クロック信号を用いる点で、実施例１の畳み込み演算部１０７−１〜Ｌと相違する。この点については、以下、図１０を用いて説明する。
図１０は、図９中のクロック供給を受ける畳み込み演算部５５１−１〜Ｌの構成について示す説明図である。
畳み込み演算部５５１の第一の演算部８１０（図１０の破線部）は、実施例１の第一の演算部８０１に対して、演算器（１）７５１に接続するスイッチ機能付きクロックバッファ３５３が追加されている。また、第二の演算部８２０（図１０の破線部）は、実施例１の第二の演算部に対して、演算器（２）８５１に接続するスイッチ機能つきクロックバッファ３５４が追加されている。
引き続き図１０を用いて、本実施例における畳み込み演算部５５１−１〜Ｌ内の各構成の接続関係について説明する。
演算器（１）７５１に接続するスイッチ機能付きクロックバッファ３５３には、クロック信号３５２と第一停止信号１１７が入力される。演算器（２）８５１に接続するスイッチ機能付きクロックバッファ３５４には、クロック信号３５２と第二停止信号１１８が入力される。
演算器（１）７５１には、スイッチ機能付きクロックバッファ３５３からの出力であるクロックが入力される。演算器（２）８５１には、スイッチ機能付きクロックバッファ３５４からの出力であるクロックが入力される。
引き続き、図１０を用いて、畳み込み演算部５５１の各構成要件の動作について説明する。
クロック信号３５２により、それぞれの演算器（１）７５１、演算器（２）８５１が動作する。つまり、クロック信号３５２が入力されているときに、演算器（１）７５１−１〜４のそれぞれが、また、演算器（２）８５１−１、２のそれぞれが動作する。また、演算器（１）７５１に接続されるスイッチ機能付きクロックバッファ３５３は第一停止信号１１７が入力されたときに、演算器（１）７５１に対するクロック供給を停止する。このことで、演算器（１）７５１の動作を停止する。
演算器（２）８５１に接続されるスイッチ機能付きクロックバッファ３５４は、第二停止信号１１８が入力されたときに、演算器（２）８５１に対するクロック供給を停止する。このことで、演算器（２）８５１の動作が停止する。
次に、図１１を用いて、クロック供給を受ける演算器（２）８５１について、説明する。まず、図１１を用いて、クロック供給を受ける演算器（２）８５１の構成を説明する。クロック供給を受ける演算器（２）８５１は、クロック信号３５２も入力として受け取る。それ以外の構成（機能）は、図３を用いて説明した内容と同様である。
引き続き、図１１を用いて、演算器（２）８５１の接続関係を説明する。内部演算器（１）９５１、内部演算器（２）９５２、累積加算結果格納レジスタ９５３および出力レジスタ９５４に接続されている。そして、それぞれに対して、クロック信号３５２が入力され、動作を制御する。つまり、図１１はクロック信号の有無で演算器の動作および停止を行う構成となっている。より具体的には、図８のステップＳ１００８およびＳ１０１０において、第一停止信号、第二停止信号が有効化（出力）されるとこれらの動作が停止する。ここでは、第一停止信号、第二停止信号が有効化（出力）されると、スイッチ機能付きクロックバッファ３５３やスイッチ機能付きクロックバッファ３５４により、クロック信号が停止される。このことで、演算器（１）７５１や演算器（２）８５１の動作を停止させる。これら、第一停止信号、第二停止信号が有効化（出力）は、実施例１と同様のため、説明を省略する。以上で、実施例２についての説明を終了する。
各実施例では、認識装置１０００を例に説明したが、認識に限定しない演算を行う演算装置も各実施例の範疇に含まれる。さらに、図１２に示す制御装置２０００も各実施例の応用例に含まれる。つまり、認識装置１０００から出力される認識結果を、制御信号生成部２００１に送信する。制御信号生成部２００１では、認識結果に応じて、制御信号２００２を生成し、これに基づいて制御対象３０００の制御を行う。制御対象３０００としては、例えば車両が含まれる。そして、この場合、各実施例により、車両の自動運転や運転支援を実現できる。また、この場合、制御装置２０００として、いわゆるＥＣＵ（Electronic Control UnitないしEngine Control Unit）が含まれる。
以上の各実施例によれば、一般的な画像データを用いて演算を行った場合に、丸め処理とスパース性により、畳み込み演算の演算データにおける0の比率はおおむね60%程度となる。そして、各実施例による層ごとの停止機能を用いると消費電力削減効果は20%程度が期待できる。
１０１ 外界情報取得装置
１０２ メモリ
１０３ 選択器
１０４ 入力データ
１０５ 畳み込み演算出力
１０６ 認識結果
１０７ 畳み込み演算部
１０８ 学習データ保管部
１０９ パラメータ格納部
１１０ 複数層の重みパラメータ
１１１ 複数層の累積加算回数
１１２ 複数層の切り捨てビット数
１１３ １層分の重みパラメータ
１１４ １層分の累積加算回数
１１５ １層分の切り捨てビット数
１１６ 演算停止信号生成部
１１７ 第一停止信号
１１８ 第二停止信号
２０１ 数値演算部
３０１ 演算器（１）
３０５ 個別入力データ
３０６ 個別重みパラメータ
３０７ 演算器（１）の出力
４０１ 演算器（２）
４０３ 演算器（２）の出力
５０１ 丸め演算部
５０３ 丸め演算部の出力
６０１ 活性化関数演算部
７０１ 内部演算器（１）
７０２ 内部演算器（２）
７０３ 内部演算器（１）の出力
７０４ 累積加算結果格納レジスタの出力
７０５ 累積加算結果格納レジスタ
７０６ 内部演算器（２）の出力
７０７ 出力レジスタ
８０１ 第一の演算部
８０２ 第二の演算部
８０３ 演算器（１）の停止信号
９０１ 演算器（２）の停止信号
１５１ 入力データ格納レジスタ
１５２ 重みパラメータ格納レジスタ
１５３ 累積加算回数格納レジスタ
１５４ 切り捨てビット数格納レジスタ
１５５ 入力データMSB取得部
１５６ 重みパラメータMSB取得部
１５７ しきい値計算部
１５８ 入力データ格納レジスタ出力
１５９ 重みパラメータ格納レジスタ出力
１６０ 累積加算回数格納レジスタ出力
１６１ 切り捨てビット数格納レジスタ出力
１６２ 入力データMSB取得部出力
１６３ 重みパラメータMSB取得部出力
１６４ しきい値ビット数
１６５ 累積加算回数更新フラグ
１６６ 入力データ更新フラグ
２５１ 第一停止信号生成部
２５２ 第二停止信号生成部
２５３ 数値比較部
２５４ しきい値判定部
２５５ 論理和演算部
２５６ 数値比較部出力
２５７ しきい値判定部出力
３５１ クロック信号生成部
３５２ クロック信号
３５３ クロックバッファ
３５４ クロックバッファ
４５０ 丸めデータ入力レジスタ
４５１ 丸めデータ入力レジスタの出力
４５２ ビットセレクタ
４５３ ビットセレクタ出力
４５４ 丸めデータ出力レジスタ
５５１ 畳み込み演算部
７５１ クロック供給を受ける演算器（１）
８５１ クロック供給を受ける演算器（２）
９５１ クロック供給を受ける内部演算器（１）
９５２ クロック供給を受ける内部演算器（２）
９５３ クロック供給を受ける累積加算結果格納レジスタ
９５４ クロック供給を受ける出力レジスタ

Claims (13)

  1. 所定の演算を行う演算装置において、
    入力データに基づき所定の演算を行う第一の演算器と、前記第一の演算器の演算結果を用いて、所定の演算を行う第二の演算器とを有する数値演算部と、
    前記数値演算部の出力に対する丸め演算を行う丸め演算部と、
    前記丸め演算部での丸め演算で切り捨てられるビット数を格納したパラメータ格納部と、
    前記入力データ及び前記ビット数とに基づいて、前記第一の演算器および前記第二の演算器に対する演算停止の要否を判断し、当該判断の結果に応じて、停止信号を出力する演算停止信号生成部とを有することを特徴とする演算装置。
  2. 請求項１に記載の演算装置において、
    前記演算停止信号生成部は、
    前記入力データ及び前記ビット数を用いて、前記第一の演算器に対する演算停止の要否を判断し、当該判断の結果に応じて前記第二の演算器に対する演算停止の要否を判断することを特徴とする演算装置。
  3. 請求項２に記載の演算装置において、
    前記演算停止信号生成部は、
    前記第一の演算器に対する演算停止が必要と判断した場合に、前記第二の演算器に対する前記第二の演算器に対する演算停止の要否を判断することを特徴とする演算装置。
  4. 請求項３に記載の演算装置において、
    前記演算停止信号生成部は、
    前記入力データが、前記第一の演算器の演算結果が前記丸め演算部で丸めを行った場合のビット数が所定以下の場合に、前記第一の演算器に対する演算停止が必要と判断することを特徴する演算装置。
  5. 請求項４に記載の演算装置において、
    前記演算停止信号生成部は、
    前記第一の演算器に対する演算停止が必要と判断し、前記第一の演算器の演算結果が０の場合に、前記第二の演算器の演算を停止が必要と判断することを特徴とする演算装置。
  6. 請求項５に記載の演算装置において、
    前記数値演算部は、前記入力データに基づき所定の演算を行う第三の演算器であって、前記第一の演算器と並列接続される第三の演算器をさらに有し、
    前記演算停止信号生成部は、前記第一の演算器および前記第三の演算器に対する演算停止の要否の判断を独立に実行することを特徴とする演算装置。
  7. 請求項６に記載の演算装置において、
    前記演算停止信号生成部は、
    前記第一の演算器および前記第三の演算器のそれぞれに対する演算停止が必要と判断された場合、前記前記第二の演算器の演算を停止が必要と判断することを特徴とする演算装置。
  8. 請求項７に記載の演算装置において、
    前記入力データは、入力画素およびニューラルネットワークの重みパラメータを含み、
    前記第一の演算器は、前記入力データに対して乗算を行う乗算器であって、
    前記第二の演算器は、前記乗算器の乗算結果を加算する加算器であることを特徴とする演算装置。
  9. 請求項８に記載の演算装置において、
    前記演算停止信号生成部は、
    前記第一の演算器および前記第三の演算器それぞれの出力データの最上位ビットであるMSBが、切り捨てビット数以下となる場合に前記第一の演算器および前記第三の演算器それぞれに対する演算停止が必要と判断することを特徴とする演算装置。
  10. 請求項８に記載の演算装置において、
    前記演算停止信号生成部は、
    前記入力画素のMSBと重みパラメータのMSBを用いて前記演算停止の要否を判断し、前記入力画素のMSBのビット位置の値および前記重みパラメータのMSBのビット位置の値足し算が切り捨てビット数より小さくなる場合に前記第一の演算器および前記第三の演算器それぞれに対する演算停止が必要と判断することを特徴とする演算装置。
  11. 請求項１０に記載の演算装置において、
    前記第一の演算器、前記第二の演算器および前記第三の演算器にクロック信号を供給するクロック信号生成部で生成されるクロック信号を供給するクロック信号停止部をさらに有し、
    前記クロック信号停止部は、前記演算停止信号生成部から出力される前記停止信号に基づいて、前記第一の演算器、前記第二の演算器および前記第三の演算器に対するクロック信号の供給を停止することを特徴とする演算装置。
  12. 請求項１乃至１１のいずれかに記載の演算装置により、
    前記入力データとして、外界取得装置から取得される外界情報を用い、
    前記外界情報を用いて、外界の状況を認識することを特徴とする認識装置。
  13. 請求項１２に記載の認識装置を有し、
    前記認識された外界の状況に応じて、前記所定の演算の結果を、対象に対する制御信号として出力することを特徴とする制御装置。
JP2020002022A 2020-01-09 2020-01-09 演算装置、認識装置および制御装置 Active JP7304295B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020002022A JP7304295B2 (ja) 2020-01-09 2020-01-09 演算装置、認識装置および制御装置
PCT/JP2020/040917 WO2021140730A1 (ja) 2020-01-09 2020-10-30 演算装置、認識装置および制御装置
US17/789,730 US20230067212A1 (en) 2020-01-09 2020-10-30 Computing device, recognition device, and control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020002022A JP7304295B2 (ja) 2020-01-09 2020-01-09 演算装置、認識装置および制御装置

Publications (2)

Publication Number Publication Date
JP2021111082A true JP2021111082A (ja) 2021-08-02
JP7304295B2 JP7304295B2 (ja) 2023-07-06

Family

ID=76787835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020002022A Active JP7304295B2 (ja) 2020-01-09 2020-01-09 演算装置、認識装置および制御装置

Country Status (3)

Country Link
US (1) US20230067212A1 (ja)
JP (1) JP7304295B2 (ja)
WO (1) WO2021140730A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023119522A1 (ja) * 2021-12-22 2023-06-29 日本電気株式会社 スパース化対象層決定装置、スパース化対象層決定方法及び、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161472A (ja) * 1997-11-28 1999-06-18 Matsushita Electric Ind Co Ltd ディジタル乗算装置
WO2018154648A1 (ja) * 2017-02-22 2018-08-30 三菱電機株式会社 デジタル演算処理回路

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161472A (ja) * 1997-11-28 1999-06-18 Matsushita Electric Ind Co Ltd ディジタル乗算装置
WO2018154648A1 (ja) * 2017-02-22 2018-08-30 三菱電機株式会社 デジタル演算処理回路

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023119522A1 (ja) * 2021-12-22 2023-06-29 日本電気株式会社 スパース化対象層決定装置、スパース化対象層決定方法及び、プログラム

Also Published As

Publication number Publication date
US20230067212A1 (en) 2023-03-02
WO2021140730A1 (ja) 2021-07-15
JP7304295B2 (ja) 2023-07-06

Similar Documents

Publication Publication Date Title
CN109478144B (zh) 一种数据处理装置和方法
US10460230B2 (en) Reducing computations in a neural network
CN110799957B (zh) 具有元数据致动的条件图执行的处理核心
CN111353578A (zh) 信息处理装置、神经网络程序和用于神经网络的处理方法
JP2019139338A (ja) 情報処理装置、情報処理方法、およびプログラム
US11537879B2 (en) Neural network weight discretizing method, system, device, and readable storage medium
Kung et al. A power-aware digital feedforward neural network platform with backpropagation driven approximate synapses
KR102655950B1 (ko) 뉴럴 네트워크의 고속 처리 방법 및 그 방법을 이용한 장치
US11561795B2 (en) Accumulating data values and storing in first and second storage devices
CN110543936B (zh) 一种cnn全连接层运算的多并行加速方法
EP3444757A1 (en) Discrete data representation supported device and method for forward operation of artificial neural network
US20180293486A1 (en) Conditional graph execution based on prior simplified graph execution
CN109389208B (zh) 数据的量化装置及量化方法
CN112633477A (zh) 一种基于现场可编程阵列的量化神经网络加速方法
CN114626516A (zh) 一种基于对数块浮点量化的神经网络加速系统
JP7536574B2 (ja) 演算デバイス、計算機システム、及び演算方法
WO2021140730A1 (ja) 演算装置、認識装置および制御装置
EP3444758B1 (en) Discrete data representation-supporting apparatus and method for back-training of artificial neural network
CN110955405A (zh) 一种输入数据的处理及指数值获取方法、装置及电子设备
Fuketa et al. Image-classifier deep convolutional neural network training by 9-bit dedicated hardware to realize validation accuracy and energy efficiency superior to the half precision floating point format
US11551087B2 (en) Information processor, information processing method, and storage medium
KR20220018199A (ko) 희소성 데이터를 이용하는 연산 장치 및 그것의 동작 방법
CN113516171B (zh) 基于贝叶斯神经网络随机加法分解结构的图像分类方法
CN112215349B (zh) 基于数据流架构的稀疏卷积神经网络加速方法及装置
US11847567B1 (en) Loss-aware replication of neural network layers

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R150 Certificate of patent or registration of utility model

Ref document number: 7304295

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150