JP2021015420A - 演算処理装置、制御プログラム、及び制御方法 - Google Patents
演算処理装置、制御プログラム、及び制御方法 Download PDFInfo
- Publication number
- JP2021015420A JP2021015420A JP2019129368A JP2019129368A JP2021015420A JP 2021015420 A JP2021015420 A JP 2021015420A JP 2019129368 A JP2019129368 A JP 2019129368A JP 2019129368 A JP2019129368 A JP 2019129368A JP 2021015420 A JP2021015420 A JP 2021015420A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- learning
- error
- decimal point
- statistical information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims description 95
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 description 46
- 238000013527 convolutional neural network Methods 0.000 description 41
- 230000015654 memory Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 229920006395 saturated elastomer Polymers 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000010923 batch production Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/499—Denomination or exception handling, e.g. rounding or overflow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/499—Denomination or exception handling, e.g. rounding or overflow
- G06F7/49905—Exception handling
- G06F7/4991—Overflow or underflow
- G06F7/49915—Mantissa overflow or underflow in handling floating-point numbers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/499—Denomination or exception handling, e.g. rounding or overflow
- G06F7/49942—Significance control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/57—Arithmetic logic units [ALU], i.e. arrangements or devices for performing two or more of the operations covered by groups G06F7/483 – G06F7/556 or for performing logical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/3001—Arithmetic instructions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Abstract
Description
〔1−1〕機能構成例
図1は、第1実施形態の一例としての学習装置1の機能構成例を示すブロック図である。学習装置1は、深層学習に係る演算処理等の種々の演算処理を行なう演算処理装置(図示省略)、を備える情報処理装置の一例である。学習装置1は、例えば、ニューラルネットワーク等の学習モデルのパラメータを学習してよい。
図6は、CNN20の各層21における変数(パラメータ)のデータ表現例を示す図である。深層学習においてパラメータを学習させる際には、膨大な計算量により計算負荷及びメモリ負荷等の負荷がかかり、パラメータの学習時間が長くなる。
・非ゼロとなる最下位ビット位置の分布
・非符号となる最上位ビット位置の最大値
・非ゼロとなる最下位ビット位置の最小値
CNN20における各レイヤ21の出力の分布は、ミニバッチの画像の組み合わせに影響を受ける。また、各レイヤ21における重みのパラメータは、勾配法等により少しずつ変化していく。そこで、第1実施形態では、以下に例示する手法により、ミニバッチの特徴から、バッチごとの分布のブレを予測し、小数点位置を補正する補正処理を行なう。
次に、図22及び図23を参照して、第1実施形態に係る学習装置1の動作例を説明する。図22は、第1実施形態に係る学習装置1の動作例を説明するフローチャートであり、図23は、図22に示すバッチの学習処理の動作例を説明するフローチャートである。
次に、第2実施形態について説明する。第2実施形態は、第1実施形態に係る決定部14の処理を簡略化した実施形態と位置付けることができる。
次に、第3実施形態について説明する。第3実施形態は、レイヤ21ごとの補正値を、深層学習により予測する実施形態と位置付けることができる。
図32は、コンピュータ10のハードウェア(Hardware;HW)構成例を示すブロック図である。第1、第2及び第3実施形態に係る学習装置1、1A及び1Bの機能は、例えば、図32に示すコンピュータ10のHW(HWリソース)により実現されてよい。なお、学習装置1、1A及び1Bの機能を実現するHWリソースとして、複数のコンピュータが用いられる場合、各コンピュータが図32に例示するHW構成を備えてよい。
上述した第1〜第3実施形態に係る技術は、以下のように変形、変更して実施することができる。
以上の第1〜第3実施形態に関し、更に以下の付記を開示する。
所定の学習モデルを繰り返し学習させる際に、前記繰り返しごとに取得される複数の固定小数点数データの各々についての、最上位ビットの位置又は最下位ビットの位置の分布に関する統計情報、に基づき得られる、固定小数点数データの小数点位置の誤差を記憶する記憶部と、
前記繰り返しごとの誤差の傾向に基づき、前記学習に利用する固定小数点数データの小数点位置を補正するためのオフセット量を決定する決定部と、を備える、
演算処理装置。
前記学習モデルは、ニューラルネットワークであり、
前記記憶部は、前記誤差を、前記ニューラルネットワークに含まれる複数の層の各々について記憶し、
前記決定部は、前記オフセット量を、前記複数の層の各々について決定する、
付記1に記載の演算処理装置。
前記決定部は、第1の層よりも前の第2の層について前記記憶部が記憶する誤差に基づき、前記第1の層についてのオフセット量を決定する、
付記2に記載の演算処理装置。
前記決定部は、前記第2の層についての前記学習のt(tは2以上の整数)回目の繰り返しにおける誤差の傾向と類似する、前記t回目よりも前であるx(xはt未満の整数)回目の繰り返しを特定し、特定した前記x回目の繰り返しにおける前記第1の層の誤差に基づき、前記t回目の繰り返しにおける前記第1の層についてのオフセット量を決定する、
付記3に記載の演算処理装置。
前記決定部は、前記第2の層についての前記統計情報と、前記第1の層についての誤差と、を用いてオフセット量決定用の学習モデルを学習させ、前記オフセット量決定用の学習モデルの学習結果に基づいて、前記第1の層についてのオフセット量を決定する、
付記3又は付記4に記載の演算処理装置。
前記記憶部は、前記統計情報に基づき前記繰り返しごとに得られる特徴値を前記誤差と対応付けて記憶し、
前記決定部は、前記記憶部が記憶する前記第2の層についての誤差と特徴値との組み合わせに基づき、前記第1の層についてのオフセット量を決定する、
付記3又は付記4に記載の演算処理装置。
前記第2の層は、前記ニューラルネットワークにおける先頭の層から、前記第1の層の1つ前の層までの層のうちの、いずれか1つの層又は2以上の組み合わせの層である、
付記3〜6のいずれか1項に記載の演算処理装置。
前記第2の層は、前記ニューラルネットワークにおける先頭の層である、
付記3〜6のいずれか1項に記載の演算処理装置。
前記第2の層は、前記複数の層を連続した2以上の層単位で分類したブロックのうちの、前記第1の層が属するブロック内の先頭の層である、
付記3〜6のいずれか1項に記載の演算処理装置。
前記第2の層は、前記複数の層を連続した2以上の層単位で分類したブロックのうちの、前記第1の層が属するブロック内における、先頭の層から前記第1の層の1つ前の層までの層のうちのいずれか1つの層又は2以上の組み合わせの層である、
付記3〜6のいずれか1項に記載の演算処理装置。
所定の学習モデルを繰り返し学習させる際に、前記繰り返しごとに取得される複数の固定小数点数データの各々についての、最上位ビットの位置又は最下位ビットの位置の分布に関する統計情報、に基づき得られる、固定小数点数データの小数点位置の誤差を記憶部に記憶し、
前記繰り返しごとの誤差の傾向に基づき、前記学習に利用する固定小数点数データの小数点位置を補正するためのオフセット量を決定する、
処理をコンピュータに実行させる、制御プログラム。
前記学習モデルは、ニューラルネットワークであり、
前記コンピュータに、
前記誤差を、前記ニューラルネットワークに含まれる複数の層の各々について前記記憶部に記憶し、
前記オフセット量を、前記複数の層の各々について決定する、
処理を実行させる、付記11に記載の制御プログラム。
前記コンピュータに、
第1の層よりも前の第2の層について前記記憶部が記憶する誤差に基づき、前記第1の層についてのオフセット量を決定する、
処理を実行させる、付記12に記載の制御プログラム。
前記コンピュータに、
前記第2の層についての前記学習のt(tは2以上の整数)回目の繰り返しにおける誤差の傾向と類似する、前記t回目よりも前であるx(xはt未満の整数)回目の繰り返しを特定し、
特定した前記x回目の繰り返しにおける前記第1の層の誤差に基づき、前記t回目の繰り返しにおける前記第1の層についてのオフセット量を決定する、
処理を実行させる、付記13に記載の制御プログラム。
前記コンピュータに、
前記第2の層についての前記統計情報と、前記第1の層についての誤差と、を用いてオフセット量決定用の学習モデルを学習させ、
前記オフセット量決定用の学習モデルの学習結果に基づいて、前記第1の層についてのオフセット量を決定する、
処理を実行させる、付記13又は付記14に記載の制御プログラム。
前記コンピュータに、
前記統計情報に基づき前記繰り返しごとに得られる特徴値を前記誤差と対応付けて前記記憶部に記憶し、
前記記憶部が記憶する前記第2の層についての誤差と特徴値との組み合わせに基づき、前記第1の層についてのオフセット量を決定する、
処理を実行させる、付記13又は付記14に記載の制御プログラム。
所定の学習モデルを繰り返し学習させる際に、前記繰り返しごとに取得される複数の固定小数点数データの各々についての、最上位ビットの位置又は最下位ビットの位置の分布に関する統計情報、に基づき得られる、固定小数点数データの小数点位置の誤差を記憶部に記憶し、
前記繰り返しごとの誤差の傾向に基づき、前記学習に利用する固定小数点数データの小数点位置を補正するためのオフセット量を決定する、
処理をコンピュータに実行させる、制御方法。
前記学習モデルは、ニューラルネットワークであり、
前記コンピュータに、
前記誤差を、前記ニューラルネットワークに含まれる複数の層の各々について前記記憶部に記憶し、
前記オフセット量を、前記複数の層の各々について決定する、
処理を実行させる、付記17に記載の制御方法。
前記コンピュータに、
第1の層よりも前の第2の層について前記記憶部が記憶する誤差に基づき、前記第1の層についてのオフセット量を決定する、
処理を実行させる、付記18に記載の制御方法。
前記コンピュータに、
前記第2の層についての前記学習のt(tは2以上の整数)回目の繰り返しにおける誤差の傾向と類似する、前記t回目よりも前であるx(xはt未満の整数)回目の繰り返しを特定し、
特定した前記x回目の繰り返しにおける前記第1の層の誤差に基づき、前記t回目の繰り返しにおける前記第1の層についてのオフセット量を決定する、
処理を実行させる、付記19に記載の制御方法。
前記コンピュータに、
前記第2の層についての前記統計情報と、前記第1の層についての誤差と、を用いてオフセット量決定用の学習モデルを学習させ、
前記オフセット量決定用の学習モデルの学習結果に基づいて、前記第1の層についてのオフセット量を決定する、
処理を実行させる、付記19又は付記20に記載の制御方法。
10 コンピュータ
10a プロセッサ
10b メモリ
10c LSI
10d LSI用メモリ
10e 記憶部
10f IF部
10g I/O部
10h 読取部
10i プログラム
10j 記録媒体
10k バス
11 データ記憶部
12 学習部
13 パラメータ記憶部
14、14A、14B 決定部
15、15A 情報記憶部
20 CNN
21、21a〜21p 層(レイヤ)
22、22a〜22p 統計情報
23、23a〜23f ブロック
Claims (12)
- 所定の学習モデルを繰り返し学習させる際に、前記繰り返しごとに取得される複数の固定小数点数データの各々についての、最上位ビットの位置又は最下位ビットの位置の分布に関する統計情報、に基づき得られる、固定小数点数データの小数点位置の誤差を記憶する記憶部と、
前記繰り返しごとの誤差の傾向に基づき、前記学習に利用する固定小数点数データの小数点位置を補正するためのオフセット量を決定する決定部と、を備える、
演算処理装置。 - 前記学習モデルは、ニューラルネットワークであり、
前記記憶部は、前記誤差を、前記ニューラルネットワークに含まれる複数の層の各々について記憶し、
前記決定部は、前記オフセット量を、前記複数の層の各々について決定する、
請求項1に記載の演算処理装置。 - 前記決定部は、第1の層よりも前の第2の層について前記記憶部が記憶する誤差に基づき、前記第1の層についてのオフセット量を決定する、
請求項2に記載の演算処理装置。 - 前記決定部は、前記第2の層についての前記学習のt(tは2以上の整数)回目の繰り返しにおける誤差の傾向と類似する、前記t回目よりも前であるx(xはt未満の整数)回目の繰り返しを特定し、特定した前記x回目の繰り返しにおける前記第1の層の誤差に基づき、前記t回目の繰り返しにおける前記第1の層についてのオフセット量を決定する、
請求項3に記載の演算処理装置。 - 前記決定部は、前記第2の層についての前記統計情報と、前記第1の層についての誤差と、を用いてオフセット量決定用の学習モデルを学習させ、前記オフセット量決定用の学習モデルの学習結果に基づいて、前記第1の層についてのオフセット量を決定する、
請求項3又は請求項4に記載の演算処理装置。 - 前記記憶部は、前記統計情報に基づき前記繰り返しごとに得られる特徴値を前記誤差と対応付けて記憶し、
前記決定部は、前記記憶部が記憶する前記第2の層についての誤差と特徴値との組み合わせに基づき、前記第1の層についてのオフセット量を決定する、
請求項3又は請求項4に記載の演算処理装置。 - 前記第2の層は、前記ニューラルネットワークにおける先頭の層から、前記第1の層の1つ前の層までの層のうちの、いずれか1つの層又は2以上の組み合わせの層である、
請求項3〜6のいずれか1項に記載の演算処理装置。 - 前記第2の層は、前記ニューラルネットワークにおける先頭の層である、
請求項3〜6のいずれか1項に記載の演算処理装置。 - 前記第2の層は、前記複数の層を連続した2以上の層単位で分類したブロックのうちの、前記第1の層が属するブロック内の先頭の層である、
請求項3〜6のいずれか1項に記載の演算処理装置。 - 前記第2の層は、前記複数の層を連続した2以上の層単位で分類したブロックのうちの、前記第1の層が属するブロック内における、先頭の層から前記第1の層の1つ前の層までの層のうちのいずれか1つの層又は2以上の組み合わせの層である、
請求項3〜6のいずれか1項に記載の演算処理装置。 - 所定の学習モデルを繰り返し学習させる際に、前記繰り返しごとに取得される複数の固定小数点数データの各々についての、最上位ビットの位置又は最下位ビットの位置の分布に関する統計情報、に基づき得られる、固定小数点数データの小数点位置の誤差を記憶部に記憶し、
前記繰り返しごとの誤差の傾向に基づき、前記学習に利用する固定小数点数データの小数点位置を補正するためのオフセット量を決定する、
処理をコンピュータに実行させる、制御プログラム。 - 所定の学習モデルを繰り返し学習させる際に、前記繰り返しごとに取得される複数の固定小数点数データの各々についての、最上位ビットの位置又は最下位ビットの位置の分布に関する統計情報、に基づき得られる、固定小数点数データの小数点位置の誤差を記憶部に記憶し、
前記繰り返しごとの誤差の傾向に基づき、前記学習に利用する固定小数点数データの小数点位置を補正するためのオフセット量を決定する、
処理をコンピュータに実行させる、制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019129368A JP7243498B2 (ja) | 2019-07-11 | 2019-07-11 | 演算処理装置、制御プログラム、及び制御方法 |
EP20179301.5A EP3764217A1 (en) | 2019-07-11 | 2020-06-10 | Arithmetic processing apparatus, control method, and control program |
US16/898,493 US11410036B2 (en) | 2019-07-11 | 2020-06-11 | Arithmetic processing apparatus, control method, and non-transitory computer-readable recording medium having stored therein control program |
CN202010529216.2A CN112215340A (zh) | 2019-07-11 | 2020-06-11 | 运算处理设备、控制方法以及计算机可读记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019129368A JP7243498B2 (ja) | 2019-07-11 | 2019-07-11 | 演算処理装置、制御プログラム、及び制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021015420A true JP2021015420A (ja) | 2021-02-12 |
JP7243498B2 JP7243498B2 (ja) | 2023-03-22 |
Family
ID=71092279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019129368A Active JP7243498B2 (ja) | 2019-07-11 | 2019-07-11 | 演算処理装置、制御プログラム、及び制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11410036B2 (ja) |
EP (1) | EP3764217A1 (ja) |
JP (1) | JP7243498B2 (ja) |
CN (1) | CN112215340A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7137067B2 (ja) * | 2018-10-25 | 2022-09-14 | 富士通株式会社 | 演算処理装置、学習プログラム及び学習方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018010618A (ja) * | 2016-05-03 | 2018-01-18 | イマジネイション テクノロジーズ リミテッド | 畳み込みニューラルネットワークハードウエア構成 |
JP2019057249A (ja) * | 2017-09-22 | 2019-04-11 | 富士通株式会社 | 演算処理装置および演算処理方法 |
JP2020522032A (ja) * | 2018-02-13 | 2020-07-27 | シャンハイ カンブリコン インフォメーション テクノロジー カンパニー リミテッドShanghai Cambricon Information Technology Co.,Ltd. | 計算装置と計算方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0784975A (ja) | 1993-09-10 | 1995-03-31 | Hitachi Ltd | 情報処理装置および学習演算処理方法 |
JP3262652B2 (ja) | 1993-11-10 | 2002-03-04 | 沖電気工業株式会社 | 音声符号化装置及び音声復号化装置 |
EP1236086A2 (en) * | 1999-12-10 | 2002-09-04 | Broadcom Corporation | Apparatus and method for reducing precision of data |
JP6079433B2 (ja) * | 2013-05-23 | 2017-02-15 | 富士通株式会社 | 移動平均処理プログラム、及びプロセッサ |
US20170061279A1 (en) * | 2015-01-14 | 2017-03-02 | Intel Corporation | Updating an artificial neural network using flexible fixed point representation |
JP6540725B2 (ja) | 2017-01-30 | 2019-07-10 | 富士通株式会社 | 演算処理装置、方法、およびプログラム |
JP6540770B2 (ja) * | 2017-10-17 | 2019-07-10 | 富士通株式会社 | 演算処理回路、演算処理回路を含む演算処理装置、演算処理装置を含む情報処理装置、および方法 |
CN108053029B (zh) * | 2017-12-27 | 2021-08-27 | 上海闪易半导体有限公司 | 一种基于存储阵列的神经网络的训练方法 |
US20190251429A1 (en) * | 2018-02-12 | 2019-08-15 | Kneron, Inc. | Convolution operation device and method of scaling convolution input for convolution neural network |
JP6528884B1 (ja) * | 2018-06-04 | 2019-06-12 | 富士通株式会社 | 学習プログラム、学習方法、及び情報処理装置 |
-
2019
- 2019-07-11 JP JP2019129368A patent/JP7243498B2/ja active Active
-
2020
- 2020-06-10 EP EP20179301.5A patent/EP3764217A1/en active Pending
- 2020-06-11 CN CN202010529216.2A patent/CN112215340A/zh active Pending
- 2020-06-11 US US16/898,493 patent/US11410036B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018010618A (ja) * | 2016-05-03 | 2018-01-18 | イマジネイション テクノロジーズ リミテッド | 畳み込みニューラルネットワークハードウエア構成 |
JP2019057249A (ja) * | 2017-09-22 | 2019-04-11 | 富士通株式会社 | 演算処理装置および演算処理方法 |
JP2020522032A (ja) * | 2018-02-13 | 2020-07-27 | シャンハイ カンブリコン インフォメーション テクノロジー カンパニー リミテッドShanghai Cambricon Information Technology Co.,Ltd. | 計算装置と計算方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210012192A1 (en) | 2021-01-14 |
US11410036B2 (en) | 2022-08-09 |
EP3764217A1 (en) | 2021-01-13 |
JP7243498B2 (ja) | 2023-03-22 |
CN112215340A (zh) | 2021-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11137981B2 (en) | Operation processing device, information processing device, and information processing method | |
US20190265949A1 (en) | Information processing apparatus, information processing method, and recording medium | |
US20160358070A1 (en) | Automatic tuning of artificial neural networks | |
JP6610278B2 (ja) | 機械学習装置、機械学習方法及び機械学習プログラム | |
US20190244097A1 (en) | Information processing apparatus and information processing method | |
JP7181454B2 (ja) | 最適化装置、最適化装置の制御方法および最適化装置の制御プログラム | |
CN113536229A (zh) | 采样装置、采样方法以及用于存储采样程序的存储介质 | |
JP7451568B2 (ja) | コンパイラの精度選定によるシェーダプログラムの加速化 | |
US11514320B2 (en) | Arithmetic processing apparatus, control method, and non-transitory computer-readable recording medium having stored therein control program | |
US11288597B2 (en) | Computer-readable recording medium having stored therein training program, training method, and information processing apparatus | |
JP2021015420A (ja) | 演算処理装置、制御プログラム、及び制御方法 | |
US11604999B2 (en) | Learning device, learning method, and computer program product | |
US11551087B2 (en) | Information processor, information processing method, and storage medium | |
US20200371750A1 (en) | Arithmetic processing apparatus, control method of arithmetic processing apparatus, and non-transitory computer-readable storage medium for storing program | |
JP7294017B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP2020098469A (ja) | 演算処理装置および演算処理装置の制御方法 | |
US11455533B2 (en) | Information processing apparatus, control method, and non-transitory computer-readable storage medium for storing information processing program | |
CN112598108A (zh) | 信息处理设备、处理信息的方法和计算机可读记录介质 | |
US11811427B2 (en) | Information processing apparatus, method of processing information, and non-transitory computer-readable storage medium for storing information processing program | |
EP4383137A1 (en) | Data processing device, data processing program, and data processing method | |
EP4239529A1 (en) | Machine learning program, method for machine learning, and information processing apparatus | |
JP2023124376A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JPWO2020044567A1 (ja) | データ処理システムおよびデータ処理方法 | |
JP2022054660A (ja) | ニューラルネットワーク軽量化装置、ニューラルネットワーク軽量化方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220407 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7243498 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |