JP2017079017A5 - - Google Patents

Download PDF

Info

Publication number
JP2017079017A5
JP2017079017A5 JP2015207499A JP2015207499A JP2017079017A5 JP 2017079017 A5 JP2017079017 A5 JP 2017079017A5 JP 2015207499 A JP2015207499 A JP 2015207499A JP 2015207499 A JP2015207499 A JP 2015207499A JP 2017079017 A5 JP2017079017 A5 JP 2017079017A5
Authority
JP
Japan
Prior art keywords
data
product
multiplication
sum operation
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015207499A
Other languages
English (en)
Other versions
JP2017079017A (ja
JP6700712B2 (ja
Filing date
Publication date
Application filed filed Critical
Priority to JP2015207499A priority Critical patent/JP6700712B2/ja
Priority claimed from JP2015207499A external-priority patent/JP6700712B2/ja
Priority to US15/331,044 priority patent/US10210419B2/en
Publication of JP2017079017A publication Critical patent/JP2017079017A/ja
Publication of JP2017079017A5 publication Critical patent/JP2017079017A5/ja
Application granted granted Critical
Publication of JP6700712B2 publication Critical patent/JP6700712B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (11)

  1. それぞれ、第1及び第2の入力に入力されたデータを乗算する複数の第1の乗算手段と、
    前記複数の第1の乗算手段に対応して設けられ、それぞれ対応する前記第1の乗算手段の乗算結果を累積する複数の第1の累積加算手段と、
    前記複数の第1の乗算手段のそれぞれの前記第1の入力に第1のデータを供給する第1のデータ供給手段と、
    前記複数の第1の乗算手段の前記第2の入力に複数の第2のデータを供給する第2のデータ供給手段と、を有する第一の積和演算手段と、
    それぞれ、第1及び第2の入力に入力されたデータを乗算する複数の第2の乗算手段と、
    前記複数の第2の乗算手段に対応して設けられ、それぞれ対応する前記第2の乗算手段の乗算結果を累積する複数の第2の累積加算手段と、
    前記複数の第2の乗算手段のそれぞれの前記第1の入力に第3のデータを供給する第3のデータ供給手段と、
    前記複数の第1の累積加算手段のそれぞれの出力を入力して保持し、当該各出力を複数の第4のデータとして前記複数の第2の乗算手段の前記第2の入力に供給する第4のデータ供給手段と、を有する第二の積和演算手段と、
    前記第一及び第二の積和演算手段による積和演算処理を並行して実行するように制御する制御手段と、を有し、
    前記複数の第2の累積加算手段の出力は、前記第2のデータに対する前記第1及び第3のデータによる畳み込み演算の結果であることを特徴とする畳み込み演算装置。
  2. 前記第1のデータ及び前記第3のデータはフィルタカーネルの係数データであり、前記複数の第2のデータは、ラスタスキャンにより得られた水平方向の画像データであることを特徴とする請求項1に記載の畳み込み演算装置。
  3. 前記複数の第1の乗算手段、前記複数の第1の累積加算手段、前記複数の第2の乗算手段、及び前記複数の第2の累積加算手段の個数は、前記フィルタカーネルのサイズに対応していることを特徴とする請求項2に記載の畳み込み演算装置。
  4. 前記複数の第1の乗算手段と前記複数の第1の累積加算手段の個数は、前記複数の第2の乗算手段と前記複数の第2の累積加算手段の個数と等しいことを特徴とする請求項1乃至3のいずれか1項に記載の畳み込み演算装置。
  5. 前記フィルタカーネルの水平方向のサイズと垂直方向のサイズが異なる場合、前記制御手段は、前記フィルタカーネルの水平方向のサイズと垂直方向との差に応じたストールステージを、前記第一の積和演算手段の積和演算処理に挿入することを特徴とする請求項2に記載の畳み込み演算装置。
  6. 前記第二の積和演算手段の後段に、更に、当該第二の積和演算手段と同じ構成の第三の積和演算手段を直列に接続し、
    前記第三の積和演算手段の、前記第二の積和演算手段の前記第4のデータ供給手段に相当するデータ供給手段は、前記第二の積和演算手段の前記複数の第2の累積加算手段のそれぞれの出力を入力して保持し、当該各出力を複数の第4のデータとして、前記第二の積和演算手段の前記複数の第2の乗算手段の相当する前記第三の積和演算手段の乗算手段の第2の入力に供給することを特徴とする請求項1乃至5のいずれか1項に記載の畳み込み演算装置。
  7. 前記第三の積和演算手段の後段に、更に、前記第三の積和演算手段と同じ構成の第四の積和演算手段を直列に接続し、
    前記第四の積和演算手段の、前記第二の積和演算手段の前記第4のデータ供給手段に相当するデータ供給手段は、前記第三の積和演算手段の複数の累積加算手段のそれぞれの出力を入力して保持し、当該各出力を複数の第4のデータとして、前記第二の積和演算手段の前記複数の第2の乗算手段の相当する前記第四の積和演算手段の乗算手段の第2の入力に供給することを特徴とする請求項6に記載の畳み込み演算装置。
  8. それぞれ、第1及び第2の入力に入力されたデータを乗算する複数の第1の乗算手段と、
    前記複数の第1の乗算手段に対応して設けられ、それぞれ対応する前記第1の乗算手段の乗算結果を累積する複数の第1の累積加算手段と、
    前記複数の第1の乗算手段のそれぞれの前記第1の入力に第1のデータを供給する第1のデータ供給手段と、
    前記複数の第1の乗算手段の前記第2の入力に複数の第2のデータを供給する第2のデータ供給手段と、を有する第一の積和演算手段と、
    それぞれ、第1及び第2の入力に入力されたデータを乗算する複数の第2の乗算手段と、
    前記複数の第2の乗算手段に対応して設けられ、それぞれ対応する前記第2の乗算手段の乗算結果を累積する複数の第2の累積加算手段と、
    前記複数の第2の乗算手段のそれぞれの前記第1の入力に第3のデータを供給する第3のデータ供給手段と、
    前記複数の第2の乗算手段の前記第2の入力に第4のデータを供給する第4のデータ供給手段と、を有する第二の積和演算手段と、
    前記第一及び第二の積和演算手段を制御する制御手段と、を有し、
    前記第二の積和演算手段の後段に前記第一の積和演算手段が接続され、前記第4のデータ供給手段は、フィルタのカーネル単位で必要な参照データを一括してリングバッファにロードし、ロードした参照データを動作クロックに応じてリング状にシフトして前記第4のデータとして供給し、前記第2のデータ供給手段は、前記複数の第2の累積加算手段のそれぞれの出力を前記複数の第2のデータとして前記複数の第1の乗算手段の前記第2の入力に供給することを特徴とする畳み込み演算装置。
  9. 前記複数の第2の累積加算手段の出力に対して非線形変換を行う非線形変換手段を、更に有することを特徴とする請求項1乃至5のいずれか1項に記載の畳み込み演算装置。
  10. 前記第1の積和演算手段の前記第2のデータ供給手段は、あるタイミングで前記複数の第1の乗算手段のいずれかの第1の乗算手段の前記第2の入力に供給した前記第2のデータを、他のタイミングで、前記複数の第1の乗算手段のうちの他の第1の乗算手段の前記第2の入力に供給することを特徴とする請求項1乃至5のいずれか1項に記載の畳み込み演算装置。
  11. 前記第二の積和演算手段の前記第4のデータ供給手段は、あるタイミングで前記複数の第2の乗算手段のいずれかの第2の乗算手段の前記第2の入力に供給した前記第4のデータを、他のタイミングで、前記複数の第2の乗算手段の同じ第2の乗算手段の前記第2の入力に供給することを特徴とする請求項1乃至5のいずれか1項に記載の畳み込み演算装置。
JP2015207499A 2015-10-21 2015-10-21 畳み込み演算装置 Active JP6700712B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015207499A JP6700712B2 (ja) 2015-10-21 2015-10-21 畳み込み演算装置
US15/331,044 US10210419B2 (en) 2015-10-21 2016-10-21 Convolution operation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015207499A JP6700712B2 (ja) 2015-10-21 2015-10-21 畳み込み演算装置

Publications (3)

Publication Number Publication Date
JP2017079017A JP2017079017A (ja) 2017-04-27
JP2017079017A5 true JP2017079017A5 (ja) 2018-11-29
JP6700712B2 JP6700712B2 (ja) 2020-05-27

Family

ID=58561708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015207499A Active JP6700712B2 (ja) 2015-10-21 2015-10-21 畳み込み演算装置

Country Status (2)

Country Link
US (1) US10210419B2 (ja)
JP (1) JP6700712B2 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963775B2 (en) * 2016-09-23 2021-03-30 Samsung Electronics Co., Ltd. Neural network device and method of operating neural network device
US10366328B2 (en) 2017-09-19 2019-07-30 Gyrfalcon Technology Inc. Approximating fully-connected layers with multiple arrays of 3x3 convolutional filter kernels in a CNN based integrated circuit
US10366302B2 (en) 2016-10-10 2019-07-30 Gyrfalcon Technology Inc. Hierarchical category classification scheme using multiple sets of fully-connected networks with a CNN based integrated circuit as feature extractor
US10043095B2 (en) * 2016-10-10 2018-08-07 Gyrfalcon Technology, Inc. Data structure for CNN based digital integrated circuit for extracting features out of an input image
US9940534B1 (en) * 2016-10-10 2018-04-10 Gyrfalcon Technology, Inc. Digital integrated circuit for extracting features out of an input image based on cellular neural networks
US10402628B2 (en) 2016-10-10 2019-09-03 Gyrfalcon Technology Inc. Image classification systems based on CNN based IC and light-weight classifier
US10339445B2 (en) 2016-10-10 2019-07-02 Gyrfalcon Technology Inc. Implementation of ResNet in a CNN based digital integrated circuit
US10360470B2 (en) 2016-10-10 2019-07-23 Gyrfalcon Technology Inc. Implementation of MobileNet in a CNN based digital integrated circuit
US10417364B2 (en) 2017-01-04 2019-09-17 Stmicroelectronics International N.V. Tool to create a reconfigurable interconnect framework
JP6794854B2 (ja) * 2017-02-02 2020-12-02 富士通株式会社 演算処理装置及び演算処理装置の制御方法
KR102474168B1 (ko) * 2017-03-17 2022-12-06 포틀랜드 스테이트 유니버시티 적응형 컨볼루션 및 적응형 분리형 컨볼루션을 통한 프레임 인터폴레이션
US11029956B2 (en) 2017-08-24 2021-06-08 Sony Semiconductor Solutions Corporation Processor and information processing system for instructions that designate a circular buffer as an operand
JP2019040403A (ja) * 2017-08-25 2019-03-14 ルネサスエレクトロニクス株式会社 半導体装置および画像認識システム
KR102356708B1 (ko) * 2017-09-28 2022-01-27 삼성전자주식회사 컨볼루션 연산을 수행하는 연산 장치 및 연산 방법
US20190102671A1 (en) * 2017-09-29 2019-04-04 Intel Corporation Inner product convolutional neural network accelerator
US11386644B2 (en) * 2017-10-17 2022-07-12 Xilinx, Inc. Image preprocessing for generalized image processing
JP2019074967A (ja) * 2017-10-17 2019-05-16 キヤノン株式会社 フィルタ処理装置およびその制御方法
KR20230010842A (ko) * 2017-11-06 2023-01-19 에이조 가부시키가이샤 화상처리장치, 화상처리방법 및 화상처리 프로그램을 기록한 기록 매체
JP6839641B2 (ja) * 2017-11-17 2021-03-10 株式会社東芝 演算処理装置
US11265540B2 (en) * 2018-02-23 2022-03-01 Sk Telecom Co., Ltd. Apparatus and method for applying artificial neural network to image encoding or decoding
US11537838B2 (en) * 2018-05-04 2022-12-27 Apple Inc. Scalable neural network processing engine
JP7169768B2 (ja) * 2018-05-08 2022-11-11 キヤノン株式会社 画像処理装置、画像処理方法
US10546044B2 (en) * 2018-05-15 2020-01-28 Apple Inc. Low precision convolution operations
JP2020004247A (ja) * 2018-06-29 2020-01-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10417342B1 (en) 2018-07-03 2019-09-17 Gyrfalcon Technology Inc. Deep learning device for local processing classical chinese poetry and verse
US10311149B1 (en) 2018-08-08 2019-06-04 Gyrfalcon Technology Inc. Natural language translation device
JP7129857B2 (ja) 2018-09-07 2022-09-02 ルネサスエレクトロニクス株式会社 積和演算装置、積和演算方法、及びシステム
CN109146065B (zh) * 2018-09-30 2021-06-08 中国人民解放军战略支援部队信息工程大学 二维数据的卷积运算方法及装置
JP7165018B2 (ja) 2018-10-03 2022-11-02 キヤノン株式会社 情報処理装置、情報処理方法
US10387772B1 (en) 2018-10-22 2019-08-20 Gyrfalcon Technology Inc. Ensemble learning based image classification systems
JP7345262B2 (ja) 2019-03-11 2023-09-15 キヤノン株式会社 データ圧縮装置、データ処理装置、データ圧縮方法、プログラム、及び学習済みモデル
JP7271244B2 (ja) * 2019-03-15 2023-05-11 本田技研工業株式会社 Cnn処理装置、cnn処理方法、およびプログラム
JP7204545B2 (ja) 2019-03-15 2023-01-16 本田技研工業株式会社 音響信号処理装置、音響信号処理方法、およびプログラム
WO2020194594A1 (ja) 2019-03-27 2020-10-01 Tdk株式会社 ニューラルネットワーク演算処理装置及びニューラルネットワーク演算処理方法
WO2020230374A1 (ja) * 2019-05-10 2020-11-19 ソニー株式会社 演算装置および演算システム
JP7402623B2 (ja) * 2019-06-17 2023-12-21 キヤノン株式会社 フィルタ処理装置及びその制御方法
JP7299770B2 (ja) * 2019-07-01 2023-06-28 キヤノン株式会社 演算処理装置及び演算処理方法
CN110717588B (zh) 2019-10-15 2022-05-03 阿波罗智能技术(北京)有限公司 用于卷积运算的装置和方法
US11475283B2 (en) * 2019-10-24 2022-10-18 Apple Inc. Multi dimensional convolution in neural network processor
US11593609B2 (en) 2020-02-18 2023-02-28 Stmicroelectronics S.R.L. Vector quantization decoding hardware unit for real-time dynamic decompression for parameters of neural networks
US11507831B2 (en) 2020-02-24 2022-11-22 Stmicroelectronics International N.V. Pooling unit for deep learning acceleration
US11531873B2 (en) 2020-06-23 2022-12-20 Stmicroelectronics S.R.L. Convolution acceleration with embedded vector decompression
JP2022022876A (ja) 2020-07-09 2022-02-07 キヤノン株式会社 畳み込みニューラルネットワーク処理装置
KR20220010362A (ko) * 2020-07-17 2022-01-25 삼성전자주식회사 뉴럴 네트워크 장치 및 그의 동작 방법
WO2023095666A1 (ja) * 2021-11-29 2023-06-01 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および信号処理方法、並びに固体撮像素子

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4328426A (en) * 1980-08-04 1982-05-04 Xerox Corporation Filter for image pixels
US4694407A (en) * 1985-06-11 1987-09-15 Rca Corporation Fractal generation, as for video graphic displays
JP2857292B2 (ja) * 1991-12-18 1999-02-17 ゼロックス コーポレイション 2次元デジタルフィルタを実現するための装置
JP3524250B2 (ja) * 1995-11-27 2004-05-10 キヤノン株式会社 デジタル画像処理プロセッサ
JPH1021405A (ja) 1996-07-04 1998-01-23 Kiyoushiya:Kk 回路パターンの外観検査方法および装置
US6125212A (en) * 1998-04-29 2000-09-26 Hewlett-Packard Company Explicit DST-based filter operating in the DCT domain
US6185336B1 (en) * 1998-09-23 2001-02-06 Xerox Corporation Method and system for classifying a halftone pixel based on noise injected halftone frequency estimation
JP4891197B2 (ja) 2007-11-01 2012-03-07 キヤノン株式会社 画像処理装置および画像処理方法
JP5376920B2 (ja) * 2008-12-04 2013-12-25 キヤノン株式会社 コンボリューション演算回路、階層的コンボリューション演算回路及び物体認識装置
US10078620B2 (en) 2011-05-27 2018-09-18 New York University Runtime reconfigurable dataflow processor with multi-port memory access module
JP5906071B2 (ja) 2011-12-01 2016-04-20 キヤノン株式会社 情報処理方法、情報処理装置、および記憶媒体
JP6195342B2 (ja) 2013-03-27 2017-09-13 キヤノン株式会社 情報処理装置およびメモリアクセス制御方法
JP6442152B2 (ja) 2014-04-03 2018-12-19 キヤノン株式会社 画像処理装置、画像処理方法
JP6395481B2 (ja) 2014-07-11 2018-09-26 キヤノン株式会社 画像認識装置、方法及びプログラム

Similar Documents

Publication Publication Date Title
JP2017079017A5 (ja)
GB2603358B (en) Computer-based systems, computing components and computing objects configured to implement dynamic outlier bias reduction in machine learning models
EP3133552A3 (en) Denoising filter
Adem et al. Conservation laws and exact solutions for a 2D Zakharov–Kuznetsov equation
GB2545607A (en) Apparatus and method for vector processing with selective rounding mode
EP3153998A3 (en) Neural network unit that performs concurrent lstm cell calculations
WO2016106216A3 (en) Systems and methods for generating virtual contexts
WO2016183026A3 (en) Data discovery nodes
EP3093757A3 (en) Multi-dimensional sliding window operation for a vector processor
WO2015038324A3 (en) Concepts for transacting e-commerce
JP2016530631A5 (ja)
JP2015144435A5 (ja)
JP2017097520A5 (ja)
WO2016178743A8 (en) Animated painterly picture generation
WO2016073523A3 (en) Systems and methods for high-dynamic range images
IN2013MU02122A (ja)
JP2013073508A5 (ja) データ処理装置、処理方法、制御方法、及びプログラム
JP2014203136A5 (ja)
EP3154001A3 (en) Neural network unit with neural memory and array of neural processing units that collectively shift row of data received from neural memory
MX2016017412A (es) Sistemas y metodos para anticipar disponibilidad de productos en estantes.
JP2014134966A5 (ja)
TW201612850A (en) Image processing system and saturation compensation method
JP2015158737A5 (ja)
MX2018007110A (es) Estuche plegable.
RU2017126055A (ru) Электронное вычислительное устройство