JP2019075114A - アクティベーション演算とコンボリューション演算を同時に遂行するための方法及び装置、そしてこのための学習方法及び学習装置 - Google Patents
アクティベーション演算とコンボリューション演算を同時に遂行するための方法及び装置、そしてこのための学習方法及び学習装置 Download PDFInfo
- Publication number
- JP2019075114A JP2019075114A JP2018193024A JP2018193024A JP2019075114A JP 2019075114 A JP2019075114 A JP 2019075114A JP 2018193024 A JP2018193024 A JP 2018193024A JP 2018193024 A JP2018193024 A JP 2018193024A JP 2019075114 A JP2019075114 A JP 2019075114A
- Authority
- JP
- Japan
- Prior art keywords
- value
- convolution
- convolution layer
- layer
- cnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000004913 activation Effects 0.000 title claims abstract description 72
- 238000012937 correction Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims 3
- 238000005354 coacervation Methods 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 60
- 238000004364 calculation method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000012360 testing method Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 5
- 230000015654 memory Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
- G06F17/12—Simultaneous equations, e.g. systems of linear equations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
Abstract
Description
(例えば、この値は(x=0,y=0,チャネルch=0)である位置の画素値が1、(x=1,y=0,チャネルch=1)である位置の画素値が2、(x=0,y=1,チャネルch=1)である位置の画素値が3、(x=1,y=1,チャネルch=0)である位置の画素値が4であり、残りはすべて0である特徴マップを示す)がCReLU120に入力されると、スケールレイヤ121は各値に−1をかけて生成した値である
を二番目のReLUレイヤに伝達し、
値を直接伝達された一番目ReLUレイヤ及びスケールレイヤ121から
値を伝達された二番目のReLUレイヤは各々ポジティブアクティベーション演算を遂行して
と
を生成してこれをコンカチネーションレイヤ123に伝達する。それから、コンカチネーションレイヤ123はこれらの値を一つにコンカチネートして
を生成してこれを次の隣り合ったコンボリューションレイヤ130に伝達する。コンボリューションレイヤ130はこれらの値にコンボリューション演算を遂行する。
を有する場合、CNNでCReLU120の演算結果を入力でコンボリューションレイヤ130による演算をすることは、下のような数式で簡略に表現され得る。
Claims (14)
- コンボリューションレイヤのコンボリューション演算とアクティベーションモジュールのアクティベーション演算を同時に遂行する、学習されたパラメータを有する、CNNの構成方法において、
(a)前記コンピューティング装置が、CNNの演算装置にある比較器をもって、入力イメージの各画素値に対応する入力値を所定の基準値と比較してその比較結果に対する比較結果値を出力する段階;
(b)前記コンピューティング装置が、前記CNNの演算装置にある選択器をもって、前記コンボリューションレイヤのコンボリューションフィルタの多数のパラメータのうち前記比較結果値に対応される特定パラメータを出力する段階;及び
(c)前記コンピューティング装置が、前記CNNの演算装置にある乗算器をもって、前記選択された特定パラメータと前記入力値を掛けた値を出力し、前記掛けた値を、前記アクティベーションモジュールの出力に前記コンボリューションレイヤの前記コンボリューション演算を適用した結果値に決定する段階;を含むことを特徴とする方法。 - 前記アクティベーション演算はCReLU(Concatenated Rectified Linear Units)演算であることを特徴とする請求項1に記載の方法。
- コンボリューションレイヤのコンボリューション演算とアクティベーションモジュールのアクティベーション演算を同時に遂行する、学習されたパラメータを有する、CNNの構成方法において、
(a)前記コンピューティング装置が、CNNの演算装置にある比較器をもって、入力イメージの各画素値に対応する入力値を所定の区間区分の基準値と比較して前記入力された値が前記所定の区間区分の基準値のうちどの値の間の区間に該当するかに対する情報を参照にして比較結果値を出力する段階;
(b)前記コンピューティング装置が、前記CNNの演算装置にある第1選択器をもって、前記コンボリューションレイヤの多数の統合ウェイトパラメータのうち前記比較結果値に対応される特定統合ウェイトパラメータを出力するプロセス及び前記CNNの演算装置にある第2選択器をもって、前記コンボリューションレイヤの多数の修正バイアスパラメータのうち前記比較結果値に対応される特定修正バイアスパラメータを出力するプロセスを遂行する段階;
(c)前記コンピューティング装置が、前記CNNの演算装置にある乗算器をもって、前記選択された特定統合ウェイトパラメータと前記入力値を掛けて出力する段階;及び
(d)前記コンピューティング装置が、前記CNNの演算装置にある加算器をもって、前記乗算出力値に前記選択された特定修正バイアスパラメータを足した値を出力し、前記足した値を、前記アクティベーションモジュールの出力に前記コンボリューションレイヤの前記コンボリューション演算を適用した結果値に決定する段階;を含むことを特徴とする方法。 - 前記アクティベーション演算はN−way CReLU(N−way Concatenated Rectified Linear Units)演算であることを特徴とする請求項4に記載の方法。
- コンボリューションレイヤのコンボリューション演算とアクティベーションモジュールのアクティベーション演算を同時に遂行する、学習されたパラメータを有する、CNNの構成装置において、
入力イメージの各画素値に対応する入力値を入力される通信部;
(i)前記入力値を所定の基準値と比較してその比較結果に対する比較結果値を出力するプロセス;(ii)前記コンボリューションレイヤのコンボリューションフィルタの多数のパラメータのうち前記比較結果値に対応される特定パラメータを出力するプロセス;及び(iii)前記選択された特定パラメータと前記入力値を掛けた値を出力し、前記掛けた値を、前記アクティベーションモジュールの出力に前記コンボリューションレイヤの前記コンボリューション演算を適用した結果値に決定するプロセスを遂行するプロセッサ;を含むことを特徴とする装置。 - 前記アクティベーション演算はCReLU(Concatenated Rectified Linear Units)演算であることを特徴とする請求項8に記載の装置。
- コンボリューションレイヤのコンボリューション演算とアクティベーションモジュールのアクティベーション演算を同時に遂行する、学習されたパラメータを有する、CNNの構成装置において、
入力イメージの各画素値に対応する入力値を入力される通信部;
(i)前記入力値を所定の区間区分の基準値と比較して前記入力された値が前記所定の区間区分の基準値のうちどの値の間の区間に該当するかに対する情報を参照にして比較結果値を出力するプロセス;(ii)前記コンボリューションレイヤの多数の統合ウェイトパラメータのうち前記比較結果値に対応される特定統合ウェイトパラメータを出力するプロセス;(iii)前記コンボリューションレイヤの多数の修正バイアスパラメータのうち前記比較結果値に対応される特定修正バイアスパラメータを出力するプロセス;(iv)前記選択された特定統合ウェイトパラメータと前記入力値を掛けて出力するプロセス;及び(v)前記乗算出力値に前記選択された特定修正バイアスパラメータを足した値を出力し、前記足した値を、前記アクティベーションモジュールの出力に前記コンボリューションレイヤのコンボリューション演算を適用した結果値に決定するプロセス;を遂行するプロセッサ;を含むことを特徴とする装置。 - 前記アクティベーション演算はN−way CReLU(N−way Concatenated Rectified Linear Units)演算であることを特徴とする請求項11に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/783,280 | 2017-10-13 | ||
US15/783,280 US10083375B1 (en) | 2017-10-13 | 2017-10-13 | Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019075114A true JP2019075114A (ja) | 2019-05-16 |
JP6676721B2 JP6676721B2 (ja) | 2020-04-08 |
Family
ID=63517806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018193024A Active JP6676721B2 (ja) | 2017-10-13 | 2018-10-12 | アクティベーション演算とコンボリューション演算を同時に遂行するための方法及び装置、そしてこのための学習方法及び学習装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10083375B1 (ja) |
EP (1) | EP3483793A1 (ja) |
JP (1) | JP6676721B2 (ja) |
KR (1) | KR102139083B1 (ja) |
CN (1) | CN109670574B (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7240657B2 (ja) * | 2018-05-15 | 2023-03-16 | Tokyo Artisan Intelligence株式会社 | ニューラルネットワーク回路装置、ニューラルネットワーク、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラム |
US10474930B1 (en) * | 2018-10-05 | 2019-11-12 | StradVision, Inc. | Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same |
US10372573B1 (en) * | 2019-01-28 | 2019-08-06 | StradVision, Inc. | Method and device for generating test patterns and selecting optimized test patterns among the test patterns in order to verify integrity of convolution operations to enhance fault tolerance and fluctuation robustness in extreme situations |
KR102420104B1 (ko) * | 2019-05-16 | 2022-07-12 | 삼성전자주식회사 | 영상 처리 장치 및 그 동작방법 |
CN110533090B (zh) * | 2019-08-21 | 2022-07-08 | 国网江苏省电力有限公司电力科学研究院 | 开关刀闸状态检测方法及装置 |
KR20210062485A (ko) | 2019-11-21 | 2021-05-31 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US20210200539A1 (en) * | 2019-12-28 | 2021-07-01 | Intel Corporation | Generic linear unit hardware accelerator |
CN113591025B (zh) * | 2021-08-03 | 2024-06-14 | 深圳思谋信息科技有限公司 | 特征图的处理方法、装置、卷积神经网络加速器和介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10572824B2 (en) * | 2003-05-23 | 2020-02-25 | Ip Reservoir, Llc | System and method for low latency multi-functional pipeline with correlation logic and selectively activated/deactivated pipelined data processing engines |
US9836839B2 (en) * | 2015-05-28 | 2017-12-05 | Tokitae Llc | Image analysis systems and related methods |
CN104992167B (zh) * | 2015-07-28 | 2018-09-11 | 中国科学院自动化研究所 | 一种基于卷积神经网络的人脸检测方法及装置 |
CN110688891B (zh) * | 2015-08-15 | 2024-05-31 | 硕动力公司 | 采用3d批归一化的三维(3d)卷积 |
US10002313B2 (en) * | 2015-12-15 | 2018-06-19 | Sighthound, Inc. | Deeply learned convolutional neural networks (CNNS) for object localization and classification |
US10033686B2 (en) * | 2016-05-23 | 2018-07-24 | Oath Inc. | Computerized system and method for automatically creating and communicating media streams of digital content |
CA3038967A1 (en) * | 2016-10-04 | 2018-04-12 | Magic Leap, Inc. | Efficient data layouts for convolutional neural networks |
KR102631381B1 (ko) * | 2016-11-07 | 2024-01-31 | 삼성전자주식회사 | 컨볼루션 신경망 처리 방법 및 장치 |
CN107239824A (zh) * | 2016-12-05 | 2017-10-10 | 北京深鉴智能科技有限公司 | 用于实现稀疏卷积神经网络加速器的装置和方法 |
-
2017
- 2017-10-13 US US15/783,280 patent/US10083375B1/en active Active
-
2018
- 2018-09-05 EP EP18192804.5A patent/EP3483793A1/en not_active Withdrawn
- 2018-10-10 KR KR1020180120356A patent/KR102139083B1/ko active IP Right Grant
- 2018-10-12 JP JP2018193024A patent/JP6676721B2/ja active Active
- 2018-10-15 CN CN201811196668.2A patent/CN109670574B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US10083375B1 (en) | 2018-09-25 |
CN109670574A (zh) | 2019-04-23 |
CN109670574B (zh) | 2023-08-11 |
EP3483793A1 (en) | 2019-05-15 |
KR20190041921A (ko) | 2019-04-23 |
KR102139083B1 (ko) | 2020-08-11 |
JP6676721B2 (ja) | 2020-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6676721B2 (ja) | アクティベーション演算とコンボリューション演算を同時に遂行するための方法及び装置、そしてこのための学習方法及び学習装置 | |
JP6676722B2 (ja) | アクティベーション演算とコンボリューション演算を同時に遂行するための方法及び装置、そしてこのための学習方法及び学習装置 | |
CN108073983B (zh) | 在硬件中执行核心跨越 | |
US11775804B2 (en) | Progressive neural networks | |
US12014272B2 (en) | Vector computation unit in a neural network processor | |
EP3761235B1 (en) | Transposing neural network matrices in hardware | |
JP7007488B2 (ja) | ハードウェアベースのプーリングのシステムおよび方法 | |
US10740434B1 (en) | Reduced dot product computation circuit | |
JP2019067406A (ja) | Funを用いて特徴マップを生成するための方法及び装置 | |
TW201710959A (zh) | 類神經網路處理器 | |
KR20180073118A (ko) | 컨볼루션 신경망 처리 방법 및 장치 | |
EP3186753A1 (en) | Processing images using deep neural networks | |
CN116091942A (zh) | 特征增强与融合的小目标检测方法、装置及设备 | |
US11144790B2 (en) | Deep learning model embodiments and training embodiments for faster training | |
US11468147B1 (en) | Activation function approximation in deep neural networks using rectified-linear-unit function | |
US20230153066A1 (en) | Method and apparatus for measuring weight of discrete entity | |
JP6994572B2 (ja) | データ処理システムおよびデータ処理方法 | |
CN109543837A (zh) | 机器学习网络处理方法、设备、处理器和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200312 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6676721 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |