JP2020144659A - データ処理装置及びその方法、プログラム - Google Patents
データ処理装置及びその方法、プログラム Download PDFInfo
- Publication number
- JP2020144659A JP2020144659A JP2019041447A JP2019041447A JP2020144659A JP 2020144659 A JP2020144659 A JP 2020144659A JP 2019041447 A JP2019041447 A JP 2019041447A JP 2019041447 A JP2019041447 A JP 2019041447A JP 2020144659 A JP2020144659 A JP 2020144659A
- Authority
- JP
- Japan
- Prior art keywords
- feature data
- channels
- data
- output
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 42
- 238000000605 extraction Methods 0.000 claims abstract description 81
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 239000000284 extract Substances 0.000 claims abstract 5
- 230000008569 process Effects 0.000 claims description 23
- 238000001994 activation Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims 2
- 108091006146 Channels Proteins 0.000 description 218
- 238000011176 pooling Methods 0.000 description 89
- 230000009467 reduction Effects 0.000 description 17
- 238000011946 reduction process Methods 0.000 description 12
- 230000004913 activation Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 230000006837 decompression Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
Abstract
Description
実施形態1では、最も簡単な例として、α=2の場合についてチャネル方向プーリングを用いた特徴データ処理を行う。チャネル方向プーリングを用いた特徴データ処理を実現する装置及び方法の一例を示す。以下に示す装置及び方法により、特徴データメモリのメモリ使用量を増やすことなくニューラルネットワークの認識精度を向上させることを目的とする。
実施形態2では、実施形態1と同様に特徴データメモリの使用量を増やすことなくニューラルネットワークの認識精度を高めることを目的とする。加えて、与えられた係数メモリ容量と処理時間の制約を満たしつつ、できるだけ高い認識性能を達成することを目的とする。以下では、認識精度と係数メモリ使用量及び処理時間のトレードオフにおいてスケーラブルな特徴データ処理装置及び方法の例を示す。出力チャネル数に対する仮想チャネル数の比αは、実施形態1と同様に2とする。
その他の実施形態について、図11に示す構成の特徴データ処理装置に基づいて説明する。抽出手段1101及びチャネル削減手段1102は、実施形態1における畳込み層処理部401及びプーリング層処理部402に相当する。他の実施例においても、図6または図10に示すフローチャートに従って処理が行われるものとする。
402 プーリング層処理部
403 特徴データメモリ
404 制御部
Claims (16)
- 複数の階層を有するニューラルネットワークによるデータ処理を実行するデータ処理装置であって、
入力特徴データから中間特徴データを抽出する抽出手段と、
前記中間特徴データからチャネル数を削減した出力特徴データを算出する算出手段と、
前記算出手段が算出した出力特徴データを格納し、前記抽出手段に入力特徴データを与える記憶手段と、
前記抽出手段が抽出する中間特徴データのチャネル数と前記算出手段が算出する出力特徴データのチャネル数とを制御する制御手段とを有することを特徴とするデータ処理装置。 - 前記抽出手段は、前記入力特徴データから当該入力特徴データよりもチャネル数の多い中間特徴データを抽出することを特徴とする請求項1に記載のデータ処理装置。
- 前記入力特徴データのチャネル数及び前記出力特徴データのチャネル数は、データのビット幅及び前記特徴データメモリの容量に基づいて予め決定され、前記中間特徴データのチャネル数は、前記入力特徴データのチャネル数及び前記出力特徴データのチャネル数に基づいて予め決定されることを特徴とする請求項1に記載のデータ処理装置。
- 前記制御手段は、中間特徴データのチャネル数及び出力特徴データのチャネル数を複数の階層について制御することを特徴とする請求項1に記載のデータ処理装置。
- 前記制御手段は、前記抽出手段に係数を与え、
前記抽出手段は、当該係数を用いて前記中間特徴データを抽出することを特徴とする請求項1に記載のデータ処理装置。 - 前記制御手段は、前記抽出手段に、前記入力特徴データのチャネル数より少ない数の係数を与え、
前記抽出手段は、前記入力特徴データの一部のチャネルを前記中間特徴データの算出に用いることを特徴とする請求項5に記載のデータ処理装置。 - 前記制御手段は、前記抽出手段に、前記入力特徴データのチャネル数より少ない数の係数を与え、
前記抽出手段は、前記中間特徴データを算出する際に、一つの係数を複数の回数、用いることを特徴とする請求項5に記載のデータ処理装置。 - 前記抽出手段は、前記出力特徴データを、一定のサイズ及び一定のチャネル数ごとに分割したブロック単位で逐次的に算出することを特徴とする請求項1に記載のデータ処理装置。
- 前記制御手段はデータのビット幅を指示し、
前記抽出手段は、前記ビット幅で量子化した中間特徴データを出力することを特徴とする請求項1に記載のデータ処理装置。 - 前記抽出手段は、活性化処理の出力として、前記制御手段が指示したビット幅で量子化された中間特徴データを出力することを特徴とする請求項9に記載のデータ処理装置。
- 前記算出手段は、前記中間特徴データのチャネル数を削減する処理と、前記出力特徴データの1チャネルあたりのデータの量を削減する処理とを行うことを特徴とする請求項1に記載のデータ処理装置。
- 前記記憶手段は、前記算出手段が行うチャネル数を削減する処理により得られた出力特徴データを保持し、
前記抽出手段は、ある階層の前記出力特徴データについて展開処理を行った結果を後の階層の前記入力特徴データとして受け取ることを特徴とする請求項1に記載のデータ処理装置。 - 前記算出手段は、算出する前記出力特徴データのチャネル数を前記中間特徴データが与えられる毎に切り替えることを特徴とする請求項1に記載のデータ処理装置。
- 前記算出手段は、1チャネルの前記出力特徴データの算出に用いる前記中間特徴データのチャネル数と異なる大きさのストライドに従って、当該出力特徴データの算出に用いる中間特徴データを切り替えることを特徴とする請求項1に記載のデータ処理装置。
- 複数の階層を有するニューラルネットワークによるデータ処理を実行するデータ処理方法であって、
入力特徴データから中間特徴データを抽出する抽出工程と、
前記中間特徴データからチャネル数を削減した出力特徴データを算出する算出工程と、
前記算出手段が算出した出力特徴データをメモリに格納し、前記抽出工程で用いる入力特徴データを与える記憶工程と、
前記抽出工程で抽出する中間特徴データのチャネル数と前記算出工程で算出する出力特徴データのチャネル数とを制御する制御工程とを有することを特徴とするデータ処理方法。 - コンピュータを、請求項1乃至14の何れか1項に記載のデータ処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019041447A JP7353772B2 (ja) | 2019-03-07 | 2019-03-07 | データ処理装置及びその方法、プログラム |
US16/799,199 US11853864B2 (en) | 2019-03-07 | 2020-02-24 | Data processing apparatus and data processing method for executing processing using neural network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019041447A JP7353772B2 (ja) | 2019-03-07 | 2019-03-07 | データ処理装置及びその方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020144659A true JP2020144659A (ja) | 2020-09-10 |
JP2020144659A5 JP2020144659A5 (ja) | 2022-03-15 |
JP7353772B2 JP7353772B2 (ja) | 2023-10-02 |
Family
ID=72335326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019041447A Active JP7353772B2 (ja) | 2019-03-07 | 2019-03-07 | データ処理装置及びその方法、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11853864B2 (ja) |
JP (1) | JP7353772B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019212206A (ja) * | 2018-06-08 | 2019-12-12 | 沖電気工業株式会社 | ニューラルネットワーク軽量化装置、情報処理装置、ニューラルネットワーク軽量化方法およびプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018067154A (ja) | 2016-10-19 | 2018-04-26 | ソニーセミコンダクタソリューションズ株式会社 | 演算処理回路および認識システム |
CN107895191B (zh) * | 2017-10-30 | 2022-02-22 | 上海寒武纪信息科技有限公司 | 一种信息处理方法及相关产品 |
US11488002B2 (en) * | 2018-02-15 | 2022-11-01 | Atlazo, Inc. | Binary neural network accelerator engine methods and systems |
CN112840356B (zh) * | 2018-10-09 | 2023-04-11 | 华为技术有限公司 | 运算加速器、处理方法及相关设备 |
KR20200066952A (ko) * | 2018-12-03 | 2020-06-11 | 삼성전자주식회사 | 확장 컨벌루션 연산을 수행하는 장치 및 방법 |
WO2020175862A1 (ko) * | 2019-02-25 | 2020-09-03 | 주식회사 딥엑스 | 인공신경망의 비트 양자화 방법 및 시스템 |
-
2019
- 2019-03-07 JP JP2019041447A patent/JP7353772B2/ja active Active
-
2020
- 2020-02-24 US US16/799,199 patent/US11853864B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019212206A (ja) * | 2018-06-08 | 2019-12-12 | 沖電気工業株式会社 | ニューラルネットワーク軽量化装置、情報処理装置、ニューラルネットワーク軽量化方法およびプログラム |
Non-Patent Citations (3)
Title |
---|
DIEGO MARCOS ET AL: "Learning rotation invariant convolutional filters for texture classification", 2016 23RD INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR), JPN7023000796, 8 December 2016 (2016-12-08), pages 2012 - 2017, XP033085883, ISSN: 0004999965, DOI: 10.1109/ICPR.2016.7899932 * |
HAO LI ET AL: "Pruning Filters for Efficient ConvNets", ARXIV, JPN7023000798, 31 August 2016 (2016-08-31), pages 1 - 9, ISSN: 0004999963 * |
YAO ZHAI ET AL: "Feature Selective Networks for Object Detection", 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, JPN7023000797, 23 June 2018 (2018-06-23), pages 4139 - 4147, XP033476386, ISSN: 0004999964, DOI: 10.1109/CVPR.2018.00435 * |
Also Published As
Publication number | Publication date |
---|---|
US11853864B2 (en) | 2023-12-26 |
JP7353772B2 (ja) | 2023-10-02 |
US20200285961A1 (en) | 2020-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4585456B2 (ja) | ボケ変換装置 | |
JP5555706B2 (ja) | 高解像度映像獲得装置およびその方法 | |
JP2021525408A (ja) | 画像または音声データの入力データセットペアの変位マップの生成 | |
JP5275489B2 (ja) | 画像処理装置および方法 | |
RU2764395C1 (ru) | Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети | |
US20190347847A1 (en) | View generation from a single image using fully convolutional neural networks | |
KR20180050928A (ko) | 컨볼루션 신경망 처리 방법 및 장치 | |
US11216910B2 (en) | Image processing system, image processing method and display device | |
KR20190126440A (ko) | 인터리빙된 채널 데이터를 위한 구성가능한 컨볼루션 엔진 | |
WO2020146911A2 (en) | Multi-stage multi-reference bootstrapping for video super-resolution | |
JP7345262B2 (ja) | データ圧縮装置、データ処理装置、データ圧縮方法、プログラム、及び学習済みモデル | |
JP6726060B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
CN110991627A (zh) | 信息处理装置、信息处理方法 | |
JP7027776B2 (ja) | 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法 | |
JP2020204894A (ja) | フィルタ処理装置及びその制御方法 | |
JP2020144659A (ja) | データ処理装置及びその方法、プログラム | |
JP6661491B2 (ja) | 画像処理装置および画像処理方法 | |
WO2014077024A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
WO2017217395A1 (ja) | 画像処理装置、画像処理方法及びプログラム記録媒体 | |
JP2011043901A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器 | |
JP6817784B2 (ja) | 超解像装置及びプログラム | |
JP5076758B2 (ja) | 画像処理方法およびプログラム | |
KR20200143274A (ko) | 데이터 처리장치 및 그 제어 방법 | |
US20230153952A1 (en) | Deep learning framework for video remastering | |
JP2020057242A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220307 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230920 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7353772 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |