JP2021131876A - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP2021131876A JP2021131876A JP2021075588A JP2021075588A JP2021131876A JP 2021131876 A JP2021131876 A JP 2021131876A JP 2021075588 A JP2021075588 A JP 2021075588A JP 2021075588 A JP2021075588 A JP 2021075588A JP 2021131876 A JP2021131876 A JP 2021131876A
- Authority
- JP
- Japan
- Prior art keywords
- data
- layer
- unit
- output
- compressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/046—Forward inferencing; Production systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
学習済みのニューラルネットワークの隠れ層の処理に用いる重みベクトルを量子化して、重みベクトルのデータ量を削減する技術が知られている。この技術では、隠れ層の演算結果である特徴量データは削減されない。第1の実施形態にかかる推論装置は、特徴量データを圧縮すること(量子化など)によりデータ量を削減する。
第1の実施形態では、学習済みのニューラルネットワークを用いて推論処理を実行するとき(順伝播、および、フォワードパスともいう)に、特徴量データが圧縮(例えば、量子化)および伸張(例えば、逆量子化)される。このため、圧縮前の特徴量データと圧縮・伸張後の特徴量データとで、誤差(量子化誤差)が発生し、ニューラルネットワークの性能が低下する恐れがある。
52 ROM
53 RAM
54 通信I/F
61 バス
100、100−2 推論装置
101、102 メモリ
110、110−2 推論部
111 伸張部
112、112−2 演算部
113、113−2 圧縮部
120 処理部
130−2 制御部
200−2 学習装置
Claims (10)
- ニューラルネットワークの入力層、隠れ層、および、出力層の演算を実行する演算部と、
前記入力層、前記隠れ層、および、前記出力層を含む複数の層ごとに定められた、圧縮するか否かを定める情報を参照し、圧縮することが定められた層の出力データを、前記出力データの特性に応じて定められる方式で非可逆圧縮し、圧縮データを出力する圧縮部と、
を備える情報処理装置。 - 前記圧縮部は、
前記入力層に入力される推論対象データが画像の場合、前記出力データをチャネルごとに分割した2次元データを、JPEG(Joint Photographic Experts Group)を含む画像圧縮方法を用いて非可逆圧縮し、
前記入力層に入力される推論対象データが音声の場合、前記出力データをチャネルごとに分割した1次元データを、AAC(Advanced Audio Coding)を含む音声圧縮方法を用いて非可逆圧縮する、
請求項1に記載の情報処理装置。 - 前記圧縮部により出力データが圧縮された層については、前記圧縮データを出力として、前記ニューラルネットワークの学習を制御する制御部をさらに備える、
請求項1に記載の情報処理装置。 - 前記制御部は、前記演算部の制御に用いられるパラメータの学習を制御する、
請求項3に記載の情報処理装置。 - 前記制御部は、前記圧縮部の制御に用いられるパラメータの学習を制御する、
請求項3に記載の情報処理装置。 - 圧縮されたデータを伸張して伸張データを出力する伸張部をさらに備え、
前記演算部は、入力データが圧縮されていない場合は前記入力データに対して前記演算を実行し、前記入力データが圧縮されている場合は前記伸張部によって前記入力データが伸張された前記伸張データに対して前記演算を実行する、
請求項1から請求項5のいずれか1項に記載の情報処理装置。 - 前記出力データを非圧縮とする場合は、前記出力データを対応する層の出力とし、
前記出力データを圧縮とする場合は、前記出力データを前記圧縮部で圧縮した前記圧縮データを、対応する層の出力とする、
請求項1から請求項6のいずれか1項に記載の情報処理装置。 - 前記非可逆圧縮は、非可逆の画像圧縮、または、非可逆の音声圧縮である、
請求項1から請求項7のいずれか1項に記載の情報処理装置。 - ニューラルネットワークの入力層、隠れ層、および、出力層の演算を実行する演算ステップと、
前記入力層、前記隠れ層、および、前記出力層を含む複数の層ごとに定められた、圧縮するか否かを定める情報を参照し、圧縮することが定められた層の出力データを、前記出力データの特性に応じて定められる方式で非可逆圧縮し、圧縮データを出力する圧縮ステップと、
を含む情報処理方法。 - コンピュータを、
ニューラルネットワークの入力層、隠れ層、および、出力層の演算を実行する演算部と、
前記入力層、前記隠れ層、および、前記出力層を含む複数の層ごとに定められた、圧縮するか否かを定める情報を参照し、圧縮することが定められた層の出力データを、前記出力データの特性に応じて定められる方式で非可逆圧縮し、圧縮データを出力する圧縮部と、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021075588A JP7091521B2 (ja) | 2017-08-21 | 2021-04-28 | 情報処理装置、情報処理方法およびプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017158389A JP2019036899A (ja) | 2017-08-21 | 2017-08-21 | 情報処理装置、情報処理方法およびプログラム |
JP2021075588A JP7091521B2 (ja) | 2017-08-21 | 2021-04-28 | 情報処理装置、情報処理方法およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017158389A Division JP2019036899A (ja) | 2017-08-21 | 2017-08-21 | 情報処理装置、情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021131876A true JP2021131876A (ja) | 2021-09-09 |
JP7091521B2 JP7091521B2 (ja) | 2022-06-27 |
Family
ID=65361402
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017158389A Pending JP2019036899A (ja) | 2017-08-21 | 2017-08-21 | 情報処理装置、情報処理方法およびプログラム |
JP2021075588A Active JP7091521B2 (ja) | 2017-08-21 | 2021-04-28 | 情報処理装置、情報処理方法およびプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017158389A Pending JP2019036899A (ja) | 2017-08-21 | 2017-08-21 | 情報処理装置、情報処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11411575B2 (ja) |
JP (2) | JP2019036899A (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7242165B2 (ja) | 2017-09-20 | 2023-03-20 | 株式会社Preferred Networks | プログラム、情報処理装置、および方法 |
CN109934881B (zh) * | 2017-12-19 | 2022-02-18 | 华为技术有限公司 | 图像编码方法、动作识别的方法及计算机设备 |
JP7477260B2 (ja) * | 2018-01-30 | 2024-05-01 | 株式会社Preferred Networks | 情報処理装置、情報処理プログラム及び情報処理方法 |
JP7345262B2 (ja) * | 2019-03-11 | 2023-09-15 | キヤノン株式会社 | データ圧縮装置、データ処理装置、データ圧縮方法、プログラム、及び学習済みモデル |
WO2020232613A1 (zh) * | 2019-05-20 | 2020-11-26 | 深圳先进技术研究院 | 一种视频处理方法、系统、移动终端、服务器及存储介质 |
JP7495713B2 (ja) | 2020-03-31 | 2024-06-05 | 株式会社アラヤ | 情報処理装置及び情報処理方法 |
US20230334282A1 (en) * | 2021-02-05 | 2023-10-19 | Hitachi, Ltd. | Data management system and data management method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07184062A (ja) * | 1993-12-24 | 1995-07-21 | Nec Corp | 画質評価方式 |
WO2016118257A1 (en) * | 2015-01-22 | 2016-07-28 | Qualcomm Incorporated | Model compression and fine-tuning |
JP2017097718A (ja) * | 2015-11-26 | 2017-06-01 | 株式会社リコー | 識別処理装置、識別システム、識別処理方法、およびプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002511175A (ja) * | 1998-03-23 | 2002-04-09 | 松下電器産業株式会社 | 画像認識方法 |
US6236749B1 (en) | 1998-03-23 | 2001-05-22 | Matsushita Electronics Corporation | Image recognition method |
JP2016029568A (ja) | 2014-07-23 | 2016-03-03 | 国立大学法人電気通信大学 | 線形識別器、大規模一般物体認識装置、電子計算機、モバイル端末、データ処理装置、および画像認識システム |
JP6706788B2 (ja) | 2015-03-06 | 2020-06-10 | パナソニックIpマネジメント株式会社 | 画像認識方法、画像認識装置およびプログラム |
US9767381B2 (en) * | 2015-09-22 | 2017-09-19 | Xerox Corporation | Similarity-based detection of prominent objects using deep CNN pooling layers as features |
US20180075347A1 (en) * | 2016-09-15 | 2018-03-15 | Microsoft Technology Licensing, Llc | Efficient training of neural networks |
KR102499396B1 (ko) * | 2017-03-03 | 2023-02-13 | 삼성전자 주식회사 | 뉴럴 네트워크 장치 및 뉴럴 네트워크 장치의 동작 방법 |
-
2017
- 2017-08-21 JP JP2017158389A patent/JP2019036899A/ja active Pending
-
2018
- 2018-02-16 US US15/898,341 patent/US11411575B2/en active Active
-
2021
- 2021-04-28 JP JP2021075588A patent/JP7091521B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07184062A (ja) * | 1993-12-24 | 1995-07-21 | Nec Corp | 画質評価方式 |
WO2016118257A1 (en) * | 2015-01-22 | 2016-07-28 | Qualcomm Incorporated | Model compression and fine-tuning |
JP2017097718A (ja) * | 2015-11-26 | 2017-06-01 | 株式会社リコー | 識別処理装置、識別システム、識別処理方法、およびプログラム |
Non-Patent Citations (2)
Title |
---|
CHEN,YU-HSIN ほか3名: "Eyeriss: An Energy-Efficient Reconfigurable Accelator for Deep Convolutional Neural Networks", IEEE JOURNAL OF SOLID STATE CIRCUITS, vol. 52, no. 1, JPN6022008795, January 2017 (2017-01-01), pages 127 - 138, ISSN: 0004722852 * |
武田 龍 ほか2名: "量子化Deep Neural Networkのための有界重みモデルに基づく音響モデル学習", 第46回AIチャレンジ研究会予稿集, JPN6022008794, 9 November 2016 (2016-11-09), pages 2 - 11, ISSN: 0004722853 * |
Also Published As
Publication number | Publication date |
---|---|
US20190058489A1 (en) | 2019-02-21 |
JP2019036899A (ja) | 2019-03-07 |
JP7091521B2 (ja) | 2022-06-27 |
US11411575B2 (en) | 2022-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7091521B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20240104378A1 (en) | Dynamic quantization of neural networks | |
US11574188B2 (en) | Data processing apparatus, data processing method, medium, and trained model | |
US11651224B2 (en) | Method for formatting a weight matrix, accelerator using the formatted weight matrix, and system including the accelerator | |
JP6789894B2 (ja) | ネットワーク係数圧縮装置、ネットワーク係数圧縮方法およびプログラム | |
JP6898778B2 (ja) | 機械学習システム及び機械学習方法 | |
JP6811736B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2020532777A (ja) | ディープニューラルネットワークの実行方法、実行装置、学習方法、学習装置及びプログラム | |
US20220237454A1 (en) | Linear neural reconstruction for deep neural network compression | |
JP2023179645A (ja) | ニューラルネットワークの表現形式 | |
CN114071141A (zh) | 一种图像处理方法及其设备 | |
CN111461302A (zh) | 一种基于卷积神经网络的数据处理方法、设备及存储介质 | |
CN110135570B (zh) | 压缩卷积运算系数的方法、卷积运算晶片及系统 | |
JP2022510944A (ja) | 非可逆復元を伴う非可逆有意圧縮 | |
KR102360116B1 (ko) | 압축 모듈을 포함하는 인공지능 가속기 및 이를 이용한 데이터 전달 방법 | |
JP7299134B2 (ja) | データ処理装置及びその動作方法、プログラム | |
CN116260969B (zh) | 一种自适应的通道渐进式编解码方法、装置、终端及介质 | |
WO2022190195A1 (ja) | 情報処理システム、符号化装置、復号装置、モデル学習装置、情報処理方法、符号化方法、復号方法、モデル学習方法、および、プログラム記憶媒体 | |
CN111565314A (zh) | 图像压缩方法、编解码网络训练方法、装置及电子设备 | |
CN113052258B (zh) | 基于中间层特征图压缩的卷积方法、模型及计算机设备 | |
JP7055211B2 (ja) | データ処理システムおよびデータ処理方法 | |
US20210074306A1 (en) | Encoding method and decoding method for audio signal using dynamic model parameter, audio encoding apparatus and audio decoding apparatus | |
JP4315431B2 (ja) | 直交変換器、逆直交変換器、直交変換方法及び逆直交変換方法 | |
CN109886858B (zh) | 一种数据处理的方法及装置 | |
US20220222865A1 (en) | System and method for image compression based on machine learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220615 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7091521 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |