JP2017516192A - ニューラルネットワークにおける差分符号化 - Google Patents

ニューラルネットワークにおける差分符号化 Download PDF

Info

Publication number
JP2017516192A
JP2017516192A JP2016558315A JP2016558315A JP2017516192A JP 2017516192 A JP2017516192 A JP 2017516192A JP 2016558315 A JP2016558315 A JP 2016558315A JP 2016558315 A JP2016558315 A JP 2016558315A JP 2017516192 A JP2017516192 A JP 2017516192A
Authority
JP
Japan
Prior art keywords
value
neuron
activation value
neural network
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016558315A
Other languages
English (en)
Japanese (ja)
Other versions
JP2017516192A5 (enExample
Inventor
アンナプレディー、ベンカタ・スリーカンタ・レッディ
ジュリアン、デイビッド・ジョナサン
トワル、レーガン・ブライス
リウ、インイン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017516192A publication Critical patent/JP2017516192A/ja
Publication of JP2017516192A5 publication Critical patent/JP2017516192A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
JP2016558315A 2014-03-24 2015-03-17 ニューラルネットワークにおける差分符号化 Pending JP2017516192A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461969747P 2014-03-24 2014-03-24
US61/969,747 2014-03-24
US14/513,155 US20150269481A1 (en) 2014-03-24 2014-10-13 Differential encoding in neural networks
US14/513,155 2014-10-13
PCT/US2015/021077 WO2015148189A2 (en) 2014-03-24 2015-03-17 Differential encoding in neural networks

Publications (2)

Publication Number Publication Date
JP2017516192A true JP2017516192A (ja) 2017-06-15
JP2017516192A5 JP2017516192A5 (enExample) 2018-04-05

Family

ID=54142454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016558315A Pending JP2017516192A (ja) 2014-03-24 2015-03-17 ニューラルネットワークにおける差分符号化

Country Status (7)

Country Link
US (1) US20150269481A1 (enExample)
EP (1) EP3123404A2 (enExample)
JP (1) JP2017516192A (enExample)
KR (1) KR20160136381A (enExample)
CN (1) CN107077637B (enExample)
BR (1) BR112016022195A2 (enExample)
WO (1) WO2015148189A2 (enExample)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020095848A1 (ja) * 2018-11-06 2020-05-14 株式会社 東芝 製品状態推定装置
JP2021515283A (ja) * 2017-12-19 2021-06-17 インテル コーポレイション スパイキングニューラルネットワークの位相差でシナプス荷重を変化させる装置、システム及び方法
JP2022502727A (ja) * 2018-09-06 2022-01-11 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 因子グラフ上での確率伝搬
JP2023519564A (ja) * 2020-03-31 2023-05-11 エーティーアイ・テクノロジーズ・ユーエルシー 機械学習ジョブ中にメモリ圧縮転送を改善するための類似性に基づく特徴の並べ替え
JP2024513645A (ja) * 2021-03-16 2024-03-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 通信コストを削減する為に、抵抗処理ユニット（ｒｐｕ）アレイ内に階層的なデータロードを可能にすること

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150379397A1 (en) 2014-06-28 2015-12-31 Brainchip, Inc. Secure voice signature communications system
US10262259B2 (en) * 2015-05-08 2019-04-16 Qualcomm Incorporated Bit width selection for fixed point neural networks
US11126913B2 (en) * 2015-07-23 2021-09-21 Applied Brain Research Inc Methods and systems for implementing deep spiking neural networks
WO2017068490A1 (en) * 2015-10-23 2017-04-27 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device
JP6612473B2 (ja) * 2016-01-25 2019-11-27 ディープマインド テクノロジーズ リミテッド ニューラルネットワークを使用した画像生成
US10528863B2 (en) * 2016-04-01 2020-01-07 Numenta, Inc. Feedback mechanisms in sequence learning systems with temporal processing capability
KR102399548B1 (ko) * 2016-07-13 2022-05-19 삼성전자주식회사 뉴럴 네트워크를 위한 방법 및 그 방법을 수행하는 장치
US10949737B2 (en) * 2016-07-13 2021-03-16 Samsung Electronics Co., Ltd. Method for neural network and apparatus performing same method
US11238337B2 (en) * 2016-08-22 2022-02-01 Applied Brain Research Inc. Methods and systems for implementing dynamic neural networks
US20180121791A1 (en) * 2016-11-03 2018-05-03 Qualcomm Incorporated Temporal difference estimation in an artificial neural network
CN113537480B (zh) * 2016-12-30 2024-04-02 上海寒武纪信息科技有限公司 用于执行lstm神经网络运算的装置和运算方法
US20190347541A1 (en) * 2016-12-30 2019-11-14 Nokia Technologies Oy Apparatus, method and computer program product for deep learning
CN108345939B (zh) * 2017-01-25 2022-05-24 微软技术许可有限责任公司 基于定点运算的神经网络
US10311339B2 (en) * 2017-02-14 2019-06-04 Google Llc Unsupervised learning techniques for temporal difference models
JP7019138B2 (ja) * 2017-02-28 2022-02-15 国立大学法人電気通信大学 符号化装置、符号化方法およびプログラム
JP6898778B2 (ja) * 2017-06-02 2021-07-07 株式会社日立製作所 機械学習システム及び機械学習方法
KR102410820B1 (ko) * 2017-08-14 2022-06-20 삼성전자주식회사 뉴럴 네트워크를 이용한 인식 방법 및 장치 및 상기 뉴럴 네트워크를 트레이닝하는 방법 및 장치
US12198064B2 (en) 2017-08-22 2025-01-14 Syntiant Systems and methods for determining circuit-level effects on classifier accuracy
US20190102669A1 (en) * 2017-09-29 2019-04-04 Intel Corporation Global and local time-step determination schemes for neural networks
WO2019074532A1 (en) * 2017-10-09 2019-04-18 Intel Corporation METHOD, APPARATUS AND SYSTEM FOR PERFORMING ACTION RECOGNITION USING AN IMPULSE NEURAL NETWORK
CN109961133B (zh) * 2017-12-14 2020-04-24 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
US11636318B2 (en) * 2017-12-15 2023-04-25 Intel Corporation Context-based search using spike waves in spiking neural networks
US20190034716A1 (en) 2017-12-28 2019-01-31 Intel Corporation Privacy-preserving demographics identification
US10825201B2 (en) * 2018-02-20 2020-11-03 Lyft, Inc. Deep direct localization from ground imagery and location readings
KR102091498B1 (ko) * 2018-06-11 2020-03-24 고려대학교 산학협력단 비지도 학습장치 및 그 학습방법
US11030518B2 (en) * 2018-06-13 2021-06-08 United States Of America As Represented By The Secretary Of The Navy Asynchronous artificial neural network architecture
EP3917087B1 (en) * 2020-05-26 2023-04-19 Nxp B.V. Controller and transceiver
SE544261C2 (en) 2020-06-16 2022-03-15 IntuiCell AB A computer-implemented or hardware-implemented method of entity identification, a computer program product and an apparatus for entity identification
CN113762487B (zh) * 2021-08-17 2023-11-10 西北大学 基于神经架构搜索及dbn网络的脑功能网络生成方法及系统
KR20240158261A (ko) * 2022-03-02 2024-11-04 인투이셀 에이비 제1 시스템의 시간적 역학 표현을 제공하는 방법, 미들웨어 시스템, 컨트롤러 시스템, 컴퓨터 프로그램 제품 및 비일시적 컴퓨터 판독 가능 저장 매체
KR102593930B1 (ko) 2023-04-18 2023-10-25 주식회사 한국스크랩 친환경 폐 알루미늄 박리 자동화 시스템

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1272417B (it) * 1993-04-29 1997-06-23 Alcatel Italia Metodo per la codifica e decodifica differenziale e relativi circuiti
US6185548B1 (en) * 1998-06-19 2001-02-06 Albert Einstein College Of Medicine Of Yeshiva University Neural network methods to predict enzyme inhibitor or receptor ligand potency
US20010025232A1 (en) * 1998-10-02 2001-09-27 Klimasauskas Casimir C. Hybrid linear-neural network process control
US7430546B1 (en) * 2003-06-07 2008-09-30 Roland Erwin Suri Applications of an algorithm that mimics cortical processing
CN1622129A (zh) * 2004-12-13 2005-06-01 中国科学院长春光学精密机械与物理研究所 人工神经网络的优化方法
CN101310294A (zh) * 2005-11-15 2008-11-19 伯纳黛特·加纳 神经网络的训练方法
JP4840494B2 (ja) * 2009-09-16 2011-12-21 沖電気工業株式会社 時系列データ予測ニューラルネットワーク装置
CN101824807A (zh) * 2010-04-16 2010-09-08 同济大学 一种潮汐河流地区取水口咸潮短期预测方法
CN104346801B (zh) * 2013-08-02 2018-07-20 佳能株式会社 图像构图评估装置、信息处理装置及其方法
CN103559538A (zh) * 2013-11-12 2014-02-05 上海电机学院 Bp神经网络结构优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
横山裕樹、渡部修: "多階層予測符号化モデルに基づくパターンの表現", 電子情報通信学会論文誌, vol. 第J94-D巻, 第1号, JPN6019000391, 1 January 2011 (2011-01-01), JP, pages 384 - 394, ISSN: 0003955361 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7167151B2 (ja) 2017-12-19 2022-11-08 インテル コーポレイション スパイキングニューラルネットワークの位相差でシナプス荷重を変化させる装置、システム及び方法
US11568241B2 (en) 2017-12-19 2023-01-31 Intel Corporation Device, system and method for varying a synaptic weight with a phase differential of a spiking neural network
JP2021515283A (ja) * 2017-12-19 2021-06-17 インテル コーポレイション スパイキングニューラルネットワークの位相差でシナプス荷重を変化させる装置、システム及び方法
JP2022502727A (ja) * 2018-09-06 2022-01-11 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 因子グラフ上での確率伝搬
JP7332193B2 (ja) 2018-09-06 2023-08-23 インターナショナル・ビジネス・マシーンズ・コーポレーション 因子グラフ上での確率伝搬
JP7021052B2 (ja) 2018-11-06 2022-02-16 株式会社東芝 製品状態推定装置
WO2020095848A1 (ja) * 2018-11-06 2020-05-14 株式会社 東芝 製品状態推定装置
JP2020075385A (ja) * 2018-11-06 2020-05-21 株式会社東芝 製品状態推定装置
US11644825B2 (en) 2018-11-06 2023-05-09 Kabushiki Kaisha Toshiba Product state estimation device
JP2023519564A (ja) * 2020-03-31 2023-05-11 エーティーアイ・テクノロジーズ・ユーエルシー 機械学習ジョブ中にメモリ圧縮転送を改善するための類似性に基づく特徴の並べ替え
JP7775211B2 (ja) 2020-03-31 2025-11-25 エーティーアイ・テクノロジーズ・ユーエルシー 機械学習ジョブ中にメモリ圧縮転送を改善するための類似性に基づく特徴の並べ替え
JP2024513645A (ja) * 2021-03-16 2024-03-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 通信コストを削減する為に、抵抗処理ユニット（ｒｐｕ）アレイ内に階層的なデータロードを可能にすること
JP7725173B2 (ja) 2021-03-16 2025-08-19 インターナショナル・ビジネス・マシーンズ・コーポレーション 通信コストを削減する為に、抵抗処理ユニット（ｒｐｕ）アレイ内に階層的なデータロードを可能にすること

Also Published As

Publication number Publication date
CN107077637B (zh) 2021-07-20
WO2015148189A3 (en) 2015-12-17
WO2015148189A2 (en) 2015-10-01
CN107077637A (zh) 2017-08-18
US20150269481A1 (en) 2015-09-24
EP3123404A2 (en) 2017-02-01
KR20160136381A (ko) 2016-11-29
BR112016022195A2 (pt) 2017-08-15

Similar Documents

Publication Publication Date Title
JP2017516192A (ja) ニューラルネットワークにおける差分符号化
US10339447B2 (en) Configuring sparse neuronal networks
US9558442B2 (en) Monitoring neural networks with shadow networks
JP2017515205A (ja) Ｃｏｌｄニューロンスパイクタイミングバックプロバゲーション
JP2017525038A (ja) ニューラルネットワークにおける畳込み演算の分解
JP2017513127A (ja) スパイキング深層信念ネットワーク（ｄｂｎ）におけるトレーニング、認識、および生成
JP2017509982A (ja) 原位置ニューラルネットワークコプロセッシング
JP2017515189A (ja) 写真管理
JP2017509978A (ja) 確率論的スパイキングベイジアンネットワークに関する事象に基づく推論および学習
US10552734B2 (en) Dynamic spatial target selection
JP2017519268A (ja) スパイキングニューラルネットワークにおけるグローバルスカラ値によって可塑性を調節すること
JP2017514215A (ja) スパイキングニューラルネットワークを使用する画像の不変オブジェクト表現
JP2016538633A (ja) 多次元範囲にわたって分離可能なサブシステムを含むシステムの評価
JP2016536664A (ja) ニューラルダイナミクスを修正するための自動化された方法
JP6133517B2 (ja) 座標変換のための位相コーディング
JP6193509B2 (ja) 可塑性シナプス管理
JP2017509956A (ja) 値をスパイクに変換するための方法
JP2016537711A (ja) スパイキングニューロンのネットワークにおける輻輳回避
JP6219509B2 (ja) シナプス遅延を動的に割り当てることおおよび検査すること
JP6096388B2 (ja) ニューラルネットワークモデルにおけるドップラー効果処理
JP2017513110A (ja) ニューロモーフィックモデル開発のためのコンテキストリアルタイムフィードバック
JP2017509979A (ja) 空間ターゲット選択のためのアンバランスな交差抑制メカニズム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190806