JP2021503661A - 第1のニューラルネットワークモデルと第2のニューラルネットワークモデルとの訓練 - Google Patents
第1のニューラルネットワークモデルと第2のニューラルネットワークモデルとの訓練 Download PDFInfo
- Publication number
- JP2021503661A JP2021503661A JP2020527753A JP2020527753A JP2021503661A JP 2021503661 A JP2021503661 A JP 2021503661A JP 2020527753 A JP2020527753 A JP 2020527753A JP 2020527753 A JP2020527753 A JP 2020527753A JP 2021503661 A JP2021503661 A JP 2021503661A
- Authority
- JP
- Japan
- Prior art keywords
- model
- weights
- processor
- training
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
Claims (15)
- 第1のニューラルネットワークモデルと第2のニューラルネットワークモデルとを訓練するためのシステムであって、命令セットを表す命令データを含むメモリ、及び前記メモリと通信し、前記命令セットを実行するためのプロセッサを備え、前記命令セットは、前記プロセッサにより実行されると、
第1のモデルにおける対応する重みに基づいて第2のモデルにおける重みを設定することと、
第1のデータ集合において前記第2のモデルを訓練することであって、前記訓練することが、前記第2のモデルにおける重みを更新することを有する、訓練することと、
前記第2のモデルにおける更新された重みに基づいて前記第1のモデルにおける対応する重みを調節することとを前記プロセッサに行わせる、
システム。 - 前記重みは、前記第2のモデルの入力層と前記第2のモデルの隠れ層とのうちの1つにおける重みを含む、請求項1に記載のシステム。
- 前記第1のモデルにおける対応する重みを調節することを前記プロセッサに行わせることは、前記第2のモデルからの重みの値を前記第1のモデルにおける対応する重みにコピーすることを前記プロセッサに行わせる、請求項1又は2に記載のシステム。
- 前記第1のモデルにおける対応する重みを調節することを前記プロセッサに行わせることは、前記第1のモデルにおける対応する重みと前記第2のモデルにおける重みとの間の差に基づいて、前記第1のモデルにおける対応する重みの値にインクリメントを適用することをプロセッサに行わせる、請求項1又は2に記載のシステム。
- 前記第1のモデルにおける対応する重みを調節することを前記プロセッサに行わせることは、前記第1のモデルの出力層における重みを任意値に設定することをプロセッサに行わせる、請求項1から4の何れか一項に記載のシステム。
- 前記第1のモデルにおける対応する重みを調節することを前記プロセッサに行わせることは、前記第1のモデルの出力層における少なくとも1つの重みの値を同じ値に維持することを前記プロセッサに行わせる、請求項1から5の何れか一項に記載のシステム。
- 前記第2のモデルにおける重みを設定することを前記プロセッサに行わせることは、前記第1のモデルの入力層と前記第1のモデルの隠れ層とのうちの1つからの重みの値を前記第2のモデルにおける対応する重みにコピーすることを前記プロセッサに行わせることを含む、請求項1から6の何れか一項に記載のシステム。
- 前記第2のモデルにおける重みを設定することを前記プロセッサに行わせることは、前記第2のモデルの出力層における少なくとも1つの重みを任意値に設定することを前記プロセッサに行わせる、請求項1から7の何れか一項に記載のシステム。
- 前記第1のモデルは、前記物体検出モデルと前記物体位置特定モデルとのうちの1つを含み、前記第2のモデルは、前記物体検出モデルと前記物体位置特定モデルとのうちの他方の1つを含む、請求項1から8の何れか一項に記載のシステム。
- 前記第1のモデルは、1つの出力を生成するためのモデルと複数の出力を生成するためのモデルとのうちの1つを含み、前記第2のモデルは、1つの出力を生成するためのモデルと複数の出力を生成するためのモデルとのうちの他方の1つを含む、請求項1から9の何れか一項に記載のシステム。
- 前記命令セットは、前記プロセッサにより実行されると、前記第1のモデルと前記第2のモデルとのうちの他方の1つのさらなる訓練に応答して、前記第1のモデルと前記第2のモデルとのうちの1つにおける重みを調節することを前記プロセッサにさらに行わせる、請求項1から10の何れか一項に記載のシステム。
- 前記命令セットは、前記プロセッサにより実行されると、以下の基準、すなわち、
前記第1のモデル及び/又は前記第2のモデルが閾値精度レベルに達すること、
前記調節の大きさが閾値の大きさ未満に低下すること、
前記第1のモデルにおける重みと、前記第1のモデルにおける重みに対応した前記第2のモデルにおける重みとが既定の閾値内において互いに向けて収束すること、及び、
前記第1のモデルに関連した損失及び/又は前記第2のモデルに関連した損失が後続の調節間に閾値量未満分変化すること
のうちの1つ又は複数が満たされるまで、重みを調節するステップを反復することをプロセッサに行わせる、請求項11に記載のシステム。 - 前記第1のモデルは、第2のデータ集合において訓練され、第1のデータ集合は、前記第2のデータ集合より少ないデータを含み、前記第2のデータ集合単独のサイズが、任意に始められた重みを使用して既定の精度まで前記第2のモデルを訓練するには不十分である、請求項1から12の何れか一項に記載のシステム。
- 第1のニューラルネットワークモデルと第2のニューラルネットワークモデルとを訓練するコンピュータ実施方法であって、前記方法が、
第1のモデルにおける対応する重みに基づいて第2のモデルにおける重みを設定するステップと、
データ集合において前記第2のモデルを訓練するステップであって、前記第2のモデルにおける重みを更新することを有する、訓練するステップと、
前記第2のモデルにおける更新された重みに基づいて前記第1のモデルにおける対応する重みを調節するステップとを有する、
方法。 - 非一時的なコンピュータ可読媒体内において具現化されたコンピュータ可読コードを含み、前記非一時コンピュータ可読コードが、適切なコンピュータ又はプロセッサによる実行時に、前記コンピュータ又は前記プロセッサに請求項14に記載の方法を実施させる、非一時的なコンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762588542P | 2017-11-20 | 2017-11-20 | |
US62/588,542 | 2017-11-20 | ||
PCT/EP2018/080991 WO2019096754A1 (en) | 2017-11-20 | 2018-11-13 | Training first and second neural network models |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021503661A true JP2021503661A (ja) | 2021-02-12 |
JP2021503661A5 JP2021503661A5 (ja) | 2021-12-23 |
JP7325414B2 JP7325414B2 (ja) | 2023-08-14 |
Family
ID=64308755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020527753A Active JP7325414B2 (ja) | 2017-11-20 | 2018-11-13 | 第1のニューラルネットワークモデルと第2のニューラルネットワークモデルとの訓練 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11657265B2 (ja) |
JP (1) | JP7325414B2 (ja) |
CN (1) | CN111492382B (ja) |
WO (1) | WO2019096754A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022538137A (ja) * | 2020-04-30 | 2022-08-31 | 上▲海▼商▲湯▼智能科技有限公司 | 画像検出方法及び関連モデルの訓練方法並びに関連装置、機器 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11995533B1 (en) | 2018-12-05 | 2024-05-28 | Perceive Corporation | Executing replicated neural network layers on inference circuit |
CN111105031B (zh) * | 2019-11-11 | 2023-10-17 | 北京地平线机器人技术研发有限公司 | 网络结构搜索方法和装置、存储介质、电子设备 |
US11443235B2 (en) | 2019-11-14 | 2022-09-13 | International Business Machines Corporation | Identifying optimal weights to improve prediction accuracy in machine learning techniques |
CN111353580B (zh) * | 2020-02-03 | 2023-06-20 | 中国人民解放军国防科技大学 | 目标检测网络的训练方法、电子设备及存储介质 |
US20210357739A1 (en) * | 2020-05-14 | 2021-11-18 | Micron Technology, Inc. | Memory device to train neural networks |
CN113705591A (zh) * | 2020-05-20 | 2021-11-26 | 上海微创卜算子医疗科技有限公司 | 可读存储介质、支架规格识别方法及装置 |
US20210390414A1 (en) * | 2020-06-10 | 2021-12-16 | Nvidia Corporation | Accelerated training for neural network models |
CN111860840B (zh) * | 2020-07-28 | 2023-10-17 | 上海联影医疗科技股份有限公司 | 深度学习模型训练方法、装置、计算机设备及存储介质 |
US20220207234A1 (en) * | 2020-12-29 | 2022-06-30 | International Business Machines Corporation | Context Aware Personalization |
CN113240117B (zh) * | 2021-06-01 | 2022-11-18 | 大连理工大学 | 一种变保真度迁移学习模型建立方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05197705A (ja) * | 1991-07-09 | 1993-08-06 | Fujitsu Ltd | ニューラルネットワークの学習システム |
US20160104056A1 (en) * | 2014-10-09 | 2016-04-14 | Microsoft Technology Licensing, Llc | Spatial pyramid pooling networks for image processing |
JP2017004142A (ja) * | 2015-06-08 | 2017-01-05 | 株式会社Preferred Networks | 学習装置ユニット |
US20170278018A1 (en) * | 2013-10-08 | 2017-09-28 | Google Inc. | Methods and apparatus for reinforcement learning |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5195169A (en) * | 1989-03-03 | 1993-03-16 | Sharp Kabushiki Kaisha | Control device for controlling learning of a neural network |
JPH03288258A (ja) * | 1990-04-04 | 1991-12-18 | Takayama:Kk | データ処理装置の学習方法 |
EP0482375A3 (en) * | 1990-10-22 | 1993-12-01 | Motorola Inc | Digital processing element in an artificial neural network |
JP2008250856A (ja) * | 2007-03-30 | 2008-10-16 | Sony Corp | 学習装置、学習方法、及びプログラム |
US9119573B2 (en) | 2009-12-10 | 2015-09-01 | Siemens Aktiengesellschaft | Stent marker detection using a learning based classifier in medical imaging |
US20120002855A1 (en) | 2010-06-30 | 2012-01-05 | Fujifilm Corporation | Stent localization in 3d cardiac images |
US8620840B2 (en) * | 2011-07-19 | 2013-12-31 | Nice Systems Technologies Uk Limited | Distributed scalable incrementally updated models in decisioning systems |
CN104021390B (zh) * | 2013-03-01 | 2018-01-02 | 佳能株式会社 | 模型生成装置、模式识别设备及其方法 |
US20150301510A1 (en) * | 2014-04-22 | 2015-10-22 | Siegmund Düll | Controlling a Target System |
US20150324690A1 (en) * | 2014-05-08 | 2015-11-12 | Microsoft Corporation | Deep Learning Training System |
US20150324686A1 (en) * | 2014-05-12 | 2015-11-12 | Qualcomm Incorporated | Distributed model learning |
JP6612855B2 (ja) * | 2014-09-12 | 2019-11-27 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 出力分布による生徒dnnの学習 |
US20160140438A1 (en) * | 2014-11-13 | 2016-05-19 | Nec Laboratories America, Inc. | Hyper-class Augmented and Regularized Deep Learning for Fine-grained Image Classification |
US11423311B2 (en) * | 2015-06-04 | 2022-08-23 | Samsung Electronics Co., Ltd. | Automatic tuning of artificial neural networks |
US10878320B2 (en) | 2015-07-22 | 2020-12-29 | Qualcomm Incorporated | Transfer learning in neural networks |
US10679145B2 (en) * | 2015-08-07 | 2020-06-09 | Nec Corporation | System and method for balancing computation with communication in parallel learning |
KR102492318B1 (ko) * | 2015-09-18 | 2023-01-26 | 삼성전자주식회사 | 모델 학습 방법 및 장치, 및 데이터 인식 방법 |
US20170132528A1 (en) | 2015-11-06 | 2017-05-11 | Microsoft Technology Licensing, Llc | Joint model training |
US10318848B2 (en) * | 2015-12-15 | 2019-06-11 | Qualcomm Incorporated | Methods for object localization and image classification |
KR102501838B1 (ko) * | 2016-02-01 | 2023-02-23 | 삼성전자주식회사 | 심전도 신호를 이용한 인증 장치 및 방법 |
CN107256423A (zh) * | 2017-05-05 | 2017-10-17 | 深圳市丰巨泰科电子有限公司 | 一种增广神经网架构及其训练方法、计算机可读存储介质 |
US10755199B2 (en) * | 2017-05-30 | 2020-08-25 | Adobe Inc. | Introspection network for training neural networks |
US11138724B2 (en) * | 2017-06-01 | 2021-10-05 | International Business Machines Corporation | Neural network classification |
JP6974712B2 (ja) * | 2017-10-24 | 2021-12-01 | 富士通株式会社 | 探索方法、探索装置および探索プログラム |
US10635978B2 (en) * | 2017-10-26 | 2020-04-28 | SparkCognition, Inc. | Ensembling of neural network models |
-
2018
- 2018-11-13 WO PCT/EP2018/080991 patent/WO2019096754A1/en active Application Filing
- 2018-11-13 JP JP2020527753A patent/JP7325414B2/ja active Active
- 2018-11-13 CN CN201880082613.0A patent/CN111492382B/zh active Active
- 2018-11-15 US US16/191,542 patent/US11657265B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05197705A (ja) * | 1991-07-09 | 1993-08-06 | Fujitsu Ltd | ニューラルネットワークの学習システム |
US20170278018A1 (en) * | 2013-10-08 | 2017-09-28 | Google Inc. | Methods and apparatus for reinforcement learning |
US20160104056A1 (en) * | 2014-10-09 | 2016-04-14 | Microsoft Technology Licensing, Llc | Spatial pyramid pooling networks for image processing |
JP2017004142A (ja) * | 2015-06-08 | 2017-01-05 | 株式会社Preferred Networks | 学習装置ユニット |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022538137A (ja) * | 2020-04-30 | 2022-08-31 | 上▲海▼商▲湯▼智能科技有限公司 | 画像検出方法及び関連モデルの訓練方法並びに関連装置、機器 |
Also Published As
Publication number | Publication date |
---|---|
CN111492382A (zh) | 2020-08-04 |
WO2019096754A1 (en) | 2019-05-23 |
US11657265B2 (en) | 2023-05-23 |
US20190156205A1 (en) | 2019-05-23 |
CN111492382B (zh) | 2024-05-07 |
JP7325414B2 (ja) | 2023-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7325414B2 (ja) | 第1のニューラルネットワークモデルと第2のニューラルネットワークモデルとの訓練 | |
US11521064B2 (en) | Training a neural network model | |
US10691971B2 (en) | Method and apparatus for recognizing object | |
JP6182242B1 (ja) | データのラベリングモデルに係る機械学習方法、コンピュータおよびプログラム | |
WO2019131527A1 (ja) | 汎用学習済モデルの生成方法 | |
US20190057309A1 (en) | Information processing apparatus and information processing method | |
JP6977886B2 (ja) | 機械学習方法、機械学習装置、及び機械学習プログラム | |
US11861500B2 (en) | Meta-learning system | |
CN110046707B (zh) | 一种神经网络模型的评估优化方法和系统 | |
KR20220004476A (ko) | 진단 결과를 제공하기 위한 방법 및 장치 | |
US11568212B2 (en) | Techniques for understanding how trained neural networks operate | |
CN114072809A (zh) | 经由神经架构搜索的小且快速的视频处理网络 | |
Bashir et al. | Artificial intelligence in aortic surgery: the rise of the machine | |
US20200184334A1 (en) | Modification of neural network topology | |
JP2022523207A (ja) | ピラミッドレイヤのアーキテクチャを生成するためのシステムおよび方法 | |
CN110781978A (zh) | 一种用于机器学习的特征处理方法和系统 | |
JP2020035000A (ja) | 機械学習システムおよびボルツマンマシンの計算方法 | |
JP2022151502A (ja) | プログラム、情報処理装置、及び方法 | |
JPWO2019064461A1 (ja) | 学習ネットワーク生成装置、及び学習ネットワーク生成プログラム | |
KR102590113B1 (ko) | 인간의 불확실성 추론을 위한 컴퓨터 시스템 및 그의 방법 | |
US20240119188A1 (en) | Automatic generation of an augmented reality assembly, integration, and testing preparation procedure from engineering models | |
Ehrhardt et al. | Learning Process Steps as Dynamical Systems for a Sub-Symbolic Approach of Process Planning in Cyber-Physical Production Systems | |
EP3624022A1 (en) | Modifying a neural network | |
US20240193761A1 (en) | Deep learning image processing | |
US20240177034A1 (en) | Simulating quantum computing circuits using kronecker factorization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230703 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7325414 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |