JP2022541972A - 深層学習モデルの適応方法、装置及び電子機器 - Google Patents
深層学習モデルの適応方法、装置及び電子機器 Download PDFInfo
- Publication number
- JP2022541972A JP2022541972A JP2021562306A JP2021562306A JP2022541972A JP 2022541972 A JP2022541972 A JP 2022541972A JP 2021562306 A JP2021562306 A JP 2021562306A JP 2021562306 A JP2021562306 A JP 2021562306A JP 2022541972 A JP2022541972 A JP 2022541972A
- Authority
- JP
- Japan
- Prior art keywords
- transformation
- model
- deep learning
- target
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Neurology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Machine Translation (AREA)
Abstract
Description
本出願の第5態様の実施例は、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータに第1様態の実施例の深層学習モデルの適応方法を実行させる。
本出願の実施例によれば、本出願は、コンピュータプログラムを提供し、コンピュータプログラムは、コンピュータに本出願によって提供される深層学習モデルの適応方法を実行させる。
Claims (14)
- 元の深層学習モデルのモデル情報、及び適応が必要なターゲットハードウェアのハードウェア情報を取得するステップと、
前記モデル情報と前記ハードウェア情報とに基づいて、変換パステーブルをクエリして、マッチングするターゲット変換パスを取得するステップと、
前記ターゲット変換パスに基づいて、前記元の深層学習モデルを前記変換パス内の中間深層学習モデルに変換し、前記中間深層学習モデルを前記ターゲット深層学習モデルに変換するステップと、
を含む深層学習モデルの適応方法。 - 前記中間深層学習モデルが、複数であり、前記ターゲット変換パスが、複数の前記中間深層学習モデルの変換順序を示し、
前記ターゲット変換パスに基づいて、前記元の深層学習モデルを前記変換パス内の中間深層学習モデルに変換し、前記中間深層学習モデルを前記ターゲット深層学習モデルに変換するステップが、
前記ターゲット変換パス内の複数の前記中間深層学習モデルの変換順序に基づいて、各回のモデル変換の変換前モデルと変換後モデル、及び各回のモデル変換の実行順序を決定するステップと、
各回のモデル変換の変換前モデルと変換後モデルとの間のマッピング関係に基づいて、各回のモデル変換の変換タスクを生成するステップと、
前記各回のモデル変換の実行順序に基づいて、前記元の深層学習モデルに対して、前記各回のモデル変換の変換タスクを順次実行して、前記ターゲット深層学習モデルを取得するステップと、
を含む請求項1に記載の適応方法。 - 前記各回のモデル変換の変換前モデルと変換後モデルとの間のマッピング関係に基づいて、各回のモデル変換の変換タスクを生成するステップが、
各回のモデル変換の変換前モデル及び変換後モデルに対して、演算子マッピング関係、テンソルマッピング関係及びモデルパラメータマッピング関係のうちの少なくとも1つをクエリするステップと、
前記演算子マッピング関係、テンソルマッピング関係及びモデルパラメータマッピング関係のうちの少なくとも1つに基づいて、各回のモデル変換の変換タスクを生成するステップと、
を含む請求項2に記載の適応方法。 - 前記ターゲットハードウェアが少なくとも2つであり、
前記モデル情報と前記ハードウェア情報とに基づいて、変換パステーブルをクエリして、マッチングするターゲット変換パスを取得するステップが、
各ターゲットハードウェアのハードウェア情報をそれぞれ前記モデル情報と組み合わせて、少なくとも2つの組み合わせ情報を取得するステップと、
少なくとも2つの組み合わせ情報に基づいて、前記変換パステーブルをクエリして、少なくとも2つの候補変換パスを取得するステップであって、各候補変換パスは、対応する1つの前記組み合わせ情報とマッチングするステップと、
前記少なくとも2つの候補変換パスに基づいて、前記ターゲット変換パスを生成するステップと、
を含む請求項1から3のいずれか一項に記載の適応方法。 - 前記少なくとも2つの候補変換パスに基づいて、前記ターゲット変換パスを生成するステップが、
前記少なくとも2つの候補変換パスの重複部分を決定するステップと、
前記少なくとも2つの候補変換パスの重複部分を合併して、前記ターゲット変換パスを取得するステップと、
を含む請求項4に記載の適応方法。 - 前記モデル情報が、モデル構造情報とトレーニングフレーム情報とを含む請求項1から3のいずれか一項に記載の適応方法。
- 元の深層学習モデルのモデル情報、及び適応が必要なターゲットハードウェアのハードウェア情報を取得するための取得モジュールと、
前記モデル情報と前記ハードウェア情報とに基づいて、変換パステーブルをクエリして、マッチングするターゲット変換パスを取得するためのクエリモジュールと、
前記ターゲット変換パスに基づいて、前記元の深層学習モデルを前記変換パス内の中間深層学習モデルに変換し、前記中間深層学習モデルを前記ターゲット深層学習モデルに変換するための変換モジュールと、
を備える深層学習モデルの適応装置。 - 前記中間深層学習モデルが、複数であり、前記ターゲット変換パスが、複数の前記中間深層学習モデルの変換順序を示し、
前記変換モジュールが、
前記ターゲット変換パス内の複数の前記中間深層学習モデルの変換順序に基づいて、各回のモデル変換の変換前モデルと変換後モデル、及び各回のモデル変換の実行順序を決定するための決定ユニットと、
各回のモデル変換の変換前モデルと変換後モデルとの間のマッピング関係に基づいて、各回のモデル変換の変換タスクを生成するための生成ユニットと、
前記各回のモデル変換の実行順序に基づいて、前記元の深層学習モデルに対して、前記各回のモデル変換の変換タスクを順次実行して、前記ターゲット深層学習モデルを取得するための実行ユニットと、
を備える請求項7に記載の適応装置。 - 前記生成ユニットが、
各回のモデル変換の変換前モデル及び変換後モデルに対して、演算子マッピング関係、テンソルマッピング関係及びモデルパラメータマッピング関係のうちの少なくとも1つをクエリし、
前記演算子マッピング関係、テンソルマッピング関係及びモデルパラメータマッピング関係のうちの少なくとも1つに基づいて、各回のモデル変換の変換タスクを生成する請求項8に記載の適応装置。 - 前記ターゲットハードウェアが少なくとも2つであり、
前記クエリモジュールが、
各ターゲットハードウェアのハードウェア情報をそれぞれ前記モデル情報と組み合わせて、少なくとも2つの組み合わせ情報を取得するための組み合わせユニットと、
少なくとも2つの組み合わせ情報に基づいて、前記変換パステーブルをクエリして、少なくとも2つの候補変換パスを取得するためのクエリユニットであって、各候補変換パスが、対応する1つの前記組み合わせ情報とマッチングするクエリユニットと、
前記少なくとも2つの候補変換パスに基づいて、前記ターゲット変換パスを生成するためのパス生成ユニットと、
を備える請求項7から9のいずれか一項に記載の適応装置。 - 前記パス生成ユニットが、
前記少なくとも2つの候補変換パスの重複部分を決定し、
前記少なくとも2つの候補変換パスの重複部分を合併して、前記ターゲット変換パスを取得する請求項10に記載の適応装置。 - 前記モデル情報が、モデル構造情報とトレーニングフレーム情報とを含む請求項7から9のいずれか一項に記載の適応装置。
- 少なくとも1つのプロセッサと、
該少なくとも1つのプロセッサと通信可能に接続されるメモリと、
を備え、
前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令が、前記少なくとも1つのプロセッサが請求項1から6のいずれか一項に記載の深層学習モデルの適応方法を実行できるように、前記少なくとも1つのプロセッサによって実行される電子機器。 - コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令が、前記コンピュータに請求項1から6のいずれか一項に記載の深層学習モデルの適応方法を実行させる非一時的なコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010601781.5 | 2020-06-29 | ||
CN202010601781.5A CN111967568B (zh) | 2020-06-29 | 2020-06-29 | 深度学习模型的适配方法、装置及电子设备 |
PCT/CN2020/115660 WO2022000802A1 (zh) | 2020-06-29 | 2020-09-16 | 深度学习模型的适配方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022541972A true JP2022541972A (ja) | 2022-09-29 |
JP7300005B2 JP7300005B2 (ja) | 2023-06-28 |
Family
ID=78610465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021562306A Active JP7300005B2 (ja) | 2020-06-29 | 2020-09-16 | 深層学習モデルの適応方法、装置及び電子機器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220309395A1 (ja) |
EP (1) | EP3958183A4 (ja) |
JP (1) | JP7300005B2 (ja) |
KR (1) | KR20210132719A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7394423B1 (ja) | 2023-02-27 | 2023-12-08 | ノタ、インコーポレイテッド | 人工知能基盤のモデルのベンチマーク結果を提供するための方法及びデバイス(device and method for providing benchmark result of artificial intelligence based model) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0981569A (ja) * | 1995-09-12 | 1997-03-28 | Hitachi Ltd | 多カ国対応サービス提供システム |
US20200104129A1 (en) * | 2018-08-10 | 2020-04-02 | Cambricon Technologies Corporation Limited | Conversion Method, Device, Computer Equipment, and Storage Medium |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764487B (zh) * | 2018-05-29 | 2022-07-08 | 北京百度网讯科技有限公司 | 用于生成模型的方法和装置、用于识别信息的方法和装置 |
-
2020
- 2020-09-16 EP EP20930649.7A patent/EP3958183A4/en not_active Withdrawn
- 2020-09-16 US US17/604,670 patent/US20220309395A1/en active Pending
- 2020-09-16 KR KR1020217033450A patent/KR20210132719A/ko active Search and Examination
- 2020-09-16 JP JP2021562306A patent/JP7300005B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0981569A (ja) * | 1995-09-12 | 1997-03-28 | Hitachi Ltd | 多カ国対応サービス提供システム |
US20200104129A1 (en) * | 2018-08-10 | 2020-04-02 | Cambricon Technologies Corporation Limited | Conversion Method, Device, Computer Equipment, and Storage Medium |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7394423B1 (ja) | 2023-02-27 | 2023-12-08 | ノタ、インコーポレイテッド | 人工知能基盤のモデルのベンチマーク結果を提供するための方法及びデバイス(device and method for providing benchmark result of artificial intelligence based model) |
Also Published As
Publication number | Publication date |
---|---|
EP3958183A1 (en) | 2022-02-23 |
JP7300005B2 (ja) | 2023-06-28 |
EP3958183A4 (en) | 2023-03-01 |
US20220309395A1 (en) | 2022-09-29 |
KR20210132719A (ko) | 2021-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022000802A1 (zh) | 深度学习模型的适配方法、装置及电子设备 | |
JP7166322B2 (ja) | モデルを訓練するための方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
KR102484617B1 (ko) | 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
JP7283009B2 (ja) | 対話理解モデルの訓練方法、装置、デバイス及び記憶媒体 | |
JP7058304B2 (ja) | 異種グラフにおけるノード表現の生成方法、装置及び電子機器 | |
US11847164B2 (en) | Method, electronic device and storage medium for generating information | |
KR102441475B1 (ko) | 질문 분석 방법, 장치, 지식 기반 질문 응답 시스템 및 전자 기기 | |
KR20210037619A (ko) | 멀티 모달 콘텐츠 처리 방법, 장치, 기기 및 저장 매체 | |
JP7074964B2 (ja) | セッション推奨方法、装置及び電子機器 | |
JP2022018095A (ja) | マルチモーダル事前訓練モデル取得方法、装置、電子デバイス及び記憶媒体 | |
JP7113097B2 (ja) | テキストエンティティの語義記述処理方法、装置及び機器 | |
JP2021119381A (ja) | 音声スペクトル生成モデルの学習方法、装置、電子機器及びコンピュータプログラム製品 | |
JP7083939B2 (ja) | モデルの蒸留方法、装置、電子機器及び記憶媒体 | |
JP2022505015A (ja) | 知識グラフのベクトル表現生成方法、装置及び電子機器 | |
KR20210056961A (ko) | 의미 처리 방법, 장치, 전자 기기 및 매체 | |
JP7194215B2 (ja) | キーポイントの特定方法及び装置、機器、記憶媒体 | |
JP7044839B2 (ja) | エンドツーエンドモデルのトレーニング方法および装置 | |
EP3926512A1 (en) | Method and apparatus for improving model based on pre-trained semantic model | |
JP2021099890A (ja) | 因果関係の判別方法、装置、電子機器及び記憶媒体 | |
JP2021111334A (ja) | 検索データに基づくヒューマンコンピュータ対話型インタラクションの方法、装置及び電子機器 | |
JP7210830B2 (ja) | 音声処理システム、音声処理方法、電子デバイス及び可読記憶媒体 | |
JP7300005B2 (ja) | 深層学習モデルの適応方法、装置及び電子機器 | |
JP2021177368A (ja) | ニューラルネットワークモデルの処理方法及び装置 | |
JP2022020063A (ja) | 対話処理方法、装置、電子機器及び記憶媒体 | |
TWI803875B (zh) | 業務邏輯表示模型的建模裝置及建模方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211019 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230616 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7300005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |