JP2022541972A - 深層学習モデルの適応方法、装置及び電子機器 - Google Patents

深層学習モデルの適応方法、装置及び電子機器 Download PDF

Info

Publication number
JP2022541972A
JP2022541972A JP2021562306A JP2021562306A JP2022541972A JP 2022541972 A JP2022541972 A JP 2022541972A JP 2021562306 A JP2021562306 A JP 2021562306A JP 2021562306 A JP2021562306 A JP 2021562306A JP 2022541972 A JP2022541972 A JP 2022541972A
Authority
JP
Japan
Prior art keywords
transformation
model
deep learning
target
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021562306A
Other languages
English (en)
Other versions
JP7300005B2 (ja
Inventor
ウー トーバン
シー エン
シー ヨンカン
チェン シャオユー
ヂャン リャンホー
リウ ジー
シュ ビンビン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010601781.5A external-priority patent/CN111967568B/zh
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022541972A publication Critical patent/JP2022541972A/ja
Application granted granted Critical
Publication of JP7300005B2 publication Critical patent/JP7300005B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Neurology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)

Abstract

本出願は、深層学習モデルの適応方法、装置、電子機器及び媒体を開示し、人工知能、深層学習、クラウドコンピューティング技術の分野に関する。具体的な実現案は、以下のとおりである。元の深層学習モデルのモデル情報、及び適応が必要なターゲットハードウェアのハードウェア情報を取得した後、モデル情報とハードウェア情報とに基づいて、変換パステーブルをクエリして、マッチングするターゲット変換パスを取得し、ターゲット変換パスに基づいて、元の深層学習モデルを変換パス内の中間深層学習モデルに変換し、中間深層学習モデルをターゲット深層学習モデルに変換する。これにより、元の深層学習モデルのモデル情報及びターゲットハードウェアのハードウェア情報によって決定されたモデル変換パスに基づいて、深層学習モデルの変換を行うことにより、任意のタイプの元の深層学習モデルを任意のターゲットハードウェアに適応されるターゲット深層学習モデルに変換することを実現し、深層学習モデルが異なるハードウェア端末に適用されることが難しいという問題を解決した。【選択図】図1

Description

本出願は、コンピュータ技術の分野に関し、具体的には、人工知能、深層学習、クラウドコンピューティング技術の分野に関し、特に深層学習モデルの適応方法、装置、電子機器及び記憶媒体に関する。
現在、ニューラルネットワークに代表される深層学習は、産業界で広く実装及び応用されており、大規模な深層学習モデルの配置のニーズに基づいて、様々なタイプの人工知能(Artficial Intelligence,AIと略称する)推論加速チップが派生している。しかしながら、様々なタイプのAI推論加速チップの形態が異なり、計算力が異なり、応用シナリオも様々である。そのため、様々なタイプのAI推論加速チップは、通常、ある特定のフレームワークでの深層学習モデルにのみ適用され、他のフレームワークでの深層学習モデルを実行することができないことが多い。
したがって、いかに様々なフレームワークでの深層学習モデルをAI推論加速チップに適応させるかは、早急に解決すべき技術的課題である。
本出願は、深層学習モデルの適応方法、装置、電子機器及び記憶媒体を提供する。
本出願の第1様態の実施例は、深層学習モデルの適応方法を提供し、元の深層学習モデルのモデル情報、及び適応が必要なターゲットハードウェアのハードウェア情報を取得するステップと、前記モデル情報と前記ハードウェア情報とに基づいて、変換パステーブルをクエリして、マッチングするターゲット変換パスを取得するステップと、前記ターゲット変換パスに基づいて、前記元の深層学習モデルを前記変換パス内の中間深層学習モデルに変換し、前記中間深層学習モデルを前記ターゲット深層学習モデルに変換するステップと、を含む。
本出願の第2様態の実施例は、深層学習モデルの適応装置を提供し、元の深層学習モデルのモデル情報、及び適応が必要なターゲットハードウェアのハードウェア情報を取得するための取得モジュールと、前記モデル情報と前記ハードウェア情報とに基づいて、変換パステーブルをクエリして、マッチングするターゲット変換パスを取得するためのクエリモジュールと、前記ターゲット変換パスに基づいて、前記元の深層学習モデルを前記変換パス内の中間深層学習モデルに変換し、前記中間深層学習モデルを前記ターゲット深層学習モデルに変換するための変換モジュールと、を備える。
本出願の第3様態の実施例は、電子機器を提供し、少なくとも1つのプロセッサと、該少なくとも1つのプロセッサと通信可能に接続されるメモリと、を備え、前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令が、前記少なくとも1つのプロセッサが第1様態の実施例の深層学習モデルの適応方法を実行できるように、前記少なくとも1つのプロセッサによって実行される。
本出願の第4態様の実施例は、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令が、前記コンピュータに第1様態の実施例の深層学習モデルの適応方法を実行させる。
上記出願における一実施例は、以下の利点または有益な効果を有する。元の深層学習モデルのモデル情報とターゲットハードウェアのハードウェア情報とに基づいて、モデル変換パスを決定し、モデル変換パスに基づいて深層学習モデルの変換を行うことにより、任意のタイプの元の深層学習モデルを、任意のターゲットハードウェアに適応されたターゲット深層学習モデルに変換することを実現し、深層学習モデルが異なるハードウェア端末に適用されることが難しいという問題を解決した。
なお、この部分に記載されている内容は、本出願の実施例の肝心または重要な特徴を特定することを意図しておらず、本出願の範囲を限定することも意図していないことを理解されたい。本出願の他の特徴は、以下の説明を通して容易に理解される。
図面は、本技術案をよりよく理解するために使用され、本開示を限定するものではない。
本出願の実施例1によって提供される深層学習モデルの適応方法の概略フローチャートである。 本出願の実施例2によって提供されるモデル変換のサブフローチャートである。 本出願の実施例3によって提供されるターゲット変換パスを生成するサブフローチャートである。 本出願の実施例4によって提供される深層学習モデルの適応装置の概略構造図である。 本出願の実施例を実現するための電子機器のブロック図である。
以下、図面と組み合わせて本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細事項を含んでおり、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、明確及び簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。
以下、図面を参照して本出願の実施例に係る深層学習モデルの適応方法、装置、電子機器及び記憶媒体を説明する。
図1は、本出願の実施例1によって提供される深層学習モデルの適応方法の概略フローチャートである。
本出願の実施例は、当該深層学習モデルの適応方法が深層学習モデルの適応装置に配置されることを例として説明し、当該深層学習モデルの適応装置は、電子機器が深層学習モデルの適応機能を実行できるように、いずれかの電子機器に適用されてもよい。
ここで、電子機器は、パーソナルコンピュータ(Personal Computer,PCと略称する)、クラウドデバイス、モバイルデバイスなどであってもよく、モバイルデバイスは、例えば、携帯電話、タブレットコンピュータ、パーソナルデジタルアシスタント、ウェアデバイス、車載デバイスなど、様々なオペレーティングシステムを備えたハードウェアデバイスであってもよい。
図1に示すように、当該深層学習モデルの適応方法は、以下のステップ101~103を含むことができる。
ステップ101において、元の深層学習モデルのモデル情報、及び適応が必要なターゲットハードウェアのハードウェア情報を取得する。
ここで、元の深層学習モデルとは、深層ニューラルネットワーク構造が含まれる変換対象の機械学習モデルである。深層学習モデルのモデル情報は、深層学習モデルのトレーニングフレームワーク、深層学習モデルのネットワークタイプ、深層学習モデルのモデル構造情報、及び深層学習モデルのモデルファイルなどを含むことができる。
例えば、深層学習モデルのトレーニングフレームワークは、オープンソースソフトウェアライブラリのフレームワーク(例えば、TensorFlowフレームワーク)、PyTorchフレームワーク、深層学習フレームワーク(Convolutional Architecture for Fast Feature Embedding,Caffeと略称する)、並列分散深層学習フレームワーク(Parallel Distributed Deep Learning,PaddlePaddle)などであってもよい。
深層学習モデルのネットワークタイプは、すべての主流の分類、検出、及び分割ニューラルネットワークであってもよい。例えば、ネットワークタイプは、深層の畳み込みニューラルネットワーク(AlexNetなど)、深層分解可能な畳み込みに基づくモデル(MobileNetなど)、ターゲット検出用のネットワークモデル(Regions with CNN features,RCNNと略称する)などであってもよい。
深層学習モデルのモデル構造情報は、深層学習モデルに含まれる基本構造であってもよく、例えば、完全接続層、循環構造、畳み込み層/プーリング層などを含んでもよい。
深層学習モデルのモデルファイルは、アルゴリズムエンジニアによってある深層学習フレームワークを使用してモデルを構築し、パラメータ調整しトレーニングして最適化した後、最終的に生成されたネットワークパラメータとモデル構造を一緒に保存することによって取得されたファイルであってもよい。異なる深層学習フレームワークによってトレーニングして取得されたモデルファイルの形式が異なるが、完全なモデルファイルには、一般的にテンソルデータ、演算ユニット及び計算図などの情報が含まれる。
なお、人工知能ハードウェアがいずれも自身の要求を満たす深層学習モデルのみを実行できるため、適応が必要なターゲットハードウェアのハードウェア情報が異なる場合、対応する実行可能な深層学習モデルは異なる。
選択可能に、適応が必要なターゲットハードウェアのハードウェア情報は、例えば、インテル中央プロセッサ(Intel Central Processing Unit/Processor,Intel CPUと略称する)、ARMプロセッサ、ハイシリコンプロセッサなどの適応が必要なターゲットハードウェアタイプであってもよい。
なお、適応が必要なターゲットハードウェアは、いずれかの現在市場で主流の人工知能ハードウェアであってもよい、ここでは限定されない。
可能な一状況で、適応が必要なターゲットハードウェアは1つに限定されず、2つまたは複数であってもよく、この場合、適応が必要なターゲットハードウェアのハードウェア情報には、すべてのターゲットハードウェアのハードウェア情報が含まれる。
ステップ102において、モデル情報とハードウェア情報とに基づいて、変換パステーブルをクエリして、マッチングするターゲット変換パスを取得する。
ここで、変換パステーブルとは、任意の2つの深層学習モデルのモデルトレーニングフレームワーク、ネットワークタイプ、モデルファイルなど、及び適応が必要なターゲットハードウェアのハードウェア情報、予め構成された変換パスを指してもよい。変換パステーブルには、任意のタイプの深層学習モデルのトレーニングフレームワーク、ネットワークタイプ、モデルファイル、及び適応が必要なターゲットハードウェアの変換パスが含まれてもよい。
ターゲット変換パスとは、変換パステープルにおいて、元の深層学習モデルのモデル情報、及び適応が必要なターゲットハードウェアのハードウェア情報とマッチングする変換パスである。
本出願の実施例では、元の深層学習モデルのモデル情報、及び適応が必要なターゲットハードウェアのハードウェア情報が取得された後、モデル情報とハードウェア情報とに基づいて、変換パステープルの中からマッチングするターゲット変換パスをクエリすることができる。
一例として、PaddlePaddleトレーニングフレームワークによってトレーニングされた元の深層学習モデルのMobileNetV1モデルを、Intel CPUで実行される深層学習モデルに変換する必要があると仮定すると、MobileNetV1モデルのモデル情報、及び適応が必要なターゲットハードウェアに基づいて、変換パステーブルをクエリして、マッチングするターゲット変換パス:Paddle model→caffe model→optimize model→dldt model(Intel CPUに適用される)を取得することができる。
ステップ103において、ターゲット変換パスに基づいて、元の深層学習モデルを変換パス内の中間深層学習モデルに変換し、中間深層学習モデルをターゲット深層学習モデルに変換する。
なお、元の深層学習モデルをターゲット深層学習モデルに変換する変換プロセスは、適応なターゲットハードウェアが実行できる深層学習モデルを取得するために、複数回のモデル変換を必要とするすることができる。
本出願では、元の深層学習モデルをターゲット深層学習モデルに変換するターゲット変換パスが決定された後、ターゲット変換パスに基づいて、元の深層学習モデルを、変換パス内の中間深層学習モデルに変換し、さらに、中間深層学習モデルをターゲット深層学習モデルに変換することができる。
可能な一状況で、ターゲット変換パスに基づいて、元の深層学習モデルをターゲット深層学習モデルに変換する場合、変換プロセスにおける中間深層学習モデルがただ1つしかないと、まずターゲット変換パスに基づいて、元の深層学習モデルを中間深層学習モデルに変換し、さらに、中間深層学習モデルをターゲット深層学習モデルに変換することができる。
別の可能な場合では、ターゲット変換パスに基づいて、元の深層学習モデルをターゲット深層学習モデルに変換する場合、変換プロセスにおける中間深層学習モデルは複数であってもよい。
一例として、ターゲット変換パスが、Paddle model→caffe model→optimize model→dldt model(Intel CPUに適用される)であると仮定すると、ターゲット変換パスに基づいて、元の深層学習モデルのPaddleモデルを中間深層学習モデルのcaffeモデルに変換し、さらに、中間深層学習モデルのcaffeモデルを中間深層学習モデルのopmizeモデルに変換し、中間深層学習モデルのoptimizeモデルを、Intel CPUに適応されるターゲット深層学習モデルのdldtモデルに変換することができる。
本出願の実施例に係る深層学習モデルの適応方法は、元の深層学習モデルのモデル情報、及び適応が必要なターゲットハードウェアのハードウェア情報が取得された後、モデル情報とハードウェア情報とに基づいて、変換パステーブルをクエリして、マッチングするターゲット変換パスを取得し、さらに、ターゲット変換パスに基づいて、元の深層学習モデルを変換パス内の中間深層学習モデルに変換し、中間深層学習モデルをターゲット深層学習モデルに変換する。これにより、元の深層学習モデルのモデル情報及びターゲットハードウェアのハードウェア情報に基づいて、モデル変換パスを決定し、モデル変換パスに基づいて深層学習モデルの変換を行うことにより、任意のタイプの元の深層学習モデルを任意のターゲットハードウェアに適応されるターゲット深層学習モデルに変換することを実現し、深層学習モデルが異なるハードウェア端末に適用されることが難しいという問題を解決した。
上記実施例に基づいて、可能な一状況で、上記ステップ103において、ターゲット変換パスに基づいて、元の深層学習モデルをターゲット深層学習モデルに変換する場合、変換プロセスにおける中間深層学習モデルは複数であってもよく、この場合、ターゲット変換パスは、複数の中間深層学習モデルの変換順序を示すことができる。ターゲット変換パスに基づいてモデル変換を行う場合、複数の中間深層学習モデルの変換順序に基づいて、各回のモデル変換の変換タスクを実行して、元の深層学習モデルをターゲットハードウェアに適応されるターゲット深層学習モデルに変換することを実現し、これによって任意のタイプのモデル変換を実現する。以下、図2と組み合わせて詳細に説明し、図2は、本出願の実施例2によって提供されるモデル変換のサブフローチャートである。
図2に示すように、上記ステップ103は、以下のステップ201~203をさらに含むことができる。
ステップ201において、ターゲット変換パス内の複数の中間深層学習モデルの変換順序に基づいて、各回のモデル変換の変換前モデルと変換後モデル、及び各回のモデル変換の実行順序を決定する。
なお、ターゲット変換パスに基づいて、元の深層学習モデルをターゲット深層学習モデルに変換するとき、変換プロセスにおける中間深層学習モデルが複数である場合、ターゲット変換パスには、複数の中間深層学習モデルの変換順序が含まれる。
本出願の実施例では、ターゲット変換パスに基づいて、元の深層学習モデルをターゲット深層学習モデルに変換するとき、変換プロセスにおける中間深層学習モデルが複数である場合、ターゲット変換パス内の複数の中間深層学習モデルの変換順序に基づいて、各回のモデル変換の変換前モデルと変換後モデル、及び各回のモデル変換の実行順序を決定することができる。
一例として、ターゲット変換パスが、Paddle model→caffe model→optimize model→dldt modelであると仮定すると、これによって分かるように、中間深層学習モデルは2つであり、ターゲット変換パスに基づいて元の深層学習モデルをターゲット深層学習モデルに変換するプロセスにおいて、まず、ターゲット変換パス内の複数の中間深層学習モデルの変換順序に基づいて、1回目のモデル変換の変換前モデルと変換後モデルがそれぞれPaddleモデルとcaffeモデルであると決定し、引き続き、2回目のモデル変換の変換前モデルと変換後モデルがそれぞれcaffeモデルとoptimizeモデルであると決定し、さらに、3回目のモデル変換の変換前モデルと変換後モデルがそれぞれoptimizeモデルとdldtモデルであると決定する。これにより、ターゲット変換パス内の複数の中間深層学習モデルの変換順序に基づいて、各回のモデル変換の変換前モデルと変換後モデル、及び各回のモデル変換の実行順序を決定することができる。
ステップ202において、各回のモデル変換の変換前モデルと変換後モデルとの間のマッピング関係に基づいて、各回のモデル変換の変換タスクを生成する。
本出願の実施例では、各回のモデル変換の変換前モデル及び変換後モデルが決定された後、各回のモデル変換の変換前モデルと変換後モデルとの間のマッピング関係を決定し、さらに、各回のモデル変換の変換前モデルと変換後モデルとの間のマッピング関係に基づいて、各回のモデル変換の変換タスクを生成することができる。
引き続き上記ステップ201の例を例として、ターゲット変換パスが、Paddle model→caffe model→optimize model→dldt modelであると仮定すると、変換タスク1、Paddle model→caffe modelと、変換タスク2、caffe model→optimize modelと、変換タスク3、optimize model→ dldt modelとの3回のモデル変換の変換タスクを生成することができる。
可能な一実施形態として、各回のモデル変換の変換前モデルと変換後モデルに対して、演算子マッピング関係、テンソルマッピング関係及びモデルパラメータマッピング関係のうちの少なくとも1つをクエリして、演算子マッピング関係、テンソルマッピング関係及びモデルパラメータマッピング関係のうちの少なくとも1つに基づいて、各回のモデル変換の変換タスクを生成することができる。これにより、各回のモデル変換の変換タスクを実行することにより、ターゲット深層学習モデルを取得することができる。
ここで、各回のモデルの変換前モデルと変換後モデルのモデル演算子は異なるか、またはモデル演算子の整列方式が異なる可能性があるため、演算子マッピング関係をクエリして、変換前モデルと変換後モデルとの演算子マッピング関係を決定することができる。
テンソルは、すべての深層学習フレームワークの中で最も核心的なコンポーネントであり、実際には多次元配列であり、より高い次元の行列、ベクトルを作成することを目的としている。モデルパラメータは、パラメータの数、パラメータが占有する空間などの各畳み込み層のパラメータを含むことができる。
ステップ203において、各回のモデル変換の実行順序に基づいて、元の深層学習モデルに対して、各回のモデル変換の変換タスクを順次実行して、ターゲット深層学習モデルを取得する。
本出願の実施例では、ターゲット変換パス内の複数の中間深層学習モデルの変換順序に基づいて、各回のモデル変換の実行順序を決定した後、各回のモデル変換の実行順序に基づいて、元の深層学習モデルに対して、各回のモデル変換の変換タスクを順次実行して、ターゲットハードウェアに適応されるターゲット深層学習モデルを取得することができる。
引き続き上記例を例として、ターゲット変換パスに基づいて元の深層学習モデルからターゲット深層学習モデルに変換する場合、順に実行する必要な各回のモデル変換の変換タスクはそれぞれ、変換タスク1、Paddle model→ caffe model、変換タスク2、caffe model→ optimize mode、変換タスク3、optimize model→ dldt modelであると決定する。さらに、この3つのモデル変換の変換タスクを順に実行することにより、IntelCPUに適応されるターゲット深層学習モデルを取得する。
本出願の実施例では、ターゲット変換パスに基づいて、元の深層学習モデルを変換パス内の中間深層学習モデルに変換し、中間深層学習モデルをターゲット深層学習モデルに変換するプロセスにおいて、中間深層学習モデルが複数である場合、ターゲット変換パス内の複数の中間深層学習モデルの変換順序に基づいて、各回のモデル変換の実行順序を決定し、さらに、各回のモデル変換の実行順序に基づいて、元の深層学習モデルに対して、各回のモデル変換の変換タスクを順次実行して、ターゲットハードウェアに適応されるターゲット深層学習モデルを取得することができる。既存の深層学習モデルを変換するときにモデル変換タスクを1回しか実現できないことに比べて、本出願では、モデル変換プロセスにおいて複数回のモデル変換タスクが存在することを実現し、これによって任意のモデルの変換を実現でき、深層学習モデルが任意のハードウェアに適応できるという目的を実現した。
実際のアプリケーションシナリオでは、元の深層学習モデルを複数のターゲットハードウェアに適応されるものに変換する状況がある可能であり、つまりターゲットハードウェアは少なくとも2つであり、このような場合では、上記ステップ102で生成されたターゲット変換パスも少なくとも2つのパスであり、これによって少なくとも2つのターゲット変換パスに基づいて、元の深層学習モデルを、少なくとも2つのターゲットハードウェアに適応される少なくとも2つのターゲット深層学習モデルに変換することができる。以下、図3と組み合わせて詳細に説明し、図3は、本出願の実施例3によって提供されるターゲット変換パスを生成するサブフローチャートである。
図3に示すように、上記ステップ102は、以下のサブステップ301~303をさらに含むことができる。
ステップ301において、各ターゲットハードウェアのハードウェア情報をそれぞれモデル情報と組み合わせて、少なくとも2つの組み合わせ情報を取得する。
可能な一状況で、元の深層学習モデルが適応される必要があるターゲットハードウェアは少なくとも2つであり、各ターゲットハードウェアのハードウェア情報を取得した後、各ターゲットハードウェアのハードウェア情報をそれぞれ元の深層学習モデルのモデル情報と組み合わせて、少なくとも2つの組み合わせ情報を取得することができる。
ここで、元の深層学習モデルのモデル情報には、モデル構造情報とトレーニングフレームワーク情報とが含まれることができる。これにより、元の深層学習モデルのモデル構造情報とトレーニングフレームワーク情報とに基づいて、それぞれ各ターゲットハードウェアのハードウェア情報と組み合わせて、少なくとも2つの組み合わせ情報を取得することができる。
一例として、ターゲットハードウェアは2つで、それぞれハードウェアAとハードウェアBであると仮定すると、元の深層学習モデルのモデル情報を、ハードウェアAとハードウェアBのハードウェア情報とそれぞれ組み合わせて、2つの組み合わせ情報を取得することができる。
ステップ302において、少なくとも2つの組み合わせ情報に基づいて変換パステーブルをクエリして、少なくとも2つの候補変換パスを取得する。
ここで、各候補変換パスは、対応する1つの組み合わせ情報とマッチングする。
なお、少なくとも2つのターゲットハードウェアのハードウェア情報が異なり、したがって、少なくとも2つの組み合わせ情報を取得した後、少なくとも2つの組み合わせ情報に基づいて変換パステーブルをクエリして、少なくとも2つの候補変換パスを取得でき、各候補変換パスは対応する1つの組み合わせ情報とマッチングする。
一例として、元の深層学習モデルがPaddleモデルであってもよいと仮定すると、PaddlePaddleによってトレーニングされたMobileNetV1モデルを、Intel CPU及びハイシリコン910チップ上で実行される深層学習モデルに変換する必要があり、2つのターゲットハードウェアに対応する組み合わせ情報を決定した後、2つの組み合わせ情報に基づいて変換パステーブルをクエリして、パス1、Paddle model→caffe model→optimize model→dldt model(Intel CPUに適応される)と、パス2、Paddle model→caffe model→optimize model→atlas model(ハイシリコン910に適応される)との2つの候補変換パスを取得することができる。
ステップ303において、少なくとも2つの候補変換パスに基づいて、ターゲット変換パスを生成する。
本出願の実施例では、元の深層学習モデルが適応される必要があるターゲットハードウェアが少なくとも2つである場合、少なくとも2つの候補変換パスを決定した後、少なくとも2つの候補変換パスに基づいて、ターゲット変換パスを生成することができる。
可能な一状況で、少なくとも2つの候補変換パスに重複する変換タスクがないと仮定すると、少なくとも2つの候補変換パスをターゲット変換パスとして、それぞれ元の深層学習モデルを変換して、少なくとも2つのターゲットハードウェアに適応されるターゲット深層学習モデルを取得することができる。
別の可能な場合では、少なくとも2つの候補変換パスに重複部分があると仮定すると、少なくとも2つの候補変換パスの重複部分を合併して、ターゲット変換パスを取得することができる。
例えば、上記ステップ302の例では、2つの候補変換パスに重複部分Paddle model→caffe model→optimize modelがある場合、この2つの候補変換パスの重複部分を合併して、
Figure 2022541972000002
のような合併されたターゲット変換パスを取得することができる。
これにより、少なくとも2つの候補変換パスに重複部分がある場合、少なくとも2つの候補変換パスの重複部分を合併して、少なくとも2つの候補変換パスの最適化を実現し、最適化によって取得されたターゲット変換パスに基づいて、少なくとも2つのターゲットハードウェアに適応されるターゲット深層学習モデルを迅速に生成することができる。
これによって分かるように、ターゲットハードウェアが少なくとも2つである場合、各ターゲットハードウェアのハードウェア情報とモデル情報を組み合わせて、少なくとも2つの組み合わせ情報を取得し、少なくとも2つの組み合わせ情報に基づいて変換パステーブルをクエリして、少なくとも2つの候補変換パスを取得し、さらに、少なくとも2つの候補変換パスに基づいて、ターゲット変換パスを生成することができる。これにより、元の深層学習モデルが適応される必要があるターゲットハードウェアが複数である場合、ターゲット変換パスに基づいて、少なくとも2つのターゲットハードウェアに適応されるターゲット深層学習モデルを迅速に生成することができ、これによってモデル変換の速度を向上させた。
上記実施例を実現するために、本出願は、深層学習モデルの適応装置を提供する。
図4は、本出願の実施例4によって提供される深層学習モデルの適応装置の概略構造図である。
図4に示すように、当該深層学習モデルの適応装置400は、取得モジュール410、クエリモジュール420、及び変換モジュール430を備えることができる。
取得モジュール410は、元の深層学習モデルのモデル情報、及び適応が必要なターゲットハードウェアのハードウェア情報を取得する。
クエリモジュール420は、モデル情報とハードウェア情報とに基づいて、変換パステーブルをクエリして、マッチングするターゲット変換パスを取得する。
変換モジュール430は、ターゲット変換パスに基づいて、元の深層学習モデルを変換パス内の中間深層学習モデルに変換し、中間深層学習モデルをターゲット深層学習モデルに変換する。
可能な一状況として、中間深層学習モデルは複数であり、ターゲット変換パスは、複数の中間深層学習モデルの変換順序を示し、変換モジュール430は、ターゲット変換パス内の複数の中間深層学習モデルの変換順序に基づいて、各回のモデル変換の変換前モデルと変換後モデル、及び各回のモデル変換の実行順序を決定するための決定ユニットと、各回のモデル変換の変換前モデルと変換後モデルとの間のマッピング関係に基づいて、各回のモデル変換の変換タスクを生成するための生成ユニットと、各回のモデル変換の実行順序に基づいて、元の深層学習モデルに対して、各回のモデル変換の変換タスクを順次実行して、ターゲット深層学習モデルを取得するための実行ユニットと、を備えることができる。
別の可能な状況として、生成ユニットは、さらに、各回のモデル変換の変換前モデル及び変換後モデルに対して、演算子マッピング関係、テンソルマッピング関係及びモデルパラメータマッピング関係のうちの少なくとも1つをクエリし、演算子マッピング関係、テンソルマッピング関係及びモデルパラメータマッピング関係のうちの少なくとも1つに基づいて、各回のモデル変換の変換タスクを生成する。
別の可能な状況として、ターゲットハードウェアは少なくとも2つであり、クエリモジュール420は、各ターゲットハードウェアのハードウェア情報をそれぞれモデル情報と組み合わせて、少なくとも2つの組み合わせ情報を取得するための組み合わせユニットと、少なくとも2つの組み合わせ情報に基づいて、変換パステーブルをクエリして、少なくとも2つの候補変換パスを取得するためのクエリユニットであって、ここで、各候補変換パスは、対応する1つの組み合わせ情報とマッチングするクエリユニットと、少なくとも2つの候補変換パスに基づいて、ターゲット変換パスを生成するためのパス生成ユニットと、を備えることができる。
別の可能な状況として、パス生成ユニットは、さらに、少なくとも2つの候補変換パスの重複部分を決定し、少なくとも2つの候補変換パスの重複部分を合併して、ターゲット変換パスを取得する。
別の可能な状況として、モデル情報には、モデル構造情報とトレーニングフレームワーク情報とが含まれることができる。
なお、前記深層学習モデルの適応方法の実施例の説明は、当該実施例の深層学習モデルの適応装置にも適用され、ここでは説明を省略する。
本出願の実施例に係る深層学習モデルの適応装置は、元の深層学習モデルのモデル情報、及び適応が必要なターゲットハードウェアのハードウェア情報を取得した後、モデル情報とハードウェア情報とに基づいて、変換パステーブルをクエリして、マッチングするターゲット変換パスを取得し、さらに、ターゲット変換パスに基づいて、元の深層学習モデルを変換パス内の中間深層学習モデルに変換し、中間深層学習モデルをターゲット深層学習モデルに変換する。これにより、元の深層学習モデルのモデル情報及びターゲットハードウェアのハードウェア情報に基づいて、モデル変換パスを決定し、モデル変換パスに基づいて深層学習モデルの変換を行うことにより、任意のタイプの元の深層学習モデルを任意のターゲットハードウェアに適応されるターゲット深層学習モデルに変換することを実現し、深層学習モデルが異なるハードウェア端末に適用されることが難しいという問題を解決した。
上記実施例を実現するために、本出願は、電子機器を提供し、少な少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサと通信可能に接続されるメモリと、を備え、前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも1つのプロセッサが上記実施例に記載の深層学習モデルの適応方法を実行できるように、前記少なくとも1つのプロセッサによって実行される。
上記実施例を実現するために、本出願は、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、前記コンピュータに上記実施例に記載の深層学習モデルの適応方法を実行させる。
本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。
図5に示すように、それは本出願の実施例に係る深層学習モデルの適応方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の同様のコンピューティングデバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は、単なる例であり、本明細書の説明及び/又は要求される本出願の実現を制限することを意図したものではない。
図5に示すように、当該電子機器は、1つ又は複数のプロセッサ501と、メモリ502と、高速インターフェースと低速インターフェースを備える各コンポーネントを接続するためのインターフェースと、を備える。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられてもよいし、又は必要に応じて他の方式で取り付けられてもよい。プロセッサは、外部入力/出力装置(インターフェースに結合されたディスプレイデバイスなど)にGUIの図形情報をディスプレイするためにメモリに記憶されている命令を含む、電子機器内に実行される命令を処理することができる。他の実施形態では、必要であれば、複数のプロセッサ及び/又は複数のバスを、複数のメモリと複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、部分的な必要な操作(例えば、サーバアレイ、ブレードサーバ、又はマルチプロセッサシステムとする)を提供することができる。図5では、1つのプロセッサ501を例とする。
メモリ502は、本出願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには、少なくとも1つのプロセッサが本出願により提供される深層学習モデルの適応方法を実行するように、少なくとも1つのプロセッサによって実行される命令が記憶されている。本出願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本出願により提供される深層学習モデルの適応方法を実行させるためのコンピュータ命令が記憶されている。
メモリ502は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例における深層学習モデルの適応方法に対応するプログラム命令/モジュール(例えば、図4に示す取得モジュール410、クエリモジュール420及び変換モジュール430)のような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶する。プロセッサ501は、メモリ502に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記の方法の実施例における深層学習モデルの適応方法を実現する。
メモ502は、ストレージプログラム領域とストレージデータ領域とを含むことができ、ストレージプログラム領域は、オペレーティングシステム、少なくとも1つの機能に必要なアプリケーションを記憶することができ、ストレージデータ領域は、電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ502は、高速ランダムアクセスメモリを備えることができ、不揮発性メモリ、例えば少なくとも1つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスをさらに備えることができる。いくつかの実施例では、メモリ502は、プロセッサ501に対して遠隔に設定されたメモリを選択的に備えることができ、これらの遠隔メモリは、ネットワークを介して電子機器に接続されることができる。上記ネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク及びそれらの組み合わせを含むが、これらに限定されない。
電子機器は、入力装置503と出力装置504とをさらに備えることができる。プロセッサ501、メモリ502、入力装置503、及び出力装置504は、バス又は他の方式を介して接続することができ、図5では、バスを介して接続することを例とする。
入力装置503は、入力された数字又は文字情報を受信し、電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、指示杆、1つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置504は、ディスプレイデバイス、補助照明デバイス(例えば、LED)、及び触覚フィードバックデバイス(例えば、振動モータ)などを備えることができる。当該ディスプレイデバイスは、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態では、ディスプレイデバイスは、タッチスクリーンであってもよい。
本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、1つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該1つ又は複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを備えるプログラム可能なシステムで実行及び/又は解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも1つの入力装置、及び当該少なくとも1つの出力装置に伝送することができる。
これらのコンピューティングプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる)は、プログラマブルプロセッサの機械命令を含み、高レベルのプロセス及び/又は対象指向プログラミング言語、及び/又はアセンブリ/機械言語でこれらのコンピューティングプログラムを実施する。本明細書に使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び/又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び/又は装置(例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(PLD))を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び/又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。
ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、任意の形式(音響入力と、音声入力と、触覚入力とを含む)でユーザからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドコンポーネントを備えるコンピューティングシステム(例えば、データサーバとする)、又はミドルウェアコンポーネントを備えるコンピューティングシステム(例えば、アプリケーションサーバー)、又はフロントエンドコンポーネントを備えるコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする)、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを備えるコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを相互に接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)と、ワイドエリアネットワーク(WAN)と、インターネットとを含む。
コンピュータシステムは、クライアントとサーバとを備えることができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント-サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。
本出願の実施例の技術案によれば、元の深層学習モデルのモデル情報、及び適応が必要なターゲットハードウェアのハードウェア情報を取得した後、モデル情報とハードウェア情報とに基づいて、変換パステーブルをクエリして、マッチングするターゲット変換パスを取得し、さらに、ターゲット変換パスに基づいて、元の深層学習モデルを変換パス内の中間深層学習モデルに変換し、中間深層学習モデルをターゲット深層学習モデルに変換する。これにより、元の深層学習モデルのモデル情報及びターゲットハードウェアのハードウェア情報に基づいて、モデル変換パスを決定し、モデル変換パスに基づいて深層学習モデルの変換を行うことにより、任意のタイプの元の深層学習モデルを任意のターゲットハードウェアに適応されるターゲット深層学習モデルに変換することを実現し、深層学習モデルが異なるハードウェア端末に適用されることが難しいという問題を解決した。
なお、上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。
上記具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者は、設計要求と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。任意の本出願の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれなければならない。
本出願の第4態様の実施例は、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令が、前記コンピュータに第1様態の実施例の深層学習モデルの適応方法を実行させる。
本出願の第5態様の実施例は、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータに第1様態の実施例の深層学習モデルの適応方法を実行させる。
本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。
本出願の実施例によれば、本出願は、コンピュータプログラムを提供し、コンピュータプログラムは、コンピュータに本出願によって提供される深層学習モデルの適応方法を実行させる。

Claims (14)

  1. 元の深層学習モデルのモデル情報、及び適応が必要なターゲットハードウェアのハードウェア情報を取得するステップと、
    前記モデル情報と前記ハードウェア情報とに基づいて、変換パステーブルをクエリして、マッチングするターゲット変換パスを取得するステップと、
    前記ターゲット変換パスに基づいて、前記元の深層学習モデルを前記変換パス内の中間深層学習モデルに変換し、前記中間深層学習モデルを前記ターゲット深層学習モデルに変換するステップと、
    を含む深層学習モデルの適応方法。
  2. 前記中間深層学習モデルが、複数であり、前記ターゲット変換パスが、複数の前記中間深層学習モデルの変換順序を示し、
    前記ターゲット変換パスに基づいて、前記元の深層学習モデルを前記変換パス内の中間深層学習モデルに変換し、前記中間深層学習モデルを前記ターゲット深層学習モデルに変換するステップが、
    前記ターゲット変換パス内の複数の前記中間深層学習モデルの変換順序に基づいて、各回のモデル変換の変換前モデルと変換後モデル、及び各回のモデル変換の実行順序を決定するステップと、
    各回のモデル変換の変換前モデルと変換後モデルとの間のマッピング関係に基づいて、各回のモデル変換の変換タスクを生成するステップと、
    前記各回のモデル変換の実行順序に基づいて、前記元の深層学習モデルに対して、前記各回のモデル変換の変換タスクを順次実行して、前記ターゲット深層学習モデルを取得するステップと、
    を含む請求項1に記載の適応方法。
  3. 前記各回のモデル変換の変換前モデルと変換後モデルとの間のマッピング関係に基づいて、各回のモデル変換の変換タスクを生成するステップが、
    各回のモデル変換の変換前モデル及び変換後モデルに対して、演算子マッピング関係、テンソルマッピング関係及びモデルパラメータマッピング関係のうちの少なくとも1つをクエリするステップと、
    前記演算子マッピング関係、テンソルマッピング関係及びモデルパラメータマッピング関係のうちの少なくとも1つに基づいて、各回のモデル変換の変換タスクを生成するステップと、
    を含む請求項2に記載の適応方法。
  4. 前記ターゲットハードウェアが少なくとも2つであり、
    前記モデル情報と前記ハードウェア情報とに基づいて、変換パステーブルをクエリして、マッチングするターゲット変換パスを取得するステップが、
    各ターゲットハードウェアのハードウェア情報をそれぞれ前記モデル情報と組み合わせて、少なくとも2つの組み合わせ情報を取得するステップと、
    少なくとも2つの組み合わせ情報に基づいて、前記変換パステーブルをクエリして、少なくとも2つの候補変換パスを取得するステップであって、各候補変換パスは、対応する1つの前記組み合わせ情報とマッチングするステップと、
    前記少なくとも2つの候補変換パスに基づいて、前記ターゲット変換パスを生成するステップと、
    を含む請求項1から3のいずれか一項に記載の適応方法。
  5. 前記少なくとも2つの候補変換パスに基づいて、前記ターゲット変換パスを生成するステップが、
    前記少なくとも2つの候補変換パスの重複部分を決定するステップと、
    前記少なくとも2つの候補変換パスの重複部分を合併して、前記ターゲット変換パスを取得するステップと、
    を含む請求項4に記載の適応方法。
  6. 前記モデル情報が、モデル構造情報とトレーニングフレーム情報とを含む請求項1から3のいずれか一項に記載の適応方法。
  7. 元の深層学習モデルのモデル情報、及び適応が必要なターゲットハードウェアのハードウェア情報を取得するための取得モジュールと、
    前記モデル情報と前記ハードウェア情報とに基づいて、変換パステーブルをクエリして、マッチングするターゲット変換パスを取得するためのクエリモジュールと、
    前記ターゲット変換パスに基づいて、前記元の深層学習モデルを前記変換パス内の中間深層学習モデルに変換し、前記中間深層学習モデルを前記ターゲット深層学習モデルに変換するための変換モジュールと、
    を備える深層学習モデルの適応装置。
  8. 前記中間深層学習モデルが、複数であり、前記ターゲット変換パスが、複数の前記中間深層学習モデルの変換順序を示し、
    前記変換モジュールが、
    前記ターゲット変換パス内の複数の前記中間深層学習モデルの変換順序に基づいて、各回のモデル変換の変換前モデルと変換後モデル、及び各回のモデル変換の実行順序を決定するための決定ユニットと、
    各回のモデル変換の変換前モデルと変換後モデルとの間のマッピング関係に基づいて、各回のモデル変換の変換タスクを生成するための生成ユニットと、
    前記各回のモデル変換の実行順序に基づいて、前記元の深層学習モデルに対して、前記各回のモデル変換の変換タスクを順次実行して、前記ターゲット深層学習モデルを取得するための実行ユニットと、
    を備える請求項7に記載の適応装置。
  9. 前記生成ユニットが、
    各回のモデル変換の変換前モデル及び変換後モデルに対して、演算子マッピング関係、テンソルマッピング関係及びモデルパラメータマッピング関係のうちの少なくとも1つをクエリし、
    前記演算子マッピング関係、テンソルマッピング関係及びモデルパラメータマッピング関係のうちの少なくとも1つに基づいて、各回のモデル変換の変換タスクを生成する請求項8に記載の適応装置。
  10. 前記ターゲットハードウェアが少なくとも2つであり、
    前記クエリモジュールが、
    各ターゲットハードウェアのハードウェア情報をそれぞれ前記モデル情報と組み合わせて、少なくとも2つの組み合わせ情報を取得するための組み合わせユニットと、
    少なくとも2つの組み合わせ情報に基づいて、前記変換パステーブルをクエリして、少なくとも2つの候補変換パスを取得するためのクエリユニットであって、各候補変換パスが、対応する1つの前記組み合わせ情報とマッチングするクエリユニットと、
    前記少なくとも2つの候補変換パスに基づいて、前記ターゲット変換パスを生成するためのパス生成ユニットと、
    を備える請求項7から9のいずれか一項に記載の適応装置。
  11. 前記パス生成ユニットが、
    前記少なくとも2つの候補変換パスの重複部分を決定し、
    前記少なくとも2つの候補変換パスの重複部分を合併して、前記ターゲット変換パスを取得する請求項10に記載の適応装置。
  12. 前記モデル情報が、モデル構造情報とトレーニングフレーム情報とを含む請求項7から9のいずれか一項に記載の適応装置。
  13. 少なくとも1つのプロセッサと、
    該少なくとも1つのプロセッサと通信可能に接続されるメモリと、
    を備え、
    前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令が、前記少なくとも1つのプロセッサが請求項1から6のいずれか一項に記載の深層学習モデルの適応方法を実行できるように、前記少なくとも1つのプロセッサによって実行される電子機器。
  14. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令が、前記コンピュータに請求項1から6のいずれか一項に記載の深層学習モデルの適応方法を実行させる非一時的なコンピュータ読み取り可能な記憶媒体。
JP2021562306A 2020-06-29 2020-09-16 深層学習モデルの適応方法、装置及び電子機器 Active JP7300005B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010601781.5 2020-06-29
CN202010601781.5A CN111967568B (zh) 2020-06-29 2020-06-29 深度学习模型的适配方法、装置及电子设备
PCT/CN2020/115660 WO2022000802A1 (zh) 2020-06-29 2020-09-16 深度学习模型的适配方法、装置及电子设备

Publications (2)

Publication Number Publication Date
JP2022541972A true JP2022541972A (ja) 2022-09-29
JP7300005B2 JP7300005B2 (ja) 2023-06-28

Family

ID=78610465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021562306A Active JP7300005B2 (ja) 2020-06-29 2020-09-16 深層学習モデルの適応方法、装置及び電子機器

Country Status (4)

Country Link
US (1) US20220309395A1 (ja)
EP (1) EP3958183A4 (ja)
JP (1) JP7300005B2 (ja)
KR (1) KR20210132719A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7394423B1 (ja) 2023-02-27 2023-12-08 ノタ、インコーポレイテッド 人工知能基盤のモデルのベンチマーク結果を提供するための方法及びデバイス(device and method for providing benchmark result of artificial intelligence based model)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981569A (ja) * 1995-09-12 1997-03-28 Hitachi Ltd 多カ国対応サービス提供システム
US20200104129A1 (en) * 2018-08-10 2020-04-02 Cambricon Technologies Corporation Limited Conversion Method, Device, Computer Equipment, and Storage Medium

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764487B (zh) * 2018-05-29 2022-07-08 北京百度网讯科技有限公司 用于生成模型的方法和装置、用于识别信息的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981569A (ja) * 1995-09-12 1997-03-28 Hitachi Ltd 多カ国対応サービス提供システム
US20200104129A1 (en) * 2018-08-10 2020-04-02 Cambricon Technologies Corporation Limited Conversion Method, Device, Computer Equipment, and Storage Medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7394423B1 (ja) 2023-02-27 2023-12-08 ノタ、インコーポレイテッド 人工知能基盤のモデルのベンチマーク結果を提供するための方法及びデバイス(device and method for providing benchmark result of artificial intelligence based model)

Also Published As

Publication number Publication date
EP3958183A1 (en) 2022-02-23
JP7300005B2 (ja) 2023-06-28
EP3958183A4 (en) 2023-03-01
US20220309395A1 (en) 2022-09-29
KR20210132719A (ko) 2021-11-04

Similar Documents

Publication Publication Date Title
WO2022000802A1 (zh) 深度学习模型的适配方法、装置及电子设备
JP7166322B2 (ja) モデルを訓練するための方法、装置、電子機器、記憶媒体およびコンピュータプログラム
KR102484617B1 (ko) 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램
JP7283009B2 (ja) 対話理解モデルの訓練方法、装置、デバイス及び記憶媒体
JP7058304B2 (ja) 異種グラフにおけるノード表現の生成方法、装置及び電子機器
US11847164B2 (en) Method, electronic device and storage medium for generating information
KR102441475B1 (ko) 질문 분석 방법, 장치, 지식 기반 질문 응답 시스템 및 전자 기기
KR20210037619A (ko) 멀티 모달 콘텐츠 처리 방법, 장치, 기기 및 저장 매체
JP7074964B2 (ja) セッション推奨方法、装置及び電子機器
JP2022018095A (ja) マルチモーダル事前訓練モデル取得方法、装置、電子デバイス及び記憶媒体
JP7113097B2 (ja) テキストエンティティの語義記述処理方法、装置及び機器
JP2021119381A (ja) 音声スペクトル生成モデルの学習方法、装置、電子機器及びコンピュータプログラム製品
JP7083939B2 (ja) モデルの蒸留方法、装置、電子機器及び記憶媒体
JP2022505015A (ja) 知識グラフのベクトル表現生成方法、装置及び電子機器
KR20210056961A (ko) 의미 처리 방법, 장치, 전자 기기 및 매체
JP7194215B2 (ja) キーポイントの特定方法及び装置、機器、記憶媒体
JP7044839B2 (ja) エンドツーエンドモデルのトレーニング方法および装置
EP3926512A1 (en) Method and apparatus for improving model based on pre-trained semantic model
JP2021099890A (ja) 因果関係の判別方法、装置、電子機器及び記憶媒体
JP2021111334A (ja) 検索データに基づくヒューマンコンピュータ対話型インタラクションの方法、装置及び電子機器
JP7210830B2 (ja) 音声処理システム、音声処理方法、電子デバイス及び可読記憶媒体
JP7300005B2 (ja) 深層学習モデルの適応方法、装置及び電子機器
JP2021177368A (ja) ニューラルネットワークモデルの処理方法及び装置
JP2022020063A (ja) 対話処理方法、装置、電子機器及び記憶媒体
TWI803875B (zh) 業務邏輯表示模型的建模裝置及建模方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211019

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230616

R150 Certificate of patent or registration of utility model

Ref document number: 7300005

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150