JP2021043772A - 提供装置、提供方法及びプログラム - Google Patents

Abstract

【課題】演算量の異なる複数の機械学習モデルを、計算コスト及びストレージコストを抑えて提供できるようにする。【解決手段】実施形態の提供装置は、記憶制御部と取得部と設定部と抽出部と提供部とを備える。記憶制御部は、ニューラルネットワークのモデルの演算量を変更可能な第１機械学習モデルを記憶部に記憶する。取得部は、デバイス情報を取得する。設定部は、前記デバイス情報に基づいて、前記第１機械学習モデルから第２機械学習モデルを抽出する条件を示す抽出条件を設定する。抽出部は、前記抽出条件に基づいて前記第１機械学習モデルから第２機械学習モデルを抽出する。提供部は、前記第２機械学習モデルを前記デバイス情報により特定されるデバイスに提供する。【選択図】図１

Description

本発明の実施形態は提供装置、提供方法及びプログラムに関する。

ニューラルネットワーク（機械学習モデル）を活用することで、画像認識、音声認識及びテキスト処理などの分野で著しい性能向上が実現されている。一般的に、ニューラルネットワークには、多数の層を有し、各層の各ノードの値は前の層の各ノードの値に重み係数を掛けて足し合わせることで計算する深層学習（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）を用いる方法が多く用いられている。

国際公開第２０１８／１７３１２１号公報

Ｗ．Ｌｉｕ，ｅｔ．ａｌ．"ＳＳＤ：Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ，"ＡｒＸｉｖ ｐｒｅｐｒｉｎｔ，ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１５１２．０２３２５ Ｒ．Ｔ．Ｑ．Ｃｈｅｎ，ｅｔ．ａｌ．"Ｎｅｕｒａｌ Ｏｒｄｉｎａｒｙ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｅｑｕａｔｉｏｎｓ，"ＡｒＸｉｖ ｐｒｅｐｒｉｎｔ，ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８０６．０７３６６

しかしながら、従来の技術では、演算量の異なる複数の機械学習モデルを、計算コスト及びストレージコストを抑えて提供することが難しかった。

実施形態の提供装置は、記憶制御部と取得部と設定部と抽出部と提供部とを備える。記憶制御部は、ニューラルネットワークのモデルの演算量を変更可能な第１機械学習モデルを記憶部に記憶する。取得部は、デバイス情報を取得する。設定部は、前記デバイス情報に基づいて、前記第１機械学習モデルから第２機械学習モデルを抽出する条件を示す抽出条件を設定する。抽出部は、前記抽出条件に基づいて前記第１機械学習モデルから第２機械学習モデルを抽出する。提供部は、前記第２機械学習モデルを前記デバイス情報により特定されるデバイスに提供する。

第１実施形態の提供システムの機能構成の例を示す図。 第１実施形態のデバイス情報の例を示す図。 第１実施形態の抽出条件リストの例を示す図。 重み係数のテンソルを分解した分解層を持つ第１機械学習モデルの例を示す図。 第１実施形態における第１機械学習モデルの重み行列Ｗの幅ｒについて説明するための図。 第１実施形態の幅ｒの設定例（一様な場合）を示す図である。 第１実施形態の幅ｒの設定例（非一様な場合）を示す図である。 第１実施形態の抽出部により、第１機械学習モデルの幅を変更する例を示す図。 第１実施形態の提供方法の例を示すフローチャート。 第２実施形態の提供システムの機能構成の例を示す図。 第２実施形態の管理情報の例を示す図。 第２実施形態のモデル管理の具体例を説明するための図。 第２実施形態の提供方法の例を示すフローチャート。 第３実施形態の提供システムの機能構成の例を示す図。 第３実施形態の学習部の機能構成の例を示す図。 第３実施形態の学習方法の例を示すフローチャート。 第１乃至第３実施形態の提供装置のハードウェア構成の例を示す図。

以下に添付図面を参照して、提供装置、提供方法及びプログラムの実施形態を詳細に説明する。

深層学習によって得られるネットワークは、ディープニューラルネットワーク（Ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＤＮＮ）と呼ばれるが、各層において畳み込み処理や全結合処理などを行うため計算量が多い、もしくはパラメータ数が多い特徴がある。また、重み係数データが多いためハードウェアなどで実現する場合に、メモリ使用量や転送量が多くなり、モバイルや車載など比較的ハードウェアスペックが低いエッジ機器でのリアルタイムでの推論処理が困難であるという特徴がある。このような学習済みのニューラルネットワーク（以下、モデルと呼ぶ）を、枝刈りする手法や蒸留学習などによりモデルサイズを小さくする技術が提案されている。一般的に、深層学習を含む機械学習を用いる手法は、学習プロセスと推論プロセスを有している。学習プロセスでは、予め用意したデータセットと学習前のモデルに対して、反復処理を行ってモデルを設計するため、エッジデバイスでの実現が困難である。そこで、学習フェーズを、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する大規模サーバー環境で実施し、学習済みのモデルをエッジデバイスに提供（デプロイ）するモデル提供システムが開示されている。エッジデバイスでは、デプロイされたモデルを用いて推論処理のみを行うことで、小規模のエッジデバイスでも高精度な認識処理が実現できる。

（第１実施形態）
はじめに、第１実施形態の提供システム１００の機能構成の例について説明する。

［機能構成の例］
図１は第１実施形態の提供システム１００の機能構成の例を示す図である。第１実施形態の提供システム１００は、提供装置１０、及び、デバイス２０ａ〜２０ｃを備える。提供装置１０、及び、デバイス２０ａ〜２０ｃは、ネットワーク２００を介して接続されている。以下、デバイス２０ａ〜２０ｃを区別しない場合は、単にデバイス２０という。

なお、ネットワーク２００の通信方式は、有線方式でも無線方式でもよく、また、有線方式と無線方式とを組み合わせて実現されていてもよい。また、ネットワーク２００は、高速な通信を実現する専用の通信回線で接続されてもよいし、パブリックネットワーク回線で接続されていてもよい。また、ネットワーク２００は、専用の通信回線とパブリックネットワーク回線とを組み合わせて実現されていてもよい。

第１実施形態の提供装置１０は、取得部１、設定部２、抽出部３、記憶制御部４、記憶部５及び提供部６を備える。

はじめに、デバイス２０について説明する。デバイス２０ａ〜２０ｃは同一のハードウェアスペックでもよいし、異なるハードウェアスペックでもよい。

デバイス２０は、例えば車やドローン、鉄道などの移動体に搭載されるデバイスであってもよい。例えば自動運転車の実現には、車に多量のセンサを搭載し、センシングされた情報（例えばカメラで撮影された画像）をニューラルネットワークで推論することで認識処理を行う。この場合のニューラルネットワークによる推論は、例えば画像から物体を検出したり、検出した物体を分類したり、検出した物体までの距離を計測したりすることである。

また例えば、デバイス２０は、工場の生産ラインに設置されるロボットや検査装置などに搭載されるデバイスであってもよい。例えば、外観検査では、センサで撮影したデータに対して、異常があるかどうかをニューラルネットワークで推論することで認識処理を行う。この場合のニューラルネットワークによる推論は、例えば異常が含まれているかを判定したり、異常部分を抽出したりすることである。

また例えば、デバイス２０は、トラックや配送、倉庫などで利用される移動体やロボットなどに搭載されるデバイスであってもよい。例えば倉庫などで用いられるピッキングロボットでは、ピッキング対象領域をセンシングし、そのデータをニューラルネットワークで推論することで認識処理を行う。この場合のニューラルネットワークによる推論は、例えばピッキング対象領域に含まれる荷物の個数を判定したり、その荷物の幅、高さ、奥行きを判定したりすることである。

また例えば、デバイス２０は、建物やイベント会場などの入退室をチェックするようなカメラデバイスであってもよい。具体的には、デバイス２０は、例えば特定の人物の顔や歩容、生体情報を照合するようなアプリケーションがインストールされたスマートフォンや携帯端末などでもよい。また例えば、アプリケーションは、撮影した画像や動画を加工したり、自動でタグ付けしたり、顔認識・人物認識してアルバム化したりするような機械学習を用いるアプリケーションであってもよい。加工処理・タグ付け処理・認識処理などは機械学習における一般的な例であり、予め学習したモデルを用いて推論処理を行うことによってこのようなアプリケーションを実現可能である。

ここでは、デバイス２０の一例を示したが、上記のようにエッジサイドでリアルタイム処理が必要なデバイス２０に搭載されるニューラルネットワークを用いた推論機能を持つデバイス２０は、上記デバイス２０としてネットワーク２００に接続可能である。デバイス２０は、エッジサイドでセンシングしたデータをクラウドなどのサーバー側に通信して、サーバー側で推論処理を行ってその結果を受け取るシステム構成と比較した場合に、その通信などで発生するレイテンシが問題となるシステムである。リアルタイム処理が最重要となるため、これらはエッジデバイス上にニューラルネットワークでの推論処理を実行するハードウェアを搭載することが望ましい。上記のようなシステムをここではリアルタイムエッジシステムと呼ぶ。

また、上記とは用途が異なるが、デバイス２０を監視カメラのようなデバイスと考えてもよい。例えば、監視カメラに映る不審者や危険物、不法投棄などの特定の物体や行動を検知するような監視システムである。監視カメラでは、一般的に監視領域を動画撮影し、その映像がイベント発生時（イベント確認時）に再生される。しかし、動画データは静止画などと比較してデータ量が多いため、クラウドなどのサーバー側にすべてをアップロードできるとは限らない。このようにアプリケーションによっては、その通信量の観点で、エッジデバイス側で認識処理を行い、認識処理結果だけをクラウドなどに通信する。一方で、動画データはすべてをクラウドには送らず、一部のみ、もしくはローカルストレージやエッジサーバーに一定期間だけ保存する場合が考えられる。このようにシステム上通信コストが大きい場合に、エッジデバイス上でニューラルネットワークでの推論処理を実行するハードウェアを搭載するケースが考えられる。上記のようなシステムをここではアナリティクスエッジシステムと呼ぶ。

なお、リアルタイムエッジシステムとアナリティクスエッジシステムを組み合わせることも可能である。このようなシステムはハイブリッドエッジシステムと呼ぶ。

デバイス２０は、ネットワーク２００を介して、相互に接続されてもよい。上記デバイス２０は、一般的には用途に応じて選定されたハードウェアであり、それぞれのスペックは異なっていてもよい。いずれにしてもデバイス２０は、学習済みのモデルを用いて推論処理を行う機能を有している。

なお、第１実施形態では、簡単な例として、デバイス２０を車に搭載される車載ＬＳＩとする。例えば、デバイス２０ａが一般車、デバイス２０ｂが高級車、デバイス２０ｃが特殊車両などとし、それぞれのハードウェアスペックが異なる場合について説明する。

次に、取得部１について説明する。

取得部１は、デプロイ対象のデバイス２０のデバイス情報を取得する。

［デバイス情報の例］
図２は第１実施形態のデバイス情報の例を示す図である。第１実施形態のデバイス情報は、特定情報、スペック情報及び制御情報を含む。

特定情報は、デバイスを特定する情報である。特定情報は、例えばグループＩＤ、デバイスＩＤ及びデバイス名称等を含む。グループＩＤは、デバイスが属するグループを識別する識別情報である。デバイスＩＤは、デバイスを識別する識別情報である。デバイス名称は、デバイスの固有名称である。

具体的には、特定情報は、複数のエッジデバイスからデプロイ先のデバイス２０を特定するための情報として使用される。特定情報として、例えば、同一のデバイスであってもその中のどのデバイス２０かを特定できる固有のＩＤがあることが望ましい。また、特定情報は、デバイス２０を管理する上で重要な情報として、デバイス２０の設置位置や用途、利用目的、備考など、様々な情報を含む。なお、デバイス２０のハードウェアやソフトウェアに関する情報は、次のスペック情報１２２に該当する。

スペック情報は、機械学習モデルを用いて推論処理を行うデバイス２０のハードウェア仕様を示す情報である。スペック情報は、例えばデバイス種類、デバイス演算能力及びメモリサイズ等を含む。デバイス種類は、ＣＰＵなどの汎用演算機であるか、ＦＰＧＡやＬＳＩ、ＳｏＣなどの専用演算機であるかなどのデバイス２０の種類を示す情報である。近年、エッジデバイスで深層学習モデルを推論するためのデバイスとして、ハードウェアアクセラレターを搭載するデバイスが増えている。これらのデバイスでは、デプロイするモデルを変更することで、デバイスの認識処理をプログラマブルに変更することが可能である。デバイス演算能力は、デバイス種類により表現方法は異なるが、例えばＦｌｏｐｓ、Ｔｏｐｓなどで表される演算能力である。メモリサイズは、デバイス２０に搭載されたメモリ量である。スペック情報は、上述のデバイス種類、デバイス演算能力及びメモリサイズの他に、メモリバンド幅、及び、消費電力などのハードウェアスペックに依存する情報を含んでいてもよい。また、エッジデバイスが小型のコンピュータであれば、スペック情報は、例えば導入されているＯＳの種類や、デバイスドライバ情報、ファームウェア情報、推論処理を行うソフトウェア名称やバージョン、フレームワーク情報などを含む。

制御情報は、モデルを用いた推論処理で制御される情報である。制御情報は、例えば目標演算量、目標モデルサイズ、目標レイテンシ及び目標認識率等のうち、少なくとも１つを含む。目標演算量は、モデルが搭載されたデバイス２０で実行される推論処理の目標演算量である。目標モデルサイズは、デバイス２０で実行される推論処理に用いられるモデルの目標モデルサイズである。目標レイテンシは、モデルが搭載されたデバイス２０で実行される推論処理の目標速度である。目標認識率は、モデルが搭載されたデバイス２０で実行される推論処理の目標認識率である。目標認識率は、分類タスクであれば分類率、検出タスクであれば検出率など、セグメンテーションタスクであれば、Ｆ値やＰｒｅｃｉｓｉｏｎ、Ｒｅｃａｌｌ値などを含む。

制御情報は、上述の目標演算量、目標モデルサイズ、目標レイテンシ及び目標認識率等の他に、モデル搭載数、モデルの優先度、モデルの演算精度（８ビット、１２ビット、１６ビットなど）、及び、目標消費電力等の情報を含んでいてもよい。

上述の制御情報は、例えばデバイス上で動作するアプリケーションの設計情報として使用される。

提供装置１０は、例えばデバイス２０のハードウェアスペック上限に合わせて、モデルを当該デバイス２０にデプロイするケースでは、上述のスペック情報を重視してデプロイする。一方で、複数のモデルをデプロイする場合には、提供装置１０は、上記スペック情報１２２の上限の下で、どのモデルをどの優先度でデプロイするかを制御しなければならない。

なお、図２では、デバイス情報が、特定情報、スペック情報及び制御情報を含む場合を一例として説明しているが、これらに関連する付帯情報をデバイス情報に追加してもよい。例えばスペック情報が同一であっても、その用途が異なる場合に、特定情報にデバイス名称を追加してもよい。あるいは、スペック情報にその製品の紹介ＵＲＬなどの情報を追加してもよい。デバイス２０と、デプロイされたモデルとは紐づけて管理されるため、管理を容易にする情報が、デバイス情報として記憶されていることが望ましい。

なお、制御情報は、デバイス情報に含まれていなくてもよい。例えば図２においてデバイスグループ０５のデバイスＩＤ１１１９では、目標演算量や目標モデルサイズをＮ／Ａ（Ｎｏｔ Ａｐｐｒｉｃａｂｌｅ）としている。このような場合は、基本的にそれ以外の目標値の制御条件を優先することを意味する。この場合では、目標レンテンシが１０００ｍｓｅｃ以内となるように、後述の抽出条件が設定される。

図１に戻り、取得部１は、例えばデバイス１０ａからデバイス情報を取得する。なお、取得部１は、ネットワーク２０を介してデバイス１０ａから直接、デバイス情報を取得してもよいし、ネットワーク２００に接続された他のシステムから、デバイス情報を取得してもよい。ネットワーク２００に接続された他のシステムは、例えばモデル学習装置やモデル設計装置、モデル管理アプリケーションなどである。

取得部１は、デバイス情報を取得すると、当該デバイス情報を設定部２に入力する。

次に、設定部２について説明する。

設定部２は、取得部１からデバイス情報を受け付けると、当該デバイス情報に基づいて、第１機械学習モデルから第２機械学習モデルを抽出する条件を示す抽出条件を設定する。設定部２は、例えばデバイス情報に含まれるスペック情報及び制御情報に基づいて、抽出条件リストから抽出条件を選択することによって、抽出条件を設定する。

［抽出条件の例］
図３は第１実施形態の抽出条件リストの例を示す図である。図３の例では、抽出条件リストは、制御ランク、モデル情報及び推論情報を含む。

制御ランクは、抽出ＩＤ及びランクを含む。抽出ＩＤは、抽出条件リストに含まれる抽出条件を識別する識別情報である。ランクは、第２機械学習モデルの演算量を制御するランクである。第２機械学習モデルのランクについては後述する。

モデル情報は、モデルサイズ及び演算量等を含む。モデルサイズは、第２機械学習モデルのサイズである。演算量は、第２機械学習モデルを用いた推論処理の演算量である。

推論情報は、レイテンシ、認識率及びメモリサイズ等を含む。レイテンシは、第２機械学習モデルが搭載されたデバイスで実行される推論処理の速度である。認識率は、第２機械学習モデルが搭載されたデバイスで実行される推論処理の認識率である。メモリサイズは、第２機械学習モデルが搭載されたデバイスで実行される推論処理の実行に必要とされるメモリのサイズである。

設定部２は、デバイス情報に含まれるスペック情報と制御情報とを満たす抽出条件を、抽出条件リストから選択することにより、抽出条件を設定する。例えば、図２に示されるデバイス情報において、デバイスグループ０６、デバイスＩＤ１１１１の場合を例にして説明する。この例では、制御情報に、目標演算量５０ＧＦｌｏｐｓが指定されている。図３に戻ると、演算量が５０ＧＦｌｏｐｓを満たす抽出ＩＤは００００２であることが分る。そこで、設定部２は、抽出ＩＤ０００２によって識別される抽出条件を設定する。

なお、デバイス情報に含まれる制御情報で複数の項目が指定されている場合、設定部２は、例えばすべての項目を満たす抽出条件を設定する。

複数の項目が指定されている場合に、すべての項目を満たす抽出ＩＤを選択する例を説明する。例えば、図２のデバイスグループ０４のデバイスＩＤ０２２２の例では、目標演算量が１００ＭＦｌｏｐｓ以下であり、目標レイテンシが１００ｍｓｅｃ以下である。図４の抽出条件リストでは、この２つの条件を満たす抽出ＩＤは０００６である。この場合、設定部２は、抽出ＩＤ０００６によって識別される抽出条件を設定する。

また例えば、デバイス情報に含まれる制御情報で複数の項目が指定されている場合、設定部２は、例えば予め決められたポリシーに従って優先度順に、制御情報に含まれる項目を満たす抽出条件を設定する。例えば、設定部２は、制御情報に優先度を設け、スペック情報が許容する範囲で、優先度の高い項目を優先して抽出条件を設定してもよい。例えば、図２のデバイスグループ０４のデバイスＩＤ０２２２の例では、目標演算量は１００ＭＦｌｏｐｓであり、デバイス演算能力も１００ＭＦｌｏｐｓである。つまり、演算量が１００ＭＦｌｏｐｓより大きな抽出条件は設定できない。この場合、目標演算量よりもレイテンシの優先度が低いため、設定部２は、演算量を１００ＭＦｌｏｐｓ以下に抑えられる抽出ＩＤ０００５によって識別される抽出条件を設定してもよい。

なお、設定部２は、上記以外のポリシーや選定基準を用いて、抽出条件を設定してもよい。ただし、スペック情報で指定されたスペックを上回るモデル情報を含む抽出条件は、当該抽出条件に基づいて抽出された第２機械学習モデルが、当該デバイス２０で実行できない可能性があるため望ましくない。

次に、抽出部３、記憶制御部４及び記憶部５について説明する。

抽出部３が、設定部２から抽出条件を受け付けると、記憶制御部４が、記憶部５から第１機械学習モデルを読み出し、当該第１機械学習モデルを抽出部３に入力する。抽出部３は、抽出条件に基づいて、第１機械学習モデルの一部を、第２機械学習モデルとして抽出する。すなわち、第２機械学習モデルのサイズは、第１機械学習モデルのサイズよりも小さい。

ここで、記憶部５に登録されている第１機械学習モデルは、ニューラルネットワークのモデルの演算量を変更可能なスケーラブルＮＮ（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）である。

＜スケーラブルＮＮの説明＞
第１機械学習モデルは、一般的なニューラルネットワークで用いられる各層（全結合層や畳み込み層）の重み係数のテンソルを、テンソル分解法によって２以上のテンソル（分解テンソル）に分解された分解層を持つように学習されている。

図４は、重み係数のテンソルを分解した分解層を持つ第１機械学習モデルの例を示す図である。図４の例は、ｍ×ｎサイズの重み行列Ｗが幅Ｒの二つの行列に分解されている場合を示す。重み行列Ｗの各成分は、実数値の重みを示す。分解方法は、例えば特異値分解（ＳＶＤ：ｓｉｎｇｕｌａｒ ｖａｌｕｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）を用いて、図４のように分解する。なおここでは２つに分解されている例を示しているが、重み行列Ｗを三つ以上に分解してもよい。

抽出部３は、１≦Ｒ≦ｍｉｎ（ｍ，ｎ）の範囲で設定された抽出条件のランクＲに従って、第１機械学習モデルから第２機械学習モデルを抽出する。ランクＲは、上述の図４で説明した抽出条件リストに記載されたランクである。具体的には、Ｒは、基底ベクトル（ＵＳの各列またはＶ^Ｔの各行）のうち、寄与度が低い基底ベクトルを削除後に抽出された数に該当する。ｊ（＝１，…，ｍｉｎ（ｍ，ｎ））番目の各基底ベクトルの寄与度α_ｊは、例えば特異値の大きさに基づいて計算される。第１実施形態では、寄与度α_ｊは、特異値を最大値で正規化する下記式（１）を用いて計算される。

ここでσ_ｊは、ｊ番目の基底ベクトルの特異値（対角行列Ｓの対角成分）を表す。なお寄与度として、分散基準、情報量基準及び判別基準などを用いてもよい。モデルサイズは、重み行列Ｕ_ＲＳ_Ｒの成分（重み係数）の数ｍＲ、及び、重み行列Ｖ_Ｒ ^Ｔの成分の数Ｒｎの和で示される。

ニューラルネットワークが複数の層を持つ場合など、第１機械学習モデルが複数の重み行列Ｗを有する場合は、それぞれの重み行列Ｗについて上記分解処理が行われてもよい。なお、抽出部３の抽出処理は、第１機械学習モデルに対して一度だけ実行されればよい。

モデルサイズは、抽出部３によって生成される第２機械学習モデルのサイズである。

抽出部３は、ランクＲに応じて、重み係数のテンソルの分解テンソルの幅を設定する。第１実施形態では、抽出部３は、設定部２から抽出条件を受け付けるたびに、重み行列Ｗの幅ｒとして（Ｕ_ｒＳ_ｒ）Ｖ_ｒ ^Ｔの幅ｒ（１≦ｒ≦Ｒ）を設定する。

図５は第１実施形態における第１機械学習モデルの重み行列Ｗの幅ｒについて説明するための図である。重み行列Ｗの幅ｒは、分解された重み行列Ｕ_ＲＳ_Ｒの列数ｒ（分解された重み行列Ｖ_Ｒ ^Ｔの行数ｒ）によって決定される。抽出部３は、Ｒ個の基底ベクトルからｒ（１≦ｒ≦Ｒ）個の基底ベクトルを選択することによって、分解テンソル（図３では、重み行列ＵｒＳｒ及び重み行列Ｖ_ｒ ^Ｔ）の幅を設定する。具体的には、抽出部３は、設定部２から入力される抽出条件をもとに、寄与度α_ｊの大きい基底ベクトルから基底ベクトルを追加して、目的のモデルサイズとなるまで、重み行列Ｗの幅ｒを増加させる。または、抽出部３は、寄与度α_ｊの小さい基底ベクトルから基底ベクトルを削除して、目的のモデルサイズとなるまで重み行列Ｗの幅ｒを減少させる。

第１機械学習モデルが複数の重み行列Ｗを有する場合（多層の場合）は、各重み行列Ｗが目的のサイズになるまで、独立に幅ｒの設定を行ってもよい。この場合は各重み行列Ｗのパラメータ数が同じであれば、幅ｒは一様になる。または、複数の重み行列Ｗに含まれる基底ベクトルの寄与度を大きい順または小さい順に一列に並べた上で、上記幅ｒの設定を行ってもよい。この場合は、寄与度の大きい基底ベクトルを含む重み行列Ｗの幅ｒが優先的に増加するため、各重み行列Ｗのパラメータ数が同じであっても、幅ｒは非一様になる。

図６Ａは第１実施形態の幅ｒの設定例（一様な場合）を示す図である。図６Ｂは第１実施形態の幅ｒの設定例（非一様な場合）を示す図である。図６Ａ及びＢの例は、５１２ノードをもつ中間層３つからならニューラルネットワークの幅ｒを設定した場合を示す。ｈ１〜３は、中間層の階層を示す。非一様の方式では、図６Ｂに示すように、寄与度の大きい層（寄与度の大きい基底ベクトルをより多く含む重み行列Ｗに対応する層）ほど幅ｒが大きくなる。これらの各重み行列Ｗの幅ｒとモデルサイズとの関係は予め抽出条件リストに登録されておくことが望ましい。なお、図６Ａ及びＢは、中間層３つからならニューラルネットワークの場合を例示しているが、中間層の層数は任意でよい。

図１に戻り、抽出部３は、抽出条件に応じて幅ｒ（１≦ｒ≦Ｒ）が設定されるたびに、抽出処理を行い、抽出されたモデルを第２機械学習モデルとして提供部６へ入力する。具体的には、抽出部３は、第１機械学習モデルを、設定された幅を有する２以上の分解テンソルによって表される第２機械学習モデルに変更する。第１実施形態では、抽出部３は、幅ｒ（１≦ｒ≦Ｒ）を示すランクが入力されるたびに、重み行列Ｗの幅ｒを変更し、変更されたモデル（重み係数）を第２機械学習モデルとして提供部６に入力する。これにより重み行列Ｗのパラメータ数（重み係数の数）を、（ｍ＋ｎ）≦（ｍ＋ｎ）ｒ≦（ｍ＋ｎ）Ｒの範囲で変更できる。

図７は第１実施形態の抽出部３により、第１機械学習モデルの幅を変更する例を示す図である。図７の例は、中間層３つからなるニューラルネットワークの幅を変更する場合を示す。この場合、１層、２層、３層目につながる重み行列Ｗのそれぞれが、上述の分解処理によって、重み行列ＵＳ及びＶ^Ｔに分解される。抽出部３は、第１層につながる重み行列Ｗを、幅ｒ１の重み行列ＵＳ及びＶ^Ｔに変更し、第２層につながる重み行列Ｗを、幅ｒ２の重み行列ＵＳ及びＶ^Ｔに変更し、第３層につながる重み行列Ｗを、幅ｒ３の重み行列ＵＳ及びＶ^Ｔに変更することにより、フルランクＲを有する第１機械学習モデルから特定のランクを保持した第２機械学習モデルを生成する。

なお、抽出部３は、第１機械学習モデルに含まれる重み行列の一部を分解の対象としてもよい。すなわち、抽出部３は、第１機械学習モデルに含まれる重み行列のうち、少なくとも１つの重み行列を特異値分解により２つ以上の行列に分解し、分解後の行列のサイズをランクに応じて変えることによって、第１機械学習モデルから第２機械学習モデルを抽出してもよい。

また、抽出部３は、モデルが正規化処理を有する場合、幅ｒ（１≦ｒ≦Ｒ）に基づいて、正規化処理のパラメータを変更することで、幅変更の影響を補正する。例えば、第１機械学習モデルが正規化処理をする正規化層を含む場合、正規化処理で使用されるパラメータを、抽出条件のランクに応じて補正する。第１実施形態ではニューラルネットワークがＢａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ層を有する場合に、平均及び分散のパラメータを補正する場合について説明する。

Ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ層は、重み行列Ｗによる入力ｘの射影後のベクトルｙを、以下のように正規化する。

ここで、Γ、βは学習で決定されるスケールおよびバイアスパラメータ、μ、Ｚが学習で決定される平均および分散のパラメータである。幅ｒを用いると、μ、Ｚの補正値μｒ、Ｚｒは以下のように計算される。

ここでΣは、学習サンプルを用いて計算されたｙの共分散行列である。ＺｒはΣｒの対角成分のみを取出した対角行列である。

次に、提供部６について説明する。

提供部６は、抽出部３から第２機械学習モデルを受け付けると、当該第２機械学習モデルをデバイス情報により特定されるデバイスに、ネットワーク２００を介して提供する。提供部６は、第２機械学習モデルを、通信するために好適なフォーマットに整形する機能を有していてもよい。このフォーマットは例えば、ＨＴＴＰ通信などで一般的に使われるＸＭＬやＪＳＯＮなど、またはＳＱＬなどでもよい。ネットワーク２００は、通信プロトコルに合わせて、第２機械学習モデルをデバイス２０に送信する。

デバイス２０は、提供装置１０から第２機械学習モデルを受信すると、当該機械学習モデルをデバイス２０のメモリやストレージに保存する。デバイス２０は、ニューラルネットワークの推論機能を有しており、センサなどから得たデータを、第２機械学習モデルを用いて処理する。

［提供方法の例］
次に、第１実施形態の提供方法の例について説明する。

図８は第１実施形態の提供方法の例を示すフローチャートである。はじめに、取得部１が、デプロイ対象のデバイス２０のデバイス情報を取得する（ステップＳ１）。次に、設定部２が、ステップＳ１の処理により取得されたデバイス情報に基づいて、上述の抽出条件を設定する（ステップＳ２）。次に、記憶制御部４が、記憶部５から第１機械学習モデルを読み出す（ステップＳ３）。

次に、抽出部３が、ステップＳ２の処理により設定された抽出条件に基づいて、ステップＳ３の処理により読み出された第１機械学習モデルの一部を、第２機械学習モデルとして抽出する（ステップＳ４）。次に、提供部６が、ステップＳ４の処理により抽出された第２機械学習モデルを、ステップＳ１の処理により取得されたデバイス情報により特定されるデバイス２０に、ネットワーク２００を介して提供する（ステップＳ５）。

以上、説明したように、第１実施形態の提供装置１０では、記憶制御部４が、ニューラルネットワークのモデルの演算量を変更可能な第１機械学習モデルを記憶部５に記憶する。取得部２が、デバイス情報を取得する。設定部２が、デバイス情報に基づいて、第１機械学習モデルから第２機械学習モデルを抽出する条件を示す抽出条件を設定する。抽出部が、抽出条件に基づいて第１機械学習モデルから第２機械学習モデルを抽出する。そして、提供部６が、第２機械学習モデルをデバイス情報により特定されるデバイス２０に提供する。

これにより第１実施形態の提供装置１０によれば、演算量の異なる複数の機械学習モデルを、計算コスト及びストレージコストを抑えて提供できる。

（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

［機能構成の例］
図９は第２実施形態の提供システム１００−２の機能構成の例を示す図である。第２実施形態の提供システム１００−２は、提供装置１０−２、及び、デバイス２０ａ〜２０ｃを備える。

第２実施形態の提供装置１０−２は、取得部１、設定部２、抽出部３、記憶制御部４、記憶部５、提供部６及びＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部７を備える。

第２実施形態では、第１実施形態の構成に更にＵＩ部７が追加されている。また、記憶制御部４が、取得部１からデバイス情報を受け付け、提供部６からデプロイ情報を受け付け、デバイス情報及びデプロイ情報と、第１機械学習モデルの学習情報とを関連付けて管理情報として記憶部５に記憶する。

［管理情報の例］
図１０は第２実施形態の管理情報の例を示す図である。第２実施形態の管理情報は、デバイス情報、デプロイ情報及び学習情報を含む。

デバイス情報は、グループＩＤ及びデバイスＩＤを含む。グループＩＤ及びデバイスＩＤは、図２の説明と同じなので省略する。図１０の管理情報の例では、管理情報でグループＩＤ及びデバイスＩＤを記憶することによって、図２のデバイス情報と関連付けられている。

デプロイ情報は、デプロイ日及び抽出ＩＤを含む。デプロイ日は、抽出ＩＤにより識別される抽出条件を満たすようにして抽出された第２機械学習モデルがデプロイされた日である。抽出ＩＤは、図３の説明と同じなので省略する。

学習情報は、モデルＩＤ、モデル生成日及びデータＩＤを含む。モデルＩＤは、第１機械学習モデルを識別する識別情報である。モデル生成日は、第１機械学習モデルが生成された日である。データＩＤは、第１機械学習モデルの学習に使用された学習データセットを識別する識別情報である。

図１１は第２実施形態のモデル管理の具体例を説明するための図である。図１１の例では、デバイス２０ａ−１は、図１０の管理情報の２行目と３行目にデータが登録されており、デプロイ日が異なることから、抽出ＩＤが更新されていることが分かるので、第２機械学習モデルが更新されていることが分かる。また、デバイス２０ａ−２は、図１０の管理情報の５行目のデータから、モデルＩＤが更新されていることが分かるので、第２機械学習モデルの抽出元の第１機械学習モデルが更新されていることが分かる。

図１に戻り、ＵＩ部７は、ネットワーク２００を介してリクエストを受信した場合、当該リクエストに応じて管理情報を出力することによって、管理情報をユーザに公開する。

次に、第２実施形態の動作について説明する。

＜モデルデプロイ時の動作例＞
提供部６は、第２機械学習モデルをデバイス２０に提供すると、抽出条件に提供時の付随情報を付加したデプロイ情報を生成し、当該デプロイ情報を記憶制御部４へ入力する。付随情報は、例えばデプロイ日時、デプロイ時の送受信結果、デプロイ時の通信時間、及び、エラー情報などの情報である。記憶制御部４は、デプロイ情報、及び、取得部１により取得されたデバイス情報を、上述の学習情報に関連付けて、管理情報として記憶部５に記憶する。

これにより、いつ、どのデバイスに、どのような第２機械学習モデルを提供したのかという情報が、様々な情報と紐づけて管理できる。具体的には、上述のデバイス情報、抽出条件、デプロイ情報及び学習情報などを紐付けて管理できる。ＵＩ部７は、これらの情報を紐づけて管理することにより、特定のデバイスで不具合が発生した場合に、いつ、どこで、どのデバイスに、どうようなモデルを提供したのかを、ユーザに即座に伝えることが可能となる。

＜公開リクエスト受信時の動作例＞
次に、提供装置１０−２が、ネットワーク２００を介して管理情報の公開リクエストを受信した場合の動作について説明する。

ＵＩ部７は、管理情報の公開リクエストを受信し、公開リクエストで指定された検索条件に応じた応答を返すことにより、管理情報を公開する。公開リクエストの送信元は、例えばデバイス２０等のネットワーク２００に接続された装置である。

具体的には、ＵＩ部７は、例えばＡＰＩアプリケーションとして、管理情報の公開リクエストを受信し、当該公開リクエストに応じた応答を返す。例えば、ＵＩ部７は、デバイスグループ０１のデバイスＩＤ０００１の過去のすべての管理情報の公開リクエストを受信した場合、管理情報からデバイスグループ０１、デバイスＩＤ０００１に該当するすべてのデータを検索し、検索結果を含む応答を公開リクエストの送信元に返す。

また例えば、ＵＩ部７は、ウェブアプリケーションとして、ウェブ画面に入力されたデバイスグループ０１のデバイスＩＤ０００１の公開リクエストを受信し、上述の検索結果をウェブアプリケーションの画面に表示してもよい。当該画面には、例えばデバイス情報、デプロイ情報及び学習情報が一覧表示される。これによりユーザは、いつ、どのデータＩＤ、どのモデルＩＤで学習されたモデルが、いつ、どの抽出ＩＤで、どのデバイスＩＤにデプロイされているかを一覧画面で見ることができ、モデルの更新履歴や、不具合履歴などを即座に知ることが可能となる。

［提供方法の例］
次に、第２実施形態の提供方法の例について説明する。

図１２は第２実施形態の提供方法の例を示すフローチャートである。ステップＳ１１〜ステップＳ１５の説明は、第１実施形態のステップＳ１〜ステップＳ５と同じなので省略する。

提供部６は、ステップＳ１５の処理により提供された第２機械学習モデルのデプロイ情報を生成する（ステップＳ１６）。次に、記憶制御部４が、ステップＳ１６の処理により生成されたデプロイ情報を記憶部５に記憶する（ステップＳ１７）。次に、ＵＩ部７は、公開リクエストに応じて、管理情報を公開する（ステップＳ１８）。

以上、説明したように、第２実施形態によれば、任意のモデルサイズで推論が可能な第１機械学習モデルが、いつ、どこで、どうやって学習されたかを管理すると共に、第１機械学習モデルが、いつ、どこで、どうやって、第２機械学習モデルとして提供されたかを管理できる。第２実施形態の管理情報を用いれば、モデルそのものを管理するストレージコストを要することなく、デプロイ時の抽出ＩＤから、デプロイ時の同一ＩＤのモデルを再現できる。不具合時には、デプロイ時と同一モデルを生成して検証することができ、管理コストを低減できる。第２実施形態によれば、どのデバイスにどのモデルをデプロイしたかが他の情報を合わせて一覧管理できるので、例えば、デプロイするデバイス２０が１万台などに増えた場合でも、ネットワーク２００を介してデバイス２０を特定し、新しくモデルサイズ等を変更したモデルをデプロイできる。このため、再学習が不要であり、学習コストを低減できる。

（第３実施形態）
次に第３実施形態について説明する。第３実施形態の説明では、第２実施形態と同様の説明については省略し、第２実施形態と異なる箇所について説明する。

［機能構成の例］
図１３は第３実施形態の提供システム１００−３の機能構成の例を示す図である。第２実施形態の提供システム１００−３は、提供装置１０−３、及び、デバイス２０ａ〜２０ｃを備える。

第３実施形態の提供装置１０−３は、取得部１、設定部２、抽出部３、記憶制御部４、記憶部５、提供部６、ＵＩ部７及び学習部８を備える。

第３実施形態では、第２実施形態の構成に更に学習部８が追加されている。また、記憶部５が、学習データセットが登録された学習ＤＢ（Ｄａｔａｂａｓｅ）を記憶する。

学習ＤＢは、ニューラルネットワークの学習に用いるあらゆるデータセットが登録されたデータベースである。例えば、自動車の運転支援で用いられる物体検出のモデルを開発する場合には、自動車などを用いて予め撮影された画像と、その画像に含まれる物体を教示したラベル画像とのペアデータが大量に登録されている。また、そのモデルを学習するために使われるニューラルネットワークのモデルも、同学習データセットの一部として多数登録されている。

第３実施形態では、例として、画像から目標物を検出する物体検出タスクを例に挙げて説明する。例えば、物体検出の従来技術としてＳｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｉｏｎ（ＳＳＤ）という従来技術（非特許文献２）が公開されている。

ここでは、上記ＳＳＤにおいて前段の特徴抽出部分にＲｅｓＮｅｔ−Ｎを利用した例を示す。ＲｅｓＮｅｔは近年様々なタスクに利用されるネットワーク構造であり、ＲｅｓＢｌｏｃｋを複数組み合わせてニューラルネットワークを深くすることで、モデルの表現能力を向上させ、性能向上させると共に、ネットワークを深くしても安定して学習が可能な深層学習モデルである。上記ＮはＲｅｓＮｅｔの深さを表しており、例えばＲｅｓＮｅｔ−３４、ＲｅｓＮｅｔ−５０などの様々な構造が知られている。これらの学習前のモデルが学習ＤＢに登録されている。なお、ここでは単純化のためのＲｅｓＮｅｔの例を説明したが、学習前のモデルで用いられる畳み込み層や全結合層が持つ重み行列Ｗは、第１機械学習モデルと同じように分解が可能な構造を持つ。

記憶制御部４は、学習ＤＢから学習データセットを読み出し、当該学習データセットを学習部８に入力する。学習部８は、学習データセットを用いて第１機械学習モデルを学習する。第１機械学習モデルは、学習情報として、利用したデータＩＤやモデルを生成した日時などの情報と共に記憶部５に記憶される。

＜学習部の動作例＞
図１４は第３実施形態の学習部８の機能構成の例を示す図である。第３実施形態の学習部８は、モデル取得部２１、学習データ取得部２２、近似部２３、損失計算部２４、勾配計算部２５、勾配集積部２６及び更新部２７を備える。

学習データセットは、モデルの入力データと、教師データとを含む。教師データは、入力データに対応するモデルの出力データ（正解ラベル）を示す。学習データ取得部２２は、学習中の各ステップでは、入力データの全てまたは一部を、幅Ａ〜Ｃモデル１０１ａ〜ｃに入力し、教師データの全てまたは一部を損失計算部２４に入力する。

近似部２３は、ｍ×ｎサイズの重み行列Ｗを、よりランクの低い重み行列Ｗｒに近似する。近似方法は、例えば上述の特異値分解を用いて、Ｗｒ＝Ｕ_ｒＳ_ｒＶ_ｒ ^Ｔとする。次数ｒ（上述の幅ｒ）には、１≦ｒ≦ｍｉｎ（ｍ，ｎ）の範囲で予め決定された値、累積寄与率などを用いて計算された値、及び、ランダムに選択された値などが用いられる。

なお、モデルが複数の重み行列Ｗを有する場合は、近似部２３は、全ての重み行列Ｗを近似しても良いし、一部の重み行列Ｗを選択して近似しても良い。重み行列Ｗｒに含まれるｒ個の基底の選択に当たっては、特異値などに基づいて定められた寄与度が大きいものから選択するとよい。近似部２３は、上述の近似方法で単一のモデルから、ランクｒの異なる複数の近似モデルを生成する。なお、近似モデルの数は、３つに限らず任意でよい。

図１４の例では、近似部２３は、近似モデルとして、幅Ａ〜Ｃモデル１０１ａ〜ｃを生成する。幅Ａモデル１０１ａは、幅ｒ＝Ａである重み行列Ｗ_Ａによって表されるモデルである。幅Ｂモデル１０１ｂは、幅ｒ＝Ｂである重み行列Ｗ_Ｂによって表されるモデルである。幅Ｃモデル１０１ｃは、幅ｒ＝Ｃである重み行列Ｗ_Ｃによって表されるモデルである。近似モデルは、それぞれの重み行列Ｗ_Ａ〜Ｗ_ｃ以外の全てのパラメータを共有して処理を行う。

損失計算部２４は、各ランクｒｉ（ｉ＝１，…，Ｍ）の近似モデルについて、損失関数Ｌ_ｉ（Ｄ，Ｗ_ｒｉ，Θ）（ｉ＝１，…，Ｍ）を計算する。ここで、Ｍはモデル数であり、例えば、図７に示す三つのモデルを用いる場合はＭ＝３である。Ｄは学習データである。Ｌ_ｉは損失関数であり、分類問題などでは例えばクロスエントロピー関数などを用いる。Ｗ_ｒｉは、ランクｒｉの近似モデルの重み行列を表す。ΘはＷ_ｒｉ以外の全ての学習可能なパラメータを表す。なお損失関数に、重みのＬ_２正則化などの正則化関数を追加してもよい。

勾配計算部２５は、各近似モデルについて、下記式（９）及び（１０）により、損失関数を微分して勾配を計算する。

ここで、上記式（９）の重み行列Ｗに関する微分は、各近似モデルの重み行列Ｗ_ｒｉについてではなく、近似前の重み行列Ｗに関して計算する。具体的には例えば、下記式（１１）又は（１２）により計算する。

ここでＵ_ｒｉおよびＶ_ｒｉは、ランクｒｉに近似した際に得られる行列である。

勾配集積部２６は、各近似モデルの勾配を集積して更新部２７へ入力する。具体的には、勾配集積部２６は、下記式（１３）及び（１４）によって、各近似モデルの勾配を集積する。

ここでα_ｉ，β_ｉ（ｉ＝１，…，Ｍ）は、各損失の加重を表す係数である。α_ｉ，β_ｉは、例えば予め決定された値、各モデルのランク（幅ｒ）に応じて計算される値、及び、学習の進捗によって決定される値などである。なお損失関数に、重みのＬ_２正則化などの正則化関数を追加する場合は、上記式（１３）及び（１４）に正則化関数の勾配を加える。

更新部２７は、勾配集積部２６で集積された勾配を使って、複数の近似モデルに対して同時に損失関数を最小化することによって、学習対象のモデルのパラメータを更新する。更新方法は、ｍｏｍｅｎｔｕｍ−ＳＧＤ及びＡｄａｍなどの確率的勾配法を用いるとよい。

このような順序で学習が行われ、学習部８により学習された第１機械学習モデルが記憶部５に記憶される。

［提供方法の例］
次に、第３実施形態の学習方法の例について説明する。

図１５は第３実施形態の学習方法の例を示すフローチャートである。はじめに、学習部８が、記憶制御部４により読み出された学習データセットを受け付ける（ステップＳ２１）。次に、学習部８が、ステップＳ２１の処理により受け付けられた学習データセットを用いて第１機械学習モデルを学習する（ステップＳ２２）。次に、記憶制御部４が、ステップＳ２２の処理により学習された第１機械学習モデルを記憶部５に記憶する（ステップＳ２３）。

以上、説明したように、第３実施形態では、提供装置１０−３が学習部８を備えることにより、同じシステム内で、学習処理、モデル抽出処理、モデル提供処理、が統一的に扱われ、それぞれの処理に係る情報を統合管理するデータベースで扱うことができる。これにより情報管理の分散を防ぎ、各作業を行うユーザの管理作業の手間を減らすことができる。

次に、上述の第１乃至第３実施形態の変形例として、ＮｅｕｒａｌＯＤＥを用いる場合について説明する。

＜ＮｅｕｒａｌＯＤＥの説明＞
ニューラルネットワークの推論時に、深さ方向を任意に変更可能な技術としてネットワークの常微分方程式による表現方法が従来技術（非特許文献２、ＯＤＥと略す）として公開されている。

一般的なニューラルネットワークは、有限回の処理層を組み合わせて構成され、例えば畳み込み処理を複数回実施することで推論処理が行われる。一方、ＯＤＥでは、処理層を連続表現と捉え、任意の処理層で推論することが可能である（例えば従来１０層あったものを８．９層のように小数点も扱える）。画像認識処理などで利用されるＲｅｓＮｅｔを常微分方程式の形で表現し、学習させておき、推論時に解を求めるときに、評価点を自由に変更することが可能である。この技術は、例えばＲｅｓＮｅｔが持つ１つのＲｅｓＢｌｏｃｋのパラメータで、複数回の処理層を表現できるため、メモリ効率が良い。また、推論時に任意の評価点（層数）で推論できるため、演算量と精度を調整することが可能である。この技術を用いて、学習したモデルを第１機械学習モデルとし、表現する評価点の数を図３の抽出条件リストにランクとして設定しておくことで、幅方向だけでなく、深さ（ニューラルネットワークの層数）方向でも任意の演算量でモデルを表現（第２機械学習モデルを生成）することが可能である。この場合、モデルサイズは変わらないので、演算量と推論情報などを加味してデバイス２０に最適な抽出条件リストを作成すればよい。

この変形例では、第１機械学習モデルは、ＲｅｓＮｅｔブロックを含み、抽出条件は、例えば第２機械学習モデルの層数を含む。抽出部３は、ＲｅｓＮｅｔブロックを常微分方程式とみなして、抽出条件で指定された層数に展開されたネットワーク表現に分解することによって、第１機械学習モデルから第２機械学習モデルを抽出する。

最後に、第１乃至第３実施形態の提供装置１００（１００−２，１００−３）のハードウェア構成の例について説明する。

［ハードウェア構成の例］
図１６は第１乃至第３実施形態の提供装置１００（１００−２，１００−３）のハードウェア構成の例を示す図である。なお、提供装置１００は１つのハードウェア構成で実現しても良いし、複数のハードウェア構成を組み合わせても良い。

提供装置１００は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６は、バス３１０を介して接続されている。

制御装置３０１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御装置３０１は、補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。主記憶装置３０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。主記憶装置３０２は、一般的にはＤＲＡＭなどで実現される。補助記憶装置３０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、及び、メモリカード等である。

表示装置３０４は表示情報を表示する。表示装置３０４は、例えばＧＰＵである。ここでは外部に表示する機能として、液晶ディスプレイ等と接続されていても良い。入力装置３０５は、提供装置１００を操作するための入力インタフェースである。入力装置３０５は、例えばキーボードやマウス等である。提供装置１００がスマートフォン及びタブレット型端末等のスマートデバイスの場合、表示装置３０４及び入力装置３０５は、例えばタッチパネルである。通信装置３０６は、他の装置と通信するためのインタフェースである。

第１乃至第３実施形態の提供装置１００（１００−２，１００−３）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

また第１乃至第３実施形態の提供装置１００（１００−２，１００−３）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第１乃至第３実施形態の提供装置１００（１００−２，１００−３）で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また第１乃至第３実施形態の提供装置１００（１００−２，１００−３）のプログラム、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

第１乃至第３実施形態の提供装置１００（１００−２，１００−３）で実行されるプログラムは、上述した図１（図９，図１３）の機能ブロックのうち、プログラムによっても実現可能な機能ブロックを含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置３０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置３０２上にロードされる。すなわち上記各機能ブロックは主記憶装置３０２上に生成される。

なお上述した図１（図９，図１３）の各機能ブロックの一部又は全部をソフトウェアにより実現せずに、ＩＣ等のハードウェアにより実現してもよい。

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２以上を実現してもよい。

また第１乃至第３実施形態の提供装置１００（１００−２，１００−３）の動作形態は任意でよい。第１乃至第３実施形態の提供装置１００（１００−２，１００−３）を、例えばネットワーク上のクラウドシステムとして動作させてもよい。

以上、説明したように、第１乃至第３実施形態の提供装置１００（１００−２，１００−３）では、同一タスクに関して任意に処理能力を変更可能な共有スケーラブルモデル（第１機械学習モデル）を、例えば１つ有しておけばよい。設定部２が、取得部１により取得されたデバイス情報に応じて抽出条件を設定し、記憶部５が、複数のエッジデバイスのデバイス情報と、抽出条件を満たすデプロイ情報とを含む管理情報（図１０参照）を記憶する。これにより、例えば複数のエッジデバイス向けモデルを学習するための計算コストを低減し、複数のエッジデバイス向けモデルのストレージコストも低減できる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 取得部
２ 設定部
３ 抽出部
４ 記憶制御部
５ 記憶部
６ 提供部
７ ＵＩ部
８ 学習部
１０ 提供装置
２０ デバイス
２１ モデル取得部
２２ 学習データ取得部
２３ 近似部
２４ 損失計算部
２５ 勾配計算部
２６ 集積部
２７ 更新部
２００ ネットワーク
３０１ 制御装置
３０２ 主記憶装置
３０３ 補助記憶装置
３０４ 表示装置
３０５ 入力装置
３０６ 通信装置

Claims (13)

1. ニューラルネットワークのモデルの演算量を変更可能な第１機械学習モデルを記憶部に記憶する記憶制御部と、
   デバイス情報を取得する取得部と、
   前記デバイス情報に基づいて、前記第１機械学習モデルから第２機械学習モデルを抽出する条件を示す抽出条件を設定する設定部と、
   前記抽出条件に基づいて前記第１機械学習モデルから第２機械学習モデルを抽出する抽出部と、
   前記第２機械学習モデルを前記デバイス情報により特定されるデバイスに提供する提供部と、
   を備える提供装置。
2. 前記第２機械学習モデルのサイズは、前記第１機械学習モデルのサイズよりも小さい、
   請求項１に記載の提供装置。
3. 前記記憶制御部は、前記デバイス情報と前記抽出条件とを関連付けて、管理情報として前記記憶部に記憶する、
   請求項１又は２に記載の提供装置。
4. 前記第１機械学習モデルを学習する学習部を更に備え、
   前記記憶制御部は、前記管理情報に、前記第１機械学習モデルの学習情報を更に関連付けて前記記憶部に記憶する、
   請求項３に記載の提供装置。
5. 前記学習情報は、前記第１機械学習モデルを識別する識別情報、前記第１機械学習モデルが生成された日、及び、前記第１機械学習モデルの学習に使用された学習データセットを識別する識別情報を含む、
   請求項４に記載の提供装置。
6. 前記管理情報の公開リクエストを受信し、前記公開リクエストで指定された検索条件に応じた応答を返すＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）、
   を更に備える請求項３乃至５のいずれか１項に記載の提供装置。
7. 前記デバイス情報は、前記デバイスを特定する特定情報、及び、前記デバイスのハードウェア仕様を示すスペック情報を含む、
   請求項１乃至６のいずれか１項に記載の提供装置。
8. 前記デバイス情報は、前記第２機械学習モデルを用いた推論処理の制御情報を更に含む、
   請求項７に記載の提供装置。
9. 前記制御情報は、前記第２機械学習モデルが搭載されたデバイスで実行される推論処理の目標演算量、前記デバイスで実行される推論処理に用いられる前記第２機械学習モデルの目標モデルサイズ、前記デバイスで実行される推論処理の目標速度、及び、前記デバイスで実行される推論処理の目標認識率のうち、少なくとも１つを含む、
   請求項８に記載の提供装置。
10. 前記抽出条件は、前記第２機械学習モデルの演算量を制御するランクを含み、
    前記抽出部は、前記第１機械学習モデルに含まれる重み行列のうち、少なくとも１つの重み行列を特異値分解により２つ以上の行列に分解し、分解後の行列のサイズを前記ランクに応じて変えることによって、前記第１機械学習モデルから前記第２機械学習モデルを抽出する、
    請求項１乃至９のいずれか１項に記載の提供装置。
11. 前記抽出条件は、前記第２機械学習モデルの層数を含み、
    前記第１機械学習モデルは、ＲｅｓＮｅｔブロックを含み、
    前記抽出部は、前記ＲｅｓＮｅｔブロックを常微分方程式とみなして、前記抽出条件で指定された層数に展開されたネットワーク表現に分解することによって、前記第１機械学習モデルから前記第２機械学習モデルを抽出する、
    請求項１乃至９のいずれか１項に記載の提供装置。
12. ニューラルネットワークのモデルの演算量を変更可能な第１機械学習モデルを記憶部から読み出すステップと、
    デバイス情報を取得するステップと、
    前記デバイス情報に基づいて、前記第１機械学習モデルから第２機械学習モデルを抽出する条件を示す抽出条件を設定するステップと、
    前記抽出条件に基づいて前記第１機械学習モデルから第２機械学習モデルを抽出するステップと、
    前記第２機械学習モデルを前記デバイス情報により特定されるデバイスに提供するステップと、
    を含む提供方法。
13. コンピュータを、
    ニューラルネットワークのモデルの演算量を変更可能な第１機械学習モデルを記憶部に記憶する記憶制御部と、
    デバイス情報を取得する取得部と、
    前記デバイス情報に基づいて、前記第１機械学習モデルから第２機械学習モデルを抽出する条件を示す抽出条件を設定する設定部と、
    前記抽出条件に基づいて前記第１機械学習モデルから第２機械学習モデルを抽出する抽出部と、
    前記第２機械学習モデルを前記デバイス情報により特定されるデバイスに提供する提供部、
    として機能させるためのプログラム。

Images