JP2021039640A - 学習装置、学習システム、および学習方法 - Google Patents

Abstract

【課題】目標ハードウェアに好適なニューラルネットワークモデル３３を設計する。
【解決手段】学習装置１０は、構造探索部１２を備える。構造探索部１２は、ニューラルネットワークモデル３２におけるベースモデル構造２６に含まれる複数の畳み込み処理ブロックの各々に、目標ハードウェアの目標制約条件３０に応じた探索空間情報を選定した、第１学習済モデル構造２７Ａを探索する。
【選択図】図１

Description

本発明の実施形態は、学習装置、学習システム、および学習方法に関する。

ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデルを活用することで、画像認識・音声認識・テキスト処理などの分野で著しい性能向上が実現されている。ニューラルネットワークモデルには、深層学習（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）を用いる手法が多く用いられている。深層学習によって得られるネットワークモデルは、ディープニューラルネットワーク（Ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＤＮＮ）モデルと称され、各層において畳み込み処理などを行うため計算量が多い。また、深層学習を用いた手法は、重み係数データが多い。このため、従来のニューラルネットワークモデルを特定のハードウェアで動作させる場合、メモリ使用量や転送量が多くなり、モバイルや車載など比較的演算性能の低いハードウェアではリアルタイム処理が困難となる場合があった。このような課題に対し、汎化能力が高く、かつ、構造が簡単なニューラルネットワークモデルの構造を求める方法が開示されている。

特開２０１５−１１５１０号公報

Ｙａｇｕｃｈｉ， ｅｔ． ａｌ，"Ａｄａｍ Ｉｎｄｕｃｅｓ Ｉｍｐｌｉｃｉｔ Ｗｅｉｇｈｔ Ｓｐａｒｓｉｔｙ ｉｎ Ｒｅｃｔｉｆｉｅｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ"、 ａｒＸｉｖ ｐｒｅｐｒｉｎｔ， ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８１２．０８１１９ Ａ． Ｇ． Ｈｏｗａｒｄ， ｅｔ． ａｌ． "Ｍｏｂｉｌｅｎｅｔｓ： Ｅｆｆｉｃｉｅｎｔ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｍｏｂｉｌｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ，" ａｒＸｉｖ ｐｒｅｐｒｉｎｔ， ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１７０４．０４８６１ Ｂ． Ｚｏｐｈ， ｅｔ． ａｌ． "Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ ｗｉｔｈ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ"ａｒＸｉｖ ｐｒｅｐｒｉｎｔ， ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６１１．０１５７８

しかしながら、特許文献１の技術では、初期構造の学習モデルからランダムなユニットを削除して再学習し、探索後コストが初期コストを下回った構造を、最適なモデル構造として選択している。このため、特許文献１の技術では、目標ハードウェアに応じたモデルの最適化は困難であった。また、ユニットを削減する方法（非特許文献１）、畳み込み構造を簡略化する方法（非特許文献２）、およびネットワークの繋がりを探索する方法（非特許文献３）などの従来のモデルコンパクト方法では、目標ハードウェアに応じた簡略化は行われていなかった。このように、従来技術では、目標ハードウェアに好適なニューラルネットワークモデルを設計することは困難であった。

実施形態に係る学習装置は、構造探索部を備える。構造探索部は、ニューラルネットワークモデルにおけるベースモデル構造に含まれる複数の畳み込み処理ブロックの各々に、目標ハードウェアの目標制約条件に応じた探索空間情報を選定した、第１学習済モデル構造を探索する。

実施形態の学習装置の機能ブロック図。 入力画像を示す図。 正解ラベルを示す図。 ベースモデル構造を示す模式図。 目標制約条件を示す図。 構造探索部の機能ブロック図。 探索空間情報の説明図。 第１学習済モデル構造の模式図。 パラメータ探索部の機能ブロック図。 探索空間情報の説明図。 探索済学習パラメータの模式図。 プルーニング部の機能ブロック図。 第１学習済モデル構造と第２学習済モデル構造の模式図。 モーフィング部の機能ブロック図。 第２学習済モデル構造と第３学習済モデル構造の模式図。 学習処理の流れを示すフローチャート。 構造探索部が実行する探索処理の流れを示すフローチャート。 パラメータ探索部が実行する探索処理の流れを示すフローチャート。 プルーニング部が実行するプルーニング処理の流れを示すフローチャート。 モーフィング部が実行するモーフィング処理の流れを示すフローチャート。 ハードウェア構成を示す図。

以下に添付図面を参照して、この発明にかかる学習装置、学習システム、および学習方法の実施形態を詳細に説明する。

図１は、本実施形態の学習装置１０の機能的構成の一例を示す機能ブロック図である。本実施形態の学習装置１０は、ニューラルネットワークモデル３２および目標制約条件３０を用いて、深層学習モデルであるニューラルネットワークモデル３３を設計する。

学習装置１０は、構造探索部１２と、パラメータ探索部１４と、プルーニング部１６と、モーフィング部１８と、記憶部２０と、を備える。

構造探索部１２、パラメータ探索部１４、プルーニング部１６、およびモーフィング部１８は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣなどのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

記憶部２０は、各種のデータを記憶する。本実施形態では、記憶部２０は、モデル設計情報２２などの各種データを記憶する。

モデル設計情報２２は、ニューラルネットワークモデル３３の学習に用いる情報である。ニューラルネットワークモデル３３は、学習装置１０によって学習（設計）された後のニューラルネットワークモデルである。ニューラルネットワークモデル３２は、学習装置１０による学習（設計）前のニューラルネットワークモデルである。

モデル設計情報２２は、学習データセット２４と、ベースモデル構造２６と、学習パラメータ２８と、目標制約条件３０と、を含む。ベースモデル構造２６および学習パラメータ２８は、学習装置１０による学習前、すなわち、設計前のニューラルネットワークモデル３２に相当する。ベースモデル構造２６および学習パラメータ２８は、後述する構造探索部１２、パラメータ探索部１４、プルーニング部１６、およびモーフィング部１８の処理によって更新され、ニューラルネットワークモデル３３が設計される（詳細後述）。

学習データセット２４は、ニューラルネットワークモデル３２の教師データの群である。

教師データは、学習用データと、評価用データと、正解ラベルと、の組合せからなる教師データの群である。例えば、ニューラルネットワークモデル３２が画像識別のための学習モデルであると想定する。この場合、学習データセット２４は、学習に用いる画像、評価に用いる画像と正解ラベルとの組合せからなる教師データの群である。詳細には、例えば、ニューラルネットワークモデル３２が手書き数字文字認識のための学習モデルであると想定する。この場合、学習データセット２４は、手書き数字を含む学習用の画像と、評価用の画像と、予め人手などでその数字の正解を付した正解ラベルと、の組合せからなる教師データの群である。評価用データは、学習された後のニューラルネットワークモデル３３を評価するためのデータである。

なお、ニューラルネットワークモデル３２は、画像識別ための学習モデルに限定されない。例えば、ニューラルネットワークモデル３２は、クラスタリングタスク、レジストレーションタスク、セグメンテーションタスク、生成タスク、回帰タスク、強化タスク、などの他のタスクのための学習モデルであってもよい。また、学習データセット２４の入力データは、音声データ、時系列データ、言語・テキストデータ、などの画像以外のデータであってもよいし、点群データ、ボクセルデータ、レーダー信号などのデータであってもよい。

ニューラルネットワークモデル３２は、画像識別、クラスタリングタスク、などの上記の様々なタスク、および、画像や画像以外のデータなどの様々な入力データに対して、汎用的に利用可能な深層学習モデルである。本実施形態では、ニューラルネットワークモデル３２が、画像から物体などの目標物を検出する物体検出タスクのための学習モデルである場合を、一例として説明する。

このため、本実施形態では、学習データセット２４は、入力データである学習用の画像と、評価用の画像と、出力データである物体検出の正解ラベルと、の組合せからなる教師データの群である場合を、一例として説明する。

図２Ａおよび図２Ｂは、学習データセット２４における、入力画像３４と正解ラベル３６との組合せの一例を示す図である。図２Ａは、入力画像３４の一例を示す図である。図２Ｂは、図２Ａの入力画像３４に対する正解ラベル３６の一例を示す図である。正解ラベル３６は、例えば、歩行者３６Ａ、車３６Ｂ、自転車、等の物体ごとに異なる輝度値が正解ラベル３６として与えられる。なお、学習データセット２４は、図２Ａおよび図２Ｂに示す例に限定されない。

図１に戻り説明を続ける。物体検出の技術として、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｉｏｎ）が知られている（Ｗ． Ｌｉｕ， ｅｔ． ａｌ． “ＳＳＤ： Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ，”ＡｒＸｉｖ ｐｒｅｐｒｉｎｔ， ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１５１２．０２３２５）。

本実施形態では、ニューラルネットワークモデル３２として、上記ＳＳＤの前段の特徴抽出部分にＲｅｓＮｅｔ−Ｎを利用した例を説明する。ＲｅｓＮｅｔは、近年様々なタスクに利用されるネットワーク構造であり、ＲｅｓＢｌｏｃｋを複数組み合わせてニューラルネットワークを深くすることで学習モデルの表現能力および性能を向上させる、深層学習モデルである。また、ＲｅｓＮｅｔは、ネットワークを深くしても安定して学習が可能な深層学習モデルである。上記ＮはＲｅｓＮｅｔの深さを表している。ＲｅｓＮｅｔとしては、例えばＲｅｓＮｅｔ−３４、ＲｅｓＮｅｔ−５０などの様々な構造が知られている。本実施形態では、ニューラルネットワークモデル３２の構造が、ＲｅｓＮｅｔ−３４相当である場合を一例として説明する。

ベースモデル構造２６は、ニューラルネットワークモデル３２の構造部分（アーキテクチャ）を示す情報である。ベースモデル構造２６は、複数の畳み込み処理ブロックを有する。

図３は、ベースモデル構造２６の一例を示す模式図である。図３には、ＲｅｓＮｅｔ構造である、ニューラルネットワークモデル３２のベースモデル構造２６の一例を示した。

ベースモデル構造２６は、複数の畳み込み処理ブロック２６Ｂを含む。畳み込み処理ブロック２６Ｂは、例えば、ＲｅｓＢｌｏｃｋのような処理ブロックの塊である。図３には、一例として、１６個の畳み込み処理ブロック２６Ｂと、出力層２６Ｃと、を示した。しかし、畳み込み処理ブロック２６Ｂの数は、１６個に限定されない。

また、図３には、複数の畳み込み処理ブロック２６Ｂの各々の出力が、何れの他の畳み込み処理ブロック２６Ｂまたは出力層２６Ｃに接続されるかを示す矢印を示した。

図３中、畳み込み処理ブロック２６Ｂの各々の幅（矢印Ｘ方向の長さ）は、畳み込み処理ブロック２６Ｂの各々におけるユニットの数に相当する。ユニットの数とは、畳み込み処理ブロック２６Ｂの演算ユニットの数である。ユニットは、畳み込み処理ブロック２６Ｂが全結合層である場合にはノード、畳み込み処理ブロック２６Ｂが畳み込み層である場合には畳み込みフィルタ、と称される場合がある。以下では、ユニットの数を、単に、ユニット数と称して説明する場合がある。

ベースモデル構造２６では、ユニット数が増えるタイミングで、空間的な幅をサンプリングする単位であるｓｔｒｉｄｅ幅を広げたり、空間的なサブサンプリング手法の１つであるｐｏｏｌｉｎｇ処理を用いたりして、画像の解像度を縦横共に１／２にするのが一般的である。畳み込み処理ブロック２６Ｂの幅が長いほど、その畳み込み処理ブロック２６Ｂで保持するフィルタ数が多いことを意味する。

図１に戻り説明を続ける。本実施形態では、記憶部２０は、ニューラルネットワークモデル３２のベースモデル構造２６と、該学習パラメータ２８と、を、予め記憶する。例えば、記憶部２０は、別のモデル設計装置などで学習データセット２４を用いて予め学習された大規模なサイズのニューラルネットワークモデル３２の、ベースモデル構造２６および学習パラメータ２８を予め記憶する。

次に、目標制約条件３０について説明する。目標制約条件３０は、目標ハードウェアでニューラルネットワークモデル３２を動作させるための制約条件を示す情報である。

目標ハードウェアとは、学習装置１０で学習したニューラルネットワークモデル３３を動作させる対象のハードウェアである。言い換えると、目標ハードウェアとは、ニューラルネットワークモデル３３を用いた各種処理を実行するハードウェアである。目標ハードウェアは、ＣＰＵ、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのプロセッサを備えたコンピュータである。例えば、目標ハードウェアは、モバイル端末、車載端末、などに搭載されるプロセッサである。また、目標ハードウェアは、演算性能が所定性能以下のプロセッサであってもよい。

目標制約条件３０は、言い換えると、目標ハードウェアのスペックによって定まる指標である。

図４は、目標制約条件３０の一例を示す図である。目標制約条件３０は、目標ハードウェアの識別情報であるハードウェアＩＤに対応付けて記憶される。図４には、目標制約条件３０がハードウェアＩＤを含む場合を一例として示した。ハードウェアＩＤは、目標ハードウェアの識別情報である。目標制約条件３０は、例えば、モデルサイズ、モデルの演算量、レイテンシ、消費電力、推論速度、使用メモリ量、ニューラルネットワークモデルのメモリサイズ、および、メモリバンド幅、の少なくとも１つの項目と、各項目に対応する目標値と、を含む。

モデルサイズは、ニューラルネットワークモデル３２のサイズである。モデルサイズの目標値は、例えば、ニューラルネットワークモデル３２が有するパラメータ数によって表される。モデルの演算量は、ニューラルネットワークモデル３２の演算量である。モデルの演算量の目標値は、例えば、ニューラルネットワークモデル３２を推論する際の演算量で表される。

消費電力は、ニューラルネットワークモデル３２の推論時の消費電力である。推論速度は、ニューラルネットワークモデル３２の推論速度である。推論速度（レイテンシ）は、ニューラルネットワークモデル３２の推論速度である。使用メモリ量は、ニューラルネットワークモデル３２の使用メモリ量である。メモリバンド幅は、ニューラルネットワークモデル３２のメモリバンド幅である。なお、消費電力、推論速度、メモリ量、およびメモリ幅は、例えば、対応するハードウェアＩＤによって識別される目標ハードウェア上でニューラルネットワークモデル３２を動作させる、もしくは同等の動作をシミュレートすることによって、予め測定すればよい。

目標制約条件３０に含まれる各項目の目標値は、対応する項目の評価指標の上限値を示す。

例えば、ニューラルネットワークモデル３２がセグメンテーションタスクのための学習モデルである場合、評価指標には、Ｐｒｅｃｉｓｉｏｎ／ｒｅｃａｌｌなどや、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）などの様々な評価指標が含まれる。

図１に戻り説明を続ける。

構造探索部１２は、ベースモデル構造２６に含まれる複数の畳み込み処理ブロック２６Ｂの各々に、目標ハードウェアの目標制約条件３０に応じた探索空間情報を選定した、第１学習済モデル構造２７Ａを探索する。すなわち、構造探索部１２によって、モデル設計情報２２に含まれるベースモデル構造２６が第１学習済モデル構造２７Ａに更新される。

構造探索部１２は、互いに演算方法の異なる複数の探索空間情報から、目標ハードウェアの目標制約条件に応じた探索空間情報を、畳み込み処理ブロック２６Ｂの各々に選定する。

図５は、構造探索部１２の機能的構成の一例を示す機能ブロック図である。構造探索部１２は、ベイズ探索部１２Ａと、探索空間設定部１２Ｂと、評価部１２Ｃと、を含む。

構造探索部１２にモデル設計情報２２が入力されると、探索空間設定部１２Ｂは、互いに演算方法の異なる複数の探索空間情報３８を、ベイズ探索部１２Ａへ出力する。

図６は、探索空間情報３８の一例を示す説明図である。探索空間情報３８は、例えば、Ｐｌａｉｎ構造３８Ａ、Ｂｏｔｔｌｅｎｅｃｋ構造３８Ｂ、ＲｅｓＮｅＸｔ構造３８Ｃ、ＭｏｂｉｌｅＮｅｔＶ１構造３８Ｄ、ＭｏｂｉｌｅＮｅｔＶ２構造３８Ｅ、ＳｈｕｆｆｌｅＮｅｔ構造３８Ｆ、およびＳｋｉｐ構造３８Ｇの少なくとも１つである。これらの探索空間情報３８（Ｐｌａｉｎ構造３８Ａ〜Ｓｋｉｐ構造３８Ｇ）は、互い演算量が異なる。なお、ここでは畳み込み処理で一般的に利用される構造を示しているが、これらの構造に限定されない。

Ｐｌａｉｎ構造３８Ａは、最も一般的な畳み込み構造である。Ｂｏｔｔｌｅｎｅｃｋ構造３８Ｂ〜Ｓｋｉｐ構造３８Ｇは、Ｐｌａｉｎ構造３８Ａより畳み込み処理の演算量が少ない探索空間情報３８である。

例えば、Ｐｌａｉｎ構造３８Ａは、空間方向とチャネル方向からなり、畳み込み処理の演算量が極めて多い構造である。Ｂｏｔｔｌｅｎｅｃｋ構造３８Ｂは、空間方向とチャネル方向を分離し、最初にチャネル方向で畳み込み処理を行った後、空間方向で畳み込み処理を行い、最後に再度チャネル方向の畳み込み処理を行う、分離型の畳み込み構造である。ＲｅｓＮｅＸｔ構造３８Ｃは、Ｂｏｔｔｌｅｎｅｃｋ構造３８Ｂの派生であり、チャネルをグループに分けて畳み込み処理を行う構造である。ＭｏｂｉｌｅＮｅｔＶ１構造３８Ｄは、ＤｅｐｔｈｗｉｓｅとＰｏｉｎｔｗｉｓｅで畳み込み処理を行う構造である。ＭｏｂｉｌｅＮｅｔＶ２構造３８Ｅは、Ｂｏｔｔｌｅｎｅｃｋ構造３８ＢとＭｏｂｉｌｅＮｅｔＶ１構造３８Ｄを組み合わせて、空間方向の畳み込み処理をＤｅｐｔｈｗｉｓｅとした構造である。ＳｈｕｆｆｌｅＮｅｔ構造３８Ｆは、ノードをグループに分けてチャネル方向に畳み込み処理を行った後に、グループ間を混ぜて畳み込み処理を行う構造である。

Ｓｋｉｐ構造３８Ｇは、畳み込み処理を行わない構造である。すなわち、Ｓｋｉｐ構造３８Ｇは、入力データをそのまま出力する構造である。Ｓｋｉｐ構造３８Ｇを畳み込み処理ブロック２６Ｂの探索空間情報３８として選定した場合、該畳み込み処理ブロック２６Ｂは畳み込み処理を行わない処理ブロック（層）となる。図６には、他の探索空間情報３８（Ｐｌａｉｎ構造３８Ａ〜ＭｏｂｉｌｅＮｅｔＶ２構造３８Ｅ）との差を明確にするために、Ｓｋｉｐ構造３８Ｇについて、各チャネルに独立して定数を掛けた図を示した。しかし、上述したように、Ｓｋｉｐ構造３８Ｇは、入力データをそのまま出力する構造を含む。このため、Ｓｋｉｐ構造３８Ｇを畳み込み処理ブロック２６Ｂの探索空間情報３８として選定した場合、ベースモデル構造２６を構成する畳み込み処理ブロック２６Ｂの数を削減することができ、ニューラルネットワークモデル３２の深さ方向の演算量の削減を図ることができる。

図５に戻り説明を続ける。ベイズ探索部１２Ａは、探索空間設定部１２Ｂから入力された複数の探索空間情報３８に従って、モデル設計情報２２に含まれるベースモデル構造２６を構成する複数の畳み込み処理ブロック２６Ｂの各々に選定する探索空間情報３８を探索する。ベイズ探索部１２Ａは、目標制約条件３０下で好適となる探索空間情報３８を、複数の畳み込み処理ブロック２６Ｂの各々で探索する。

ベイズ探索部１２Ａは、例えば、ランダムサーチ、グリッドサーチ、ベイズ探索、等の公知の方法を用いて探索空間情報３８を探索すればよい。

グリッドサーチは、与えられた探索空間のパラメータを実験計画的に実行し、評価指標がもっとも高いパラメータを選定する探索方法である。

ベイズ探索は、試行したパラメータと評価指標との関係から、評価指標が最も高くなるようにパラメータ候補を推定して探索していく探索方法である。一般的には、観測点から確率的に良質な解を予測する手法で、ガウシアン過程を用いる手法が使われる。ガウシアン過程では、探索空間内の平均値と分散を今までの観測点から決定し、その時点で、評価指標がその平均と分散に従った正規分布に従うという過程の中で、評価関数の値が良いものを選択し、探索する。例えば、Ｔｒｅｅ−ｓｔｒｕｃｔｕｒｅｄ Ｐａｒｚｅｎ Ｅｓｔｉｍａｔｏｒなどが一般的である。

また、ベイズ探索部１２Ａは、強化学習または進化学習などの学習型の探索方法を用いて、探索空間情報３８を探索してもよい。

本実施形態では、ベイズ探索部１２Ａは、ベイズ探索により探索空間情報３８を探索する場合を一例として説明する。なお、ベイズ探索部１２Ａの探索方法は、ベイズ探索に限定されない。

ベイズ探索部１２Ａは、ベイズ探索によって、ベースモデル構造２６の畳み込み処理ブロック２６Ｂの各々に複数の探索空間情報３８の内の何れかを選定した探索済みモデル構造２７Ａ’を、評価部１２Ｃへ出力する。

評価部１２Ｃは、モデル設計情報２２に含まれる目標制約条件３０に従って評価指標の目標値を定義し、探索済みモデル構造２７Ａ’を評価する。例えば、評価部１２Ｃは、評価関数を用いて、探索済みモデル構造２７Ａ’を評価する。評価関数は、例えば、以下の式（Ａ）で表される。

評価関数：ｍａｘ（Ｐ）ｓｕｂｊｅｃｔ ｔｏ Ｓ＜Ｔ ・・・式（Ａ）

式（Ａ）中、Ｐは、評価指標（例えば認識率）を示す。式（Ａ）中、Ｔは、現在設定している目標制約条件３０、Ｓは、現在評価している探索候補の目標制約条件３０で設定された指標の実値（制約値）を示す。

例えば、評価部１２Ｃは、目標制約条件３０に含まれる項目の内の１または複数を、制約値の項目として選択する。例えば、評価部１２Ｃは、目標ハードウェアでニューラルネットワークモデル３３を動作させるときの、動作上の制約に最も寄与する項目を、制約値の項目として定義する。そして、評価部１２Ｃは、定義した項目の目標値を、制約値の目標値“Ｔ”として設定する。

具体的には、例えば、評価部１２Ｃが、モデルの演算量を評価指標の項目として定義したと想定する。この場合、評価部１２Ｃは、図４中の目標制約条件３０における「５００ＴＦＬＯＰＳ」を、評価指標の目標値“Ｔ”として設定する。

そして、評価部１２Ｃは、目標制約条件３０と上記式（Ａ）に示す評価関数とを用いて、探索済みモデル構造２７Ａ’を評価し、評価情報４０を算出する。評価情報４０は、評価結果を示す情報であり、評価コスト、または、コストと称される場合がある。評価情報４０は、式（Ａ）の評価指標“Ｐ”の解に相当する。詳細には、例えば、評価部１２Ｃは、探索済みモデル構造２７Ａ’と、目標制約条件３０に応じて目標値を設定した上記式（Ａ）と、を用いて、過去に探索した候補の評価情報と、現在の探索候補で得られた評価情報とを比較し、評価指標が大きい方を選択することによって、評価情報４０を更新する。

評価部１２Ｃは、上記の通り評価情報４０（評価指標“Ｐ”）を評価し、その情報をベイズ探索部１２Ａへ出力する。

評価部１２Ｃから評価情報４０を入力されたベイズ探索部１２Ａは、再度、ベースモデル構造２６に探索空間情報３８を選定する探索処理を実行する。ベイズ探索部１２Ａは、探索した新たな探索済みモデル構造２７Ａ’を、評価部１２Ｃへ出力する。

そして、ベイズ探索部１２Ａおよび評価部１２Ｃは、ベイズ探索部１２Ａおよび評価部１２Ｃによる一連の処理の繰返し数が規定回数を超えたと判断するまで、該一連の処理を繰返す。規定回数は、予め定めればよい。

評価部１２Ｃは、ベイズ探索部１２Ａおよび評価部１２Ｃによる一連の処理の繰返し数が規定回数を超えたと判断した場合に、制約値の目標値“Ｔ”未満であり、且つ、最も評価指標“Ｐ”の高い探索済みモデル構造２７Ａ’を、第１学習済モデル構造２７Ａとしてパラメータ探索部１４へ出力する。

すなわち、構造探索部１２は、上記式（Ａ）を満たす探索済みモデル構造２７Ａ’を、第１学習済モデル構造２７Ａとしてパラメータ探索部１４へ出力する。

図７は、第１学習済モデル構造２７Ａの一例を示す模式図である。第１学習済モデル構造２７Ａは、ベースモデル構造２６（図３参照）の畳み込み処理ブロック２６Ｂの各々に、探索空間情報３８を選定したものである。

一般的には、図６に示す複数の探索空間情報３８の内、Ｐｌａｉｎ構造３８Ａ以外の探索空間情報３８（Ｂｏｔｔｌｅｎｅｃｋ構造３８Ｂ〜Ｓｋｉｐ構造３８Ｇ）は、Ｐｌａｉｎ構造３８Ａに比べて演算量が少ない。このため、構造探索部１２から出力される第１学習済モデル構造２７Ａは、ベースモデル構造２６と同等またはベースモデル構造２６未満の演算量となる。

なお、演算量は、ＲｅｓＮｅｔ−Ｎの構造にも依存する。このため、Ｂｏｔｔｌｅｎｅｃｋ構造３８Ｂの構造を初期構造として有するＲｅｓＮｅｔ−５０などをベースモデル構造２６として用いる場合は、必ずしもベースモデル構造２６より第１学習済モデル構造２７Ａの演算量が少なくなる保証はない。一方、ＲｅｓＮｅｔ−３４と、Ｂｏｔｔｌｅｎｅｃｋ構造３８Ｂを有するＲｅｓＮｅｔ−５０とは、演算量がほぼ同等に設計されている。

構造探索部１２は、複数の探索空間情報３８の間で目標制約条件３０に差が生じやすいように、探索空間情報３８内の内部パラメータを予め定めておいてもよい。例えば、構造探索部１２は、Ｂｏｔｔｌｅｎｅｃｋ構造３８Ｂの中間層のチャネル数を１／Ｎにするなどの処理を予め行ってもよい（Ｎは１より大きい数字）。

図１に戻り説明を続ける。次に、パラメータ探索部１４について説明する。パラメータ探索部１４は、ニューラルネットワークモデル３２の学習パラメータ２８を、目標制約条件３０に応じて更新する。

パラメータ探索部１４は、第１学習済モデル構造２７Ａを受付けると、第１学習済モデル構造２７Ａの学習に用いる学習パラメータ群の中から、目標制約条件３０に基づいた好適な学習パラメータを探索する。そして、パラメータ探索部１４は、探索した学習パラメータを、探索後の学習パラメータである探索済学習パラメータ２９とする。そして、パラメータ探索部１４は、第１学習済モデル構造２７Ａと探索済学習パラメータ２９を、プルーニング部１６へ出力する。

図８は、パラメータ探索部１４の機能的構成の一例を示す機能ブロック図である。パラメータ探索部１４は、ベイズ探索部１４Ａと、探索空間設定部１４Ｂと、評価部１４Ｃと、を含む。

パラメータ探索部１４に第１学習済モデル構造２７Ａが入力されると、探索空間設定部１４Ｂは、互いに異なるパラメータの群からなる探索空間情報４２を、ベイズ探索部１４Ａへ出力する。

図９は、探索空間情報４２の一例を示す説明図である。探索空間情報４２は、１または複数のパラメータ（ハイパーパラメータ）の探索空間を示す情報である。図９には、探索空間情報４２が、複数のハイパーパラメータの各々の複数の探索範囲を示す情報である場合を一例として示した。

探索空間情報４２は、最適化手法、学習率、Ｌ２正則化の強度、Ｌ１正則化の強度、活性関数、Ｄｒｏｐｏｕｔ率、レイヤーのユニット数、ユニットのカーネルサイズ、などの機械学習に一般的に用いられるハイパーパラメータと、各ハイパーパラメータの各々の探索範囲と、を対応づけた情報である。

最適化手法は、重み係数を更新する際のハイパーパラメータであり、例えば、一般的に利用される確率的勾配法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）、Ａｄａｍ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）などの探索範囲が選択できる。学習率は、学習の１つの期間で重み係数をどの程度更新するかを示すハイパーパラメータである。Ｗｅｉｇｈｔ ｄｅｃａｙは、損失関数に導入される正則化関数の１つであり、重み係数が大きくなりすぎないようなＬ２正則を用い、この正則化強度を調整するためのハイパーパラメータである。

図８に戻り説明を続ける。ベイズ探索部１４Ａは、探索空間設定部１４Ｂから入力された探索空間情報４２に従って、探索済パラメータ２９’を探索する。すなわち、ベイズ探索部１４Ａは、探索空間情報４２に含まれるハイパーパラメータ毎に、対応する探索範囲の内の何れかを選定する（図９参照）。

ここで、最適化手法としてＡｄａｍ、ベースモデルの活性関数としてＲｅＬＵ、正則化関数としてＬ２正則化、の組み合わせのハイパーパラメータを、探索済パラメータ２９’として選定したと想定する。この場合、学習装置１０による学習後のニューラルネットワークモデル３３がグループスパース化する。このため、ベイズ探索部１４Ａは、最適化手法としてＡｄａｍ、ベースモデルの活性関数としてＲｅＬＵ、正則化関数としてＬ２正則化、の組み合わせのハイパーパラメータを含む探索空間情報４２を探索することが好ましい。そして、ベイズ探索部１４Ａが、Ｌ２正則化の強度パラメータの値域を探索することで探索済パラメータ２９’を得る。これにより、後述するプルーニング部１６では、学習後の第１学習済モデル構造２７Ａを、よりコンパクト化することが可能となる。

ベイズ探索部１４Ａは、ベイズ探索部１２Ａと同様に、例えば、ランダムサーチ、グリッドサーチ、ベイズ探索、等の公知の方法を用いて探索空間情報４２を探索すればよい。

ベイズ探索部１４Ａは、探索済パラメータ２９’を評価部１４Ｃへ出力する。

評価部１４Ｃは、モデル設計情報２２に含まれる目標制約条件３０に従って制約値の目標値を定義し、探索済パラメータ２９’を評価する。例えば、評価部１４Ｃは、上記評価関数（Ａ）を用いて、探索済パラメータ２９’を評価する。

例えば、評価部１４Ｃは、目標制約条件３０に含まれる項目の内の１または複数を、制約値の項目として選択する。例えば、評価部１４Ｃは、目標ハードウェアでニューラルネットワークモデル３３を動作させるときの、動作の制約に最も寄与する項目を、制約値の項目として定義する。そして、評価部１４Ｃは、定義した項目の目標値を、制約値の目標値“Ｔ”として設定する。

具体的には、例えば、評価部１４Ｃが、モデルの演算量を評価指標の項目として定義したと想定する。この場合、評価部１４Ｃは、図４中の目標制約条件３０における「５００ＴＦＬＯＰＳ」を、制約値の目標値“Ｔ”として規定する。

なお、評価部１４Ｃは、評価部１２Ｃと同じ項目を定義してもよいし、異なる項目を定義してもよい。

そして、評価部１４Ｃは、目標制約条件３０と上記式（Ａ）に示す評価関数とを用いて、探索済パラメータ２９’を評価し、評価情報４４を算出する。評価情報４４は、評価結果を示す情報であり、評価コスト、または、コストと称される場合がある。評価情報４４は、式（Ａ）の評価指標“Ｐ”の解に相当する。詳細には、例えば、評価部１４Ｃは、探索済パラメータ２９’と、目標制約条件３０に応じて目標値を設定した上記式（Ａ）と、を用いて、過去に探索した候補の評価情報と、現在の探索候補で得られた評価情報とを比較し、評価指標が大きい方を選択することによって、評価情報４４を更新する。

評価部１４Ｃは、評価情報４０（評価指標“Ｐ”）を評価し、その情報をベイズ探索部１４Ａへ出力する。

評価部１４Ｃから評価情報４４を入力されたベイズ探索部１４Ａは、再度、探索済パラメータ２９’の探索処理を実行する。ベイズ探索部１４Ａは、探索した新たな探索済パラメータ２９’を、評価部１４Ｃへ出力する。

そして、ベイズ探索部１４Ａおよび評価部１４Ｃは、ベイズ探索部１４Ａおよび評価部１４Ｃによる一連の処理の繰返し数が規定回数を超えたと判断するまで、該一連の処理を繰返す。規定回数は、予め定めればよい。

評価部１４Ｃは、ベイズ探索部１４Ａおよび評価部１４Ｃによる一連の処理の繰返し数が規定回数を超えたと判断した場合に、制約値の目標値“Ｔ”未満であり、且つ、最も評価指標“Ｐ”の高い探索済パラメータ２９’を、探索済学習パラメータ２９としてパラメータ探索部１４へ出力する。

図１０は、探索済学習パラメータ２９の一例を示す模式図である。図１０に示すように、探索済学習パラメータ２９には、ハイパーパラメータごとに、探索後の値が規定された状態となる。このように、パラメータ探索部１４は、探索済学習パラメータ２９を探索する。

図８に戻り説明を続ける。なお、パラメータ探索部１４に含まれるベイズ探索部１４Ａ、探索空間設定部１４Ｂ、および評価部１４Ｃの機能は、構造探索部１２に含まれるベイズ探索部１２Ａ、探索空間設定部１２Ｂ、および評価部１２Ｃの機能と同様である（図５参照）。

このため、学習装置１０は、構造探索部１２およびパラメータ探索部１４のこれらの機能の少なくとも一部を、共通化したモジュールとしてもよい。具体的には、例えば、ベイズ探索部１２Ａとベイズ探索部１４Ａとを共通化したモジュールとし、探索空間設定部１２Ｂと探索空間設定部１４Ｂとを共通化したモジュールとし、評価部１２Ｃと評価部１４Ｃとを共通化したモジュールとしてもよい。このように、構造探索部１２およびパラメータ探索部１４の対応する機能を共通化したモジュールとすることで、例えば、構造探索部１２およびパラメータ探索部１４をプログラムで実行する際の、モジュール間の冗長性を排除することができる。また、この場合、これらの構造探索部１２およびパラメータ探索部１４をハードウェアとして構成した場合に、回路規模の削減を図ることができる。

なお、上記では、構造探索部１２およびパラメータ探索部１４は、上記式（Ａ）によって表される評価関数を用いて評価を行う形態を一例として示した。しかし、構造探索部１２およびパラメータ探索部１４は、互いに異なる評価関数を用いて評価を行ってもよい。

また、構造探索部１２およびパラメータ探索部１４の少なくとも一方は、上記式（Ａ）とは異なる評価関数を用いて、評価を行ってもよい。

例えば、ニューラルネットワークモデル３３を動作させる目標ハードウェアをシミュレートする、評価環境が利用できる場合を想定する。この場合、学習装置１０では、探索時のモデル構造（ベースモデル構造２６または第１学習済モデル構造２７Ａ）および学習パラメータ（学習データセット２４または探索済学習パラメータ２９）を用いて該目標ハードウェアの動作をシミュレートする。この処理により、学習装置１０は、ニューラルネットワークモデル３３の推論速度、実行時のメモリ量、実行時の消費電力、メモリバンド幅などの、目標制約条件３０に示される各項目の値をシミュレートする。そして、構造探索部１２およびパラメータ探索部１４は、シミュレートしたこれらの値が、目標制約条件３０の各項目に対応する目標値以下となる評価関数を用いて、評価を行ってもよい。

また、例えば、構造探索部１２およびパラメータ探索部１４は、目標制約条件３０に示される複数の項目の値を用いて、コスト評価を行ってもよい。この場合、構造探索部１２およびパラメータ探索部１４は、例えば、各々の項目に対応する制約値の目標値の重み付き和を用いることで、各々の制約値の項目（目標制約条件３０の項目）の軸における評価関数を設定すればよい。なお、この例は一例であり、構造探索部１２及びパラメータ探索部１４は、複数の制約値の項目の軸を最適化する、複雑な評価関数を設定してもよい。

また、探索空間設定部１４Ｂは、探索空間設定部１２Ｂより探索空間の制約条件を厳しく設定してもよい。例えば、探索空間設定部１４Ｂより先に処理を実行する上位のモジュールである探索空間設定部１２Ｂで疎探索を行い、探索空間設定部１２Ｂより後に処理を実行する下位のモジュールである探索空間設定部１４Ｂで、より狭い探索空間を探索してもよい。この場合、上位側のモジュールである探索空間設定部１２Ｂで疎探索を行って良質な解の空間を大雑把に見積もった後に、下位側のモジュールである探索空間設定部１４Ｂで認識性能が高くなるように厳しい制約条件の探索空間を探索することができる。このため、この場合、学習装置１０は、複数の制約条件下で好適な解を探索することが可能となる。

なお、構造探索部１２およびパラメータ探索部１４による第１学習済モデル構造２７Ａおよび探索済学習パラメータ２９の各々の探索時には、学習データセット２４に含まれる入力画像や教師ラベルのサイズを縦横縮小するデータサイズの削減、データ水増し処理の削減、および、学習反復回数の削減、の少なくとも１つの削減処理を組み合わせて探索することで、高速に行ってもよい。一般的には、ニューラルネットワークモデル３３の繰り返し再学習は演算量が膨大となるため、入力画像のサイズの縮小や水増し方法の縮小、学習回数の削減などの簡略化が有効である。

図１に戻り説明を続ける。次に、プルーニング部１６について説明する。

プルーニング部１６は、探索済学習パラメータ２９および第１学習済モデル構造２７Ａをパラメータ探索部１４から受付ける。また、プルーニング部１６は、記憶部２０からモデル設計情報２２を取得する。

プルーニング部１６は、探索済学習パラメータ２９および第１学習済モデル構造２７Ａをパラメータ探索部１４から受付けると、第１学習済モデル構造２７Ａの畳み込み処理ブロック２６Ｂのユニットを目標制約条件３０に基づいて削除し、第２学習済モデル構造２７Ｂを生成する。

詳細には、プルーニング部１６は、第１学習済モデル構造２７Ａに含まれる疎結合のユニットを、学習パラメータ２８または探索済学習パラメータ２９から設定した判定情報を用いて削除し、第２学習済モデル構造２７Ｂを生成する。疎結合のユニットとは、第１学習済モデル構造２７Ａのニューラルネットワークモデル３３における推論時の出力にほとんど寄与しないユニットを意味する。より具体的には、重み係数のノルムがほとんどゼロ（例えば１×１０^−１５以下）となる場合、そのノードに入力されて畳み込み処理された出力値もほぼゼロとなる。このようなノードは不活性ノードと呼ばれ、その後の計算に寄与しない。

図１１は、プルーニング部１６の機能的構成の一例を示す機能ブロック図である。

プルーニング部１６は、疎結合判定部１６Ａと、判定条件設定部１６Ｂと、再学習部１６Ｃと、を含む。

プルーニング部１６に第１学習済モデル構造２７Ａおよび探索済学習パラメータ２９が入力されると、判定条件設定部１６Ｂは、モデル設計情報２２に含まれる学習パラメータ２８から、重み係数を保持するユニットが疎結合かどうかを判定するための判定情報４６を設定する。判定情報４６は、疎結合の判定条件となる重み係数のノルムの閾値である。

詳細には、判定条件設定部１６Ｂは、学習パラメータ２８に含まれる重み係数のノルムの閾値であり、例えば１×１０^−１５などの値を、判定情報４６として設定する。なお、判定条件設定部１６Ｂは、学習パラメータ２８に代えて探索済学習パラメータ２９を用いて、判定情報４６を設定してもよい。

判定条件設定部１６Ｂは、設定した判定情報４６を疎結合判定部１６Ａへ出力する。

疎結合判定部１６Ａは、第１学習済モデル構造２７Ａから、第１学習済モデル構造２７Ａに含まれる複数の畳み込み処理ブロック２６Ｂの各々の各ユニットの重み係数のノルムを計算する。疎結合判定部１６Ａは、計算したノルムが判定情報４６より小さい場合に、該ノルムのユニットを疎結合であると判定する。そして、疎結合判定部１６Ａは、第１学習済モデル構造２７Ａに含まれる全てのユニットの内、疎結合と判定したユニットを第１学習済モデル構造２７Ａから削除する。このユニットの削除は、枝刈り（プルーニング）と称される場合がある。

疎結合判定部１６Ａは、疎結合のユニットを削除した後の第１学習済モデル構造２７Ａを、探索済モデル構造２７Ｂ’として再学習部１６Ｃへ出力する。

再学習部１６Ｃは、探索済モデル構造２７Ｂ’を、探索済学習パラメータ２９を用いて再学習する。そして、再学習部１６Ｃは、再学習後の探索済モデル構造２７Ｂ’である第２学習済モデル構造２７Ｂと、探索済学習パラメータ２９と、をモーフィング部１８へ出力する。

なお、判定情報４６である閾値は、１×１０^−１５等のごく小さい値である。このため、この判定情報４６を用いて疎結合と判定され、削除されたユニットは、プルーニング部１６から最終的に出力される第２学習済モデル構造２７Ｂに影響を与えないため、再学習が不要である。このため、プルーニング部１６は、再学習部１６Ｃを備えない構成であってもよい。

この場合、疎結合判定部１６Ａは、探索済モデル構造２７Ｂ’を第２学習済モデル構造２７Ｂとしてモーフィング部１８へ出力すればよい。

なお、判定情報４６である閾値として、第２学習済モデル構造２７Ｂに影響を与える程度の大きな値が設定される場合がある。このため、本実施形態では、プルーニング部１６は、再学習部１６Ｃを備えた形態を一例として説明する。

なお、プルーニング部１６では、再学習部１６Ｃで再学習された第２学習済モデル構造２７Ｂを疎結合判定部１６Ａへ出力してもよい。そして、疎結合判定部１６Ａでは、再学習部１６Ｃから受付けた第２学習済モデル構造２７Ｂから、判定情報４６を用いて疎結合のユニットを削除し、再度探索済モデル構造２７Ｂ’として再学習部１６Ｃへ出力してもよい。この場合、再学習部１６Ｃは、予め定められた規定回数、疎結合判定部１６Ａおよび再学習部１６Ｃの一連の処理を繰り返し実行したと判定したときに、再学習によって得られた第２学習済モデル構造２７Ｂをモーフィング部１８へ出力すればよい。

図１２は、第１学習済モデル構造２７Ａと、第２学習済モデル構造２７Ｂと、の一例を示す模式図である。プルーニング部１６によるユニットの削除によって、第２学習済モデル構造２７Ｂに含まれる複数の畳み込み処理ブロック２６Ｂの内、少なくとも一部の畳み込み処理ブロック２６Ｂのユニット数が減少する。このため、ユニット数の現象した畳み込み処理ブロック２６Ｂの幅（矢印Ｘ方向の長さ）が削減される（矢印Ａで示される畳み込み処理ブロック２６Ｂ参照）。

プルーニング部１６が疎結合のユニットを第１学習済モデル構造２７Ａから削除することで、第２学習済モデル構造２７Ｂの性能を維持しつつ、不要なユニットを好適に削除することができる。

図１に戻り説明を続ける。次に、モーフィング部１８について説明する。

モーフィング部１８は、目標制約条件３０に応じて、第２学習済モデル構造２７Ｂを拡大または縮小する。モーフィング部１８は、第２学習済モデル構造２７Ｂに含まれる複数の畳み込み処理ブロック２６Ｂ間のユニット数の比率を維持した状態で、第２学習済モデル構造２７Ｂに含まれる畳み込み処理ブロック２６Ｂを拡大または縮小することが好ましい。

図１３は、モーフィング部１８の機能的構成の一例を示す機能ブロック図である。モーフィング部１８は、幅調整部１８Ａと、幅条件設定部１８Ｂと、再学習部１８Ｃと、を有する。

モーフィング部１８は、プルーニング部１６から第２学習済モデル構造２７Ｂ及び探索済学習パラメータ２９を受付けると、第２学習済モデル構造２７Ｂから、目標制約条件３０（図４参照）の各項目の目標値を計算し、モデル設計情報２２に含まれる目標制約条件３０に規定された各項目の目標値との差分を算出する。そして、モーフィング部１８は、算出した差分を用いて、第２学習済モデル構造２７Ｂを拡張または縮小することで、第３学習済モデル構造２７Ｃを生成する。

詳細には、モーフィング部１８に第２学習済モデル構造２７Ｂおよび探索済学習パラメータ２９が入力されると、幅条件設定部１８Ｂは、モデル設計情報２２から目標制約条件３０およびベースモデル構造２６を取得する。そして、幅条件設定部１８Ｂは、取得した目標制約条件３０を厳守するために必要となる、ベースモデル構造２６の畳み込み処理ブロック２６Ｂの幅の最大サイズを規定する幅情報４８を設定する。

幅条件設定部１８Ｂは、目標制約条件３０を用いて幅情報４８を計算することで、幅情報４８を設定する。

目標制約条件３０に規定されている項目であるモデルサイズおよびモデルの演算量の各々の目標値は、畳み込み処理ブロック２６Ｂの幅、すなわち、各畳み込み処理ブロック２６Ｂのユニット数が定まれば計算できる。このため、幅条件設定部１８Ｂは、目標制約条件３０およびベースモデル構造２６を用いることで、幅情報４８を計算することができる。なお、目標制約条件３０に含まれる項目には、該目標制約条件３０に対応する目標ハードウェア上でシミュレートしないと計算できない項目が含まれる。この場合、幅条件設定部１８Ｂは、ベースモデル構造２６に含まれる畳み込み処理ブロック２６Ｂの各々の幅から、目標ハードウェア上で該ベースモデル構造２６のニューラルネットワークモデル３２を動作させた場合の値の上限をシミュレートし、幅情報４８の計算に用いればよい。

幅条件設定部１８Ｂは、設定した幅情報４８を幅調整部１８Ａへ出力する。

幅調整部１８Ａは、幅情報４８に応じて、第２学習済モデル構造２７Ｂを拡大または縮小する。幅調整部１８Ａは、第２学習済モデル構造２７Ｂに含まれる複数の畳み込み処理ブロック２６Ｂ間のユニット数の比率を維持した状態で、第２学習済モデル構造２７Ｂを拡大または縮小する。

詳細には、幅調整部１８Ａは、第２学習済モデル構造２７Ｂのニューラルネットワークモデル３３を目標ハードウェアで動作させた場合の、目標制約条件３０に規定されている項目であるモデルサイズおよびモデルの演算量の各々の値を計算する。そして、幅調整部１８Ａは、目標制約条件３０に規定されている項目の各々について、幅条件設定部１８Ｂにおいてベースモデル構造２６から計算した目標値と、幅調整部１８Ａで第２学習済モデル構造２７Ｂから計算した値と、の差分を計算する。

そして、幅調整部１８Ａは、この差分ができるだけゼロに近づくように、第２学習済モデル構造２７Ｂを拡大または縮小する。このとき、上述したように、幅調整部１８Ａは、第２学習済モデル構造２７Ｂに含まれる複数の畳み込み処理ブロック２６Ｂ間のユニット数の比率を維持した状態で、畳み込み処理ブロック２６Ｂの拡大または縮小を行う。また、このとき、幅調整部１８Ａは、畳み込み処理ブロック２６Ｂの幅が幅条件設定部１８Ｂから受付けた幅情報４８以下となるように、畳み込み処理ブロック２６Ｂの拡大または縮小を行う。

幅調整部１８Ａは、第２学習済モデル構造２７Ｂを拡大または縮小することで得られた、調整済みモデル構造２７Ｃ’を、再学習部１８Ｃへ出力する。

再学習部１８Ｃは、探索済学習パラメータ２９を用いて調整済みモデル構造２７Ｃ’を再学習する。そして、再学習部１８Ｃは、再学習した後の調整済みモデル構造２７Ｃ’である第３学習済モデル構造２７Ｃと、探索済学習パラメータ２９と、を記憶部２０へ記憶する。

このため、記憶部２０のニューラルネットワークモデル３２を構成するベースモデル構造２６および学習パラメータ２８は、第３学習済モデル構造２７Ｃおよび探索済学習パラメータ２９に更新される。すなわち、学習装置１０によって、記憶部２０に記憶されていたニューラルネットワークモデル３２は目標制約条件３０に応じて最適化され、第３学習済モデル構造２７Ｃおよび探索済学習パラメータ２９のニューラルネットワークモデル３３に設計（再学習）される。

なお、再学習部１８Ｃは、再学習後の第３学習済モデル構造２７Ｃが目標制約条件３０を満たすか否かを判断し、満たすと判定した場合に、第３学習済モデル構造２７Ｃおよび学習パラメータ２８を記憶部２０へ記憶してもよい。再学習部１８Ｃは、目標制約条件３０を満たさないと判断した場合には、第３学習済モデル構造２７Ｃを幅調整部１８Ａへ出力してもよい。

この場合、再学習部１８Ｃは、再学習部１８Ｃから受付けた第３学習済モデル構造２７Ｃについて、上記と同様にして幅の調整を行えばよい。この場合、再学習部１８Ｃは、予め定めた規定回数、疎結合判定部１６Ａおよび再学習部１６Ｃの一連の処理を繰り返し実行したと判断した場合、または、再学習した第３学習済モデル構造２７Ｃが目標制約条件３０を満たすと判断した場合に、該第３学習済モデル構造２７Ｃを記憶部２０へ記憶すればよい。

例えば、多軸での最適化を行う場合、軸の優先度を変えることにより、最適解も変わる場合が考えられる。また、深層学習では、乱数や浮動小数点演算の観点で、学習結果が変動することが一般的である。このため、幅調整部１８Ａおよび再学習部１８Ｃの一連の処理を繰返すことで、第３学習済モデル構造２７Ｃの性能改善を図ることができる。

図１４は、第２学習済モデル構造２７Ｂと第３学習済モデル構造２７Ｃの一例を示す模式図である。

図１４には、第２学習済モデル構造２７Ｂを縮小した第３学習済モデル構造２７Ｃの一例を示した。

図１４に示すように、モーフィング部１８による処理前の第２学習済モデル構造２７Ｂに比べて、幅条件設定部１８Ｂによる処理後の第３学習済モデル構造２７Ｃは、畳み込み処理ブロック２６Ｂの幅（Ｘ方向の長さ、すなわちユニット数）が調整された構造となっている。詳細には、第３学習済モデル構造２７Ｃは、第２学習済モデル構造２７Ｂにおける複数の畳み込み処理ブロック２６Ｂ間のユニット数の比率、すなわち幅の比率を維持したまま縮小された構造となっている。また、第３学習済モデル構造２７Ｃは、含まれる複数の畳み込み処理ブロック２６Ｂの各々のユニット数が、目標制約条件３０以下となるように削減されている。すなわち、第３学習済モデル構造２７Ｃは、目標制約条件３０に示される各項目の目標値と、第３学習済モデル構造２７Ｃのニューラルネットワークモデル３３を目標ハードウェアで動作させた場合の各項目の値と、の差分がゼロになるように、ユニット数が削減されている。

一方、モーフィング部１８が、第２学習済モデル構造２７Ｂを拡張した第３学習済モデル構造２７Ｃを生成した場合には、該第３学習済モデル構造２７Ｃは、第２学習済モデル構造２７Ｂに含まれる複数の畳み込み処理ブロック２６Ｂ間のユニット数の比率を維持した状態で拡大した構造となる。

なお、プルーニング部１６で削除（枝刈り）されたユニットは、ベースモデル構造２６全体のユニットの中から不要と判定されたユニットである。このため、プルーニング部１６から出力される第２学習済モデル構造２７Ｂは、畳み込み処理ブロック２６Ｂ間の幅の比率が最適化された構造である。このため、モーフィング部１８は、目標ハードウェアのスペックに余裕がある場合には、第２学習済モデル構造２７Ｂを拡張した第３学習済モデル構造２７Ｃとし、余裕が無い場合には第２学習済モデル構造２７Ｂを縮小した第３学習済モデル構造２７Ｃとしてもよい。

この場合、モーフィング部１８は、目標ハードウェアの性能を加味したモーフィング処理を実行することができる。詳細には、第２学習済モデル構造２７Ｂを拡張した第３学習済モデル構造２７Ｃとする場合、第２学習済モデル構造２７Ｂに含まれる複数の畳み込み処理ブロック２６Ｂ間の幅の比率が最適化されていることから、複数の畳み込み処理ブロック２６Ｂの各々の幅を均等に拡張することとなる。このため、この場合、該第３学習済モデル構造２７Ｃのニューラルネットワークモデル３３を目標ハードウェアで動作させることで、目標ハードウェアの汎化性を維持しつつ性能改善を図れる。

また、第２学習済モデル構造２７Ｂを縮小した第３学習済モデル構造２７Ｃとする場合、モーフィング部１８は、特定の畳み込み処理ブロック２６Ｂがボトルネックにならないように汎化性を維持しつつ、該第３学習済モデル構造２７Ｃのニューラルネットワークモデル３３を目標ハードウェアのスペックの最小限まで縮小することができる。

次に、本実施形態の学習装置１０で実行する学習処理の流れの一例を説明する。

図１５は、学習装置１０で実行する学習処理の流れの一例を示すフローチャートである。

まず、構造探索部１２が記憶部２０からモデル設計情報２２をロードする（ステップＳ１００）。

構造探索部１２は、モデル設計情報２２に含まれるベースモデル構造２６の畳み込み処理ブロック２６Ｂの各々に、目標ハードウェアの目標制約条件３０に応じた探索空間情報を選定した、第１学習済モデル構造２７Ａを探索する（ステップＳ１０２）。

次に、パラメータ探索部１４が、第１学習済モデル構造２７Ａおよびモデル設計情報２２を用いて、第１学習済モデル構造２７Ａに最適なパラメータ探索を実行し、探索済学習パラメータ２９を出力する（ステップＳ０４）。

次に、プルーニング部１６が、モデル設計情報２２を用いて第１学習済モデル構造２７Ａに含まれる疎結合のユニットの枝刈りを実行し、第２学習済モデル構造２７Ｂを生成する（ステップＳ１０６）。

次に、モーフィング部１８が、モデル設計情報２２を用いて第２学習済モデル構造２７Ｂを拡大または縮小した第３学習済モデル構造２７Ｃを生成し、探索済学習パラメータ２９および第３学習済モデル構造２７Ｃを記憶部２０へ記憶する（ステップＳ１０８）。そして、本ルーチンを終了する。

探索済学習パラメータ２９および第３学習済モデル構造２７Ｃのニューラルネットワークモデル３３が、目標ハードウェアに応じて学習されたニューラルネットワークモデル３３として利用されることとなる。

次に、ステップＳ１０２〜ステップＳ１０８の各々の処理について詳細に説明する。

図１６は、構造探索部１２が実行する探索処理の流れの一例を示すフローチャートである。すなわち、図１６は、上記図１５のステップ１０２の処理の詳細な流れを示すフローチャートである。

構造探索部１２にモデル設計情報２２が入力されると（ステップＳ２００）、探索空間設定部１２Ｂが、互いに演算方法の異なる複数の探索空間情報３８を、ベイズ探索部１２Ａへ出力する（ステップＳ２０２）。

ベイズ探索部１２Ａは、ステップＳ２０２で探索空間設定部１２Ｂから入力された複数の探索空間情報３８に従ってベイズ探索を行い、モデル設計情報２２に含まれるベースモデル構造２６を構成する複数の畳み込み処理ブロック２６Ｂの各々に選定する探索空間情報３８を探索する。そして、ベイズ探索部１２Ａは、ベイズ探索によって生成した探索済みモデル構造２７Ａ’を評価部１２Ｃへ出力する（ステップＳ２０４）。

評価部１２Ｃは、モデル設計情報２２に含まれる目標制約条件３０に基づいて、ステップＳ２０４でベイズ探索部１２Ａから受付けた探索済みモデル構造２７Ａ’を評価する（ステップＳ２０６）。

そして、評価部１２Ｃは、ステップＳ２０４およびステップＳ２０６の一連の処理の回数が規定回数を超えたか否かを判断する（ステップＳ２０８）。

ステップＳ２０８で否定判断すると（ステップＳ２０８：Ｎｏ）、上記ステップＳ０２４へ戻る。一方、ステップＳ２０８で肯定判断すると（ステップＳ２０８：Ｙｅｓ）、ステップＳ２１０へ進む。

ステップＳ２１０では、評価部１２Ｃは、ステップＳ２０４〜ステップＳ２０８の処理によって得られた探索済みモデル構造２７Ａ’の内、制約値の目標値“Ｔ”未満であり、且つ、最も評価指標“Ｐ”の高い探索済みモデル構造２７Ａ’を、第１学習済モデル構造２７Ａとしてパラメータ探索部１４へ出力する（ステップＳ２１０）。そして、本ルーチンを終了する。

図１７は、パラメータ探索部１４が実行する探索処理の流れの一例を示すフローチャートである。すなわち、図１７は、上記図１５のステップ１０４の処理の詳細な流れを示すフローチャートである。

パラメータ探索部１４に第１学習済モデル構造２７Ａが入力されると（ステップＳ３００）、探索空間設定部１４Ｂは、互いに異なるパラメータの群からなる探索空間情報４２を、ベイズ探索部１４Ａへ出力する（ステップＳ３０２）。

ベイズ探索部１４Ａは、ステップＳ３０２で探索空間設定部１４Ｂから入力された探索空間情報４２に従って探索済パラメータ２９’を探索する（ステップＳ３０２）。

評価部１４Ｃは、モデル設計情報２２に含まれる目標制約条件３０に基づいて、ステップＳ３０２で探索された探索済パラメータ２９’を評価する（ステップＳ３０４）。

評価部１４Ｃは、ステップＳ３０４〜ステップＳ３０６の一連の処理の回数が規定回数を超えたか否かを判断する（ステップＳ３０８）。

ステップＳ３０８で否定判断すると（ステップＳ３０８：Ｎｏ）、上記ステップＳ３０４へ戻る。一方、ステップＳ３０８で肯定判断すると（ステップＳ３０８：Ｙｅｓ）、ステップＳ３１０へ進む。

ステップＳ３１０では、評価部１４Ｃは、ステップＳ３０４〜ステップＳ３０８の処理によって得られた探索済パラメータの内、制約値の目標値“Ｔ”未満であり、且つ、最も評価指標“Ｐ”の高い探索済パラメータ２９’を、探索済学習パラメータ２９としてパラメータ探索部１４へ出力する（ステップＳ３１０）。そして、本ルーチンを終了する。

図１８は、プルーニング部１６が実行するプルーニング処理の流れの一例を示すフローチャートである。すなわち、図１８は、上記図１５のステップ１０６の処理の詳細な流れを示すフローチャートである。

プルーニング部１６に第１学習済モデル構造２７Ａおよび探索済学習パラメータ２９が入力されると（ステップＳ４００）、判定条件設定部１６Ｂは、モデル設計情報２２に含まれる学習パラメータ２８から判定情報４６を設定する（ステップＳ４０２）。

疎結合判定部１６Ａは、第１学習済モデル構造２７Ａに含まれる疎結合のユニットを、判定情報４６を用いて判断し、該疎結合のユニットを削除する。そして、疎結合判定部１６Ａは、疎結合のユニットを削除した後の第１学習済モデル構造２７Ａを、探索済モデル構造２７Ｂ’として再学習部１６Ｃへ出力する（ステップＳ４０４）。

再学習部１６Ｃは、探索済モデル構造２７Ｂ’を、探索済学習パラメータ２９を用いて再学習する。そして、再学習部１６Ｃは、再学習後の探索済モデル構造２７Ｂ’である第２学習済モデル構造２７Ｂと、探索済学習パラメータ２９と、をモーフィング部１８へ出力する（ステップＳ４０６）。そして、本ルーチンを終了する。

図１９は、モーフィング部１８が実行するモーフィング処理の流れの一例を示すフローチャートである。すなわち、図１９は、上記図１５のステップ１０８の処理の詳細な流れを示すフローチャートである。

モーフィング部１８にプルーニング部１６から第２学習済モデル構造２７Ｂ及び探索済学習パラメータ２９が入力されると（ステップＳ５００）、幅条件設定部１８Ｂは、目標制約条件３０を用いて幅情報４８を設定する（ステップＳ５０２）。

幅調整部１８Ａは、ステップＳ５０２で設定された幅情報４８に応じて、第２学習済モデル構造２７Ｂを拡大または縮小する（ステップＳ５０４）。

再学習部１８Ｃは、探索済学習パラメータ２９を用いて調整済みモデル構造２７Ｃ’を再学習する。そして、再学習部１８Ｃは、再学習した後の調整済みモデル構造２７Ｃ’である第３学習済モデル構造２７Ｃと、探索済学習パラメータ２９と、を記憶部２０へ記憶する（ステップＳ５０６）。そして、本ルーチンを終了する。

以上説明したように、本実施形態の学習装置１０は、構造探索部１２を備える。構造探索部１２は、ニューラルネットワークモデル３２におけるベースモデル構造２６に含まれる複数の畳み込み処理ブロック２６Ｂの各々に、目標ハードウェアの目標制約条件３０に応じた探索空間情報３８を選定した、第１学習済モデル構造２７Ａを探索する。

このように、本実施形態の学習装置１０は、目標制約条件３０に応じて、第１学習済モデル構造２７Ａを探索する。

このため、第１学習済モデル構造２７Ａのニューラルネットワークモデル３３を、目標ハードウェアで動作させるためのニューラルネットワークモデル３３として用いることで、該目標ハードウェアに好適なニューラルネットワークモデル３３を設計することができる。

従って、本実施形態の学習装置１０は、目標ハードウェアに好適なニューラルネットワークモデル３３を設計することができる。

また、本実施形態の学習装置１０では、パラメータ探索部１４が、構造探索部１２が第１学習済モデル構造２７Ａを探索した後に、ニューラルネットワークモデル３２の学習パラメータ２８を目標制約条件３０に応じて探索する。また、本実施形態の学習装置１０では、プルーニング部１６が、パラメータ探索部１４が探索済学習パラメータ２９を探索した後に、第１学習済モデル構造２７Ａの畳み込み処理ブロック２６Ｂのユニットを目標制約条件３０に基づいて削除し、第２学習済モデル構造２７Ｂを生成する。そして、モーフィング部１８は、プルーニング部１６から出力された第２学習済モデル構造２７Ｂを拡大または縮小することで、第３学習済モデル構造２７Ｃを生成する。

このように、本実施形態に係る学習装置１０では、ニューラルネットワークモデル３２の上位構造から下位構造に向かって順に最適化を行い、ニューラルネットワークモデル３３を設計（学習）する。上位構造とは、ニューラルネットワークモデル３２のアーキテクチャそのものを示す。中位構造は、学習パラメータ２８を示す。下位構造とは、アーキテクチャや学習パラメータ２８などの上位から中位までのハイパーパラメータを決めた後の、重み係数を学習する構造である。

本実施形態では、構造探索部１２が上位構造を処理し、パラメータ探索部１４、プルーニング部１６およびモーフィング部１８が中位構造を処理する。なお、ニューラルネットワークモデル３３の学習または再学習を行う機能部は、ベイズ探索部１２Ａ、ベイズ探索部１４Ａ、再学習部１６Ｃ、および再学習部１８Ｃである。これらの機能部では、下位構造である重み係数の学習まで実行する。

すなわち、本実施形態の学習装置１０では、上位構造から中位構造に向かって順に最適化処理を行い、最後に下位構造の最適化を行う。このため、本実施形態の学習装置１０は、例えば、モデルサイズや演算量など制約に縛られない最も性能の高い大規模なニューラルネットワークモデル３２を、エッジデバイスなどの目標ハードウェアの制約下で動作するコンパクトなニューラルネットワークモデル３３に設計（再学習）することができる。また、本実施形態の学習装置１０は、この設計（再学習）の際に、設計前のニューラルネットワークモデル３２の汎化性能を維持しつつ、目標ハードウェアの性能低下を抑制し、且つ、目標ハードウェアのスペックに対して好適なモデルサイズに圧縮した、ニューラルネットワークモデル３３を設計することが可能となる。

なお、本実施形態では、構造探索部１２から、パラメータ探索部１４およびプルーニング部１６を介してモーフィング部１８に到るまでの処理を、カスケード処理としてシークエンシャルに処理する例を示した。しかし、構造探索部１２、パラメータ探索部１４、プルーニング部１６、およびモーフィング部１８の内の特定の機能部の処理をスキップしてもよい。

例えば、目標ハードウェア向けにアーキテクチャ（モデル構造）を予め調整したモデルをニューラルネットワークモデル３２として用意し、該ニューラルネットワークモデル３２からニューラルネットワークモデル３３を設計する場合を想定する。この場合、学習装置１０は、構造探索部１２の処理をスキップし、パラメータ探索部１４、プルーニング部１６、およびモーフィング部１８が上記処理を実行してもよい。

また、例えば、最適化手法にＡｄａｍ、活性化関数にＲｅＬＵ、Ｌ２正則化のいずれかの条件を利用する、グループスパース化を発生させる条件を利用できない場合がある。この場合には、学習装置１０は、パラメータ探索部１４に適切な学習パラメータの値域を設定した後に、プルーニング部１６を介さずに、モーフィング部１８の処理を実行してもよい。

また、グループスパース化を発現する別の条件の組み合わせとして、畳み込み処理ブロック２６Ｂに含まれる正則化処理のロス関数にＬ１正則化を導入し、これらの正則化強度をパラメータ探索部１４で探索することで、疎結合を発生させることも可能である。

また、ベースモデル構造２６を得るためのロス関数に、グループスパース化を発現させる正則化項（グループラッソを用いる正則化）などを予め導入してもよい。

（変形例）
上記実施形態で説明した構造探索部１２およびパラメータ探索部１４に含まれる、ベイズ探索部１２Ａおよびベイズ探索部１４Ａは、一般的なニューラルネットワークの学習機能を有していてもよい。

例えば、ベイズ探索部１２Ａは、最初に設定した畳み込み構造で学習を行い、学習後の性能とモデルサイズを用いて評価関数の評価を行う。ベイズ探索部１２Ａは、ここでの評価結果に従って次の探索候補を探すというアプローチを繰り返してもよい。

また、例えば、ベイズ探索部１４Ａは、最初に設定した学習パラメータで学習を行い、学習後の性能とモデルサイズとを用いて評価関数の評価を行う。ベイズ探索部１４Ａは、ここでの評価結果に従って次の探索候補を探すというアプローチを繰り返してもよい。

この場合、これらのアプローチを繰返す機能を共通化したモジュールとして構成し、該モジュールをベイズ探索部１２Ａとベイズ探索部１４Ａとで共通して利用してもよい。

また、プルーニング部１６およびモーフィング部１８に含まれる再学習部１６Ｃおよび再学習部１８Ｃは、同一の機能を有する。このため、これら同一の機能を共通化したモジュールとして構成し、該モジュールを再学習部１６Ｃと再学習部１８Ｃとで共通して利用してもよい。

また、上記実施形態では、プルーニング部１６およびモーフィング部１８に含まれる再学習部１６Ｃおよび再学習部１８Ｃは、学習済のベースモデル構造２６である第１学習済モデル構造２７Ａおよび第２学習済モデル構造２７Ｂの各々を再学習する機能として説明した。再学習部１６Ｃおよび再学習部１８Ｃは、この再学習する際のアプローチとして、蒸留学習を用いてもよい。蒸留学習は、一般的な教示ラベル（ハードターゲットと称される）による学習ではなく、元となる教師モデルに対して、入力データを推論させた場合の出力値（ソフトターゲットと称される）を再現するように、生徒モデルを学習するテクニックである。蒸留学習を用いることにより、大規模モデルであるニューラルネットワークモデル３２の推論性能を大きく損なうことなく、生徒モデルであるニューラルネットワークモデル３３を学習することができる。

なお、上記実施形態では、学習装置１０は、ニューラルネットワークモデル３２を再学習（ファインチューニング）することでニューラルネットワークモデル３３を設定（再学習）するものとして説明した。しかし、再学習に代えて、スクラッチ学習を行ってもよい。この場合、学習装置１０は、学習パラメータや畳み込み構造はそのままであるが、重み係数を乱数で初期化し、最初からニューラルネットワークモデル３２を学習しなおすことになる。一般的には、学習済みのモデルであるニューラルネットワークモデル３２をファインチューニング（再学習）するより、スクラッチ学習した方が一部のモデルでは性能が改善する例が報告されている。また、学習装置１０は、最初に与えた重み行列を数回学習した後に重み行列のノルムを計算し、ノルムの閾値があらかじめ定義した値よりも大きいもののみを残して、最初に与えた重み初期値をロードして再学習してもよい。深層学習では、最初に与えた重みの初期値やその重みのユニット配置が重要であり、ある程度学習した結果重要と判断される重み初期値を再設定して再学習することで、性能が大幅に改善する場合がある。

（ハードウェア構成）
図２０は、実施形態および変形例に係る学習装置１０を含む学習システム１のハードウェア構成の一例を示す図である。本実施形態に係る学習システム１は、例えば、図１５に示すようなハードウェア構成により実現される。

学習システム１は、学習装置１０と、目標ハードウェア６０と、を備える。目標ハードウェア６０は、学習装置１０で学習されたニューラルネットワークモデル３３を動作させる対象となるハードウェアである。学習装置１０と目標ハードウェア６０とは、データを授受可能に直接または他の機構（例えば、記憶媒体）などを介して接続されている。なお、目標ハードウェア６０内に、学習装置１０を備えた構成であってもよい。

学習装置１０は、制御装置７０、主記憶装置７２、補助記憶装置７４、表示装置７６、入力装置７８及び通信装置８０を備える。制御装置７０、主記憶装置７２、補助記憶装置７４、表示装置７６、入力装置７８及び通信装置８０は、バス８２を介して接続されている。

制御装置７０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御装置７０は、補助記憶装置７４から主記憶装置７２に読み出されたプログラムを実行する。主記憶装置７２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。一般的にはＤＲＡＭなどで実現される。補助記憶装置７４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及び、メモリカード等である。

表示装置７６は表示情報を表示する。表示装置７６は、例えばＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。ここでは外部に表示する機能として、液晶ディスプレイ等と接続されていても良い。入力装置７８は、学習装置１０を操作するための入力インタフェースである。入力装置７８は、例えばキーボードやマウス等である。学習装置１０がスマートフォン及びタブレット型端末等のスマートデバイスの場合、表示装置７６及び入力装置７８は、例えばタッチパネルである。通信装置８０は、他の装置と通信するためのインタフェースである。

上記実施形態および変形例の学習装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

また上記実施形態および変形例の学習装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また上記実施形態および変形例の学習装置１０で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また上記実施形態および変形例の学習装置１０のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

上記実施形態および変形例の学習装置１０で実行されるプログラムは、上述した機能ブロックのうち、プログラムによっても実現可能な機能ブロックを含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置７０が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置７２上にロードされる。すなわち上記各機能ブロックは主記憶装置７２上に生成される。

なお上述した各機能ブロックの一部又は全部をソフトウェアにより実現せずに、ＩＣ等のハードウェアにより実現してもよい。また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２以上を実現してもよい。

また上記実施形態および変形例の学習装置１０の動作形態は任意でよい。上記実施形態および変形例の学習装置１０ＨＳ、例えばネットワーク上のクラウドシステムとして動作させてもよい。

本発明の実施形態および変形例を説明したが、これらの実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態および変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 学習装置
１２ 構造探索部
１２Ａ ベイズ探索部
１２Ｂ 探索空間設定部
１２Ｃ 評価部
１４ パラメータ探索部
１４Ａ ベイズ探索部
１４Ｂ 探索空間設定部
１４Ｃ 評価部
１６ プルーニング部
１６Ａ 疎結合判定部
１６Ｂ 判定条件設定部
１６Ｃ 再学習部
１８ モーフィング部
１８Ａ 幅調整部
１８Ｂ 幅条件設定部
１８Ｃ 再学習部

Claims (13)

1. ニューラルネットワークモデルにおけるベースモデル構造に含まれる複数の畳み込み処理ブロックの各々に、目標ハードウェアの目標制約条件に応じた探索空間情報を選定した、第１学習済モデル構造を探索する構造探索部、
   を備える学習装置。
2. 前記ニューラルネットワークモデルの学習パラメータを、前記目標制約条件に応じて探索するパラメータ探索部、
   を備える、請求項１に記載の学習装置。
3. 前記第１学習済モデル構造の前記畳み込み処理ブロックのユニットを、前記目標制約条件に基づいて削除し、第２学習済モデル構造を生成するプルーニング部、
   を備える、請求項２に記載の学習装置。
4. 前記パラメータ探索部は、前記構造探索部が前記第１学習済モデル構造を探索した後に前記学習パラメータを前記目標制約条件に応じて探索し、
   前記プルーニング部は、前記パラメータ探索部が前記学習パラメータを探索した後に、前記第２学習済モデル構造を生成する、
   請求項３に記載の学習装置。
5. 前記プルーニング部は、
   前記第１学習済モデル構造に含まれる疎結合のユニットを、前記学習パラメータから設定した判定情報を用いて削除し、前記第２学習済モデル構造を生成する、
   請求項３または請求項４に記載の学習装置。
6. 前記目標制約条件に応じて前記第２学習済モデル構造を拡大または縮小するモーフィング部、
   を備える請求項３〜請求項５の何れか１項に記載の学習装置。
7. 前記モーフィング部は、
   前記第２学習済モデル構造に含まれる複数の前記畳み込み処理ブロック間のユニット数の比率を維持した状態で、前記第２学習済モデル構造を拡大または縮小する、
   請求項６に記載の学習装置。
8. 前記構造探索部は、
   互いに演算方法の異なる複数の前記探索空間情報から、前記目標ハードウェアの前記目標制約条件に応じた前記探索空間情報を、前記畳み込み処理ブロックの各々に選定する、
   請求項１〜請求項６の何れか１項に記載の学習装置。
9. 前記パラメータ探索部は、
   最適化手法としてＡｄａｍ、正則化手法としてＬ２正則化、活性化関数としてＲｅＬＵの組み合わせを含む前記学習パラメータの探索空間を、前記目標制約条件に応じて探索することによって、前記学習パラメータを探索する、
   請求項２に記載の学習装置。
10. 前記パラメータ探索部は、
    前記畳み込み処理ブロックに含まれる正規化処理に適用するＬ１正則化手法を含み、Ｌ１正則化強度を含む、前記学習パラメータの探索空間を、前記目標制約条件に応じて探索することによって、前記学習パラメータを探索する、
    請求項２に記載の学習装置。
11. 前記目標制約条件は、
    前記目標ハードウェアのスペックによって定まる指標であり、前記ニューラルネットワークモデルのサイズ、前記ニューラルネットワークモデルの演算量、前記ニューラルネットワークモデルの推論時のレイテンシ、前記ニューラルネットワークモデルの推論時の消費電力、前記ニューラルネットワークモデルのメモリサイズ、および、前記ニューラルネットワークモデルのメモリバンド幅、の少なくとも１つを含む、
    請求項１〜請求項１０の何れか１項に記載の学習装置。
12. 目標ハードウェアと学習装置とを備えた学習システムであって、
    前記学習装置は、
    ニューラルネットワークモデルにおけるベースモデル構造に含まれる複数の畳み込み処理ブロックの各々に、前記目標ハードウェアの目標制約条件に応じた探索空間情報を選定した、第１学習済モデル構造を探索する構造探索部、
    を備える、
    学習システム。
13. ニューラルネットワークモデルにおけるベースモデル構造に含まれる複数の畳み込み処理ブロックの各々に、目標ハードウェアの目標制約条件に応じた探索空間情報を選定した、第１学習済モデル構造を探索する構造探索ステップを含む、
    学習方法。

Images