JP2020123270A - 演算装置 - Google Patents

Abstract

【課題】ＤＮＮを決定するハイパーパラメータの最適化に要する時間を短縮しながらも、ＤＮＮの認識精度を向上させる。【解決手段】入力データと、ニューラルネットワークと、超パラメータを受け付けて、前記超パラメータの最適化を行う演算装置であって、前記ニューラルネットワークへ前記入力データを入力し、前記超パラメータ毎に前記ニューラルネットワークの認識精度に対する感度を算出する感度解析部と、複数種類の最適化アルゴリズムを有し、前記感度に応じて前記最適化アルゴリズムを選択し、前記選択した最適化アルゴリズムで前記超パラメータの最適化を実施する最適化部と、前記最適化された超パラメータに基づいて前記ニューラルネットワークを再構成する再構成部と、を有する。【選択図】図２

Description

本発明は、ニューラルネットワークを利用する演算装置に関する。

物体の認識や、行動の予測を自動的に行う技術として、多層のニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、以下ＤＮＮとする）を用いた機械学習が知られている。ＤＮＮを自動運転車両へ適用する場合には、車載装置の演算能力を考慮して、小規模なＤＮＮで高い認識精度を実現する必要がある。

小規模でありながら高精度の認識率を実現するには、ＤＮＮの構造を決定する超パラメータ（またはハイパーパラメータ）を最適化する必要がある。ＤＮＮを最適化する技術としてはＳｉｇＯｐｔやＨｙｐｅｒｎｅｔｗｏｒｋｓや特許文献１が知られている。

ＳｉｇＯｐｔは、ベイズ最適化を用いて確率的に最適なＤＮＮを探索する技術である。また、Ｈｙｐｅｒｎｅｔｗｏｒｋｓは、最適なＤＮＮの構造を、他のＤＮＮで推論（Ｈｙｐｅｒ Ｔｒａｉｎｉｎｇ）する技術である。

また、特許文献１には、全ての最適化手法に対して、学習を完了させてから、ワーカーがＬＷＧＳ（Ｌａｙｅｒ Ｗｉｓｅ Ｇｒｉｄ Ｓｅａｒｃｈ）やベイジアン方式などを選択して認識性能の指標が基準よりも高いパラメータを探索する技術が開示されている。

特開２０１７−１６２０７４号公報

しかしながら、上記従来例のＳｉｇＯｐｔでは、最適化の精度は高いが、探索型のため試行回数が増大するため、処理時間が増大してしまう、という問題があった。また、上記実施例のＨｙｐｅｒｎｅｔｗｏｒｋｓでは、最適化の精度は上記ＳｉｇＯｐｔよりも低下するが、処理時間がＳｉｇＯｐｔより短縮することが可能となる。しかし、Ｈｙｐｅｒｎｅｔｗｏｒｋｓでは、構造を最適化するＤＮＮに、最適なＤＮＮ構造を推論するための重み係数を付加する必要があり、学習の収束性が低下し、また、ＤＮＮの規模が増大する、という問題があった。

また、上記従来例の特許文献１では、全ての最適化手法に対して学習を完了させておく必要があるが、学習が完了するまでには多大な時間を要するため、ＤＮＮの最適化の作業を迅速に行うことができない、という問題があった。

そこで本発明は、上記問題点に鑑みてなされたもので、ＤＮＮを決定するハイパーパラメータの最適化に要する時間を短縮しながらも、ＤＮＮの認識精度を向上させることを目的とする。

本発明は、入力データと、ニューラルネットワークと、超パラメータを受け付けて、前記超パラメータの最適化を行う演算装置であって、前記ニューラルネットワークへ前記入力データを入力し、前記超パラメータ毎に前記ニューラルネットワークの認識精度に対する感度を算出する感度解析部と、複数種類の最適化アルゴリズムを有し、前記感度に応じて前記最適化アルゴリズムを選択し、前記選択した最適化アルゴリズムで前記超パラメータの最適化を実施する最適化部と、前記最適化された超パラメータに基づいて前記ニューラルネットワークを再構成する再構成部と、を有する。

したがって、本発明は、ニューラルネットワーク（ＤＮＮ）の最適化に要する時間を短縮しながらも、認識精度を向上させることが可能となる。

本明細書において開示される主題の、少なくとも一つの実施の詳細は、添付されている図面と以下の記述の中で述べられる。開示される主題のその他の特徴、態様、効果は、以下の開示、図面、請求項により明らかにされる。

本発明の実施例１を示し、ＤＮＮ超パラメータ最適化装置の一例を示すブロック図である。 本発明の実施例１を示し、ＤＮＮ超パラメータ最適化装置で行われる処理の一例を示す図である。 本発明の実施例２を示し、ＤＮＮ超パラメータ最適化装置の一例を示すブロック図である。 本発明の実施例２を示し、ＤＮＮ超パラメータ最適化装置で行われる処理の一例を示す図である。 本発明の実施例２を示し、最適化処理の時間とＤＮＮの認識精度の関係を示すグラフである。

以下、本発明の実施形態を添付図面に基づいて説明する。

図１は、本発明の実施例１を示し、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）超パラメータ最適化装置１の一例を示すブロック図である。

ＤＮＮ超パラメータ最適化装置１は、最適化対象の超パラメータ（またはハイパーパラメータ）３００と、最適化前のＤＮＮ１００と、ＤＮＮ１００へ入力するデータセット２００を格納するストレージ９０と、中間データなどを保持するメモリ１０と、感度解析部２０と、最適化部３０と、ＤＮＮモデル再構成部４０と、精度判定部５０と、感度解析部２０〜精度判定部５０の各機能部を制御するスケジューラ６０と、各部を接続するインターコネクト５を含む演算装置である。なお、インターコネクト５としては、例えば、ＡＸｉ（Ａｄｖａｎｃｅｄ ｅＸｔｅｎｓｉｂｌｅ Ｉｎｔｅｒｆａｃｅ）を採用することができる。

本実施例１の最適化部３０は、超パラメータ３００を最適化するために、複数種の最適化アルゴリズム３２−１〜３２−ｎを有する。なお、以下の説明では、最適化アルゴリズムを特定しない場合には「−」以降を省略した符号「３２」を使用する。また、他の構成要素の符号についても同様である。最適化アルゴリズム３２は、周知または公知の技術を適用することができる。複数の最適化アルゴリズム３２は、それぞれ処理時間やニューラルネットワークの認識精度等の性能が異なるアルゴリズムを有する。

また、ＤＮＮ超パラメータ最適化装置１の構成要素のうち、メモリ１０と、感度解析部２０〜精度判定部５０はスレーブとして機能し、スケジューラ６０は、上記スレーブを制御するマスタとして機能する。

本実施例１のＤＮＮ超パラメータ最適化装置１は、感度解析部２０〜精度判定部５０の各機能部及びスケジューラ６０がハードウェアで実装される。ＤＮＮ超パラメータ最適化装置１は、例えば、計算機の拡張スロットに装着されてデータの授受を行うことができる。なお、ハードウェアとしては、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｌｌａｙ）等を採用することができる。

また、本実施例１では、ハードウェアで各機能部を構成する例を示すが、これに限定されるものではなない。例えば、感度解析部２０〜スケジューラ６０の一部または全てをソフトウェアで実装することも可能である。

ストレージ９０に格納される最適化前のＤＮＮ１００は、ニューラルネットワークと重み係数及びバイアスを含む。また、データセット２００は、ＤＮＮ１００の適用先のアプリケーション（または装置）に応じたデータで、正解付きのデータと、正解なしのデータが含まれる。最適化済みのＤＮＮ４００は、感度解析部２０〜精度判定部５０で最適化処理を実行した結果である。

超パラメータ３００は、入力層から出力層の間の隠れ層（中間層）の数や、各層のニューロン（またはノード）の数等を含み、ＤＮＮ１００の構成を決定するパラメータである。また、超パラメータ３００は、学習率やバッチサイズ、学習イテレーションの数を含むことができる。なお、超パラメータ３００は、複数の超パラメータを含んでもよい。

スケジューラ６０は、最適化前のＤＮＮ１００と超パラメータ３００及びデータセット２００を受け付けて、予め設定された順序で上記各機能部を制御して超パラメータ３００の最適化処理を実行し、最適化済み超パラメータ５００と最適化済みのＤＮＮ４００を生成させる。

本実施例１のＤＮＮ超パラメータ最適化装置１では、入力された超パラメータ３００と最適化前のＤＮＮ１００と適用先のアプリケーションに応じたデータセット２００から、超パラメータ３００の最適化を実施して最適化済み超パラメータ５００を探索する。そして、ＤＮＮ超パラメータ最適化装置１は、最適化済み超パラメータ５００に基づいてＤＮＮ１００を再構成して最適化済みのＤＮＮ４００を生成する。

以下、ＤＮＮ超パラメータ最適化装置１で行われる処理について説明する。図２は、ＤＮＮ最適化装置で行われる処理の一例を示す図である。

まず、スケジューラ６０は、最適化前の超パラメータ３００と、最適化前のＤＮＮ１００とデータセット２００を感度解析部２０へ入力する。感度解析部２０は、データセット２００の入力データをＤＮＮ１００へ入力して、超パラメータ３００毎にＤＮＮ１００の認識精度に対する感度Ωを算出し、最適化部３０へ出力する。なお、本実施例１では、感度解析の一例として、データセット２００にノイズを付与して、ＤＮＮ１００の認識精度に対する感度を解析する例を示す。

なお、感度解析部２０で行われる感度解析処理は、周知または公知の手法を用いることができ、例えば、「Memory Aware Synapses: Learning what (not) to forget」（R. Aljundi, et al. 2018）等を採用することができる。

上記感度解析処理では、データセット２００に微小摂動（ノイズなど）を与えて、ＤＮＮ１００へ入力し、ＤＮＮ１００の認識精度に与える感度Ωを層毎に解析する。なお、感度Ωは、各ニューラルネットワークのニューロンの認識精度への感度（重要度）として算出すればよい。

最適化部３０では、感度判定部３１が感度解析部２０で出力された超パラメータ３００毎に解析した感度Ωに応じて、複数の最適化アルゴリズム３２−１〜３２−ｎのｎ個の最適化アルゴリズム３２のうちのいずれかひとつを選択して、超パラメータ３００の最適化を実施する。

本実施例１では、最適化部３０がＤＮＮ１００の認識精度に対する感度Ωが高い超パラメータ３００と、感度Ωが低い超パラメータ３００に分離する。そして、最適化部３０は、感度Ωが高い超パラメータ３００については、処理時間よりも認識精度が高い最適化アルゴリズム３２を選択する。一方、最適化部３０は、感度Ωが低い超パラメータ３００については、処理時間が短い最適化アルゴリズム３２を選択する。

例えば、ｎ＝３の場合、最適化部３０は、感度Ωが閾値Ｔｈ＿ｓ１未満であれば、最適化アルゴリズム３２−１を選択し、感度Ωが閾値Ｔｈ＿ｓ１以上、且つ閾値Ｔｈ＿ｓ２未満であれば最適化アルゴリズム３２−２を選択し、感度Ωが閾値Ｔｈ＿ｓ２以上であれば最適化アルゴリズム３２−３を選択する。

最適化アルゴリズム３２−１は、認識精度については高くはないが処理時間が短い手法で、最適化アルゴリズム３２−３は、処理時間は長くなるが認識精度が高い手法で、最適化アルゴリズム３２−２は、両者の中間の手法とする。

最適化部３０は、超パラメータ３００毎に最適化アルゴリズム３２で最適化を行った結果をＤＮＮモデル再構成部４０へ出力する。ＤＮＮモデル再構成部４０は、最適化アルゴリズム３２による最適化の結果から最適化済み超パラメータ５００を生成する。そして、ＤＮＮモデル再構成部４０は、最適化済み超パラメータ５００から最適化後のＤＮＮ候補を再構成し、精度判定部５０へ出力する。

精度判定部５０は、最適化後のＤＮＮ候補にデータセット２００の正解付きデータを入力して推論を実施し、推論誤差を算出する。精度判定部５０は、推論の結果と正解から最適化後のＤＮＮ候補の推論誤差（または推論精度）を判定し、推論誤差が所定の閾値Ｔｈ＿ａ未満であるか否かを判定する。なお、推論誤差は、例えば、ＤＮＮ候補の推論結果の正解率の逆数に基づく統計値（平均値など）を用いればよい。

精度判定部５０は、推論誤差が閾値Ｔｈ＿ａ以上であれば、次の超パラメータ３００を選択してから上記処理を繰り返す。一方、精度判定５０は、推論誤差が閾値Ｔｈ＿ａ未満であれば、ＤＮＮ候補を最適化済みＤＮＮ５００として出力する。また、ＤＮＮモデル再構成部４０は、最適化済みＤＮＮ５００を生成した最適化済み超パラメータ５００を、認識精度を満足した最適化済み超パラメータ５００として出力する。

以上のように、ＤＮＮ超パラメータ最適化装置１は、感度解析部２０によるＤＮＮ１００の解析と、最適化部３０による超パラメータ３００の最適化結果か最適化済み超パラメータ５００を生成し、この最適化済み超パラメータ５００に基づいてＤＮＮ候補を再構成する。そして、ＤＮＮ超パラメータ最適化装置１は、ＤＮＮ候補の中から、推論誤差が閾値Ｔｈ＿ａ未満となるＤＮＮ候補を最適化済みのＤＮＮ４００として出力し、当該ＤＮＮ４００を再構成した超パラメータを最適化済み超パラメータ５００として出力する。

本実施例１では、ＤＮＮ超パラメータ最適化装置１が、超パラメータ３００とＤＮＮ１００とデータセット２００を入力し、ＤＮＮ１００の学習前にノイズとして微小摂動を与えたデータセット２００によって、ＤＮＮ１００を構成するニューロン毎の認識精度に対する感度Ωの解析を行って、感度Ωに応じた最適化アルゴリズム３２を選択して超パラメータ３００毎に最適化を実施する。

これにより、ＤＮＮ１００の学習に先立って、超パラメータ３００の最適化を認識精度の感度に応じて実施することで、超パラメータ３００の最適化に要する時間を短縮しながらも最適化済みのＤＮＮ４００の認識精度の向上を図ることが可能となるのである。

図３は、実施例２を示し、ＤＮＮ超パラメータ最適化装置１の一例を示すブロック図である。本実施例２のＤＮＮ超パラメータ最適化装置１は、最適化部３０の最適化アルゴリズム３２として、ベイズ最適化３３とハイパーネットワークス３４の２つの手法を採用し、感度Ωに応じて選択する。その他の構成については、前記実施例１と同様である。

図４は、ＤＮＮ超パラメータ最適化装置１で行われる処理の一例を示す図である。ＤＮＮ超パラメータ最適化装置１は、前記実施例１と同様に感度解析部２０で超パラメータ３００毎にニューラルネットワークの感度Ωを算出し、最適化部３０へ出力する。

最適化部３０では、感度判定部３１が所定の閾値Ｔｈ＿ｓと感度Ωの比較結果に応じて、超パラメータ３００を最適化する最適化アルゴリズムを選択する。本実施例２では、感度判定部３１は、閾値Ｔｈ＿ｓよりも感度Ωの方が大きい場合、ベイズ最適化３３を選択して超パラメータ３００の最適化を実施させる。一方、感度判定部３１は、感度Ωが閾値Ｔｈ＿ｓ以下の場合、ハイパーネットワークス３４を選択して超パラメータ３００の最適化を実施させる。

ここで、ベイズ最適化３３は、前記従来技術のＳｉｇＯｐｔで採用され、ＤＮＮ４００の認識精度と学習収束性に優れるが、処理時間が長くなる。本実施例２のベイズ最適化３３は、例えば、「Freeze-Thaw Bayesian Optimization」を採用することができる。

一方、ハイパーネットワークス３４は、「Stochastic Hyperparameter Optimization through Hypernetworks」（J.Lorraine, et al., 2018）として知られている。ハイパーネットワークス３４は、ベイズ最適化３３に比して処理時間を短縮できるが、認識精度は低下する。

本実施例２の最適化部３０では、認識精度への感度Ωが閾値Ｔｈ＿ｓよりも高い超パラメータ３００については、ベイズ最適化３３を選択し、処理時間をかけて最適化済のＤＮＮ４００の認識精度を向上させる。一方、認識精度への感度Ωが閾値Ｔｈ＿ｓ以下の超パラメータ３００については、ハイパーネットワークス３４を選択し、処理時間を短縮する。

図５は、最適化処理の時間とＤＮＮの認識精度の関係を示すグラフである。図中実線が本実施例２のＤＮＮ超パラメータ最適化装置１による超パラメータ３００の最適化の処理時間（最適化時間）と、最適化済みのＤＮＮ４００の認識精度の関係を示す。図中一点鎖線は、ベイズ最適化３３による処理時間と精度判定の関係を示す。図中破線は、ハイパーネットワークス３４による処理時間と精度判定の関係を示す。

本実施例２のＤＮＮ超パラメータ最適化装置１による最適化処理では、ベイズ最適化３３よりも短時間で処理を行うことができるのに加えて、ベイズ最適化３３と同等の認識精度を確保することができる。

以上のように、本実施例２の最適化部３０では、超パラメータ３００の認識精度に対する感度Ωに応じて、認識精度と処理時間の傾向が異なる超パラメータの最適化処理を実施することで、最適化に要する処理時間を短縮しながら最適化済みＤＮＮ４００の認識精度を向上させることが可能となる。

なお、本実施例２では、感度Ωに応じて２つの最適手法を切り替える例を示したが、これに限定されるものではなく、多数の種類の最適化手法を感度Ωの範囲に応じて選択するようにしてもよい。

また、本実施例２では、認識精度が最大となる最適化アルゴリズム３２としてベイズ最適化３３を採用し、処理時間が最小となる最適化アルゴリズム３２としてハイパーネットワークス３４を採用した例を示したが、これに限定されるものではない。最適化アルゴリズム３２としては、認識精度が最大となる最適化アルゴリズム３２と、最適化の処理時間が最小となる最適化アルゴリズム３２を含んでいればよい。

＜まとめ＞
以上のように、上記実施例１〜３の装置は、以下のような構成とすることができる。

（１）入力データ（データセット２００）と、ニューラルネットワーク（最適化前のＤＮＮ１００）と、超パラメータ（３００）を受け付けて、前記超パラメータ（３００）の最適化を行う演算装置（ＤＮＮ超パラメータ最適化装置１）であって、前記ニューラルネットワーク（１００）へ前記入力データ（２００）を入力し、前記超パラメータ（３００）毎に前記ニューラルネットワーク（１００）の認識精度に対する感度（Ω）を算出する感度解析部（２０）と、複数種類の最適化アルゴリズム（３２）を有し、前記感度（Ω）に応じて前記最適化アルゴリズム（３２）を選択し、前記選択した最適化アルゴリズム（３２）で前記超パラメータ（３００）の最適化を実施する最適化部（３０）と、前記最適化された超パラメータ（最適化済み超パラメータ５００）に基づいて前記ニューラルネットワークを再構成する再構成部（ＤＮＮモデル再構成部４０）と、を有する。

上記構成によって、ＤＮＮ超パラメータ最適化装置１は、ＤＮＮ１００の学習前に微小摂動を与えたデータセット２００によって、ＤＮＮ１００を構成するニューロン毎の認識精度に対する感度Ωの解析を行って、感度Ωに応じた最適化アルゴリズム３２を選択して超パラメータ３００毎に最適化を実施する。これにより、超パラメータ３００の最適化を認識精度の感度に応じて実施することで、超パラメータ３００の最適化に要する時間を短縮しながらも認識精度の向上を図ることが可能となるのである。

（２）上記（１）に記載の演算装置（１）であって、前記再構成されたニューラルネットワークへ前記入力データ（２００）を与えて推論を実行して推論誤差を算出し、前記推論誤差が所定の第１の閾値（Ｔｈ＿ａ）未満のニューラルネットワークを、最適化済みニューラルネットワーク（最適化済みＤＮＮ４００）として出力する精度判定部（５０）を、さらに有する。

上記構成によって、ＤＮＮ超パラメータ最適化装置１は、推論誤差が第１の閾値（Ｔｈ＿ａ）未満となったニューラルネットワークを最適化済みＤＮＮ４００として出力することができ、また、最適化済みＤＮＮ４００に対応する超パラメータを最適化済み超パラメータ５００として出力することができる。

（３）上記（２）に記載の演算装置（１）であって、前記精度判定部（５０）は、前記推論誤差が前記第１の閾値（Ｔｈ＿ａ）以上の場合には、前記感度解析部（２０）と前記最適化部（３０）及び前記再構成部（４０）の処理を繰り返す。

上記構成によって、ＤＮＮ超パラメータ最適化装置１は、推論誤差が第１の閾値（Ｔｈ＿ａ）未満となるまで超パラメータの最適化を繰り返し、推論精度が最大の超パラメータ３００及びＤＮＮ４００を出力することができる。

（４）上記（２）に記載の演算装置（１）であって、前記感度解析部（２０）と、前記最適化部（３０）と、前記再構成部（４０）及び前記精度判定部（５０）の演算途中における中間データを一時的に格納するメモリ（１０）と、前記感度解析部（２０）と、前記最適化部（３０）と、前記再構成部（４０）と、前記精度判定部（５０）及び前記メモリ（１０）をスレーブとし、前記スレーブを制御するマスタとしてのスケジューラ（６０）と、前記マスタと前記スレーブを接続するインターコネクト（５）と、をさらに有する。

上記構成により、ＤＮＮ超パラメータ最適化装置１をハードウェアで構成することで、超パラメータ３００の最適化処理の高速化を図ることが可能となる。

（５）上記（１）に記載の演算装置であって、前記最適化部（３０）は、種類の異なる多数の最適化アルゴリズム（３２）を有し、前記感度（Ω）の範囲に応じて、前記多数の最適化アルゴリズム（３２）のいずれかひとつを選択する。

上記構成によって、ＤＮＮ超パラメータ最適化装置１は、種類の異なる最適化アルゴリズム３２を多数用意することで、感度Ωに応じた最適化アルゴリズム３２を選択し、感度Ωに応じた最適化を実現することができる。

（６）上記（１）に記載の演算装置（１）であって、前記最適化部（３０）は、前記最適化アルゴリズム（３２）としてベイズ最適化（３３）と、ハイパーネットワークス（３４）を含み、前記感度（Ω）が所定の第２の閾値（Ｔｈ＿ｓ）よりも大きい場合には前記ベイズ最適化（３３）を選択し、前記感度が前記第２の閾値（Ｔｈ＿ｓ）以下の場合には前記ハイパーネットワークス（３４）を選択する。

上記構成によって、ＤＮＮ超パラメータ最適化装置１は、感度Ωが第２の閾値（Ｔｈ＿ｓ）よりも大きい場合にはベイズ最適化３３を選択して認識精度の高い最適化を実施し、感度Ωが第２の閾値（Ｔｈ＿ｓ）以下の場合にはハイパーネットワークス３４を選択して処理時間の短い最適化を実施することで、認識精度が高く、処理時間の短い最適化処理が実現できる。

（７）上記（１）に記載の演算装置（１）であって、前記最適化部（３０）は、前記最適化後の超パラメータ（５００）から再構成したニューラルネットワークの認識精度が最大となる第１の最適化アルゴリズム（３２）と、前記最適化の処理時間が最小となる第２の最適化アルゴリズム（３２）と、を有する。

上記構成によって、ＤＮＮ超パラメータ最適化装置１は、感度Ωが高い超パラメータ３００の場合には、認識精度が最大となる第１の最適化アルゴリズム３２で超パラメータ３００の最適化を実施し、感度Ωが低い超パラメータ３００の場合には、第１の最適化アルゴリズム３２で超パラメータ３００の最適化を実施する。これにより、認識精度が最大で、且つ処理時間が最小となる最適化を実現することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、又は置換のいずれもが、単独で、又は組み合わせても適用可能である。

また、上記の各構成、機能、処理部、及び処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、及び機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１ ＤＮＮ超パラメータ最適化装置
１０ メモリ
２０ 感度解析部
３０ 最適化部
３１ 感度判定部
３２−１〜３２−ｎ 最適化アルゴリズム
４０ ＤＮＮモデル再構成部
５０ 精度判定部
６０ スケジューラ
１００、４００ ＤＮＮ
２００ データセット
３００ 超パラメータ
５００ 最適化済み超パラメータ

Claims (7)

1. 入力データと、ニューラルネットワークと、超パラメータを受け付けて、前記超パラメータの最適化を行う演算装置であって、
   前記ニューラルネットワークへ前記入力データを入力し、前記超パラメータ毎に前記ニューラルネットワークの認識精度に対する感度を算出する感度解析部と、
   複数種類の最適化アルゴリズムを有し、前記感度に応じて前記最適化アルゴリズムを選択し、前記選択した最適化アルゴリズムで前記超パラメータの最適化を実施する最適化部と、
   前記最適化された超パラメータに基づいて前記ニューラルネットワークを再構成する再構成部と、
   を有することを特徴とする演算装置。
2. 請求項１に記載の演算装置であって、
   前記再構成されたニューラルネットワークへ前記入力データを与えて推論を実行して推論誤差を算出し、前記推論誤差が所定の第１の閾値未満のニューラルネットワークを、最適化済みニューラルネットワークとして出力する精度判定部を、
   さらに有することを特徴とする演算装置。
3. 請求項２に記載の演算装置であって、
   前記精度判定部は、
   前記推論誤差が前記第１の閾値以上の場合には、前記感度解析部と前記最適化部及び前記再構成部の処理を繰り返すことを特徴とする演算装置。
4. 請求項２に記載の演算装置であって、
   前記感度解析部と、前記最適化部と、前記再構成部及び前記精度判定部の演算途中における中間データを一時的に格納するメモリと、
   前記感度解析部と、前記最適化部と、前記再構成部と、前記精度判定部及び前記メモリをスレーブとし、前記スレーブを制御するマスタとしてのスケジューラと、
   前記マスタと前記スレーブを接続するインターコネクトと、
   をさらに有することを特徴とする演算装置。
5. 請求項１に記載の演算装置であって、
   前記最適化部は、
   種類の異なる多数の最適化アルゴリズムを有し、前記感度の範囲に応じて、前記多数の最適化アルゴリズムのいずれかひとつを選択することを特徴とする演算装置。
6. 請求項１に記載の演算装置であって、
   前記最適化部は、
   前記最適化アルゴリズムとしてベイズ最適化と、ハイパーネットワークスを含み、前記感度が所定の第２の閾値よりも大きい場合には前記ベイズ最適化を選択し、前記感度が前記第２の閾値以下の場合には前記ハイパーネットワークスを選択することを特徴とする演算装置。
7. 請求項１に記載の演算装置であって、
   前記最適化部は、
   前記最適化後の超パラメータから再構成したニューラルネットワークの認識精度が最大となる第１の最適化アルゴリズムと、前記最適化の処理時間が最小となる第２の最適化アルゴリズムと、を有することを特徴とする演算装置。