JP2022013658A - オプティマイザ学習方法、装置、電子デバイス、可読記憶媒体及びコンピュータプログラム - Google Patents

Abstract

【課題】ディープラーニングにおいて、異なるネットワーク構造や異なるタイプのタスクに対して汎化能力を持つオプティマイザ学習方法、装置、電子デバイス、可読記憶媒体及びコンピュータプログラムを提供する。【解決手段】オプティマイザ学習を行う際に採用される方法は、ニューラルネットワークの属性情報、ニューラルネットワークのオプティマイザ情報及びオプティマイザのパラメータ情報を含む複数のデータセットを含む訓練データを取得し、各データセットにおけるニューラルネットワークの属性情報およびニューラルネットワークのオプティマイザ情報を入力、各データセットにおけるオプティマイザのパラメータ情報を出力として、メタ学習モデルが収束するまでメタ学習モデルを訓練する。【効果】オプティマイザの自己適応を可能にし、オプティマイザの汎化能力を向上させた。【選択図】図１

Description

本開示は、人工知能技術分野に関し、特にディープラーニング技術分野におけるオプティマイザ学習方法、装置、電子デバイス、可読記憶媒体及びコンピュータプログラムに関する。

ディープニューラルネットワークは、機械学習によく用いられる手法であり、近年様々な分野で利用されている。デプスニューラルネットワークの訓練過程は、ネットワークが収束するようにオプティマイザ（optimizer）を使用し、即ちオプティマイザを使用してネットワークパラメータを更新してネットワークの最適点を見つける必要がある。したがって、オプティマイザはネットワークの収束速度と訓練効果に直接に影響を与え、収束速度が遅いとコンピューティングリソースの消費量が増加する。

従来技術には、通常、人工経験に基づくオプティマイザとモデルに基づくオプティマイザが含まれている。その中で、人工経験に基づくオプティマイザは、異なるタスクと異なるネットワーク構造に基づいて適応することができず、訓練の異なる段階でオプティマイザにおけるパラメータを調整することに労力と物力を必要とする。モデルに基づくオプティマイザは、ある程度の適応は可能であるが、固定的又は類似的な特定種類のネットワーク構造と同じタイプのタスクのみに対して適応可能であり、異なるネットワーク構造や異なるタイプのタスクに対して汎化能力を持たない。

本開示は、上記技術的課題を解決するための技術案を提供する。

本開示は、技術的課題を解決するために適用される技術案は、ニューラルネットワークの属性情報、ニューラルネットワークのオプティマイザ情報、及びオプティマイザのパラメータ情報を含む複数のデータセットを含む訓練データを取得し、各データセットにおけるニューラルネットワークの属性情報およびニューラルネットワークのオプティマイザ情報を入力、各データセットにおけるオプティマイザのパラメータ情報を出力として、メタ学習モデルが収束するまで前記メタ学習モデルを訓練することを含むオプティマイザの学習方法を提供する。

本開示は、技術的課題を解決するために適用される技術案は、ニューラルネットワークの属性情報、ニューラルネットワークのオプティマイザ情報、及びオプティマイザのパラメータ情報を含む複数のデータセットを含む訓練データを取得する取得部と、各データセットにおけるニューラルネットワークの属性情報とニューラルネットワークのオプティマイザ情報とを入力、各データセットにおけるオプティマイザのパラメータ情報を出力として、メタ学習モデルが収束するまで前記メタ学習モデルを訓練する訓練部とを備えるオプティマイザの学習装置を提供する。

少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信接続されたメモリとを備え、前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに前記方法を実行させる電子デバイスを提供する。

コンピュータに前記方法を実行させるためのコンピュータコマンドが記憶された非一時的なコンピュータ可読記憶媒体を提供する。

本開示の一態様は、オプティマイザの自己適応を可能にし、オプティマイザの汎化能力を向上させるという利点または有益な効果を有する。メタ学習モデルを構築することで異なる属性情報およびオプティマイザ情報を持つニューラルネットワークのオプティマイザのパラメータを学習する技術手段を採用しているため、従来技術においてオプティマイザが異なるネットワーク構造及び異なるタイプのタスクのニューラルネットワークに適応できないという技術的問題を克服し、オプティマイザの自己適応及びオプティマイザの汎化能力の向上という技術的効果を実現した。

前記選択可能な方法が有する他の効果は、以下で具体的な実施形態と合わせて説明する。

図面は、本開示をより良く理解するためのものであり、本開示を限定しない。ここで、
本開示の第１の実施形態に係る模式図である。 本開示の第２の実施形態に係る模式図である。 本開示の実施形態に係るオプティマイザの学習方法を実施するための電子デバイスのブロック図である。

以下、図面に基づいて、本開示の例示的な実施例を説明する。理解を容易にするために、本開示の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本開示の範囲及び思想から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。

図１は本開示の第１の実施形態に係る模式図である。図１に示すように、本実施形態のオプティマイザの学習方法は、具体的に以下のステップを含むことができる。

Ｓ１０１において、ニューラルネットワークの属性情報と、ニューラルネットワークのオプティマイザ情報と、オプティマイザのパラメータ情報とを含む複数のデータセットを含む訓練データを取得する。

Ｓ１０２において、各データセットにおけるニューラルネットワークの属性情報およびニューラルネットワークのオプティマイザ情報を入力、各データセットのオプティマイザのパラメータ情報を出力として、メタ学習モデルが収束するまで前記メタ学習モデルを訓練する。

本実施形態のオプティマイザの学習方法は、メタ学習モデルを構築することで異なる属性情報とオプティマイザ情報を持つニューラルネットワークのオプティマイザのパラメータを学習することにより、ニューラルネットワークのオプティマイザが異なる属性情報を持つニューラルネットワークに自動的に適応させることができ、オプティマイザの自己適応を実現し、オプティマイザの汎化能力を向上させ、更にニューラルネットワークの訓練フローを高速化し、ニューラルネットワークの訓練効果を向上させた。

本実施形態におけるオプティマイザ（optimizer）は、ニューラルネットワークが収束するように対応するニューラルネットワークのパラメータを更新するための関数であっても良く、ニューラルネットワークに基づくモデルであっても良い。ここで、本実施形態におけるニューラルネットワークは、ディープニューラルネットワークである。

本実施形態の各データセットにおけるニューラルネットワークの属性情報は、ニューラルネットワークの構造情報およびニューラルネットワークのタスク情報の少なくとも一方を含み、ニューラルネットワークのネットワーク構造と訓練されるタスクのタイプを反映するために用いられる。なお、ニューラルネットワークの構造情報は、巡回型ニューラルネットワーク（ＲＮＮ）や畳み込み型ニューラルネットワーク（ＣＮＮ）などであってもよく、ニューラルネットワークのタスク情報は、ピクチャ分類タスクや文字認識タスクなどであってもよい。

本実施形態の各データセットにおけるニューラルネットワークのオプティマイザ情報は、ニューラルネットワークのパラメータを更新するオプティマイザのタイプを示す情報であり、例えばＳＧＤ、Ｍｏｍｅｎｔｕｍ、Ａｄａｍなどである。オプティマイザのパラメータ情報は、ニューラルネットワークの各ステップの訓練過程におけるオプティマイザのパラメータに対応する。

理解すべきなのは、本実施形態により得られたデータセットは、異なるネットワーク構造、異なるタイプの訓練タスク、および異なるタイプのオプティマイザを有するニューラルネットワークに対応するため、訓練により得られたメタ学習モデルは、異なる構造および異なるタスクのニューラルネットワークに対するオプティマイザの汎化能力をさらに向上させることができる。

本実施形態により提供されたニューラルネットワークの属性情報には、ニューラルネットワークの構造情報と、ニューラルネットワークのタスク情報とが含まれているため、本実施形態により訓練されたメタ学習モデルは、異なる構造のニューラルネットワークが異なるタイプのタスクを訓練する場合のオプティマイザのパラメータを推定することができる。

本実施形態では、データセットを取得した後、メタ学習モデルが収束するまで、各データセットに含まれる前記情報に基づいてメタ学習モデルの訓練を行う。なお、本実施形態におけるメタ学習モデルは、ニューラルネットワークモデルであってよい。

本実施形態は、メタ学習（meta learning）でメタ学習モデルを訓練することにより、メタ学習モデルが異なる属性情報を有するニューラルネットワークの訓練過程におけるオプティマイザのパラメータを学習することができる。

本実施形態におけるメタ学習とは、「学習の仕方を学習する」、即ち他のタスクの学習経験を学習することにより、新たなタスクにおいても自ら適応に学習できることである。本実施形態におけるメタ学習は、異なるニューラルネットワークの訓練過程における各ステップにおけるオプティマイザのパラメータをマイニングすることにより、メタ学習モデルが新たなタスクにおけるニューラルネットワークの属性情報とオプティマイザ情報とに基づいて、当該ニューラルネットワークの訓練過程における各ステップのオプティマイザのパラメータを推定することができるようにする。

本実施形態では、各データセットに基づいてメタ学習モデルの訓練を行う際に、メタ学習モデルの出力結果とデータセットにおけるパラメータ情報に基づいて損失関数を計算することができ、計算された損失関数が収束した場合にメタ学習モデルが収束したとみなし、メタ学習モデルの訓練過程を完了することができる。なお、本実施形態は、勾配または再帰モデルに基づいてメタ学習を行ってメタ学習モデルを得ても良いが、本実施形態で限定されない。

オプティマイザ学習を行う場合に使用される訓練シーケンスが長く、且つ訓練中に幾千幾万ほど多くの反復が必要であるため、既存のメタ学習方法はあまり実用的ではない。

メタ学習モデルの訓練効果をさらに高めるために、本実施形態は、データセットからメタ学習モデルの訓練を行う際に、以下の方法を採用することができる。つまり、現在のメタ学習モデルのパラメータを第１のパラメータとし、ノイズを使用して第１のパラメータをジッタリングして複数のジッタパラメータを取得し、すなわち、第１のパラメータをわずかに変更する。ここで、ノイズはガウスノイズであって良い。次に、取得された複数のジッタパラメータから複数のジッタメタ学習モデルを構築し、即ち第１のパラメータを各ジッタパラメータに置き換え、各データセットにおけるニューラルネットワークの属性情報およびニューラルネットワークのオプティマイザ情報を入力、各データセットにおけるオプティマイザのパラメータ情報を出力として、各ジッタメタ学習モデルをそれぞれ訓練する。ここで、各ジッタメタ学習モデルが使用するデータセットは同じでも異なってもよい。そして、訓練結果に基づいて、予め設定された条件を満たすジッタメタ学習モデルを最終メタ学習モデルとして選択する。

理解すべきなのは、本実施形態において、予め設定された条件を満たすメタ学習モデルとして損失関数が最も小さいジッタメタ学習モデルを選択しても良く、予め設定された条件を満たすメタ学習モデルとして収束速度が最も速いジッタメタ学習モデルを選択してもよい。

また、本実施形態では、メタ学習モデルの訓練の正確度をさらに向上させるために、訓練結果に基づいて、予め設定された条件を満たすジッタメタ学習モデルを最終メタ学習モデルとして選択する際に、以下の方法を採用することができる。つまり、訓練結果に基づいて、予め設定された条件を満たすジッタメタ学習モデルのジッタパラメータを特定し、特定されたジッタパラメータを第１のパラメータとした後、ノイズを用いて第１のパラメータをジッタリングするステップに進行し、この処理を予め設定された回数で繰り返し、選択されたジッタメタ学習モデルを最終メタ学習モデルとする。なお、本実施形態における予め設定された回数は、実際のニーズに応じてユーザが設定することができる。

つまり、本実施形態では、進化戦略（evolution strategy）方式でメタ学習モデルの訓練を行うことで、従来技術においてメタ学習モデルの訓練を行う際に訓練シーケンスが長すぎることを克服できないという問題を克服することができる一方、メタ学習モデルの訓練過程を簡略化し、メタ学習モデルの訓練効率を向上させることができる。

本実施形態では、メタ学習モデルを得るように訓練した後、入力されたニューラルネットワークの属性情報とニューラルネットワークのオプティマイザ情報とに基づいて当該オプティマイザのパラメータを出力することができるため、オプティマイザの自己適応を実現し、異なる構造や異なるタスクのニューラルネットワークに対して汎化能力を具備させた。

本実施形態により提供される前記方法により、ニューラルネットワークのオプティマイザが異なる属性情報を有するニューラルネットワークに自動的に適応するように、メタ学習モデルを構築してニューラルネットワークのオプティマイザのパラメータを推定することにより、オプティマイザの自己適応を実現し、ニューラルネットワークの訓練フローを高速化し、ニューラルネットワークの訓練効果を高める。

図２は、本開示の第２の実施形態に係る模式図である。図２に示されたように、本実施形態のオプティマイザの学習装置は、ニューラルネットワークの属性情報と、ニューラルネットワークのオプティマイザ情報と、オプティマイザのパラメータ情報とを含む複数のデータセットを含む訓練データを取得する取得部２０１と、各データセットにおけるニューラルネットワークの属性情報とニューラルネットワークのオプティマイザ情報とを入力、各データセットにおけるオプティマイザのパラメータ情報を出力として、メタ学習モデルが収束するまで前記メタ学習モデルを訓練する訓練部２０２とを備える。

本実施形態の取得部２０１が取得したニューラルネットワークの属性情報は、ニューラルネットワークの構造情報およびニューラルネットワークのタスク情報の少なくとも一方を含み、ニューラルネットワークのネットワーク構造および訓練されるタスクのタイプを反映する。

本実施形態の取得部２０１が取得したニューラルネットワークのオプティマイザ情報は、ニューラルネットワークのパラメータを更新するオプティマイザのタイプを示し、オプティマイザのパラメータ情報は、ニューラルネットワークの各ステップの訓練過程におけるオプティマイザのパラメータに対応する。

取得部２０１によりデータセットが取得された後、訓練部２０２は、各データセットに含まれる前記情報に基づいて、メタ学習モデルが収束するまで、メタ学習モデルの訓練を行う。ここで、訓練部２０２におけるメタ学習モデルは、ニューラルネットワークモデルであってよい。

訓練部２０２は、各データセットに基づいてメタ学習モデルの訓練を行う際に、メタ学習モデルの出力結果とデータセットにおけるパラメータ情報とに基づいて損失関数を計算することができ、計算された損失関数が収束した場合にメタ学習モデルが収束したとみなし、メタ学習モデルの訓練過程を完了する。また、訓練部２０２は、勾配モデル又は再帰モデルに基づいてメタ学習を行ってメタ学習モデルを得ても良く、本実施形態で限定されない。

メタ学習モデルの訓練効果をさらに向上させるために、訓練部２０２は、データセットに基づいてメタ学習モデルの訓練を行う際に、以下の方法を採用することができる。つまり、現在のメタ学習モデルのパラメータを第１のパラメータとし、ノイズを用いて第１パラメータをジッタリングして複数のジッタパラメータを取得し、取得された複数のジッタパラメータから複数のジッタメタ学習モデルを構築し、各データセットにおけるニューラルネットワークの属性情報およびニューラルネットワークのオプティマイザ情報を入力、各データセットにおけるオプティマイザのパラメータ情報を出力として、各ジッタメタ学習モデルをそれぞれ訓練し、訓練結果に基づいて、予め設定された条件を満たすジッタメタ学習モデルを最終メタ学習モデルとして選択する。

理解すべきなのは、訓練部２０２は、予め設定された条件を満たすメタ学習モデルとして損失関数が最も小さいジッタメタ学習モデルを選択してもよく、予め設定された条件を満たすメタ学習モデルとして収束速度が最も速いジッタメタ学習モデルを選択してもよい。

また、メタ学習モデルの訓練の正確度をさらに向上させるために、訓練部２０２は、訓練結果に基づいて予め設定された条件を満たすジッタメタ学習モデルを最終メタ学習モデルとして選択する際に、以下の方法を採用することができる。つまり、訓練結果に基づいて、予め設定された条件を満たすジッタメタ学習モデルのジッタパラメータを特定し、特定されたジッタパラメータを第１のパラメータとした後、ノイズを用いて第１のパラメータをジッタリングするステップに進行し、この処理を予め設定された回数で繰り返し、選択されたジッタメタ学習モデルを最終メタ学習モデルとする。なお、本実施形態における予め設定された回数は、実際のニーズに応じてユーザが設定することができる。

つまり、訓練部２０２は、進化戦略（evolution strategy）方式でメタ学習モデルの訓練を行うことにより、従来技術においてメタ学習モデルの訓練を行う際に訓練シーケンスが長すぎることを克服できないという問題を克服することができる一方、メタ学習モデルの訓練過程を簡略化し、メタ学習モデルの訓練効率を向上させることができる。

訓練部２０２がメタ学習モデルを得るように訓練した後、このメタ学習モデルを用いて、入力されたニューラルネットワークの属性情報およびニューラルネットワークのオプティマイザ情報に基づいてこのオプティマイザのパラメータを出力することができる。

本開示の実施形態によれば、本開示は更に電子デバイスおよびコンピュータ可読記憶媒体を提供する。

図３は、本開示の実施形態に係るオプティマイザの学習方法の電子デバイスのブロック図である。電子デバイスは、様々な形式のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、ＰＤＡ、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータであることが意図される。電子デバイスは、様々な形式のモバイル装置、例えば、ＰＤＡ、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の類似するコンピューティング装置を示してもよい。本文で示された構成要素、それらの接続及び関係、ならびにそれらの機能は例示にすぎなく、本明細書において説明及び／又は請求される本開示の実現を限定することが意図されない。

図３に示すように、この電子デバイスは、一つ又は複数のプロセッサ３０１、メモリ３０２、及び各構成要素に接続するための高速インターフェース及び低速インターフェースを含むインターフェースを備える。各構成要素は、異なるバスで相互接続され、そして、共通マザーボードに、又は必要に応じて、他の態様で実装されてもよい。プロセッサは、電子デバイス内で実行されるコマンドを処理してもよく、メモリに記憶される又はメモリ上で外部入力／出力装置（例えば、インターフェースに結合される表示装置）にグラフィカルユーザインターフェースのグラフィカル情報を表示するコマンドを含む。他の実施形態において、必要な場合に、複数のプロセッサ及び／又は複数のバスが、複数のメモリとともに用いられてもよい。同様に、複数の電子デバイスが接続されてもよく、それぞれのデバイスが必要な操作の一部を提供する（例えば、サーババンク、ブレードサーバの集まり、又はマルチプロセッサシステムとする）。図３において、一つのプロセッサ３０１を例とする。

メモリ３０２は、本開示で提供される非一時的コンピュータ可読記憶媒体である。なお、前記メモリには、少なくとも１つのプロセッサが本開示に提供されたオプティマイザの学習方法を実行するように、前記少なくとも１つのプロセッサに実行可能なコマンドが記憶されている。本開示の非一時的コンピュータ可読記憶媒体は、本開示に提供されたオプティマイザの学習方法をコンピュータに実行させるためのコンピュータコマンドを記憶している。

メモリ３０２は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム、モジュール、例えば、本開示の実施例におけるオプティマイザの学習方法に対応するプログラムコマンド／モジュール（例えば図２に示された取得部２０１及び訓練部２０２）を記憶するために用いられる。プロセッサ３０１は、メモリ３０２に記憶されている非一時的ソフトウェアプログラム、コマンド及びモジュールを実行することで、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記の方法実施例におけるオプティマイザの学習方法を実現する。

メモリ３０２は、プログラム記憶領域及びデータ記憶領域を含んでもよく、プログラム記憶領域はオペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶してもよく、データ記憶領域は電子デバイスの使用により作成されたデータなどを記憶してもよい。また、メモリ３０２は、高速ランダムアクセスメモリを含んでもよく、さらに非一時的メモリ、例えば、少なくとも一つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の非一時的固体記憶装置を含んでもよい。幾つかの実施例において、メモリ３０２は、プロセッサ３０１に対して遠隔設置されたメモリを選択的に含んでもよく、これらのリモートメモリは、ネットワークを介してオプティマイザの学習方法の電子デバイスに接続されてもよい。上記のネットワークの実例には、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせが含まれるが、これらに限定されない。

オプティマイザの学習方法の電子デバイスは、更に、入力装置３０３と出力装置３０４とを備えても良い。プロセッサ３０１、メモリ３０２、入力装置３０３及び出力装置３０４は、バス又は他の手段により接続されても良く、図３においてバスによる接続を例とする。

入力装置３０３は、入力された数字又はキャラクタ情報を受信し、電子デバイスのユーザ設定及び機能制御に関連するキー信号入力を生成でき、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置３０４は、表示装置、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを含むことができる。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、及びプラズマディスプレイを含み得るが、これらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。

本明細書に説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（専用集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及びコマンドを受信し、当該記憶システム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置にデータ及びコマンドを送信するようにつなげられた、特殊用途でもよく一般用途でもよい少なくとも一つのプログラマブルプロセッサを含む、プログラマブルシステム上で実行可能及び／又は解釈可能な一つ又は複数のコンピュータプログラムにおける実行を含んでもよい。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又は、コードとも称される）は、プログラマブルプロセッサの機械命令を含み、高水準のプロセス及び／又はオブジェクト向けプログラミング言語、及び／又はアセンブリ／機械言語で実行されることができる。本明細書で用いられる「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械可読信号としての機械命令を受け取る機械可読媒体を含むプログラマブルプロセッサに機械命令及び／又はデータを提供するのに用いられる任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、及びプログラマブル論理デバイス）を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために用いられる任意の信号を指す。

ユーザとのインタラクティブを提供するために、本明細書に説明されるシステムと技術は、ユーザに対して情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）、ユーザがコンピュータに入力を与えることができるキーボード及びポインティングデバイス（例えば、マウスや、トラックボール）を有するコンピュータ上に実施されることが可能である。その他の種類の装置は、さらに、ユーザとのインタラクションを提供するために使用されることが可能であり、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚的なフィードバック、聴覚的なフィードバック、又は触覚的なフィードバック）であり得、ユーザからの入力は、任意の形態で（音響、音声又は触覚による入力を含む）受信され得る。

本明細書に説明されるシステムと技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータであり、ユーザは、当該グラフィカルユーザインターフェースもしくは当該ウェブブラウザを通じて本明細書で説明されるシステムと技術の実施形態とインタラクションすることができる）、そのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されることが可能である。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワークを含む。

コンピュータシステムは、クライアントとサーバーを含み得る。クライアントとサーバーは、一般的に互いから遠く離れており、通常は、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、相応するコンピュータ上で実行され、互いにクライアント－サーバの関係を有するコンピュータプログラムによって生じる。

本開示の実施形態の技術案によれば、メタ学習モデルを構築して異なる属性情報及びオプティマイザ情報を有するニューラルネットワークのオプティマイザのパラメータを学習することにより、ニューラルネットワークのオプティマイザが属性情報の異なるニューラルネットワークを自動的に適応させることができ、オプティマイザの自己適応を実現し、オプティマイザの汎化能力を向上させ、さらにニューラルネットワークの訓練フローを高速化し、ニューラルネットワークの訓練効果を向上させた。

以上で示された様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除できることを理解されたい。例えば、本開示に説明される各ステップは、並列の順序又は順次的な順序で実施されてもよいし、又は異なる順序で実行されてもよく、本開示で開示された技術案の望ましい結果が達成できる限り、ここで制限されない。

前記の具体的な実施形態は本開示の保護範囲に対する制限を構成しない。設計要件及び他の要因に従って、様々な修正、組み合わせ、部分的組み合わせ及び置換を行うことができることを当業者は理解するべきである。本開示の思想及び原則の範囲内で行われる修正、同等の置換、改善は、何れも本開示の保護範囲内に含まれるべきである。

Claims (11)

1. オプティマイザの学習方法であって、
   ニューラルネットワークの属性情報、ニューラルネットワークのオプティマイザ情報、及びオプティマイザのパラメータ情報を含む複数のデータセットを含む訓練データを取得し、
   各データセットにおけるニューラルネットワークの属性情報およびニューラルネットワークのオプティマイザ情報を入力とし、各データセットにおけるオプティマイザのパラメータ情報を出力として、メタ学習モデルが収束するまで前記メタ学習モデルを訓練する、
   ことを含む方法。
2. 前記ニューラルネットワークの属性情報は、ニューラルネットワークの構造情報およびニューラルネットワークのタスク情報の少なくとも一方を含む、請求項１に記載の方法。
3. 前記各データセットにおけるニューラルネットワークの属性情報およびニューラルネットワークのオプティマイザ情報を入力、各データセットにおけるオプティマイザのパラメータ情報を出力として、メタ学習モデルを訓練することは、
   現在のメタ学習モデルのパラメータを第１のパラメータとし、
   ノイズを使用して前記第１のパラメータをジッタリングして複数のジッタパラメータを取得し、
   前記複数のジッタパラメータに基づいて複数のジッタメタ学習モデルを構築し、
   各データセットにおけるニューラルネットワークの属性情報およびニューラルネットワークのオプティマイザ情報を入力とし、各データセットにおけるオプティマイザのパラメータ情報を出力として、前記複数のジッタメタ学習モデルをそれぞれ訓練し、
   訓練結果に基づいて、予め設定された条件を満たすジッタメタ学習モデルを最終メタ学習モデルとして選択する、
   ことを含む請求項１に記載の方法。
4. 前記訓練結果に基づいて、予め設定された条件を満たすジッタメタ学習モデルを最終メタ学習モデルとして選択することは、
   訓練結果に基づいて、予め設定された条件を満たすジッタメタ学習モデルのジッタパラメータを特定し、
   特定されたジッタパラメータを第１のパラメータとした後、ノイズを用いて第１のパラメータをジッタリングするステップに進行し、
   この処理を予め設定された回数で繰り返した後、選択されたジッタメタ学習モデルを最終メタ学習モデルとする、
   ことを含む請求項３に記載の方法。
5. オプティマイザの学習装置であって、
   ニューラルネットワークの属性情報、ニューラルネットワークのオプティマイザ情報、及びオプティマイザのパラメータ情報を含む複数のデータセットを含む訓練データを取得する取得部と、
   各データセットにおけるニューラルネットワークの属性情報とニューラルネットワークのオプティマイザ情報とを入力とし、各データセットにおけるオプティマイザのパラメータ情報を出力として、メタ学習モデルが収束するまで前記メタ学習モデルを訓練する訓練部と、
   を備える装置。
6. 前記取得部により取得されたニューラルネットワークの属性情報は、ニューラルネットワークの構造情報及びニューラルネットワークのタスク情報の少なくとも一方を含む請求項５に記載の装置。
7. 前記訓練部は、各データセットにおけるニューラルネットワークの属性情報およびニューラルネットワークのオプティマイザ情報を入力とし、各データセットにおけるオプティマイザのパラメータ情報を出力として、メタ学習モデルを訓練する場合に、
   現在のメタ学習モデルのパラメータを第１のパラメータとし、
   ノイズを使用して第１のパラメータをジッタリングして複数のジッタパラメータを取得し、
   前記複数のジッタパラメータに基づいて、複数のジッタメタ学習モデルを構築し、
   各データセットにおけるニューラルネットワークの属性情報およびニューラルネットワークのオプティマイザ情報を入力、各データセットにおけるオプティマイザのパラメータ情報を出力として、前記複数のジッタメタ学習モデルをそれぞれ訓練し、
   訓練結果に基づいて、予め設定された条件を満たすジッタメタ学習モデルを最終メタ学習モデルとして選択する、
   請求項５に記載の装置。
8. 前記訓練部は、訓練結果に基づいて、予め設定された条件を満たすジッタメタ学習モデルを最終メタ学習モデルとして選択する場合に、
   訓練結果に基づいて、予め設定された条件を満たすジッタメタ学習モデルのジッタパラメータを特定し、
   特定されたジッタパラメータを第１のパラメータとした後、ノイズを用いて第１のパラメータをジッタリングするステップに進行し、
   この処理を予め設定された回数で繰り返した後、選択されたジッタメタ学習モデルを最終メタ学習モデルとする、
   請求項７に記載の装置。
9. 少なくとも１つのプロセッサと、
   前記少なくとも１つのプロセッサと通信接続されたメモリとを備え、
   前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに請求項１～４のいずれか一項に記載の方法を実行させる電子デバイス。
10. コンピュータに請求項１～４のいずれか一項に記載の方法を実行させるためのコンピュータコマンドが記憶された非一時的なコンピュータ可読記憶媒体。
11. コンピュータに請求項１～４のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。

Images