JP2022042467A

JP2022042467A - 人工ニューラルネットワークモデル学習方法およびシステム

Info

Publication number: JP2022042467A
Application number: JP2021003948A
Authority: JP
Inventors: ヨンジュンユ; Youngun Heo; テフンキム; Tefun Kim
Original assignee: Line Corp; Naver Corp
Current assignee: Z Intermediate Global Corp; Naver Corp
Priority date: 2020-09-02
Filing date: 2021-01-14
Publication date: 2022-03-14
Also published as: KR20220030108A; KR102505946B1

Abstract

【課題】本開示は人工ニューラルネットワークモデル学習方法に関する。
【解決手段】人工ニューラルネットワークモデル学習方法は、モーメンタム（ｍｏｍｅｎｔｕｍ）基盤の勾配降下法によってあらかじめ設定されたエポック（ｅｐｏｃｈ）まで第１人工ニューラルネットワークモデルを学習して、エポックでの第１人工ニューラルネットワークモデルのモーメンタム値を決定する段階、決定されたモーメンタム値を第２人工ニューラルネットワークモデルの初期モーメンタム値として設定する段階および初期モーメンタム値に基づいて、学習データを利用して第２人工ニューラルネットワークモデルのパラメータ値をアップデートする段階を含み、パラメータは複数の加重値（ｗｅｉｇｈｔ）およびモーメンタムを含む。
【選択図】図１

Description

新規性喪失の例外適用申請有り

本開示は人工ニューラルネットワークモデル学習方法およびシステムに関し、具体的には人工ニューラルネットワークモデルを学習して量子化された人工ニューラルネットワークモデルを生成する方法およびシステムに関する。

人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌｎｅｕｒａｌｎｅｔｗｏｒｋ）は、人工ニューロン（ｎｅｕｒｏｎ）（またはニューロンモデル）の相互連結された集合を具現するために、コンピューティング機器またはコンピューティング機器によって遂行される方法やデータ構造を指称し得る。人工ニューラルネットワークで任意のレイヤーに含まれた人工ニューロンは、入力データに対する加重値の積算や活性化関数の適用のような演算を遂行することによって出力データを生成することができ、出力データは他のレイヤーに含まれた人工ニューロンに伝達され得る。人工ニューラルネットワークの例示として、ディープニューラルネットワーク（ｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ）またはディープランニング（ｄｅｅｐｌｅａｒｎｉｎｇ）モデルは複数のレイヤーを含み、各レイヤーのノードは多数の学習データにより学習されることによって学習データの特性を認知することができる。このような人工ニューラルネットワークは分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）、客体感知（ｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎ）、セマンティックセグメンテーション（ｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎ）またはスタイル移転（ｓｔｙｌｅｔｒａｎｓｆｅｒ）などのような多様な応用分野に適用され得る。

従来には人工ニューラルネットワークモデルの複雑性（ｃｏｍｐｌｅｘｉｔｙ）を減らし、人工ニューラルネットワークモデルの迅速な処理速度のために、人工ニューラルネットワークモデルの加重値（ｗｅｉｇｈｔ）および／またはアクティベーション（ａｃｔｉｖａｔｉｏｎ）を量子化する研究が活発に進行されている。このような人工ニューラルネットワークモデルの量子化は、小さい数のビットで表現される固定小数点データの演算で、高精度（ｆｕｌｌ－ｐｒｅｃｉｓｉｏｎ）モデルの高い数のビットで表現される浮動小数点演算を近似することを目標とする。すなわち、事前学習された高精度モデル（ｐｒｅ－ｔｒａｉｎｅｄｆｕｌｌ－ｐｒｅｃｉｓｉｏｎｍｏｄｅｌ）から量子化された対応モデル（ｑｕａｎｔｉｚｅｄｃｏｕｎｔｅｒｐａｒｔ）への転移学習（ｔｒａｎｓｆｅｒｌｅａｒｎｉｎｇ）を目標とする。

しかし、順伝播（ｆｏｒｗａｒｄ－ｐｒｏｐａｇａｔｉｏｎ）演算過程で量子化による近似エラーが蓄積され、これに伴い、人工ニューラルネットワークモデルの性能が大きく低下し得る。特に軽量モデル（ｌｉｇｈｔｗｅｉｇｈｔｍｏｄｅｌ）の場合、量子化による初期統計エラーによって事前学習された高精度モデルの加重値をそのまま使い難いという問題がある。このような問題を解決するために、学習過程でネットワーク量子化（ｎｅｔｗｏｒｋｑｕａｎｔｉｚａｔｉｏｎ）をシミュレーションする方法が使われ得る。例えば、量子化認知学習（ＱＡＴ：ｑｕａｎｔｉｚａｔｉｏｎ－ａｗａｒｅｔｒａｉｎｉｎｇ）は、順伝播過程で量子化された推論をシミュレーションし、逆伝播過程でグラジエント（ｇｒａｄｉｅｎｔ）を計算するために予測器（ＳＴＥ：ｓｔｒａｉｇｈｔ－ｔｈｒｏｕｇｈｅｓｔｉｍａｔｏｒ）を使う。ＱＡＴ方法が加重値の範囲で差と極端な加重値（ｏｕｔｌｉｅｒｗｅｉｇｈｔｖａｌｕｅ）の数を減少させることができるが、ＳＴＥによって発生するグラジエント近似エラーを克服することは難しい。

韓国登録特許第１０－１８９７９６２号

本開示は、前記のような問題を解決するための人工ニューラルネットワークモデル学習方法、コンピュータプログラムおよび装置（システム）を提供する。

本開示は方法、装置（システム）またはコンピュータプログラムを含んだ多様な方式で具現され得る。

本開示の一実施例によると、少なくとも一つのプロセッサによって遂行される人工ニューラルネットワークモデル学習方法は、モーメンタム（ｍｏｍｅｎｔｕｍ）基盤の勾配降下法によってあらかじめ設定されたエポック（ｅｐｏｃｈ）まで第１人工ニューラルネットワークモデルを学習して、エポックでの第１人工ニューラルネットワークモデルのモーメンタム値を決定する段階、決定されたモーメンタム値を第２人工ニューラルネットワークモデルの初期モーメンタム値として設定する段階および初期モーメンタム値に基づいて、学習データを利用して第２人工ニューラルネットワークモデルのパラメータ値をアップデートする段階を含み、パラメータ値は複数の加重値（ｗｅｉｇｈｔ）およびモーメンタムを含む。

本開示の一実施例に係る人工ニューラルネットワークモデル学習方法をコンピュータで実行するためのコンピュータプログラムが提供される。

本開示の一実施例に係る人工ニューラルネットワークモデル学習システムは、通信モジュール、メモリおよびメモリと連結され、メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成された少なくとも一つのプロセッサを含み、少なくとも一つのプログラムは、モーメンタム基盤の勾配降下法によってあらかじめ設定されたエポックまで第１人工ニューラルネットワークモデルを学習して、エポックでの第１人工ニューラルネットワークモデルのモーメンタム値を決定し、決定されたモーメンタム値を第２人工ニューラルネットワークモデルの初期モーメンタム値として設定し、初期モーメンタム値に基づいて、学習データを利用して第２人工ニューラルネットワークモデルのパラメータ値をアップデートするための命令語を含み、パラメータ値は複数の加重値およびモーメンタムを含む。

本開示の実施例は、以下で説明する添付図面を参照して説明され、ここで類似する参照番号は類似する要素を示すが、これに限定されはしない。
本開示の一実施例に係る高精度（ＦＰ）人工ニューラルネットワークモデルに対する量子化認知学習（ＱＡＴ）を実行して８ビット整数型（ＩＮＴ８：Ｉｎｔｅｇｅｒ８－ｂｉｔ）人工ニューラルネットワークモデルを生成する人工ニューラルネットワーク学習過程の例示を示す図面である。本開示の一実施例に係る人工ニューラルネットワークモデル学習システムの内部構成を示すブロック図である。本開示の一実施例に係る学習データＤＢと連結されたプロセッサの内部構成を示すブロック図である。本開示の一実施例に係る人工ニューラルネットワークモデル学習方法を示すフローチャートである。本開示の一実施例に係る第２人工ニューラルネットワークモデルのパラメータ値をアップデートする方法を示すフローチャートである。本開示の実施例により生成および学習した人工ニューラルネットワークモデルの性能評価のための、各レイヤー（ｌａｙｅｒ）での加重値グラジエント値のヒストグラム（ｈｉｓｔｏｇｒａｍｓ）である。本開示の実施例により生成および学習した人工ニューラルネットワークモデルの性能評価のための、損失関数グラフ（ｌｏｓｓｌａｎｄｓｃａｐｅｓ）である。本開示の実施例により生成および学習したイメージスタイル移転の人工ニューラルネットワークモデルの性能評価結果の例示である。本開示の一実施例に係る人工ニューラルネットワークモデル学習方法を遂行するためのアルゴリズムのフローチャートである。

以下、本開示の実施のための具体的な内容を添付された図面を参照して詳細に説明する。ただし、以下の説明では本開示の要旨を不要に曖昧にさせ得る恐れがある場合、広く知られている機能や構成に関する具体的な説明は省略することにする。

添付された図面で、同一または対応する構成要素には同じ参照符号が付与されている。また、以下の実施例の説明において、同一または対応する構成要素を重複して記述することが省略され得る。しかし、構成要素に関する技術が省略されても、そのような構成要素がある実施例に含まれないものと意図されはしない。

開示された実施例の利点および特徴、そしてそれらを達成する方法は、添付される図面とともに後述されている実施例を参照すると明確になるであろう。しかし、本開示は以下で開示される実施例に限定されるものではなく、互いに異なる多様な形態で具現され得、ただし、本実施例は本開示を完全なものとし、本開示が通常の技術者に発明の範疇を完全に知らせるために提供されるものに過ぎない。

本明細書で使われる用語について簡略に説明し、開示された実施例について具体的に説明することにする。本明細書で使われる用語は本開示での機能を考慮しつつ、できるだけ現在広く使われる一般的な用語を選択したが、これは関連分野に従事する技術者の意図または判例、新しい技術の出現などにより変わり得る。また、特定の場合は出願人が任意に選定した用語もあり、この場合、該当する発明の説明の部分で詳細にその意味を記載する。したがって、本開示で使われる用語は単純な用語の名称ではない、その用語が有する意味と本開示の全般にわたった内容に基づいて定義されるべきである。

本明細書での単数の表現は文脈上明白に単数であると特定しない限り、複数の表現を含む。また、複数の表現は文脈上明白に複数であると特定しない限り、単数の表現を含む。明細書全体において、ある部分がある構成要素を含むとするとき、これは特に反対の記載がない限り、他の構成要素を除くものではなく他の構成要素をさらに含み得ることを意味する。

また、明細書で使われる「モジュール」または「部」という用語はソフトウェアまたはハードウェア構成要素を意味し、「モジュール」または「部」はある役割を遂行する。しかし、「モジュール」または「部」はソフトウェアまたはハードウェアに限定される意味ではない。「モジュール」または「部」はアドレッシングできる保存媒体にあるように構成されてもよく、一つまたはそれ以上のプロセッサを再生させるように構成されてもよい。したがって、一例として、「モジュール」または「部」はソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシーザー、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイまたは変数のうち少なくとも一つを含むことができる。構成要素と「モジュール」または「部」は、中で提供される機能はさらに小さい数の構成要素および「モジュール」または「部」で結合されたり、追加的な構成要素と「モジュール」または「部」にさらに分離され得る。

本開示の一実施例によると、「モジュール」または「部」はプロセッサおよびメモリで具現され得る。「プロセッサ」は汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロ・プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、制御器、マイクロ制御器、状態マシンなどを含むように広く解釈されるべきである。いくつかの環境において、「プロセッサ」は特定用途向け半導体（ＡＳＩＣ）、プログラム可能ロジックデバイス（ＰＬＤ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）等を指称することもある。「プロセッサ」は、例えば、ＤＳＰとマイクロ・プロセッサの組み合わせ、複数のマイクロ・プロセッサの組み合わせ、ＤＳＰコアと結合した一つ以上のマイクロ・プロセッサの組み合わせ、または任意の他のそのような構成の組み合わせのような処理デバイスの組み合わせを指称することもある。また、「メモリ」は電子情報を保存可能な任意の電子コンポーネントを含むように広く解釈されるべきである。「メモリ」はランダムアクセスメモリ（ＲＡＭ）、読み取り－専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラム可能読み取り－専用メモリ（ＰＲＯＭ）、消去－プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データ保存装置、レジスタなどのようなプロセッサ－読み取り可能媒体の多様な類型を指称することもある。プロセッサがメモリから情報を読み取り／読み取ったりメモリに情報を記録できるのであれば、メモリはプロセッサと電子通信状態にあると言われる。プロセッサに集積されたメモリはプロセッサと電子通信状態にある。

本開示で「高精度（ｆｕｌｌ－ｐｒｅｃｉｓｉｏｎｏｒｈｉｇｈ－ｐｒｅｃｉｓｉｏｎ）人工ニューラルネットワークモデル」は大きい数のビットで表現されるデータ型のパラメータを含む人工ニューラルネットワークモデルを指称し得る。例えば、高精度人工ニューラルネットワークモデルは３２ビットまたはそれ以上のビット数で表現される浮動小数点データ型のパラメータ（加重値、モーメンタム、カーネル、アクティベーションなど）で構成される人工ニューラルネットワークモデルを含むことができる。これに反し、「低精度（ｌｏｗ－ｐｒｅｃｉｓｉｏｎ）人工ニューラルネットワークモデル」は小さい数のビットで表現されるデータ型のパラメータを含む人工ニューラルネットワークモデルを指称し得る。例えば、低精度人工ニューラルネットワークモデルは８ビットで表現される固定小数点または整数データ型のパラメータで構成される人工ニューラルネットワークモデルを含むことができる。

本開示で「量子化（ｑｕａｎｔｉｚａｔｉｏｎ）」は、人工ニューラルネットワークのパラメータのデータ型のビット数を減少させることによって、人工ニューラルネットワークのパラメータが保存されるメモリ量またはそのパラメータに対する演算量を減少させる方法を指称し得る。例えば、人工ニューラルネットワークの量子化方法は、高精度人工ニューラルネットワークモデルの学習が完了した後、該当モデルのパラメータのデータ型をさらに小さい数のビットで表現されるデータ型に変換する後量子化方法（ｐｏｓｔ－ｑｕａｎｔｉｚａｔｉｏｎ）、人工ニューラルネットワークの学習過程中に、パラメータのうち少なくとも一部に対する演算を小さい数のビット演算でシミュレーションする量子化認知学習（ＱＡＴ：ｑｕａｎｔｉｚａｔｉｏｎ－ａｗａｒｅｔｒａｉｎｉｎｇ）等を含むことができる。

本開示で「エラー逆伝播（ｅｒｒｏｒｂａｃｋ－ｐｒｏｐａｇａｔｉｏｎ）学習」方法は、人工ニューラルネットワークの人工ニューロンに対する入力に対する出力値と学習対象であるターゲット値の差（またはエラー）に基づいて、逆伝播学習過程でパラメータ（例えば、加重値、モーメンタム）をアップデートする方法を指称し得る。エラー逆伝播学習方法は、人工ニューラルネットワークの出力値とターゲット値の差が最小となるように加重値を決定する方法として「勾配降下法（ｇｒａｄｉｅｎｔ－ｄｅｓｃｅｎｔ）」を使うことができる。勾配降下法により人工ニューラルネットワークのパラメータをアップデートするとき、人工ニューラルネットワークの学習が局所最低点で停滞する現象が発生し得る。このような問題点を防止するために、以前のエポックでのパラメータのアップデート方向を維持するための要素としてモーメンタム（ｍｏｍｅｎｔｕｍ）を使うことができる。

図１は本開示の一実施例に係る高精度（ＦＰ：Ｆｕｌｌ－Ｐｒｅｃｉｓｉｏｎ）人工ニューラルネットワークモデルに対する量子化認知学習（ＱＡＴ）を実行して、８ビット整数型（ＩＮＴ８：Ｉｎｔｅｇｅｒ８－ｂｉｔ）人工ニューラルネットワークモデル１５０を生成する人工ニューラルネットワーク学習過程の例示を示す図面である。

図示された人工ニューラルネットワーク学習過程によると、ＱＡＴモデル１３０を学習のための初期パラメータ値のうち少なくとも一部をＦＰモデル１１０の学習を通じて獲得することができる。一実施例において、ＱＡＴモデル１３０のパラメータをモーメンタム基盤の勾配降下法を利用して最適化する場合、ＱＡＴモデル１３０の初期パラメータの中でモーメンタムをＦＰモデル１１０の学習を通じて獲得することができる。例えば、ＦＰモデル１１０のパラメータアップデートの最初の一定の周期（例えば、最初周期（ｆｉｒｓｔｅｐｏｃｈ））で決定されたモーメンタムがＱＡＴモデル１３０の初期モーメンタムとして使われ得る。このようにＱＡＴモデル１３０の初期モーメンタムをＦＰモデル１１０の最初の一定の周期までの学習を通じて決定されたモーメンタムから決定することによって、ＱＡＴモデル１３０が学習過程で局所最低点（ｌｏｃａｌｍｉｎｉｍｕｍ）で停滞することを防止して全域最低点（ｇｌｏｂａｌｍｉｎｉｍｕｍ）を効果的に探索できるように助けることができる。

具体的には、第１モデル学習部１２０はエラー逆伝播学習方法を利用してＦＰモデル１１０のパラメータをアップデートすることができる。ここで、ＦＰモデル１１０のパラメータは高精度（ｆｕｌｌ－ｐｒｅｃｉｓｉｏｎ）演算が可能なデータ型（例えば、３２またはそれ以上のビット数で表現される浮動小数点データ）で表現され得る。したがって、ＦＰモデル１１０の生成および学習と該当モデルに基づいた推論（ｉｎｆｅｒｅｎｃｅ）の実行時、パラメータを保存および演算処理するために高容量および高費用のメモリおよび計算リソース（ｒｅｓｏｕｒｃｅ）が必要であり得る。

第１モデル学習部１２０であらかじめ設定されたエポック（ｅｐｏｃｈ）（例えば、最初の１次エポック）までＦＰモデル１１０を学習して、該当エポックでのＦＰモデル１１０のパラメータ値を決定することができる。例えば、第１モデル学習部１２０がモーメンタム基盤の勾配降下法を利用してパラメータを最適化する場合に、最初のエポックでＦＰモデル１１０の各レイヤーに学習データを入力して出力値を計算する順伝播（ｆｏｒｗａｒｄ－ｐｒｏｐａｇａｔｉｏｎ）学習段階を実行し、その出力値とターゲット値の差（エラー）を加重値（ｗｅｉｇｈｔ）で偏微分した値（またはグラジエント（ｇｒａｄｉｅｎｔ）を利用して該当加重値をアップデートする逆伝播（ｂａｃｋ－ｐｒｏｐａｇａｔｉｏｎ）学習段階を実行することができる。逆伝播学習段階は、各加重値をアップデートする方向がＦＰモデル１１０のエラーを最小化するものに設定され得るように、加重値にグラジエントとともにモーメンタムを加えることを含むことができる。ここで、モーメンタム値は以前の段階（または以前のエポック）で計算されたグラジエント値の跡（ｔｒａｃｅ）を累積したものを意味し得る。このように、最初のエポックでのＦＰモデル１１０のモーメンタム値（ｍ_１）を決定することができる。

第２モデル学習部１４０はこのように決定されたＦＰモデル１１０のモーメンタムに基づいてＱＡＴモデル１３０を生成し、生成されたＱＡＴモデル１３０を学習／アップデートすることができる。例えば、第２モデル学習部１４０は最初のエポックで決定されたＦＰモデル１１０のｍ_１をＱＡＴモデル１３０の初期モーメンタム値として設定し、これに基づいて、学習データを利用してＱＡＴモデル１３０を学習／アップデートすることができる。例えば、第２モデル学習部１４０はモーメンタム基盤の勾配降下法を利用してＱＡＴモデル１３０のパラメータを最適化することができる。

一実施例において、第２モデル学習部１４０は、ＱＡＴモデル１３０の順伝播学習過程ではパラメータの量子化の効果をシミュレーション（ｓｉｍｕｌａｔｉｏｎ）して予測値を決定し、逆伝播学習過程では既存の方法の通り高精度のデータ型で表現されたパラメータ値のアップデートを遂行することによってＱＡＴモデル１３０を学習／アップデートすることができる。例えば、第２モデル学習部１４０はＱＡＴモデル１３０のパラメータ値のうち少なくとも一部を８ビット整数型で表現して順伝播学習過程を遂行し、３２ビット実数型で表現されたＱＡＴモデル１３０のパラメータ値を利用して逆伝播学習過程を遂行することができる。したがって、ＱＡＴモデル１３０のパラメータの値は３２ビットの実数型でアップデートおよび保存され得、ＱＡＴモデル１３０は順伝播および逆伝播学習過程がすべて８ビット整数型で学習／アップデートされたモデルより高い精度（または正確度）を有することができる。このために、ＱＡＴモデル１３０は人工ニューラルネットワークの各レイヤーに含まれたノードに入力値を伝達する経路にフェイク量子化ノード（ｆａｋｅｑｕａｎｔｉｚａｔｉｏｎｎｏｄｅ）をさらに含み、第２モデル学習部１４０は順伝播学習過程でフェイク量子化ノードを通じて入力値を量子化された８ビット整数型の値に変換することによって、既存の３２ビット実数型演算（例えば、３２ビット実数型で表現されたパラメータを含む演算）を通じて８ビット整数型計算を模倣（ｍｉｍｉｃ）することができる。

一実施例において、第２モデル学習部１４０は逆伝播学習過程でＱＡＴモデル１３０の複数のパラメータをグラジエント値に基づいてアップデートすることができる。具体的には、複数のパラメータのうち少なくとも一つのパラメータに対するグラジエント値を増幅し、増幅されたグラジエント値に基づいて、ＱＡＴモデル１３０のパラメータ値をアップデートすることができる。このように第２モデル学習部１４０によりＱＡＴモデル１３０のパラメータ値をアップデートすることによって、ＱＡＴモデル１３０の初期エポックでエラーが含まれた情報によってグラジエントが計算されて最適な局所最小値に対する探索領域の範囲を減少させる問題を解決することができる。

ＱＡＴモデル１３０の学習が完了した後、ＱＡＴモデル１３０のパラメータを低精度のデータ型で量子化してＩＮＴ８モデル１５０を生成することができる。例えば、３２ビット実数型のＱＡＴモデル１３０のパラメータ値を８ビット整数型で量子化して、ＩＮＴ８モデル１５０を生成することができる。このように生成されたＩＮＴ８モデル１５０はＱＡＴモデル１３０より低費用および低容量のリソースを必要とし、該当モデルを利用した推論過程も速い速度で実行することができる。また、以上で説明した方法により生成されたＩＮＴ８モデル１５０は、後量子化方式（ｐｏｓｔ－ｑｕａｎｔｉｚａｔｉｏｎ）により高精度データ型で表現されたパラメータを含むＦＰモデルを学習／アップデートした後に量子化して生成したモデルに比べて、量子化によるエラーをさらに減少させることができ、場合によりさらに向上した性能を有する。

図１では第１モデル学習部１２０と第２モデル学習部１４０がそれぞれ図示されているが、これに限定せず、第１モデル学習部１２０と第２モデル学習部１４０は一つの学習部で統合されて具現され得る。また、図１ではＦＰモデル１１０、ＱＡＴモデル１３０およびＩＮＴ８モデル１５０がそれぞれ別途の人工ニューラルネットワークモデルで図示されているが、これに限定せず、一つの人工ニューラルネットワークモデル構造に含まれたパラメータ値のデータ型を各学習段階により修正または変更して具現されたものであり得る。

図２は、本開示の一実施例に係る人工ニューラルネットワークモデル学習システム２００の内部構成を示すブロック図である。人工ニューラルネットワークモデル学習システム２００は図１を参照して前述した少なくとも一つの装置を含んだり、図１を参照して前述した少なくとも一つの方法を遂行することができる。人工ニューラルネットワークモデル学習システム２００は、図示された通り、通信モジュール２１０、メモリ２２０およびプロセッサ２３０を含むことができるが、これに限定されない。人工ニューラルネットワークモデル学習システム２００は、本開示の実施例に係る分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）、客体感知（ｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎ）、セマンティックセグメンテーション（ｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎ）またはスタイル移転（ｓｔｙｌｅｔｒａｎｓｆｅｒ）等の処理を遂行する人工ニューラルネットワークモデルを生成、学習／アップデートすることができる。

通信モジュール２１０は、人工ニューラルネットワークモデル学習システム２００が外部装置または外部システム（一例として別途のクラウドシステムなど）と通信するための構成または機能を提供することができる。例えば、人工ニューラルネットワークモデル学習システム２００は、通信モジュール２１０を通じて外部システムから学習データおよび人工ニューラルネットワークモデル学習のためのプログラムコードなどを受信することができる。逆に、人工ニューラルネットワークモデル学習システム２００のプロセッサ２３０の制御により提供される制御信号や命令、データなどが通信モジュール２１０を通じて外部装置または外部システムに伝達され得る。例えば、人工ニューラルネットワークモデル学習システム２００は生成および学習が完了した人工ニューラルネットワークモデルに対するパラメータ、プログラムコードなどを通信モジュール２１０を通じて外部装置または外部システムに提供することができる。

メモリ２２０は人工ニューラルネットワークモデルのパラメータ（例えば、人工ニューラルネットワークを構成するレイヤーの入力の特性、加重値、カーネルの特性のうち少なくとも一つ）を保存したり、人工ニューラルネットワーク学習方法が具現されたプログラムコードを保存することができる。メモリ２２０は揮発性メモリまたは不揮発性メモリであり得る。またはメモリ２２０は非一過性の任意のコンピュータ読み取り可能な記録媒体を含むことができる。例えば、メモリ２２０はＲＡＭ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄｏｎｌｙｍｅｍｏｒｙ）、ディスクドライブ、ＳＳＤ（ｓｏｌｉｄｓｔａｔｅｄｒｉｖｅ）、フラッシュメモリ（ｆｌａｓｈｍｅｍｏｒｙ）などのような非消滅性大容量保存装置（ｐｅｒｍａｎｅｎｔｍａｓｓｓｔｏｒａｇｅｄｅｖｉｃｅ）を含むことができる。

プロセッサ２３０は、基本的な算術、ロジックおよび入出力演算を遂行することによって、コンピュータプログラムの命令を処理するように構成され得る。命令はメモリ２２０または通信モジュール２１０によりプロセッサ２３０に提供され得る。例えば、プロセッサ２３０はプログラムを実行することによって、人工ニューラルネットワークモデル学習システム２００を制御することができる。プロセッサ２３０によって実行されるプログラムのコードはメモリ２２０に保存され得る。人工ニューラルネットワークモデル学習システム２００は通信モジュール２１０または入出力装置（図示されず）を通じて外部装置（例えば、パーソナルコンピュータまたはネットワーク）に連結され、データを交換することができる。一実施例によると、人工ニューラルネットワークモデル学習システム２００は人工ニューラルネットワークに関連した演算を高速で処理するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）またはＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＣＮＮ加速器、ＮＰＵ（ＮｅｕｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）またはＶＰＵ（ＶｉｓｉｏｎＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）に採用されて該当専用プロセッサを制御することができる。人工ニューラルネットワークモデル学習システム２００は設計意図にしたがって多様なハードウェアを採用したり多様なハードウェアに採用され得、図示された構成要素の実施例に限定されない。人工ニューラルネットワークモデルを生成および学習／アップデート時に前述した実施例を適用する場合、人工ニューラルネットワークの処理で要求されるデータ量または演算量を減らしてメモリを節減し処理速度を高めることができるため、前述した実施例は制限されたリソースを使う環境やエンベデッド端末に適合し得る。一実施例に係る人工ニューラルネットワークモデル学習システム２００は、順伝播学習過程でエラーが最小化されるように逆伝播学習過程でパラメータの変更の方向を調節することによって、人工ニューラルネットワークモデルの性能を持続的に発展させることができる。

図３は、本開示の一実施例に係る学習データＤＢ３１０と連結されたプロセッサ２３０の内部構成を示すブロック図である。図示された通り、プロセッサ２３０は、例えば通信モジュールを通じて学習データＤＢ３１０と連結され、データ入力部３２０、第１人工ニューラルネットワークモデル学習部３３０、第２人工ニューラルネットワークモデル学習部３４０および第３人工ニューラルネットワークモデル生成部３５０を含むことができる。ここで、学習データＤＢ３１０は人工ニューラルネットワークモデルを生成および学習するために利用される学習データを含むことができる。例えば、学習データＤＢ３１０は、分類、認識またはセマンティックセグメンテーションの対象となる客体が表現されたイメージ、スタイル移転の対象となるイメージを含むことができる。学習データＤＢ３１０は、人工ニューラルネットワークモデル学習システム２００のメモリに含まれ得る。これとは異なり、学習データＤＢ３１０は外部システム、外部装置または外部メモリに保存され、通信モジュールを通じて人工ニューラルネットワークモデル学習システム２００と連結され得る。

データ入力部３２０は学習データＤＢ３１０から学習データを受信することができる。選択的にまたは追加的に、データ入力部３２０は受信された学習データに対するデータ型の変換、次元の縮小、正規化などのような前処理を遂行することができる。データ入力部３２０が受信した学習データは第１人工ニューラルネットワークモデル学習部３３０および／または第２人工ニューラルネットワークモデル学習部３４０で人工ニューラルネットワークモデルを生成および学習するのに使われ得る。

一実施例において、第１人工ニューラルネットワークモデル学習部３３０および第２人工ニューラルネットワークモデル学習部３４０は、エラー逆伝播学習方式を利用して人工ニューラルネットワークモデルのパラメータ（例えば、加重値）を学習／アップデートすることができる。エラー逆伝播学習方式を利用する場合、第１人工ニューラルネットワークモデル学習部３３０および第２人工ニューラルネットワークモデル学習部３４０は、出力エラーを最小化するための最適なパラメータを決定するためにモーメンタム基盤の勾配降下法を利用することができる。例えば、第１人工ニューラルネットワークモデル学習部３３０および第２人工ニューラルネットワークモデル学習部３４０は下記の式１に基づいて人工ニューラルネットワークモデルの加重値を学習／アップデートすることができる。

Ｗ_ｔ＋１＝Ｗ_ｔ＋ηｇ（Ｗ_ｔ）＋βｍ_ｔ（１）

前記式（１）において、Ｗ_ｔ、Ｗ_ｔ＋１それぞれはｔ番目のエポックでの加重値の値およびｔ＋１番目のエポックでの加重値の値を示し、ｇ（Ｗ_ｔ）はグラジエント値を示し、ｍ_ｔはモーメンタム値を示し、βはモーメンタム値の影響力を調節するための定数を示す。ここで、モーメンタム値は以前の段階（または以前のエポック）で計算されたグラジエント値の跡（ｔｒａｃｅ）を累積したものを意味し得、ηは人工ニューラルネットワークモデル学習の学習率を制御するための定数を示す。

第１人工ニューラルネットワークモデル学習部３３０は、第１人工ニューラルネットワークモデルのパラメータを学習／アップデートすることができる。ここで、第１人工ニューラルネットワークモデルのパラメータ値は第１データ型で表現され得る。例えば、第１人工ニューラルネットワークモデル学習部３３０は３２ビット実数型のパラメータで表現されるＦＰモデルを学習／アップデートすることができる。

第２人工ニューラルネットワークモデル学習部３４０は第２人工ニューラルネットワークモデルのパラメータを学習／アップデートすることができる。一実施例において、第２人工ニューラルネットワークモデル学習部３４０は第２データ型で表現されたパラメータ値を利用して第２人工ニューラルネットワークモデルの順伝播学習過程を遂行し、第１データ型で表現されたパラメータ値を利用して２人工ニューラルネットワークモデルの逆伝播学習過程を遂行して第２人工ニューラルネットワークモデルのパラメータを学習／アップデートすることができる。ここで、第２データ型は第１データ型より小さい数のビットで表現されるデータ型であり得る（例えば、８ビット整数）。例えば、第２人工ニューラルネットワークモデル学習部３４０は第２人工ニューラルネットワークモデルのパラメータを量子化認知学習（ＱＡＴ）方法を通じてアップデートすることができ、第２人工ニューラルネットワークモデルはＱＡＴモデルであり得る。この場合、第２人工ニューラルネットワークモデル学習部３４０は、第２人工ニューラルネットワークモデルの順伝播学習過程の間は８ビット整数型で量子化された推論（ｑｕａｎｔｉｚｅｄｉｎｆｅｒｅｎｃｅ）をシミュレーションし、逆伝播学習過程の間はＳＴＥ（ｓｔｒａｉｇｈｔｔｈｒｏｕｇｈｅｓｔｉｍａｔｏｒ）を使って３２ビット実数型で加重値のグラジエント値を計算して加重値をアップデートすることができる。第２人工ニューラルネットワークモデル学習部３４０が使うＱＡＴ方法は、公知のＱＡＴ方法のうちいずれか一つを含むかその方法の変形例であり得る（ＢｅｎｏｉｔＪａｃｏｂ、ＳｋｉｒｍａｎｔａｓＫｌｉｇｙｓ、ＢｏＣｈｅｎ、ＭｅｎｇｌｏｎｇＺｈｕ、ＭａｔｔｈｅｗＴａｎｇ、ＡｎｄｒｅｗＨｏｗａｒｄ、ＨａｒｔｗｉｇＡｄａｍ、ａｎｄＤｍｉｔｒｙＫａｌｅｎｉｃｈｅｎｋｏ、「Ｑｕａｎｔｉｚａｔｉｏｎａｎｄｔｒａｉｎｉｎｇｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｓｆｏｒｅｆｆｉｃｉｅｎｔｉｎｔｅｇｅｒ－ａｒｉｔｈｍｅｔｉｃ－ｏｎｌｙｉｎｆｅｒｅｎｃｅ」２０１８ＩＥＥＥ／ＣＶＦＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ、ｐａｇｅｓ２７０４－２７１３．ＩＥＥＥ、２０１８．参照）。

ＱＡＴ方法によると、パラメータのうち一部の値の量子化によって、グラジエント値を計算するにおいて近似（ｅｓｔｉｍａｔｉｏｎ）によるエラー（ｅｒｒｏｒ）が発生し得、このようなグラジエント値のエラーは加重値の量子化確率値（ｑｕａｎｔｉｚａｔｉｏｎｓｔａｔｉｓｔｉｃｓ）をアップデートするにおいてエラーを発生させ得る。このようなエラーはさらに、次のエポックで計算されるグラジエント値のエラーを引き起こすため、ＱＡＴ方法による人工ニューラルネットワークモデルの学習を繰り返すほど該当人工ニューラルネットワークモデルのエラーはさらに増幅され得る。第２人工ニューラルネットワークモデル学習部３４０はこのようなエラー増幅を防止するために、第２人工ニューラルネットワークモデルのための適切な初期モーメンタム値を設定することができる。第２人工ニューラルネットワークモデルの適切な初期モーメンタム値を設定することによって、パラメータが適切な学習方向にアップデートされるように誘導することができ、エラーのあるグラジエント値が無視されることができる。したがって、ＱＡＴ方法により決定される加重値の量子化確率値は正しい方向にアップデートされ得、グラジエント値のエラーも減少し得る。

一実施例において、第２人工ニューラルネットワークモデル学習部３４０が第２人工ニューラルネットワークモデルのための適切な初期モーメンタム値を設定するために、まず、あらかじめ設定されたエポックまで第１人工ニューラルネットワークモデルを学習して、あらかじめ設定されたエポックでの第１人工ニューラルネットワークモデルのモーメンタム値を決定することができる。また、第２人工ニューラルネットワークモデル学習部３４０はこのように決定された第１人工ニューラルネットワークモデルのモーメンタム値の提供を受けることができる。例えば、第１人工ニューラルネットワークモデル学習部３３０は、最初のエポックまで３２ビット実数型のパラメータを含むＦＰモデルを学習してモーメンタムｍ_１値を決定し、モーメンタムｍ_１を第２人工ニューラルネットワークモデル学習部３４０に提供することができる。その後、第２人工ニューラルネットワークモデル学習部３４０は、提供されたモーメンタム値を第２人工ニューラルネットワークモデルの初期モーメンタム値として設定し、学習データを利用して第２人工ニューラルネットワークモデルのパラメータをアップデートすることができる。したがって、第２人工ニューラルネットワークモデル学習部３４０は、第１人工ニューラルネットワークモデル学習部３３０からＦＰモデルの適切な初期モーメンタム値の提供を受けてＱＡＴモデルの学習初期段階の不安定性を制御することによって、ＱＡＴ方法によりＱＡＴモデルのパラメータを学習するときに発生するエラーを減少させることができる。

一実施例において、第２人工ニューラルネットワークモデル学習部３４０は第２人工ニューラルネットワークモデルの複数の加重値のうち少なくとも一つの加重値に対するグラジエント値を増幅し、増幅されたグラジエント値に基づいて第２人工ニューラルネットワークモデルのパラメータをアップデートすることができる。例えば、第２人工ニューラルネットワークモデル学習部３４０は、複数の加重値のうち少なくとも一つの加重値に対するグラジエント値の符号に基づいて現在の学習方向に対応する方向にグラジエント値を増幅し、増幅されたグラジエント値に基づいて第２人工ニューラルネットワークモデルのパラメータをアップデートすることができる。

第２人工ニューラルネットワークモデル学習部３４０は、複数の加重値（Ｗ）から任意に一部の加重値（ｗ）を抽出して抽出した一部の加重値に対してグラジエント値を増幅し、残りの加重値に対しては増幅しないことができる。一実施例において、第２人工ニューラルネットワークモデル学習部３４０は下記の式２～４に基づいてグラジエント値を増幅することができる。

ψ_２＝ｓｉｇｎ（ｇ（ｗ））＊｜ψ_１｜（２）

ψ_３＝ｍｉｎ（ｍａｘ（ψ_２，０），ε）（３）

ｇ（ｗ）←ｇ（ｗ）＋λψ_３（４）

ここで、ψ_１は複数の加重値のグラジエント値の確率分布に基づいて決定される歪み値（ｄｉｓｔｏｒｔｉｏｎ）を示し、ｓｉｇｎ（ｇ（ｗ））はｇ（ｗ）の符号（＋あるいは－）を示し、εは急激なグラジエント増幅を防止するためのクランピング係数（ｃｌａｍｐｉｎｇｆａｃｔｏｒ）を示し、λは指数的に減衰（ｅｘｐｏｎｅｎｔｉａｌｄｅｃａｙ）するエポックの指数（ｐｏｗｅｒｏｆｔ）を示し得る。ここで、歪み値は複数の加重値のグラジエント値のラプラス（Ｌａｐｌａｃｅ）確率分布に基づいて決定され得る。したがって、前記式によると、ｇ（ｗ）の符号とψ_３の符号を一致させ、ｇ（ｗ）にψ_３を足すことによって、グラジエント値を現在の学習方向に増幅することができる。

第３人工ニューラルネットワークモデル生成部３５０は、第２人工ニューラルネットワークモデルのパラメータを量子化して第３人工ニューラルネットワークモデルを生成することができる。例えば、第２人工ニューラルネットワークモデルの３２ビット実数型のパラメータを８ビット整数型のパラメータで量子化することによって、第３人工ニューラルネットワークモデルを生成することができる。このように生成された第３人工ニューラルネットワークモデルは８ビット整数型のパラメータで構成されるため、該当量子化されたモデルが保存されるメモリの大きさを節減することができ、該当モデルを利用した推論の速度を高めることができるため、制限されたリソースを使う環境やエンベデッド端末に適用され得る。また、第３人工ニューラルネットワークモデルは既存のＱＡＴ方法で学習された８ビット整数型人工ニューラルネットワークモデルに比べて向上した性能を有することができる。

図４は、本開示の一実施例に係る人工ニューラルネットワークモデル学習方法４００を示すフローチャートである。図示された通り、少なくとも一つのプロセッサによって遂行される人工ニューラルネットワークモデル学習方法４００は、モーメンタム基盤の勾配降下法によってあらかじめ設定されたエポックまで第１人工ニューラルネットワークモデルを学習して、該当エポックでの第１人工ニューラルネットワークモデルのモーメンタム値を決定する段階（Ｓ４１０）で開始され得る。一実施例によると、最初のエポックまで第１人工ニューラルネットワークモデルを学習して、最初のエポックでの第１人工ニューラルネットワークモデルのモーメンタム値を決定することができる。決定されたモーメンタム値を第２人工ニューラルネットワークモデルの初期モーメンタム値として設定することができる（Ｓ４２０）。

その後、初期モーメンタム値に基づいて、学習データを利用して第２人工ニューラルネットワークモデルのパラメータ値をアップデートすることができる（Ｓ４３０）。ここで、パラメータは複数の加重値（ｗｅｉｇｈｔ）およびモーメンタムを含むことができる。一実施例において、プロセッサは第２データ型で表現されたパラメータ値を利用して第２人工ニューラルネットワークモデルの順伝播学習過程を遂行し、第１データ型で表現されたパラメータ値を利用して第２人工ニューラルネットワークモデルの逆伝播学習過程を遂行することができる。第２データ型は第１データ型に比べてさらに小さい数のビットで表現され得る。例えば、第２データ型は８ビット固定小数点データ型であり、第１データ型は３２ビット浮動小数点データ型であり得る。

一実施例において、アップデートされた第２人工ニューラルネットワークモデルのパラメータ値を量子化して、第３人工ニューラルネットワークモデルを生成することができる。一実施例において、第１人工ニューラルネットワークモデルのパラメータ値は第１データ型で表現され、第２人工ニューラルネットワークモデルのパラメータ値は第１データ型または第２データ型で表現され、第３人工ニューラルネットワークモデルのパラメータ値は第２データ型で表現され得る。

図５は、本開示の一実施例に係る第２人工ニューラルネットワークモデルのパラメータ値をアップデートする方法（Ｓ４３０）を示すフローチャートである。一実施例によると、段階（Ｓ４３０）で初期モーメンタム値に基づいて、学習データを利用して第２人工ニューラルネットワークモデルのパラメータ値をアップデートするとき、プロセッサは複数の加重値に対するグラジエント（ｇｒａｄｉｅｎｔ）値に基づいて、学習データを利用して第２人工ニューラルネットワークモデルのパラメータ値をアップデートすることができる。具体的には、プロセッサは、複数の加重値のうち少なくとも一つの加重値に対するグラジエント値の符号に基づいて、現在の学習方向に対応する方向にグラジエント値を増幅することができる（Ｓ５１０）。また、プロセッサは、増幅されたグラジエント値に基づいて、第２人工ニューラルネットワークモデルのパラメータ値をアップデートすることができる（Ｓ５２０）。

図４および図５で詳述した人工ニューラルネットワークモデル学習方法は、分類、客体感知、セマンティックセグメンテーションまたはスタイル移転などの処理を遂行する人工ニューラルネットワークモデルを生成および学習するのに適用され得る。

図６は、本開示の実施例により生成および学習した人工ニューラルネットワークモデルの性能評価のための、各レイヤー（ｌａｙｅｒ）での加重値グラジエント値のヒストグラム（ｈｉｓｔｏｇｒａｍｓ）６１０、６２０、６３０である。

本開示の実施例に係る人工ニューラルネットワークモデルの学習方法およびシステムの性能評価のために、前述した人工ニューラルネットワーク学習方法で、ＣＩＦＡＲ－１０データセットを利用してＭｏｂｉｌｅＮｅｔＶ２モデルを１０番目のエポックまで学習した。第１ヒストグラム６１０は従来の高精度（ＦＰ）モデル学習方法で学習した人工ニューラルネットワークモデルの各レイヤーでの加重値グラジエント値を示し、第２ヒストグラム６２０はＦＰモデルのモーメンタム値を初期モーメンタム値として利用せず、グラジエント値の増幅を適用しない、従来のＱＡＴ方法で学習した人工ニューラルネットワークモデルの各レイヤーでの加重値グラジエント値を示す。また、第３ヒストグラム６３０は本開示の実施例により、最初のエポックで決定されたＦＰモデルのモーメンタム値を初期モーメンタム値として利用し、グラジエント値の増幅を適用するＱＡＴ方法で学習した人工ニューラルネットワークモデルの各レイヤーでの加重値グラジエント値を示す。すなわち、第１ヒストグラム６１０は本開示の人工ニューラルネットワーク学習方法およびシステムが目標とするターゲット性能を有する人工ニューラルネットワークモデルのヒストグラムであり得る。

第２ヒストグラム６２０に示された通り、従来のＱＡＴ方法によると、ＳＴＥによるグラジエント近似エラーによってグラジエント値が消えてしまう問題が発生することを確認することができる。反面、第３ヒストグラム６３０は、本開示の実施例により学習した人工ニューラルネットワークモデルの各レイヤーでの加重値グラジエント値の分布が第１ヒストグラム６１０の分布と類似していることを示している。したがって、本開示の実施例により学習した人工ニューラルネットワークモデルはターゲット性能を有する人工ニューラルネットワークモデルと類似する性能を有することを確認することができる。

図７は、本開示の実施例により生成および学習した人工ニューラルネットワークモデルの性能評価のための、損失関数グラフ（ｌｏｓｓｌａｎｄｓｃａｐｅｓ）７１０、７２０、７３０、７４０である。

本開示の実施例に係る人工ニューラルネットワークモデルの学習方法およびシステムの性能評価のために、前述した人工ニューラルネットワーク学習方法で、ＣＩＦＡＲ－１０データセットを利用してＭｏｂｉｌｅＮｅｔＶ２モデルを学習した。

第１グラフ７１０は従来のＦＰ学習方法で学習した人工ニューラルネットワークモデルの損失関数グラフを示し、第２グラフ７２０は最初のエポックで決定されたＦＰモデルのモーメンタム値を利用せず、グラジエント値の増幅なしに、従来のＱＡＴ方法で学習した人工ニューラルネットワークモデルの損失関数グラフを示す。また、第３グラフ７３０は本開示の実施例により、最初のエポックで決定されたＦＰモデルのモーメンタム値を初期モーメンタム値として利用してＱＡＴ方法で学習した人工ニューラルネットワークモデルの損失関数グラフを示し、第４グラフ７４０は本開示の実施例により、最初のエポックで決定されたＦＰモデルのモーメンタム値を初期モーメンタム値として利用し、グラジエント値の増幅を適用する、ＱＡＴ方法で学習した人工ニューラルネットワークモデルの損失関数グラフを示す。すなわち、第１グラフ７１０は本開示の人工ニューラルネットワーク学習方法およびシステムが目標とするターゲット性能を有する人工ニューラルネットワークモデルの損失関数グラフであり得る。

図示された通り、第２グラフ７２０は平たい表面で示される反面、第３グラフ７３０および第４グラフ７４０は第１グラフ７１０と類似して安定した損失関数グラフを示す。特に、第４グラフ７４０がより広い範囲の損失領域（ｌｏｓｓｔｅｒｒａｉｎ）を含んで（ｃｏｖｅｒ）おり、これを通じて、グラジエント値の増幅を適用するＱＡＴ方法により人工ニューラルネットワークを学習する場合、最適な局所最小値（ｌｏｃａｌ－ｍｉｎｉｍａ）の探索領域（ｓｅａｒｃｈａｒｅａ）が拡張され得ることを確認することができる。

図８は、本開示の実施例により生成および学習した人工ニューラルネットワークモデルをイメージスタイル移転の応用分野に適用する場合の性能評価結果の例示である。本開示の多様な実施例に係る人工ニューラルネットワークモデル学習方法は、分類、客体感知、セマンティックセグメンテーションまたはスタイル移転などの処理を遂行する人工ニューラルネットワークモデルを生成および学習するのに適用され得る。図８は、本開示の実施例により学習したスタイル移転のための人工ニューラルネットワークモデルの入力イメージとそれに対応する出力イメージを図示する。

ミニマックス生成損失（ｍｉｎｉｍａｘｇｅｎｅｒａｔｉｏｎｌｏｓｓ）を適用したＰｉｘ２Ｐｉｘスタイル移転モデルを学習することによって、不安定な学習損失に対する本開示の実施例に係る人工ニューラルネットワークモデル学習方法の堅固性を評価することができる。レイヤー融合（ｌａｙｅｒｆｕｓｉｏｎ）互換性のために、ＲｅｓＮｅｔ基盤のＰｉｘ２Ｐｉｘモデルと本開示の実施例に係る人工ニューラルネットワークモデル学習方法を適用したＡｄａｍオプティマイザ（ｏｐｔｉｍｉｚｅｒ）を使った。人工ニューラルネットワークを利用した推論過程中に判別子（ｄｉｓｃｒｉｍｉｎａｔｏｒ）が使われないため、モデルの生成子（ｇｅｎｅｒａｔｏｒ）にのみフェイク量子化を適用した。本開示の実施例に係る人工ニューラルネットワークモデル学習方法は、ミニマックス基板生成モデルのエラー信号と見なされるモード崩壊を誘発せず、ファジー（ｆｕｚｚｙ）学習条件にも適合であることを確認することができる。したがって、図示された通り、本開示の実施例に係る人工ニューラルネットワークモデル学習方法は、多様なイメージ－イメージスタイル移転を遂行できるＰｉｘ２Ｐｉｘモデルを学習することができる。

一方、下記の表１は本開示の実施例により学習した分類人工ニューラルネットワークモデルのＩｍａｇｅＮｅｔ－１Ｋデータセットに対する分類結果（上位１正確度）である。

前記表において、「Ｐａｒａｍｓ」は各モデルの媒介変数の数を示し、「ＭＡｄｄｓ」は２２４×２２４入力に対して測定された積算－加算値（Ｍｕｌｔｉｐｌｙ－Ａｄｄｓ）を示し、「ＱＡＴＦｉｎｅ－ｔｕｎｅ」は従来のＱＡＴ方法で学習されたり微細調整された量子化されたモデルを示す。一方、「ＳｔａｔＡｓｓｉｓｔＯｎｌｙ」は、本開示の実施例により最初のエポックで決定されたＦＰモデルのモーメンタム値を初期モーメンタム値として利用してＱＡＴ方法で学習したモデルを示し、「ＳｔａｔＡｓｓｉｓｔＧｒａｄＢｏｏｓｔ」は本開示の実施例により最初のエポックで決定されたＦＰモデルのモーメンタム値を初期モーメンタム値として利用し、グラジエント値の増幅を適用する、ＱＡＴ方法で学習したモデルを示す。

「ＱＡＴＦｉｎｅ－ｔｕｎｅ」と「ＦＰｔｒａｉｎｉｎｇ」間の性能差はモデルの構造により異なる。特に、ＳｈｕｆｆｌｅＮｅｔＶ２モデルとＳｈｕｆｆｌｅＮｅｔＶ２×０．５モデルでその性能差がより大きいことを確認することができる。一方、「ＳｔａｔＡｓｓｉｓｔＧｒａｄＢｏｏｓｔ」と「ＦＰｔｒａｉｎｉｎｇ」の性能差が０．９％以下に該当することを確認することができる。したがって、本開示の実施例に係る人工ニューラルネットワークモデル学習方法で学習した分類人工ニューラルネットワークモデルは、ＦＰ学習したモデルと類似する性能を有する。

下記の表２は本開示の実施例により学習した客体感知人工ニューラルネットワークモデルのＰＡＳＣＡＬ－ＶＯＣ２００７データセットに対する客体感知結果（ｍＡＰ）である。

「ＭＡｄｄｓ」は３００×３００入力に対して測定された積算―加算値（Ｍｕｌｔｉｐｌｙ－Ａｄｄｓ）を示す。Ｔ－ＤＳＯＤモデルの場合、初期学習率（ｌｒ）を２ｅ－２に設定し、総１８０Ｋ繰り返しのうち１２０Ｋおよび１５０Ｋ繰り返しで学習率を０．１に調整した。ＳＳＤ－ｍｖ２モデルの場合、初期学習率は１ｅ－２であって、総１２０Ｋ繰り返しを使用し、８０Ｋおよび１００Ｋで学習率を調整した。各場合に対してバッチの大きさを６４に設定し、性能評価のために各モデルのすべてのレイヤーを融合するように感知器を若干修正した。

表２に示された通り、「ＦＰＴｒａｉｎｉｎｇ」に比べて、「ＱＡＴＦｉｎｅ－ｔｕｎｅ」では若干のｍＡＰ下落が示される反面、「ＳｔａｔＡｓｓｉｓｔＧｒａｄＢｏｏｓｔ」ではｍＡＰ増加が示される。すなわち、「ＱＡＴＦｉｎｅ－ｔｕｎｅ」の性能は「ＦＰｔｒａｉｎｉｎｇ」の性能を凌駕できないが、「ＳｔａｔＡｓｓｉｓｔＧｒａｄＢｏｏｓｔ」の性能が「ＦＰｔｒａｉｎｉｎｇ」の性能より優秀であることを確認することができる。

下記の表３は本開示の実施例により学習したセマンティックセグメンテーション人工ニューラルネットワークモデルのＣｉｔｙｓｃａｐｅｓデータセットに対するセマンティックセグメンテーション結果（ｍＩＯＵ）である。

ここで、「ＭＡｄｄｓ」は７６８×７６８入力に対して測定された積算―加算値（Ｍｕｌｔｉｐｌｙ－Ａｄｄｓ）を示し、「－Ｌａｒｇｅ」および「－Ｓｍａｌｌ」はそれぞれ高いリソース使用事例と低いリソース使用事例を対象とする異なるモデル構成を示し、「－ＲＥ」はハードスウィッシュアクティベーション（ｈａｒｄ－ｓｗｉｓｈａｃｔｉｖａｔｉｏｎ）をＲｅＬＵに取り換えたモデルを示す。

学習のために初期学習率を７ｅ－３に設定し、ポリ（ｐｏｌｙ）学習率日程とともにＮｅｓｔｅｒｏｖ－ｍｏｍｅｎｔｕｍＳＧＤを使った。単一ＮＶＩＤＩＡＰ４０ＧＰＵで、モデルに適合するように７６８×７６８に無作為に切った汽車のイメージを利用してモデルを学習した。性能評価はフルスケール２０４８×１０２４イメージで遂行した。

表３に示された通り、「ＦＰｔｒａｉｎｉｎｇ」に比べて、「ＱＡＴＦｉｎｅ－ｔｕｎｅ」は平均０．６５％ｍＩＯＵの減少が示されるが、「ＳｔａｔＡｓｓｉｓｔＧｒａｄＢｏｏｓｔ」は平均０．１３％ｍＩＯＵの増加が示される。したがって、「ＳｔａｔＡｓｓｉｓｔＧｒａｄＢｏｏｓｔ」の性能が「ＦＰｔｒａｉｎｉｎｇ」の性能と類似するか、「ＦＰｔｒａｉｎｉｎｇ」の性能より優秀であることを確認することができる。

図９は、本開示の一実施例に係る人工ニューラルネットワークモデル学習方法を遂行するためのアルゴリズム９００のフローチャートである。図９に図示された本発明に係る人工ニューラルネットワークモデル学習方法を実行するアルゴリズムは、例えばＰｙＴｏｒｃｈ１．４量子化ライブラリを利用して具現され得る（ＡｄａｍＰａｓｚｋｅ、ＳａｍＧｒｏｓｓ、ＦｒａｎｃｉｓｃｏＭａｓｓａ、ＡｄａｍＬｅｒｅｒ、ＪａｍｅｓＢｒａｄｂｕｒｙ、ＧｒｅｇｏｒｙＣｈａｎａｎ、ＴｒｅｖｏｒＫｉｌｌｅｅｎ、ＺｅｍｉｎｇＬｉｎ、ＮａｔａｌｉａＧｉｍｅｌｓｈｅｉｎ、ＬｕｃａＡｎｔｉｇａ、ＡｌｂａｎＤｅｓｍａｉｓｏｎ、ＡｎｄｒｅａｓＫｏｐｆ、ＥｄｗａｒｄＹａｎｇ、ＺａｃｈａｒｙＤｅＶｉｔｏ、ＭａｒｔｉｎＲａｉｓｏｎ、ＡｌｙｋｈａｎＴｅｊａｎｉ、ＳａｓａｎｋＣｈｉｌａｍｋｕｒｔｈｙ、ＢｅｎｏｉｔＳｔｅｉｎｅｒ、ＬｕＦａｎｇ、ＪｕｎｊｉｅＢａｉ、ａｎｄＳｏｕｍｉｔｈＣｈｉｎｔａｌａ、「Ｐｙｔｏｒｃｈ：Ａｎｉｍｐｅｒａｔｉｖｅｓｔｙｌｅ、ｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅｄｅｅｐｌｅａｒｎｉｎｇｌｉｂｒａｒｙ、」ＩｎＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ３２、ｐａｇｅｓ８０２４－８０３５．ＣｕｒｒａｎＡｓｓｏｃｉａｔｅｓ、Ｉｎｃ．、２０１９．参照）。

本実施例に係る人工ニューラルネットワークモデル学習方法を遂行するためのアルゴリズムは、フェイク量子化互換性を有するＦＰモデルを準備する段階（Ｓ９１０）で開始され得る。例えば、人工ニューラルネットワークモデルを学習するためのプログラムコードで、あらかじめ保存されたＦＰモデルを呼び出したり宣言することができる。その後、ＦＰモデルの学習ワークフロー（ｗｏｒｋｆｌｏｗ）を生成することができる（Ｓ９２０）。また、人工ニューラルネットワークのパラメータの最適化を遂行するオプティマイザ（ｏｐｔｉｍｉｚｅｒ）のバージョンを、人工ニューラルネットワークモデルの加重値の値をアップデートするときにグラジエント値を増幅するバージョンに変更することができる（Ｓ９３０）。その後、ＦＰモデルを最初のエポックまで学習して最初のモーメンタム値を決定することができる（Ｓ９４０）。例えば、段階（Ｓ９２０）で生成した学習ワークフローによりＦＰモデルを最初のエポックまで学習することができる。

その後、レイヤーの融合およびフェイク量子化されたＱＡＴモデルを準備することができる（Ｓ９５０）。ＱＡＴモデルのレイヤーの融合は、推論過程でコンボリューション、正規化およびアクティベーションを一つのコンボリューション演算に統合することによって、演算の遅延を減少させることを意味し得る。例えば、段階（Ｓ９４０）で決定されたＦＰモデルの最初のモーメンタム値を初期モーメンタム値として設定してＱＡＴモデルを準備することができる。

このように準備されたＱＡＴモデルをＱＡＴ方法で学習することができる（Ｓ９６０）。このとき、段階（Ｓ９３０）でオプティマイザのバージョンを、人工ニューラルネットワークモデルの加重値の値をアップデートするときにグラジエント値を増幅するバージョンに変更したので、ＱＡＴモデルの複数の加重値のうち少なくとも一つの加重値に対するグラジエント値が増幅され、増幅されたグラジエント値に基づいてＱＡＴモデルのパラメータ値がアップデートされ得る。ＱＡＴモデルの学習が完了すると、学習完了したモデルをＩＮＴ８で量子化されたバージョンに切り替えることができる（Ｓ９７０）。

本開示の多様な実施例でＱＡＴモデルの適切な初期モーメンタム値を設定することによって、パラメータが適切な学習方向にアップデートされるように誘導することができ、エラーのあるグラジエント値が無視されることができる。これに伴い、エポックを繰り返すにつれて量子化によるエラーが増幅することを防止し、ＱＡＴモデルのパラメータを学習／アップデートするときに発生するエラーを減少させることができる。

本開示の多様な実施例で量子化されたモデルは、ＦＰモデルに比べて生成、学習および推論過程で低費用および低容量のリソースを必要とし、速い速度で推論過程を実行することができる。

本開示の多様な実施例で量子化されたモデルは既存のＱＡＴモデルを量子化したモデルとは異なって、ＦＰモデルの性能に近接またはさらに改善された性能を有することができる。

本開示の多様な実施例で分類、客体感知、セマンティックセグメンテーションまたはスタイル移転などの処理を遂行する優秀な性能を有する軽量モデルを生成および学習することができる。

前述人工ニューラルネットワークモデル学習方法はコンピュータで実行するために、コンピュータ読み取り可能な記録媒体に保存されたコンピュータプログラムで提供され得る。媒体はコンピュータで実行可能なプログラムを保存し続けたり、実行またはダウンロードのために仮保存するものでもよい。また、媒体は単一または数個のハードウェアが結合された形態の多様な記録手段または保存手段であり得るが、あるコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散存在するものでもよい。媒体の例示としては、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含んでプログラム命令語が保存されるように構成されたものが挙げられる。また、他の媒体の例示として、アプリケーションを流通するアプリストアやその他の多様なソフトウェアを供給乃至流通するサイト、サーバーなどで管理する記録媒体乃至保存媒体が挙げられる。

本開示の方法、動作または技法は多様な手段によって具現されてもよい。例えば、このような技法はハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせで具現されてもよい。本願の開示と連係して説明された多様な例示的な論理的ブロック、モジュール、回路、およびアルゴリズム段階は、電子ハードウェア、コンピュータソフトウェア、または両者の組み合わせで具現されてもよいことを通常の技術者は理解できるであろう。ハードウェアおよびソフトウェアのこのような相互間の代替を明確に説明するために、多様な例示的な構成要素、ブロック、モジュール、回路、および段階が、それらの機能的な観点で一般的に前述された。そのような機能がハードウェアで具現されるかまたはソフトウェアで具現されるかの有無は、特定のアプリケーションおよび全体システムに賦課される設計要求事項により変わる。通常の技術者はそれぞれの特定のアプリケーションのために多様な方式で説明された機能を具現してもよいが、そのような具現が本開示の範囲から逸脱させるものと解釈されてはならない。

ハードウェアの具現において、技法の遂行に利用されるプロセッシングユニットは、一つ以上のＡＳＩＣ、ＤＳＰ、デジタル信号プロセッシングデバイス（ｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓｉｎｇｄｅｖｉｃｅｓ；ＤＳＰＤ）、プログラム可能論理デバイス（ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃｄｅｖｉｃｅｓ；ＰＬＤ）、フィールドプログラム可能ゲートアレイ（ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙｓ；ＦＰＧＡ）、プロセッサ、制御器、マイクロ制御器、マイクロ・プロセッサ、電子デバイス、本開示に説明された機能を遂行するように設計された他の電子ユニット、コンピュータ、またはこれらの組み合わせ内で具現されてもよい。

したがって、本開示と連係して説明された多様な例示的な論理ブロック、モジュール、および回路は汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡや他のプログラム可能論理デバイス、離散ゲートやトランジスタロジック、離散ハードウェアコンポーネント、または本願に説明された機能を遂行するように設計されたものなどの任意の組み合わせで具現されたり遂行されてもよい。汎用プロセッサはマイクロ・プロセッサでもよいが、代案として、プロセッサは任意の従来のプロセッサ、制御器、マイクロ制御器、または状態マシンでもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロ・プロセッサ、複数のマイクロ・プロセッサ、ＤＳＰコアと連係した一つ以上のマイクロ・プロセッサ、または任意の他の構成の組み合わせで具現されてもよい。

ファームウェアおよび／またはソフトウェアの具現において、技法はランダムアクセスメモリ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ；ＲＡＭ）、読み取り専用メモリ（ｒｅａｄ－ｏｎｌｙｍｅｍｏｒｙ；ＲＯＭ）、不揮発性ＲＡＭ（ｎｏｎ－ｖｏｌａｔｉｌｅｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ；ＮＶＲＡＭ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅｒｅａｄ－ｏｎｌｙｍｅｍｏｒｙ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅｐｒｏｇｒａｍｍａｂｌｅｒｅａｄ－ｏｎｌｙｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙｅｒａｓａｂｌｅＰＲＯＭ）、フラッシュメモリ、コンパクトディスク（ｃｏｍｐａｃｔｄｉｓｃ；ＣＤ）、磁気または光学データストレージデバイスなどのようなコンピュータ読み取り可能媒体上に保存された命令として具現されてもよい。命令は一つ以上のプロセッサによって実行可能でもよく、プロセッサに本開示に説明された機能の特定の態様を遂行させてもよい。

以上で説明された実施例が一つ以上の独立型のコンピュータシステムで現在開示された主題の態様を活用するものとして記述されたが、本開示はこれに限定されず、ネットワークや分散コンピューティング環境のような任意のコンピューティング環境と連係して具現されてもよい。ひいては、本開示で主題の様相は複数のプロセッシングチップや装置で具現されてもよく、ストレージは複数の装置に亘って類似するように影響を受けることもあり得る。このような装置はＰＣ、ネットワークサーバー、および携帯用装置を含んでもよい。

本明細書では本開示が一部の実施例と関連して説明されたが、本開示の発明が属する技術分野の通常の技術者が理解できる本開示の範囲を逸脱しない範囲で多様に変形および変更され得る。また、そのような変形および変更は本明細書に添付された特許請求の範囲内に属するものと理解されるべきである。

１１０：ＦＰモデル
１２０：第１モデル学習部
１３０：ＱＡＴモデル
１４０：第２モデル学習部
１５０：ＩＮＴ８モデル
２００：人工ニューラルネットワークモデル学習システム
２１０：通信モジュール
２２０：メモリ
２３０：プロセッサ

Claims

少なくとも一つのプロセッサによって遂行される人工ニューラルネットワークモデル学習方法において、
モーメンタム（ｍｏｍｅｎｔｕｍ）基盤の勾配降下法によってあらかじめ設定されたエポック（ｅｐｏｃｈ）まで第１人工ニューラルネットワークモデルを学習して、前記エポックでの前記第１人工ニューラルネットワークモデルのモーメンタム値を決定する段階；
前記決定されたモーメンタム値を第２人工ニューラルネットワークモデルの初期モーメンタム値として設定する段階；および
前記初期モーメンタム値に基づいて、学習データを利用して前記第２人工ニューラルネットワークモデルのパラメータ値をアップデートする段階を含み、
前記パラメータ値は複数の加重値（ｗｅｉｇｈｔ）およびモーメンタムを含む、人工ニューラルネットワークモデル学習方法。
モーメンタム基盤の勾配降下法によって前記あらかじめ設定されたエポックまで第１人工ニューラルネットワークモデルを学習して、前記エポックでの前記第１人工ニューラルネットワークモデルのモーメンタム値を決定する段階は、
最初のエポックまで前記第１人工ニューラルネットワークモデルを学習して、前記最初のエポックでの前記第１人工ニューラルネットワークモデルのモーメンタム値を決定する段階を含む、請求項１に記載の人工ニューラルネットワークモデル学習方法。
前記アップデートされた第２人工ニューラルネットワークモデルのパラメータ値を量子化して、第３人工ニューラルネットワークモデルを生成する段階をさらに含む、請求項１または請求項２に記載の人工ニューラルネットワークモデル学習方法。
前記第１人工ニューラルネットワークモデルのパラメータ値は第１データ型で表現され、
前記第２人工ニューラルネットワークモデルのパラメータ値は前記第１データ型または第２データ型で表現され、
前記第３人工ニューラルネットワークモデルのパラメータ値は前記第２データ型で表現され、
前記第２データ型のビット数が前記第１データ型のビット数より小さい、請求項３に記載の人工ニューラルネットワークモデル学習方法。
前記初期モーメンタム値に基づいて、学習データを利用して前記第２人工ニューラルネットワークモデルのパラメータ値をアップデートする段階は、
前記第２データ型で表現されたパラメータ値を利用して前記第２人工ニューラルネットワークモデルの順伝播（ｆｏｒｗａｒｄ－ｐｒｏｐａｇａｔｉｏｎ）学習過程を遂行する段階；および
前記第１データ型で表現されたパラメータ値を利用して前記第２人工ニューラルネットワークモデルの逆伝播（ｂａｃｋｗａｒｄ－ｐｒｏｐａｇａｔｉｏｎ）学習過程を遂行する段階を含む、請求項４に記載の人工ニューラルネットワークモデル学習方法。
前記初期モーメンタム値に基づいて、学習データを利用して前記第２人工ニューラルネットワークモデルのパラメータ値をアップデートする段階は、
前記第２人工ニューラルネットワークモデルの複数の加重値に対するグラジエント（ｇｒａｄｉｅｎｔ）値に基づいて、学習データを利用して前記第２人工ニューラルネットワークモデルのパラメータ値をアップデートする段階を含む、請求項１～請求項４のいずれか一項に記載の人工ニューラルネットワークモデル学習方法。
前記第２人工ニューラルネットワークモデルの複数の加重値に対するグラジエント値に基づいて、学習データを利用して前記第２人工ニューラルネットワークモデルのパラメータ値をアップデートする段階は、
前記複数の加重値のうち少なくとも一つの加重値に対するグラジエント値の符号に基づいて現在の学習方向に対応する方向に前記グラジエント値を増幅する段階；および
前記増幅されたグラジエント値に基づいて、前記第２人工ニューラルネットワークモデルのパラメータ値をアップデートする段階を含む、請求項６に記載の人工ニューラルネットワークモデル学習方法。
請求項１～請求項７のいずれか一項に記載された人工ニューラルネットワークモデル学習方法をコンピュータで実行するための、コンピュータプログラム。
人工ニューラルネットワークモデル学習システムであって、
通信モジュール；
メモリ；および
前記メモリと連結され、前記メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成された少なくとも一つのプロセッサを含み、
前記少なくとも一つのプログラムは、
モーメンタム基盤の勾配降下法によってあらかじめ設定されたエポックまで第１人工ニューラルネットワークモデルを学習して、前記エポックでの前記第１人工ニューラルネットワークモデルのモーメンタム値を決定し、前記決定されたモーメンタム値を第２人工ニューラルネットワークモデルの初期モーメンタム値として設定し、前記初期モーメンタム値に基づいて、学習データを利用して前記第２人工ニューラルネットワークモデルのパラメータ値をアップデートするための命令語を含み、
前記パラメータ値は複数の加重値およびモーメンタムを含む、人工ニューラルネットワークモデル学習システム。
前記少なくとも一つのプログラムは、
最初のエポックまで前記第１人工ニューラルネットワークモデルを学習して、前記最初のエポックでの前記第１人工ニューラルネットワークモデルのモーメンタム値を決定するための命令語を含む、請求項９に記載の人工ニューラルネットワークモデル学習システム。
前記少なくとも一つのプログラムは、
前記アップデートされた第２人工ニューラルネットワークモデルのパラメータ値を量子化して、第３人工ニューラルネットワークモデルを生成するための命令語をさらに含む、請求項９または請求項１０に記載の人工ニューラルネットワークモデル学習システム。
前記第１人工ニューラルネットワークモデルのパラメータ値は第１データ型で表現され、前記第２人工ニューラルネットワークモデルのパラメータ値は前記第１データ型または第２データ型で表現され、前記第３人工ニューラルネットワークモデルのパラメータ値は前記第２データ型で表現され、前記第２データ型のビット数が前記第１データ型のビット数より小さい、請求項１１に記載の人工ニューラルネットワークモデル学習システム。
前記少なくとも一つのプログラムは、
前記第２データ型で表現されたパラメータ値を利用して前記第２人工ニューラルネットワークモデルの順伝播学習過程を遂行し、前記第１データ型で表現されたパラメータ値を利用して前記第２人工ニューラルネットワークモデルの逆伝播学習過程を遂行するための命令語を含む、請求項１２に記載の人工ニューラルネットワークモデル学習システム。
前記少なくとも一つのプログラムは、
前記第２人工ニューラルネットワークモデルの複数の加重値に対するグラジエント値に基づいて、学習データを利用して前記第２人工ニューラルネットワークモデルのパラメータ値をアップデートするための命令語を含む、請求項９～請求項１３のいずれか一項に記載の人工ニューラルネットワークモデル学習システム。
前記少なくとも一つのプログラムは、
前記複数の加重値のうち少なくとも一つの加重値に対するグラジエント値の符号に基づいて現在の学習方向に対応する方向に前記グラジエント値を増幅するための命令語を含む、請求項１４に記載の人工ニューラルネットワークモデル学習システム。