JP2019133628A - 情報処理方法及び情報処理システム - Google Patents

Abstract

【課題】軽量化による学習モデルの性能低下を抑制することができる情報処理方法及び情報処理システムを提供する。【解決手段】情報処理方法は、コンピュータを用いて、回帰問題を解くニューラルネットワーク型の学習モデルを取得し、入力データ及び入力データに対する正解データを取得し、学習モデルのネットワークの軽量化を行い、軽量化された学習モデルに入力データを入力して得られる出力データと正解データとを用いて算出される軽量化された学習モデルの性能を示す情報に応じて、学習モデルが解く回帰問題を分類問題に変換し、回帰問題から分類問題への変換に応じて、学習モデルのネットワーク構成データの変更及び正解データの変換を行う。【選択図】図３

Description

本開示は、情報処理方法及び情報処理システムに関する。

近年では、深層学習（ディープラーニング）方式のニューラルネットワークについて研究開発が行われている。しかし、深層学習方式のニューラルネットワークでは、学習処理の演算量が膨大であるため、大規模な計算リソースと非常に長い演算時間とを要することになる。したがって、演算量の抑制が求められる。

例えば、特許文献１には、多層ニューラルネットワークのある層において、スカラ量子化を実行し、次の層ではスカラ量子化されたベクトルと重み行列との乗算を行う演算方法が開示されている。これにより、特許文献１では、多層ニューラルネットワークにおける演算量を削減することができるとされている。

国際公開第２０１７／１４９７２２号

しかしながら、特許文献１で開示される従来技術では、学習モデルの軽量化により学習モデルの性能が低下するおそれがある。例えば、回帰問題を解くニューラルネットワーク型の学習モデルでは、学習モデルの軽量化により出力の分解能が粗くなるため、学習モデルの出力の正確性が低下するおそれがある。

そこで本開示は、軽量化による学習モデルの性能低下を抑制することができる情報処理方法、及び情報処理システムを提供する。

上記目的を達成するために、本開示の一形態に係る情報処理方法は、コンピュータを用いて、回帰問題を解くニューラルネットワーク型の学習モデルを取得し、入力データ及び前記入力データに対する正解データを取得し、前記学習モデルのネットワークの軽量化を行い、軽量化された学習モデルに前記入力データを入力して得られる出力データと前記正解データとを用いて算出される前記軽量化された学習モデルの性能を示す情報に応じて、前記学習モデルが解く回帰問題を分類問題に変換し、前記回帰問題から前記分類問題への変換に応じて、前記学習モデルのネットワーク構成データの変更及び前記正解データの変換を行う。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示の情報処理方法等によれば、軽量化による学習モデルの性能低下を抑制することができる。

図１は、実施の形態に係る情報処理システムを例示するブロック図である。 図２は、実施の形態に係る情報処理システムのネットワークを例示する模式図である。 図３は、実施の形態に係る情報処理システムの動作を例示するフロー図である。

本開示の一形態に係る情報処理方法は、コンピュータを用いて、回帰問題を解くニューラルネットワーク型の学習モデルを取得し、入力データ及び前記入力データに対する正解データを取得し、前記学習モデルのネットワークの軽量化を行い、軽量化された学習モデルに前記入力データを入力して得られる出力データと前記正解データとを用いて算出される前記軽量化された学習モデルの性能を示す情報に応じて、前記学習モデルが解く回帰問題を分類問題に変換し、前記回帰問題から前記分類問題への変換に応じて、前記学習モデルのネットワーク構成データの変更及び前記正解データの変換を行う。

これによれば、学習モデルが解く問題を回帰問題から分類問題に変換することによって、入力データを分類問題で解いた出力データを得ることができる。分類問題は、回帰問題に比べて、軽量化による影響すなわち分解能の低下の影響を受けにくい。このため、軽量化による学習モデルの性能低下を抑制することができる。例えば、学習モデルが物体検出モデルである場合、検出対象物の大きさを推定する回帰問題から、検出対象物の大きさの所定範囲ごとの分類に対応するクラスを推定する分類問題に変換する。このため、当該所定範囲を回帰問題の出力の分解能よりも狭くすることにより、回帰問題を解く学習モデルを軽量化した場合よりも出力の正確性を向上させることができる。したがって、軽量化による学習モデルの出力の正確性の低下を抑制することができる。特に、軽量化が二値化などの低ビット数への量子化である場合には、当該情報処理方法は効果的である。

また、本開示の一形態に係る情報処理システムは、回帰問題を解くニューラルネットワーク型の学習モデルを取得する第１取得部と、入力データ及び前記入力データに対する正解データを取得する第２取得部と、前記学習モデルのネットワークの軽量化を行う軽量化部と、軽量化された学習モデルに前記入力データを入力して得られる出力データと前記正解データとを用いて算出される前記軽量化された学習モデルの性能を示す情報に応じて、前記学習モデルが解く回帰問題を分類問題に変換し、かつ、前記回帰問題から前記分類問題への変換に応じて、前記学習モデルのネットワーク構成データの変更及び前記正解データの変換を行う問題変換部とを備える。

この情報処理システムにおいても上述と同様の作用効果を奏する。

また、本開示の一形態に係る情報処理方法において、前記ネットワーク構成データの変更は、前記学習モデルのノード数の変更をすることを含む。

これによれば、出力データの所望の推定精度に応じて、軽量化された学習モデルのノード数に変更することができる。このため、回帰問題から分類問題への変換を比較的容易に実現することができる。

また、本開示の一形態に係る情報処理方法において、前記ノード数の変更は、前記学習モデルの出力層のノードの増加をすることを含む。

これによれば、ニューラルネットワークでは出力層のノードが学習モデルの出力に他の層よりも影響を与えるため、学習モデルの性能に対し効果的にネットワーク構成を変更することができる。

また、本開示の一形態に係る情報処理方法において、前記出力層のノードの増加は、ノード配分変更をすることを含む。

これによれば、ノード数を変えることなく、出力層のノード数を増加させることができる。このため、計算リソースの増大を抑制することができる。

また、本開示の一形態に係る情報処理方法において、前記ネットワーク構成データの変更は、前記軽量化された学習モデルが利用可能な計算リソースの条件を満たす範囲でノード数の変更をすることを含む。

これによれば、軽量化された学習モデルが利用されるコンピュータのハードウェア要件を満たす問題変換後の学習モデルを生成することができる。例えば、処理速度、演算量、及びメモリ量といった計算リソースの条件を満たす限り、軽量化された学習モデルのノード数を増加することができる。

また、本開示の一形態に係る情報処理方法において、前記性能を示す情報は、前記出力データと前記正解データとの差分に対応する情報である。

これによれば、学習モデルの出力の正確性についての評価指標に基づいて問題変換を行うか否かを制御することができる。

また、本開示の一形態に係る情報処理方法は、前記軽量化は、計算精度の浮動小数点から固定少数点への変更に応じて前記学習モデルの重みを変更することを含む。

これによれば、組込みシステムのような浮動小数点処理が困難なハードウェアにも利用可能な学習モデルを生成することができる。

また、本開示の一形態に係る情報処理方法は、前記性能を示す情報が所定の条件を満たすか否かを判定し、判定結果に応じて、前記回帰問題を前記分類問題へ変換する。

これによれば、問題変換の有無を所定の条件で制御することができる。

また、本開示の一形態に係る情報処理方法において、前記ネットワーク構成データの変更は、前記学習モデルが有する複数のノードの出力にそれぞれ出力用重みを設定することを含み、前記学習モデルの出力は、前記複数のノードの出力及び出力重みを用いて決定される。

これによれば、学習モデルの出力の正確性を向上させることができる。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。

以下、本開示の実施の形態に係る情報処理方法、及び情報処理システムについて説明する。

（実施の形態）
［構成］
図１は、実施の形態に係る情報処理システム１を例示するブロック図である。

図１に示すように、情報処理システム１は、学習モデルを生成するシステムである。例えば、学習モデルは、画像に映り込んでいる物体を検出する物体検出モデルである。物体検出モデルは、検出対象物のクラスの推定（ラベリングとも言う）、検出対象物の大きさ及び位置の推定等を行う。検出対象物のクラスとは、検出対象物の種別等であり、例えば、犬、馬、人等である。

情報処理システム１は、学習部２０と、軽量化部３０と、ネットワーク解析部４０と、問題変換部５０と、第１記憶部１１と、第２記憶部１２と、第３記憶部１３と、第４記憶部１４とを備えている。

学習部２０は、第１記憶部１１からネットワーク構成データを取得し、このネットワーク構成データの示すネットワーク構成を有するニューラルネットワーク型の学習モデルについて学習処理を行う。具体的には、学習部２０は、第２記憶部１２から学習用入力データ（言い換えると学習用データ）及び学習用正解データを取得し、学習用入力データを学習モデルに入力することにより得られた出力データと学習用正解データとの差分を用いて学習モデルのパラメータすなわちノードの重みを更新する。パラメータの更新が完了すると、学習部２０は、学習後の学習モデル（以下、学習済みモデルとも称する。）を出力する。学習済みモデルのパラメータは、例えばニューラルネットワークの重みベクトル、バイアス値およびバッチ正規化のスケーリング値である。学習部２０は、第１取得部の一例である。

さらに、学習部２０は、後述する問題変換部５０から取得される変更されたネットワーク構成データ及び変換された学習用正解データと、第２記憶部１２から取得される学習用入力データと、を用いて学習モデルの再学習を実行する。学習部２０は、再学習により得られた学習済みモデルを第３記憶部１３に格納する。

軽量化部３０は、学習部２０から学習済みモデルを取得し、学習済みモデルの軽量化を行う。軽量化とは、学習済みモデルのパラメータの量子化である。例えば、パラメータの量子化とは、浮動小数点で表現されるパラメータを、固定少数点で表現されるパラメータに変換することである。軽量化部３０は、軽量化後の学習モデル（以下、軽量化済みモデルと言う。）を出力する。

ネットワーク解析部４０は、軽量化済みモデルを軽量化部３０から取得し、かつ、第２記憶部１２から評価用入力データ及び評価用正解データを取得し、軽量化済みモデルの性能を解析する。具体的には、ネットワーク解析部４０は、軽量化済みモデルに評価用入力データを入力して得られる出力データと、評価用正解データとの差分値を算出し、この差分値に基づいて性能を解析する。ネットワーク解析部４０は、軽量化済みモデルの性能を示す解析結果である解析情報を出力する。ここで、差分値は、差分に対応する情報の一例である。差分値の大きさは、軽量化済みモデルの性能を意味する。つまり、差分値が小さいほど、軽量化済みモデルの性能が優れている。なお、軽量化済みモデルの性能は、軽量化済みモデルの、正確性の度合いである正確度を含む。なお、当該性能は、適合率（Ｐｒｅｃｉｓｉｏｎ）、再現率（Ｒｅｃａｌｌ）、ｍＡＰ（ｍｅａｎ Ａｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ）、ＡＵＣ（Ａｒｅａ Ｕｎｄｅｒ ｔｈｅ Ｃｕｒｖｅ）などであってもよい。また、学習モデルが画像を入力とする物体検出モデルである場合は、入力データは画像情報であり、出力データは物体検出結果である。ネットワーク解析部４０は、第２取得部の一例である。

問題変換部５０は、ネットワーク解析部４０から解析情報を取得し、解析情報に応じて、学習モデルが解く問題を回帰問題から分類問題に変換する。問題変換部５０は、回帰問題から分類問題への変換に応じて、学習モデルのネットワーク構成データを変更する。

具体的には、問題変換部５０は、解析情報に応じて学習モデルの解く問題を変換するか否かを判定する。例えば、問題変換部５０は、軽量化済みモデルの性能が所定条件を満たすか否かを判定する。例えば、軽量化済みモデルの出力データの正確度が閾値以下であるかを判定する。正確度が閾値以下である場合は性能が所定条件を満たさない。

問題を変換すると判定された場合、問題変換部５０は、問題をどのように変換するかを決定する。例えば、問題変換部５０は、０〜ｍの間の値を推定するという回帰問題を、

のｎ個のクラスからクラスを推定する分類問題に変換する。

次に、問題変換部５０は、問題の変換に応じて、ネットワーク構成データを変更する。ネットワーク構成データの変更は、ノード数の変更を含む。図２は、実施の形態に係る情報処理システム１によるネットワーク構成データの変更を例示する模式図である。例えば、図２に示すように、ネットワーク構成データの変更は、出力データを出力する出力層のノード数を変更することである。ノード数の変更は、出力層のノードを増加することである。出力層のノードを増加することは、例えば、ネットワーク内のノード配分の変更、ネットワークへのノードの追加を含む。ノード配分の変更は、例えば、出力層以外のノードを出力層に付け替えることである。また、ノードの追加は、出力層にネットワークとして新規にノードを追加することである。問題変換部５０は、変更した学習モデルのネットワーク構成データを学習部２０に出力する。この変換の具体的な詳細については後述する。

なお、問題変換部５０は、制約条件に基づいてネットワーク構成データを変更する。図１に示すように、問題変換部５０は、第４記憶部１４から変換時制約データを取得する。変換時制約データは、軽量化済みモデルが搭載されるコンピュータにおいて軽量化済みモデルが利用可能な計算リソースの条件を示す。問題変換部５０は、軽量化済みモデルが利用可能な計算リソースの条件を満たす範囲で、学習モデルのノード数を変更する。変更後のノード数は、所望の性能によって下限が決定され、計算リソースの条件によって上限が決定される。

また、問題変換部５０は、第２記憶部１２から正解データを取得し、正解データを回帰問題に対応する正解データから分類問題に対応する正解データへ変換する。問題変換部５０は、変換された正解データを学習部２０に出力する。

第１記憶部１１は、回帰問題を解くニューラルネットワーク型の学習モデルのネットワーク構成データを格納している。なお、変更されたネットワーク構成データも格納されてよい。

第２記憶部１２は、学習モデルの学習処理又は性能評価に用いられる入力データ及び正解データを格納している。

なお、入力データは評価用入力データと学習用入力データとを含み、正解データは評価用正解データと学習用正解データを含む。

第３記憶部１３は、問題変換後の再学習により得られた学習済みモデルを含む学習済みモデルを格納している。

第４記憶部１４は、変換時制約データを格納している。

［動作］
次に、本実施の形態における情報処理システム１の動作について説明する。

図３は、実施の形態に係る情報処理システム１の動作を例示するフロー図である。

図３に示すように、まず、学習部２０は、第１記憶部１１から取得されるネットワーク構成データの示すネットワーク構成を有するニューラルネットワーク型の学習モデルについて学習処理を実行する（Ｓ１１）。学習部２０は、学習済みモデルを軽量化部３０に出力する。

次に、軽量化部３０は、学習部２０から学習済みモデルを取得し、この学習済みモデルの軽量化を行う（Ｓ１２）。一例を挙げて説明すると、学習済みモデルが３ビットで回帰問題を解くモデルに軽量化される場合、分解能が１００／２^３＝１２．５となり、入力データとしての真値を６９とすると軽量化済みモデルの推定値が６２．５となる。なお、３ビットは一例でありこれには限定されず、例えば、１ビットで二値化してもよい。そして、軽量化部３０は、このような軽量化済みモデルを、ネットワーク解析部４０に出力する。

次に、ネットワーク解析部４０は、軽量化済みモデルを軽量化部３０から取得し、かつ、第２記憶部１２から評価用入力データ及び評価用正解データを取得する。ネットワーク解析部４０は、軽量化済みモデルに評価用入力データを入力して得られる出力データと評価用正解データとの差分値を算出する（Ｓ１３）。ネットワーク解析部４０は、この差分値に基づいて性能を解析する。ネットワーク解析部４０は、軽量化済みモデルの性能を示す解析結果である解析情報を出力する。差分値の算出について一例を挙げて説明する。ネットワーク解析部４０は、画像情報（入力データの一例）を軽量化済みモデルに入力する。軽量化済みモデルでは、画像に映り込んでいる検出対象物の範囲（すなわち位置及び大きさ）が回帰問題を解くことで推定される。そして、ネットワーク解析部４０は、軽量化済みモデルの推定結果（言い換えると物体検出結果）すなわち出力データを得る。ネットワーク解析部４０は、軽量化済みモデルによる物体検出結果における検出対象物の範囲と、評価用正解データの検出対象物の範囲との差分値をそれぞれ算出する。そして、ネットワーク解析部４０は、算出した差分値を問題変換部５０に出力する。

次に、問題変換部５０は、解析情報に応じて学習モデルの解く問題を変換するか否か、つまり、差分値が所定条件を満たすかどうかを判定する（Ｓ１４）。差分値が所定条件を満たすかどうかの判定は、例えば、軽量化済みモデルの出力データの正確度が閾値以下であるかどうかである。

次に、差分値が所定条件を満たす場合（Ｓ１４でＹＥＳ）、問題変換部５０は、ネットワーク解析部４０から取得した解析情報に応じて、学習モデルが解く問題を回帰問題から分類問題に変換する（Ｓ１５）。このように変換する理由は、分類問題は軽量化による分解能の低下の影響を受けにくい、つまり、学習モデルの推定結果に誤差が現れ難いからである。しかし、回帰問題は軽量化による分解能の低下の影響を受けやすい、つまり、学習モデルの推定結果に誤差が現れ易いからである。なお、差分値が所定条件を満たさない場合（Ｓ１４でＮＯ）、処理が終了する。

次に、問題変換部５０は、問題の変換に応じて、ネットワーク構成データを変更する（Ｓ１６）。問題変換部５０は、第４記憶部１４から変換時制約データを取得し、軽量化済みモデルが利用可能な計算リソースの条件を満たす範囲で、学習モデルのノード数を変更する。計算リソースの条件は、処理速度、演算量、及びメモリ量に依存する条件である。

一例を挙げて説明すると、問題変換部５０は、出力データとして０〜１００の値を推定するという回帰問題を、［０〜１０］、［１０〜２０］、・・・、［９０〜１００］の１０（＝ｎ）個のクラスからクラスを推定する分類問題に変換する。こうすることで、問題変換部５０は、回帰問題では学習モデルの１つのノードで０〜１００の間の値を推定していたが、分類問題として、学習モデルの出力層を１０個のノードに変更し、１０個のクラスからクラスを推定する。このため、例えば、１ノード当たり３ビットで処理する学習モデルに学習済みモデルを軽量化する場合、０〜１００の間の値を推定する回帰問題では軽量化済みモデルの出力の分解能が１２．５であるのに対し、０〜１００を１０のクラスに分類する分類問題では当該分解能が１０であるため、軽量化による影響すなわち分解能の低下の影響を受けにくくなる。

そして、問題変換部５０は、変更した学習モデルのネットワーク構成データを学習部２０に出力する。

次に、問題変換部５０は、第２記憶部１２から正解データを取得し、正解データを回帰問題に対応する正解データから分類問題に対応する正解データへ変換する（Ｓ１７）。問題変換部５０は、変換された正解データを学習部２０に出力する。

次に、学習部２０は、問題変換部５０から変更されたネットワーク構成データ及び変換された正解データと、第２記憶部１２から取得される学習用入力データとを用いて学習モデルの学習処理を実行する（Ｓ１８）。

学習部２０は、問題変換後の学習により得られた学習済みモデルを含む学習済みモデルを第３記憶部１３に格納する。

［効果等］
このように、この情報処理システム１では、軽量化済みモデルから得られた出力データと正解データとを用いて差分値を算出し、差分値に応じて軽量化済みモデルが解く問題を回帰問題から分類問題に変換する。これにより、情報処理システム１は、入力データを分類問題で解いた出力データを得る学習モデルを生成することができる。分類問題は、回帰問題に比べて、軽量化による影響すなわち分解能の低下の影響を受けにくい。このため、軽量化による学習モデルの性能低下を抑制することができる。

（変形例）
問題変換部５０は、さらに、回帰問題から分類問題への変換後の学習モデルが有する複数のノードの出力にそれぞれ出力用重みを設定してもよい。学習モデルの出力は、複数のノードの出力及び出力重みを用いて決定される。例えば、学習モデルの出力は、Ｎ個のクラスそれぞれのスコア（例えば、尤度を用いた数値）の加重和である。

例えば、クラス１〜４のスコアをそれぞれｘ１〜ｘ４とし、クラス１〜４の出力重みをそれぞれｗ１〜ｗ４とした場合、加重和すなわち学習モデルとしての出力は、ｘ１×ｗ１+ｘ２×ｗ２+ｘ３×ｗ３+ｘ４×ｗ４となる。より具体的には、入力データとしての真値が６９である場合に、１ノード当たり３ビットで処理する学習モデルに学習済みモデルを軽量化するときは、０〜１００の間の値を推定する回帰問題では軽量化済みモデルの出力は６２．５である。これに対し、０〜１００を１０のクラスに分類する分類問題では、各クラスの出力重みを均等とし、各クラスのスコアがそれぞれ各クラスの平均値と尤度との乗算値として算出される場合、クラス［５０〜６０］、クラス［６０〜７０］、クラス［７０〜８０］、クラス［８０〜９０］の各尤度がそれぞれ０．１、０．４、０．４、０．１であるときは、各クラスの加重和は７０となる。したがって、分類問題を解く軽量化済みモデルの方が真値６９に近い値を推定することができる。

（他の実施の形態）
以上、本開示の１つ又は複数の態様に係る情報処理方法、及び情報処理システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つ又は複数の態様の範囲内に含まれてもよい。

例えば、上記実施の形態に係る情報処理方法、及び情報処理システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本実施の形態は例示された数字に制限されない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

以上、一つ又は複数の態様に係る情報処理方法、及び情報処理システムについて、実施の形態に基づいて説明したが、本開示の実施の形態は当該複数の態様に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。

本開示は、計算リソースが制限される組込機器に適用することができる。

１ 情報処理システム
２０ 学習部（第１取得部）
３０ 軽量化部
４０ ネットワーク解析部（第２取得部）
５０ 問題変換部

Claims (10)

1. コンピュータを用いて、
   回帰問題を解くニューラルネットワーク型の学習モデルを取得し、
   入力データ及び前記入力データに対する正解データを取得し、
   前記学習モデルのネットワークの軽量化を行い、
   軽量化された学習モデルに前記入力データを入力して得られる出力データと前記正解データとを用いて算出される前記軽量化された学習モデルの性能を示す情報に応じて、前記学習モデルが解く回帰問題を分類問題に変換し、
   前記回帰問題から前記分類問題への変換に応じて、前記学習モデルのネットワーク構成データの変更及び前記正解データの変換を行う
   情報処理方法。
2. 前記ネットワーク構成データの変更は、前記学習モデルのノード数の変更をすることを含む
   請求項１に記載の情報処理方法。
3. 前記ノード数の変更は、前記学習モデルの出力層のノードの増加をすることを含む
   請求項２に記載の情報処理方法。
4. 前記出力層のノードの増加は、ノード配分変更をすることを含む
   請求項３に記載の情報処理方法。
5. 前記ネットワーク構成データの変更は、前記軽量化された学習モデルが利用可能な計算リソースの条件を満たす範囲でノード数の変更をすることを含む
   請求項１〜４のいずれか１項に記載の情報処理方法。
6. 前記性能を示す情報は、前記出力データと前記正解データとの差分に対応する情報である
   請求項１〜５のいずれか１項に記載の情報処理方法。
7. 前記軽量化は、計算精度の浮動小数点から固定少数点への変更に応じて前記学習モデルの重みを変更することを含む
   請求項１〜６のいずれか１項に記載の情報処理方法。
8. 前記性能を示す情報が所定の条件を満たすか否かを判定し、
   判定結果に応じて、前記回帰問題を前記分類問題へ変換する
   請求項１〜７のいずれか１項に記載の情報処理方法。
9. 前記ネットワーク構成データの変更は、前記学習モデルが有する複数のノードの出力にそれぞれ出力用重みを設定することを含み、
   前記学習モデルの出力は、前記複数のノードの出力及び出力重みを用いて決定される
   請求項１〜８のいずれか１項に記載の情報処理方法。
10. 回帰問題を解くニューラルネットワーク型の学習モデルを取得する第１取得部と、
    入力データ及び前記入力データに対する正解データを取得する第２取得部と、
    前記学習モデルのネットワークの軽量化を行う軽量化部と、
    軽量化された学習モデルに前記入力データを入力して得られる出力データと前記正解データとを用いて算出される前記軽量化された学習モデルの性能を示す情報に応じて、前記学習モデルが解く回帰問題を分類問題に変換し、かつ、前記回帰問題から前記分類問題への変換に応じて、前記学習モデルのネットワーク構成データの変更及び前記正解データの変換を行う問題変換部とを備える
    情報処理システム。

Images