JP2019133627A - 情報処理方法及び情報処理システム - Google Patents

情報処理方法及び情報処理システム Download PDF

Info

Publication number
JP2019133627A
JP2019133627A JP2018177762A JP2018177762A JP2019133627A JP 2019133627 A JP2019133627 A JP 2019133627A JP 2018177762 A JP2018177762 A JP 2018177762A JP 2018177762 A JP2018177762 A JP 2018177762A JP 2019133627 A JP2019133627 A JP 2019133627A
Authority
JP
Japan
Prior art keywords
learning model
information processing
nodes
data
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018177762A
Other languages
English (en)
Other versions
JP7107797B2 (ja
Inventor
洋平 中田
Yohei Nakada
洋平 中田
育規 石井
Yasunori Ishii
育規 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to EP19152927.0A priority Critical patent/EP3518153A1/en
Priority to CN201910062261.9A priority patent/CN110097183B/zh
Priority to US16/257,160 priority patent/US11100321B2/en
Publication of JP2019133627A publication Critical patent/JP2019133627A/ja
Application granted granted Critical
Publication of JP7107797B2 publication Critical patent/JP7107797B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】軽量化による学習モデルの性能低下を抑制することができる情報処理方法及び情報処理システムを提供する。【解決手段】情報処理方法では、コンピュータを用いて、回帰問題を解くニューラルネットワーク型の学習モデルを取得し、入力データ及び入力データに対する正解データを取得し、学習モデルのネットワークの軽量化を行い、軽量化された学習モデルに前記入力データを入力して得られる出力データと正解データとを用いて算出される軽量化された学習モデルの性能を示す情報に応じて、回帰問題に割り当てられる学習モデルのノード数及び前記正解データを変更する。【選択図】図3

Description

近年では、深層学習(ディープラーニング)方式のニューラルネットワークについて研究開発が行われている。しかし深層学習方式のニューラルネットワークでは、学習処理の演算量が膨大であるため、大規模な計算リソースと非常に長い演算時間とを要することになる。したがって、演算量の抑制が求められる。
例えば、特許文献1には、多層ニューラルネットワークのある層において、スカラ量子化を実行し、次の層ではスカラ量子化されたベクトルと重み行列との乗算を行う演算方法が開示されている。これにより、特許文献1では、多層ニューラルネットワークにおける演算量を削減することができるとされている。
国際公開第2017/149722号
しかしながら、特許文献1で開示される従来技術では、学習モデルの軽量化により学習モデルの性能が低下するおそれがある。例えば、回帰問題を解くニューラルネットワーク型の学習モデルでは、学習モデルの軽量化により出力の分解能が粗くなるため、学習モデルの出力の正確性が低下するおそれがある。
そこで本開示は、軽量化による学習モデルの性能低下を抑制することができる情報処理方法、及び情報処理システムを提供する。
上記目的を達成するために、本開示の一形態に係る情報処理方法は、コンピュータを用いて、回帰問題を解くニューラルネットワーク型の学習モデルを取得し、入力データ及び前記入力データに対する正解データを取得し、前記学習モデルのネットワークの軽量化を行い、軽量化された学習モデルに前記入力データを入力して得られる出力データと前記正解データとを用いて算出される前記軽量化された学習モデルの性能を示す情報に応じて、前記回帰問題に割り当てられる前記学習モデルのノード数及び前記正解データを変更する。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示の情報処理方法等によれば、軽量化による学習モデルの性能低下を抑制することができる。
図1は、実施の形態に係る情報処理システムを例示するブロック図である。 図2は、実施の形態に係る情報処理システムによるネットワークの変更を例示する模式図である。 図3は、実施の形態に係る情報処理システムの動作を例示するフロー図である。
本開示の一形態に係る情報処理方法は、コンピュータを用いて、回帰問題を解くニューラルネットワーク型の学習モデルを取得し、入力データ及び前記入力データに対する正解データを取得し、前記学習モデルのネットワークの軽量化を行い、軽量化された学習モデルに前記入力データを入力して得られる出力データと前記正解データとを用いて算出される前記軽量化された学習モデルの性能を示す情報に応じて、前記回帰問題に割り当てられる前記学習モデルのノード数及び前記正解データを変更する。
これによれば、学習モデルのノード数を変更することにより、軽量化による影響すなわち分解能の低下の影響を抑制することができる。例えば、回帰問題に対して割り当てられるノード数を増加させることにより、学習モデルの出力の分解能を向上させることができる。したがって、軽量化による学習モデルの性能低下を抑制することができる。
また、本開示の一形態に係る情報処理システムは、回帰問題を解くニューラルネットワーク型の学習モデルを取得する第1取得部と、入力データ及び前記入力データに対する正解データを取得する第2取得部と、前記学習モデルのネットワークの軽量化を行う軽量化部と、軽量化された学習モデルに前記入力データを入力して得られる出力データと前記正解データとを用いて算出される前記軽量化された学習モデルの性能を示す情報に応じて、前記回帰問題に割り当てられる前記学習モデルのノード数及び前記正解データを変更する変更部とを備える。
この情報処理システムにおいても上述と同様の作用効果を奏する。
また、本開示の一形態に係る情報処理方法において、前記ノード数の変更は、前記軽量化された学習モデルに要求される前記性能の条件を満たすように前記ノード数を変更することを含む。
これによれば、学習モデルの性能に応じてノード数を変更するか否かを制御することができる。
また、本開示の一形態に係る情報処理方法は、さらに、前記性能を示す情報が前記性能の条件を満たすか否かを判定し、前記性能を示す情報が前記性能の条件を満たさない場合、前記ノード数の変更は、ノードを追加することを含む。
これによれば、回帰問題に割り当てられるノード数が増加することにより、当該回帰問題に対する学習モデルの出力の分解能を向上させることができる。
また、本開示の一形態に係る情報処理方法において、前記ノード数の変更は、前記軽量化された学習モデルが計算的制約の条件を満たす範囲で前記ノード数を変更することを含む。
これによれば、軽量化された学習モデルが利用されるコンピュータのハードウェア要件を満たす問題変換後の学習モデルを生成することができる。例えば、処理速度、演算量、及びメモリ量といった計算的制約の条件を満たす限り、軽量化された学習モデルのノード数が増加される。
また、本開示の一形態に係る情報処理方法において、前記性能を示す情報は、前記出力データと前記正解データとの差分に対応する情報を含む。
これによれば、学習モデルの出力の正確度についての評価指標に基づいてノード数を変更するか否かを制御することができる。
また、本開示の一形態に係る情報処理方法において、前記軽量化は、計算精度の浮動小数点から固定少数点への変更に応じて前記学習モデルの重みを変更することを含む。
これによれば、組込みシステムのような浮動小数点処理が困難なハードウェアにも利用可能な学習モデルを生成することができる。
また、本開示の一形態に係る情報処理方法において、前記ノード数の変更は、前記学習モデルの出力層のノード数の増加を含む。
これによれば、ニューラルネットワークでは出力層のノードが学習モデルの出力に他の層よりも影響を与えるため、学習モデルの性能に対し効果的にノード数を変更することができる。
また、本開示の一形態に係る情報処理方法において、前記出力層のノード数の増加は、ノード配分の変更を含む。
これによれば、ノード数を変えることなく、出力層のノード数を増加させることができる。このため、計算リソースの増大を抑制することができる。
また、本開示の一形態に係る情報処理方法において、前記正解データの変更は、前記性能を示す情報に応じて決定される前記回帰問題の分割態様に応じた変更を含む。
これによれば、ノード数が変更された学習モデルに適した正解データを生成することができる。したがって、ノード数が変更された学習モデルの学習処理を適切に行うことができる。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。
以下、本開示の実施の形態に係る情報処理方法、及び情報処理システムについて説明する。
(実施の形態)
[構成]
図1は、実施の形態に係る情報処理システム1を例示するブロック図である。
図1に示すように、情報処理システム1は、学習モデルを生成するシステムである。例えば、学習モデルは、画像に映り込んでいる物体を検出する物体検出モデルである。物体検出モデルは、検出対象物のクラスの推定(ラベリングとも言う)、検出対象物の大きさ及び位置の推定の範囲の推定等を行う。検出対象物のクラスとは、検出対象物の種別等であり、例えば、犬、馬、人等である。
情報処理システム1は、学習部20と、軽量化部30と、ネットワーク解析部40と、変更部50と、第1記憶部11と、第2記憶部12と、第3記憶部13と、第4記憶部14とを備えている。
学習部20は、第1記憶部11からネットワーク構成データを取得し、このネットワーク構成データと第2記憶部12から取得された学習用入力データと学習用正解データとによっての示すネットワーク構成を有するニューラルネットワーク型の学習モデルについて学習処理を行う。具体的には、学習部20は、第2記憶部12から学習用入力データ(言い換えると学習用データ)及び学習用正解データを取得し、学習用入力データを学習モデルに入力することにより得られた出力データと学習用正解データとの差分を用いて学習モデルのパラメータすなわちノードの重みを更新する。パラメータの更新が完了すると、学習部20は、学習後の学習モデル(以下、学習済みモデルとも称する。)を出力する。学習済みモデルのパラメータは、例えばニューラルネットワークの重みベクトル、バイアス値及びバッチ正規化のスケーリング値である。学習部20は、第1取得部の一例である。
さらに、学習部20は、後述する変更部50から取得される変更されたネットワーク構成データ及び分割後の正解データと、第2記憶部12から取得される学習用入力データと、を用いて学習モデルの再学習を実行する。学習部20は、再学習により得られた学習済みモデルを第3記憶部13に格納する。
軽量化部30は、学習部20から学習済みモデルを取得し、学習済みモデルの軽量化を行う。軽量化とは、学習済みモデルのパラメータの量子化である。例えば、パラメータの量子化とは、データ量を削減するために、浮動小数点で表現されるパラメータを、固定少数点で表現されるパラメータに変換することである。軽量化部30は、軽量化後の学習モデル(以下、軽量化済みモデルと言う。)を出力する。
ネットワーク解析部40は、軽量化済みモデルを軽量化部30から取得し、かつ、第2記憶部12から評価用入力データ及び評価用正解データを取得し、軽量化済みモデルの性能を解析する。具体的には、ネットワーク解析部40は、軽量化済みモデルに評価用入力データを入力して得られる出力データと、評価用正解データとの差分値を算出し、この差分値に基づいて性能を解析する。ネットワーク解析部40は、軽量化済みモデルの性能を示す解析結果である解析情報を出力する。ここで、差分値は、差分に対応する情報の一例である。差分値の大きさは、軽量化済みモデルの性能を意味する。つまり、差分値が小さいほど、軽量化済みモデルの性能が優れている。なお、軽量化済みモデルの性能は、軽量化済みモデルの、正確性の度合いである正確度を含む。なお、当該性能は、適合率(Precision)、再現率(Recall)、mAP(mean Average Precision)、AUC(Area Under the Curve)などであってもよい。また、学習モデルが画像を入力とする物体検出モデルである場合は、入力データは画像情報であり、出力データは物体検出結果である。ネットワーク解析部40は、第2取得部の一例である。
変更部50は、ネットワーク解析部40から解析情報を取得し、解析情報に応じて、回帰問題に割り当てられる学習モデルのノード数を変更する。学習モデルのノード数の変更は、回帰問題に対して割り当てるノード数を増加又は減少させることである。具体的には、変更部50は、出力層のノード数を変更する。例えば、出力層のノード数の変更は、ネットワーク内のノード配分の変更、又はネットワークへのノードの追加を含む。
変更部50は、解析情報に応じて学習モデルのノード数を変更するか否かを判定する。例えば、変更部50は、軽量化済みモデルの性能が所定の性能条件を満たすか否かを判定する。例えば、軽量化済みモデルの出力データの正確度が閾値未満であるか否かが判定される。ここで、正確度が閾値未満である場合は性能が所定条件を満たさない。
所定の性能条件が満たされると判定された場合、変更部50は、回帰問題の分割態様を決定し、回帰問題の分割態様に応じてノード数を変更する。
図2を用いて一例を挙げて説明する。図2は、実施の形態に係る情報処理システム1によるネットワークの変更を例示する模式図である。変更部50は、軽量化済みモデルの出力データの正確度が閾値未満であると判定すると、当該正確度が向上するように回帰問題の分割数を決定する。変更部50は、決定された分割数に応じて追加ノード数を決定する。例えば、変更部50は、回帰問題の分割数をnと決定すると、出力層の各ノードについてn−1個のノードを追加する。
例えば、変更部50は、出力層の各ノードにそれぞれ4ビットの精度(表現)が定められている場合で、8ビットの精度(表現)の出力データが求められているときに、出力層の各ノードについて1つのノードを追加する。例えば、元のノードは8ビットのうちの上位4ビットに対応し、追加ノードは下位4ビットに対応する。そして、変更部50は、ノード数が変更された学習モデルのネットワーク構成データを学習部20に出力する。
なお、変更部50は、制約条件に基づいてノード数を変更する。図1に示すように、変更部50は、第4記憶部14から変更時制約データを取得する。変更時制約データは、軽量化済みモデルが搭載されるコンピュータにおいて軽量化済みモデルに課される計算的制約の条件を示す。計算的制約の条件は、処理速度、演算量、及びメモリ量といったプロセッサ及びメモリなどのハードウェアの使用条件である。変更部50は、軽量化済みモデルが計算的制約の条件を満たす範囲で、学習モデルのノード数を変更する。変更後のノード数は、所望の性能によって下限が決定され、計算的制約の条件によって上限が決定される。
また、変更部50は、第2記憶部12から正解データを取得し、正解データを回帰問題の分割態様に応じて変更することにより、分割後の正解データを生成する。例えば、変更部50は、回帰問題の分割数がnに決定され、出力層の各ノードについてそれぞれn−1個のノードが追加される場合、変更後の正解データの精度表現をn倍にする。変更部50は、例えば正解データをn個のデータに分割することで正解データの精度表現をn倍にする。変更部50は、分割後の正解データを学習部20に出力する。
例えば、浮動小数点32ビット型の正解データをk個の回帰問題の分割態様として扱い、各ノード及び重みの精度表現が4ビットと定められている場合、浮動小数点32ビット型の正解データをk×4ビットの精度表現へと変換し,k個の正解データとして分割する。
第1記憶部11は、回帰問題を解くニューラルネットワーク型の学習モデルのネットワーク構成データを格納している。なお、変更されたネットワーク構成データも格納されてよい。
第2記憶部12は、学習モデルの学習処理又は性能評価に用いられる入力データ及び正解データを格納している。
なお、入力データは評価用入力データと学習用入力データを含み、正解データは評価用正解データと学習用正解データを含む。
第3記憶部13は、回帰問題分割後の再学習により得られた学習済みモデルを含む学習済みモデルを格納している。
なお、第4記憶部14は、変更時制約データを格納している。
[動作]
次に、本実施の形態における情報処理システム1の動作について説明する。
図3は、実施の形態に係る情報処理システム1の動作を例示するフロー図である。
図3に示すように、まず、学習部20は、第1記憶部11から取得されるネットワーク構成データの示すネットワーク構成を有するニューラルネットワーク型の学習モデルについて学習処理を実行する(S11)。学習部20は、学習済みモデルを軽量化部30に出力する。
次に、軽量化部30は、学習部20から学習済みモデルを取得し、この学習済みモデルの軽量化を行う(S12)。そして、軽量化部30は、このような軽量化済みモデルを、ネットワーク解析部40に出力する。
次に、ネットワーク解析部40は、軽量化済みモデルを軽量化部30から取得し、かつ、第2記憶部12から評価用入力データ及び評価用正解データを取得する。ネットワーク解析部40は、軽量化済みモデルに評価用入力データを入力して得られる出力データと評価用正解データとの差分値を算出する(S13)。ネットワーク解析部40は、この差分値に基づいて性能を解析する。ネットワーク解析部40は、軽量化済みモデルの性能を示す解析結果である解析情報を出力する。
差分値の算出について一例を挙げて説明する。ネットワーク解析部40は、軽量化済みモデルに画像情報(入力データの一例)を入力する。軽量化済みモデルでは、画像に映り込んでいる検出対象物の範囲(すなわち位置及び大きさ)が回帰問題を解くことで推定される。そして、ネットワーク解析部40は、軽量化済みモデルの推定結果(言い換えると物体検出結果)すなわち出力データを得る。ネットワーク解析部40は、軽量化済みモデルによる物体検出結果における検出対象物の範囲と、評価用正解データの検出対象物の範囲との差分値をそれぞれ算出する。そして、ネットワーク解析部40は、算出した差分値を変更部50に出力する。
次に、問題変換部50は、解析情報に応じて学習モデルの解く問題を変換するか否か、つまり、差分値が所定条件を満たすかどうかを判定する(S14)。差分値が所定条件を満たすかどうかの判定は、例えば、軽量化済みモデルの出力データの正確度が閾値以下であるかの判定である。
次に、差分値が所定条件を満たす場合(S14でYES)、変更部50は、ネットワーク解析部40から取得した解析情報に応じて、回帰問題の分割態様を決定し(S15)、回帰問題の分割態様に応じて学習モデルのノード数を変更する(S16)。具体的には、変更部50は、軽量化済みモデルの出力データの正確度が閾値未満であると判定すると、当該正確度が向上するように回帰問題の分割数を決定する。変更部50は、1つの回帰問題に対して割り当てる、出力層のノード数を変更する。
一例を挙げて説明すると、回帰問題に割り当てられる学習モデルのノード数を変更しない場合、つまり、1つの回帰問題に対して割り当てるノードを1つとする場合、学習済みモデルが4ビットで回帰問題を解くモデルに軽量化されるときは分解能が100/2=6.25となり、入力データとしての真値を67とすると軽量化済みモデルの推定値が68.75となる。なお、4ビットは一例でありこれには限定されず、機器の有する機能に依存する。しかし、1つの回帰問題に対して割り当てるノードを2つに増加させる場合、学習済みモデルが4ビットで回帰問題を解くモデルに軽量化されるときは分解能が100/28=0.390625となり、入力データとしての真値を67とすると軽量化済みモデルの推定値が67.1875となる。このような1つの回帰問題を解くためのノードを増やすことにより、出力データの高階調化を実現することができる。
また、ノード数の変更について説明すると、変更部50は、第4記憶部14から変更時制約データを取得し、軽量化済みモデルが搭載されるコンピュータにおいて軽量化済みモデルに課される計算的制約の条件を満たす範囲で、1つの回帰問題に対して割り当てるノード数を変更する。つまり、変更部50は、処理速度、演算量、及びメモリ量といったプロセッサ及びメモリなどのハードウェアの使用条件によって、1つの回帰問題に対して割り当てるノード数を決定する。そして、変更部50は、変更した学習モデルのネットワーク構成データを学習部20に出力する。
一方、差分値が所定条件を満たさない場合(S14でNO)、処理が終了する。
次に、変更部50は、第2記憶部12から正解データを取得し、正解データを回帰問題の分割態様に応じて変更することにより、分割後の正解データを生成する(S17)。変更部50は、分割後の正解データを学習部20に出力する。
次に、学習部20は、変更された学習モデルのネットワーク構成データ及び分割後の正解データと、第2記憶部12から取得される学習用入力データとを用いて学習モデルの学習処理を実行する(S18)。
学習部20は、問題分割後の学習により得られた学習済みモデルを含む学習済みモデルを第3記憶部13に格納する。
[効果等]
このように、この情報処理システム1では、学習モデルのノード数及び正解データを変更することにより、軽量化による影響すなわち分解能の低下の影響を抑制することができる。情報処理システム1は、例えば、回帰問題に対して割り当てられるノード数を増加させることにより、学習モデルの出力の分解能を向上させることができる。したがって、軽量化による学習モデルの性能低下を抑制することができる。
(他の実施の形態)
以上、本開示の1つ又は複数の態様に係る情報処理方法、及び情報処理システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の1つ又は複数の態様の範囲内に含まれてもよい。
例えば、上記実施の形態に係る情報処理方法、及び情報処理システムに含まれる各処理部は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本実施の形態は例示された数字に制限されない。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
以上、一つ又は複数の態様に係る情報処理方法、及び情報処理システムについて、実施の形態に基づいて説明したが、本開示の実施の形態は当該複数の態様に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。
本開示は、計算的制約が制限される組込機器に適用することができる。
1 情報処理システム
20 学習部(第1取得部)
30 軽量化部
40 ネットワーク解析部(第2取得部)
50 変更部

Claims (10)

  1. コンピュータを用いて、
    回帰問題を解くニューラルネットワーク型の学習モデルを取得し、
    入力データ及び前記入力データに対する正解データを取得し、
    前記学習モデルのネットワークの軽量化を行い、
    軽量化された学習モデルに前記入力データを入力して得られる出力データと前記正解データとを用いて算出される前記軽量化された学習モデルの性能を示す情報に応じて、前記回帰問題に割り当てられる前記学習モデルのノード数及び前記正解データを変更する
    情報処理方法。
  2. 前記ノード数の変更は、前記軽量化された学習モデルに要求される前記性能の条件を満たすように前記ノード数を変更することを含む
    請求項1に記載の情報処理方法。
  3. さらに、前記性能を示す情報が前記性能の条件を満たすか否かを判定し、
    前記性能を示す情報が前記性能の条件を満たさない場合、前記ノード数の変更は、ノードを追加することを含む
    請求項2に記載の情報処理方法。
  4. 前記ノード数の変更は、前記軽量化された学習モデルが計算的制約の条件を満たす範囲で前記ノード数を変更することを含む
    請求項1〜3のいずれか1項に記載の情報処理方法。
  5. 前記性能を示す情報は、前記出力データと前記正解データとの差分に対応する情報を含む
    請求項1〜4のいずれか1項に記載の情報処理方法。
  6. 前記軽量化は、計算精度の浮動小数点から固定少数点への変更に応じて前記学習モデルの重みを変更することを含む
    請求項1〜5のいずれか1項に記載の情報処理方法。
  7. 前記ノード数の変更は、前記学習モデルの出力層のノード数の増加を含む
    請求項1〜6のいずれか1項に記載の情報処理方法。
  8. 前記出力層のノード数の増加は、ノード配分の変更を含む
    請求項7に記載の情報処理方法。
  9. 前記正解データの変更は、前記性能を示す情報に応じて決定される前記回帰問題の分割態様に応じた変更を含む
    請求項1〜8のいずれか1項に記載の情報処理方法。
  10. 回帰問題を解くニューラルネットワーク型の学習モデルを取得する第1取得部と、
    入力データ及び前記入力データに対する正解データを取得する第2取得部と、
    前記学習モデルのネットワークの軽量化を行う軽量化部と、
    軽量化された学習モデルに前記入力データを入力して得られる出力データと前記正解データとを用いて算出される前記軽量化された学習モデルの性能を示す情報に応じて、前記回帰問題に割り当てられる前記学習モデルのノード数及び前記正解データを変更する変更部とを備える
    情報処理システム。
JP2018177762A 2018-01-29 2018-09-21 情報処理方法及び情報処理システム Active JP7107797B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19152927.0A EP3518153A1 (en) 2018-01-29 2019-01-22 Information processing method and information processing system
CN201910062261.9A CN110097183B (zh) 2018-01-29 2019-01-23 信息处理方法以及信息处理系统
US16/257,160 US11100321B2 (en) 2018-01-29 2019-01-25 Information processing method and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862623139P 2018-01-29 2018-01-29
US62/623,139 2018-01-29

Publications (2)

Publication Number Publication Date
JP2019133627A true JP2019133627A (ja) 2019-08-08
JP7107797B2 JP7107797B2 (ja) 2022-07-27

Family

ID=67546339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018177762A Active JP7107797B2 (ja) 2018-01-29 2018-09-21 情報処理方法及び情報処理システム

Country Status (1)

Country Link
JP (1) JP7107797B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021043862A (ja) * 2019-09-13 2021-03-18 キヤノン株式会社 情報処理装置、学習方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02238560A (ja) * 1989-03-13 1990-09-20 Sharp Corp 自己拡張形ニユーラル・ネットワーク
US20040059695A1 (en) * 2002-09-20 2004-03-25 Weimin Xiao Neural network and method of training
JP2018010618A (ja) * 2016-05-03 2018-01-18 イマジネイション テクノロジーズ リミテッド 畳み込みニューラルネットワークハードウエア構成

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02238560A (ja) * 1989-03-13 1990-09-20 Sharp Corp 自己拡張形ニユーラル・ネットワーク
US20040059695A1 (en) * 2002-09-20 2004-03-25 Weimin Xiao Neural network and method of training
JP2018010618A (ja) * 2016-05-03 2018-01-18 イマジネイション テクノロジーズ リミテッド 畳み込みニューラルネットワークハードウエア構成

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021043862A (ja) * 2019-09-13 2021-03-18 キヤノン株式会社 情報処理装置、学習方法およびプログラム

Also Published As

Publication number Publication date
JP7107797B2 (ja) 2022-07-27

Similar Documents

Publication Publication Date Title
CN110689109B (zh) 神经网络方法和装置
EP3474194B1 (en) Method and apparatus with neural network parameter quantization
CN108701250B (zh) 数据定点化方法和装置
CN111652368B (zh) 一种数据处理方法及相关产品
JP7013143B2 (ja) 畳み込みニューラルネットワークハードウエア構成
JP7091209B2 (ja) 情報処理方法及び情報処理システム
Lou et al. Dynamic-ofa: Runtime dnn architecture switching for performance scaling on heterogeneous embedded platforms
KR20160143548A (ko) 인공 신경 네트워크를 자동으로 조정하는 방법 및 장치
TW202234236A (zh) 用以最佳化邊緣網路中的資源之方法、系統、製品及設備
EP3528181B1 (en) Processing method of neural network and apparatus using the processing method
US11861467B2 (en) Adaptive quantization for execution of machine learning models
WO2014199920A1 (ja) 予測関数作成装置、予測関数作成方法、及びコンピュータ読み取り可能な記録媒体
CN113112013A (zh) 针对分辨率降低的神经网络的优化量化
US20220092399A1 (en) Area-Efficient Convolutional Block
WO2020075433A1 (ja) ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、およびニューラルネットワーク処理プログラム
JP2022512211A (ja) 画像処理方法、装置、車載演算プラットフォーム、電子機器及びシステム
CN110097184B (zh) 信息处理方法以及信息处理系统
JP7107797B2 (ja) 情報処理方法及び情報処理システム
CN110097183B (zh) 信息处理方法以及信息处理系统
CN114830137A (zh) 用于生成预测模型的方法和系统
US20220405561A1 (en) Electronic device and controlling method of electronic device
US20230058500A1 (en) Method and machine learning system to perform quantization of neural network
CN114819051A (zh) 用于执行神经网络计算的模拟电路的校准方法及装置
CN111767204B (zh) 溢出风险检测方法、装置及设备
US20230185527A1 (en) Method and apparatus with data compression

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220714

R150 Certificate of patent or registration of utility model

Ref document number: 7107797

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150