JP2022083884A - 修正対象エッジ決定方法および修正対象エッジ決定プログラム - Google Patents

Abstract

【課題】改善につながったエッジ群の重みはそのまま活かしつつ、退行につながったエッジ群の重みのみを修正対象とする。【解決手段】第二の世代の訓練済み機械学習モデルに含まれる各エッジのうち、第二の世代より前の第一の世代の訓練済み機械学習モデル含まれる各エッジと重みが異なるエッジを変更エッジ群として抽出する処理と、変更エッジ群について、退行が発生したテストデータである退行テストデータの出力に影響を与えた第一のエッジ分類と、改善が発生したテストデータである改善テストデータの出力に影響を与えた第二のエッジ分類とに分類する処理と、第一のエッジ分類に含まれる第一エッジ群から、第二のエッジ分類に含まれる第二エッジ群を差し引いた第三エッジ群を修正対象と特定する処理とを備える。【選択図】図１

Description

本発明は、修正対象エッジ決定方法および修正対象エッジ決定プログラムに関する。

ディープニューラルネットワーク（Deep Neural Network：ＤＮＮ）等の機械学習モデルを用いたシステムにおいて、ユーザに好ましくない出力が発生した場合に、機械学習モデルの修正を行なう場合がある。以下、ＤＮＮの機械学習モデルをＤＮＮモデルという場合がある。

例えば、カメラを用いた自動運転システムにおいて、一時停止の道路標識を速度制限として認識した場合には、事故を起こす可能性があるので正しく認識されるようにＤＮＮモデルを修正する必要がある。
ＤＮＮモデルは、仕様に従って作るのではなく、入力された訓練データに従って作られる。そのため、その修正も訓練データを入力することで行なう。

特開平９－１２８３５８号公報

しかしながら、このような従来の訓練データを用いたＤＮＮモデルの修正手法においては、修正に必要なデータを収集する必要があるが、収集したデータにより必ずしも誤りを修正できるとは限らない。

すなわち、再訓練を行なうことで、再訓練前は正しく推論していたデータに対して、再訓練後に誤った推論を行なう可能性があり、デグレード（degrade）が生じるおそれがある。デグレードは、ＣＡＣＥ (Changing Anything Changes Everything) の原理により生じる。

１つの側面では、本発明は、改善につながったエッジ群の重みはそのまま活かしつつ、退行につながったエッジ群の重みのみを修正対象とすることを目的とする。

このため、この修正対象エッジ決定方法は、情報処理装置がニューラルネットワークモデルに含まれるエッジのうち、修正対象とするエッジを決定するに際して、第二の世代の訓練済み機械学習モデルに含まれる各エッジのうち、前記第二の世代より前の第一の世代の訓練済み機械学習モデルに含まれる前記各エッジと重みが異なるエッジを変更エッジ群として抽出する処理と、前記変更エッジ群について、退行が発生したテストデータである退行テストデータの出力に影響を与えた第一のエッジ分類と、改善が発生したテストデータである改善テストデータの出力に影響を与えた第二のエッジ分類とに分類する処理と、前記第一のエッジ分類に含まれる第一エッジ群から、前記第二のエッジ分類に含まれる第二エッジ群を差し引いた第三エッジ群を修正対象と特定する処理とを備える。

一実施形態によれば、改善につながったエッジ群の重みはそのまま活かしつつ、退行につながったエッジ群の重みのみを修正対象とすることができる。

実施形態の一例としての情報処理装置の構成を模式的に示す図である。 実施形態の一例としての情報処理装置におけるモデル訓練部の処理を説明するための図である。 実施形態の一例としての情報処理装置における改善テストデータおよび退行テストデータを説明するための図である。 実施形態の一例としての情報処理装置における重み差分測定部による処理を説明するための図である。 実施形態の一例としての情報処理装置における重み影響測定部による処理を説明するための図である。 実施形態の一例としての情報処理装置における重み影響測定部による処理を説明するための図である。 実施形態の一例としての情報処理装置における選択重み個数決定部による処理を説明するための図である。 実施形態の一例としての情報処理装置における修正対象重み特定部の処理を説明するための図である。 実施形態の一例としての情報処理装置における修正対象重み特定部の処理を説明するための図である。 実施形態の一例としての情報処理装置における修正対象重み特定部による修正対象重みの選択方法を例示する図である。 実施形態の一例としての情報処理装置における処理を説明するためのフローチャートである。 実施形態の一例としての情報処理装置における処理を説明するためのフローチャートである。 実施形態の一例としての情報処理装置におけるシミュレーション結果を例示する図である。 実施形態の一例としての情報処理装置のハードウェア構成を例示する図である。

以下、図面を参照して本修正対象エッジ決定方法および修正対象エッジ決定プログラムにかかる実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。

（Ａ）構成
図１は実施形態の一例としての情報処理装置１の構成を模式的に示す図である。

情報処理装置１は、訓練済みのＤＮＮモデル（機械学習モデル）の修正を行なうモデル修正機能を実現する。訓練済みのＤＮＮモデルは訓練済み機械学習モデルである。情報処理装置１は、図１に示すように、モデル訓練部１０１，テストデータ分類部１０２，重み差分測定部１０３，重み影響測定部１０４，選択重み個数決定部１０５および修正対象重み特定部１０６としての機能を備える。
モデル訓練部１０１は、訓練対象であるＤＮＮモデルに対して訓練データを入力することで訓練（再訓練）を行なう。
図２は実施形態の一例としての情報処理装置１におけるモデル訓練部１０１の処理を説明するための図である。
モデル訓練部１０１には、訓練データと訓練前のＤＮＮモデルとが入力される。訓練データは、例えば、入力データと訓練ラベル（正解データ）とを備える。

ＤＮＮは、例えば、画像や音声などの入力データを入力層に入力し、畳み込み層やプーリング層などで構成される隠れ層にて所定の計算を順次実行することで、演算により得られる情報を入力側から出力側に順次伝えるフォーワッド方向の処理（順伝播処理）を実行する。各層においては、ノードがエッジで結合されている。また、エッジは重みを有する。

モデル訓練部１０１は、フォーワッド方向の処理の実行後、出力層から出力される出力データと正解データとから得られる誤差関数の値を小さくするために、フォーワッド方向の処理で使用するパラメータを決定するバックワード方向の処理（逆伝播処理）を実行する。そして、逆伝播処理の結果に基づいて重み（変数）を更新する更新処理が実行される。例えば、逆伝播処理の計算に使用される重みの更新幅を決定するアルゴリズムとして、勾配降下法を用いてもよい。以下、ＤＮＮモデルを単にモデルという場合がある。

モデル訓練部１０１は、訓練前のＤＮＮモデル（訓練前モデル）と、訓練後のＤＮＮモデル（訓練後モデル）との各情報を記憶装置１３（図１４参照）等の記憶領域に記憶させる。モデル訓練部１０１が、同一のＤＮＮモデルに対して複数回（n回）の訓練を行なうことで、n世代分のＤＮＮモデルの情報が記憶装置１３等に記憶される。記憶されるＤＮＮモデルの情報には重みも含まれる。従って、モデル訓練部１０１は、記憶装置１３等に、訓練時のk世代前のモデルの重みを保存させる。

以下、複数世代のＤＮＮモデルのうち最新世代のＤＮＮモデルを現世代モデルという場合がある。また、現世代モデルよりも前の世代（旧世代）のＤＮＮモデルを前世代モデルという場合がある。現世代モデルをn世代目モデルという場合があり、符号M_nで表す場合がある。また、n世代目モデルよりもk世代前の前世代モデルをn-k世代目モデルという場合があり、符号M_n-kで表す場合がある。なお、nは２以上の自然数であり、kは１以上の自然数である。また、k＜nである。

最新世代（現世代，n世代）が第二の世代に相当し、n世代目ＤＮＮモデルが第二の世代の訓練済み機械学習モデルに相当する。また、旧世代（n-k世代）が第一の世代に相当し、n-k世代目ＤＮＮモデルが第一の世代の訓練済み機械学習モデルに相当する。

そして、本情報処理装置１においては、ＤＮＮ（ニューラルネットワークモデル）に含まれるエッジのうち、修正対象とするエッジを決定する、修正対象エッジ決定機能を実現する。
テストデータ分類部１０２は、改善テストデータおよび退行テストデータの収集を行なう。
図３は実施形態の一例としての情報処理装置１における改善テストデータおよび退行テストデータを説明するための図である。

この図３においては、n-k世代目のＤＮＮモデルとn世代目のＤＮＮモデルとのそれぞれに対して、ラベル“ネコ”および“イヌ”を入力データとして入力した例を示す。

図３に示す例において、ラベル“イヌ”は、n-k世代目のＤＮＮモデルに入力することで間違った推定結果“ネコ”が得られたが（推定失敗）、n世代目のＤＮＮモデルに入力した場合には正しい推定結果“イヌ”が得られた（推定成功）。すなわち、ＤＮＮモデルの修正が正しく行なわれたことを示す（符号Ｐ１参照）。このようなＤＮＮモデルの修正により正しく推定がされるようになったテストデータを改善テストデータという場合がある。テストデータ“イヌ”は、改善テストデータである。
テストデータ分類部１０２は、ＤＮＮモデルM_nでテストデータを評価し、成功するテストデータの集合X_pos,nを集める

テストデータ分類部１０２は、前世代（ここではn-k世代とする）のＤＮＮモデルM_n-kで失敗しているテストデータの集合X_neg,n-kと上述したX_pos,nとの共通集合X_neg,n-k∩X_pos,nを生成する。以下、この共通集合X_neg,n-k∩X_pos,nを改善テストデータX_impと表す場合がある。

一方、図３に示す例において、ラベル”ネコ”は、n-k世代目のＤＮＮモデルに入力することで正しい推定結果“ネコ”が得られたが（推定成功）、ｎ世代目のＤＮＮモデルに入力した場合には間違った推定結果“トラ”が得られた（推定失敗）。すなわち、ＤＮＮモデルの修正によりデグレード（性能低下）が発生したと見なされる（符号Ｐ２参照）。なお、デグレードをデグレという場合がある。このようなＤＮＮモデルの修正によりデグレが発生したテストデータを退行テストデータという場合がある。テストデータ“ネコ”は退行テストデータである。
テストデータ分類部１０２は、n世代目のＤＮＮモデルM_nでテストデータを評価し、失敗するテストデータの集合Ｘ_neg,nを集める。

テストデータ分類部１０２は、前世代（ここではn-k世代とする）のＤＮＮモデルM_n-kで成功しているテストデータの集合X_pos,n-kと上述したX_neg,nとの共通集合X_pos,n-k∩X_neg,nを生成する。以下、この共通集合X_pos,n-k∩X_neg,nを退行テストデータX_degと表す場合がある。

本情報処理装置１においては、前世代のＤＮＮモデルでの推論が成功していたデータは修正しやすいという第１の仮説と、修正前後における重みの差分がデグレおよび修正に影響を与えるという第２の仮説とを前提とするＤＮＮモデル修正を行なう。

テストデータ分類部１０２は、同一のテストデータをｎ－ｋ世代目モデルとｎ世代目モデルとのそれぞれに入力する。そして、ｎ－ｋ世代目モデルにおいて推定が成功し、ｎ世代目モデルにおいて推定が失敗した場合には、当該テストデータを退行テストデータと決定（分類）する。

一方、テストデータ分類部１０２は、ｎ－ｋ世代目モデルにおいて推定が失敗し、ｎ世代目モデルにおいて推定が成功した場合には、当該テストデータを改善テストデータと決定（分類）する。
テストデータ分類部１０２は、分類した改善テストデータおよび退行テストデータを記憶装置１３等の所定の記憶領域に記憶させる。

重み差分測定部１０３は、現世代モデルの重みと前世代モデルの重みとの重み差分を算出する。重み差分は、現世代モデルの重みから前世代モデルの重みを減算した値の絶対値をとった値である。

重み差分測定部１０３は、レイヤlにおける、n世代目のＤＮＮモデルにおける重みの集合とn-k世代目のＤＮＮモデルにおける重みの集合との差分の絶対値をとり、当該絶対値の大きい順に重みを並べたリストを生成する。
図４は実施形態の一例としての情報処理装置１における重み差分測定部１０３による処理を説明するための図である。

図４において、符号Ａは前世代（n-k世代目）のＤＮＮモデルの情報を、符号Ｂは現世代（n世代目）のＤＮＮモデルの情報を、それぞれ示す。図４に示す例においては、ＤＮＮモデルの情報はレイヤ，種類，重みおよび重みの数を備える

レイヤはレイヤを特定する識別情報であり、図４に示す例においては自然数が用いられている。種類はレイヤの種類であり、図４に示す例においては、Conv2DやDenseが用いられている。重みは、各レイヤにおいて用いられる重みの値であり、図４に示す例においては、１次元に平坦化している。重みの数は各レイヤに備えられる重みの数である。

また、各レイヤにおいて、各重みにはインデックスが設定されており、例えば、0，1，2，3，・・・のように自然数の連番がインデックスとして設定されている。図４に示す例において、例えば、レイヤ１の重み［0.053, 0.124,・・・,0.122］には、インデックス［0, 1, ・・・, 895］が設定されている。

すなわち、符号Ａで示すn-k世代目のＤＮＮモデルのレイヤ毎の各重み、および、符号Ｂで示すn世代目のＤＮＮモデルのレイヤ毎の各重みは、インデックス順に並べられている。

また、図４において、符号Ｃは重み差分情報を示す。この符号Ｃで示す重み差分情報は、レイヤ，重み差分および重みの数を備える。なお、図中、既述の項目と同じ項目は同様の内容を示しているので、その説明は省略する。また、以下、重み差分情報に符号２０１を付して重み差分情報２０１と表す場合がある。

重み差分は、符号Ｂで示したn世代目のＤＮＮモデルの各レイヤの各重みから、符号Ａで示したn-k世代目のＤＮＮモデルにおける同一レイヤの対応する各インデックスの重みを減算することで求められる。

例えば、n世代目のＤＮＮモデルのレイヤ1のインデックス1の重み“0.054”から、n-k世代目のＤＮＮモデルのレイヤ1のインデックス1の重み“0.053”を減算することで、レイヤ1のインデックス1の重み差分“0.001”が求められる。

重み差分情報２０１は、n世代目ＤＮＮモデルに含まれる各エッジのうち、n-k世代目ＤＮＮモデルに含まれる各エッジと重みが異なる複数のエッジ（変更エッジ群）を表す。従って、重み差分測定部１０３は、n世代目ＤＮＮモデルに含まれる各エッジのうち、n-k世代目ＤＮＮモデルに含まれる各エッジと重みが異なるエッジを変更エッジ群として抽出する処理を実行する。

また、図４において、符号Ｄは、符号Ｃで示した重み差分情報における重み差分を、その値が大きいものから順にソートしたインデックスリストを示す。以下、この重み差分情報における重み差分を、その値が大きいものから順にソートしたインデックスリストを重み差分順インデックスリスト２１０という場合がある。
重み差分順インデックスリスト２１０は、レイヤ，重み差分順ソート済みインデックス（index）および重みの数を備える。

重み差分順ソート済みインデックスは、符号Ｃで示した重み差分情報の重み差分を、値が大きいものから順に並べ変えるとともに、重み差分の値に代えて対応する重みのインデックスで表している。

これにより、重み差分順インデックスリスト２１０を参照することで、レイヤ毎に、ＤＮＮモデルの修正により生じた重みの変化量（重み差分）が大きい重みを容易に知ることができる。

重み影響測定部１０４は、ＤＮＮモデルによる退行テストデータおよび改善テストデータのそれぞれの出力を重みで微分することで、重みが出力に与える影響を測定する。
図５は実施形態の一例としての情報処理装置１における重み影響測定部１０４による処理を説明するための図である。
図５に示す例において、n世代目のＤＮＮモデルに退行テストデータが入力され、出力（推定結果）が得られる。
図５において、符号Ａはn世代目のＤＮＮモデルのレイヤ毎の重みを例示し、符号Ｂはその出力を例示する。

重み影響測定部１０４は、ＤＮＮモデルの出力を重みを用いて自動微分することで、各重みの値が出力に与える影響（影響度）を算出する。以下、退行テストデータに基づいて算出される重みの影響度を退行影響度という場合がある。重み影響測定部１０４は、退行影響度を、退行テストデータX_degをn世代モデルに入力したときの出力Y_degを、重みW_nで自動微分することで算出する。レイヤlにおける退行影響度は、以下の式で表される。

図５において符号Ｃは退行影響度情報を示す。図５に例示する退行影響度情報は、レイヤ，出力に対する重みの影響度および重みの数を備える。

出力に対する重みの影響度は、ＤＮＮモデルにおけるレイヤ毎に算出され、同一のレイヤの重みの各値に対してそれぞれ算出される。図５に示す例においては、例えば、レイヤ１の重み［0.053, 0.124,・・・,0.122］に対して、出力に対する重みの影響度として［0.001, 0.002, ・・・, -0.004］がそれぞれ算出されている。また、以下、退行影響度情報に符号２０２を付して退行影響度情報２０２と表す場合がある。
また、重み影響測定部１０４は、レイヤ毎に、出力に対する影響度が大きいものから順に重みを並び替えたインデックスリストを生成する。
図５において、符号Ｄは、退行影響度順にインデックスをソートしたインデックスリストを示す。
以下、重みの退行影響度を、その値が大きいものから順にソートしたインデックスリストを退行影響度順インデックスリスト２２０という場合がある。

退行影響度順インデックスリスト２２０は、符号Ｃで示した退行影響度情報における出力に対する重みの影響度の値が大きいものから順にソートしたインデックスリストを示す。この退行影響度順インデックスリスト２２０は、レイヤ，退行影響度順ソート済みインデックス（index）および重みの数を備える。

そして、退行影響度順ソート済みインデックスは、符号Ｃで示した退行影響度情報２０２の出力に対する重みの影響度を、値が大きいものから順に並べ変えるとともに、影響度の値に代えて対応する重みのインデックスで表している。

これにより、退行影響度順インデックスリスト２２０を参照することで、レイヤ毎に、ＤＮＮモデルにおける出力に対する影響度が高い重みを容易に知ることができる。

図６は実施形態の一例としての情報処理装置１における重み影響測定部１０４による処理を説明するための図である。
図６に示す例において、n世代目のＤＮＮモデルに改善テストデータが入力され、出力（推定結果）が得られる。
図６において、符号Ａはn世代目のＤＮＮモデルのレイヤ毎の重みを例示し、符号Ｂはその出力を例示する。

重み影響測定部１０４は、ＤＮＮモデルの出力を重みを用いて自動微分することで、各重みの値が出力に与える影響（影響度）を算出する。以下、改善テストデータに基づいて算出される重みの影響度を改善影響度という場合がある。レイヤlにおける改善影響度は、以下の式で表される。

図６において符号Ｃは改善影響度情報を示す。図６に例示する改善影響度情報は、レイヤ，出力に対する重みの影響度および重みの数を備える。

出力に対する重みの影響度は、ＤＮＮモデルにおけるレイヤ毎に算出され、同一のレイヤの重みの各値に対してそれぞれ算出される。図６に示す例においては、例えば、レイヤ１の重み［0.053, 0.124,・・・,0.122］に対して、出力に対する重みの影響度として［0.001, 0.002, ・・・, -0.004］がそれぞれ算出されている。また、以下、改善影響度情報に符号２０３を付して改善影響度情報２０３と表す場合がある。
また、重み影響測定部１０４は、レイヤ毎に、出力に対する影響度が大きいものから順に重みを並び替えたインデックスリストを生成する。
図６において、符号Ｄは、影響度順にインデックスをソートしたインデックスリストを示す。
以下、重みの改善影響度を、その値が大きいものから順にソートしたインデックスリストを改善影響度順インデックスリスト２３０という場合がある。

改善影響度順インデックスリスト２３０は、符号Ｃで示した改善影響度情報における出力に対する重みの影響度の値が大きいものから順にソートしたインデックスリストを示す。この改善影響度順インデックスリスト２３０は、レイヤ，改善影響度順ソート済みインデックス（index）および重みの数を備える。

そして、改善影響度順ソート済みインデックスは、符号Ｃで示した改善影響度情報の出力に対する重みの影響度を、値が大きいものから順に並べ変えるとともに、影響度の値に代えて対応する重みのインデックスで表している。

これにより、改善影響度順インデックスリスト２３０を参照することで、レイヤ毎に、ＤＮＮモデルにおける出力に対する影響度が高い重みを容易に知ることができる。

選択重み個数決定部１０５は、重み差分情報２０１，退行影響度情報２０２および改善影響度情報２０３に基づいてレイヤ毎に選択重み個数を決定する。
図７は実施形態の一例としての情報処理装置１における選択重み個数決定部１０５による処理を説明するための図である。

図７において、符号Ａは重み差分情報２０１を示す。選択重み個数決定部１０５は、重み差分情報２０１に基づき、レイヤ毎に重み差分の平均値を算出する。レイヤ毎の重み差分の平均は、以下のように表わされる。

さらに、選択重み個数決定部１０５は、算出したレイヤ毎の重み差分の平均値を全レイヤの合計が１となるように正規化する。正規化した重み差分の平均は以下のように表すことができる。

図７においては、正規化した各レイヤの重み差分の平均の例を符号Ｂに示す。
選択重み個数決定部１０５は、算出したレイヤ毎の正規化した重み差分の平均を記憶装置１３等の所定の記憶領域に記憶させる。

また、図７において、符号Ｃは退行影響度情報２０２を示す。選択重み個数決定部１０５は、退行影響度情報２０２に基づき、レイヤ毎に退行影響度（出力に対する重みの影響度）の平均値を算出する。レイヤ毎の退行影響度の平均は、以下のように表わされる。

さらに、選択重み個数決定部１０５は、算出したレイヤ毎の退行影響度の平均値を正規化する。正規化した退行影響度の平均は以下のように表すことができる。

図７においては、正規化した各レイヤの退行影響度の平均の例を符号Ｄに示す。
選択重み個数決定部１０５は、算出したレイヤ毎の正規化した退行影響度の平均を記憶装置１３等の所定の記憶領域に記憶させる。

また、図７において、符号Ｅは改善影響度情報２０３を示す。選択重み個数決定部１０５は、改善影響度情報２０３に基づき、レイヤ毎に改善影響度（出力に対する重みの影響度）の平均値を算出する。レイヤ毎の改善影響度の平均は、以下のように表される。

さらに、選択重み個数決定部１０５は、算出した各レイヤの平均値を正規化する。正規化した改善影響度の平均は以下のように表すことができる。

図７においては、正規化した各レイヤの改善影響度の平均の例を符号Ｆに示す。
選択重み個数決定部１０５は、算出したレイヤ毎の正規化した改善影響度の平均を記憶装置１３等の所定の記憶領域に記憶させる。

選択重み個数決定部１０５は、これらの、正規化した、重み差分の平均，退行影響度の平均および改善影響度の平均に基づき、以下の式（１）を用いて、レイヤ毎の疑惑値suspを算出する。

図７においては、正規化した各レイヤの疑惑値の例を符号Ｇに示す。
選択重み個数決定部１０５は、算出したレイヤ毎の疑惑値suspを記憶装置１３等の所定の記憶領域に記憶させる。

選択重み個数決定部１０５は、疑惑値suspに基づいて各レイヤにおいて修正対象として選択する重みの個数を決定する。選択重み個数決定部１０５は、以下の式（２）を用いて、レイヤ毎の選択重み個数を決定する。

図７においては、算出した各レイヤの選択重み個数の例を符号Ｈに示す。
修正対象重み特定部１０６は、レイヤ毎に修正対象とする重みを決定（特定）する。
図８は実施形態の一例としての情報処理装置１における修正対象重み特定部１０６の処理を説明するための図である。

修正対象重み特定部１０６は、重み差分順インデックスリスト２１０に基づき、各レイヤについて、重み差分ソート済みインデックスの上位から選択重み個数分のインデックスを選択する。以下、重み差分ソート済みインデックスから選択された、選択重み個数分の上位のインデックスを重み差分上位インデックスという場合がある。重み差分上位インデックスは、前世代（n-k世代目）のＤＮＮモデルとの重みの差分が大きい重みの集合である。図８の符号Ａに、重み差分上位インデックスの例を示す。

修正対象重み特定部１０６は、選択した重み差分上位インデックスを記憶装置１３等の所定の記憶領域に記憶させる。

また、修正対象重み特定部１０６は、退行影響度順インデックスリスト２２０に基づき、各レイヤについて、退行影響度順ソート済みインデックスの上位から選択重み個数分のインデックスを選択する。以下、退行影響度順ソート済みインデックスから選択された、選択重み個数分の上位のインデックスを退行影響度上位インデックスという場合がある。退行影響度上位インデックスは、退行テストデータの影響が大きい重みの集合である。図８の符号Ｂに、退行影響度上位インデックスの例を示す。

退行影響度上位インデックスは、退行テストデータの出力に影響を与えた第一のエッジ分類に相当する。従って、修正対象重み特定部１０６は、各レイヤにおけるエッジ（重み）を、退行テストデータの出力に影響を与えた第一のエッジ分類に分類する処理を実行する。
そして、修正対象重み特定部１０６は、退行影響度が大きいエッジを優先して第一のエッジ分類とする。
修正対象重み特定部１０６は、選択した退行影響度上位インデックスを記憶装置１３等の所定の記憶領域に記憶させる。

さらに、修正対象重み特定部１０６は、改善影響度順インデックスリスト２３０に基づき、各レイヤについて、改善影響度順ソート済みインデックスの上位から選択重み個数分のインデックスを選択する。以下、改善影響度順ソート済みインデックスから選択された、選択重み個数分の上位のインデックスを改善影響度上位インデックスという場合がある。改善影響度上位インデックスは、改善テストデータの影響が大きい重みの集合である。図８の符号Ｃに、改善影響度上位インデックスの例を示す。

改善影響度上位インデックスは、改善テストデータの出力に影響を与えた第二のエッジ分類に相当する。従って、修正対象重み特定部１０６は、各レイヤにおけるエッジ（重み）を、改善テストデータの出力に影響を与えた第二のエッジ分類に分類する処理を実行する。
そして、修正対象重み特定部１０６は、改善影響度が大きいエッジを優先して第二のエッジ分類とする。
修正対象重み特定部１０６は、選択した改善影響度上位インデックスを記憶装置１３等の所定の記憶領域に記憶させる。

そして、修正対象重み特定部１０６は、Fault Localizationにおいて、前世代のＤＮＮモデルとの重みの差分が大きい重みのうち、退行テストデータの影響が大きく、かつ、改善テストデータの影響が小さいものを修正対象重みとして選択する。

すなわち、修正対象重み特定部１０６は、「前世代と重みの差分が大きい重みの集合」と「退行テストデータの影響の大きい重みの集合」との積集合（∩）に対して、「改善テストデータの影響の大きい重みの集合」の差集合（＼）をとることで、修正対象重みを特定する。
図９は実施形態の一例としての情報処理装置１における修正対象重み特定部１０６の処理を説明するための図である。

図９において、符号Ａは「前世代（n-k）と重みの差分が大きい重みの集合」を示し、符号Ｂは「退行テストデータの影響の大きい重みの集合」を示す。また、符号Ｃは「改善テストデータの影響の大きい重みの集合」を示す。

例えば、あるレイヤに関して、「前世代と重みの差分が大きい重みの集合」の重み要素が｛w1, w2, w3, w4, w5｝であり、「退行テストデータの影響の大きい重みの集合」の重み要素が｛w1, w2, w3｝であり、「改善テストデータの影響の大きい重みの集合」の重み要素が｛w2, w4｝であるとする。このような場合には、重み要素｛w1, w3｝が修正対象の重みとして選択される。

なお、重みの差分が大きい重みや、退行テストデータの影響の大きい重み，改善テストデータの影響の大きい重みとは、重み差分や影響度の値でソートを行なった場合の上位の所定個数（選択重み個数）の重みである。

図１０は実施形態の一例としての情報処理装置１における修正対象重み特定部１０６による修正対象重みの選択方法を例示する図である。
この図１０においては、レイヤ１における修正対象重みを修正対象重み特定部１０６が特定（選択）する例を示す。

図１０において、符号Ａは重み差分順インデックスリスト２１０から抽出された重み差分上位インデックスを示し、符号Ｂは退行影響度順インデックスリスト２２０から抽出された退行影響度上位インデックスを示す。また、符号Ｃは改善影響度順インデックスリスト２３０から抽出された改善影響度上位インデックスを示す。

修正対象重み特定部１０６は、重み差分上位インデックスと退行影響度上位インデックスとの積集合をとる。すなわち、修正対象重み特定部１０６は、重み差分上位インデックスと退行影響度上位インデックスとの両方にあるインデックス“77”，“572”を抽出する（符号Ｐ１参照）。

次に、修正対象重み特定部１０６は、重み差分上位インデックスと退行影響度上位インデックスとの積集合に対して、改善影響度上位インデックスの差集合をとる。すなわち、修正対象重み特定部１０６は、重み差分上位と退行影響度上位であっても改善影響度上位にあればそのインデックス“287”は修正対象としない（符号Ｐ２参照）。
これにより、修正対象重み特定部１０６は、レイヤ１の修正対象重みとしてインデックス“77”，“572”の重みを選択する（符号Ｄ参照）。

このように、修正対象重み特定部１０６は、退行影響度上位インデックス（第一のエッジ分類）に含まれる第一エッジ群から、改善影響度上位インデックス（第二のエッジ分類）に含まれる第二エッジ群を差し引いた第三エッジ群を修正対象と特定する処理を実行する。

また、図１０に示すレイヤ毎の修正対象重みは、第一のエッジ分類に含まれるエッジ群（第一エッジ群）から、第二のエッジ分類に含まれるエッジ群（第二エッジ群）を差し引いたエッジ群（第三エッジ群，修正対象）に相当する。

このようにして出力されるW_localizeに対して、例えば、ＰＳＯ（Particle swarm optimization ）を用いて重み修正が行なわれる。なお、適応度（fitness）は以下の式を用いて求めてもよい。

なお、N_patchedは修正された失敗テストデータ数を示し、N_intactは成功のまま変わらない成功テストデータ数である。なお、ＰＳＯは既知の手法であり、その詳細な説明は省略する。
（Ｂ）動作

上述の如く構成された実施形態の一例としての情報処理装置１における処理を、図１１および図１２に示すフローチャート（ステップＳ１～Ｓ３４）に従って説明する。
なお、図１１はステップＳ１～Ｓ１４の処理を示し、図１２はステップＳ１５～Ｓ３４の処理を示す。

図１１のステップＳ１において、モデル訓練部１０１は、ＤＮＮモデルに対して訓練データを入力することで訓練を行なう。モデル訓練部１０１は、n世代目のＤＮＮモデルとn-k世代目のＤＮＮモデルとの情報を記憶装置１３等に記録させる。

図１１のステップＳ２では、全てのテストデータに対して、図１１のステップＳ７までの制御を繰り返し実施するループ処理を開始する。なお、xはテストデータを識別する変数である。
図１１のステップＳ３において、テストデータ分類部１０２は、テストデータxをn-k世代目のＤＮＮモデルとn世代目のＤＮＮモデルとに入力する。

図１１のステップＳ４において、テストデータ分類部１０２は、テストデータxが、n-k世代目のＤＮＮモデルで推定が成功し、且つ、n世代目のＤＮＮモデルで推定が失敗したものであるかを確認する。この確認の結果、テストデータxが、n-k世代目のＤＮＮモデルで推定が成功し、且つ、n世代目のＤＮＮモデルで推定が失敗したものでない場合には（ＮＯルート参照）、図１１のステップＳ６に移行する。

また、ステップＳ４における確認の結果、テストデータxが、n-k世代目のＤＮＮモデルで推定が成功し、且つ、n世代目のＤＮＮモデルで推定が失敗したものである場合には（ステップＳ４のＹＥＳルート参照）、図１１のステップＳ５に移行する。ステップＳ５において、テストデータ分類部１０２は、テストデータxを退行テストデータに追加する。その後、ステップＳ６に移行する。

ステップＳ６において、テストデータ分類部１０２は、テストデータxが、n-k世代目のＤＮＮモデルで推定が失敗し、且つ、n世代目のＤＮＮモデルで推定が成功したものであるかを確認する。この確認の結果、テストデータxが、n-k世代目のＤＮＮモデルで推定が失敗し、且つ、n世代目のＤＮＮモデルで推定が成功したものでない場合（ステップＳ６のＮＯルート参照）、ステップＳ８に移行する。

また、ステップＳ６における確認の結果、テストデータxが、n-k世代目のＤＮＮモデルで推定が失敗し、且つ、n世代目のＤＮＮモデルで推定が成功したものである場合には（ステップＳ６のＹＥＳルート参照）、図１１のステップＳ７に移行する。ステップＳ７において、テストデータ分類部１０２は、テストデータxを改善テストデータに追加する。その後、処理はステップＳ８に移行する。

ステップＳ８では、ステップＳ２に対応するループ端処理が実施される。ここで、全テストデータについての処理が完了すると、制御が図１１のステップＳ９に進む。

ステップＳ９においては、重み差分測定部１０３が、n世代目のＤＮＮモデルにおける重みの集合とn-k世代目のＤＮＮモデルにおける重みの集合との差分の絶対値をとることで算出した重み差分を記憶装置１３等に記録する。
図１１のステップＳ１０において、重み差分測定部１０３は、重み差分の大きさ順に重みのインデックスをソートした重み差分順ソート済みインデクスリストを記憶装置１３等に記録する。

図１１のステップＳ１１において、重み影響測定部１０４が、退行テストデータX_degをn世代目モデルに入力したときの出力Y_degを重みW_nで自動微分することで退行影響度∂Y_deg/∂W_nを算出し、この算出した退行影響度を記憶装置１３等に記録する。

図１１のステップＳ１２において、重み影響測定部１０４は、退行影響度の大きさ順に重みのインデックスをソートした退行影響度順ソート済みインデックスリストを記憶装置１３等に記録する。

図１１のステップＳ１３において、重み影響測定部１０４が、改善テストデータX_impをn世代目モデルに入力したときの出力Y_impを重みW_nで自動微分することで改善影響度∂Y_imp/∂W_nを算出し、この算出した改善影響度を記憶装置１３等に記録する。

図１１のステップＳ１４において、重み影響測定部１０４は、改善影響度の大きさ順に重みのインデックスをソートした改善影響度順ソート済みインデックスリストを記憶装置１３等に記録する。
図１２のステップＳ１５では、ＤＮＮモデルにおける全てのレイヤlに対して、ステップＳ１８までの制御を繰り返し実施するループ処理を開始する。
図１２のステップＳ１６において、選択重み個数決定部１０５は、レイヤlの重み差分の平均を算出し、記憶装置１３等に記録する。
図１２のステップＳ１７において、選択重み個数決定部１０５は、レイヤlの退行影響度の平均を算出し、記憶装置１３等に記録する。
図１２のステップＳ１８において、選択重み個数決定部１０５は、レイヤlの改善影響度の平均を算出し、記憶装置１３等に記録する。

図１２のステップＳ１９では、ステップＳ１５に対応するループ端処理が実施される。ここで、全レイヤについての処理が完了すると、制御が図１２のステップＳ２０に進む。
ステップＳ２０では、ＤＮＮモデルにおける全てのレイヤlに対して、ステップＳ２５までの制御を繰り返し実施するループ処理を開始する。
図１２のステップＳ２１において、選択重み個数決定部１０５は、レイヤlの正規化した重み差分平均を算出し、記憶装置１３等に記録する。
図１２のステップＳ２２において、選択重み個数決定部１０５は、レイヤlの正規化した退行影響度平均を算出し、記憶装置１３等に記録する。
図１２のステップＳ２３において、選択重み個数決定部１０５は、レイヤlの正規化した改善影響度平均を算出し、記憶装置１３等に記録する。
図１２のステップＳ２４において、選択重み個数決定部１０５は、上記式（１）に基づき、レイヤlの疑惑値を算出する。

図１２のステップＳ２５において、選択重み個数決定部１０５は、疑惑値に基づいてレイヤlにおいて修正対象として選択する重みの個数を決定し、記憶装置１３等に記録する。

図１２のステップＳ２６では、ステップＳ２０に対応するループ端処理が実施される。ここで、全レイヤについての処理が完了すると、制御が図１２のステップＳ２７に進む。
ステップＳ２７では、ＤＮＮモデルにおける全てのレイヤlに対して、ステップＳ３２までの制御を繰り返し実施するループ処理を開始する。

図１２のステップＳ２８において、修正対象重み特定部１０６は、レイヤlに対して、重み差分順ソート済みインデックスの上位から選択重み個数の重みを選択した集合である重み差分上位インデックスを生成し、記憶装置１３等に記録する。

図１２のステップＳ２９において、修正対象重み特定部１０６は、レイヤlに対して、退行影響度順ソート済みインデックスの上位から選択重み個数分の重みを選択した集合である退行影響度上位インデックスを生成し、記憶装置１３等に記録する。

図１２のステップＳ３０において、修正対象重み特定部１０６は、レイヤlに対して、改善影響度順ソート済みインデックスの上位から選択重み個数分の重みを選択した集合である改善影響度上位インデックスを生成し、記憶装置１３等に記録する。

図１２のステップＳ３１において、修正対象重み特定部１０６は、レイヤlに対して、重み差分上位インデックス∩退行影響度上位インデックス＼改善影響度上位インデックスとなるインデックス集合を修正対象重みのインデックスとして生成し、記憶装置１３等に記録する。

図１２のステップＳ３２において、レイヤlに対して、修正対象重み特定部１０６は、修正対象重みのインデックスにより特定される重みを修正対象重みとして記録する。

図１２のステップＳ３３では、ステップＳ２７に対応するループ端処理が実施される。ここで、全レイヤlに対して処理が完了すると、制御がステップＳ３４に進む。

図１２のステップＳ３４において、修正対象重み特定部１０６は、全レイヤlにおいて記録された修正対象重みW_localizeを出力し、その後、処理を終了する。
そして、このように生成された修正対象重みW_localizeを対象として、例えば、ＰＳＯを用いて重み修正が行なわれる。
（Ｃ）効果

このように、実施形態の一例としての情報処理装置１によれば、修正対象重み特定部１０６が、各レイヤにおいて、退行影響度の上位且つ重み差分の上位に含まれ、且つ、改善影響度の上位に含まれない重みを修正対象重みとして選択する。これにより、退行が起こりにくい重みの修正を実現することができる。

すなわち、改善影響度が大きい重みが修正対象重みから除外されることで、改善につながったエッジ群の重みはそのまま活かされることとなる。その一方で、退行影響度が大きい重みが修正対象重みに含まれることで、退行につながったエッジ群の重みが修正対象に含まれる。従って、改善につながったエッジ群の重みはそのまま活かしつつ、退行につながったエッジ群の重みのみを修正対象とすることができる。
図１３は実施形態の一例としての情報処理装置１におけるシミュレーション結果を例示する図である。

この図１３においては、ＧＴＳＲＢ（The German Traffic Sign Recognition Benchmark）の交通標識の画像を対象データとして、本情報処理装置１による修正対象エッジ決定手法を従来手法（Arachne）と比較して表す。

この図１３に示すように、本情報処理装置１による修正対象エッジ決定手法によれば、十分なRepairRateの上でBreakRateを抑えることに成功していることがわかる。
（Ｄ）その他
図１４は実施形態の一例としての情報処理装置１のハードウェア構成を例示する図である。

情報処理装置１は、コンピュータであって、例えば、プロセッサ１１，メモリ１２，記憶装置１３，グラフィック処理装置１４，入力インタフェース１５，光学ドライブ装置１６，機器接続インタフェース１７およびネットワークインタフェース１８を構成要素として有する。これらの構成要素１１～１８は、バス１９を介して相互に通信可能に構成される。

プロセッサ（制御部）１１は、情報処理装置１全体を制御する。プロセッサ１１は、マルチプロセッサであってもよい。プロセッサ１１は、例えばＣＰＵ，ＭＰＵ（Micro Processing Unit），ＤＳＰ（Digital Signal Processor），ＡＳＩＣ（Application Specific Integrated Circuit），ＰＬＤ（Programmable Logic Device），ＦＰＧＡ（Field Programmable Gate Array）のいずれか一つであってもよい。また、プロセッサ１１は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのうちの２種類以上の要素の組み合わせであってもよい。

そして、プロセッサ１１が情報処理装置１用の制御プログラム（修正対象エッジ決定プログラム：図示省略）を実行することにより、図１に例示した、モデル訓練部１０１，テストデータ分類部１０２，重み差分測定部１０３，重み影響測定部１０４，選択重み個数決定部１０５および修正対象重み特定部１０６としての機能が実現される。

なお、情報処理装置１は、例えばコンピュータ読み取り可能な非一時的な記録媒体に記録されたプログラム（修正対象エッジ決定プログラム，ＯＳプログラム）を実行することにより、モデル訓練部１０１，テストデータ分類部１０２，重み差分測定部１０３，重み影響測定部１０４，選択重み個数決定部１０５および修正対象重み特定部１０６としての機能を実現する。

情報処理装置１に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、情報処理装置１に実行させるプログラムを記憶装置１３に格納しておくことができる。プロセッサ１１は、記憶装置１３内のプログラムの少なくとも一部をメモリ１２にロードし、ロードしたプログラムを実行する。

また、情報処理装置１（プロセッサ１１）に実行させるプログラムを、光ディスク１６ａ，メモリ装置１７ａ，メモリカード１７ｃ等の非一時的な可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１１からの制御により、記憶装置１３にインストールされた後、実行可能になる。また、プロセッサ１１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。

メモリ１２は、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含む記憶メモリである。メモリ１２のＲＡＭは情報処理装置１の主記憶装置として使用される。ＲＡＭには、プロセッサ１１に実行させるプログラムの少なくとも一部が一時的に格納される。また、メモリ１２には、プロセッサ１１による処理に必要な各種データが格納される。

記憶装置１３は、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）、ＳＳＤ（Solid State Drive）、ストレージクラスメモリ（Storage Class Memory：ＳＣＭ）等の記憶装置であって、種々のデータを格納するものである。記憶装置１３は、情報処理装置１の補助記憶装置として使用される。
記憶装置１３には、ＯＳプログラム，制御プログラムおよび各種データが格納される。制御プログラムには修正対象エッジ決定プログラムが含まれる。

なお、補助記憶装置としては、ＳＣＭやフラッシュメモリ等の半導体記憶装置を使用することもできる。また、複数の記憶装置１３を用いてＲＡＩＤ（Redundant Arrays of Inexpensive Disks）を構成してもよい。

記憶装置１３には、前世代モデルや現世代モデルの情報を格納してもよく、また、退行テストデータや改善テストデータを格納してもよい。さらに、記憶装置１３には、重み差分情報２０１，退行影響度情報２０２，改善影響度情報２０３，重み差分順インデックスリスト２１０，退行影響度順インデックスリスト２２０および改善影響度順インデックスリスト２３０の少なくとも一部を格納してもよい。また、記憶装置１３には、選択重み個数決定部１０５が決定したレイヤ毎の選択重み個数を格納してもよい。さらに、記憶装置１３には、重み差分上位インデックス，退行影響度上位インデックス，改善影響度上位インデックス，重み差分順ソート済みインデックスリスト，退行影響度順ソート済みインデックスリストおよび改善影響度順ソート済みインデックスリストのうちの少なくとも一部を記録させてもよい。

グラフィック処理装置１４には、モニタ１４ａが接続されている。グラフィック処理装置１４は、プロセッサ１１からの命令に従って、画像をモニタ１４ａの画面に表示させる。モニタ１４ａとしては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置等が挙げられる。

入力インタフェース１５には、キーボード１５ａおよびマウス１５ｂが接続されている。入力インタフェース１５は、キーボード１５ａやマウス１５ｂから送られてくる信号をプロセッサ１１に送信する。なお、マウス１５ｂは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル，タブレット，タッチパッド，トラックボール等が挙げられる。

光学ドライブ装置１６は、レーザ光等を利用して、光ディスク１６ａに記録されたデータの読み取りを行なう。光ディスク１６ａは、光の反射によって読み取り可能にデータを記録された可搬型の非一時的な記録媒体である。光ディスク１６ａには、ＤＶＤ（Digital Versatile Disc），ＤＶＤ－ＲＡＭ，ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等が挙げられる。

機器接続インタフェース１７は、情報処理装置１に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース１７には、メモリ装置１７ａやメモリリーダライタ１７ｂを接続することができる。メモリ装置１７ａは、機器接続インタフェース１７との通信機能を搭載した非一時的な記録媒体、例えばＵＳＢ（Universal Serial Bus）メモリである。メモリリーダライタ１７ｂは、メモリカード１７ｃへのデータの書き込み、またはメモリカード１７ｃからのデータの読み出しを行なう。メモリカード１７ｃは、カード型の非一時的な記録媒体である。

ネットワークインタフェース１８は、ネットワークに接続される。ネットワークインタフェース１８は、ネットワークを介してデータの送受信を行なう。ネットワークには他の情報処理装置や通信機器等が接続されてもよい。
なお、上述した実施形態に関わらず、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、上述した実施形態においては、ＤＮＮに適用した例を示しているが、これに限定されるものではなく、ＮＮに適用してもよい。
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。
（Ｅ）付記
以上の実施形態に関し、さらに以下の付記を開示する。

（付記１）
情報処理装置がニューラルネットワークモデルに含まれるエッジのうち、修正対象とするエッジを決定するに際して、
第二の世代の訓練済み機械学習モデルに含まれる各エッジのうち、前記第二の世代より前の第一の世代の訓練済み機械学習モデルに含まれる前記各エッジと重みが異なるエッジを変更エッジ群として抽出する処理と、
前記変更エッジ群について、退行が発生したテストデータである退行テストデータの出力に影響を与えた第一のエッジ分類と、改善が発生したテストデータである改善テストデータの出力に影響を与えた第二のエッジ分類とに分類する処理と、
前記第一のエッジ分類に含まれる第一エッジ群から、前記第二のエッジ分類に含まれる第二エッジ群を差し引いた第三エッジ群を修正対象と特定する処理と
を備えることを特徴とする、修正対象エッジ決定方法。

（付記２）
前記ニューラルネットワークのレイヤ毎に、前記抽出する処理と、前記分類する処理と前記特定する処理とを行なう
ことを特徴とする、付記１記載の修正対象エッジ決定方法。

（付記３）
前記抽出する処理において、
前記第二の世代の訓練済み機械学習モデルに含まれる各エッジのうち、前記第一の世代の訓練済み機械学習モデルに含まれる前記各エッジと重みが異なるエッジのうち、前記第二の世代の訓練済み機械学習モデルの重みと前記第一の世代の訓練済み機械学習モデルの重みとの差分が大きいエッジを優先して抽出する
ことを特徴とする、付記１または２に記載の修正対象エッジ決定方法。

（付記４）
前記分類する処理において、類前記退行テストデータを前記第二の世代の訓練済み機械学習モデルに入力して得られる出力を重みで微分して求める退行影響度が大きいエッジを優先して前記第一のエッジ分類とする
ことを特徴とする、付記１～３のいずれか１項に記載の修正対象エッジ決定方法。

（付記５）
前記分類する処理において、前記改善テストデータを前記第二の世代の訓練済み機械学習モデルに入力して得られる出力を重みで微分して求める改善影響度が大きいエッジを優先して前記第二のエッジ分類とする
ことを特徴とする、付記１～４のいずれか１項に記載の修正対象エッジ決定方法。

（付記６）
ニューラルネットワークモデルに含まれるエッジのうち、修正対象とするエッジを決定する情報処理装置のプロセッサに、
第二の世代の訓練済み機械学習モデルに含まれる各エッジのうち、前記第二の世代より前の第一の世代の訓練済み機械学習モデルに含まれる前記各エッジと重みが異なるエッジを変更エッジ群として抽出する処理と、
前記変更エッジ群について、退行が発生したテストデータである退行テストデータの出力に影響を与えた第一のエッジ分類と、改善が発生したテストデータである改善テストデータの出力に影響を与えた第二のエッジ分類とに分類する処理と、
前記第一のエッジ分類に含まれる第一エッジ群から、前記第二のエッジ分類に含まれる第二エッジ群を差し引いた第三エッジ群を修正対象と特定する処理と
を実行させることを特徴とする、修正対象エッジ決定プログラム。

（付記７）
前記プロセッサに、
前記ニューラルネットワークのレイヤ毎に、前記抽出する処理と、前記分類する処理と前記特定する処理と
を実行させることを特徴とする、付記６記載の修正対象エッジ決定プログラム。

（付記８）
前記プロセッサに、
前記第二の世代の訓練済み機械学習モデルに含まれる各エッジのうち、前記第一の世代の訓練済み機械学習モデルに含まれる前記各エッジと重みが異なるエッジのうち、前記第二の世代の訓練済み機械学習モデルの重みと前記第一の世代の訓練済み機械学習モデルの重みとの差分が大きいエッジを優先して抽出する
処理を実行させることを特徴とする、付記６または７に記載の修正対象エッジ決定プログラム。

（付記９）
前記プロセッサに、
前記退行テストデータを前記第二の世代の訓練済み機械学習モデルに入力して得られる出力を重みで微分して求める退行影響度が大きいエッジを優先して前記第一のエッジ分類とする
処理を実行させることを特徴とする、付記６～８のいずれか１項に記載の修正対象エッジ決定プログラム。

（付記１０）
前記プロセッサに、
前記改善テストデータを前記第二の世代の訓練済み機械学習モデルに入力して得られる出力を重みで微分して求める改善影響度が大きいエッジを優先して前記第二のエッジ分類とする
処理を実行させることを特徴とする、付記６～９のいずれか１項に記載の修正対象エッジ決定プログラム。

１ 情報処理装置
１１ プロセッサ（処理部）
１２ メモリ
１３ 記憶装置
１４ グラフィック処理装置
１４ａ モニタ
１５ 入力インタフェース
１５ａ キーボード
１５ｂ マウス
１６ 光学ドライブ装置
１６ａ 光ディスク
１７ 機器接続インタフェース
１７ａ メモリ装置
１７ｂ メモリリーダライタ
１７ｃ メモリカード
１８ ネットワークインタフェース
１８ａ ネットワーク
１９ バス
１０１ モデル訓練部
１０２ テストデータ分類部
１０３ 重み差分測定部
１０４ 重み影響測定部
１０５ 選択重み個数決定部
１０６ 修正対象重み特定部
２０１ 重み差分情報
２０２ 退行影響度情報
２０３ 改善影響度情報
２１０ 重み差分順インデックスリスト
２２０ 退行影響度順インデックスリスト
２３０ 改善影響度順インデックスリスト

Claims (6)

1. 情報処理装置がニューラルネットワークの機械学習モデルに含まれるエッジのうち、修正対象とするエッジを決定するに際して、
   第二の世代の訓練済み機械学習モデルに含まれる各エッジのうち、前記第二の世代より前の第一の世代の訓練済み機械学習モデルに含まれる前記各エッジと重みが異なるエッジを変更エッジ群として抽出する処理と、
   前記変更エッジ群について、退行が発生したテストデータである退行テストデータの出力に影響を与えた第一のエッジ分類と、改善が発生したテストデータである改善テストデータの出力に影響を与えた第二のエッジ分類とに分類する処理と、
   前記第一のエッジ分類に含まれる第一エッジ群から、前記第二のエッジ分類に含まれる第二エッジ群を差し引いた第三エッジ群を修正対象と特定する処理と
   を備えることを特徴とする、修正対象エッジ決定方法。
2. 前記ニューラルネットワークのレイヤ毎に、前記抽出する処理と、前記分類する処理と前記特定する処理とを行なう
   ことを特徴とする、請求項１記載の修正対象エッジ決定方法。
3. 前記抽出する処理において、
   前記第二の世代の訓練済み機械学習モデルに含まれる各エッジのうち、前記第一の世代の訓練済み機械学習モデルに含まれる前記各エッジと重みが異なるエッジのうち、前記第二の世代の訓練済み機械学習モデルの重みと前記第一の世代の訓練済み機械学習モデルの重みとの差分が大きいエッジを優先して抽出する
   ことを特徴とする、請求項１または２に記載の修正対象エッジ決定方法。
4. 前記分類する処理において、類前記退行テストデータを前記第二の世代の訓練済み機械学習モデルに入力して得られる出力を重みで微分して求める退行影響度が大きいエッジを優先して前記第一のエッジ分類とする
   ことを特徴とする、請求項１～３のいずれか１項に記載の修正対象エッジ決定方法。
5. 前記分類する処理において、前記改善テストデータを前記第二の世代の訓練済み機械学習モデルに入力して得られる出力を重みで微分して求める改善影響度が大きいエッジを優先して前記第二のエッジ分類とする
   ことを特徴とする、請求項１～４のいずれか１項に記載の修正対象エッジ決定方法。
6. ニューラルネットワークモデルに含まれるエッジのうち、修正対象とするエッジを決定する情報処理装置のプロセッサに、
   第二の世代の訓練済み機械学習モデルに含まれる各エッジのうち、前記第二の世代より前の第一の世代の訓練済み機械学習モデルに含まれる前記各エッジと重みが異なるエッジを変更エッジ群として抽出する処理と、
   前記変更エッジ群について、退行が発生したテストデータである退行テストデータの出力に影響を与えた第一のエッジ分類と、改善が発生したテストデータである改善テストデータの出力に影響を与えた第二のエッジ分類とに分類する処理と、
   前記第一のエッジ分類に含まれる第一エッジ群から、前記第二のエッジ分類に含まれる第二エッジ群を差し引いた第三エッジ群を修正対象と特定する処理と
   を実行させることを特徴とする、修正対象エッジ決定プログラム。
   

Images