JP2022057202A - プログラム，情報処理装置及び情報処理方法 - Google Patents

プログラム，情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP2022057202A
JP2022057202A JP2020165332A JP2020165332A JP2022057202A JP 2022057202 A JP2022057202 A JP 2022057202A JP 2020165332 A JP2020165332 A JP 2020165332A JP 2020165332 A JP2020165332 A JP 2020165332A JP 2022057202 A JP2022057202 A JP 2022057202A
Authority
JP
Japan
Prior art keywords
machine learning
learning model
data
specific data
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2020165332A
Other languages
English (en)
Inventor
優 安富
Masaru Yasutomi
友裕 早瀬
Tomohiro Hayase
孝 河東
Takashi Kato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2020165332A priority Critical patent/JP2022057202A/ja
Priority to EP21183685.3A priority patent/EP3979139A1/en
Priority to US17/368,890 priority patent/US20220101124A1/en
Publication of JP2022057202A publication Critical patent/JP2022057202A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

【課題】過去の訓練データに依存せずに学習済みモデルを修正可能とする。【解決手段】特定データを含む訓練データセットを用いて訓練された第１機械学習モデルＢ１と、特定データによる訓練が行なわれていない第２機械学習モデルＢ２とを取得し、特定データに対応するデータを入力した際の出力が第１機械学習モデルＢ１と第２機械学習モデルＢ２とで近づくように、第１機械学習モデルＢ１を再訓練する。【選択図】図４

Description

本発明は、プログラム，情報処理装置及び情報処理方法に関する。
回帰や分類等の問題を解く機械学習モデルとして、ディープニューラルネットワーク（ＤＮＮ）が知られている。
継続的学習は、ＤＮＮ等のモデルに順次データを与えていくことで、モデルの能力を増やして行くことを目的とするものである。或る学習済みＤＮＮが存在する場合に、この学習済みＤＮＮに新しい事項を学習させようと別のデータを学習させると、以前に学習していた内容はcatastrophic forgettingにより消えてしまうことがある。
そこで、catastrophic forgettingを防ぐための方法が多く議論されている。
Kirkpatrick, James, et al. "Overcoming catastrophic forgetting in neural networks." Proceedings of the national academy of sciences 114.13 (2017): 3521-3526.
しかしながら、継続的学習のためには、単にcatastrophic forgettingを防ぐだけでなく、学習済みの内容を選択的に忘れさせるべき場合もある。例えば、システムのバックドアによって特定の手段を用いて攻撃を行なうPoisoning等の攻撃を受けた場合には、プライバシー保護のために、特定ユーザの情報を消すことが想定される。また、患者情報が含まれる医療診断画像を学習した場合や、ナンバープレートが含まれる自動車の画像を学習した場合に、目的のタスクに関係ない個人情報等が入力されるLeakageという現象が発生することも想定される。
１つの側面では、過去の訓練データに依存せずに学習済みモデルを修正可能とすることを目的とする。
１つの側面では、プログラムは、特定データを含む訓練データセットを用いて訓練された第１機械学習モデルと、前記特定データによる訓練が行なわれていない第２機械学習モデルとを取得し、前記特定データに対応するデータを入力した際の出力が前記第１機械学習モデルと前記第２機械学習モデルとで近づくように、前記第１機械学習モデルを再訓練する、処理をコンピュータに実行させる。
１つの側面では、過去の訓練データに依存せずに学習済みモデルを修正できる。
Elastic Weight Consolidation（ＥＷＣ）によるパラメータの変化処理を説明する図である。 実施形態の一例における情報処理装置のハードウェア構成例を模式的に示すブロック図である。 図２に示した情報処理装置のソフトウェア構成例を模式的に示すブロック図である。 図２に示した情報処理装置における再学習処理を説明する図である。 図２に示した情報処理装置における不良検査の再学習処理の対象となる製造ラインを例示する図である。 図５に示した製造ラインからのデータ取得処理を説明する図である。 図５に示した製造ラインについての不良検査の学習処理を説明する図である。 図５に示した製造ラインについての不良検査の追加学習処理を説明する図である。 図５に示した製造ラインについての不良検査のモデル適用処理を説明する図である。 図５に示した製造ラインについての不良検査のモデル評価処理を説明する図である。 図５に示した製造ラインについての不良検査の忘却処理を説明する図である。 図２に示した情報処理装置における再学習処理を説明するフローチャートである。 図２に示した情報処理装置における学習データの忘却前と忘却後とにおける学習モデルの正解率を例示するテーブルである。
〔Ａ〕関連例
学習モデルの再学習の際に、特定のデータを忘却させたい場合には、以前の学習に使っていたデータが残っていれば、以前の学習に使っていたデータから忘れたいものを取り除いたデータセットを作り、再学習させればよい。
例えば、０～９の手書きの数字を学習させ、０を忘れさせるためには、１～９のデータセットを使って再学習させればよい。つまり、０についてcatastrophic forgettingを起こすことで忘却させる。
しかしながら、顧客から一時的に提供されたデータを使って学習を行なっていた等の事情で、以前の学習に使ったデータが残っていない場合がある。また、以前の学習に使ったデータが大きい場合には、再学習に長い時間がかかるおそれがある。
そこで、忘却させる対象のデータに関してランダムなラベルを付与して学習させることが想定される。
例えば、０～９の手書き数字を覚えさせ、０を忘却させるためには、０にランダムなラベルを付与して再学習させればよい。
一方、忘却させたくないデータ（例えば、０～９の数字）に関しては、以前の学習に使ったデータを再学習に含め、catastrophic forgettingを防ぐ方法が用いられてよい。catastrophic forgettingを防ぐ方法として、例えばEWCにより以前の学習データを一度だけ通して計算することで、忘却を防ぐ正則化項を構成できる。
図１は、ＥＷＣによるパラメータの変化処理を説明する図である。
ＥＷＣでは、どのパラメータなら動かしても以前の学習内容を忘却しなさそうかを計算しておき、次の学習ではそれらのパラメータを主に動かすように操作する手法である。
タスクＡ（例えば、０～９の手書きの数字の学習）から、タスクＢ（例えば、０を忘却させる学習）への再学習処理を想定する。図１に示すハッチングされた楕円はタスクＡに対する誤差の低さを示し、無地の楕円はタスクＢに対する誤差の低さを示す。
符号Ａ１に示すように、特定のパラメータは動かしてもタスクＡ（別言すれば、以前の学習タスク）の損失関数値は大きくならない。すなわち、忘却対象のデータが忘却されない可能性が高い。
実線矢印で示されるＥＷＣによるパラメータ変更と、破線矢印で示すＬ２によるパラメータ変更とでは、タスクＢに対する誤差の低さが担保される。なお、Ｌ２は、楕円の中心に示されるパラメータθＡから離れないように変更する操作である。
一方、符号Ａ２に示すように、一点鎖線で示すno penaltyでは、単にパラメータが動かないように正則化するだけであるため、不適なパラメータを動かしてしまう。
ＥＭＣでは、以前の学習に使ったデータセットと損失関数とを使い、どのパラメータを動かすと損失関数の二次近似が増加するのか計算し、それを損失に正則化項として加えられる。
パラメータθのi番目の要素をθiとし、以前の学習についてのパラメータθoldのi番目の要素をθold,iとし、追加で学習する際の損失関数をL(θ)とし、本来の損失関数をLB(θ)とする。また、i番目のパラメータが動いた際、前の学習にどれくらい影響を与えそうかを示す値をFiとするとき、以下の数１の式が成り立つ。
Figure 2022057202000002
しかしながら、ＥＭＣを用いた再学習によって、忘却対象のデータに一定の分布に従ったランダムなラベルを付与すると、「忘れた」状態として不自然な結果が出力されることがある。例えば、手書きの０が入力されると、忘却された０に近い形状を有する６や９が出力されるべきであると考えられるが、１～９の値が均等に出力されるおそれがある。
〔Ｂ〕実施形態
以下、図面を参照して一実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
以下、図中において、同一の各符号は同様の部分を示しているので、その説明は省略する。
〔Ｂ－１〕構成例
図２は、実施形態の一例における情報処理装置１のハードウェア構成例を模式的に示すブロック図である。
図２に示すように、情報処理装置１は、サーバ機能を有し、Central Processing Unit（ＣＰＵ）１１，メモリ部１２，表示制御部１３，記憶装置１４，入力Interface（ＩＦ）１５，外部記録媒体処理部１６及び通信ＩＦ１７を備える。
メモリ部１２は、記憶部の一例であり、例示的に、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）などである。メモリ部１２のＲＯＭには、Basic Input/Output System（ＢＩＯＳ）等のプログラムが書き込まれてよい。メモリ部１２のソフトウェアプログラムは、ＣＰＵ１１に適宜に読み込まれて実行されてよい。また、メモリ部１２のＲＡＭは、一時記録メモリあるいはワーキングメモリとして利用されてよい。
表示制御部１３は、表示装置１３０と接続され、表示装置１３０を制御する。表示装置１３０は、液晶ディスプレイやOrganic Light-Emitting Diode（ＯＬＥＤ）ディスプレイ，Cathode Ray Tube（ＣＲＴ），電子ペーパーディスプレイ等であり、オペレータ等に対する各種情報を表示する。表示装置１３０は、入力装置と組み合わされたものでもよく、例えば、タッチパネルでもよい。
記憶装置１４は、高ＩＯ性能の記憶装置であり、例えば、Dynamic Random Access Memory（ＤＲＡＭ）やSolid State Drive（ＳＳＤ），Storage Class Memory（ＳＣＭ），Hard Disk Drive（ＨＤＤ）が用いられてよい。
入力ＩＦ１５は、マウス１５１やキーボード１５２等の入力装置と接続され、マウス１５１やキーボード１５２等の入力装置を制御してよい。マウス１５１やキーボード１５２は、入力装置の一例であり、これらの入力装置を介して、オペレータが各種の入力操作を行なう。
外部記録媒体処理部１６は、記録媒体１６０が装着可能に構成される。外部記録媒体処理部１６は、記録媒体１６０が装着された状態において、記録媒体１６０に記録されている情報を読み取り可能に構成される。本例では、記録媒体１６０は、可搬性を有する。例えば、記録媒体１６０は、フレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、又は、半導体メモリ等である。
通信ＩＦ１７は、外部装置との通信を可能にするためのインタフェースである。
ＣＰＵ１１は、プロセッサの一例であり、種々の制御や演算を行なう処理装置である。ＣＰＵ１１は、メモリ部１２に読み込まれたOperating System（ＯＳ）やプログラムを実行することにより、種々の機能を実現する。
情報処理装置１全体の動作を制御するための装置は、ＣＰＵ１１に限定されず、例えば、ＭＰＵやＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのいずれか１つであってもよい。また、情報処理装置１全体の動作を制御するための装置は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ及びＦＰＧＡのうちの２種類以上の組み合わせであってもよい。なお、ＭＰＵはMicro Processing Unitの略称であり、ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific Integrated Circuitの略称である。また、ＰＬＤはProgrammable Logic Deviceの略称であり、ＦＰＧＡはField Programmable Gate Arrayの略称である。
図３は、図２に示した情報処理装置１のソフトウェア構成例を模式的に示すブロック図である。
図３に示すように、情報処理装置１は、取得部１１１及び再訓練部１１２として機能する。
取得部１１１は、忘却対象の特定データを含む訓練データセットを用いて訓練された第１機械学習モデルを取得する。また、取得部１１１は、忘却対象の特定データによる訓練が行なわれていない第２機械学習モデルを取得する。
再訓練部１１２は、特定データに対応するデータを入力した際の出力が第１機械学習モデルと第２機械学習モデルとで近づくように、第１機械学習モデルを再訓練する。
図４は、図２に示した情報処理装置１における再学習処理を説明する図である。
実施形態の一例における再学習処理では、符号Ｂ１に示す学習済みＤＮＮ（別言すれば、第１機械学習モデル）に加えて、符号Ｂ２に示すランダムに初期化してパラメータを固定したランダムＤＮＮ（別言すれば、第２機械学習モデル）を用意する。
そして、忘れる対象のデータに関してランダムＤＮＮへの蒸留をする。学習済みＤＮＮとランダムＤＮＮとに同一のデータ（図４に示す例では、手書きの０）をそれぞれ入力した際の出力の誤差が最小になる。
ここで、蒸留とは、パラメータを固定したＤＮＮと学習対象のＤＮＮとに同じデータを入力し、学習対象のＤＮＮをパラメータを固定したＤＮＮの出力へと回帰させる方法である。
蒸留は、主に大きいＤＮＮを圧縮する際に用いられる。例えば、大きいＤＮＮ（別言すれば、Teacher）の出力を、小さいＤＮＮ（別言すれば、Student）に模倣させることで、効率よく同じような性能で小さいＤＮＮを実現できる。
図５は、図２に示した情報処理装置１における不良検査の再学習処理の対象となる製造ライン１００を例示する図である。
機械部品や半導体，繊維製品の製造ラインにおいて、ある製品は複数の製造装置の何れかで製造され、複数の検査装置の何れかで外観画像等の検査データが取得される。製品の一部は、サンプリング検査により、良・不良や不良種別等のラベル付けがされる。
図５に示す製造ライン１００は、製造装置Ａ，Ｂと検査装置Ｘ，Ｙとサンプリング検査装置とを備える。
図６は、図５に示した製造ライン１００からのデータ取得処理を説明する図である。
それぞれの製品の製造に使用された製造装置や検査装置，検査データ及びサンプリング検査結果等の情報は、一定期間蓄積され、一定期間が過ぎた後に削除される。
図６に示す例では、ＩＤ００１～００６で示されるデータが蓄積され、製造に使用された製造装置と検査装置とサンプリング検査結果と製品の外観画像とが対応付けられている。
例えば、符号Ｄ１及びＤ２に示すように、製造装置Ｂで製造され、検査装置Ｘで検査されたＩＤ００３の製品のサンプリング検査結果が不良として登録されている。
図７は、図５に示した製造ライン１００についての不良検査の学習処理を説明する図である。
不良検査の学習処理では、蓄積されたデータのうち、ラベル付けされたデータが使用されて分類モデルが生成される。
図７に示す例では、符号Ｅ１に示すように、一定期間に蓄積されたＩＤ００１～００６のデータのうち、サンプリング検査結果として良／不良が付与されているＩＤ００２，００３，００６のデータが分類モデルに学習される。
図８は、図５に示した製造ライン１００についての不良検査の追加学習処理を説明する図である。
一定期間が経過し、次のデータが蓄積された場合には、分類モデルがＥＷＣ等を使用した継続学習（別言すれば、追加学習）により更新される。
図８に示す例では、符号Ｆ１に示すように、一定期間に蓄積されたＩＤ００７～０１２のデータのうち、サンプリング検査結果として良／不良が付与されているＩＤ００７～０１０，０１２のデータが分類モデルに追加学習される。
図９は、図５に示した製造ライン１００についての不良検査のモデル適用処理を説明する図である。
分類モデルは、蓄積された製品のデータに対してそれぞれ良／不良のラベルを予測する。
図９に示す例では、符号Ｇ１に示すように、分類モデルは、一定期間に蓄積されたデータのうち、ＩＤ０１３，０１４，０１６～０１８のデータを良としてラベルを予測し、ＩＤ０１５のデータを不良としてラベルを予測する。
図１０は、図５に示した製造ライン１００についての不良検査のモデル評価処理を説明する図である。
モデルの精度低下が発生した場合には、低下原因の分析として、学習データの不良の原因となる検査装置の確認が行なわれる。検査装置に不備（例えば、外観画像の撮影用のカメラレンズの汚れ）が見つかった場合には、その検査装置で作成されたデータが汚染されていたことになり、分類モデルは汚染されたデータで学習されていることになる。
図１０に示す例では、符号Ｈ１に示すように、検査装置Ｙで不備が発覚する。これにより、符号Ｈ２に示すように、一定期間に蓄積されたＩＤ０１９～０２４のデータのうち、検査装置Ｙで検査されたＩＤ０２１，０２３のデータについて、サンプリング検査結果と分類モデルの予測結果との間で不一致が発生してしまう。図１０では、ＩＤ０２１，０２３のデータについて、サンプリング検査結果が良であるにもかかわらず、分類モデルの予測結果が不良として出力されてしまう。
図１１は、図５に示した製造ライン１００についての不良検査の忘却処理を説明する図である。
不備の発覚した検査装置が製造ライン１００から切り離されると共に、製品の一部が不備のある検査装置に適用されて忘却用データが一定期間収集される。そして、忘却用データを使用して分類モデルに適用することで、汚染されたデータの影響が回復される。
図１１に示す例では、符号Ｉ１に示すように、一定期間に蓄積されたＩＤ０２５～０３０のデータが分類モデルに追加学習される。一方、符号Ｉ２に示すように、不備が発覚した検査装置Ｙにより検査されたＩＤ０２５，０２７，０２９のデータが忘却用データとして取得される。そして、符号Ｉ３に示すように、忘却用データが分類モデルに適用されることにより、分類モデルにおける検査装置Ｙを用いて検査されたデータが忘却される。
〔Ｂ－２〕動作例
図２に示した情報処理装置１における再学習処理を、図１２に示すフローチャート（ステップＳ１～Ｓ３）に従って説明する。
図１２に示す再学習処理では、０～９の手書き数字のデータセットMixed National Institute of Standards and Technology database（ＭＮＩＳＴ）を学習した後に、０を忘却させる。０に対してランダムＤＮＮへの蒸留を行う一方で、catastrophic forgettingを防ぐためにＥＷＣも用いる。
再訓練部１１２は、ＭＮＩＳＴを通常通り学習させる（ステップＳ１）。
再訓練部１１２は、ＭＮＩＳＴデータセットを使い、ＥＷＣの正則化項を構成する（ステップＳ２）。
再訓練部１１２は、０に対する出力をランダムＤＮＮに近づけることで０を忘却させる（ステップＳ３）。忘却処理においては、以下の数２で示される損失関数を微分して、バックプロパゲーション又は誤差伝播法が実施される。そして、再学習処理は終了する。
Figure 2022057202000003
 数２の式において、第１項は０を忘却させるための項であり、第２項は１～９を忘却させないための項である。第１項と第２項との和が最小となるような損失関数が算出される。MSEは平均二乗誤差であり、DNNは学習対象のＤＮＮであり、RandomDNNはパラメータ固定のランダムＤＮＮであり、xは入力データであり、θは学習対象のＤＮＮパラメータである。また、EWCはＥＷＣによる正則化項であり、λはＥＷＣをどれくらい重視するかをきめるハイパパラメータであり、θoldは学習対象のＤＮＮについての以前の学習におけるパラメータである。
〔Ｃ〕効果
図１３は、図２に示した情報処理装置１における学習データの忘却前と忘却後とにおける学習モデルの正解率を例示するテーブルである。
忘却の操作によって、忘却後の０の正解率が０％になっている。一方、１～９の正解立は、忘却前が９５％であったのに対して忘却後は９３％であり、大きな変化はない。
上述した実施形態の一例によれば、例えば、以下の作用効果を奏することができる。
取得部１１１は、特定データを含む訓練データセットを用いて訓練された第１機械学習モデルと、特定データによる訓練が行なわれていない第２機械学習モデルとを取得する。再訓練部１１２は、特定データに対応するデータを入力した際の出力が第１機械学習モデルと第２機械学習モデルとで近づくように、第１機械学習モデルを再訓練する。これにより、過去の訓練データに依存せずに学習済みモデルを修正できる。別言すれば、訓練データセットから任意のデータを選択的に忘却できる。
第２機械学習モデルは、第１機械学習モデルをランダムに初期化してパラメータを固定したディープニューラルネットワークである。これにより、学習済みデータの修正を効率的に実施できる。
再訓練部１１２は、特定データを忘却させるための変数と、訓練データセットのうち特定データ以外のデータを忘却させないための変数との和で表わされる損失関数に基づいて、再訓練を行なう。これにより、学習済みデータの修正を効率的に実施できる。
〔Ｄ〕その他
開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
〔Ｅ〕付記
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
特定データを含む訓練データセットを用いて訓練された第１機械学習モデルと、前記特定データによる訓練が行なわれていない第２機械学習モデルとを取得し、
前記特定データに対応するデータを入力した際の出力が前記第１機械学習モデルと前記第２機械学習モデルとで近づくように、前記第１機械学習モデルを再訓練する、
処理をコンピュータに実行させる、プログラム。
（付記２）
前記第２機械学習モデルは、前記第１機械学習モデルをランダムに初期化してパラメータを固定したディープニューラルネットワークである、
付記１に記載のプログラム。
（付記３）
前記特定データを忘却させるための変数と、前記訓練データセットのうち前記特定データ以外のデータを忘却させないための変数との和で表わされる損失関数に基づいて、前記再訓練を行なう、
処理を前記コンピュータに実行させる、付記１又は２に記載のプログラム。
（付記４）
特定データを含む訓練データセットを用いて訓練された第１機械学習モデルと、前記特定データによる訓練が行なわれていない第２機械学習モデルとを取得する取得部と、
前記特定データに対応するデータを入力した際の出力が前記第１機械学習モデルと前記第２機械学習モデルとで近づくように、前記第１機械学習モデルを再訓練する再訓練部と、
を備える、情報処理装置。
（付記５）
前記第２機械学習モデルは、前記第１機械学習モデルをランダムに初期化してパラメータを固定したディープニューラルネットワークである、
付記４に記載の情報処理装置。
（付記６）
前記再訓練部は、前記特定データを忘却させるための変数と、前記訓練データセットのうち前記特定データ以外のデータを忘却させないための変数との和で表わされる損失関数に基づいて、前記再訓練を行なう、
付記４又は５に記載の情報処理装置。
（付記７）
特定データを含む訓練データセットを用いて訓練された第１機械学習モデルと、前記特定データによる訓練が行なわれていない第２機械学習モデルとを取得し、
前記特定データに対応するデータを入力した際の出力が前記第１機械学習モデルと前記第２機械学習モデルとで近づくように、前記第１機械学習モデルを再訓練する、
処理をコンピュータが実行する、情報処理方法。
（付記８）
前記第２機械学習モデルは、前記第１機械学習モデルをランダムに初期化してパラメータを固定したディープニューラルネットワークである、
付記７に記載の情報処理方法。
（付記９）
前記特定データを忘却させるための変数と、前記訓練データセットのうち前記特定データ以外のデータを忘却させないための変数との和で表わされる損失関数に基づいて、前記再訓練を行なう、
処理を前記コンピュータが実行する、付記７又は８に記載の情報処理方法。
１ ：情報処理装置
１１ ：ＣＰＵ
１１１ ：取得部
１１２ ：再訓練部
１２ ：メモリ部
１３ ：表示制御部
１３０ ：表示装置
１４ ：記憶装置
１５ ：入力ＩＦ
１５１ ：マウス
１５２ ：キーボード
１６ ：外部記録媒体処理部
１６０ ：記録媒体
１７ ：通信ＩＦ
１００ ：製造ライン

Claims (5)

  1. 特定データを含む訓練データセットを用いて訓練された第１機械学習モデルと、前記特定データによる訓練が行なわれていない第２機械学習モデルとを取得し、
    前記特定データに対応するデータを入力した際の出力が前記第１機械学習モデルと前記第２機械学習モデルとで近づくように、前記第１機械学習モデルを再訓練する、
    処理をコンピュータに実行させる、プログラム。
  2. 前記第２機械学習モデルは、前記第１機械学習モデルをランダムに初期化してパラメータを固定したディープニューラルネットワークである、
    請求項１に記載のプログラム。
  3. 前記特定データを忘却させるための変数と、前記訓練データセットのうち前記特定データ以外のデータを忘却させないための変数との和で表わされる損失関数に基づいて、前記再訓練を行なう、
    処理を前記コンピュータに実行させる、請求項１又は２に記載のプログラム。
  4. 特定データを含む訓練データセットを用いて訓練された第１機械学習モデルと、前記特定データによる訓練が行なわれていない第２機械学習モデルとを取得する取得部と、
    前記特定データに対応するデータを入力した際の出力が前記第１機械学習モデルと前記第２機械学習モデルとで近づくように、前記第１機械学習モデルを再訓練する再訓練部と、
    を備える、情報処理装置。
  5. 特定データを含む訓練データセットを用いて訓練された第１機械学習モデルと、前記特定データによる訓練が行なわれていない第２機械学習モデルとを取得し、
    前記特定データに対応するデータを入力した際の出力が前記第１機械学習モデルと前記第２機械学習モデルとで近づくように、前記第１機械学習モデルを再訓練する、
    処理をコンピュータが実行する、情報処理方法。
JP2020165332A 2020-09-30 2020-09-30 プログラム，情報処理装置及び情報処理方法 Withdrawn JP2022057202A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020165332A JP2022057202A (ja) 2020-09-30 2020-09-30 プログラム，情報処理装置及び情報処理方法
EP21183685.3A EP3979139A1 (en) 2020-09-30 2021-07-05 Program, information processing device, and information processing method
US17/368,890 US20220101124A1 (en) 2020-09-30 2021-07-07 Non-transitory computer-readable storage medium, information processing device, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020165332A JP2022057202A (ja) 2020-09-30 2020-09-30 プログラム，情報処理装置及び情報処理方法

Publications (1)

Publication Number Publication Date
JP2022057202A true JP2022057202A (ja) 2022-04-11

Family

ID=76765027

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020165332A Withdrawn JP2022057202A (ja) 2020-09-30 2020-09-30 プログラム，情報処理装置及び情報処理方法

Country Status (3)

Country Link
US (1) US20220101124A1 (ja)
EP (1) EP3979139A1 (ja)
JP (1) JP2022057202A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023199479A1 (ja) * 2022-04-14 2023-10-19 日本電信電話株式会社 学習装置、学習方法、および、学習プログラム
WO2023243415A1 (ja) * 2022-06-13 2023-12-21 日立Astemo株式会社 機械学習システム及び機械学習方法
WO2024023947A1 (ja) * 2022-07-26 2024-02-01 日本電信電話株式会社 学習装置、学習方法、および、学習プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11429862B2 (en) * 2018-03-20 2022-08-30 Sri International Dynamic adaptation of deep neural networks
US10824721B2 (en) * 2018-05-22 2020-11-03 International Business Machines Corporation Detecting and delaying effect of machine learning model attacks
US11689566B2 (en) * 2018-07-10 2023-06-27 International Business Machines Corporation Detecting and mitigating poison attacks using data provenance
US11538236B2 (en) * 2019-09-16 2022-12-27 International Business Machines Corporation Detecting backdoor attacks using exclusionary reclassification
CN111339250B (zh) * 2020-02-20 2023-08-18 北京百度网讯科技有限公司 新类别标签的挖掘方法及电子设备、计算机可读介质
US20210295213A1 (en) * 2020-03-23 2021-09-23 Orbotech Ltd. Adaptive learning for image classification

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023199479A1 (ja) * 2022-04-14 2023-10-19 日本電信電話株式会社 学習装置、学習方法、および、学習プログラム
WO2023243415A1 (ja) * 2022-06-13 2023-12-21 日立Astemo株式会社 機械学習システム及び機械学習方法
WO2024023947A1 (ja) * 2022-07-26 2024-02-01 日本電信電話株式会社 学習装置、学習方法、および、学習プログラム

Also Published As

Publication number Publication date
EP3979139A1 (en) 2022-04-06
US20220101124A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
Hofman et al. Prediction and explanation in social systems
Lundberg et al. A unified approach to interpreting model predictions
JP2022057202A (ja) プログラム，情報処理装置及び情報処理方法
Hu et al. Few-shot representation learning for out-of-vocabulary words
Dieng et al. Prescribed generative adversarial networks
EP3620990A1 (en) Capturing network dynamics using dynamic graph representation learning
Bhattacharya Applied Machine Learning Explainability Techniques: Make ML models explainable and trustworthy for practical applications using LIME, SHAP, and more
WO2022062193A1 (zh) 基于时序归因分析的个人信用评估与解释方法、装置、设备及存储介质
Bykov et al. How Much Can I Trust You?--Quantifying Uncertainties in Explaining Neural Networks
Franklin et al. Generalizing to generalize: Humans flexibly switch between compositional and conjunctive structures during reinforcement learning
US11341598B2 (en) Interpretation maps with guaranteed robustness
Thapa et al. Hdxplore: Automated blackbox testing of brain-inspired hyperdimensional computing
Lin Online semi-supervised learning in contextual bandits with episodic reward
Kim et al. Neural processes with stochastic attention: Paying more attention to the context dataset
Moon et al. Amortized inference with user simulations
Fonseca et al. Model-agnostic approaches to handling noisy labels when training sound event classifiers
Ithapu et al. On architectural choices in deep learning: From network structure to gradient convergence and parameter estimation
Leake et al. Examining the Impact of Network Architecture on Extracted Feature Quality for CBR
Lee et al. Set-based meta-interpolation for few-task meta-learning
Dekhovich et al. Cooperative data-driven modeling
Apicella et al. A general approach to compute the relevance of middle-level input features
WO2023107207A1 (en) Automated notebook completion using sequence-to-sequence transformer
Zhan DL 101: Basic introduction to deep learning with its application in biomedical related fields
Law et al. Selection bias in epidemiologic studies
Mak et al. Regularizers for fault tolerant multilayer feedforward networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230608

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20240329