JP2021149842A - 機械学習システム及び機械学習方法 - Google Patents

Abstract

【課題】学習データに対する評価対象データの除外及び追加が機械学習モデルの性能に与える影響の良否を知り得るようする。【解決手段】機械学習システム１００は、学習モデルの学習に用いた初期データ群、初期データ群に対して追加又は除外する評価対象データ、及び評価対象データに含まれない要素を少なくとも１つ含む検証データ群を取得する取得部と、検証データ群を入力とする、学習モデルによる出力値と、初期データ群に対して評価対象データを追加又は除外して学習した再学習モデルによる出力値とに基づいて、評価対象データが学習モデルの性能に与える影響を評価する寄与度を計算する寄与度計算部と、を有する。【選択図】 図１

Description

本発明は、機械学習システム及び機械学習方法に関する。

機械学習に用いる学習データの修正のため、非特許文献１に記載の技術がある。非特許文献１には、「We show that influence functions can help human experts prioritize their attention, allowing them to inspect only the examples that actually matter.」という記載および「we measure the influence of zi with loss(zi, zi), which approximates the error incurred on zi if we remove zi from the training set」との記載がある。

Pang Wei Koh, Percy Liang, "Understanding Black-box Predictions via InfluenceFunctions"，2017年 7月10日，[online]，[2020年2月28日検索]，インターネット<URL:https://arxiv.org/pdf/1703.04730.pdf>

非特許文献１に記載の手法は、評価対象データを含む初期データ群を用いて学習済みの機械学習モデルにおける評価対象データの損失値と、初期データ群から評価対象データを除外して得られる機械学習モデルにおける評価対象データの損失値と、の差分を用いて、評価対象データを評価する。このとき、損失値の差分は評価対象データに依らず常に同符号であるため、評価対象データの除外が機械学習モデルの性能に与える影響の良否を知ることはできない。

本発明は、上記を考慮してなされたものであり、機械学習モデルの性能を判定するための検証データ群に対する出力値の変化によって、学習データに対する評価対象データの除外及び追加が機械学習モデルの性能に与える影響の良否を知り得るようにすることを目的とする。

上記課題を解決するため、本発明の機械学習システムは、学習モデルの学習に用いた初期データ群、前記初期データ群に対して追加又は除外する評価対象データ、及び前記評価対象データに含まれない要素を少なくとも１つ含む検証データ群を取得する取得部と、前記検証データ群を入力とする、前記学習モデルによる出力値と、前記初期データ群に対して前記評価対象データを追加又は除外して学習した再学習モデルによる出力値とに基づいて、前記評価対象データが学習モデルの性能に与える影響を評価する寄与度を計算する寄与度計算部と、を有するようにした。

本発明によれば、検証データ群に対する出力値の変化によって、学習データに対する評価対象データの除外及び追加が機械学習モデルの性能に与える影響の良否を知ることができる。

実施例１の機械学習システムの構成例を示すブロック図である。 実施例１における機械学習システムにおける処理手順を示すフローチャートである。 実施例３における機械学習システムにおける処理手順を示すフローチャートである。 実施例４の機械学習システムの構成例を示すブロック図である。 実施例４における評価対象データ修正フォームの表示例を示す図である。 実施例５の機械学習システムの構成例を示すブロック図である。 実施例５における検証データ群修正フォームの表示例を示す図である。 実施例６の機械学習システムの構成例を示すブロック図である。 機械学習システムを実現するコンピュータのハードウェア図である。

以下、図面を用いて、本発明の機械学習システム及び機械学習方法の実施例を説明する。なお、以下の説明において、同一又は類似の要素及び処理には、原則として同一の符号を付している。また、同一の機能及び処理について、重複説明を省略する。また、実施例の説明において、既出の実施例と重複する部分の説明を省略する。

以下に説明する構成及び処理はあくまで一例に過ぎず、本発明にかかる実施様態が、以下の具体的様態に限定されることを意図する趣旨ではない。また、各実施例及び変形例は、矛盾しない限りにおいて、その一部又は全部を組合せることができる。

《実施例１の概要》
本実施例では、評価対象データと被らない検証データを用いて、学習データ群に対して評価データを追加又は除外した場合の後述の寄与度が正となる評価対象データを修正要と判定し、寄与度が負となる評価対象データを修正不要と判定し、判定結果に基づいて評価対象データを自動修正する。

本実施例において、機械学習モデルは、設備外観検査のために用いられる。設備は、例えば建物や橋梁、インフラ設備である。学習データは、撮影機（不図示）を用いて取得される設備外観画像と、利用者により与えられる設備外観画像に欠陥が含まれるか否かを表すラベル情報を含んで構成される。欠陥は、例えば設備外観に見られるさびや変形、ひび割れである。さらに、学習データ群は、欠陥を含まない設備外観画像に欠陥有の誤ったラベル情報が付与された学習データを含む。

本実施例において、「修正」及び「自動修正」とは、寄与度が負であり修正不要と判定された評価対象データのみを後述する修正済みデータ格納部１０３へ格納し、寄与度が正であり修正要と判定された評価対象データを修正済みデータ格納部１０３への格納対象外とすることをいう。

本実施例において、「ＸＸＸデータ群」とは、１又は複数のＸＸＸデータである。

本実施例における機械学習モデルは、１つ以上の設備外観画像を入力とし、設備画像が欠陥を含む場合はTrue、含まない場合はFalseを出力するように学習される関数である。

《実施例1の機械学習システム１００の構成》
図1は、実施例1の機械学習システム１００の構成例を示すブロック図である。図１において、機械学習システム１００は、学習データ群格納部１０１、評価対象データ取得部１０２、修正済みデータ格納部１０３、評価対象データ修正部１０４、寄与度計算部１０５、検証データ群取得部１０６、初期データ群取得部１０７、モデル情報格納部１０８を有する。

初期データ群取得部１０７は、学習データ群格納部１０１から、学習部（不図示）で使用された学習データ群である初期データ群Ｚtrain,k（ｋ＝１，２，…，ｎ（ｎは初期学習データ数、以下同様））を取得する。ただし、この学習部は、初期データ群Ｚtrain,k（ｋ＝１，２，…，ｎ）を用いて数式１に示す最適化を行い、最適化の解である初期モデルパラメータθinitをモデル情報格納部１０８に格納する。

ただし、θは機械学習モデルのモデルパラメータ、Ｌは機械学習モデルの損失関数である。なお、初期データ群Ｚtrain,k（ｋ＝１，２，…，ｎ）を構成する学習データを初期データＺtrain,kと呼ぶ。

モデル情報格納部１０８は、機械学習モデル構造情報と、初期モデルパラメータθinitを格納する。機械学習モデル構造情報は、機械学習モデルの計算グラフを構築するために必要な情報である。

評価対象データ取得部１０２は、学習データ群格納部１０１から修正対象か否かの判定対象の学習データである評価対象データＺevalを取得する。なお、評価対象データＺevalは、初期データ群Ｚtrain,k（ｋ＝１，２，…，ｎ）に含まれていてもよい。

検証データ群取得部１０６は、学習データ群格納部１０１から検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ（ｍは検証データ数、以下同様））を取得する。検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）は、評価対象データＺevalに含まれない要素（学習データ）を少なくとも１つ含む。

このように、学習データ群格納部１０１は、初期データ群Ｚtrain,k（ｋ＝１，２，…，ｎ）、評価対象データＺeval、及び検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）に含まれるすべての学習データを格納する。

寄与度計算部１０５は、モデル情報格納部１０８から機械学習モデル構造情報と初期モデルパラメータθinitを、初期データ群取得部１０７から初期データ群Ｚtrain,k（ｋ＝１，２，…，ｎ）を、評価対象データ取得部１０２から評価対象データＺevalを、検証データ群取得部１０６から検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）を入力し、後述の寄与度を出力する。

以下、実施例１で計算する寄与度として、「評価対象データの追加による機械学習モデルの性能変化を評価する寄与度」と、「評価対象データの除外による機械学習モデルの性能変化を評価する寄与度」の２種類の寄与度を説明する。また、これらの寄与度と対比する「従来技術において機械学習モデルの性能変化を評価する自己寄与度」について説明する。

（１．評価対象データの追加による機械学習モデルの性能変化を評価する寄与度）
先ず、評価対象データの追加再学習による機械学習モデルの性能変化を評価する場合について説明する。追加再学習の場合の機械学習モデルの性能変化を表す寄与度fは、評価対象データＺeval及び検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）を用いて、数式２で与えられる。

ただし、

数式２の右辺第１項は、初期データ群Ｚtrain,k（ｋ＝１，２，…，ｎ）に評価対象データＺevalを追加した学習データ群を用いて機械学習モデルを学習する追加再学習によって得られる評価用機械学習モデルに検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）を入力して得られる損失値Ｌの平均値である。また、数式２の右辺第２項は、初期モデルパラメータθinitをもつ機械学習モデルに検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）を入力して得られる損失値Ｌの平均である。

したがって、寄与度ｆが正の場合は、評価対象データＺevalは初期データ群Ｚtrain,k（ｋ＝１，２，…，ｎ）に追加されることで、検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）の損失を上げる、つまり検証データ群に対する機械学習モデルの性能を悪化させ、寄与度ｆが負の場合は、機械学習モデルの性能を向上させることが期待される。

以上より、寄与度ｆを用いて、評価対象データＺevalの追加が、学習に使用していない検証データ群に対する機械学習モデルの性能に与える影響の良否を知ることができる。

（２．評価対象データの除外による機械学習モデルの性能変化を評価する寄与度）
次に、評価対象データを除外した学習による機械学習モデルの性能変化を評価する場合について説明する。評価対象データＺevalが初期データ群Ｚtrain,k（ｋ＝１，２，…，ｎ）に含まれる場合で、評価対象データＺevalを学習から除外した場合の機械学習モデルの性能変化を表す寄与度fremoveは、評価対象データＺeval及び検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）を用いて、数式４で与えられる。

ただし、

数式４の右辺第１項は、初期データ群Ｚtrain,k（ｋ＝１，２，…，ｎ）から評価対象データＺevalを除外した学習データ群を用いた機械学習モデルの再学習によって得られる評価用機械学習モデルに検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）を入力して得られる損失値Ｌの平均値である。また、数式４の右辺第２項は、初期モデルパラメータθinitをもつ機械学習モデルに検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）を入力して得られる損失値Ｌの平均である。

（３．従来技術において機械学習モデルの性能変化を評価する自己寄与度）
ここで、従来技術の自己寄与度に基づく機械学習モデルの性能変化を評価する寄与度について説明しておく。正負のような単純な基準で性能に与える影響の良否を知ることができる性質は、検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）が初期データ群Ｚtrain,k（ｋ＝１，２，…，ｎ）及び評価対象データＺevalに含まれない学習データを少なくとも１つ含むという特徴によって実現される。以下、従来技術のように、かかる検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）の特徴が満たされない、つまり検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）が評価対象データＺevalと同一の１つの学習データである場合について説明する。この場合、寄与度ｆself（自己寄与度）は、数式６で与えられる。

数式６の右辺第１項は、初期データ群Ｚtrain,k（ｋ＝１，２，…，ｎ）に評価対象データＺevalを追加した学習データ群を用いて機械学習モデルを学習する追加再学習を行い、追加再学習によって得られる評価用機械学習モデルに評価対象データＺevalを入力して得られる損失値Ｌである。右辺第２項は、初期モデルパラメータθinitをもつ機械学習モデルに評価対象データＺevalを入力して得られる損失値Ｌである。

この場合、追加再学習によって、初期モデルパラメータθinitの場合と比較して評価対象データＺevalの損失値Ｌは減少するため、寄与度ｆselfは常に負である。このため、上述したような検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）の特徴が満たされない場合、寄与度ｆselfの正負のような単純な基準で性能変化の良否を知ることが困難である。

また、非特許文献１の「5.4. Fixing mislabeled examples」に記載の「the error incurred on zi if we remove zi from the training set」は、数式６が数式７を満たす特別な場合であり、同様に正負のような単純な基準で性能変化の良否を知ることは困難である。

さらに本実施例では、検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）は、学習データの母集団を代表するのに十分な数のデータ数を有することを特徴とする。この特徴により、評価対象データＺevalの除外及び追加が、学習データの母集団に対する性能に与える変化を推定することが可能である。

評価対象データ修正部１０４は、寄与度計算部１０５から寄与度（ｆ又はｆremove）を、評価対象データ取得部１０２から評価対象データＺevalを入力し、寄与度が負であれば修正不要として評価対象データＺevalを修正済みデータ格納部１０３に格納する。また、評価対象データ修正部１０４は、寄与度が正の場合は評価対象データＺevalを修正済みデータ格納部１０３に格納しない。誤った学習データは、寄与度が正となる。よって、修正済みデータ格納部１０３には、誤った学習データは格納されず、誤っていない学習データが格納されることになる。

《実施例１の機械学習システム１００の処理》
図２は、実施例１における機械学習システム１００における処理手順を示すフローチャートである。先ずステップＳ１１では、寄与度計算部１０５は、機械学習モデル構造情報、初期モデルパラメータθinit、初期データ群Ｚtrain,k（ｋ＝１，２，…，ｎ）、評価対象データＺeval、検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）を取得する。

次にステップＳ１２では、寄与度計算部１０５は、ステップＳ１１で取得したデータに基づいて、数式２又は数式３から、寄与度を算出する。次にステップＳ１３では、評価対象データ修正部１０４は、寄与度が負、すなわち修正不要の評価対象データを修正済みデータ格納部１０３に格納する。

《実施例１の効果》
本実施例によれば、機械学習システム１００は、寄与度の正負によって評価対象データの機械学習モデル性能への影響の良否を判定可能できるため、評価対象データの自動修正に必要な修正要否の判定を容易に行うことができる。

《実施例１の変形例》
評価対象データ修正部１０４は、寄与度があらかじめ利用者が定めた判定基準値以上であれば評価対象データは修正要、未満であれば修正不要のように修正要否を決定してもよい。このとき、判定基準値は、検証データ群の損失平均値と比較して０に十分近い値であるとする。これにより、一定以上の悪影響がある評価対象データのみを修正要とできる。また、検証データ群のサンプル数が少なく評価対象データが母集団の性能に与える変化の推定に誤差がある場合にも、評価対象データの修正要否をより精度よく判定することができる。

また、本実施例では、評価対象データが１つである場合を例にしたが、評価対象データの代わりに複数の評価対象データから成る評価対象データ群を用いても良い。この場合、評価対象データ取得部１０２は、事前に利用者が修正の対象とした学習データ群である評価対象データ群を取得する。また、寄与度計算部１０５は、評価対象データ群の学習データ数と同数の長さで各要素が各評価対象データに対する寄与度である寄与度ベクトルを出力する。また、評価対象データ修正部１０４は、寄与度ベクトルに基づき、評価対象データ群のうちその寄与度が負である評価対象データを修正済みデータ格納部１０３に格納する。

また、本実施例では、評価対象データ修正部１０４は、修正要否情報が修正不要の場合に評価対象データを修正済みデータ格納部１０３に格納するとしたが、これに限らない。すなわち、評価対象データ修正部１０４は、評価データの追加再学習のケースにおいて、修正要否情報が修正不要である場合に、評価対象データを学習部（不図示）に出力しても良い。この場合、学習部は、出力された修正不要の評価対象データと初期学習データ群を含む学習データ群を用いて機械学習モデルの追加再学習を行う。または、評価対象データ修正部１０４は、評価データの除外後の再学習のケースにおいて、修正要否情報が修正不要である場合に、評価対象データを学習部（不図示）に出力しても良い。この場合、学習部は、初期学習データ群から修正要の評価対象データを除外した学習データ群を用いて機械学習モデルの再学習を行う。

また、機械学習モデルに入力される画像は設備外観画像に限らず、工業製品外観画像や文書を撮影したものであっても良い。さらに、機械学習モデルは、設備外観画像の欠陥有無を出力するように学習されるのではなく、画像を入力とする３クラス以上のクラス分類のために学習されてもよいし、画像中の物体の位置情報及びクラス番号を出力するように学習されてもよい。また、本実施例では、学習及び評価対象のデータは画像であるとしたが、画像データに限るものではない。

また、学習データ群は、設備外観画像が欠陥を含まない学習データのみで構成されていてもよく、その場合、機械学習モデルは、欠陥を含まない設備外観画像を生成するように学習され、生成された設備外観画像を用いて入力画像中の欠陥有無を判定する。

また、誤った学習データは、欠陥を含まない設備外観画像に欠陥有のラベル情報が付随するような学習データに限らない。誤った学習データとされる基準は、画像に設備外観が含まれない、あるいは設備外観がピント不正やブレが原因で正しく撮影されていない、あるいは設備外観画像が動画の１フレームでありフレームが動画の圧縮ノイズを含むなど、機械学習モデルの学習に不適な学習データであることである。なお、誤った評価対象データ及び誤った検証データとされる基準についても、誤った学習データと同様である。

《実施例２の概要》
本実施例は、実施例１と比較して、寄与度計算部１０５が寄与度の近似値を計算することで、計算時間を低減する点が異なる。

《実施例２の近似寄与度算出処理》
寄与度の算出は、追加再学習に要する計算コストが大きいため、寄与度計算部１０５は、寄与度を比較的小さなコストで計算可能な近似寄与度で与える。具体的には、寄与度計算部１０５は、以下のようにして導出される近似寄与度を用いる。先ず、数式２の右辺を、数式８のように変形する。

非特許文献１の「2.1. Upweighting a training point」に記載の近似手法を用いると、数式８の右辺の波括弧内は、数式９のように近似できる。

ただし、数式９のヘッセ行列Ｈは、数式１０のように、初期データ群Ｚtrain,k（ｋ＝１，２，…，ｎ））と、初期モデルパラメータθinitに基づいて与えられる。

ここで、数式１１に示すような、数式９中のinverse HVP（Hessian Vector Product）（＝Ａ）の計算方法について説明する。

ヘッセ行列Ｈの逆行列の計算は、モデルパラメータ数が大きい場合、計算コストが非常に大きいため、inverse HVPの計算には、非特許文献１の３章「Conjugate gradients (CG)」に記載の厳密値計算方法、又は、非特許文献１の第３章「Stochastic estimation」に記載の近似計算方法を用いる。

これらの厳密値計算方法及び近似計算方法は、ともに、ヘッセ行列Ｈの逆行列と任意のベクトルとの積を、ヘッセ行列の逆行列を計算せずに求めるため、計算量が比較的小さい。本実施例では、厳密値計算方法あるいは近似計算方法を用いて、ヘッセ行列Ｈの逆行列と、検証データの近傍のモデルパラメータ勾配ベクトルとの積を計算することで、inverse HVPを得る。

数式８及び数式９より、数式１２のように近似寄与度ｆ(Ｚeval)が得られる。

《実施例２の効果》
本実施例によれば、追加再学習が不要であるため、寄与度の計算時間を短縮できる。

《実施例３の近似寄与度算出処理》
本実施例は、実施例２において、寄与度計算部１０５が、さらに検証データ群の近傍のモデルパラメータ勾配ベクトルの和を用いることで計算時間を低減する場合である。実施例２の数式１２では、近似寄与度の計算には、inverse HVPの計算をｍ回実行することが必要となる。このｍ回のinverse HVPの計算が、計算時間の増大につながっていることが、本実施例が課題とするところである。

本実施例では、以下に述べる方法で、１回のinverse HVPの計算で、実施例２と等価な近似寄与度を計算する場合である。行列の分配法則により、数式１２は、数式１３のように変形できる。

数式１３によれば、ヘッセ行列Ｈの逆行列と検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）のモデルパラメータ勾配ベクトルの和との積が、数式１２と等価な近似寄与度を与えることがわかる。

図３は、実施例３における機械学習システムにおける処理手順を示すフローチャートである。数式１３の寄与度計算を実現するため、本実施例において、寄与度計算部１０５は、図３に示す以下のステップＳ２１〜Ｓ２８の処理を実行する。評価対象データ修正部１０４は、ステップＳ２７の処理で、ステップＳ２６で計算した近似寄与度に基づいて、修正不要の評価対象データＺevalを修正済みデータ格納部１０３に格納する。

ステップＳ２１：機械学習モデル構造情報、初期モデルパラメータθinit、初期データ群Ｚtrain,k（ｋ＝１，２，…，ｎ）、評価対象データＺeval、検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）を取得する。
ステップＳ２２：検証データ数カウンタｊを１にする。
ステップＳ２３：検証データＺvaid,jの近傍のモデルパラメータ勾配ベクトルｕjを、数式１４のように計算する。

ステップＳ２４：検証データ数カウンタｊが検証データ数ｍに等しい場合にステップＳ６へ、等しくない場合ステップＳ５へ進む。
ステップＳ２５：検証データ数カウンタｊに１を加算し、ステップＳ３へ処理を戻す。
ステップＳ２６：数式１５のように、検証データＺvaid,jの近傍のモデルパラメータ勾配ベクトルｕjを、検証データ群Ｚvaid,j（ｊ＝１，２，…，ｍ）にわたって合計したモデルパラメータ勾配ベクトル和ｕsumを計算する。なお、モデルパラメータ勾配ベクトルの和ｕsumに代えて、モデルパラメータ勾配ベクトルの平均を用いても良い。

ステップＳ２７：先ず、数式１６で与えられるinverse HVPを計算する。

モデルパラメータ勾配ベクトル和ｕsumを用いることで、寄与度の計算時間で支配的となるinverse HVPの計算を一度しか行わないため、各検証データに関してinverse HVPの計算を行う場合に比べ、計算時間を大幅に低減することができる。

そして、数式１７のように、評価対象データの近傍のモデルパラメータ勾配ベクトルｖを計算する。

ステップＳ２８：数式１８で与えられる寄与度ｆ(Ｚeval)を計算し、出力する。

ステップＳ２９では、評価対象データ修正部１０４は、寄与度ｆ(Ｚeval)が負の評価対象データＺevalを修正不要とし、修正済みデータ格納部１０３に格納する。

《実施例３の効果》
本実施例によれば、寄与度計算部１０５は、寄与度の計算時間で支配的となるinverse
HVPの計算を一度しか行わないため、各検証データについてinverse HVPの計算を行う場合に比べ、計算時間を大幅に低減することができる。

《実施例４の概要》
本実施例は、評価対象データの手動修正に関する。本実施例は、実施例1と比較して、機械学習システム１００がさらに入力部１０９Ｄ及び表示部１１０Ｄを有する点が異なる。機械学習システム１００は、評価対象データ修正部１０４が、表示部１１０Ｄに評価対象データ及び寄与度を含む情報を利用者に提示する。また、機械学習システム１００は、評価対象データ修正部１０４が、表示部１１０Ｄの表示をもとに利用者によって入力部１０９Ｄから入力された情報に基づいて、評価対象データを修正する。

実施例１では、検証データ群のデータ数が学習データの母集団を代表するのに十分でない場合、寄与度がモデルの母集団に対する性能変化の良否を正確に与えることができないため、評価対象データ修正部１０４による修正要否の判定が不正確になる。そこで、本実施例の機械学習システム１００は、以下の構成を有することで、修正要否の判定精度を向上させる。

《実施例４の機械学習システム１００の構成》
図４は、実施例４の機械学習システム１００の構成例を示すブロック図である。機械学習システム１００は、実施例1の機械学習システム１００と比較して、入力部１０９及び表示部１１０をさらに有し、評価対象データ修正部１０４の処理が異なる。

表示部１１０Ｄは、評価対象データ修正フォーム１０００を表示するディスプレイなどである。入力部１０９Ｄは、利用者が情報を入力するキーボードやマウス、タッチパネルなどである。

本実施例の評価対象データ修正部１０４は、寄与度計算部１０５から寄与度を、評価対象データ取得部１０２から評価対象データＺevalを取得し、取得した情報を含む評価対象データ修正フォーム１０００を表示部１１０に出力する。図５は、実施例４における評価対象データ修正フォーム１０００の表示例を示す図である。

さらに、本実施例の評価対象データ修正部１０４は、入力部１０９Ｄから評価対象データ修正フォーム１０００に対して入力された評価対象データＺevalの変更後ラベル情報に基づいて、評価対象データＺevalのラベル情報を変更し、ラベル情報が変更された評価対象データＺevalを修正済みデータ格納部１０３に格納する。

図５に示すように、評価対象データ修正フォーム１０００は、評価対象データＺevalを表示する領域である評価対象データ表示領域１００１と、寄与度を表示する領域である寄与度表示領域１００２と、学習モデルの性能変化の良否に関する情報を表示する影響傾向情報表示領域１００５と、利用者が変更後ラベル情報を入力する領域である評価対象データ修正情報入力領域１００３と、利用者が修正情報を確定する際に用いる確認入力領域１００４を備える。

本実施例において、評価対象データ修正部１０４は、評価対象データ表示領域１００１に、評価対象データＺevalの設備外観画像及びラベル情報を表示し、影響傾向情報表示領域１００５に「harmful」（寄与度が正の場合）及び「helpful」（寄与度が０又は負の場合）のような文字列を配置し、評価対象データ修正情報入力領域１００３に変更後ラベル情報を表示する。

《実施例４の効果》
本実施例によれば、寄与度が母集団に対する性能変化の良否を正確に与えることができない場合でも、評価対象データの修正要否を正確に判定することができる。

《実施例４の変形例》
本実施例では、評価対象データ修正部１０４が入力部１０９Ｄから入力された情報に基づいて評価対象データのラベル情報を変更する場合について説明したが、これに限らない。評価対象データ修正部１０４は、入力部１０９Ｄから入力された情報に基づいて評価対象データを修正済みデータ格納部１０３に格納するか否かを決定しても良い。この場合、評価対象データ修正情報入力領域１００３は、評価対象データを修正済みデータ格納部１０３に格納するか否かを選択するフォームをさらに備える。

また、本実施例では、評価対象データ修正部１０４は、評価対象データを必ず表示部１１０Ｄに出力するとしたが、寄与度が一定の閾値以下の場合は修正不要として出力を行わなくても良い。これは、寄与度の絶対値が大きい場合は寄与度がモデル性能に与える良否を正確に与えることが期待されるためで、本変形例によれば、利用者による修正作業の負担を軽減することができる。

《実施例５の概要》
本実施例は、実施例１において検証データ群に修正が必要な検証データが含まれる場合における、利用者による検証データの手動修正に関する。本実施例は、実施例１と比較して、機械学習システム１００がさらに入力部１０９Ｅ及び表示部１１０Ｅを有する点が異なる。機械学習システム１００は、検証データ群修正部１１１が、表示部１１０Ｅに検証データを含む情報を利用者に提示する。また、機械学習システム１００は、検証データ群修正部１１１が、表示部１１０Ｅの表示をもとに利用者によって入力部１０９Ｅから入力された情報に基づいて、検証データを修正する。

《実施例５の機械学習システム１００の構成》
図６は、実施例５の機械学習システム１００の構成例を示すブロック図である。実施例５の機械学習システム１００は、実施例1の機械学習システム１００と比較して、検証データ群修正部１１１、入力部１０９Ｅ、及び表示部１１０Ｅをさらに有し、寄与度計算部１０５の処理が異なる。

表示部１１０Ｅは、検証データ群修正フォーム１０１０を表示するディスプレイである。図７は、実施例５における検証データ群修正フォーム１０１０の表示例を示す図である。

検証データ群修正部１１１は、検証データ群取得部１０６によって取得された検証データ群を入力する。検証データ群修正部１１１は、検証データ群修正フォーム１０１０を表示部１１０Ｅに出力し、入力部１０９Ｅから検証データ群修正フォーム１０１０に対して入力された情報に基づいて修正した検証データ群を寄与度計算部１０５に出力する。

本実施例では、検証データ群修正部１１１は、入力部１０９Ｅから入力された修正情報に基づいて検証データ群のラベル情報を修正し、利用者が検証データ群として使用すると指定した検証データを寄与度計算部１０５に出力する。

図７に示す検証データ群修正フォーム１０１０は、検証データ群を表示する領域である検証データ群表示領域１０１１と、利用者が修正情報を入力する検証データ群修正情報入力領域１０１３を有する。

本実施例において、検証データ群修正部１１１は、検証データ群表示領域１０１１に検証データ群である設備外観画像及びラベル情報を表示する。また、検証データ群修正部１１１は、検証データ群修正情報入力領域１０１３に欠陥有無を入力できるフォーム及び修正済みの検証データを検証データ群として使用するため修正済みデータ格納部１０３に格納するか否かを選択するフォームを表示する。

《実施例５の効果》
本実施例によれば、検証データ群に修正が必要な学習データが含まれる場合でも、良好な精度で評価対象データの修正要否を判定することができる。

《実施例６の概要》
本実施例では、実施例２において、一部のモデルパラメータのみに関して寄与度を計算する場合である。これは、実施例１でモデルパラメータの次元数が大きい場合、寄与度の近似精度が低くなる課題を解決するためのものである。

まず、この課題が生じる原因を説明する。モデルパラメータは、ミニバッチを用いた確率的勾配降下法を用いて最適化することとする。前述の課題の原因は、寄与度の近似計算が、学習が収束していることを仮定しており、モデルパラメータ次元数が大きい場合に学習の収束が困難になるためである。ここで学習が収束するとは、数式１９の条件を満たすことである。

ただし、Ｔはモデルパラメータ次元数、εは収束条件値であり、収束条件値εは最適化開始時の数式１９の左辺の値と比較して十分小さな値である。

モデルパラメータ次元数が大きい場合に学習の収束が困難になる理由は、収束に大きな計算時間が必要となるためである。また、一般にミニバッチサイズを大きくすることで収束に要する時間を短縮することが可能である。しかし、モデルパラメータ次元数が大きい場合、一般に内部特徴量の次元数も大きく、内部特徴量の次元数に比例して１学習データあたりのメモリ使用量が大きくなる。このため、ミニバッチサイズを大きくすることは、困難である。以下、学習の収束を容易にしてこの課題を解決する構成について説明する。

《実施例６の機械学習システム１００の構成》
図８は、実施例６の機械学習システム１００の構成例を示すブロック図である。実施例６の機械学習システム１００は、実施例1の機械学習システム１００と比較して、部分モデルパラメータ情報格納部１１２及び部分モデルパラメータ学習部１１３をさらに有し、評価対象データ修正部１０４及び寄与度計算部１０５の処理が異なる。

部分モデルパラメータ情報格納部１１２は、部分モデルパラメータを得るために必要な部分モデルパラメータ情報を格納する。部分モデルパラメータは、モデルパラメータに含まれるパラメータの一部であり、モデルパラメータよりも次元数が少ない、１以上の要素から構成される。これにより、部分モデルパラメータは、部分モデルパラメータの勾配を計算する際に必要となるメモリ量が、モデルパラメータ全ての勾配を計算する際に必要となるメモリ量よりも小さい。

例えば、機械学習モデルが多層構造をもち、各層に対応するモデルパラメータ行列を持つ場合、部分モデルパラメータは出力に最も近い層である最終層に対応する最終層モデルパラメータ行列である。この場合、最終層モデルパラメータ行列の勾配計算には、最終層に入力される特徴量、出力値、出力勾配値のみが必要であり、最終層より入力側の特徴量や勾配値をメモリに保持する必要がない。このことから、部分モデルパラメータは、全てのモデルパラメータの勾配を計算するよりも必要メモリ量が少ないという特徴を有する。

また、モデルパラメータ情報は、最終層から順に各層に割り当てたインデックス値である。本実施例では、部分モデルパラメータ情報は、利用者が事前に設定し部分モデルパラメータ情報格納部１１２に保存しておくものとする。

部分モデルパラメータ学習部１１３は、部分モデルパラメータ情報格納部１１２から部分モデルパラメータ情報を、モデル情報格納部１０８から機械学習モデル構造情報及び初期モデルパラメータを、初期データ群取得部１０７から初期データ群を取得し、取得したこれらの情報に基づいて数式２０に示す最適化を行い、解である初期部分モデルパラメータを学習により得る。

ただし、数２０において、Ｌsubは機械学習モデルの部分モデルパラメータに関する損失関数である。数式２０に示す最適化は、確率的勾配降下法を使用し、ミニバッチサイズが学習部（不図示）で用いられるミニバッチサイズより大きい。これにより、学習の収束に要する時間が全てのモデルパラメータを用いる場合に比べて短縮されるため、学習の収束を容易に実現できる。

なお、数式２０の最適化の初期値は、初期モデルパラメータを用いてもよいし、ガウス分布や一様分布のような確率分布からサンプリングされた値でもよいし、事前に定義された０のような定数であっても良い。

寄与度計算部１０５は、モデル情報格納部１０８から機械学習モデル構造情報及び初期部分モデルパラメータを、評価対象データ取得部１０２から評価対象データを、検証データ群取得部１０６から検証データ群を、初期データ群取得部１０７から初期データ群を、部分モデルパラメータ学習部１１３から初期部分パラメータを取得する。そして、寄与度計算部１０５は、これらの取得データをもとに部分寄与度ｆsub(Ｚeval)を出力する。部分寄与度ｆsub(Ｚeval)は、部分モデルパラメータθsubを用いて数式２１で与えられる。

ただし、

また、数式２１の右辺は、計算コストが大きいため、実施例1と同様に数式２３で表される近似値を部分寄与度ｆsub(Ｚeval)として用いる。

ただし、部分ヘッセ行列Ｈsubは次式で与えられる。

また、本実施例では、数式２５に示すように、実施例２と同様にして、部分ヘッセ行列Ｈsubの逆行列と、検証データの近傍の部分モデルパラメータ勾配ベクトルとの積を計算することで、inverse HVPを得る。

部分モデルパラメータに関しては学習の収束が容易であるため、部分寄与度ｆsub(Ｚeval)は良好な精度で近似可能であることが期待される。また、数式２１の右辺第1項は、学習データ群に評価対象データを追加した学習データ群を用いて機械学習モデルの部分モデルパラメータを学習する部分追加再学習を行い、部分追加再学習によって得られる機械学習モデルに検証データ群を入力して得られる損失の平均値である。したがって、部分寄与度ｆsub(Ｚeval)は、実施例１の寄与度とは異なる値である。

しかし、部分モデルパラメータは、機械学習モデルにおいて出力層に近いモデルパラメータであることから、他のモデルパラメータと比較してその値の変化が損失に与える影響が大きいと考えられる。このため、部分寄与度ｆsub(Ｚeval)は、実施例１の寄与度と高い相関を持つことが期待できる。よって、本実施例も、実施例1と同様に、部分寄与度ｆsub(Ｚeval)の正負によって修正要否を容易に判定できるという効果を奏する。

評価対象データ修正部１０４は、実施例１における評価対象データ修正部１０４が寄与度を取得するのと同様に、部分寄与度を取得するものであり、その他の機能は実施例1と同様である。

《実施例６の効果》
本実施例によれば、モデルパラメータ数が大きく良好な近似精度で寄与度を計算できない場合でも、部分モデルパラメータを用いて、評価対象データの修正要否判定を容易に行うことができる。

《機械学習システム１００を実現するコンピュータ》
図９は、機械学習システム１００を実現するコンピュータ５０００のハードウェア図である。機械学習システムを実現するコンピュータ５０００では、ＣＰＵ（Central Processing Unit）に代表されるプロセッサ５３００、ＲＡＭ（Random Access Memory）等のメモリ５４００、入力装置５６００（例えばキーボード、マウス、タッチパネル等）、及び出力装置５７００（例えば外部ディスプレイモニタに接続されたビデオグラフィックカード）が、メモリコントローラ５５００を介して相互接続される。

コンピュータ５０００において、機械学習システムを実現するためのプログラムがＩ／Ｏ（Input／Output）コントローラ５２００を介してＳＳＤやＨＤＤ等の外部記憶装置５８００から読み出されて、プロセッサ５３００及びメモリ５４００の協働により実行される。これにより、機械学習システムが実現される。あるいは、機械学習システムを実現するためのプログラムは、ネットワークインターフェース５１００を介した通信により外部のコンピュータから取得されたり、媒体読み取り装置によって記録媒体から読み出されて取得されたりしてもよい。

本発明は上記した実施例に限定されるものではなく、様々な変形例を含む。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、矛盾しない限りにおいて、ある実施例の構成の一部を他の実施例の構成で置き換え、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、構成の追加、削除、置換、統合、又は分散をすることが可能である。また実施例で示した構成及び処理は、処理効率又は実装効率に基づいて、処理結果が同一である限りにおいて、適宜分散、統合、又は入れ替えることが可能である。

１００…機械学習システム、１０１…学習データ群格納部、１０２…評価対象データ取得部、１０３…修正済みデータ格納部、１０４…評価対象データ修正部、１０５…寄与度計算部、１０６…検証データ群取得部、１０７…初期データ群取得部、１０８…モデル情報格納部、１０９，１０９Ｄ，１０９Ｅ…入力部、１１０，１１０Ｄ，１１０Ｅ…表示部、１１１…検証データ群修正部、１１２…部分モデルパラメータ情報格納部、１１３…部分モデルパラメータ学習部、５０００…コンピュータ、５３００…プロセッサ、５４００・・・メモリ

Claims (14)

1. 学習モデルの学習に用いた初期データ群、前記初期データ群に対して追加又は除外する評価対象データ、及び前記評価対象データに含まれない要素を少なくとも１つ含む検証データ群を取得する取得部と、
   前記検証データ群を入力とする、前記学習モデルによる出力値と、前記初期データ群に対して前記評価対象データを追加又は除外して学習した再学習モデルによる出力値とに基づいて、前記評価対象データが学習モデルの性能に与える影響を評価する寄与度を計算する寄与度計算部と
   を有することを特徴とする機械学習システム。
2. 請求項１に記載の機械学習システムにおいて、
   前記寄与度に基づいて前記評価対象データを修正する評価対象データ修正部
   をさらに有することを特徴とする機械学習システム。
3. 請求項２に記載の機械学習システムにおいて、
   前記評価対象データ修正部は、
   利用者に対して前記寄与度及び前記評価対象データを提示し、該提示をもとに該利用者が入力した情報に基づいて前記評価対象データを修正する
   ことを特徴とする機械学習システム。
4. 請求項１に記載の機械学習システムにおいて、
   利用者に対して前記検証データ群を提示し、該提示をもとに該利用者が入力した情報に基づいて前記検証データ群を修正する検証データ修正部
   をさらに有することを特徴とする機械学習システム。
5. 請求項１に記載の機械学習システムにおいて、
   前記寄与度計算部は、
   前記初期データ群及び前記学習モデルの初期モデルパラメータに基づいて与えられるヘッセ行列の逆行列と、前記初期モデルパラメータに基づいて与えられる前記検証データ群の近傍のモデルパラメータ勾配ベクトルとの積であるinverse HVP（Hessian Vector Product）を近似計算方法を用いて近似計算し、近似計算の結果と、前記評価対象データの近傍のモデルパラメータ勾配ベクトルとを用いて、前記寄与度の近似寄与度を計算する
   ことを特徴とする機械学習システム。
6. 請求項１に記載の機械学習システムにおいて、
   前記寄与度計算部は、
   前記初期データ群及び前記学習モデルの初期モデルパラメータに基づいて与えられるヘッセ行列の逆行列と、前記初期モデルパラメータに基づいて与えられる前記検証データ群の各検証データの近傍のモデルパラメータ勾配ベクトルの和又は平均との積であるinverse HVP（Hessian Vector Product）を近似計算方法を用いて近似計算し、近似計算の結果と、前記評価対象データの近傍のモデルパラメータ勾配ベクトルと、前記和又は前記平均とに基づいて、前記寄与度の近似寄与度を計算する
   ことを特徴とする機械学習システム。
7. 請求項１に記載の機械学習システムにおいて、
   前記学習モデルのモデルパラメータのうちの部分モデルパラメータと、前記学習モデルの初期モデルパラメータと、前記初期データ群とを用いて、前記学習モデルの初期部分モデルパラメータを学習する部分モデルパラメータ学習部をさらに有し、
   前記寄与度計算部は、
   前記初期データ群及び前記部分モデルパラメータに基づいて与えられる部分ヘッセ行列の逆行列と、前記検証データ群及び前記初期部分モデルパラメータに基づいて与えられる前記検証データ群の近傍の部分パラメータ勾配ベクトルとの積を計算して得たinverse HVP（Hessian Vector Product）に基づいて、前記寄与度の近似寄与度を計算する
   ことを特徴とする機械学習システム。
8. 機械学習システムが行う機械学習方法であって、
   前記機械学習システムが、
   学習モデルの学習に用いた初期データ群、前記初期データ群に対して追加又は除外する評価対象データ、及び前記評価対象データに含まれない要素を少なくとも１つ含む検証データ群を取得し、
   前記検証データ群を入力とする、前記学習モデルによる出力値と、前記初期データ群に対して前記評価対象データを追加又は除外して学習した再学習モデルによる出力値とに基づいて、前記評価対象データが学習モデルの性能に与える影響を評価する寄与度を計算する
   ことを特徴とする機械学習方法。
9. 請求項８に記載の機械学習方法において、
   前記機械学習システムが、
   前記寄与度に基づいて前記評価対象データを修正する
   ことを特徴とする機械学習方法。
10. 請求項９に記載の機械学習方法において、
    前記機械学習システムが、
    利用者に対して前記寄与度及び前記評価対象データを提示し、該提示をもとに該利用者が入力した情報に基づいて前記評価対象データを修正する
    ことを特徴とする機械学習方法。
11. 請求項８に記載の機械学習方法において、
    前記機械学習システムが、
    利用者に対して前記検証データ群を提示し、該提示をもとに該利用者が入力した情報に基づいて前記検証データ群を修正する
    ことを特徴とする機械学習方法。
12. 請求項８に記載の機械学習方法において、
    前記機械学習システムが、
    前記初期データ群及び前記学習モデルの初期モデルパラメータに基づいて与えられるヘッセ行列の逆行列と、前記初期モデルパラメータに基づいて与えられる前記検証データ群の近傍のモデルパラメータ勾配ベクトルとの積であるinverse HVP（Hessian Vector Product）を近似計算方法を用いて近似計算し、近似計算の結果と、前記評価対象データの近傍のモデルパラメータ勾配ベクトルとを用いて、前記寄与度の近似寄与度を計算する
    ことを特徴とする機械学習方法。
13. 請求項８に記載の機械学習方法において、
    前記機械学習システムが、
    前記初期データ群及び前記学習モデルの初期モデルパラメータに基づいて与えられるヘッセ行列の逆行列と、前記初期モデルパラメータに基づいて与えられる前記検証データ群の各検証データの近傍のモデルパラメータ勾配ベクトルの和又は平均との積であるinverse HVP（Hessian Vector Product）を近似計算方法を用いて近似計算し、近似計算の結果と、前記評価対象データの近傍のモデルパラメータ勾配ベクトルと、前記和又は前記平均とに基づいて、前記寄与度の近似寄与度を計算する
    ことを特徴とする機械学習方法。
14. 請求項８に記載の機械学習方法において、
    前記機械学習システムが、
    前記学習モデルのモデルパラメータのうちの部分モデルパラメータと、前記学習モデルの初期モデルパラメータと、前記初期データ群とを用いて、前記学習モデルの初期部分モデルパラメータを学習し、
    前記初期データ群及び前記部分モデルパラメータに基づいて与えられる部分ヘッセ行列の逆行列と、前記検証データ群及び前記初期部分モデルパラメータに基づいて与えられる前記検証データ群の近傍の部分パラメータ勾配ベクトルとの積を計算して得たinverse HVP（Hessian Vector Product）に基づいて、前記寄与度の近似寄与度を計算する
    ことを特徴とする機械学習方法。
    

Images