JP2019159835A - 学習プログラム、学習方法および学習装置 - Google Patents

Abstract

【課題】推定結果の精度劣化を抑制することを課題とする。【解決手段】学習装置は、ラベルが付された訓練データ、および、テストデータを入力し特徴量を生成する特徴生成器と、特徴生成器で生成された特徴量のデータを入力し推定結果を出力する推定器と、特徴生成器で生成された特徴量のデータを入力し訓練データとテストデータとの分類結果を出力する鑑定器を有する。推定器は、訓練データに対する推定結果の精度が上がるように、訓練データにそれぞれ付されたラベルを用いて学習される。鑑定器は、訓練データとテストデータとを分類できるように学習する。特徴生成器は、推定器の精度が上がり、かつ、鑑定器の精度が下がるように学習される。【選択図】図４

Description

本発明は、学習プログラム、学習方法および学習装置に関する。

機械学習による分類や回帰を行う際、あらかじめ用意した訓練データで学習を行い、推定対象であるテストデータの推定を行うことが一般的である。例えば、手書き文字と文字種の対を含む訓練データで学習を行い、新たな手書き文字のラベルを推定する。また、シミュレータの入力とその結果の対を含む訓練データで学習を行い、実世界の観測値等の新たな入力に対する結果を推定する。

特開２０１６−１３３８９５号公報 特開２０１４−２２８９７２号公報 特開２０１６−２２４８２１号公報 特開２０１１−２４３１４７号公報

しかしながら、訓練データとテストデータとの間でデータの性質が異なる場合に、推定結果の精度が低下することがある。例えば、手書き文字のテストデータに環境によるコントラストの違い、影、ノイズ等の差異が存在する場合や訓練データのシミュレーションの入力には存在しない範囲のデータが実世界の観測値には存在する場合に、推定精度が低下する。

この対策として、訓練データとテストデータを比較し、差異が存在すると確認できる場合は学習前に差異が小さくなるようにデータを加工することが行われている。ところが、データの種類や状態によってさまざまな差異が存在することから、加工方法が自明な分野の手法であるとは限らない。また、加工を行ったとしても、加工方法が妥当であるかどうかがテストデータを実際に適用してみるまで判断できない。

一つの側面では、推定結果の精度劣化を抑制することができる学習プログラム、学習方法および学習装置を提供することを目的とする。

第１の案では、学習プログラムは、ラベルが付された訓練データ、および、テストデータを特徴生成器に入力して特徴量を生成し、記特徴生成器で生成された特徴量のデータを推定器に入力し推定結果を出力し、前記特徴生成器で生成された特徴量のデータを鑑定器に入力し訓練データとテストデータとの分類結果を出力する処理をコンピュータに実行させる。前記推定結果を出力する処理は、前記訓練データに対する推定結果の精度が上がるように、前記訓練データにそれぞれ付されたラベルを用いて、前記推定器を学習する。前記分類結果を出力する処理は、前記訓練データと前記テストデータとを分類できるように、前記鑑定器を学習する。前記特徴量を生成する処理は、前記推定器の精度が上がり、かつ、前記鑑定器の精度が下がるように、前記特徴生成器を学習する。

一実施形態によれば、推定結果の精度劣化を抑制することができる。

図１は、実施例１にかかる学習装置を説明する図である。 図２は、一般的な事前処理の加工方法を説明する図である。 図３は、テストデータの加工を省略した場合の特徴量の分布を示す図である。 図４は、実施例１にかかる学習装置の機能構成を示す機能ブロック図である。 図５は、実施例１にかかる学習装置の学習遷移を説明する図である。 図６は、学習精度の向上を説明する図である。 図７は、学習処理の流れを示すフローチャートである。 図８は、ハードウェア構成例を示す図である。

以下に、本願の開示する学習プログラム、学習方法および学習装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

［学習装置の説明］
図１は、実施例１にかかる学習装置を説明する図である。図１に示す学習装置は、サーバやパーソナルコンピュータなどのコンピュータ装置であり、特徴生成器と推定器と鑑定器の３つの学習器を有する。各学習器は、ニューラルネットワーク等の微分可能なモデルを使用することができ、勾配法やランダムサーチなどの様々な学習手法を採用できる。

図１に示す学習装置は、これらの学習器を用いて、訓練データとテストデータの差異による推定の失敗を軽減する。具体的には、特徴生成器は、推定器の精度が上がり、鑑定器の精度が下がるように学習する。推定器は、訓練データに対する推定結果の精度が上がるように学習する。鑑定器は、訓練データかテストデータか分類できるように学習する。

ここで、一般的な手法による差異解消のための対策について説明する。一般的には、管理者等が、訓練データとテストデータを比較し、差異が存在すると確認できる場合は、学習前に差異が小さくなるように、管理者等が手作業でデータを加工する。

図２は、一般的な事前処理の加工方法を説明する図である。図２に示すように、訓練データに対して、コントラストが異なるテストデータ１、ノイズがあるテストデータ２、データが欠損しているテストデータ３が存在する場合、管理者は、事前処理を行ってモデル（学習器）に投入する。具体的には、テストデータ１に対してはコントラスト補正を行い、テストデータ２に対してはノイズ除去を行い、テストデータ３に対しては欠損補間を行う。

このように、テストデータについては、データの種類や状態によってさまざまな差異が存在するが、必ずしも図２に示すような簡単にわかる加工方法とは限らない。加工方法がわからない場合、管理者による試行錯誤が行われることから、時間的コストや人的コストがかかる。このため、各コストを削減するために、テストデータに対する事前の加工を省略することが考えられる。しかし、加工を省略するとテストデータに対する精度が悪くなる。

図３は、テストデータの加工を省略した場合の特徴量の分布を示す図である。図３では、特徴量は２次元とし、正例（＋）と負例（−）を直線で分離する線形学習器を例にして説明する。図３に示すように、訓練データを用いて学習した結果、正例（＋）と負例（−）を分離する直線αが学習されたとする。このような学習装置に、訓練データと性質が異なるテストデータを適用した場合、図３に示すように、テストデータの正例も負例も直線αの負例側に分類される場合がある。つまり、判別や回帰に使用する特徴量の分布がテストデータと訓練データで異なるため、訓練データで学習したモデル（学習モデル）が訓練データに過適合してしまう。いわゆる外挿問題が発生する。

このように、訓練データを用いて学習した結果をテストデータに適用しても、性質の異なるデータを用いた学習結果であることから、テストデータの分類精度がよくない。したがって、コストを削減するために、事前加工を省略すると、コストは削減できるが、学習精度が劣化する。一方で、加工方法の試行錯誤を繰り返した上で事前加工を行う場合は、学習精度の劣化をある程度抑制できることが期待できるが、コストが大きくなる。すなわち、コストと学習精度とがトレードオフの関係にあり、人為的に処理することは難しい。

そこで、実施例１にかかる学習装置は、機械学習において、訓練データとテストデータの差異によって生じる推定の失敗を、人手による差異吸収のための事前処理の手間をかけずに軽減する。具体的には、学習装置は、訓練データとテストデータに共通する特徴量を自動的に生成し学習に使用する。そして、学習装置は、使用する特徴量が訓練データとテストデータに共通する特徴量かどうかを判別するために、特徴量をもとに訓練データとテストデータを分類する分類器（鑑定器）を使用する。また、学習装置は、訓練データとテストデータの差異を見つける学習器も同時に学習し、この学習器が判別できない特徴量を使用して本来の目的の学習を行う。このようにして、学習装置は、データの事前処理の簡略化と人的コスト等の削減との両立を実現する。

［学習装置の機能構成］
図４は、実施例１にかかる学習装置１０の機能構成を示す機能ブロック図である。図４に示すように、学習装置１０は、訓練データＤＢ１１、テストデータＤＢ１２、推定結果ＤＢ１３、特徴生成器１４、推定器１５、鑑定器１６を有する。なお、訓練データＤＢ１１、テストデータＤＢ１２、推定結果ＤＢ１３は、メモリやハードディスクなどに記憶される。特徴生成器１４、推定器１５、鑑定器１６は、プロセッサなどが実行するプロセスによって実現することもできる。

訓練データＤＢ１１は、ラベルが付与される、学習対象の訓練データを記憶するデータベースである。具体的には、訓練データＤＢ１１は、「入力（ｘ）、ラベル（ｙ）」が対応付けられた複数のデータ群を訓練データとして記憶する。

テストデータＤＢ１２は、ラベルが付与されない、推定対象であるテストデータを記憶するデータベースである。具体的には、テストデータＤＢ１２は、ラベルがわからない少なくとも１つの「入力（ｘ´）」を記憶するデータベースである。

推定結果ＤＢ１３は、後述する推定器１５の推定結果を記憶するデータベースである。例えば、推定結果ＤＢ１３は、入力（ｘ）を入力した際の推定結果であるラベル（ｙ´）を記憶する。

特徴生成器１４は、訓練データとテストデータを使って学習する学習器であり、各種データから特徴量を生成し、訓練データとテストデータに共通する特徴量を生成するように学習する。なお、特徴量の一例としては、学習対象が画像の場合は、画像内のエッジ、コントラスト、画像内の目や鼻の位置などが挙げられる。

例えば、特徴生成器１４は、訓練データＤＢ１１に記憶される訓練データ（ｘ、ｙ）の特徴量（ｚ）を生成して、推定器１５と鑑定器１６に出力する。また、特徴生成器１４は、テストデータＤＢ１２に記憶されるテストデータ（ｘ）の特徴量（ｚ´）を生成して、推定器１５と鑑定器１６に出力する。そして、特徴生成器１４は、後述する推定器１５の精度が上がり、鑑定器１６の精度が下がるように、訓練データとテストデータを使って学習する。このとき、特徴生成器１４は、特徴量に対する鑑定器１６と推定器１５の誤差の勾配を利用することができる。

推定器１５は、訓練データを使って学習する学習器であり、特徴量から分類や回帰を学習する。例えば、推定器１５は、訓練データ（ｘ、ｙ）の特徴量（ｚ）とテストデータ（ｘ）の特徴量（ｚ´）とを用いて、訓練データ（入力（ｘ）、ラベル（ｙ））の入力（ｘ）を入力して、そのときのラベル（ｙ´）を推定して、推定結果ＤＢ１３に格納する。そして、推定器１５は、既知であるラベル（ｙ）と推定結果のラベル（ｙ´）との誤差が小さくなるように学習する。すなわち、推定器１５は、入力（ｘ）から正しい（ｙ）が復元できるように学習する。

鑑定器１６は、訓練データとテストデータを使って学習する学習器であり、訓練データかテストデータか分類できるように学習する。具体的には、鑑定器１６は、推定器１５が使用する特徴量が訓練データとテストデータに共通する特徴量かどうかを判別するために、各特徴量をもとに訓練データとテストデータを分類する。例えば、鑑定器１６は、訓練データ（ｘ、ｙ）の特徴量（ｚ）とテストデータ（ｘ）の特徴量（ｚ´）を受け付けて、特徴量（ｚ）と特徴量（ｚ´）の類似度などによって、各特徴量間の差異を検出する。そして、鑑定器１６による各特徴量間の差異の検出精度が悪化するように、特徴量の学習が実行される。すなわち、鑑定器１６が訓練データの特徴量とテストデータの特徴量とを正確に分類できないように、特徴量の学習が実行される。

なお、特徴生成器１４、推定器１５、鑑定器１６のそれぞれは、リアルタイム処理などで学習時間に制限がある場合は、予め指定した所定の回数、訓練データとテストデータとを用いた学習処理を繰り返す。また、特徴生成器１４、推定器１５、鑑定器１６のそれぞれは、学習時間に制限がない場合は、推定器１５の精度が向上し、鑑定器１６の分類精度が十分低下するまで繰り返す。

例えば、推定器１５による推定結果が基準値以上となるまで学習を繰り返す。より詳細には、既知であるラベル（ｙ）と推定結果ラベル（ｙ´）の誤差が閾値以下となるまで学習処理を繰り返したり、ラベル（ｙ´）とラベル（ｙ）とが一致する回数または誤差が閾値以下となる回数が規定数以上となるまで学習処理を繰り返したりする。

また、鑑定器１６の分類精度が基準値を下回るまで学習を繰り返す。より詳細には、鑑定器１６が算出した特徴量（ｚ）と特徴量（ｚ´）の類似度が閾値以下となるまで、訓練データとテストデータとを用いた学習処理を繰り返す。なお、訓練データとテストデータのそれぞれについては、データの使いまわしは行わず、学習ごとに違うデータを用いることもできる。

［学習遷移］
図５は、実施例１にかかる学習装置の学習遷移を説明する図である。図５では、図３と同様、特徴量は２次元とし、正例（＋）と負例（−）を直線で分離する線形学習器を例にして説明する。

図５に示すように、学習初期では、特徴生成器１４が共通する特徴量を生成するように学習をはじめた段階であることから、訓練データの特徴量とテストデータの特徴量とがお互いに関係なく生成される。このため、訓練データもテストデータもともに正例と負例とに分類されない。

そして、学習途中では、特徴生成器１４が共通する特徴量を生成するように学習を行っているので、訓練データとテストデータとで共通する特徴量に近い特徴量が生成されつつある。このため、訓練データもテストデータもともに正例と負例とに徐々に分類されていく。

その後、学習が終了すると、特徴生成器１４が共通する特徴量を生成できるので、訓練データとテストデータとで共通する特徴量が生成される。このため、図３と比較しても訓練データとテストデータとの間の特徴量の分布が従来よりも近くなり、訓練データもテストデータもともに正例と負例とに精度よく分類できる。したがって、学習装置１０は、分類の境界となる位置（直線）を学習することができる。

図６は、学習精度の向上を説明する図である。ここでは、訓練データとテストデータの性質が異なり、事前処理が必要であるが、テストデータに対して事前処理が実行されていない場合を想定する。また、正例（＋）と負例（−）を直線で分離する線形学習器を例にして説明する。

図６に示すように、訓練データに対する学習精度は、実施例１の手法を用いた場合と一般的な手法（従来）を用いた場合とでは、あまり大きな差はない。なお、実施例１の学習装置は、訓練データの単純な特徴量ではなく、訓練データとテストデータで共通する特徴量を生成するように、従来手法と比較すると、若干精度が低下するが、精度に影響が出る程ではない。

一方、テストデータの場合、従来手法では、訓練データとは性質が異なるテストデータであることから、訓練データの学習結果をそのまま用いても分類精度は悪く、学習回数を長くしても精度は向上しない。これに対して、実施例１の手法では、学習回数が増えるについて、鑑定器１６による分類精度が悪化するように学習されるので、訓練データとテストデータで共通する特徴量が生成されるようになる。このため、訓練データおよびテストデータを含めた学習が実行されるので、訓練データとは性質が異なるテストデータであっても、分類精度は徐々に向上する。つまり、訓練データとテストデータの違いによる精度悪化が軽減される。

［処理の流れ］
図７は、学習処理の流れを示すフローチャートである。図７に示すように、学習装置１０は、特徴生成器１４、推定器１５、鑑定器１６を初期化する（Ｓ１０１）。ここでの初期化は、公知の学習処理の一般的な初期化である。

続いて、学習装置１０は、訓練データを使って推定器１５を学習し（Ｓ１０２）、訓練データとテストデータとを使って鑑定器１６を学習する（Ｓ１０３）。そして、学習装置１０は、訓練データとテストデータを使って特徴生成器１４を学習する（Ｓ１０４）。

その後、学習装置１０は、推定器１５の誤差が低く、鑑定器１６の誤差が大きい場合（Ｓ１０５：Ｙｅｓ）、処理を終了する。例えば、学習装置１０は、推定器１５の誤差が第１閾値以下かつ鑑定器１６の誤差が第２閾値以上の場合に、学習処理を終了し、学習結果を用いてテストデータの分類を実行する。なお、各閾値は任意に設定できる。

一方、学習装置１０は、推定器１５の誤差が高く、鑑定器１６の誤差が低い場合（Ｓ１０５：Ｎｏ）、繰り返し回数が規定の回数に到達したか否かを判定する（Ｓ１０６）。ここで、学習装置１０は、繰り返し回数が規定の回数に到達した場合（Ｓ１０６：Ｙｅｓ）、学習処理を終了し、繰り返し回数が規定の回数に到達していない場合（Ｓ１０６：Ｎｏ）、Ｓ１０２以降を繰り返す。

［効果］
上述したように、学習装置１０は、訓練データとテストデータの差異を見つける鑑定器１６を学習し、この鑑定器１６が判別できない特徴量を使用して本来の目的の学習を行う。このため、学習装置１０は、いわゆる外挿問題を解消しつつ、正確な学習を実行できる。したがって、学習装置１０は、ニューラルネットワークを使った決定問題や回帰問題に対して、訓練データとテストデータの差異による推定の失敗を軽減することができる。また、学習装置１０は、訓練データとテストデータの種別等が異なる場合であっても、管理者等による事前処理を省略した上で学習精度も向上させることができるので、データの事前処理の簡略化と人的コスト等の削減との両立を実現できる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に異なる実施例を説明する。

［誤差表示］
学習装置１０は、推定器１５と鑑定器１６の精度を提示することで、加工の妥当性を判断するための情報を提供する表示制御部を有することもできる。例えば、学習装置１０の表示制御部は、鑑定器１６による訓練データかテストデータの分類結果、各特徴量の差異、各特徴量の類似度、推定器１５による推定結果、図５に示す学習遷移のプロット図などをディスプレイに表示したり、管理者端末に送信したりすることができる。この結果、管理者が鑑定器１６の精度を確認することで、外挿問題の影響を見積もることができるようになる。なお、表示するタイミングは、学習処理ごとに表示することもでき、数回の学習処理ごとに表示することもできる。

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。なお、上記推定器１５、鑑定器１６、特徴生成器１４、表示制御部のそれぞれは、推定器、鑑定器、特徴生成器、表示制御部の一例である。また、上記各閾値や基準値は、任意に設定変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［ハードウェア構成］
図８は、ハードウェア構成例を示す図である。図８に示すように、学習装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ０ｄを有する。

通信インタフェース１０ａは、他の装置の通信を制御するネットワークインタフェースカードなどである。ＨＤＤ１０ｂは、プログラムやデータなどを記憶する記憶装置の一例である。

メモリ１０ｃの一例としては、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等が挙げられる。プロセッサ１０ｄの一例としては、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）等が挙げられる。

また、学習装置１０は、プログラムを読み出して実行することで学習方法を実行する情報処理装置として動作する。つまり、学習装置１０は、特徴生成器１４、推定器１５、鑑定器１６と同様の機能を実行するプログラムを実行する。この結果、学習装置１０は、特徴生成器１４、推定器１５、鑑定器１６と同様の機能を実行するプロセスを実行することができる。なお、この他の実施例でいうプログラムは、学習装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ（Magneto−Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

１０ 学習装置
１１ 訓練データＤＢ
１２ テストデータＤＢ
１３ 推定結果ＤＢ
１４ 特徴生成器
１５ 推定器
１６ 鑑定器

Claims (5)

1. ラベルが付された訓練データ、および、テストデータを特徴生成器に入力して特徴量を生成し、
   前記特徴生成器で生成された特徴量のデータを推定器に入力し推定結果を出力し、
   前記特徴生成器で生成された特徴量のデータを鑑定器に入力し訓練データとテストデータとの分類結果を出力する処理をコンピュータに実行させ、
   前記推定結果を出力する処理は、前記訓練データに対する推定結果の精度が上がるように、前記訓練データにそれぞれ付されたラベルを用いて、前記推定器を学習し、
   前記分類結果を出力する処理は、前記訓練データと前記テストデータとを分類できるように、前記鑑定器を学習し、
   前記特徴量を生成する処理は、前記推定器の精度が上がり、かつ、前記鑑定器の精度が下がるように、前記特徴生成器を学習する、学習プログラム。
2. 前記推定器、前記鑑定器、前記特徴生成器のそれぞれを、学習時間に制限がある場合は、予め指定した所定の回数、学習処理を繰り返し、学習時間に制限がない場合は、前記推定器の精度が基準値より向上し、前記鑑定器の分類精度が基準値を下回るまで繰り返す処理を前記コンピュータに実行させる請求項１に記載の学習プログラム。
3. 前記学習時間内で実行される学習処理ごと、または、所定回数の学習処理ごとに、前記推定器による推定結果または前記鑑定器による分類結果を表示する処理を前記コンピュータに実行させる請求項２に記載の学習プログラム。
4. ラベルが付された訓練データ、および、テストデータを特徴生成器に入力して特徴量を生成し、
   前記特徴生成器で生成された特徴量のデータを推定器に入力し推定結果を出力し、
   前記特徴生成器で生成された特徴量のデータを鑑定器に入力し訓練データとテストデータとの分類結果を出力する処理をコンピュータが実行し、
   前記推定結果を出力する処理は、前記推定器を、訓練データに対する推定結果の精度が上がるように、前記訓練データにそれぞれ付されたラベルを用いて学習し、
   前記分類結果を出力する処理は、前記鑑定器を、前記訓練データと前記テストデータとを分類できるように学習し、
   前記特徴量を生成する処理は、前記特徴生成器を、前記推定器の精度が上がり、かつ、前記鑑定器の精度が下がるように学習する、学習方法。
5. ラベルが付された訓練データ、および、テストデータを入力し特徴量を生成する特徴生成器と、
   前記特徴生成器で生成された特徴量のデータを入力し推定結果を出力する推定器と、
   前記特徴生成器で生成された特徴量のデータを入力し訓練データとテストデータとの分類結果を出力する鑑定器と、を有し、
   前記推定器は、訓練データに対する推定結果の精度が上がるように、前記訓練データにそれぞれ付されたラベルを用いて学習され、
   前記鑑定器は、前記訓練データと前記テストデータとを分類できるように学習し、
   前記特徴生成器は、前記推定器の精度が上がり、かつ、前記鑑定器の精度が下がるように学習される、学習装置。

Images