JP2019046390A - 学習装置、学習方法、およびプログラム - Google Patents

Abstract

【課題】機械学習に必要な学習データを自動的に生成し、学習精度を向上させることができる学習装置、学習方法、およびプログラムを提供することである。【解決手段】実施形態の学習装置は、取得部と、生成部と、第１識別部と、抽出部と、第２識別部と、学習処理部とを持つ。取得部は、実データを取得する。生成部は、第１ニューラルネットワークを利用して、実データの疑似データを生成する。第１識別部は、入力データが、実データであるのか、または疑似データであるのかを識別する。抽出部は、入力データからデータの特徴を抽出する。第２識別部は、抽出部により抽出された特徴が、実データの特徴であるのか、または疑似データの特徴であるのかを識別する。学習処理部は、各識別部の識別結果に基づいて、疑似データと実データとが区別されないように、第１ニューラルネットワークを学習する。【選択図】図２

Description

本発明の実施形態は、学習装置、学習方法、およびプログラムに関する。

従来、画像データなどの所望のデータを、機械学習によってある決まったカテゴリに分類する技術が知られている。このような従来の技術は、データを分類するために予め機械学習の識別器（学習モデル）を生成しておく必要があり、機械学習の学習精度を高めるためには大量の学習データが必要であった。しかしながら、従来の技術では、学習データを大量に収集するのが困難な場合があり、機械学習の学習精度を十分に高められない問題があった。

特開２０１６−３３８０６号公報

本発明が解決しようとする課題は、機械学習に必要な学習データを自動的に生成し、学習精度を向上させることができる学習装置、学習方法、およびプログラムを提供することである。

実施形態の学習装置は、取得部と、生成部と、第１識別部と、抽出部と、第２識別部と、学習処理部とを持つ。取得部は、実データを取得する。生成部は、第１ニューラルネットワークを利用して、前記実データとデータの種類が同じ疑似データを生成する。第１識別部は、前記実データまたは前記疑似データである入力データが、前記取得部により取得された実データであるのか、または前記生成部により生成された疑似データであるのかを識別する。抽出部は、前記入力データから、データの特徴を抽出する。第２識別部は、前記抽出部により抽出された特徴が、前記取得部により取得された実データの特徴であるのか、または前記生成部により生成された疑似データの特徴であるのかを識別する。学習処理部は、前記第１識別部および前記第２識別部の識別結果に基づいて、前記第１識別部および前記第２識別部によって、前記疑似データと前記実データとが区別されないように、前記第１ニューラルネットワークを学習する。

第１実施形態における学習装置１００を含む学習システム１の全体構成の一例を示す図。 第１実施形態における学習装置１００の構成の一例を示す図。 ネットワーク２００の構成の一例を示す図。 学習処理部１１６による処理の一例を示すフローチャート。 学習処理部１１６による処理の他の例を示すフローチャート。 制御部１１０による分類器３００の学習処理の一例を示すフローチャート。 識別境界の決定方法を模式的に示す図。 学習済みの分類器３００による分類処理の一例を示すフローチャート。 第１実施形態における学習手法の検証結果の一例を示す図。 第２実施形態における学習装置１００の処理の一例を示すフローチャート。 識別境界からの距離に応じた順番に並び替えて表示させた生成画像データＩＭＧ_Ｉの一例を示す図。 生成画像データＩＭＧ_Ｉの範囲指定選択の様子を模式的に示す図。 識別境界を再決定する様子を模式的に示す図。 実施形態の学習装置１００のハードウェア構成の一例を示す図。

以下、実施形態の学習装置、学習方法、およびプログラムを、図面を参照して説明する。実施形態における学習装置は、機械学習の学習データとして用意された実データと種類が同じであり、且つ類似するデータ（以下、疑似データと称する）を自動生成する。「実データと種類が同じ」とは、例えば、実データが画像データであれば、疑似データも画像データであることを表し、実データが音声データであれば、疑似データも音声データであることを表している。

学習装置は、更に、疑似データと実データとの双方に対して、どういったデータであるのかという人間の知見を与え、これらのデータと、人間の知見として付与された情報との関係性を、ある分類器に学習させる。そして、学習装置は、学習済みの分類器を利用して、人間の知見が与えられていない未知のデータを、所定のグループ（又はクラスタやクラスなど）に分類し、その分類結果を示す情報をユーザに提供する。以下の実施形態では、一例として、実データが画像データであるものとして説明する。

（第１実施形態）
図１は、第１実施形態における学習装置１００を含む学習システム１の全体構成の一例を示す図である。学習システム１は、例えば、遠隔操縦または自律式で飛行する一以上のドローン（無人航空機）１０と、端末装置２０と、学習装置１００とを備える。これらの装置は、通信ネットワークＮＷを介して通信する。通信ネットワークＮＷは、例えば、無線基地局、Ｗｉ‐Ｆｉアクセスポイント、通信回線、プロバイダ、インターネットなどを含む。

ドローン１０は、例えば、送電線の周囲を飛行し、カメラ（不図示）によって送電線を撮像する。そして、ドローン１０は、カメラにより撮像された画像のデータを、通信ネットワークＮＷを介して学習装置１００に送信する。以下、カメラにより撮像された画像のデータを、実画像データＩＭＧ_Ｒと称して説明する。

端末装置２０は、例えば、送電線などの保守や点検を行う作業者によって操作される装置である。例えば、端末装置２０は、タブレット端末やスマートフォンなどの携帯電話である。端末装置２０は、例えば、作業者から所定の操作を受け付けると、ドローン１０の飛行を制御したり、ドローン１０のカメラに撮像を開始させたり、ドローン１０に実画像データＩＭＧ_Ｒを送信させたりする。端末装置２０は、ドローン１０から実画像データＩＭＧ_Ｒを受信すると、これを学習装置１００に送信する。

学習装置１００は、端末装置２０により送信された実画像データＩＭＧ_Ｒを学習データとして分類器３００に学習させる。この学習の詳細については後述する。

図２は、第１実施形態における学習装置１００の構成の一例を示す図である。第１実施形態の学習装置１００は、例えば、通信部１０２と、受付部１０４と、表示部１０６と、制御部１１０と、記憶部１３０とを備える。

通信部１０２は、例えば、ＮＩＣ（Network Interface Card）等の通信インターフェースなどを含む。通信部１０２は、通信ネットワークＮＷを介してドローン１０と通信し、そのドローン１０から実画像データＩＭＧ_Ｒを受信する。

受付部１０４は、ユーザからの操作入力を受け付けるタッチパネルやキーボード、マウスなどの入力インターフェースである。表示部１０６は、液晶表示装置などの表示装置である。

制御部１１０は、例えば、取得部１１２と、表示制御部１１４と、学習処理部１１６とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶部１３０に格納されたプログラムを実行することにより実現される。また、制御部１１０の構成要素の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはＧＰＵ（Graphics Processing Unit）などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

記憶部１３０は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などにより実現される。記憶部１３０は、ファームウェアやアプリケーションプログラムなどの各種プログラムの他に、ＧＡＮ（Generative Adversarial Network）構成情報Ｄ１などを記憶する。ＧＡＮ構成情報Ｄ１は、敵対的生成ネットワーク（ＧＡＮ）を構成する生成器や識別器などの各種モデルの種類、構成、および学習されたパラメータを含む情報である。

取得部１１２は、通信部１０２により実画像データＩＭＧ_Ｒが受信された場合、通信部１０２から実画像データＩＭＧ_Ｒを取得し、これを記憶部１３０に記憶させる。

表示制御部１１４は、取得部１１２により取得された実画像データＩＭＧ_Ｒを画像として表示部１０６に表示させる。また、表示制御部１１４は、後述する学習処理部１１６により画像データＩＭＧ_Ｒと類似した生成画像データＩＭＧ_Ｉが生成されると、表示部１０６に、このデータを画像として表示させる。

学習処理部１１６は、記憶部１３０に予め記憶されたＧＡＮ構成情報Ｄ１を参照して、拡張的な敵対的生成ネットワークであるネットワーク２００を生成（構築）し、このネットワーク２００を利用して、学習データとして扱う生成画像データＩＭＧ_Ｉを自動生成する。そして、学習処理部１１６は、取得部１１２により取得された実画像データＩＭＧ_Ｒと、自動生成した生成画像データＩＭＧ_Ｉとを基に、ある入力されたデータを、一以上のグループを含むグループ群のいずれかのグループに分類する分類器３００を生成する。分類器３００は、例えば、ニューラルネットワークＮＮや、ＳＶＭ（Support Vector Machine）などによって実現されてよい。以下、説明を簡略化するため、分類器３００は、入力されたデータを、第１グループである正例と、第２グループである負例とのいずれかに分類する二項分類器であるものとして説明する。例えば、正例のグループは、送電線に異常がないグループとして扱われ、負例のグループは、送電線に異常があるグループとして扱われてよい。

図３は、ネットワーク２００の構成の一例を示す図である。本実施形態のネットワーク２００は、例えば、生成器２１０と、第１識別器２２０と、特徴抽出器２３０と、第２識別器２４０とによって構成される。生成器２１０は、「生成部」の一例であり、第１識別器２２０は、「第１識別部」の一例であり、特徴抽出器２３０は、「抽出部」の一例であり、第２識別器２４０は、「第２識別部」の一例である。

生成器２１０は、ある種の乱数が入力されると生成画像データＩＭＧ_Ｉを出力する。乱数は、例えば、潜在変数と呼ばれる一様乱数である。生成器２１０により生成された生成画像データＩＭＧ_Ｉと、取得部１１２により取得された実画像データＩＭＧ_Ｒとは、第１識別器２２０および特徴抽出器２３０の其々に入力される。

第１識別器２２０は、ある画像データが入力されると、その画像データが生成器２１０により生成された生成画像データＩＭＧ_Ｉであるのか、または取得部１１２により取得された実画像データＩＭＧ_Ｒであるのかを識別する。より具体的には、第１識別器２２０は、入力された画像データが、実画像データＩＭＧ_Ｒであることの尤度（以下、第１尤度）を導出し、この第１尤度に応じて画像データが、実画像データＩＭＧ_Ｒであるのか、または生成画像データＩＭＧ_Ｉであるのかを識別する。第１尤度は、「第１スコア」の一例である。

特徴抽出器２３０は、ある画像データが入力されると、その画像データから特徴を抽出する。特徴抽出器２３０により抽出された特徴は、第２識別器２４０に入力される。

第２識別器２４０は、特徴抽出器２３０により抽出された特徴が、実画像データＩＭＧ_Ｒから抽出された特徴であるのか、または生成画像データＩＭＧ_Ｉから抽出された特徴であるのかを識別する。より具体的には、第２識別器２４０は、入力された画像データの特徴が、実画像データＩＭＧ_Ｒの特徴であることの尤度（以下、第２尤度）を導出し、この第２尤度に応じて画像データの特徴が、実画像データＩＭＧ_Ｒの特徴であるのか、または生成画像データＩＭＧ_Ｉの特徴であるのかを識別する。第２尤度は、「第２スコア」の一例である。

ネットワーク２００を構成する各モデル（器）は、例えば、ニューラルネットワークＮＮによって実現されてよい。各モデルを実現するニューラルネットワークＮＮは、例えば、入力層と、一以上の中間層（隠れ層）と、出力層とにより構成される。入力層には、ニューラルネットワークＮＮに学習させたいデータが入力される。出力層からは、ニューラルネットワークＮＮによって学習された結果が出力される。隠れ層は、学習の核となる処理を行う。例えば、隠れ層は、活性化関数（伝達関数）と呼ばれる関数により表現され、入力に応じた出力を返す。例えば、活性化関数は、正規化線形関数（ＲｅＬＵ関数）やシグモイド関数、ステップ関数などであるがこれに限られず、任意の関数が用いられてよい。

例えば、生成器２１０のニューラルネットワークＮＮ（以下、第１ニューラルネットワークＮＮと称する）を構成する入力層のユニットの数は、一様乱数として取り得る数値の数と同じ値に設定される。例えば、ある下限値からある上限値までの数値範囲における、１００個の互いに異なる数値が一様乱数として第１ニューラルネットワークＮＮの入力層に入力される場合、すなわち、１００次元の数値が入力層に入力される場合、入力層のユニット数は１００に設定される。第１ニューラルネットワークＮＮの入力層には、一様乱数（潜在変数）が入力され、中間層において一様乱数が画像の特徴に変換され、更に、画像の特徴から画像データに変換される。そして、中間層において変換された画像データが、出力層から生成画像データＩＭＧ_Ｉとして出力される。

例えば、第１識別器２２０のニューラルネットワークＮＮ（以下、第２ニューラルネットワークＮＮと称する）の入力層のユニット数は、第１ニューラルネットワークＮＮの出力層のユニット数と同じ値に設定される。第２ニューラルネットワークＮＮの入力層には、画像データが入力され、中間層において画像データが第１尤度に変換される。そして、出力層の一方のユニットから、入力された画像データの、実画像データＩＭＧ_Ｒに対する第１尤度が出力され、他方のユニットから、入力された画像データの、生成画像データＩＭＧ_Ｉに対する第１尤度が出力される。

例えば、特徴抽出器２３０のニューラルネットワークＮＮ（以下、第３ニューラルネットワークＮＮと称する）の入力層のユニット数は、第１ニューラルネットワークＮＮの出力層のユニット数と同じ値に設定される。また、第３ニューラルネットワークＮＮの出力層のユニット数は、第１ニューラルネットワークＮＮを構成する一以上の中間層のうち、いずれか１つの中間層（好ましくは入力層と出力層との中間に配置された中間層）のユニット数と同じ値に設定される。第３ニューラルネットワークＮＮの入力層には、画像データが入力され、その画像データが画像の特徴に変換される。そして、出力層の各ユニットから、画像の特徴が出力される。第３ニューラルネットワークＮＮの出力層のユニット数は、第１ニューラルネットワークＮＮのいずれかの中間層のユニット数と同じ値に設定されていることから、特徴抽出器２３０は、生成器２１０が一様乱数から画像データを生成する際の過程で得られる画像の特徴を抽出することになる。以下、この画像の特徴のことを、中間層ベクトルと称して説明する。

例えば、第２識別器２４０のニューラルネットワークＮＮ（以下、第４ニューラルネットワークＮＮと称する）の入力層のユニット数は、第３ニューラルネットワークＮＮの出力層のユニット数と同じ値に設定される。第４ニューラルネットワークＮＮの入力層には、中間層ベクトル（画像の特徴）が入力され、この中間層ベクトルが第２尤度に変換される。そして、出力層の一方のユニットから、入力された中間層ベクトルの、実画像データＩＭＧ_Ｒの特徴に対する第２尤度が出力され、他方のユニットから、入力された中間層ベクトルの、生成画像データＩＭＧ_Ｉの特徴に対する第２尤度が出力される。

学習処理部１１６は、ある一定以上の識別精度を有する第１識別器２２０によって、生成画像データＩＭＧ_Ｉと実画像データＩＭＧ_Ｒとが区別されず、且つある一定以上の識別精度を有する第２識別器２４０によって、生成画像データＩＭＧ_Ｉから抽出された特徴と実画像データＩＭＧ_Ｒから抽出された特徴とが区別されないように、生成器２１０を学習する。「生成器２１０を学習する」とは、例えば、生成器２１０のニューラルネットワークＮＮを構成する中間層のパラメータを決定することである。パラメータは、例えば、入力層側から出力層側にデータが伝搬されるときに、そのデータに対して、乗算される重み成分と、加算されるバイアス成分とを含む。中間層のある層から他の層へとデータが伝搬される度に、データには重み成分およびバイアス成分が付与され、伝搬先の中間層の活性化関数と乗算される。

なお、ネットワーク２００の学習対象とするモデル（パラメータを決定するモデル）は、生成器２１０であるものとしたがこれに限られず、第１識別器２２０、特徴抽出器２３０、および第２識別器２４０の一部または全部が学習対象のモデルであってもよい。

以下、複数のフローチャートを用いて、生成画像データＩＭＧ_Ｉを生成する際の学習処理部１１６の処理内容を説明する。

図４は、学習処理部１１６による処理の一例を示すフローチャートである。本フローチャートの処理は、例えば、生成器２１０を学習する前に事前に行う処理内容を表している。

まず、学習処理部１１６は、取得部１１２により実画像データＩＭＧ_Ｒが取得されるまで待機し（ステップＳ１００）、取得部１１２により実画像データＩＭＧ_Ｒが取得されると、第２ニューラルネットワークＮＮの入力層に、実画像データＩＭＧ_Ｒを入力する（ステップＳ１０２）。

次に、学習処理部１１６は、第２ニューラルネットワークＮＮの出力層から出力された実画像データＩＭＧ_Ｒの分布を記憶部１３０に記憶させる（ステップＳ１０４）。ここでの「分布」とは、ある実空間上における画像データの分布を意味する。

次に、学習処理部１１６は、第３ニューラルネットワークＮＮの入力層に、実画像データＩＭＧ_Ｒを入力して、第１ニューラルネットワークＮＮの中間層から出力される中間層ベクトルと同じ種類の中間層ベクトルを実画像データＩＭＧ_Ｒから抽出する（ステップＳ１０６）。

次に、学習処理部１１６は、第３ニューラルネットワークＮＮを利用して実画像データＩＭＧ_Ｒから抽出した中間層ベクトルを、第４ニューラルネットワークＮＮの入力層に入力する（ステップＳ１０８）。

次に、学習処理部１１６は、第４ニューラルネットワークＮＮの出力層から出力された中間層ベクトルの分布を記憶部１３０に記憶させる（ステップＳ１１０）。ここでの「分布」は、ある特徴空間上における中間層ベクトルの分布を意味する。これによって、本フローチャートの処理が終了する。

図５は、学習処理部１１６による処理の他の例を示すフローチャートである。本フローチャートの処理は、例えば、生成器２１０に生成画像データＩＭＧ_Ｉを生成させ、その生成画像データＩＭＧ_Ｉに対する各識別器の識別結果を基に、生成器２１０を学習する処理内容を表している。

まず、学習処理部１１６は、第１ニューラルネットワークＮＮの入力層に一様乱数を入力し、第１ニューラルネットワークＮＮの出力層から生成画像データＩＭＧ_Ｉを取得する（ステップＳ２００）。

次に、学習処理部１１６は、第１ニューラルネットワークＮＮを利用して取得した生成画像データＩＭＧ_Ｉを、第２ニューラルネットワークＮＮの入力層に入力する（ステップＳ２０２）。

次に、学習処理部１１６は、記憶部１３０に記憶させておいた実画像データＩＭＧ_Ｒの分布と、第２ニューラルネットワークＮＮの出力層から得られた生成画像データＩＭＧ_Ｉの分布との差分（例えば分散の差や偏差など）を導出する（ステップＳ２０４）。

次に、学習処理部１１６は、導出した差分が許容範囲内であるか否かを判定し（ステップＳ２０６）、差分が許容範囲外であれば、生成画像データＩＭＧ_Ｉは実画像データＩＭＧ_Ｒでないと判定し（ステップＳ２０８）、差分が許容範囲内であれば、生成画像データＩＭＧ_Ｉは実画像データＩＭＧ_Ｒであると判定する（ステップＳ２１０）。

次に、学習処理部１１６は、第３ニューラルネットワークＮＮの入力層に生成画像データＩＭＧ_Ｉを入力し、第３ニューラルネットワークＮＮの出力層から中間層ベクトルを取得する（ステップＳ２１２）。

次に、学習処理部１１６は、第３ニューラルネットワークＮＮを利用して取得した中間層ベクトルを、第４ニューラルネットワークＮＮの入力層に入力する（ステップＳ２１４）。

次に、学習処理部１１６は、記憶部１３０に記憶させておいた実画像データＩＭＧ_Ｒの中間層ベクトルの分布と、第４ニューラルネットワークＮＮの出力層から得られた生成画像データＩＭＧ_Ｉの中間層ベクトルの分布との差分を導出する（ステップＳ２１６）。

次に、学習処理部１１６は、導出した差分が許容範囲内であるか否かを判定し（ステップＳ２１８）、差分が許容範囲外であれば、生成画像データＩＭＧ_Ｉから抽出された中間層ベクトルは実画像データＩＭＧ_Ｒから抽出された中間層ベクトルでないと判定し（ステップＳ２２０）、差分が許容範囲内であれば、生成画像データＩＭＧ_Ｉから抽出された中間層ベクトルは実画像データＩＭＧ_Ｒから抽出された中間層ベクトルであると判定する（ステップＳ２２２）。

次に、学習処理部１１６は、導出した双方の差分が許容範囲内であるか否かを判定し（ステップＳ２２４）、双方の差分が許容範囲外である場合、第１ニューラルネットワークＮＮによって出力された生成画像データＩＭＧ_Ｉを、第２ニューラルネットワークＮＮに入力したときに導出される第１尤度と、第３ニューラルネットワークＮＮにより抽出された生成画像データＩＭＧ_Ｉの中間層ベクトルを、第４ニューラルネットワークＮＮに入力したときに導出される第２尤度との重み付き和を導出する（ステップＳ２２６）。

次に、学習処理部１１６は、導出した重み付き和に基づいて、第１ニューラルネットワークＮＮのパラメータを、誤差逆伝播法を用いて再決定する（ステップＳ２２８）。そして、学習処理部１１６は、処理を上述したＳ２００に戻す。

一方、学習処理部１１６は、双方の差分が許容範囲内である場合、本フローチャートの処理を終了する。

一般的な敵対的生成ネットワークは、本実施形態における生成器２１０および第１識別器２２０により構成される。この場合、第１識別器２２０は、生成画像データＩＭＧ_Ｉと、実画像データＩＭＧ_Ｒとを見分けるように学習し、生成器２１０は、第１識別器２２０に、生成した生成画像データＩＭＧ_Ｉが、実画像データＩＭＧ_Ｒであると識別されるように学習する。これは、実画像データＩＭＧ_Ｒの分布と、生成画像データＩＭＧ_Ｉの分布とを、特定の距離尺度で最小化することに相当する。しかしながら、生成器２１０が、第１識別器２２０を騙すように学習するだけでは、特徴空間上において、両者の分布に大きな差異が生じる場合がある。例えば、人間の目で見た場合には、生成画像データＩＭＧ_Ｉと、実画像データＩＭＧ_Ｒとが同じ画像データであると判断されても、これらの画像の特徴同士を特徴空間上で比較した場合、両者は互いに異なる特徴である場合がある。

これに対して、拡張的な敵対的生成ネットワークであるネットワーク２００を利用した学習処理部１１６は、上述したフローチャートの処理のように、生成画像データＩＭＧ_Ｉの分布を実空間上で実画像データＩＭＧ_Ｒの分布に近づけるのと同時に、更に、生成画像データＩＭＧ_Ｉの中間層ベクトルの分布を、特徴空間上で実画像データＩＭＧ_Ｒの中間層ベクトルの分布から離れすぎないように制約を設けた上で生成器２１０を学習するため、人間の眼だけでなく、ネットワーク２００にとっても生成画像データＩＭＧ_Ｉと実画像データＩＭＧ_Ｒとを識別し難くさせることができる。この結果、実画像データＩＭＧ_Ｒに対して、より類似した生成画像データＩＭＧ_Ｉを生成することができる。言い換えれば、第１ニューラルネットワークＮＮの出力層から出力される生成画像データＩＭＧ_Ｉを実画像データＩＭＧ_Ｒに近づけるのみならず、更に第１ニューラルネットワークＮＮの中間層から出力される生成画像データＩＭＧ_Ｉの特徴を実画像データＩＭＧ_Ｒの特徴に近づけるため、最終的に得られる生成画像データＩＭＧ_Ｉをより実画像データＩＭＧ_Ｒに似せることができる。

学習処理部１１６は、実空間および特徴空間の双方において、生成画像データＩＭＧ_Ｉが、実画像データＩＭＧ_Ｒであると識別された場合、すなわち、学習の結果、各識別器を十分に騙せる程度の精度で生成画像データＩＭＧ_Ｉを生成できた場合、学習済みの生成器２１０を用いて、複数の生成画像データＩＭＧ_Ｉを生成する。そして、学習処理部１１６は、生成した複数の生成画像データＩＭＧ_Ｉと、取得部１１２により取得された実画像データＩＭＧ_Ｒとを基に、分類器３００を学習する。

図６は、制御部１１０による分類器３００の学習処理の一例を示すフローチャートである。まず、学習処理部１１６は、第１ニューラルネットワークＮＮの入力層の各ユニットに乱数を入力し、複数の生成画像データＩＭＧ_Ｉを生成する（ステップＳ３００）。

次に、表示制御部１１４は、生成された複数の生成画像データＩＭＧ_Ｉを画像として、表示部１０６に表示させる（ステップＳ３０２）。

次に、学習処理部１１６は、表示部１０６に画像として表示された複数の生成画像データＩＭＧ_Ｉに対して、正例または負例のいずれかを示す情報（以下、ラベル情報と称する）を付与するユーザ操作が受付部１０４によって受け付けられるまで待機し（ステップＳ３０４）、各生成画像データＩＭＧ_Ｉに対してラベル情報を付与するユーザ操作が受け付けられると、生成した複数の生成画像データＩＭＧ_Ｉと、取得部１１２により取得された実画像データＩＭＧ_Ｒとを基に、入力されたデータを、正例または負例に分類する識別境界を決定する（ステップＳ３０６）。ラベル情報は、分類器３００に入力されるデータが分類されるべき正解を示すデータである。

図７は、識別境界の決定方法を模式的に示す図である。図中（ａ）は、未だ生成画像データＩＭＧ_Ｉが生成されておらず、実画像データＩＭＧ_Ｒのみが、ある実空間上に分布している。実画像データＩＭＧ_Ｒには、予めラベル情報が付与されているものとする。このような場合、実画像データＩＭＧ_Ｒの数が少ないと、正例と負例とを適切に識別する識別境界を決定することが困難となる。そのため、学習処理部１１６は、図中（ｂ）のように、実画像データＩＭＧ_Ｒが分布する空間を満たすような内挿的な生成画像データＩＭＧ_Ｉを複数生成する。次に、学習処理部１１６は、図中（ｃ）のように、生成した複数の生成画像データＩＭＧ_Ｉに対して、ユーザに、正例または負例のラベル情報を付与させる。そして、学習処理部１１６は、図中（ｄ）のように、既にラベル情報が付与されている実画像データＩＭＧ_Ｒと、ユーザにラベル情報を付与させた生成画像データＩＭＧ_Ｉとを基に、識別境界を決定する。このように実画像データＩＭＧ_Ｒに良く似た生成画像データＩＭＧ_Ｉを大量に生成することによって、実画像データＩＭＧ_Ｒが分布する空間の中で、識別境界がより明確となり、分類器３００に新たなデータが入力された場合に、そのデータが、正例であるのか、または負例であるのかを精度良く決めることができる。

図８は、学習済みの分類器３００による分類処理の一例を示すフローチャートである。
まず、学習処理部１１６は、取得部１１２によって実画像データＩＭＧ_Ｒが取得されると、この実画像データＩＭＧ_Ｒが未学習の実画像データＩＭＧ_Ｒであるか否かを判定する（ステップＳ４００）。「未学習」とは、例えば、人間の知見として、分類結果の正解がラベル情報として付与されておらずに、分類器３００の識別境界を決定する際にデータが使用されなかったことをいう。

次に、学習処理部１１６は、未学習の実画像データＩＭＧ_Ｒを、学習済みの分類器３００に入力する（ステップＳ４０２）。次に、学習処理部１１６は、識別境界に基づいて、未学習の実画像データＩＭＧ_Ｒを、正例または負例に分類する（ステップＳ４０４）。

次に、表示制御部１１４は、表示部１０６に、未学習の実画像データＩＭＧ_Ｒの分類結果を画像として表示させる（ステップＳ４０６）。なお、制御部１１０は、通信部１０２を用いて、未学習の実画像データＩＭＧ_Ｒの分類結果を、サーバ装置やユーザが保有する端末装置などに送信してもよい。これによって、本フローチャートの処理が終了する。

図９は、第１実施形態における学習手法の検証結果の一例を示す図である。図中の「追加学習なし」は、生成画像データＩＭＧ_Ｉを学習データに含めずに、実画像データＩＭＧ_Ｒのみを学習データとして、分類器３００を学習したときの各種評価指標値を表している。また、「追加学習あり」は、生成画像データＩＭＧ_Ｉと実画像データＩＭＧ_Ｒとの双方を学習データとして、分類器３００を学習したときの各種評価指標値を表している。

検証には、評価指標として、認識誤りの少なさを表す適合率Ｐと、認識漏れの少なさを表す再現率Ｒと、適合率Ｐと再現率Ｒとの調和平均であるＦ値（＝２ＰＲ／（Ｐ＋Ｒ））とが用いられている。Ｆ値が大きいほど、分類器３００の認識精度が高いことを表している。図９に示すように、適合率Ｐ、再現率Ｒ、およびＦ値の全てにおいて、追加学習なしに比べて追加学習ありの方が大きくなっており、認識精度が向上している結果となった。

以上説明した第１実施形態によれば、実データとして実画像データＩＭＧ_Ｒを取得する取得部１１２と、第１ニューラルネットワークＮＮを利用して、実画像データＩＭＧ_Ｒとデータの種類が同じ疑似データである生成画像データＩＭＧ_ｉを生成する生成器２１０と、実画像データＩＭＧ_Ｒまたは生成画像データＩＭＧ_ｉである入力データが、取得部１１２により取得された実画像データＩＭＧ_Ｒであるのか、または生成器２１０により生成された生成画像データＩＭＧ_ｉであるのかを識別する第１識別器２２０と、実画像データＩＭＧ_Ｒまたは生成画像データＩＭＧ_ｉである入力データから、データの特徴を抽出する特徴抽出器２３０と、特徴抽出器２３０により抽出された特徴が、取得部１１２により取得された実画像データＩＭＧ_Ｒの特徴であるのか、または生成器２１０により生成された生成画像データＩＭＧ_ｉの特徴であるのかを識別する第２識別器２４０と、第１識別器２２０および第２識別器２４０の識別結果に基づいて、第１識別器２２０および第２識別器２４０の其々によって、生成画像データＩＭＧ_ｉと実画像データＩＭＧ_Ｒとが区別されないように、第１ニューラルネットワークＮＮを学習する学習処理部１１６と、を備えることによって、複数の生成画像データＩＭＧ_ｉを、機械学習に必要な学習データとして自動的に生成し、学習精度を向上させることができる。

（第１実施形態の変形例）
以下、第１実施形態の変形例について説明する。上述した第１実施形態では、学習データとする実データが画像データであり、この実データと種類が同じであり、且つ類似する複数の画像データを、ネットワーク２００を利用して自動生成するものとして説明したがこれに限られない。例えば、実データは、マイクロフォンを介して録音された音声データや、スキャナなどで読み取られた文章のテキストデータなどであってもよい。この場合、学習処理部１１６は、ネットワーク２００の生成器２１０に、人工的な音声データやテキストデータを生成させる。そして、学習処理部１１６は、実空間上において各データの分布を近づけると共に、特徴空間上において各データから抽出された特徴が互いに離れすぎないように制約を設けた上で生成器２１０を学習する。これによって、実データが音声データやテキストデータであっても、各データに類似した疑似データを自動生成することができる。

（第２実施形態）
以下、第２実施形態における学習装置１００について説明する。第２実施形態における学習装置１００では、識別境界の精度を向上させるために、ネットワーク２００を利用して、識別境界付近に分布するデータを自動生成する点で第１実施形態と相違する。従って、係る相違点を中心に説明し、共通する部分についての説明は省略する。

図１０は、第２実施形態における学習装置１００の処理の一例を示すフローチャートである。まず、学習処理部１１６は、ネットワーク２００の生成器２１０に、ｎ個（ｎは任意の自然数）の生成画像データＩＭＧ_Ｉを生成させ、これらを学習済みの分類器３００に入力する（ステップＳ５００）。ここでの生成器２１０は、十分に学習されているものとする。

次に、学習処理部１１６は、学習済みの分類器３００に、既に決定された識別境界に基づいて、入力された各生成画像データＩＭＧ_Ｉを、正例または負例に分類させる（ステップＳ５０２）。

次に、学習処理部１１６は、正例または負例に分類された複数の生成画像データＩＭＧ_Ｉの中から、識別境界に最も近い位置に分布した生成画像データＩＭＧ_Ｉを抽出する（ステップＳ５０４）。例えば、学習済みの分類器３００に生成画像データＩＭＧ_Ｉを入力すると、既に識別境界が求められている空間内に、入力された各生成画像データＩＭＧ_Ｉが、特徴量を示すベクトルとして分布する。学習処理部１１６は、各生成画像データＩＭＧ_Ｉに対応したベクトルと識別境界との距離を導出し、空間内に分布した複数のベクトルの中から、識別境界との距離が最も短いベクトルを抽出する。この抽出したベクトルに対応した画像データが、識別境界に最も近い位置に分布した生成画像データＩＭＧ_Ｉとなる。

次に、学習処理部１１６は、抽出した生成画像データＩＭＧ_Ｉが生成される際に使用された乱数を基に新たな乱数を生成する（ステップＳ５０６）。例えば、ある上下限が決められた数値範囲において、１、２、３、…、といったような値を乱数として複数の生成画像データＩＭＧ_Ｉが生成された場合に、「５」という乱数を用いて生成された生成画像データＩＭＧ_Ｉが識別境界に最も近い位置に分布したとする。この場合、学習処理部１１６は、新たな乱数を、「５」という値を基準に、「５．１」や「４．９」のような、より次元の細かい値とする。

次に、学習処理部１１６は、新たに生成した乱数を、生成器２１０である第１ニューラルネットワークＮＮの入力層に入力し、新たな生成画像データＩＭＧ_Ｉを生成する（ステップＳ５０８）。

次に、学習処理部１１６は、乱数を変更し、新たな生成画像データＩＭＧ_Ｉを生成する処理を所定回数繰り返したか否かを判定する（ステップＳ５１０）。

乱数を変更し、新たな生成画像データＩＭＧ_Ｉを生成する処理を所定回数繰り返したと判定した場合、学習処理部１１６は、後述するＳ５１８の処理に進む。

一方、乱数を変更し、新たな生成画像データＩＭＧ_Ｉを生成する処理を所定回数繰り返していないと判定した場合、学習処理部１１６は、新たに生成した生成画像データＩＭＧ_Ｉを分類器３００に入力する（ステップＳ５１２）。

次に、学習処理部１１６は、分類器３００に、識別境界に基づいて、入力された生成画像データＩＭＧ_Ｉを、正例または負例に分類させる（ステップＳ５１４）。

次に、学習処理部１１６は、分類器３００の分類結果に基づいて、乱数を再生成し（ステップＳ５１６）、上述したＳ５０８に処理を戻す。

例えば、学習処理部１１６は、Ｓ５０４の処理で抽出した生成画像データＩＭＧ_Ｉの生成時に使用された乱数（例えば５.０）を基準に、この基準よりも大きい乱数（例えば５．１）を生成した結果、新たに生成した生成画像データＩＭＧ_Ｉが識別境界から遠ざかった場合、次に生成する乱数を基準の乱数よりも小さくする（例えば４．９にする）。また、学習処理部１１６は、基準よりも大きい乱数（例えば５．１）を生成した結果、新たに生成した生成画像データＩＭＧ_Ｉが識別境界に近づいた場合、次に生成する乱数を更に大きくする（例えば５．２にする）。

基準となる乱数よりも小さい乱数を生成したときも同様に、学習処理部１１６は、新たに生成した生成画像データＩＭＧ_Ｉが識別境界から遠ざかった場合、次に生成する乱数を大きくし、新たに生成した生成画像データＩＭＧ_Ｉが識別境界に近づいた場合、次に生成する乱数を更に小さくする。

このように、学習処理部１１６は、乱数を変更しながら、識別境界付近に分布することが想定される生成画像データＩＭＧ_Ｉを繰り返し探索する。

次に、表示制御部１１４は、識別境界付近で探索された所定数の生成画像データＩＭＧ_Ｉを、識別境界からの距離に応じた順番に並び替え、これらを表示部１０６に画像として表示させる（ステップＳ５１８）。

図１１は、識別境界からの距離に応じた順番に並び替えて表示された生成画像データＩＭＧ_Ｉの一例を示す図である。各生成画像データＩＭＧ_Ｉは、行列（i，ｊ）で表示されている。例えば、（１，１）の生成画像データＩＭＧ_Ｉは、実空間の正例側において、識別境界から最も遠い位置に分布していることを表し、以下、（１，２）、（１，３）、（１，４）、…、（１，１０）、（２，１）、（２，２）、…、（２，１０）、（３，１）、（３，２）、…、の順で生成画像データＩＭＧ_Ｉが識別境界に近づいている。また、（１０，１０）の生成画像データＩＭＧ_Ｉは、実空間の負例側において、識別境界から最も遠い位置に分布していることを表し、以下、（１０，９）、（１０，８）、（１０，７）、…、（１０，１）、（９，１０）、（９，９）、…、（９，１）、（８，１０）、（８，９）、…、の順で生成画像データＩＭＧ_Ｉが識別境界に近づいている。

次に、学習処理部１１６は、表示部１０６に、所定数の生成画像データＩＭＧ_Ｉが並び替えて表示された後、所定数の生成画像データＩＭＧ_Ｉの中から、正例または負例とする生成画像データＩＭＧ_Ｉを範囲指定によって選択する操作が、受付部１０４によって受け付けられたか否かを判定し（ステップＳ５２０）、この操作が受付部１０４によって受け付けられた場合、範囲指定によって選択された全ての生成画像データＩＭＧ_Ｉに対して、正例および負例の一方のグループのラベル情報を付与する（ステップＳ５２２）。

図１２は、生成画像データＩＭＧ_Ｉの範囲指定選択の様子を模式的に示す図である。例えば、所定数の生成画像データＩＭＧ_Ｉが識別境界からの距離に応じた順番に並び替えて表示された場合、ユーザは、ある画像データからある画像データまでを正例とし、ある画像データからある画像データまでを負例とする、といったように範囲指定によって複数の画像データに対して一括でラベル情報を付与する。図示の例では、範囲Ｒに含まれる（１，１）〜（２，８）の生成画像データＩＭＧ_Ｉに対して、正例のラベル情報が付与されている。

次に、学習処理部１１６は、範囲指定された生成画像データＩＭＧ_Ｉに対して一括して同じラベル情報を付与した後、これらの生成画像データＩＭＧ_Ｉを学習データとして、分類器３００の識別境界を再決定する（ステップＳ５２４）。これによって、本フローチャートの処理が終了する。

図１３は、識別境界を再決定する様子を模式的に示す図である。図中（ａ）は、ラベル情報が付与された実画像データのみで識別境界Ｂが決定されている。このような場合、学習処理部１１６は、上述したように、ｎ個の生成画像データＩＭＧ_Ｉを生成し、この中から識別境界Ｂに最も近い生成画像データＩＭＧ_Ｉを抽出する。図示の例では、識別境界Ｂに最も近い生成画像データＩＭＧ_Ｉとして、二つの生成画像データＩＭＧ_Ｉが抽出されている。

学習処理部１１６は、識別境界Ｂに最も近い生成画像データＩＭＧ_Ｉを抽出すると、
この（これらの）生成画像データＩＭＧ_Ｉに使用された乱数を基に新たな乱数を生成し、この乱数を第１ニューラルネットワークＮＮの入力層に入力して、新たな生成画像データＩＭＧ_Ｉを生成する。この処理を所定回数繰り返すことで、図中（ｂ）に示すように、識別境界Ｂと交差するように、識別境界Ｂまでの距離が互いに異なる所定数の生成画像データＩＭＧ_Ｉが生成される。（ａ）の例では、識別境界Ｂに最も近い生成画像データＩＭＧ_Ｉとして、二つの生成画像データＩＭＧ_Ｉが抽出されているため、（ｂ）の例では、抽出された二つの生成画像データＩＭＧ_Ｉの其々を起点とした２箇所において、生成画像データＩＭＧ_Ｉの探索が行われている。

図中（ｃ）に示すように、識別境界Ｂまでの距離が互いに異なる所定数の生成画像データＩＭＧ_Ｉの中から、ユーザが範囲指定によって生成画像データＩＭＧ_Ｉを選択した場合、学習処理部１１６は、範囲指定された生成画像データＩＭＧ_Ｉの其々に対してラベル情報を付与し、これを学習データとして分類器３００の識別境界Ｂを再決定する。図中Ｂ＃は、再決定された識別境界を表している。このような処理によって、識別境界の精度を向上させることができる。

以上説明した第２実施形態によれば、識別境界付近に分布する複数の生成画像データＩＭＧ_Ｉを生成し、ユーザに、これらの生成画像データＩＭＧ_Ｉに対して正解データであるラベル情報を付与させ、ラベル情報が付与された生成画像データＩＭＧ_Ｉを基に分類器３００を再学習するため、識別境界の精度を向上させることができる。この結果、学習精度を更に向上させることができる。

また、第２実施形態によれば、識別境界付近に分布する複数の生成画像データＩＭＧ_Ｉを、識別境界との距離に応じた順番に並び替えて表示するため、ユーザが、並べられて表示された複数の生成画像データＩＭＧ_Ｉから、正例または負例とするデータを範囲選択によって容易に選択することができる。一般的に、値の近い乱数を使用して複数の生成画像データＩＭＧ_Ｉを生成した場合、これらの生成画像データＩＭＧ_Ｉ同士は、実空間において近い位置に分布する。そのため、これらの生成画像データＩＭＧ_Ｉを識別境界との距離に応じた順番に並び替えた場合、正例の画像データは、正例の画像データ同士で集合し、負例の画像データは、負例の画像データ同士で集合することになり、正例の画像データの中に一つだけ負例の画像データが存在するようなことがなくなる。この結果、例えば、ユーザが、正例とするデータを一括選択した場合であっても、誤ったデータの選択を防止しつつ、正しいデータの選択漏れを減少させるため、識別境界の導出の精度を向上させることができる。

（ハードウェア構成）
上述した実施形態の学習システム１に含まれる複数の装置のうち、少なくとも学習装置１００は、例えば、図１４に示すようなハードウェア構成により実現される。図１４は、実施形態の学習装置１００のハードウェア構成の一例を示す図である。

学習装置１００は、ＮＩＣ１００−１、ＣＰＵ１００−２、ＲＡＭ１００−３、ＲＯＭ１００−４、フラッシュメモリやＨＤＤなどの二次記憶装置１００−５、およびドライブ装置１００−６が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置１００−６には、光ディスクなどの可搬型記憶媒体が装着される。二次記憶装置１００−５、またはドライブ装置１００−６に装着された可搬型記憶媒体に格納されたプログラムがＤＭＡコントローラ（不図示）などによってＲＡＭ１００−３に展開され、ＣＰＵ１００−２によって実行されることで、制御部１１０が実現される。制御部１１０が参照するプログラムは、通信ネットワークＮＷを介して他の装置からダウンロードされてもよい。

以上説明した少なくとも一つの実施形態によれば、実データとして実画像データＩＭＧ_Ｒを取得する取得部１１２と、第１ニューラルネットワークＮＮを利用して、実画像データＩＭＧ_Ｒとデータの種類が同じ疑似データである生成画像データＩＭＧ_ｉを生成する生成器２１０と、実画像データＩＭＧ_Ｒまたは生成画像データＩＭＧ_ｉである入力データが、取得部１１２により取得された実画像データＩＭＧ_Ｒであるのか、または生成器２１０により生成された生成画像データＩＭＧ_ｉであるのかを識別する第１識別器２２０と、実画像データＩＭＧ_Ｒまたは生成画像データＩＭＧ_ｉである入力データから、データの特徴を抽出する特徴抽出器２３０と、特徴抽出器２３０により抽出された特徴が、取得部１１２により取得された実画像データＩＭＧ_Ｒの特徴であるのか、または生成器２１０により生成された生成画像データＩＭＧ_ｉの特徴であるのかを識別する第２識別器２４０と、第１識別器２２０および第２識別器２４０の識別結果に基づいて、第１識別器２２０および第２識別器２４０の其々によって、生成画像データＩＭＧ_ｉと実画像データＩＭＧ_Ｒとが区別されないように、第１ニューラルネットワークＮＮを学習する学習処理部１１６と、を備えることによって、複数の生成画像データＩＭＧ_ｉを、機械学習に必要な学習データとして自動的に生成し、学習精度を向上させることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…学習システム、１０…ドローン、２０…端末装置、１００…学習装置、１０２…通信部、１０４…受付部、１０６…表示部、１１０…制御部、１１２…取得部、１１４…表示制御部、１１６…学習処理部、１３０…記憶部、Ｄ１…ＧＡＮ構成情報、２００…ネットワーク、２１０…生成器、２２０…第１識別器、２３０…特徴抽出器、２４０…第２識別器、ＩＭＧ_Ｒ…実画像データ（実データ）、ＩＭＧ_Ｉ…生成画像データ（疑似データ）、３００…分類器

Claims (10)

1. 実データを取得する取得部と、
   第１ニューラルネットワークを利用して、前記実データとデータの種類が同じ疑似データを生成する生成部と、
   前記実データまたは前記疑似データである入力データが、前記取得部により取得された実データであるのか、または前記生成部により生成された疑似データであるのかを識別する第１識別部と、
   前記入力データから、データの特徴を抽出する抽出部と、
   前記抽出部により抽出された特徴が、前記取得部により取得された実データの特徴であるのか、または前記生成部により生成された疑似データの特徴であるのかを識別する第２識別部と、
   前記第１識別部および前記第２識別部の識別結果に基づいて、前記第１識別部および前記第２識別部によって、前記疑似データと前記実データとが区別されないように、前記第１ニューラルネットワークを学習する学習処理部と、
   を備える学習装置。
2. 前記第１識別部は、前記入力データが、前記実データであること、または前記疑似データであることの確からしさの程度に基づく第１スコアを導出し、
   前記第２識別部は、前記抽出部により抽出された特徴が、前記実データの特徴であること、または前記疑似データの特徴であることの確からしさの程度に基づく第２スコアを導出し、
   前記学習処理部は、ある着目する疑似データから前記第１識別部によって導出された第１スコアと、前記着目する疑似データから前記第２識別部によって導出された第２スコアとに基づいて、前記第１ニューラルネットワークを学習する、
   請求項１に記載の学習装置。
3. 前記抽出部は、入力されたデータに応じて特徴を出力するように構成された第２ニューラルネットワークを利用して、前記入力データの特徴を抽出する、
   請求項１または２に記載の学習装置。
4. 前記第２ニューラルネットワークを構成する入力層は、前記第１ニューラルネットワークを構成する出力層と同じ構成であり、
   前記第２ニューラルネットワークを構成する出力層は、前記第１ニューラルネットワークを構成する一以上の中間層のうちのいずれかと同じ構成である、
   請求項３に記載の学習装置。
5. 前記学習処理部は、更に、前記実データおよび前記疑似データに基づいて、前記入力データを、一以上のグループを含むグループ群のいずれかに分類する分類器を生成する、
   請求項１から４のうちいずれか１項に記載の学習装置。
6. 前記学習処理部は、前記分類器によって互いに異なる複数のグループの境界付近に分類されるデータを、前記生成部に、前記疑似データとして生成させる、
   請求項５に記載の学習装置。
7. 利用者の操作を受け付ける受付部と、
   画像を表示する表示部と、
   前記表示部に画像を表示させる表示制御部と、を更に備え、
   前記表示制御部は、前記生成部によって生成された疑似データのうち、前記境界付近の疑似データを、前記表示部に画像として表示させ、
   前記学習処理部は、前記表示部によって画像として表示された疑似データの中から一以上の疑似データに、当該疑似データが分類されるべきグループの正解を与える操作が、前記受付部によって受け付けられた場合、前記分類器に、前記利用者によってグループ分類の正解が与えられた疑似データに基づいて、前記境界を再学習させる、
   請求項６に記載の学習装置。
8. 前記表示制御部は、前記表示部に、前記境界付近の疑似データを画像として、前記境界との距離に応じた順番に並び替えて表示させる、
   請求項７に記載の学習装置。
9. コンピュータが、
   実データを取得し、
   第１ニューラルネットワークを利用して、前記実データとデータの種類が同じ疑似データを生成し、
   前記実データまたは前記疑似データである入力データが、前記取得した実データであるのか、または前記生成した疑似データであるのかを識別する第１識別処理を行い、
   前記入力データから、データの特徴を抽出し、
   前記抽出した特徴が、前記取得した実データの特徴であるのか、または前記生成した疑似データの特徴であるのかを識別する第２識別処理を行い、
   前記第１識別処理および前記第２識別処理の結果に基づいて、前記第１識別処理および前記第２識別処理によって、前記疑似データと前記実データとが区別されないように、前記第１ニューラルネットワークを学習する、
   学習方法。
10. コンピュータに、
    実データを取得させ、
    第１ニューラルネットワークを利用して、前記実データとデータの種類が同じ疑似データを生成させ、
    前記実データまたは前記疑似データである入力データが、前記取得させた実データであるのか、または前記生成させた疑似データであるのかを識別する第１識別処理を行わせ、
    前記入力データから、データの特徴を抽出させ、
    前記抽出させた特徴が、前記取得させた実データの特徴であるのか、または前記生成させた疑似データの特徴であるのかを識別する第２識別処理を行わせ、
    前記第１識別処理および前記第２識別処理の結果に基づいて、前記第１識別処理および前記第２識別処理によって、前記疑似データと前記実データとが区別されないように、前記第１ニューラルネットワークを学習させる、
    プログラム。