JP2022025392A - 機械学習装置及び機械学習方法 - Google Patents

Abstract

【課題】少ない学習データで学習精度を向上させる機械学習装置及び機械学習方法を提供する。【解決手段】機械学習装置１において、対向伝播ネットワーク部２０は、小規模データセット１０を入力として、対向伝播ネットワークにより教師あり学習を行い、学習された結合荷重とラベルとを出力する。転移学習部４０は、小規模データセット１０及び／又は対向伝播ネットワーク部２０により学習された結合荷重とラベルとから転移学習を行う。ドメイン適応部５０は、転移学習部４０による転移学習の学習結果に基づいてドメイン適応を行う。【選択図】図１

Description

本発明は、特に人工ニューラルネットワークで機械学習を行う機械学習装置及び機械学習方法に関する。

従来から、人工ニューラルネットワーク（Artificial Neural Network。以下、「ＮＮ」という。）により画像、音声、文章等を認識する機械学習装置が存在する。近年の第三次人工知能ブームでは、三層以上のディープニューラルネットワーク（Deep Neural Network。以下、「ＤＮＮ」という。）が実用化されて、認識精度が飛躍的に向上している。

ここで、ＤＮＮでは、学習データが量的に不足すると、精度に結び付かないことが、課題のひとつとして知られている。そのため、少ないデータでも、様々なタスクに対してＤＮＮを使用する手法が模索されている。このような手法として、異カテゴリ間での追加学習を行う転移学習、同一カテゴリでの追加学習となるドメイン適応の技術が発達してきている。

特許文献１を参照すると、各々が所定の条件下における検出対象の特徴を有する複数の学習用データを含む目標ドメインと、所定の条件と異なる条件下における検出対象の特徴を有する学習候補データを含む事前ドメインとを取得する取得部と、取得部により取得された目標ドメイン及び事前ドメインを用いて転移学習を導入した機械学習を実行して、検出対象の検出に用いられる決定木を生成する試行転移学習部と、試行転移学習部により生成された決定木を構成する全てのリーフノードを用いて、取得部により取得された事前ドメインが転移学習に有効であるか否かを判断する判断部とを備える機械学習装置が開示されている。
特許文献１の技術では、事前ドメインが転移学習に有効であるかを判断することができる。

特開２０１６－１９１９６６号公報

間所洋和、他１名、「データの位相構造をカテゴリマップとして可視化する適応的写像ネットワーク」、知能と情報（日本知能情報ファジィ学会誌）、２０１４年、ｖｏｌ．２６、ｎｏ．６、ｐ．９０３－９１２ Ｒ．Ｈ．Ｎｉｅｌｓｅｎ他、「Ｃｏｕｎｔｅｒｐｒｏｐａｇａｔｉｏｎ Ｎｅｔｗｏｒｋｓ」、Ａｐｐｌｉｅｄ Ｏｐｔｉｃｓ、１９８７年、Ｖｏｌ ２７、ｎｏ．２３、ｐ．４９７０－４９８４ Ｔ．Ｋｏｈｏｎｅｎ他、「Ｓｅｌｆ－ｏｒｇａｎｉｚｉｎｇ ｍａｐｓ」、Ｓｐｒｉｎｇｅｒ Ｓｅｒｉｅｓ ｉｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅｓ、１９９５年

しかしながら、特許文献１の技術では、少ない学習データを量的かつ質的に拡張して、機械学習の精度を上げること自体はできなかった。

本発明は、このような状況に鑑みてなされたものであって、上述の問題点を解消する機械学習装置を提供することを課題とする。

本発明の機械学習装置は、小規模データセットを入力として、対向伝播ネットワークにより教師あり学習を行い、学習結果に基づいた結合荷重とラベルとを出力する対向伝播ネットワーク部と、前記小規模データセット、及び／又は、前記対向伝播ネットワーク部により学習された前記結合荷重と前記ラベルとから転移学習を行う転移学習部と、前記転移学習部による前記転移学習の学習結果に基づいてドメイン適応を行うドメイン適応部とを備えることを特徴とする。
本発明の機械学習装置は、前記対向伝播ネットワーク部は、近傍と競合に基づく教師あり学習を行い、前記学習結果に対して、前記小規模データセットを入力した際の結合荷量と前記ラベルとの組み合わせを、学習データセットとして生成することを特徴とする。
本発明の機械学習装置は、前記対向伝播ネットワーク部は、前記小規模データセットに含まれるカテゴリの分布特性を、二次元の特徴地図となるカテゴリマップとして可視化することを特徴とする。
本発明の機械学習装置は、前記結合荷重は、カテゴリ間又はカテゴリ内の関係性若しくは／並びに複雑度を、隣接する結合荷重の距離情報から深度特徴として写像され、可視化されることを特徴とする。
本発明の機械学習装置は、前記転移学習部は、大規模データセットにより事前学習されており、前記小規模データセットのカテゴリに沿った再学習として、前記転移学習を行うことを特徴とする。
本発明の機械学習装置は、前記転移学習部は、前記学習データセットにより転移学習を行う荷重カテゴリ学習部と、前記小規模データセットを用いて転移学習を行う小規模データ学習部とを含むことを特徴とする。
本発明の機械学習装置は、前記荷重カテゴリ学習部と前記小規模データ学習部とは、互いに識別精度を比較し合うことを特徴とする。
本発明の機械学習装置は、前記ドメイン適応部は、前記荷重カテゴリ学習部による学習を引き継いで、前記小規模データセットによりドメイン適応を行う荷重カテゴリ小規模適応部と、前記小規模データ学習部による学習を引き継いで、前記学習データセットによりドメイン適応を行う小規模荷重カテゴリ適応部とを含むことを特徴とする。
本発明の機械学習装置は、前記荷重カテゴリ小規模適応部と前記小規模荷重カテゴリ適応部とは、互いに識別精度を比較し合うことを特徴とする。
本発明の機械学習方法は、機械学習装置により実行される機械学習方法であって、前記機械学習装置は、小規模データセットを入力として、対向伝播ネットワークにより教師あり学習を行い、学習結果に基づいた結合荷重とラベルとを出力し、前記小規模データセット、及び／又は、学習された前記結合荷重と前記ラベルとから転移学習を行い、前記転移学習の学習結果に基づいてドメイン適応を行うことを特徴とする。
本発明の機械学習プログラムは、機械学習装置により実行される機械学習プログラムであって、前記機械学習装置を、小規模データセットを入力として、対向伝播ネットワークにより教師あり学習を行い、学習結果に基づいた結合荷重とラベルとを出力させ、前記小規模データセット、及び／又は、学習された前記結合荷重と前記ラベルとから転移学習を行わせ、前記転移学習の学習結果に基づいてドメイン適応を行わせることを特徴とする。

本発明によれば、小規模データセットを入力として、対向伝播ネットワークにより教師あり学習を行い、学習結果に基づいた結合荷重とラベルとを出力し、小規模データセット、及び／又は、結合荷重とラベルとから転移学習を行い、転移学習の学習結果に基づいてドメイン適応を行うことで、少ない学習データから機械学習の精度を向上させる機械学習装置を提供することができる。

本発明の実施の形態に係る機械学習装置の機能構成を示すブロック図である。 図１に示す対向伝播ネットワーク部の構造を示す概念図である。 本発明の実施の形態に係る機械学習処理のフローチャートである。

＜実施の形態＞
〔機械学習装置１の機能構成〕
ここで、図１を参照し、機械学習装置１の機能構成について説明する。
本実施形態の機械学習装置は、ＮＮ等のいわゆるＡＩ（Artificial Intelligence）による機械学習（Machine Learning）を行い、新規データにその学習結果を適用して、必要な出力結果を得る演算装置である。

本実施形態の機械学習装置は、カテゴリに分類された又は分類されていない各種データセットを設定し、下記で説明する各部のネットワーク構造（モデル）、活性化関数、損失関数、評価関数等を設定して、主に教師付き学習を行う。この教師付き学習では、各部は、誤差逆伝播法（Backpropagation、以下、「ＢＰ」という。）により、ＮＮの各演算ノード又はユニット（以下、単に「ユニット」という。）間の重み（荷重）が調整される。

具体的に説明すると、本実施形態の機械学習装置１は、小規模データセット１０、対向伝播ネットワーク部２０、学習データセット３０、転移学習部４０、及びドメイン適応部５０を備える。

小規模データセット１０は、機械学習装置１の学習データである。具体的には、小規模データセット１０は、当業者に一般的に利用可能なカテゴリと比較した場合、相対的にデータ量が少ないカテゴリである少数派カテゴリのデータ群（データセット）である。ここで、本実施形態の小規模データセット１０は、少数派カテゴリのデータであるため、ＤＮＮを学習させる際に必要な、大規模データセットよりもデータ量が少なくてもよい。本実施形態においては、小規模データセット１０は、例えば、後述する実施例で示すＦｒｕｉｔｓ３６０、ＷＳＤＣ等に示されるような、小規模の画像データセットを用いることが可能である。この画像データセットは、例えば、いもち病等の病害が発生した、及び、発生していない正常の植物の写真データについて、学習を行うユーザによる手動、又は自動ラベリング装置等により、ラベル（カテゴリラベル）が付されたデータ等であってもよい。

対向伝播ネットワーク部２０は、小規模データセット１０を入力として、自己組織化ＮＮであるＣＰＮにより位相写像と競合学習とに基づいた教師あり学習を行う。この上で、対向伝播ネットワーク部２０は、ＣＰＮの学習結果に基づいた結合荷重とラベルとを出力する。具体的には、対向伝播ネットワーク部２０は、このＣＰＮの学習結果に対して、小規模データセット１０を再度入力した際の結合荷量とラベルとを組み合わせて、学習データセット３０として生成する。さらに、対向伝播ネットワーク部２０は、小規模データセット１０に含まれるカテゴリの分布特性を、二次元の自己組織化マップ（Self-Organizing Map、以下「ＳＯＭ」という。）のカテゴリ特徴地図（カテゴリマップ）として、可視化することも可能である。
対向伝播ネットワーク部２０の詳細については後述する。

学習データセット３０は、本実施形態に係る対向伝播ネットワーク部２０のＣＰＮの学習結果に基づいた結合荷重の疑似画像及びラベルを含む、ソースドメイン学習用データセットである。すなわち、学習データセット３０は、小規模データセット１０を拡充し、各ＮＮを学習するソース（元データ）のドメイン（学習させるデータセットの領域、学習範囲）となるデータセットである。
本実施形態の学習データセット３０は、例えば、学習完了したＣＰＮに、小規模データセット１０の各画像データが再度入力され、カテゴリマップ層（中間層）に入力される際の重みの合計（結合荷重）が擬似的な画像データ（疑似画像データ）に変換され、これに対応するラベルと組み合わせられて生成される。すなわち、学習データセット３０の結合荷重は、カテゴリ間若しくはカテゴリ内の関係性若しくは／並びに複雑度を、隣接する結合荷重の距離情報から深度特徴として写像され、可視化されたデータである。

転移学習部４０は、小規模データセット１０、及び／又は、対向伝播ネットワーク部２０により学習された結合荷重並びにラベルから転移学習を行う。ここで、転移学習（Transfer Learning）とは、既にあるドメインで学習した学習済みモデルを、別のドメインで用いるように、効率的に学習させる手法である。本実施形態においては、転移学習部４０は、既に学習済みのＮＮの一部の層のみ、荷重を変更可能にして学習させる。これは、ＤＮＮの一例である畳み込みニューラルネットワーク（Convolutional Neural Network、以下「ＣＮＮ」という。）等では、限られた上位層のみ再学習すれば、別のドメインでも使用可能となるためである。すなわち、ＣＮＮでは、入力層に近い下位層では普遍的な特徴を、出力層に近い上位層ではより抽象的な特徴を捉えているため、この抽象的な特徴のみ学習されれば良いためである。

本実施形態の転移学習部４０は、例えば、大規模データセットにより事前学習されており、小規模データセット１０のカテゴリに沿った再学習として、転移学習を行うことが可能である。具体的には、転移学習部４０は、例えば、小規模データセット１０よりも一般的なカテゴリであり、即ち、大量のデータが存在する大規模データセットで既に学習された荷重データを備えたＣＮＮを初期値として使用する。この上で、転移学習部４０は、このＣＮＮの上位層のいくつかのユニットの荷重を、小規模データセット１０又は学習データセット３０によりファインチューニング（Fine Tuning）等により学習させることで、別のドメインに適用させる。
この転移学習部４０の詳細な構成については後述する。

ドメイン適応部５０は、転移学習部４０による転移学習の結果を入力として教師ありドメイン適応を行う。ここで、ドメイン適応は、上述の転移学習の一種であり、ドメインは違うものの確率分布（Probability Distributions）のみが異なるデータに適用するものである。本実施形態においては、ドメイン適応として、転移学習部４０の学習結果を初期値として、同一カテゴリでの追加学習する。具体的には、小規模データセット１０で転移学習したものを学習データセット３０でドメイン適応し、又は学習データセット３０で転移学習したものを小規模データセット１０でドメイン適応する。このドメイン適応としては、例えば、上述のようにデータセットを変更したファインチューニング、又は、データのバイアスの補正と予測誤差の最小化を同時に行うＤＮＮを利用したモデル（例えば、<URL="https://arxiv.org/pdf/1409.7495.pdf">参照。）等を用いることが可能である。
このドメイン適応部５０の詳細な構成については後述する。

ここで、本実施形態に係る対向伝播ネットワーク部２０は、詳細は後述する三層の対向伝播ネットワーク（Counter Propagation Networks。以下、「ＣＰＮ」という。）で構成される例について説明する。一方、転移学習部４０及びドメイン適応部５０は、三層以上～数百層もあるようなＤＮＮで構成される例について説明する。このＤＮＮについては、フィードフォーワード型ＮＮ（Feedforward Neural Network）であっても、他構造のＮＮであってもよい。

より詳しく説明すると、転移学習部４０は、荷重カテゴリ学習部４１及び小規模データ学習部４２を備える。
ドメイン適応部５０は、荷重カテゴリ小規模適応部５１及び小規模荷重カテゴリ適応部５２を備える。

荷重カテゴリ学習部４１は、対向伝播ネットワーク部２０により生成された学習データセット３０により転移学習を行う。本実施形態においては、荷重カテゴリ学習部４１は、例えば、対向伝播ネットワーク部２０により学習された学習データの結合荷重による疑似画像データ及びラベルのデータセットを用いて、本実施形態に係るＣＮＮの上位層を転移学習する。

小規模データ学習部４２は、小規模データセット１０を用いて転移学習を行う。本実施形態においては、例えば、小規模データ学習部４２は、小規模データセット１０の画像データセット及びラベルそのものを用いて、本実施形態に係るＣＮＮの上位層を転移学習する。

本実施形態においては、荷重カテゴリ学習部４１と小規模データ学習部４２とは、互いに識別精度を比較し合うことが可能である。これにより、いずれか、精度の高い方を出力することが可能である。

荷重カテゴリ小規模適応部５１は、荷重カテゴリ学習部４１による学習を引き継いで、小規模データセット１０によりドメイン適応を行う。本実施形態においては、例えば、荷重カテゴリ小規模適応部５１は、荷重カテゴリ学習部４１により学習された状態の荷重データを初期値として、小規模データセット１０の画像データを用いて、ドメイン適応を行う。

小規模荷重カテゴリ適応部５２は、小規模データ学習部４２による学習を引き継いで、学習データセット３０によりドメイン適応を行う。本実施形態においては、例えば、小規模荷重カテゴリ適応部５２は、小規模データ学習部４２により学習された荷重データを初期値として、対向伝播ネットワーク部２０により学習された学習データセット３０の結合荷重による疑似画像データ及びラベルのデータセットを用いて、ドメイン適応を行う。

本実施形態においては、荷重カテゴリ小規模適応部５１と小規模荷重カテゴリ適応部５２とについても、互いに識別精度を比較し、精度の高い方を出力することが可能である。これにより、いずれか、精度の高い方を出力することが可能である。

次に、図２により、本実施形態の対向伝播ネットワーク部２０の詳細について説明する。
図２は、本実施形態に係るＣＰＮのネットワーク構造の概略を示す。本実施形態に係るＣＰＮは、ＫｏｈｏｎｅｎのＳＯＭを基にした、教師ありＮＮとして、Ｎｉｅｌｓｅｎにより開示されたものである（非特許文献２、３を参照）。
本実施形態の対向伝播ネットワーク部２０のＣＰＮは、入力層、カテゴリマップ層（Ｋｏｈｏｎｅｎ層）、出力層（Ｇｒｏｓｓｂｅｒｇ層）を備える。

ＣＰＮの入力層は、小規模データセット１０が入力され、カテゴリマップ層へ伝搬するための層である。図２では省略しているものの、本実施形態においては、入力層では、各ユニットに対して、小規模データセット１０の画像データセットの各画像データの画素がそれぞれ入力される。すなわち、例えば、後述する実施例で示すように５０×５０画素の画像データが用いられる場合、各ユニットには、０～１等の範囲で正規化された各画素の画素値が入力される。

カテゴリマップ層は、入力層から伝搬されたデータが、近傍学習と競合の勝者占有（Winner-Takes-All。以下、「ＷＴＡ」という。）により位相写像される層である。本実施形態においては、カテゴリマップ層は、可視化特性の高いＳＯＭ様の二次元構造である。加えて、カテゴリマップ層の各ユニットは、下記で説明する出力層への荷重により、ラベルが設定されている。すなわち、本実施形態においては、対向伝播ネットワーク部２０は、小規模データセット１０に含まれるカテゴリの分布特性を二次元の特徴地図として、このカテゴリマップ層を画像データとして出力することが可能である。

出力層は、ラベルに設定された各カテゴリが出力され、学習時にはＢＰ用の教師信号が入力される層である。出力層の各ユニットは、例えば、ラベルに設定された各カテゴリに対応している。すなわち、出力層の各ユニットは、例えば、ラベルに設定された各カテゴリについて、正しいカテゴリのラベルのみが「１」であり、他のカテゴリのラベルは「０」になるように学習される。
加えて、本実施形態においては、カテゴリマップ層の各ユニットについて、当該ユニットから出力層への荷重のうち、荷重が最大値のユニットに対応するカテゴリが、当該ユニットのラベルとして設定される。

なお、入力層とカテゴリマップ層とは、特徴量に合わせて任意の構造とすることが可能である。

〔機械学習装置１のシステム構成〕
機械学習装置１は、システム構成として、上述の各機能部ロックを実行するためのハードウェア資源を備えている。
このハードウェア資源は、制御演算手段である制御部、及び、一時的でない記録媒体である記憶部を含む。

制御部は、ＣＰＵ（Central Processing Unit、中央処理装置）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit、特定用途向けプロセッサー）、その他のＡＩ用演算アクセレレーター等である。
制御部は、記憶部に格納されている制御プログラムを実行することで、各機能ブロックの各部として動作させられる。また、制御部は、外部の端末や入力部から入力された所定の指示情報に応じて、装置全体の制御を行う。

記憶部は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリやＨＤＤ（Hard Disk Drive）等の一時的でない記録媒体である。記憶部のＲＯＭやＨＤＤには機械学習装置１の動作制御を行うための制御プログラム、上述の各データが格納されている。

本実施形態の制御プログラムは、例えば、各種ＯＳ（Operating System）上で、ＮＮを実行するための各種ミドルウェア及びカバーライブラリ等と、これらの上で作動する定義ファイル、学習済みの荷重データ等から構成される。

本実施形態においては、対向伝播ネットワーク部２０、転移学習部４０、及びドメイン適応部５０は、制御部により実行される。
小規模データセット１０、及び学習データセット３０は、記憶部に格納される。また、大規模データセットも、記憶部に格納されていてもよい。

なお、機械学習装置１において、制御部及び記憶部は、メモリ内蔵ＧＰＵ、チップ・オン・モジュールパッケージ、ＳＯＣ（System On a Chip）等のように、一体的に形成されていてもよい。

これに加えて、機械学習装置１は、キーボードやボタンやポインティングデバイス等の入力部と、ＬＣＤ(Liquid Crystal Display)や有機ＥＬディスプレイ等の表示部と、外部ネットワークに接続するためのＬＡＮボードや無線送受信機等のネットワーク送受信部とを備えていてもよい。
また、機械学習装置１は、学習時と実行時とで、別々のハードウェアで実行されてもよい。また、各機能ブロックについても、別々のハードウェアで実行されてもよい。

〔機械学習装置１による機械学習処理〕
次に、図３を参照して、本発明の実施の形態に係る機械学習装置１による機械学習処理の説明を行う。
以下で、図３のフローチャートを参照して、機械学習処理の各学習の一例について、詳細をステップ毎に説明する。

（ステップＳ１０１）
まず、対向伝播ネットワーク部２０が、ＣＰＮ処理を行う。
対向伝播ネットワーク部２０は、小規模データセット１０の各画像データを入力し、ＣＰＮによる学習を行う。対向伝播ネットワーク部２０は、小規模データセット１０に含まれる画像データセット（Ｉｍａｇｅｓ）を入力データとして、近傍学習とＷＴＡとによる教師あり学習を行う。この対向伝播ネットワーク部２０の教師信号は、入力された小規模データセット１０の画像データに付されたラベルを用いる。

学習完了後、対向伝播ネットワーク部２０は、各ユニットがラベル付けされたカテゴリマップ層をカテゴリマップの画像データとして、記憶部に格納する。これにより、小規模データセット１０に含まれるカテゴリの分布特性を、二次元の特徴地図となるカテゴリマップとして可視化することが可能となる。

さらに、対向伝播ネットワーク部２０は、小規模データセット１０の各画像データを再びＣＰＮに入力し、入力層の各ユニットからカテゴリマップ層の各ユニットへの荷重の合計である結合荷重を算出し、これを正規化して、疑似画像データを生成する。この疑似画像データは、出力層のカテゴリによりラベル付けされる。対向伝播ネットワーク部２０は、このラベル付けされた疑似画像データのデータセット（結合荷重及びラベル）を学習データとして出力し、記憶部に格納する。

このように、カテゴリマップ層の各ユニットの結合荷重を可視化することで、画像として特徴を保持し、少数派カテゴリの画像データを拡張することが可能となる。加えて、ＣＰＮを用いることで、学習データの位相構造を保存しつつ、学習データの圧縮や拡張が期待できる。

（ステップＳ１０２）
次に、転移学習部４０が、転移学習処理を行う。
本実施形態においては、転移学習部４０は、学習データセット３０の結合荷重及びラベル（Ｗｅｉｇｈｔｓ）、及び小規模データセット１０の画像データセットを用いて、ＣＮＮを転移学習する。たとえば、転移学習部４０は、複数層の畳み込み層と、畳み込み層より少ない層（数層）の全結合層で構成されるＣＮＮで、各ユニット間の荷重が大規模データセットで事前学習されたものを初期値として使用する。この上で、転移学習部４０は、数層の全結合層のみをファインチューニング等で転移学習する。すなわち、転移学習部４０は、小規模データセット１０のカテゴリに沿った再学習を行う。

具体的には、転移学習部４０は、荷重カテゴリ学習部４１の各ユニットについては、学習データセット３０の結合荷重及びラベル（Ｗｅｉｇｈｔｓ）で転移学習を行う。一方、転移学習部４０は、小規模データ学習部４２の各ユニットについては、小規模データセット１０の画像データセット（Ｉｍａｇｅｓ）で転移学習を行う。この際の学習結果が、荷重カテゴリ学習部４１及び小規模データ学習部４２の各ユニットの荷重にそれぞれ適用される。
ここで、転移学習部４０は、荷重カテゴリ学習部４１及び小規模データ学習部４２の学習結果の精度比較により精度の高い方の出力を選択可能である。

（ステップＳ１０３）
次に、ドメイン適応部５０が、ドメイン適応処理を行う。
ここでは、ドメイン適応部５０は、学習データセット３０の結合荷重及びラベル（Ｗｅｉｇｈｔｓ）から小規模データセット１０の画像データセット（Ｉｍａｇｅｓ）、及び、学習データセット３０の結合荷重（Ｗｅｉｇｈｔｓ）から小規模データセット１０の画像データセット（Ｉｍａｇｅｓ）へのドメイン適応を行う。

具体的には、ドメイン適応部５０は、荷重カテゴリ学習部４１で転移学習され更新された各ユニットの荷重データを、荷重カテゴリ小規模適応部５１の各ユニットの荷重の初期値に適用する。この上で、ドメイン適応部５０は、小規模データセット１０の画像データセット（Ｉｍａｇｅｓ）を用いてドメイン適応を行う。
一方、ドメイン適応部５０は、小規模データ学習部４２で転移学習され更新された各ユニットの荷重データを、小規模荷重カテゴリ適応部５２の各ユニットの荷重の初期値に適用する。この上で、ドメイン適応部５０は、学習データセット３０の結合荷重（Ｗｅｉｇｈｔｓ）を用いてドメイン適応する。

この際の学習結果が、荷重カテゴリ小規模適応部５１及び小規模荷重カテゴリ適応部５２の各ユニットの荷重にそれぞれ適用される。
ここで、ドメイン適応部５０も、荷重カテゴリ小希望適応部及び小規模荷重カテゴリ適応部５２の学習結果の精度比較により、精度の高い方の出力を選択可能である。
以上により、本発明の実施の形態に係る機械学習処理を終了する。

学習終了後に、荷重カテゴリ学習部４１、小規模データ学習部４２、荷重カテゴリ小規模適応部５１、及び小規模荷重カテゴリ適応部５２により、小規模データセット１０と同様のカテゴリの新規データの画像データ等について、カテゴリの識別が可能となる。この際に、上述の精度比較により最も高い精度のＮＮを適用可能である。また、これらの学習済みの各部の各ユニットの荷重データを保存し、これをエッジコンピューティング等の機器で読み込んで実行して、カメラ画像等からリアルタイムでカテゴリの識別等を行うことが可能である。

以上のように構成することで、以下のような効果を得ることができる。
近年の第三次人工知能ブームに伴い、ＤＮＮを用いた機械学習装置が普及してきている。ここで、ＤＮＮでは、大量の学習時間を要することが深層学習を運用する上で課題となっている。これに関しては、クラウドやエッジ環境が活用されている。
しかしながら、ＤＮＮでは、学習データ量が少ないと精度が向上しないことが問題となってきている。このため、少ないデータを用いて、様々なタスクに対して深層学習を使用する手法が模索されている。
しかしながら、特許文献１の技術では、この際に、実際に少ないデータを拡張すること自体はできず、精度を向上させることはできなかった。

これに対して、本発明の実施の形態に係る機械学習装置１は、小規模データセット１０を入力として、対向伝播ネットワークにより教師あり学習を行い、学習された結合荷重とラベルとを出力する対向伝播ネットワーク部２０と、小規模データセット１０、及び／又は、対向伝播ネットワーク部２０により学習された結合荷重とラベルとから転移学習を行う転移学習部４０と、転移学習部４０による転移学習の学習結果に基づいてドメイン適応を行うドメイン適応部５０とを備えることを特徴とする。

このように構成することで、ＣＰＮの結合荷重を転移学習に用いて、その後、ドメイン適応でも連続的に使用することにより、ＤＮＮの上位層から下位層まで全体を最適化できる。すなわち、従来技術では、転移学習とドメイン適応とは個別に用いられていたものの、本実施形態の機械学習装置１では、両者を同時に扱うことができる。これにより、少ないデータで学習精度を向上させることができる。特に、後述する実施例の比較実験結果で示すように、カテゴリマップの可視化画像の精度が保障された条件下では、従来の手法の精度を上回る精度となる。

従来、ＤＮＮを学習させるためのデータセットは、人工物体や一般的な情景から構成される画像群が大半であるため、生物や農作物等から構成されるデータセットを用いたＤＮＮの精度を向上させることは難しかった。
これに対して、本実施形態に係る機械学習装置１は、後述する実施例で示すように、生物や農作物等から構成される小規模データセット１０を用いて、より精度を向上させることができる。たとえば、限られたデータを有効活用し、リモート農業において、ドローン等で、いもち病の植物を容易に判定するといった用途に用いることが可能となる。

従来、異カテゴリ間での追加学習となる転移学習は、インターネット等から学習用データセットを容易に入手できる。一方、同一カテゴリでの追加学習となるドメイン適応は、データセットの収集が必要である。
このため、従来、（１）データの再収集、（２）ＣＧ等による人工データの作成、（３）敵対的生成ネットワーク（Generative Adversarial Network、以下「ＧＡＮ」という。）による疑似データの生成等の手法が用いられてきた。しかしながら、（１）再収集、（２）作成に伴う人的コスト、（３）計算コストやメモリ容量が課題となっていた。
しかしながら、各々の手法は日進月歩で進化発展しているものの、決定的な手法は存在せず、データセットによっては、精度が拮抗していた。

これに対して、本発明の実施の形態に係る機械学習装置１では、対向伝播ネットワーク部２０は、近傍と競合に基づく教師あり学習を行い、学習結果に対して、小規模データセット１０を入力した際の結合荷量とラベルとの組み合わせを、学習データセット３０として生成することを特徴とする。
このように構成し、学習結果の結合荷重から疑似画像データを生成して、学習用データセットを生成する。これを基にドメイン適応を行うと、従来より認識精度を高めることができる。すなわち、従来よりもドメイン適応に適した学習データセット３０を提供することが可能となる。

本発明の実施の形態に係る機械学習装置１では、小規模データセット１０に含まれるカテゴリの分布特性を、二次元の特徴地図となるカテゴリマップとして可視化することを特徴とする。
このように構成することで、少数派カテゴリの分布特性を可視化すると共に、分布構造をラベルと結合荷重の両側面から分析できる。

本発明の実施の形態に係る機械学習装置１では、結合荷重は、カテゴリ間若しくはカテゴリ内の関係性若しくは／並びに複雑度を、隣接する結合荷重の距離情報から深度特徴として写像され、可視化されることを特徴とする。
このように構成することで、入力特徴の位相構造を保持しながら競合と近傍の学習に基づきデータを拡張することができる。この結果として、（１）少量のデータからカテゴリマップのマップサイズに応じて学習データセット３０が生成でき、（２）カテゴリマップは自動的にラベル付け（ラベリング）されるため、アノテーションに伴う負担が生じず、（３）ＣＰＮのユーグリッド距離に基づく演算のみで計算負荷も小さく、並列化や高速化にも適しているという効果が得られる。

また、本発明の実施の形態に係る機械学習装置１では、転移学習部４０は、大規模データセットにより事前学習されており、小規模データセット１０のカテゴリに沿った再学習として、転移学習を行うことを特徴とする。
このように構成することで、インターネット等で提供されているＤＮＮの学習済みの荷重データを有効活用し、より精度を高めることが可能となる。

また、本発明の実施の形態に係る機械学習装置１では、転移学習部４０は、学習データセット３０により転移学習を行う荷重カテゴリ学習部４１と、小規模データセット１０を用いて転移学習を行う小規模データ学習部４２とを含むことを特徴とする。
このように構成することで、小規模データセット１０のみを用いて転移学習を行い、更に、ＣＰＮを基にした学習データセット３０により転移学習を行うことが可能となる。これにより、小規模データセット１０のデータの性質等により最適な転移学習を行うことができる。

また、本発明の実施の形態に係る機械学習装置１では、荷重カテゴリ学習部４１と小規模データ学習部４２とは、互いに識別精度を比較し合うことを特徴とする。
このように構成することで、小規模データセット１０のみを用いて転移学習を行い、更に、ＣＰＮを基にした学習データセット３０により転移学習を行った結果を比較して、より精度の高い方を出力することができる。すなわち、精度比較により優越解が選択できる。

また、本発明の実施の形態に係る機械学習装置１では、ドメイン適応部５０は、荷重カテゴリ学習部４１による学習を引き継いで、小規模データセット１０によりドメイン適応を行う荷重カテゴリ小規模適応部５１と、小規模データ学習部４２による学習を引き継いで、学習データセット３０によりドメイン適応を行う小規模荷重カテゴリ適応部５２とを含むことを特徴とする。
このように構成することで、ＣＰＮの学習結果を、小規模データセット１０及び学習データセット３０により転移学習を行った結果について、それぞれドメイン適応することができる。

また、本発明の実施の形態に係る機械学習装置１では、荷重カテゴリ小規模適応部５１と小規模荷重カテゴリ適応部５２とは、互いに識別精度を比較し合うことを特徴とする。
このように構成することで、転移学習後のドメイン適応にて、生成されたカテゴリマップを基にした学習結果と、小規模データセット１０を基にした学習結果との順序交換により、二種類の識別器を構築できる。このため、精度比較により優越解が選択できる。

〔他の実施の形態〕
なお、上述の実施形態においては、学習データセット３０の疑似画像データのラベルに、出力層の最大の荷重を持つカテゴリを付する例について記載した。
しかしながら、入力された小規模データセット１０の画像データのラベルを直接、当該疑似画像データのラベルとすることも可能である。

また、上述の実施形態においては、小規模データセット１０について前処理を行わないで、対向伝播ネットワーク部２０による処理を行った例について記載した。
しかしながら、後述する実施例で示すＷＤＳＣのように特徴抽出が困難なドメインのデータセットに対しては、特徴量をそのまま入力するのではなく、前処理をしてから入力して、ＣＰＮの精度を更に高めることも可能である。この前処理としては、セグメンテーションや特徴抽出等を行うことが可能である。また、カラーのデータをグレースケールに変換する場合、色分類を行う等の処理も可能である。また、ＣＰＮの学習時の写像特性を考慮しつつ、次元数削減が可能な各種の前処理を行うことも可能である。

これにより、ＣＰＮを用いて少数派カテゴリの疑似画像を生成する際には、カテゴリ固有の特徴抽出が可能な前処理を行うことで、ＣＰＮの精度向上と疑似画像の妥当性を保持することが可能である。これにより、例えば、類似した配色や見た目を持つ、分類が難しいカテゴリ等に対して精度を向上させられる。

上述の実施形態においては、機械学習装置１として、データセットを格納した計算機による学習を行う例について記載した。
しかしながら、学習が完了したネットワーク構造及び荷重データ（モデル）を、他の情報処理装置に適用することも可能である。さらに、本実施形態に係る機械学習方法を実行するプログラム及びデータを、別途、情報処理装置にインストール等することで、本実施形態の機械学習装置を実現することも可能である。

また、本発明の機械学習装置は、ＰＣ等以外の情報処理装置にも適用できる。すなわち、ドローン、ロボット、自動運転車、無人航空機等にも適用可能である。さらに、ＩｏＴ（Internet of Things）等の適用により、リモート農業や畜産用に用いることも可能である。

また、上述の実施形態においては、各機能ブロックを別々のＮＮとして構成し、学習する例について記載した。
しかしながら、結合層等を設けて単一又は複数の機能ブロックを結合したような構造のＮＮを用いることも可能である。

また、上述の実施形態においては、ＤＮＮとしてＣＮＮを用いる例について記載した。
しかしながら、転移学習部４０及びドメイン適応部５０について、ＣＮＮ以外のＮＮについても対応可能である。さらに、フィードフォーワード型ＮＮ以外のＲＮＮ（Recurrent Neural Network）、その他の構造のネットワーク等にも用いることが可能である。
また、小規模データセット１０及び大規模データセットについても、画像データ以外であってもよく、この場合でも、学習させることが可能である。

なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。

次に、実施例に基づいて本発明をより詳細に説明するが、以下の具体例は本発明を限定するものではない。

〔方法と条件〕
（各部の構成）
本実施例においては、上述の実施形態に係る機械学習装置１を用いて、教師ありドメイン適応に基づいた機械学習を行った。

対向伝播ネットワーク部２０では、ドメイン適応用のデータを拡張するため、小規模データセット１０で教師あり学習を行った。教師データには、カテゴリマップ内の各ユニットにおけるラベルを用いた。この学習結果を基に、ソースドメイン学習用データセットとなる学習データセット３０を生成した。すなわち、画像データセットを拡張するため、位相写像と競合学習に基づくＣＰＮでの学習時に生成された結合荷重から、ラベル付けされた疑似画像データのデータセットを生成した。
本実施例では、小規模データセット１０の画像データセット（以下、「Ｉｍａｇｅｓ」という。）を入力データとして、学習を行った。この学習結果について、Ｉｍａｇｅｓを再度入力し、その結合荷重を、疑似画像の画像データセット（以下、「Ｗｅｉｇｈｔｓ」という。）として可視化し、学習データセット３０とした。これにより、画像として特徴を保持した。

転移学習部４０では、Ｗｅｉｇｈｔｓ、Ｉｍａｇｅｓを用いて、ＤＮＮを転移学習した。ＤＮＮの学習アルゴリズムには、１３層の畳み込み層と３層の全結合層で構成されるＣＮＮ（Convolutional Neural Networks）を使用した。また、このＣＮＮの初期状態としては、Ｉｍａｇｅ Ｎｅｔ（<URL="http://www.image-net.org/">）を事前学習して、更新された荷重データを用いた。このときの学習結果の各ユニット間の荷重データ（以下、「Ｗ_TL-W，Ｗ_TL-I」として示す。）が、荷重カテゴリ学習部４１及び小規模データ学習部４２に、それぞれ、適応された。

ドメイン適応部５０では、ＷｅｉｇｈｔｓからＩｍａｇｅｓ、又は、ＩｍａｇｅｓからＷｅｉｇｈｔｓへのドメイン適応を行った。このときの学習結果の各ユニット間の荷重が、荷重カテゴリ小規模適応部５１及び小規模荷重カテゴリ適応部５２にドメイン適応された。これらの初期値としては、それぞれ荷重カテゴリ学習部４１及び小規模データ学習部４２で更新された荷重データ（Ｗ_TL-W，Ｗ_TL-I）を用いた。

（ベンチマーク用のデータセット）
本実施例では、世間一般に存在するカテゴリと比較した場合、相対的にデータ量が少ないカテゴリを少数派カテゴリと定義する。特に、本実施例では、人工物と比較してデータの量的確保に負荷や困難を来すことの多い自然物の少数派カテゴリを対象とした。
このため、本実施例では、ベンチマーク用の小規模データセット１０としてＦｒｕｉｔｓ３６０（<URL="https://www.kaggle.com/moltean/fruits">）及びＷｅｅｄ Ｄｅｔｅｃｔｉｏｎｉｎ ＳｏｙｂｅａｎＣｒｏｐｓ（ＷＤＳＣ）（<URL="https://data.mendeley.com/datasets/3fmjm7ncc6/2">）を用いた。

Ｆｒｕｉｔｓ３６０は１２０カテゴリの果物と野菜から構成されるデータセットであり、本実施例では少数派カテゴリに着目しているため、特徴が類似しているＣｌｅｍｅｎｔｉｎｅ（ＣＬ）、Ｋｕｍｑｕａｔｓ（ＫＵ）、Ｍａｎｄａｒｉｎｅ（ＭＡ）、Ｏｒａｎｇｅ（ＯＲ）、ＰｏｍｅｌｏＳｗｅｅｔｉｅ（ＰＳ）、Ｔａｎｇｅｌｏ（ＴＡ）の６カテゴリを用いて、学習に使用した。

ＷＤＳＣは、ｂｒｏａｄｌｅａｆ（ＢＬ）、ｇｒａｓｓ（ＧＲ）、ｓｏｉｌ（ＳＯ）、及び、ｓｏｙｂｅａｎ（ＳＢ）の４カテゴリから構成されるデータセットである。本実施例では、ＷＤＳＣにおいては、一枚の元画像データより５０×５０画素の局所画像を４枚抽出し、それぞれ学習に使用する画像データとした。

（評価方法）
評価基準として、認識率Ｒ_accを次式に定義した。

Ｒ_acc ＝ Ｓ_test／Ｎ_test×１００……式（１）

ここで、Ｎ_testはテスト画像の総枚数、Ｓ_testは正解画像枚数を示す。

（ベンチマークの手法）
まず、小規模データセット１０を用いてＣＰＮのパラメータを最適化し、学習を行った。この上で、学習データセット３０を生成した。次に、生成された学習用データセットでＣＮＮを学習したときの認識精度を比較した。さらに得られた結合荷重を用いて原画像へのドメイン適応の結果を算出し、少数派カテゴリのデータを量的かつ質的に拡張できるかどうかを検証した。

〔結果と考察〕
（ＣＰＮのパラメータ最適化結果）
まず、ＣＰＮにおける主要パラメータの最適化を行った。
Ｆｒｕｉｔｓ３６０は、マップサイズが１２５×１２５ユニットの場合、ＷＤＳＣは１００×１００ユニットの場合、Ｒ_accが最大となった。すなわち、これらを最適値とした。
マップサイズのＲ_accの推移をみると、マップサイズを拡大しても、必ずしも精度は向上しなかった。

また、Ｆｒｕｉｔｓ３６０は、学習回数Ｏが１００，０００回でＲ_accが収束した。一方、ＷＤＳＣは、学習回数Ｏが増大しても、大幅な精度改善が見込めず、十分に学習できなかった。
両ベンチマークデータセットを考慮して、マップサイズは１００×１００ユニット、学習回数Ｏは１，０００，０００回を最適値と設定した。

出力されたＦｒｕｉｔｓ３６０のカテゴリマップを検討したところ、Ｆｒｕｉｔｓ３６０は十分に分類されていることが確認された。一方、ＷＤＳＣのカテゴリマップでは、局所的に大きなクラスタが形成されているものの、小さなクラスタが多く形成されており、十分に分類されていないと推測された。またクラスタの境界付近で単一ユニットが形成されたことから、隣接するカテゴリ間の関係性が複雑であることを示唆していた。

（転移学習による実験結果）
ここでは、Ｗｅｉｇｈｔｓで転移学習した認識精度と、Ｉｍａｇｅｓで転移学習した認識精度を比較した。
Ｆｒｕｉｔｓ３６０及びＷＤＳＣにおいて、小規模データ学習部４２が、荷重カテゴリ学習部４１を上回る結果となった。要因のひとつとして、ＣＰＮで生成された結合荷重と教師データの関係性が一致していないケースの発生が考えられる。
誤認識に至った原因と考えられる疑似画像データを検討したところ、境界付近に位置するユニットが、隣接するカテゴリの特徴が混在するため、曖昧な教師データの混入が考えられた。またＷＤＳＣに関しては、元々のＣＰＮのＲ_accが低い。そのためＦｒｕｉｔｓ３６０のように教師データが一致しないことに加え、Ｗｅｉｇｈｔｓ自体が不明瞭に生成されたとも考えられる。

（ドメイン適応による実験結果）
さらに本実施例で得られた結合荷重を用いて、原画像と疑似画像との間のドメイン適応の結果を算出し、少ないデータを量的かつ質的に拡張できるかどうかを検証した。
Ｆｒｕｉｔｓ３６０において荷重カテゴリ小規模適応部５１と小規模荷重カテゴリ適応部５２の精度は、高い傾向にあった。また同程度の精度に収束していることから、互いのドメインに適応するように、Ｗ_TL-W，Ｗ_TL-Iが更新されたと考えられる。また、ＷＤＳＣにおいては、Ｆｒｕｉｔｓ ３６０に比べ荷重カテゴリ小規模適応部５１と小規模荷重カテゴリ適応部５２の精度が低い傾向にあった。特に小規模荷重カテゴリ適応部５２は、精度の高い小規模データ学習部４２で更新されたＷ_TL-Iを用いてもＲ_accが低下した。これは、小規模データセット１０に含まれる画像データセットと結合荷重との間において特徴の類似性が小さいことを示唆している。

（総合比較と考察）
結果として、Ｆｒｕｉｔｓ３６０に関しては、荷重カテゴリ小規模適応部５１が、小規模データ学習部４２よりＲ_accが高い結果が確認された。
たとえば、従来のイメージによる転移学習のみだとＦｒｕｉｔｓ３６０のＲ_accは最高で８８％程度であったのに対し、本実施例の荷重カテゴリ小規模適応部５１と小規模荷重カテゴリ適応部５２のＲ_accは、いずれも９２％を超えていた。
これは、疑似画像データが拡張されたことで、少数の原画像における質の影響力を上回ったことを示唆している。また、荷重カテゴリ小規模適応部５１が、小規模データ学習部４２と比べ早い段階でＲ_accが収束しているため、計算時間の短縮にも期待できる。
ＣＰＮによる分類実験では、データセット間で精度の変動が大きい結果となった。ＣＰＮは、Ｆｒｕｉｔｓ３６０のような単純な分類には頑強であることが確認された。
ソースドメインで確からしい特徴抽出が可能である条件下において、本実施例の教師ありドメイン適応により、少数派カテゴリ等のデータ入手困難なカテゴリに対する分類タスクの精度向上が期待できる。

（結言）
本実施例では、ＣＰＮを用いたデータの拡張を目的とし、疑似画像の転移学習、原画像と疑似画像間におけるドメイン適応と、従来手法における転移学習の比較と評価を行った。特に、Ｆｒｕｉｔｓ３６０のようにＣＰＮの精度が高い、すなわち疑似画像の精度が保障されている条件において、本実施例における教師ありドメイン適応では、従来の転移学習の精度を上回ることが明らかになった。

１ 機械学習装置
１０ 小規模データセット
２０ 対向伝播ネットワーク部
３０ 学習データセット
４０ 転移学習部
４１ 荷重カテゴリ学習部
４２ 小規模データ学習部
５０ ドメイン適応部
５１ 荷重カテゴリ小規模適応部
５２ 小規模荷重カテゴリ適応部

Claims (11)

1. 小規模データセットを入力として、対向伝播ネットワークにより教師あり学習を行い、学習結果に基づいた結合荷重とラベルとを出力する対向伝播ネットワーク部と、
   前記小規模データセット、及び／又は、前記対向伝播ネットワーク部により学習された前記結合荷重と前記ラベルとから転移学習を行う転移学習部と、
   前記転移学習部による前記転移学習の学習結果に基づいてドメイン適応を行うドメイン適応部とを備える
   ことを特徴とする機械学習装置。
2. 前記対向伝播ネットワーク部は、
   近傍と競合に基づく教師あり学習を行い、
   前記学習結果に対して、前記小規模データセットを入力した際の結合荷量と前記ラベルとの組み合わせを、学習データセットとして生成する
   ことを特徴とする請求項１に記載の機械学習装置。
3. 前記対向伝播ネットワーク部は、
   前記小規模データセットに含まれるカテゴリの分布特性を、二次元の特徴地図となるカテゴリマップとして可視化する
   ことを特徴とする請求項１又は２に記載の機械学習装置。
4. 前記結合荷重は、カテゴリ間又はカテゴリ内の関係性若しくは／並びに複雑度を、隣接する結合荷重の距離情報から深度特徴として写像され、可視化される
   ことを特徴とする請求項１乃至３のいずれか１項に記載の機械学習装置。
5. 前記転移学習部は、
   大規模データセットにより事前学習されており、前記小規模データセットのカテゴリに沿った再学習として、前記転移学習を行う
   ことを特徴とする請求項１乃至４のいずれか１項に記載の機械学習装置。
6. 前記転移学習部は、
   前記学習データセットにより転移学習を行う荷重カテゴリ学習部と、
   前記小規模データセットを用いて転移学習を行う小規模データ学習部とを含む
   ことを特徴とする請求項２乃至５のいずれか１項に記載の機械学習装置。
7. 前記荷重カテゴリ学習部と前記小規模データ学習部とは、互いに識別精度を比較し合う
   ことを特徴とする請求項６に記載の機械学習装置。
8. 前記ドメイン適応部は、
   前記荷重カテゴリ学習部による学習を引き継いで、前記小規模データセットによりドメイン適応を行う荷重カテゴリ小規模適応部と、
   前記小規模データ学習部による学習を引き継いで、前記学習データセットによりドメイン適応を行う小規模荷重カテゴリ適応部とを含む
   ことを特徴とする請求項６又は７に記載の機械学習装置。
9. 前記荷重カテゴリ小規模適応部と前記小規模荷重カテゴリ適応部とは、互いに識別精度を比較し合う
   ことを特徴とする請求項８に記載の機械学習装置。
10. 機械学習装置により実行される機械学習方法であって、前記機械学習装置は、
    小規模データセットを入力として、対向伝播ネットワークにより教師あり学習を行い、学習結果に基づいた結合荷重とラベルとを出力し、
    前記小規模データセット、及び／又は、学習された前記結合荷重と前記ラベルとから転移学習を行い、
    前記転移学習の学習結果に基づいてドメイン適応を行う
    ことを特徴とする機械学習方法。
11. 機械学習装置により実行される機械学習プログラムであって、前記機械学習装置を、
    小規模データセットを入力として、対向伝播ネットワークにより教師あり学習を行い、学習結果に基づいた結合荷重とラベルとを出力させ、
    前記小規模データセット、及び／又は、学習された前記結合荷重と前記ラベルとから転移学習を行わせ、
    前記転移学習の学習結果に基づいてドメイン適応を行わせる
    ことを特徴とする機械学習プログラム。

Images