JP2022124989A - 機械学習用データ生成方法、メタ学習方法、機械学習用データ生成装置及びプログラム - Google Patents

機械学習用データ生成方法、メタ学習方法、機械学習用データ生成装置及びプログラム Download PDF

Info

Publication number
JP2022124989A
JP2022124989A JP2021122787A JP2021122787A JP2022124989A JP 2022124989 A JP2022124989 A JP 2022124989A JP 2021122787 A JP2021122787 A JP 2021122787A JP 2021122787 A JP2021122787 A JP 2021122787A JP 2022124989 A JP2022124989 A JP 2022124989A
Authority
JP
Japan
Prior art keywords
data
augmentation
machine learning
learning
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021122787A
Other languages
English (en)
Inventor
佑紀 広橋
Yuki Hirohashi
盛太郎 武良
Seitaro Mura
真実 宮本
Mami Miyamoto
直樹 土屋
Naoki Tsuchiya
敦史 橋本
Atsushi Hashimoto
善久 井尻
Yoshihisa Ijiri
大和 岡本
Yamato Okamoto
隆宏 徳
Takahiro Toku
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to US18/264,038 priority Critical patent/US20240232704A9/en
Priority to EP22755806.1A priority patent/EP4296911A1/en
Priority to PCT/JP2022/001626 priority patent/WO2022176481A1/ja
Priority to CN202280011672.5A priority patent/CN116964600A/zh
Priority to TW111102966A priority patent/TWI800234B/zh
Publication of JP2022124989A publication Critical patent/JP2022124989A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】学習モデルの汎化能力を向上させることが可能な訓練データを生成する方法を提供する。【解決手段】機械学習におけるドメイン汎化のためのデータを生成するデータ生成方法であって、コンピュータが、機械学習モデルの訓練に用いる学習用データを元データとしてオーギュメンテーションを実施する工程と、コンピュータが、元データと、データオーギュメンテーションにより生成されたデータの両方を含むデータセットをドメイン汎化のためのデータセットとして抽出する工程と、を含む。【選択図】図4

Description

本発明は、機械学習用データ生成方法、メタ学習方法、機械学習用データ生成装置及びプログラムに関する。
機械学習モデルを構築するためには、多くの訓練用データを用いて訓練を行う必要がある。十分な量の訓練用データが得られない場合、データオーギュメンテーションによってデータ量を増やす方法が利用されている。データオーギュメンテーションは、元の訓練用データに変化を加えることにより、限られた元データから多様なデータを生成する方法である。
データオーギュメンテーションは、機械学習における学習プロセスの学習であるメタ学習の分野においても有効な技術である。例えば特許文献1には、メタ学習ネットワークの訓練方法について記載されている。
特開2020-144849号公報
汎化学習では汎化性能向上のためドメインのデータが多く必要だが、新たなデータ取得にはコストがかかる。対策として、学習ドメインを疑似的に増やすことが考えられるが、単にデータを増やすだけだと、元データの不変であるべき部分が変更されたデータが生成される場合がある。この場合、過学習が発生したり、最適化が困難になる場合がある。これにより、汎化性能が向上しない可能性があるという問題があった。
本発明は、上述した事情を鑑みてなされたものであり、学習モデルの汎化能力を向上させることが可能な訓練データを生成する方法を提供することを目的とする。
本発明は、上述した課題を解決するために、以下の構成を採用する。
本発明の一側面に係る機械学習用データ生成方法は、機械学習におけるドメイン汎化のためのデータを生成するデータ生成方法であって、コンピュータが、機械学習モデルの訓練に用いる学習用データを元データとしてオーギュメンテーションを実施する工程と、コンピュータが、前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する工程と、を含むものである。
上記構成により、コストをかけずに汎化学習のための新たなデータを生成し、汎化学習における汎化性能を向上させることができる。ここで、ドメインはある環境で取得されたデータセットである。機械学習には、教師あり学習、教師なし学習、および強化学習が含まれる。教師あり学習においては、データセットはデータと教師ラベルとが組になって集まった集合である。教師なし学習においては、データセットはデータの集合である。強化学習においては、データセットはエージェントが存在する空間(環境)の状態のことである。ドメイン汎化は、複数の分布から抽出された訓練集合を利用して、未知のドメインが従う分布との間に生じるドメインシフトに対して、頑健なモデルを構築する手法である。ここで、ドメインシフトとは、訓練集合とテスト集合間のデータが従う分布のズレを表す。なお、訓練集合とは、モデルの訓練に使うデータの集まりであり、テスト集合とは、モデルの検証(テスト)に使うデータの集まりである。
また、前記元データと前記データオーギュメンテーションにより生成されたデータは、それぞれドメイン単位で保持されており、前記抽出する工程では、前記元データの少なくとも1つのドメインと、前記データオーギュメンテーションにより生成されたデータの少なくとも1つのドメインを、前記ドメイン汎化のためのデータセットとして抽出するようにしてもよい。これにより、学習用ドメインに、元データのドメインと生成データのドメインの両方が含まれるように抽出することができるので、元データまたは生成データに偏ってしまうことよる過学習の誘発を防止することができる。
また、前記元データは、対象部分と非対象部分を含み、前記オーギュメンテーションを実施する工程では、前記元データにおける前記非対象部分を変化させるデータオーギュメンテーションを実施するようにしてもよい。これにより、データオーギュメンテーションの前後で不変であるべき対象部分は変更せずに、対象部分以外の非対象部分に対する変更を適切に実施することができる。対象部分とは、機械学習によって学習したい課題(タスク)に直接影響を与える部分であり、タスクが対象とする部分である。一方、非対象部分は、タスクに影響を与えない部分であり、主にデータを取得する環境(例えば、背景、明るさ等)に相当する。
教師あり学習においては、対象部分は、データと教師ラベルの関係に影響を与える部分であり、例えば認識したい対象物に相当する部分の情報である。対象物とは、機械学習の利用目的となる判断の対象となるものである。例えば、画像認識における認識対象(例えば、車両認識における車両等)や、音声認識におけるノイズや環境音を除く音声データ、意味抽出におけるテキストなどが挙げられる。一方、教師あり学習における非対象部分としては、対象物が存在する環境(例えば、背景、明るさ等)が挙げられる。
教師なし学習においては、対象部分は、データと、データから得たい特徴の関係に影響を与える部分であり、例えば、クラスタリングの対象となる対象物に相当する部分の情報である。対象物とは、教師あり学習と同様に、機械学習の利用目的となる判断の対象となるものである。一方、教師なし学習における非対象部分としては、対象物が存在する環境(例えば、背景、明るさ等)が挙げられる。
強化学習においては、対象部分は、「エージェント」が置かれた「環境」の中で、「報酬」の獲得(タスクの達成)に影響を与える部分の情報である。例えば、ロボットによる対象物の把持というタスクの場合には、対象物と対象物の把持に影響を与える要因(例えば、対象物の置かれた場所の傾きや摩擦等)の情報である。一方、強化学習における非対象部分は、報酬に影響を与えない部分の情報であり、対象物が置かれた場所の色や明るさなどが挙げられる。
また、前記元データは画像データであり、前記対象部分は対象物の画像であり、前記オーギュメンテーションを実施する工程では、前記元データの画像における、前記対象物の周囲の環境及び/又は前記対象物の撮像条件を変化させるデータオーギュメンテーションを実施するようにしてもよい。これにより、画像認識の学習モデルの訓練において、汎化学習に有効な多様な訓練用データを生成することができる。
また、前記オーギュメンテーションを実施する工程では、前記元データの画像の明度の変更、背景の変更、及び色調の変更のうちの少なくとも1つを実施することにより、前記対象物の周囲の環境を変化させるデータオーギュメンテーションを実施するようにしてもよい。これにより、時間や天候などの撮影環境の変化を想定した多様な訓練用データを生成することができる。
また、前記オーギュメンテーションを実施する工程では、前記元データの画像の回転、反転、拡大、縮小、移動、トリミング、及びフィルタ処理のうちの少なくとも1つを実施することにより、前記対象物の撮像条件を変化させるデータオーギュメンテーションを実施するようにしてもよい。これにより、撮影条件の違いを想定した多様な訓練用データを生成することができる。
また、前記元データは音声データであり、前記対象部分は特定の音声であり、前記オーギュメンテーションを実施する工程では、前記元データの音声データにおける、環境音やノイズを変化させるデータオーギュメンテーションを実施するようにしてもよい。これにより、音声認識の学習モデルの訓練において、汎化学習に有効な多様な訓練用データを生成することができる。
また、前記オーギュメンテーションを実施する工程では、前記元データの音声データに環境音の音声を合成することによりデータオーギュメンテーションを実施するようにしてもよい。これにより、音声データを取得した場所の違いを想定した多様な訓練用データを生成することができる。
また、前記元データは信号データであり、前記対象部分は特定の信号パターンであり、前記オーギュメンテーションを実施する工程では、前記元データの信号データにおける、ノイズを変化させるデータオーギュメンテーションを実施するようにしてもよい。これにより、信号分析等の学習モデルの訓練において、汎化学習に有効な多様な訓練用データを生成することができる。
また、前記オーギュメンテーションを実施する工程では、前記元データの信号データにノイズを合成することによりデータオーギュメンテーションを実施するようにしてもよい。これにより、信号データを取得した場所の違いを想定した多様な訓練用データを生成することができる。
また、前記元データはテキストデータであり、前記対象部分は特定のテキストパターンであり、前記オーギュメンテーションを実施する工程では、前記元データのテキストデータにおける、文体を変化させるデータオーギュメンテーションを実施するようにしてもよい。これにより、意味抽出等の学習モデルの訓練において、汎化学習に有効な多様な訓練用データを生成することができる。
また、前記オーギュメンテーションを実施する工程では、前記元データのテキストデータの語頭及び/又は語尾を変えることによりデータオーギュメンテーションを実施するようにしてもよい。これにより、文体の違いを想定した多様な訓練用データを生成することができる。
また、前記元データは強化学習におけるエージェントが置かれた環境の状態に関するデータであり、前記対象部分は報酬の獲得に影響を与える部分の情報であり、前記オーギュメンテーションを実施する工程では、前記元データにおける、前記環境の状態のうち、前記報酬の獲得に影響を与えない部分の条件を変化させるデータオーギュメンテーションを実施するようにしてもよい。これにより、強化学習のモデルの訓練において、汎化学習に有効な多様な訓練用データを生成することができる。
また、前記抽出する工程では、前記元データのドメインと前記データオーギュメンテーションにより生成されたデータのドメインが、所定の割合で含まれるように抽出するようにしてもよい。これにより、学習用ドメインに、元データのドメインと生成データのドメインの両方が含まれるように抽出することができるので、元データまたは生成データに偏ってしまうことよる過学習の誘発を防止することができる。なお、所定の割合は、利用者が指定するようにしてもよいし、あらかじめパラメータとして保持しておくようにしてもよい。
本発明の一側面に係るメタ学習方法は、上記の機械学習用データ生成方法によって生成された前記ドメイン汎化のためのデータセットを用いて、メタ学習によるドメイン汎化を実施する工程を含むものである。
上記構成により、学習工程(学習ループ内)で元データとオーギュメンテーションにより生成されたデータの両方を必ず含むデータセットを抽出し、これを用いてメタ学習を実施することができ、過学習を防いで、メタ学習によるドメイン汎化の汎化能力を向上させることができる。
また、前記メタ学習によるドメイン汎化を実施する工程では、前記元データの少なくとも1つのドメインと、前記データオーギュメンテーションにより生成されたデータの少なくとも1つのドメインとを含む複数のデータセットの集合を用いて、メタ学習によるドメイン汎化を実施するようにしてもよい。これにより、元データとデータオーギュメンテーションにより生成されたデータの両方を必ず含むデータセットを用いてメタ学習を実施し、過学習を防いでドメイン汎化の汎化能力を向上させることができる。
本発明の一側面に係るドメイン汎化学習方法は、上記の機械学習用データ生成方法によって生成された前記ドメイン汎化のためのデータセットを用いて、ドメイン汎化学習を実施する工程を含むものである。
上記構成により、ドメイン汎化学習の前段で元データとオーギュメンテーションにより生成されたデータの両方を必ず含むデータセットを抽出し、これを用いてドメイン汎化学習を実施することができ、過学習を防いで、ドメイン汎化学習の汎化能力を向上させることができる。
本発明の一側面に係る機械学習用データ生成装置は、機械学習におけるドメイン汎化のためのデータを生成するデータ生成装置であって、機械学習モデルの訓練に用いる学習用データを元データとしてデータオーギュメンテーションを実施するデータ生成部と、前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する訓練データ抽出部とを備えたものである。
上記構成により、コストをかけずに汎化学習のための新たなデータを生成し、汎化学習における汎化性能を向上させることができる。
本発明の一側面に係るプログラムは、機械学習におけるドメイン汎化のためのデータを生成するコンピュータを、機械学習モデルの訓練に用いる学習用データを元データとしてデータオーギュメンテーションを実施するデータ生成部と、前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する訓練データ抽出部、として機能させるものである。
上記構成により、コストをかけずに汎化学習のための新たなデータを生成し、汎化学習における汎化性能を向上させることができる。
本発明によれば、学習モデルの汎化能力を向上させることが可能な訓練データを生成する方法を提供することができる。
本発明の実施形態に係る機械学習用データ生成処理の概要を説明する図。 本発明の実施形態に係る機械学習用データ生成装置のハードウェア構成の一例を示す図。 本発明の実施形態に係る機械学習用データ生成装置の機能構成の一例を示す図。 本発明の実施形態に係る機械学習用データ生成装置の動作の一例を示すフローチャート。 本発明の実施形態に係る機械学習用データ生成装置の動作の一例を示すフローチャート。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。 本発明の実施形態に係る機械学習用データ生成装置によるデータオーギュメンテーションの例を説明する図。 本発明の実施形態に係る機械学習用データ生成装置による訓練用のデータセットの抽出方法の例を示す図。 本発明の実施形態に係る機械学習用データ生成装置による訓練用のデータセットの抽出方法の例を示す図。 本発明の実施形態に係る機械学習用データ生成処理によるデータの種類に応じたデータオーギュメンテーションを例示する図。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。 本発明の実施形態に係る機械学習用データ生成装置の動作の一例を示すフローチャート。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。 本発明の実施形態に係る機械学習用データ生成処理によるデータの種類に応じたデータオーギュメンテーションを例示する図。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。 本発明の実施形態に係る機械学習用データ生成処理の一例を説明する図。
以下、本発明の一側面に係る実施の形態(以下「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
§1 適用例
図1を用いて、本発明が適用される場面の一例について説明する。図1は、本発明による機械学習用データ生成装置10による機械学習用データ生成処理の概要を説明する図である。図1の例では、ある地点Aに設置されたカメラで撮影した画像データをオリジナルデータ(元データ)としてデータオーギュメンテーションを実施し、訓練データを生成している。オリジナルデータは、雨天時に撮影した画像データ、降雪時に撮影した画像データ、昼間に撮影した画像データ、夜間に撮影した画像データの4つのドメインのデータセットに分けて保存されている。図1の例では、これらの各ドメインのオリジナルデータに対して画像を反転させる処理を実施し、オーギュメンテーション後の各データを、雨天時のデータ、降雪時のデータ、昼間のデータ、および夜間のデータのデータセットに分けて保存している。なお、データオーギュメンテーションは、データ拡張と呼ばれることもある。
学習工程においては、オリジナルデータと生成データの両方のドメインを含むように、所定数のデータを抽出し、メタ学習のための訓練データセットとする。例えば、オリジナルデータからは雨天時のデータと夜間のデータの各ドメイン、生成データからは降雪時のデータと昼間のデータの各ドメインのデータを抽出し、訓練用のデータセットとしてメタ学習を実行する。なお、元データと生成されたデータは、メタ学習用の所定の構造を有するデータである。
§2 構成例
(1.ハードウェア構成)
次に、図2を参照しながら、本実施形態に関わる機械学習用データ生成装置10のハードウェア構成の一例について説明する。
機械学習用データ生成装置10は、そのハードウェア資源として、プロセッサ11と、メインメモリ12と、カメラインタフェース13と、入出力インタフェース14と、ディスプレイインタフェース15と、通信インタフェース16と、記憶装置17とを備えるコンピュータシステムである。
記憶装置17は、ディスク媒体(例えば、磁気記録媒体又は光磁気記録媒体)又は半導体メモリ(例えば、揮発性メモリ又は不揮発性メモリ)などのコンピュータ読み取り可能な記録媒体である。このような記録媒体は、例えば、非一過性の記録媒体と呼ぶこともできる。記憶装置17には、汎化学習プログラム20が記憶されている。汎化学習プログラム20は、本実施形態に関わるメタ学習方法をプロセッサ11に実行させるためのコンピュータプログラムである。汎化学習プログラム20は、記憶装置17からメインメモリ12に読み込まれ、プロセッサ11により解釈及び実行されることにより、本実施形態に係るメタ学習方法が実行される。
カメラインタフェース13には、カメラ51が接続されている。カメラ51は、例えば、カラー画像を撮影するイメージセンサを備えてもよい。カメラ51は、機械学習用データ生成装置10に内蔵されているものでもよく、或いは機械学習用データ生成装置10に外付けされるものでもよい。カメラ51により撮影された画像は、オリジナルデータとして記憶装置17のオリジナルデータ記憶部31に記憶される。
入出力インタフェース14には、入力デバイス52と出力デバイス53とが接続されている。入力デバイス52は、例えば、キーボード、マウス、タッチパッドなどである。出力デバイス53は、各種処理結果等を出力するデバイスである。出力デバイス53は、例えば、プリンタである。
ディスプレイインタフェース15には、表示装置54が接続されている。表示装置54は、ユーザからの指示を受け付けるためのユーザインタフェースや、データオーギュメンテーションの際の元データや生成データを表示する。
(2.機能構成)
次に、図3を用いて、本開示の実施形態に係る機械学習用データ生成装置10の機能構成の一例を説明する。図3は、プロセッサ11によって実行される機能モジュールを示すブロック図である。図3に示すように、機能モジュールには、データ生成部21、訓練データ抽出部22、学習実行部23が含まれる。
記憶装置17には、オリジナルデータ記憶部31と生成データ記憶部32が実装されている。オリジナルデータ記憶部31には、カメラ51等により撮影されたデータオーギュメンテーションの元データが記憶されている。生成データ記憶部32には、データオーギュメンテーションにより生成したデータが記憶されている。
§3 動作例
次に、本実施形態に係る機械学習用データ生成装置10による機械学習用データ生成方法について、図4~8を用いて説明する。なお、ここでは、元データとなる画像データにデータオーギュメンテーションを実施し、新たな画像データを生成する例について説明する。
図4は、本発明の実施形態に係る機械学習用データ生成方法の一例を示すフローチャートである。図4の例では、機械学習の方法として教師あり学習を想定しているが、教師なし学習や強化学習にも同様に適用することができる。
ステップS101において、機械学習用データ生成装置10のオリジナルデータ記憶部31に元データをドメイン毎に記憶する。元データは、例えば図1に示すように、ある地点Aで撮影された画像データに対し、予めアノテーションを実施して作成した教師データのセットである。元データは、撮影した時の天候や時間帯によって、それぞれ雨天時のデータ、降雪時のデータ、昼間のデータ、夜間のデータの4つのドメインに分けて記憶されている。
機械学習用データ生成装置10は、地点Aのカメラから通信回線を介して撮影した画像を取得するようにしてもよいし、外部の記憶装置に記憶された画像データを機械学習用データ生成装置10の記憶装置17にコピーするようにしてもよい。
ステップS102において、機械学習用データ生成装置10は、データオーギュメンテーションの方法を受け付ける。データオーギュメンテーションの方法は、例えば入力デバイス52を介して利用者が入力することができる。データオーギュメンテーションの方法としては、例えば図1に示すように、画像の反転などの具体的な処理を指定することができる。
ステップS103において、機械学習用データ生成装置10のデータ生成部21は、指定された方法に基づいて元データに対してデータオーギュメンテーションを実施する。例えば、オリジナルデータ記憶部31に記憶された各画像データの左右を反転させる処理を実行する。
ステップS104において、機械学習用データ生成装置10のデータ生成部21は、データオーギュメンテーションによって生成した画像データを生成データ記憶部32に記憶する。この時、図1に示すように、生成データも元データのドメインに対応してドメイン毎に記憶するようにしてもよい。例えば、雨天時のデータをオーギュメンテーションした画像データは、生成データ記憶部32の雨天時のデータのドメインに記憶する。
ステップS105において、機械学習用データ生成装置10は、学習実行部23によるメタ学習ベースの汎化学習を実行する。ステップS105においては、ステップS1051~S1055の処理が学習の回数だけ繰り返される。具体的な学習方法としては、例えばMLDG(Meta-Learning for Domain Generalization)(参考文献1)を用いることができるが、メタ学習ベースの汎化学習手法であればよい。
[参考文献1]“Learning to Generalize: Meta-Learning for Domain Generalization", Da Li et al., URL:https://arxiv.org/abs/1710.03463
まず、ステップS1051において、訓練データ抽出部22は、記憶装置17から、オリジナルデータ記憶部31に記憶された元データのドメインと生成データ記憶部32に記憶された生成データのドメインの両方を含むように、複数のドメインを抽出する。訓練データ抽出部22は、ドメイン抽出パラメータに基づいて、元データのドメインと生成データのドメインが所定の割合で含まれるように抽出する。ドメイン抽出パラメータは、入力デバイス52を介してその都度指定される値でもよいし、記憶装置17にドメイン抽出パラメータ定義テーブルを格納し、あらかじめ保持しておいてもよい。
ステップS1052において、訓練データ抽出部22は、ステップS1051で抽出した複数のドメインをデータセット1(訓練ドメイン)とデータセット2(検証ドメイン)に分ける。
ステップS1053において、学習実行部23は、データセット1に対して正解ラベルと予測ラベルの差である損失(loss1)を算出し、ネットワークパラメータ(機械学習のパラメータ)を一時的に更新する。
ステップS1054において、学習実行部23は、ステップS1053で更新したネットワークパラメータを初期値として、データセット2に対して損失(loss2)を算出する。
ステップS1055において、学習実行部23は、loss1とloss2の重み付き和を最小化するように、ネットワークパラメータを更新する。以上のステップS1051~S1055の工程を学習回数分繰り返すことにより、ネットワークパラメータを最適化する。
なお、MTAN(Multi-Task Adversarial Network)(参考文献2)などの敵対学習ベースのドメイン汎化学習手法を用いる場合には、図15のフローチャートに示すように、ステップS104において生成データを生成データ記憶部32に記憶した後、ステップS301において元データのドメインと生成データのドメインを両方含む訓練用のデータセットを抽出する。さらに、ステップS105において、抽出したデータセットを用いて汎化学習を実施する。
[参考文献2]“Multi-Task Adversarial Network for Disentangled Feature Learning", Yang Liu et al.,
URL:https://openaccess.thecvf.com/content_cvpr_2018/html/Liu_Multi-Task_Adversarial_Network_CVPR_2018_paper.html
図5のフローチャートを用いて、本発明の実施形態に係る機械学習用データ生成方法の他の例について説明する。
ステップS201においては、図4のステップS101と同様に、元データをドメイン毎にオリジナルデータ記憶部31に記憶する。
ステップS202においては、図4のステップS102と同様にデータオーギュメンテーションの方法を受け付けるが、図5の例では、複数の方法(n通り)を同時に受け付けることができる。
ステップS203~ステップS204において、データ生成部21は、指定されたn通りの方法でのデータオーギュメンテーションを順次実施して生成データを作成する。具体的には、まず1つめの方法(例えば、反転)でデータオーギュメンテーションを実施したものを一旦生成データとして保存し、次に、反転を実施した生成データに対して、2つめの方法(例えば、拡大)を実施し、生成データとして保存する、同様に、n番目の方法でのオーギュメンテーションを実施した後、最終的な生成データとして生成データ記憶部32にドメイン毎に記憶する。
ステップS205において、機械学習用データ生成装置10は、学習実行部23によるメタ学習ベースの汎化学習を実行する。ステップS205においては、図4のステップS1051~S1055と同様の処理が学習の回数だけ繰り返される。
なお、元データには、データオーギュメンテーションの前後で不変であるべき部分(対象部分)と、データオーギュメンテーションによる拡張・変更の対象となる部分(非対象部分)が含まれる。例えば、図1や図6の例では、道路上での車両認識を行うための機械学習モデルを想定しており、画像データにおける対象部分は、走行する車両の画像に相当する。このため、データオーギュメンテーションによる拡張・変更の対象(非対象部分)は、周囲の環境(例えば、風景、道路の形状等)や撮像条件(例えば、倍率、撮影方向、天候、時間帯等)である。
画像データに対する具体的なオーギュメンテーションの方法としては、元データの画像の回転、反転、拡大、縮小、移動、トリミング、及びフィルタ処理等の他、元データの画像の明度の変更(天気や時間帯のバリエーション)、背景の変更、及び色調の変更(天気や時間帯のバリエーション)などを例として挙げることができる。図6は、例えば、フィルタ処理を実施する場合の例を説明する図である。図6の例では、昼間のデータや夜間のデータの元データに対して、特定の天候(降雪時や曇天時)での画像を抽出するフィルタリング処理を実施している。
また、データオーギュメンテーションは、同じ元データに対して異なる種類の拡張を行ってそれぞれ別のドメインを生成するようにしてもよい。例えば、図7に示すように、元データのドメインAに対し、回転の処理を実施したものを生成データのドメインA'とし、ドメインAに対し、縮小の処理を実施したものを生成データのドメインA"として保存するようにしてもよい。また、同じ種類の拡張を異なる強度(レベル)で実施するようにしてもよい。例えば、図7に示すように、元データのドメインBに対し、45度(強度)の回転を実施したものを生成データのドメインB'とし、90度(強度)の回転を実施したものを生成データのドメインB"として保存するようにしてもよい。また、図7の例に示すように、元データの異なるドメインに対して異なる種類のデータオーギュメンテーション(ドメインAには回転および縮小、ドメインBには45度回転および90度回転)を実施するようにしてもよい。
次に、図8、9を用いて、図4のステップS1051~S1055におけるデータセットの抽出方法の具体例について説明する。図8の例では、ドメイン抽出パラメータの内容は、αの割合で元データのドメインが含まれるように、合計β個のドメインを抽出するというものであり、抽出数βは、1回の学習ループの最後(ステップS1056)に、変化率γを乗じた値β×γに変化する。例えば、γ=0.99であれば、10回の学習の後は、抽出数βは初期値の約9割になる。αは一定なので、元データ:生成データの割合は、常にα:1-αとなる。パラメータの条件を満たしていれば、任意のドメインを抽出することができる。抽出されたβ個のドメインは、2つのデータセット(Dataset1,Dataset2)に分割され、両者の損失の和が最小化するようにメタ学習が繰り返し実行される。
また、図9の例では、元データのドメインの抽出割合αが学習の度に変更され、抽出数βは一定である。抽出割合αは、1回の学習ループの最初(ステップS1050)に、0.1~1のランダムな値が設定され、ループの度に値が変動する。例えば、α=0.1が設定された場合には、1割の確率で元データのドメインが含まれる。抽出数βは一定なので、抽出される合計のドメイン数は常に一定となる。抽出されたβ個のドメインは、2つのデータセット(Dataset1,Dataset2)に分割され、両者の損失の和が最小化するようにメタ学習が繰り返し実行される。
なお、抽出割合や抽出数などのパラメータは、学習ごとに変化させずに一定の値のまま繰り返し学習を実施してもよい。また、抽出パラメータは上記の例に限られず、例えば元データの割合の代わりに、抽出する元データのドメイン数をパラメータとしてもよい。
上記の実施形態では、画像データを訓練用データとして用いているが、訓練用データ画像データ以外のものであってもよい。図10は、機械学習の方法が教師あり学習または教師なし学習の場合の、機械学習用データ生成方法を適用可能な各種の訓練用データと、それぞれのデータを用いる場合のデータオーギュメンテーションの例を示す図である。表中「データ種類」は訓練データの種類、「タスクの例」は訓練データを用いて学習を行うモデルの例、「対象物」はデータオーギュメンテーションの前後で不変であるべき部分(対象部分)、「変更対象」はデータオーギュメンテーションによる拡張・変更の対象となる部分(非対象部分)、「オーギュメンテーションの例」は、変更対象に対して実施する変更の内容を示している。
例えば、データ種類が「画像」(例えば、画像認識モデルの訓練データ等)の場合には、対象物は特定のオブジェクト(例えば、車両認識であれば車両、顔認識であれば顔等)が挙げられる。変更対象とオーギュメンテーションの例としては、撮影時間を明暗の変更によって変化させる、室内と屋外の違いを背景の差し替えで表す、季節や風景の違いを色彩の変更によって表す、レンズの曇りやノイズ、ピントなどの違いをフィルタ処理によって表す、カメラの傾きを回転によって変化させる、撮影位置の違いを移動や拡大縮小によって表現する、等が挙げられる。
また、データ種類が「音声」(例えば、音声認識モデルの訓練データ等)の場合には、対象物は特定の音声(例えば、人の声等)が挙げられる。変更対象とオーギュメンテーションの例としては、環境音(例えば、車の走行音、機械の稼働音等)を合成によって付加することが挙げられる。
また、データ種類が「音・信号」(例えば、異常検知モデルの訓練データ等)の場合には、対象物は特定の波形パターン(例えば、異常音等)が挙げられる。変更対象とオーギュメンテーションの例としては、環境音(例えば、機械の稼働音等)、振動、マイクやセンサのノイズを合成信号によって付加することが挙げられる。
また、データ種類が「テキスト」(例えば、意味抽出・要約モデルの訓練データ等)の場合には、対象物は特定のテキスト(例えば、レビュー記事等)が挙げられる。変更対象とオーギュメンテーションの例としては、文章の口調を語尾の置き換え(例えば、間投詞、記号等)によって変化させることが挙げられる。
図11、図12は、機械学習の方法が教師あり学習であり、データ種類が音声の場合の機械学習用データ生成方法の例を示す図である。図11の例では、屋内(静かな場所)で記録した音声データを元データとして、駅の中を想定したノイズを付加したデータを生成している。具体的には、様々な駅(例えば、地下鉄、新幹線等)での雑音(例えば、電車の音、話し声、アナウンス音等)を元データに合成してデータオーギュメンテーションを行う。このようにして生成したデータをメタ学習に用いることにより、屋内の用な静かな場所だけでなく、駅の中でも利用できるように機械学習の汎化を実現することができる。
また、図12の例では、屋内(静かな場所)で記録した音声データを元データとして、データ取得環境を多様化したデータを生成している。具体的には、車や電車の音や、人の話し声、雨の音等を付加することにより、線路付近、オフィス内、屋外等で取得したことを想定したデータを生成している。このようにして生成したデータをメタ学習に用いることにより、様々なデータ取得環境に対応できるように機械学習の汎化を実現することができる。
図13は、機械学習の方法が教師あり学習であり、データ種類が信号の場合の機械学習用データ生成方法の例を示す図である。図13は、機械の振動データを分析して異常を検知するモデルの訓練データを生成する例を示している。元データは、フロアaで取得した製品A,B,Cを製造中の振動データである。これらの元データを用いて、データオーギュメンテーションにより、フロアbで取得したことを想定した振動データを生成している。具体的には、フロアbの人通りを想定したノイズを付加したり、フロアbにはあってフロアaには無いマシンから発生する振動をノイズとして付加している。このようにして訓練データを生成することにより、フロアの環境に対して汎化した機械学習を実現することができる。
図14は、機械学習の方法が教師あり学習であり、データ種類がテキストの場合の機械学習用データ生成方法の例を示す図である。図14は、ネット上の様々なサイトに投稿された商品の評価に関するテキストを、満足度に応じて分類する学習モデルの訓練データを生成する例を示している。元データは、ショッピングサイトやレビューサイトへのレビュー投稿、ニュースサイトのレビュー記事である。これらの元データに対して、文体を口語調に変換するデータオーギュメンテーションを行う。具体的には、文章を短く区切ったり、語尾を話し言葉風に変える、語頭に感嘆詞を付加するなどの処理を行う。これにより、掲示板への書き込みやSNSへの投稿を想定したデータを生成している。このようにして訓練データを生成することにより、口語を多く含むレビューに対しても汎化した機械学習を実現することができる。
図16は、機械学習の方法が教師あり学習であり、データ種類が画像の場合の機械学習用データ生成方法の例を示す図である。ここでは、ビジュアルスラムへの適用を想定している。ビジュアルスラムは、無人搬送車(AGV)や自律走行ロボット(AMR)などに利用され、カメラで撮影した映像から自己位置の推定と、環境地図の作成を同時に行う技術である。元データは、カメラで撮影された画像と、ロボットが推定した座標や点群の組であり、座標や点群の情報が教師ラベルとなる。図16の例では、晴れた昼に撮影された複数の画像データと教師ラベルを含むドメイン(晴れ・昼)に対して天気や時間帯など、環境のバリエーションを増やすデータオーギュメンテーションを行う。データの変換は入力データ(画像データ)に対してのみ行い、組み合わされた教師ラベルに対しては行わない。この結果、画像データのみが様々な環境に拡張された複数のドメイン(例えば、晴れ・夕方、雪・昼等)のデータセットが生成される。
図17は、機械学習の方法が教師なし学習であり、データ種類が画像の場合の機械学習用データ生成方法の例を示す図である。ここでは、製品の画像から不良品を検出する異常検知への適用を想定している。元データは、ある検査機で取得した検査画像である。製品において不良品は稀であり、学習に使用する検査画像ほとんどが良品であると仮定している。これらの画像に対して、カメラやライトなどの撮影条件のバリエーションを増やすデータオーギュメンテーションを行う。この結果、様々な撮影条件に拡張された複数のドメイン(例えば、回転、拡大、色みの変更等)のデータセットが生成される。
図18は、機械学習の方法が強化学習の場合の、機械学習用データ生成方法を適用可能な各種の訓練用データと、それぞれのデータを用いる場合のデータオーギュメンテーションの例を示す図である。強化学習では、エージェントが存在する空間(環境)に関する情報が訓練データ(元データ)となる。図18では「環境の取得方法」として示されている。例えば、タスクがロボットアーム(エージェント)による物体(オブジェクト)の把持であれば、把持を行う環境の画像(例えば、物体自体と物体が置かれた床を含む画像等)が元データとなる。また、タスクが例えば自動運転であれば、運転席から見える道路の画像が元データとなる。
強化学習の場合、元データの中の対象部分は、「報酬の獲得に影響する部分」であり、非対象部分は、報酬の獲得に影響を与えない「データ取得環境」となる。すなわち、対象部分には、タスクの直接の対象となる物体等のオブジェクトだけでなく、報酬に影響を与える要素(例えば、ロボットアームによる把持であれば、物体が置かれた床の材質や角度等)も含まれる。非対象部分には、部屋の明るさや床の色等が含まれる。
図19は、機械学習の方法が強化学習であり、タスクがロボットアームの把持の場合の機械学習用データ生成方法の例を示す図である。図19の例では、物理シミュレーターによって学習を行うことを想定しており、元データはシミュレーションによって生成されるが、実際に取得したデータ(例えば、カメラ画像等)を用いる場合でも、同様に適用することができる。ここでは、元データは、ロボットアームがシミュレーター上で把持動作を行う際の、把持対象(例えば、製品等)と把持対象が置かれた台を含む空間の画像である。元データのうち、把持の成功・失敗に影響を与える要素(例えば、製品の形状、材質、重さや、台の角度、表面の材質等)以外の条件(例えば、カメラ、ライトなどの撮影条件や、台の色等)のバリエーションを増やすデータオーギュメンテーションを行う。この結果、様々な撮影条件(例えば、明るさ等)や色などに拡張されたデータセットが生成される。
図20は、機械学習の方法が強化学習であり、タスクがEmbodied Question Answering(EQA)(参考文献3)の場合の機械学習用データ生成方法の例を示す図である。EQAは、エージェントに質問を与えると、エージェントは質問に答えるために必要な情報を得るために必要な場所まで移動し、回答を出力する。例えば、「車の色」を質問した場合、エージェント(ロボット)は、車が視認できる位置を探索し、車を視認できたと判断すると、移動を停止して車の色を回答する。元データは、ロボットから見た視界の画像となる。なお、図20の例でも物理シミュレーターによって学習を行うことを想定している。
[参考文献3]“Embodied Question Answering", Abhishek Das et al.,
URL: https://arxiv.org/abs/1711.11543
EQAにおいては、元データのうち回答のために視認することが必要な目的物自体(ここでは車)と、目的物までの経路、エージェントの移動に影響を与える要素(例えば、床面の角度、摩擦等)が報酬の獲得に影響するため、対象部分となる。一方、空間の明るさや色などは非対象部分となる。したがって、データオーギュメンテーションは、明るさ(例えば、時刻等)や空間の色(例えば、壁の色等)のバリエーションを増やすように行い、これらの条件が拡張されたデータセットが生成される。
以上のように、本実施形態によれば、メタ学習のための訓練データを元データとして、データオーギュメンテーションを実施し、元データとデータオーギュメンテーションにより生成されたデータの両方を含むデータセットをメタ学習のためのデータセットとして抽出するようにした。これにより、過学習を防ぎ、メタ学習の汎化能力を向上させることが可能な学習用データを提供することができる。
また、データオーギュメンテーションを行う場合は、元データの対象部分は変更せず、対象部分以外の非対象部分を変化させるデータオーギュメンテーションを実施するようにした。これにより、データオーギュメンテーションの前後で不変であるべき部分は変更せずに、汎化学習に有効な多様な訓練用データを生成することができる。
以上、本発明の実施の形態を詳細に説明してきたが、上述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記1)
機械学習におけるドメイン汎化のためのデータを生成するデータ生成方法であって、
コンピュータ(10)が、機械学習モデルの訓練に用いる学習用データを元データとしてオーギュメンテーションを実施する工程と、
コンピュータ(10)が、前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する工程と、を含む機械学習用データ生成方法。
(付記2)
前記元データと前記データオーギュメンテーションにより生成されたデータは、それぞれドメイン単位で保持されており、
前記抽出する工程では、
前記元データの少なくとも1つのドメインと、前記データオーギュメンテーションにより生成されたデータの少なくとも1つのドメインを、前記ドメイン汎化のためのデータセットとして抽出する、付記1に記載の機械学習用データ生成方法。
(付記3)
前記元データは、対象部分と非対象部分を含み、
前記オーギュメンテーションを実施する工程では、
前記元データにおける前記非対象部分を変化させるデータオーギュメンテーションを実施する、付記1または2に記載の機械学習用データ生成方法。
(付記4)
前記元データは画像データであり、前記対象部分は対象物の画像であり、
前記オーギュメンテーションを実施する工程では、
前記元データの画像における、前記対象物の周囲の環境及び/又は前記対象物の撮像条件を変化させるデータオーギュメンテーションを実施する、付記3に記載の機械学習用データ生成方法。
(付記5)
前記オーギュメンテーションを実施する工程では、
前記元データの画像の明度の変更、背景の変更、及び色調の変更のうちの少なくとも1つを実施することにより、前記対象物の周囲の環境を変化させるデータオーギュメンテーションを実施する、付記4に記載の機械学習用データ生成方法。
(付記6)
前記オーギュメンテーションを実施する工程では、
前記元データの画像の回転、反転、拡大、縮小、移動、トリミング、及びフィルタ処理のうちの少なくとも1つを実施することにより、前記対象物の撮像条件を変化させるデータオーギュメンテーションを実施する、付記4に記載の機械学習用データ生成方法。
(付記7)
前記元データは音声データであり、前記対象部分は特定の音声であり、
前記オーギュメンテーションを実施する工程では、
前記元データの音声データにおける、環境音やノイズを変化させるデータオーギュメンテーションを実施する、付記3に記載の機械学習用データ生成方法。
(付記8)
前記オーギュメンテーションを実施する工程では、
前記元データの音声データに環境音の音声を合成することによりデータオーギュメンテーションを実施する、付記7に記載の機械学習用データ生成方法。
(付記9)
前記元データは信号データであり、前記対象部分は特定の信号パターンであり、
前記オーギュメンテーションを実施する工程では、
前記元データの信号データにおける、ノイズを変化させるデータオーギュメンテーションを実施する、付記3に記載の機械学習用データ生成方法。
(付記10)
前記オーギュメンテーションを実施する工程では、
前記元データの信号データにノイズを合成することによりデータオーギュメンテーションを実施する、付記9に記載の機械学習用データ生成方法。
(付記11)
前記元データはテキストデータであり、前記対象部分は特定のテキストパターンであり、
前記オーギュメンテーションを実施する工程では、
前記元データのテキストデータにおける、文体を変化させるデータオーギュメンテーションを実施する、付記3に記載の機械学習用データ生成方法。
(付記12)
前記オーギュメンテーションを実施する工程では、
前記元データのテキストデータの語頭及び/又は語尾を変えることによりデータオーギュメンテーションを実施する、付記11に記載の機械学習用データ生成方法。
(付記13)
前記抽出する工程では、
前記元データのドメインと前記データオーギュメンテーションにより生成されたデータのドメインが、所定の割合で含まれるように抽出する、付記2に記載の機械学習用データ生成方法。
(付記14)
前記元データは強化学習におけるエージェントが置かれた環境の状態に関するデータであり、前記対象部分は報酬の獲得に影響を与える部分の情報であり、
前記オーギュメンテーションを実施する工程では、
前記元データにおける、前記環境の状態のうち、前記報酬の獲得に影響を与えない部分の条件を変化させるデータオーギュメンテーションを実施する、付記3に記載の機械学習用データ生成方法。
(付記15)
付記1から14のいずれか1項に記載の機械学習用データ生成方法によって生成された前記ドメイン汎化のためのデータセットを用いて、メタ学習によるドメイン汎化を実施する工程を含む、メタ学習方法。
(付記16)
前記メタ学習によるドメイン汎化を実施する工程では、
前記元データの少なくとも1つのドメインと、前記データオーギュメンテーションにより生成されたデータの少なくとも1つのドメインとを含む複数のデータセットの集合を用いて、メタ学習によるドメイン汎化を実施する、付記15に記載のメタ学習方法。
(付記17)
付記1から14のいずれか1項に記載の機械学習用データ生成方法によって生成された前記ドメイン汎化のためのデータセットを用いて、ドメイン汎化学習を実施する工程を含むドメイン汎化学習方法。
(付記18)
機械学習におけるドメイン汎化のためのデータを生成するデータ生成装置(10)であって、
機械学習モデルの訓練に用いる学習用データを元データとしてデータオーギュメンテーションを実施するデータ生成部(21)と、
前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する訓練データ抽出部(22)とを備えた機械学習用データ生成装置(10)。
(付記19)
機械学習におけるドメイン汎化のためのデータを生成するコンピュータ(10)を、
機械学習モデルの訓練に用いる学習用データを元データとしてデータオーギュメンテーションを実施するデータ生成部(21)と、
前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する訓練データ抽出部(22)、として機能させるプログラム。
10…機械学習用データ生成装置 11…プロセッサ 12…メインメモリ 13…カメラインタフェース 14…入出力インタフェース 15…ディスプレイインタフェース 16…通信インタフェース 17…記憶装置 20…汎化学習プログラム 21 データ生成部 22…訓練データ抽出部 23…学習実行部 31…オリジナルデータ記憶部 32…生成データ記憶部 51…カメラ 52…入力デバイス 53…出力デバイス 54…表示装置

Claims (19)

  1. 機械学習におけるドメイン汎化のためのデータを生成するデータ生成方法であって、
    コンピュータが、機械学習モデルの訓練に用いる学習用データを元データとしてオーギュメンテーションを実施する工程と、
    コンピュータが、前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する工程と、を含む機械学習用データ生成方法。
  2. 前記元データと前記データオーギュメンテーションにより生成されたデータは、それぞれドメイン単位で保持されており、
    前記抽出する工程では、
    前記元データの少なくとも1つのドメインと、前記データオーギュメンテーションにより生成されたデータの少なくとも1つのドメインを、前記ドメイン汎化のためのデータセットとして抽出する、請求項1に記載の機械学習用データ生成方法。
  3. 前記元データは、対象部分と非対象部分を含み、
    前記オーギュメンテーションを実施する工程では、
    前記元データにおける前記非対象部分を変化させるデータオーギュメンテーションを実施する、請求項1または2に記載の機械学習用データ生成方法。
  4. 前記元データは画像データであり、前記対象部分は対象物の画像であり、
    前記オーギュメンテーションを実施する工程では、
    前記元データの画像における、前記対象物の周囲の環境及び/又は前記対象物の撮像条件を変化させるデータオーギュメンテーションを実施する、請求項3に記載の機械学習用データ生成方法。
  5. 前記オーギュメンテーションを実施する工程では、
    前記元データの画像の明度の変更、背景の変更、及び色調の変更のうちの少なくとも1つを実施することにより、前記対象物の周囲の環境を変化させるデータオーギュメンテーションを実施する、請求項4に記載の機械学習用データ生成方法。
  6. 前記オーギュメンテーションを実施する工程では、
    前記元データの画像の回転、反転、拡大、縮小、移動、トリミング、及びフィルタ処理のうちの少なくとも1つを実施することにより、前記対象物の撮像条件を変化させるデータオーギュメンテーションを実施する、請求項4に記載の機械学習用データ生成方法。
  7. 前記元データは音声データであり、前記対象部分は特定の音声であり、
    前記オーギュメンテーションを実施する工程では、
    前記元データの音声データにおける、環境音やノイズを変化させるデータオーギュメンテーションを実施する、請求項3に記載の機械学習用データ生成方法。
  8. 前記オーギュメンテーションを実施する工程では、
    前記元データの音声データに環境音の音声を合成することによりデータオーギュメンテーションを実施する、請求項7に記載の機械学習用データ生成方法。
  9. 前記元データは信号データであり、前記対象部分は特定の信号パターンであり、
    前記オーギュメンテーションを実施する工程では、
    前記元データの信号データにおける、ノイズを変化させるデータオーギュメンテーションを実施する、請求項3に記載の機械学習用データ生成方法。
  10. 前記オーギュメンテーションを実施する工程では、
    前記元データの信号データにノイズを合成することによりデータオーギュメンテーションを実施する、請求項9に記載の機械学習用データ生成方法。
  11. 前記元データはテキストデータであり、前記対象部分は特定のテキストパターンであり、
    前記オーギュメンテーションを実施する工程では、
    前記元データのテキストデータにおける、文体を変化させるデータオーギュメンテーションを実施する、請求項3に記載の機械学習用データ生成方法。
  12. 前記オーギュメンテーションを実施する工程では、
    前記元データのテキストデータの語頭及び/又は語尾を変えることによりデータオーギュメンテーションを実施する、請求項11に記載の機械学習用データ生成方法。
  13. 前記抽出する工程では、
    前記元データのドメインと前記データオーギュメンテーションにより生成されたデータのドメインが、所定の割合で含まれるように抽出する、請求項2に記載の機械学習用データ生成方法。
  14. 前記元データは強化学習におけるエージェントが置かれた環境の状態に関するデータであり、前記対象部分は報酬の獲得に影響を与える部分の情報であり、
    前記オーギュメンテーションを実施する工程では、
    前記元データにおける、前記環境の状態のうち、前記報酬の獲得に影響を与えない部分の条件を変化させるデータオーギュメンテーションを実施する、請求項3に記載の機械学習用データ生成方法。
  15. 請求項1から14のいずれか1項に記載の機械学習用データ生成方法によって生成された前記ドメイン汎化のためのデータセットを用いて、メタ学習によるドメイン汎化を実施する工程を含む、メタ学習方法。
  16. 前記メタ学習によるドメイン汎化を実施する工程では、
    前記元データの少なくとも1つのドメインと、前記データオーギュメンテーションにより生成されたデータの少なくとも1つのドメインとを含む複数のデータセットの集合を用いて、メタ学習によるドメイン汎化を実施する、請求項15に記載のメタ学習方法。
  17. 請求項1から14のいずれか1項に記載の機械学習用データ生成方法によって生成された前記ドメイン汎化のためのデータセットを用いて、ドメイン汎化学習を実施する工程を含む、ドメイン汎化学習方法。
  18. 機械学習におけるドメイン汎化のためのデータを生成するデータ生成装置であって、
    機械学習モデルの訓練に用いる学習用データを元データとしてデータオーギュメンテーションを実施するデータ生成部と、
    前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する訓練データ抽出部とを備えた機械学習用データ生成装置。
  19. 機械学習におけるドメイン汎化のためのデータを生成するコンピュータを、
    機械学習モデルの訓練に用いる学習用データを元データとしてデータオーギュメンテーションを実施するデータ生成部と、
    前記元データと、前記データオーギュメンテーションにより生成されたデータの両方を含むデータセットを前記ドメイン汎化のためのデータセットとして抽出する訓練データ抽出部、として機能させるプログラム。
JP2021122787A 2021-02-16 2021-07-27 機械学習用データ生成方法、メタ学習方法、機械学習用データ生成装置及びプログラム Pending JP2022124989A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US18/264,038 US20240232704A9 (en) 2021-02-16 2022-01-18 Machine learning data generation method, meta-learning method, machine learning data generation apparatus, and program
EP22755806.1A EP4296911A1 (en) 2021-02-16 2022-01-18 Machine learning data generation method, meta learning method, machine learning data generation device, and program
PCT/JP2022/001626 WO2022176481A1 (ja) 2021-02-16 2022-01-18 機械学習用データ生成方法、メタ学習方法、機械学習用データ生成装置及びプログラム
CN202280011672.5A CN116964600A (zh) 2021-02-16 2022-01-18 机器学习用数据生成方法、元学习方法、机器学习用数据生成装置及程序
TW111102966A TWI800234B (zh) 2021-02-16 2022-01-24 機器學習用數據生成方法、元學習方法、機器學習用數據生成裝置及程式

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021022715 2021-02-16
JP2021022715 2021-02-16

Publications (1)

Publication Number Publication Date
JP2022124989A true JP2022124989A (ja) 2022-08-26

Family

ID=82942031

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021122787A Pending JP2022124989A (ja) 2021-02-16 2021-07-27 機械学習用データ生成方法、メタ学習方法、機械学習用データ生成装置及びプログラム

Country Status (1)

Country Link
JP (1) JP2022124989A (ja)

Similar Documents

Publication Publication Date Title
CN114144790B (zh) 具有三维骨架正则化和表示性身体姿势的个性化语音到视频
CN110853656B (zh) 基于改进神经网络的音频篡改识别方法
CN111429885A (zh) 一种将音频片段映射为人脸嘴型关键点的方法
CN111259779A (zh) 一种基于中心点轨迹预测的视频动作检测方法
CN114333070A (zh) 一种基于深度学习的考生异常行为检测方法
Kong et al. Acoustic scene generation with conditional SampleRNN
KR102148378B1 (ko) 기계 학습 모델을 이용한 관심 이벤트의 알림 제공 장치 및 방법
CN113283336A (zh) 一种文本识别方法与系统
CN113920170A (zh) 结合场景上下文和行人社会关系的行人轨迹预测方法、系统及存储介质
CN115512191A (zh) 一种联合问答的图像自然语言描述方法
Tan et al. Attention augmented convolutional neural network for acoustics based machine state estimation
Jin et al. Speech separation and emotion recognition for multi-speaker scenarios
WO2022176481A1 (ja) 機械学習用データ生成方法、メタ学習方法、機械学習用データ生成装置及びプログラム
JP2022124989A (ja) 機械学習用データ生成方法、メタ学習方法、機械学習用データ生成装置及びプログラム
KR102096598B1 (ko) 애니메이션 생성 방법
CN117115310A (zh) 一种基于音频和图像的数字人脸生成方法及系统
CN116128866A (zh) 基于USRNet与改进MobileNet-SSD算法的输电线路绝缘子故障检测方法
US20240232704A9 (en) Machine learning data generation method, meta-learning method, machine learning data generation apparatus, and program
Salam et al. You Only Look Once (YOLOv3): Object Detection and Recognition for Indoor Environment
Niu et al. Improved YOLOv5 for skeleton-based classroom behavior recognition
CN116964600A (zh) 机器学习用数据生成方法、元学习方法、机器学习用数据生成装置及程序
JP7516900B2 (ja) 音声イベントの認識装置及び方法
Zhou et al. Domain specific inpainting with concurrently pretrained generative adversarial networks
Abdelnour et al. From visual to acoustic question answering
CN110472528B (zh) 一种地铁环境目标训练集生成方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240319