JP2022140916A - データ生成装置、データ生成方法及びプログラム - Google Patents

データ生成装置、データ生成方法及びプログラム Download PDF

Info

Publication number
JP2022140916A
JP2022140916A JP2021040980A JP2021040980A JP2022140916A JP 2022140916 A JP2022140916 A JP 2022140916A JP 2021040980 A JP2021040980 A JP 2021040980A JP 2021040980 A JP2021040980 A JP 2021040980A JP 2022140916 A JP2022140916 A JP 2022140916A
Authority
JP
Japan
Prior art keywords
data
augmentation
parameter
generated
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021040980A
Other languages
English (en)
Inventor
佑紀 広橋
Yuki Hirohashi
盛太郎 武良
Seitaro Mura
真実 宮本
Mami Miyamoto
敦史 橋本
Atsushi Hashimoto
隆宏 徳
Takahiro Toku
直樹 土屋
Naoki Tsuchiya
善久 井尻
Yoshihisa Ijiri
大和 岡本
Yamato Okamoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2021040980A priority Critical patent/JP2022140916A/ja
Priority to CN202280018059.6A priority patent/CN116964623A/zh
Priority to EP22771049.8A priority patent/EP4310774A1/en
Priority to PCT/JP2022/007911 priority patent/WO2022196293A1/ja
Priority to TW111107753A priority patent/TWI814268B/zh
Publication of JP2022140916A publication Critical patent/JP2022140916A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Image Analysis (AREA)
  • Stored Programmes (AREA)

Abstract

Figure 2022140916000001
【課題】利用者によるデータオーギュメンテーションの方針の決定を支援する仕組みを提供する。
【解決手段】対象物に対して判断を行う機械学習におけるデータを生成するデータ生成装置であって、データオーギュメンテーションを実施する、対象物を含む第１の元データを表示部に表示するオリジナルデータ表示部と、データオーギュメンテーションに関するパラメータの入力を受け付けるパラメータ受付部と、パラメータに基づいて、第１の元データにおける対象物以外のものに対するデータオーギュメンテーションによって生成した生成データを表示部に表示する生成データ表示部と、パラメータに基づくデータオーギュメンテーションを採用するか否かを受け付ける採用可否受付部と、を備える。
【選択図】図４

Description

本発明は、データ生成装置、データ生成方法及びプログラムに関する。
機械学習モデルを構築するためには、多くの訓練用データを用いて訓練を行う必要がある。十分な量の訓練用データを得るため、データオーギュメンテーションによってデータ量を増やす方法が利用されている。
例えば引用文献１～３には、データオーギュメンテーションによって元の訓練用データに変化を加えることにより、限られた元データから多様な訓練用データを生成する方法が記載されている。
特開２０２０－３４９９８号公報 特開２０１９－１８５４８３号公報 特開２０２０－１６６３９７号公報
例えば学習環境の違いに合わせて訓練データを拡張する場合などには、利用者の知見によってどのようなデータオーギュメンテーションを行うと良いかをある程度想定できることが多い。しかし従来の方法では、データオーギュメンテーションの方針を、利用者の知見に基づいて柔軟に設定することを支援する仕組みがなかった。
本発明は、上述した事情を鑑みてなされたものであり、利用者によるデータオーギュメンテーションの方針の決定を支援する仕組みを提供することを目的とする。
本発明は、上述した課題を解決するために、以下の構成を採用する。
本発明の一側面に係るデータ生成装置は、対象物に対して判断を行う機械学習におけるデータを生成するデータ生成装置であって、データオーギュメンテーションを実施する、前記対象物を含む第１の元データを表示部に表示するオリジナルデータ表示部と、前記データオーギュメンテーションに関するパラメータの入力を受け付けるパラメータ受付部と、前記パラメータに基づいて、前記第１の元データにおける前記対象物以外のものに対する前記データオーギュメンテーションによって生成した生成データを前記表示部に表示する生成データ表示部と、前記パラメータに基づく前記データオーギュメンテーションを採用するか否かを受け付ける採用可否受付部と、を備えたものである。対象物とは、機械学習の利用目的となる判断の対象となるものである。例えば、画像認識における認識対象（車両認識における車両等）や、音声認識におけるノイズや環境音を除く音声データ、意味抽出におけるテキストなど、学習モデルが、データ取得環境やデータ取得条件の影響を受けずに認識できるようにすべきものが挙げられる。
上記構成により、利用者が指定したパラメータに基づくデータ生成の結果を確認しながら、最終的に採用するパラメータを決定することができるので、利用者の知見に基づくデータオーギュメンテーションを効率的に行うことができる。
また、前記パラメータに基づく前記データオーギュメンテーションが採用された場合には、前記生成データを保存する生成データ保存部を備えるようにしてもよい。これにより、利用者の利用目的に合った生成データを、訓練データとして保存することができる。
また、前記パラメータは、前記対象物以外のものに関する情報及び／又はデータ取得条件の変更方法としてもよい。これにより、学習モデルによる認識対象等、データオーギュメンテーションの前後で不変であるべき対象物は変化させずに、訓練データのバリエーションを増やしたり、用途に合わせた訓練データに変換したりすることができる。
また、前記パラメータは、前記パラメータは、前記変更方法の程度についての情報としてもよい。これにより、変更の程度の強弱や大小などを柔軟に変更することができる。
また、前記データオーギュメンテーションを実施した際に用いた前記第１の元データを第２の元データとして、当該データオーギュメンテーションが採用された際の前記パラメータの情報を、前記第２の元データに紐づけて記憶するパラメータ記憶部と、前記パラメータ記憶部に前記パラメータの情報が記憶されている前記第２の元データと、前記データオーギュメンテーションを実施しようとする前記第１の元データとの類似度を算出する類似度算出部とをさらに備え、前記生成データ表示部は、前記データオーギュメンテーションを実施しようとする前記第１の元データとの類似度が最も高い第２の元データに紐づけられた前記パラメータに基づいて前記データオーギュメンテーションを実施し、前記生成データを前記表示部に表示するようにしてもよい。これにより、過去の記録に基づいて、類似するデータに対しては同様のデータオーギュメンテーションのパラメータを提示することができるので、利用者の作業をさらに効率化することができる。
また、前記データオーギュメンテーションによる前記生成データの利用目的の入力を受け付ける利用目的受付部と、前記データオーギュメンテーションが採用された際の前記パラメータの情報を、前記利用目的に紐づけて記憶するパラメータ記憶部と、をさらに備え、前記生成データ表示部は、入力された前記利用目的と一致する利用目的に紐づけられた前記パラメータに基づいて前記データオーギュメンテーションを実施し、前記生成データを前記表示部に表示するようにしてもよい。これにより、訓練データを使用する学習モデルの種類等に応じて利用目的を選択し、過去の記録に基づいて効率よくデータオーギュメンテーションの方針を決定することができる。
また、前記第１の元データは画像データであり、前記パラメータは、撮影距離の変更、撮影角度の変更、撮影時刻の変更、背景画像の変更、及び撮影時の天候条件の変更のうちの少なくとも１つとしてもよい。これにより、画像認識モデル等の訓練データの生成を効率よくおこなうことができる。
また、前記第１の元データは音声データまたは波形データであり、前記パラメータは、環境音の付与、及びノイズの付与のうちの少なくとも１つの変更方法としてもよい。これにより、音声認識モデル等の訓練データの生成を効率よくおこなうことができる。
また、前記第１の元データはテキストデータであり、前記パラメータは、置換、語順交換、及び感嘆詞付与のうちの少なくとも１つの変更方法としてもよい。これにより、意味解析モデル等の訓練データの生成を効率よくおこなうことができる。
また、複数の第１の元データを含む１つ以上のデータセットを記憶するオリジナルデータ記憶部と、前記データオーギュメンテーションを実施するデータセットの指定を受け付けるデータセット指定受付部をさらに備え、前記生成データ表示部は、指定されたデータセットに含まれる複数の第１の元データの一つに実施した前記データオーギュメンテーションの結果を表示し、前記生成データ保存部は、前記データオーギュメンテーションが採用された場合には、当該データセットに含まれる全ての第１の元データについて、採用された前記データオーギュメンテーションを実施し、全ての生成データを保存するようにしてもよい。これにより、同じ環境や取得条件で得られた複数の元データに対して、一括してデータオーギュメンテーションを実施することができる。
本発明の一側面に係るデータ生成方法は、コンピュータが、対象物に対して判断を行う機械学習におけるデータを生成するデータ生成方法であって、コンピュータが、データオーギュメンテーションを実施する、前記対象物を含む第１の元データを表示部に表示する工程と、コンピュータが、前記データオーギュメンテーションに関するパラメータの入力を受け付ける工程と、コンピュータが、前記パラメータに基づいて、前記第１の元データにおける前記対象物以外のものに対する前記データオーギュメンテーションによって生成した生成データを前記表示部に表示する工程と、コンピュータが、前記パラメータに基づく前記データオーギュメンテーションを採用するか否かを受け付ける工程と、を含むものである。
上記構成により、利用者が指定したパラメータに基づくデータ生成の結果を確認しながら、最終的に採用するパラメータを決定することができるので、利用者の知見に基づくデータオーギュメンテーションを効率的に行うことができる。
本発明の一側面に係るプログラムは、対象物に対して判断を行う機械学習におけるデータを生成するコンピュータを、データオーギュメンテーションを実施する、前記対象物を含む第１の元データを表示部に表示するオリジナルデータ表示部と、前記データオーギュメンテーションに関するパラメータの入力を受け付けるパラメータ受付部と、前記パラメータに基づいて、前記第１の元データにおける前記対象物以外のものに対する前記データオーギュメンテーションによって生成した生成データを前記表示部に表示する生成データ表示部と、前記パラメータに基づく前記データオーギュメンテーションを採用するか否かを受け付ける採用可否受付部として、機能させるものである。
上記構成により、利用者が指定したパラメータに基づくデータ生成の結果を確認しながら、最終的に採用するパラメータを決定することができるので、利用者の知見に基づくデータオーギュメンテーションを効率的に行うことができる。
本発明によれば、利用者によるデータオーギュメンテーションの方針の決定を支援する仕組みを提供することができる。
本発明の実施形態に係るデータ生成処理の概要を説明する図。 本発明の実施形態に係るデータ生成装置のハードウェア構成の一例を示す図。 本発明の実施形態に係るデータ生成装置の機能構成の一例を示す図。 本発明の実施形態に係るデータ生成装置の動作の一例を示すフローチャート。 本発明の実施形態に係るデータ生成処理の一例を説明する図。 本発明の実施形態に係るデータ生成装置の動作の一例を示すフローチャート。 本発明の実施形態に係るデータ生成装置の機能構成の一例を示す図。 本発明の実施形態に係るデータ生成処理の一例を説明する図。 本発明の実施形態に係るデータ生成装置の動作の一例を示すフローチャート。 本発明の実施形態に係るデータ生成装置の動作の一例を示すフローチャート。 本発明の実施形態に係るデータ生成装置の機能構成の一例を示す図。 本発明の実施形態に係るデータ生成処理の一例を説明する図。 本発明の実施形態に係るデータ生成装置の動作の一例を示すフローチャート。 本発明の実施形態に係るデータ生成装置による音声データのデータオーギュメンテーションを行う際のデータ生成画面を例示する図。 本発明の実施形態に係るデータ生成装置によるテキストデータのデータオーギュメンテーションを行う際のデータ生成画面を例示する図。
以下、本発明の一側面に係る実施の形態（以下「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
§１ 適用例
図１を用いて、本発明が適用される場面の一例について説明する。本発明に係るデータ生成装置１０は、深層学習モデルの学習などに用いる訓練データをデータオーギュメンテーションによって生成する装置であり、特に、利用者がデータオーギュメンテーションの方針を決定することを支援するユーザインタフェースを提供する。なお、データオーギュメンテーションはデータ拡張と呼ばれることもある。
図１は、データ生成装置１０によって、ディスプレイに表示されるデータ生成画面を例示する図である。利用者は、データ生成画面上で、実際に生成されたデータを確認しながら、データオーギュメンテーションの方針（パラメータ）を決定することができる。パラメータには変更方法（撮影距離、撮影時刻等）と変更の程度（距離、時刻等）が含まれる。
データ生成画面は、データセット表示領域Ｐ１、元データ表示領域Ｐ２、生成データ表示領域Ｐ３、表示ボタンＰ４、元データ選択部Ｐ５、変換方法選択部Ｐ６、変換レベル選択部Ｐ７、採用ボタンＰ８を構成として備えている。元データ選択部Ｐ５と変換方法選択部Ｐ６は例えばプルダウンメニューであり、変換レベル選択部Ｐ７は例えばスライダーである。
利用者は、データセット表示部Ｐ１に表示されたデータセットの中から、データオーギュメンテーションの対象となるデータセット（例えば、農場Ａで撮影された画像のデータセット）を選択する操作を行う。さらに、元データ選択部Ｐ５を操作して対象データセットの中から、サンプルとする画像データを選択する。具体的には、プルダウンメニューに、利用者が選択した対象データセットに含まれる画像ファイルのリストが表示されるので、その中から１つのファイルを選択することができる。また、リストから選択せずに、元データとして記憶されている画像データを表示し、その中から任意の画像データを選択するようにしてもよい。
利用者が表示ボタンＰ４を操作すると、元データ表示領域Ｐ２に、サンプルとして選択された元データが表示される。また、初期値として設定されているパラメータに基づいて元データに対するデータオーギュメンテーションが実施され、生成された画像が生成データ表示領域Ｐ３に表示される。例えば、初期値として変更方法「撮影距離」、変更の程度「１０ｍ」が設定されていれば、撮影距離を被写体（例えば、木）から１０ｍの距離で撮影したことを想定した画像が生成される。
利用者は、表示された生成データを確認し、データオーギュメンテーションのパラメータを調節することができる。利用者は、変更方法を変えたい場合には変換方法選択部Ｐ６を操作し、変更の程度を変えたい場合には変換レベル選択部Ｐ７を操作する。例えば、変換レベル選択部Ｐ７のスライダーを操作して撮影距離をより遠く（近く）したりすることができる。パラメータを変更後、表示ボタンＰ４を操作すると、変更後のパラメータに基づいて生成された画像データが生成データ表示領域Ｐ３に表示される。
利用者は、表示された生成データを確認して、変更方法や変更の程度に問題がないと判断したら、採用ボタンＰ８を選択する。採用ボタンＰ８が選択されると、対象となるデータセットに含まれる全てのデータに対して採用されたパラメータでのデータオーギュメンテーションが実施され、生成されたデータが保存される。
なお、本実施形態では、画像データの中の対象物自体（図１の例では、「木」）を変化させるデータオーギュメンテーションは行わず、対象物の周囲（背景等）や撮影条件（撮影距離、撮影角度等）を変化させるデータオーギュメンテーションを行う。これにより、画像認識などの学習モデルにおいて、認識対象は変化させず、撮影条件や撮影環境を変更した訓練データを生成することができる。
生成されたデータは、例えば、ドメイン汎化学習用の所定の構造を有するデータであり、元データと共にドメイン汎化学習の訓練データに利用される。ドメイン汎化学習は、ＭＬＤＧ（Meta-Learning for Domain Generalization）やＭＴＡＮ（Multi-Task Adversarial Network）など、ドメイン汎化学習の手法であればどのような手法でもよい。
§２ 構成例
（１．ハードウェア構成）
次に、図２を参照しながら、本実施形態に係るデータ生成装置１０のハードウェア構成の一例について説明する。
データ生成装置１０は、ハードウェア資源として、メモリ１１と、ＣＰＵ１２と、ビデオアダプタ１３と、シリアルポートインターフェイス１４と、ハードディスクドライブインターフェイス１５と、ハードディスクドライブ１６とを備えるコンピュータシステムである。
ハードディスクドライブ１６は、ディスク媒体（例えば、磁気記録媒体又は光磁気記録媒体）である。ハードディスクドライブ１６には、ＣＰＵ１２に実行されるコンピュータプログラムや、データオーギュメンテーションの対象となる元データの他、データオーギュメンテーションに必要な素材（音声データの拡張に用いる環境音素材や、テキストデータの拡張に用いる語彙変換の対応表等）が記憶されている。
ビデオアダプタ１３には、ディスプレイ５１が接続されている。ディスプレイ５１は、データオーギュメンテーションの対象として選択された元データと、データオーギュメンテーション後のデータ、ユーザからの指示を受け付けるためのユーザインタフェース等が表示される。
シリアルポートインターフェイス１４には、マウス５２とキーボード５３とスピーカー２４が接続されている。なお、マウス５２とキーボード５３の他に、タッチパッド等の他の入力デバイスが接続されていてもよい。なお、データ生成装置１０のハードウェア構成は図２に示したものには限られない。
（２．機能構成）
次に、図３を用いて、本実施形態に係るデータ生成装置１０の機能構成の一例を説明する。図３は、ＣＰＵ１２によって実行される機能モジュールを示すブロック図である。図３に示すように、機能モジュールには、データセット指定受付部１０１、オリジナルデータ表示部１０２、パラメータ受付部１０３、生成データ表示部１０４、採用可否受付部１０５、生成データ保存部１０６が含まれる。
ハードディスクドライブ１６には、オリジナルデータ記憶部１６１と生成データ記憶部１６２が実装されている。オリジナルデータ記憶部１６１には、データオーギュメンテーションの元データがデータセット毎に記憶されている。生成データ記憶部１６２には、データオーギュメンテーションにより生成したデータが記憶されている。
§３ 動作例
次に、本実施形態に係るデータ生成装置１０によるデータ生成方法について、図１の画面図と図４のフローチャートを用いて説明する。ここでは、元データとなる画像データにデータオーギュメンテーションを実施する例について説明するが、後述するように、データオーギュメンテーションの対象は画像データに限らず、音声データ、波形データ、テキストデータ等であってもよい。
ステップＳ１０１において、データ生成装置１０のオリジナルデータ表示部１０２は、利用者によって指定された元データをオリジナルデータ記憶部１６１から取得し、ディスプレイ５１の元データ表示領域Ｐ２に表示する。表示される元データは、図１に示すデータ生成画面上で、利用者が元データ選択部Ｐ５を操作することにより選択された画像データである。
ステップＳ１０２において、利用者が表示ボタンＰ４を操作したことを検出すると、データ生成装置１０の生成データ表示部１０４は、データオーギュメンテーションのパラメータの初期値に基づいて、指定された元データのデータオーギュメンテーションを実施し、生成した画像データを生成データ表示領域Ｐ３に表示する。パラメータの初期値は、ハードディスクドライブ１６にあらかじめ記憶されている。
ステップＳ１０３において、データ生成装置１０は、ステップＳ１０２におけるデータオーギュメンテーションの結果を採用するか否かを受け付ける。利用者は、結果を採用する場合には、採用ボタンＰ８を選択する（ＹＥＳ）。採用ボタンＰ８が選択された場合には、ステップＳ１０７へ進む。一方、利用者は、結果を採用しない場合には、変換方法選択部Ｐ６を操作して変更方法を変えたり、変換レベル選択部Ｐ７を操作して変更の程度を変えたりすることにより、パラメータを変更する。
ステップＳ１０４において、データ生成装置１０のパラメータ受付部１０３は、変更されたパラメータを受け付ける。さらに、ステップＳ１０５において、生成データ表示部１０４は、変更後のパラメータに基づいてデータオーギュメンテーションを実施し、ステップＳ１０６において生成した画像データを生成データ表示領域Ｐ３に表示する。その後、再びステップＳ１０３に戻り、利用者によってデータオーギュメンテーションの結果が採用されるまで、ステップＳ１０４～ステップＳ１０６を繰り返す。
採用ボタンＰ８の操作によって結果が採用されると、ステップＳ１０７において、対象のデータセット全体に採用されたパラメータでのデータオーギュメンテーションが実施される。さらに、ステップＳ１０８において、生成されたデータが、生成データ記憶部１６２に保存される。
§４ 他の実施例
（実施例１）
次に、本実施形態に係るデータ生成装置１０によるデータ生成方法の他の実施例について、図５のデータ生成画面図と、図６のフローチャートを用いて説明する。実施例１では、利用者は、複数の方針でデータオーギュメンテーションを行うことができる。
図５の例では、図１のデータ生成画面の構成に加え、さらに適用ボタンＰ９が設けられている。ステップＳ１０１～Ｓ１０６においては、図４のフローチャートの例と同様に、利用者が指定したパラメータに基づいてデータオーギュメンテーションを行い、生成したデータを生成データ表示領域Ｐ３に表示する（図５（ａ））。
利用者は、さらに別の方法でデータに変更を加えたい場合には、適用ボタンＰ９を選択する。これにより、初めに指定したパラメータによる変更で生成データが一旦仮決定される。さらに、利用者は、図５（ｂ）に示すように、２段階目の変更に関するパラメータを変換方法選択部Ｐ６と変換レベル選択部Ｐ７を操作して入力する。図５（ｂ）の例では、変更方法として「時刻」（撮影した時間帯）を指定している。変換レベル選択部Ｐ７を右へスライドさせるほど遅い時間帯となり、画面全体が暗くなるように変更することができる。
データ生成装置１０は、ステップＳ２０１において、利用者が追加のパラメータを指定したことを検知すると（ＹＥＳ）、ステップＳ２０２において、指定されたパラメータに基づいて、仮決定された生成データを変換し、生成したデータを生成データ表示領域Ｐ３に表示する。
その後、再びステップＳ１０３に戻り、図４のフローチャートと同様に、利用者によってデータオーギュメンテーションの結果が採用されるまで、ステップＳ１０４～ステップＳ２０２を繰り返す。
採用ボタンＰ８の操作によって結果が採用されると、ステップＳ１０７において、対象のデータセット全体に採用されたパラメータでのデータオーギュメンテーションが実施される。さらに、ステップＳ１０８において、生成されたデータが、生成データ記憶部１６２に保存される。
（実施例２）
次に、本実施形態に係るデータ生成装置１０によるデータ生成方法の他の実施例について、図７の機能構成図、図８のデータ生成画面図と、図９のフローチャートを用いて説明する。実施例２では、利用者は、過去にデータオーギュメンテーションを実施したデータの中から、指定した元データと類似するものを検出し、同様のパラメータにてデータオーギュメンテーションを行うことができる。
図７に示すように、実施例２では、図３の機能モジュールに加え、類似度算出部１０７が含まれている。また、ハードディスクドライブ１６にはパラメータ記憶部１６３が実装されている。パラメータ記憶部１６３には、図８に示すように、過去にデータオーギュメンテーションを実施した元データ（「元データ」）に紐づけて、変更方法（「拡張方針」）、変更の程度（「拡張強度」）が記録されている。
ステップＳ１０１において、データ生成装置１０は、指定された元データ（第１の元データ）を元データ表示領域Ｐ２に表示する。次に、データ生成装置１０の類似度算出部１０７は、ステップＳ３０１において、パラメータ記憶部１６３に過去のパラメータの情報が記録されているか否かを判断する。過去のパラメータが記録されている場合には（ＹＥＳ）ステップＳ３０２へ進み、過去のパラメータが記録されていない場合には（ＮＯ）、ステップＳ１０４へ進む。
ステップＳ３０２において、類似度算出部１０７は、指定された元データと、パラメータ記憶部１６３に記録されている各々の元データ（第２の元データ）を比較し類似度を算出する。類似度の算出には、特徴点マッチング等の既存の手法を利用することができる。
ステップＳ３０３において、生成データ表示部１０４は、最も類似度が高い元データに紐づけられているパラメータにて、指定された元データのオーギュメンテーションを実施する。
その後、ステップＳ１０３に移行し、図４のフローチャートと同様に、利用者によってデータオーギュメンテーションの結果が採用されるまで、ステップＳ１０４～ステップＳ１０６を繰り返す。
採用ボタンＰ８の操作によって結果が採用されると、ステップＳ１０７において、対象のデータセット全体に採用されたパラメータでのデータオーギュメンテーションが実施される。さらに、ステップＳ１０８において、生成されたデータが、生成データ記憶部１６２に保存される。
図８（ａ）は、過去に行ったデータオーギュメンテーションの例を示しており、この時の元データとパラメータの情報がパラメータ記憶部１６３に記録されている。利用者が、図８（ｂ）に示す元データを指定すると、類似度算出部１０７によって、元データの類似度の高さにより、図８（ａ）の時のパラメータが選択される。その結果、図８（ｂ）に示すように、図８（ａ）と同様に撮影距離を変更するデータオーギュメンテーションが実施される。利用者は、生成データを確認し、パラメータを変更したい場合には、画面を操作して変更方法や変更の程度を変えることができる。
図１０のフローチャートは、図９のフローチャートのステップＳ３０３の処理を変形した例を示している。ステップＳ４０１において、生成データ表示部１０４は、類似度が高い上位複数（例えば、３つ）の元データに紐づけられたパラメータにてそれぞれデータオーギュメンテーションを実施し、生成データ表示領域Ｐ３に表示する。
さらに、利用者が、表示された複数の生成データのうちの１つを選択する操作を行うと、選択された生成データに対応するパラメータに絞られた上で、ステップＳ１０３に移行する。以降、図９のフローチャートと同様に、利用者によってデータオーギュメンテーションの結果が採用されるまで、ステップＳ１０４～ステップＳ１０６を繰り返す。
（実施例３）
次に、本実施形態に係るデータ生成装置１０によるデータ生成方法の他の実施例について、図１１の機能構成図、図１２のデータ生成画面図と、図１３のフローチャートを用いて説明する。実施例３では、利用者は、タスク（訓練データを用いる学習モデルの用途）を指定すると、過去に同じタスク用にデータを生成した際のパラメータを使用してデータオーギュメンテーションを行うことができる。
図１１に示すように、実施例３では、図７の機能モジュールに加え、利用目的受付部１０８が含まれている。また、パラメータ記憶部１６３には、図１２に示すように、過去に実施したデータオーギュメンテーションの「タスク」の情報に紐づけて、変更方法（「拡張方針」）、変更の程度（「拡張強度」）が記録されている。また、図１２に示すように、図５のデータ生成画面の構成に加え、さらにタスク入力部Ｐ１０とタスク決定ボタンＰ１１が設けられている。
図１３に示すように、ステップＳ１０１において、データ生成装置１０は、指定された元データを元データ表示領域Ｐ２に表示する。利用者は、タスクを指定してデータオーギュメンテーションを行う場合には、タスク入力部Ｐ１０にタスク名を入力し、タスク決定ボタンＰ１１を操作することにより、タスクを指定する。
データ生成装置１０の利用目的受付部１０８は、ステップＳ５０１において、タスクが指定されたことを検知すると（ＹＥＳ）、ステップＳ５０２へ進む。タスクが指定されない場合には（ＮＯ）、ステップＳ１０４へ進む。
ステップＳ５０２において、利用目的受付部１０８は、パラメータ記憶部１６３に、指定されたタスクに紐づけられた過去のパラメータの情報が記録されているか否かを判断する。過去のパラメータが記録されている場合には（ＹＥＳ）ステップＳ５０３へ進み、記録されていない場合には（ＮＯ）、ステップＳ１０４へ進む。
ステップＳ５０３において、生成データ表示部１０４は、指定されたタスクに紐づけられた過去のパラメータにてデータオーギュメンテーションを実施し、生成データを生成データ表示領域Ｐ３に表示する。
その後、ステップＳ１０３に移行し、図４のフローチャートと同様に、利用者によってデータオーギュメンテーションの結果が採用されるまで、ステップＳ１０４～ステップＳ１０６を繰り返す。
採用ボタンＰ８の操作によって結果が採用されると、ステップＳ１０７において、対象のデータセット全体に採用されたパラメータでのデータオーギュメンテーションが実施される。さらに、ステップＳ１０８において、生成されたデータが、生成データ記憶部１６２に保存される。
図１２（ａ）は、過去に行ったデータオーギュメンテーションの例を示しており、この時のタスクとパラメータの情報がパラメータ記憶部１６３に記録されている。利用者が、図１２（ｂ）に示すようにタスク名（「葉面積予測」）を指定すると、利用目的受付部１０８によって、過去に同じタスク名が指定された図１２（ａ）の時のパラメータが選択される。その結果、図１２（ｂ）に示すように、図１２（ａ）と同様に撮影時刻を変更するデータオーギュメンテーションが実施される。利用者は、生成データを確認し、パラメータを変更したい場合には、画面を操作して変更方法や変更の程度を変えることができる。
上記の実施例では、画像データのオーギュメンテーションを行っているが、対象データは画像データ以外のものであってもよい。以下、例として、本発明を音声データ、波形データ、テキストデータのデータオーギュメンテーションに適用する場合について説明する。
図１４（ａ）、（ｂ）は、音声データのデータオーギュメンテーションを行う際のデータ生成画面を例示する図である。図１４に示すように、音声データのある時刻における周波数成分が表示される。画像データの場合と同様に、利用者が元データを指定し、パラメータとして変更方法（例えば「環境音付与（道路）」）と変更の程度を指定すると、指定されたパラメータにて変換された音声データが再生される。また、採用ボタンＰ８を操作すると、選択したデータセット全体に同じパラメータでのデータオーギュメンテーションが適用される。
また、図１４（ｂ）に示すように、複数のパラメータを組み合わせて２段階のデータオーギュメンテーションを行うこともできる。例えば、はじめに環境音（道路）を付与する処理を行い、次にマイクノイズを付与する処理を実施してデータを生成することができる。
環境音（車、電車、話し声、風等）を付与する場合、まず元の音声データに含まれているノイズや環境音を除去してから、あらかじめ録音した環境音を重畳するようにしてもよい。また、元データの長さに合わせて、環境音を複製・結合した上で重畳するようにしてもよい。また、変更の程度は、Ｓ／Ｎ比の大きさとすることができる。
また、マイクノイズを付与する場合には、元データに含まれているノイズや環境音を除去してから、ガウス分布や一様分布から生成した雑音を付与するようにしてもよい。変更の程度は、Ｓ／Ｎ比の大きさや音圧とすることができる。
図１５（ａ）、（ｂ）は、テキストデータのデータオーギュメンテーションを行う際のデータ生成画面を例示する図である。画像データの場合と同様に、利用者が元データを指定し、パラメータとして変更方法（例えば「語尾変換（です）」）を指定すると、指定されたパラメータにて変換されたテキストデータが表示される。また、採用ボタンＰ８を操作すると、選択したデータセット全体に同じパラメータでのデータオーギュメンテーションが適用される。
また、図１５（ｂ）に示すように、複数のパラメータを組み合わせて２段階のデータオーギュメンテーションを行うこともできる。例えば、はじめに語尾を「です」に変換する処理を行い、次に感嘆詞「うん」を付与する処理を実施してデータを生成することができる。
テキストデータの変更方法の例としては、「置換」、「語順交換」、「感嘆詞付与」等が挙げられる。「置換」は、例えば語尾を「～だ」から「～です」に変換するような処理であり、あらかじめ用意した置換表に従って置換を行うようにしてもよい。また、「語順交換」は、元のテキストデータを形態素に分け、「ＳＯＶ」の語順を「ＯＳＶ」に入れ替えるような処理である。また、「感嘆詞付与」は、「あ！」や「う～ん…」のような、元のテキストの意味を変えないような言葉を追加する処理である。なお、テキストデータのオーギュメンテーションには変更の程度の概念がないため、変換レベル選択部Ｐ７は表示されないようにしてもよい。
以上のように、本実施形態によれば、利用者が指定した元データと、元データに対してデータオーギュメンテーションを行った生成データとを表示し、利用者が生成データを確認しながら、データオーギュメンテーションの方針（パラメータ）を設定できるようにした。これにより、利用者が指定したパラメータに基づくデータ生成の結果を確認しながら、最終的に採用するパラメータを決定することができるので、利用者の知見に基づくデータオーギュメンテーションを効率的に行うことができる。
また、データオーギュメンテーションの方針は、変換の前後で不変であることが望ましい対象物以外のものに対して行うものを指定できるようにした。これにより、汎化学習に適した訓練データのバリエーションを増やしたり、用途に合わせた訓練データに変換したりすることができる。
また、過去の記録の中から、指定された元データと類似するデータに対して実施したデータオーギュメンテーションのパラメータを提示するようにしたので、利用者の作業をさらに効率化することができる。
また、過去の記録の中から、利用者が指定した利用目的と一致するデータオーギュメンテーションのパラメータを提示するようにしたので、利用目的に合ったデータを生成したい利用者の作業を効率化することができる。
以上、本発明の実施の形態を詳細に説明してきたが、上述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
対象物に対して判断を行う機械学習におけるデータを生成するデータ生成装置であって、
データオーギュメンテーションを実施する、前記対象物を含む第１の元データを表示部に表示するオリジナルデータ表示部と、
前記データオーギュメンテーションに関するパラメータの入力を受け付けるパラメータ受付部と、
前記パラメータに基づいて、前記第１の元データにおける前記対象物以外のものに対する前記データオーギュメンテーションによって生成した生成データを前記表示部に表示する生成データ表示部と、
前記パラメータに基づく前記データオーギュメンテーションを採用するか否かを受け付ける採用可否受付部と、を備えたデータ生成装置。
（付記２）
前記パラメータに基づく前記データオーギュメンテーションが採用された場合には、前記生成データを保存する生成データ保存部を備えた付記１に記載のデータ生成装置。
（付記３）
前記パラメータは、前記対象物以外のものに関する情報及び／又はデータ取得条件の変更方法である、付記１または２に記載のデータ生成装置。
（付記４）
前記パラメータは、前記変更方法の程度についての情報である、付記３に記載のデータ生成装置。
（付記５）
前記データオーギュメンテーションを実施した際に用いた前記第１の元データを第２の元データとして、当該データオーギュメンテーションが採用された際の前記パラメータの情報を、前記第２の元データに紐づけて記憶するパラメータ記憶部と、
前記パラメータ記憶部に前記パラメータの情報が記憶されている前記第２の元データと、前記データオーギュメンテーションを実施しようとする前記第１の元データとの類似度を算出する類似度算出部とをさらに備え、
前記生成データ表示部は、
前記データオーギュメンテーションを実施しようとする前記第１の元データとの類似度が最も高い第２の元データに紐づけられた前記パラメータに基づいて前記データオーギュメンテーションを実施し、前記生成データを前記表示部に表示する、付記１から４のいずれか１項に記載のデータ生成装置。
（付記６）
前記データオーギュメンテーションによる前記生成データの利用目的の入力を受け付ける利用目的受付部と、
前記データオーギュメンテーションが採用された際の前記パラメータの情報を、前記利用目的に紐づけて記憶するパラメータ記憶部と、をさらに備え、
前記生成データ表示部は、
入力された前記利用目的と一致する利用目的に紐づけられた前記パラメータに基づいて前記データオーギュメンテーションを実施し、前記生成データを前記表示部に表示する、付記１から５のいずれか１項に記載のデータ生成装置。
（付記７）
前記第１の元データは画像データであり、
前記パラメータは、撮影距離の変更、撮影角度の変更、撮影時刻の変更、背景画像の変更、及び撮影時の天候条件の変更のうちの少なくとも１つである、付記３に記載のデータ生成装置。
（付記８）
前記第１の元データは音声データまたは波形データであり、
前記パラメータは、環境音の付与、及びノイズの付与のうちの少なくとも１つの変更方法である、付記３に記載のデータ生成装置。
（付記９）
前記第１の元データはテキストデータであり、
前記パラメータは、置換、語順交換、及び感嘆詞付与のうちの少なくとも１つの変更方法である、付記３に記載のデータ生成装置。
（付記１０）
複数の第１の元データを含む１つ以上のデータセットを記憶するオリジナルデータ記憶部と、
前記データオーギュメンテーションを実施するデータセットの指定を受け付けるデータセット指定受付部をさらに備え、
前記生成データ表示部は、
指定されたデータセットに含まれる複数の第１の元データの一つに実施した前記データオーギュメンテーションの結果を表示し、
前記生成データ保存部は、
前記データオーギュメンテーションが採用された場合には、当該データセットに含まれる全ての第１の元データについて、採用された前記データオーギュメンテーションを実施し、全ての生成データを保存する、付記２に記載のデータ生成装置。
（付記１１）
コンピュータが、対象物に対して判断を行う機械学習におけるデータを生成するデータ生成方法であって、
コンピュータが、データオーギュメンテーションを実施する、前記対象物を含む第１の元データを表示部に表示する工程と、
コンピュータが、前記データオーギュメンテーションに関するパラメータの入力を受け付ける工程と、
コンピュータが、前記パラメータに基づいて、前記第１の元データにおける前記対象物以外のものに対する前記データオーギュメンテーションによって生成した生成データを前記表示部に表示する工程と、
コンピュータが、前記パラメータに基づく前記データオーギュメンテーションを採用するか否かを受け付ける工程と、を含むデータ生成方法。
（付記１２）
対象物に対して判断を行う機械学習におけるデータを生成するコンピュータを、
データオーギュメンテーションを実施する、前記対象物を含む第１の元データを表示部に表示するオリジナルデータ表示部と、
前記データオーギュメンテーションに関するパラメータの入力を受け付けるパラメータ受付部と、
前記パラメータに基づいて、前記第１の元データにおける前記対象物以外のものに対する前記データオーギュメンテーションによって生成した生成データを前記表示部に表示する生成データ表示部と、
前記パラメータに基づく前記データオーギュメンテーションを採用するか否かを受け付ける採用可否受付部として、機能させるプログラム。
１０…データ生成装置、１１…メモリ、１２…ＣＰＵ、１３…ビデオアダプタ、１４…シリアルポートインターフェイス、１５…ハードディスクドライブインターフェイス、１６…ハードディスクドライブ、５１…ディスプレイ、５２…マウス、５３…キーボード、５４…スピーカー、１０１…データセット指定受付部、１０２…オリジナルデータ表示部、１０３…パラメータ受付部、１０４…生成データ表示部、１０５…採用可否受付部、１０６…生成データ保存部、１０７…類似度算出部、１０８…利用目的受付部、１６１…オリジナルデータ記憶部、１６２…生成データ記憶部、１６３…パラメータ記憶部

Claims (12)

  1. 対象物に対して判断を行う機械学習におけるデータを生成するデータ生成装置であって、
    データオーギュメンテーションを実施する、前記対象物を含む第１の元データを表示部に表示するオリジナルデータ表示部と、
    前記データオーギュメンテーションに関するパラメータの入力を受け付けるパラメータ受付部と、
    前記パラメータに基づいて、前記第１の元データにおける前記対象物以外のものに対する前記データオーギュメンテーションによって生成した生成データを前記表示部に表示する生成データ表示部と、
    前記パラメータに基づく前記データオーギュメンテーションを採用するか否かを受け付ける採用可否受付部と、を備えたデータ生成装置。
  2. 前記パラメータに基づく前記データオーギュメンテーションが採用された場合には、前記生成データを保存する生成データ保存部を備えた請求項１に記載のデータ生成装置。
  3. 前記パラメータは、前記対象物以外のものに関する情報及び／又はデータ取得条件の変更方法である、請求項１または２に記載のデータ生成装置。
  4. 前記パラメータは、前記変更方法の程度についての情報である、請求項３に記載のデータ生成装置。
  5. 前記データオーギュメンテーションを実施した際に用いた前記第１の元データを第２の元データとして、当該データオーギュメンテーションが採用された際の前記パラメータの情報を、前記第２の元データに紐づけて記憶するパラメータ記憶部と、
    前記パラメータ記憶部に前記パラメータの情報が記憶されている前記第２の元データと、前記データオーギュメンテーションを実施しようとする前記第１の元データとの類似度を算出する類似度算出部とをさらに備え、
    前記生成データ表示部は、
    前記データオーギュメンテーションを実施しようとする前記第１の元データとの類似度が最も高い第２の元データに紐づけられた前記パラメータに基づいて前記データオーギュメンテーションを実施し、前記生成データを前記表示部に表示する、請求項１から４のいずれか１項に記載のデータ生成装置。
  6. 前記データオーギュメンテーションによる前記生成データの利用目的の入力を受け付ける利用目的受付部と、
    前記データオーギュメンテーションが採用された際の前記パラメータの情報を、前記利用目的に紐づけて記憶するパラメータ記憶部と、をさらに備え、
    前記生成データ表示部は、
    入力された前記利用目的と一致する利用目的に紐づけられた前記パラメータに基づいて前記データオーギュメンテーションを実施し、前記生成データを前記表示部に表示する、請求項１から５のいずれか１項に記載のデータ生成装置。
  7. 前記第１の元データは画像データであり、
    前記パラメータは、撮影距離の変更、撮影角度の変更、撮影時刻の変更、背景画像の変更、及び撮影時の天候条件の変更のうちの少なくとも１つである、請求項３に記載のデータ生成装置。
  8. 前記第１の元データは音声データまたは波形データであり、
    前記パラメータは、環境音の付与、及びノイズの付与のうちの少なくとも１つの変更方法である、請求項３に記載のデータ生成装置。
  9. 前記第１の元データはテキストデータであり、
    前記パラメータは、置換、語順交換、及び感嘆詞付与のうちの少なくとも１つの変更方法である、請求項３に記載のデータ生成装置。
  10. 複数の第１の元データを含む１つ以上のデータセットを記憶するオリジナルデータ記憶部と、
    前記データオーギュメンテーションを実施するデータセットの指定を受け付けるデータセット指定受付部をさらに備え、
    前記生成データ表示部は、
    指定されたデータセットに含まれる複数の第１の元データの一つに実施した前記データオーギュメンテーションの結果を表示し、
    前記生成データ保存部は、
    前記データオーギュメンテーションが採用された場合には、当該データセットに含まれる全ての第１の元データについて、採用された前記データオーギュメンテーションを実施し、全ての生成データを保存する、請求項２に記載のデータ生成装置。
  11. コンピュータが、対象物に対して判断を行う機械学習におけるデータを生成するデータ生成方法であって、
    コンピュータが、データオーギュメンテーションを実施する、前記対象物を含む第１の元データを表示部に表示する工程と、
    コンピュータが、前記データオーギュメンテーションに関するパラメータの入力を受け付ける工程と、
    コンピュータが、前記パラメータに基づいて、前記第１の元データにおける前記対象物以外のものに対する前記データオーギュメンテーションによって生成した生成データを前記表示部に表示する工程と、
    コンピュータが、前記パラメータに基づく前記データオーギュメンテーションを採用するか否かを受け付ける工程と、を含むデータ生成方法。
  12. 対象物に対して判断を行う機械学習におけるデータを生成するコンピュータを、
    データオーギュメンテーションを実施する、前記対象物を含む第１の元データを表示部に表示するオリジナルデータ表示部と、
    前記データオーギュメンテーションに関するパラメータの入力を受け付けるパラメータ受付部と、
    前記パラメータに基づいて、前記第１の元データにおける前記対象物以外のものに対する前記データオーギュメンテーションによって生成した生成データを前記表示部に表示する生成データ表示部と、
    前記パラメータに基づく前記データオーギュメンテーションを採用するか否かを受け付ける採用可否受付部として、機能させるプログラム。
JP2021040980A 2021-03-15 2021-03-15 データ生成装置、データ生成方法及びプログラム Pending JP2022140916A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021040980A JP2022140916A (ja) 2021-03-15 2021-03-15 データ生成装置、データ生成方法及びプログラム
CN202280018059.6A CN116964623A (zh) 2021-03-15 2022-02-25 数据生成装置、数据生成方法以及程序
EP22771049.8A EP4310774A1 (en) 2021-03-15 2022-02-25 Data generation device, data generation method, and program
PCT/JP2022/007911 WO2022196293A1 (ja) 2021-03-15 2022-02-25 データ生成装置、データ生成方法及びプログラム
TW111107753A TWI814268B (zh) 2021-03-15 2022-03-03 資料生成裝置、資料生成方法及電腦程式產品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021040980A JP2022140916A (ja) 2021-03-15 2021-03-15 データ生成装置、データ生成方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2022140916A true JP2022140916A (ja) 2022-09-29

Family

ID=83321235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021040980A Pending JP2022140916A (ja) 2021-03-15 2021-03-15 データ生成装置、データ生成方法及びプログラム

Country Status (5)

Country Link
EP (1) EP4310774A1 (ja)
JP (1) JP2022140916A (ja)
CN (1) CN116964623A (ja)
TW (1) TWI814268B (ja)
WO (1) WO2022196293A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8781202B2 (en) * 2012-07-26 2014-07-15 International Business Machines Corporation Tumor classification based on an analysis of a related ultrasonic attenuation map
US20180247227A1 (en) * 2017-02-24 2018-08-30 Xtract Technologies Inc. Machine learning systems and methods for data augmentation
JP7124404B2 (ja) 2018-04-12 2022-08-24 富士通株式会社 機械学習プログラム、機械学習方法および機械学習装置
JP7014100B2 (ja) 2018-08-27 2022-02-01 日本電信電話株式会社 拡張装置、拡張方法及び拡張プログラム
JP6541920B1 (ja) * 2018-10-11 2019-07-10 三菱電機株式会社 情報処理装置、プログラム及び情報処理方法
JP2020166397A (ja) 2019-03-28 2020-10-08 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及びプログラム
US11113532B2 (en) * 2019-04-16 2021-09-07 Lg Electronics Inc. Artificial intelligence apparatus for recognizing object and method therefor
CN112132058B (zh) * 2020-09-25 2022-12-27 山东大学 一种头部姿态估计方法及其实现系统、存储介质

Also Published As

Publication number Publication date
EP4310774A1 (en) 2024-01-24
TW202238461A (zh) 2022-10-01
WO2022196293A1 (ja) 2022-09-22
CN116964623A (zh) 2023-10-27
TWI814268B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
RU2632424C2 (ru) Способ и сервер для синтеза речи по тексту
US6175820B1 (en) Capture and application of sender voice dynamics to enhance communication in a speech-to-text environment
CN102737101B (zh) 用于自然用户界面系统的组合式激活
US8219223B1 (en) Editing audio assets
CN108831437B (zh) 一种歌声生成方法、装置、终端和存储介质
US8392004B2 (en) Automatic audio adjustment
US20180033434A1 (en) System and method for eliciting open-ended natural language responses to questions to train natural language processors
CN105957515B (zh) 声音合成方法、声音合成装置和存储声音合成程序的介质
WO2012140468A1 (en) Method for generating a sound effect in a piece of game software, associated computer program and data processing system for executing instructions of the computer program
CN112037755B (zh) 一种基于音色克隆的语音合成方法、装置及电子设备
CN108241596A (zh) 一种演示文稿的制作方法和装置
US20090177473A1 (en) Applying vocal characteristics from a target speaker to a source speaker for synthetic speech
JP2021101252A (ja) 情報処理方法、情報処理装置およびプログラム
Schlögl et al. WebWOZ: a wizard of oz prototyping framework
JP2008145769A (ja) 対話シナリオ生成システム，その方法およびプログラム
KR102072627B1 (ko) 음성 합성 장치 및 상기 음성 합성 장치에서의 음성 합성 방법
US8239199B2 (en) Replacing an audio portion
WO2022196293A1 (ja) データ生成装置、データ生成方法及びプログラム
US20060074676A1 (en) Quantitative model for formant dynamics and contextually assimilated reduction in fluent speech
JP7331044B2 (ja) 情報処理方法、装置、システム、電子機器、記憶媒体およびコンピュータプログラム
WO2021259073A1 (en) System for voice-to-text tagging for rich transcription of human speech
KR102020341B1 (ko) 악보 구현 및 음원 재생 시스템 및 그 방법
JP2006189799A (ja) 選択可能な音声パターンの音声入力方法及び装置
CN112233660A (zh) 用户画像扩充方法、装置、控制器和用户画像获取系统
JP7128222B2 (ja) 映像コンテンツに対する合成音のリアルタイム生成を基盤としたコンテンツ編集支援方法およびシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240116