JP2019032529A - 音声合成のためのフロントエンドの学習方法、コンピュータプログラム、音声合成システム、及び音声合成のためのフロントエンド処理方法 - Google Patents
音声合成のためのフロントエンドの学習方法、コンピュータプログラム、音声合成システム、及び音声合成のためのフロントエンド処理方法 Download PDFInfo
- Publication number
- JP2019032529A JP2019032529A JP2018147162A JP2018147162A JP2019032529A JP 2019032529 A JP2019032529 A JP 2019032529A JP 2018147162 A JP2018147162 A JP 2018147162A JP 2018147162 A JP2018147162 A JP 2018147162A JP 2019032529 A JP2019032529 A JP 2019032529A
- Authority
- JP
- Japan
- Prior art keywords
- character
- vector
- dbrnn
- learning
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
Description
図2に、本発明の第1の実施の形態に係る、中国語のためのTTSフロントエンド110を含む音声合成システム100の概略構成を示す。図2を参照して、音声合成システム100は、プレーンテキスト60を受けてラベル列64と同様の、音声合成のための言語学的特徴を示すラベル列112を出力するTTSフロントエンド110と、ラベル列112に基づいて音声合成を行い、発話信号116を出力するための音声合成装置114とを含む。音声合成装置114は図1に示す音声合成装置66と同様のものでよい。
W(i):n×n、V(i):n×n
U:o×n
<学習時のTTSフロントエンドの動作>
図4及び図5を参照して、シラブル/ベクトル変換テーブル274の学習時には、共起マトリクス算出部232が大規模中国語テキストコーパス142からテキストを読出して共起マトリクスを算出し、バイリニア回帰変換部234がバイリニア回帰変換により各文字(シラブル)に対応するシラブルベクトルを計算して、シラブルとシラブルベクトルとを対応付けてシラブル/ベクトル変換テーブル274に格納する。すなわち、シラブル/ベクトル変換テーブル274の学習は教師なし学習により行われる。このシラブル/ベクトル変換テーブル274は図4に示すシラブル/ベクトル変換テーブル記憶部126に記憶される。
入力されるプレーンテキストからその言語学的特徴を推定する際には、図5に示す選択部332は、プレーンテキスト60を選択するように制御信号336により切換えられる。入力されるプレーンテキスト60はシラブル/ベクトルマッピング部330に与えられる。シラブル/ベクトルマッピング部330はこのプレーンテキスト60に含まれる各文字(シラブル)をシラブル/ベクトル変換テーブル274を参照してシラブルベクトルに変換し、シラブルベクトル列134を出力する。
以上のように本実施の形態によれば、大量のテキストを含む大規模中国語テキストコーパス142を用いてシラブル/ベクトル変換テーブル274の学習を教師なし学習で行い、プレーンテキストをシラブルベクトルに変換する。さらに、アノテート済中国語テキストコーパス146を学習データとし、アノテート済のテキストをシラブル/ベクトル変換テーブル274を用いてシラブルベクトルに変換した後、DBRNN132の学習を教師あり学習により行う。このように教師なし学習と教師あり学習とを組合わせることにより、DBRNN学習部120によるDBRNN132の学習に用いるデータが比較的少量でも、DBRNN132の学習を最適化できる。また、シラブルベクトルとしてワンホットベクトルではなく、GloVeベクトルを用いるため、DBRNN132への入力により多くの情報が表現でき、DBRNN132によるラベル列の推定の精度を高めることができる。
第1の実施の形態は、POSラベル付けに関するものであった。しかし本発明はPOSラベル付けのみに適用可能なわけではない。
・I:単語内部
・E:単語の末尾
・S:単シラブルの単語
DBRNN132の学習は第1の実施の形態の場合と同様である。したがってここでは繰返さない。以下の変形例でも同様である。
上記実施の形態を5つのタスクに適用することで、本願発明の効果について検証した。対象となるタスクは、Grapheme(書記素) to Phoneme(音素)(G2P)、単語セグメンテーション、POSラベル付け、Phraseチャンク推定、及びポーズブレーク推定である。これらの内G2Pは各シラブルからピンインを推定するタスクである。各タスクと、それらタスクに用いた訓練セット、開発セット及び評価セットの規模、及び出力のサイズを図16に表形式で示す。なお、活性化関数はG2P、POSラベル付け、及びPhraseチャンク推定ではtanhを用い、単語セグメンテーション及びポーズブレーク推定ではReLUを用いた。
図18及び図19に、ベクトルサイズとニューロン数とがDBRNNモデルによるPOSラベル付けとポーズブレーク推定の精度にどのような影響を与えるかについて行った実験結果をグラフ形式で示す。これらから分かるように、一般的には、ベクトルサイズが大きくなると精度は上がるが、その影響は比較的小さい。計算に要する時間とのトレードオフに応じて適切なベクトルサイズを選択すればよい。一般的には50〜100次元でも十分な性能が得られる。
本発明の実施の形態に係るTTSフロントエンド110、変換テーブル学習部118、DBRNN学習部120、音声合成システム100、及びDBRNN132の学習方法は、コンピュータハードウェアと、そのコンピュータハードウェア上で実行されるコンピュータプログラムとにより実現できる。図20はこのコンピュータシステム630の外観を示し、図21はコンピュータシステム630の内部構成を示す。
[構成]
上記第1の実施の形態では、中国語のように、1文字が1シラブルの言語を対象にしている。しかし、本発明はそのような実施の形態には限定されず、機能を追加することにより、1文字で複数の音素からなる読みに対応する言語であって、かつそのような読みが複数個あるような言語にも適用できる。そうした言語の一例は日本語である。
−文字―読みの集合を用いてツリーを生成する。
−もしもツリーが形成できないときは新たな文字−読みを作成し、読みの集合に加える。
処理852は、DBのレコードを読むステップ860と、レコード内のプレーンテキストを文字/GCVベクトル変換テーブル812を用いてGCVベクトル列に変換するステップ861と、このレコードに対する読みのラベル列をワンホットベクトルに変換するステップ862と、プレーンテキストの文字数を調べるステップ863と、ステップ863で判明した文字数だけ基本ユニットを複写・展開し、相互接続(ノード間の演算)を定義することでDBRNN732を生成するステップ864と、ステップ861で得られた各GCVベクトルをDBRNN732の対応する基本ユニットの入力層にそれぞれ入力するステップ866と、この入力に対するDBRNN732の出力するラベルを示すベクトル列と、入力された読みを示すラベル列との誤差を用いた誤差逆伝播法により、DBRNN732の係数行列の更新を行うステップ868とを含む。この際、DBRNN732を構成する各基本ユニットは同じものであることを前提に誤差逆伝播法を適用する。この実施の形態でも、この処理にミニバッチ法を用いてもよいことはいうまでもない。
この第2の実施の形態に係る音声合成システム700のTTSフロントエンド710は、学習時、及び推定時のいずれにおいても実質的に第1の実施の形態に係るTTSフロントエンド110と同様に動作する。ただし、学習時には大規模多言語テキストプール記憶部742に記憶された多言語テキストプールの各文と読みとの対に対し、アライメント処理部750が文字・音素タグリスト記憶部752に記憶された文字・音素タグリストを用いてアライメントを行う点が第1の実施の形態と異なる。このアライメントは、各文の各文字に対し、読みの一部を対応付けしてそのラベルを付すという処理である。前述したとおり、中国語と韓国語ではこのアライメントは単純であり、日本語及びタイ語では制約付きアライメントを用いて半自動的アライメントを行なう。なお、この実施の形態では半自動的アライメントを行っているが、原理的にはアライメントを人手で行っても良いことはいうまでもない。
―設定―
上記第2の実施の形態に係るTTSフロントエンド710及び音声合成システム700の効果について実験により検証した。対象となるタスクはG2Pである。G2Pとは各文字からその文字の読みを推定するタスクである。このタスクに用いた訓練セット、開発セット及び評価(テスト)セットの規模を図33に表形式で示す。図33を参照して、例えばタイ語の学習セットは文が7500文及び38000単語を含み、開発セットは1000文及び1000単語を含み、テストセットは1000文及び1000単語を含む。日本語、韓国語及び中国語についても同様の形で表現してある。これらとは別に、非正規化語に対するテキストについてのG2Pを評価するために、日本語の5000文からなるテストセットも準備した。各文は1以上の非正規化語(数字又はアルファベット列)を含んでいる。なお、ここでの単語の正規化とは、例えば数字を単に数字として読むのではなく、日本語として通常採用される読み方に読み替えることをいう。例えば「1000」を「イチレイレイレイ」ではなく「イッセン」に読み替えるような処理である。音声合成装置では、入力に対して予め正規化ができていないと正しい処理ができない。そのため、TTSフロントエンドで正規化が正確に行えるかどうかは大きな問題である。
図33に示す学習データセットについては、ネイティブスピーカによる発音チェックを単語レベルで行っておいた。DBRNNの訓練には、文字と読みとの間のアライメントを前述の方法により行った。前述したとおり、中国語と韓国語ではこのアライメントは単純である。日本語及びタイ語では制約付きアライメントを用いて半自動的アライメントを行った。
DBRNNを以下のようなハイパーパラメータを用いて訓練した。
・出力層のノード数:読みを表すラベルの数
・隠れ層の数:2
・隠れ層のノード数:50、100、150及び200
・固定したモメンタム(0.9)による確率的勾配効果法で学習率の低いもの(0.00001)を使用
・ミニバッチのサイズ:20サンプル(文又は単語)
・最大エポック数:2000
これらハイパーパラメータを用いて開発セットにより性能を測定し、最もよい性能を示したものを評価すべき最終的なモデルとした。
比較例として、従来のTTSフロントエンドにおける形態素解析に広く用いられる、辞書を用いた技術であるMeCabによるものをベースラインとした。MeCabについても第2の実施の形態で使用した図33に示す学習データセットを用いて訓練した。
実験結果を示す図では以下のような略称を用いる。
・MuG2P−b:日本語及び中国語に関するバイリンガルG2P
・MuG2P−t:中国語、韓国語、及びタイ語による3言語G2P
・Mec−x:x×データセットサイズのサンプルにより訓練したMeCabによるG2Pモデル
・LIC−x:Mec―xの訓練に用いたものと同じサンプルにより訓練したLIC−MoGPモデル。
上記実験の結果を図34〜図37に示す。以下の説明では、特に注記がない限り、DBRNNの隠れ層は100個の隠れノードを持ち、GCVサイズは300である。
以上のように本実施の形態によれば、大量のテキストを含む大規模多言語テキストコーパスを用いて文字/GCVベクトル変換テーブルの学習を教師なし学習で行い、この変換テーブルを用いてプレーンテキストの各文字をGCVベクトルに変換できる。さらに、テキストに読みが付された文からなるコーパスを学習データとし、テキストの各文字に対してその読みをアライメントする。アライメント済のテキストを学習データとして、文字とその読みとの対応付に関するDBRNNの学習を教師あり学習により行う。このように教師なし学習と教師あり学習とを組合わせることにより、DBRNN132の学習に用いるデータが比較的少量でも、DBRNNの学習を最適化し、頑健な文字/読みの変換を行える。また、GCVベクトルはワンホットベクトルよりはるかに少ない次元数であり、DBRNNへの入力がより効率的になり、DBRNNによるラベル列の推定の精度を高めることができる。
上記した第2の実施の形態では、大規模多言語テキストコーパスには、複数言語のテキストが混在している。しかし、DBRNNの出力には、テキストコーパスで各言語の読みに依存した読みのラベル列が得られるという問題がある。例えば日本語ではカタカナ列が得られ、タイ語ではIPA列が得られ、中国語ではピンイン列が得られ、韓国語では子音+母音+コーダという形で読みが得られる。そのため、音声合成ではそれら各言語の読みの表現に対応した音声合成機能を準備しなければならないという問題がある。
60、122、480、570、600、620、702、722 プレーンテキスト
62、110、710 TTSフロントエンド
64、112、712 ラベル列
66、114、714 音声合成装置
68、116、716 発話信号
70 教師あり学習
72 アノテート済テキストコーパス
80 形態素解析エンジン
82 言語モデル記憶部
118、718 変換テーブル学習部
120、720 DBRNN学習部
124、482 POSラベル列
130 シラブル/ベクトル変換部
132、732 DBRNN
134 シラブルベクトル列
136、736 基本ユニット展開部
140 GloVeベクトル算出部
142 大規模中国語テキストコーパス
144、744 学習実行部
146、560、590、610 アノテート済中国語テキストコーパス
170 GloVeベクトル算出処理
190 単語分割済テキストコーパス
192、232、762 共起マトリクス算出部
194、234、766 バイリニア回帰変換部
196、236、768 ウィンドウサイズ
274 シラブル/ベクトル変換テーブル
330 シラブル/ベクトルマッピング部
332、802 選択部
336、800 制御信号
380、382、384 基本ユニット
400 第1の隠れ層
410、440 第1のノード
412、442 第2のノード
430 i番目の隠れ層
460 ノード
470 POSラベル付きテキスト
562 単語セグメンテーションラベル付きテキスト
572 単語セグメンテーションラベル列
592 ピンインラベル列付きテキスト
602 ピンインラベル列
612 ポーズラベル付きテキスト
622 ポーズラベル列
730 文字/GCVベクトル変換部
734 GCVベクトル列
740 GCVベクトル算出部
742 大規模多言語テキストプール記憶部
746 アライメント済多言語テキストコーパス記憶部
750 アライメント処理部
752 文字・音素タグリスト記憶部
770 大規模日本語テキストコーパス
772 大規模タイ語テキストコーパス
774 大規模中国語テキストコーパス
776 大規模韓国語テキストコーパス
804 文字/GCVベクトルマッピング部
810 GCVベクトル変換テーブル記憶部
812 文字/GCVベクトル変換テーブル
Claims (6)
- コンピュータが、ディープ双方向リカレントニューラルネットワーク(DBRNN)を生成する基本となる、予め設計されたリカレントニューラルネットワーク(RNN)からなる基本ユニットを定義する情報及び当該基本ユニットにより表される関数を定義するパラメータの初期値を記憶するステップと、
コンピュータが、前記DBRNNの学習のため、各々が、音声合成に必要な言語学的特徴を表す複数種類のラベルのいずれかによりアノテートされた複数のアノテート済文字列を記憶したデータベースに接続するステップと、
コンピュータが、前記複数のアノテート済文字列に含まれる各文字を、文字の共起関係に基づいて生成された意味的ベクトル空間内の固定長の文字ベクトルにマッピングすることにより文字ベクトル列を生成するステップと、
コンピュータが、前記複数のアノテート済文字列から生成された前記文字ベクトル列と、当該文字ベクトル列に対応するラベル列との組み合わせを用いて、入力される文字列に対して、前記複数種類のラベルのうちで正しい確率が高いラベルを前記DBRNNが出力可能となるように、前記基本ユニットのパラメータを教師あり学習により学習するステップとを含む、音声合成のためのフロントエンドの学習方法。 - コンピュータが、大量の文字列からなる大規模文字列コーパスに接続するステップと、
コンピュータが、前記大規模文字列コーパスから文字列を読出し、文字間の共起関係を表す共起マトリクスを生成するステップと、
コンピュータが、前記共起マトリクスに対するバイリニア回帰変換を行うことにより、各文字から文字ベクトルへの変換テーブルを生成するステップとをさらに含み、
前記文字ベクトル列を生成するステップは、
コンピュータが、前記複数のアノテート済文字列に含まれる各文字を、前記変換テーブルを用いて文字ベクトルにマッピングすることにより文字ベクトル列を生成するステップを含む、請求項1に記載の音声合成のためのフロントエンドの学習方法。 - 前記基本ユニットのパラメータを学習する前記ステップは、
コンピュータが、前記複数のアノテート済文字列の1つを読出すステップと、
コンピュータが、前記読出すステップで読出された文字列に含まれる各文字を前記文字ベクトルに変換するステップと、
コンピュータが、前記読出すステップで読出された文字列に含まれる文字の数を調べるステップと、
コンピュータが、前記調べるステップで調べられた文字の数だけ前記基本ユニットの複製と相互接続とを行ってDBRNNを生成するステップと、
コンピュータが、前記DBRNNを生成するステップにおいて生成されたDBRNNを構成する基本ユニットの入力に、前記変換するステップにおいて変換された文字ベクトル列を入力したときの前記DBRNNの出力を計算するステップと、
コンピュータが、前記計算するステップで得られた前記DBRNNの出力と、前記変換するステップにおいて変換された前記文字列に付されたラベル列との誤差に基づいて、前記基本ユニットのパラメータを誤差逆伝播法により更新するステップと、
コンピュータが、前記読出すステップ、前記変換するステップ、前記調べるステップ、前記DBRNNを生成するステップ、前記計算するステップ、及び前記更新するステップを、所定の終了条件が成立するまで繰返し実行するステップとを含む、請求項1又は請求項2のいずれかに記載の音声合成のためのフロントエンドの学習方法。 - コンピュータを、請求項1〜請求項3の何れかに記載の音声合成のためのフロントエンドの学習方法を実行するように機能させる、コンピュータプログラム。
- 請求項1〜請求項3の何れかに記載の音声合成のためのフロントエンドの学習方法により学習が行われたDBRNNと、
入力される文字列に含まれる各文字を、文字の共起関係に基づいて生成された意味的ベクトル空間内の固定長の文字ベクトルにマッピングすることにより文字ベクトル列を生成し前記DBRNNに入力する文字ベクトル変換部とを含む音声合成システムであって、
前記DBRNNは、前記文字ベクトル変換部により生成された前記文字ベクトル列の入力に応答して、各文字に対応する言語学的特徴を表すラベルからなるラベル列を出力し、
前記音声合成システムはさらに、前記DBRNNが出力した前記ラベル列を用いて、当該ラベル列により表される言語学的特徴を反映した発話信号を合成する音声合成装置とを含む、音声合成システム。 - コンピュータが、DBRNNを生成する基本となる、予め設計されたRNNからなる基本ユニットを定義する情報及び当該基本ユニットにより表される関数を定義するパラメータを記憶するステップを含み、
前記基本ユニットの前記パラメータは、当該基本ユニットで構成されるDBRNNに文字列が入力されたときに、当該DBRNNの出力に、音声合成に必要な言語学的特徴を表す複数種類のラベルのいずれかを出力するように予め学習済であり、
さらに、コンピュータが、入力される文字列に含まれる各文字を、文字の共起関係に基づいて生成された意味的ベクトル空間内の固定長の文字ベクトルにマッピングすることにより文字ベクトル列を生成するステップと、
コンピュータが、前記入力される文字列に含まれる文字の数を調べるステップと、
コンピュータが、前記調べるステップで調べられた文字の数だけ前記基本ユニットの複製と相互接続とを行ってDBRNNを生成するステップと、
コンピュータが、前記DBRNNを生成するステップにおいて生成されたDBRNNを構成する基本ユニットの入力に、前記文字ベクトルに変換するステップにおいて変換された文字ベクトル列を入力したときの前記DBRNNの出力を計算するステップとを含む、音声合成のためのフロントエンド処理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017152230 | 2017-08-07 | ||
JP2017152230 | 2017-08-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019032529A true JP2019032529A (ja) | 2019-02-28 |
JP7112075B2 JP7112075B2 (ja) | 2022-08-03 |
Family
ID=65524305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018147162A Active JP7112075B2 (ja) | 2017-08-07 | 2018-08-03 | 音声合成のためのフロントエンドの学習方法、コンピュータプログラム、音声合成システム、及び音声合成のためのフロントエンド処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7112075B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111008283A (zh) * | 2019-10-31 | 2020-04-14 | 中电药明数据科技(成都)有限公司 | 一种基于复合边界信息的序列标注方法及系统 |
CN111247581A (zh) * | 2019-12-23 | 2020-06-05 | 深圳市优必选科技股份有限公司 | 一种多语言文本合成语音方法、装置、设备及存储介质 |
JP2021006897A (ja) * | 2019-06-27 | 2021-01-21 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 音声を並行して合成する方法、装置、機器及びコンピュータ読み取り可能な記憶媒体 |
JP2021071709A (ja) * | 2019-10-30 | 2021-05-06 | 百度在綫網絡技術(北京)有限公司 | リズム一時停止予測方法、装置および電子機器 |
WO2021107449A1 (ko) * | 2019-11-25 | 2021-06-03 | 주식회사 데이터마케팅코리아 | 음역 전환 신조어를 이용한 지식 그래프 기반 마케팅 정보 분석 서비스 제공 방법 및 그 장치 |
JP2021182438A (ja) * | 2020-12-09 | 2021-11-25 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 動画生成方法、装置、電子機器およびコンピュータ可読媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05135093A (ja) * | 1991-03-20 | 1993-06-01 | Fujitsu Ltd | つづり−発音記号変換装置 |
JPH10254483A (ja) * | 1997-03-11 | 1998-09-25 | Atr Onsei Honyaku Tsushin Kenkyusho:Kk | 音素シンボルの事後確率演算装置及び音声認識装置 |
US20170053646A1 (en) * | 2015-08-17 | 2017-02-23 | Mitsubishi Electric Research Laboratories, Inc. | Method for using a Multi-Scale Recurrent Neural Network with Pretraining for Spoken Language Understanding Tasks |
JP2017076403A (ja) * | 2015-10-16 | 2017-04-20 | バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーBaidu USA LLC | 人間から示唆を得た簡単質問応答(hisqa)システム及び方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5135093B2 (ja) | 2008-07-10 | 2013-01-30 | 川崎重工業株式会社 | 動弁装置 |
-
2018
- 2018-08-03 JP JP2018147162A patent/JP7112075B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05135093A (ja) * | 1991-03-20 | 1993-06-01 | Fujitsu Ltd | つづり−発音記号変換装置 |
JPH10254483A (ja) * | 1997-03-11 | 1998-09-25 | Atr Onsei Honyaku Tsushin Kenkyusho:Kk | 音素シンボルの事後確率演算装置及び音声認識装置 |
US20170053646A1 (en) * | 2015-08-17 | 2017-02-23 | Mitsubishi Electric Research Laboratories, Inc. | Method for using a Multi-Scale Recurrent Neural Network with Pretraining for Spoken Language Understanding Tasks |
JP2017076403A (ja) * | 2015-10-16 | 2017-04-20 | バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーBaidu USA LLC | 人間から示唆を得た簡単質問応答(hisqa)システム及び方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021006897A (ja) * | 2019-06-27 | 2021-01-21 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 音声を並行して合成する方法、装置、機器及びコンピュータ読み取り可能な記憶媒体 |
US11289068B2 (en) | 2019-06-27 | 2022-03-29 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, device, and computer-readable storage medium for speech synthesis in parallel |
JP2021071709A (ja) * | 2019-10-30 | 2021-05-06 | 百度在綫網絡技術(北京)有限公司 | リズム一時停止予測方法、装置および電子機器 |
US11200382B2 (en) | 2019-10-30 | 2021-12-14 | Baidu Online Network Technology (Beijing) Co., Ltd. | Prosodic pause prediction method, prosodic pause prediction device and electronic device |
CN111008283A (zh) * | 2019-10-31 | 2020-04-14 | 中电药明数据科技(成都)有限公司 | 一种基于复合边界信息的序列标注方法及系统 |
CN111008283B (zh) * | 2019-10-31 | 2023-06-20 | 中电药明数据科技(成都)有限公司 | 一种基于复合边界信息的序列标注方法及系统 |
WO2021107449A1 (ko) * | 2019-11-25 | 2021-06-03 | 주식회사 데이터마케팅코리아 | 음역 전환 신조어를 이용한 지식 그래프 기반 마케팅 정보 분석 서비스 제공 방법 및 그 장치 |
CN111247581A (zh) * | 2019-12-23 | 2020-06-05 | 深圳市优必选科技股份有限公司 | 一种多语言文本合成语音方法、装置、设备及存储介质 |
CN111247581B (zh) * | 2019-12-23 | 2023-10-10 | 深圳市优必选科技股份有限公司 | 一种多语言文本合成语音方法、装置、设备及存储介质 |
JP2021182438A (ja) * | 2020-12-09 | 2021-11-25 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 動画生成方法、装置、電子機器およびコンピュータ可読媒体 |
JP7232293B2 (ja) | 2020-12-09 | 2023-03-02 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 動画生成方法、装置、電子機器およびコンピュータ可読媒体 |
US11948236B2 (en) | 2020-12-09 | 2024-04-02 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method and apparatus for generating animation, electronic device, and computer readable medium |
Also Published As
Publication number | Publication date |
---|---|
JP7112075B2 (ja) | 2022-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7112075B2 (ja) | 音声合成のためのフロントエンドの学習方法、コンピュータプログラム、音声合成システム、及び音声合成のためのフロントエンド処理方法 | |
KR102616214B1 (ko) | E2E(End-to-end) 음성 합성 시스템에서 표현력 제어 | |
CN107077841B (zh) | 用于文本到语音的超结构循环神经网络 | |
JP2022153569A (ja) | 多言語テキスト音声合成方法 | |
CN110782870A (zh) | 语音合成方法、装置、电子设备及存储介质 | |
JP2021196598A (ja) | モデルトレーニング方法、音声合成方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
CN111145718A (zh) | 一种基于自注意力机制的中文普通话字音转换方法 | |
CN112352275A (zh) | 具有多级别文本信息的神经文本到语音合成 | |
Alsharhan et al. | Improved Arabic speech recognition system through the automatic generation of fine-grained phonetic transcriptions | |
Orife | Attentive Sequence-to-Sequence Learning for Diacritic Restoration of Yor\ub\'a Language Text | |
Sangeetha et al. | Speech translation system for english to dravidian languages | |
Lu et al. | A syllable-structured, contextually-based conditionally generation of chinese lyrics | |
Mittal et al. | Development and analysis of Punjabi ASR system for mobile phones under different acoustic models | |
Naderi et al. | Persian speech synthesis using enhanced tacotron based on multi-resolution convolution layers and a convex optimization method | |
Liang et al. | A hybrid CTC+ Attention model based on end-to-end framework for multilingual speech recognition | |
Wutiwiwatchai et al. | Thai text-to-speech synthesis: a review | |
Lőrincz et al. | RoLEX: The development of an extended Romanian lexical dataset and its evaluation at predicting concurrent lexical information | |
Krantz et al. | Language-agnostic syllabification with neural sequence labeling | |
Cherifi et al. | Arabic grapheme-to-phoneme conversion based on joint multi-gram model | |
CN115374784A (zh) | 一种多模态信息选择性融合的中文命名实体识别方法 | |
Chowdhury et al. | Bangla grapheme to phoneme conversion using conditional random fields | |
Ni et al. | Multilingual Grapheme-to-Phoneme Conversion with Global Character Vectors. | |
Nanayakkara et al. | Context aware back-transliteration from english to sinhala | |
Yadav et al. | Different Models of Transliteration-A Comprehensive Review | |
Bowden | A Review of Textual and Voice Processing Algorithms in the Field of Natural Language Processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220714 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7112075 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |