JP2017502349A - 提供されたテキストの音声合成のためのシステム及び方法 - Google Patents
提供されたテキストの音声合成のためのシステム及び方法 Download PDFInfo
- Publication number
- JP2017502349A JP2017502349A JP2016542126A JP2016542126A JP2017502349A JP 2017502349 A JP2017502349 A JP 2017502349A JP 2016542126 A JP2016542126 A JP 2016542126A JP 2016542126 A JP2016542126 A JP 2016542126A JP 2017502349 A JP2017502349 A JP 2017502349A
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- parameters
- speech
- frame
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 30
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 30
- 230000008569 process Effects 0.000 claims description 40
- 230000003595 spectral effect Effects 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 241000269627 Amphiuma means Species 0.000 claims 1
- 230000003278 mimic effect Effects 0.000 abstract description 3
- 238000012805 post-processing Methods 0.000 abstract description 2
- 230000005236 sound signal Effects 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
- Telephonic Communication Services (AREA)
- Document Processing Apparatus (AREA)
Abstract
Description
Claims (25)
- a.提供されたテキストのためのコンテキストラベルを生成する手段と、
b.音声モデルを使用して、前記提供されたテキストのために生成された前記コンテキストラベルのためのパラメータのセットを生成する手段と、
c.分散スケーリングが可能である、前記生成されたパラメータのセットの処理手段と、
d.音声合成のために処理されたパラメータのセットを適用することが可能である、前記提供されたテキストの音声合成手段と
を含む、提供されたテキストの音声合成システム。 - 前記音声モデルは、少なくとも1つのスペクトルパラメータの統計分布と前記スペクトルパラメータの変化率とを含む、請求項1に記載のシステム。
- 前記音声モデルは、予測統計的パラメータモデルを含む、請求項1に記載のシステム。
- 前記提供されたテキストのためのコンテキストラベルの前記生成手段は、言語モデルを含む、請求項1に記載のシステム。
- 前記音声合成手段は、スペクトル情報を時間領域信号へと変換可能な、請求項1に記載のシステム。
- 前記パラメータのセットの前記処理手段は、前記パラメータの前記変化率の判定と前記パラメータの軌跡の生成とが可能である、請求項1に記載のシステム。
- a.提供されたテキストをフレーズのシーケンスに分割するステップと、
b.音声モデルを使用して前記フレーズのシーケンスのためのパラメータを生成するステップと、
c.提供されたテキストの音声合成に使用可能である別のパラメータのセットを得るために、前記生成されたパラメータを処理するステップと
を含む、連続的な特徴ストリームを使用する、音声合成に使用するために提供されたテキストのパラメータ生成方法。 - 前記分割は、言語知識に基づいて行われる、請求項7に記載の方法。
- 前記音声モデルは、予測統計的パラメータモデルを含む、請求項7に記載の方法。
- 前記フレーズのための前記生成されたパラメータは、スペクトルパラメータを含む、請求項7に記載の方法。
- 前記スペクトルパラメータは、フレーズに基づくスペクトルパラメータ値、スペクトルパラメータの変化率、スペクトル包絡線の値、スペクトル包絡線の変化率のうち1つまたは複数を含む、請求項10に記載の方法。
- 前記フレーズは、言語的休止と音響的休止のうち少なくとも1つによって区切ることのできる単語群を含む、請求項7に記載の方法。
- 前記提供されたテキストのフレーズのシーケンスへの前記分割は、
a.前記テキストを表すパラメータとして判定される予測されたパラメータに基づくベクトル生成のステップと、
b.フレームのインクリメント値を判定するステップと、
c.フレーズの状態を判定するステップであって、
i.前記フレーズが開始されている場合、音声化が開始されているか否かを判定し、
1.音声化が開始されている場合、有声音素のパラメータに基づいて前記ベクトルを調整し、ステップ(c)を再開し、さもなければ
2.音声化が終了されている場合、無声音素のパラメータに基づいて前記ベクトルを調整し、ステップ(c)から再開し、
ii.前記フレーズが終了されている場合、前記ベクトルを平滑化し、全体的な分散調整を行うステップと
をさらに含む、請求項7に記載の方法。 - 前記パラメータの前記生成は、
a.生成されたパラメータベクトルの第一要素の初期化のステップと、
b.フレームのインクリメント値を判定するステップと、
c.言語セグメントが存在するか否かを判定するステップであって、
i.言語セグメントが存在しない場合、音声化が開始されているか否かを判定し、
1.音声化が開始されていない場合、有声音素のパラメータに基づいて前記パラメータベクトルを調整し、ステップ(a)から処理を再開し、
2.音声化が開始されている場合、第一フレームにおいて音声化されているか否かを判定し、前記音声が第一フレームにある場合、係数平均は基本周波数に等しく、前記音声が第一フレームにない場合、係数のクランプが実行される、
ii.言語セグメントが存在する場合、パラメータの軌跡の突然の変化を除去し、全体的な分散の調整を行うステップと
をさらに含むパラメータの軌跡の生成を含む、請求項7に記載の方法。 - ステップc.i.は、音声化が終了されたか否かを判定するステップであって、音声化が終了されていなければ、請求項14をステップ(a)から繰り返し、音声化が終了されていれば、係数の平均を望ましい値に調整して前記セグメントの長尺のウィンドウの平滑化を行うステップをさらに含む、請求項14に記載の方法。
- 前記初期化は、時間ゼロで行われる、請求項14に記載の方法。
- 前記フレームのインクリメント値は、望ましい整数を含む、請求項14に記載の方法。
- 前記望ましい整数は、1である、請求項17に記載の方法。
- フレームが音声化されているか否かの前記判定は、前記スペクトルパラメータのための予測値の検査を含み、音声化されたセグメントは、有効値を含む、請求項14に記載の方法。
- 言語セグメントが存在するか否かの前記判定は、セグメント分割のための状態シーケンスの検査を含む、請求項14に記載の方法。
- 前記パラメータの生成は、
a.生成されたパラメータベクトルの第一要素を初期化するステップと、
b.フレームのインクリメント値を判定するステップと、
c.フレームが音声化されているか否か判定するステップであって
i.セグメントが音声化されていない場合、数式mcep(i)=(mcep(i−1)+mcep_mean(i))/2を適用し、
ii.セグメントが音声化され且つ第一フレーム内にある場合、数式mcep(i)=(mcep(i−1)+mcep_mean(i))/2を適用し、
iii.セグメントが音声化され且つ第一フレーム内にない場合、数式mcep(i)=(mcep(i−1)+mcep_delta(i)+mcep_mean(i))/2を適用するステップと
d.言語セグメントが終了したか否かを判定し、
i.言語セグメントが終了されている場合、パラメータの軌跡の突然の変化を除去し、全体的な分散の調整を行い、
ii.言語セグメントが終了されていない場合、ステップ(a)から始まる処理を繰り返すステップと
を含むメルケプストラムパラメータ生成を含む、請求項7に記載の方法。 - 前記初期化は、時間ゼロで行われる、請求項21に記載の方法。
- 前記フレームのインクリメント値は、望ましい整数を含む、請求項21に記載の方法。
- 前記望ましい整数は、1である、請求項23に記載の方法。
- フレームが音声化しているか否かの前記判定は、前記スペクトルパラメータの予測値の検査を含み、音声化されたセグメントが有効値を含む、請求項21に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461927152P | 2014-01-14 | 2014-01-14 | |
US61/927,152 | 2014-01-14 | ||
PCT/US2015/011348 WO2015108935A1 (en) | 2014-01-14 | 2015-01-14 | System and method for synthesis of speech from provided text |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017502349A true JP2017502349A (ja) | 2017-01-19 |
JP6614745B2 JP6614745B2 (ja) | 2019-12-04 |
Family
ID=53521887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016542126A Active JP6614745B2 (ja) | 2014-01-14 | 2015-01-14 | 提供されたテキストの音声合成のためのシステム及び方法 |
Country Status (9)
Country | Link |
---|---|
US (2) | US9911407B2 (ja) |
EP (1) | EP3095112B1 (ja) |
JP (1) | JP6614745B2 (ja) |
AU (2) | AU2015206631A1 (ja) |
BR (1) | BR112016016310B1 (ja) |
CA (1) | CA2934298C (ja) |
CL (1) | CL2016001802A1 (ja) |
WO (1) | WO2015108935A1 (ja) |
ZA (1) | ZA201604177B (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107924678B (zh) | 2015-09-16 | 2021-12-17 | 株式会社东芝 | 语音合成装置、语音合成方法及存储介质 |
US10249314B1 (en) * | 2016-07-21 | 2019-04-02 | Oben, Inc. | Voice conversion system and method with variance and spectrum compensation |
US10872598B2 (en) * | 2017-02-24 | 2020-12-22 | Baidu Usa Llc | Systems and methods for real-time neural text-to-speech |
US10896669B2 (en) | 2017-05-19 | 2021-01-19 | Baidu Usa Llc | Systems and methods for multi-speaker neural text-to-speech |
US10872596B2 (en) | 2017-10-19 | 2020-12-22 | Baidu Usa Llc | Systems and methods for parallel wave generation in end-to-end text-to-speech |
CN108962217B (zh) * | 2018-07-28 | 2021-07-16 | 华为技术有限公司 | 语音合成方法及相关设备 |
CN109285535A (zh) * | 2018-10-11 | 2019-01-29 | 四川长虹电器股份有限公司 | 基于前端设计的语音合成方法 |
CN109785823B (zh) * | 2019-01-22 | 2021-04-02 | 中财颐和科技发展(北京)有限公司 | 语音合成方法及系统 |
CN114144790B (zh) | 2020-06-12 | 2024-07-02 | 百度时代网络技术(北京)有限公司 | 具有三维骨架正则化和表示性身体姿势的个性化语音到视频 |
US11587548B2 (en) * | 2020-06-12 | 2023-02-21 | Baidu Usa Llc | Text-driven video synthesis with phonetic dictionary |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008242317A (ja) * | 2007-03-28 | 2008-10-09 | Toshiba Corp | 韻律パタン生成装置、音声合成装置、プログラムおよび韻律パタン生成方法 |
JP2010237323A (ja) * | 2009-03-30 | 2010-10-21 | Toshiba Corp | 音声モデル生成装置、音声合成装置、音声モデル生成プログラム、音声合成プログラム、音声モデル生成方法および音声合成方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0764939B1 (en) * | 1995-09-19 | 2002-05-02 | AT&T Corp. | Synthesis of speech signals in the absence of coded parameters |
US6567777B1 (en) * | 2000-08-02 | 2003-05-20 | Motorola, Inc. | Efficient magnitude spectrum approximation |
US6970820B2 (en) * | 2001-02-26 | 2005-11-29 | Matsushita Electric Industrial Co., Ltd. | Voice personalization of speech synthesizer |
US6792407B2 (en) * | 2001-03-30 | 2004-09-14 | Matsushita Electric Industrial Co., Ltd. | Text selection and recording by feedback and adaptation for development of personalized text-to-speech systems |
GB0113570D0 (en) * | 2001-06-04 | 2001-07-25 | Hewlett Packard Co | Audio-form presentation of text messages |
US20030028377A1 (en) * | 2001-07-31 | 2003-02-06 | Noyes Albert W. | Method and device for synthesizing and distributing voice types for voice-enabled devices |
CA2365203A1 (en) * | 2001-12-14 | 2003-06-14 | Voiceage Corporation | A signal modification method for efficient coding of speech signals |
US7096183B2 (en) | 2002-02-27 | 2006-08-22 | Matsushita Electric Industrial Co., Ltd. | Customizing the speaking style of a speech synthesizer based on semantic analysis |
US7136816B1 (en) * | 2002-04-05 | 2006-11-14 | At&T Corp. | System and method for predicting prosodic parameters |
WO2004032112A1 (en) * | 2002-10-04 | 2004-04-15 | Koninklijke Philips Electronics N.V. | Speech synthesis apparatus with personalized speech segments |
US6961704B1 (en) | 2003-01-31 | 2005-11-01 | Speechworks International, Inc. | Linguistic prosodic model-based text to speech |
US8886538B2 (en) | 2003-09-26 | 2014-11-11 | Nuance Communications, Inc. | Systems and methods for text-to-speech synthesis using spoken example |
WO2005071663A2 (en) * | 2004-01-16 | 2005-08-04 | Scansoft, Inc. | Corpus-based speech synthesis based on segment recombination |
US7693719B2 (en) * | 2004-10-29 | 2010-04-06 | Microsoft Corporation | Providing personalized voice font for text-to-speech applications |
US20100030557A1 (en) * | 2006-07-31 | 2010-02-04 | Stephen Molloy | Voice and text communication system, method and apparatus |
US9754602B2 (en) * | 2009-12-02 | 2017-09-05 | Agnitio Sl | Obfuscated speech synthesis |
US20120143611A1 (en) * | 2010-12-07 | 2012-06-07 | Microsoft Corporation | Trajectory Tiling Approach for Text-to-Speech |
CN102651217A (zh) * | 2011-02-25 | 2012-08-29 | 株式会社东芝 | 用于合成语音的方法、设备以及用于语音合成的声学模型训练方法 |
CN102270449A (zh) | 2011-08-10 | 2011-12-07 | 歌尔声学股份有限公司 | 参数语音合成方法和系统 |
JP5631915B2 (ja) | 2012-03-29 | 2014-11-26 | 株式会社東芝 | 音声合成装置、音声合成方法、音声合成プログラムならびに学習装置 |
CA2939117C (en) | 2014-03-04 | 2022-01-18 | Interactive Intelligence Group, Inc. | Optimization of audio fingerprint search |
-
2015
- 2015-01-14 BR BR112016016310-9A patent/BR112016016310B1/pt active IP Right Grant
- 2015-01-14 US US14/596,628 patent/US9911407B2/en active Active
- 2015-01-14 EP EP15737007.3A patent/EP3095112B1/en active Active
- 2015-01-14 AU AU2015206631A patent/AU2015206631A1/en not_active Abandoned
- 2015-01-14 CA CA2934298A patent/CA2934298C/en active Active
- 2015-01-14 JP JP2016542126A patent/JP6614745B2/ja active Active
- 2015-01-14 WO PCT/US2015/011348 patent/WO2015108935A1/en active Application Filing
-
2016
- 2016-06-21 ZA ZA2016/04177A patent/ZA201604177B/en unknown
- 2016-07-14 CL CL2016001802A patent/CL2016001802A1/es unknown
-
2018
- 2018-01-18 US US15/874,612 patent/US10733974B2/en active Active
-
2020
- 2020-05-29 AU AU2020203559A patent/AU2020203559B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008242317A (ja) * | 2007-03-28 | 2008-10-09 | Toshiba Corp | 韻律パタン生成装置、音声合成装置、プログラムおよび韻律パタン生成方法 |
JP2010237323A (ja) * | 2009-03-30 | 2010-10-21 | Toshiba Corp | 音声モデル生成装置、音声合成装置、音声モデル生成プログラム、音声合成プログラム、音声モデル生成方法および音声合成方法 |
Non-Patent Citations (1)
Title |
---|
HANNA SILEN, ET AL.: "Ways to Implement Global Variance in Statistical Speech Synthesis", INTERSPEECH 2012, JPN6018018472, 13 September 2012 (2012-09-13), US, pages 1436 - 1439, ISSN: 0004133378 * |
Also Published As
Publication number | Publication date |
---|---|
EP3095112A4 (en) | 2017-09-13 |
EP3095112B1 (en) | 2019-10-30 |
US20150199956A1 (en) | 2015-07-16 |
EP3095112A1 (en) | 2016-11-23 |
BR112016016310A2 (ja) | 2017-08-08 |
AU2015206631A1 (en) | 2016-06-30 |
US10733974B2 (en) | 2020-08-04 |
US9911407B2 (en) | 2018-03-06 |
CA2934298A1 (en) | 2015-07-23 |
JP6614745B2 (ja) | 2019-12-04 |
AU2020203559B2 (en) | 2021-10-28 |
ZA201604177B (en) | 2018-11-28 |
CL2016001802A1 (es) | 2016-12-23 |
AU2020203559A1 (en) | 2020-06-18 |
WO2015108935A1 (en) | 2015-07-23 |
CA2934298C (en) | 2023-03-07 |
US20180144739A1 (en) | 2018-05-24 |
BR112016016310B1 (pt) | 2022-06-07 |
NZ721092A (en) | 2021-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6614745B2 (ja) | 提供されたテキストの音声合成のためのシステム及び方法 | |
EP0970466B1 (en) | Voice conversion | |
US8594993B2 (en) | Frame mapping approach for cross-lingual voice transformation | |
US10176797B2 (en) | Voice synthesis method, voice synthesis device, medium for storing voice synthesis program | |
Ma et al. | Incremental text-to-speech synthesis with prefix-to-prefix framework | |
CN112102811B (zh) | 一种合成语音的优化方法、装置及电子设备 | |
JPH0632020B2 (ja) | 音声合成方法および装置 | |
JP6330069B2 (ja) | 統計的パラメトリック音声合成のためのマルチストリームスペクトル表現 | |
JP5874639B2 (ja) | 音声合成装置、音声合成方法及び音声合成プログラム | |
JP4684770B2 (ja) | 韻律生成装置及び音声合成装置 | |
Lin et al. | New refinement schemes for voice conversion | |
Astrinaki et al. | sHTS: A streaming architecture for statistical parametric speech synthesis | |
JP2004341259A (ja) | 音声素片伸縮装置およびその方法 | |
JP2001282273A (ja) | 音声情報処理装置とその方法と記憶媒体 | |
NZ721092B2 (en) | System and method for synthesis of speech from provided text | |
Sudhakar et al. | Performance Analysis of Text To Speech Synthesis System Using Hmm and Prosody Features With Parsing for Tamil Language | |
CN118314913A (zh) | 一种音频处理方法及装置、电子设备、存储介质 | |
Chomwihoke et al. | Comparative study of text-to-speech synthesis techniques for mobile linguistic translation process | |
Kayte et al. | Post-Processing Using Speech Enhancement Techniques for Unit Selection andHidden Markov Model-based Low Resource Language Marathi Text-to-Speech System | |
WO2014017024A1 (ja) | 音声合成装置、音声合成方法、及び音声合成プログラム | |
Sudhakar et al. | Performance Analysis of Text To Speech Synthesis System using HMM and Prosody Features with Parsing for English Language | |
JPH03276198A (ja) | 音声認識装置 | |
JP2004220043A (ja) | 基本周波数パタン生成方法、及びプログラム記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170515 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180522 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180820 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20181020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6614745 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |