CN1145926C - 用于语音合成的方法和设备 - Google Patents
用于语音合成的方法和设备 Download PDFInfo
- Publication number
- CN1145926C CN1145926C CNB961931620A CN96193162A CN1145926C CN 1145926 C CN1145926 C CN 1145926C CN B961931620 A CNB961931620 A CN B961931620A CN 96193162 A CN96193162 A CN 96193162A CN 1145926 C CN1145926 C CN 1145926C
- Authority
- CN
- China
- Prior art keywords
- sequence
- sample
- waveform
- spreading
- excitation instant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000015572 biosynthetic process Effects 0.000 title claims description 6
- 238000003786 synthesis reaction Methods 0.000 title claims description 6
- 230000001360 synchronised effect Effects 0.000 claims abstract description 10
- 230000007480 spreading Effects 0.000 claims description 27
- 238000003892 spreading Methods 0.000 claims description 27
- 230000005284 excitation Effects 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 5
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims 1
- 230000001105 regulatory effect Effects 0.000 claims 1
- 238000013213 extrapolation Methods 0.000 abstract 1
- 230000007704 transition Effects 0.000 abstract 1
- 239000011295 pitch Substances 0.000 description 24
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004704 glottis Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
- G10L13/07—Concatenation rules
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
- Manufacture Of Motors, Generators (AREA)
Abstract
通过在一个语音波形段的末尾和在另一个语音波形段的开头产生外推波形以产生一个具有同步音高标记的重叠区来连接语音波形段，然后求出穿过该重叠区的加权和以提供一个平滑过渡。
Description
技术领域
本发明涉及语音合成，尤其涉及被存储的数字化波形的段被取出与组合的语音合成。
发明内容
根据本发明提供了一种语音合成方法，它包括以下步骤：
取出与第一期望语音波形以及与定义波形激发时刻的第一音高数据相对应的数字样本的第一序列；取出与第二期望语音波形以及与定义第二波形激发时刻的第二音高数据相对应的数字样本的第二序列；通过由所述第一及第二序列之至少一个序列合成一个扩展序列，形成一个重叠区，该重叠区作音高调节使其与所述第一及第二序列之另一序列的激发时刻同步；为重叠区形成所述第一及第二取出序列的样本值与扩展序列的样本值的加权和。
根据本发明提供另一种语音合成方法，它包括以下步骤：
取出与第一期望语音波形以及与定义波形激发时刻的第一音高数据相对应的数字样本的第一序列；取出与第二期望语音波形以及与定义第二波形激发时刻的第二音高数据相对应的数字样本的第二序列；从第一序列在第一序列的末尾合成一个第一扩展序列，该扩展序列作音高调节使之与第二序列的激发时刻同步；从第二序列在第二序列的开头合成一个第二扩展序列，该扩展序列作音高调节使之与第一序列的激发时刻同步；由此第一和第二扩展序列定义一个重叠区；为重叠区形成第一序列样本与第二扩展序列样本的加权和以及第二序列样本与第一扩展序列样本的加权和。
本发明的另一方面提供了一种语言生成设备，它包括：
用于储存数字样本序列的装置，数字样本序列与语音波形段以及与定义这些波形的激发时刻的音高数据相对应；
可控的控制装置，用于从储存装置中取出对应于语音波形的期望段以及与相应的定义该波形激发时刻的音高数据相对应的数字样本序列；
连接已取出序列的装置，连接装置用于：(a)根据至少一对已取出序列的第一序列合成一个扩展序列，以扩展这一个提取的序列到与该序列对的另一序列重叠的重叠区，扩展序列作音高调节使之与该另一序列的激发时刻同步；(b)为重叠区形成该对取出的序列样本与扩展序列样本的加权和。
本发明的其它方面将解释如下。
下面参考附图以举例的形式说明本发明的一些实施例。
附图简述
图1是根据本发明的语音合成器的一种形式的方块图；
图2是说明图1所示设备中的连接单元5操作的流程图；
图3到图9是说明连接装置5的操作的波形示意图，其中：
图3是说明从浊音音素中消去样本。
图4是说明源样本的提取和相乘。
图5是说明源样本的替代波形的相加。
图6是说明重叠音素的合并和相乘。
图7是说明在两个音素的波形之间的平滑过渡段。
图8是说明两个清音音素的连接。
图9是说明两个音素连接的波形示意图。
本发明实施例的详细说明
在图1所示的语音合成器中，储存器1含有由数字化语音段落产生的语音波形段，该数字化语音段落原始地由广播员阅读一段话(或许有200句)来进行记录，其中包含了所有(或至少广泛选择的)可能的不同声音。这样，波形存储器1的每个登记项包含与一个或多个音素相对应的一部分语音的数字样本。该样本具有指示音素间界限的标记信息。伴随每个语音波形段储存了定义“音高标记”的数据，该“音高标记”指示在原始录音中以常规方式产生的信号的声门闭合点。
代表待合成的语音的输入信号以语音的方式被提供到输入2。如果愿意的话，该输入信号可以从普通装置(没有示出)输入的文本中产生。该输入信号由选择单元3以一种公知的方法进行处理，选择单元3为每个输入元素确定与该元素代表的声音相对应的已储存的波形段在存储器1中的地址。如上所述，输入元素可以是音素、复音、三音或其它次单词元素，通常元素的长度会根据相应的波形段的波形存储器的可用性而变化。在可能的情况下最好选用与前一元素有一个音素重叠的元素。有关这方面的技术在我们的共有未决的“国际专利申请no.PCT/GB/9401688”和美国专利申请no.166988，(1993年12月16日提交)”中说明。
这些元素一旦被读出就要在幅值调节单元4中分别经受幅值规格化处理，幅值调节单元4的操作在“欧洲专利申请no.95301478.4”中说明。
然后这些元素在单元5中被连接在一起。图2示出了单元5的工作流程图。在本说明书中元素及跟随该元素的元素分别被称作左元素和右元素。在元素重叠(即当左元素的最后一个音素和右元素的第一个音素代表同一个声音因而在最后输出时仅形成一个音素)的情况下需要在做“合并”型连接之前先除去冗余信息；否则“邻近”型连接比较适合。
在图2的步骤10中，这些元素被接收，然后根据合并的类型(步骤11)确定是否需要截短。在步骤12，相应的音高阵列被截短；在与左元素相对应的阵列中，最后一个音素的中点右边的第一音高标记到之后的音高标记被切掉以便只保留中点后面的一个音高标记，而在与右元素对应的阵列中，第一个音素的中点左边的最后一个音高标记之前的被切掉以便只保留中点前面的一个音高标记。图2对此进行了说明。
在往下进行之前，需要根据每个音素中音高标记的出现位置将连接点两边的音素归入浊音类或清音类。注意这是在“音高切断”步骤之后进行的(在步骤13中)，因而发声决定反映了某些音高标记可能的消除之后的每个音素的状态。一个音素被归入浊音类，如果：
1.音高阵列的相应部分含有两个或两个以上音高标记；和
2.两个最接近连接点的音高标记之间的时间差小于门限值，和
3a.对合并型连接来说，最接近连接点的音高标记与音素中点之间的时间差小于门限值；
3b.对邻接型连接来说，最接近连接点的音高标记与左元素的结尾(或右元素的开头)之间的时间差小于门限值。
否则，一个因素就被归入清音类。
规则3a和3b是为了防止在下一步骤中语音样本的过分损失。
在合并型连接的情况下(步骤14)，象如下那样放弃浊音音素中的语音样本(步骤15)：
左元素，最后一个音素——放弃末尾音高标记后面的所有样本；
右元素，第一个音素——放弃开头音高标记前面的所有样本；以及通过放弃音素中点右面或左面(分别对应于左元素和右元素)的所有样本来放弃清音音素中的语音样本。
在邻接型连接的情况下(步骤16，15)，清音音素没有样本放弃而浊音音素一般用与合并型连接情况下同样的方法进行处理，尽管由于音高标记没有一个被删除因此几乎不会丢失样本。如果这样会造成大量样本的损失(例如，大于20毫秒)那么就不消除样本并且在以后的处理过程中该音素将被标明作为清音处理。
从浊音音素中消除样本可以用图3来说明。音高标记的位置用箭头来表示。注意，所示波形仅仅为了说明，它并不代表实际语音波形。
用于连接两个音素的操作是一个叠加过程。然而根据两个音素都是浊音(浊音连接)还是一个是清音或两个都是清音(清音连接)要用不同的过程。
下面首先说明浊音连接(步骤18)。它要求下列基本步骤；通过复制其原有波形段(但复制波形具有与另一将被连接的音素相对应的音高周期)来合成音素的扩展部分。这就产生(或者在合并型连接情况下重新产生)一个具有匹配音高标记的重叠区。然后对样本进行加权相加(步骤19)以产生一个穿过连接点的平滑过渡段。重叠区可以由左音素的扩展部分产生或者由右音素的扩展部分产生，但优选的方法是将左右两个音素都加以扩展，如下所述。以下是更为详细的情况：
1.用海宁窗选择一段原有波形用于合成。通过考察左元素的最后两个音高周期和右元素的前两个音高周期来选择窗的长度以找出这四个值中的最小值。连接点两边的窗口宽度被设置为两倍于该最小值。
2.提取以左元素的倒数第二个音高标记或右元素的第二个音高标记为中心的窗口周期源样本并与海宁窗函数相乘，如图4所示。将处于与其它音素的音高标记同步的替代波形加到上述波形上以产生合成波形扩展序列，如图5所示。将左元素的最后一个音高周期与半个海宁窗函数相乘，然后在最后一个原始音高标记位置以及右元素的相继的音高标记位置上重叠加上替换的经窗函数处理的段。对右元素的处理与此类似。
3.然后将合成的重叠音素合并；如图6所示每个重叠音素与长度为两个合成段的总长度的半个海宁窗相乘，然后把二者加起来(左元素的末尾音高标记与右元素的开头音高标记对准)，合成波形应当显示如图7所示的从左音素波形到右音素波形的平滑过渡。
4.用于合成与合并处理的重叠音高周期的数目由以下决定。重叠区向其它音素的时间范围延伸直到发生以下的情况之一：
(a)达到音素界限；
(b)音高周期超过规定的最大值；
(c)重叠区达到规定的最大值(例如5个音高周期)。然而如果条件(a)导致音高周期数小于规定的最小值(例如3)，那么可以放宽条件允许增加一个音高周期。
在步骤20中，清音连接可以简单地在时间上移动该两个元素因而产生重叠以及用步骤21和图8所示的海宁加权叠加来完成。如果有一个音素是浊音，那么重叠宽度就是连接处浊音音高周期的宽度，如果两个都是清音，那么重叠宽为一固定值(一般为5毫秒)。然而重叠区(对邻接型来说)不应该超过两个音素中较短的那个音素的长度的一半。如果(为了合并)这两个音素已被截短，那么重叠区不应该超过音素剩余部分的长度的一半。对邻接型连接来说，为了后面的处理考虑，将两个音素之间的界限放在重叠区的中点。
当然，这种移动产生重叠区的方法减少了语音的持续时间。在合并型连接的情况下可以这样避免上述情况：在放弃样本时，截点不是在中点而是稍微偏向一边使得当两个音素的中点对齐时产生一个重叠。
所述方法产生了好的结果；然而音高标记之间的定相和储存的语音波形会有所变化，这取决于前者如何产生。这样虽然音高标记在连接点被同步但这不能保证穿过连接点的是一个连续波形。因此最好将右元素的样本相对于它的音高标记移动一选定值以便使两个元素在重叠区中的互相关达到最大值。这可以通过用不同的试验移动(例如±3ms，步进值为125us)计算两个波形在重叠区中的互相关来实现。一旦该项工作完成以后，就要重复做用于右元素扩展的合成工作。
连接完成后，可以用常规方法对所有音高进行调节，如图1中的方框6所示。
连接单元5实际上可用数字处理单元和一个含有一系列执行上述步骤的程序指令的存储器来实现。
Claims (7)
1.一种语音合成方法，它包括以下步骤：
取出与第一期望语音波形以及与定义波形激发时刻的第一音高数据相对应的数字样本的第一序列；
取出与第二期望语音波形以及与定义第二波形激发时刻的第二音高数据相对应的数字样本的第二序列；
通过由所述第一及第二序列之至少一个序列合成一个扩展序列，形成一个重叠区，该重叠区作音高调节使其与所述第一及第二序列之另一序列的激发时刻同步；
为重叠区形成所述第一及第二取出序列的样本值与扩展序列的样本值的加权和。
2.一种语音合成方法，它包括以下步骤：
取出与第一期望语音波形以及与定义波形激发时刻的第一音高数据相对应的数字样本的第一序列；
取出与第二期望语音波形以及与定义第二波形激发时刻的第二音高数据相对应的数字样本的第二序列；
从第一序列在第一序列的末尾合成一个第一扩展序列，该扩展序列作音高调节使之与第二序列的激发时刻同步；
从第二序列在第二序列的开头合成一个第二扩展序列，该扩展序列作音高调节使之与第一序列的激发时刻同步；
由此第一和第二扩展序列定义一个重叠区；
为重叠区形成第一序列样本与第二扩展序列样本的加权和以及第二序列样本与第一扩展序列样本的加权和。
3.根据权利要求2所述的方法，其中第一序列在其末尾有一个与某一声音相对应的区段，第二序列在其开头有一个与上述同一声音相对应的区段，该方法还包括在合成之前从第一波形的所述区段的末尾以及从第二波形的所述区段的开头消去与所述某一声音对应之样本的步骤。
4.根据权利要求1、2或3所述的方法，其中每个合成步骤包括从所述第一及第二序列之一中提取样本子序列，将子序列与窗口函数相乘以及将子序列重复加上与所述第一及第二序列的另一个序列的激发时刻相对应的偏移。
5.根据权利要求4所述的方法，其中窗口函数以第一序列的倒数第二个激发时刻和第二序列的第二个激发时刻为中心，它具有两倍于第一和第二序列的音高周期的最小值的宽度，这里音高周期定义为激发时刻之间的间隔。
6.根据权利要求1、2、3中任一项所述的方法，包括以下步骤：在求出加权和之前，在重叠区范围内将第一序列及其扩展序列与第二序列及其扩展序列进行比较，从而推导出使它们之间的相关最大化的偏移值，对第二音高数据调节所确定的偏移量，并重复合成第二扩展序列。
7.一种语言生成设备，它包括以下方面：
用于储存数字样本序列的装置(1)，数字样本序列与语音波形段以及与定义这些波形的激发时刻的音高数据相对应；
可控的控制装置(2)，用于从储存装置(1)中取出对应于语音波形的期望段以及与相应的定义该波形激发时刻的音高数据相对应的数字样本序列；
连接已取出序列的装置(5)，连接装置用于：(a)根据至少一对已取出序列的第一序列合成一个扩展序列，以扩展这一个提取的序列到与该序列对的另一序列重叠的重叠区，扩展序列作音高调节使之与该另一序列的激发时刻同步；(b)为重叠区形成该对取出的序列样本与扩展序列样本的加权和。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP95302474 | 1995-04-12 | ||
| EP95302474.2 | 1995-04-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1181149A CN1181149A (zh) | 1998-05-06 |
| CN1145926C true CN1145926C (zh) | 2004-04-14 |
Family
ID=8221165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB961931620A Expired - Fee Related CN1145926C (zh) | 1995-04-12 | 1996-04-03 | 用于语音合成的方法和设备 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US6067519A (zh) |
| EP (1) | EP0820626B1 (zh) |
| JP (1) | JP4112613B2 (zh) |
| CN (1) | CN1145926C (zh) |
| AU (1) | AU707489B2 (zh) |
| CA (1) | CA2189666C (zh) |
| DE (1) | DE69615832T2 (zh) |
| HK (1) | HK1008599A1 (zh) |
| NO (1) | NO974701L (zh) |
| NZ (1) | NZ304418A (zh) |
| WO (1) | WO1996032711A1 (zh) |
Families Citing this family (130)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE509919C2 (sv) * | 1996-07-03 | 1999-03-22 | Telia Ab | Metod och anordning för syntetisering av tonlösa konsonanter |
| US6175821B1 (en) | 1997-07-31 | 2001-01-16 | British Telecommunications Public Limited Company | Generation of voice messages |
| JP3912913B2 (ja) * | 1998-08-31 | 2007-05-09 | キヤノン株式会社 | 音声合成方法及び装置 |
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| EP1319227B1 (en) * | 2000-09-15 | 2007-03-14 | Lernout & Hauspie Speech Products N.V. | Fast waveform synchronization for concatenation and time-scale modification of speech |
| JP2003108178A (ja) * | 2001-09-27 | 2003-04-11 | Nec Corp | 音声合成装置及び音声合成用素片作成装置 |
| GB2392358A (en) * | 2002-08-02 | 2004-02-25 | Rhetorical Systems Ltd | Method and apparatus for smoothing fundamental frequency discontinuities across synthesized speech segments |
| DE60303688T2 (de) * | 2002-09-17 | 2006-10-19 | Koninklijke Philips Electronics N.V. | Sprachsynthese durch verkettung von sprachsignalformen |
| KR100486734B1 (ko) * | 2003-02-25 | 2005-05-03 | 삼성전자주식회사 | 음성 합성 방법 및 장치 |
| US7643990B1 (en) * | 2003-10-23 | 2010-01-05 | Apple Inc. | Global boundary-centric feature extraction and associated discontinuity metrics |
| US7409347B1 (en) * | 2003-10-23 | 2008-08-05 | Apple Inc. | Data-driven global boundary optimization |
| FR2884031A1 (fr) * | 2005-03-30 | 2006-10-06 | France Telecom | Concatenation de signaux |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| WO2011089450A2 (en) | 2010-01-25 | 2011-07-28 | Andrew Peter Nelson Jerram | Apparatuses, methods and systems for a digital conversation management platform |
| ES2382319B1 (es) * | 2010-02-23 | 2013-04-26 | Universitat Politecnica De Catalunya | Procedimiento para la sintesis de difonemas y/o polifonemas a partir de la estructura frecuencial real de los fonemas constituyentes. |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| JP5782799B2 (ja) * | 2011-04-14 | 2015-09-24 | ヤマハ株式会社 | 音声合成装置 |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| CN113470641B (zh) | 2013-02-07 | 2023-12-15 | 苹果公司 | 数字助理的语音触发器 |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| WO2014144949A2 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | Training an at least partial voice command system |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| KR101772152B1 (ko) | 2013-06-09 | 2017-08-28 | 애플 인크. | 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| CN105265005B (zh) | 2013-06-13 | 2019-09-17 | 苹果公司 | 用于由语音命令发起的紧急呼叫的系统和方法 |
| CN105453026A (zh) | 2013-08-06 | 2016-03-30 | 苹果公司 | 基于来自远程设备的活动自动激活智能响应 |
| JP6171711B2 (ja) * | 2013-08-09 | 2017-08-02 | ヤマハ株式会社 | 音声解析装置および音声解析方法 |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| WO2015184186A1 (en) | 2014-05-30 | 2015-12-03 | Apple Inc. | Multi-command single utterance input method |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
| DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| EP3857541B1 (en) * | 2018-09-30 | 2023-07-19 | Microsoft Technology Licensing, LLC | Speech waveform generation |
| CN109599090B (zh) * | 2018-10-29 | 2020-10-30 | 创新先进技术有限公司 | 一种语音合成的方法、装置及设备 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA1261472A (en) * | 1985-09-26 | 1989-09-26 | Yoshinao Shiraki | Reference speech pattern generating method |
| US4820059A (en) * | 1985-10-30 | 1989-04-11 | Central Institute For The Deaf | Speech processing apparatus and methods |
| FR2636163B1 (fr) * | 1988-09-02 | 1991-07-05 | Hamon Christian | Procede et dispositif de synthese de la parole par addition-recouvrement de formes d'onde |
| US5175769A (en) * | 1991-07-23 | 1992-12-29 | Rolm Systems | Method for time-scale modification of signals |
| KR940002854B1 (ko) * | 1991-11-06 | 1994-04-04 | 한국전기통신공사 | 음성 합성시스팀의 음성단편 코딩 및 그의 피치조절 방법과 그의 유성음 합성장치 |
| US5490234A (en) * | 1993-01-21 | 1996-02-06 | Apple Computer, Inc. | Waveform blending technique for text-to-speech system |
| US5787398A (en) * | 1994-03-18 | 1998-07-28 | British Telecommunications Plc | Apparatus for synthesizing speech by varying pitch |
| EP0813733B1 (en) * | 1995-03-07 | 2003-12-10 | BRITISH TELECOMMUNICATIONS public limited company | Speech synthesis |
-
1996
- 1996-04-03 DE DE69615832T patent/DE69615832T2/de not_active Expired - Lifetime
- 1996-04-03 AU AU51596/96A patent/AU707489B2/en not_active Ceased
- 1996-04-03 CN CNB961931620A patent/CN1145926C/zh not_active Expired - Fee Related
- 1996-04-03 WO PCT/GB1996/000817 patent/WO1996032711A1/en active IP Right Grant
- 1996-04-03 NZ NZ304418A patent/NZ304418A/en not_active IP Right Cessation
- 1996-04-03 EP EP96908288A patent/EP0820626B1/en not_active Expired - Lifetime
- 1996-04-03 US US08/737,206 patent/US6067519A/en not_active Expired - Lifetime
- 1996-04-03 JP JP53079896A patent/JP4112613B2/ja not_active Expired - Fee Related
- 1996-04-03 CA CA002189666A patent/CA2189666C/en not_active Expired - Fee Related
-
1997
- 1997-10-10 NO NO974701A patent/NO974701L/no not_active Application Discontinuation
-
1998
- 1998-07-28 HK HK98109487A patent/HK1008599A1/xx not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| US6067519A (en) | 2000-05-23 |
| HK1008599A1 (en) | 1999-05-14 |
| EP0820626B1 (en) | 2001-10-10 |
| CA2189666C (en) | 2002-08-20 |
| JPH11503535A (ja) | 1999-03-26 |
| AU5159696A (en) | 1996-10-30 |
| CA2189666A1 (en) | 1996-10-17 |
| DE69615832D1 (de) | 2001-11-15 |
| JP4112613B2 (ja) | 2008-07-02 |
| WO1996032711A1 (en) | 1996-10-17 |
| NO974701D0 (no) | 1997-10-10 |
| EP0820626A1 (en) | 1998-01-28 |
| AU707489B2 (en) | 1999-07-08 |
| MX9707759A (es) | 1997-11-29 |
| CN1181149A (zh) | 1998-05-06 |
| DE69615832T2 (de) | 2002-04-25 |
| NO974701L (no) | 1997-10-10 |
| NZ304418A (en) | 1998-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1145926C (zh) | 用于语音合成的方法和设备 | |
| CN104347080B (zh) | 语音分析方法和装置、语音合成方法和装置、以及存储语音分析程序的介质 | |
| CN1121679C (zh) | 用于语音合成的运行时声频单元选择方法和系统 | |
| CN1889170A (zh) | 基于录制的语音模板生成合成语音的方法和系统 | |
| JPS62160495A (ja) | 音声合成装置 | |
| CN1179587A (zh) | 具有语音合成所使用的基本频率模板的韵律数据库 | |
| US6950798B1 (en) | Employing speech models in concatenative speech synthesis | |
| Bonada et al. | Sample-based singing voice synthesizer by spectral concatenation | |
| Schnell et al. | Synthesizing a choir in real-time using Pitch Synchronous Overlap Add (PSOLA). | |
| US5808222A (en) | Method of building a database of timbre samples for wave-table music synthesizers to produce synthesized sounds with high timbre quality | |
| JPH0736455A (ja) | 音楽イベントインデックス作成装置 | |
| Smith | Liquidation, Augmentation, and Brahms's Recapitulatory Overlaps | |
| JP3450237B2 (ja) | 音声合成装置および方法 | |
| CN1185619C (zh) | 语音合成方法和语音合成装置 | |
| WO1998021710A1 (fr) | Convertisseur de rapidite de reproduction de sons | |
| US6594631B1 (en) | Method for forming phoneme data and voice synthesizing apparatus utilizing a linear predictive coding distortion | |
| JP3281266B2 (ja) | 音声合成方法及び装置 | |
| CN100343893C (zh) | 用于稳定音信号合成的方法和文本到语音转换的合成系统 | |
| Dutilleux et al. | Time‐segment Processing | |
| Ligges et al. | Package ‘tuneR’ | |
| WO2020217801A1 (ja) | オーディオ情報再生方法および装置、オーディオ情報生成方法および装置、並びにプログラム | |
| JPH11242498A (ja) | 音声のピッチ符号化方法及び音声のピッチ符号化装置並びに音声のピッチ符号化プログラムが記録された記録媒体 | |
| JP2000099009A (ja) | 音響信号の符号化方法 | |
| CN1682281A (zh) | 在语音合成中用于控制持续时间的方法 | |
| JP7183556B2 (ja) | 合成音生成装置、方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20040414 Termination date: 20130403 |