CN1020358C - 声音合成的方法和装置 - Google Patents
声音合成的方法和装置 Download PDFInfo
- Publication number
- CN1020358C CN1020358C CN88102086A CN88102086A CN1020358C CN 1020358 C CN1020358 C CN 1020358C CN 88102086 A CN88102086 A CN 88102086A CN 88102086 A CN88102086 A CN 88102086A CN 1020358 C CN1020358 C CN 1020358C
- Authority
- CN
- China
- Prior art keywords
- circuit
- conducting pipe
- voice conducting
- value
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims description 23
- 238000003780 insertion Methods 0.000 claims description 12
- 230000037431 insertion Effects 0.000 claims description 12
- 239000000203 mixture Substances 0.000 claims description 12
- 238000010189 synthetic method Methods 0.000 claims description 2
- 230000005855 radiation Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 9
- 238000005070 sampling Methods 0.000 description 7
- 230000001052 transient effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 241001676635 Lepidorhombus whiffiagonis Species 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 210000003928 nasal cavity Anatomy 0.000 description 3
- 239000007921 spray Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003254 palate Anatomy 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electrophonic Musical Instruments (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
产生其性质与从具有可变截面面积的自然传音管发出的自然声的性质相似的合成声的声合成方法和装置。自然传音管由串联连接的多个传音管代替,其每个传音管具有可变截面面积。传音管的串联连接由连接在电源电路及声幅射电路间的等效电路代替。等效电路包括与传音管串联连接时的相邻的第一和第二传音管等效的第一和第二电路的并联电路。计算在声幅射电路中流动的电流值以产生与计算值对应的合成声成分。其后在均匀的时间间隔上重复计算以产生合成声。
Description
本发明涉及一种声音合成的方法和装置,该方法和装置产生其性质具有类似如人声、仪器声等的自然声音的性质的合成声音。
声音合成器已被用于产生其性质具有类似于如人声、仪器声等的自然声音的性质的合成声音。特别是大规模集成电路(LSI)领域中技术的发展已可生产出廉价的声音合成器。在这种技术的协同下,如记录/编辑技术和参数选取技术等的不同声音合成技术已被发展以改进合成声音的保真度。记录/编辑技术记录不同人声且编辑所记录的人声从而形成一个所需的语句。在形成人工声频信号的声音合成过程中,参数取选技术从人声中取选参数并且调整所取选的参数。参数取先技术包括能形成一种具有高保真度的声频信号的帕考尔(Parcor)技术。
作为通用的实施方法,人们可采用数字电子计算机对声波进行处理,该计算机以相等的时间间隔对声波进行采样,把采样值转换成数字形式,且把已转换了的数字值存储进计算机的存储器。为了产生具有高保真度的合成声音,这就要求以微小的时间间隔对声波采样并且增加计算机存储器的容量。
不同的编码技术已被发展用以减小产生合成声音所要求的存储容量。例如,人们已采用了一种数字调整编码技术,它通过当估计下一个值大于新值时把一个二进制数的“1”赋予新采样的值,当估计下一个值小于新值时则把一个二进制的“0”赋予新采样的值而对声音进行编码。这种技术被称为估计编码且包括一种基于几个先前采样值进行估计的线性估计技术和一种使用Parcor系数而不是使用在线性
估计技术中的估计系数的Parcor技术。
然而应用这种估计编码技术后,在耦合连接的合成声音时会出现严重的问题。例如,当以这种顺序产生一个元音,一个辅音和一个元音时,在元音之间会产生中断,这样对人会产生不自然或人工的印象。当人工合成仪器声时也会产生类似的问题。
本发明的一个主要目的在于提供一种简单而又廉价的声音合成方法和装置,该方法和装置能产生其性质与具有人声、仪器声等的自然声音性质很相似且在连续合成声音之间设有中断的合成声音。
根据本发明,通过使用具有可变特性阻抗的等效电路对声波穿过具有一个可变截面面积的传音管的方式进行分析,由于该传音管的截面面积反比于该等效电路的特性阻抗,传音管截面面积的变化可通过改变等效电路的特性阻抗进行模拟。通过连续地改变等效电路的特性阻抗可在连续合成声音之间提供平滑的声音耦合。此外,传音管长的变化可通过改变在等效电路中所提供的延迟电路的数目进行模似。
根据本发明,已提供了产生其性质具有类似于自具有一种可变截面面积的自然传音管发出的自然声音的性质的合成声音的声音合成方法和装置。自然传音管可以多根传音管串联的形式代替,其中每根传音管具有一个可变截面面积。串联的传音管可由连接在电源电路和声音辐射电路之间的等电路来代替。等效电路包括等效于串联传音管中的邻近的第一和第二传音管的第一和第二电路的并联电路。每一电路包括输入和输出侧部份,每个部份包括传送电流源和具有其特性阻抗反比于第一传音管截面面积的特性阻抗元件。第二电路包括输入和输出侧部份,每个部份包括传送电流源和具有其特性阻抗反比于第二传音管截面面积的特性阻抗元件。在辐射电路中流中的电流值可被计算出从而产生一个对应于该计算值的合成声音成份。其后,可以相等的时间间隔重复同样的计算从而产生合成声音。
下面我们将参照附图对本发明作详细的描述,其中:
图1A和1B是两种不同声道形式的示意图;
图2是表示用以分析自然传音管的传音模型的两个相邻传音管的透视图;
图3是表示用以分析声波穿过图2中相邻的传音管的方式的相邻的两个电路的电路图;
图4是表示使用在本发明第一实施例中的的一个传音模型的透视图;
图5是表示等效于图4中声音模型的一个电路模型的电路图;
图6是表示等效于图5中电路的一个等效电路的电路图;
图7是用于解释传送至相邻电路的引波和反向波电流的示意图;
图8是用于解释一种方式的电路图,在该方式中可计算出在图7等效电路的第一电路块的特征阻抗元件中流动的电流值;
图9和图10是用于解释根据本发明的第一实施例的完成的声音合成操作的曲线图;
图11是用于解释在声音合在声音合成操作期间所产生的时间延迟的传音模型的示意图;
图12是展示用于图11中传音模型的一个等效电路的电路图;
图13和图14是用于解释根据本发明的第一实施例的修正形式的声音合成操作的曲线图;
图15是表示使用在本发明的第二实施例中的部份传音模式的示意图;
图16是表示图15中的传音模式的等效电路的电路图;
图17是表示本发明的声音合成装置的方框图;
图18是储存在图17的语音参数存储器中的参数表;
图19是表示储存在图17中声源参数存储器中的声波模型的波形示
意图;
图20是运行在声音合成装置中所完成的插入操作的曲线图;
在对本发明的最佳实施例进行描述之前,将根据图1至图4对其原理进行描述以便为更好地理解本发明打下基础。
通常,一个人通过开启和关闭他的声褶以便在其呼吸中产生断续的中止从而产生喷送气从嘴发声。喷送气通过由人的声褶至其嘴的声道从而产生由嘴发出的声音。声褶以声源的形式出现,当人们的声褶处于紧张状态时声源产生脉冲P送至声道。声褶以高频率开启和关闭从而产生一个高频喷气声。喷气声的响度取决于其呼吸的强度。
发自人嘴的声音具有一个复杂的元音波形,该波形中具有由于在喷气声通过人的声道时产生的共鸣,其中一些成份被加强,一些成份被衰减。虽然声音波形不取决于喷气声的波形,但取决于其声道的形状。即声音波形取决于声道的长度和截面面积。如果声道具有相同的形状,发自人嘴的声音谱的包络将实质上相同,而与人的声褶开启和关闭运行的频率和人呼吸的强度无关。因此人的声道形状决定了哪个元音会发自其嘴。例如,当有日文元音(ア)发自人嘴时,人的声道的形状有如图1A所示它在咽喉处有一个风门端且在人嘴唇处有一个宽开口端。当有日文元音(イ)发自人嘴时,他的声道有如图1B所示的形状,它在咽喉处有一个开口端且在他嘴唇处有一个窄开口端。
图2展示了一个传音模型的两个相邻的传音管,它包括能模拟如人声道、仪器声道等的自然声道的多个串联的传音管。第一和第二传音管A1和A2如图所示具有不同的截面面积。穿过第一传音管A1的一部分声波在第一和第二传音管A1和A2之间的界面上进行反射,因界面处有截面面积的变化。反射声波成分被称为反向波,穿过界面至第二传音管A2的声波成分被称为行波。行波和反向波之比由各传音管A1和A2的截面面积S1和S2之比决定;即各传音管A1和
A2声阻抗之比。第一传音管A1的音声导纳Y1给出如下:
Y1=1/Z1=S1/(D×C)
其中Z1是第一传音管A1的音声阻抗,S1是第一传音管A1的截面面积,D是声波穿过的例如空气的密度,C是声波穿过介质的速度。同样地第二传音管A2的声音导纳Y2给出如下:
Y2=1/Z2=S2/(D×C)
其中Z2是第二传音管A2的声音阻抗S2是第二传音管A2的截面面积。因此包括两个相邻传音管A1和A2的传音模型部分的总声导纳给出如下:
Y=Y1+Y2(S1+S2)/(D×C)
实质上这种现象相同于一种暂态现象,它出现在当脉冲电流流经串联的具有不同电阻抗的两根电线的时候。因此,传音模型可由表示在图3中的其等效电路模型部分来代替。等效电路模型部份包括并联的第一和第二电路。第一电路包括输入和输出侧部分,每部分包括一个传送电流源和一个具有反比于第一传音管A1的截面面积的特性阻抗的特性阻抗元件。第二电路包括输入和输出侧部分,每部分包括一个传送电流源和一个具有反比于第二传音管A2的截面面积的特性阻抗的特性阻抗元件。在图3中,标志a1,a2,i1和i2表示流经标有相应的标志的各线路的电流,而此时在电路块中I1和I2值是用于各传送电流源的。标志e表示产生在第一电路的输出侧部分和第二电路的输入侧部分之间的接点处的电压。电压e被表示如下:
e=(1/Y)×(I1+I2)
=[(D×C)×(I1+I2)]×(I1+I2)
电流a1和a2给出如下:
a1=Y1×e
=(Y1/Y)×(I1+I2)
=[S1/(S1+S2)]×(I1+I2)a2=Y2×e
=(Y2/Y)×(I1+I2)
=[S2/(S1+S2)]×(I1+I2)
由于a1=i1+I1和a2=i2+I2,i1=ai-I1和i2=a2-I2,因此,从这个电路传送至第一电路的输入侧部分的电流I1′计算成:
I1′=i1+a1
由于i1=a1-I1,故这种方程可被改写成:
I1′=2×a1-I1
同样从这个电路块传送至第二电路的输出侧部分的电流I2可被计算成:
I2′=i2+a2
由于i2=a2-I1,故这种方程可被改写成:
I2′=2×a2-I1
参见图4,它是一种图示的传音模型,通过它可分析声波穿过自然声道的形式。这个传音模型包括串联的具有可变截面面积的几个传音管A1至An。传音管A1至An如图所示分别具有截面面积S1至Sn。第一传音管A1连接至可产生脉冲P的声源。传音模型可由包括n个串联的电路元件T1至Tn的电路模型代替,其中每个电路元件T1至Tn包括没有电阻的特性阻抗部件,如图5所示,电脉冲P被施加到电路元件T上。由于每个传音管A1至An的截面面积是反比于相应的一个电路中元件T1至Tn的特性阻抗的,故传音管截面面积变化的形式可通过改变相应电路元件的特性阻抗来模拟。此外,施加至第一传音管A1的脉冲P的变化的形式可通过改变施加至第一电路元件T1上的电脉冲P的振幅来模拟。自最后的电路元件Tn输出的电流被用来驱动扬声器等从而产生合成声音。
参阅图6,这是表示图5所示的电路模型的等效电路。该等效电路是连接在电源电路和声辐射电路之间的。在图6中,字符E表示电流,字符ZO表示电源E的阻抗,字符Z1~Zn表示各个电路元件T1~Tn的特性阻抗,字符Z1表示辐射阻抗。特性阻抗Z1、Z2,……Zn与各传音管A1、A2……An的(截面面积成反比,而与声音的速度成正比,它们可表示为Z1=(D×C)/S1、Z2=(D×C)/S2,……Zn=(D×C)/Sn,其中D是空气密度,C是声音的速度,S1是第一传音管A1的横截面面积,S2是第二传音管A2的横截面面积,Sn是最后一个传音管An的横截面面积。字符ioA~i(n-1)A,i1 B~in B和a1 B~an B表示在标有相应字符的各个电路中所流过的电流值。字符Wo A~W(n-1)A和W1 B~Wn B表示各传送电流源。字符IOA~I(n-1)A表示各反向波电流,字符I1 B~In B表示行波电流。
参阅图7。对第一、第二电路元件T1和T2间的连结进行考虑。假定电流源Wo A产生一传送电流I1 B,该电流分成一在第一、第二电路元件T1和T2间的界面上所反射的反射电流i1B以及一透射至第二电路元件T2的透射波电流a1A。同样,假定传送电流源W1 A产生一传送电流I1 A,该电流分成一在第一、第二电路元件T1和T2的界面上所反射的反射波电流i1A和一通过界面透射到第一电路元件T1的透射波电流a1B。这样,电流IOA等于电流i1B和a1B之和,而电流I2 B等于电流i1B和a1A之和。这种考虑也适用于其它各连结处。
如图8所示,包含电源E的第一电路块可被看作分成两个电路。现在假设电源E的电压为E,而电流a1和a2可作如下计算:
a1=E/(ZO+Z1)
a2=IOA×ZO/(ZO+Z1)
这样,电流a就可作如下算出:
a OA=a1+a2
=(E+ZO×IOA)/(ZO+Z1)
如欲发出日语元音[ァ]的声音,需将脉冲P加到声音模型上,其传音管具有几种横截面面积,以模拟出发出语元音[ァ]时的人声道的形状。同样,如欲发出日语元音[イ]的声音,也需将脉冲P加到声音模型上,其传音管具有几种截面面积,以模拟出发出日语元音[イ]时的人声道的形状。
图9表示用于在瞬态中将每个传音管横截面面积随着时间的变化从一个值改变到另一值的线性插入法,在该瞬态中合成的声音从日语元音[ァ]变到日语元音[イ]。这种每个传音管横截面面积的变化可利用逐渐改变每个电路元件的特性阻抗来模拟,以产生介于日语元音[ァ]和[イ]之间的中间音。如图10所示,可有效地在相邻两个合成音之间提供平滑连接。
流经传音模型的声波的速度可利用瞬态现象进行分析,这个瞬态现象是发生在脉冲电流流经-LC电气线路时,如图11所示。图12是相对于图11的LC电气线路的等效电路。从LC电气线路的一端看去的特性阻抗ZO可表示为:
从LC电气线路的另一端看去的特性阻抗可表示为:
则传送电流I1和I2为:
I1=i2×(t-τ)+V2×(T-τ)×(1/Zo2)
I2=i1×(t-τ)+V1×(T-τ)×(1/Zo1)
在每个电路元件T1~Tn的输入侧部分与输出侧部分之间设有
延迟电路Z1~Zn,用以延迟从输出侧部分传到输入侧部分的电流I1和从输入侧部分传到输出侧部分的电流I2。位于输入侧部分与输出侧部分之间的延迟电路的数目要与声波从相应的一个传音管的前端到尾端所需的时间相对应。
声音合成装置采用了数字电子计算机,它包括中央处理单元(CPU)、存储器和数字一模拟转换器(D/A)。计算机存储器包括只读存储器(ROM)和随机存取存储器(RAM)。中央处理单元通过数据总线与其他计算机联通。只读存储器具有运转中央处理单元的程序,还包括要合成的每种声音所需的合适的参数。这些数据包括电源电压E1、E2、……和阻抗Z0、Z1、Z2……Zn和计算机组成相应的合成音的合适的合成音成分值所用的ZL。这些参数是按实验或逻辑方法确定的。例如,从一自然声源产生的声波中按相同间隔采集试样,就可确定出值E1、E2……。而Z1、Z2……Zn可按Z1=(D×C)/S1、Z2=(D×C)/S2,……Zn=(D×C)/Sn确定,其中D是有声波从中经过的介质的密度,C是经过介质的声波速度,S1是第一传音管的横截面面积,S2是第二传音管的横截面面积,Sn是第n个传音管的横截面面积。随机存取存储器包括存储部分,这些存储部分被分给各个传送电流源WOA、W1B、W1A……WnB用来贮存计算的传送电流值IOA、I1B、I1A……InB。利用中央处理单元,周期性地将计算出的合适的合成音成分值输入到数字-模拟转换器中,将这些成分值转换为模拟量形式。数字-模拟转换器产生模拟音频信号送入到声辐射装置中。该声辐射装置包括有一放大器,用来将模拟音频信号放大后驱动喇叭。
当用于计算合适的合成音成分值时数字电子计算机的程序,可从结合图4~图7所作的说明中明显看出。现假设合成音成份的计算完
成后产生一个与包含有喷出音(脉冲P)的与人声音类似的合成音,该喷出音是以可变时间间隔从声源产生的,该间隔例如按发出喷出音的的间隔确定。以相同的100微秒时间间隔完成一个计算循环来开动程序。
为了运行第一个计算循环,在一合适时间t1开始了计算机程序。首先,数字计算机中央处理单元从计算机存储器中读出值E1、IOA、ZO和Z1,并计算出电压为E1时产生的分电流的新值aOA′和iOA′。这些计算运算如下:
aOA′=f(E1,IOA)
=(E1+ZO×IOA)/(ZO+Z1)
iOA′=aOA′-IOA
利用计算出的新的分电流值aOA′和iOA′可计算从第一电路块传到第二电路块的电流的新值I1B′。这个计算运算如下:
I1B′=iOA′+aOA′
在时间t2,数字计算机中央处理单元从计算机存储器中读出值I1 B、I1 A、Z1和Z2,并计算出在第二电路块中产生的分电流的新值a1 B、a1 A′、i1 B′、和i1 A′。t1到t2的时间间隔与声音行波从第一传音管A1的前端走到第二传音管A2的前端所需的时间周期相当。这些计算运算如下:
a1 B′=Z1 B×(I1 B+I1 A)
a1 A′=Z1 A×(I1 B+I1 A)
i1 B′=a1 B′-I1 B
i1 A′=a1 A′-I1 A
式中Z1 B=Z2/(Z1+Z2),Z1 A=Z1/(Z1+Z2)。利用计算出的新的分电流值a1 B′、a1 A′,i1 B′和i1 A′并计算从第二电路块传到第一电路块的电流的新值IOA′,以及从第二电路块
传到第三电路块的电流的新值I2 B′。这些计算运算如下:
IOA′=i1 B′+a1 B′
I2 B′=i1 A′+a1 A′
在时间t3,数字计算机中央处理单元从计算机存储器中读出值I2 B、I2 A、Z2和Z3,并计算在第三电路块中产生的分电流的新值a2 B′、a2 A′,i2 B′和i2 A′。时间t2到t3的时间间隔与声音行波从第二传音管A2的前端传到第三传音管A3的前端所需的时间周期相当。这些计算运算如下:
a2 B′=Z2 B×(I2 B+I2 A)
a2 A′=Z2 A×(I2 B+I2 A)
i2 B′=a2 B′-I2 B
i2 A′=a2 A′-I2 A
式中Z2 B=Z3/(Z2+Z3),Z2 A=Z2/(Z2+Z3)。利用计算出的新的分电流值a2 B′、a2 A′、i2 B′和i2 A′并计算从第三电路块传到第二电路块的电流的新值I1 A′,以及从第三电路块传到第四电路块的电流的新值I3 B′。这些计算运算如下:
I1 A′=i2 B′+a2 B′,
I3 B′=i2 A′+a2 A′
按类似方法可计算其他各电路块。这样,在对应于声音行波到达第n个传音管An的前端的时间的时间tn时,计算机中央处理单元从计算机存储器中读出值I(n-1)B、I(n-1)A、Z(n-1)和Zn,并计算出在第(n-1)个电路块中产生的分电流的新值a(n-1)B′、a(n-1)A′、i(n-1)B′和i(n-1)A′。这些计算运算如下:
a(n-1)B′=Z(n-1)B×(I(n-1)B+I(n-1)A
a(n-1)A′=Z(n-1)A×(I(n-1)B+a(n-1)A
i(n-1)B′=a(n-1)B′-I(n-1)B
i(n-1)A′=a(n-1)A′-I(n-1)A
式中Z(n-1)B=Z(n)/(Z(n-1)+Z(n),Z(n-1)A=Z(n-1)/(Z(n-1)+Z(n))。利用计算出的新的分电流值a(n-1)B′、a(n-1)A′、i(n-1)B′和i(n-1)A′来计算从第(n-1)个电路块传到第(n-2)个电路块的电流的新值I(n-2)A′,以及从第(n-1)个电路块传到第n个电路块的电流的新值In B′。这些计算运算如下:
I(n-2)A′=i(n-1)B′+a(n-1)B′
In B′=i(n-1)A′+a(n-1)A′
在对应于从最合一个传音管An的尾端发出声音行波的时间的时间t(n+1)时,数字计算机的中央处理单元从计算机存储器中读出值In B、Zn和ZL,并计算在第n个电路块中产生的分电流的新值an B′和in B′。这些计算运算如下:
an B′=f(n B)
=In B×Zn/(Zn+ZL)
in B′=an B′ n B
利用计算出的分电流值anB′和inB′来计算从第n个电路块传到第(n-1)个电路块的电流的新值I(n-1)A′。这个计算运算如下:
I(n-1)A′=inB′+anB′
然后,将计算出的新的分电流值inB′送到数字-模拟转换电路,将其转换成模拟量形式。这些计算出的新的传送电流值I1 B′、IOA′、I2 B′……I(n-2)A′、In B′和I(n-1)A′用来更新存储在随机存取存储器中的各个旧值I1 B、IOA、I2 B……I(n-2)A、In B和I(n-1)A。从数字-模拟转换器中将模拟音频信号用来驱动喇叭,由此产生一合成音成分。此后,该程序结束。
由于程序是以相同的100微秒时间间隔开始的,所以在相同的100微秒时间间隔重复类似的各计算循环,要注意的是:在一个计算循环开始时,在紧跟着一个计算循环之后的另一个计算循环中,随机存取存储器部分应存储更新的传送电流值。还需注意的是,当程序进到运行第二计算循环时,数字计算机的中央处理单元应读出电压值E2,以用来计算分电流的新值aOA′和iOA′,而当程序进到运行第i个计算循环时,应读出电压值Ei,以用来计算新值aOA′和iOA′。
正如从前面描述可看出的,图4的传音模型的串接传音管中的相邻的第一、第二传音管Ai和Ai+1,可利用一包括第一、第二电路相并联的等效电路来分析。第一电路包括输入侧和输出侧部分,每个部分包括一传送电流源和一特性阻抗元件,其特性阻抗Zi与第一传音管Ai的横截面面积Si成反比。第二电路包括输入侧和输出侧部分,每个部分包括一传送电流源和一特性阻抗元件,其特性阻抗Zi+1与第二传音管Ai+1的横截面面积Si+1成反比。这样,可对包括第一电路的输出侧部分和第二电路输入侧部分的每个电路块进行计算。首先,要读出下列值:第一电路的输出侧部分的传送电流源的旧的第一值,第二电路的输入侧部分的传送电流源的旧的第二值,与第一电路的输出侧部分的特性阻抗元件有关的第一参数,以及与第二电路的输入侧部分的特性阻抗元件有关的第二参数。接着,根据读得的旧的第一、第二值和第一、第二参数,计算出在第一电路的输出侧部分中流动的分电流值和在第二电路的输入侧部分中流动的分电流值。再根据计算出的分电流值,计算第一电路的输入侧部分的传送电流源的新值和第二电路的输出侧部分的传送电流源的新值。按类似的计算方法可反复计算后面的每个电路块,直至算出流动在辐射电路中的电流值为止。这个计算出的电流值传输到数字-模拟转换器后,即转换
成相应的模拟音频信号。接着,第一电路的输入侧部分的传送电流源的旧值被其算出的新值取代,而第二电路的输出侧部分的传送电流源的旧值也被算出的新值取代。模拟音频信号用来驱动喇叭,以便发出一合成音成分。应知道:第一和第二参数可分别为Si/(Si+Si+1)和Si+1/(Si+Si+1),其中Si是传音管Ai的横截面面积,而Si+1是传音管A的横截面面积。或者,第一和第二参数可分别为ri2/(ri2+ri+12)和ri+12/(ri2+ri+21),其中ri为传音管Ai的半径,及ri+1为传音管Ai+1的半径。
图13表示了一种线性插入情况,该线性插入用于在合成的声音变化的瞬态过程中将传音管的横截面面积相对于时间从一个值改变到另一个值。图14也显示一种线性插入情况,该线性插入用于在合成的声音变化的瞬态过程中将传音管的半径相对于时间从一个值改变到另一个值。在图14中,点划曲线表示在传音管的半径变化的瞬态过程中传音管横截面面积的改变情况。
参见图15,它图示了用于本发明的第二实施例的传音模型,其中考虑到了人的鼻腔。这种传音横型包括彼此串接的传音管A1和A2,以及从传音管A1和A2连接处分叉出来的传音管A3。该分叉传音管A3相当于人的鼻腔。各个传音管A1、A2和A3的声导纳Y1、Y2和Y3给定为:
Y1=S1/(D×C)
Y2=S2/(D×C)
Y3=S3/(D×C)
其中,S1是传音管A1的横截面面积,S2是传音管A2的横截面面积,S3是传音管A3的横截面面积,D是空气密度,C是声速。
该传音模型可由表示在图16中的它的等效电路所代替。现在假定符号I1、I2和I3表示各个传送电流源的旧值。这些旧值以类似
前面所描述的方式从计算机存贮器中读到。符号a1、a2、a3、i1、i2和i3表示在有传送电流I1、I2和I3的情况下,各根标有相应符号的导线中流动的分电流。分电流a1、a2和a3以下式计算:
a1=(I1+I2+I3)×S1/(S1+S2+S3)
a2=(I1+I2+I3)×S2/(S1+S2+S3)
a3=(I1+I2+I3)×S3/(S1+S2+S3)
分电流i1、i2、i3以下式计算:
i1=a1-I1
i2=a2-I2
i3=a3-I3
传送到相邻电路块的电流I1′、I2′和I3′以下式计算:
I1′=i1+a1
I2′=i2+a2
I3′=i3+a3
鼻腔堵塞的状况可由把传音管A3的横截面面积S3减小到零来模拟。通过逐渐变化传音管A3的横截面面积,可以产生混有类似于人的鼻音的成分的合成声音。另外,因为当人的舌头接触腭时声道会分成二个路径,通过应用图15中的传音模型和图16中该模型的等效电路模型,很容易模拟出[1]和[r]的发音。
参见图17,其中表示了本发明的声音合成装置的第三实施例。该声音合成装置包括一个日语处理电路1,日语语句从一个字处理器或类似装置接连地输入该日语处理电路1。假设日语处理电路1中输入有日语语句“SAKURA GA SAITA”,并根据这假设进行说明。日语处理电路1将输入的语句“SAKURA GA SAITA”转换成日语音节[SA]、[KU]、[RA]、[GA]、[SA]、[I]和[TA]。日语处理电路1与语句处理电路2相
耦合,后者给从日语处理电路1馈给的日语语句加上适当的语调。语句处理电路2被耦合到音节处理电路3,音节处理电路3根据在语句处理电路2中加在日语语句上的语调给各个音节[SA]、[KU]、[RA]、[GA]、[SA]、[I]和[TA]加上适当的重音。因为语调由包括声波的音调高低度(Pitch)(重复周期)和能量在内的几个参数决定,给各个音节加上适当的重音等同于确定各个参数的系数。
音节处理电路3被耦合到音素处理电路4,后者又被耦合到音节参数存贮器41。音素处理电路4参照贮存在音节参数存贮器41中的关系将输入的音节分解成音素。该关系确定了输入音节将要被分解成的音素。例如,当音素处理电路4从音节处理电路3接受到音节[SA]后,它把该音节[SA]分解成二个音素[S]和[A]。
音素处理电路4产生分解音素,输入到参数插入电路5。参数插入电路5被耦合到音素参数存贮器51,且也耦合到声源参数存贮器52。音素参数存贮器51贮存了每个音素的音素参数数据。如图18中所示,音素参数数据包括不同的音素参数,该音素参数包括分段时间周期、声波高低度(Pitch)、高低度时间常数、声波能量、能量时间常数、声波模型、传音管横截面面积和音素时间常数,对于预定数(此例中为3个)的时间段O1、O2和O3的每一个时间段都有上述参数,所述时间段O1、O2和O3是由发出诸如[S]或[A]的相应音素的音的时间周期分割而成的。分段时间周期t1、t2和t3代表了相应的时间段O1、O2和O3的时间周期。声波高低度P1、P2和P3代表产生于相应的时间段O1、O2和O3中的声波的高低度。高低度时间常数DP1代表的方式为其中高低度P1从在第一时间段O1开始时所获得的它的初始值变化到在第一时间段O1终止时所获得的它的目标值。高低度时间常数DP2代表的方式为其中高
低度P2从在第二时间段O2开始时所获得的它的初始值变化到在第二时间段O2终止时所获得的它的目标值。高低度时间常数DP3代表的方式为其中高低度P3从当第三时间段O3开始时所获得的它的初始值变化到当第三时间段O3终止时所获得的它的目标值。声波能量E1、E2和E3代表产生于相应时间段O1、O2和O3中的声波的能量。能量时间常数DE1代表的方式为其中能量E1从在第一时间段O1开始时所获得的它的初始值变化到在第一时间段O1,终止时所获得的它的目标值。能量时间常数DE2代表的方式为其中能量E2从在第二时间段O2开始时所获得的它的初始值变化到在第二时间段O2结束时所获得的它的目标值。能量时间常数DE3代表的方式为其中能量E3从在第三时间段O3开始时所获得的它的初始值变化到在第三时间段O3结束时所获得的它的目标值。声波模型G1、G2和G3代表产生于相应的时间段O1、O2和O3中的声波的模型。传音管横截面面积A1-1、A2-1、…、A17-1代表第一时间段O1中的第一、第二、…、第十七传音管的横截面面积。在第二时间段O2中第一传音管的横截面面积从值A1-1变化到值A1-2,在第三时间段O3中则变化到A1-3。在第二时间段O2中第二传音管的横截面面积从值A2-1变化到值A2-2,在第三时间段中则变化到值A2-3。类似地,在第二时间段O2中第十七传音管的横截面面积从值A17-1变化到值A17-2,在第三时间段O3中则变化到值A17-3。应该注意到,在图示的情况中传音模型含有17个传音管,以模拟具有大致17cm长度的人的声道。
声源参数存贮器52中存贮了声源参数数据。声源参数数据包括以相等的时间间隔从第一声波模型G1抽样所获得的100个值、以相等的时间间隔从第二声波模型G2抽样所获得的100个值和以相等的时间间隔从第三声波模型G3抽样所获得的100个值,如图19所示。
参数插入电路5在每个时间段O1、O2、和O3中对每个参数进行预定数量的插入(此例为n个),其中所述参数包括声波高低度、声波能量和传音管的横截面面积。现在假定Xo是在一个时间段中的一个参数的初始值,Xr是在该时间段中的该参数的目标值,D是该参数的时间常数,则第n个插入值X(n)给出为:
X(n)=D×(Xr-X(n-1))+X(n-1)
该等式从下一方程式中导出:
X=Xr-e-Dt
此方程式的两边都进行微分,得到:
d X/dt=De-Dt
d X=X(n+1)-X(n)=dt×De-Dt(n)
=dt×D×(Xr-X(n))
该方程式改写为:
X(n+1)=dt×D×{Xr-X(n)}+X(n)
因为插入以相等的时间间隔进行,dt×D可用D代替,从而获得:
X(n)=D×(Xr-X(n-1))+X(n-1)
举例说,在第一时间段O1中对高低度参数的插入进行如下:因为该高低度参数的初始值Xo为P1,该高低度参数的目标值Xr为P2,该高低度参数的时间常数D为DP1,所以第一插入值P(1)计算为:
P(1)=DP1×{Xr-P(1)}+P(o)
=DP1×(P2-P1)+P1
第n个插入值X(n)计算为:
P(n)=DP1×{P2-P(n-1)}+P(n-1)
如图20中所示,这些插入值P(1)、P(2)、P(n)、P(n+1)和P2位于曲线P=P2-e-Dt上。
在图17中,参考号6指采用数字计算机的计算电路。该计算电路
6从插入电路5接收抽样插入数据,以相等的时间间隔,例如100微秒,计算出声幅射电路中流动的电流inB的数字值。计算出的数字值传送到数-模转换器(D/A)7,后者将该数字值转换成对应的模拟音频信号。模拟音频信号用来驱动扬声器8,后者因此产生合成声音成分。
Claims (16)
1、一种产生其性质与从具有可变截面面积的自然传音管所发出的自然声音的性质相似的合成声音的声音合成方法,其特征在于:
自然传音管由串联连接的多个传音管所代替,其每个传音管都,具有可变截面面积;
传音管的串联连接由连接在电源电路及声幅射电路之间的等效电路所代替,等效电路包括与串联的传音管中的相邻的第一和第二传音管等效的第一电路和第二电路的并联电路,第一电路包括输入和输出侧部分,其中每个部分包括传送电流源和具有与第一传音管的截面面积成反比的特性阻抗的特性阻抗元件,第二电路包括输入和输出侧部分,其中每个部分包括传送电流源和具有与第二传音管的截面面积成反比的特性阻抗的特性阻抗元件;及
合成方法包括的各步骤为:
计算在声幅射电路中流动的电流值,产生对应于该计算值的合成声音成分,及其后在相等的时间间隔上连续地重复以上的步骤顺序以便产生合成声音。
2、如权利要求1所述的声音合成方法,其特征在于计算在声幅射电路中流动的电流值的步骤包括:
读出第一电路的输出侧部分的传送电流源的旧第一值、第二电路的输入侧部分的传送电流源的旧第二值、与第一电路的输出侧部分的特性阻抗元件有关的第一参数、及与第二电路输入侧部分的特性阻抗元件有关的第二参数;
在读出旧第一值和旧第二值及读出第一参数和第二参数的基础上计算在第一电路的输出侧部分中流动的分电流值及在第二电路的输入侧部分中流动的分电流值;
在计算出的分电流值的基础上计算第一电路的输入侧部分的传送电流源的新值和第二电路的输出侧部分的传送电流源的新值;及
用其计算出的新值更新第一电路的输入侧部分的传送电流源的旧值及用其计算出的新值更新第二电路的输出侧部分的传送电流源的旧值。
3、如权利要求2所述的声音合成方法,其特征在于第一参数和第二参数分别以Si/(Si+Si+1)及Si+1/(Si+Si+1)给出,其中Si为第一传音管的截面面积及Si+1为第二传音管的截面面积。
4、如权利要求2所述的声音合成方法,其特征在于第一参数和第二参数分别以ri2/(ri2+ri+12)和ri+12/(r2+ri+12)给出,其中ri是第一传音管的半径及ri+1是第二传音管的半径。
5、如权利要求1所述的声音合成方法,其特征在于自然传音管的分叉部分由从传音管串联连接时的相邻的第四传音管和第五传音管之间的连接处分叉的第三传音管代替,及其中等效电路包括与第三传音管、第四传音管和第五传音管等效的第三电路、第四电路和第五电路的并联连接电路,第三电路与声幅射电路相连,第三电路包括输入侧部分和输出侧部分,其中每个部分包括传送电流源和具有与第三传音管的截面面积成反比的特性阻抗的特性阻抗元件,第四电路包括输入侧部分和输出侧部分,其中每个部分包括传送电流源和具有与第四传音管的截面面积成反比的特性阻抗的特性阻抗元件,及第五电路包括输入侧部分和输出侧部分,其中每个部分包括传送电流源和具有与第五传音管的截面面积成反比的特性阻抗的特性阻抗元件。
6、如权利要求1所述的声音合成方法,其特征在于使用在预定数目的时间段中的每一时间段中所插入的参数来计算在声幅射电路上流动的电流值,其中时间段是由发出语音的声音的时间周期划分而成的。
7、如权利要求6所述的声音合成方法,其特征在于参数按下列方程式插入:
X(n)=D×〔Xr-X(n-1)〕+X(n-1)
其中X(n)是参数的第n个插入值,Xr是参数的目标值,及D为参数的时间常数。
8、如权利要求6所述的声音合成方法,其特征在于参数包括传音管截面面积,声波能量及声波音调的高低度。
9、一种产生其性质与从具有可变截面面积的自然传音管所发出的自然声音的性质相似的合成声音的声音合成装置,其特征在于:
自然传音管由串联连接的多个传音管所代替,其每个传音管都具有可变截面面积;
传音管的串联连接由连接在电源电路及声幅射电路之间的等效电路所代替,等效电路包括与传音管串联连接时的相邻的第一和第二传音管等效的第一电路和第二电路的并联连接电路,第一电路包括输入和输出侧部分,其中每个部分包括传送电流源和具有与第一传音管的截面面积成反比的特性阻抗的特性阻抗元件,第二电路包括输入和输出侧部分,其中每个部分包括传送电流源和具有与第二传音管的截面面积成反比的特性阻抗的特性阻抗元件;及
声音合成装置包括以相等的时间间隔计算在声幅射电路中流动的电流值的装置,及反复地产生对应于计算值的合成声音成分以产生合成声音的装置。
10、如权利要求9所述的声音合成装置,其特征在于计算在声幅射电路中流动的电流值的装置包括:
读出第一电路的输出侧部分的传送电流源的旧第一值、第二电路的输入侧部分的传送电流源的旧第二值、与第一电路的输出侧部分的特性阻抗元件有关的第一参数、及与第二电路的输入侧部分的特性阻抗元件有关的第二参数的装置;
在读出旧第一值和旧第二值及读出第一参数和第二参数的基础上计算在第一电路的输出侧部分中流动的分电流值和在第二电路的输入侧部分中流动的分电流值的装置;
在计算出的分电流值的基础上计算第一电路的输入侧部分的传送电流源的新值和第二电路输出侧部分的传送电流源的新值的装置;及
用其计算出的新值更新第一电路的输入侧部分的传送电流源的旧值,并用其计算出的新值更新第二电路的输出侧部分的传送电流源的旧值的装置。
11、如权利要求10所述的声音合成装置,其特征在于第一参数和第二参数分别以Si/(Si+Si+1)及Si+1/(Si+Si+1)给出,其中Si是第一传音管的截面面积及Si+1是第二传音管的截面面积。
12、如权利要求10的声音合成装置,其特征在于第一参数和第二参数分别以ri2/(ri2+ri+12)和ri+12/(ri2+ri+12)给出,其中ri为第一传音管的半径,ri+1为第二传音管的半径。
13、如权利要求9所述的声音合成装置,其特征在于自然传音管的分叉部分由从传音管串联连接时的相邻的第四传音管和第五传音管之间的连接处分叉的第三传音管代替,及其中等效电路包括与第三传音管、第四传音管和第五传音管等效的第三电路、第四电路和第五电路的并联连接电路,第三电路与声幅射电路相连,第三电路包括输入侧部分和输出侧部分,其中每个部分包括传送电流源和具有与第三传音管的截面面积成反比的特性阻抗的特性阻抗元件,第四电路包括输入侧部分和输出侧部分,其中每个部分包括传送电流源和具有与第四传音管的截面面积成反比的特性阻抗的特性阻抗元件,及第五电路包括输入侧部分和输出侧部分,其中每个部分包括传送电流源和具有与第五传音管的截面面积成反比的特性阻抗的特性阻抗元件。
14、如权利要求9所述的声音合成装置,其特征在于包括在预定数目的时间段中的每一时间段中插入参数的装置,其中时间段是由发出语音的音的时间周期划分而成的;及根据插入参数计算在声幅射电路中流动的电流值的装置。
15、如权利要求14所述的声音合成装置,其特征包括根据下列方程式插入参数的装置:
X(n)=D×〔Xr-X(n-1)〕+X(n-1)
其中X(n)为参数的第n个插入值,Xr为参数的目标值,及D为参数的时间常数。
16、如权利要求14中所述的声音合成装置,其特征在于参数包括传音管的截面面积,声波能量及声波音调的高低度。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP91705/87 | 1987-04-14 | ||
JP62091705A JPH0833747B2 (ja) | 1987-04-14 | 1987-04-14 | 音合成方法 |
JP62148184A JPH0833748B2 (ja) | 1987-06-15 | 1987-06-15 | 音合成方法 |
JP148184/87 | 1987-06-15 | ||
JP62148185A JPH0833749B2 (ja) | 1987-06-15 | 1987-06-15 | 音合成方法 |
JP148185/87 | 1987-06-15 | ||
JP335476/87 | 1987-12-28 | ||
JP62335476A JPH0833752B2 (ja) | 1987-12-28 | 1987-12-28 | 音声合成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN88102086A CN88102086A (zh) | 1988-11-09 |
CN1020358C true CN1020358C (zh) | 1993-04-21 |
Family
ID=27467940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN88102086A Expired - Fee Related CN1020358C (zh) | 1987-04-14 | 1988-04-14 | 声音合成的方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US5097511A (zh) |
EP (1) | EP0287104B1 (zh) |
KR (1) | KR970011021B1 (zh) |
CN (1) | CN1020358C (zh) |
CA (1) | CA1334868C (zh) |
DE (1) | DE3866926D1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5522013A (en) * | 1991-04-30 | 1996-05-28 | Nokia Telecommunications Oy | Method for speaker recognition using a lossless tube model of the speaker's |
FI91925C (fi) * | 1991-04-30 | 1994-08-25 | Nokia Telecommunications Oy | Menetelmä puhujan tunnistamiseksi |
US5748838A (en) * | 1991-09-24 | 1998-05-05 | Sensimetrics Corporation | Method of speech representation and synthesis using a set of high level constrained parameters |
US5528726A (en) * | 1992-01-27 | 1996-06-18 | The Board Of Trustees Of The Leland Stanford Junior University | Digital waveguide speech synthesis system and method |
FI96247C (fi) * | 1993-02-12 | 1996-05-27 | Nokia Telecommunications Oy | Menetelmä puheen muuntamiseksi |
US5832434A (en) * | 1995-05-26 | 1998-11-03 | Apple Computer, Inc. | Method and apparatus for automatic assignment of duration values for synthetic speech |
US6895375B2 (en) | 2001-10-04 | 2005-05-17 | At&T Corp. | System for bandwidth extension of Narrow-band speech |
US6988066B2 (en) * | 2001-10-04 | 2006-01-17 | At&T Corp. | Method of bandwidth extension for narrow-band speech |
US20040225500A1 (en) * | 2002-09-25 | 2004-11-11 | William Gardner | Data communication through acoustic channels and compression |
-
1988
- 1988-04-13 CA CA000564051A patent/CA1334868C/en not_active Expired - Fee Related
- 1988-04-14 CN CN88102086A patent/CN1020358C/zh not_active Expired - Fee Related
- 1988-04-14 KR KR88004224A patent/KR970011021B1/ko not_active IP Right Cessation
- 1988-04-14 DE DE8888105993T patent/DE3866926D1/de not_active Expired - Fee Related
- 1988-04-14 EP EP88105993A patent/EP0287104B1/en not_active Expired - Lifetime
-
1990
- 1990-06-20 US US07/540,864 patent/US5097511A/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP0287104A1 (en) | 1988-10-19 |
US5097511A (en) | 1992-03-17 |
KR970011021B1 (en) | 1997-07-05 |
DE3866926D1 (de) | 1992-01-30 |
KR880013115A (ko) | 1988-11-30 |
CA1334868C (en) | 1995-03-21 |
CN88102086A (zh) | 1988-11-09 |
EP0287104B1 (en) | 1991-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1152365C (zh) | 音调跟踪装置和方法 | |
CN1383129A (zh) | 波形产生方法和装置 | |
CN1020358C (zh) | 声音合成的方法和装置 | |
CN108053814B (zh) | 一种模拟用户歌声的语音合成系统及方法 | |
CN1238058A (zh) | 语音处理系统 | |
CN1275746A (zh) | 使用神经网络变换文本为声频信号的设备 | |
JP5194197B2 (ja) | 声質変換システム、声質変換装置及びその方法、声道情報生成装置及びその方法 | |
JPS60186000A (ja) | テキストを音声スピ−チに変換する装置 | |
CN101051459A (zh) | 基频和停顿预测及语音合成的方法和装置 | |
JPWO2004049304A1 (ja) | 音声合成方法および音声合成装置 | |
CN1227647C (zh) | 语音识别装置和语音识别方法 | |
CN1032391C (zh) | 基于波形编辑的汉语文字-语音转换方法及系统 | |
CN1581290A (zh) | 歌唱声音合成方法 | |
TWI765541B (zh) | 語音合成配音系統 | |
JP2990691B2 (ja) | 音声合成装置 | |
CN1547192A (zh) | 一种声音合成方法 | |
Bradford | Vocal resonance: Optimising source-filter interactions in voice training | |
JPH0833749B2 (ja) | 音合成方法 | |
JPH01185700A (ja) | 音声合成方法 | |
JP2992995B2 (ja) | 音声合成装置 | |
TWM655296U (zh) | 經由特徵向量權重調控韻律的語音合成系統 | |
JPH01171000A (ja) | 音声合成方式 | |
CN1629933A (zh) | 用于双语连接语音合成的声单元 | |
JPH0833750B2 (ja) | 音声合成方法 | |
JPH01219896A (ja) | 音声合成方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |