CN104934029B - 基于基音同步频谱参数的语音识别系统和方法 - Google Patents

基于基音同步频谱参数的语音识别系统和方法 Download PDF

Info

Publication number
CN104934029B
CN104934029B CN201510114134.0A CN201510114134A CN104934029B CN 104934029 B CN104934029 B CN 104934029B CN 201510114134 A CN201510114134 A CN 201510114134A CN 104934029 B CN104934029 B CN 104934029B
Authority
CN
China
Prior art keywords
tone color
frame
color vector
phoneme
voice signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510114134.0A
Other languages
English (en)
Other versions
CN104934029A (zh
Inventor
陈成钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Columbia University in the City of New York
Original Assignee
Columbia University in the City of New York
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/216,684 external-priority patent/US8942977B2/en
Application filed by Columbia University in the City of New York filed Critical Columbia University in the City of New York
Publication of CN104934029A publication Critical patent/CN104934029A/zh
Application granted granted Critical
Publication of CN104934029B publication Critical patent/CN104934029B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明定义了一种基于基音同步的语音识别系统和方法。语音信号首先经过一个确定基音周期标志的程序，来标定浊音音段中每一个基音周期的起点。这些基音周期的起点标志被送到一个处理单元，以对整个的语音信号产生出一组完整的分割点。根据分割点，语音信号被分割成与基音同步的而且互不重叠的帧。一个程序把每一帧的两个端点的数值做成等值。使用傅立叶分析，每个帧中的语音信号被转换为基音同步振幅频谱，然后用Laguerre函数把上述基音同步振幅频谱转换成一个代表瞬时音色的单位矢量，称为音色矢量。这些音色矢量然后与数据库中的音色矢量相比，找到最可能的音素序列。然后可能的音素序列被送到语言解码器，找出最可能的文本。

Description

基于基音同步频谱参数的语音识别系统和方法
本专利申请是题为“语音合成系统和方法”的美国专利8719030的部分延续。
技术领域
本发明总体上涉及用基音同步频谱参数自动语音识别，特别是基于音色矢量的方法。
背景技术
语音识别是一个把语音信号转换成文本的自动过程，其中有三个步骤。第一步骤，声学处理，把语音信号转换成某种参数。第二步骤是要从语音信号参数化表示中找到最可能的音素序列。第三步是从可能的音素序列和语言模型找到最可能的单词序列。本发明涉及一种新类型的语音信号参数的化表示和把语音信号转换成这种参数化表示的过程。
在目前的语音识别系统中，语音信号首先被乘以一个移动的处理窗，通常为Hamming窗，其持续时间约25毫秒，每次移位大约10毫秒，以形成一个帧，见图2(A)。从每个帧的语音信号产生一组参数。因此，每10毫秒，有一组代表在25毫秒窗口的持续时间的声音信号的参数产生。最广泛使用的参数表示是线性预测系数(LPC)和Mel倒谱系数(MFCC)。这种方法具有的缺陷：首先，处理窗口的位置与基音周期是无关的。因此，基音信息和频谱信息不能清晰地划分开。第二，因为窗口的持续时间大约是位移时间的2.5倍，一个音素边界总是由两个或三个连接的窗口交叉。换句话说，大量的帧包含有音素边界，见图2(A)。
很多年来，人们知道，基音同步的语音信号参数化是更好的方法。首先把语音信号分割成和基音周期同步而且互不重叠的帧，见图2(B)。对于浊音211，每个帧是单个的基音周期，213。对于清音212，帧214是等分的。为方便起见，对于清音，每帧的时间约等于浊音段的平均基音周期。基音同步参数的优点是：首先，一个单一的帧的语音信号只表示该语音的频谱或音色，从音高脱钩。因此，音色信息和基音信息被干净地分开。第二，因为一个音素边界必须是一个浊音和清音之间边界，或是两个基音周期之间的边界，每个帧的音素是独特的。因此，每一组参数都代表独特的音素。语音识别的准确性可以得到改善。(详细内容见Springer Handbook of Speech Processing,Part E,Springer Verlag2008)。
发明内容
本发明定义了一种基音同步的语音信号参数化表示，并公开了从语音信号生成的上述基音同步参数化表示的方法，特别是音色矢量和产生音色矢量的方法。
本发明的示例性的实施方案参见图1。语音信号首先经过一个确定基音周期标志的程序，来标定浊音音段中每一个基音周期的起点。这些基音周期的起点标志被送到一个处理单元，以对整个的语音信号产生出一组完整的分割点。根据所述分割点，语音信号被分割成与基音同步的而且互不重叠的帧。每一个帧的两个端点的数值可能不同。一个程序把每一帧的两个端点的数值做成等值。使用傅立叶分析，每个帧中的语音信号被转换为基音同步振幅频谱，然后用Laguerre函数把上述基音同步振幅频谱转换成一个代表瞬时音色的单位矢量，称为音色矢量。音色矢量的总和构成语音信号的参数化表示。
语音数据库的形成，是通过一个说话人或者一组说话人朗读一组包含目标语言的所有音素的文本，录制而成。然后把语音信号库转换成音色矢量库。每个音色矢量的音素标识由相关的文本来确定。把平均音色矢量和方差与单独的音素配对起来，形成一个语音数据库。
在语音识别过程中，流入的语音信号首先被转换成音色矢量序列。这些音色矢量然后与数据库中的音色矢量相比，找到最可能的音素序列。然后最可能的音素序列被送到语言解码器，找出最可能的文本。
附图说明
图1是使用基音同步频谱参数的语音识别系统的方框图。
图2阐明了使用重叠和移位处理窗口的现有技术方法与本发明的基音同步信号处理方法之间的根本区别。
图3是用不对称窗查找基音周期标志的实例。
图4是确定基音周期标志的轮廓函数的例子。
图5是一个基音周期标志数目和不对称窗长度的函数关系，用来优化不对称窗口的尺度。
图6是一个均衡基音周期波形两端值的程序。
图7是一个基音周期的振幅频谱，包括原始数据，内插后的数据，与用Laguerre函数展开后再恢复的例子。
图8是的Laguerre函数的曲线图。
图9是接近指数的一个例子。
具体实施方式
下面结合说明书附图与具体实施方式对本发明做进一步的详细说明。
本发明可以在一个或多个处理器和一个或多个存储器单元的计算机系统中实现。根据示例性实施方案，在一个或多个计算机处理器根据编码在计算机中存储的指令执行。
图1是根据本发明的自动语音识别系统的示例性的实例的方框图。输入信号102，通常用PCM(脉码调制)格式，首先与非对称窗101卷积，以产生一个轮廓函数104。如果轮廓函数的峰值105比阈值更大时，其位置就定为一个基音周期标志。这个基音周期标志是对输入语音信号102的浊音部分的帧的端点106。用程序107，这些帧的端点延伸到PCM信号的清音区段和无声区段。一般说来，清音区段和无声区段是以一个恒定的时间间隔来划分，大致等于浊音区段的平均基音周期。由此生成一套完整的帧端点108。用上述帧的端点通过分割器109，PCM信号102被分段成原始帧110。一般情况下，一个原始帧的两端的PCM值不匹配。如果用傅里叶分析这些原始帧，将产生问题。现在，用一个端部匹配过程111施加于每个原始帧，使其两端相等，成为一个连续周期函数的样本，或者说周期帧112。然后，傅立叶分析113被施加到每个周期帧112，以产生振幅傅立叶系数114。根据采样定理，振幅频谱的点的数目是每一帧的点的数目的二分之一。因此，它是一个离散的振幅频谱。使用内插过程115，离散振幅频谱被扩展到全部频率轴上，通常成为512点或1024点，成为一个实际上连续的频谱函数。然后，这个连续谱函数用Laguerre函数117展开，产生一组展开系数。Laguerre展开系数构成这个帧112的音色矢量118。音色矢量118包含该帧的音色的精确信息。通过这述音色矢量，两帧之间的音色距离可以精确地确定。
然后，这些音色矢量118送到语音识别引擎的剩余部分，从119到124。在语音解码器119中，这些音色矢量与包含音素或亚音素单元的相关表的音色矢量数据库相比较。生成一个最可能的音素序列121。最可能的音素序列121被送到语言解码器123，运用语言模型122，以找到最可能的输出文本124。
与现有技术中相比，本发明的根本新颖点在语音信号分成的帧的方式，参考图2(A)。根据现有技术的语音识别系统，语音信号201和202被首先乘以处理窗203。通常为Hamming窗，它的持续时间约25毫秒，每一个移位大约10毫秒，以形成一个帧。从每个窗的语音信号产生的一组参数。因此，对于每个10毫秒，一组代表在25毫秒窗口的持续时间的声音信号的参数产生出来。最广泛使用的参数表示是线性预测系数(LPC)和Mel频率倒谱系数(MFCC)。这种方法具有的缺陷。首先，处理窗口的位置与基音周期是无关的。因此，基音信息和频谱信息不能清晰地划分开。第二，因为窗口的持续时间大约是位移时间的2.5倍，一个音素边界总是由两个或三个连接的窗口交叉。换句话说，大量的帧包含有音素边界，见图2(A)。
本发明开始于一个不同的分割方法。很多年来，人们知道，基音同步的语音信号参数化是更好的方法。首先把语音信号分割成和基音周期同步的帧，见图2(B)。对于浊音211，每个帧是单个的基频周期，213。对于清音212，帧214是等分的。为方便起见，每帧的时间约等于浊音段的平均基因周期。基音同步参数的优点是：首先，一个单一的帧的语音信号只表示该语音的频谱或音色，从音高脱钩。因此，音色信息和基频信息被干净地分开。第二，因为一个音素边界必须是一个浊音和清音之间边界，或是一个基频周期边界，每个帧的音素是独特的。因此，每一个参数都代表独特的音素。语音识别的准确性可以得到改善。(详细内容见Springer Handbook of Speech Processing,Part E,Springer Verlag 2008)。
为了把语音信号分割成基音同步的帧，一种已知的方法是依赖于同时采集的电子声门仪(EGG)信号102。但是，语音识别，绝大多数情况下是没有电子声门仪。然而，为了把语音信号分割成基音同步的帧，并不要求准确的声门闭合瞬间。它仅需要在一个基音周期中找出其中的变化最弱的区段。基于对于波形的观察，我们发现了一种确定在一个音调周期的变化最弱部分的方法。它是基于这样的事实，在一个音调周期的开始时刻，信号的变化是最大的。因此，通过用非对称窗函数w(n)卷积语音信号，见图3，最弱变化的位置可以找到。的非对称窗函数的一个例子是在一个时间间隔中(-N<n<N)由以下公式定义
其中的±符号用于配合PCM信号的极性。如果取正号，则当0<n<N，该值为正。在n＝N，变为零。如果取负号，-N<n<0，在n＝-N，再次变为零。把PCM信号表示为p(n)，卷积后就生成一个轮廓函数
典型的结果示于图4。这里，401是声音信号。402表示每一个基音周期的起点，此处信号变化最强。403是使用非对称窗函数w(n)的所产生的轮廓函数。如图所示，轮廓函数的极大值的位置404就是信号变化最弱之处405。每个音调周期开始于402大的变化的pcm信号的变化逐渐减小，变弱靠近每个基音周期的结束。
为了产生精确的结果，非对称窗函数的尺度N应该被适当地选择。这可以用一个简单的测试来完成：对于一个给定的发言者的一个句子，执行基音周期标志的标定程序。找出基音周期标志的总数与非对称窗函数的尺度N的关系。如果极性是正确的，在很大的窗口尺度范围内，基音周期标志的总数应该是稳定的。图5示出一个典型的结果。501是正确的极性的曲线。当窗口太小，会产生许多虚假基音周期标志。501表示出当窗口尺度是大致正确，502，有一个宽广的窗口尺度，其中的输出是稳定的；在这里，9毫秒至15毫秒。选择12毫秒的窗大小是好的。如果窗口规模过大，503，基音周期标志的数量迅速减少。如果极性不正确，504，对于相对小的窗口尺度，虚假基音周期标志的数目迅速增加。如果极性是错误的，基音周期标志是在一个音调周期的中间。因此，该测试还能够确定正确的极性。
如图4所示，语音信号在两个相邻的基音周期标志上的数值，例如两个相邻405点，可能不匹配。以下是一种用以均衡端点数值的算法。让相邻的两个基音周期标志之间的采样点数量为N，而原来的声音信号是x0(n)。平滑信号x(n)的小间隔0<n<M被定义为
其中M是关于N/10。否则，x(n)＝x0(n)。图6示出一个例子。原始波形的起始点PCM601和PCM终点602不匹配。傅立叶分析会引起错误。把前一个基音周期波形603末端的一小部分和当前的基音周期波形604的前段进行一个线性内插，产生一个新的小部分605，来取代在原始波形的一小部分604，形成右方的波形。新的波形的两端606和607是匹配的。因为端部匹配是在变化微弱区域执行，对频谱干扰是微不足道的。
对于清音区段，参照图2的212。在图2中，信号为了方便而被切割。通常，清音区段和无声区段被分割成大小近似等于在浊音区段的平均基频周期的帧，参见212中所示。同样，终端匹配过程也适用于清音帧。
每一个帧中的波形的两端部相匹配之后，606和607，通过傅立叶分析产生一个振幅频谱，参见图7。由于每一个基频周期的点的数目是有限的，根据采样定理，振幅频谱的点数是基频周期的点数的二分之一，参照图7的701。为了使用数值积分来产生音色矢量，离散点701通过各种方法进行内插，方法包括二次曲线，三次曲线，和惠特克-香农算法。虚线702表示内插后的曲线，是连续频谱。然后，使用Laguerre函数来产生一组Laguerre展开系数，从而构成一个音色矢量。连续振幅频谱可以高精度的从音色矢量复原，703。因此，音色矢量可以高精度的表示振幅频谱，如下所述。
Laguerre函数，如图8，被定义为
其中，k是整数，通常为k＝0，2或4。相关的拉盖尔多项式是
图8的Laguerre函数的参数被调整为频率，801.低阶Laguerre函数都集中在低频区域，802高阶Laguerre函数，在低频区域中，有一个振荡，803；在高频区域，也有宽峰。因此，Laguerre函数非常相似的人耳的频率响应曲线。
振幅频谱可以用Laguerre函数展开，
其中系数由下面的公式计算
其中的常数κ是用来使精度最大化。矢量C的长度是强度参数I，
归一化的Laguerre系数被定义为
cn＝Cn/I.
振幅频谱可以从Laguerre系数恢复。通过使用足够数量的Laguerre系数，量的精度可以无限提高，参照图7的703。
除了归一化的Laguerre系数，完整的音色矢量还可以包括类别指数，指示该帧是浊音或清音；基音周期，特别是浊音；和该帧的强度。这些参数是在解码过程中，119，是有用的。
运用音色矢量的基频同步参数表示每个基音周期的音色。两帧之间的音色距离δ可以被定义为
其中c(1)n和c(2)n是两个音色矢量的元素。实验表明，对于相同的音素(未元音)两个音色矢量，该距离小于0.1。对于不同元音的音色矢量，该距离为0.1至0.6。为一个元音和辅音，该距离就更大了。更方便的参数，音色接近指数，可以定义
P＝-log(δ+ε),
其中ε是一个小的正数(这里ε＝0.1)，以避免无限大。音色接近指数大于如果两个音素都是相似的。图9示出音色接近索引与帧索引的变化的一个例子。显示是三个IPA音素序列，[IAO]。901是P的关于的基音素的变化[I]中，902是P的相对于[A]，和903的基极音素中的变化的P方面的基音素[O的变化]。因此，每个音调周期的音素同一性可以被识别。的高精确度的一种语音识别系统可以基于该方法来构建。
虽然本发明已经经由示例性实施例进行了描述，但是对熟练的技术人员，许多替换，修改和变化是显而易见的。因此，本发明的示例性实施例中，都是说明性的，不是限制性的。在不脱离本发明的精神和范围内，各种改变都可以包括在内。

Claims (10)

1.一种自动语音识别的方法，使用一个或多个处理器，通过以下步骤把语音信号转换成文本：A)把语音信号分割成基音同步帧，其中浊音部分的每个帧是一个基音周期；B)对每一个帧，用端点匹配方法使波形的两端均衡；C)用傅立叶分析生成每个帧的振幅频谱；D)用Laguerre函数把振幅频谱转化成音色矢量；E)进行声学解码，把每个音色矢量与音色矢量数据库进行比较，找到最可能的音素或子音素单元序列；F)进行语言解码，把最可能的音素序列和一个语言模型数据库相比较，找出最可能的文本；其中语音信号的分割是使用非对称窗对语音信号进行分析：a)对于说话者进行测试，找出非对称窗的最佳尺寸；b)把语音信号与该非对称窗进行卷积，形成一个轮廓函数；c)取轮廓函数的最大值所在时间点为分割点；d)把分割点扩展到清音段和无声段。
2.根据权利要求1所述的方法，其特征在于：对于浊音部分，声学解码是通过计算每个音色矢量和在音色矢量数据库中的不同浊音音素的音色矢量之间的音色距离实现的。
3.根据权利要求1所述的方法，其特征在于：对于清音部分，声学解码是通过计算每个音色矢量和在音色矢量数据库中的不同清音音素的音色矢量之间的音色距离实现的。
4.根据权利要求1所述的方法，其特征在于：对于声调语言，不同的声调是通过计算每个帧的长度和帧的长度对时间的斜率实现的。
5.根据权利要求1所述的方法，其特征在于：其中的音色矢量数据库是由以下步骤构成的：由朗读者或若干朗读者朗读准备好的文本，做成录音，该文本包含目标语言的所有音素；把录音中的语音信号分割成基音同步帧，其中浊音部分的每个帧是一个基音周期；对每一个帧，用端点匹配方法使波形的两端均衡；用傅立叶分析生成每个帧的振幅频谱；用Laguerre函数把振幅频谱转化成音色矢量；把准备好的文本分割成音素或子音素单元；把每一个音色矢量与文本中的音素或子音素单元联系起来；收集音色矢量和相应的音素或子音素单元的对，以形成一个数据库。
6.一种自动语音识别的系统，使用一个或多个处理器，通过系统所包括的以下模块把语音信号转换成文本：
语音信号分割模块，用于把语音信号分割成基音同步帧，其中浊音部分的每个帧是一个基音周期；其中语音信号的分割是使用非对称窗对语音信号进行分析，该模块包括：
最佳尺寸确定单元，用于对于说话者进行测试，找出非对称窗的最佳尺寸；
轮廓函数获取单元，用于把语音信号与该非对称窗进行卷积，形成一个轮廓函数；
分割点确定单元，用于取轮廓函数的最大值所在时间点为分割点；
分割点扩展单元，用于把分割点扩展到清音段和无声段；
帧均衡模块，用于对每一个帧，用端点匹配方法使波形的两端均衡；
振幅频谱生成模块，用于用傅立叶分析生成每个帧的振幅频谱；
振幅频谱转化模块，用于用Laguerre函数把振幅频谱转化成音色矢量；
音素查找模块，用于进行声学解码，把每个音色矢量与音色矢量数据库进行比较，找到最可能的音素或子音素单元序列；
文本查找模块，用于进行语言解码，把最可能的音素序列和一个语言模型数据库相比较，找出最可能的文本。
7.根据权利要求6所述的系统，其特征在于：对于浊音部分，声学解码是通过计算每个音色矢量和在音色矢量数据库中的不同浊音音素的音色矢量之间的音色距离实现的。
8.根据权利要求6所述的系统，其特征在于：对于清音部分，声学解码是通过计算每个音色矢量和在音色矢量数据库中的不同清音音素的音色矢量之间的音色距离实现的。
9.根据权利要求6所述的系统，其特征在于：对于声调语言，不同的声调是通过计算每个帧的长度和帧的长度对时间的斜率实现的。
10.根据权利要求6所述的系统，其特征在于：其中的音色矢量数据库是由以下步骤构成的：由朗读者或若干朗读者朗读准备好的文本，做成录音，该文本包含目标语言的所有音素；把录音中的语音信号分割成基音同步帧，其中浊音部分的每个帧是一个基音周期；对每一个帧，用端点匹配方法使波形的两端均衡；用傅立叶分析生成每个帧的振幅频谱；用Laguerre函数把振幅频谱转化成音色矢量；把准备好的文本分割成音素或子音素单元；把每一个音色矢量与文本中的音素或子音素单元联系起来；收集音色矢量和相应的音素或子音素单元的对，以形成一个数据库。
CN201510114134.0A 2014-03-17 2015-03-16 基于基音同步频谱参数的语音识别系统和方法 Expired - Fee Related CN104934029B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/216684 2014-03-17
US14/216,684 US8942977B2 (en) 2012-12-03 2014-03-17 System and method for speech recognition using pitch-synchronous spectral parameters

Publications (2)

Publication Number Publication Date
CN104934029A CN104934029A (zh) 2015-09-23
CN104934029B true CN104934029B (zh) 2019-03-29

Family

ID=54063595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510114134.0A Expired - Fee Related CN104934029B (zh) 2014-03-17 2015-03-16 基于基音同步频谱参数的语音识别系统和方法

Country Status (2)

Country Link
US (1) US9135923B1 (zh)
CN (1) CN104934029B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230018538A (ko) 2017-05-24 2023-02-07 모듈레이트, 인크 음성 대 음성 변환을 위한 시스템 및 방법
JP6904198B2 (ja) * 2017-09-25 2021-07-14 富士通株式会社 音声処理プログラム、音声処理方法および音声処理装置
CN109831275B (zh) * 2017-11-23 2022-11-22 深圳市航盛轨道交通电子有限责任公司 重叠复用信号的波形调制和解调的方法和装置
CN108281150B (zh) * 2018-01-29 2020-11-17 上海泰亿格康复医疗科技股份有限公司 一种基于微分声门波模型的语音变调变嗓音方法
CN108399923B (zh) * 2018-02-01 2019-06-28 深圳市鹰硕技术有限公司 多人发言中发言人识别方法以及装置
US10186247B1 (en) 2018-03-13 2019-01-22 The Nielsen Company (Us), Llc Methods and apparatus to extract a pitch-independent timbre attribute from a media signal
US11270721B2 (en) * 2018-05-21 2022-03-08 Plantronics, Inc. Systems and methods of pre-processing of speech signals for improved speech recognition
CN108831509B (zh) * 2018-06-13 2020-12-04 西安蜂语信息科技有限公司 基音周期的确定方法、装置、计算机设备和存储介质
CN108830232B (zh) * 2018-06-21 2021-06-15 浙江中点人工智能科技有限公司 一种基于多尺度非线性能量算子的语音信号周期分割方法
CN108922549B (zh) * 2018-06-22 2022-04-08 浙江工业大学 一种基于ip对讲系统中音频压缩的方法
CN110654324A (zh) * 2018-06-29 2020-01-07 上海擎感智能科技有限公司 自适应调整车载终端音量的方法及装置
CN109150781A (zh) * 2018-09-04 2019-01-04 哈尔滨工业大学（深圳） 一种基于k-k相干接收的调制格式识别方法
CN110321619B (zh) * 2019-06-26 2020-09-15 深圳技术大学 基于声音数据的参数化定制模型生成方法
US11538485B2 (en) 2019-08-14 2022-12-27 Modulate, Inc. Generation and detection of watermark for real-time voice conversion
US11996117B2 (en) 2020-10-08 2024-05-28 Modulate, Inc. Multi-stage adaptive system for content moderation
KR102576606B1 (ko) * 2021-03-26 2023-09-08 주식회사 엔씨소프트 음색 임베딩 모델 학습 장치 및 방법
CN113409762B (zh) * 2021-06-30 2024-05-07 平安科技（深圳）有限公司 情感语音合成方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917738A (en) * 1996-11-08 1999-06-29 Pan; Cheh Removing the gibbs phenomenon in fourier transform processing in digital filters or other spectral resolution devices
US6311158B1 (en) * 1999-03-16 2001-10-30 Creative Technology Ltd. Synthesis of time-domain signals using non-overlapping transforms
US6470311B1 (en) * 1999-10-15 2002-10-22 Fonix Corporation Method and apparatus for determining pitch synchronous frames
CN102184731A (zh) * 2011-05-12 2011-09-14 北京航空航天大学 一种韵律类和音质类参数相结合的情感语音转换方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2547201A (en) * 2000-01-11 2001-07-24 Matsushita Electric Industrial Co., Ltd. Multi-mode voice encoding device and decoding device
USH2172H1 (en) * 2002-07-02 2006-09-05 The United States Of America As Represented By The Secretary Of The Air Force Pitch-synchronous speech processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917738A (en) * 1996-11-08 1999-06-29 Pan; Cheh Removing the gibbs phenomenon in fourier transform processing in digital filters or other spectral resolution devices
US6311158B1 (en) * 1999-03-16 2001-10-30 Creative Technology Ltd. Synthesis of time-domain signals using non-overlapping transforms
US6470311B1 (en) * 1999-10-15 2002-10-22 Fonix Corporation Method and apparatus for determining pitch synchronous frames
CN102184731A (zh) * 2011-05-12 2011-09-14 北京航空航天大学 一种韵律类和音质类参数相结合的情感语音转换方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jindřich Matoušek.Automatic Pitch-Synchronous Phonetic Segmentation with Context-Independent HMMs.《International Conference on Text》.2009,第178-185页.

Also Published As

Publication number Publication date
CN104934029A (zh) 2015-09-23
US9135923B1 (en) 2015-09-15
US20150262587A1 (en) 2015-09-17

Similar Documents

Publication Publication Date Title
CN104934029B (zh) 基于基音同步频谱参数的语音识别系统和方法
US8818813B2 (en) Methods and system for grammar fitness evaluation as speech recognition error predictor
Raitio et al. HMM-based speech synthesis utilizing glottal inverse filtering
Turk et al. Robust processing techniques for voice conversion
Qian et al. Improved prosody generation by maximizing joint probability of state and longer units
KR20160122542A (ko) 발음 유사도 측정 방법 및 장치
US8942977B2 (en) System and method for speech recognition using pitch-synchronous spectral parameters
CN101312038B (zh) 用于合成语音的方法
Narendra et al. Robust voicing detection and F 0 estimation for HMM-based speech synthesis
Monzo et al. Discriminating expressive speech styles by voice quality parameterization
Jarifi et al. A fusion approach for automatic speech segmentation of large corpora with application to speech synthesis
JP2010060846A (ja) 合成音声評価システム及び合成音声評価方法
Mokhtari et al. Automatic measurement of pressed/breathy phonation at acoustic centres of reliability in continuous speech
Narendra et al. Time-domain deterministic plus noise model based hybrid source modeling for statistical parametric speech synthesis
Nandi et al. Sub-segmental, segmental and supra-segmental analysis of linear prediction residual signal for language identification
Slaney et al. Pitch-gesture modeling using subband autocorrelation change detection.
Stanek et al. Comparison of fundamental frequency detection methods and introducing simple self-repairing algorithm for musical applications
Ninh et al. F0 parameterization of glottalized tones in HMM-based speech synthesis for Hanoi Vietnamese
JP3883318B2 (ja) 音声素片作成方法及び装置
Ericsson Evaluation of an automated formant estimation procedure with optimized formant ceiling
Pyž et al. Modelling of Lithuanian speech diphthongs
JP2017126004A (ja) 音声評価装置、方法、及びプログラム
Sigmund Search for keywords and vocal elements in audio recordings
Tamburini et al. Automatic annotation of speech corpora for prosodic prominence
Chanjaradwichai et al. A multi model HMM based speech synthesis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160315

Address after: American New York

Applicant after: The Trustees of Columbia Univ. in the City of New York

Address before: White City, USA

Applicant before: Chen Chengjun

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190329

Termination date: 20210316