CN105845131A - 远讲语音识别方法及装置 - Google Patents
远讲语音识别方法及装置 Download PDFInfo
- Publication number
- CN105845131A CN105845131A CN201610219407.2A CN201610219407A CN105845131A CN 105845131 A CN105845131 A CN 105845131A CN 201610219407 A CN201610219407 A CN 201610219407A CN 105845131 A CN105845131 A CN 105845131A
- Authority
- CN
- China
- Prior art keywords
- far
- phonetic entry
- closely
- user
- mapping matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 114
- 239000011159 matrix material Substances 0.000 claims abstract description 74
- 238000012360 testing method Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 58
- 230000007613 environmental effect Effects 0.000 claims description 40
- 238000007476 Maximum Likelihood Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000009432 framing Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 210000001260 vocal cord Anatomy 0.000 description 5
- 238000005311 autocorrelation function Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012417 linear regression Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 210000004704 glottis Anatomy 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/065—Adaptation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Telephonic Communication Services (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例提供一种远讲语音识别方法及装置。获取用户远讲语音输入的测试远讲语音帧,调用预先训练的近讲语音模型识别所述测试远讲语音帧并得到初识结果;根据所述初识结果计算当前环境下所述远讲语音输入与近讲语音输入的环境特征映射矩阵;检测到用户的远讲语音输入时,根据所述环境特征映射矩阵将所述远讲语音输入映射至对应的近似近讲语音输入;调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到远讲语音识别结果。实现了高正确率的远讲语音识别。
Description
技术领域
本发明实施例涉及语音识别技术领域,尤其涉及一种远讲语音识别方法及装置。
背景技术
近些年来,语音识别技术取得了显著进步,并且越来越多的从实验室走向市场,走进人们的生活。语音识别听写机在一些领域的应用被美国新闻界评为1997年计算机发展十件大事之一。未来10年内,语音识别技术将进入工业、家电、通信、汽车电子、医疗、家庭服务、消费电子产品等各个领域。
语音识别技术所涉及的领域包括:信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。与机器进行语音交流,让机器明白人们的说话目的,这对于生活在机械化时代的我们而言,能够大幅提升生活质量。
目前,市场上出现了许多智能的能够通过语音进行控制的电视。一种方式是在智能手机上安装APP,然后将指令发送到特定的遥控器,遥控器再将指令转换成红外遥控信号,这种方式可以实现对普通电视的遥控。还有一种方式是在遥控器内置一个收音的设备,它可以收录用户发出的语音命令,然后将用户的语音命令发送至电视进行语义解析,然后通过语义解析的结果控制电视机的各种服务。
然而,对于在智能手机上安装APP对电视进行遥控的方法,其步骤繁琐,尤其对于不会操控智能手机的老人和孩子而言,这种方式并没有带来明显的优势;对于在遥控器内置一个收音设备对电视进行遥控的方法,就生活体验而言,很多电视用户都是遥控器随手放置,对于有儿童的家庭更是如此,小孩子也许恶作剧藏起遥控器导致遥控器,从而导致经常找不到遥控器去了哪里。对于行动不便和健忘的老人而言,通过遥控器控制电视更加显得不方便。
若是不使用遥控器,将收音设备内嵌在电视内部采集用户发出的语音命令,则由于声波信号在室内遇到墙壁易发生反射造成混响,且周围环境难免会有噪声,导致远距离讲话语音识别的正确率低,用户体验不佳。
综上,一种新的语音识别的方法及装置亟待提出。
发明内容
本发明实施例提供一种远讲语音识别方法及装置,用以解决现有技术中远讲语音识别易受环境影响而识别率低缺陷,提高了远讲语音识别的正确率。
本发明实施例提供一种远讲语音识别方法,包括:
获取用户远讲语音输入的测试远讲语音帧,调用预先训练的近讲语音模型识别所述测试远讲语音帧并得到初识结果;
根据所述初识结果计算当前环境下所述远讲语音输入与近讲语音输入的环境特征映射矩阵;
检测到用户的远讲语音输入时,根据所述环境特征映射矩阵将所述远讲语音输入映射至对应的近似近讲语音输入;
调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到远讲语音识别结果。
本发明实施例提供一种远讲语音识别装置,包括:
信号获取模块,用于获取用户远讲语音输入的测试远讲语音帧,调用预先训练的近讲语音模型识别所述测试远讲语音帧并得到初识结果;
训练模块,用于根据所述初识结果计算当前环境下所述远讲语音输入与近讲语音输入的环境特征映射矩阵;
映射模块,用于检测到用户的远讲语音输入时,根据所述环境特征映射矩阵将所述远讲语音输入映射至对应的近似近讲语音输入;
识别模块,用于调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到远讲语音识别结果。
本发明实施例提供的远讲语音识别方法及装置,根据预先训练得到的近讲语音模型对用户的远讲输入进行识别得到初步的识别结果,再根据初步的识别结果计算得到当前环境下远讲输入与近讲输入的环境映射关系,改变了现有技术中进行远讲语音识别时,声波在环境中进行反射以及环境噪声引起的语音识别正确率低的问题,实现远讲语音的高识别率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例一的技术流程图;
图2-1为本申请实施例二的技术流程图;
图2-2为本申请实施例二的另一技术流程图;
图3为本申请实施例三的装置结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本申请实施例一的技术流程图,结合图1,本申请一种远讲语音识别方法,可由如下步骤实现:
步骤S110:获取用户远讲语音输入的测试远讲语音帧,调用预先训练的近讲语音模型识别所述测试远讲语音帧并得到初识结果;
步骤S120:根据所述初识结果计算当前环境下所述远讲语音输入与近讲语音输入的环境特征映射矩阵;
步骤S130:检测到用户的远讲语音输入时,根据所述环境特征映射矩阵将所述远讲语音输入映射至对应的近似近讲语音输入;
步骤S140:调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到远讲语音识别结果。
本申请实施例的远讲语音识别方法,其对应的远讲语音识别设备可以内置于不依托于遥控器的电视、车载设备等,用于实现远距离语音输入信号的识别。以下部分,将以电视进行举例,但是应当理解,本申请实施例的技术方案的应用并不仅限于此。
具体的,在步骤S110中,用户直接对着电视进行语音命令的发送,例如:我想看芈月传。但是,用户和电视之间存在一定的距离,声波在传输的过程中可能会有一定程度上的衰减;另外,受限于电视所处的环境,例如,用户家里的客厅,有墙壁以及各种家具对声波有较强的反射,从而造成到达电视的声音混响和噪声比较大。因此,对于用户的语音指令“我想看芈月传”,“我想看”三个字在汉语习惯中出现较多,因此即使在混响和噪声大的情境下语音识别率也比较高,但是“芈月传”三个字较为生僻,可能存在识别困难。
因为语音信号是准稳态信号,在处理时常把信号分帧,每帧长度约20ms-30ms,在这一区间内把语音信号看作为稳态信号。只有稳态的信息才能进行信号处理,所以要先分帧。本申请实施例中,可采用语音分帧的函数将语音信号分帧,例enframe等。
本申请实施例中,所述近讲语音模型是预先通过采集一定数量的近讲语音信号进行训练的,所述近讲语音信号,即近距离语音输入信号,其信号失真度小且包含的噪声数据较小,采用近讲语音样本训练出的语音模型几乎不参杂环境因素。然而,若是采集远讲语音输入的样本训练远讲语音模型,将面临这样一个问题,即,每个用户说话的环境不同,对语音信号的干扰是不同的,若是采用同样一个语音输入环境采集远讲语音样本会导致训练出的远讲语音模型在面临不同的说话环境时,语音识别率难以提高。因此,本申请实施例中,预先训练一个不带噪声且不带衰减干扰的语音模型,即近讲语音模型,再通过每个用户在不同说话环境中发出的语音信号来修正所述近讲语音模型的模型参数,从而得到一个能够自适应用户说话环境的语音模型。这个语音模型包含了用户说话环境的因素,因此,能极大提高远讲语音识别的正确率。
具体的,所述近讲语音模型的训练可以采用混合高斯模型法或者隐马尔科夫模型法。本发明实施例中,近讲语音模型的训练可以采用HMM,GMM-HMM,DNN-HMM等。
HMM(Hidden Markov Model),即隐马尔可夫模型。HMM是马尔可夫链的一种,它的状态不能直接观察到,但能通过观测向量序列观察到,每个观测向量都是通过某些概率密度分布表现为各种状态,每一个观测向量是由一个具有相应概率密度分布的状态序列产生。所以,隐马尔可夫模型是一个双重随机过程----具有一定状态数的隐马尔可夫链和显示随机函数集。自20世纪80年代以来,HMM被应用于语音识别,取得重大成功。HMM语音模型λ(π,A,B)由起始状态概率(π)、状态转移概率(A)和观测序列概率(B)三个参数决定。π揭示了HMM的拓扑结构,A描述了语音信号随时间的变化情况,B给出了观测序列的统计特性。
GMM为混合高斯模型,DNN为深度神经网络模型。GMM-HMM和DNN-HMM都是基于HMM的变形,由于这三种模型都是非常成熟的现有技术且并非本发明实施例保护重点,此处将不再赘述。
基于上述已经训练好的近讲语音模型,本申请实施例根据用户在特定环境下的测试远讲语音输入,得到一个初识结果。其中,所述测试远讲语音输入可以是用户在第一次使用语音识别设备时,由设备向用户提示输入的,也可以是用户发起开机指令时获取的。获取用户的测试远讲语音输入,其目的在于,从测试远讲语音输入中,获取发起语音输入的用户所在的环境,并将这一环境因素考虑到远讲语音识别的过程中,提高远讲语音识别的环境自适应性。
具体的,步骤S120包括:根据所述初识结果计算当前环境下所述远讲语音输入与近讲语音输入的环境特征映射矩阵;
本申请实施例根据用户在特定环境下的远讲语音输入的初识结果,采用最大似然线性回归法计算所述远讲语音输入与近讲语音输入的环境特征映射矩阵。
最大似然线性回归法MLLR(Mxium Likelihood Linear Regression)的方法是求得一组线性变换,通过这组变换,使自适应数据的似然函数最大化。例如,在HMM系统中,MLLR方法待变换的参数一般是状态层的GMM的均值;在随机段模型中待变换的参数是域模型的均值向量。变换过程可以简单地表示如下:
u^=Au+b=Wξ
其中,u表示域模型自适应前的维数为D的均值向量,u^为自适应后的均值向量,ξ是u的扩展向量[1,u’]’,W即为所求的D×(D+1)线性变换矩阵。
由于最大似然线性回归法是成熟的现有技术,本步骤中不再赘述。
具体的,在步骤S130中,根据上一步骤中训练得到的环境特征映射矩阵,将用户的远讲语音输入映射至相应的近似近讲输入。
具体的,在步骤S140中,根据上一步骤中获取的近似近讲语音输入,采用近讲语音模型进行识别。
本申请实施例中,在步骤S140之后,进一步还包括可选步骤S150:
步骤S150:对所述环境映射矩阵进行迭代更新。
本步骤中,进一步对训练出的所述环境特征映射矩阵进行迭代训练,从而得到更加稳定、更加适应用户语言环境的映射关系,从而进一步保证远讲语音识别的正确性。迭代训练的具体算法如下所述:
S151:检测到用户的远讲语音输入时,调用所述环境特征映射矩阵将所述远讲语音输入映射至对应的所述近似近讲语音输入;
S152:调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到初识结果;
S153:根据所述初识结果,采用最大似然线性回归法计算所述远讲语音输入与近讲语音输入之间的环境映射关系,并根据所述映射关系更新所述环境特征映射矩阵。
每一次检测到用户的远讲语音输入后,都进行一次环境特征映射矩阵更新,直至所述环境特征映射矩阵趋于稳定。
本实施例中,根据预先训练得到的近讲语音模型对用户的远讲输入进行识别得到初步的识别结果,再根据初步的识别结果计算得到当前环境下远讲输入与近讲输入的环境映射关系,改变了现有技术中进行远讲语音识别时,声波在环境中进行反射以及环境噪声引起的语音识别正确率低的问题,实现远讲语音的高识别率。
图2-1以及图2-2是本申请实施例二的技术流程图,结合图2-1,本申请实施例一种远讲语音识别方法还有如下可选的实施步骤:
步骤S210:提取所述用户的声学特征,判断所述用户所属的声学分组;
步骤S220:调用预先训练的所述声学分组的属性特征映射矩阵将所述远讲语音输入映射至对应的近似近讲语音输入;
步骤S230:调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到远讲语音识别结果。
具体的,在步骤S210中,提取到用户的声学特征后,与预先分类好的声学分组进行匹配,判断用户所属的声学分组,从而,从而根据不同的声学分组,调用不同的所述属性特征映射矩阵,实现更高准确率的语音识别。
在步骤S220中,获取上一步骤中用户所属的声学分组,并根据所属声学分组的结果调用相应分组中的环境特征映射矩阵。需要说明的是,所述环境特征映射矩阵,是某种声学分组特有的,是结合用户说话的语音环境和用户说话的声学特征得到的映射关系,进一步提高了预先训练的所述近讲语音模型的环境自适应和用户特征的自适应性。
具体,如图2-2所示,所述特征映射矩阵的训练方法由如下步骤实现:
步骤S231:获取用户远讲语音输入的测试远讲语音帧,调用预先训练的近讲语音模型识别所述测试远讲语音帧并得到初识结果;
步骤S232:根据所述初识结果计算,当前环境下所述远讲语音输入与近讲语音输入的环境特征映射矩阵;
步骤S233:检测到用户的远讲语音输入时,提取用户声学特征,根据所述声学特征将所述用户划分至不同声学分组;
步骤S234:在每个所述声学分组中,调用所述环境特征映射矩阵将所述远讲语音输入映射至对应的所述近似近讲语音输入;
步骤S235:调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到初识结果;
步骤S236:根据所述初识结果,采用最大似然线性回归法计算所述远讲语音输入与近讲语音输入的的映射关系,根据所述映射关系更新所述环境特征映射矩阵得到每个所述声学分组的所述属性特征映射矩阵,并对所述属性特征映射矩阵进行更新。
具体的,步骤S231和步骤S232如实施例一的步骤S110和步骤S120,此处不再赘述。
具体的,在步骤S233中,根据所述声学特征将所述用户划分至不同声学分组,可以通过计算语音特征参数的MFCC(即Mel频率倒谱系数的缩写),也可以采用提取语音输入的基频实现。
Mel频率是基于人耳听觉特性提出来的,它与Hz频率成非线性对应关系。Mel频率倒谱系数(MFCC)则是利用它们之间的这种关系,计算得到的Hz频谱特征。MFCC计算总体流程如下首先是信号的预处理,包括预加重(Preemphasis),分帧(Frame Blocking),加窗(Windowing)。假设语音信号的采样频率fs=8KHz.由于语音信号在10-30ms认为是稳定的,则可设置帧长为80~240点。帧移可以设置为帧长的1/2;其次,对每一帧进行FFT(快速傅里叶)变换,求频谱,进而求得幅度谱;再者,对幅度谱加Mel滤波器组;最后,对所有的滤波器输出做对数运算(Logarlithm),再进一步做离散余弦变换DCT可得MFCC。
在浊音的发音过程中,气流通过声门使得声带产生张弛振荡式的振动,产生一股准周期脉冲气流,这一气流激励声道就产生浊音,它携带了语音中的大部分能量,其中声带的振动频率就称为基频。
可以采用基于时域的算法和/或基于空域的算法提取用户语音输入的基频,其中,所述基于时域的算法包括自相关函数算法和平均幅度差函数算法,所述基于空域的算法包括倒普分析法和离散小波变换法。
自相关函数法是利用了浊音信号的准周期性,通过对比原始信号和它的位移后信号之间的类似性来进行基频的检测,其原理是浊音信号的自相关函数在时延等于基音周期整数倍的地方产生一个峰值,而清音信号的自相关函数无明显的峰值。因此通过检测语音信号的自相关函数的峰值位置,就可以估计语音的基频。
平均幅度差函数法检测基频的依据为:语音的浊音具有准周期性,完全周期信号在相距为周期的倍数的幅值点上的幅值是相等的,从而差值为零。假设基音周期为P,则在浊音段,则平均幅度差函数将出现谷底,则两个谷底之间的距离即为基音周期,其倒数则为基频。
倒谱分析是谱分析的一种方法,输出是傅里叶变换的幅度谱取对数后做傅里叶逆变换的结果。该方法所依据的理论是,一个具有基频的信号的傅立叶变换的幅度谱有一些等距离分布的峰值,代表信号中的谐波结构,当对幅度谱取对数之后,这些峰值被削弱到一个可用的范围。幅度谱取对数后得到的结果是在频域的一个周期信号,而这个频域信号的周期(是频率值)可以认为就是原始信号的基频,所以对这个信号做傅里叶逆变换就可以在原始信号的基音周期处得到一个峰值。
离散小波变换是一个强大的工具,它允许在连续的尺度上把信号分解为高频成分和低频成分,它是时间和频率的局部变换,能有效地从信号中提取信息。与快速傅里叶变换相比,离散小波变换的主要好处在于,在高频部分它可以取得好的时间分辨率,在低频部分可以取得好的频率分辨率。
基频取决于声带的大小、厚薄、松弛程度以及声门上下之间的气压差的效应等。当声带被拉得越长、越紧、越薄,声门的形状就变得越细长,而且这时声带在闭合时也未必是完全的闭合,相应的基频就越高。基频随着发音人的性别,年龄及具体情况而定,总体来说,老年男性偏低,女性和儿童偏高。经测试,一般地,男性的基频范围大概在80Hz到200Hz之间,女性的基频范围大概在200-350HZ之间,而儿童的基频范围大概在350-500Hz之间。
当检测到用户的远讲语音输入时,提取其基频,并判断其所述的阈值范围,即可判断输入语音的来源的用户特征,并根据这一特征将用户进行分类。当有不同的用户进行语音输入时,便可根据其声学特征得到不同声学分组以及每个声学分组对应的所述环境自适应语音模型。
具体的,在步骤S234中,在每个声学分组中,针对用户的远讲语音输入,调用步骤S232中得到的所述环境特征映射矩阵先得到的一个近似近讲语音输入。
具体的,在步骤S235中,所述初识结果是摒除用户所处环境影响的识别结果,但是并没有消除每个用户说话特征对语音识别结果的影响。
具体的,在步骤S236中,将步骤S232中训练得到的所述环境映射矩阵进行进一步的更新,得到包含用户声学属性的属性映射矩阵。
需要说明的是,本步骤中,还需进一步对训练出的所述属性特征映射矩阵进行迭代训练,从而得到更加稳定、更加适应用户语言环境的用户属性映射关系,从而进一步保证特定用户远讲语音识别的正确性。
迭代训练的具体算法同样采用最大似然线性回归法,每一次检测到用户的远讲语音输入时,提取所述用户的声学特征并根据所述声学特征将所述用户划分至所属的声学分组;根据所述远讲语音输入,调用所述属性特征映射矩阵将所述远讲语音输入映射至对应的所述近似近讲语音输入;调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到初识结果;根据所述初识结果,采用最大似然线性回归法计算所述远讲语音输入与近讲语音输入的的属性特征映射矩阵,从而实现所述属性特征映射矩阵的更新。
本实施例中,根据用户输入的远讲语音输入,获取其声学特征,并根据所述声学特征对用户输入的远讲语音进行环境自适应和用户自适应的训练,得到了更加贴合用户发音特征以及语音环境的个性化映射关系,极大提高了远讲语音识别的效率,提升了用户体验。
图3是本申请实施例三的装置结构示意图,结合图3,本申请实施例一种一种远讲语音识别装置,包括如下的模块:
信号获取模块310,用于获取用户远讲语音输入的测试远讲语音帧,调用预先训练的近讲语音模型识别所述测试远讲语音帧并得到初识结果;
训练模块320,用于根据所述初识结果计算当前环境下所述远讲语音输入与近讲语音输入的环境特征映射矩阵;
映射模块330,用于检测到用户的远讲语音输入时,根据所述环境特征映射矩阵将所述远讲语音输入映射至对应的近似近讲语音输入;
识别模块340,用于调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到远讲语音识别结果。
其中,所述训练模块320,具体用于:根据所述远讲语音帧与所述初识结果,采用最大似然线性回归法计算所述远讲语音输入与对应的所述近讲语音输入之间的环境特征映射矩阵并对所述环境映射矩阵进行迭代更新。
其中,所述训练模块320,具体还用于:检测到用户的远讲语音输入时调用所述环境特征映射矩阵将所述远讲语音输入映射至对应的所述近似近讲语音输入;调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到初识结果;根据所述初识结果,采用最大似然线性回归法计算所述远讲语音输入与近讲语音输入之间的环境映射关系,并根据所述映射关系更新所述环境特征映射矩阵。
其中,所述映射模块330还用于:提取所述用户的声学特征,判断所述用户所属的声学分组;调用预先训练的所述声学分组的属性特征映射矩阵将所述远讲语音输入映射至对应的近似近讲语音输入;
所述识别模块340,还用于调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到远讲语音识别结果。
其中,所述训练模块320,还用于:检测到用户的远讲语音输入时,提取用户声学特征,根据所述声学特征将所述用户划分至不同声学分组;
在每个所述声学分组中,调用所述环境特征映射矩阵将所述远讲语音输入映射至对应的所述近似近讲语音输入;调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到初识结果;根据所述初识结果,采用最大似然线性回归法计算所述远讲语音输入与近讲语音输入的的映射关系,根据所述映射关系更新所述环境特征映射矩阵得到每个所述声学分组的所述属性特征映射矩阵,并对所述属性特征映射矩阵进行更新。
其中,所述训练模块330,具体还用于:检测到用户的远讲语音输入时,提取所述用户的声学特征并根据所述声学特征将所述用户划分至所属的声学分组;根据所述远讲语音输入,调用所述属性特征映射矩阵将所述远讲语音输入映射至对应的所述近似近讲语音输入;调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到初识结果;根据所述初识结果,采用最大似然线性回归法计算所述远讲语音输入与近讲语音输入的的属性特征映射矩阵,从而实现所述属性特征映射矩阵的更新。
图3所示装置可以执行图1以及图2所示实施例的方法,实现原理和技术效果参考图1以及图2所示实施例,不再赘述。
应用实例
在一种可能的应用场景中,本申请实施例的装置被应用于智能电视。用户购买电视放在自家客厅。根据预先训练的近讲语音模型,电视内置的语音识别模块可以准确地识别用户的近讲语音输入。
用户启动电视,远距离发布控制口令,语音识别模块获取用户的控制口令,并对其进行分帧处理。根据得到的语音帧,调用预先训练出来的近讲语音识别模型对用户发布的口令进行识别,得到一个粗糙的识别结果。
根据这个粗糙的识别结果,采用最大似然线性回归法重新计算用户远讲发布的控制口令和近讲语音输入的环境映射关系。通过这一映射关系电视内置的近讲语音模型就能够自适应用户家客厅环境的语音模型。如此一来,用户在家可以通过远距离发布语音指令来控制智能电视,例如,节目搜索,应用或服务的启动,开关机等。
在另一种应用场景下,用户家里有老人、孩子、男性或者女性,通用的环境自适应模型可能并不能够完全满足用户的需求。因此,所述语音识别设备在采集了多次用户的远讲语音输入之后,根据用户的声学特征,判断多次采集的语音输入结果是否具有同一种声学特征。当判断结果为两种以上时,将这两种语音输入进行分类,例如儿童和成年人。在儿童这一类中,多次采用儿童的远讲语音输入语音帧,根据之前训练得到的环境映射关系,先将儿童的远讲语音输入映射成环境自适应的近似近讲语音输入,根据最大似然线性回归法更新通用的环境映射关系,得到儿童类型的特征映射关系;在成人这一类中,多次单独采用成人的远讲语音输入语音帧,根据之前训练得到的环境映射关系,先将成人的远讲语音输入映射成环境自适应的近似近讲语音输入,根据最大似然线性回归法更新通用的环境映射关系,得到成人类型的特征映射关系。
当再一次检测到用户有语音输入时,首先根据用户的语音特征,判断用户是儿童、成年人还是老人。若是判断为儿童,则调用儿童类型的特征映射关系对儿童的语音输入进行环境以及用户属性的自适应。与此同时,还需要用儿童的语音输入对儿童类型的特征映射关系不断的迭代训练,从而达到一个较稳定的结果。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种远讲语音识别方法,其特征在于,包括如下的步骤:
获取用户远讲语音输入的测试远讲语音帧,调用预先训练的近讲语音模型识别所述测试远讲语音帧并得到初识结果;
根据所述初识结果计算当前环境下所述远讲语音输入与近讲语音输入的环境特征映射矩阵;
检测到用户的远讲语音输入时,根据所述环境特征映射矩阵将所述远讲语音输入映射至对应的近似近讲语音输入;
调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到远讲语音识别结果。
2.根据权利要求1所述的方法,其特征在于,根据所述初识结果计算当前环境下所述远讲语音输入与近讲语音输入的环境特征映射矩阵,具体包括:
根据所述远讲语音帧与所述初识结果,采用最大似然线性回归法计算所述远讲语音输入与对应的所述近讲语音输入之间的环境特征映射矩阵并对所述环境映射矩阵进行迭代更新。
3.根据权利要求2所述的方法,其特征在于,对所述环境映射矩阵进行迭代更新,具体包括:
检测到用户的远讲语音输入时调用所述环境特征映射矩阵将所述远讲语音输入映射至对应的所述近似近讲语音输入;
调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到初识结果;
根据所述初识结果,采用最大似然线性回归法计算所述远讲语音输入与近讲语音输入之间的环境映射关系,并根据所述映射关系更新所述环境特征映射矩阵。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
提取所述用户的声学特征,判断所述用户所属的声学分组;
调用预先训练的所述声学分组的属性特征映射矩阵将所述远讲语音输入映射至对应的近似近讲语音输入;
调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到远讲语音识别结果。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
检测到用户的远讲语音输入时,提取用户声学特征,根据所述声学特征将所述用户划分至不同声学分组;
在每个所述声学分组中,调用所述环境特征映射矩阵将所述远讲语音输入映射至对应的所述近似近讲语音输入;
调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到初识结果;
根据所述初识结果,采用最大似然线性回归法计算所述远讲语音输入与近讲语音输入的的映射关系,根据所述映射关系更新所述环境特征映射矩阵得到每个所述声学分组的所述属性特征映射矩阵,并对所述属性特征映射矩阵进行更新。
6.根据权利要求5所述的方法,其特征在于,对所述属性特征映射矩阵进行更新,具体包括:
检测到用户的远讲语音输入时,提取所述用户的声学特征并根据所述声学特征将所述用户划分至所属的声学分组;
根据所述远讲语音输入,调用所述属性特征映射矩阵将所述远讲语音输入映射至对应的所述近似近讲语音输入;
采用最大似然线性回归法计算所述远讲语音输入与对应的近讲语音输入之间的属性特征映射矩阵,从而实现所述属性特征映射矩阵的更新。
7.一种远讲语音识别装置,其特征在于,包括如下的模块:
信号获取模块,用于获取用户远讲语音输入的测试远讲语音帧,调用预先训练的近讲语音模型识别所述测试远讲语音帧并得到初识结果;
训练模块,用于根据所述初识结果计算当前环境下所述远讲语音输入与近讲语音输入的环境特征映射矩阵;
映射模块,用于检测到用户的远讲语音输入时,根据所述环境特征映射矩阵将所述远讲语音输入映射至对应的近似近讲语音输入;
识别模块,用于调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到远讲语音识别结果。
8.根据权利要求7所述的装置,其特征在于,所述训练模块,具体用于:
根据所述远讲语音帧与所述初识结果,采用最大似然线性回归法计算所述远讲语音输入与对应的所述近讲语音输入之间的环境特征映射矩阵并对所述环境映射矩阵进行迭代更新。
9.根据权利要求8所述的装置,其特征在于,所述训练模块,具体还用于:
检测到用户的远讲语音输入时调用所述环境特征映射矩阵将所述远讲语音输入映射至对应的所述近似近讲语音输入;
调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到初识结果;
根据所述初识结果,采用最大似然线性回归法计算所述远讲语音输入与近讲语音输入之间的环境映射关系,并根据所述映射关系更新所述环境特征映射矩阵。
10.根据权利要求7所述的装置,其特征在于,所述映射模块还用于:提取所述用户的声学特征,判断所述用户所属的声学分组;
调用预先训练的所述声学分组的属性特征映射矩阵将所述远讲语音输入映射至对应的近似近讲语音输入;
所述识别模块,还用于调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到远讲语音识别结果。
11.根据权利要求10所述的装置,其特征在于,所述训练模块,还用于:
检测到用户的远讲语音输入时,提取用户声学特征,根据所述声学特征将所述用户划分至不同声学分组;
在每个所述声学分组中,调用所述环境特征映射矩阵将所述远讲语音输入映射至对应的所述近似近讲语音输入;
调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到初识结果;
根据所述初识结果,采用最大似然线性回归法计算所述远讲语音输入与近讲语音输入的的映射关系,根据所述映射关系更新所述环境特征映射矩阵得到每个所述声学分组的所述属性特征映射矩阵,并对所述属性特征映射矩阵进行更新。
12.根据权利要求11所述的装置,其特征在于,所述训练模块,具体还用于:
检测到用户的远讲语音输入时,提取所述用户的声学特征并根据所述声学特征将所述用户划分至所属的声学分组;
根据所述远讲语音输入,调用所述属性特征映射矩阵将所述远讲语音输入映射至对应的所述近似近讲语音输入;
调用预先训练的所述近讲语音模型识别所述近似近讲语音输入得到初识结果;
根据所述初识结果,采用最大似然线性回归法计算所述远讲语音输入与近讲语音输入的的属性特征映射矩阵,从而实现所述属性特征映射矩阵的更新。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610219407.2A CN105845131A (zh) | 2016-04-11 | 2016-04-11 | 远讲语音识别方法及装置 |
PCT/CN2016/101053 WO2017177629A1 (zh) | 2016-04-11 | 2016-09-30 | 远讲语音识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610219407.2A CN105845131A (zh) | 2016-04-11 | 2016-04-11 | 远讲语音识别方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105845131A true CN105845131A (zh) | 2016-08-10 |
Family
ID=56598055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610219407.2A Pending CN105845131A (zh) | 2016-04-11 | 2016-04-11 | 远讲语音识别方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN105845131A (zh) |
WO (1) | WO2017177629A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017177629A1 (zh) * | 2016-04-11 | 2017-10-19 | 乐视控股(北京)有限公司 | 远讲语音识别方法及装置 |
CN108836574A (zh) * | 2018-06-20 | 2018-11-20 | 广州智能装备研究院有限公司 | 一种利用颈部振动的人工智能发声系统及其发声方法 |
CN108959627A (zh) * | 2018-07-23 | 2018-12-07 | 北京光年无限科技有限公司 | 基于智能机器人的问答交互方法及系统 |
WO2020102979A1 (zh) * | 2018-11-20 | 2020-05-28 | 深圳市欢太科技有限公司 | 语音信息的处理方法、装置、存储介质及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6389393B1 (en) * | 1998-04-28 | 2002-05-14 | Texas Instruments Incorporated | Method of adapting speech recognition models for speaker, microphone, and noisy environment |
US7457745B2 (en) * | 2002-12-03 | 2008-11-25 | Hrl Laboratories, Llc | Method and apparatus for fast on-line automatic speaker/environment adaptation for speech/speaker recognition in the presence of changing environments |
CN104025188A (zh) * | 2011-12-29 | 2014-09-03 | 英特尔公司 | 声学信号修改 |
CN104078041A (zh) * | 2014-06-26 | 2014-10-01 | 美的集团股份有限公司 | 语音识别方法及系统 |
CN104952450A (zh) * | 2015-05-15 | 2015-09-30 | 百度在线网络技术(北京)有限公司 | 远场识别的处理方法和装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103258533B (zh) * | 2013-05-27 | 2015-05-13 | 重庆邮电大学 | 远距离语音识别中的模型域补偿新方法 |
CN104810021B (zh) * | 2015-05-11 | 2017-08-18 | 百度在线网络技术(北京)有限公司 | 应用于远场识别的前处理方法和装置 |
CN105845131A (zh) * | 2016-04-11 | 2016-08-10 | 乐视控股(北京)有限公司 | 远讲语音识别方法及装置 |
-
2016
- 2016-04-11 CN CN201610219407.2A patent/CN105845131A/zh active Pending
- 2016-09-30 WO PCT/CN2016/101053 patent/WO2017177629A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6389393B1 (en) * | 1998-04-28 | 2002-05-14 | Texas Instruments Incorporated | Method of adapting speech recognition models for speaker, microphone, and noisy environment |
US7457745B2 (en) * | 2002-12-03 | 2008-11-25 | Hrl Laboratories, Llc | Method and apparatus for fast on-line automatic speaker/environment adaptation for speech/speaker recognition in the presence of changing environments |
CN104025188A (zh) * | 2011-12-29 | 2014-09-03 | 英特尔公司 | 声学信号修改 |
CN104078041A (zh) * | 2014-06-26 | 2014-10-01 | 美的集团股份有限公司 | 语音识别方法及系统 |
CN104952450A (zh) * | 2015-05-15 | 2015-09-30 | 百度在线网络技术(北京)有限公司 | 远场识别的处理方法和装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017177629A1 (zh) * | 2016-04-11 | 2017-10-19 | 乐视控股(北京)有限公司 | 远讲语音识别方法及装置 |
CN108836574A (zh) * | 2018-06-20 | 2018-11-20 | 广州智能装备研究院有限公司 | 一种利用颈部振动的人工智能发声系统及其发声方法 |
CN108959627A (zh) * | 2018-07-23 | 2018-12-07 | 北京光年无限科技有限公司 | 基于智能机器人的问答交互方法及系统 |
CN108959627B (zh) * | 2018-07-23 | 2021-12-17 | 北京光年无限科技有限公司 | 基于智能机器人的问答交互方法及系统 |
WO2020102979A1 (zh) * | 2018-11-20 | 2020-05-28 | 深圳市欢太科技有限公司 | 语音信息的处理方法、装置、存储介质及电子设备 |
CN112771608A (zh) * | 2018-11-20 | 2021-05-07 | 深圳市欢太科技有限公司 | 语音信息的处理方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2017177629A1 (zh) | 2017-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11875820B1 (en) | Context driven device arbitration | |
US10373609B2 (en) | Voice recognition method and apparatus | |
US20220215837A1 (en) | Context-based device arbitration | |
US11138977B1 (en) | Determining device groups | |
CN103943104B (zh) | 一种语音信息识别的方法及终端设备 | |
CN105206271A (zh) | 智能设备的语音唤醒方法及实现所述方法的系统 | |
CN104700843A (zh) | 一种年龄识别的方法及装置 | |
CN110265040A (zh) | 声纹模型的训练方法、装置、存储介质及电子设备 | |
CN109036412A (zh) | 语音唤醒方法和系统 | |
CN111862942B (zh) | 普通话和四川话的混合语音识别模型的训练方法及系统 | |
CN109599109A (zh) | 针对白盒场景的对抗音频生成方法及系统 | |
CN107871499B (zh) | 语音识别方法、系统、计算机设备及计算机可读存储介质 | |
CN109887489A (zh) | 基于生成对抗网络的深度特征的语音去混响方法 | |
WO2014114048A1 (zh) | 一种语音识别的方法、装置 | |
CN102509547A (zh) | 基于矢量量化的声纹识别方法及系统 | |
CN108922541A (zh) | 基于dtw和gmm模型的多维特征参数声纹识别方法 | |
CN105845131A (zh) | 远讲语音识别方法及装置 | |
CN105895082A (zh) | 声学模型训练方法、语音识别方法及装置 | |
CN109524011A (zh) | 一种基于声纹识别的冰箱唤醒方法及装置 | |
CN109616105A (zh) | 一种基于迁移学习的带噪语音识别方法 | |
CN108877809A (zh) | 一种说话人语音识别方法及装置 | |
CN111986679A (zh) | 一种应对复杂声学环境的说话人确认方法、系统及存储介质 | |
CN109410956A (zh) | 一种音频数据的对象识别方法、装置、设备及存储介质 | |
CN107393539A (zh) | 一种声音密码控制方法 | |
CN112885326A (zh) | 个性化语音合成模型创建、语音合成和测试方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160810 |