CN108550364B - 语音识别方法、装置、设备及存储介质 - Google Patents

语音识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN108550364B
CN108550364B CN201810359112.4A CN201810359112A CN108550364B CN 108550364 B CN108550364 B CN 108550364B CN 201810359112 A CN201810359112 A CN 201810359112A CN 108550364 B CN108550364 B CN 108550364B
Authority
CN
China
Prior art keywords
cause
frame
effect
voice signal
acoustic model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810359112.4A
Other languages
English (en)
Other versions
CN108550364A (zh
Inventor
李超
朱唯鑫
文铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810359112.4A priority Critical patent/CN108550364B/zh
Publication of CN108550364A publication Critical patent/CN108550364A/zh
Priority to JP2018247610A priority patent/JP6757398B2/ja
Priority to US16/236,295 priority patent/US11087763B2/en
Application granted granted Critical
Publication of CN108550364B publication Critical patent/CN108550364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/285—Memory allocation or algorithm optimisation to reduce hardware requirements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明实施例提供一种语音识别方法、装置、设备及存储介质。该方法包括：获取待识别的语音信号，采用预先训练的因果声学模型，根据语音信号中的当前帧和当前帧之前预设时间段内的帧，对语音信号中的当前帧进行识别，其中，因果声学模型基于因果卷积神经网络训练得到。本发明实施例提供的方法，在进行当前帧识别时，仅使用当前帧和当前帧之前的帧的信息，解决了现有技术中基于卷积神经网络的语音识别技术需要等待当前帧之后的帧而造成的硬延迟问题，提高了语音识别的实时性。

Description

语音识别方法、装置、设备及存储介质
技术领域
本发明实施例涉及语音识别技术领域，尤其涉及一种语音识别方法、装置、设备及存储介质。
背景技术
随着计算机科学技术，尤其是人工智能(Artificial Intelligence，简称：AI)技术的不断发展，语音识别技术已经开始由实验室走向市场，被应用在越来越多的领域，如语音输入系统，用于工业控制、智能家居、智能玩具、终端设备的语音控制系统，智能对话查询系统等。语音识别技术使信息的获取和处理更加便捷，提高了用户的工作效率，为人们的生活带来了便利。
卷积神经网络(Convolutional Neural Network,简称：CNN)是一种前馈神经网络，在模式识别领域表现出色，近年来备受青睐，得到了广泛的应用。卷积神经网络CNN在语音处理领域的使用也越来越普遍，由于其卷积核通常是左右展开的，因此在进行语音识别时既需要利用当前帧之前的帧的信息，还需要利用当前帧之后的帧的信息，即在进行当前帧的语音识别的时候，会利用到未来的信息。例如，采用上下文是2的卷积神经网络进行语音识别时，在进行第N帧的语音识别时，需要利用第N-2、N-1、N、N+1、N+2这5帧的信息，语音识别系统需要等待2帧，等凑齐了这5帧的信息才进行处理，势必会造成2帧的硬延迟，而这种延迟在很多实时性要求较高的场合是不能被接受的。
综上所述，现有技术中基于卷积神经网络的语音识别技术无法满足高实时性的要求。
发明内容
本发明实施例提供一种语音识别方法、装置、设备及存储介质，用以解决现有技术中基于卷积神经网络的语音识别技术存在硬延迟，无法满足高实时性的要求的问题。
第一方面，本发明实施例提供一种语音识别方法，包括：
获取待识别的语音信号；
采用预先训练的因果声学模型，根据语音信号中的当前帧和当前帧之前预设时间段内的帧，对语音信号中的当前帧进行识别，因果声学模型基于因果卷积神经网络训练得到。
在一种具体的实现方式中，所述方法还包括：
若当前帧之前的帧不足，则采用空帧进行补充。
在一种具体的实现方式中，预设时间段根据因果声学模型的上下文参数的取值确定。
在一种具体的实现方式中，因果声学模型包括多个堆叠的因果卷积层，多个堆叠的因果卷积层用于扩大因果声学模型的感受野。
在一种具体的实现方式中，因果声学模型还包括至少一层长短期记忆网络，长短期记忆网络用于学习语音信号的历史信息。
在一种具体的实现方式中，在对语音信号中的当前帧进行识别之前，还包括：
对待识别的语音信号进行高通滤波处理；
消除经高通滤波处理后的语音信号中的干扰信号。
在一种具体的实现方式中，干扰信号包括噪声信号和/或回声信号。
第二方面，本发明实施例提供一种语音识别装置，包括：
获取模块，用于获取待识别的语音信号；
识别模块，用于采用预先训练的因果声学模型，根据语音信号中的当前帧和当前帧之前预设时间段内的帧，对语音信号中的当前帧进行识别，因果声学模型基于因果卷积神经网络训练得到。
第三方面，本发明实施例提供一种语音识别设备，包括：
存储器；
处理器；以及
计算机程序；
其中，计算机程序存储在存储器中，并被配置为由处理器执行以实现如上述任一项的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现如上述任一项的方法。
本发明实施例提供的语音识别方法、装置、设备及存储介质，通过获取待识别的语音信号，采用预先训练的因果声学模型，根据语音信号中的当前帧和当前帧之前预设时间段内的帧，对语音信号中的当前帧进行识别，因果声学模型基于因果卷积神经网络训练得到。本发明实施例提供的方法，在进行当前帧识别时，仅使用当前帧和当前帧之前的帧的信息，解决了现有技术中基于卷积神经网络的语音识别技术需要等待当前帧之后的帧而造成的硬延迟问题，提高了语音识别的实时性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为本发明提供的语音识别方法一实施例的流程示意图；
图2为本发明一实施例中的补空帧的示意图；
图3为本发明一实施例中的因果声学模型的结构示意图；
图4为本发明提供的语音识别方法又一实施例的流程示意图；
图5为本发明提供的语音识别装置一实施例的结构示意图；
图6为本发明提供的语音识别设备一实施例的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本发明的说明书和权利要求书中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明中的“第一”和“第二”只起标识作用，而不能理解为指示或暗示顺序关系、相对重要性或者隐含指明所指示的技术特征的数量。“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本发明的说明书中通篇提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明实施例提供一种语音识别方法，请参见图1所示，本发明实施例仅以图1为例进行说明，并不表示本发明仅限于此。图1为本发明提供的语音识别方法一实施例的流程示意图。本实施例的执行主体包括但不限于以下中的至少一个：用户设备、网络设备。用户设备包括但不限于计算机、智能手机、PDA等。网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机组成的一个超级虚拟计算机。本实施例对此不做限制。如图1所示，本实施例提供的语音识别方法，可以包括：
步骤101、获取待识别的语音信号。
当执行主体是用户设备时，例如安装有传声器(麦克风)的电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等，可以通过用户设备中的传声器采集语音信号，获取待识别的语音信号；当执行主体是网络设备时，如服务器，服务器可以接收用户设备发送的语音信号，获取待识别的语音信号。
步骤102、采用预先训练的因果声学模型，根据语音信号中的当前帧和当前帧之前预设时间段内的帧，对语音信号中的当前帧进行识别，因果声学模型基于因果卷积神经网络训练得到。
采用已标记的语音数据库中的语音数据对因果声学模型进行训练，本实施例对于训练所采用的语音数据库和训练方法均不做限制。需要说明的是，本实施例中的帧的长度可以根据实际需要进行设置，考虑到语音识别对于实时性的要求，本实施例中的帧的长度不宜设置的过长，例如，可以设置一帧的长度为10毫秒。
现有技术中基于卷积神经网络CNN构建的非因果声学模型，由于卷积是左右展开的，因此，在进行语音识别时，既需要利用当前帧之前的帧的信息，还需要利用当前帧之后的帧的信息，即在进行当前帧的识别时，需要等待当前帧之后的帧，造成硬延迟。例如，采用上下文是2的卷积神经网络进行语音识别时，在进行第N帧的语音识别时，需要利用第N-2、N-1、N、N+1、N+2这5帧的信息，即在进行第N帧的识别时，语音识别系统需要等待第N+1和第N+2这2帧的信息，等凑齐了这5帧的信息才进行处理，势必会造成2帧的硬延迟，当帧长为10毫秒时，就会造成20毫秒的硬延迟，无法满足某些应用高实时性的要求。卷积神经网络的上下文参数取值越大，所造成的硬延迟的帧数越大。
本实施例提供了一种因果声学模型，采用本实施例提供的因果声学模型在对待识别的语音信号中的当前帧进行识别时，仅使用当前帧和当前帧之前的帧的信息，在进行语音识别时，无需等待，避免了硬延迟。本实施例中的因果声学模型，可以基于具有因果关系的网络训练得到，即网络在当前时刻的输出只和历史输入有关，而和未来的输入无关。
在一种具体的实现方式中，因果声学模型可以基于因果卷积神经网络训练得到。例如，采用上下文为2的因果卷积神经网络构建的因果声学模型，在进行第N帧的语音识别时，需要利用第N-4、N-3、N-2、N-1和N这5帧的信息，即在对当前帧进行识别时，仅使用了当前帧和当前帧之前的帧的信息，无需等待，避免了硬延迟。
在一种可能的实现方式中，因果声学模型还可以基于如贝叶斯网络等因果网络训练得到。
需要说明的是，本实施例中的预设时间段可以根据因果声学模型的上下文参数的取值确定。在一种可能的实现方式中，预设时间段的取值可以等于上下文参数取值的两倍乘以帧长。本实施例中的数值仅作示意，并不对本发明形成限制。
本实施例提供的语音识别的方法以其高实时性可以用于语音搜索、语音输入、语音交互等多种对于实时性要求较高的应用中。对于实时性要求不高的应用，也可以采用本实施例提供的方法，提高实时性，进而可以进一步提升用户体验。
本实施例提供的语音识别方法，通过获取待识别的语音信号，采用预先训练的因果声学模型，根据语音信号中的当前帧和当前帧之前预设时间段内的帧，对语音信号中的当前帧进行识别，其中，因果声学模型基于因果卷积神经网络训练得到。本发明实施例提供的方法，在进行当前帧识别时，仅使用了当前帧和当前帧之前的帧的信息，解决了现有技术中基于卷积神经网络的语音识别技术需要等待当前帧之后的帧而造成的硬延迟问题，提高了语音识别的实时性。
在上一实施例的基础上，本实施例还提供了一种语音识别的方法，针对上一实施例中，因果声学模型在对当前帧进行识别时，当前帧之前的帧不足的情况，给出了一种具体的实施方式。例如，当前帧为第1帧时，不存在之前的帧数据；或者，对于上下文为2的因果卷积神经网络，需要当前帧之前4帧的数据，而对于当前帧是第1帧、第2帧、第3帧或者第4帧时，当前帧之前的帧均不足。本实施例提供的语音识别方法，若当前帧之前的帧不足，则采用空帧进行补充。本实施例中的空帧可以采用全零向量实现。
下面采用一个具体的例子对补空帧进行说明，对于基于上下文参数值为2的因果卷积神经网络训练得到的因果声学模型，在进行第2帧的语音信号识别时，可以参照图2所示方法在当前帧之前补空帧。图2为本发明一实施例中的补空帧的示意图。如图2所示，其中黑色框表示有真实数据的数据帧，白色框表示由全零向量构成的空帧。箭头指向当前帧，即当前帧为第2帧，当前帧之前的帧信息不足以完成当前帧的识别，因此在当前帧之前补充3个由全零向量构成的空帧，凑成5帧，以完成当前帧的识别。
对当前帧进行识别所需要的数据帧的数量，取决于因果声学模型中因果卷积神经网络的上下文数值C。对当前帧进行识别所需要的数据帧的数量可以等于(2C+1)，即当前帧进行识别需要当前帧的信息以及当前帧之前2C帧的信息。因此，若当前帧之前的数据帧的数量小于2C时，需要采用空帧补齐，以完成当前帧的识别，即若当前帧的帧号N小于(2C+1)时，需要在当前帧之前补空帧，补空帧的数量为(2C+1-N)。
在上述任一实施例的基础上，本实施例针对上述实施例中的因果声学模型的具体实现方式进行进一步说明。为了进一步扩大因果声学模型的感受野，本实施例提供的语音识别方法中的因果声学模型可以包括多个堆叠的因果卷积层。
在一种具体的实现方式中，为了更加充分的利用历史信息，以提高语音识别的准确性，本实施例提供的语音识别方法中的因果声学模型在上一实施例的基础上，还可以包括至少一层长短期记忆网络LSTM。长短期记忆网络LSTM是一种时间递归神经网络，能够充分利用长远的历史信息，本实施例中的LSTM用于学习语音信号的历史信息。。
在上述实施例的基础上，本实施例对上述实施例进行结合，本实施例仅示出了一种可能的结合方式。
为了扩大感受野，可以采用堆叠的因果卷积层。对于这种堆叠的因果卷积神经网络，如果每层的上下文都是1，那么，第一层可以看到过去的2帧，第二层就可以看到过去的4帧，第三层就可以看到过去的6帧，第4层就可以看到过去的8帧。使用过去8帧的信息来对当前帧进行识别。上下文的数值越大，堆叠的因果卷积层越多，可以利用的过去的帧的信息就越多。为了保存更长久的信息，在堆叠的因果卷积神经网络层上采用多层长短期记忆网络LSTM，用于学习语音信号的历史信息。虽然堆叠的网络层数越多，可以利用的信息就越多，但是同时复杂度也随之升高。
本实施例提供的语音识别方法，对于信息量和复杂度进行了均衡。本实施例提供的语音识别方法可以采用如图3所示的因果声学模型。图3为本发明一实施例中的因果声学模型的结构示意图。如图3所示，该因果声学模型可以包括四层因果卷积神经网络：因果卷积层0-因果卷积层3、七层长短期记忆网络：长短期记忆网络层0-长短期记忆网络层6和联结注意时间分类器。
本实施例提供的语音识别方法，由于采用了四层堆叠的因果卷积神经网络，扩大了感受野，利用了尽可能多的信息，在进行当前帧的语音信号的识别时，利用了过去更多的帧的信息，且只需要利用过去的帧的信息，而不需要等待未来的帧信息，因此能够满足高实时性的要求。以因果卷积神经网络作为底层网络结构，细致的感受每一帧上语音的特性，上层采用长短期记忆网络LSTM这种时间递归神经网络，用于保存更长久的信息。本实施例提供的语音识别方法所采用的因果声学模型结合了因果卷积神经网络和LSTM网络，在进行当前帧的语音信号的识别时，既可以感受当前帧的信息，又能够利用长远的历史帧的信息，从而提高了语音识别的准确性。综上所述，本实施例提供的语音识别方法，不仅能够满足高实时性的要求，而且识别准确率高，进一步提升了用户体验。
考虑到用于进行因果声学模型训练的语音数据库中通常为纯净的语音信号，即因果声学模型是基于纯净的语音信号训练所得的，因此，为了进一步提高语音识别的准确率，在上述任一实施例的基础上，本实施提供的语音识别方法，在对语音信号中的当前帧进行识别之前，还可以包括：
对待识别的语音信号进行高通滤波处理，以阻隔或削弱频率小于预设频率阈值的语音信号。
消除经高通滤波处理后的语音信号中的干扰信号。可选的，干扰信号可以包括噪声信号和/或回声信号。
噪声信号可以存在于各种环境中，例如，公共场所、行驶的车辆内等，即使在安静的环境中，也会存在平稳的背景噪声。因此，获取到的待识别的语音信号中必然包括噪声信号，可以采用最小均方(Least Mean Square，简称：LMS)滤波算法、李雅普诺夫噪声主动控制算法等消除经高通滤波处理后的语音信号中的噪声信号。
当用于获取待识别的语音信号的电子设备安装有扬声器时，用户在利用该电子设备的语音合成(Text to Speech，简称：TTS)播放功能播放如导航语音、新闻阅读播报语音等的情况下，或者，在进行语音交互的情况下，电子设备的扬声器所发出的声音可以经空气等介质传播至传声器，形成声学回声。此时，干扰信号还可以包括由扬声器发送并传送至传声器的回声信号。可以采用回声消除(Acoustic Echo Cancellation，简称：AEC)技术消除经高通滤波处理后的语音信号中的回声信号。
本发明实施例还提供了一种语音识别方法，请参见图4所示，本发明实施例仅以图4为例进行说明，并不表示本发明仅限于此。图4为本发明提供的语音识别方法又一实施例的流程示意图。如图4所示，本实施例提供的语音识别方法，可以包括：
步骤401、获取待识别的语音信号。
步骤402、对待识别的语音信号进行高通滤波处理。
步骤403、消除经高通滤波处理后的语音信号中的干扰信号。
步骤404、采用预先训练的因果声学模型，根据语音信号中的当前帧和当前帧之前预设时间段内的帧，对语音信号中的当前帧进行识别，因果声学模型基于因果卷积神经网络训练得到。
本实施例提供的语音识别方法，通过对待识别的语音信号进行高通滤波处理和去干扰处理，提高了识别的准确率，通过采用因果声学模型，在进行当前帧的识别时，无需等待当前帧之后的帧，避免了硬延迟，能够满足高实时性的要求。本实施例提供的语音识别方法，不仅解决了现有技术中基于卷积神经网络的语音识别技术，在进行当前帧的识别时，需要等待当前帧之后的帧而造成的硬延迟问题，提高了语音识别的实时性，而且提高了识别的准确率，进一步提升了用户体验。
本发明实施例还提供了一种语音识别装置，请参见图5所示，本发明实施例仅以图5为例进行说明，并不表示本发明仅限于此。图5为本发明提供的语音识别装置一实施例的结构示意图。如图5所示，本实施例提供的语音识别装置50包括：获取模块501和识别模块502。
其中，获取模块501用于获取待识别的语音信号，识别模块502用于采用预先训练的因果声学模型，根据语音信号中的当前帧和当前帧之前预设时间段内的帧，对语音信号中的当前帧进行识别，因果声学模型基于因果卷积神经网络训练得到。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
可选的，若当前帧之前的帧不足，则采用空帧进行补充。
可选的，预设时间段可以根据因果声学模型的上下文参数的取值确定。
可选的，因果声学模型可以包括多个堆叠的因果卷积层，其中，多个堆叠的因果卷积层用于扩大因果声学模型的感受野。。
可选的，因果声学模型还可以包括至少一层长短期记忆网络，其中，长短期记忆网络用于学习所述语音信号的历史信息。
在上述任一实施例的基础上，本实施例提供的语音识别装置还可以包括：滤波模块和去干扰模块。其中，滤波模块用于，在对语音信号中的当前帧进行识别之前，对待识别的语音信号进行高通滤波处理。去干扰模块用于消除经高通滤波处理后的语音信号中的干扰信号。
本实施例提供的装置，可以用于执行图1或图4所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
可选的，干扰信号可以包括噪声信号和/或回声信号。
本发明实施例还提供了一种语音识别设备，请参见图6所示，本发明实施例仅以图6为例进行说明，并不表示本发明仅限于此。图6为本发明提供的语音识别设备一实施例的结构示意图。如图6所示，本实施例提供的语音识别设备60包括：存储器601、处理器602和总线603。其中，总线603用于实现各元件之间的连接。
存储器601中存储有计算机程序，计算机程序被处理器602执行时可以实现上述任一方法实施例的技术方案。
其中，存储器601和处理器602之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线603连接。存储器601中存储有语音识别方法的计算机程序，包括至少一个可以软件或固件的形式存储于存储器601中的软件功能模块，处理器602通过运行存储在存储器601内的软件程序以及模块，从而执行各种功能应用以及数据处理。
存储器601可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器601用于存储程序，处理器602在接收到执行指令后，执行程序。进一步地，上述存储器601内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器602可以是一种集成电路芯片，具有信号的处理能力。上述的处理器602可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以理解，图6的结构仅为示意，还可以包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件和/或软件实现。
例如，当语音识别设备为用户设备时，还可以包括用于输出和/或输入音频信号的音频组件。本实施例中，音频组件可以用于获取待识别的语音信号。
本实施例提供的语音识别设备，可以用于执行上述任一方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现上述任一方法实施例的技术方案。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种语音识别方法，其特征在于，包括：
获取待识别的语音信号；
采用预先训练的因果声学模型，根据所述语音信号中的当前帧和所述当前帧之前预设时间段内的帧，对所述语音信号中的当前帧进行识别，所述因果声学模型基于因果卷积神经网络训练得到；
所述因果声学模型包括多个堆叠的因果卷积层和至少一层长短期记忆网络，所述多个堆叠的因果卷积层用于扩大所述因果声学模型的感受野，所述长短期记忆网络用于学习所述语音信号的历史信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述当前帧之前的帧不足，则采用空帧进行补充。
3.根据权利要求1所述的方法，其特征在于，所述预设时间段根据所述因果声学模型的上下文参数的取值确定。
4.根据权利要求1-3任一项所述的方法，其特征在于，在所述对所述语音信号中的当前帧进行识别之前，还包括：
对所述语音信号进行高通滤波处理；
消除经高通滤波处理后的语音信号中的干扰信号。
5.根据权利要求4所述的方法，其特征在于，所述干扰信号包括噪声信号和/或回声信号。
6.一种语音识别装置，其特征在于，包括：
获取模块，用于获取待识别的语音信号；
识别模块，用于采用预先训练的因果声学模型，根据所述语音信号中的当前帧和所述当前帧之前预设时间段内的帧，对所述语音信号中的当前帧进行识别，所述因果声学模型基于因果卷积神经网络训练得到；
所述因果声学模型包括多个堆叠的因果卷积层和至少一层长短期记忆网络，所述多个堆叠的因果卷积层用于扩大所述因果声学模型的感受野，所述长短期记忆网络用于学习所述语音信号的历史信息。
7.一种语音识别设备，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-5任一项所述的方法。
CN201810359112.4A 2018-04-20 2018-04-20 语音识别方法、装置、设备及存储介质 Active CN108550364B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810359112.4A CN108550364B (zh) 2018-04-20 2018-04-20 语音识别方法、装置、设备及存储介质
JP2018247610A JP6757398B2 (ja) 2018-04-20 2018-12-28 音声認識方法、装置、機器及び記憶媒体
US16/236,295 US11087763B2 (en) 2018-04-20 2018-12-28 Voice recognition method, apparatus, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810359112.4A CN108550364B (zh) 2018-04-20 2018-04-20 语音识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN108550364A CN108550364A (zh) 2018-09-18
CN108550364B true CN108550364B (zh) 2019-04-30

Family

ID=63511839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810359112.4A Active CN108550364B (zh) 2018-04-20 2018-04-20 语音识别方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US11087763B2 (zh)
JP (1) JP6757398B2 (zh)
CN (1) CN108550364B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109545192B (zh) * 2018-12-18 2022-03-08 百度在线网络技术（北京）有限公司 用于生成模型的方法和装置
CN111128123A (zh) * 2019-07-12 2020-05-08 深圳云知声信息技术有限公司 一种基于方言识别与普通话识别的交互方法
CN111429913B (zh) * 2020-03-26 2023-03-31 厦门快商通科技股份有限公司 一种数字串语音识别方法、身份验证装置及计算机可读存储介质
CN111599351A (zh) * 2020-04-30 2020-08-28 厦门快商通科技股份有限公司 一种语音识别方法和装置以及设备
WO2021252039A1 (en) * 2020-06-10 2021-12-16 Google Llc Textual echo cancelation
CN112185352B (zh) * 2020-08-31 2024-05-17 华为技术有限公司 语音识别方法、装置及电子设备
CN114067800B (zh) * 2021-04-28 2023-07-18 北京有竹居网络技术有限公司 语音识别方法、装置和电子设备
CN114038465B (zh) * 2021-04-28 2022-08-23 北京有竹居网络技术有限公司 语音处理方法、装置和电子设备
CN114242100B (zh) * 2021-12-16 2023-04-21 北京百度网讯科技有限公司 音频信号处理方法、训练方法及其装置、设备、存储介质
CN114203161A (zh) * 2021-12-30 2022-03-18 深圳市慧鲤科技有限公司 语音识别方法、装置、设备以及存储介质
CN114974282A (zh) * 2022-05-24 2022-08-30 云知声智能科技股份有限公司 基于深度学习的单通道语音降噪方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102446504A (zh) * 2010-10-08 2012-05-09 华为技术有限公司 语音/音乐识别方法及装置
CN106782504A (zh) * 2016-12-29 2017-05-31 百度在线网络技术（北京）有限公司 语音识别方法和装置
CN107293288A (zh) * 2017-06-09 2017-10-24 清华大学 一种残差长短期记忆循环神经网络的声学模型建模方法
CN107301860A (zh) * 2017-05-04 2017-10-27 百度在线网络技术（北京）有限公司 基于中英文混合词典的语音识别方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0635498A (ja) * 1992-07-16 1994-02-10 Clarion Co Ltd 音声認識装置及び方法
CN101447183A (zh) * 2007-11-28 2009-06-03 中国科学院声学研究所 一种应用于语音识别系统的高性能置信度处理方法
US20090318755A1 (en) * 2008-06-18 2009-12-24 Jesse Aaron Adams Therapeutic penis ring
US10783900B2 (en) * 2014-10-03 2020-09-22 Google Llc Convolutional, long short-term memory, fully connected deep neural networks
CN105845128B (zh) * 2016-04-06 2020-01-03 中国科学技术大学 基于动态剪枝束宽预测的语音识别效率优化方法
WO2018048945A1 (en) 2016-09-06 2018-03-15 Deepmind Technologies Limited Processing sequences using convolutional neural networks
US11080591B2 (en) * 2016-09-06 2021-08-03 Deepmind Technologies Limited Processing sequences using convolutional neural networks
US20180082679A1 (en) * 2016-09-18 2018-03-22 Newvoicemedia, Ltd. Optimal human-machine conversations using emotion-enhanced natural speech using hierarchical neural networks and reinforcement learning
US10672387B2 (en) * 2017-01-11 2020-06-02 Google Llc Systems and methods for recognizing user speech
US10540961B2 (en) * 2017-03-13 2020-01-21 Baidu Usa Llc Convolutional recurrent neural networks for small-footprint keyword spotting
US10068557B1 (en) * 2017-08-23 2018-09-04 Google Llc Generating music with deep neural networks
US10672414B2 (en) * 2018-04-13 2020-06-02 Microsoft Technology Licensing, Llc Systems, methods, and computer-readable media for improved real-time audio processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102446504A (zh) * 2010-10-08 2012-05-09 华为技术有限公司 语音/音乐识别方法及装置
CN106782504A (zh) * 2016-12-29 2017-05-31 百度在线网络技术（北京）有限公司 语音识别方法和装置
CN107301860A (zh) * 2017-05-04 2017-10-27 百度在线网络技术（北京）有限公司 基于中英文混合词典的语音识别方法及装置
CN107293288A (zh) * 2017-06-09 2017-10-24 清华大学 一种残差长短期记忆循环神经网络的声学模型建模方法

Also Published As

Publication number Publication date
JP6757398B2 (ja) 2020-09-16
US11087763B2 (en) 2021-08-10
US20190325877A1 (en) 2019-10-24
JP2019191557A (ja) 2019-10-31
CN108550364A (zh) 2018-09-18

Similar Documents

Publication Publication Date Title
CN108550364B (zh) 语音识别方法、装置、设备及存储介质
US10373609B2 (en) Voice recognition method and apparatus
CN108538305A (zh) 语音识别方法、装置、设备及计算机可读存储介质
CN109272989A (zh) 语音唤醒方法、装置和计算机可读存储介质
CN109377987A (zh) 智能语音设备间的交互方法、装置、设备及存储介质
CN106504768B (zh) 基于人工智能的电话拨测音频分类方法及装置
CN108269567A (zh) 用于生成远场语音数据的方法、装置、计算设备以及计算机可读存储介质
CN109637548A (zh) 基于声纹识别的语音交互方法及装置
CN110556103A (zh) 音频信号处理方法、装置、系统、设备和存储介质
KR20230097106A (ko) 딥 러닝 기반 스피치 향상
CN109712646A (zh) 语音播报方法、装置和终端
CN109559734A (zh) 声学模型训练的加速方法和装置
CN110796027A (zh) 一种基于紧密卷积的神经网络模型的声音场景识别方法
CN113205803A (zh) 一种具有自适应降噪能力的语音识别方法及装置
CN109817239A (zh) 语音的降噪方法及装置
CN109147801A (zh) 语音交互方法、系统、终端及存储介质
CN111192577B (zh) 交流装置及交流装置的控制程序
CN112180318A (zh) 声源波达方向估计模型训练和声源波达方向估计方法
CN111354374A (zh) 语音处理方法、模型训练方法及电子设备
CN110277093B (zh) 音频信号的检测方法及装置
US20220366927A1 (en) End-To-End Time-Domain Multitask Learning for ML-Based Speech Enhancement
WO2022205249A1 (zh) 音频特征补偿方法、音频识别方法及相关产品
CN109726807A (zh) 神经网络处理器、运算方法及存储介质
CN113467512A (zh) 一种基于神经网络的无人机飞行方法及装置
CN113035174A (zh) 语音识别处理方法、装置、设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant