CN115116437A - 语音识别方法、装置、计算机设备、存储介质及产品 - Google Patents

Abstract

本申请提供了一种语音识别方法、装置、计算机设备、存储介质及产品，属于语音识别技术领域，可应用于语音识别、人工智能以及车载等场景。方法包括：将语音信号输入语音识别模型，得到语音信号的多个候选文本序列分别对应的第一候选文本参数；确定多个候选文本序列分别对应的第一语言参数和第二语言参数；基于多个候选文本序列分别对应的第二语言参数和第一候选文本参数，确定多个候选文本序列分别对应的声学参数；基于多个候选文本序列分别对应的声学参数和第一语言参数，确定多个候选文本序列分别对应的第二候选文本参数；基于多个候选文本序列和其分别对应的第二候选文本参数，确定语音信号对应的文本信息，提高了对语音信号进行识别的准确性。

Description

语音识别方法、装置、计算机设备、存储介质及产品

技术领域

本申请涉及语音识别技术领域，特别涉及一种语音识别方法、装置、计算机设备、存储介质及产品。

背景技术

随着语音识别技术的发展，语音识别模型的应用越来越广泛。例如，语音识别模型可以应用在语音搜索中；通过语音识别模型，对输入的语音信号进行语音识别，得到该语音信号对应的文本信息，进而基于该文本信息搜索信息。

相关技术中，一般使用端到端的语音识别模型进行语音识别。其中，端到端的语音识别模型识别语音信号的过程为：端到端的语音识别模型通过对语音信号进行识别，得到该语音信号的多个候选文本序列的候选文本参数，该候选文本参数用于表示候选文本序列为语音信号对应的文本信息的概率和候选文本序列符合语言逻辑的概率；进而基于多个候选文本序列和多个候选文本序列分别对应的候选文本参数，确定该语音信号对应的文本信息。

由于端到端的语音识别模型得到的候选文本参数同时用于表示候选文本序列为语音信号对应的文本信息的概率和候选文本序列符合语言逻辑的概率，就使得这两种概率之间相互限制才能得到候选文本参数，进而导致得到的候选文本参数准确性较差，使得得到的文本信息也不准确，也即通过该端到端的语音识别模型对语音信号进行识别的准确性较差。

发明内容

本申请实施例提供了一种语音识别方法、装置、计算机设备、存储介质及产品，能够提高对语音信号进行识别的准确性。所述技术方案如下：

一方面，提供了一种语音识别方法，所述方法包括：

将语音信号输入语音识别模型，得到所述语音信号的多个候选文本序列分别对应的第一候选文本参数，所述第一候选文本参数用于表示所述候选文本序列为所述语音信号对应的文本信息的概率和所述候选文本序列符合语言逻辑的概率；

将所述多个候选文本序列输入第一语言模型，得到所述多个候选文本序列分别对应的第一语言参数，所述第一语言参数用于表示所述候选文本序列符合语言逻辑的概率；

将所述多个候选文本序列和所述多个候选文本序列分别对应的第一候选文本参数输入第二语言模型，得到所述多个候选文本序列分别对应的第二语言参数，所述第二语言模型的训练语料与所述语音识别模型的训练语料相同，所述第二语言参数用于模拟所述第一候选文本参数中所述候选文本序列符合语言逻辑的概率；

基于所述多个候选文本序列分别对应的第二语言参数和第一候选文本参数，确定所述多个候选文本序列分别对应的声学参数，所述声学参数用于表示所述候选文本序列为所述语音信号对应的文本信息的概率；

基于所述多个候选文本序列分别对应的声学参数和第一语言参数，确定所述多个候选文本序列分别对应的第二候选文本参数；

基于所述多个候选文本序列和所述多个候选文本序列分别对应的第二候选文本参数，确定所述语音信号对应的文本信息。

另一方面，提供了一种语音识别装置，所述装置包括：

第一输入模块，用于将语音信号输入语音识别模型，得到所述语音信号的多个候选文本序列分别对应的第一候选文本参数，所述第一候选文本参数用于表示所述候选文本序列为所述语音信号对应的文本信息的概率和所述候选文本序列符合语言逻辑的概率；

第二输入模块，用于将所述多个候选文本序列输入第一语言模型，得到所述多个候选文本序列分别对应的第一语言参数，所述第一语言参数用于表示所述候选文本序列符合语言逻辑的概率；

第三输入模块，用于将所述多个候选文本序列和所述多个候选文本序列分别对应的第一候选文本参数输入第二语言模型，得到所述多个候选文本序列分别对应的第二语言参数，所述第二语言模型的训练语料与所述语音识别模型的训练语料相同，所述第二语言参数用于模拟所述第一候选文本参数中所述候选文本序列符合语言逻辑的概率；

第一确定模块，用于基于所述多个候选文本序列分别对应的第二语言参数和第一候选文本参数，确定所述多个候选文本序列分别对应的声学参数，所述声学参数用于表示所述候选文本序列为所述语音信号对应的文本信息的概率；

第二确定模块，用于基于所述多个候选文本序列分别对应的声学参数和第一语言参数，确定所述多个候选文本序列分别对应的第二候选文本参数；

第三确定模块，用于基于所述多个候选文本序列和所述多个候选文本序列分别对应的第二候选文本参数，确定所述语音信号对应的文本信息。

在一些实施例中，所述第一候选文本参数包括所述文本信息中多个位置的候选词的概率，所述第三输入模块，用于对于每个候选文本序列，将所述候选文本序列和所述候选文本序列的第一候选文本参数输入所述第二语言模型；通过所述第二语言模型，基于第一候选词确定所述第一候选词的第二语言参数，所述第一候选词为所述候选文本序列中的第一个候选词；通过所述第二语言模型，基于第二候选词的前一个候选词的概率和所述第二候选词确定所述第二候选词的第二语言参数，所述第二候选词为所述候选文本序列中除所述第一候选词以外的候选词；基于所述第一候选词的第二语言参数和所述第二候选词的第二语言参数，确定所述候选文本序列的第二语言参数。

在一些实施例中，所述第三输入模块，用于通过所述第二语言模型，基于所述第二候选词的前一个候选词的概率、第二语言参数和所述第二候选词，确定所述第二候选词的第二语言参数。

在一些实施例中，所述第二确定模块，用于获取所述多个候选文本序列分别对应的发音参数，所述发音参数用于表示所述候选文本序列符合所述语音信号的发音的概率；基于所述多个候选文本序列分别对应的发音参数、声学参数和第二语言参数，确定所述多个候选文本序列分别对应的第二候选文本参数。

在一些实施例中，所述第三确定模块，用于基于所述多个候选文本序列和所述多个候选文本序列分别对应的第二候选文本参数，确定所述多个候选文本序列中的目标候选文本序列，所述目标候选文本序列的第二候选文本参数最大；确定所述目标候选文本序列对应的所述文本信息。

在一些实施例中，所述语音信号对应的文本信息是通过所述语音识别模型和解码装置确定的，所述解码装置包括所述第一语言模型和解码器；所述解码器，用于基于所述多个候选文本序列和所述多个候选文本序列分别对应的第二候选文本参数，确定所述文本信息。

另一方面，提供了一种计算机设备，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行，以实现上述任一实现方式所述的语音识别方法。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现上述任一实现方式所述的语音识别方法。

另一方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序代码，所述计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机程序代码，所述处理器执行所述计算机程序代码，使得所述计算机设备执行上述任一实现方式所述的语音识别方法。

本申请实施例提供了一种语音识别方法，该方法通过第二语言参数模拟第一候选文本参数中候选文本序列符合语言逻辑的概率，就能够基于第二语言参数得到声学参数；且由于第一语言参数是基于外部单独的第一语言模型得到的，这样使得第一语言参数摆脱了第一候选文本参数用于表示的两种概率之间的相互限制，进而使得第一语言参数更能准确表示候选文本序列符合语言逻辑的概率，这样再基于第一语言参数和声学参数来得到新的第二候选文本参数，使得得到的第二候选文本参数的准确性更高，进而基于第二候选文本参数得到的文本信息更加准确，从而提高了对语音信号进行识别的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种实施环境的示意图；

图2是本申请实施例提供的一种语音识别方法的流程图；

图3是本申请实施例提供的一种语音识别方法的流程图；

图4是本申请实施例提供的一种LAS模型的示意图；

图5是本申请实施例提供的一种LSTM语言模型的示意图；

图6是本申请实施例提供的一种语音识别方法的流程图；

图7是本申请实施例提供的一种语音识别方法的流程图；

图8是本申请实施例提供的一种语音识别装置的框图；

图9是本申请实施例提供的一种终端的框图；

图10是本申请实施例提供的一种服务器的框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任意变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的语音信号都是在充分授权的情况下获取的。

以下，对本申请涉及的术语进行解释。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

自然语言处理(Nature Language processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR)和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

以下，对本申请涉及的实施环境进行介绍：

本申请实施例提供的语音识别方法，能够由计算机设备执行。在一些实施例中，该计算机设备为终端或服务器。下面首先以计算机设备为服务器为例，介绍一些本申请实施例提供的语音识别方法的实施环境示意图。参见图1，该实施环境包括终端101和服务器102。终端101和服务器102能够通过有线或无线通信方式进行直接或间接地连接，本申请在此不作限制。

在一些实施例中，终端101为智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备、智能家电、车载终端、飞行器等，但并不限于此。在一些实施例中，服务器102是独立的服务器也能够是多个物理服务器工程的服务器集群或者分布式系统，还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器102用于为终端101安装的目标应用提供后台服务。在一些实施例中，服务器102主要承担计算工作，终端101承担次要计算工作；或者，服务器102承担次要计算服务，终端101承担主要计算工作；或者，服务器102和终端101二者之间采用分布式计算架构进行协同计算。

在一些实施例中，终端101上安装有用于进行语音识别的目标应用，服务器102用于为终端101安装的目标应用提供后台服务，即终端101获取语音信号后，将语音信号发送给服务器102，服务器102用于对该语音信号进行识别，得到该语音信号对应的文本信息，将文本信息发送给终端101，以实现对语音信号的识别。

在一些实施例中，计算机设备为终端101，则终端101获取语音信号后，对该语音信号进行识别，得到该语音信号对应的文本信息，以实现对语音信号的识别。

可选地，本申请实施例提供的语音识别方法广泛应用于信息检索、人机交互等场景中。例如，本申请实施例提供的方法应用于信息检索场景中，用于对输入的语音信号进行识别，得到文本信息，进而基于文本信息进行信息检索。例如，本申请实施例提供的方法应用于人机交互场景中，用于对输入的语音信号进行识别，得到文本信息，进而基于文本信息中包括的文本指令控制人机交互设备完成文本指令对应的动作。

图2是根据本申请实施例提供的一种语音识别方法的流程图，参见图2，在本申请实施例中以由计算机设备执行为例进行说明。该语音识别方法包括以下步骤：

201、计算机设备将语音信号输入语音识别模型，得到语音信号的多个候选文本序列分别对应的第一候选文本参数。

在本申请实施例中，第一候选文本参数用于表示候选文本序列为语音信号对应的文本信息的概率和候选文本序列符合语言逻辑的概率。第一候选文本参数包括语音信号对应的文本信息中多个位置的候选词的概率。该语音识别模型为端到端的语音识别模型。

202、计算机设备将多个候选文本序列输入第一语言模型，得到多个候选文本序列分别对应的第一语言参数。

在本申请实施例中，第一语言参数用于表示候选文本序列符合语言逻辑的概率。第一语言模型为外部单独训练的语言模型，这样第一语言参数通过第一语言模型单独得到，使其仅用于表示候选文本序列符合语言逻辑的概率，摆脱了该概率与候选文本序列为语音信号对应的文本信息的概率之间的相互限制，进而使得第一语言参数表示的候选文本序列符合语言逻辑的概率准确性更高。

并且，第一语言模型的训练语料多于语音识别模型的训练语料，这样基于多的训练语料训练得到的第一语言模型的性能更好，进而基于第一语言模型得到的第一语言参数准确性更高。

203、计算机设备将多个候选文本序列和多个候选文本序列分别对应的第一候选文本参数输入第二语言模型，得到多个候选文本序列分别对应的第二语言参数。

在本申请实施例中，第二语言参数用于模拟第一候选文本参数中候选文本序列符合语言逻辑的概率。第二语言模型的训练语料与语音识别模型的训练语料相同，进而使得第二语言模型能够模拟语音识别模型中的语言模型，进而基于第二语言模型得到的第二语言参数就能够有效模拟候选文本序列符合语言逻辑的概率，即提高了第二语言参数模拟候选文本序列符合语言逻辑的概率的准确性。

204、计算机设备基于多个候选文本序列分别对应的第二语言参数和第一候选文本参数，确定多个候选文本序列分别对应的声学参数。

在本申请实施例中，声学参数用于表示候选文本序列为语音信号对应的文本信息的概率。

205、计算机设备基于多个候选文本序列分别对应的声学参数和第一语言参数，确定多个候选文本序列分别对应的第二候选文本参数。

在本申请实施例中，第二候选文本参数包括声学参数和第一语言参数。

206、计算机设备基于多个候选文本序列和多个候选文本序列分别对应的第二候选文本参数，确定语音信号对应的文本信息。

在本申请实施例中，文本信息为多个候选文本序列中的一个候选文本序列对应的文本信息。

本申请实施例提供了一种语音识别方法，该方法通过第二语言参数模拟第一候选文本参数中候选文本序列符合语言逻辑的概率，就能够基于第二语言参数得到声学参数；且由于第一语言参数是基于外部单独的第一语言模型得到的，这样使得第一语言参数摆脱了第一候选文本参数用于表示的两种概率之间的相互限制，进而使得第一语言参数更能准确表示候选文本序列符合语言逻辑的概率，这样再基于第一语言参数和声学参数来得到新的第二候选文本参数，使得得到的第二候选文本参数的准确性更高，进而基于第二候选文本参数得到的文本信息更加准确，从而提高了对语音信号进行识别的准确性。

图3是根据本申请实施例提供的一种语音识别方法的流程图，该语音识别方法包括以下步骤：

301、计算机设备将语音信号输入语音识别模型，得到语音信号的多个候选文本序列分别对应的第一候选文本参数。

在一些实施例中，计算机设备将语音信号输入语音识别模型，得到语音信号的多个候选文本序列分别对应的第一候选文本参数，包括以下步骤(1)-(5)：

(1)计算机设备将语音信号输入语音识别模型。

其中，语音识别模型为端到端的语音识别模型，可选性，该语音识别模型为LAS(Listen，Attend and Spell，编码器，注意力机制和解码器)模型、RNN-T(RecurrentNeural Network-Transducer，循环神经网络转换器)模型和CTC(Connectionist TemporalClassification，基于神经网络的时序类分类)模型中的一个，在此不作具体限定。在本申请实施例中，以语音识别模型为LAS模型为例进行说明。

(2)计算机设备通过语音识别模型，对语音信号进行编码，得到语音信号对应的声学特征序列。

其中，计算机设备得到语音信号对应的声学特征序列的过程包括预处理的过程和编码的过程。

在一种实现方式中，计算机设备通过语音识别模型完成预处理的过程和编码的过程；其中，计算机设备通过语音识别模型，对语音信号进行预处理，提取该语音信号对应的语音特征；计算机设备再通过语音识别模型，对该语音特征进行编码，得到语音信号对应的声学特征序列。

在另一种实现方式中，计算机设备完成预处理的过程，计算机设备通过语音识别模型完成编码的过程；其中，计算机设备对语音信号进行预处理，得到该语音信号对应的语音特征；计算机设备将该语音特征输入语音识别模型，通过语音识别模型，对该语音特征进行编码，得到语音信号对应的声学特征序列。

需要说明的是，本申请实施例中的语音信号可以为流式语音识别对应的语音信号，或非流式语音识别对应的语音信号；非流式语音识别指说话对象在说话的过程中通过模型进行同步的语音识别，流式语音识别指在说话对象说完一句话或一段话后再通过模型进行语音识别。

参见图4，图4为本申请实施例中提供的一种LAS模型的示意图，LAS模型是一种端到端的seq2seq结构；其中，LAS模型中包括Encoder(编码器)，编码器用于对语音信号进行编码，得到语音信号对应的声学特征序列。其中，计算机设备将语音信号的语音特征(x0，x1，x2，x3，…xn-1)，输入语音识别模型的编码器，得到声学特征序列(h0，h1，h2，h3，…hn-1)；其中，xn-1为语音特征组成的序列中第n-1个位置的特征向量，hn-1为声学特征序列第n-1个位置的特征向量。

其中，编码器采用的用于编码的模型可以根据需要进行设定并更改，若待识别的语音信号为非流式语音识别对应的语音信号，则编码器采用BLSTM(Bi-directional LongShort-Term Memory，双向长短时记忆)、BGRU(Bi-directional Gated Recurrent Unit，双向门控循环单元)、Transformer(一种基于多头注意力机制的模型)等模型中的至少一个来进行编码，得到声学特征序列；若待识别的语音信号为流式语音识别对应的语音信号，则编码器采用LSTM(directional Long Short-Term Memory，长短时记忆)、GRU(GatedRecurrent Unit，双向门控循环单元)、Chunk Transformer(一种基于块和多头注意力机制的模型)等模型中的至少一个来进行编码，得到声学特征序列。

(3)计算机设备通过语音识别模型，基于声学特征序列，确定第一候选词的概率。

其中，第一候选词为每个候选文本序列中的第一个候选词，由于候选文本序列为多个，因此，第一候选词为多个；每个第一候选词的概率为语音信号对应的文本信息中第一个位置的词为该候选词的概率，每个第一候选词可以是一个关键词或一个字符，在此不作具体限定。可选地，对于第一候选词，计算机设备将结束标识符<eos>作为其前一个候选词，基于该结束标志符和声学特征序列来得到第一候选词的概率。

(4)计算机设备通过语音识别模型，基于第二候选词的前一个候选词的概率和声学特征序列，确定第二候选词的概率。

其中，第二候选词为每个候选文本序列中除第一个候选词以外的其他任一位置的候选词，由于候选文本序列为多个，因此，任一位置的第二候选词为多个；每个第二候选词可以是一个关键词或一个字符，在此不作具体限定。

在一些实施例中，计算机设备通过语音识别模型，基于第二候选词的前一个候选词的概率和声学特征序列，确定第二候选词的概率，包括以下步骤：计算机设备通过语音识别模型，确定前一个位置的多个候选词的概率与声学特征序列之间的相似度；计算机设备通过语音识别模型，基于相似度和声学特征序列，确定前一个位置的多个候选词对应的声学信息；计算机设备通过语音识别模型，基于前一个位置的多个候选词的概率和声学信息，确定第二候选词的概率。

继续参见图4，LAS模型中还包括Attention(注意力层)和Decoder(解码器)，注意力层和解码器用于确定第一候选词的概率和第二候选词的概率。解码器包括LSTM、Attention、GRU等时序神经网络层，用于对编码器和注意力层的输出进行解码，得到多个候选文本序列和多个候选文本序列分别对应的第一候选文本参数。

在一种实现方式中，计算机设备通过语音识别模型的注意力层，确定前一个位置的候选词的概率与声学特征序列之间的相似度α，基于相似度和声学特征序列，确定该前一个位置的候选词对应的声学信息β；然后计算机设备通过语音识别模型中的解码器，基于前一个位置的候选词的概率和声学信息，确定第二候选词的概率。可选地，计算机设备通过解码器中的LSTM层，基于前一个位置的候选词的概率和声学信息，得到解码器的输出，进而得到第二候选词的概率；与此同理，计算机设备依次得到文本信息中多个位置的第二候选词的概率；其中，对于第一个候选词，计算机设备将结束标识符<eos>作为其前一个位置的候选词，以得到第一个候选词的概率；其中，多个候选词的概率分别表示为u0，u1，u2，u3，…un-1。

(5)计算机设备基于第一候选词的概率和第二候选词的概率，确定第一候选文本参数。

其中，第一候选词和第二候选词均为多个，即语音信号对应的文本信息中的多个位置分别对应多个候选词；相应地，计算机设备对多个位置分别对应的多个候选词交叉组合，得到多个候选文本序列，多个候选词包括第一候选词和第二候选词；进而基于多个候选文本序列中包括的多个候选词分别对应的概率，得到多个候选文本序列分别对应的第一候选文本参数，第一候选文本参数包括文本信息中多个位置的候选词的概率。

302、计算机设备将多个候选文本序列输入第一语言模型，得到多个候选文本序列分别对应的第一语言参数。

其中，第一语言参数用于表示候选文本序列符合语言逻辑的概率。第一语言模型的训练语料多于语音识别模型的训练语料，进而基于多个训练语料得到的第一语言模型的性能更好，使得第一语言模型得到的第一语言参数更能准确表示候选文本序列符合语言逻辑的概率，即提高了第一语言参数的准确性。

303、计算机设备对于每个候选文本序列，将候选文本序列和候选文本序列的第一候选文本参数输入第二语言模型。

其中，第二语言模型用于确定候选文本序列符合语言逻辑的概率。其中，第一候选文本参数包括文本信息中多个位置的候选词的概率。第二语言模型的训练语料与语音识别模型的训练语料相同，进而使得第二语言模型能够模拟语音识别模型中的语言模型，进而基于第二语言模型得到的第二语言参数就能够有效模拟候选文本序列符合语言逻辑的概率，且能够提高第二语言参数模拟候选文本序列符合语言逻辑的概率的准确性。

304、计算机设备通过第二语言模型，基于第一候选词确定第一候选词的第二语言参数。

其中，第一候选词为候选文本序列中的第一个候选词。可选地，对于第一候选词，计算机设备将结束标识符<eos>作为其前一个候选词，通过第二语言模型，基于该结束标志符和第一候选词来得到第一候选词的第二语言参数。

305、计算机设备通过第二语言模型，基于第二候选词的前一个候选词的概率和第二候选词确定第二候选词的第二语言参数。

其中，第二候选词为候选文本序列中除第一候选词以外的候选词。在一些实施例中，计算机设备通过第二语言模型，基于第二候选词的前一个候选词的概率和第二候选词确定第二候选词的第二语言参数，包括以下步骤：计算机设备通过第二语言模型，基于第二候选词的前一个候选词的概率和第二语言参数以及第二候选词，确定第二候选词的第二语言参数。可选地，对于t时刻，第二候选词的第二语言参数为第二语言模型的输出，则前一个候选词的第二语言参数为上一时刻第二语言模型的输出。

在该实施例中，计算机设备通过第二语言模型，基于前一个候选词的概率和第二语言参数以及第二候选词来确定第二候选词的第二语言参数，进一步考虑了多个位置的候选词之间的语义联系，进而基于多个位置的候选词的第二语言参数来表示候选文本序列是否符合语言逻辑的概率更加准确。

306、计算机设备基于第一候选词的第二语言参数和第二候选词的第二语言参数，确定候选文本序列的第二语言参数。

可选地，计算机设备对于任一候选文本序列，基于候选文本序列中包括的第一候选词的第二语言参数和第二候选词的第二语言参数，组成该候选文本序列的第二语言参数。

在该实施例中，计算机设备通过第二语言模型，基于前一个候选词的概率来确定当前第二候选词的第二语言参数，这样充分考虑了前一刻输出的候选词对当前候选词的第二语言参数的影响，即充分考虑了多个候选词之间的依赖关系，进而提高了得到的候选文本序列的第二语言参数的准确性。

可选地，第二语言模型为LSTM语言模型、RNN(Recurrent Neural Network，循环神经网络)语言模型和Attention(注意力)语言模型中的至少一个，在此不作具体限定。在一种实现方式中，第二语言模型为LSTM语言模型，LSTM语言模型可以利用上一时刻学习到的信息进行当前时刻的学习，即当前候选词的第二语言参数来是基于前一个候选词的第二语言参数来得到的；由于端到端的语音识别模型中当前位置的候选词的概率同样是基于前一个位置的候选词的概率得到的，即二者都是基于前一时刻的输出来确定当前时刻的输出，且由于该LSTM模型的训练语料与语音识别模型的训练语料相同，进而基于该LSTM语言模型得到的第二语言参数，能够更准确地模拟语音识别模型中真实的候选文本序列符合语言逻辑的概率。参见图5，图5为本申请实施例提供的一种LSTM语言模型的示意图，其包括Embedding(嵌入层)、N个LSTM(注意力层)、Linear(全连接层)、Softmax(分类网络层)几部分；嵌入层用于对输入LSTM语言模型的候选文本序列进行处理，得到候选文本序列对应的向量序列；注意力层用于将向量序列编码成语义特征；全连接层和分类网络层用于基于语义特征，实现对候选文本序列的分类，即得到候选文本序列的第二语言参数。

307、计算机设备基于多个候选文本序列分别对应的第二语言参数和第一候选文本参数，确定多个候选文本序列分别对应的声学参数。

其中，第二语言参数用于模拟第一候选文本参数中候选文本序列符合语言逻辑的概率；声学参数用于表示候选文本序列为语音信号对应的文本信息的概率。

在一种实现方式中，计算机设备确定第一候选文本参数与第二语言参数之间的差值，得到声学参数。在另一种实现方式中，计算机设备确定第一候选文本参数中用于表示候选文本序列为语音信号对应的文本信息的概率的第一权重和第一候选文本参数中用于表示候选文本序列符合语言逻辑的概率的第二权重，计算机设备确定第二语言参数与第二权重的乘积，然后确定第一候选文本参数与该乘积之间的差值，最后确定该差值与第一权重之商，得到声学参数。

其中，对于每个候选文本序列，声学参数包括文本信息的多个位置的候选词的概率，可选地，计算机设备确定该多个位置的候选词的概率之和，得到该候选文本序列的声学参数；或者，计算机设备确定该多个位置的候选词的概率的均值，得到该候选文本序列的声学参数，或者，计算机设备对该多个位置的候选词的概率加权求和，得到该候选文本序列的声学参数。其中，对于每个候选文本序列，其第一语言参数的确定过程与声学参数的确定过程同理，在此不再赘述。

308、计算机设备基于多个候选文本序列分别对应的声学参数和第一语言参数，确定多个候选文本序列分别对应的第二候选文本参数。

在一些实施例中，计算机设备对于每个候选文本序列，组合该候选文本序列的声学参数和第一语言参数，得到该候选文本序列对应的第二候选文本参数，使该第二候选文本参数包括候选文本序列对应的声学参数和第一语言参数。可选地，对于每个候选文本序列，计算机设备确定该候选文本序列的声学参数和第一语言参数之和，得到第二候选文本参数；或者，计算机设备确定该候选文本序列的声学参数和第一语言参数的均值，得到第二候选文本参数；或者，计算机设备对声学参数和第一语言参数加权求和，得到第二候选文本参数，在此不作具体限定。

在一些实施例中，计算机设备基于多个候选文本序列分别对应的声学参数和第一语言参数，确定多个候选文本序列分别对应的第二候选文本参数，包括以下步骤：计算机设备获取多个候选文本序列分别对应的发音参数，发音参数用于表示候选文本序列符合语音信号的发音的概率；计算机设备基于多个候选文本序列分别对应的发音参数、声学参数和第二语言参数，确定多个候选文本序列分别对应的第二候选文本参数。在该实施例中，计算机设备对于每个候选文本序列，组合该候选文本序列对应的发音参数、声学参数和第一语言参数，得到该候选文本序列对应的第二候选文本参数，使第二候选文本参数包括候选文本序列对应的发音参数、声学参数和第二语言参数。可选地，对于每个候选文本序列，计算机设备确定该候选文本序列对应的发音参数、声学参数和第一语言参数之和，得到第二候选文本参数；或者，计算机设备确定该候选文本序列对应的发音参数、声学参数和第一语言参数的均值，得到第二候选文本参数；或者，计算机设备对发音参数、声学参数和第一语言参数加权求和，得到第二候选文本参数，在此不作具体限定。其中，对于每个候选文本序列，发音参数包括文本信息的多个位置的候选词的发音的概率，发音参数的确定过程与声学参数的确定过程同理，在此不再赘述。

在一些实施例中，计算机设备获取多个候选文本序列分别对应的发音参数，包括以下步骤：对于每个候选文本序列，计算机设备获取该候选文本序列对应的音素序列，计算机设备将该音素序列输入词汇化模型，得到该候选文本序列对应的发音参数。其中，词汇化模型可以为语音识别领域中的发音词典，在此不作具体限定。

在该实施例中，计算机设基于发音参数、声学参数和第一语言参数来得到第二候选文本参数，这样结合多种因素来得到第二候选文本参数，使得后续基于第二候选文本参数得到的文本信息即符合语言逻辑又符合发音逻辑，进而使得得到的文本信息更加准确。

309、计算机设备基于多个候选文本序列和多个候选文本序列分别对应的第二候选文本参数，确定语音信号对应的文本信息。

在一些实施例中，计算机设备基于多个候选文本序列和多个候选文本序列分别对应的第二候选文本参数，确定多个候选文本序列中的目标候选文本序列，目标候选文本序列的第二候选文本参数最大；计算机设备确定目标候选文本序列对应的文本信息。

在一种情况下，若多个候选文本序列分别对应的第二候选文本参数是基于声学参数和第一语言参数确定的，则目标候选文本序列对应的第二候选文本参数是基于该目标候选文本序列对应的声学参数和第一语言参数确定的。

在另一种情况下，若多个候选文本序列分别对应的第二候选文本参数是基于发音参数、声学参数和第一语言参数确定的，则目标候选文本序列对应的最大的第二候选文本参数是基于目标候选文本序列对应的发音参数、声学参数和第一语言参数确定的。

可选地，计算机设备将目标候选文本序列中的多个候选词组成的文本作为语音信号对应的文本信息。

在一种实现方式中，步骤302中的第一语言参数是基于单独的第一语言模型得到的。在另一种实现方式中，步骤302中的第一语言参数是基于解码装置的中第一语言模型得到的，该解码装置包括第一语言模型和解码器；其中，解码器用于基于多个候选文本序列和多个候选文本序列分别对应的第二候选文本参数，确定文本信息。可选地，该解码装置为语音识别模型中Hybrid(混合)模型对应的解码装置。在一种实现方式中，计算机设备通过解码器，将多个候选文本序列分别包括的多个候选词组成词图，该词图中还包括多个候选词分别对应的发音参数、声学参数和第一语言参数；计算机设备通过解码器，对该词图进行解码，得到目标候选文本序列，其解码过程与步骤309同理，在此不再赘述。

参见图6，图6是本申请实施例提供的一种语音识别方法的流程图，该识别方法结合了端到端的语音识别模型和Hybrid模型。计算机设备将语音信号进行预处理，得到语音信号的语音特征，将语音特征输入端到端的语音识别模型，然后将端到端的语音识别模型输出的第一候选文本参数送入Hybrid模型，由Hybrid模型中的解码器结合词汇化模型和第一语言模型，得到最终输出的文本信息。其中，由于Hybrid模型中的第一语言识别模型为基于大量的训练语料训练得到的，其泛化能力强，进而提高了对语音信号进行语音识别的准确性。

需要说明的是，端到端的语音识别模型受限于训练语料的数量，直接基于其解码器输出的第一候选文本参数进行束搜索来进行语音识别，其识别效果相对于Hybrid模型的识别效果较差；且由于端到端的语音识别模型得到的候选文本参数同时用于表示候选文本序列为语音信号对应的文本信息的概率和候选文本序列符合语言逻辑的概率，就使得这两种概率之间相互限制才能得到候选文本参数，进而使得端到端的语音识别模型得到的候选文本参数既不能准确表示候选文本序列为语音信号对应的文本信息的概率，也不能准确表示候选文本序列符合语言逻辑的概率，进而使得基于候选文本参数得到的文本信息准确性较低。而Hybrid模型主要包括声学模型、词汇化模型和语言模型，Hybrid模型基于解码器将三者结合起来，进行语音识别；其语言模型是基于大量的文本语料训练得到的，且得到的语言参数仅用于表示候选文本序列符合语言逻辑的概率，即其语言参数能准确表示候选文本序列符合语言逻辑的概率，使得Hybrid模型基于其语言模型得到的语言参数准确度高。而端到端的语音识别模型由于输入语音信号后能够直接得到其对应的文本信息，大大简化了模型的训练过程。而为了提高端到端的语音识别模型的识别效果，在本申请实施例中，进行端到端的语音识别模型与Hybrid模型的联合语音识别，即采用Hybrid模型中的语言模型代替端到端的语音识别模型中的语言模型，来对语音信号进行语音识别，以提高对语音信号进行语音识别的准确性。

需要说明的是，由于端到端的语音识别模型中当前时刻的输出是依赖于之前时刻的输出的，而解码装置中的第一语言模型与端到端的语音识别模型的识别机制不同，其当前时刻的输出并不是是依赖于之前时刻的输出的，因此直接将语音识别模型输出的第一候选文本参数输入解码装置来得到文本信息并不适用；而在本申请实施例中，通过第二语言参数来模拟第一候选文本参数中候选文本序列符合语言逻辑的概率，进而通过第二语言参数将第一候选文本参数中候选文本序列符合语言逻辑的概率去除，仅基于解码装置中的第一语言模型得到的第一语言参数来进行语音识别，避免了第一候选文本参数中候选文本序列符合语言逻辑的概率与第一语言参数混合造成的冲突，进而避免了这种冲突造成的语音识别效果差的情况。

参见图7，图7是本申请实施例提供的一种语音识别方法的流程图；其中，计算机设备基于语音识别模型得到多个候选文本序列的第一候选文本参数，将多个候选文本序列的和多个候选文本序列的第一候选文本参数输入第二语言模型，得到第二语言参数。其中，对于第一候选词即候选文本序列中的第一个候选词，计算机设备将结束标识符作为其前一个候选词，来得到第一候选词的第二语言参数；对于第二候选词，计算机设备基于其前一个候选词的概率、第二语言参数以及第二候选词，得到第二候选词的第二语言参数；依此类推，计算机设备得到多个候选文本序列分别对应的第二语言参数。其中，多个候选词的第二语言参数分别表示为v0，v1，v2，v3，…vn-1。然后计算机设备将语音识别模型的解码器输出的第一候选文本参数减去第二语言模型的输出，得到声学参数，将多个候选文本序列和声学参数输入解码装置，通过解码装置中的第一语言模型和解码器得到多个候选文本序列分别对应的第二候选文本参数，进而基于第二候选文本参数确定语音信号对应的文本信息。其中，第二候选文本参数对应的多个候选词的概率表示为y0，y1，y2，y3，…yn-1。

在一些实施例中，通过本申请实施例提供的语音识别方法，语音识别效果显著提升。例如，对于相同的测试集A，进行端到端的语音识别模型的识别效果与通过本申请实施例提供的语音识别方法的识别效果的对比；其中，端到端的语音识别模型对应的WER(WordError Rate，词错误率)为3.89％，而本申请实施例提供的语音识别方法对应的WER为3.00％，显然，通过本申请实施例提供的语音识别方法显著提升了语音识别效果。

本申请实施例提供了一种语音识别方法，该方法通过第二语言参数模拟第一候选文本参数中候选文本序列符合语言逻辑的概率，就能够基于第二语言参数得到声学参数；且由于第一语言参数是基于外部单独的第一语言模型得到的，这样使得第一语言参数摆脱了第一候选文本参数用于表示的两种概率之间的相互限制，进而使得第一语言参数更能准确表示候选文本序列符合语言逻辑的概率，这样再基于第一语言参数和声学参数来得到新的第二候选文本参数，使得得到的第二候选文本参数的准确性更高，进而基于第二候选文本参数得到的文本信息更加准确，从而提高了对语音信号进行识别的准确性。

本申请实施例还提供了一种语音识别装置，参见图8，装置包括：

第一输入模块801，用于将语音信号输入语音识别模型，得到语音信号的多个候选文本序列分别对应的第一候选文本参数，第一候选文本参数用于表示候选文本序列为语音信号对应的文本信息的概率和候选文本序列符合语言逻辑的概率；

第二输入模块802，用于将多个候选文本序列输入第一语言模型，得到多个候选文本序列分别对应的第一语言参数，第一语言参数用于表示候选文本序列符合语言逻辑的概率；

第三输入模块803，用于将多个候选文本序列和多个候选文本序列的第一候选文本参数输入第二语言模型，得到多个候选文本序列分别对应的第二语言参数，第二语言模型的训练语料与语音识别模型的训练语料相同，第二语言参数用于模拟第一候选文本参数中候选文本序列符合语言逻辑的概率；

第一确定模块804，用于基于多个候选文本序列分别对应的第二语言参数和第一候选文本参数，确定多个候选文本序列分别对应的声学参数，声学参数用于表示候选文本序列为语音信号对应的文本信息的概率；

第二确定模块805，用于基于多个候选文本序列分别对应的声学参数和第一语言参数，确定多个候选文本序列分别对应的第二候选文本参数；

第三确定模块806，用于基于多个候选文本序列和多个候选文本序列分别对应的第二候选文本参数，确定语音信号对应的文本信息。

在一些实施例中，第一候选文本参数包括文本信息中多个位置的候选词的概率，第三输入模块803，用于对于每个候选文本序列，将候选文本序列和候选文本序列的第一候选文本参数输入第二语言模型；通过第二语言模型，基于第一候选词确定第一候选词的第二语言参数，第一候选词为候选文本序列中的第一个候选词；通过第二语言模型，基于第二候选词的前一个候选词的概率和第二候选词确定第二候选词的第二语言参数，第二候选词为候选文本序列中除第一候选词以外的候选词；基于第一候选词的第二语言参数和第二候选词的第二语言参数，确定候选文本序列的第二语言参数。

在一些实施例中，第三输入模块803，用于通过第二语言模型，基于第二候选词的前一个候选词的概率、第二语言参数和第二候选词，确定第二候选词的第二语言参数。

在一些实施例中，第二确定模块805，用于获取多个候选文本序列分别对应的发音参数，发音参数用于表示候选文本序列符合语音信号的发音的概率；基于多个候选文本序列分别对应的发音参数、声学参数和第二语言参数，确定多个候选文本序列分别对应的第二候选文本参数。

在一些实施例中，第三确定模块806，用于基于多个候选文本序列和多个候选文本序列分别对应的第二候选文本参数，确定多个候选文本序列中的目标候选文本序列，目标候选文本序列的第二候选文本参数最大；确定目标候选文本序列对应的文本信息。

在一些实施例中，语音信号对应的文本信息是通过语音识别模型和解码装置确定的，解码装置包括第一语言模型和解码器；解码器，用于基于多个候选文本序列和多个候选文本序列分别对应的第二候选文本参数，确定文本信息。

本申请实施例提供了一种语音识别方法，该方法通过第二语言参数模拟第一候选文本参数中候选文本序列符合语言逻辑的概率，就能够基于第二语言参数得到声学参数；且由于第一语言参数是基于外部单独的第一语言模型得到的，这样使得第一语言参数摆脱了第一候选文本参数用于表示的两种概率之间的相互限制，进而使得第一语言参数更能准确表示候选文本序列符合语言逻辑的概率，这样再基于第一语言参数和声学参数来得到新的第二候选文本参数，使得得到的第二候选文本参数的准确性更高，进而基于第二候选文本参数得到的文本信息更加准确，从而提高了对语音信号进行识别的准确性。

在本申请实施例中，计算机设备能够为终端或者服务器，当计算机设备为终端时，由终端作为执行主体来实施本申请实施例提供的技术方案；当计算机设备为服务器时，由服务器作为执行主体来实施本申请实施例提供的技术方案；或者，通过终端和服务器之间的交互来实施本申请提供的技术方案，本申请实施例对此不作限定。

图9示出了本申请一个示例性实施例提供的终端900的结构框图。该终端900可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Movi12gPicture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Movi12g PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端900包括有：处理器901和存储器902。

处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Sig12al Processi12g，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Ce12tral Processi12gU12it，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以集成有GPU(Graphics Processi12g U12it，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial I12tellige12ce，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器901所执行以实现本申请中方法实施例提供的语音识别方法。

在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、显示屏905、摄像头组件906、音频电路907和电源908中的至少一种。

外围设备接口903可被用于将I/O(I12put/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路904用于接收和发射RF(Radio Freque12cy，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括12FC(12ear Field Commu12icatio12，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏905用于显示UI(User I12terface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置在终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在另一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Orga12ic Light-Emitti12g Diode，有机发光二极管)等材质制备。

摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同动作部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。

电源908用于为终端900中的各个组件进行供电。电源908可以是交流电、直流电、一次性电池或可充电电池。当电源908包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端900还包括有一个或多个传感器909。该一个或多个传感器909包括但不限于：加速度传感器910、陀螺仪传感器911、压力传感器912、光学传感器913以及接近传感器914。

加速度传感器910可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器910可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器910采集的重力加速度信号，控制显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器910还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器911可以检测终端900的机体方向及转动角度，陀螺仪传感器911可以与加速度传感器910协同采集用户对终端900的3D动作。处理器901根据陀螺仪传感器911采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器912可以设置在终端900的侧边框和/或显示屏905的下层。当压力传感器912设置在终端900的侧边框时，可以检测用户对终端900的握持信号，由处理器901根据压力传感器912采集的握持信号进行左右手识别或快捷操作。当压力传感器912设置在显示屏905的下层时，由处理器901根据用户对显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

光学传感器913用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器913采集的环境光强度，控制显示屏905的显示亮度。具体地，当环境光强度较高时，调高显示屏905的显示亮度；当环境光强度较低时，调低显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器913采集的环境光强度，动态调整摄像头组件906的拍摄参数。

接近传感器914，也称距离传感器，通常设置在终端900的前面板。接近传感器914用于采集用户与终端900的正面之间的距离。在一个实施例中，当接近传感器914检测到用户与终端900的正面之间的距离逐渐变小时，由处理器901控制显示屏905从亮屏状态切换为息屏状态；当接近传感器914检测到用户与终端900的正面之间的距离逐渐变大时，由处理器901控制显示屏905从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图9中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图10是根据本申请实施例提供的一种服务器的结构示意图，该服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(CentralProcessing Units，CPU)1001和一个或一个以上的存储器1002，其中，该存储器1002中存储有至少一条计算机程序，该至少一条计算机程序由该处理器1001加载并执行以实现上述各个方法实施例提供的语音识别方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有至少一条程序代码，至少一条程序代码由处理器加载并执行，以实现上述任一实现方式的语音识别方法。

本申请实施例还提供了一种计算机程序产品，计算机程序产品包括计算机程序代码，计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取计算机程序代码，处理器执行计算机程序代码，使得计算机设备执行上述任一实现方式的语音识别方法。

在一些实施例中，本申请实施例所涉及的计算机程序产品可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。

以上仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种语音识别方法，其特征在于，所述方法包括：

将语音信号输入语音识别模型，得到所述语音信号的多个候选文本序列分别对应的第一候选文本参数，所述第一候选文本参数用于表示所述候选文本序列为所述语音信号对应的文本信息的概率和所述候选文本序列符合语言逻辑的概率；

将所述多个候选文本序列输入第一语言模型，得到所述多个候选文本序列分别对应的第一语言参数，所述第一语言参数用于表示所述候选文本序列符合语言逻辑的概率；

将所述多个候选文本序列和所述多个候选文本序列分别对应的第一候选文本参数输入第二语言模型，得到所述多个候选文本序列分别对应的第二语言参数，所述第二语言模型的训练语料与所述语音识别模型的训练语料相同，所述第二语言参数用于模拟所述第一候选文本参数中所述候选文本序列符合语言逻辑的概率；

基于所述多个候选文本序列分别对应的第二语言参数和第一候选文本参数，确定所述多个候选文本序列分别对应的声学参数，所述声学参数用于表示所述候选文本序列为所述语音信号对应的文本信息的概率；

基于所述多个候选文本序列分别对应的声学参数和第一语言参数，确定所述多个候选文本序列分别对应的第二候选文本参数；

基于所述多个候选文本序列和所述多个候选文本序列分别对应的第二候选文本参数，确定所述语音信号对应的文本信息。

2.根据权利要求1所述的方法，其特征在于，所述第一候选文本参数包括所述文本信息中多个位置的候选词的概率，所述将所述多个候选文本序列和所述多个候选文本序列分别对应的第一候选文本参数输入第二语言模型，得到所述多个候选文本序列分别对应的第二语言参数，包括：

对于每个候选文本序列，将所述候选文本序列和所述候选文本序列的第一候选文本参数输入所述第二语言模型；

通过所述第二语言模型，基于第一候选词确定所述第一候选词的第二语言参数，所述第一候选词为所述候选文本序列中的第一个候选词；

通过所述第二语言模型，基于第二候选词的前一个候选词的概率和所述第二候选词确定所述第二候选词的第二语言参数，所述第二候选词为所述候选文本序列中除所述第一候选词以外的候选词；

基于所述第一候选词的第二语言参数和所述第二候选词的第二语言参数，确定所述候选文本序列的第二语言参数。

3.根据权利要求2所述的方法，其特征在于，所述通过所述第二语言模型，基于第二候选词的前一个候选词的概率和所述第二候选词确定所述第二候选词的第二语言参数，包括：

通过所述第二语言模型，基于所述第二候选词的前一个候选词的概率、第二语言参数和所述第二候选词，确定所述第二候选词的第二语言参数。

4.根据权利要求1所述的方法，其特征在于，所述基于所述多个候选文本序列分别对应的声学参数和第一语言参数，确定所述多个候选文本序列分别对应的第二候选文本参数，包括：

获取所述多个候选文本序列分别对应的发音参数，所述发音参数用于表示所述候选文本序列符合所述语音信号的发音的概率；

基于所述多个候选文本序列分别对应的发音参数、声学参数和第二语言参数，确定所述多个候选文本序列分别对应的第二候选文本参数。

5.根据权利要求1所述的方法，其特征在于，所述基于所述多个候选文本序列和所述多个候选文本序列分别对应的第二候选文本参数，确定所述语音信号对应的文本信息，包括：

基于所述多个候选文本序列和所述多个候选文本序列分别对应的第二候选文本参数，确定所述多个候选文本序列中的目标候选文本序列，所述目标候选文本序列的第二候选文本参数最大；

确定所述目标候选文本序列对应的所述文本信息。

6.根据权利要求1所述的方法，其特征在于，

所述语音信号对应的文本信息是通过所述语音识别模型和解码装置确定的，所述解码装置包括所述第一语言模型和解码器；

所述解码器，用于基于所述多个候选文本序列和所述多个候选文本序列分别对应的第二候选文本参数，确定所述文本信息。

7.一种语音识别装置，其特征在于，所述装置包括：

第一输入模块，用于将语音信号输入语音识别模型，得到所述语音信号的多个候选文本序列分别对应的第一候选文本参数，所述第一候选文本参数用于表示所述候选文本序列为所述语音信号对应的文本信息的概率和所述候选文本序列符合语言逻辑的概率；

第二输入模块，用于将所述多个候选文本序列输入第一语言模型，得到所述多个候选文本序列分别对应的第一语言参数，所述第一语言参数用于表示所述候选文本序列符合语言逻辑的概率；

第三输入模块，用于将所述多个候选文本序列和所述多个候选文本序列分别对应的第一候选文本参数输入第二语言模型，得到所述多个候选文本序列分别对应的第二语言参数，所述第二语言模型的训练语料与所述语音识别模型的训练语料相同，所述第二语言参数用于模拟所述第一候选文本参数中所述候选文本序列符合语言逻辑的概率；

第一确定模块，用于基于所述多个候选文本序列分别对应的第二语言参数和第一候选文本参数，确定所述多个候选文本序列分别对应的声学参数，所述声学参数用于表示所述候选文本序列为所述语音信号对应的文本信息的概率；

第二确定模块，用于基于所述多个候选文本序列分别对应的声学参数和第一语言参数，确定所述多个候选文本序列分别对应的第二候选文本参数；

第三确定模块，用于基于所述多个候选文本序列和所述多个候选文本序列分别对应的第二候选文本参数，确定所述语音信号对应的文本信息。

8.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行，以实现如权利要求1至权利要求6任一项所述的语音识别方法。

9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如权利要求1至权利要求6任一项所述的语音识别方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序代码，所述计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机程序代码，所述处理器执行所述计算机程序代码，使得所述计算机设备执行如权利要求1至权利要求6任一项所述的语音识别方法。

Images