CN112489637B - 语音识别方法和装置 - Google Patents

语音识别方法和装置 Download PDF

Info

Publication number
CN112489637B
CN112489637B CN202011212685.8A CN202011212685A CN112489637B CN 112489637 B CN112489637 B CN 112489637B CN 202011212685 A CN202011212685 A CN 202011212685A CN 112489637 B CN112489637 B CN 112489637B
Authority
CN
China
Prior art keywords
model
acoustic
target
training data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011212685.8A
Other languages
English (en)
Other versions
CN112489637A (zh
Inventor
张辽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011212685.8A priority Critical patent/CN112489637B/zh
Publication of CN112489637A publication Critical patent/CN112489637A/zh
Application granted granted Critical
Publication of CN112489637B publication Critical patent/CN112489637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0631—Creating reference templates; Clustering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0631—Creating reference templates; Clustering
    • G10L2015/0633—Creating reference templates; Clustering using lexical or orthographic knowledge sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种语音识别方法和装置，涉及语音技术领域、大数据领域和深度学习计算领域，其中，方法包括：获取与目标场景匹配的声学训练数据和文本训练数据，其中，文本训练数据包括：与声学训练数据对应的第一文本数据，以及与目标场景相关的其他第二文本数据；将文本训练数据输入到预设的目标LSTM模型，获取目标LSTM模型输出的包含历史信息的隐含层信息；提取声学训练数据的隐含特征信息，将隐含特征信息和包含历史信息的隐含层信息输入到注意力模型；通过预设目标函数训练注意力模型和目标LSTM模型的参数，生成与目标场景匹配的目标声学模型；根据目标声学模型识别目标场景的语音信息。由此，采用声学语言联合建模，提高了语音识别的准确率和效率。

Description

语音识别方法和装置
技术领域
本申请涉及语音技术领域、大数据领域和深度学习计算领域，尤其涉及一种语音识别方法和装置。
背景技术
随着计算机技术的发展，语音识别技术也得到广泛的应用，语音识别技术通过将语音信号转换为文本信号满足了人机交互等场景中的需求。
相关技术中，通过对大量音频样本数据训练得到注意力模型，根据训练好的注意力模型进行语音识别。然而，注意力模型是根据字典数据进行训练的，虽然通用性较强，但是，当样本数据与当前场景相关度不高时，导致语音识别的准确度较低。
发明内容
本申请提提供了一种用于解决语音识别效率较低的技术问题的方法和装置。
根据第一方面，提供了一种语音识别方法，包括：获取与目标场景匹配的声学训练数据和文本训练数据，其中，所述文本训练数据包括：与所述声学训练数据对应的第一文本数据，以及与所述目标场景相关的其他第二文本数据；将所述文本训练数据输入到预设的目标LSTM模型，获取所述目标LSTM模型输出的包含历史信息的隐含层信息；提取所述声学训练数据的隐含特征信息，将所述隐含特征信息和所述包含历史信息的隐含层信息输入到注意力模型；通过预设的目标函数训练所述注意力模型和所述目标LSTM模型的参数，生成与所述目标场景匹配的目标声学模型；根据所述目标声学模型识别所述目标场景的语音信息。
根据第二方面，提供了一种语音识别装置，包括：第一获取模块，用于获取与目标场景匹配的声学训练数据和文本训练数据，其中，所述文本训练数据包括：与所述声学训练数据对应的第一文本数据，以及与所述目标场景相关的其他第二文本数据；第二获取模块，用于将所述文本训练数据输入到预设的目标LSTM模型，获取所述目标LSTM模型输出的包含历史信息的隐含层信息；第一输入模块，用于提取所述声学训练数据的隐含特征信息，将所述隐含特征信息和所述包含历史信息的隐含层信息输入到注意力模型；第一生成模块，用于通过预设的目标函数训练所述注意力模型和所述目标LSTM模型的参数，生成与所述目标场景匹配的目标声学模型；识别模块，用于根据所述目标声学模型识别所述目标场景的语音信息。
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的语音识别方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质所述计算机指令用于使所述计算机执行上述第一方面所述的语音识别方法。
根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面所述的语音识别方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的语音识别方法的流程示意图；
图2是根据本申请第二实施例的目标声学模型的结构示意图；
图3-1是根据本申请第三实施例的一种截断注意力SLMTA的结构示意图；
图3-2是根据本申请第三实施例的另一种截断注意力SLMTA的结构示意图；
图4是根据本申请第四实施例的语音识别方法的流程示意图；
图5是根据本申请第五实施例的语音识别方法的流程示意图；
图6是根据本申请第六实施例的语音识别装置的结构框图；
图7是根据本申请第七实施例的语音识别装置的结构框图；
图8是根据本申请第八实施例的语音识别装置的结构框图；
图9是用来实现本申请实施例的语音识别的方法的电子设备的框图；
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
正如背景技术中提到的，训练的音频样本数据的与场景不匹配时，注意力模型识别精度不高，比如对于流式截断的多层注意力模型（Streaming Multi-Layer TruncatedAttention，Smlta），用于采用通用的音频样本数据进行训练，因此，在特定的场景进行语音识别时，必须采用大量的与场景有关的音频数据重新训练Smlta模型，否则Smlta模型的语音识别精确度较低。
然而，使用大量的与场景有关的音频数据重新训练Smlta模型又会导致语音识别的效率较低。
在本申请中，为了兼顾语音识别效率和语音识别的准确率，本申请提出了中结合长短期记忆网络（LSTM，Long Short-Term Memory）模型训练注意力模型，比如，根据LSTM的有关训练结果替换Smlta模型的字典训练样本数据，其中，LSTM可以根据文本数据的训练即可学习得到对应场景下的文本字之间的音频关系等，从而，提高了Smlta模型的识别精确度，另一方面，LSTM训练时无需使用大量的音频样本数据，提高了语音识别效率。
具体而言，图1是根据本申请一个实施例的语音识别方法的流程图，如图1所示，该方法包括：
步骤101，获取与目标场景匹配的声学训练数据和文本训练数据，其中，文本训练数据包括：与声学训练数据对应的第一文本数据，以及与目标场景相关的其他第二文本数据。
在本实施例中，获取与目标场景匹配的声学训练数据和文本训练数据，其中，声学训练数据包括与目标场景对应的包含与该场控对应的语音蓄念数据，比如，在目标场景为“世界杯”场景时，该声学训练数据可以为与“世界杯”场景对应的语音训练数据。
另外，文本训练数据包含与声学训练数据对应的第一文本数据，还第一文本数据是声学训练数据，即是声学形式的，保留了该场景喜爱的语音数据的音频特征等，文本训练数据包还包括第二文本数据，第二文本数据对应的是与目标场景有关的文本数据，可以根据语义识别或者关键词识别等技术在网络上抓取得到。
步骤102，将文本训练数据输入到预设的目标LSTM模型，获取目标LSTM模型输出的包含历史信息的隐含层信息。
可以理解的是，目标LSTM模型是根据深度学习模型学习得到文本之间包含的字之间的联系，即可以区分出对应场景下采集到的文本中的词，比如，在餐饮场景下，目标LSTM模型可以在“我们一起去肯德基”，区分出对应的词为“我们”、“一起去”、“肯德基”。
在本实施例中，将目标LSTM模型学习得到的对应场景下的词的识别逻辑作为历史信息的隐含层信息，该历史信息的隐含层信息，可以确定出目标场景下那些字是属于同一个词的，便于后续对语音的识别。
其中，目标LSTM模型学习得到历史信息的隐含层信息的方式可以由现有技术实现，在此不再赘述。
在本实施中，目标LSTM模型通过自身的损失函数进行训练，使得语言模型保留自己的独立性，不停地为注意力提供不被影响的语言模型信息，同时可以实现快速的语音的识别。
另外，目标LSTM模型输入的文本训练数据，包含声学训练数据对应的第一文本数据，此时与注意力模型进行协同训练模式，并且，目标LSTM模型输入的文本训练数据，还包含无声学训练数据的纯文本-第二文本数据，此时进行独立训练模式，保证目标LSTM模型一直能学习额外的语言模型信息，便于进一步提高语音识别的精度。
步骤103，提取声学训练数据的隐含特征信息，将隐含特征信息和包含历史信息的隐含层信息输入到注意力模型。
其中，注意力模型是对编码器-解码器模型的扩展，其能够提升在较长序列上预测的效果。在本实施例中，首先使用LSTM模型对输入的音频特征编码得到历史信息的隐含层信息，然后通过注意力模型对这些隐含层信息的不同部分分配相应的权重，最后解码器根据建模粒度的不同输出对应的结果。这种声学和语言模型联合建模的方式能够进一步化简语音识别系统的复杂度。
在本实施例中，为了进一步提高识别精确度，还提取声学训练数据的隐含特征信息，该隐含特征信息用于限定声学训练数据中包含的词之间包含的字的声学关系，比如音频关系等，在本实施例中，将隐含特征信息和包含历史信息的隐含层信息输入到注意力模型，便于提高语音识别的精度。
需要说明的是，在不同的应用场景下，提取所述声学训练数据的隐含特征信息的方式不同，示例如下：
在一些可能的示例中，注意力模型包括共享编码器模型，其中，共享编码器模型包括一个卷积层，N个LSTM和批量归一化BN层，其中，N为正整数，比如可以为5等，在声学训练数据被输入到共享编码模型之前，提取声学训练数据对应的音频特征，进而，通过共享编码模型对音频特征进行编码生成隐含特征信息。
步骤104，通过预设的目标函数训练注意力模型和目标LSTM模型的参数，生成与目标场景匹配的目标声学模型。
在本实施中，通过预设的目标函数训练注意力模型和目标LSTM模型的参数，其中，模型的参数可以包括卷积核数量等，生成与目标场景匹配的目标声学模型，其中，预设的目标函数可以是损失函数、误差函数等限定训练那效果的参数等。
在一些可能的实施例中，注意力模型和目标LSTM模型对应的目标函数是不同的，即根据目标LSTM模型的预设的损失函数和注意力模型回传的误差函数，训练注意力模型和目标LSTM模型的参数，生成与目标场景匹配的目标声学模型。由此，注意力模型和目标LSTM模型相对独立训练，避免训练信息的过拟合，使得训练后的目标声学模型受到注意力模型和目标LSTM模型两方面目标函数的权重影响，训练后的目标声学模型提高了对语音数据的识别精度。
步骤105，根据目标声学模型识别目标场景的语音信息。
在本实施例中，如图2所示，目标声学模型是联合了目标LSTM模型和注意力模型的模型，声学-语言联合建模得到的目标声学模型学习得到了更多的语言模型信息，而且语言模型也会参与到声学模型的训练，能够让声学-语言结合地更加紧密，在无需过多的音频样本数据参与的基础上，提高了语音识别的精度。
综上，本申请实施例的语音识别方法，获取与目标场景匹配的声学训练数据和文本训练数据，其中，文本训练数据包括：与声学训练数据对应的第一文本数据，以及与目标场景相关的其他第二文本数据，进而，将文本训练数据输入到预设的目标LSTM模型，获取目标LSTM模型输出的包含历史信息的隐含层信息，提取声学训练数据的隐含特征信息，将隐含特征信息和包含历史信息的隐含层信息输入到注意力模型，最后，通过预设的目标函数训练注意力模型和目标LSTM模型的参数，生成与目标场景匹配的目标声学模型，以便于根据目标声学模型识别目标场景的语音信息。由此，采用声学-语言联合建模，提高了语音识别的准确率和效率。
在实际执行过程中，注意力模型可以是任意采用注意力机制训练的声学模型，作为一种可能的实现方式，当注意力模型为基于CTC模型的流式多级的截断注意力SLMTA模型时，如图3-1所示，截断注意力SLMTA模型包括CTC部分和注意力模型部分，其中，连接时序分类(CTC)模型是一种端到端的模型，其被用于大规模词汇量的语音识别，这大大简化了声学模型的结构和训练难度，使得语音识别系统的准确率得到进一步提升。此外，CTC模型的输出结果中可以包括语音信号的尖峰信息。
流式多级的截断注意力模型是一种基于CTC模型和注意力的流式语音识别模型，其中流式表示可以直接对语音的小片段(而不是必须整句)，进行一个个片段地增量解码，多级表示堆叠多层注意力模型，而截断则表示利用CTC模型的尖峰信息，把语音切割成一个一个小片段，注意力模型建模和解码可以在这些小片段上展开。SMLTA将传统的全局的注意力建模转换成局部注意力建模，所以这个过程也是一个可以流式实现的过程，无论多长的句子，都可以通过截段来实现流式解码和精准的局部注意力建模，因而实现了流式解码。
在本申请的实施例中，在通过声学和语言模型联合建模而生成的声学模型(例如注意力模型、或者基于注意力机制的SMLTA模型)的解码过程中，通过语言信息将搜索路径约束在更为准确的空间内进行解码，显著提高了语音识别率。在本申请的一个实施例中，如图4所示，该方法还包括：
步骤401，将隐含特征信息输入到CTC模型，获取CTC模型输出的声学训练数据的尖峰信息。
在本实施例中，将隐含特征信息输入到CTC模型，获取CTC模型输出的声学训练数据的尖峰信息。
步骤402，将声学训练数据的尖峰信息输入到SLMTA模型，以根据尖峰信息将隐含特征信息截断成子块。
在本实施例中，SLMTA模型用于对发音片段进行声学和语言的联合建模，其建模单元例如可以为音节，在本实施例中，SMLTA模型可以利用CTC模型的尖峰信息，把语音切割成多个小片段-子块，使得注意力模型建模和解码可以在各个子块上展开。这样的SMLTA模型能够支持实时的流式语音识别，并且实现较高的识别准确率。另外，如图3-2所示，在本实施例中，可以根据目标LSTM模型输出的历史信息的隐含特征信息共同作为SMLTA模型的输入，使得SMLTA模型结合目标场景的隐含特征信息来确定输出结果，相对于普通的字典作为输入，更能提高识别的精确度。
综上，本申请实施例的语音识别方法，通过在SMLTA模型中增加CTC输出，在不增加额外计算量或者仅增加很少计算量的情况下，实现了两种不同类型的声学模型的两种声学解码信息的输出，扩展了解码空间，从而提高了SMLTA模型的语音识别的准确率。
基于上述实施例，若是声学训练数据和文本训练数据相对于目标场景来说，当训练数据的质量参差不齐，比如，可能存在大量相关度没有那么高的训练数据等，基于训练数据进行训练可能导致训练后的模型的识别准确率不高，亦或者，当训练数据较多，遍历训练数据训练，导致训练效率较低。为了解决上述提到的问题，本申请还可以对训练数据进行调整。
具体而言，如图5所示，该方法还包括：
步骤501，对声学训练数据进行样本切分生成第一声学数据集和第二声学数据集。
在本实施例中，对声学训练数据进行切分生成第一声学数据集和第二声学数据集，其中，第一声学数据集和第二声学数据集可以分别是声学训练数据的一部分和另一部分，也可以均为声学训练数据的其中一部分。
步骤502，根据第一声学数据的隐含特征信息，通过预设的目标函数训练注意力模型和目标LSTM模型的参数，生成与目标场景匹配的测试目标声学模型。
在本实施例中，根据第一声学数据的隐含特征信息，通过预设的目标函数训练注意力模型和目标LSTM模型的参数，生成与目标场景匹配的测试目标声学模型。
步骤503，根据测试目标声学模型识别第二声学数据集，根据识别结果调整声学训练数据和文本训练数据。
在本实施例中，根据测试目标声学模型识别第二声学数据集，该第二声学数据集可以包括预先标注的标准识别结果，可以将识别结果与标准识别结果匹配，根据识别结果调整声学训练数据和文本训练数据，其中，对声学训练数据和文本训练数据的调整包括但不限于删除、聚类等。
比如，当识别结果与标准识别结果的差距比较大时，则表明训练的第一声学数据实际上相对于目标场景偏差较大，因而，删除与第一声学数据比较相关的声学训练数据和文本训练数据，将剩余的声学训练数据和文本训练数据作为训练模型的训练数据。
比如，当识别结果与标准识别结果的差距比较小时，则表明训练的第一声学数据实际上相对于目标场景偏差较小，因而，删除与第一声学数据比较不相关的声学训练数据和文本训练数据，或者，根据相关性（包括语义相关性、音频相关性等）对相关的声学训练数据和文本训练数据聚类，将聚类生成的集合中，与第一声学数据相似度较高的声学训练数据和文本训练数据作为后续训练模型的训练数据。
综上，本申请实施例的语音识别方法，可以根据训练样本数据进行质量筛选，通过提升声学训练数据和文本训练数据的质量，提高后续模型的精度，以便于进一步提高语音识别的精度。
为了实现上述实施例，本申请还提出了一种语音识别装置。图6是根据本申请一个实施例的语音识别装置的结构示意图，如图6所示，该装置包括：第一获取模块610、第二获取模块620、第一输入模块630、第一生成模块640和识别模块650，其中，第一获取模块610，用于获取与目标场景匹配的声学训练数据和文本训练数据，其中，文本训练数据包括：与声学训练数据对应的第一文本数据，以及与目标场景相关的其他第二文本数据；
第二获取模块620，用于将文本训练数据输入到预设的目标LSTM模型，获取目标LSTM模型输出的包含历史信息的隐含层信息；
第一输入模块630，用于提取声学训练数据的隐含特征信息，将隐含特征信息和包含历史信息的隐含层信息输入到注意力模型；
第一生成模块640，用于通过预设的目标函数训练注意力模型和目标LSTM模型的参数，生成与目标场景匹配的目标声学模型；
识别模块650，用于根据目标声学模型识别目标场景的语音信息。
在本申请的一个实施例中，第一输入模块630，具体用于：
提取声学训练数据的音频特征；
通过共享编码模型对音频特征进行编码生成隐含特征信息，其中，共享编码模型包括：一个卷积层，N个LSTM和批量归一化BN层，其中，N为正整数。
在本申请的一个实施例中，第一生成模块640，具体用于：
根据目标LSTM模型的预设的损失函数和注意力模型回传的误差函数，训练注意力模型和目标LSTM模型的参数，生成与目标场景匹配的目标声学模型。
需要说明的是，前述对语音识别方法的解释说明，也适用于该实施例的语音识别装置，其实现原理类似，在此不再赘述。
在本申请的一个实施例中，注意力模型为基于CTC模型的流式多级的截断注意力SLMTA模型，则如图7所示，在如图6所示的基础上，该装置还包括：第三获取模块760、第二输入模块770，其中，
第三获取模块760，用于将隐含特征信息输入到CTC模型，获取CTC模型输出的声学训练数据的尖峰信息；
第二输入模块770，用于将声学训练数据的尖峰信息输入到SLMTA模型，以根据尖峰信息将隐含特征信息截断成子块。
需要说明的是，前述对语音识别方法的解释说明，也适用于该实施例的语音识别装置，其实现原理类似，在此不再赘述。
在本申请的一个实施例中，如图8所示，在如图6所示的基础上，该装置还包括：第二生成模块860、第三生成模块870、调整模块880，其中，
第二生成模块860，用于对声学训练数据进行样本切分生成第一声学数据集和第二声学数据集；
第三生成模块870，用于根据第一声学数据的隐含特征信息，通过预设的目标函数训练注意力模型和目标LSTM模型的参数，生成与目标场景匹配的测试目标声学模型；
调整模块880，用于根据测试目标声学模型识别第二声学数据集，根据识别结果调整声学训练数据和文本训练数据。
需要说明的是，前述对语音识别方法的解释说明，也适用于该实施例的语音识别装置，其实现原理类似，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图9所示，是根据本申请实施例的语音的识别的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置（诸如，耦合至接口的显示设备）上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作（例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统）。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的语音的识别的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的语音的识别的方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的语音的识别的方法对应的程序指令/模块。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的语音的识别的方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据语音的识别的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至语音的识别的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
语音的识别的方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与语音的识别的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置（例如，LED）和触觉反馈装置（例如，振动电机）等。该显示设备可以包括但不限于，液晶显示器（LCD）、发光二极管（LED）显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC（专用集成电路）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，即本申请还提出了一种计算机程序，该计算机程序在被处理器执行时，实现上述实施例所描述的语音识别方法，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序（也称作程序、软件、软件应用、或者代码）包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置（例如，磁盘、光盘、存储器、可编程逻辑装置（PLD）），包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务（"Virtual Private Server"，或简称 "VPS"）中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (12)

1.一种语音识别方法，包括：
获取与目标场景匹配的声学训练数据和文本训练数据，其中，所述文本训练数据包括：与所述声学训练数据对应的第一文本数据，以及与所述目标场景相关的其他第二文本数据；
将所述第一文本数据输入到预设的目标长短期记忆网络LSTM模型，获取所述目标LSTM模型输出的包含历史信息的隐含层信息，所述历史信息的隐含层信息包括所述LSTM模型学习得到的所述目标场景下哪些字是属于同一个词的识别逻辑；
提取所述声学训练数据的隐含特征信息，将所述隐含特征信息和所述包含历史信息的隐含层信息输入到SMLTA模型的注意力解码器的注意力模型中；
通过预设的目标函数训练所述SMLTA模型和所述目标LSTM模型的参数，并采用所述第二文本数据对所述目标LSTM模型进行独立训练，生成与所述目标场景匹配的目标声学模型；
根据所述目标声学模型识别所述目标场景的语音信息。
2.如权利要求1所述的方法，所述SMLTA模型包括基于连接时序分类CTC模型；所述方法还包括：
将所述隐含特征信息输入到所述CTC模型，获取所述CTC模型输出的所述声学训练数据的尖峰信息；
将所述声学训练数据的尖峰信息输入到所述SMLTA模型，以根据所述尖峰信息将所述隐含特征信息截断成子块。
3.如权利要求1所述的方法，所述提取所述声学训练数据的隐含特征信息，包含：
提取所述声学训练数据的音频特征；
通过共享编码模型对所述音频特征进行编码生成所述隐含特征信息，其中，所述共享编码模型包括：一个卷积层，N个LSTM和批量归一化BN层，其中，N为正整数。
4.如权利要求1所述的方法，还包括：
对所述声学训练数据进行样本切分生成第一声学数据集和第二声学数据集；
根据所述第一声学数据的隐含特征信息，通过预设的目标函数训练所述SMLTA模型和所述目标LSTM模型的参数，生成与所述目标场景匹配的测试目标声学模型；
根据所述测试目标声学模型识别所述第二声学数据集，根据识别结果调整所述声学训练数据和文本训练数据。
5.如权利要求1所述的方法，所述通过预设的目标函数训练所述SMLTA模型和所述目标LSTM模型的参数，包括：
根据所述目标LSTM模型的预设的损失函数和所述SMLTA模型的注意力解码器的注意力模型回传的误差函数，训练所述SMLTA模型和所述目标LSTM模型的参数。
6.一种语音识别装置，包括：
第一获取模块，用于获取与目标场景匹配的声学训练数据和文本训练数据，其中，所述文本训练数据包括：与所述声学训练数据对应的第一文本数据，以及与所述目标场景相关的其他第二文本数据；
第二获取模块，用于将所述第一文本数据输入到预设的目标LSTM模型，获取所述目标LSTM模型输出的包含历史信息的隐含层信息，所述历史信息的隐含层信息包括所述LSTM模型学习得到的所述目标场景下哪些字是属于同一个词的识别逻辑；
第一输入模块，用于提取所述声学训练数据的隐含特征信息，将所述隐含特征信息和所述包含历史信息的隐含层信息输入到SMLTA模型的注意力解码器的注意力模型中；
第一生成模块，用于通过预设的目标函数训练所述SMLTA模型和所述目标LSTM模型的参数，并采用所述第二文本数据对所述目标LSTM模型进行独立训练，生成与所述目标场景匹配的目标声学模型；
识别模块，用于根据所述目标声学模型识别所述目标场景的语音信息。
7.如权利要求6所述的装置，所述SMLTA模型包括基于连接时序分类CTC模型；所述装置还包括：
第三获取模块，用于将所述隐含特征信息输入到所述CTC模型，获取所述CTC模型输出的所述声学训练数据的尖峰信息；
第二输入模块，用于将所述声学训练数据的尖峰信息输入到所述SMLTA模型，以根据所述尖峰信息将所述隐含特征信息截断成子块。
8.如权利要求6所述的装置，其中，所述第一输入模块，具体用于：
提取所述声学训练数据的音频特征；
通过共享编码模型对所述音频特征进行编码生成所述隐含特征信息，其中，所述共享编码模型包括：一个卷积层，N个LSTM和批量归一化BN层，其中，N为正整数。
9.如权利要求6所述的装置，还包括：
第二生成模块，用于对所述声学训练数据进行样本切分生成第一声学数据集和第二声学数据集；
第三生成模块，用于根据所述第一声学数据的隐含特征信息，通过预设的目标函数训练所述SMLTA模型和所述目标LSTM模型的参数，生成与所述目标场景匹配的测试目标声学模型；
调整模块，用于根据所述测试目标声学模型识别所述第二声学数据集，根据识别结果调整所述声学训练数据和文本训练数据。
10.如权利要求6所述的装置，其中，所述第一生成模块，具体用于：
根据所述目标LSTM模型的预设的损失函数和所述SMLTA模型的注意力解码器的注意力模型回传的误差函数，训练所述SMLTA模型和所述目标LSTM模型的参数。
11. 一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
CN202011212685.8A 2020-11-03 2020-11-03 语音识别方法和装置 Active CN112489637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011212685.8A CN112489637B (zh) 2020-11-03 2020-11-03 语音识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011212685.8A CN112489637B (zh) 2020-11-03 2020-11-03 语音识别方法和装置

Publications (2)

Publication Number Publication Date
CN112489637A CN112489637A (zh) 2021-03-12
CN112489637B true CN112489637B (zh) 2024-03-26

Family

ID=74928053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011212685.8A Active CN112489637B (zh) 2020-11-03 2020-11-03 语音识别方法和装置

Country Status (1)

Country Link
CN (1) CN112489637B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113053361B (zh) * 2021-03-18 2023-07-04 北京金山云网络技术有限公司 语音识别方法、模型训练方法、装置、设备及介质
CN113066486B (zh) * 2021-03-25 2023-06-09 北京金山云网络技术有限公司 数据识别方法、装置、电子设备和计算机可读存储介质
CN113223500B (zh) * 2021-04-12 2022-02-25 北京百度网讯科技有限公司 语音识别方法、训练语音识别模型的方法及对应装置
CN113204614B (zh) * 2021-04-29 2023-10-17 北京百度网讯科技有限公司 模型训练方法、优化训练数据集的方法及其装置
CN113470620A (zh) * 2021-07-06 2021-10-01 青岛洞听智能科技有限公司 一种语音识别方法
CN113658581B (zh) * 2021-08-18 2024-03-01 北京百度网讯科技有限公司 声学模型的训练、语音处理方法、装置、设备及存储介质
CN113539246B (zh) * 2021-08-20 2022-10-18 贝壳找房(北京)科技有限公司 语音识别方法和装置
CN114120972B (zh) * 2022-01-28 2022-04-12 科大讯飞华南有限公司 一种基于场景化的语音智能识别方法及系统
CN117275484B (zh) * 2023-11-17 2024-02-20 深圳市友杰智新科技有限公司 命令词识别方法、装置、设备和介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105845130A (zh) * 2016-03-30 2016-08-10 乐视控股（北京）有限公司 用于语音识别的声学模型训练方法及装置
CN110189748A (zh) * 2019-05-31 2019-08-30 百度在线网络技术（北京）有限公司 模型构建方法和装置
CN110196963A (zh) * 2018-02-27 2019-09-03 北京京东尚科信息技术有限公司 模型生成、语义识别的方法、系统、设备及存储介质
CN110197658A (zh) * 2019-05-30 2019-09-03 百度在线网络技术（北京）有限公司 语音处理方法、装置以及电子设备
CN110534095A (zh) * 2019-08-22 2019-12-03 百度在线网络技术（北京）有限公司 语音识别方法、装置、设备以及计算机可读存储介质
CN110675860A (zh) * 2019-09-24 2020-01-10 山东大学 基于改进注意力机制并结合语义的语音信息识别方法及系统
CN110706690A (zh) * 2019-09-16 2020-01-17 平安科技（深圳）有限公司 语音识别方法及其装置
CN111049996A (zh) * 2019-12-26 2020-04-21 苏州思必驰信息科技有限公司 多场景语音识别方法及装置、和应用其的智能客服系统
CN111429889A (zh) * 2019-01-08 2020-07-17 百度在线网络技术（北京）有限公司 基于截断注意力的实时语音识别的方法、装置、设备以及计算机可读存储介质
CN111435592A (zh) * 2018-12-25 2020-07-21 Tcl集团股份有限公司 一种语音识别方法、装置及终端设备
CN111816165A (zh) * 2020-07-07 2020-10-23 北京声智科技有限公司 语音识别方法、装置及电子设备
CN111833847A (zh) * 2019-04-15 2020-10-27 北京百度网讯科技有限公司 语音处理模型训练方法和装置
CN111833848A (zh) * 2020-05-11 2020-10-27 北京嘀嘀无限科技发展有限公司 用于识别语音的方法、装置、电子设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885870A (zh) * 2015-12-01 2018-11-23 流利说人工智能公司 用于通过将言语到文本系统与言语到意图系统组合来实现声音用户接口的系统和方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105845130A (zh) * 2016-03-30 2016-08-10 乐视控股（北京）有限公司 用于语音识别的声学模型训练方法及装置
CN110196963A (zh) * 2018-02-27 2019-09-03 北京京东尚科信息技术有限公司 模型生成、语义识别的方法、系统、设备及存储介质
CN111435592A (zh) * 2018-12-25 2020-07-21 Tcl集团股份有限公司 一种语音识别方法、装置及终端设备
CN111429889A (zh) * 2019-01-08 2020-07-17 百度在线网络技术（北京）有限公司 基于截断注意力的实时语音识别的方法、装置、设备以及计算机可读存储介质
CN111833847A (zh) * 2019-04-15 2020-10-27 北京百度网讯科技有限公司 语音处理模型训练方法和装置
CN110197658A (zh) * 2019-05-30 2019-09-03 百度在线网络技术（北京）有限公司 语音处理方法、装置以及电子设备
CN110189748A (zh) * 2019-05-31 2019-08-30 百度在线网络技术（北京）有限公司 模型构建方法和装置
CN110534095A (zh) * 2019-08-22 2019-12-03 百度在线网络技术（北京）有限公司 语音识别方法、装置、设备以及计算机可读存储介质
CN110706690A (zh) * 2019-09-16 2020-01-17 平安科技（深圳）有限公司 语音识别方法及其装置
CN110675860A (zh) * 2019-09-24 2020-01-10 山东大学 基于改进注意力机制并结合语义的语音信息识别方法及系统
CN111049996A (zh) * 2019-12-26 2020-04-21 苏州思必驰信息科技有限公司 多场景语音识别方法及装置、和应用其的智能客服系统
CN111833848A (zh) * 2020-05-11 2020-10-27 北京嘀嘀无限科技发展有限公司 用于识别语音的方法、装置、电子设备和存储介质
CN111816165A (zh) * 2020-07-07 2020-10-23 北京声智科技有限公司 语音识别方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于混合注意力机制和CTC语音识别模型技术研究;朱向前;;电视技术(22);全文 *

Also Published As

Publication number Publication date
CN112489637A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN112489637B (zh) 语音识别方法和装置
CN112270379B (zh) 分类模型的训练方法、样本分类方法、装置和设备
CN111625635B (zh) 问答处理方法、装置、设备及存储介质
CN111783451B (zh) 用于增强文本样本的方法和装置
CN111078865B (zh) 文本标题生成方法和装置
CN112633017B (zh) 翻译模型训练、翻译处理方法、装置、设备和存储介质
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
KR102554758B1 (ko) 기계 번역에서 모델 트레이닝 방법, 장치, 전자 기기 및 기록 매체
KR102565673B1 (ko) 시멘틱 표현 모델의 생성 방법, 장치, 전자 기기 및 저장 매체
WO2022095563A1 (zh) 文本纠错的适配方法、装置、电子设备及存储介质
CN113053367B (zh) 语音识别方法、语音识别的模型训练方法以及装置
JP7096919B2 (ja) エンティティワードの認識方法と装置
CN113553414B (zh) 智能对话方法、装置、电子设备和存储介质
CN112528001B (zh) 一种信息查询方法、装置及电子设备
US20220068265A1 (en) Method for displaying streaming speech recognition result, electronic device, and storage medium
CN111539224B (zh) 语义理解模型的剪枝方法、装置、电子设备和存储介质
CN112507702B (zh) 文本信息的抽取方法、装置、电子设备及存储介质
CN111858883A (zh) 三元组样本的生成方法、装置、电子设备及存储介质
CN111325000B (zh) 语言生成方法、装置及电子设备
CN111738015A (zh) 文章情感极性分析方法、装置、电子设备及存储介质
CN112232089B (zh) 语义表示模型的预训练方法、设备和存储介质
CN113591908B (zh) 事件指称匹配方法、模型训练方法、装置和电子设备
JP7204861B2 (ja) 中国語と英語の混在音声の認識方法、装置、電子機器及び記憶媒体
CN112382275B (zh) 语音识别方法、装置、电子设备和存储介质
CN112687271B (zh) 语音翻译方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant