CN113889076B - 语音识别及编解码方法、装置、电子设备及存储介质 - Google Patents

语音识别及编解码方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113889076B
CN113889076B CN202111069754.9A CN202111069754A CN113889076B CN 113889076 B CN113889076 B CN 113889076B CN 202111069754 A CN202111069754 A CN 202111069754A CN 113889076 B CN113889076 B CN 113889076B
Authority
CN
China
Prior art keywords
feature
coding
historical
segment
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111069754.9A
Other languages
English (en)
Other versions
CN113889076A (zh
Inventor
付晓寅
陈志杰
梁鸣心
杨明顺
贾磊
王海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111069754.9A priority Critical patent/CN113889076B/zh
Publication of CN113889076A publication Critical patent/CN113889076A/zh
Priority to EP22171064.3A priority patent/EP4148727A1/en
Priority to US17/738,651 priority patent/US20230090590A1/en
Priority to KR1020220060826A priority patent/KR20230039505A/ko
Priority to JP2022084092A priority patent/JP7302132B2/ja
Application granted granted Critical
Publication of CN113889076B publication Critical patent/CN113889076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0018—Speech coding using phonetic or linguistical decoding of the source; Reconstruction using text-to-speech synthesis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本公开提供了语音识别及编解码方法、装置、电子设备及存储介质，涉及智能语音、深度学习及自然语言处理等人工智能领域，其中的语音识别方法可包括：获取待识别的语音的音频特征；对获取到的音频特征进行编码，得到编码特征；对得到的编码特征进行截断处理，得到连续的N个特征片段，N为大于一的正整数；针对任一特征片段，获取对应的历史特征抽象信息，结合历史特征抽象信息对该特征片段进行编码，并对编码结果进行解码，得到该特征片段对应的识别结果，其中，历史特征抽象信息为对已识别的历史特征片段进行特征抽象得到的信息。应用本公开所述方案，可提升识别结果的准确性及提升识别效率等。

Description

语音识别及编解码方法、装置、电子设备及存储介质
技术领域
本公开涉及人工智能技术领域，特别涉及智能语音、深度学习及自然语言处理等领域的语音识别及编解码方法、装置、电子设备及存储介质。
背景技术
自动语音识别是指通过计算机将输入的语音自动转换为对应的文本的过程，随着深度学习技术在语音识别领域的深度研究，特别是端到端语音识别技术的提出，语音识别系统的性能得到了很大的提升。而且，随着各种智能设备的不断普及，大规模词汇量的语音识别产品在智能客服、车载导航以及智能音箱等领域得到了广泛的应用。
大规模词汇量的语音识别中，音频数据的长度大多在千帧以上，甚至达到万帧以上。在进行语音识别时，不但需要保证识别结果的准确率，还需要有比较快的识别效率(即响应速度)，如需要满足识别结果实时展现的要求。而现有技术中还没有一种较好的实现方式。
发明内容
本公开提供了语音识别及编解码方法、装置、电子设备及存储介质。
一种语音识别方法，包括：
获取待识别的语音的音频特征；
对所述音频特征进行编码，得到编码特征；
对所述编码特征进行截断处理，得到连续的N个特征片段，N为大于一的正整数；
针对任一特征片段，获取对应的历史特征抽象信息，结合所述历史特征抽象信息对所述特征片段进行编码，并对编码结果进行解码，得到所述特征片段对应的识别结果，其中，所述历史特征抽象信息为对已识别的历史特征片段进行特征抽象得到的信息。
一种编解码方法，包括：
获取待处理对象对应的特征，所述特征至少包括：根据解码器的历史输出信息得到的特征；
利用编码器对所述特征进行编码，得到编码结果；
利用所述解码器对所述编码结果进行解码，得到所述待处理对象对应的处理结果。
一种语音识别装置，包括：特征获取模块、特征编码模块、片段获取模块以及片段编解码模块；
所述特征获取模块，用于获取待识别的语音的音频特征；
所述特征编码模块，用于对所述音频特征进行编码，得到编码特征；
所述片段获取模块，用于对所述编码特征进行截断处理，得到连续的N个特征片段，N为大于一的正整数；
所述片段编解码模块，用于针对任一特征片段，获取对应的历史特征抽象信息，结合所述历史特征抽象信息对所述特征片段进行编码，并对编码结果进行解码，得到所述特征片段对应的识别结果，其中，所述历史特征抽象信息为对已识别的历史特征片段进行特征抽象得到的信息。
一种编解码装置，包括：获取模块、编码模块以及解码模块；
所述获取模块，用于获取待处理对象对应的特征，所述特征至少包括：根据解码器的历史输出信息得到的特征；
所述编码模块，用于利用编码器对所述特征进行编码，得到编码结果；
所述解码模块，用于利用所述解码器对所述编码结果进行解码，得到所述待处理对象对应的处理结果。
一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。
一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。
一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如以上所述的方法。
上述公开中的一个实施例具有如下优点或有益效果：可得到待识别的语音对应的各特征片段，并可结合历史特征片段来对当前处理的特征片段进行编码等，从而提升了识别结果的准确性，而且，可对历史特征片段进行特征抽象，得到历史特征抽象信息，根据历史特征抽象信息来进行编码等，从而提升了识别效率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为本公开所述语音识别方法实施例的流程图；
图2为本公开所述划分特征片段的方式示意图；
图3为本公开所述第二解码器及第一解码器的工作方式示意图；
图4为本公开所述语音识别方法的整体实现过程示意图；
图5为本公开所述编解码方法实施例的流程图；
图6为本公开所述语音识别装置实施例600的组成结构示意图；
图7为本公开所述编解码装置实施例700的组成结构示意图；
图8示出了可以用来实施本公开的实施例的电子设备800的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本公开所述语音识别方法实施例的流程图。如图1所示，包括以下具体实现方式。
在步骤101中，获取待识别的语音的音频特征。
在步骤102中，对获取到的音频特征进行编码，得到编码特征。
在步骤103中，对编码特征进行截断处理，得到连续的N个特征片段，N为大于一的正整数。
在步骤104中，针对任一特征片段，分别获取对应的历史特征抽象信息，结合历史特征抽象信息对该特征片段进行编码，并对编码结果进行解码，得到该特征片段对应的识别结果，其中，历史特征抽象信息为对已识别的各历史特征片段进行特征抽象得到的信息。
可以看出，上述方法实施例所述方案中，可得到待识别的语音对应的各特征片段，并可结合历史特征片段来对当前处理的特征片段进行编码等，从而提升了识别结果的准确性，而且，可对历史特征片段进行特征抽象，得到历史特征抽象信息，根据历史特征抽象信息来进行编码等，从而提升了识别效率。
图1所示实施例的执行主体不作限制，如可为用户设备或服务器等，比如，用户设备可实时采集用户的语音，并对采集到的语音按照图1所示方式进行处理，或者，用户设备可实时采集用户的语音，并可将采集到的语音发送给服务器，由服务器按照图1所示方式进行处理等。
针对待识别的语音，可首先获取其音频特征。如何获取待识别的语音的音频特征不作限制，比如，可采用现有的音频特征提取方式来获取待识别的语音的音频特征。
之后，可对获取到的音频特征进行编码，得到编码结果，即编码特征，也可称为瓶颈特征(Bottleneck Feature)。本公开的一个实施例中，在进行编码之前，还可先对获取到的音频特征进行卷积降采样，进而对降采样后的音频特征进行编码，得到编码特征。
比如，可采用2个卷积(convolution)层，每个卷积层中可分别进行步长(stride)为2的卷积降采样。
通过上述处理，可降低获取到的音频特征的帧率，如降为原来的1/4，从而在确保音频特征关键信息不丢失的情况下，减少了后续处理的工作量，进而减少了资源消耗和提升了处理效率等。
本公开的一个实施例中，可利用第一编码器来对获取到的音频特征或降采样后的音频特征进行编码，第一编码器可为因果式卷积增强的转换器(Conformer)编码器，转换器即指Transformer模型，第一编码器中可包括M层因果式Conformer模型，M为正整数，因果式Conformer模型中同时融合了基于时间掩码的注意力模型以及因果式卷积(CasualConvolution)模型，具体地，基于时间掩码的注意力模型可为基于时间掩码的多头自注意力(Time-Masked MHSA)模型，MHSA即指多头自注意力(Multi-Head Self-Attention)。M的具体取值可根据实际需要而定，通常大于一。
由于因果式Conformer模型中同时融合了注意力模型和卷积模型，因此能够同时对音频特征中的长距离关系和局部关系进行有效建模，从而极大了提升了模型的描述能力，另外，在注意力模型和卷积模型中分别引入了时间掩码和因果卷积，从而确保了音频特征在编码的过程中仅依赖历史音频特征，进而满足了流式语音识别的要求。
在实际应用中，每个因果式Conformer模型中除了可包括基于时间掩码的注意力模型以及因果式卷积模型外，还可在首尾分别包括一个前馈神经网络(Feed Forward)模型，具体包括哪些内容可根据实际需要而定，此处仅为举例说明。
本公开的一个实施例中，还可结合对音频特征进行的编码以及连接时序分类(CTC，Connectionist Temporal Classification)损失(loss)，确定出编码特征对应的尖峰信息(CTC Peak)，相应地，可根据所述尖峰信息对编码特征进行截断处理。其中，每个尖峰可分别指示一个音节或一组音素。
本公开的一个实施例中，可将位于每两个相邻尖峰之间的编码特征分别作为一个特征片段。
图2为本公开所述划分特征片段的方式示意图。如图2所示，针对获取到的编码特征，可通过尖峰信息对其进行截断，从而可得到多个连续的不等长的特征片段。
可以看出，借助于尖峰信息，可方便高效地获取到所需的特征片段，从而为后续处理奠定了良好的基础。
在实际应用中，可依次对获取到的各特征片段进行处理。其中，针对每个特征片段，可分别进行以下处理：获取对应的历史特征抽象信息，结合所述历史特征抽象信息对该特征片段进行编码，并对编码结果进行解码，得到该特征片段对应的识别结果，其中，历史特征抽象信息为对已识别的各历史特征片段进行特征抽象得到的信息。
本公开的一个实施例中，针对每个特征片段，可结合历史特征抽象信息，利用第二编码器对该特征片段进行编码，并可利用第一解码器对编码结果进行解码，其中，历史特征抽象信息可为根据解码器的输出信息生成的。
目前所用的各类模型中，如Transformer模型中，编码器和解码器的关系仅仅体现在编码器的输出为解码器的输入，编码器的编码过程并不直接受到解码器的影响，解码器只能在端到端联合建模时，通过误差传递的方式间接地影响编码器的编码过程，而本公开所述方案中，可利用解码器的输出生成编码器的输入，这种编码器和解码器相互作用的方式，使得二者能够更加有效地形成一个统一的整体，显著提升端到端模型的建模能力，为端到端模型的优化方法提供了一种新的解决思路，也是端到端模型的结构性创新。
第二编码器和第一解码器共同组成基于Conformer结构的流式多级截断注意力(SMLTA,Streaming Multi-Layer Truncated Attention)模型，第二编码器可为流式截断的Conformer编码器(Streaming Truncated Conformer Encoder)，第一解码器可为Transformer解码器(Transformer Decoder)。
本公开的一个实施例中，第二编码器中可包括P层Conformer模型，P为正整数，第一解码器的数量可为Q个，Q为正整数，Q个第一解码器可依次相连。P和Q的具体取值均可根据实际需要而定，为提升编码和解码性能，P和Q的取值通常都大于一。
也就是说，针对每个特征片段，可分别利用P层堆叠的Conformer模型对该特征片段进行逐层编码，并可利用Q个堆叠的第一解码器对编码后的特征进行解码，如可通过注意力方式进行筛选，得到相应的概率分布，进而获取到所需的识别结果。
本公开所述将音频特征截断成特征片段的方式，使得解码器可以在语音输入的过程中同步解码，从而可以满足流式语音识别对于解码实时性的要求。
本公开的一个实施例中，针对任一Conformer模型，可分别进行以下处理：利用从任一第一解码器中获取到的隐层特征(或称为隐含特征)，对该Conformer模型中当前处理的特征片段进行特征抽象，得到预定长度的特征向量，将所述特征向量作为当前处理的特征片段对应于该Conformer模型的历史特征向量，得到的历史特征向量可用于对下一个特征片段进行处理。
相应地，针对任一特征片段，在获取对应的历史特征抽象信息时，可进行以下处理：针对任一Conformer模型，分别将各历史特征片段对应于该Conformer模型的历史特征向量进行拼接，将拼接结果作为所需的历史特征抽象信息。
图3为本公开所述第二解码器及第一解码器的工作方式示意图。如图3所示，针对当前处理的特征片段，可利用P层堆叠的Conformer模型对其进行逐层编码，假设当前处理的特征片段为特征片段t，在每一层Conformer模型中，可分别将各历史特征片段对应于该Conformer模型的历史特征向量进行拼接，即将图中所示的h1、h2、…、ht-1进行拼接，将拼接结果作为特征片段t对应的历史特征抽象信息，进而可结合获取到的历史特征抽象信息以及特征片段t进行编码，每一层Conformer模型中的处理方式相同，另外，可利用Q个(层)堆叠的第一解码器对特征片段t对应的编码后的特征进行解码，并可从任一第一解码器中获取隐层特征，优选地，由于包含了更多的语音和声学信息，可从最后一个第一解码器中获取隐层特征，进一步地，可利用获取到的隐层特征分别对各层Conformer模型中的特征片段t通过注意力方式进行特征抽象，得到固定长度的特征向量，如图中所示的ht，这样，在对下一个特征片段如特征片段t+1进行处理时，可将h1、h2、…、ht-1和ht进行拼接，将拼接结果作为特征片段t+1对应的历史特征抽象信息。其中，特征向量的具体长度可根据实际需要而定。
综合上述介绍，图4为本公开所述语音识别方法的整体实现过程示意图，具体实现可参照前述相关说明，不再赘述。
总之，采用本公开所述方案，可结合各历史特征片段来对当前处理的特征片段进行编码等，从而提升了识别结果的准确性，而且，可对各历史特征片段进行特征抽象，得到历史特征抽象信息，根据历史特征抽象信息来进行编码等，从而提升了识别效率，而且，将划分得到的特征片段抽象为固定长度的特征向量，从而可实现对于语音数据的有效压缩，进而减少了对于存储和计算资源的占用等，可应用于面向海量训练数据、超大参数模型的端到端在线语音识别等场景中。
另外，本公开所述方案中的特征片段具有实际的物理含义，每个特征片段分别对应于一个文字(character)信息，利用解码器输出的隐层特征对编码器的特征片段进行特征抽象后得到的特征向量，是对各特征片段包含的文字信息进行的总结，这些特征向量拼接起来组成的历史特征抽象信息，实际上是形成了一种声学特征层面的语言模型，此外，利用解码器的输出信息对编码器的每一层分别进行特征抽象，能够发掘出更多声学特征中的语言关系，显著提升模型的历史抽象能力，而且，使用解码器的隐层特征而非最终的输出结果进行特征抽象，能够进一步解决语音识别解码时面临的“路径膨胀”等问题。
再有，本公开所述方案中，在对历史特征进行抽象时，可分别利用解码器输出的隐层特征对编码器中的各层进行特征抽象，使得解码器能够直接对编码器的编码过程产生影响，这种编码器和解码器相互作用的方式，使得二者能够更加有效地形成一个统一的整体，显著提升端到端模型的建模能力，为端到端模型的优化方法提供了一种新的解决思路，也是端到端模型的结构性创新。
相应地，本公开中提出了一种编解码方法。图5为本公开所述编解码方法实施例的流程图。如图5所示，包括以下具体实现方式。
在步骤501中，获取待处理对象对应的特征，所述特征至少包括：根据解码器的历史输出信息得到的特征。
在步骤502中，利用编码器对所述特征进行编码，得到编码结果。
在步骤503中，利用解码器对得到的编码结果进行解码，得到待处理对象对应的处理结果。
上述方法实施例所述方案中，编码器和解码器相互作用，使得二者能够更加有效地形成一个统一的整体，利用解码器的输出信息生成编码器的输入特征，显著地提供了端到端模型的建模能力，也是端到端模型的结构性创新等。
本公开的一个实施例中，输出信息可包括：解码器输出的隐层特征。使用解码器的隐层特征而非最终的输出结果作为输出信息，能够进一步解决解码时面临的“路径膨胀”等问题。
本公开的一个实施例中，在获取待处理对象对应的特征时，可获取待处理对象对应的历史特征抽象信息，所述历史特征抽象信息为对历史处理对象进行特征抽象得到的信息。
本公开的一个实施例中，还可利用从解码器获取到的所述隐层特征，对待处理对象进行特征抽象，得到预定长度的特征向量，将所述特征向量作为待处理对象对应的历史特征向量。相应地，获取待处理对象对应的历史特征抽象信息的方式可包括：分别将各历史处理对象对应的历史特征向量进行拼接，将拼接结果作为所需的历史特征抽象信息。
图5所述方法可应用于前述的语音识别场景，相应地，本公开的一个实施例中，待处理对象可包括：对待识别的语音对应的编码特征进行截断处理后得到的连续的N个特征片段中的任一特征片段，N为大于一的正整数，所述编码特征为对待识别的语音的音频特征进行编码后得到的特征；处理结果可包括：特征片段对应的识别结果；获取待处理对象对应的特征可包括：获取特征片段对应的历史特征抽象信息，历史特征抽象信息为对已识别的历史特征片段进行特征抽象得到的信息。即针对任一特征片段，可结合对应的历史特征抽象信息，利用编码器对其进行编码，得到编码结果，并可利用解码器对得到的编码结果进行解码，得到该特征片段对应的识别结果。
图5所示方法可适用于各种需要进行编码和解码的场景，不限于以上所述的语音识别场景，以上仅为举例说明。
比如，也可适用于机器翻译中的长文本翻译场景以及视频检测场景等。其中，在长文本翻译场景中，可对历史翻译的句子进行特征抽象，作为当前翻译的句子的输入特征，在视频检测场景中，可将历史输出的特征信息用于当前图像的检测过程等。
需要说明的是，对于前述的各方法实施例，为了简单描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本公开所必须的。另外，某个实施例中没有详述的部分，可以参见其它实施例中的相关说明。
以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。
图6为本公开所述语音识别装置实施例600的组成结构示意图。如图6所示，包括：特征获取模块601、特征编码模块602、片段获取模块603以及片段编解码模块604。
特征获取模块601，用于获取待识别的语音的音频特征。
特征编码模块602，用于对获取到的音频特征进行编码，得到编码特征。
片段获取模块603，用于对得到的编码特征进行截断处理，得到连续的N个特征片段，N为大于一的正整数。
片段编解码模块604，用于针对任一特征片段，获取对应的历史特征抽象信息，结合历史特征抽象信息对该特征片段进行编码，并对编码结果进行解码，得到该特征片段对应的识别结果，其中，历史特征抽象信息为对已识别的历史特征片段进行特征抽象得到的信息。
上述装置实施例所述方案中，可得到待识别的语音对应的各特征片段，并可结合各历史特征片段来对当前处理的特征片段进行编码等，从而提升了识别结果的准确性，而且，可对各历史特征片段进行特征抽象，得到历史特征抽象信息，根据历史特征抽象信息来进行编码等，从而提升了识别效率。
针对待识别的语音，特征获取模块601可获取其音频特征，之后，可由特征编码模块602对获取到的音频特征进行编码，得到编码特征。
本公开的一个实施例中，在进行编码之前，特征获取模块601还可先对获取到的音频特征进行卷积降采样，进而可由特征编码模块602对降采样后的音频特征进行编码，得到编码特征。比如，可采用2个卷积层，每个卷积层中可分别进行步长为2的卷积降采样。
本公开的一个实施例中，特征编码模块602可利用第一编码器对获取到的音频特征或降采样后的音频特征进行编码，第一编码器可为因果式Conformer编码器，第一编码器中可包括M层因果式Conformer模型，M为正整数，因果式Conformer模型中同时融合了基于时间掩码的注意力模型以及因果式卷积(Casual Convolution)模型。M的具体取值可根据实际需要而定，通常大于一。
本公开的一个实施例中，特征编码模块602还可结合对音频特征进行的编码以及CTC loss，确定出编码特征对应的尖峰信息，相应地，片段获取模块603可根据所述尖峰信息对编码特征进行截断处理。
本公开的一个实施例中，片段获取模块603可将位于每两个相邻尖峰之间的编码特征分别作为一个特征片段。
在实际应用中，片段编解码模块604可依次对获取到的各特征片段进行处理。其中，针对每个特征片段，可分别进行以下处理：获取对应的历史特征抽象信息，结合所述历史特征抽象信息对该特征片段进行编码，并对编码结果进行解码，得到该特征片段对应的识别结果，其中，历史特征抽象信息为对已识别的各历史特征片段进行特征抽象得到的信息。
本公开的一个实施例中，针对每个特征片段，片段编解码模块604可结合历史特征抽象信息，利用第二编码器对该特征片段进行编码，并可利用第一解码器对编码结果进行解码，其中，历史特征抽象信息可为根据解码器的输出信息生成的。
本公开的一个实施例中，第二编码器中可包括P层Conformer模型，P为正整数，第一解码器的数量可为Q个，Q为正整数，Q个第一解码器可依次相连。P和Q的具体取值均可根据实际需要而定，为提升编码和解码性能，P和Q的取值通常都大于一。
本公开的一个实施例中，片段编解码模块604针对任一Conformer模型，可分别进行以下处理：利用从任一第一解码器中获取到的隐层特征，对该Conformer模型中当前处理的特征片段进行特征抽象，得到预定长度的特征向量，将所述特征向量作为当前处理的特征片段对应于该Conformer模型的历史特征向量，得到的历史特征向量可用于对下一个特征片段进行处理。
相应地，针对任一特征片段，在获取对应的历史特征抽象信息时，片段编解码模块604可进行以下处理：针对任一Conformer模型，分别将各历史特征片段对应于该Conformer模型的历史特征向量进行拼接，将拼接结果作为所需的历史特征抽象信息。
图7为本公开所述编解码装置实施例700的组成结构示意图。如图7所示，包括：获取模块701、编码模块702以及解码模块703。
获取模块701，用于获取待处理对象对应的特征，所述特征至少包括：根据解码器的历史输出信息得到的特征。
编码模块702，用于利用编码器对所述特征进行编码，得到编码结果。
解码模块703，用于利用解码器对所述编码结果进行解码，得到待处理对象对应的处理结果。
上述装置实施例所述方案中，编码器和解码器相互作用，使得二者能够更加有效地形成一个统一的整体，利用解码器的输出信息生成编码器的输入特征，显著地提供了端到端模型的建模能力，也是端到端模型的结构性创新等。
本公开的一个实施例中，输出信息可包括：解码器输出的隐层特征。使用解码器的隐层特征而非最终的输出结果作为输出信息，能够进一步解决解码时面临的“路径膨胀”等问题。
本公开的一个实施例中，获取模块701在获取待处理对象对应的特征时，可获取待处理对象对应的历史特征抽象信息，所述历史特征抽象信息为对历史处理对象进行特征抽象得到的信息。
本公开的一个实施例中，获取模块701还可利用从解码器获取到的所述隐层特征，对待处理对象进行特征抽象，得到预定长度的特征向量，将所述特征向量作为待处理对象对应的历史特征向量，相应地，获取待处理对象对应的历史特征抽象信息的方式可包括：分别将各历史处理对象对应的历史特征向量进行拼接，将拼接结果作为所需的历史特征抽象信息。
图7所述装置可应用于前述的语音识别场景，相应地，本公开的一个实施例中，待处理对象可包括：对待识别的语音对应的编码特征进行截断处理后得到的连续的N个特征片段中的任一特征片段，N为大于一的正整数，所述编码特征为对待识别的语音的音频特征进行编码后得到的特征；处理结果可包括：特征片段对应的识别结果，获取模块701获取待处理对象对应的特征的方式可包括：获取特征片段对应的历史特征抽象信息，所述历史特征抽象信息为对已识别的历史特征片段进行特征抽象得到的信息。即针对任一特征片段，编码模块702可结合对应的历史特征抽象信息，利用编码器对其进行编码，得到编码结果，解码模块703可利用解码器对得到的编码结果进行解码，从而得到该特征片段对应的识别结果。
图7所示装置可适用于各种需要进行编码和解码的场景，不限于以上所述的语音识别场景，以上仅为举例说明。
比如，也可适用于机器翻译中的长文本翻译场景以及视频检测场景等。其中，在长文本翻译场景中，可对历史翻译的句子进行特征抽象，作为当前翻译的句子的输入特征，在视频检测场景中，可将历史输出的特征信息用于当前图像的检测过程等。
图6和图7所示装置实施例的具体工作流程可参照前述方法实施例中的相关说明。
本公开所述方案可应用于人工智能领域，特别涉及智能语音、深度学习及自然语言处理等领域。人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术，人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术，人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
本公开所述实施例中的语音并不是针对某一特定用户的语音，并不能反映出某一特定用户的个人信息，另外，语音识别方法的执行主体可以通过各种公开、合法合规的方式获取所述语音，如经过了用户的授权从用户处获取等。总之，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如本公开所述的方法。例如，在一些实施例中，本公开所述的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行本公开所述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开所述的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种语音识别方法，包括：
获取待识别的语音的音频特征；
对所述音频特征进行编码，得到编码特征；
对所述编码特征进行截断处理，得到连续的N个特征片段，N为大于一的正整数；
针对任一特征片段，获取对应的历史特征抽象信息，结合所述历史特征抽象信息，利用第二编码器对所述特征片段进行编码，并利用第一解码器对编码结果进行解码，得到所述特征片段对应的识别结果，其中，所述历史特征抽象信息为对已识别的历史特征片段进行特征抽象得到的信息；
其中，所述第二编码器中包括P层卷积增强的转换器Conformer模型，P为正整数，所述第一解码器的数量为Q个，Q为正整数，Q个第一解码器依次相连；
所述方法还包括：针对任一Conformer模型，分别进行以下处理：利用从任一第一解码器中获取到的隐层特征，对所述Conformer模型中当前处理的特征片段进行特征抽象，得到预定长度的特征向量，将所述特征向量作为所述当前处理的特征片段对应于所述Conformer模型的历史特征向量；
所述获取对应的历史特征抽象信息包括：针对任一Conformer模型，分别将各历史特征片段对应于所述Conformer模型的历史特征向量进行拼接，将拼接结果作为所述历史特征抽象信息。
2.根据权利要求1所述的方法，还包括：
对所述音频特征进行卷积降采样，对降采样后的音频特征进行编码。
3.根据权利要求1所述的方法，还包括：
结合对所述音频特征进行的编码及连接时序分类损失，确定出所述编码特征对应的尖峰信息；
其中，所述对所述编码特征进行截断处理包括：根据所述尖峰信息对所述编码特征进行截断处理。
4.根据权利要求3所述的方法，其中，所述根据所述尖峰信息对所述编码特征进行截断处理包括：
将位于每两个相邻尖峰之间的编码特征分别作为一个特征片段。
5.根据权利要求1～4中任一项所述的方法，其中，所述对所述音频特征进行编码包括：
利用第一编码器对所述音频特征进行编码，所述第一编码器中包括M层因果式卷积增强的转换器Conformer模型，M为正整数，所述因果式Conformer模型中同时融合了基于时间掩码的注意力模型以及因果式卷积模型。
6.一种编解码方法，包括：
获取待处理对象对应的特征，包括：获取所述待处理对象对应的历史特征抽象信息，所述历史特征抽象信息为对历史处理对象进行特征抽象得到的信息；
结合所述对应的特征，利用编码器对所述待处理对象进行编码，得到编码结果；
利用解码器对所述编码结果进行解码，得到所述待处理对象对应的处理结果；
所述方法还包括：利用从所述解码器获取到的隐层特征，对所述待处理对象进行特征抽象，得到预定长度的特征向量，将所述特征向量作为所述待处理对象对应的历史特征向量；
其中，所述获取所述待处理对象对应的历史特征抽象信息包括：分别将各历史处理对象对应的历史特征向量进行拼接，将拼接结果作为所述历史特征抽象信息。
7.根据权利要求6所述的方法，其中，
所述待处理对象包括：对待识别的语音对应的编码特征进行截断处理后得到的连续的N个特征片段中的任一特征片段，N为大于一的正整数，所述编码特征为对所述待识别的语音的音频特征进行编码后得到的特征；
所述处理结果包括：所述特征片段对应的识别结果。
8.一种语音识别装置，包括：特征获取模块、特征编码模块、片段获取模块以及片段编解码模块；
所述特征获取模块，用于获取待识别的语音的音频特征；
所述特征编码模块，用于对所述音频特征进行编码，得到编码特征；
所述片段获取模块，用于对所述编码特征进行截断处理，得到连续的N个特征片段，N为大于一的正整数；
所述片段编解码模块，用于针对任一特征片段，获取对应的历史特征抽象信息，结合所述历史特征抽象信息，利用第二编码器对所述特征片段进行编码，并利用第一解码器对编码结果进行解码，得到所述特征片段对应的识别结果，其中，所述历史特征抽象信息为对已识别的历史特征片段进行特征抽象得到的信息；
其中，所述第二编码器中包括P层卷积增强的转换器Conformer模型，P为正整数，所述第一解码器的数量为Q个，Q为正整数，Q个第一解码器依次相连；
所述片段编解码模块进一步用于，针对任一Conformer模型，分别进行以下处理：利用从任一第一解码器中获取到的隐层特征，对所述Conformer模型中当前处理的特征片段进行特征抽象，得到预定长度的特征向量，将所述特征向量作为所述当前处理的特征片段对应于所述Conformer模型的历史特征向量；
所述片段编解码模块针对任一特征片段，分别按照以下方式获取对应的历史特征抽象信息：针对任一Conformer模型，分别将各历史特征片段对应于所述Conformer模型的历史特征向量进行拼接，将拼接结果作为所述历史特征抽象信息。
9.根据权利要求8所述的装置，其中，
所述特征获取模块进一步用于，对所述音频特征进行卷积降采样。
10.根据权利要求8所述的装置，其中，
所述特征编码模块进一步用于，结合对所述音频特征进行的编码及连接时序分类损失，确定出所述编码特征对应的尖峰信息；
所述片段获取模块根据所述尖峰信息对所述编码特征进行截断处理。
11.根据权利要求10所述的装置，其中，
所述片段获取模块将位于每两个相邻尖峰之间的编码特征分别作为一个特征片段。
12.根据权利要求8～11中任一项所述的装置，其中，
所述特征编码模块利用第一编码器对所述音频特征进行编码，所述第一编码器中包括M层因果式卷积增强的转换器Conformer模型，M为正整数，所述因果式Conformer模型中同时融合了基于时间掩码的注意力模型以及因果式卷积模型。
13.一种编解码装置，包括：获取模块、编码模块以及解码模块；
所述获取模块，用于获取待处理对象对应的特征，包括：获取所述待处理对象对应的历史特征抽象信息，所述历史特征抽象信息为对历史处理对象进行特征抽象得到的信息；
所述编码模块，用于结合所述对应的特征，利用编码器对所述待处理对象进行编码，得到编码结果；
所述解码模块，用于利用解码器对所述编码结果进行解码，得到所述待处理对象对应的处理结果；
所述获取模块进一步用于，利用从所述解码器获取到的隐层特征，对所述待处理对象进行特征抽象，得到预定长度的特征向量，将所述特征向量作为所述待处理对象对应的历史特征向量；
所述获取模块分别将各历史处理对象对应的历史特征向量进行拼接，将拼接结果作为所述历史特征抽象信息。
14.根据权利要求13所述的装置，其中，
所述待处理对象包括：对待识别的语音对应的编码特征进行截断处理后得到的连续的N个特征片段中的任一特征片段，N为大于一的正整数，所述编码特征为对所述待识别的语音的音频特征进行编码后得到的特征；
所述处理结果包括：所述特征片段对应的识别结果。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行权利要求1-7中任一项所述的方法。
CN202111069754.9A 2021-09-13 2021-09-13 语音识别及编解码方法、装置、电子设备及存储介质 Active CN113889076B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202111069754.9A CN113889076B (zh) 2021-09-13 2021-09-13 语音识别及编解码方法、装置、电子设备及存储介质
EP22171064.3A EP4148727A1 (en) 2021-09-13 2022-05-02 Speech recognition and codec method and apparatus, electronic device and storage medium
US17/738,651 US20230090590A1 (en) 2021-09-13 2022-05-06 Speech recognition and codec method and apparatus, electronic device and storage medium
KR1020220060826A KR20230039505A (ko) 2021-09-13 2022-05-18 음성 인식 방법, 인코딩 및 디코딩 방법, 장치, 전자 기기 및 기록 매체
JP2022084092A JP7302132B2 (ja) 2021-09-13 2022-05-23 音声認識方法、符号化・復号化方法、装置、電子機器、及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111069754.9A CN113889076B (zh) 2021-09-13 2021-09-13 语音识别及编解码方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113889076A CN113889076A (zh) 2022-01-04
CN113889076B true CN113889076B (zh) 2022-11-01

Family

ID=79009223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111069754.9A Active CN113889076B (zh) 2021-09-13 2021-09-13 语音识别及编解码方法、装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US20230090590A1 (zh)
EP (1) EP4148727A1 (zh)
JP (1) JP7302132B2 (zh)
KR (1) KR20230039505A (zh)
CN (1) CN113889076B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115116454A (zh) * 2022-06-15 2022-09-27 腾讯科技（深圳）有限公司 音频编码方法、装置、设备、存储介质及程序产品
CN115223573A (zh) * 2022-07-15 2022-10-21 北京百度网讯科技有限公司 语音唤醒方法、装置、电子设备以及存储介质
CN115132210B (zh) * 2022-09-02 2022-11-18 北京百度网讯科技有限公司 音频识别方法、音频识别模型的训练方法、装置和设备
CN116741151B (zh) * 2023-08-14 2023-11-07 成都筑猎科技有限公司 一种基于呼叫中心的用户呼叫实时监测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170162203A1 (en) * 2015-12-02 2017-06-08 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US20200219486A1 (en) * 2019-01-08 2020-07-09 Baidu Online Network Technology (Beijing) Co., Ltd. Methods, devices and computer-readable storage media for real-time speech recognition
CN112331185A (zh) * 2020-11-10 2021-02-05 珠海格力电器股份有限公司 一种语音交互方法、系统、存储介质及电子设备
CN112382278A (zh) * 2020-11-18 2021-02-19 北京百度网讯科技有限公司 流式语音识别结果显示方法、装置、电子设备和存储介质
CN112735428A (zh) * 2020-12-27 2021-04-30 科大讯飞(上海)科技有限公司 一种热词获取方法、语音识别方法及相关设备
CN113362812A (zh) * 2021-06-30 2021-09-07 北京搜狗科技发展有限公司 一种语音识别方法、装置和电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112242144A (zh) * 2019-07-17 2021-01-19 百度在线网络技术（北京）有限公司 基于流式注意力模型的语音识别解码方法、装置、设备以及计算机可读存储介质
CN111627418B (zh) 2020-05-27 2023-01-31 携程计算机技术（上海）有限公司 语音合成模型的训练方法、合成方法、系统、设备和介质
CN112530437B (zh) * 2020-11-18 2023-10-20 北京百度网讯科技有限公司 语义识别方法、装置、设备以及存储介质
CN112908305B (zh) * 2021-01-30 2023-03-21 云知声智能科技股份有限公司 一种提升语音识别准确性的方法和设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170162203A1 (en) * 2015-12-02 2017-06-08 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US20200219486A1 (en) * 2019-01-08 2020-07-09 Baidu Online Network Technology (Beijing) Co., Ltd. Methods, devices and computer-readable storage media for real-time speech recognition
CN111429889A (zh) * 2019-01-08 2020-07-17 百度在线网络技术（北京）有限公司 基于截断注意力的实时语音识别的方法、装置、设备以及计算机可读存储介质
CN112331185A (zh) * 2020-11-10 2021-02-05 珠海格力电器股份有限公司 一种语音交互方法、系统、存储介质及电子设备
CN112382278A (zh) * 2020-11-18 2021-02-19 北京百度网讯科技有限公司 流式语音识别结果显示方法、装置、电子设备和存储介质
CN112735428A (zh) * 2020-12-27 2021-04-30 科大讯飞(上海)科技有限公司 一种热词获取方法、语音识别方法及相关设备
CN113362812A (zh) * 2021-06-30 2021-09-07 北京搜狗科技发展有限公司 一种语音识别方法、装置和电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Online hybrid CTC/attention end-to-end automatic speech recognition architecture;Miao, Haoran, et al.;《Transactions on Audio, Speech, and Language Processing》;20200420;第1452-1465页 *
基于语音识别及自然语言处理对话流的人机智能交互方法研究;许士锦 等;《机械与电子》;20210731;第39卷(第7期);第65-69页 *

Also Published As

Publication number Publication date
KR20230039505A (ko) 2023-03-21
JP7302132B2 (ja) 2023-07-04
CN113889076A (zh) 2022-01-04
JP2023041610A (ja) 2023-03-24
US20230090590A1 (en) 2023-03-23
EP4148727A1 (en) 2023-03-15

Similar Documents

Publication Publication Date Title
CN113889076B (zh) 语音识别及编解码方法、装置、电子设备及存储介质
JP2022177220A (ja) テキスト認識モデルの訓練方法、テキスト認識方法及び装置
CN112466285B (zh) 离线语音识别方法、装置、电子设备及存储介质
CN113674732B (zh) 语音置信度检测方法、装置、电子设备和存储介质
CN113590858A (zh) 目标对象的生成方法、装置、电子设备以及存储介质
CN113901909B (zh) 基于视频的目标检测方法、装置、电子设备和存储介质
CN112989970A (zh) 文档版面分析方法、装置、电子设备及可读存储介质
CN114360557B (zh) 语音音色转换方法、模型训练方法、装置、设备和介质
CN114724168A (zh) 深度学习模型的训练方法、文本识别方法、装置和设备
CN113327599B (zh) 语音识别方法、装置、介质及电子设备
CN113963359B (zh) 文本识别模型训练方法、文本识别方法、装置及电子设备
CN113869205A (zh) 对象检测方法、装置、电子设备和存储介质
CN115640520A (zh) 跨语言跨模态模型的预训练方法、设备和存储介质
CN113689868B (zh) 一种语音转换模型的训练方法、装置、电子设备及介质
CN114495977B (zh) 语音翻译和模型训练方法、装置、电子设备以及存储介质
CN114242113A (zh) 语音检测方法、训练方法、装置和电子设备
US20230410794A1 (en) Audio recognition method, method of training audio recognition model, and electronic device
CN114120172A (zh) 基于视频的目标检测方法、装置、电子设备及存储介质
US11501759B1 (en) Method, system for speech recognition, electronic device and storage medium
CN114783428A (zh) 语音翻译、模型训练方法、装置、设备及存储介质
CN113553413A (zh) 对话状态的生成方法、装置、电子设备和存储介质
CN113257239B (zh) 语音识别方法、装置、电子设备及存储介质
CN115168553A (zh) 对话语句补全及模型训练方法、装置、设备和存储介质
CN115392215A (zh) 一种文本处理方法、装置、电子设备及存储介质
CN115331237A (zh) 文本识别模型的训练方法、文本识别方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant