CN113782013B - 语音识别及模型训练的方法、设备、存储介质及程序产品 - Google Patents

语音识别及模型训练的方法、设备、存储介质及程序产品 Download PDF

Info

Publication number
CN113782013B
CN113782013B CN202111083157.1A CN202111083157A CN113782013B CN 113782013 B CN113782013 B CN 113782013B CN 202111083157 A CN202111083157 A CN 202111083157A CN 113782013 B CN113782013 B CN 113782013B
Authority
CN
China
Prior art keywords
speaker
speech recognition
recognition model
text information
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111083157.1A
Other languages
English (en)
Other versions
CN113782013A (zh
Inventor
赵情恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111083157.1A priority Critical patent/CN113782013B/zh
Publication of CN113782013A publication Critical patent/CN113782013A/zh
Application granted granted Critical
Publication of CN113782013B publication Critical patent/CN113782013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0635—Training updating or merging of old and new templates; Mean values; Weighting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本公开提供了语音识别及模型训练的方法、设备、存储介质及程序产品，涉及人工智能领域，尤其涉及语音技术、深度学习领域。具体实现方案为：通过将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，确定每一说话者对应的内容文本特征和输出文本信息；根据每一说话者对应的内容文本特征确定第一损失，并根据每一说话者的输出文本信息和实际文本信息确定第二损失；根据第一损失和第二损失更新语音识别模型的模型参数。本公开能增强不同说话人的特征差异，提高说话者分离的准确性。

Description

语音识别及模型训练的方法、设备、存储介质及程序产品
技术领域
本公开涉及人工智能中的语音技术、深度学习等领域，尤其涉及一种语音识别及模型训练的方法、设备、存储介质及程序产品。
背景技术
在客服、会议、或其他多人对话场景里面，记录的音频通常是单声道混合音频，即一个音频文件里面包含至少2个说话者的声音，并且某些时候，会存在两人或多人同时说话。这样给音频转文字带来一定的困难：一方面是说话者特点的变化；另一方面是不同人的音频的重叠，即鸡尾酒效应；最后是没法对文字进行说话者区分。
目前，通常先对音频进行说话者分离，然后对分离后的音频进行语音转写，以得到对应的区分说话者的文本信息。但是，目前的说话者分离的方法，对于说话者重叠的情况分离效果差，导致一个音频多说话者场景下单声道混合音频的识别精度较低。
发明内容
本公开提供了一种用于语音识别及模型训练的方法、设备、存储介质及程序产品。
根据本公开的第一方面，提供了一种语音识别模型训练的方法，包括：
将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，通过所述语音识别模型确定每一说话者对应的内容文本特征，并对所述每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息；
根据所述每一说话者对应的内容文本特征确定第一损失，并根据每一说话者的输出文本信息和实际文本信息确定第二损失，其中，所述第一损失用于衡量不同说话者对应的内容文本特征之间的相似度，所述第二损失用于衡量同一说话者的输出文本信息和实际文本信息之间的差异；
根据所述第一损失和所述第二损失，更新所述语音识别模型的模型参数；
其中，所述语音识别模型用于根据输入的多说话者的单通道混合音频，识别出每一说话者的说话内容的文本信息。
根据本公开的第二方面，提供了一种语音识别的方法，包括：
获取待处理的多说话者的单通道混合音频的特征数据；
将所述特征数据输入训练好的语音识别模型，通过所述语音识别模型识别出每一说话者的说话内容的文本信息，其中，所述语音识别模型根据上述第一方面所述的方法训练得到；
输出所述每一说话者的说话内容的文本信息。
根据本公开的第三方面，提供了一种语音识别模型训练的设备，包括：
模型处理模块，用于将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，通过所述语音识别模型确定每一说话者对应的内容文本特征，并对所述每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息；
第一损失确定模块，用于根据所述每一说话者对应的内容文本特征确定第一损失，所述第一损失用于衡量不同说话者对应的内容文本特征之间的相似度；
第二损失确定模块，用于根据每一说话者的输出文本信息和实际文本信息确定第二损失，所述第二损失用于衡量同一说话者的输出文本信息和实际文本信息之间的差异；
参数更新模块，用于根据所述第一损失和所述第二损失，更新所述语音识别模型的模型参数；
其中，所述语音识别模型用于根据输入的多说话者的单通道混合音频，识别出每一说话者的说话内容的文本信息。
根据本公开的第四方面，提供了一种语音识别的设备，包括：
特征数据获取模块，用于获取待处理的多说话者的单通道混合音频的特征数据；
语音识别模块，用于将所述特征数据输入训练好的语音识别模型，通过所述语音识别模型识别出每一说话者的说话内容的文本信息，其中，所述语音识别模型由第三方面所述的设备训练得到；
结果输出模块，用于输出所述每一说话者的说话内容的文本信息。
根据本公开的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第二方面所述的方法。
根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面或第二方面所述的方法。
根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面或第二方面所述的方法。
根据本公开的技术提高了多说话者场景下单声道混合音频的语音识别的精度。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开第一实施例提供的语音识别模型训练的方法流程图；
图2是本公开第二实施例提供的语音识别模型训练的方法流程图；
图3为本公开第二实施例提供的语音识别模型的一种架构示例图；
图4是本公开第三实施例提供的语音识别的方法流程图；
图5是本公开第四实施例提供的语音识别的方法流程图；
图6是本公开第五实施例提供的语音识别模型训练的设备示意图；
图7是本公开第五实施例提供的语音识别模型训练的设备示意图；
图8是本公开第七实施例提供的语音识别的设备示意图；
图9是本公开第八实施例提供的语音识别的设备示意图；
图10是用来实现本公开实施例提供的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在客服、会议、或其他多人对话场景里面，记录的音频通常是单声道混合音频，即一个音频文件里面包含至少2个说话者的声音，并且某些时候，会存在两人或多人同时说话。这样给音频转文字带来一定的困难：一方面是说话者特点的变化；另一方面是不同人的音频的重叠，即鸡尾酒效应；最后是没法对文字进行说话者区分。
目前，通常先对音频进行说话者分离，然后对分离后的音频进行语音转写，以得到对应的区分说话者的文本信息。
传统的说话者分离的常用算法有TDNN-xvector+AHC模型，是一种结合了时间延迟神经网络(Time Delay Neural Networks，简称TDNN)、声纹识别算法(如xvector)和层次聚类算法(Agglomerative Hierarchical Clustering，简称AHC)的说话者分离算法。传统的语音转写的方法有GMM(Gaussian Mixed Model，高斯混合模型)-HMM(Hidden MarkovModel，隐含马尔柯夫模型)、DNN(Deep Neural Networks，深度神经网络)-HMM等非端到端的语音识别框架，以及一些端到端的框架RNN-T(Recurrent Neural NetworkTransducer)，LAS(Listen Attend and Spell)，LSTM(Long Short-Term Memory，长短期记忆网络)-CTC(Connectionist Temporal Classification)等。
但是，传统的语音转写方法没有结合说话人特征，在一个音频多说话人场景下识别精度会受影响，并且不能按说话人进行语音转写。传统的说话者分离的方法，比较繁琐，不是端到端，训练与测试过程可能不匹配，对于说话者重叠的情况分离效果差，导致一个音频多说话者场景下单声道混合音频的识别精度较低。
本公开提供一种语音识别及模型训练的方法、设备、存储介质及程序产品，应用于人工智能中的语音技术、深度学习等领域，以提高多说话者场景下单声道混合音频的语音识别的精度。
本公开提供的语音识别模型训练的方法，通过将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，通过语音识别模型确定每一说话者对应的内容文本特征，并对每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息；根据每一说话者对应的内容文本特征确定第一损失，并根据每一说话者的输出文本信息和实际文本信息确定第二损失，并根据第一损失和第二损失，更新语音识别模型的模型参数，实现端到端的语音识别模型的训练。
其中，第一损失用于衡量不同说话者对应的内容文本特征之间的相似度，通过最小化不同说话者对应的内容文本特征之间的相似度，最大化不同说话者对应的内容文本特征之间的差异，在语音转换的同时能够精准地分离出不同说话人的文本内容。
图1是本公开第一实施例提供的语音识别模型训练的方法流程图。本实施例提供的语音识别模型训练的方法具体可以应用于电子设备，该电子设备用于进行语音识别模型训练，也可以是单个服务器、集群、云平台等，在其他实施例中，电子设备还可以采用其他设备实现，本实施例此处不做具体限定。
如图1所示，该方法具体步骤如下：
步骤S101、将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，通过语音识别模型确定每一说话者对应的内容文本特征，并对每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息。
其中，训练数据包括多说话者的单通道混合音频，以及单通道混合音频中每一说话者的实际文本信息。
在进行模型训练时，对于训练数据中多说话者的单通道混合音频，提取单通道混合音频的特征数据，将特征数据输入语音识别模型。
该语音识别模型为端到端的神经网络模型。语音识别模型能够对输入的单通道混合音频的特征数据进行处理，输出单通道混合音频中每一说话者的输出文本信息。
具体地，语音识别模型对于输入的单通道混合音频的特征数据进行编码处理，确定每一说话者对应内容文本特征。不同的说话者的音频具有不同的特征，这里得到的不同说话者对应的内容文本特征包含对应说话者的特征，能够实现说话者分离。通过对每一说话者对应的内容文本特征进行解码，即可得到每一说话者的输出文本信息，得到语音识别结果。
步骤S102、根据每一说话者对应的内容文本特征确定第一损失，并根据每一说话者的输出文本信息和实际文本信息确定第二损失，其中，第一损失用于衡量不同说话者对应的内容文本特征之间的相似度，第二损失用于衡量同一说话者的输出文本信息和实际文本信息之间的差异。
在得到语音识别模型确定的每一说话者对应的内容文本特征之后，根据不同说话者对应的内容文本特征之间的相似性，确定第一损失。
其中，该第一损失用于衡量不同说话者对应的内容文本特征之间的相似度，第一损失越小表示不同说话者对应的内容文本特征之间的相似度越小、差异越大，说明说话人分离的效果越好。
在语音识别模型输出语音识别结果，也即得到每一说话者的输出文本信息之后，根据每一说话者的输出文本信息，以及训练数据中该单通道混合音频中各个说话者的实际文本信息，确定第二损失。
其中，该第二损失用于衡量同一说话者的输出文本信息和实际文本信息之间的差异，第二损失越小表示同一说话者的输出文本信息和实际文本信息之间的差异越小，说明语音识别模型的预测误差越小。
步骤S103、根据第一损失和第二损失，更新语音识别模型的模型参数；其中，语音识别模型用于根据输入的多说话者的单通道混合音频的特征数据，识别出每一说话者的说话内容的文本信息。
在确定第一损失和第二损失之后，在语音识别模型中反向传递损失，更新模型的参数，实现模型训练。
在经过多此迭代步骤S101-S103的训练过程之后，当满足迭代停止条件时，得到训练好的语音识别模型。训练好的语音识别模型是一个端到端的神经网络模型，能够根据输入的多说话者的单通道混合音频的特征数据，识别出每一说话者的说话内容的文本信息。
可选地，迭代停止条件可以是迭代次数达到预设次数阈值、语音识别模型在测试集上的识别精度达到预设精度等，其中预设次数阈值、预设精度可以根据实际应用场景的需要和经验进行设置和调整，本实施例此处不做具体限定。
另外，迭代停止条件可以根据实际应用场景的需要和经验进行设置和调整，本实施例此处不做具体限定。
本实施例通过将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，通过语音识别模型确定每一说话者对应的内容文本特征，并对每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息；根据每一说话者对应的内容文本特征确定第一损失，并根据每一说话者的输出文本信息和实际文本信息确定第二损失，其中，第二损失用于衡量同一说话者的输出文本信息和实际文本信息之间的差异；根据第一损失和第二损失，更新语音识别模型的模型参数；基于第一损失优化模型参数，能够最大程度地降低不同说话人的内容文本特征之间的相似性，增强不同说话人的特征差异，提高说话者分离的准确性；并且训练得到的端到端的语音识别模型，能够根据多说话者的单通道混合音频的特征数据，进行说话者分离和语音转换的处理，在语音转换的同时能够精准地分离出不同说话人的文本内容，提高了多说话者场景下单声道混合音频的语音识别的精度。
图2是本公开第二实施例提供的语音识别模型训练的方法流程图。在上述第一实施例的基础上，本实施例中，语音识别模型为一种端到端的神经网络模型，包括：说话者分离模块和语音识别模块两个部分，这两个部分均是端到端的模型。
示例性地，图3为本公开第二实施例提供的语音识别模型的一种架构示例图，如图3所示，说话者分离模块(如图3中所示的Speaker separation)包括混合编码器(如图3中所示的Mixtrue encoder)和多个分离编码器(如图3中所示的SD encoder1，SD encoder2)。其中，混合编码器的输出作为每一分离编码器的输入。多个分离编码器的结构相同且参数不共享，不同的分离编码器用于强化不同说话者的特征，能够在进行语音转换过程中实现说话者分离。
语音识别模块(如图3中所示的Content recognition)包括与分离编码器对应设置多个语音识别编码器(如图3中所示的Recognition encoder)，以及解码器(如图3中所示的Decoder)。其中，多个语音识别编码器的结构相同且参数不共享，语音识别编码器与分离编码器对应设置，每一语音识别编码器用于提取对应分离编码器输出的包含说话者特征的特征向量中的文本内容特征，实现语音转换的编码功能。
示例性地，混合编码器可以由多个卷积神经网络(Convolutional NeuralNetworks，简称CNN)和最大池化层(Maxpooling)构成，分离编码器可以由TDNN构成。混合编码器的整体输入是音频的特征数据。
示例性地，语音识别编码器可以由多个B-LSTM层构成，采用B-LSTM可以学习到时间跨度更大的特征的相关性。例如，可以是2层、3层或4层B-LSTM叠加构成语音识别编码器。
示例性地，如图3所示，语音识别模型包括多个解码器，解码器与语音识别编码器一一对应。其中，多个解码器的结构相同且参数共享，增加信息间的共享，在训练过程中充分利用了多个支路的解码信息，更加有利于解码逻辑的判断，有利于提升语音识别模型整体的识别准确率。
示例性地，解码器可以由多个注意力层(attention)构成，attention模块关注各个特征间的重要性的关系，突出强化更重要的特征，提取出鉴别性更强的特征。例如，可以由2层、3层或4层注意力层叠加构成解码器。
如图3所示，语音识别模型中，每一个分离编码器，与该分离编码器对应的语音识别编码器，以及与该语音识别编码器对应解码器，构成语音识别模型的一个网络分支。
例如，以多说话者的单声道混合音频包含两个说话者为例，如图3所示，语音识别模型可以包括两个网络分支。X表示输入语音识别模型的特征数据，Y1和Y2分别表示两个说话者的识别结果。
可选地，语音识别模型中包含的网络分支的数量，可以根据实际应用场景中产生的多说话者的单通道混合音频中说话者的数量确定，网络分支的数量应该大于或等于待识别的单通道混合音频中说话者的数量。本实施例此处对于语音识别模型中包含的网络分支的数量不做具体限定。
例如，对于电话客服场景，电话客服的通话过程中通常仅有用户和客服人员两个说话人，在需要对电话客服录音进行说话者分离的语音识别时，所使用的语音识别模型中可以包括2个网络分支。
例如，对于会议等多人场景，可以根据实际应用场景中通常参与会议的最大人员数量设置语音识别模型中的网络分支的数量。假设会议最多5人参与，对会议记录音频进行说话者分离的语音识别时，所使用的语音识别模型中可以包括5个网络分支。
在模型训练过程中，根据不同的语音识别编码器的输出之间的相似度(或差异)，确定第一损失；根据多个解码器输出的识别结果和标注数据，基于置换不变训练法(Permutation Invariant Training，简称PIT)确定第二损失。反向传递第二损失，更新模型参数，当第二损失传递至语音识别编码器时，与第一损失合并，再继续反向传递，更新语音识别编码器，分离编码器，以及混合编码器的参数。
下面结合上述图3所示的模型架构，对语音识别模型训练的方法进行详细地解释说明。
如图2所示，该方法具体步骤如下：
步骤S201、获取训练数据，训练数据包括多说话者的单通道混合音频，和单通道混合音频中每一说话者的实际文本信息。
本实施例中，预先收集一定量的多说话者的单通道混合音频，并且包含少量的混叠，并对单通道混合音频中每一说话者的说话内容进行标注，得到对应的实际文本信息。
可选地，获取到多说话者的单通道混合音频之后，在提取单通道混合音频的特征数据之前，还可以对单通道混合音频进行以下至少一项预处理：去除噪声、数据增强。
通过对单通道混合音频去除噪声，可以得到仅包含说话者语音(可能包含少量噪声)的干净的音频，有助于精准地提取说话者语音的特征数据。
例如，可以去除单通道混合音频中的环境噪声、忙音、彩铃声等噪声，可以尽可能的去除单通道混合音频中出说话人声音外的噪声，具体可以采用现有技术中任意一种去噪处理的方法实现，本实施例此处不做具体限定。
在获取到多说话者的单通道混合音频之后，通过对单通道混合音频进行数据增强，能极大地丰富训练数据。
示例性地，对单通道混合音频进行数据增强，可以包括一下至少一种：时间弯折、频率掩盖。另外，还可以对单通道混合音频进行其他方式的数据增强，具体可以根据实际应用场景进行设置和调整，本实施例此处不做具体限定。
其中，对音频的时间弯折是指按照时间序列清除音频中的一段或几段音频的波形。
对音频的频率掩盖是指，根据音频在不同频率分量上的能量分布情况，将一个或者多个频率分量上的能量置零。
步骤S202、提取多说话者的单通道混合音频的特征数据。
在获取到训练数据之后，对于训练数据中的每一多说话者的单通道混合音频，提取单通道混合音频的特征数据。
本实施例中，提取单通道混合音频的特征数据的方法可以采用现有的任意一种特征提取的方法实现，本实施例此处不做具体限定。
可选地，提取的单通道混合音频的特征数据可以包括一种或者多种特征。
示例性地，单通道混合音频的特征数据可以包括：静态特征、一阶差分特征和二阶差分特征。
该步骤具体可以采用如下方式实现：
提取训练数据中多说话者的单通道混合音频的静态特征；对静态特征分别进行一阶差分和二阶差分处理，得到一阶差分特征和二阶差分特征。通过提取多说话者的单通道混合音频的多种不同类型的特征，得到的特征数据包含更加丰富的特征，有利于提高对多说话者的单通道混合音频的语音识别的精准度。
可选地，提取多说话者的单通道混合音频的静态特征，可以采用MFCC(MelFrequency Cepstral Coefficents，梅尔频率倒谱系数)、PLP(Perceptual LinearPredictive，感觉加权线性预测)、Fbank、或现有技术中任意一种提取语音特征的方法实现，本实施例此处不做具体限定。
例如，可以提取采用MFCC、PLP、Fbank中任意一种方法，提取多说话者的单通道混合音频的静态特征，静态特征可以是80维的。对静态特征经过一阶差分，并进行正则化(即正态分布规整)，得到80维的一阶差分特征。对静态特征经过二阶差分，并进行正则化，得到80维的二阶差分特征。这样，得到80*3维的数据特征，包括静态特征、一阶差分特征和二阶差分特征。
在获取到多说话者的单通道混合音频的特征数据之后，通过步骤S203-S206，将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，通过语音识别模型输出每一说话者对应的内容文本特征，并对每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息，从而得到语音识别模型的识别结果(每一说话者的输出文本信息)，和进行说话人分离后的中间结果(每一说话者对应的内容文本特征)，为后续计算损失提供数据基础。
步骤S203、将特征数据输入语音识别模型的混合编码器，通过混合编码器强化特征数据中的说话者特征，得到中间特征。
其中，混合编码器的整体输入是音频的特征数据，混合编码器用于强化特征数据中的说话者特征，使得混合编码器输出的特征向量包含说话者特征。
示例性地，混合编码器可以由多个CNN叠加最大池化层构成。
可选地，混合编码器包括以下三个输入通道：第一输入通道、第二输入通道和第三输入通道。单通道混合音频的特征数据包括：静态特征、一阶差分特征和二阶差分特征。
该步骤中，将单通道混合音频的静态特征输入第一输入通道，将一阶差分特征输入第二输入通道，将二阶差分特征输入第三输入通道。通过混合编码器，能够接收多说话者的单通道混合音频的多种不同类型的特征，并进行混合编码处理，得到的中间特征中包含更加丰富的说话者特征，有利于提高对多说话者的单通道混合音频的语音识别的精准度。
步骤S204、将中间特征分别输入语音识别模型的多个分离编码器，通过多个分离编码器分别强化不同说话者的特征，输出每一说话者的包含说话者特征的特征向量，其中不同的分离编码器用于强化不同说话者的特征。
其中，语音识别模型包括多个分离编码器(如图3中所示的SD encoder1，SDencoder2)。其中，混合编码器的输出作为每一分离编码器的输入，多个分离编码器的结构相同且参数不共享，不同的分离编码器用于强化不同说话者的特征，能够在进行语音转换过程中实现说话者分离。
该步骤中，将混合编码器输出的中间特征，输入每一分离编码器，通过不同的分离编码器分别对中间特征中不同说话者的特征进行强化，实现说话者的分离，输出每一说话者的包含说话者特征的特征向量。
示例性地，假设语音识别模型中网络分支的数量为x，也即包含x个分离编码器，则针对一次输入的特征数据，可以产生x个特征向量。如果说话者的数量等于x，那么产生的x个特征向量分别为每一说话者的包含说话者特征的特征向量，可以表示为V1，V2，…，Vx。如果说话者的数量小于x，那么产生的x个特征向量中包含每一说话者的包含说话者特征的特征向量。
步骤S205、将每一说话者的包含说话者特征的特征向量，分别输入语音识别模型的一语音识别编码器，通过语音识别编码器提取文本内容特征，得到每一说话者的内容文本特征。
其中，语音识别模型包括与分离编码器对应设置多个语音识别编码器。分离编码器的输出作为对应语音识别编码器的输入。
多个语音识别编码器的结构相同且参数不共享，语音识别编码器与分离编码器对应设置，每一语音识别编码器用于提取对应分离编码器输出的包含说话者特征的特征向量中的文本内容特征，实现语音转换的编码功能。
该步骤中，将每一分离编码器输出的特征向量，输入对应的语音识别编码器，通过对应的语音识别编码器提取特征向量中文本内容特征，实现语音转换的编码处理，输出每一说话者的内容文本特征。
示例性地，假设语音识别模型中网络分支的数量为x，也即包含x个分离编码器，则针对一次输入的特征数据，可以产生x个特征向量。假设说话者的数量等于x，那么产生的x个特征向量分别为每一说话者的包含说话者特征的特征向量，可以表示为V1，V2，…，Vx。将V1，V2，…，Vx分别输入对应的语音识别编码器，输出每一说话者的内容文本特征，可以表示为：C1，C2，…Cx。
示例性地，语音识别编码器可以由多个B-LSTM层构成。例如，可以是2层、3层或4层B-LSTM叠加构成语音识别编码器。
步骤S206、将每一说话者对应的内容文本特征输入语音识别模型的解码器，对每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息。
可选地，语音识别模型包括多个解码器，解码器与语音识别编码器一一对应。其中，多个解码器的结构相同且参数共享，增加信息间的共享，在训练过程中充分利用了多个支路的解码信息，更加有利于解码逻辑的判断，有利于提升语音识别模型整体的识别准确率。
可选地，语音识别模型可以包括一个解码器，可以将每一说话者对应的内容文本特征依次输入该解码器，对每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息。
示例性地，解码器可以由多个注意力层(attention)构成，例如，可以由2层、3层或4层注意力层叠加构成解码器。
步骤S207、根据每一说话者对应的内容文本特征确定第一损失。
在步骤S205得到每一说话者的内容文本特征之后，可以根据不同说话者对应的内容文本特征之间的相似性(或差异)，确定第一损失。
其中，第一损失用于衡量不同说话者对应的内容文本特征之间的相似度。第一损失越小表示不同说话者对应的内容文本特征之间的相似度越小、差异越大，说明说话人分离的效果越好。
示例性地，该步骤可以采用如下方式实现：
根据每一说话者对应的内容文本特征，确定任意两个内容文本特征之间的相对熵(也成为KL散度、或Kullback-Leibler散度)；根据任意两个内容文本特征之间的相对熵，确定第一损失。
其中，第一损失与相对熵负相关，交叉熵越大第一损失越小，交叉熵越小第一损失越大。通过相对熵可以准确地表示两个内容文本特征之间的差异，根据交叉熵确定的第一损失能够准确地表示两个内容文本特征之间的相似性。
为了不断强化不同说话者的内容文本特征之间的差异，可以在模型训练过程中，最大化不同说话者的内容文本特征之间的相对熵损失；或者，在模型训练过程中，最小化不同说话者的内容文本特征之间的第一损失，能够提高语音识别模型的说话者分离的准确性。
可选地，如果语音识别模型的网络分支的数量大于2，也即语音识别模型输出的说话者的内容文本特征大于2个，则可以分别计算任意两个网络分支输出的内容文本特征之间的相对熵，根据任意两个网络分支输出的内容文本特征之间的相对熵，确定第一损失。
可选地，如果语音识别模型的网络分支的数量大于2，也即语音识别模型输出的说话者的内容文本特征大于2个，则将网络分支拆分成只包含两个分支的多组，对于每一组内两个分支输出的内容文本特征计算交叉熵，根据每一组计算得到的交叉熵，确定第一损失。
步骤S208、根据每一说话者的输出文本信息和实际文本信息确定第二损失。
在步骤S206得到每一说话者的输出文本信息之后，根据每一说话者的输出文本信息，以及训练数据中各个说话人的实际文本信息，确定第二损失。
其中，第二损失用于衡量同一说话者的输出文本信息和实际文本信息之间的差异。第二损失越小表示同一说话者的输出文本信息和实际文本信息之间的差异越小，说明语音识别模型的预测误差越小。
本实施例中，语音识别模型输出的每一说话者的输出文本信息，可以不存在各个输出文本信息与说话者的对应关系，也即可以不确定输出文本信息与实际文本信息的对应关系。
该步骤可以采用如下方式实现：
根据每一说话者的输出文本信息，和训练数据中每一说话者的实际文本信息，采用置换不变训练法确定最小交叉熵损失；将最小交叉熵损失作为第二损失。通过采用置换不变训练法确定最小交叉熵损失，可以不关注输出的说话者的输出文本信息与说话者的映射关系，实现说话者分离和语音转换，整体结构简单。
进一步地，根据每一说话者的输出文本信息，和训练数据中每一说话者的实际文本信息，采用置换不变训练法确定最小交叉熵损失，具体可以采用如下方式实现：
采用置换不变训练法(PIT)，将说话者的输出文本信息与说话者的实际文本信息进行配对，确定多种配对方案；根据每种配对方案，计算对应的交叉熵损失；确定交叉熵损失中的最小值，得到最小交叉熵损失。通过这种方式，能够不关注输出的说话者的输出文本信息与说话者的映射关系，采用置换不变训练法确定最小交叉熵损失，以用于语音识别模型的训练，提高语音识别模型的识别的精准度。
示例性地，假设语音识别模型中网络分支的数量为x，语音识别模型输出x个说话者的输出文本信息。训练数据中包括x个说话者的实际文本信息。采用置换不变训练法(PIT)，可以将说话者的输出文本信息与说话者的实际文本信息进行配对，可以确定x！(全排列)种配对方案。根据每一种配对方案，计算对应的交叉熵损失；确定其中最小的交叉熵损失，作为第二损失。
本实施例的一种可选地实施方式中，可以对训练数据中多说话者的单通道混合音频进行分帧处理，得到多个音频帧，将训练数据中多说话者的单通道混合音频的每一音频帧的特征数据，依次输入语音识别模型，通过语音识别模型依次处理每一音频帧的特征数据，确定每一音频帧所包含的每一说话者的输出文本信息。
示例性地，对多说话者的单通道混合音频进行分帧处理，得到多个音频帧之后，提取每一音频帧的特征数据，将每一音频帧的特征数据依次输入语音识别模型，通过语音识别模型依次处理每一音频帧的特征数据，确定每一音频帧所包含的每一说话者的输出文本信息。将各个音频帧所包含的每一说话者的输出文本信息进行拼接，得到每一说话者的完整的输出文本信息。
可选地，对多说话者的单通道混合音频进行分帧处理，可以采用现有的任意一种对音频数据进行分帧的方法实现，本实施例此处不做具体限定。示例性地，对多说话者的单通道混合音频进行分帧处理时，可以按照一帧25ms，帧移10ms进行分帧处理。
步骤S209、根据第一损失和第二损失，更新语音识别模型的模型参数；其中，语音识别模型用于根据输入的多说话者的单通道混合音频的特征数据，识别出每一说话者的说话内容的文本信息。
在确定第一损失和第二损失之后，在语音识别模型中反向传递损失，更新模型的参数，实现模型训练。
在经过多此迭代步骤S201-S209的训练过程之后，当满足迭代停止条件时，得到训练好的语音识别模型。训练好的语音识别模型是一个端到端的神经网络模型，能够根据输入的多说话者的单通道混合音频的特征数据，识别出每一说话者的说话内容的文本信息。
可选地，迭代停止条件可以是迭代次数达到预设次数阈值、语音识别模型在测试集上的识别精度达到预设精度等，其中预设次数阈值、预设精度可以根据实际应用场景的需要和经验进行设置和调整，本实施例此处不做具体限定。
另外，迭代停止条件可以根据实际应用场景的需要和经验进行设置和调整，本实施例此处不做具体限定。
本公开实施例通过将特征数据输入语音识别模型的混合编码器，通过混合编码器强化特征数据中的说话者特征，得到中间特征；将中间特征分别输入语音识别模型的多个分离编码器，通过多个分离编码器分别强化不同说话者的特征，输出每一说话者的包含说话者特征的特征向量，其中不同的分离编码器用于强化不同说话者的特征；将每一说话者的包含说话者特征的特征向量，分别输入语音识别模型的一语音识别编码器，通过语音识别编码器提取文本内容特征，得到每一说话者的内容文本特征；将每一说话者对应的内容文本特征输入语音识别模型的解码器，对每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息，能够通过语音识别模型在进行语音转换的过程中实现说话者的分离，不仅可以输出识别结果(每一说话者的输出文本信息，还可以输出进行说话人分离后的中间结果(每一说话者对应的内容文本特征)，为后续计算损失提供数据基础。进一步地，通过根据语音识别模型中不同网络分支输出的说话者对应的内容文本特征之间的相似性(或差异)，确定第一损失，根据第一损失更新模型参数，能够增强不同说话者的特征差异，提高说话者分离的准确性；进一步地，通过采用置换不变训练法确定最小交叉熵损失，可以不关注输出的说话者的输出文本信息与说话者的映射关系，实现说话者分离和语音转换，整体结构简单，实现了端到端的多说话者分离的语音识别模型。
图4是本公开第三实施例提供的语音识别的方法流程图。本实施例提供的语音识别的方法具体可以应用于电子设备，该电子设备用于进行语音识别，也可以是智能手机、平板电脑等移动终端，或者个人电脑，服务器等，在其他实施例中，电子设备还可以采用其他设备实现，本实施例此处不做具体限定。
如图4所示，该方法具体步骤如下：
步骤S401、获取待处理的多说话者的单通道混合音频的特征数据。
其中，待处理的多说话者的单通道混合音频是指需要进行多说话者分离的语音识别的音频数据。
在应用于不同的应用场景中，待处理的多说话者的单通道混合音频中说话者的数量可以不同。
例如，对于电话客服场景，电话客服的通话过程中通常仅有用户和客服人员两个说话人，在需要对电话客服录音进行说话者分离的语音识别时，待处理的多说话者的单通道混合音频中的说话者的数量通常为2。
例如，对于电话会议、视频会议等场景，参会任意的数量可能是2个或者大于2个。
该步骤中，可以在获取到待处理的多说话者的单通道混合音频之后，采用特征提取算法提取多说话者的单通道混合音频的特征数据。
其中，提取多说话者的单通道混合音频的特征数据所采用的方法，与语音识别模型训练时，提取训练数据中多说话者的单通道混合音频的特征数据所采用的方法一致，本实施例此处不再赘述。
步骤S402、将特征数据输入训练好的语音识别模型，通过语音识别模型识别出每一说话者的说话内容的文本信息。
其中，语音识别模型根据上述第一实施例或第二实施例提供的语音识别模型训练的方法训练得到。
本实施例中，语音识别模型为端到端的模型。在获取到待处理的多说话者的单通道混合音频的特征数据之后，可以将特征数据输入训练好的语音识别模型，通过语音识别模型即可识别出每一说话者的说话内容的文本信息。
步骤S403、输出每一说话者的说话内容的文本信息。
在识别出每一说话者的说话内容的文本信息之后，将每一说话者的说话内容的文本信息，通过指定方式输出，以便于用户查看和使用。
其中，输出每一说话者的说话内容的文本信息的指定方式，可以根据实际应用场景的需要进行设置和调整，本实施例此处不做具体限定。
本公开实施例利用训练好的端到端的语音识别模型，能够根据多说话者的单通道混合音频的特征数据，进行多说话者分离的语音识别，得到每一说话者的说话内容的文本信息，在进行语音转换的过程中实现多说话者分离，操作简单，且识别的精准度高。
图5是本公开第四实施例提供的语音识别的方法流程图。在上述第三实施例的基础上，本实施例中，语音识别模型的训练过程中，对训练数据中多说话者的单通道混合音频进行分帧处理，得到多个音频帧，将训练数据中多说话者的单通道混合音频的每一音频帧的特征数据，依次输入语音识别模型，通过语音识别模型依次处理每一音频帧的特征数据，确定每一音频帧所包含的每一说话者的输出文本信息。
相应地，如图5所示，使用训练好的语音识别模型进行语音识别的方法，具体步骤如下：
步骤S501、获取待处理的多说话者的单通道混合音频。
其中，待处理的多说话者的单通道混合音频是指需要进行多说话者分离的语音识别的音频数据。
在应用于不同的应用场景中，待处理的多说话者的单通道混合音频中说话者的数量可以不同。
例如，对于电话客服场景，电话客服的通话过程中通常仅有用户和客服人员两个说话人，在需要对电话客服录音进行说话者分离的语音识别时，待处理的多说话者的单通道混合音频中的说话者的数量通常为2。
例如，对于电话会议、视频会议等场景，参会任意的数量可能是2个或者大于2个。
步骤S502、将多说话者的单通道混合音频分成多个音频帧。
本实施例中，语音识别模型的训练过程中，对训练数据中多说话者的单通道混合音频进行分帧处理，得到多个音频帧，将训练数据中多说话者的单通道混合音频的每一音频帧的特征数据，依次输入语音识别模型，通过语音识别模型依次处理每一音频帧的特征数据，确定每一音频帧所包含的每一说话者的输出文本信息。
在使用训练好的语音识别模型进行语音识别时，也需要将待处理的多说话者的单通道混合音频进行分帧处理，得到多个音频帧；依次对每一个音频帧进行如下步骤S503-S504的处理，得到每一音频帧所包含的每一说话者的说话内容文本信息；然后再通过步骤S505，得到每一说话者的完整说话内容的文本信息。
步骤S503、提取每一音频帧的特征数据。
该步骤中，可以在获取到待处理的多说话者的单通道混合音频之后，采用特征提取算法提取多说话者的单通道混合音频的特征数据。
其中，提取多说话者的单通道混合音频的特征数据所采用的方法，与语音识别模型训练时，提取训练数据中多说话者的单通道混合音频的特征数据所采用的方法一致，本实施例此处不再赘述。
步骤S504、将每一音频帧的特征数据依次输入语音识别模型，通过语音识别模型识别出每一音频帧所包含的每一说话者的说话内容文本信息。
其中，语音识别模型根据上述第一实施例或第二实施例提供的语音识别模型训练的方法训练得到。
本实施例中，语音识别模型为端到端的模型。在获取到每一音频帧的特征数据之后，依次将每一音频帧的特征数据输入训练好的语音识别模型，通过语音识别模型即可识别出每一音频帧所包含的每一说话者的说话内容的文本信息。
步骤S505、将每一音频帧所包含的每一说话者的说话内容文本信息进行拼接，得到每一说话者的说话内容的文本信息。
在得到每一音频帧所包含的每一说话者的说话内容文本信息之后，将不同音频帧中同一说话者的说话内容文本信息拼接，可以得到说话者的完整说话内容的文本信息。
本实施例中，语音识别模型包括多个网络分支，多个网络分支用于实现多说话者分离。对于同一单通道混合音频的多个不同的音频帧进行处理时，语音识别模型中同一网络分支对应的说话者保持不变。通过将同一网络分支输出的说话者的说话内容文本信息拼接，即可得到对应说话者的完整说话内容的文本信息。
步骤S506、输出每一说话者的说话内容的文本信息。
在识别出每一说话者的说话内容的文本信息之后，将每一说话者的说话内容的文本信息，通过指定方式输出，以便于用户查看和使用。
其中，输出每一说话者的说话内容的文本信息的指定方式，可以根据实际应用场景的需要进行设置和调整，本实施例此处不做具体限定。
本公开实施例利用训练好的端到端的语音识别模型，能够根据多说话者的单通道混合音频的特征数据，进行多说话者分离的语音识别，得到每一说话者的说话内容的文本信息，在进行语音转换的过程中实现多说话者分离，操作简单，且识别的精准度高。
图6是本公开第五实施例提供的语音识别模型训练的设备示意图。本公开实施例提供的语音识别模型训练的设备可以执行语音识别模型训练的方法实施例提供的处理流程。如图6所示，该语音识别模型训练的设备60包括：模型处理模块601，第一损失确定模块602，第二损失确定模块603和参数更新模块604。
具体地，模型处理模块601，用于将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，通过语音识别模型确定每一说话者对应的内容文本特征，并对每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息。
第一损失确定模块602，用于根据每一说话者对应的内容文本特征确定第一损失，第一损失用于衡量不同说话者对应的内容文本特征之间的相似度。
第二损失确定模块603，用于根据每一说话者的输出文本信息和实际文本信息确定第二损失，第二损失用于衡量同一说话者的输出文本信息和实际文本信息之间的差异。
参数更新模块604，用于根据第一损失和第二损失，更新语音识别模型的模型参数。
其中，语音识别模型用于根据输入的多说话者的单通道混合音频，识别出每一说话者的说话内容的文本信息。
本公开实施例提供的设备可以具体用于执行上述第一实施例提供的方法实施例，所实现具体功能和技术效果此处不再赘述。
图7是本公开第五实施例提供的语音识别模型训练的设备示意图。本公开实施例提供的语音识别模型训练的设备可以执行语音识别模型训练的方法实施例提供的处理流程。如图7所示，该语音识别模型训练的设备70包括：模型处理模块701，第一损失确定模块702，第二损失确定模块703和参数更新模块704。
具体地，模型处理模块701，用于将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，通过语音识别模型确定每一说话者对应的内容文本特征，并对每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息。
第一损失确定模块702，用于根据每一说话者对应的内容文本特征确定第一损失，第一损失用于衡量不同说话者对应的内容文本特征之间的相似度。
第二损失确定模块703，用于根据每一说话者的输出文本信息和实际文本信息确定第二损失，第二损失用于衡量同一说话者的输出文本信息和实际文本信息之间的差异。
参数更新模块704，用于根据第一损失和第二损失，更新语音识别模型的模型参数。
其中，语音识别模型用于根据输入的多说话者的单通道混合音频，识别出每一说话者的说话内容的文本信息。
可选地，如图7所示，模型处理模块701，包括：
混合编码单元7011，用于将特征数据输入语音识别模型的混合编码器，通过混合编码器强化特征数据中的说话者特征，得到中间特征。
说话者分离单元7012，用于将中间特征分别输入语音识别模型的多个分离编码器，通过多个分离编码器分别强化不同说话者的特征，输出每一说话者的包含说话者特征的特征向量，其中不同的分离编码器用于强化不同说话者的特征。
语音识别编码单元7013，用于将每一说话者的包含说话者特征的特征向量，分别输入语音识别模型的一语音识别编码器，通过语音识别编码器提取文本内容特征，得到每一说话者的内容文本特征。
解码单元7014，用于将每一说话者对应的内容文本特征输入语音识别模型的解码器，对每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息。
可选地，语音识别模型的分离编码器与语音识别编码器对应，每一分离编码器的输出，作为对应的语音识别编码器的输入；多个分离编码器的结构相同且参数不共享；语音识别模型的多个语音识别编码器的结构相同且参数不共享。
可选地，语音识别模型包括多个解码器，解码器与语音识别编码器一一对应；多个解码器的结构相同且参数共享。
可选地，第一损失确定模块，还用于：
根据每一说话者对应的内容文本特征，确定任意两个内容文本特征之间的相对熵；根据任意两个内容文本特征之间的相对熵，确定第一损失。
可选地，如图7所示，第二损失确定模块703，包括：
置换不变训练单元7031，用于根据每一说话者的输出文本信息，和训练数据中每一说话者的实际文本信息，采用置换不变训练法确定最小交叉熵损失。
第二损失确定单元7032，用于将最小交叉熵损失作为第二损失。
可选地，置换不变训练单元，包括：
配对子单元，用于采用置换不变训练法，将说话者的输出文本信息与说话者的实际文本信息进行配对，确定多种配对方案。
损失计算子单元，用于根据每种配对方案，计算对应的交叉熵损失。
损失确定子单元，用于确定交叉熵损失中的最小值，得到最小交叉熵损失。
可选地，如图7所示，该语音识别模型训练的设备70还包括：特征提取模块705，用于：
提取训练数据中多说话者的单通道混合音频的静态特征；对静态特征分别进行一阶差分和二阶差分处理，得到一阶差分特征和二阶差分特征；单通道混合音频的特征数据包括：静态特征、一阶差分特征和二阶差分特征。
可选地，混合编码器包括以下三个输入通道：第一输入通道、第二输入通道和第三输入通道。
混合编码单元，还用于：
将单通道混合音频的静态特征输入第一输入通道，将一阶差分特征输入第二输入通道，将二阶差分特征输入第三输入通道。
可选地，如图7所示，该语音识别模型训练的设备70还包括：预处理模块706，用于：
对单通道混合音频进行以下至少一项预处理：去除噪声、数据增强。
可选地，模型处理模块，还用于：
将训练数据中多说话者的单通道混合音频的每一音频帧的特征数据，依次输入语音识别模型，通过语音识别模型依次处理每一音频帧的特征数据，确定每一音频帧所包含的每一说话者的输出文本信息。
本公开实施例提供的设备可以具体用于执行上述第二实施例提供的方法实施例，所实现具体功能和技术效果此处不再赘述。
图8是本公开第七实施例提供的语音识别的设备示意图。本公开实施例提供的语音识别的设备可以执行语音识别的方法实施例提供的处理流程。如图8所示，该语音识别的设备80包括：特征数据获取模块801，语音识别模块802和结果输出模块803。
具体地，特征数据获取模块801，用于获取待处理的多说话者的单通道混合音频的特征数据。
语音识别模块802，用于将特征数据输入训练好的语音识别模型，通过语音识别模型识别出每一说话者的说话内容的文本信息。其中，语音识别模型由上述第三实施例提供的设备训练得到。
结果输出模块803，用于输出每一说话者的说话内容的文本信息。
本公开实施例提供的设备可以具体用于执行上述第三实施例提供的方法实施例，所实现具体功能和技术效果此处不再赘述。
图9是本公开第八实施例提供的语音识别的设备示意图。本公开实施例提供的语音识别的设备可以执行语音识别的方法实施例提供的处理流程。如图9所示，该语音识别的设备90包括：特征数据获取模块901，语音识别模块902和结果输出模块903。
具体地，特征数据获取模块901，用于获取待处理的多说话者的单通道混合音频的特征数据。
语音识别模块902，用于将特征数据输入训练好的语音识别模型，通过语音识别模型识别出每一说话者的说话内容的文本信息。其中，语音识别模型由上述第三实施例提供的设备训练得到。
结果输出模块903，用于输出每一说话者的说话内容的文本信息。
可选地，如图9所示，特征数据获取模块901，包括：
分帧单元9011，用于将多说话者的单通道混合音频分成多个音频帧。
特征提取单元9012，用于提取每一音频帧的特征数据。
可选地，如图9所示，语音识别模块902，包括：
识别单元9021，用于将每一音频帧的特征数据依次输入语音识别模型，通过语音识别模型识别出每一音频帧所包含的每一说话者的说话内容文本信息；
拼接单元9022，用于将每一音频帧所包含的每一说话者的说话内容文本信息进行拼接，得到每一说话者的说话内容的文本信息。
可选地，如图9所示，该语音识别的设备90还包括：
预处理模块904，用于：获取待处理的多说话者的单通道混合音频的特征数据之前，对待处理的多说话者的单通道混合音频进行以下至少一项预处理：去除噪声、数据增强。
本公开实施例提供的设备可以具体用于执行上述第四实施例提供的方法实施例，所实现具体功能和技术效果此处不再赘述。
需要说明的是，本实施例中的语音识别模型并不是针对某一特定用户的语音识别模型，并不能反映出某一特定用户的个人信息。需要说明的是，本实施例中的训练数据来自于公开数据集。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如语音识别模型训练的方法或语音识别的方法。例如，在一些实施例中，语音识别模型训练的方法或语音识别的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的语音识别模型训练的方法或语音识别的方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行语音识别模型训练的方法或语音识别的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (24)

1.一种语音识别模型训练的方法，包括：
将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，通过所述语音识别模型确定每一说话者对应的内容文本特征，并对所述每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息；
根据所述每一说话者对应的内容文本特征确定第一损失，并根据每一说话者的输出文本信息和实际文本信息确定第二损失，其中，所述第一损失用于衡量不同说话者对应的内容文本特征之间的相似度，所述第二损失用于衡量同一说话者的输出文本信息和实际文本信息之间的差异；
根据所述第一损失和所述第二损失，更新所述语音识别模型的模型参数；
其中，所述语音识别模型用于根据输入的多说话者的单通道混合音频，识别出每一说话者的说话内容的文本信息。
2.根据权利要求1所述的方法，其中，所述将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，通过所述语音识别模型确定每一说话者对应的内容文本特征，并对所述每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息，包括：
将所述特征数据输入所述语音识别模型的混合编码器，通过所述混合编码器强化所述特征数据中的说话者特征，得到中间特征；
将所述中间特征分别输入所述语音识别模型的多个分离编码器，通过所述多个分离编码器分别强化不同说话者的特征，输出每一说话者的包含说话者特征的特征向量，其中，不同的所述分离编码器用于强化不同说话者的特征；
将每一说话者的包含说话者特征的特征向量，分别输入所述语音识别模型的一语音识别编码器，通过所述语音识别编码器提取文本内容特征，得到每一说话者的内容文本特征；
将每一说话者对应的内容文本特征输入所述语音识别模型的解码器，对每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息。
3.根据权利要求2所述的方法，其中，所述语音识别模型的分离编码器与语音识别编码器对应，每一分离编码器的输出，作为对应的语音识别编码器的输入；
所述多个分离编码器的结构相同且参数不共享；
所述语音识别模型的多个语音识别编码器的结构相同且参数不共享。
4.根据权利要求3所述的方法，其中，所述语音识别模型包括多个解码器，解码器与语音识别编码器一一对应；
所述多个解码器的结构相同且参数共享。
5.根据权利要求1-4中任一项所述的方法，其中，所述根据所述每一说话者对应的内容文本特征确定第一损失，包括：
根据所述每一说话者对应的内容文本特征，确定任意两个所述内容文本特征之间的相对熵；
根据任意两个所述内容文本特征之间的相对熵，确定第一损失。
6.根据权利要求1-4中任一项所述的方法，其中，所述根据每一说话者的输出文本信息和实际文本信息确定第二损失，包括：
根据每一说话者的输出文本信息，和训练数据中每一说话者的实际文本信息，采用置换不变训练法确定最小交叉熵损失；
将所述最小交叉熵损失作为第二损失。
7.根据权利要求6所述的方法，其中，所述根据每一说话者的输出文本信息，和训练数据中每一说话者的实际文本信息，采用置换不变训练法确定最小交叉熵损失，包括：
采用置换不变训练法，将说话者的输出文本信息与说话者的实际文本信息进行配对，确定多种配对方案；
根据每种配对方案，计算对应的交叉熵损失；
确定所述交叉熵损失中的最小值，得到最小交叉熵损失。
8.根据权利要求2-4中任一项所述的方法，其中，所述将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，通过所述语音识别模型确定每一说话者对应的内容文本特征，并对所述每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息之前，还包括：
提取训练数据中多说话者的单通道混合音频的静态特征；
对所述静态特征分别进行一阶差分和二阶差分处理，得到一阶差分特征和二阶差分特征；
所述单通道混合音频的特征数据包括：所述静态特征、所述一阶差分特征和所述二阶差分特征。
9.根据权利要求8所述的方法，其中，所述混合编码器包括以下3个输入通道：第一输入通道、第二输入通道和第三输入通道；
所述将所述特征数据输入所述语音识别模型的混合编码器，包括：
将所述单通道混合音频的静态特征输入所述第一输入通道，将所述一阶差分特征输入所述第二输入通道，将所述二阶差分特征输入所述第三输入通道。
10.根据权利要求8所述的方法，其中，所述提取训练数据中多说话者的单通道混合音频的静态特征之前，还包括：
对所述单通道混合音频进行以下至少一项预处理：
去除噪声、数据增强。
11.根据权利要求10所述的方法，其中，所述将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，通过所述语音识别模型确定每一说话者对应的内容文本特征，并对所述每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息，包括：
将训练数据中多说话者的单通道混合音频的每一音频帧的特征数据，依次输入语音识别模型，通过所述语音识别模型依次处理每一音频帧的特征数据，确定每一音频帧所包含的每一说话者的输出文本信息。
12.一种语音识别的方法，包括：
获取待处理的多说话者的单通道混合音频的特征数据；
将所述特征数据输入训练好的语音识别模型，通过所述语音识别模型识别出每一说话者的说话内容的文本信息，其中，所述语音识别模型根据如权利要求1-11中任一项所述的方法训练得到；
输出所述每一说话者的说话内容的文本信息。
13.根据权利要求12所述的方法，其中，所述获取待处理的多说话者的单通道混合音频的特征数据，包括：
将所述多说话者的单通道混合音频分成多个音频帧；
提取每一所述音频帧的特征数据。
14.根据权利要求13所述的方法，其中，所述将所述特征数据输入训练好的语音识别模型，通过所述语音识别模型识别出每一说话者的说话内容的文本信息，包括：
将每一所述音频帧的特征数据依次输入所述语音识别模型，通过所述语音识别模型识别出每一音频帧所包含的每一说话者的说话内容文本信息；
将多个音频帧中各音频帧所包含的每一说话者的说话内容文本信息进行拼接，得到每一说话者的说话内容的文本信息。
15.一种语音识别模型训练的设备，包括：
模型处理模块，用于将训练数据中多说话者的单通道混合音频的特征数据，输入语音识别模型，通过所述语音识别模型确定每一说话者对应的内容文本特征，并对所述每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息；
第一损失确定模块，用于根据所述每一说话者对应的内容文本特征确定第一损失，所述第一损失用于衡量不同说话者对应的内容文本特征之间的相似度；
第二损失确定模块，用于根据每一说话者的输出文本信息和实际文本信息确定第二损失，所述第二损失用于衡量同一说话者的输出文本信息和实际文本信息之间的差异；
参数更新模块，用于根据所述第一损失和所述第二损失，更新所述语音识别模型的模型参数；
其中，所述语音识别模型用于根据输入的多说话者的单通道混合音频，识别出每一说话者的说话内容的文本信息。
16.根据权利要求15所述的设备，其中，所述模型处理模块，包括：
混合编码单元，用于将所述特征数据输入所述语音识别模型的混合编码器，通过所述混合编码器强化所述特征数据中的说话者特征，得到中间特征；
说话者分离单元，用于将所述中间特征分别输入所述语音识别模型的多个分离编码器，通过所述多个分离编码器分别强化不同说话者的特征，输出每一说话者的包含说话者特征的特征向量，其中不同的所述分离编码器用于强化不同说话者的特征；
语音识别编码单元，用于将每一说话者的包含说话者特征的特征向量，分别输入所述语音识别模型的一语音识别编码器，通过所述语音识别编码器提取文本内容特征，得到每一说话者的内容文本特征；
解码单元，用于将每一说话者对应的内容文本特征输入所述语音识别模型的解码器，对每一说话者对应的内容文本特征进行解码，得到每一说话者的输出文本信息。
17.根据权利要求16所述的设备，其中，所述语音识别模型的分离编码器与语音识别编码器对应，每一分离编码器的输出，作为对应的语音识别编码器的输入；
所述多个分离编码器的结构相同且参数不共享；
所述语音识别模型的多个语音识别编码器的结构相同且参数不共享。
18.根据权利要求17所述的设备，其中，所述语音识别模型包括多个解码器，解码器与语音识别编码器一一对应；
所述多个解码器的结构相同且参数共享。
19.根据权利要求15-18中任一项所述的设备，其中，所述第一损失确定模块，还用于：
根据所述每一说话者对应的内容文本特征，确定任意两个所述内容文本特征之间的相对熵；根据任意两个所述内容文本特征之间的相对熵，确定第一损失。
20.根据权利要求15-18中任一项所述的设备，其中，所述第二损失确定模块，包括：
置换不变训练单元，用于根据每一说话者的输出文本信息，和训练数据中每一说话者的实际文本信息，采用置换不变训练法确定最小交叉熵损失；
第二损失确定单元，用于将所述最小交叉熵损失作为第二损失。
21.根据权利要求20所述的设备，其中，所述置换不变训练单元，包括：
配对子单元，用于采用置换不变训练法，将说话者的输出文本信息与说话者的实际文本信息进行配对，确定多种配对方案；
损失计算子单元，用于根据每种配对方案，计算对应的交叉熵损失；
损失确定子单元，用于确定所述交叉熵损失中的最小值，得到最小交叉熵损失。
22.一种语音识别的设备，包括：
特征数据获取模块，用于获取待处理的多说话者的单通道混合音频的特征数据；
语音识别模块，用于将所述特征数据输入训练好的语音识别模型，通过所述语音识别模型识别出每一说话者的说话内容的文本信息，其中，所述语音识别模型由如权利要求15-21中任一项所述的设备训练得到；
结果输出模块，用于输出所述每一说话者的说话内容的文本信息。
23.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-14中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-14中任一项所述的方法。
CN202111083157.1A 2021-09-15 2021-09-15 语音识别及模型训练的方法、设备、存储介质及程序产品 Active CN113782013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111083157.1A CN113782013B (zh) 2021-09-15 2021-09-15 语音识别及模型训练的方法、设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111083157.1A CN113782013B (zh) 2021-09-15 2021-09-15 语音识别及模型训练的方法、设备、存储介质及程序产品

Publications (2)

Publication Number Publication Date
CN113782013A CN113782013A (zh) 2021-12-10
CN113782013B true CN113782013B (zh) 2024-01-30

Family

ID=78844516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111083157.1A Active CN113782013B (zh) 2021-09-15 2021-09-15 语音识别及模型训练的方法、设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN113782013B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114765025A (zh) * 2022-04-25 2022-07-19 脸萌有限公司 语音识别模型的生成方法、识别方法、装置、介质及设备
CN114998881B (zh) * 2022-05-27 2023-11-07 北京百度网讯科技有限公司 深度学习模型的训练方法、文本识别方法、装置和设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101889809B1 (ko) * 2018-03-12 2018-08-20 미디어젠(주) 중요 화제 선별을 이용한 자동 방향 선택 음성인식시스템 및 음성인식방법
CN109215662A (zh) * 2018-09-18 2019-01-15 平安科技（深圳）有限公司 端对端语音识别方法、电子装置及计算机可读存储介质
US10459686B1 (en) * 2018-08-08 2019-10-29 Nuance Communications, Inc. Audio stream mixing system and method
CN111899727A (zh) * 2020-07-15 2020-11-06 苏州思必驰信息科技有限公司 用于多说话人的语音识别模型的训练方法及系统
CN111989742A (zh) * 2018-04-13 2020-11-24 三菱电机株式会社 语音识别系统及使用语音识别系统的方法
CN112071329A (zh) * 2020-09-16 2020-12-11 腾讯科技（深圳）有限公司 一种多人的语音分离方法、装置、电子设备和存储介质
KR20210045217A (ko) * 2019-10-16 2021-04-26 주식회사 엔씨소프트 감정 이식 장치 및 감정 이식 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10930300B2 (en) * 2018-11-02 2021-02-23 Veritext, Llc Automated transcript generation from multi-channel audio
US20200335119A1 (en) * 2019-04-16 2020-10-22 Microsoft Technology Licensing, Llc Speech extraction using attention network

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101889809B1 (ko) * 2018-03-12 2018-08-20 미디어젠(주) 중요 화제 선별을 이용한 자동 방향 선택 음성인식시스템 및 음성인식방법
CN111989742A (zh) * 2018-04-13 2020-11-24 三菱电机株式会社 语音识别系统及使用语音识别系统的方法
US10459686B1 (en) * 2018-08-08 2019-10-29 Nuance Communications, Inc. Audio stream mixing system and method
CN109215662A (zh) * 2018-09-18 2019-01-15 平安科技（深圳）有限公司 端对端语音识别方法、电子装置及计算机可读存储介质
KR20210045217A (ko) * 2019-10-16 2021-04-26 주식회사 엔씨소프트 감정 이식 장치 및 감정 이식 방법
CN111899727A (zh) * 2020-07-15 2020-11-06 苏州思必驰信息科技有限公司 用于多说话人的语音识别模型的训练方法及系统
CN112071329A (zh) * 2020-09-16 2020-12-11 腾讯科技（深圳）有限公司 一种多人的语音分离方法、装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An Analysis of Speech Enhancement and Recognition Losses in Limited Resources Multi-Talker Single Channel Audio-Visual ASR;Luca Pasa et al.;ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP);全文 *
基于时间卷积网络的深度聚类说话人语音分离;王昕等;计算机工程与设计;全文 *

Also Published As

Publication number Publication date
CN113782013A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN111899727B (zh) 用于多说话人的语音识别模型的训练方法及系统
US20240021202A1 (en) Method and apparatus for recognizing voice, electronic device and medium
CN110136749A (zh) 说话人相关的端到端语音端点检测方法和装置
CN113782013B (zh) 语音识别及模型训练的方法、设备、存储介质及程序产品
CN110808034A (zh) 语音转换方法、装置、存储介质及电子设备
CN114360557B (zh) 语音音色转换方法、模型训练方法、装置、设备和介质
CN112735385B (zh) 语音端点检测方法、装置、计算机设备及存储介质
CN114242113B (zh) 语音检测方法、训练方法、装置和电子设备
KR20240053639A (ko) 제한된 스펙트럼 클러스터링을 사용한 화자-턴 기반 온라인 화자 구분
CN113793599B (zh) 语音识别模型的训练方法和语音识别方法及装置
Xiong et al. Look&listen: Multi-modal correlation learning for active speaker detection and speech enhancement
CN115457938A (zh) 识别唤醒词的方法、装置、存储介质及电子装置
CN115831125A (zh) 语音识别方法、装置、设备、存储介质及产品
CN113889088B (zh) 训练语音识别模型的方法及装置、电子设备和存储介质
CN113763968B (zh) 用于识别语音的方法、装置、设备、介质和产品
CN115273862A (zh) 语音处理的方法、装置、电子设备和介质
CN113889089A (zh) 语音识别模型的获取方法、装置、电子设备以及存储介质
CN115312028A (zh) 语音识别方法、装置、计算机可读存储介质及计算机设备
CN114067793A (zh) 音频处理方法和装置、电子设备及可读存储介质
CN114743540A (zh) 语音识别方法、系统、电子设备和存储介质
CN113889087A (zh) 语音识别及模型建立方法、装置、设备和存储介质
CN113553413A (zh) 对话状态的生成方法、装置、电子设备和存储介质
CN112735432A (zh) 音频识别的方法、装置、电子设备及存储介质
CN111582708A (zh) 医疗信息的检测方法、系统、电子设备及计算机可读存储介质
Zhang et al. Audio-visual speech separation with visual features enhanced by adversarial training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant