CN112071329A - 一种多人的语音分离方法、装置、电子设备和存储介质 - Google Patents
一种多人的语音分离方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112071329A CN112071329A CN202010972989.8A CN202010972989A CN112071329A CN 112071329 A CN112071329 A CN 112071329A CN 202010972989 A CN202010972989 A CN 202010972989A CN 112071329 A CN112071329 A CN 112071329A
- Authority
- CN
- China
- Prior art keywords
- voice
- person
- attention
- global attention
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 claims abstract description 103
- 238000000605 extraction Methods 0.000 claims abstract description 73
- 238000012549 training Methods 0.000 claims description 92
- 239000013598 vector Substances 0.000 claims description 72
- 230000000638 stimulation Effects 0.000 claims description 53
- 230000015654 memory Effects 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 43
- 230000007246 mechanism Effects 0.000 claims description 33
- 238000012512 characterization method Methods 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 14
- 238000002156 mixing Methods 0.000 claims description 11
- 230000009977 dual effect Effects 0.000 claims description 9
- 230000036961 partial effect Effects 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 15
- 238000010801 machine learning Methods 0.000 abstract description 12
- 230000000694 effects Effects 0.000 abstract description 11
- 238000007781 pre-processing Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 27
- 238000012795 verification Methods 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 210000004027 cell Anatomy 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000003993 interaction Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 11
- 241000282414 Homo sapiens Species 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009901 attention process Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
- G10L21/028—Voice signal separating using properties of sound source
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Telephonic Communication Services (AREA)
Abstract
本申请涉及人工智能技术领域，尤其涉及机器学习技术领域，提供了一种多人的语音分离方法、装置、电子设备和存储介质，用以提高说话人语音分离的准确性和语音分离效率。其中方法包括：获取待分离的混合波形信号，混合波形信号包含多人的语音；对混合波形信号进行特征提取，获得混合波形信号的编码特征；通过对编码特征进行特征提取，从编码特征中分离出每个人的语音特征；基于每个人的语音特征以及编码特征之间的关系，对每个人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得每个人的重建语音信号。本申请提出了一种更为通用、开放和灵活的方法来模拟鸡尾酒会效应，不需要复杂的前处理流程，提高了语音分离的准确性和效率。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及机器学习技术领域，提供了一种多人的语音分离方法、装置、电子设备和存储介质。
背景技术
鸡尾酒会效应是人脑听觉具有的可以集中注意力“调入(Tune in)”单个目标声音而“调出”其他竞争声音的能力的现象。尽管人脑听觉如何解决鸡尾酒会问题内部机理仍然未知，但是由于深度学习技术的飞速发展，用于说话人的识别和验证任务的深度学习模型也在快速发展。然而，它们通常与上述鸡尾酒会问题或语音分离任务无关。并且，相关技术中的说话人的识别和验证方法通常需要复杂的前处理流程，包括语音活动检测(SAD)，分段和聚类模块，以将短片段分组以对应于一个说话人的身份等。在严重干扰的情况下，说话人语音分离准确性也较低。
发明内容
本申请实施例提供一种多人的语音分离方法、装置、电子设备和存储介质，用以提高说话人语音分离的准确性和语音分离效率。
本申请实施例提供的一种多人的语音分离方法，包括：
获取待分离的混合波形信号，所述混合波形信号包含多人的语音；
对所述混合波形信号进行特征提取，获得所述混合波形信号的编码特征；
通过对所述编码特征进行特征提取，从所述编码特征中分离出每个人的语音特征；
基于每个人的语音特征以及所述编码特征之间的关系，对每个人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得每个人的重建语音信号。
本申请实施例提供的一种多人的语音分离装置，包括：
信号获取单元，用于获取待分离的混合波形信号，所述混合波形信号包含多人的语音；
特征提取模块，用于对所述混合波形信号进行特征提取，获得所述混合波形信号的编码特征；
知识表征模块，用于通过对所述编码特征进行特征提取，从所述编码特征中分离出每个人的语音特征；
信号重建模块，用于基于每个人的语音特征以及所述编码特征之间的关系，对每个人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得每个人的重建语音信号。
可选的，所述特征提取模块，具体用于将所述混合波形信号输入已训练的语音分离模型，基于所述已训练的语音分离模型对所述混合波形信号进行特征提取，获得所述编码特征；
所述知识表征模块，具体用于基于所述已训练的语音分离模型，对所述编码特征进行特征提取，获得每个人的语音特征；
所述信号重建模块，具体用于基于所述已训练的语音分离模型，根据每个人的语音特征以及所述编码特征之间的关系，对每个人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得所述已训练的语音分离模型输出的每个人的重建语音信号；
其中，所述已训练的语音分离模型是根据训练样本数据集训练得到的，所述训练样本数据集中的训练样本包括多人的多条语音样本。
可选的，所述已训练的语音分离模型包括通用子网络；所述通用子网络包括编码器以及由B个全局关注局部循环单元组成的堆栈，B为正整数；
所述特征提取模块具体用于：
将所述混合波形信号经由所述编码器转化为二维时间序列；
将所述二维时间序列分割为S段局部序列，并将分割得到的S段局部序列打包形成三维输入张量，其中每相邻两个局部序列之间存在部分重叠，S为正整数；
将所述三维输入张量输入由B个全局关注局部循环单元组成的堆栈，进行B次特征提取，获得由最后一个全局关注局部循环单元输出的所述编码特征，其中每相邻两个全局关注局部循环单元中，前一个全局关注局部循环单元的输出为后一个全局关注局部循环单元的输入，且第一个全局关注局部循环单元的输入为所述三维输入张量，每个全局关注局部循环单元的输入特征和输出特征的形状相同。
可选的，所述全局关注局部循环单元包括局部循环层和全局关注层；
所述局部循环层用于对接收到的输入特征中的每段局部序列的段内短期依赖性进行建模，输出中间张量L；
所述全局关注层用于基于多头自我注意力机制，对所述全局关注局部循环单元的中间张量G中的每段局部序列进行段间处理；将基于多头自我注意力机制处理得到的张量进行线性映射后拼接得到三维张量，作为所述全局关注局部循环单元的输出特征，其中所述中间张量G是对所述中间张量L进行线性映射和层归一化处理后得到的张量与位置编码张量的和。
可选的，所述已训练的语音分离模型还包括说话人知识子网络；所述说话人知识子网络包括由B1个全局关注局部循环单元组成的堆栈和嵌入层，B1为正整数；
所述知识表征模块具体用于：
将所述编码特征输入由B1个全局关注局部循环单元组成的堆栈，进行B1次特征提取，其中每相邻两个全局关注局部循环单元中，前一个全局关注局部循环单元的输出为后一个全局关注局部循环单元的输入，且第一个全局关注局部循环单元的输入为所述编码特征，每个全局关注局部循环单元的输入特征和输出特征的形状相同；
将最后一个全局关注局部循环单元的输出特征输入所述嵌入层，经过所述嵌入层进行投射及合并处理，获得每个人的语音特征。
可选的，所述全局关注局部循环单元包括局部循环层和全局关注层；
所述局部循环层用于对接收到的输入特征中的每段局部序列的段内短期依赖性进行建模，输出中间张量L1；
所述全局关注层用于基于多头自我注意力机制，对所述全局关注局部循环单元的中间张量G1中的每段局部序列进行段间处理；将基于多头自我注意力机制处理得到的张量进行线性映射后拼接得到三维张量，作为所述全局关注局部循环单元的输出特征，其中所述中间张量G1是对所述中间张量L1进行线性映射和层归一化处理后得到的张量与位置编码张量的和。
可选的，所述已训练的语音分离模型还包括语音信号刺激子网络；所述语音信号刺激子网络包括由B2个全局关注局部循环单元组成的堆栈和解码器，B2为正整数；
所述信号重建模块具体用于：
将每个人的语音特征以及所述编码特征输入由B2个全局关注局部循环单元组成的堆栈，进行B2次注意力特征提取，获得最后一个全局关注局部循环单元输出的用于分离所述混合波形信号的深度语音特征，其中每个全局关注局部循环单元的输入特征都包括每个人的语音特征，并且每相邻两个全局关注局部循环单元中，前一个全局关注局部循环单元的输出为后一个全局关注局部循环单元的输入；
将所述深度语音特征经过所述解码器进行信号重建，输出每个人的重建语音信号。
可选的，每一次进行注意力特征提取时，所述全局关注局部循环单元用于执行下列步骤：
对接收到的输入特征中的每段局部序列的段内短期依赖性进行建模，输出中间张量L2；将对所述中间张量L2进行线性映射和层归一化处理后得到的张量与位置编码张量的和，作为所述全局关注局部循环单元的中间张量G2；
根据所述中间向量G2以及每个人的语音特征进行注意力特征提取，获得所述全局关注局部循环单元的输出特征。
可选的，所述信号重建模块具体用于：
基于查询向量与每个人的语音特征之间的点积，获得在说话人语音特征序列上产生注意力分布特征，其中第一个全局关注局部循环单元对应的查询向量是根据所述编码特征以及段内位置信息得到的，其他全局关注局部循环单元对应的查询向量是根据上一个全局关注局部循环单元的输出特征以及段内位置信息得到的；
根据所述注意力分布特征对每个人的语音特征进行加权求和，获得引导向量；
根据所述引导向量对所述中间向量G2进行调制后，根据调制后的中间向量G2以及所述引导向量之间的相似度，获得双重注意力分布特征；
基于所述双重注意力特征对调制后的中间向量G2的值进行加权求和，获得所述全局关注局部循环单元的输出特征。
可选的，所述装置还包括模型训练模块：
所述已训练的语音分离模型是由所述模型训练模块通过下列方式训练得到的：
从所述训练样本数据集中选取一个正源语音样本和多个负源语音样本，其中所述正源语音样本为目标说话人的语音样本，所述负源语音样本为除所述目标说话人之外的其他说话人的语音样本；
将所述正源语音样本和多个负源语音样本输入未训练的语音分离模型，经由所述未训练的语音分离模型中的通用子网络对所述正源语音样本和多个负源语音样本进行混合，得到包含多个目标源的混合语音样本；
将所述混合语音样本进行特征提取，获得所述通用子网络输出的每个人的语音样本之间的通用样本特征；
基于所述说话人知识子网络，对所述通用样本特征进行特征提取，获得所述说话人知识子网络输出的每个人的嵌入样本特征；
基于所述语音信号刺激子网络，对每个人的嵌入样本特征进行注意力特征提取和信号重建后，获得所述语音信号刺激子网络输出的每个人的重建语音样本；
基于每个人的重建语音样本，通过自监督学习的方式对所述未训练的语音分离模型中的网络参数进行多次调整，获得所述已训练的语音分离模型。
可选的，所述通用子网络还包括随机混合器；
所述模型训练模块具体用于：
在目标信噪比条件下，基于所述随机混合器将所述正源语音样本和多个负源语音样本进行随机混合，获得所述随机混合器输出的所述混合语音样本。
本申请实施例提供的一种电子设备，包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行上述任意一种多人的语音分离方法的步骤。
本申请实施例提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任意一种多人的语音分离方法的步骤。
本申请实施例提供一种计算机可读存储介质，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行上述任意一种多人的语音分离方法的步骤。
本申请有益效果如下：
本申请实施例提供的语音分离方法、装置、电子设备和存储介质，由于本申请实施例在进行语音分离时，直接通过对混合波形信号进行特征提取来获取通用的编码特征，进而基于该编码特征学习各个说话人的表征，分离得到各个说话人的语音特征，进行说话人验证；并基于通用特征与各个说话人的语音特征来对进行语音分离和信号重建，以获取各个说话人的重建语音信号。由于本申请实施例中的语音分离方法不需要经过复杂的前处理流程，而是基于通用的编码特征执行多任务，紧凑、简洁且没有复杂的前处理流程，例如不需要K-Means均值聚类、SAD、分段、干扰检测器和说话人线下注册语音，提高了语音分离的准确性和效率。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中的一种应用场景的一个可选的示意图；
图2为本申请实施例中的一种多人的语音分离方法的流程示意图；
图3为本申请实施例中的一种语音分离模型的结构示意图；
图4为本申请实施例中的一种全局关注局部循环单元的组成结构示意图；
图5为本申请实施例中的一种信息交互方法的示意图；
图6为本申请实施例中的一种语音分离模型的训练方法的流程示意图；
图7为本申请实施例中的另一种语音分离模型的结构示意图；
图8为本申请实施例中的一种实验结果的示意图；
图9为本申请实施例中的一个基于语音分离模型的多个说话人语音分离方法的流程示意图；
图10为本申请实施例中的一种语音分离装置的组成结构示意图；
图11为应用本申请实施例的一种电子设备的一个硬件组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。
下面对本申请实施例中涉及的部分概念进行介绍。
鸡尾酒会效应：是指人的一种听力选择能力，在这种情况下，注意力集中在某一个人的谈话之中而忽略背景中其他的对话或噪音。该效应揭示了人类听觉系统中令人惊奇的能力，即本申请实施例可以在噪声中谈话。鸡尾酒会现象是图形-背景现象的听觉版本。这里的"图形"是本申请实施例所注意或引起本申请实施例注意的声音，"背景"是其他的声音。
语音分离模型：是本申请实施例中新提出的一种来模拟鸡尾酒会效应的Tune-In模型。其中Tune-In表示“Training Under Negative Environment with Interference”，即在负面带干扰环境下训练模型的方法，它同时学习说话人知识和语音信号刺激这两个独立空间，在这两个空间之间，信息通过新颖的交叉和双重注意机制相互投射，从而模仿了人类的鸡尾酒会效应中的自下而上和自上而下的过程。
全局关注局部循环单元：是一种具有新型的全局关注和局部循环的元胞结构，本申请实施例中所列举的一种注意力单元。本申请实施例中的通用空间、说话人知识空间和语音信号刺激空间中的GALR单元构成了堆栈的基础部分。该单元由两个主要层组成：执行段内处理的局部循环层，以及执行段间处理的全局关注层。
自监督学习(self-supervised learning)方法：可以被看作是机器学习的一种“理想状态”，模型直接从无标签数据中自行学习，无需标注数据。本申请实施例中的语音分离模型就是采用自监督学习的方式训练得到的，输入的是一堆无监督的数据，但是通过数据本身的结构或者特性，人为构造标签出来。有了标签之后，就可以类似监督学习一样进行训练。
泛化性：一个假设能够正确分类训练集之外数据(即新的，未知数据)的能力成为该假设的泛化性。在本申请实施例中所提出的语音分离模型可以在严重干扰的情况下学习到具有实质性的判别性和可泛化的深度说话人表征。
PIT(Permutation Invariant Training，置换不变训练)：其核心工作是提出一种通过最小化分离误差解决标签排列问题的排列不变训练技术。它训练一个简单的多输出神经网络，用置换不变训练准则估计每个说话人的一个掩码。计算每个可能的训练目标分配到混合估计的重建损失，然后使用最小化损失的排列进行训练。在本申请实施例中，训练语音分离模型时，使用句子级别的置换不变训练(utterance-level permutation invarianttraining，u-PIT)的“自动驾驶(auto-pilot)”信号重建开始以SI-SNR损失作为speech-stimuli空间中的目标Lsp。
张量：是机器学习的基础。它的核心是一个数据容器，多数情况下，它包含数字，有时候它也包含字符串，但这种情况比较少。因此把它想象成一个数字的水桶。0维张量是标量，1维张量是向量，2维张量是矩阵，……。
batch size：批大小。在深度学习中，一般采用SGD(随机梯度下降)训练，即每次训练在训练集中取batch size个样本训练，也就是一次训练所选取的样本数。batch size的大小影响模型的优化程度和速度。同时其直接影响到GPU内存的使用情况，假如GPU内存不大，该数值最好设置小一点。batch size的大小决定了深度学习训练过程中的完成每个epoch(指一代训练)所需的时间和每次迭代(iteration)之间梯度的平滑程度。1个iteration等于使用batchsize个样本训练一次；而1个epoch等于使用训练集中的全部样本训练一次，通俗的讲epoch的值就是整个数据集被轮几次。
本申请实施例涉及人工智能(Artificial Intell igence，AI)和机器学习技术，基于人工智能中的计算机视觉技术和机器学习(MachineLearning，ML)而设计。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。
人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术主要包括计算机视觉技术、自然语言处理技术、以及机器学习/深度学习等几大方向。随着人工智能技术研究和进步，人工智能在多个领域展开研究和应用，例如常见的智能家居、智能客服、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、机器人、智能医疗等，相信随着技术的发展，人工智能将在更多的领域得到应用，并发挥越来越重要的价值。
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。
在本申请实施例中提出的语音分离方法可分为两部分，包括训练部分和应用部分；其中，训练部分就涉及到机器学习这一技术领域，在训练部分中，通过机器学习这一技术训练语音分离模型，使得训练样本中目标说话人语音信号和其他说话人的干扰信号的混合波形信号通过语音分离模型后，得到各个说话人干净的重建语音信号，并通过优化算法不断调整模型参数，得到已训练的语音分离模型；应用部分用于通过使用在训练部分训练得到的语音分离模型，从由多个说话人的语音信号混合得到的混合波形信号中分离出目标说话人的语音信号等。
下面对本申请实施例的设计思想进行简要介绍：
由于深度学习模型的最新发展，语音分离已经取得了显著进展。在几个基准数据集上，最先进的(STOA)语音分离性能已大大提高。另一方面，用于说话人的识别和验证任务的现代深度学习模型也在快速发展。但是，它们通常与上述鸡尾酒会问题或语音分离任务无关。相关技术中的说话人的识别和验证方法通常需要复杂的前处理流程，包括语音活动检测，分段和聚类模块，以将短片段分组以对应于一个说话人的身份。
此外，如果系统需要处理负面环境中受干扰的语音，那么它们还需要额外的干扰检测器和分类器模块，这会使处理流程更加复杂。在高度受干扰的场景中，标准说话人识别和验证系统的性能也会受到严重损害。并且，相关技术中普遍采用的强监督模型(例如多标签分类，回归和聚类)存在泛化性不足的缺点。
有鉴于此，本申请实施例提供了一种更为通用、开放和灵活的方法来模拟鸡尾酒会效应，在进行语音分离时，直接通过对混合波形信号进行特征提取来获取通用的编码特征，进而基于该编码特征学习各个说话人的表征，分离得到各个说话人的语音特征，进行说话人验证；并基于通用特征与各个说话人的语音特征来对进行语音分离和信号重建，以获取各个说话人的重建语音信号。由于本申请实施例中的语音分离方法不需要经过复杂的前处理流程，而是基于通用的编码特征执行多任务，紧凑、简洁且没有复杂的前处理流程，例如不需要K-Means均值聚类、SAD、分段、干扰检测器和说话人线下注册语音，提高了语音分离的准确性和效率。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示，其为本申请实施例的应用场景示意图。该应用场景图中包括两个终端设备110和一个服务器120，可通过终端设备110登录操作界面。终端设备110与服务器120之间可以通过通信网络进行通信。
在一种可选的实施方式中，通信网络是有线网络或无线网络。终端设备110以及服务器120可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在本申请实施例中，终端设备110为用户使用的电子设备，该电子设备可以是个人计算机、手机、平板电脑、笔记本、电子书阅读器、智能家居等具有一定计算能力并且运行有即时通讯类软件及网站或者社交类软件及网站的计算机设备。各终端设备110通过无线网络与服务器120，服务器120可以是独立的物理服务器120，也可以是多个物理服务器120构成的服务器120集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器120。
其中，本申请实施例中的语音分离模型可以部署在终端设备上，也可以部署在服务器上。当语音分离模型部署在终端设备上时，即可由终端设备获取待分离的混合波形信号，对混合波形信号进行特征提取，获得混合波形信号的编码特征；通过对编码特征进行特征提取，从编码特征中分离出各个说话人的语音特征；基于各个说话人的语音特征以及编码特征之间的关系，对各个说话人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得各个说话人的重建语音信号。当语音分离模型部署在服务器上时，终端设备可以获取待分离的混合波形信号，并将混合波形信号上传至服务器，由服务器对混合波形信号进行特征提取，获得混合波形信号的编码特征；通过对编码特征进行特征提取，从编码特征中分离出各个说话人的语音特征；基于各个说话人的语音特征以及编码特征之间的关系，对各个说话人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得各个说话人的重建语音信号。之后，服务器可将各个说话人的重建语音信号返回给终端设备。本申请中，多人一般是指多个说话人，多人语音即包含多个说话人的语音。
需要说明的是，本申请实施例中的多人的语音分离方法可以应用到很多和语音相关的产品应用中，例如音视频会议系统、智能语音交互、智能语音助手、在线语音识别系统、车载语音交互系统等，可在复杂的具有高度可变性的真实声学环境中显著地改善人类听觉的可懂度以及机器自动语音识别系统的准确率，从而提升用户体验，提高用户粘性。
参阅图2所示，为本申请实施例提供的一种多人的语音分离方法的实施流程图，该方法的具体实施流程如下：
在步骤S21中：获取待分离的混合波形信号，混合波形信号包含多人的语音；
在步骤S22中：对混合波形信号进行特征提取，获得混合波形信号的编码特征；
在步骤S23中：通过对编码特征进行特征提取，从编码特征中分离出每个人的语音特征；
在步骤S24中：基于每个人的语音特征以及编码特征之间的关系，对每个人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得每个人的重建语音信号。
由上述实施方式可知，本申请实施例在进行语音分离时，直接通过对混合波形信号进行特征提取来获取通用的编码特征，进而基于该编码特征学习各个说话人的表征，分离得到各个说话人的语音特征，进行说话人验证；并基于通用特征与各个说话人的语音特征来对进行语音分离和信号重建，以获取各个说话人的重建语音信号。由于本申请实施例中的语音分离方法不需要经过复杂的前处理流程，而是基于通用的编码特征执行多任务，紧凑、简洁且没有复杂的前处理流程，例如不需要K-Means均值聚类、SAD、分段、干扰检测器和说话人线下注册语音，提高了语音分离的准确性和效率。
进一步的，本申请实施例中的多人的语音分离方法也可结合人工智能技术来实现，其中，人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
具体的实现步骤为：将混合波形信号输入已训练的语音分离模型，基于已训练的语音分离模型对混合波形信号进行特征提取，获得编码特征；基于已训练的语音分离模型，对编码特征进行特征提取，获得各个说话人的语音特征；基于已训练的语音分离模型，根据各个说话人的语音特征以及编码特征之间的关系，对各个说话人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得已训练的语音分离模型输出的各个说话人的重建语音信号；其中，语音分离模型是根据训练样本数据集训练得到的，训练样本数据集中的训练样本包括多个说话人的多条语音样本。
参阅图3所示，其为本申请实施例中提供的一种语音分离模型的结构示意图。下文中主要是以Tune-In来对该模型进行命名的。Tune-In是本申请实施例提出的一种更为通用、开放和灵活的，用来模拟鸡尾酒会效应的自我监督注意力网络。其中Tune-In表示“Training Under Negative Environment with Interference”，即在负面带干扰环境下训练模型的方法。也就是说本申请实施例中的语音分离模型是在负面带干扰的环境下训练得到的，因此可以在严重干扰的情况下，基于本申请实施例中提出的Tune-In模型学习到具有实质性的判别性和可泛化的深度说话人表征。
如图3所示，整个语音分离模型具体包括三部分，对应图3所示的三个虚线框，分别为：MSM(Masked Speech Model，掩膜语音模型)Generic space(通用空间，又称通用子网络)，Speaker-knowledge space(说话人知识空间，又称说话人知识子网络)和Speech-stimuli space(语音信号刺激空间，又称语音信号刺激子网络)。
其中，通用子网络包括编码器(Encoder)以及由B个全局关注局部循环单元(Globally-attentive and locally-recurrent，GALR)组成的堆栈；说话人知识子网络包括由B1个全局关注局部循环单元组成的堆栈和嵌入层(Embedder)；语音信号刺激子网络包括由B2个全局关注局部循环单元组成的堆栈和解码器(Decoder)。B、B1和B2都为正整数。
在本申请实施例中，通用空间用于执行一项基本任务，即学习混合波形信号中目标信号(本文称为“正源”)和干扰信号(本文称为“负源”)具有的区分性的编码特征，也可称作通用特征。在接下来的下游空间(指说话人知识空间和语音信号刺激空间)中，将提取的编码特征转换为有针对性的表征，这些表征与本申请实施例分别希望在说话人知识空间和语音信号刺激空间中执行的不同特定任务相关。
下面对这三个空间分别进行详细介绍：
首先，本申请实施例中需要通过通用空间提取混合波形信号的编码特征，具体可分为以下步骤：
S1：将混合波形信号经由编码器转化为二维时间序列；
以包含有C个源的混合波形信号
为例，该混合波形信号包含有C个说话人的语音，首先需要将
经由Encoder转换为二维时间序列形式的输入
其中D是特征维度，I是时间序列长度。
S2：将二维时间序列分割为S段局部序列(即信号段)，并将分割得到的S段局部序列打包形成三维输入张量，其中每相邻两个局部序列之间存在部分重叠，S为正整数；
具体的，可将二维时间序列
分割成S个小段，每个小段长度为K，相邻小段之间有一半重叠。然后将这些小段打包成3维输入张量
在本申请实施例中，段和段之间存在部分重叠时，可以保证段和段之间有一定的关联，使得段与段之间的过渡较平缓。
S3：将三维输入张量输入由B个全局关注局部循环单元组成的堆栈，进行B次特征提取，获得由最后一个全局关注局部循环单元输出的编码特征，其中每相邻两个全局关注局部循环单元中，前一个全局关注局部循环单元的输出为后一个全局关注局部循环单元的输入，且第一个全局关注局部循环单元的输入为三维输入张量，每个全局关注局部循环单元的输入特征和输出特征的形状相同。
如图3所示，将三维输入张量X传递给由B个统一的GALR元胞结构(即GALR单元)组成的堆栈。每个GALR单元接收3维输入张量
输出3维张量
在本申请实施例中，通过将元胞序列号b作为上索引来区分GALR单元的输入特征和输出特征，其中元胞序列号b＝1,…,B，并且每个GALR单元的输入特征和输出特征的形状相同，都属于
例如，这B个GALR单元中，第一个GALR单元的输入特征为X(1)，输出特征为X(2)，并且X(2)作为第二个GALR单元的输入特征，…，以此类推，最后1个GALR单元的输入特征为X(B)，输出特征为X(B+1)。
可选的，本申请实施例采用了一种统一的GALR单元作为注意力单元，以打破阻碍将注意力机制应用于超长序列的内存和计算方面的瓶颈。参阅图4所示，其为本申请实施例中所列举的一种全局关注局部循环单元的组成结构示意图。图4所示的全局关注局部循环单元(GALR cell)由两个主要层组成：(1)执行段内处理的局部循环层(Locally recurrentlayer)，以及(2)执行段间处理的全局关注层(Globally attentive layer)。
下面对这两个主要层分别进行详细介绍：
(1)Locally recurrent layer(局部循环层)：用于对接收到的输入特征中的每段局部序列的段内短期依赖性进行建模，输出中间张量L。
在对每个段内的短期依赖性进行建模时，获得中间张量L时，主要是基于下述公式1实现的：
其中
即局部循环层输出的中间张量L，上索引b为元胞序列号，b＝1,…,B，下角标s＝1,…,S，表示第s个小段的局部序列，BiLSTM(·)、Lin(·)和LN(·)分别表示BiLSTM(双向长短期记忆网络)层、线性映射层以及层归一化处理。也就是说，本申请实施例中的局部循环层具体可包括Bi-LSTM层、线性映射层和归一化层。
此外，本申请实施例中不需要在S长度的序列重复K遍的全局关注层的计算。因此，本申请实施例中可先将局部循环层输出的中间张量
经过一个Conv2D(·)进行线性映射，将K维的向量映射到Q维，Q＜＜K，然后在D向量维度上应用一个层归一化LND(·)，再加上位置编码张量P，从而得到GALR单元的中间张量G(b)＝LND(Conv2D(L(b)))+P，即通用空间中的GALR单元的中间向量G，其中
上索引b为元胞序列号，b＝1,…,B。因此，本申请实施例的计算复杂度按K/Q的比例降低。为了标注上的简洁，除特殊说明之外，下文中均按Q＝1的条件描述。
(2)Globally attentive layer(全局关注层)：用于基于多头自我注意力机制，对全局关注局部循环单元的中间张量G中的每段局部序列进行段间处理；将基于多头自我注意力机制处理得到的张量进行线性映射后拼接得到三维张量，作为全局关注局部循环单元的输出特征。
通过上述计算后，至此，在中间张量G(b)上应用多头自注意力层在运行时内存占用以及计算复杂度方面变得可行。在本申请实施例中，多头自注意力层可以应用Transformer模型，在此不再赘述。最后，将自注意力层输出
经过另一个2维的1×1卷积进行线性映射，从Q维恢复到K维，并拼接为3维张量
然后输入给下一个GALR单元。依此，每个元胞单元都经过上述局部到全局再到局部(在时间轴上也从细到粗到细)的传递。
需要说明的是，本申请实施例中跟声学模型建模不一样，语音分离任务除了需要对紧凑的上下文(例如音素、音节、单词)进行建模之外，还需要遍历更大范围的、更宽松的、即兴发挥的上下文。关注层更容易学习远程依赖关系，因为它在输入和输出序列中位置的任何组合之间的距离都较短。因此，在本申请实施例中在全局建模时选择基于注意力机制的关注层而非相关技术中所采用的循环层或卷积层。
然而，与递归和卷积层不同，常规的自注意力机制仍然不适合应用于语音分离任务。因为与图像和语言处理相比，语音分离任务涉及到很长的语音信号序列，因此，运行时内存消耗成为瓶颈。就计算复杂度而言，序列分离中的大多数情况是序列长度大于表示维度，这时自注意力层也比循环层慢。相反，GALR中通过超参数K可以控制由本地循环层建模的本地信息的粒度。因此，GALR的全局关注层需要处理的序列长度S按系数K的比例缩减，从而大大减轻了运行时间内存的消耗。
需要说明的是，本申请实施例中所提出的GALR结构，可以突破在处理非常长序列的任务上自我注意机制的内存和计算瓶颈。但是，图4所示的GALR结构仅是在本申请实施例的一个实例中所列举的一种元胞结构，不代表本申请实施例的Tune-In框架必须采用该GALR结构，还可以采用其它的网络结构构造Tune-In中内部元胞，例如DPRNN(dual-pathrecurrent neural networks，双向递归神经网络)中由Bi-LSTM(或Bi-LSTM加Unidirectional-LSTM)构造的Dual-path的blocks等。在此不做具体限定。
在本申请实施例中，通过通用空间提取混合波形信号的编码特征之后，需要将编码特征分别输入说话人知识空间和语音信号刺激空间，下面分别对这两个空间的处理过程进行详细介绍：
可选的，在基于说话人知识空间分离得到各个说话人的语音特征时，具体可分为以下几个步骤：
S1：将编码特征输入由B1个全局关注局部循环单元组成的堆栈，进行B1次特征提取，其中每相邻两个全局关注局部循环单元中，前一个全局关注局部循环单元的输出为后一个全局关注局部循环单元的输入，且第一个全局关注局部循环单元的输入为编码特征，每个全局关注局部循环单元的输入特征和输出特征的形状相同；
也就是说，输入说话人知识空间的第一个全局关注局部循环单元的输入特征为
输出特征为
进而该特征作为第二个全局关注局部循环单元的输入特征，经过特征提取后，第二个全局关注局部循环单元的输出特征为
以此类推，最后一个全局关注局部循环单元的输出特征为
可选的，在说话人知识空间中的全局关注局部循环单元的结构也可如图4所示，具体分为局部循环层和全局关注层：
其中，局部循环层用于对接收到的输入特征中的每段局部序列的段内短期依赖性进行建模，输出中间张量L1；可选的，L1的计算公式同公式1，在此不再重复赘述。
之后，通过计算对中间张量L1进行线性映射和层归一化处理后得到的张量与位置编码张量的和，获得全局关注局部循环单元的中间张量G1，计算过程同上述通用空间中计算GALR单元的中间张量G(b)的过程类似，在此不再重复赘述。
同样地，全局关注层用于基于多头自我注意力机制，对全局关注局部循环单元的中间张量G1中的每段局部序列进行段间处理；将基于多头自我注意力机制处理得到的张量进行线性映射后拼接得到三维张量，作为全局关注局部循环单元的输出特征。
在本申请实施例中，说话人知识空间中的第一个全局关注局部循环单元接收到的输入特征即为通用空间输出的编码特征
每个元胞单元都经过上述局部到全局再到局部(在时间轴上也从细到粗到细)的传递，最后可得该空间中的最后一个全局关注局部循环单元的输出特征为
S2：将最后一个全局关注局部循环单元的输出特征输入嵌入层，经过嵌入层进行投射及合并处理，获得各个说话人的语音特征。
在本申请实施例中，将最后一个该空间的GALR单元的输出
输入到图3所示的Embedder，通过投射并合并以产生C个说话人的嵌入表征
这些表征对于识别不同的说话人要求是可分离的和有区别的，即各个说话人的语音特征，对应图3所示的输出constrastive prediction：speakerembeddings(对比预测：说话人嵌入)。
在本申请实施例中，语音信号刺激空间的主要任务为根据各个说话人的语音特征以及混合波形信号的编码特征之间的关系，学习用于分离混合波形信号的深度语音表征，进而进行信号重建，以得到各个说话人的重建语音信号。下面对基于语音信号刺激空间分离得到各个说话人的重建语音信号的过程进行详细介绍，具体分为以下步骤：
S1：将各个说话人的语音特征以及编码特征输入由B2个全局关注局部循环单元组成的堆栈，进行B2次注意力特征提取，获得最后一个全局关注局部循环单元输出的用于分离混合波形信号的深度语音特征，其中每个全局关注局部循环单元的输入特征都包括各个说话人的语音特征，并且每相邻两个全局关注局部循环单元中，前一个全局关注局部循环单元的输出为后一个全局关注局部循环单元的输入；
在本申请实施例中，语音信号刺激空间中的第一个全局关注局部循环单元接收到的输入特征包括通用空间输出的
此外，还包括各个说话人的语音特征Yj，经过注意力特征提取处理后，第一个全局关注局部循环单元的输出特征为
并将
作为下一个全局关注局部循环单元的输入特征中的一部分，结合各个说话人的语音特征Yj，进行第二次注意力特征提取处理后，第一个全局关注局部循环单元的输出特征为
不断重复上述过程，总共执行B2次，最后可得语音信号刺激空间中的最后一个全局关注局部循环单元的输出特征为
即为本申请实施例中的深度语音特征。
需要注意的是，在基于语音信号刺激空间分离得到各个说话人的重建语音信号时，该空间的输入特征除了通用空间输出的编码特征之外，还包括各个说话人的语音特征，因而在进行注意力特征提取的过程中，涉及到了语音信号刺激空间与说话人知识空间的信息交互。也就是说，在语音信号刺激空间中的全局关注局部循环单元进行注意力特征提取的过程与上述所列举的两个空间中的处理过程并不完全相同。具体的，实现语音信号刺激空间与说话人知识空间的信息交互的方式有很多种，在下文中将会举例说明。
S2：将深度语音特征经过解码器进行信号重建，输出各个说话人的重建语音信号。
在本申请实施例中，语音信号刺激空间中最后一个GALR单元的输出
将传递到图3所示的Decoder，经过Decoder输出重建后的语音信号
其中j＝1,…,C，即为各个说话人的重建语音信号，对应图3所示的reconstruction：Speech sources(重建语音信号)。
可选的，每一次进行注意力特征提取时，语音信号刺激空间中的全局关注局部循环单元都用于执行下列步骤，以实现信息交互，具体的：
S1：通过局部循环层对接收到的输入特征中的每段局部序列的段内短期依赖性进行建模，输出中间张量L2；
S2：将对中间张量L2进行线性映射和层归一化处理后得到的张量与位置编码张量的和，作为全局关注局部循环单元的中间张量G2；
需要说明的是，计算中间张量L2的过程也可参考公式1，在此不再重复赘述。同理，计算中间张量G2的过程也同上述所列举的计算中间张量G和中间张量G1的过程类似，重复之处不再赘述。
S3：根据中间向量G2以及各个说话人的语音特征进行注意力特征提取，获得全局关注局部循环单元的输出特征。
需要说明的是，本申请实施例中，语音信号刺激空间中根据中间向量G2以及各个说话人的语音特征进行注意力特征提取，获得全局关注局部循环单元的输出特征的这一步骤，与通用空间和说话人知识空间中经由全局关注局部循环单元中的全局关注层来进行特征提取时存在不同，该过程涉及语音信号刺激空间与说话人知识空间的信息交互。
接下来，对实现语音信号刺激空间与说话人知识空间的信息交互的方式进行详细介绍：
为了实现Tune-In架构中上层两个空间之间的信息交互，可以采用本申请实施例提出的新颖的交叉注意力(Cross Attention)和双重注意力(Dual Attention)机制，也可以采用传统的方法。下面对这两种方法各提供介绍说明。
方法一、交叉注意和双重注意机制。
在本申请实施例中，说话人知识空间和语音信号刺激空间之间，信息通过新颖的交叉和双重注意机制相互投射，从而模仿了人类的鸡尾酒会效应中的自下而上和自上而下的过程。
需要注意的是，本申请实施例中提出的注意力网络架构采用的新型的自下而上和自上而下的机制与相关技术中的自下而上和自上而下的机制根本上不同。本申请实施例采用了一种统一的注意力单元，以打破阻碍将注意力机制应用于超长序列的内存和计算方面的瓶颈。
具体的，来自语音信号刺激空间的自下而上查询，目的是从说话人知识空间检索最相关的信息，并过滤掉非显著的、嘈杂或多余的信息。为了实现这一点，在本申请实施例中采用交叉注意和双重注意机制，其中来自两个空间的信息仅通过查询进行通信。在本申请实施例中使用Query(·)，Key(·)和Value(·)表示投影函数，这些投影函数将相应的输入向量分别线性映射到查询、键和值向量。
在本申请实施例中，自下而上指通过交叉注意模块将查询向量投射到说话人知识的空间上。具体的，基于自下而上的查询向量与各个说话人的语音特征之间的点积，获得在说话人语音特征序列上产生注意力分布特征，其中第一个全局关注局部循环单元对应的查询向量是根据编码特征以及段内位置信息得到的，其他全局关注局部循环单元对应的查询向量是根据上一个全局关注局部循环单元的输出特征以及段内位置信息得到的。
在本申请实施例中，在语音信号刺激空间的第一个全局关注局部循环单元对应的查询向量
是由来自于MSM通用空间中的最后一个GALR单元的输出
在K这个维度求平均而生成的。而对于语音信号刺激空间中的其它全局关注局部循环单元对应的查询向量，即为上一个全局关注局部循环单元的输出特征X(b+1)在K这个维度求平均而生成的。例如第二个全局关注局部循环单元对应的查询向量，即为第一个全局关注局部循环单元的输出特征
在K这个维度求平均而生成的
具体来说，以第一个全局关注局部循环单元的处理过程为例，通过计算
与说话人嵌入表征Yj之间的点积，可以在说话人语音特征序列上产生注意力分布attn_cj，如公式2所示。
其中，
Sj表示Yj中的段数(注意，当使用相同的输入混合来生成说话人嵌入和分离语音时，Sj＝S；否则，Sj取不同值)；说话人语音特征序列即：Y1、Y2、…、YC。
为了简化符号，在本申请实施例中省略了所有时间轴索引。在计算得到注意力分布特征之后，即可根据注意力分布特征对各个说话人的语音特征进行加权求和，获得引导向量。如公式3所示：
其中，引导向量
Value(Yj)表示自变量为Yj时，投影函数Value(·)的值。
在本申请实施例中，自上而下的引导是从说话人知识空间中提出的。本申请实施例中通过双重注意模块将引导向量Zj投射到语音信号刺激空间上。具体过程为：根据引导向量Zj对中间向量G2进行调制后，根据调制后的中间向量G2以及引导向量Zj之间的相似度，获得双重注意力分布特征，具体参见公式4；基于双重注意力特征对调制后的中间向量G2的值进行加权求和，获得全局关注局部循环单元的输出特征，具体参见公式5。
由于本申请实施例中的注意机制同时应用于语音信号刺激空间中的输入自注意向量
的序列(与在标准的自注意层中的处理相同)，以及自上而下的引导向量Zj，因而在本申请实施例中将其称为双重注意，其中
即中间向量G2，其中下角标SS(也可省略不写)是为了和通用空间和说话人知识空间进行区分而标记的，j＝1,…,C；b＝1,…,B2。具体的，这是通过首先将Zj传递给可学习的投影函数r(·)和h(·)来实现的。例如，在本申请实施例中采用的一个函数实例是简单的完全连接层，如公式4和公式5所示，以调制输入自注意向量
并生成捕获自上而下的说话人信息的键和值。最后，在本申请实施例中根据双重注意力分布特征attn_dj对值进行加权求和，从而得到注意力输出
如公式5所示。
也就是说，对于语音信号刺激空间里的B2个GALR单元，每个GALR单元在处理时都会涉及一次交叉注意和双重注意。当然，也可只在第一个GALR单元进行交叉注意和双重注意，后续的GALR单元只需要进行双重注意即可，即交叉注意过程只处理一次，而双重注意过程处理B2次。该方式下，对于第一个GALR单元，基于公式2和公式3实现交叉注意，得到引导向量Zj；基于公式4和公式5实现双重注意，得到
对于之后的GALR单元，仅需要经过局部循环单元计算得到
之后再基于公式4和公式5实现双重注意，计算得到
即可。
在本申请实施例中，
相当于是对GALR的全局关注层中自注意力层操作的替代，所以在基于公式5获得的
在此之后还需要将自注意力层输出
经过一个2维的1×1卷积，从Q维恢复到K维，并拼接为3维张量
作为GALR单元的输出特征，然后输入给下一个GALR单元。依此，每个元胞单元都经过上述局部到全局再到局部的传递。最终，最后一个全局关注局部循环单元的3维张量
即为深度语音特征。
下面结合图5对本申请实施例中所列举的基于交叉注意和双重注意机制的方式，实现说话人知识空间和语音信号刺激空间之间的信息交互过程进行详细介绍，其中图5主要是对语音信号刺激空间中的一个GALR单元：
其中，MSM通用空间中的最后一个GALR单元的输出X(B+1)分别输入说话人知识空间和语音信号刺激空间。之后，说话人知识空间基于X(B+1)获取到各个说话人的语音特征Yj，这里列举j＝1或2，对应图5中的Y1和Y2。语音信号刺激空间基于X(B+1)获取到GALR单元的中间向量
和
然后，通过交叉注意将说话查询向量X(B+1)投射到说话人知识空间，获取在说话人语音特征序列上产生的注意力分布特征，如公式2所示。再基于公式3获得引导向量，表示为Z1和Z2。
然后，通过双重注意模块将引导向量投射到语音信号刺激空间上，实现自上而下的引导，最终获得GALR单元的输出
和
之后，重复上述过程，将语音信号刺激空间中的最后一个GALR单元的输出特征作为深度语音特征，然后经过解码器进行信号重建后，即可获得各个说话人的重建语音信号。
由上述内容可知本申请实施例提出的注意力网络架构采用了新型的自下而上和自上而下的机制。在本申请实施例中，通过分别学习和保持说话人知识空间和语音信号刺激空间，然后在两个空间之间利用注意力机制进行信息交换，模仿了人类神经系统的自下而上和自上而下的过程。另外，Tune-In中构建的结构打破了常规方法的内存和计算瓶颈，使训练效率大大提高。在本申请实施例中揭示，可以在严重干扰的情况下本申请实施例提出的Tune-In框架学习到具有实质性的判别性和可泛化的深度说话人表征。
除了上述实施例中所列举的交叉注意和双重注意机制之外，还可采用其它传统已有的方法来实现信息的交互，比如FiLM(Feature-wise Linear Modulation，特征方面的线性调制)方法，下面对FiLM方法进行详细介绍：
方式二、通过在Tune-In框架上应用已有的FiLM算法在GALR单元输出的信息上，具体是基于公式6至公式8实现的：
attn_d＝softmax(Query(G(b))T·Key(G(b)))； 公式6
其中，G(b)即为语音信号刺激空间中的GALR单元的中间向量G2，b＝1,…,B2，在基于G(b)计算得到注意力分布attn_d之后，即可基于attn_d计算得到
进而基于
以及引导向量Zj(可通过公式2和公式3计算得到)，计算得到GALR单元的输出特征
其中PReLU为随机纠正线性单元，在功能范畴上，PReLU函数是作为神经元的激励函数。
需要说明的是，除了上述实施例中所列举的FiLM方法之外，还可采用其它传统的方法，例如通过线性组合、乘法或串联的方式将说话人的嵌入表征和语音特征融合到相同的向量空间中，在此不做具体限定。
下面对本申请实施例中的语音分离模型的训练过程进行详细介绍：
首先先介绍本申请实施例中的训练过程中所采用的训练样本数据集：
在本申请实施例中所采用的数据集为一种大规模的公开数据集Librispeech。其中Librispeech是衡量语音识别技术的主流的开源数据集，错词率是衡量语音识别技术水平的核心指标，是由N＝2484个说话人组成的982.1小时语料库。本申请将该语料库分为了三个数据集：训练集，验证集和测试集。
其中，训练集包括来自2411个说话人的12055句话语(划分为每人5句15秒的语音)；验证集包括来自相同2411个说话人的另外7233话语(划分为每人收录3句15秒的语音)；测试集包含来自其余73个说话人的4380语音(划分为每人60句4秒的语音)。
此外，本申请实施例中也使用了另一个基准数据集WSJ0-2mix，用于与最新的语音分离系统进行比较。WSJ0-2mix包括了由来自101个说话人的20000句话语组成的30小时训练集，由来自相同的101个说话人的5000句话语组成的10小时验证集，以及由来自不同的18个说话人的3000句话语组成的5小时测试数据。
参阅图6所示，其为本申请实施例中提供的一种基于语音分离模型训练方法的流程示意图。该方法的具体实施流程如下：
S61：从训练样本数据集中选取一个正源语音样本和多个负源语音样本；
其中，训练样本数据集可以是上述实施例中所列举的基于Librispeech或WSJ0-2mix所划分得到的训练集。
S62：将正源语音样本和多个负源语音样本输入未训练的语音分离模型，经由未训练的语音分离模型中的通用子网络对正源语音样本和多个负源语音样本进行混合，得到包含多个目标源的混合语音样本；
S63：将混合语音样本进行特征提取，获得通用子网络输出的每个人的语音样本之间的通用样本特征；
S64：基于说话人知识子网络，对通用样本特征进行特征提取，获得说话人知识子网络输出的每个人的嵌入样本特征；
S65：基于语音信号刺激子网络，对每个人的嵌入样本特征进行注意力特征提取和信号重建后，获得语音信号刺激子网络输出的每个人的重建语音样本；
其中，步骤S63至步骤S65的实现方式同上述所列举的语音分离模型的使用过程类似，在此不再重复赘述。
S66：基于每个人的重建语音样本，通过自监督学习的方式对未训练的语音分离模型中的网络参数进行多次调整，获得已训练的语音分离模型。
需要说明的是，在训练语音分离模型的过程中，通用空间还可包括：随机混合器，用于在目标信噪比条件下，将正源语音样本和多个负源语音样本进行随机混合，获得随机混合器输出的混合语音样本。
参阅图7所示，其为本申请实施例中的另一种语音分离模型的结构示意图。该图中的通用空间中除了编码器和B个全局关注局部循环单元之外，还包括随机混合器(RandomMixer)。
本申请实施例中提出的网络会执行一种称为“掩膜语音模型”(Masked SpeechModel，MSM)的自监督训练，该训练通过将正源语音样本与干扰信号(即负源语音样本)随机混合来掩盖语音，即图7所示的Random Mixer。本申请实施例提出的MSM本质上是在模拟现实世界中的“鸡尾酒会”问题。为了尽量模拟在现实世界中的多样性，对于每个训练epoch，Random Mixer都会从N个说话人训练语料库中随机抽取C个说话人的说话样本，其中一个说话人的样本作为正源语音样本，而用剩余的(C-1)个说话人的样本作为负源语音样本。在给定的信噪比(Signal-to-interference ratio，SIR)条件下，例如，从0到5dB随机采样，在随机起始位置处将正源语音样本与负源语音样本混合。从而，在每个batch批次中，都有一个
的集合，其中包含来自同一说话人的batch_size的正样本，和来自随机干扰说话人的(C-1)*batch_size的随机负样本。
具体的，在每个训练epoch中，通过使用与随机开始位置处的同一训练集不同的随机言语掩盖训练集中的每个干净话语，在线生成持续4秒的混合波形信号，混合信噪比是0至5dB。如果连续10个训练epoch中都没有出现更低的验证损失，则判断训练已经收敛。而在测试中，在本申请实施例中，会预先随机把测试集中的样本以0至5dB的信噪比混合。
下面对本申请实施例中关于训练损失的部分进行详细介绍：
至此，本申请实施例在说话人知识空间中学习到了紧凑的矢量分布Zj(同语音分离模型使用部分中引导向量)，继而计算表示潜在目标说话人的特征向量
其中gar是一个自回归移动平均模型，而t指示MSM在整个训练中发声级(utterance-level)步骤的索引。
本申请实施例同时在语音信号刺激空间中执行信号重建，并在说话人知识空间中进行说话人预测。如果得到了一个空间中针对目标源的说话人输出排列，则也能确定另一空间中的对应说话人排列。损失函数Lsp+λLcos如下列公式9所示：
其中，α为可学习尺度，β表示偏差，和λ都是预设值，
表示信号源(或说话人)的全部PIT排列，其中LSISNR为信号重建的损失函数。
的下标ik，(k＝1，2，…，C)表示训练集中标注为第K个目标说话人的target embeddings(目标嵌入表征)对应的下角索引。注意，
其中G表示全训练集合里面总的不同说话人的个数(例如，G＝1000位)，而C表示一个混合输入信号中同时在说话的说话人数(例如，C＝2位，假设当前观察信号中是张三、李四，他们的ID(标识)对应权训练集合里的索引号分别为345和989，那么这个例子里，i1＝345，i2＝989)。
如上面的公式9所示，本申请实施例从使用句子级别的置换不变训练(u-PIT)的“自动驾驶(auto-pilot)”信号重建开始，以SI-SNR损失作为语音信号刺激空间中的目标Lsp，直到紧凑的说话人矢量E达到相对稳定的状态，以此训练出潜在说话人表征。接下来，本申请实施例使用由说话人知识空间确定的说话人输出排列来“引导(steering)”信号重建。在“引导”阶段，信号重建变成无需PIT，从而免除了繁重的计算负担。
另外，本申请实施例希望学习具有可分离的类间差异和紧凑的类内变异的深度表征。如上述公式9所示，损失Lcos是具有可学习尺度α和偏差β的余弦相似度损失，它奖励深度表征接近相应的潜在目标说话人表征。此外，本申请实施例还添加了归一化损失，如公式10所示：
以及，用于计算每个输出深度表征和所有训练潜在目标说话人表征之间的整体余弦相似度，以及正则化损失，如公式11所示：
其中，公式11用于避免训练得到全零的简单解，其中γ是其加权因子。
需要说明的是，本申请实施例不具体限定损失函数的数学定义。例如上述所列举的在计算损失时，采用了余弦距离(或类似欧几里得距离)来计算Lcos，使学习到的深度表征接近相应的潜在目标说话人表征，可以替代为采用其它类型的损失函数，包括但不限于采用Contrastive(对比)损失，Triplet(三元组)损失，Sphereface(球面)和CosFace(边缘余弦)等损失函数。同理，为重建信号采用的SiSNR损失函数，也可以根据实际应用目标调整为其它类型的重建损失函数，在此不做具体限定。
下面列举本申请实施例中一种可选的语音分离模型的参数和结构设置：
为了进行公平比较，本申请实施例中的Encoder和Decoder的结构以及模型的超参数设置与相关技术中的语音分离模型DPRNN的设置相同，并未针对本申请实施例中建议的模型进行微调(通过微调可以预期进一步的性能改进)。另外，在本申请实施例中，使用了6个连续的GALR单元，其中用于MSM通用空间的GALR单元有B＝4个，用于语音信号刺激空间的GALR单元有B1＝2个，用于说话人知识空间的GALR单元有B2＝2个。与在WSJ0-2mix中得到最顶尖结果且模型尺寸较之前的模型大幅缩少的DPRNN相比，Tune-In模型可再减少7.6％的整体模型尺寸，而且还会减少13.8％的运行内存和21.4％的运算子。
至于其他超参数的设定，在本申请实施例中，把深度表征的维度，信号段大小和减少后的信号段分别设置为D＝128,K＝128,Q＝16。在本申请实施例中，根据经验将γ＝3，λ＝10，ε＝0.05和学习率μ设置为初始值0.001，并在每两个训练epoch衰减0.96，优化使用Adam算法。其中，Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。
需要注意的而是，本申请实施例的模型大大减少了运行时内存，因此可以进行更有效的训练。它在统一框架中同时执行多任务，紧凑、简洁且没有复杂的前处理流程。本申请实施例的模型也是当前所有文献报告中最小的。跟相关技术中的最轻型和最先进的DPRNN模型相比，模型大小减少了7.6％，并且在更低资源消耗的条件下(运行时内存减少13.8％，计算操作减少21.4％)，获得了可比或更高的SI-SNRi(SI-SNR改善)分数。
下面结合实验结果来对本申请实施例中所列举的语音分离模型的性能进行总结。具体分为两个方面：说话人验证功能以及语音分离效能。
其中，第一方面为说话人验证性能，该部分主要是基于说话人知识空间的输出特征来进行验证的，具体是指判断一句话是不是某个人说的。
在本申请实施例中进行了说话人验证(SV)的实验，以验证在本申请实施例中所学到的深度说话人表征的判别力和泛化能力。基于SincNet(一种可解释的神经网络结构，用于直接处理语音时序信号)的标准SV模型实验中被用作在本申请实施例中的参考SV系统。首先，在本申请实施例中第一个参考模型，标注为“SincNet-clean”，是在干净的Librispeech训练集中进行了训练；而另一个参考模型，标注为“SincNet-masked”，在与在本申请实施例中提出的系统一样的在线上混合的Librispeech训练集上进行了训练。
参阅图8所示，其为本申请实施例中的一种实验结果的示意图，具体是指本申请实施例中提出的Tune-In模型在说话人验证(SV)的实验中得到的ROC曲线性能跟参照系统SinCNet的比较的实验结果。
在图8中绘制了不同模型的ROC(Receiver Operating Characteristic，受试者操作特征)曲线。蓝线(标记有正方形)表示标准SV系统SincNet-clean对干净测试数据的标准性能，并且可以用作最佳环境中的参考性能。橙线(标记有三角形)表示标准SV系统SincNet-clean在强干扰测试数据下说话人验证的性能，绿线(标记有圆形)表示SV系统SincNet-masked在强干扰测试数据下说话人验证的性能，红线(标记有五角星)“Tune-InCE_test_on_masked”表示的是本申请实施例中提出的Tune-InCE模型在强干扰条件下(即0-5dB信噪比的情况下)说话人验证的性能。它实现了0.061的EER(Equal Error Rate，等误差率)和高达0.980的AUC(Area under the curve，曲线下面积或曲线面积)，并且其ROC线接近上限——高性能标准SV系统对干净数据的结果。最后紫线(无标记)“Tune-ID_test_on_masked”表示的是本申请实施例中提出的Tune-ID模型在强干扰条件下(即0-5dB信噪比的情况下)说话人验证的性能。
其中，ROC空间将假正例率(False Positive Rate，简称FPR)定义为X轴，真正例率(True Positive Rate，简称TPR)定义为Y轴。其中，TPR指在所有实际为正例的样本中，被正确地判断为正例之比率。FPR指在所有实际为反例的样本中，被错误地判断为正例之比率。
在本申请实施例中，第二方面为语音分离效能，该部分主要是基于语音信号刺激空间的输出特征来进行实验的。
本申请实施例评估了用于语音分离任务的自监督Tune-In模型。在本申请实施例中的Tune-In模型和最新的DPRNN模型都具有相同的设置，并且Encoder窗口大小同样设置为8样本以进行公平比较。如下表所示，所有系统均根据SDRi(信噪比改善)和SI-SNRi(SI-SNR改善)进行了评估。训练“Tune-In Autopilot(调谐导航/调谐自动驾驶仪)”模型时无需进行交叉和双注意力机制的消融研究。“Tune-InOnline(在线收听)”模型可以在线学习说话人的深度表征和引导向量，并同时进行语音分离；因此，附加的在线学习深度表征任务带来了附加的1M模型参数大小。如上文中所述，“Tune-In Offline(离线收听)”模型从目标说话人那里收集了大约16s的注册语音(来自与在线相同的有干扰的环境)，因此说话人的表征可以离线计算并在在线时无需计算。
参阅表1所示，其为本申请实施例中所列举的一种与常规分离系统的性能比较结果。
表1
其中，表1分别介绍了在WSJ0-2mix数据集下的几个传统的模型TDAA(Top-DownAuditory Attention，自上而下的听觉注意)、BiLSTM-TasNet(双向长短期记忆力网络-时域音频分离网络)、Conv-TasNet(全卷积时域音频分离网络)和DPRNN，与本申请实施例中提出的Tune-In(具体包括Tune-In Autopilot、Tune-In Offline、Tune-In Online)的比较结果，具体分为模型参数Parameters的比较，以及SI-SNRi和SDRi的比较。此外，表1还介绍了在LibriSpeech数据集下的传统模型DPRNN与本申请实施例中提出的Tune-In(具体包括Tune-In Autopilot、Tune-In Offline、Tune-In Online)比较结果。
通过上述内容可知，本申请实施例对比揭示了相关技术中普遍采用的强监督模型(例如多标签分类，回归和聚类)的泛化性不足的缺点。不同的是，本申请实施例利用最近的自我监督学习进展，以获得更具判别力和可概括性的表征，与基于标准SincNet的SV系统相比，可提供更好的说话人验证性能。实验证明，即使在严重干扰的情况下，仍可以通过本申请实施例的自我监督学习学习得到具有区别性和概括性的说话人表示。本申请实施例的实验结果验证了这种看似矛盾的现象，与标准的说话人验证方法相比，本申请实施例学习到的说话人嵌入表征具有更高的判别力。同时，和当前最先进的基准比较系统DPRNN模型相比，在线和离线测试模式下，Tune-In均可在SI-SNRi方面实现更高的语音分离性能。
此外，需要说明的是，仅为了比较的目的，Tune-In的框架图中Encoder和Decoder采用了跟DPRNN一致的模型结构和网络配置。但Tune-In框架支持其它网络类型的Encoder和Decoder模型结构，例如实现傅立叶变换的Encoder和实现反傅立叶变换的Decoder，包括支持处理输入时域波形的信号和输入频域的信号类型的Encoder。本申请实施例不具体限定深度神经网络的模型类型和拓扑结构，可以替换为各种其它有效的新型的模型结构。此外，本申请实施例中深度神经网络采用的网络结构和超参配置，可以结合替代方案替代为其它优化的网络结构和超参配置，例如闸控卷积神经网络、时延网络等。可以根据实际应用对模型内存占用的限制和对字错误率的要求，对本申请实施例中列举的深度神经网络的拓扑结构加以拓展或简化。
参阅图9所示，其为本申请实施例中提供的一种基于语音分离模型的多个说话人语音分离方法的流程示意图。该方法的具体实施流程如下：
步骤S900：获取包含多个说话人语音的待分离的混合波形信号；
步骤S901：将混合波形信号输入已训练的语音分离模型中的通用子网络，基于通用子网络中的编码器将该混合波形信号转化为二维时间序列；
步骤S902：将二维时间序列分割为S段局部序列，并将分割得到的S段局部序列打包形成三维输入张量；
步骤S903：将三维输入张量输入由B个全局关注局部循环单元组成的堆栈，进行B次特征提取，获得由最后一个全局关注局部循环单元输出的编码特征；
步骤S904：将编码特征分别输入该语音分离模型中的说话人知识子网络和语音信号刺激子网络；
步骤S905：将编码特征输入说话人知识子网络中的由B1个全局关注局部循环单元组成的堆栈，进行B1次特征提取；
步骤S906：将最后一个全局关注局部循环单元的输出特征输入嵌入层，经过嵌入层进行投射及合并处理，获得各个说话人的语音特征；
步骤S907：将各个说话人的语音特征以及编码特征输入语音信号刺激子网络中的由B2个全局关注局部循环单元组成的堆栈，进行B2次注意力特征提取，获得最后一个全局关注局部循环单元输出的用于分离混合波形信号的深度语音特征；
步骤S908：将深度语音特征经过解码器进行信号重建，输出各个说话人的重建语音信号。
基于相同的发明构思，本申请实施例还提供一种多人的语音分离装置。如图10所示，其为本申请实施例中的一种多人的语音分离装置的结构示意图，其中，语音分离装置1000可以包括：
信号获取模块1001，用于获取待分离的混合波形信号，混合波形信号包含多人的语音；
特征提取模块1002，用于对混合波形信号进行特征提取，获得混合波形信号的编码特征；
知识表征模块1003，用于通过对编码特征进行特征提取，从编码特征中分离出每个人的语音特征；
信号重建模块1004，用于基于每个人的语音特征以及编码特征之间的关系，对每个人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得每个人的重建语音信号。
可选的，特征提取模块1002，具体用于将混合波形信号输入已训练的语音分离模型，基于已训练的语音分离模型对混合波形信号进行特征提取，获得编码特征；
知识表征模块1003，具体用于基于已训练的语音分离模型，对编码特征进行特征提取，获得每个人的语音特征；
信号重建模块1004，具体用于基于已训练的语音分离模型，根据每个人的语音特征以及编码特征之间的关系，对每个人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得已训练的语音分离模型输出的每个人的重建语音信号；
其中，已训练的语音分离模型是根据训练样本数据集训练得到的，训练样本数据集中的训练样本包括多人的多条语音样本。
可选的，已训练的语音分离模型包括通用子网络；通用子网络包括编码器以及由B个全局关注局部循环单元组成的堆栈，B为正整数；
特征提取模块1002具体用于：
将混合波形信号经由编码器转化为二维时间序列；
将二维时间序列分割为S段局部序列，并将分割得到的S段局部序列打包形成三维输入张量，其中每相邻两个局部序列之间存在部分重叠，S为正整数；
将三维输入张量输入由B个全局关注局部循环单元组成的堆栈，进行B次特征提取，获得由最后一个全局关注局部循环单元输出的编码特征，其中每相邻两个全局关注局部循环单元中，前一个全局关注局部循环单元的输出为后一个全局关注局部循环单元的输入，且第一个全局关注局部循环单元的输入为三维输入张量，每个全局关注局部循环单元的输入特征和输出特征的形状相同。
可选的，全局关注局部循环单元包括局部循环层和全局关注层；
局部循环层用于对接收到的输入特征中的每段局部序列的段内短期依赖性进行建模，输出中间张量L；
全局关注层用于基于多头自我注意力机制，对全局关注局部循环单元的中间张量G中的每段局部序列进行段间处理；将基于多头自我注意力机制处理得到的张量进行线性映射后拼接得到三维张量，作为全局关注局部循环单元的输出特征，其中中间张量G是对中间张量L进行线性映射和层归一化处理后得到的张量与位置编码张量的和。
可选的，已训练的语音分离模型还包括说话人知识子网络；说话人知识子网络包括由B1个全局关注局部循环单元组成的堆栈和嵌入层，B1为正整数；
知识表征模块1003具体用于：
将编码特征输入由B1个全局关注局部循环单元组成的堆栈，进行B1次特征提取，其中每相邻两个全局关注局部循环单元中，前一个全局关注局部循环单元的输出为后一个全局关注局部循环单元的输入，且第一个全局关注局部循环单元的输入为编码特征，每个全局关注局部循环单元的输入特征和输出特征的形状相同；
将最后一个全局关注局部循环单元的输出特征输入嵌入层，经过嵌入层进行投射及合并处理，获得每个人的语音特征。
可选的，全局关注局部循环单元包括局部循环层和全局关注层；
局部循环层用于对接收到的输入特征中的每段局部序列的段内短期依赖性进行建模，输出中间张量L1；
全局关注层用于基于多头自我注意力机制，对全局关注局部循环单元的中间张量G1中的每段局部序列进行段间处理；将基于多头自我注意力机制处理得到的张量进行线性映射后拼接得到三维张量，作为全局关注局部循环单元的输出特征，其中中间张量G1是对中间张量L1进行线性映射和层归一化处理后得到的张量与位置编码张量的和。
可选的，已训练的语音分离模型还包括语音信号刺激子网络；语音信号刺激子网络包括由B2个全局关注局部循环单元组成的堆栈和解码器，B2为正整数；
信号重建模块1004具体用于：
将每个人的语音特征以及编码特征输入由B2个全局关注局部循环单元组成的堆栈，进行B2次注意力特征提取，获得最后一个全局关注局部循环单元输出的用于分离混合波形信号的深度语音特征，其中每个全局关注局部循环单元的输入特征都包括每个人的语音特征，并且每相邻两个全局关注局部循环单元中，前一个全局关注局部循环单元的输出为后一个全局关注局部循环单元的输入；
将深度语音特征经过解码器进行信号重建，输出每个人的重建语音信号。
可选的，每一次进行注意力特征提取时，全局关注局部循环单元用于执行下列步骤：
对接收到的输入特征中的每段局部序列的段内短期依赖性进行建模，输出中间张量L2；将对中间张量L2进行线性映射和层归一化处理后得到的张量与位置编码张量的和，作为全局关注局部循环单元的中间张量G2；
根据中间向量G2以及每个人的语音特征进行注意力特征提取，获得全局关注局部循环单元的输出特征。
可选的，信号重建模块1004具体用于：
基于查询向量与每个人的语音特征之间的点积，获得在说话人语音特征序列上产生注意力分布特征，其中第一个全局关注局部循环单元对应的查询向量是根据编码特征以及段内位置信息得到的，其他全局关注局部循环单元对应的查询向量是根据上一个全局关注局部循环单元的输出特征以及段内位置信息得到的；
根据注意力分布特征对每个人的语音特征进行加权求和，获得引导向量；
根据引导向量对中间向量G2进行调制后，根据调制后的中间向量G2以及引导向量之间的相似度，获得双重注意力分布特征；
基于双重注意力特征对调制后的中间向量G2的值进行加权求和，获得全局关注局部循环单元的输出特征。
可选的，装置还包括模型训练模块1005：
已训练的语音分离模型是由模型训练模块1005通过下列方式训练得到的：
从训练样本数据集中选取一个正源语音样本和多个负源语音样本，其中正源语音样本为目标说话人的语音样本，负源语音样本为除目标说话人之外的其他说话人的语音样本；
将正源语音样本和多个负源语音样本输入未训练的语音分离模型，经由未训练的语音分离模型中的通用子网络对正源语音样本和多个负源语音样本进行混合，得到包含多个目标源的混合语音样本；
将混合语音样本进行特征提取，获得通用子网络输出的每个人的语音样本之间的通用样本特征；
基于说话人知识子网络，对通用样本特征进行特征提取，获得说话人知识子网络输出的每个人的嵌入样本特征；
基于语音信号刺激子网络，对每个人的嵌入样本特征进行注意力特征提取和信号重建后，获得语音信号刺激子网络输出的每个人的重建语音样本；
基于每个人的重建语音样本，通过自监督学习的方式对未训练的语音分离模型中的网络参数进行多次调整，获得已训练的语音分离模型。
可选的，通用子网络还包括随机混合器；
模型训练模块1005具体用于：
在目标信噪比条件下，基于随机混合器将正源语音样本和多个负源语音样本进行随机混合，获得随机混合器输出的混合语音样本。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
在介绍了本申请示例性实施方式的语音分离方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。该电子设备可以用于对多媒体内容进行修图识别。在一种实施例中，该电子设备可以是服务器，如图1所示的服务器120，也可以是其他电子设备，如图1所示的终端设备110。在该实施例中，电子设备的结构可以如图11所示，包括存储器1101，通讯模块1103以及一个或多个处理器1102。
存储器1101，用于存储处理器1102执行的计算机程序。存储器1101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
存储器1101可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1101也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；或者存储器1101是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1101可以是上述存储器的组合。
处理器1102，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器1102，用于调用存储器1101中存储的计算机程序时实现上述多人的语音分离方法。
通讯模块1103用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器1101、通讯模块1103和处理器1102之间的具体连接介质。本公开实施例在图11中以存储器1101和处理器1102之间通过总线1104连接，总线1104在图11中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1104可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器1101中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请实施例的多人的语音分离方法。处理器1102用于执行上述的多人的语音分离方法。
本申请的实施例还提供了一种计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请任一实施例所记载的多人的语音分离方法。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请实施例上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请实施例各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在一些可选的实施方式中，本申请实施例还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任意一种多人的语音分离方法的步骤。例如，计算机设备可以执行如图2中所示的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算装置上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算装置上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算装置上部分在远程计算装置上执行、或者完全在远程计算装置或服务器上执行。在涉及远程计算装置的情形中，远程计算装置可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算装置，或者，可以连接到外部计算装置(例如利用因特网服务提供商来通过因特网连接)。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (15)
1.一种多人的语音分离方法，其特征在于，该方法包括：
获取待分离的混合波形信号，所述混合波形信号包含多人的语音；
对所述混合波形信号进行特征提取，获得所述混合波形信号的编码特征；
通过对所述编码特征进行特征提取，从所述编码特征中分离出每个人的语音特征；
基于每个人的语音特征以及所述编码特征之间的关系，对每个人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得每个人的重建语音信号。
2.如权利要求1所述的方法，其特征在于，
将所述混合波形信号输入已训练的语音分离模型，基于所述已训练的语音分离模型对所述混合波形信号进行特征提取，获得所述编码特征；
基于所述已训练的语音分离模型，对所述编码特征进行特征提取，获得每个人的语音特征；
基于所述已训练的语音分离模型，根据每个人的语音特征以及所述编码特征之间的关系，对每个人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得所述已训练的语音分离模型输出的每个人的重建语音信号；
其中，所述已训练的语音分离模型是根据训练样本数据集训练得到的，所述训练样本数据集中的训练样本包括多人的多条语音样本。
3.如权利要求2所述的方法，其特征在于，所述已训练的语音分离模型包括通用子网络；所述通用子网络包括编码器以及由B个全局关注局部循环单元组成的堆栈，B为正整数；
所述基于所述已训练的语音分离模型，对所述编码特征进行特征提取，获得每个人的语音特征，具体包括：
将所述混合波形信号经由所述编码器转化为二维时间序列；
将所述二维时间序列分割为S段局部序列，并将分割得到的S段局部序列打包形成三维输入张量，其中每相邻两个局部序列之间存在部分重叠，S为正整数；
将所述三维输入张量输入由B个全局关注局部循环单元组成的堆栈，进行B次特征提取，获得由最后一个全局关注局部循环单元输出的所述编码特征，其中每相邻两个全局关注局部循环单元中，前一个全局关注局部循环单元的输出为后一个全局关注局部循环单元的输入，且第一个全局关注局部循环单元的输入为所述三维输入张量，每个全局关注局部循环单元的输入特征和输出特征的形状相同。
4.如权利要求3所述的方法，其特征在于，所述全局关注局部循环单元包括局部循环层和全局关注层；
所述局部循环层用于对接收到的输入特征中的每段局部序列的段内短期依赖性进行建模，输出中间张量L；
所述全局关注层用于基于多头自我注意力机制，对所述全局关注局部循环单元的中间张量G中的每段局部序列进行段间处理；将基于多头自我注意力机制处理得到的张量进行线性映射后拼接得到三维张量，作为所述全局关注局部循环单元的输出特征，其中所述中间张量G是对所述中间张量L进行线性映射和层归一化处理后得到的张量与位置编码张量的和。
5.如权利要求3所述的方法，其特征在于，所述已训练的语音分离模型还包括说话人知识子网络；所述说话人知识子网络包括由B1个全局关注局部循环单元组成的堆栈和嵌入层，B1为正整数；
所述基于所述已训练的语音分离模型，对所述编码特征进行特征提取，获得每个人的语音特征，具体包括：
将所述编码特征输入由B1个全局关注局部循环单元组成的堆栈，进行B1次特征提取，其中每相邻两个全局关注局部循环单元中，前一个全局关注局部循环单元的输出为后一个全局关注局部循环单元的输入，且第一个全局关注局部循环单元的输入为所述编码特征，每个全局关注局部循环单元的输入特征和输出特征的形状相同；
将最后一个全局关注局部循环单元的输出特征输入所述嵌入层，经过所述嵌入层进行投射及合并处理，获得每个人的语音特征。
6.如权利要求5所述的方法，其特征在于，所述全局关注局部循环单元包括局部循环层和全局关注层；
所述局部循环层用于对接收到的输入特征中的每段局部序列的段内短期依赖性进行建模，输出中间张量L1；
所述全局关注层用于基于多头自我注意力机制，对所述全局关注局部循环单元的中间张量G1中的每段局部序列进行段间处理；将基于多头自我注意力机制处理得到的张量进行线性映射后拼接得到三维张量，作为所述全局关注局部循环单元的输出特征，其中所述中间张量G1是对所述中间张量L1进行线性映射和层归一化处理后得到的张量与位置编码张量的和。
7.如权利要求3所述的方法，其特征在于，所述已训练的语音分离模型还包括语音信号刺激子网络；所述语音信号刺激子网络包括由B2个全局关注局部循环单元组成的堆栈和解码器，B2为正整数；
所述基于所述已训练的语音分离模型，根据每个人的语音特征以及所述编码特征之间的关系，对每个人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得所述已训练的语音分离模型输出的每个人的重建语音信号，具体包括：
将每个人的语音特征以及所述编码特征输入由B2个全局关注局部循环单元组成的堆栈，进行B2次注意力特征提取，获得最后一个全局关注局部循环单元输出的用于分离所述混合波形信号的深度语音特征，其中每个全局关注局部循环单元的输入特征都包括每个人的语音特征，并且每相邻两个全局关注局部循环单元中，前一个全局关注局部循环单元的输出为后一个全局关注局部循环单元的输入；
将所述深度语音特征经过所述解码器进行信号重建，输出每个人的重建语音信号。
8.如权利要求7所述的方法，其特征在于，每一次进行注意力特征提取时，所述全局关注局部循环单元用于执行下列步骤：
对接收到的输入特征中的每段局部序列的段内短期依赖性进行建模，输出中间张量L2；将对所述中间张量L2进行线性映射和层归一化处理后得到的张量与位置编码张量的和，作为所述全局关注局部循环单元的中间张量G2；
根据所述中间向量G2以及每个人的语音特征进行注意力特征提取，获得所述全局关注局部循环单元的输出特征。
9.如权利要求8所述的方法，其特征在于，所述根据所述中间向量G2以及每个人的语音特征进行注意力特征提取，具体包括：
基于查询向量与每个人的语音特征之间的点积，获得在说话人语音特征序列上产生注意力分布特征，其中第一个全局关注局部循环单元对应的查询向量是根据所述编码特征以及段内位置信息得到的，其他全局关注局部循环单元对应的查询向量是根据上一个全局关注局部循环单元的输出特征以及段内位置信息得到的；
根据所述注意力分布特征对每个人的语音特征进行加权求和，获得引导向量；
根据所述引导向量对所述中间向量G2进行调制后，根据调制后的中间向量G2以及所述引导向量之间的相似度，获得双重注意力分布特征；
基于所述双重注意力特征对调制后的中间向量G2的值进行加权求和，获得所述全局关注局部循环单元的输出特征。
10.如权利要求2～9中任一项所述的方法，其特征在于，所述已训练的语音分离模型是通过下列方式训练得到的：
从所述训练样本数据集中选取一个正源语音样本和多个负源语音样本，其中所述正源语音样本为目标说话人的语音样本，所述负源语音样本为除所述目标说话人之外的其他说话人的语音样本；
将所述正源语音样本和多个负源语音样本输入未训练的语音分离模型，经由所述未训练的语音分离模型中的通用子网络对所述正源语音样本和多个负源语音样本进行混合，得到包含多个目标源的混合语音样本；
将所述混合语音样本进行特征提取，获得所述通用子网络输出的每个人的语音样本之间的通用样本特征；
基于所述说话人知识子网络，对所述通用样本特征进行特征提取，获得所述说话人知识子网络输出的每个人的嵌入样本特征；
基于所述语音信号刺激子网络，对每个人的嵌入样本特征进行注意力特征提取和信号重建后，获得所述语音信号刺激子网络输出的每个人的重建语音样本；
基于每个人的重建语音样本，通过自监督学习的方式对所述未训练的语音分离模型中的网络参数进行多次调整，获得所述已训练的语音分离模型。
11.如权利要求10所述的方法，其特征在于，所述通用子网络还包括随机混合器；
所述经由所述未训练的语音分离模型中的通用子网络对所述正源语音样本和多个负源语音样本进行混合，得到包含多个目标源的混合语音样本，具体包括：
在目标信噪比条件下，基于所述随机混合器将所述正源语音样本和多个负源语音样本进行随机混合，获得所述随机混合器输出的所述混合语音样本。
12.一种多人的语音分离装置，其特征在于，包括：
信号获取单元，用于获取待分离的混合波形信号，所述混合波形信号包含多人的语音；
特征提取模块，用于对所述混合波形信号进行特征提取，获得所述混合波形信号的编码特征；
知识表征模块，用于通过对所述编码特征进行特征提取，从所述编码特征中分离出每个人的语音特征；
信号重建模块，用于基于每个人的语音特征以及所述编码特征之间的关系，对每个人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得每个人的重建语音信号。
13.如权利要求12所述的装置，其特征在于，
所述特征提取模块，具体用于将所述混合波形信号输入已训练的语音分离模型，基于所述已训练的语音分离模型对所述混合波形信号进行特征提取，获得所述编码特征；
所述知识表征模块，具体用于基于所述已训练的语音分离模型，对所述编码特征进行特征提取，获得每个人的语音特征；
所述信号重建模块，具体用于基于所述已训练的语音分离模型，根据每个人的语音特征以及所述编码特征之间的关系，对每个人的语音特征进行调整，并对调整后的语音特征进行信号重建，获得所述已训练的语音分离模型输出的每个人的重建语音信号；
其中，所述已训练的语音分离模型是根据训练样本数据集训练得到的，所述训练样本数据集中的训练样本包括多人的多条语音样本。
14.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行权利要求1～11中任一所述方法的步骤。
15.一种计算机可读存储介质，其特征在于，其包括程序代码，当所述程序代码在电子设备上运行时，所述程序代码用于使所述电子设备执行权利要求1～11中任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010972989.8A CN112071329B (zh) | 2020-09-16 | 2020-09-16 | 一种多人的语音分离方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010972989.8A CN112071329B (zh) | 2020-09-16 | 2020-09-16 | 一种多人的语音分离方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112071329A true CN112071329A (zh) | 2020-12-11 |
| CN112071329B CN112071329B (zh) | 2022-09-16 |
Family
ID=73695990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010972989.8A Active CN112071329B (zh) | 2020-09-16 | 2020-09-16 | 一种多人的语音分离方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112071329B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112466326A (zh) * | 2020-12-14 | 2021-03-09 | 江苏师范大学 | 一种基于transformer模型编码器的语音情感特征提取方法 |
| CN112687284A (zh) * | 2020-12-21 | 2021-04-20 | 中国科学院声学研究所 | 混响语音的混响抑制方法及装置 |
| CN113053365A (zh) * | 2021-03-12 | 2021-06-29 | 云知声智能科技股份有限公司 | 语音分离方法、装置、设备和存储介质 |
| CN113362831A (zh) * | 2021-07-12 | 2021-09-07 | 科大讯飞股份有限公司 | 一种说话人分离方法及其相关设备 |
| CN113380270A (zh) * | 2021-05-07 | 2021-09-10 | 普联国际有限公司 | 一种音频音源分离方法、装置、存储介质及电子设备 |
| CN113413613A (zh) * | 2021-06-17 | 2021-09-21 | 网易（杭州）网络有限公司 | 一种游戏内语音聊天的优化方法、装置、电子设备及介质 |
| CN113488063A (zh) * | 2021-07-02 | 2021-10-08 | 国网江苏省电力有限公司电力科学研究院 | 一种基于混合特征及编码解码的音频分离方法 |
| CN113516996A (zh) * | 2021-01-08 | 2021-10-19 | 腾讯科技（深圳）有限公司 | 语音分离方法、装置、计算机设备及存储介质 |
| CN113555032A (zh) * | 2020-12-22 | 2021-10-26 | 腾讯科技（深圳）有限公司 | 多说话人场景识别及网络训练方法、装置 |
| CN113593600A (zh) * | 2021-01-26 | 2021-11-02 | 腾讯科技（深圳）有限公司 | 混合语音分离方法和装置、存储介质及电子设备 |
| CN113707167A (zh) * | 2021-08-31 | 2021-11-26 | 北京地平线信息技术有限公司 | 残留回声抑制模型的训练方法和训练装置 |
| CN113782013A (zh) * | 2021-09-15 | 2021-12-10 | 北京百度网讯科技有限公司 | 语音识别及模型训练的方法、设备、存储介质及程序产品 |
| CN113823292A (zh) * | 2021-08-19 | 2021-12-21 | 华南理工大学 | 基于通道注意力深度可分卷积网络的小样本话者辨认方法 |
| CN114255782A (zh) * | 2021-12-21 | 2022-03-29 | 思必驰科技股份有限公司 | 说话人语音增强方法、电子设备和存储介质 |
| CN114783459A (zh) * | 2022-03-28 | 2022-07-22 | 腾讯科技（深圳）有限公司 | 一种语音分离方法、装置、电子设备和存储介质 |
| CN115035907A (zh) * | 2022-05-30 | 2022-09-09 | 中国科学院自动化研究所 | 一种目标说话人分离系统、设备及存储介质 |
| CN117475360A (zh) * | 2023-12-27 | 2024-01-30 | 南京纳实医学科技有限公司 | 基于改进型mlstm-fcn的音视频特点的生物体征提取与分析方法 |
| US11915690B1 (en) * | 2021-06-17 | 2024-02-27 | Amazon Technologies, Inc. | Automatic speech recognition |
| WO2024140261A1 (zh) * | 2022-12-28 | 2024-07-04 | 浙江阿里巴巴机器人有限公司 | 语音分离方法 |
| CN118553263A (zh) * | 2024-07-29 | 2024-08-27 | 柄烁科技发展有限公司 | 基于深度学习的混合音频信号分离方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110164469A (zh) * | 2018-08-09 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种多人语音的分离方法和装置 |
| US20190318725A1 (en) * | 2018-04-13 | 2019-10-17 | Mitsubishi Electric Research Laboratories, Inc. | Methods and Systems for Recognizing Simultaneous Speech by Multiple Speakers |
| US20200043467A1 (en) * | 2018-07-31 | 2020-02-06 | Tencent Technology (Shenzhen) Company Limited | Monaural multi-talker speech recognition with attention mechanism and gated convolutional networks |
| CN111429938A (zh) * | 2020-03-06 | 2020-07-17 | 江苏大学 | 一种单通道语音分离方法、装置及电子设备 |
| US20200234717A1 (en) * | 2018-05-28 | 2020-07-23 | Ping An Technology (Shenzhen) Co., Ltd. | Speaker separation model training method, two-speaker separation method and computing device |
| CN111899758A (zh) * | 2020-09-07 | 2020-11-06 | 腾讯科技（深圳）有限公司 | 语音处理方法、装置、设备和存储介质 |
-
2020
- 2020-09-16 CN CN202010972989.8A patent/CN112071329B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190318725A1 (en) * | 2018-04-13 | 2019-10-17 | Mitsubishi Electric Research Laboratories, Inc. | Methods and Systems for Recognizing Simultaneous Speech by Multiple Speakers |
| US20200234717A1 (en) * | 2018-05-28 | 2020-07-23 | Ping An Technology (Shenzhen) Co., Ltd. | Speaker separation model training method, two-speaker separation method and computing device |
| US20200043467A1 (en) * | 2018-07-31 | 2020-02-06 | Tencent Technology (Shenzhen) Company Limited | Monaural multi-talker speech recognition with attention mechanism and gated convolutional networks |
| CN110164469A (zh) * | 2018-08-09 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种多人语音的分离方法和装置 |
| CN110544488A (zh) * | 2018-08-09 | 2019-12-06 | 腾讯科技（深圳）有限公司 | 一种多人语音的分离方法和装置 |
| CN111429938A (zh) * | 2020-03-06 | 2020-07-17 | 江苏大学 | 一种单通道语音分离方法、装置及电子设备 |
| CN111899758A (zh) * | 2020-09-07 | 2020-11-06 | 腾讯科技（深圳）有限公司 | 语音处理方法、装置、设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| YI LUO 等: "Dual-Path RNN: Efficient Long Sequence Modeling for Time-Domain Single-Channel Speech Separation", 《ICASSP 2020 - 2020 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 * |
| 兰琼琼等: "基于特征组合的多目标监督性语音分离研究", 《无线通信技术》 * |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112466326B (zh) * | 2020-12-14 | 2023-06-20 | 江苏师范大学 | 一种基于transformer模型编码器的语音情感特征提取方法 |
| CN112466326A (zh) * | 2020-12-14 | 2021-03-09 | 江苏师范大学 | 一种基于transformer模型编码器的语音情感特征提取方法 |
| CN112687284A (zh) * | 2020-12-21 | 2021-04-20 | 中国科学院声学研究所 | 混响语音的混响抑制方法及装置 |
| CN112687284B (zh) * | 2020-12-21 | 2022-05-24 | 中国科学院声学研究所 | 混响语音的混响抑制方法及装置 |
| CN113555032A (zh) * | 2020-12-22 | 2021-10-26 | 腾讯科技（深圳）有限公司 | 多说话人场景识别及网络训练方法、装置 |
| CN113555032B (zh) * | 2020-12-22 | 2024-03-12 | 腾讯科技（深圳）有限公司 | 多说话人场景识别及网络训练方法、装置 |
| CN113516996B (zh) * | 2021-01-08 | 2024-01-26 | 腾讯科技（深圳）有限公司 | 语音分离方法、装置、计算机设备及存储介质 |
| CN113516996A (zh) * | 2021-01-08 | 2021-10-19 | 腾讯科技（深圳）有限公司 | 语音分离方法、装置、计算机设备及存储介质 |
| CN113593600A (zh) * | 2021-01-26 | 2021-11-02 | 腾讯科技（深圳）有限公司 | 混合语音分离方法和装置、存储介质及电子设备 |
| CN113593600B (zh) * | 2021-01-26 | 2024-03-15 | 腾讯科技（深圳）有限公司 | 混合语音分离方法和装置、存储介质及电子设备 |
| CN113053365A (zh) * | 2021-03-12 | 2021-06-29 | 云知声智能科技股份有限公司 | 语音分离方法、装置、设备和存储介质 |
| CN113053365B (zh) * | 2021-03-12 | 2023-03-24 | 云知声智能科技股份有限公司 | 语音分离方法、装置、设备和存储介质 |
| CN113380270A (zh) * | 2021-05-07 | 2021-09-10 | 普联国际有限公司 | 一种音频音源分离方法、装置、存储介质及电子设备 |
| CN113380270B (zh) * | 2021-05-07 | 2024-03-29 | 普联国际有限公司 | 一种音频音源分离方法、装置、存储介质及电子设备 |
| US11915690B1 (en) * | 2021-06-17 | 2024-02-27 | Amazon Technologies, Inc. | Automatic speech recognition |
| CN113413613A (zh) * | 2021-06-17 | 2021-09-21 | 网易（杭州）网络有限公司 | 一种游戏内语音聊天的优化方法、装置、电子设备及介质 |
| CN113488063A (zh) * | 2021-07-02 | 2021-10-08 | 国网江苏省电力有限公司电力科学研究院 | 一种基于混合特征及编码解码的音频分离方法 |
| CN113488063B (zh) * | 2021-07-02 | 2023-12-19 | 国网江苏省电力有限公司电力科学研究院 | 一种基于混合特征及编码解码的音频分离方法 |
| CN113362831A (zh) * | 2021-07-12 | 2021-09-07 | 科大讯飞股份有限公司 | 一种说话人分离方法及其相关设备 |
| CN113823292A (zh) * | 2021-08-19 | 2021-12-21 | 华南理工大学 | 基于通道注意力深度可分卷积网络的小样本话者辨认方法 |
| CN113707167A (zh) * | 2021-08-31 | 2021-11-26 | 北京地平线信息技术有限公司 | 残留回声抑制模型的训练方法和训练装置 |
| CN113782013B (zh) * | 2021-09-15 | 2024-01-30 | 北京百度网讯科技有限公司 | 语音识别及模型训练的方法、设备、存储介质及程序产品 |
| CN113782013A (zh) * | 2021-09-15 | 2021-12-10 | 北京百度网讯科技有限公司 | 语音识别及模型训练的方法、设备、存储介质及程序产品 |
| CN114255782A (zh) * | 2021-12-21 | 2022-03-29 | 思必驰科技股份有限公司 | 说话人语音增强方法、电子设备和存储介质 |
| CN114783459A (zh) * | 2022-03-28 | 2022-07-22 | 腾讯科技（深圳）有限公司 | 一种语音分离方法、装置、电子设备和存储介质 |
| CN114783459B (zh) * | 2022-03-28 | 2024-04-09 | 腾讯科技（深圳）有限公司 | 一种语音分离方法、装置、电子设备和存储介质 |
| CN115035907B (zh) * | 2022-05-30 | 2023-03-17 | 中国科学院自动化研究所 | 一种目标说话人分离系统、设备及存储介质 |
| CN115035907A (zh) * | 2022-05-30 | 2022-09-09 | 中国科学院自动化研究所 | 一种目标说话人分离系统、设备及存储介质 |
| US11978470B2 (en) | 2022-05-30 | 2024-05-07 | Institute Of Automation, Chinese Academy Of Sciences | Target speaker separation system, device and storage medium |
| WO2024140261A1 (zh) * | 2022-12-28 | 2024-07-04 | 浙江阿里巴巴机器人有限公司 | 语音分离方法 |
| CN117475360A (zh) * | 2023-12-27 | 2024-01-30 | 南京纳实医学科技有限公司 | 基于改进型mlstm-fcn的音视频特点的生物体征提取与分析方法 |
| CN117475360B (zh) * | 2023-12-27 | 2024-03-26 | 南京纳实医学科技有限公司 | 基于改进型mlstm-fcn的音视频特点的生物特征提取与分析方法 |
| CN118553263A (zh) * | 2024-07-29 | 2024-08-27 | 柄烁科技发展有限公司 | 基于深度学习的混合音频信号分离方法及系统 |
| CN118553263B (zh) * | 2024-07-29 | 2024-10-01 | 柄烁科技发展有限公司 | 基于深度学习的混合音频信号分离方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112071329B (zh) | 2022-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112071329B (zh) | 一种多人的语音分离方法、装置、电子设备和存储介质 | |
| JP7337953B2 (ja) | 音声認識方法及び装置、ニューラルネットワークの訓練方法及び装置、並びにコンピュータープログラム | |
| Vasquez et al. | Melnet: A generative model for audio in the frequency domain | |
| CN112071330B (zh) | 一种音频数据处理方法、设备以及计算机可读存储介质 | |
| Markov et al. | Robust speech recognition using generalized distillation framework. | |
| Deng et al. | Foundations and trends in signal processing: Deep learning–methods and applications | |
| CN112837669B (zh) | 语音合成方法、装置及服务器 | |
| KR20200052453A (ko) | 딥러닝 모델 학습 장치 및 방법 | |
| CN111754992A (zh) | 一种噪声鲁棒的音视频双模态语音识别方法及系统 | |
| Chen et al. | Distilled binary neural network for monaural speech separation | |
| Kim et al. | Speaker-adaptive lip reading with user-dependent padding | |
| Merboldt et al. | An Analysis of Local Monotonic Attention Variants. | |
| CN113822017A (zh) | 基于人工智能的音频生成方法、装置、设备及存储介质 | |
| CN117522697A (zh) | 一种人脸图像生成方法、系统及模型训练方法 | |
| Kheddar et al. | Automatic speech recognition using advanced deep learning approaches: A survey | |
| CN114360502A (zh) | 语音识别模型的处理方法、语音识别方法及装置 | |
| CN114743539A (zh) | 语音合成方法、装置、设备及存储介质 | |
| CN116994553A (zh) | 语音合成模型的训练方法、语音合成方法、装置及设备 | |
| CN111444328A (zh) | 一种带有解释生成的自然语言自动预测推断方法 | |
| Ali et al. | Spatio-temporal features representation using recurrent capsules for monaural speech enhancement | |
| CN116863920B (zh) | 基于双流自监督网络的语音识别方法、装置、设备及介质 | |
| Mu et al. | Self-supervised disentangled representation learning for robust target speech extraction | |
| Wang et al. | Tune-in: Training under negative environments with interference for attention networks simulating cocktail party effect | |
| CN116564330A (zh) | 弱监督语音预训练方法、电子设备和存储介质 | |
| Fang et al. | A novel hybrid network model based on attentional multi-feature fusion for deception detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40035352 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |