CN112489675A - 一种多通道盲源分离方法、装置、机器可读介质及设备 - Google Patents

一种多通道盲源分离方法、装置、机器可读介质及设备 Download PDF

Info

Publication number
CN112489675A
CN112489675A CN202011270721.6A CN202011270721A CN112489675A CN 112489675 A CN112489675 A CN 112489675A CN 202011270721 A CN202011270721 A CN 202011270721A CN 112489675 A CN112489675 A CN 112489675A
Authority
CN
China
Prior art keywords
audio data
dimensional
output
channel
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011270721.6A
Other languages
English (en)
Inventor
高永裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuncong Technology Co ltd
Original Assignee
Beijing Yuncong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yuncong Technology Co ltd filed Critical Beijing Yuncong Technology Co ltd
Priority to CN202011270721.6A priority Critical patent/CN112489675A/zh
Publication of CN112489675A publication Critical patent/CN112489675A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)

Abstract

本发明公开了一种多通道盲源分离方法，包括：获取目标声源所处环境的多通道音频数据；基于训练好的分离模型对所述多通道音频数据进行分离，得到单通道音频数据；将所述单通道音频数据作为目标声源的音频数据。本发明解决了多个说话人在同一时间段说话的语音重叠问题，能准确的切分出不同说话人在同一时间段说话的语音和内容。

Description

一种多通道盲源分离方法、装置、机器可读介质及设备
技术领域
本发明涉及人工智能领域，具体涉及一种多通道盲源分离方法、装置、机器可读介质及设备。
背景技术
现在的多通道分离技术是通过对波束形成算法利用麦克风之间的相位差对拾音角度外的声音(噪声，人声等)进行抑制。但是，当噪声在拾音角度内且在拾音距离内时，其他说话人的声音或者噪声不会被算法抑制，并且在一定程度上对目标说话人的声音进行干扰，导致语音识别率下降。所以，现有技术在一些场景，如银行营业厅，餐厅，大马路上进行语音交互时，对干扰抑制的不够彻底。原有的盲源分离是基于单通道语音分离的，对于空间信息的利用有限。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种多通道盲源分离方法、装置、机器可读介质及设备，用于解决现有技术存在的问题。
为实现上述目的及其他相关目的，本发明提供一种多通道盲源分离方法，包括：
获取目标声源所处环境的多通道音频数据；
基于训练好的分离模型对所述多通道音频数据进行分离，得到单通道音频数据；
将所述单通道音频数据作为目标声源的音频数据。
可选地，得到预先训练好的分离模型的方法，包括：
获取训练用的音频数据，所述音频数据包括带有噪声的多通道音频数据和不带噪声的单通道音频数据；
以所述多通道音频数据作为输入、单通道音频数据作为输出进行训练，得到所述分离模型。
可选地，所述分离模型包括：
编码模块，用于对所述多通道音频数据进行编码，得到第一音频特征；
分离模块，用于通过时序空洞卷积网络对所述第一音频特征进行处理，得到掩敝输出；并根据所述第一音频特征与所述掩敝输出得到第二音频特征；
解码模块，用于对所述第二音频特征进行解码，得到目标声源的音频数据。
可选地，所述对所述多通道音频数据进行编码，得到第一音频特征，包括：
将所述多通道音频数据与一维/二维卷积核进行卷积，得到一个二维特征；
将所述二维特征进行编码，得到第一音频特征，所述第一音频特征为三维矩阵。
可选地，所述时序空洞卷积网络包括多个依次叠加的时间卷积网络单元，所述时间卷积网络单元具有多个输出，前一个时间卷积网络单元的其中一个输出作为后一个时间卷积网络单元的输入，且每个时间卷积网络单元的其他输出作为Sigmoid函数的输入；
所述时间卷积网络单元包括多个依次叠加的2维卷积核，每个2维卷积核包括两个输出，前一个2维卷积核的其中一个输出作为后一个2维卷积核的输入，每个2维卷积核的另一个输出作为Sigmoid函数的输入，经Sigmoid函数处理后，得到掩敝输出。
可选地，所述第二音频特征为所述第一音频特征与所述掩敝输出的乘积。
可选地，所述对所述第二音频特征进行解码，得到目标声源的音频数据，包括：
将所述第二音频特征与一个一维/二维反卷积网络进行卷积，得到目标声源的音频数据。
可选地，所述2维卷积核包括：
依次连接的多个激活单元，前一个激活单元的输出作为后一个激活单元的输入，所述激活单元包括依次连接的2维卷积网络、激活层、正则化层；最后一个激活单元的正则化层的输出经两个二维卷积网络，其中一个二维卷积网络的输出作为二维卷积核的其中一个输出，另一个二维卷积网络的输出作为二维卷积核的另一个输出。
为实现上述目的及其他相关目的，本发明提供一种多通道盲源分离装置，包括：
音频获取模块，用于获取目标声源所处环境的多通道音频数据；
音频分离模块，用于基于训练好的分离模型对所述多通道音频数据进行分离，得到单通道音频数据；将所述单通道音频数据作为目标声源的音频数据。
可选地，所述分离模型包括：
编码模块，用于对所述多通道音频数据进行编码，得到第一音频特征；
分离模块，用于通过时序空洞卷积网络对所述第一音频特征进行处理，得到掩敝输出；并根据所述第一音频特征与所述掩敝输出得到第二音频特征；
解码模块，用于对所述第二音频特征进行解码，得到目标声源的音频数据。
可选地，所述对所述多通道音频数据进行编码，得到第一音频特征，包括：
将所述多通道音频数据与一维/二维卷积核进行卷积，得到一个二维特征；
将所述二维特征进行编码，得到第一音频特征，所述第一音频特征为三维矩阵。
可选地，所述时序空洞卷积网络包括多个依次叠加的时间卷积网络单元，所述时间卷积网络单元具有多个输出，前一个时间卷积网络单元的其中一个输出作为后一个时间卷积网络单元的输入，且每个时间卷积网络单元的其他输出作为Sigmoid函数的输入；
所述时间卷积网络单元包括多个依次叠加的2维卷积核，每个2维卷积核包括两个输出，前一个2维卷积核的其中一个输出作为后一个2维卷积核的输入，每个2维卷积核的另一个输出作为Sigmoid函数的输入，经Sigmoid函数处理后，得到掩敝输出。
可选地，所述分离模块将所述第一音频特征与所述掩敝输出相乘，得到第二音频特征；所述解码模块通过将所述第二音频特征与一个一维/二维反卷积网络进行卷积，得到目标声源的音频数据。
可选地，所述2维卷积核包括：
依次连接的多个激活单元，前一个激活单元的输出作为后一个激活单元的输入，所述激活单元包括依次连接的2维卷积网络、激活层、正则化层；最后一个激活单元的正则化层的输出经两个二维卷积网络，其中一个二维卷积网络的输出作为二维卷积核的其中一个输出，另一个二维卷积网络的输出作为二维卷积核的另一个输出。
为实现上述目的及其他相关目的，本发明还提供一种设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行前述的一个或多个所述的方法。
为实现上述目的及其他相关目的，本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述的一个或多个所述的方法。
如上所述，本发明提供的一种多通道盲源分离方法、装置、机器可读介质及设备，具有以下有益效果：
本发明的一种多通道盲源分离方法，包括获取目标声源所处环境的多通道音频数据；基于训练好的分离模型对所述多通道音频数据进行分离，得到单通道音频数据；将所述单通道音频数据作为目标声源的音频数据。本发明解决了多个说话人在同一时间段说话的语音重叠问题，能准确的切分出不同说话人在同一时间段说话的语音和内容。
附图说明
图1为本发明一实施例一种多通道盲源分离方法的流程图；
图2为本发明一实施例训练得到分离模型的方法的流程图；
图3为本发明一实施例分离模型的结构示意图；
图4为本发明一实施例对所述多通道音频数据进行编码的流程图；
图5为本发明一实施例时序空洞卷积网络的结构示意图；
图6为本发明一实施例2维卷积核的结构示意图；
图7为本发明一实施例一种多通道盲源分离装置的结构示意图；
图8为本发明一实施例中终端设备的硬件结构示意图；
图9为本发明一实施例中终端设备的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，一种多通道盲源分离方法，包括：
S11获取目标声源所处环境的多通道音频数据；
S12基于训练好的分离模型对所述多通道音频数据进行分离，得到单通道音频数据；
S13将所述单通道音频数据作为目标声源的音频数据。
本发明解决了多个说话人在同一时间段说话的语音重叠问题，能准确的切分出不同说话人在同一时间段说话的语音和内容。
在一实施例中，如图2所示，得到预先训练好的分离模型的方法，包括：
S21获取训练用的音频数据，所述音频数据包括带有噪声的多通道音频数据和不带噪声的单通道音频数据；
S22以所述多通道音频数据作为输入、单通道音频数据作为输出进行训练，得到所述分离模型。
在步骤S21中，所述多通道音频数据可以通过麦克风阵列采集得到，麦克风阵列由多个麦克风组成，并按一定规则排列的，能对声场的空间特性进行采样并处理。其中，麦克风阵列距离目标声源一段距离，该距离可以是0.8-1.2米。所述单通道音频数据可以由一个与麦克风阵列中的麦克风相同类型的单个麦克风采集得到，这单个麦克风设置在目标声源上。在进行音频数据采集时，将麦克风阵列和单个麦克风设置在能消声和混响的空间中，在目标声源的附近放各种噪声(音乐，白噪声，其他人说话声)来制造噪音。因此，麦克风阵列采集的是带噪带混响的多通道音频数据，而单个麦克风采集的是干净的单通道目标声源音频数据。当然，在获取训练用的音频数据时，也可以由嘴来代替。本实施例并不对音频数据的获取方式进行限定。
在完成，多通道的音频数据和单通道的音频数据采集后，以所述多通道音频数据作为输入、单通道音频数据作为输出进行训练，得到所述分离模型。
在一实施例中，如图3所示，所述分离模型包括：
编码模块31，用于对所述多通道音频数据进行编码，得到第一音频特征；
分离模块32，用于通过时序空洞卷积网络对所述第一音频特征进行处理，得到掩敝输出；并根据所述第一音频特征与所述掩敝输出得到第二音频特征；
解码模块33，用于对所述第二音频特征进行解码，得到目标声源的音频数据。
其中，所述的多通道音频数据是一个二维矩阵，该二维矩阵的行为麦克风阵列的阵元数n，列为采集点的数量，其中一个阵元表示一个麦克风。对于16000Hz采样率的音频为32个采样点即2ms，所以该二维矩阵是一个[n,32]的输入。
所述的编码模块为一个编码器，该编码器由一个一维或二维的卷积网络组成，卷积核是一个一维/二维卷积核。以编码器为一个二维的卷积网络为例，二维卷积核的行数为麦克风阵列的阵元数，列是多通道音频数据所表示的二维矩阵的一半，若二维矩为[n,32]，则二维卷积核表示为[n,16]，其中，二维卷积核的输出通道是512维。
在一实施例中，如图4所示，所述对所述多通道音频数据进行编码，得到第一音频特征，包括：
S41将所述多通道音频数据与一维/二维卷积核进行卷积，得到一个二维特征；
S42将所述二维特征进行编码，得到第一音频特征，所述第一音频特征为三维矩阵。
其中，多通道音频数据与二维卷积核进行卷积会得到一个二维特征，该二维特征的行为麦克风阵列的阵元数，列为512维。该二维特征经过编码器的编码后，会得到一个三维矩阵，该三维矩阵可以表示第一音频特征，该三维矩阵的长为音频帧数，宽为512，深度为麦克风阵列的阵元数。
在一实施例中，所述第二音频特征为所述第一音频特征与所述掩敝输出的乘积。其中，掩敝输出可以表示成权重，其取值范围为[0,1]。
在一实施例中，所述对所述第二音频特征进行解码，得到目标声源的音频数据，包括：
将所述第二音频特征与一个一维/二维反卷积网络进行卷积，得到目标声源的音频数据。
在一实施例中，如图5所示，所述时序空洞卷积网络包括多个依次叠加的时间卷积网络单元，所述时间卷积网络单元具有多个输出，前一个时间卷积网络单元的其中一个输出作为后一个时间卷积网络单元的输入，且每个时间卷积网络单元的其他输出作为Sigmoid函数的输入；
所述时间卷积网络单元包括多个依次叠加的2维卷积核，每个2维卷积核包括两个输出，前一个2维卷积核的其中一个输出作为后一个2维卷积核的输入，每个2维卷积核的另一个输出作为Sigmoid函数的输入，经Sigmoid函数处理后，得到掩敝输出。
具体地，如图6所示，所述2维卷积核包括：
依次连接的多个激活单元，前一个激活单元的输出作为后一个激活单元的输入，所述激活单元包括依次连接的2维卷积网络、激活层、正则化层；最后一个激活单元的正则化层的输出经两个二维卷积网络，其中一个二维卷积网络的输出作为二维卷积核的其中一个输出，另一个二维卷积网络的输出作为二维卷积核的另一个输出。
在一实施例中，分离模块是通过时序空洞卷积网络来对第一音频特征进行处理。当然在其他实施例中，也可采用RNN网络(循环神经网络)，注意力机制，transfomer结构，densenet(Dense Convolutional Network)等对第一音频特征进行处理。其中，transfomer结构具有独特的自注意力机制，能减缓信息衰减问题。
本发明不仅能够进行目标声源的精准分离，并且在模型的参数数量也是小的，并且由于卷积神经网络的结构，可以做到实时处理，以及放入到嵌入式环境中，实用的潜力足。
本发明的多通道盲源分离方法，通过获取目标声源所处环境的多通道音频数据；基于训练好的分离模型对所述多通道音频数据进行分离，得到单通道音频数据；将所述单通道音频数据作为目标声源的音频数据。解决了多个说话人在同一时间段说话的语音重叠问题，能准确的切分出不同说话人在同一时间段说话的语音和内容；同时，解决了传统波束形成无法对拾音角度范围内进行噪声抑制的问题；另一方面，由于采用多通道深度学习端到端方法，分离准确率高，并且能提升语音识别率。通过本发明不需要传统的短时傅立叶变换提取时频单元特征，通过对时域单元建模能更完整的获取语音信息，相比单通道的分离，多通道的分离方法利用了空间信息，能更有效的获得目标说话人的语音。
如图7所示，一种多通道盲源分离装置，包括：
音频获取模块71，用于获取目标声源所处环境的多通道音频数据；
音频分离模块72，用于基于训练好的分离模型对所述多通道音频数据进行分离，得到单通道音频数据；将所述单通道音频数据作为目标声源的音频数据。
在一实施例中，所述分离模型包括：
编码模块，用于对所述多通道音频数据进行编码，得到第一音频特征；
分离模块，用于通过时序空洞卷积网络对所述第一音频特征进行处理，得到掩敝输出；并根据所述第一音频特征与所述掩敝输出得到第二音频特征；
解码模块，用于对所述第二音频特征进行解码，得到目标声源的音频数据。
在一实施例中，所述对所述多通道音频数据进行编码，得到第一音频特征，包括：
将所述多通道音频数据与一维/二维卷积核进行卷积，得到一个二维特征；
将所述二维特征进行编码，得到第一音频特征，所述第一音频特征为三维矩阵。
在一实施例中，所述时序空洞卷积网络包括多个依次叠加的时间卷积网络单元，所述时间卷积网络单元具有多个输出，前一个时间卷积网络单元的其中一个输出作为后一个时间卷积网络单元的输入，且每个时间卷积网络单元的其他输出作为Sigmoid函数的输入；
所述时间卷积网络单元包括多个依次叠加的2维卷积核，每个2维卷积核包括两个输出，前一个2维卷积核的其中一个输出作为后一个2维卷积核的输入，每个2维卷积核的另一个输出作为Sigmoid函数的输入，经Sigmoid函数处理后，得到掩敝输出。
在一实施例中，所述分离模块将所述第一音频特征与所述掩敝输出相乘，得到第二音频特征。
在一实施例中，所述解码模块通过将所述第二音频特征与一个一维/二维反卷积网络进行卷积，得到目标声源的音频数据。
在本实施例中，该装置实施例与前述的方法实施例相对应，具体功能和技术效果参照上述实施例即可，此处不再赘述。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts GroupAudio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中方法所包含步骤的指令(instructions)。
图8为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图9为本申请的一个实施例提供的终端设备的硬件结构示意图。图9是对图8在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图9实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图8实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (16)

1.一种多通道盲源分离方法，其特征在于，包括：
获取目标声源所处环境的多通道音频数据；
基于训练好的分离模型对所述多通道音频数据进行分离，得到单通道音频数据；
将所述单通道音频数据作为目标声源的音频数据。
2.根据权利要求1所述的多通道盲源分离方法，其特征在于，得到预先训练好的分离模型的方法，包括：
获取训练用的音频数据，所述音频数据包括带有噪声的多通道音频数据和不带噪声的单通道音频数据；
以所述多通道音频数据作为输入、单通道音频数据作为输出进行训练，得到所述分离模型。
3.根据权利要求1所述的多通道盲源分离方法，其特征在于，所述分离模型包括：
编码模块，用于对所述多通道音频数据进行编码，得到第一音频特征；
分离模块，用于通过时序空洞卷积网络对所述第一音频特征进行处理，得到掩敝输出；并根据所述第一音频特征与所述掩敝输出得到第二音频特征；
解码模块，用于对所述第二音频特征进行解码，得到目标声源的音频数据。
4.根据权利要求3所述的多通道盲源分离方法，其特征在于，所述对所述多通道音频数据进行编码，得到第一音频特征，包括：
将所述多通道音频数据与一维/二维卷积核进行卷积，得到一个二维特征；
将所述二维特征进行编码，得到第一音频特征，所述第一音频特征为三维矩阵。
5.根据权利要求3所述的多通道盲源分离方法，其特征在于，所述时序空洞卷积网络包括多个依次叠加的时间卷积网络单元，所述时间卷积网络单元具有多个输出，前一个时间卷积网络单元的其中一个输出作为后一个时间卷积网络单元的输入，且每个时间卷积网络单元的其他输出作为Sigmoid函数的输入；
所述时间卷积网络单元包括多个依次叠加的2维卷积核，每个2维卷积核包括两个输出，前一个2维卷积核的其中一个输出作为后一个2维卷积核的输入，每个2维卷积核的另一个输出作为Sigmoid函数的输入，经Sigmoid函数处理后，得到掩敝输出。
6.根据权利要求3、4或5所述的多通道盲源分离方法，其特征在于，所述第二音频特征为所述第一音频特征与所述掩敝输出的乘积。
7.根据权利要求3所述的多通道盲源分离方法，其特征在于，所述对所述第二音频特征进行解码，得到目标声源的音频数据，包括：
将所述第二音频特征与一个一维/二维反卷积网络进行卷积，得到目标声源的音频数据。
8.根据权利要求5或6所述的多通道盲源分离方法，其特征在于，所述2维卷积核包括：
依次连接的多个激活单元，前一个激活单元的输出作为后一个激活单元的输入，所述激活单元包括依次连接的2维卷积网络、激活层、正则化层；最后一个激活单元的正则化层的输出经两个二维卷积网络，其中一个二维卷积网络的输出作为二维卷积核的其中一个输出，另一个二维卷积网络的输出作为二维卷积核的另一个输出。
9.一种多通道盲源分离装置，其特征在于，包括：
音频获取模块，用于获取目标声源所处环境的多通道音频数据；
音频分离模块，用于基于训练好的分离模型对所述多通道音频数据进行分离，得到单通道音频数据；将所述单通道音频数据作为目标声源的音频数据。
10.根据权利要求9所述的多通道盲源分离装置，其特征在于，所述分离模型包括：
编码模块，用于对所述多通道音频数据进行编码，得到第一音频特征；
分离模块，用于通过时序空洞卷积网络对所述第一音频特征进行处理，得到掩敝输出；并根据所述第一音频特征与所述掩敝输出得到第二音频特征；
解码模块，用于对所述第二音频特征进行解码，得到目标声源的音频数据。
11.根据权利要求10所述的多通道盲源分离装置，其特征在于，所述对所述多通道音频数据进行编码，得到第一音频特征，包括：
将所述多通道音频数据与一维/二维卷积核进行卷积，得到一个二维特征；
将所述二维特征进行编码，得到第一音频特征，所述第一音频特征为三维矩阵。
12.根据权利要求10所述的多通道盲源分离装置，其特征在于，所述时序空洞卷积网络包括多个依次叠加的时间卷积网络单元，所述时间卷积网络单元具有多个输出，前一个时间卷积网络单元的其中一个输出作为后一个时间卷积网络单元的输入，且每个时间卷积网络单元的其他输出作为Sigmoid函数的输入；
所述时间卷积网络单元包括多个依次叠加的2维卷积核，每个2维卷积核包括两个输出，前一个2维卷积核的其中一个输出作为后一个2维卷积核的输入，每个2维卷积核的另一个输出作为Sigmoid函数的输入，经Sigmoid函数处理后，得到掩敝输出。
13.根据权利要求10、11或12所述的多通道盲源分离装置，其特征在于，所述分离模块将所述第一音频特征与所述掩敝输出相乘，得到第二音频特征；所述解码模块通过将所述第二音频特征与一个一维/二维反卷积网络进行卷积，得到目标声源的音频数据。
14.根据权利要求10所述的多通道盲源分离方法，其特征在于，所述2维卷积核包括：
依次连接的多个激活单元，前一个激活单元的输出作为后一个激活单元的输入，所述激活单元包括依次连接的2维卷积网络、激活层、正则化层；最后一个激活单元的正则化层的输出经两个二维卷积网络，其中一个二维卷积网络的输出作为二维卷积核的其中一个输出，另一个二维卷积网络的输出作为二维卷积核的另一个输出。
15.一种设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-8中一个或多个所述的方法。
16.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-8中一个或多个所述的方法。
CN202011270721.6A 2020-11-13 2020-11-13 一种多通道盲源分离方法、装置、机器可读介质及设备 Pending CN112489675A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011270721.6A CN112489675A (zh) 2020-11-13 2020-11-13 一种多通道盲源分离方法、装置、机器可读介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011270721.6A CN112489675A (zh) 2020-11-13 2020-11-13 一种多通道盲源分离方法、装置、机器可读介质及设备

Publications (1)

Publication Number Publication Date
CN112489675A true CN112489675A (zh) 2021-03-12

Family

ID=74930347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011270721.6A Pending CN112489675A (zh) 2020-11-13 2020-11-13 一种多通道盲源分离方法、装置、机器可读介质及设备

Country Status (1)

Country Link
CN (1) CN112489675A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113571074A (zh) * 2021-08-09 2021-10-29 四川启睿克科技有限公司 基于多波段结构时域音频分离网络的语音增强方法及装置
CN113808613A (zh) * 2021-08-02 2021-12-17 中山大学 一种轻量化的语音去噪方法、系统、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101622669A (zh) * 2007-02-26 2010-01-06 高通股份有限公司 用于信号分离的系统、方法及设备
CN108922517A (zh) * 2018-07-03 2018-11-30 百度在线网络技术（北京）有限公司 训练盲源分离模型的方法、装置及存储介质
US20190066713A1 (en) * 2016-06-14 2019-02-28 The Trustees Of Columbia University In The City Of New York Systems and methods for speech separation and neural decoding of attentional selection in multi-speaker environments
CN110111773A (zh) * 2019-04-01 2019-08-09 华南理工大学 基于卷积神经网络的音乐信号多乐器识别方法
CN110400575A (zh) * 2019-07-24 2019-11-01 腾讯科技（深圳）有限公司 通道间特征提取方法、音频分离方法和装置、计算设备
CN111179911A (zh) * 2020-01-02 2020-05-19 腾讯科技（深圳）有限公司 目标语音提取方法、装置、设备、介质和联合训练方法
CN111292762A (zh) * 2018-12-08 2020-06-16 南京工业大学 一种基于深度学习的单通道语音分离方法
CN111370032A (zh) * 2020-02-20 2020-07-03 厦门快商通科技股份有限公司 语音分离方法、系统、移动终端及存储介质
CN111860776A (zh) * 2020-07-06 2020-10-30 北京航空航天大学 一种面向时序数据快速预测的轻量化时间卷积网络

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101622669A (zh) * 2007-02-26 2010-01-06 高通股份有限公司 用于信号分离的系统、方法及设备
US20190066713A1 (en) * 2016-06-14 2019-02-28 The Trustees Of Columbia University In The City Of New York Systems and methods for speech separation and neural decoding of attentional selection in multi-speaker environments
CN108922517A (zh) * 2018-07-03 2018-11-30 百度在线网络技术（北京）有限公司 训练盲源分离模型的方法、装置及存储介质
CN111292762A (zh) * 2018-12-08 2020-06-16 南京工业大学 一种基于深度学习的单通道语音分离方法
CN110111773A (zh) * 2019-04-01 2019-08-09 华南理工大学 基于卷积神经网络的音乐信号多乐器识别方法
CN110400575A (zh) * 2019-07-24 2019-11-01 腾讯科技（深圳）有限公司 通道间特征提取方法、音频分离方法和装置、计算设备
CN111179911A (zh) * 2020-01-02 2020-05-19 腾讯科技（深圳）有限公司 目标语音提取方法、装置、设备、介质和联合训练方法
CN111370032A (zh) * 2020-02-20 2020-07-03 厦门快商通科技股份有限公司 语音分离方法、系统、移动终端及存储介质
CN111860776A (zh) * 2020-07-06 2020-10-30 北京航空航天大学 一种面向时序数据快速预测的轻量化时间卷积网络

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YI LUO,ET AL.: "Conv-TasNet: Surpassing Ideal Time–Frequency Magnitude Masking for Speech Separation", 《IEEE/ACM TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808613A (zh) * 2021-08-02 2021-12-17 中山大学 一种轻量化的语音去噪方法、系统、设备及存储介质
CN113808613B (zh) * 2021-08-02 2023-12-12 中山大学 一种轻量化的语音去噪方法、系统、设备及存储介质
CN113571074A (zh) * 2021-08-09 2021-10-29 四川启睿克科技有限公司 基于多波段结构时域音频分离网络的语音增强方法及装置
CN113571074B (zh) * 2021-08-09 2023-07-25 四川启睿克科技有限公司 基于多波段结构时域音频分离网络的语音增强方法及装置

Similar Documents

Publication Publication Date Title
JP7337953B2 (ja) 音声認識方法及び装置、ニューラルネットワークの訓練方法及び装置、並びにコンピュータープログラム
US20210312902A1 (en) Method and electronic device for separating mixed sound signal
US10063965B2 (en) Sound source estimation using neural networks
CN110136744B (zh) 一种音频指纹生成方法、设备及存储介质
CN110808063A (zh) 一种语音处理方法、装置和用于处理语音的装置
CN112200062B (zh) 一种基于神经网络的目标检测方法、装置、机器可读介质及设备
CN108735202A (zh) 用于小占用资源关键词检索的卷积递归神经网络
EP4099709A1 (en) Data processing method and apparatus, device, and readable storage medium
CN104361896B (zh) 语音质量评价设备、方法和系统
EP4254408A1 (en) Speech processing method and apparatus, and apparatus for processing speech
CN112289338B (zh) 信号处理方法及装置、计算机设备以及可读存储介质
CN112489675A (zh) 一种多通道盲源分离方法、装置、机器可读介质及设备
CN112380377A (zh) 一种音频推荐方法、装置、电子设备及计算机存储介质
CN112420069A (zh) 一种语音处理方法、装置、机器可读介质及设备
CN112949708A (zh) 情绪识别方法、装置、计算机设备和存储介质
CN113257283B (zh) 音频信号的处理方法、装置、电子设备和存储介质
CN115691544A (zh) 虚拟形象口型驱动模型的训练及其驱动方法、装置和设备
Shankar et al. Efficient two-microphone speech enhancement using basic recurrent neural network cell for hearing and hearing aids
CN107886963B (zh) 一种语音处理的方法、装置及电子设备
CN111629156A (zh) 图像特效的触发方法、装置和硬件装置
CN114783459B (zh) 一种语音分离方法、装置、电子设备和存储介质
CN113823313A (zh) 语音处理方法、装置、设备以及存储介质
CN111583958A (zh) 音频信号处理方法、装置、电子设备及存储介质
WO2022253094A1 (zh) 图像生成方法、装置、设备和介质
CN111402860B (zh) 一种参数管理方法、系统、介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210312