CN107919133B - 针对目标对象的语音增强系统及语音增强方法 - Google Patents

针对目标对象的语音增强系统及语音增强方法 Download PDF

Info

Publication number
CN107919133B
CN107919133B CN201611191290.8A CN201611191290A CN107919133B CN 107919133 B CN107919133 B CN 107919133B CN 201611191290 A CN201611191290 A CN 201611191290A CN 107919133 B CN107919133 B CN 107919133B
Authority
CN
China
Prior art keywords
noise
audio
signal
mixing
audio components
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611191290.8A
Other languages
English (en)
Other versions
CN107919133A (zh
Inventor
李细林
卢延祯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Micro Shenzhen Technology Co ltd
Shenzhen Baiyu Acoustics Technology Co ltd
Original Assignee
General Micro Shenzhen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Micro Shenzhen Technology Co ltd filed Critical General Micro Shenzhen Technology Co ltd
Publication of CN107919133A publication Critical patent/CN107919133A/zh
Application granted granted Critical
Publication of CN107919133B publication Critical patent/CN107919133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/0308—Voice signal separating characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

本发明公开一种针对目标对象的语音增强系统及语音增强方法，一盲源分离(BSS)模块用来将多个麦克风记录到的音频混合信号分离维统计上独立的音频分量，多个说话人特征数据中的至少一个用来评分及加权各音频分量，一语音混合器用来首先混合所述加权后的音频分量，再对齐混合后的信号，最后再加总对齐后的信号以产生一所撷取的语音信号，相似地，一噪声混合器首先用来加权音频分量，再混合加权后的信号，最后将混合后的信号加总以产生一所撷取的噪声信号，后处理中进一步利用维纳滤波或频谱滤波来增强所撷取的语音信号，其自所撷取的语音信号的功率谱中减去所撷取的噪声信号的整形后的功率谱。

Description

针对目标对象的语音增强系统及语音增强方法
技术领域
本发明涉及一种利用信号处理演算法及声学模型来针对目标对象的数字语音信号增强的方法，本发明进一步涉及利用麦克风阵列信号处理及说话人辨识的语音增强系统。
背景技术
语音/声音在人与人的互动中扮演着重要的角色，然而，无所不在的环境噪音与干扰，会显著地降低麦克风所撷取到的语音信息的品质，某些应用程序(例如自动说话人辨识(Automatic Speech Recognition，ASR)及说话人识别)特别容易受到该些环境噪音及干扰的影响，听力受损者亦受到语音品质降低之苦，虽然具有正常听力者可容忍所撷取到的语音信号中相当的噪音与干扰，但听者的听力疲劳度容易随着暴露于低信噪比(Signal tonoise ratio，SNR)的语音下的时间的增加而升高。
在许多装置上(例如智能手机、平板电脑或笔记型电脑)，不易设置有一个以上的麦克风，使用麦克风阵列可藉由波束成形(beamforming)、盲源分离(Blind SourceSeparation，BSS)、独立分量分析(Independent Component Analysis，ICA)及其他适当的信号处理演算法的手段来提升语音品质，然而，在麦克风阵列设置的音场中，可能有多个语音来源，而该些信号处理演算法无法决定要保留哪一个音源信号，且无法决定哪一个须与噪音及干扰一同被抑制。在现有技术中是使用线性阵列，并假设所欲音源的声波是由阵列的中间或两端方向贯入阵列，因此相对应地，是使用宽边波束成形或端射波束成形来增加所欲的语音信号，故至少对部分情况而言，该些现有技术限制了麦克风阵列的效能。另一种选择，是自麦克风阵列所录得的音频混合信号中，撷取与预先设定的说话人模型或说话人特征数据最匹配的语音信号，此种求解方案在目标说话人是可预期或事先已知的情况下为最佳。举例而言，对个人化装置如智能手机而言，最可能的目标说话人为该装置的所有者，只要建立该装置的所有者的说话人特征数据，除了明确设定为不以此方式操作以外，该装置可以始终聚焦于其所有者的声音，并将其他声音视为干扰。
发明内容
本发明的目的在于提供一种对多个目标说话人中至少一个说话人的语音增强系统及方法，是利用麦克风阵列纪录的盲源分离(BSS)以及依据预设说话人特征数据表的说话人辨识。
为达上述目的，本发明提供一种对多个目标说话人中至少一个说话人的语音增强方法，其使用多个音频混合信号中的至少两个执行于一数字电脑，所述数字电脑具有可执行的程序码及数据储存单元，其中所述方法包含以下步骤：
以一盲源分离信号处理器来分离多个音频混合信号中的至少两个成为相同数量的音频分量；
加权且混合所述音频分量中的至少两个成为一所撷取的语音信号，其中藉由将音频分量与目标说话人特征数据相比较来产生多个语音混合权重；
加权并混合多个音频分量中的至少两个成为一所撷取的噪声信号，其中藉由将音频分量与多个中的至少一个噪声特征数据、或不具有噪声特征数据的目标说话人特征数据相比较来产生多个噪声混合权重；
利用维纳滤波，将所述所撷取的噪声信号的功率谱与所述所撷取的语音信号的功率谱相匹配，来先整形所述所撷取的噪声信号的功率谱，再从所述所撷取的语音信号的功率谱中减去整型后的所述所撷取的噪声信号的功率谱，来增强所撷取的语音混合信号。
为达上述目的，本发明还提供一种对多个目标说话人中至少一个说话人的语音增强系统，其使用多个音频记录中的至少两个执行于一数字电脑，所述数字电脑具有可执行的程序码及数据储存单元，其中包含有：
一盲源分离模块，其以对各频率点的一分离矩阵来分离多个音频混合信号中的至少两个而成为频域下相同数量的音频分量；
一语音混合器，其与盲源分离模块相连接，其依据各音频分量与目标说话人特征数据的相关性来加权各音频分量，并相对应混合所述加权后的音频分量，来使混合后的音频分量成为一所撷取的语音信号；
一噪声混合器，其与盲源分离模块相连接，其依据各音频分量与噪声的相关性来加权各音频分量，并相对应混合所述加权后的音频分量，来使混合后的音频分量成为一所撷取的噪声信号；
一后处理模块，其与语音混合器及噪声混合其相连接，其利用维纳滤波将所撷取的噪声信号视为一噪声参考信号，来抑制在所述所撷取的语音信号中剩余的噪声。
本发明BSS演算法将来自数个麦克风所录得的混音加以分离而成统计独立的音频分量，对各音频分量而言，多个预设目标说话人模型中的至少一个模型是用来评估各音频分量属于目标说话人的可能性，对音源分量加权并混合以产生最匹配于目标说话人模型的单一撷取语音信号，后处理是用以进一步抑制所撷取的语音信号中的噪声及干扰。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1为现有技术的模块图；
图2为本发明第一实施例的模块图；
图3为本发明第二实施例的模块图；
图4为频域下图2及图3中所示的BSS模块的模块图；
图5为图2及图3中所示的语音混合器的模块图；
图6为图2及图3中所示的噪声混合器的模块图；
图7为本发明的后处理程序的流程图。
具体实施方式
下面结合附图对本发明的结构原理和工作原理作具体的描述：
本发明的概述
本发明描述一种对多个目标说话人中至少一个说话人的语音增强方法，是使用多个麦克风中的至少两个来撷取音频混合信号，利用盲源分离(BSS)演算法或独立分量分析(ICA)演算法来将该些音频混合信号分离为接近统计独立的音频分量，对各音频分量而言，多个预设目标说话人特征数据中的至少一笔数据系用来评估所选择的音频分量属于所欲的目标说话人的机率或可能性，接着对所有的音频分量依据前述的可能性进行加权后再混合以产生最匹配于目标说话人模型的单一撷取语音信号。另一相似地作法，对于各音频分量而言，多个噪声模型中的至少一个、或多个不具有噪声模型的目标说话人模型中的至少一个，是用来评估该被考虑的音频分量为噪声或不包含来自目标说话人的任何语音信号的机率或可能性，接着对所有的音频分量依据前述的可能性进行加权后再混合以产生单一撷取噪声信号，利用该所撷取的噪声信号，藉由维纳滤波(Wiener filtering)或频谱滤波法来进一步抑制所撷取的语音信号中剩余的噪声和干扰。
图1为相关现有技术的模块图，自两个语音来源100、102的声波贯入二纪录装置，即麦克风104、106，一BSS或ICA模块108将音频混合信号分离为两个音源分量，多个说话人特征数据中的至少一个是储存于储存单元110中，一音频通道选择器112选择一个最匹配于所欲的说话人特征数据的音频分量，并将其输出为所选择的语音信号114。因使用硬性的切换故所述现有技术对于静态的混合信号及离线处理的效果较佳，对于动态或时间变化的混合条件的应用环境，由于涉及动态或时间变化的在线BSS的实施，则难以或不可能将音频混合信号分离为音频分量，因此，只有依音频分量包含所欲的语音信号，举例而言，在BSS程序的过渡阶段中，所有的音频分量均可能包含所欲的语音信号、噪声及干扰，再者，BSS输出可切换频道，使得所欲的语音信号在某一次在某一频道占支配地位，但于另一次又在另一频道占支配地位。具体而言，如图1所示的硬件开关无法正确地处理该些情形，且可能产生严重失真的语音信号。本发明是利用分离-混合程序来克服该些难题，以恰当的维持所欲的语音信号，纵使在动态语音环境下亦同，并利用后处理模块来进一步增强所欲的语音信号。
图2为本发明的一实施例的模块图，其中装置持有者的声音信号200已被撷取，竞争的声音及噪声202则被抑制，在本实施例中，该装置可为智能手机、平板电脑、个人电脑等。两个所记录的音频混合信号204、206被传送入BSS模块208中，装置持有者的说话人特征数据是储存于数据库210中，说话人特征数据可对应于同一装置、或对应于其他装置并随后传送至所欲的装置。一信号混合模块212将分离的音频分量进行加权，再适当的加以混合以产生一所撷取的语音信号214及一所撷取的噪声信号216，所撷取的语音信号214及所撷取的噪声信号216传送至一后处理模块218，以藉由维纳滤波(Wiener filtering)或频谱滤波法进一步抑制语音信号214中剩余的噪声及竞争的声音，进而产生增强后的语音信号220。在一实施例中，所述信号混合模块212进一步包含一语音混合器212A及一噪声混合器212B，其详细模块图分别示于图5及图6中。
图3为本发明另一实施例的模块图，其中涉及多个说话人及使用多个音频混合记录单元，本实施例的典型例示为会议纪录单元，其涉及数个关键说话人的语音信号需要被撷取及增强。于本实施例中，三个说话人300、302、304处于同一录制环境中，其语音信号可能会在时间上重叠，三个音频混合记录器，即语音信号由麦克风305、306、307所记录后传送入BSS模块308中，再分离为三个音频分量，一数据库310可储存多个中至少一个说话人特征数据，藉由所选择的说话人特征数据，一信号混合模块312产生一所撷取的语音信号314及一所撷取的噪声信号316，一后处理模块318进一步增强所撷取的语音信号314以产生增强的语音信号320。
盲源分离
图4为用来说明图2及图3中BSS模块208、308的较佳实施态样的模块图，为了清楚说明，图4为用来说明在频域下的BSS，藉由独立向量分析(Independent vector analysis,IVA)或联合盲源分离(Joint Blind Source Separation,JBSS)来分离两个音频混合信号，然而，可以理解的是，本发明不限于在频域下的BSS实施且不限于用来分离两个音频混合信号，在其他交换域下的BSS实施也同样可以使用，例如子带域、子波域、或甚至原始时域，需要被分离的音频混合信号的数量可为两个或任何不小于2的整数，任何适当形式的BSS实施，例如IVA、JBSS或两阶段BSS解法，其中第一阶段以BSS或ICA解法将各频率点(bin)中的混合信号独立分离，而第二阶段利用到达方向(Direction-Of-Arrival,DOA)信息及语音信号的特定统计性质来求解频率点(frequency bin)的置换，例如自同一语音信号中跨越所有频率点的相似振幅包络。
在图4中，两个分析滤波器组404、406将两个音频混合信号400、402转换为频域，所述两个分析滤波器组404、406应具有相同的结构及参数，且应存在有一综合滤波器组与所述分析滤波器组404、406成对，故当频率信号不再被改变时，其可最佳地或接近最佳地重建原始时域信号，举例而言，所述分析/综合滤波器组为短时距傅立叶转换(Short-TimeFourier Transform,STFT)及离散傅立叶转换(Discrete Fourier Transform,DFT)调变滤波数据库。对各频率点而言，一IVA或JBSS模块408用分离矩阵(demixing matrix)将两个音频混合信号分离成两个音频分量，所述频率置换问题通过利用来自相同语音信号源的频率点中的统计相关性而求解，IVA及JBSS的特征。所述音频分量410被传送至单一混合模组212、312中以进一步处理。
一般而言，数个分析滤波器组将数个时域下的音频混合信号转换为数个频域下的音频混合信号，可以如下所示：
x(n,t)→X(n,k,m) (公式1)
其中x(n,t)为第n个音频混合信号在离散时间t下的时域信号，而X(n,k,m)为在第n个音频混合信号、第k个频率点及第m个框或区段的频域信号，对各频率点而言，形成一个向量如X(k,m)＝[X(1,k,m),X(2,k,m),…,X(N,k,m)]，而对第m个区段，求解一分离矩阵(separation matrix)W(k,m)以将该些音频混合信号分离成音频分量为
[Y(1,k,m),Y(2,k,m),…,Y(N,k,m)]＝W(k,m)X(k,m) (公式2)
其中N为音频混合信号的数量，一具有步长足够小的随机梯度下降演算法(stochastic gradient descent algorithm)是用来求解W(k,m)，因此W(k,m)缓慢地基于其框序m逐步展开。形成一频率源向量如Y(n,m)＝[Y(n,1,m),Y(n,2,m),…,Y(n,K,m)]，熟知的频率置换问题系通过利用来自不同源向量中的统计独立性及来自相同源向量的分量中的统计相关性而求解，即IVA之名。尺度不确定性(scaling ambiguity)为另一在BSS实施上熟知的问题，一现有用来去除所述不确定性的方式，是于各频率点中缩放所述分离矩阵，使得其所有对角元素将具有单位振幅及零相位。
语音混合器
图5为说明语音混合器212A、312A将两个音频分量结合为单一撷取语音信号的附图，然而，图5仅为了能清楚呈现，故仅以两个音频分量来作为范例，故不应被理解为所示的语音混合器212A、312A仅能用来混合两个音频分量。
在图5中，两个相同的声学特征撷取器506、508分别由音频分量500、502中撷取声学特征，一数据库504储存特征在来自目标说话人的声学特征的概率密度函数(probability density function,pdf)的说话人模型，藉由比对声学特征撷取器506、508所撷取到的声学特征和说话人特征数据中的声学特征，一语音混合权重产生器510产生两个语音混合权重，且模块512、514相对应将该两增益值应用在音频分量500、502上，对各频率点而言。一矩阵混合器516利用该频率点的分离矩阵的逆矩阵来混合所述加权后的音频分量，一延迟估计器518估算两个再混合音频分量之间的时间延迟，且延迟线520、522对齐所述两再混合音频分量，最后，模块524将两延迟对齐的再混合音频分量相加以产生单一撷取语音信号214、314。
说话人特征数据可为一参数模型，该参数模型是描述撷取自给定说话人的声学信号的声学特征的概率密度函数，一般所使用的声学模型为线性预测倒频谱系数(LinearPrediction Cepstral Coefficients,LPCC)、感知线性预测(Perceptual LinearPrediction,PLP)倒频谱系數、及梅尔倒频谱系數(Mel-Frequency CepstralCoefficients,MFCC)，PLP倒频谱系数及MFCC可直接由频域信号呈现中得出，故为在频域下BSS的较佳选择。
对各源分量Y(n,m)而言，一特征向量f(n,m)被撷取出且被与一个或多个说话人特征数据比较，以产生一非负分s(n,m)，分数越高表示特征向量f(n,m)与所考虑的说话人特征数据间越匹配，在一般判别说话人的实务中，在此的特征向量可包含该框及前一框的信息，常见的特征组为MFCC、MFCC的差分值(delta-MFCC)、及MFCC的二次差分值(delta-delta-MFCC)。
高斯混合模型(Gaussian mixture model,GMM)广泛的运用于说话人辨识的参数混合模型，且其可用来评价所需分数s(n,m)，建立一通用背景模型(Universe BackgroundModel,UBM)以描述来自目标族群的声学特征的概率密度函数，以相同GMM建立目标说话人特征数据，但其参数由UBM调整，一般而言，只有允许调整UBM中高斯分量的均值，如此，在数据库504中的说话人特征数据包含有两组参数：一组参数针对UBM包含所述均值、协方差矩阵及在UBM中的高斯分量的分量权重，另一组参数为针对仅包含GMM的调整后均值的说话人特征数据。
藉由说话人特征数据库及UBM，以下计算对数似然比(Logarithm LikelihoodRatio,LLR)
r(n,m)＝log p[f(n,m)|speaker profiles]-log p[f(n,m)|UBM]
(公式3)
当使用多个说话人特征数据时，可能性p[f(n,m)|说话人特征数据]应被解读为各说话人特征数据上f(n,m)的可能性的总和，此LLR是很杂乱的，则利用一指数加权移动平均(exponentially weighted moving average)来计算较平滑的LLR如
rs(n,m)＝a rs(n,m)+(1-a)r(n,m) (公式4)
其中0<a<1为遗忘因子。
一单调递增映射，即一指数函数，是用来将一已平滑的LLR映射为一非负分s(n,m)，则对各源分量而言，产生一语音混合权重作为一正规化的分数如
g(n,m)＝s(n,m)/[s(1,m)+s(2,m)+…+s(N,m)+s0] (公式5)
其中s0为一适当的正补偿量，故当所有分数均小到可以忽略时，g(n,m)接近零；而当s(n,m)够大时，g(n,m)接近1，如此，则对音频分量的语音混合权重将与其包含的所欲的语音信号的数量形成正相关。
在所述矩阵混合器516中，该加权后的音频分量被加以混合以产生N个混合信号如
[Z(1,k,m),Z(2,k,m),…,Z(N,k,m)]
＝W-1(k,m)[g(1,m)Y(1,k,m),g(2,m)Y(2,k,m),…,g(N,m)Y(N,k,m)]
(公式6)
其中W-1(k,m)为W(k,m)的逆。
最后，以一延迟加总程序来结合混合信号Z(n,k,m)于单一撷取语音信号214、314中，由于Z(n,k,m)为频域下的信号，广义互相关函数(generalized cross correlation,GCC)方法为用来延迟估算的方便选择。一GCC方法计算频域下两个信号之间的加权互相关函数，并藉由离散傅立叶逆转换(inverse DFT)将频域下的互相关函数转换为时域下的互相关函数来寻找时域的延迟。相位变换(phase transform,PHAT)为GCC实施的普遍选择，其仅保留针对时域下互相关函数计算的相位信息。在频域下，一延迟操作(delay operation)是对应于相位偏移(phase shifting)，因此，被撷取的语音信号可写为
T(k,m)
＝exp(jwk d1)Z(1,k,m)+exp(jwk d2)Z(2,k,m)+…+exp(jwk dN)Z(N,k,m)
(公式7)
其中j为虚数单元，wk为第k个频率点的角频率(radian frequency)，而dn为第n个混合信号的延迟补偿，需注意的是，只有在混合信号间相对的延迟可被唯一地确定，且平均的延迟可为任意值，一现有作法是假定d1+d2+…+dN＝0来唯一地确定延迟组。
在此所述的加权与混合程序相较于硬件开关的方法而言，可较佳的维持所欲的语音信号，举例而言，考虑所欲的说话人在活跃及BSS尚未收敛的瞬时阶段，目标语音信号散布在音频分量中，硬件开关的程序将不可避免的因仅选择一音频分量输出而扭曲所欲的语音信号，而前述的本发明的方法藉由权重来结合所有的音频分量，该权重为正比于目标信号在各音频分量中的所占的比例，因此可以保留目标语音信号。
噪声混合器
图6为噪声混合器212B、312B在加权并混合两BSS以产生一所撷取的噪声信号时的模块图，在图6中，噪声特征数据、或不具有噪声特征数据的说话人特征数据系储存于数据库600中，两BSS输出500、502送入一噪声混合权重产生器602以产生两增益值，模块604、606将所述增益值分别应用于BSS输出，而模块608将加权后的BSS输出相加以产生所撷取的噪声信号216、316，理想而言，被截取的噪声信号216、316应仅包含噪声及干扰，而所欲说话人的任何语音信号均被排除在外。
当使用N个麦克风时，将撷取到N个源分量，噪声混合权重产生器产生N个权重如h(1,m),h(2,m),…,h(N,m)，简单的加权及相加的混合后产生所撷取的噪声信号E(k,m)如
E(k,m)＝h(1,m)Y(1,k,m)+h(1,m)Y(1,k,m)+…+h(N,m)Y(N,k,m)
(公式8)
当可取得噪声的GMM时，藉由将说话人特征数据的GMM更换为噪声特征数据的GMM，则用来计算语音混合权重产生的相同方法亦可用来计算噪声混合权重，当无法取得噪声的GMM时，较简便的选择为使用公式3的负LLR作为噪声的LLR，接着再以与语音混合权重产生的相同的程序来计算噪声混合权重。
后处理
图7为说明后处理模块218、318执行后处理步骤的流程图，对各频率点而言，维纳滤波或频谱滤波，步骤706计算一增益值并应用于所撷取的语音信号214、314以产生增强后的语音信号220。对各频率点而言，步骤704将所撷取的噪声信号216、316的功率谱(powerspectrum)整形以符合步骤706的噪声等级评价(noise level estimation)之用。
用来整形噪声谱的简单方法，是应用一正增益在所撷取的噪声信号的功率谱上，如b(k,m)|E(k,m)|2，均衡系数(equalization coefficient)b(k,m)可藉由在在噪声主导的时间段b(k,m)|E(k,m)|2and|T(k,m)|2匹配均衡前和均衡后的能量来加以估算，该周期为所欲说话人未活跃的周期。对于各频率点而言，所述均衡系数应在静态或缓慢的声学变化环境中接近常数，因此，可使用一指数加权移动平均方法来估算所述均衡系数。
另一用来决定频率点的均衡系数的简单方法为单纯指定其为一常数，当不需要积极的噪声抑制时，此简单方法为较佳者。
增强后的语音信号220、320由c(k,m)T(k,m)给出，其中c(k,m)为一非负增益值，其系由维纳滤波或频谱滤波所决定，一简单的频谱滤波决定该增益值为
c(k,m)＝max[1-b(k,m)|E(k,m)|2/|T(k,m)|2,0] (公式9)
该简单的方法可能对特定应用为佳，例如语音辨识，但对其他应用可能为不足，例如其导入水声(watering sound)，维纳滤波使用决策导向的方法，可平滑该增益波动，以抑制该水声至无法被听见的程度。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (17)

1.一种对多个目标说话人中至少一个说话人的语音增强方法，其使用多个音频混合信号中的至少两个执行于一数字电脑，所述数字电脑具有可执行的程序码及数据储存单元，其特征在于，所述方法包含以下步骤：
以一盲源分离信号处理器来分离多个音频混合信号中的至少两个成为相同数量的音频分量；
加权且混合所述音频分量中的至少两个成为一所撷取的语音信号，其中藉由将音频分量与目标说话人特征数据相比较来产生多个语音混合权重；
加权并混合多个音频分量中的至少两个成为一所撷取的噪声信号，其中藉由将音频分量与多个中的至少一个噪声特征数据、或不具有噪声特征数据的目标说话人特征数据相比较来产生多个噪声混合权重；
利用维纳滤波，将所述所撷取的噪声信号的功率谱与所述所撷取的语音信号的功率谱相匹配，来先整形所述所撷取的噪声信号的功率谱，再从所述所撷取的语音信号的功率谱中减去整型后的所述所撷取的噪声信号的功率谱，来增强所撷取的语音混合信号。
2.如权利要求1所述的方法，其特征在于，其进一步包含有以下步骤：将多个音频混合信号中的其中至少两个转换为频域表示，且以一独立向量分析模块或一联合盲源分离模块，藉由对应于各频率点的一分离矩阵来分离在频域下的音频混合信号。
3.如权利要求1所述的方法，其特征在于，其进一步包含以下步骤：藉由先加权所述音频分量，再以各频率点的分离矩阵的逆矩阵来混合加权后的音频分量，再接着延迟加权后且混合后音频分量，最后加总延迟后、加权后且混合后的音频分量，来产生所述所撷取的语音信号。
4.如权利要求3所述的方法，其特征在于，其进一步包含以下步骤：自每一音频分量中撷取声学特征；提供以高斯混合模型参数化的多个目标说话人特征数据中的至少一个，所述高斯混合模型建立所述声学特征的概率密度函数；藉由所述说话人特征数据的高斯混合模型来计算各音频分量的一对数似然比；藉由一指数加权移动平均模型来平滑所述对数似然比；以一单调递增函数来将各平滑后的对数似然比映射至一所述语音混合权重。
5.如权利要求3所述的方法，其特征在于，其进一步包含以下步骤：利用一广义互相关延迟估计器来估计及追踪在加权后及混合后的音频分量之间的延迟。
6.如权利要求1所述的方法，其特征在于，其进一步包含以下步骤：藉由先加权所述音频分量，再将加权后的音频分量加总，来产生所述所撷取的噪声信号。
7.如权利要求6所述的方法，其中提供多个噪声特征数据的至少一个，其特征在于，其包含以下步骤：自每一音频分量中撷取声学特征；藉由一噪声特征数据的高斯混合模型来计算各音频分量的一对数似然比；藉由一指数加权移动平均模型来平滑所述对数似然比；以一单调递增函数来将各平滑后的对数似然比转换至一所述噪声混合权重。
8.如权利要求6所述的方法，其中未提供噪声特征数据，其特征在于，其包含以下步骤：自每一音频分量中撷取声学特征；藉由说话人特征数据的高斯混合模型来计算各音频分量的一对数似然比；藉由一指数加权移动平均模型来平滑所述对数似然比；以一单调递增函数来将各平滑后的对数似然比转换至一所述噪声混合权重。
9.如权利要求1所述的方法，其特征在于，其包含以下步骤：藉由在噪声支配期大致上将所述所撷取的噪声信号的功率谱与所述所撷取的语音信号的功率谱相匹配，来对所述所撷取的噪声信号的功率谱加以整形；利用维纳滤波，从所述所撷取的语音信号的功率谱中减去整型后的所述所撷取的噪声信号的功率谱，来增强所撷取的语音信号。
10.一种对多个目标说话人中至少一个说话人的语音增强系统，其使用多个音频记录中的至少两个执行于一数字电脑，所述数字电脑具有可执行的程序码及数据储存单元，其特征在于，其中包含有：
一盲源分离模块，其以对各频率点的一分离矩阵来分离多个音频混合信号中的至少两个而成为频域下相同数量的音频分量；
一语音混合器，其与盲源分离模块相连接，其依据各音频分量与目标说话人特征数据的相关性来加权各音频分量，并相对应混合所述加权后的音频分量，来使混合后的音频分量成为一所撷取的语音信号；
一噪声混合器，其与盲源分离模块相连接，其依据各音频分量与噪声的相关性来加权各音频分量，并相对应混合所述加权后的音频分量，来使混合后的音频分量成为一所撷取的噪声信号；
一后处理模块，其与语音混合器及噪声混合器相连接，其利用维纳滤波将所撷取的噪声信号视为一噪声参考信号，来抑制在所述所撷取的语音信号中剩余的噪声。
11.如权利要求10所述的系统，其特征在于，其中所述语音混合器包含有：一语音混合权重产生器，其对各音频分量产生混合权重；一矩阵混合器以各频率点的分离矩阵的逆矩阵来混合所述加权后的音频分量；一延迟估计器利用一广义互相关信号处理器来估计在加权后及混合后的音频分量之间的延迟；一延迟加总器将加权后及混合后的音频分量加以对齐，再将其加总以产生所述所撷取的语音信号。
12.如权利要求10所述的系统，其特征在于，其中所述语音混合器进一步包含：一声学特征撷取器，其自各音频分量中撷取声学特征；一计算单元，其以多个说话人特征数据中的至少一个来计算各音频分量的对数似然比，其中所述说话人特征数据表示为高斯混合模型的参数，所述高斯混合模型建立所述声学特征的概率密度函数；一平滑单元，其藉由一指数加权移动平均模型来平滑所述对数似然比；一转换单元，其以一单调递增映射来将各平滑后的对数似然比转换为一语音混合权重。
13.如权利要求10所述的系统，其特征在于，其中所述噪声混合器进一步包含：一噪声混合权重产生器，其对各音频分量产生噪声混合权重；一权重加总混合器将所述音频分量依据所述噪声混合权重进行加权，再将加权后的音频分量加总以产生所述所撷取的噪声信号。
14.如权利要求13所述的系统，其特征在于，其中所述噪声混合器包含：一声学特征撷取器，其自各音频分量中撷取声学特征；一计算单元，其计算各音频分量的对数似然比；一平滑单元，其藉由一指数加权移动平均模型来平滑所述对数似然比；一转换单元，其以一单调递增或递减函数来将各平滑后的对数似然比转换为所述噪声混合权重。
15.如权利要求14所述的系统，其特征在于，其中多个噪声特征数据的至少一个被提供，且被用来计算所述对数似然比，一单调递增映射用来将各平滑后的对数似然比转换至所述噪声混合权重。
16.如权利要求14所述的系统，其特征在于，其中不具有噪声特征数据，所述说话人特征数据被用来计算所述对数似然比，一单调递增映射用来将各平滑后的对数似然比转换至所述噪声混合权重。
17.如权利要求10所述的系统，其特征在于，其中所述后处理模块包含：一匹配模块，其在噪声支配期将所述所撷取的噪声信号的功率谱与所述所撷取的语音信号的功率谱相匹配；一维纳滤波器，其从所述所撷取的语音信号的功率谱中减去匹配后的所述所撷取的噪声信号的功率谱，来产生增强后的语音信号。
CN201611191290.8A 2016-10-09 2016-12-21 针对目标对象的语音增强系统及语音增强方法 Active CN107919133B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/289,181 US9741360B1 (en) 2016-10-09 2016-10-09 Speech enhancement for target speakers
US15/289,181 2016-10-09

Publications (2)

Publication Number Publication Date
CN107919133A CN107919133A (zh) 2018-04-17
CN107919133B true CN107919133B (zh) 2021-07-16

Family

ID=59581277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611191290.8A Active CN107919133B (zh) 2016-10-09 2016-12-21 针对目标对象的语音增强系统及语音增强方法

Country Status (2)

Country Link
US (1) US9741360B1 (zh)
CN (1) CN107919133B (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803857B2 (en) * 2017-03-10 2020-10-13 James Jordan Rosenberg System and method for relative enhancement of vocal utterances in an acoustically cluttered environment
EP3382704A1 (en) 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining a predetermined characteristic related to a spectral enhancement processing of an audio signal
JP2018191145A (ja) * 2017-05-08 2018-11-29 オリンパス株式会社 収音装置、収音方法、収音プログラム及びディクテーション方法
US10269369B2 (en) * 2017-05-31 2019-04-23 Apple Inc. System and method of noise reduction for a mobile device
TWI634549B (zh) * 2017-08-24 2018-09-01 瑞昱半導體股份有限公司 音訊強化裝置及方法
US10332543B1 (en) * 2018-03-12 2019-06-25 Cypress Semiconductor Corporation Systems and methods for capturing noise for pattern recognition processing
WO2019199706A1 (en) * 2018-04-10 2019-10-17 Acouva, Inc. In-ear wireless device with bone conduction mic communication
CN111445905B (zh) * 2018-05-24 2023-08-08 腾讯科技（深圳）有限公司 混合语音识别网络训练方法、混合语音识别方法、装置及存储介质
CN108766459B (zh) * 2018-06-13 2020-07-17 北京联合大学 一种多人语音混合中目标说话人估计方法及系统
CN110858476B (zh) * 2018-08-24 2022-09-27 北京紫冬认知科技有限公司 一种基于麦克风阵列的声音采集方法及装置
CN110867191A (zh) * 2018-08-28 2020-03-06 洞见未来科技股份有限公司 语音处理方法、信息装置与计算机程序产品
CN110888112B (zh) * 2018-09-11 2021-10-22 中国科学院声学研究所 一种基于阵列信号的多目标定位识别方法
CN109300470B (zh) * 2018-09-17 2023-05-02 平安科技（深圳）有限公司 混音分离方法和混音分离装置
CN109087669B (zh) * 2018-10-23 2021-03-02 腾讯科技（深圳）有限公司 音频相似度检测方法、装置、存储介质及计算机设备
JP7407580B2 (ja) * 2018-12-06 2024-01-04 シナプティクス インコーポレイテッド システム、及び、方法
KR20200076441A (ko) 2018-12-19 2020-06-29 삼성전자주식회사 전자 장치 및 그의 제어 방법
US20220101821A1 (en) * 2019-01-14 2022-03-31 Sony Group Corporation Device, method and computer program for blind source separation and remixing
CN111435593B (zh) * 2019-01-14 2023-08-01 瑞昱半导体股份有限公司 语音唤醒装置及方法
US20220139368A1 (en) * 2019-02-28 2022-05-05 Beijing Didi Infinity Technology And Development Co., Ltd. Concurrent multi-path processing of audio signals for automatic speech recognition systems
CN110060704A (zh) * 2019-03-26 2019-07-26 天津大学 一种改进的多目标准则学习的语音增强方法
CN111863015A (zh) * 2019-04-26 2020-10-30 北京嘀嘀无限科技发展有限公司 一种音频处理方法、装置、电子设备和可读存储介质
CN110111808B (zh) * 2019-04-30 2021-06-15 华为技术有限公司 音频信号处理方法及相关产品
US11848023B2 (en) * 2019-06-10 2023-12-19 Google Llc Audio noise reduction
CN110148422B (zh) * 2019-06-11 2021-04-16 南京地平线集成电路有限公司 基于传声器阵列确定声源信息的方法、装置及电子设备
CN112185411A (zh) * 2019-07-03 2021-01-05 南京人工智能高等研究院有限公司 语音分离方法、装置、介质和电子设备
CN112309421B (zh) * 2019-07-29 2024-03-19 中国科学院声学研究所 一种融合信噪比与可懂度双重目标的语音增强方法及系统
US11064294B1 (en) 2020-01-10 2021-07-13 Synaptics Incorporated Multiple-source tracking and voice activity detections for planar microphone arrays
CN111402913B (zh) * 2020-02-24 2023-09-12 北京声智科技有限公司 降噪方法、装置、设备和存储介质
US11107504B1 (en) * 2020-06-29 2021-08-31 Lightricks Ltd Systems and methods for synchronizing a video signal with an audio signal
CN112383855A (zh) * 2020-11-04 2021-02-19 北京安声浩朗科技有限公司 蓝牙耳机充电盒、录音方法及计算机可读存储介质
CN112351363A (zh) * 2020-11-04 2021-02-09 北京安声浩朗科技有限公司 蓝牙耳机充电盒、语音处理方法及计算机可读存储介质
CN112423191B (zh) * 2020-11-18 2022-12-27 青岛海信商用显示股份有限公司 一种视频通话设备和音频增益方法
CN113362847A (zh) * 2021-05-26 2021-09-07 北京小米移动软件有限公司 音频信号处理方法及装置、存储介质
CN113177536B (zh) * 2021-06-28 2021-09-10 四川九通智路科技有限公司 基于深度残差收缩网络的车辆碰撞检测方法及装置
CN113793614B (zh) * 2021-08-24 2024-02-09 南昌大学 一种基于独立向量分析的语音特征融合的说话人识别方法
CN114242098B (zh) * 2021-12-13 2023-08-29 北京百度网讯科技有限公司 一种语音增强方法、装置、设备以及存储介质
GB2617613A (en) * 2022-04-14 2023-10-18 Toshiba Kk An audio processing method and apparatus
WO2023234939A1 (en) * 2022-06-02 2023-12-07 Innopeak Technology, Inc. Methods and systems for audio processing using visual information
CN115116460B (zh) * 2022-06-17 2024-03-12 腾讯科技（深圳）有限公司 音频信号增强方法、装置、设备、存储介质及程序产品
CN117079659A (zh) * 2023-03-28 2023-11-17 荣耀终端有限公司 音频处理方法及相关装置
CN117012202B (zh) * 2023-10-07 2024-03-29 北京探境科技有限公司 语音通道识别方法、装置、存储介质及电子设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100392723C (zh) * 2002-12-11 2008-06-04 索夫塔马克斯公司 在稳定性约束下使用独立分量分析的语音处理系统和方法
US20050228673A1 (en) * 2004-03-30 2005-10-13 Nefian Ara V Techniques for separating and evaluating audio and video source data
US8874439B2 (en) 2006-03-01 2014-10-28 The Regents Of The University Of California Systems and methods for blind source signal separation
DE102006047982A1 (de) 2006-10-10 2008-04-24 Siemens Audiologische Technik Gmbh Verfahren zum Betreiben einer Hörfilfe, sowie Hörhilfe
US20100098266A1 (en) * 2007-06-01 2010-04-22 Ikoa Corporation Multi-channel audio device
US8046219B2 (en) * 2007-10-18 2011-10-25 Motorola Mobility, Inc. Robust two microphone noise suppression system
US8015003B2 (en) * 2007-11-19 2011-09-06 Mitsubishi Electric Research Laboratories, Inc. Denoising acoustic signals using constrained non-negative matrix factorization
US8249867B2 (en) 2007-12-11 2012-08-21 Electronics And Telecommunications Research Institute Microphone array based speech recognition system and target speech extracting method of the system
CN102164328B (zh) * 2010-12-29 2013-12-11 中国科学院声学研究所 一种用于家庭环境的基于传声器阵列的音频输入系统
US9263041B2 (en) * 2012-03-28 2016-02-16 Siemens Aktiengesellschaft Channel detection in noise using single channel data
CN102592607A (zh) * 2012-03-30 2012-07-18 北京交通大学 一种使用盲语音分离的语音转换系统和方法
WO2014097748A1 (ja) * 2012-12-18 2014-06-26 インターナショナル・ビジネス・マシーンズ・コーポレーション 特定の話者の音声を加工するための方法、並びに、その電子装置システム及び電子装置用プログラム
JP6203003B2 (ja) * 2012-12-20 2017-09-27 株式会社東芝 信号処理装置、信号処理方法およびプログラム
JP6334895B2 (ja) * 2013-11-15 2018-05-30 キヤノン株式会社 信号処理装置及びその制御方法、プログラム
CN103854660B (zh) * 2014-02-24 2016-08-17 中国电子科技集团公司第二十八研究所 一种基于独立成分分析的四麦克语音增强方法
US9257120B1 (en) 2014-07-18 2016-02-09 Google Inc. Speaker verification using co-location information

Also Published As

Publication number Publication date
US9741360B1 (en) 2017-08-22
CN107919133A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
CN107919133B (zh) 针对目标对象的语音增强系统及语音增强方法
KR101726737B1 (ko) 다채널 음원 분리 장치 및 그 방법
Vu et al. Blind speech separation employing directional statistics in an expectation maximization framework
Araki et al. Spatial correlation model based observation vector clustering and MVDR beamforming for meeting recognition
CN110610718B (zh) 一种提取期望声源语音信号的方法及装置
Nesta et al. A flexible spatial blind source extraction framework for robust speech recognition in noisy environments
Carbajal et al. Joint NN-supported multichannel reduction of acoustic echo, reverberation and noise
Hoang et al. Joint maximum likelihood estimation of power spectral densities and relative acoustic transfer functions for acoustic beamforming
Wang et al. Hands-free speaker identification based on spectral subtraction using a multi-channel least mean square approach
Girin et al. Audio source separation into the wild
Zhu et al. Modified complementary joint sparse representations: a novel post-filtering to MVDR beamforming
Gergen et al. Source separation by feature-based clustering of microphones in ad hoc arrays
Taghia et al. Dual-channel noise reduction based on a mixture of circular-symmetric complex Gaussians on unit hypersphere
Kundegorski et al. Two-Microphone dereverberation for automatic speech recognition of Polish
Ihara et al. Multichannel speech separation and localization by frequency assignment
Meutzner et al. Binaural signal processing for enhanced speech recognition robustness in complex listening environments
YADAV et al. Distortionless acoustic beamforming with enhanced sparsity based on reweighted ℓ1-norm minimization
Nie et al. Masking-based Neural Beamformer for Multichannel Speech Enhancement
Di Persia et al. Correlated postfiltering and mutual information in pseudoanechoic model based blind source separation
Peng et al. Beamforming and Deep Models Integrated Multi-talker Speech Separation
Kolossa et al. Missing feature speech recognition in a meeting situation with maximum SNR beamforming
Kim et al. Generalized optimal multi-microphone speech enhancement using sequential minimum variance distortionless response (MVDR) beamforming and postfiltering
Vincent et al. Audio applications
Xiong et al. Model-Based Post Filter for Microphone Array Speech Enhancement
Xiao et al. Adaptive Beamforming Based on Interference-Plus-Noise Covariance Matrix Reconstruction for Speech Separation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20191211

Address after: Guangdong city of Shenzhen province Qianhai Shenzhen Hong Kong cooperation zone before Bay Road No. 1 building 201 room A (located in Shenzhen Qianhai business secretary Co. Ltd.)

Applicant after: General micro (Shenzhen) Technology Co.,Ltd.

Address before: 1521 sheraville Avenue, San Jose, CA, USA

Applicant before: SPECTIMBRE Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231212

Address after: 518000, Room 402, Lingyun R&D Building, No. 2 Liufang Road, Zone 67, Xingdong Community, Xin'an Street, Bao'an District, Shenzhen City, Guangdong Province

Patentee after: General micro (Shenzhen) Technology Co.,Ltd.

Patentee after: Shenzhen Baiyu Acoustics Technology Co.,Ltd.

Address before: Room 201, building a, No.1 Qianwan 1st Road, Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong Province (settled in Shenzhen Qianhai business secretary Co., Ltd.)

Patentee before: General micro (Shenzhen) Technology Co.,Ltd.

TR01 Transfer of patent right