CN106537503A - 动态音频源分离的方法和系统 - Google Patents

动态音频源分离的方法和系统 Download PDF

Info

Publication number
CN106537503A
CN106537503A CN201580026539.7A CN201580026539A CN106537503A CN 106537503 A CN106537503 A CN 106537503A CN 201580026539 A CN201580026539 A CN 201580026539A CN 106537503 A CN106537503 A CN 106537503A
Authority
CN
China
Prior art keywords
audio
mix
sample
audio sample
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580026539.7A
Other languages
English (en)
Inventor
曲昂·罕·玉·董
阿列克谢·奥泽罗夫
戴利亚·艾尔巴戴维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN106537503A publication Critical patent/CN106537503A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

描述了一种音频源分离的方法和系统(20)。该方法包括：接收(10)音频混合和与音频混合相关联的至少一个文本查询；从辅助音频数据库中取回(11)至少一个音频样本；评估(12)取回的音频样本；以及使用音频样本将音频混合分离(13)成多个音频源。相应的系统(20)包括被配置为实现该方法的接收单元(21)和处理器(22)。

Description

动态音频源分离的方法和系统
技术领域
本发明涉及音频源分离的方法和系统。具体地，该方法和系统针对音频源分离利用基于组合的文本和示例的方法。本发明还涉及适用于这种方法或系统的计算机可读介质。
背景技术
音频源分离涉及将音频混合分解为其组成声源。这提供了在音频/语音增强、后期制作、3D音频等中宽泛的应用范围。尤其，盲源分离(BSS)假定在不具有关于源、混合、和/或生成混合的混合过程的情况下执行音频源分离。另一方面，消息源分离(ISS)允许利用来自一些辅助信息的指导来执行音频源分离。
大多数用于监督式音频源分离的现有方法是基于示例的方法。这些方法的先决条件是事先获得一些类似于目标音频源的音频样本，这通常比较繁琐且并非总是可能的。当音频样本事先是不可用的时，替代地，可以使用简单文本查询来搜索音频文件。该用于音频源分离的基于文本查询的方法对于用户更为容易并且更为有效，因为用户仅需要例如听音频混合并提供描述他们想要分离的内容的文字。然而，尽管在[XII]中描述了基于本文查询的方法，但是目前为止还没有任何能够有效地处理噪声或非代表性取回示例的实际解决方案。
对于基于示例的音频源分离，单频道源分离是欠定的问题，并因此是在最具挑战的问题之中。若干算法提议考虑预先学习单个声源的频谱特性，以便将它们从音频混合中分离。为了实现该目的，需要获得初期训练数据来学习并指示单个目标源的频谱特性。基于非负矩阵分解(NMF)[I,II,III]或其被称为概率性潜在分量分析(PLCA)[IV,V]的概率性公式来提出监督式算法的类别。然而，当训练数据不可用或不足以代表音频源时，上述方法在不具有关于源的补充信息的情况下变得不再适用。例如，补充信息包括模仿混合中的“哼(hummed)”的声音[V]，或者相应的音频混合的文本转录[VI]。
最近已经提出了基于NMF的针对音频源分离的用户指导方法[VII]，借此整体的音频源分离过程可能包括若干交互式分离步骤。这些方法允许终端用户手动地注释关于每个声源的活动性的信息。代替上述所提到的训练数据，使用该注释的信息来指导源分离过程。此外，用户能够通过在分离过程期间注释中间分离结果的频谱图显示来核查分离结果并纠正其错误。
然而，对于上述用户指导方法和交互式方法，需要用户具有一些关于音频源频谱图和音频信号处理的基本知识，以便手动地指定音频源的特性，从而与分离过程进行交互。换句话说，可选择的交互和音频源分离的干扰对于终端用户并非容易和实用。此外，注释过程即使对于专业操作员也是很耗时的。
发明内容
本发明的目的是提出一种改进的用于音频源分离的解决方案，具体在于简化用户交互，以便没有经验的中断用户可以容易地执行源分离任务。
根据本发明的第一方面，一种音频源分离的方法包括：接收音频混合和与音频混合相关联的至少一个文本查询；通过将文本查询和与辅助音频数据库相关联的语义信息进行匹配从辅助音频数据库中取回至少一个音频样本；评估从辅助音频数据库中取回的音频样本；以及使用取回的音频样本将音频混合分离成多个音频源。在本发明的一个实施例中，评估音频样本和分离音频混合是通过对音频混合和音频样本应用非负矩阵分解(NMF)来被共同执行的。
因此，被配置为实现音频源分离的方法的系统，包括：接收单元，被配置为接收音频混合和与音频混合相关联的至少一个文本查询；以及处理器，被配置为通过将文本查询和与辅助音频数据库相关联的语义信息进行匹配从辅助音频数据库中取回至少一个音频样本，从而评估从辅助音频数据库中取回的音频样本，以及使用该音频样本将音频混合分离成多个音频源。
此外，一种存储有用于音频混合的音频源分离的指令的计算机可读介质，当指令由计算机执行时，使得计算机：接收音频混合和与音频混合相关联的至少一个文本查询；通过将文本查询和与辅助音频数据库相关联的语义信息进行匹配从辅助音频数据库中取回至少一个音频样本；评估从辅助音频数据库中取回的音频样本；以及使用音频样本将音频混合分离成多个音频源。
本发明的音频源分离的方法简化过程并改进源分离的结果。通过结合本文和样本的方法，允许终端用户通过简单地提供描述混合中的声音的文本查询或口语音频很容易地与执行音频源分离的系统进行交互。在后一种情况中，语音到文本接口被用来将口语音频查询转换为文本查询。评估最初取回的音频样本通过提供更好的训练源样本来改进后续的音频源分离。在本发明的一个实施例中，源样本的评估和音频混合的源分离是被共同执行的，音频源分离的整个过程变得更为有效。
附图说明
为了更好地理解本发明，现在参考附图来更详细地解释下面的描述。应当理解的是，本发明不限于公开的示例性实施例，并且在不脱离由所附的权利要求所定义的本发明的范围的情况下，指定的特征还可以被适当地合并和/或修改。
图1是示出了根据本发明的音频源分离方法的优选实施例的流程图。
图2是示出了根据本发明的源分离阶段的一个实施例的流程图。
图3是示出了NMF分解的示例性图示。
图4是示出了根据本发明的方法的另一优选实施例的流程图。
图5是示出了在迭代过程期间权衡参数λ在NMF应用的优化函数公式中适应性地改变的一个实施例的图示。
图6是示出了用于本发明的NMF应用的组稀疏惩罚方法的效果的示例性图示。
图7是示出了用于本发明的NMF应用的结合组稀疏惩罚方法和行稀疏惩罚方法的效果的示例性图示。
图8是示出了根据本发明的实现音频源分离的方法的系统的示意图。
具体实施方式
参考图1，根据本发明的音频源分离的方法的一个优选实施例，包括：接收10音频混合和与音频混合相关联的至少一个文本查询；通过将文本查询和与辅助音频数据库相关联的语义信息进行匹配从辅助音频数据库中取回11至少一个音频样本；评估12从辅助音频数据库中取回的音频样本；以及使用该音频样本将音频混合分离13成多个音频源。音频源分离的方法可以在系统中和/或由处理器、服务器、或任意合适的设备执行。
文本查询可以由用户通过用户输入设备等(例如，打字设备或远程控制)来提供。用户听取音频混合，区分音频混合中的音频源，然后任意地提供文本查询。替代地，文本查询可以由执行语音转文字或类似的技术的设备直接提供。文本查询优选地描述了包括在音频混合中的音频源(例如，犬吠、鸟鸣等)和/或诸如语音内容之类的音频混合的文本内容。此外，其他指定的参数(例如，采样率、信道数、音频文件类型(wav、mp3等))也可以被包括在文本查询中以及与文本查询相结合，每个文本查询涉及单个或若干个音频源。当然，文本查询的长度、形式、和/或其他特性并不限于此，并且对于不同的需求是灵活变化的。
文本查询随后被用于从辅助数据库中音频取回11音频样本。辅助音频数据库是与一些语义信息相关联的数据库，该语义信息优选地标识了数据库的音频数据的内容。当然，语义信息可能具有适用于源分离的任意形式，例如，标签、文件名称、相应的网页等。优选地，辅助数据库是公共的并且容易访问的数据库(例如，公开的搜索引擎，如Google和Findsounds)。在该情况中，取回的音频样本可以被本地下载用于进一步处理和/或URL的列表可以由辅助数据库提供。替代地，辅助数据库还可以是针对音频源分离所预备的、本地的或任意类型的数据库。
由于存在至少与辅助数据库相关联的一些语义信息，所以通过将接收的文本查询与辅助数据库的语义信息相匹配来执行音频样本的取回。换句话说，音频样本的音频取回可以基于任意已知的基于文本的音频取回技术来执行。
评估12取回的音频样本可以基于本地服务器或辅助数据库的供应商的各种标准来执行。因此，随后可以使用每个取回的音频样本或只是它们的子集根据音频样本的评估结果来执行音频混合的分离13。可以通过包括不同算法的若干方法来实现音频样本的评估12。
在本发明的一个实施例中，取回11和评估12音频样本是由辅助数据库的供应商执行的。辅助数据库(例如，互联网搜索引擎)提供音频样本的列表，这些音频样本根据它们与所提供的本文查询的匹配被排序。音频样本的顺序可选择地从最佳匹配开始到最差匹配排列。任意地，某一数量的最佳匹配被用于后续的音频分离。例如，用户可以决定使用排在前三的音频样本并排除剩余的音频样本。此外，用户可以基于匹配度对每个样本分配不同的权重。
在本发明的一个实施例中，音频样本根据它们与所接收到的音频混合的相关性被排序。音频样本暂时与音频混合交叉关联，并且总结输出以获得单个音频样本的得分。例如，越高的得分可以表示音频样本与音频混合越匹配。类似地，音频样本的子集可以被选择用于后续的音频源分离。
在本发明的另一实施例中，音频样本根据音频特征相似度被排序，这可以提供音频样本和音频混合之间更为稳定的匹配。首先，音频特征(例如，频谱矩心、美尔倒谱系数(MFCC)、频谱传播、频谱带能量等)被分别从取回的音频样本和音频混合中提取。基于所提取的特征，音频样本和音频混合的特征向量被分别计算，并且与标准化交叉相关比较。在该情况中，音频样本和音频混合根据导出的特征向量而不是其原始信号被具体地比较和匹配。替代特征向量，表示音频样本和音频混合的词袋可以被提取，随后使用相关性、余弦相似性、或其他距离度量在音频样本和混合之间进行比较。
当然，其他替代的方法还可以被用来评估12从辅助数据库中取回的音频样本。此外，在评估12音频样本之后，可以通过将更多的权重给予排序较高的音频样本来可选地应用加权的非负矩阵分解[VIII,IX]。
图2示出了根据本发明的方法的源分离阶段的一个优选实施例。应该注意的是，在以下说明书中，为了简单起见，基于NMF模型的方法作为示例被描述。动态(on-the-fiy)源分离方法和系统也可以使用其他频谱模型，例如，概率性潜在分量分析(PLCA)[IV,V]或高斯混合模型(GMM)等。
首先，评估的音频样本经由短时傅里叶变换(STFT)被变换至时频表示，并且使用音频样本的STFT系数(称为频谱图、矩阵)的幅度或均方根幅度。该矩阵通过非负矩阵分解(NMF)算法被分解，以获得描述音频源的频谱特性的频谱模型矩阵(W)、以及时间激活矩阵(H)。频谱矩阵W被学习并且被用来指导音频混合的频谱图的分解，该音频混合的频谱图也是经由STFT转换获得的。通过对音频混合的频谱图应用NMF，频谱矩阵的部分或者所有的列由从音频示例中预先学习的音频所固定，音频源的评估的STFT系数通过众所周知的维纳过滤获得。最终，反STFT(ISTFT)被应用来获得源的时域估计，使得源可以被保存为例如波形文件。
本发明的方法的优选实施例实现NMF模型。传统的NMF的公式可以被定义为其中V是维度为F×N的非负矩阵。NMF的目的是将矩阵V近似为维度分别是F×K和K×N的两个简单非负矩阵W和H的乘积，当矩阵V近似由W·H重构时误差最小。可以使用各种成本函数来测量近似的误差。
应用NMF的公式，即，在本发明的实施例中，V表示音频混合的非负频谱图矩阵，该音频混合的非负频谱图矩阵是输入混合信号的时频表示。W和H分别表示频谱源的频谱原子和它们相应的激活。F表示全部的频点，N是时间帧的数量，并且K表示NMF分量的数量，NMF分量是描述音频源的频谱特性的频谱基础。换句话说，NMF可以通过将矩阵W的不同列(和矩阵H的相应行)与不同的声源相关联来分离单信道音频混合。图3示出了分解的示例。
因此目的是为了通过解决以下最优化的问题来使得近似误差最小化：
其中
其中，d(.|.)是散度，f(频率点指数)和n(时间帧指数)指示第f行第n列中的元素。可能的示例性散度包括Itakura-Saito散度[III]。
可选地，频谱基础矩阵W可以被保持固定或者可以被更新。如果取回的音频样本相对较好，则优选固定所学习的W用于进一步的音频源分离。另一方面，更新的W是灵活的，并且关于输入音频混合收敛到更好的近似。替代地，另一选择是首先在第一参数更新迭代期间固定矩阵W，随后在稍后的迭代中调整和更新W，这会更好地适应音频混合中音频源的频谱特性。
图4示出了根据本发明的音频源分离的方法的另一优选实施例。在该实施例中，评估12音频样本和分离12音频混合被共同执行。换句话说，评估并没有在音频源分离之前被执行，并且所有取回的音频样本被提供为对音频源分离阶段的输入。
通常，通过使用大型频谱图样字典对音频混合应用非负矩阵分解来共同执行评估音频样本和分离音频混合，频谱图样字典是通过结合从不同的源的音频示例学习的频谱图样矩阵所构建的。更具体地，作为两个源的示例，频谱图样的矩阵首先被构建为W＝[W11,...,W1P，W21,...,W2Q]，其中P和Q分别是针对源1和2的取回的示例数量，W1p(p＝1,..,P)和W1q(q＝1,..,Q)分别是由NMF分别从源1(由p索引)和源2(由q索引)的每个示例中学习的频谱图样的矩阵。时间激活的矩阵H是以同样的方式构建的，但是所有的条目首先是被随机初始化，然后经由优化过程被更新。在本发明的该实施例中，对矩阵H实施组稀疏的惩罚功能在全球优化开销中有所体现，使得允许仅选择从示例学习的最为合适的频谱图样来指导混合的NMF分解。该策略在图6中针对两个源的示例情况作出解释，针对每个源的两个示例：W11和W12是针对第一个源从两个示例中学习的频谱图样，类似地W21和W22是针对第二个源的。矩阵H由块H11,H12,H21,和H22组成，这些块是对应于频谱图样的激活。在优化后，H12和H22的条目是零，意味着每个源仅有一个取回的示例(由1索引)已经自动被选为指导分离过程。
为了在音频源分离中直接整合实现NMF模型的音频样本的评估，在NMF成本函数中引入对激活矩阵H和Ψ(H)的稀疏惩罚：
其中D(V|WH)被定义为如上，λ是对稀疏约束的贡献进行加权的权衡参数。
可选地并优选地，成本函数公式中的权衡参数λ可以是自适应的λ＝f(i)，其中f是函数，i是参数更新过程中的迭代次数。想法是首先具有高λ，以给予稀疏惩罚更多的权重，并因此选择基底音频样本，随后逐渐地降低λ以更好地符合第一项，即，散度D(V|WH)，来得到更好的近似。该策略中线性适应权衡参数λ的示例在图5中示出。
在[II]，描述了通过乘法更新来优化上述成本函数的迭代算法的更为详细的推导和解释。
通过选择不同的稀疏惩罚，实现了若干优化方案，这是以利用音频样本的频谱特性来指导分离过程的不同方式为基础的。如下文中给出了推荐的稀疏惩罚，可以导出相应参数估计的相应更新规则。
在一个实施例中，稀疏惩罚被定义为：
其中，G表示组的数量，与所使用的音频样本的数量相对应，Hg是与第g个源(第g组)相对应的激活矩阵H的部分。Ψ(x)可以由不同的函数定义，例如在[I,II]中所示。一个示例是Ψ(x)＝log(x)，该示例是为了简便起见在该实施例中使用。当然，也可以使用不同的函数Ψ。
该组稀疏方法允许有效地执行对从辅助数据库中取回的相关训练源样本的评估和选择，其中，一个组表示一个训练音频样本。作为[I]的改进，假设仅有一个源的好的模型被获得，则在该实施例中，所有音频源的更多模型通常被学习和实现。如图6所示，激活矩阵H被强制几乎不包括与较高排序的音频样本相对应的激活的块。
在一个实施例中，系数惩罚被定义为：
其中hg是激活矩阵的第g行。该行稀疏方法允许较高的灵活性，并且甚至从不同的音频样本中选择最好的频谱原子。
在一个实施例中，应用了成对的组稀疏方法，其中稀疏惩罚被定义为：
定义该组为训练音频样本对(每一个训练音频样本来自一个音频源)，以避免这样的情况：稀疏惩罚保持来自仅一个源的仅一个激活组。该方法可以在每个音频源中保持至少一个激活组。
在另一实施例中，类似地，该方法基于成对的行稀疏，其中稀疏惩罚被定义为：
优选地，在又一实施例中，应用结合组稀疏和行稀疏惩罚的方法。针对该混合方法的成本函数被定义为：
其中，∝和β是确定每个惩罚的贡献的权重。该方法可以在图7中可见，其中，该算法可以在不同的源中选择好的频谱图样。
在本发明的另一实施例中，所考虑的频谱模式可以与空间模型[X]相结合，以便在多信道音频混合中执行动态源分离。对于多信道情况所考虑的框架的扩展是简单的，并且在[XI]中被描述。
图8示意性地示出了根据本发明的配置为执行音频源分离的方法的系统20的优选实施例。系统20包括接收单元21和处理器22，接收单元21被配置为接收10音频混合和与音频混合相关联的至少一个文本查询；处理器22被配置为通过将文本查询和与辅助音频数据库23相关联的语义信息进行匹配从辅助音频数据库23中取回11至少一个音频样本，从而评估12从辅助音频数据库23中取回的音频样本，以及使用该音频样本将音频混合分离13成多个音频源。
优选地，处理器22评估12音频样本和分离13音频混合是共同进行的。更优选地，处理器22通过对接收的音频混合应用NMF来分离13音频混合。
参考文献
[I]D.L.Sun and G.J.Mysore.“Universal Speech Models for SpeakerIndependent Single Channel Source Separation,(非特定人单信道源分离的通用语音模式)”IEEE International Conference on Acoustics,Speech,and Signal Processing(ICASSP),May 2013(2013年5月).
[II]A.Lefevre,F.Bach,and C.Fevotte.“Itakura-Saito Non-negative MatrixFactorization with Group Sparsity,(利用组稀疏的Itakura-Saito非负矩阵分解)”.ICASSP2011.
[III]C.Fevotte,N.Bertin,and J.Durrieu.“Non-negative MatrixFactorization with the Itakura-Saito divergence.With Application to MusicAnalysis,(利用Itakura-Saito散度的非负分解与对音乐分析的应用)”.NeuralComputation Vol.21No.3.March 2009(2009年3月).
[IV]P.Smaragdis,B.Raj,and M.Shashanka,“Supervised and semi-supervisedseparation of sounds from single-channel mixtures,(声音与单信道混合的监督式分离和半监督式分离)”in Proc.Int.Conf.on Independent Component Analysis andSignal Separation(ICA),2007,pp.414–421.
[V]P.Smaragdis and G.J.Mysore,“Separation by humming:User-guidedsound extraction from monophonic mixtures,(通过哼唱分离：用户指导的从单声道混合中的声音提取)”inProc.IEEE Workshop on Applications of Signal ProcessingtoAudio and Acoustics(WASPAA),2009,pp.69–72.
[VI]L.L.Magoarou,A.Ozerov,and N.Q.K.Duong,“Text-informed audio sourceseparation using nonnegative matrix partial co-factorization,(使用非负矩阵部分共同分解的文本通知音频源分离)”in Proc.Int.Workshop on Machine Learning forSignal Processing(MLSP),2013.
[VII]N.Q.K.Duong,A.Ozerov,L.Chevallier,and J.Sirot,“An interactiveaudio source separation framework based on nonnegative matrix factorization,(基于非负矩阵分解的交互式音频源分离框架)”Proc.ICASSP 2014
[VIII]N.Q.K.Duong,A.Ozerov,and L.Chevallier“Method of audio sourceseparation and corresponding apparatus,(音频源分离的方法和相应的装置)”European Patent Application No.13305759.6
[IX]N.Q.K.Duong,A.Ozerov,and L.Chevallier,“Temporal annotation basedaudio sourceseparation using weighted nonnegative matrix factorization(使用加权的非负矩阵分解的基于暂时注释的音频源分离)”,Proc.IEEE ICCE-Berlin,submitted,2014.
[X]N.Q.K.Duong,E.Vincent and R.Gribonval,“Under-determinedreverberant audio source separation using a full-rank spatial covariancemodel,(使用满秩空间协方差模型的欠定回响音频源分离)”IEEE Transactions onAudio,Speech and Language Processing,Special Issue on Processing ReverberantSpeech,Vol.18,No.7,pp.1830-1840,Sep.2010
[XI]S Arberet,A.Ozerov,N.Q.K Duong,E.Vincent,R Gribonval,F.Bimbot andP Vandergheynst,“Nonnegative matrix factorization and spatial covariancemodel for under-determined reverberant audio source separation,(欠定的回响音频源分离的非负矩阵分解和空间协方差模型)”Proc.International Conference onInformation Science,Signal Processing and their Applications(ISSPA.IEEE),2010。

Claims (15)

1.一种针对音频混合的音频源分离的方法，该方法由处理器执行，包括：
-接收(10)音频混合和与所述音频混合相关联的至少一个文本查询；
-通过将文本查询和与辅助音频数据库相关联的语义信息进行匹配从所述辅助音频数据库中取回(11)至少一个音频样本；
-评估(12)从所述辅助音频数据库中取回的音频样本；以及
-使用所述音频样本将所述音频混合分离(13)成多个音频源。
2.如权利要求1所述的方法，其中，分离(13)所述音频混合根据所述音频样本的评估结果使用所述音频样本的子集。
3.如权利要求1所述的方法，其中，评估(12)所述音频样本包括根据所述音频样本与接收到的文本查询的匹配对所述音频样本进行排序。
4.如权利要求1所述的方法，其中，评估(12)所述音频样本包括根据所述音频样本与接收到的音频混合的相关性对所述音频样本进行排序。
5.如权利要求1所述的方法，其中，评估(12)所述音频样本包括根据所述取回的音频样本和接收到的音频混合之间的音频特征相似度对所述音频样本进行排序。
6.如权利要求1所述的方法，其中，所述辅助音频数据库包括互联网搜索引擎。
7.如前述权利要求中任一项所述的方法，其中，分离(13)所述音频混合包括对所述音频混合应用非负矩阵分解(NMF)。
8.如权利要求1所述的方法，其中，评估(12)所述音频样本和分离(13)所述音频混合是被共同执行的。
9.如权利要求8所述的方法，其中，评估(12)所述音频样本和分离(13)所述音频混合是通过对所述音频混合和所述音频样本应用非负矩阵分解(NMF)来被共同执行的。
10.如权利要求9所述的方法，其中，评估(12)所述音频样本是通过在NMF应用中引入成本函数来被执行的，其中所述成本函数包括稀疏惩罚的参数，以便允许选择从所述取回的音频样本中学习的频谱图样来指导对混合的分解。
11.如权利要求10所述的方法，其中，所述稀疏惩罚的参数与权衡参数相关联，所述权衡参数在参数更新过程中被适应性地修改。
12.一种针对音频混合的音频源分离的系统(20)，包括：
-接收单元(21)，所述接收单元被配置为接收音频混合和与所述音频混合相关联的至少一个文本查询；以及
-处理器(22)，所述处理器被配置为通过将所述文本查询和与辅助音频数据库(23)相关联的语义信息进行匹配从所述辅助音频数据库(23)中取回至少一个音频样本，从而评估从所述辅助音频数据库(23)中取回的音频样本，以及使用所述音频样本将所述音频混合分离成多个音频源。
13.如权利要求12所述的系统，其中，所述处理器(22)通过对所述音频混合应用非负矩阵分解(NMF)来分离所述音频混合。
14.如权利要求12所述的系统，其中，所述处理器(22)评估所述音频样本和分离所述音频混合是共同进行的。
15.一种存储有用于音频混合的音频源分离的指令的计算机可读介质，当所述指令由计算机执行时，使得所述计算机：
-接收音频混合和与所述音频混合相关联的至少一个文本查询；
-通过将所述文本查询和与辅助音频数据库相关联的语义信息进行匹配从所述辅助音频数据库中取回至少一个音频样本；
-评估从所述辅助音频数据库中取回的音频样本；以及
-使用所述音频样本将所述音频混合分离成多个音频源。
CN201580026539.7A 2014-05-15 2015-05-11 动态音频源分离的方法和系统 Pending CN106537503A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14305712.3 2014-05-15
EP14305712 2014-05-15
PCT/EP2015/060369 WO2015173192A1 (en) 2014-05-15 2015-05-11 Method and system of on-the-fly audio source separation

Publications (1)

Publication Number Publication Date
CN106537503A true CN106537503A (zh) 2017-03-22

Family

ID=50842205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580026539.7A Pending CN106537503A (zh) 2014-05-15 2015-05-11 动态音频源分离的方法和系统

Country Status (7)

Country Link
US (1) US10235126B2 (zh)
EP (1) EP3143619A1 (zh)
JP (1) JP2017520784A (zh)
KR (1) KR20170008799A (zh)
CN (1) CN106537503A (zh)
TW (1) TW201543472A (zh)
WO (1) WO2015173192A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724807A (zh) * 2020-08-05 2020-09-29 字节跳动有限公司 音频分离方法、装置、电子设备及计算机可读存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105489215B (zh) * 2015-11-18 2019-03-12 珠海格力电器股份有限公司 一种噪声源识别方法及系统
US9842609B2 (en) * 2016-02-16 2017-12-12 Red Pill VR, Inc. Real-time adaptive audio source separation
US10410641B2 (en) 2016-04-08 2019-09-10 Dolby Laboratories Licensing Corporation Audio source separation
JP6618493B2 (ja) * 2017-02-20 2019-12-11 日本電信電話株式会社 信号解析装置、方法、及びプログラム
EP3392882A1 (en) * 2017-04-20 2018-10-24 Thomson Licensing Method for processing an input audio signal and corresponding electronic device, non-transitory computer readable program product and computer readable storage medium
CN109346097B (zh) * 2018-03-30 2023-07-14 上海大学 一种基于Kullback-Leibler差异的语音增强方法
US11482239B2 (en) * 2018-09-17 2022-10-25 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Joint source localization and separation method for acoustic sources
JP2020056939A (ja) * 2018-10-03 2020-04-09 日本電信電話株式会社 信号分離装置、信号分離方法、及びプログラム
JP2022505682A (ja) * 2018-10-26 2022-01-14 日本電気株式会社 ソース分離装置、ソース分離装置の方法、およびプログラム
CN111370019B (zh) * 2020-03-02 2023-08-29 字节跳动有限公司 声源分离方法及装置、神经网络的模型训练方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415392B2 (en) * 2004-03-12 2008-08-19 Mitsubishi Electric Research Laboratories, Inc. System for separating multiple sound sources from monophonic input with non-negative matrix factor deconvolution
EP2406787B1 (en) * 2009-03-11 2014-05-14 Google, Inc. Audio classification for information retrieval using sparse features
KR101081050B1 (ko) 2010-04-29 2011-11-09 서울대학교산학협력단 비음수 행렬 인수분해에 기초한 목표 신호 검출 방법 및 시스템
CA2779232A1 (en) 2011-06-08 2012-12-08 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Sparse coding using object extraction
US9966088B2 (en) * 2011-09-23 2018-05-08 Adobe Systems Incorporated Online source separation
WO2014195132A1 (en) 2013-06-05 2014-12-11 Thomson Licensing Method of audio source separation and corresponding apparatus
EP2887233A1 (en) 2013-12-20 2015-06-24 Thomson Licensing Method and system of audio retrieval and source separation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724807A (zh) * 2020-08-05 2020-09-29 字节跳动有限公司 音频分离方法、装置、电子设备及计算机可读存储介质
CN111724807B (zh) * 2020-08-05 2023-08-11 字节跳动有限公司 音频分离方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
JP2017520784A (ja) 2017-07-27
TW201543472A (zh) 2015-11-16
US10235126B2 (en) 2019-03-19
US20170075649A1 (en) 2017-03-16
KR20170008799A (ko) 2017-01-24
WO2015173192A1 (en) 2015-11-19
EP3143619A1 (en) 2017-03-22

Similar Documents

Publication Publication Date Title
CN106537503A (zh) 动态音频源分离的方法和系统
Pariente et al. Asteroid: the PyTorch-based audio source separation toolkit for researchers
Huang et al. Joint optimization of masks and deep recurrent neural networks for monaural source separation
Bozkurt et al. Formant position based weighted spectral features for emotion recognition
Nugraha et al. Multichannel audio source separation with deep neural networks
Grais et al. Single channel speech music separation using nonnegative matrix factorization and spectral masks
Seetharaman et al. Class-conditional embeddings for music source separation
JP2013033196A (ja) 音響処理装置
Duong et al. An interactive audio source separation framework based on non-negative matrix factorization
Rodriguez-Serrano et al. Online score-informed source separation with adaptive instrument models
Germain et al. Stopping criteria for non-negative matrix factorization based supervised and semi-supervised source separation
Kheder et al. A unified joint model to deal with nuisance variabilities in the i-vector space
Li et al. FastMVAE2: On improving and accelerating the fast variational autoencoder-based source separation algorithm for determined mixtures
Duong et al. Gaussian modeling-based multichannel audio source separation exploiting generic source spectral model
El Badawy et al. On-the-fly audio source separation—A novel user-friendly framework
Nakano et al. Infinite-state spectrum model for music signal analysis
Chen et al. A dual-stream deep attractor network with multi-domain learning for speech dereverberation and separation
Mossavat et al. A hierarchical Bayesian approach to modeling heterogeneity in speech quality assessment
Casebeer et al. Deep tensor factorization for spatially-aware scene decomposition
El Badawy et al. Relative group sparsity for non-negative matrix factorization with application to on-the-fly audio source separation
Grais et al. Hidden Markov models as priors for regularized nonnegative matrix factorization in single-channel source separation
Grais et al. Adaptation of speaker-specific bases in non-negative matrix factorization for single channel speech-music separation
JP2020034870A (ja) 信号解析装置、方法、及びプログラム
Lee et al. Discriminative training of complex-valued deep recurrent neural network for singing voice separation
Varshney et al. Variable sparsity regularization factor based SNMF for monaural speech separation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170322

WD01 Invention patent application deemed withdrawn after publication