CN107517593B - 用于使用目标时域包络来处理音频信号以获得经处理的音频信号的装置和方法 - Google Patents

用于使用目标时域包络来处理音频信号以获得经处理的音频信号的装置和方法 Download PDF

Info

Publication number
CN107517593B
CN107517593B CN201680013372.5A CN201680013372A CN107517593B CN 107517593 B CN107517593 B CN 107517593B CN 201680013372 A CN201680013372 A CN 201680013372A CN 107517593 B CN107517593 B CN 107517593B
Authority
CN
China
Prior art keywords
domain
audio signal
frequency
envelope
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680013372.5A
Other languages
English (en)
Other versions
CN107517593A (zh
Inventor
克里斯蒂安·迪特马尔
梅纳德·穆勒
萨沙·迪施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN107517593A publication Critical patent/CN107517593A/zh
Application granted granted Critical
Publication of CN107517593B publication Critical patent/CN107517593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03—Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388—Details of processing therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters

Abstract

本发明的主题是通过用于处理音频信号(4)以获得经处理的音频信号(6)的示意框图来描述的装置(2)。装置(2)包括用于计算表示音频信号(4)的重叠帧的频域帧序列(12)的频谱值的相位值(10)的相位计算器(8)。此外，相位计算器(8)被配置为基于和与经处理的音频信号(6)有关的目标时域包络(14)相关的信息来计算相位值(10)，使得经处理的音频信号(6)至少具有目标时域包络(14)的近似和由频域帧序列(12)所确定的频谱包络。

Description

用于使用目标时域包络来处理音频信号以获得经处理的音频 信号的装置和方法
技术领域
本发明涉及用于处理音频信号以获得经处理的音频信号的装置和方法。实施例还示出了包括该装置在内的音频解码器和相应音频编码器、均包括该装置在内的音频源分离处理器和带宽增强处理器。根据其它实施例，示出了在信号重构中的瞬态恢复和在得分通知 (score-informed)的音频分解中的瞬态恢复。
背景技术
将叠加声音源的混合分离为其构成分量的任务在数字音频信号处理中已变得重要。在语音处理中，这些分量通常是受到噪声或同时说话人的干扰的目标说话者的话音。在音乐中，这些分量可以是单独的乐器或人声旋律、打击乐器、或甚至是个别音符事件。相关课题是信号重构和瞬态保存以及得分通知的音频合成(即，源分离)。
音乐源分离目的是将和弦多音色音乐录音分解成诸如唱歌声音、乐器旋律、打击乐器、或混合信号中出现的个别音符事件之类的分量信号。除了作为很多音乐分析和检索任务中的重要步骤之外，音乐源分离还是诸如音乐恢复、上混音(upmixing)和再混音(remixing) 之类的应用的基本先决条件。为了这些用途，需要在经分离的分量的感知质量方面的高度保真。现有分离技术的主流是对混合信号的时间- 频率(TF)表示进行处理，经常是短时傅立叶变换(STFT)。目标分量信号通常是使用合适的逆变换来重构的，其进而可能引入可听伪像 (artifact)，例如音乐噪声、模糊瞬态或预回声。现有方案受制于具有音乐噪声、模糊瞬态或预回声形式的可听伪像。这些伪像经常打扰人类听者。
近来存在多篇关于音乐源分离的论文。在大多数方案中，通过修改量值谱图在时间-频率(TF)域中执行分离。经分离的分量的相应时域信号是通过使用原始相位信息并应用合适的逆变换来导出的。当争取经分离的独奏信号的良好感知质量时，很多作者回到得分通知的分解技术上。其具有以下优点：可以通过与分量信号在时间(开始(onset)、移位(offset))和频率(音高(pitch)、音色(timbre))中的近似位置有关的信息来指导分离。很少有出版物处理诸如鼓之类的瞬态信号的源分离。其它出版物关注于对谐波分量相对于打击分量的分离[5]。
此外，在感知音频编码领域中已考虑到了预回声的问题，其中，预回声通常是由以下引起的：使用相对长的分析和合成窗口，结合对 TF区间(bin)的中间操作(例如根据心理声学模型的频谱量值的量化)。在瞬态事件的邻域中使用块切换可被视为最先进技术[6]。在[13] 中提出了有趣的方案，其中，沿频率轴通过线性预测对频谱系数进行编码，自动减少了预回声。稍后的工作提出将信号分解为瞬态和残余分量，并针对每个流使用优化编码参数[3]。在基于相位声码器 (phase-vocoder)的时间尺度修改方法的上下文中已调查了瞬态保留。除了对瞬态分量的优化处理之外，若干作者遵循了对瞬态帧中的相位进行相位锁定或重新初始化的原则[8]。
信号重构的问题(也被称为量值谱图反演或相位估计)是经过深入研究的课题。在它们的经典论文[1]中，Griffin和Lim提出了所谓的LSEE-MSTFTM算法，其用于根据经修改的STFT量值(MSTFTM)谱图来进行迭代的盲信号重构。在[2]中，Le Roux等人通过使用TF一致性标准对其进行描述而开发了与该方法有关的不同视角。通过将必要操作完全保持在TF域中，可以引入若干种简化和近似，其与原始过程相比降低了计算负载。由于使用LSEE-MSTFTM来获得的相位估计仅在局部最优处收敛，若干出版物考虑找到用于相位信息的良好初始估计 [3，4]。Sturmel和Daudet[5]提供了信号重构方法的深入回顾并指出了未解决的问题。在[6]中提出了对LSEE-MSTFTM的与收敛速度有关的扩展。其他作者尝试将相位估计问题归纳为凸(convex)优化方案，并得到了令人振奋的结果，尽管受到高计算复杂度的约束[7]。另一工作[8]考虑对来自基于小波的量值谱图的信号重构应用谱图一致性框架。
然而，用于信号重构的上述方案都有以下问题：音频信号的快速改变(其对于瞬态来说是常见的)可能经受较早描述的伪像，例如预回声。
因此，需要改进的方法。
发明内容
本发明的目的是提供用于处理音频信号的改进概念。该目的是通过独立权利要求的主题来解决的。
本发明基于以下发现：可以在时域或频域中对频域帧序列的频谱值应用目标时域幅度包络。换言之，可以在使用时间-频率和频率-时间转换的信号处理之后来校正信号的相位，其中，依然维持或保持(不改变)该信号的幅度或量值。可以使用例如迭代算法(例如，由Griffin 和Lim提出的算法)来恢复相位。然而，使用目标时域包络显著地改进了相位恢复的质量，其导致在使用迭代算法的情况下减少迭代数量。可以计算或近似目标时域包络。
实施例示出了用于处理音频信号以获得经处理的音频信号的装置。该装置可以包括用于计算表示音频信号的重叠帧的频域帧序列的频谱值的相位值的相位计算器。该相位计算器可以被配置为基于和与经处理的音频信号有关的目标时域包络相关的信息来计算相位值，使得经处理的音频信号至少近似具有该目标时域包络和由频域帧序列所确定的频谱域包络。可以在时域或频域中对频域帧序列应用与目标时域幅度包络有关的信息。
为了克服已知方案的前述限制，实施例示出了用于在重构源信号中更好地保存瞬态分量的技术、方法或装置。具体地，目的可以是减弱预回声，该预回声使得来自鼓和打击乐器以及钢琴和吉他的音符事件的开始清晰度劣化。
实施例还示出了对Griffin和Lim[1]的信号重构过程的扩展或改进，其例如更好地保存了瞬态信号分量。原方法通过在STFT和时域信号之间往返来迭代估计根据STFT量值(STFTM)进行时域重构所必需的相位信息，其仅更新相位信息而保持STFTM固定。所提出的扩展或改进对中间时域重构进行操作，以减弱可能在瞬态之前的预回声。
根据第一实施例，在时域中对频域帧序列应用与目标时域包络有关的信息。因此，可以根据频域帧序列来导出经修改的短时傅立叶变换(MSTFT)。基于经修改的短时傅立叶变换，可以执行短时傅立叶逆变换。由于短时傅立叶逆变换(ISTFT)执行了重叠和相加过程，改变 (更新、适配或调整)了初始MSTFT的量值和相位值。这导致了音频信号的中间时域重构。此外，可以对中间时域重构应用目标时域包络。这可以例如以下方式来执行：通过将时域信号与脉冲响应进行卷积或者通过将频谱乘以传递函数。可以使用短时傅立叶变换(STFT)对具有目标时域包络(的近似)的音频信号的中间时域重构进行时间-频率转换。因此，可以使用重叠分析和/或合成窗口。
即使不应用目标时域包络的修改，由于ISTFT和STFT中的重叠和相加过程，音频信号的中间时域表示的STFT也将不同于较早的MSTFT。这可以在迭代算法中执行，其中，对于经更新的MSTFT，使用前一STFT 操作的相位值且丢弃相应幅度或量值。相反，由于假定幅度(或量值) 值是(完美)重构的而仅具有错误的相位信息，因此作为经更新的 MSTFT的幅度或量值，可以使用初始量值。因此，在每个迭代步骤中，将相位值适配为正确(或原始)相位值。
根据第二实施例，可以在频域中对频域帧序列应用目标时域包络。因此，在时域中较早执行的步骤可以被转移(变换、应用或转换)到频域中。详细地，这可以是ISTFT的合成窗口和STFT的分析窗口的时间-频率变换。这导致在时域中变换了ISTFT和STFT之后将与当前帧重叠的相邻帧的频率表示。然而，将该部分移位到当前帧中的正确位置，且执行加法以导出音频信号的中间频域表示。此外，可以将目标时域包络变换到频域，例如使用STFT，使得可以对中间频域表示应用目标时域包络的频率表示。再次地，可以使用(近似)具有目标时域包络的中间频域表示的经更新的相位来迭代地执行该过程。此外，使用MSTFT的初始量值，因为假定该量值已经被完美重构。
使用前述装置，可以假定多个其他实施例具有导出目标时域包络的不同可能性。实施例示出了包括前述装置在内的音频解码器。该音频解码器可以从(相关联)音频编码器接收音频信号。音频编码器可以分析音频信号以导出目标时域包络，例如针对音频信号的每个时间帧。可以将导出的目标时域包络与示例目标时域包络的预定列表相比较。与计算出的音频信号的目标时域包络最接近的预定目标时域包络可以与特定比特序列相关联，例如用于分配16个不同目标时域包络的四比特序列。音频解码器可以包括相同的预定目标时域包络，例如码本或查找表，且能够按从编码器发送的比特序列来确定(读取、计算或运算)(经编码的)预定目标时域包络。
根据其他实施例，上述装置可以是音频源分离处理器的一部分。音频源分离处理器可以使用对目标时域包络的粗略近似，因为仅具有音频信号的多个源中的一个源的音频信号(通常)不可用。因此，特别是对于瞬态恢复，当前帧中直到初始瞬态位置的部分可以被强制为零。这可以高效地减少瞬态前面的通常由于信号处理算法而导致并入的预回声。此外，可以使用公共开始(onset)作为用于目标时域包络的近似，例如用于每个帧的相同开始。根据另一实施例，可以将不同开始用于音频信号的不同分量，例如根据开始的预定列表导出的。例如，钢琴的目标时域包络或开始可以不同于吉他、踩镲(hi-hat)或语音的目标时域包络或开始。因此，可以分析该音频信号的当前源或分量，以例如检测音频信号的类型(乐器、语音等)，以确定目标时域包络的(理论)最佳拟合近似。根据其他实施例，如果音频源分离例如意在将一个或多个乐器(例如，吉他、踩镲、长笛或钢琴)或语音与音频信号的剩余部分分离，则音频信息的类型可以是(由用户)预设的。基于该预设，可以选择用于经分离的或经隔离的音频轨道的对应开始。
根据其他实施例，带宽增强处理器可以使用前述装置。带宽增强处理器使用核心编码器以对音频信号的一个或多个频带的高分辨率表示进行编码。此外，可以在带宽增强解码器中使用带宽增强编码器的参数来近似未使用核心编码器编码的频带。可以由编码器来发送目标时域包络，作为例如参数。然而，根据优选实施例，编码器不发送目标时域包络(作为参数)。因此，目标时域包络可以根据音频信号的核心解码部分或频带来直接导出。音频信号的核心解码部分的形状或包络是对原始音频信号的目标时域包络的良好近似。然而，在音频信号的核心解码部分中可能缺少高频分量，导致在与原始包络相比时可能不那么突出的目标时域包络。例如，该目标时域包络可以类似于音频信号或者音频信号的一部分的低通滤波版本。然而，与例如使用可以从带宽增强编码器向带宽增强解码器发送的目标时域包络的信息的码本相比，对来自核心解码音频信号的目标时域包络的近似(平均上)可以更精确。
根据其他实施例，示出了对Griffin和Lim提出的迭代信号重构算法的高效扩展。该扩展示出了在迭代重构内的使用经修改的短时傅立叶变换的中间步骤。该中间步骤可以强制实现应当重构的信号的所需或预定形状。因此，可以在每个迭代步骤中使用例如幅度调制对经重构(时域)信号应用预定包络。备选地，可以使用STFT的卷积和时间-频率域中的包络对经重构信号应用包络。第二方案可以是有利的或更高效的，因为可以在时间-频率域中对逆STFT和STFT进行仿真(执行、变换或转移)，且因此这些步骤不需要显式执行。此外，可以实现诸如序列选择性处理执行的进一步简化。此外，由于实现了更快速的转换，对(第一MSTFT步骤的)具有有意义值的相位的初始化是有利的。
附图说明
在使用附图来详细描述实施例之前，要指出的是：在图中对相同或功能相同的要素给出相同的附图标记，且提出了对具有相同附图标记的要素的重复描述。因此，针对具有相同附图标记的要素所提供的描述是可互换的。
随后将参考附图来讨论本发明的实施例，其中：
图1示出了用于处理音频信号以获得经处理的音频信号的装置的示意框图；
图2示出了使用时间-频率-域或频域处理的根据另一实施例的装置的示意框图；
图3在示意框图中示出了使用时间-频率-域处理的根据另一实施例的装置；
图4示出了使用频域处理的根据实施例的装置的示意框图；
图5示出了使用时间-频率域处理的根据另一实施例的装置的示意框图；
图6a～d示出了根据实施例的瞬态恢复的示意图；
图7示出了使用频域处理的根据另一实施例的装置的示意框图；
图8示出了一段音频信号的示意时域图；
图9a～c示出了与示例鼓循环分离的不同踩镲分量信号的示意图；
图10a～b示出了打击信号混合的示意说明图，其包含用于鼓循环的源分离的作为源的三种乐器；
图11a示出了归一化不一致性度量对迭代数目的演进；
图11b示出了预回声能量对迭代数目的演进；
图12a示出了归一化不一致性度量对迭代数目的演进的示意图；
图12b示出了预回声能量对迭代数目的演进；
图13示出了典型NMF分解结果的示意图，其示出了实际上类似于 V中的开始事件的原型版本(右下图)的经提取模板(三个最左侧的图)。
图14a示出了归一化不一致性度量对迭代数目的演进的示意图；
图14b示出了预回声能量对迭代数目的演进的示意图；
图15示出了根据实施例的用于对音频信号进行编码的音频编码器；
图16示出了包括装置和输入接口在内的音频解码器；
图17示出了包括频域帧序列的表示和目标时域包络的表示在内的音频信号；
图18示出了根据实施例的音频源分离处理器的示意框图；
图19示出了根据实施例的带宽增强处理器的示意框图；
图20示出了带宽增强的示意频域图；
图21示出了(中间)时域重构的示意表示图；
图22示出了用于处理音频信号以获得经处理的音频信号的方法的示意框图；
图23示出了音频解码方法的示意框图：
图24示出了音频源分离的方法的示意框图；
图25示出了经编码的音频信号的带宽增强的方法的示意框图；
图26示出了音频编码的方法的示意框图。
具体实施方式
在下文中，将进一步详细描述本发明的实施例。各图中示出的具有相同或相似功能的要素将具有与其相关联的相同附图标记。
图1示出了用于处理音频信号4以获得经处理的音频信号6的装置2的示意框图。装置2包括用于计算表示音频信号4的重叠帧的频域帧序列12的频谱值的相位值10的相位计算器8。此外，相位计算器8被配置为基于和与经处理的音频信号6有关的目标时域包络14相关的信息来计算相位值10，使得经处理的音频信号6至少具有目标时域幅度包络14的近似和由频域帧序列12所确定的频谱包络。因此，相位计算器8可以被配置为接收与目标时域包络有关的信息或被配置为从目标时域包络(的表示)中提取与目标时域包络有关的信息。
频域帧序列的频谱值10可以使用音频信号4的短时傅立叶变换 (STFT)来计算。因此，STFT可以使用具有例如50％、67％、75％或甚至更多的重叠范围的分析窗口。换言之，STFT可以使用以下跳跃大小 (hop size)：例如分析窗口长度的二分之一、三分之一、或四分之一。
与目标时域包络14有关的信息可以使用与当前实施例或使用实施例有关的不同或变化的方案来导出。在编码环境中，例如编码器可以(在编码之前)分析(原始)音频信号并例如向解码器发送表示与计算出的目标域包络接近的预定义目标域包络的码本或查找表索引。具有与编码器相同码本或查找表的解码器可以使用所接收的码本索引来导出目标时域包络。
在带宽增强环境中，音频信号的经核心解码的表示的包络可以是对原始目标时域包络的良好近似。
带宽增强涵盖了与在处理之前的输入信号的带宽相比增强经处理的信号的带宽的任何形式。一种带宽增强方式是间隙填充实现，例如在WO2015010948中公开的智能间隙填充或半参数化间隙填充，其中，在具有或不具有所发送的参数化信息的情况下，输入信号中的频谱间隙被输入信号的其他频谱部分所填充或“增强”。另一种带宽增强方式是如在HE-AAC(MPEG4)或相关过程中所使用的频带复制(SBR)，其中，通过处理来生成高于交叉频率的频带。相对于间隙填充实现， SBR中核心信号的带宽是受限的，而间隙填充实现具有全频带核心信号。因此，带宽增强表示了对高于交叉频率的频率的带宽扩展或者对位于(在频率方面)比核心信号的最大频率低的频谱间隙的带宽扩展。
此外，在源分离环境中，可以对目标时域包络加以近似。这可以是对直到瞬态的初始位置为止的零填充或者使用(不同的)开始作为对目标时域包络的近似或粗略估计。换言之，可以通过将当前时域包络强制为从音频信号的帧的开始或一部分直到瞬态的初始位置为止为零，来根据中间时域信号的当前时域包络导出近似的目标时域包络。根据其他实施例，用一个或多个(预定义)开始来(幅度)调制当前时域包络。开始对于音频信号的(整个)处理可以是固定的，或者换言之在处理音频信号的第一(时间)帧或一部分之前选择一次(或者为了处理音频信号的第一(时间)帧或一部分而选择一次)。
目标时域包络(的近似或估计)可以用于形成经处理的音频信号的形状，例如使用幅度调制或乘法，使得经处理的音频信号至少具有目标时域包络的近似。然而，经处理的音频信号的频谱包络是由频域帧序列来确定的，因为在与频域帧序列的频谱相比时，目标时域包络主要包括低频分量，使得保持频率的主要部分不变。
图2示出了根据另一实施例的装置2的示意框图。图2的装置示出了包括迭代处理器16在内的相位计算器8，迭代处理器16用于执行迭代算法，以使用要求重叠范围中的重叠块的一致性的优化目标，从初始相位值18开始计算频谱值的相位值10。此外，迭代处理器16被配置为：在另一迭代步骤中，使用取决于目标时域包络的经更新的相位估计20。换言之，相位值10的计算可以是使用由迭代处理器16 执行的迭代算法来执行的。因此，频域帧序列的量值可以是已知的且保持不变。从初始相位值18开始，迭代处理器可以在每次迭代之后使用经更新的相位估计20来迭代更新频谱值的相位值，以执行迭代。
优化目标可以是例如迭代数目。根据其他实施例，优化目标可以是阈值，其中，当与前一迭代步骤的相位值相比时仅将相位值更新了较少程度，或者优化目标可以是频域帧序列的(初始)恒定量值在与迭代处理之后的频谱值的量值相比时之差。因此，可以改进或升级相位值，使得音频信号的帧的这些部分的个体频谱相等或至少相差较小程度。换言之，音频信号的重叠帧的彼此重叠的所有帧部分应当具有相同或相似的频率表示。
根据实施例，相位计算器被配置为：根据Griffin和Lim的迭代信号重构过程来执行迭代算法。参照后面的附图示出了其他(更详细) 实施例。其中，将迭代处理器细分或替换为处理块序列，即频率至时间转换器22、幅度调制器24、以及时间至频率转换器26。为了方便，在其他附图中通常(不显式)指出迭代处理器16，然而前述处理块执行了与迭代处理器16相同的操作，或者迭代处理器监督或监视迭代处理的终止条件(或退出条件)，例如优化目标。此外，迭代处理器可以根据例如参照图4和图7所示的频域处理来执行操作。
图3在示意框图中示出了根据另一实施例的装置2。装置2包括频率至时间转换器22、幅度调制器24、以及时间至频率转换器26，其中，频率至时间转换和/或时间至频率转换可以执行重叠和相加过程。频率至时间转换器22可以根据频域帧序列12和初始相位值估计18 或在先迭代步骤的相位值估计10来计算音频信号4的中间时域重构 28。幅度调制器24可以使用目标时域包络14(有关的信息)来调制中间时域重构28，以获得经幅度调制的音频信号30。此外，时间至频率转换器被配置为将经幅度调制的信号30转换为具有相位值10的另一频域帧序列32。因此，相位计算器8被配置为：针对下一迭代步骤，使用(另一频域帧序列的)相位值10和频域帧序列(其不是另一频域帧序列)的频谱值。换言之，相位计算器使用另一频域帧序列32的在每个迭代步骤之后的经更新的相位值。可以丢弃另一频域帧序列的量值，或不将其用于进一步处理。此外，相位计算器8使用(初始)频域帧序列12的量值，因为假定量值已被(完美)重构。
更一般地，相位计算器8被配置为：在例如幅度调制器22中基于目标时域包络14对音频信号4的中间时域重构28应用幅度调制。幅度调制可以使用单边带调制、具有或不具有抑制载波传输的双边带调制、或使用目标时域包络与音频信号的中间时域重构的乘法来执行。当例如使用音频源分离时，初始相位值估计可以是音频信号的相位值、 (任意)挑选的值(例如，零、随机值、或音频信号的频带的相位的估计)、或音频信号的源的相位。
根据其他实施例，相位计算器8被配置为：当满足迭代确定条件 (例如，迭代终止条件)时，输出音频信号4的中间时域重构28作为经处理的音频信号6。迭代确定条件可以与优化目标紧密相关，且可以定义优化目标相对于当前优化值的最大偏差。此外，迭代确定条件可以是(最大)迭代数目、另一频域帧序列32的量值在与频域帧序列 12的量值相比时的(最大)偏差、或者在当前帧和前一帧之间的相位值10的(最大)更新成果。
图4示出了根据实施例的装置2的示意框图，其可以是在与图3 的实施例相比时的备选实施例。相位计算器8被配置为应用至少一个目标时域包络14的频谱表示14’和至少一个中间频域表示的卷积34，或音频信号4的至少一个目标时域包络14或者至少一个中间频域表示 28’的所选部分或频带或仅高通部分或仅若干带通部分的卷积。换言之，图3的处理可以在频域而不是时域中执行。因此，可以使用卷积而不是幅度调制，将目标时域包络14(更具体地，其频率表示14’)应用于中间频域表示28’。然而，该理念是再一次将频域帧序列的(原始) 量值用于每个迭代，且此外，在第一迭代步骤中使用初始相位值18 之后，针对每个进一步迭代步骤来使用经更新的相位值估计10。换言之，相位计算器被配置为：使用通过卷积34获得的相位值10作为用于下一迭代步骤的经更新的相位值估计。此外，该装置可以包括目标包络转换器36，其用于将目标时域包络转换到频谱域中。此外，装置 2可以包括频率至时间转换器38，其用于使用从最近迭代步骤中获得的相位值估计10以及频域帧序列12，根据中间频域重构28’来计算时域重构28。换言之，中间频域表示28’可以包括频域帧序列的量值和经更新的相位值估计的相位值10。时域重构28可以是经处理的音频信号6或至少是经处理的音频信号6的一部分。该部分可以涉及例如在与经处理的音频信号或音频信号4的频带的总数相比时的减少的数目的频带。
根据其他实施例，相位计算器8包括卷积处理器40。卷积处理器 40可以应用卷积核、移位核、和/或添加到中心帧操作来获得音频信号4的中间频域表示28’。换言之，卷积处理器可以处理频域帧序列 12，其中，卷积处理器40可以被配置为：在频域中对频域帧序列12 应用时域重叠和相加过程的频域等价物，以确定中间频域重构。根据其他实施例，卷积处理器被配置为：基于当前频率帧来确定在频域中执行了时域重叠和相加之后相邻频域帧中对当前频域帧做出贡献的部分。此外，卷积处理器40还可以被配置为：确定相邻频域帧的该部分在当前频域帧中的重叠位置，以及执行将相邻频域帧的位置与当前频域帧在该重叠位置处相加。根据其他实施例，卷积处理器40被配置为：对时域合成和时域分析窗口进行时间至频率变换，以确定在频域中执行了时域重叠和相加之后相邻频域帧中对当前频域帧做出贡献的部分。此外，卷积处理器还被配置为：将相邻频域帧的该部分移位至当前频域帧中的重叠位置，以及在重叠位置处将相邻频域帧的该部分应用于当前帧。
换言之，图3所示的时域过程可以转移(变换、应用或转换)到频域中。因此，频率至时间转换器22和时间至频率转换器26的合成和分析窗口可以转移(变换、应用或转换)到频域中。合成和分析窗口的(作为结果的)频域表示确定(或切除)了相邻帧中在时域的重叠和相加过程中与当前帧重叠的部分。此外，将切除部分移位到当前帧内的正确位置处并添加到当前帧上，使得在频域中执行时域频率至时间变换和时间至频率变换。这是有利的，因为可以忽略或不执行显式信号变换，这可以增加相位计算器8和装置2的计算效率。
图5示出了根据另一实施例的装置2的示意框图，该另一实施例关注于音频信号4的分离声道或频带的信号重构。因此，可以使用时间-频率转换器(例如，STFT 42)将时域中的音频信号4变换为表示音频信号4的重叠帧的频域帧序列12。其中，经修改量值估计器44’可以导出频域帧序列的量值44或频域帧序列的分量或分量信号。此外，可以使用初始相位估计器18’根据频域帧序列12来计算初始相位估计 18，或者初始相位估计器18’可以选择例如任意的相位估计18，其不是根据频域帧序列12来导出的。基于频域帧序列12的量值44和初始相位估计18，可以将MSTFT 12’计算为具有(完美)重构量值44的初始频域帧序列12”，其在进一步处理中保持不变，以及仅初始相位估计18。使用相位计算器8来更新初始相位估计18。
在另一步骤中，频率至时间转换器22(例如，逆STFT(ISTFT)) 可以计算(初始)频域帧序列12”的中间时域重构28。可以使用目标包络(或更精确地，目标时域包络14)对中间时域重构28进行幅度调制，例如相乘。时间至频率转换器26(例如，STFT)可以计算具有相位值10的另一频域帧序列32。MSTFT 12’可以使用经更新的相位估计器10和经更新频域帧序列中频域帧序列12的量值44。在例如迭代处理器16中该迭代算法可以执行或重复L次，迭代处理器16可以执行相位计算器8的前述处理步骤。例如，在完成迭代处理之后，根据中间时域重构28来导出时域重构28”。
换言之，在下文中，示出了标注(notation)和信号模型且描述了所采用的信号重构方法。之后，结合所示示例示出了针对 LSEE-MSTFTM方法中瞬态保存的扩展。
将实值离散时域信号
Figure GDA0001458941650000131
视为并发分量信号的混合。目的是将x分解为瞬态目标信号
Figure GDA0001458941650000132
和残余分量信号
Figure GDA0001458941650000133
使得
x≈xt+xr. (1’)
注意到：该分解表现为近似，因为焦点在于改进瞬态信号xt的感知质量，且所接受的是xt和xr的叠加可能不精确得到原始x。暂时地，假定xt精确包含一个瞬态，其时间位置
Figure GDA0001458941650000134
已知。令
Figure GDA0001458941650000136
(其中，
Figure GDA0001458941650000135
)是在第m个时间帧和短时傅立叶变换(STFT)的第k个频谱系数处的复值TF区间。该系数通过以下公式计算：
Figure GDA0001458941650000141
其中，
Figure GDA0001458941650000142
是具有块大小
Figure GDA0001458941650000143
的合适窗口函数，且
Figure GDA0001458941650000144
是跳跃大小参数。为了简单，还可以将其写为
Figure GDA00014589416500001432
根据
Figure GDA0001458941650000146
将量值
Figure GDA0001458941650000147
和相位谱图
Figure GDA0001458941650000148
导出为：
Figure GDA0001458941650000149
Figure GDA00014589416500001410
其中，
Figure GDA00014589416500001411
假定通过某个合适的源分离过程，估计表示瞬态分量信号的经修改STFT(MSTFT)
Figure GDA00014589416500001412
是可能的。更具体地，设置为
Figure GDA00014589416500001413
其中，
Figure GDA00014589416500001414
和
Figure GDA00014589416500001415
是分别对量值和相位谱图的估计，且运算符⊙表示逐元素乘法。
Figure GDA00014589416500001416
的时域重构是通过以下方式来实现的：首先对每个频谱帧应用逆离散傅立叶变换(DFT)，得到中间时间信号ym，
Figure GDA00014589416500001417
集合，其由以下公式定义：
Figure GDA00014589416500001418
其中，n∈[0：N-1]和ym(n)：＝0，其中，
Figure GDA00014589416500001419
其次，应用最小二乘误差重构法：
Figure GDA00014589416500001420
其中，
Figure GDA00014589416500001421
其中，将分析窗口w重用作合成窗口。为了简单，该过程标记为
Figure GDA00014589416500001422
(参见[8]中的LSEE-MSTFT)。
由于在TF(时间-频率)域中获得了对
Figure GDA00014589416500001431
的估计，不能假定xt是一致信号。实际中，在xt中有可能遇到瞬态模糊和预回声。对于较大的N 尤其如此。为了补救该问题，提出了通过以下过程来迭代求精
Figure GDA00014589416500001423
其中，引入迭代索引
Figure GDA00014589416500001424
并使用给定瞬态位置n0。给定
Figure GDA00014589416500001425
和
Figure GDA00014589416500001426
引入瞬态信号分量的初始MSTFT估计作为
Figure GDA00014589416500001427
且针对
Figure GDA00014589416500001433
来重复以下步骤：
1.经由(5’)和(6’)的
Figure GDA00014589416500001429
2.强制
Figure GDA00014589416500001430
3.经由(2’)和(4’)的
Figure GDA0001458941650000151
4.
Figure GDA0001458941650000152
使用以
Figure GDA0001458941650000153
来指示的分量信号，而不是用
Figure GDA0001458941650000154
来指示的较早描述的瞬态信号，可以更一般地描述图5的实施例。一般而言，针对所有描述的实施例，由下标c指示的信号可以被以上标t指示的相应信号来代替，且反之亦然。下表c表示分量信号，其中上标t表示瞬态信号，其可以是分量信号。无论如何，具有上标t的信号也可以被具有下标 c的(更一般的)信号来代替。参照瞬态信号描述的实施例不限于瞬态信号，且因此可以适用于其他分量信号。例如，
Figure GDA0001458941650000155
可以被
Figure GDA0001458941650000156
所替换，且反之亦然。
因此，将实值的离散时域信号
Figure GDA0001458941650000157
视为与各个源(例如，乐器)相对应的分量信号xc的线性混合
Figure GDA0001458941650000158
如图10a所示，每个分量信号包含由相应乐器(在本示例情况中，通过敲鼓)产生的至少一个瞬态音频事件。此外，假定符号转录(symbolictranscription)可用，其制定了每个音频事件的开始时间(即，瞬态位置)和乐器类型。根据该转录，导出开始事件S的总数以及独特 (unique)乐器C的数目。目的是从如图10所示的混合x中提取单独分量信号xc。为了评估目的，假定使“神谕(oracle)”(即，真) 分量信号xc可用。将x在TF域中分解，为此如下采用STFT。令
Figure GDA00014589416500001516
是在第m个时间帧和第k个频谱区间处的复值TF系数。该系数通过以下公式计算：
Figure GDA0001458941650000159
其中，
Figure GDA00014589416500001510
是具有块大小
Figure GDA00014589416500001511
的合适窗口函数，且
Figure GDA00014589416500001512
是跳跃大小参数。频率区间的数目是K＝N/2，且频谱帧的数目 M∈[1：M]是由可用信号采样来确定的。为了简单，还可以将其写为
Figure GDA00014589416500001517
遵循[2]，将
Figure GDA00014589416500001518
称为一致性STFT，因为其是经由(1)根据实时域信号x来获得的复数的集合。相对地，不一致STFT是以下复数的集合：该复数不是根据实时域信号来获得的。根据
Figure GDA00014589416500001513
将量值
Figure GDA00014589416500001514
和相位谱图
Figure GDA00014589416500001515
导出为：
Figure GDA0001458941650000161
Figure GDA0001458941650000162
其中，
Figure GDA0001458941650000163
令
Figure GDA0001458941650000164
为保存混合的量值谱图
Figure GDA0001458941650000165
的转置版本的非负矩阵。目标是将V分解为如图10b所示的与不同乐器相对应的分量量值谱图 Vc。暂时地，假定某个神谕估计器提取了所需
Figure GDA0001458941650000166
稍后将描述使用最新分解技术来估计分量量值的一种可能方案。为了重构特定分量信号xc，我们设置
Figure GDA0001458941650000167
其中，
Figure GDA0001458941650000168
和
Figure GDA0001458941650000169
是分量相位谱图的估计。通常的做法是将混合相位信息
Figure GDA00014589416500001610
用作对
Figure GDA00014589416500001611
的估计，并经由来自[1]的LSEE-MSTFT重构方法对作为结果的MSTFT求逆。该方法首先对
Figure GDA00014589416500001612
中的每个频谱帧应用逆离散傅立叶变换(DFT)，得到中间时间信号集合ym，其中，m∈[0：M-1]，其由以下公式定义：
Figure GDA00014589416500001613
其中n∈[0：N-1]和
Figure GDA00014589416500001614
其次，通过以下方式来实现最小二乘误差重构：
Figure GDA00014589416500001615
其中，
Figure GDA00014589416500001616
其中，将分析窗口w重用作合成窗口。为了简单，该过程标记为
Figure GDA00014589416500001617
(参见[1]中的LSEE-MSTFT)。
由于在TF域中重构
Figure GDA00014589416500001618
必须假定其可以是STFT，即可能不存在满足
Figure GDA00014589416500001619
的实时域信号xc。从直觉上来说，一旦修改了特定TF区间中的量值，量值和相位之间的复相互作用(complex interplay)就有可能被破坏。在实践中，该不一致性可能导致xc中的瞬态模糊和预回声，特别是对于大的N。
为了补救该问题，提出了通过对LSEE-MSTFTM过程[1]的以下扩展来迭代式最小化
Figure GDA00014589416500001620
的不一致性。暂时地，可以假定
Figure GDA00014589416500001621
精确包含一个瞬态开始事件，其在时间中的精确位置n0是已知的。现在，引入迭代索引
Figure GDA00014589416500001622
给定Ac和某个初始相位估计
Figure GDA00014589416500001623
引入目标分量信号的初始STFT估计
Figure GDA0001458941650000171
且针对
Figure GDA0001458941650000178
来重复以下步骤。
1.通过(4)和(5)
Figure GDA00014589416500001429
2.强制
Figure GDA00014589416500001430
3.通过(1)和(3)
Figure GDA0001458941650000151
4.
Figure GDA0001458941650000152
根据实施例，所述方法、编码器或解码器的有利点是中间步骤2，其在LSEE-MSTFTM过程中强制执行了瞬态约束。
图6a～d示出了根据实施例的瞬态恢复的示意图，其指示了时域信号46、分析信号包络48和瞬态位置50。图6示出了所提出的方法或装置，其中，目标分量信号46与图6a中的其分析信号48的包络重叠。当波形从静默转换到指数衰减的正弦曲线或正弦波时，示例信号在n050附近呈现出瞬态行为或瞬态信号分量。图6b示出了根据iSTFT (其中，
Figure GDA0001458941650000177
)所获得的时域重构(即，对于所有TF区间的零相位)。通过重叠帧的破坏性干扰，完全破坏了瞬态，强烈减少了正弦曲线的幅度且包络看起来接近平坦。图6c示出了在L＝200次 LSEE-MSTFTM迭代之后表现出瞬态模糊的重构。图6d示出了在所提出的方法的L＝200次迭代之后所回复的瞬态更接近原始信号得多。在 n。前方的包络中小的波纹可见，但是整体恢复更接近原始信号得多。在真实世界录音中，在信号中通常存在多个瞬态开始事件。在该情况下，可以如图9所示对在连续瞬态(相应的开始)之间本地化的信号摘录(signal excerpts)应用所提出的方法。
图7示出了根据另一实施例的装置2的示意框图。类似于图4，相位计算器在频域中执行相位计算。频域处理可以等于参照图5所示实施例来描述的时域处理。同样地，可以使用STFT(执行器)42对时域信号4进行时间-频率变换，以导出频域帧序列12。其中，经修改量值估计器44’可以根据频域帧序列12来导出经修改量值44。初始相位估计器18’可以根据频域帧序列来导出初始相位估计18，或者其可以提供例如任意的初始相位估计。使用经修改量值估计和初始相位估计，MSTFT 12’计算或确定初始频域帧序列12”，其将接受每个迭代步骤之后的经更新相位值。不同于图5的实施例的是相位计算器8中的(初始)频域帧序列12”。基于时域合成和分析窗口，例如在图5 中ISTFT 22或STFT 26中使用的合成和分析窗口，卷积核计算器52’可以使用合成和分析窗口的频域表示来计算卷积核52。卷积核通过在ISTFT 22中使用重叠和相加将当前频域帧的邻居或相邻帧的将于当前帧重叠的部分切除(片除或使用)。核移位计算器54’可以计算移位核 52，并对相邻频域帧的部分应用移位核52，以将这些部分移位到当前频域帧的正确重叠位置处。这可以对ISTFT 22的重叠和相加过程的重叠操作进行仿真。此外，块56执行重叠和相加过程中的加法并将相邻帧的重叠部分加到中心帧时段(period)上。卷积核计算和应用、移位核计算和应用、以及块56中的加法可以在卷积处理器40中执行。卷积处理器40的输出可以是频域帧序列12或初始频域帧序列12”的中间频域重构28’。可以使用卷积将中间频域重构28’与目标包络14 的频域表示进行(逐帧)卷积。卷积34的输出可以是具有相位值10 的另一频域帧序列32’。在另一迭代步骤中的MSTFT 12’中，相位值 10取代了初始相位估计18。可以使用迭代处理器15来执行该迭代L 次。在停止迭代过程之后，或者在迭代过程内的特定时间点上，可以从卷积处理器40导出最终频域重构28”’。最终频域重构28”’可以是最近迭代步骤的中间频域重构28’。通过使用频率至时间转换器38 (例如，ISTFT)，可以获得时域重构28”，其可以是经处理的音频信号6。
换言之，在LSEE-MSTFTM迭代中应用中间步骤是有利的。其可以在再次计算STFT以获得相位的经更新的估计
Figure GDA0001458941650000181
之前强制瞬态之前的所有样本为零。还可以在TF域中直接强制执行该约束。因此，设置某种先决条件可以是有利的。首先，对(6)的分母中的经时间移位和平方的和进行归一化可以通过对w和H强加某些约束来省略(例如，使用对称Hann窗口并要求冗余Q＝N/H为基数(radix)4[2])。每帧的独特(取决于共轭)频谱区间的数目是K＝N/2，且针对k∈[-K：K] 来评估频率自变量(frequency argument)。暂时关注单个频谱帧，在TF域中可以将再次连续应用iSTFT和STFT的操作表达为来自在先和后续帧的加权频谱贡献的叠加。仅需要考虑与中心帧重叠的帧。这是通过邻居帧索引q∈[-(Q-1)：(Q-1)]来表达的。构造两个TF核，第一个是卷积核
Figure GDA0001458941650000191
其捕捉合成窗口与经截断和经时间移位版本的分析窗口的逐元素乘积的DFT。第二个核是乘法核
β(q，k)：＝exp(2πik(-q/Q))， (8’)
需要其用于将来自邻居帧的贡献移位到中心帧内的正确位置。连续对每个TF区间应用上述核
Figure GDA0001458941650000192
现在所提出的瞬态恢复可以用直观的方式被第二卷积操作所包括，该第二卷积操作仅需要被应用于n0所处的帧。可以根据恰当移位的 Heavyside函数的STFT来逐帧获取相应卷积核。
Figure GDA0001458941650000193
注意：除了使用该阶梯形函数(step shaped function)之外，还提出了使用具有任意形状包络的时域幅度包络信号的STFT。据称可以通过在时域中的恰当信号调制、TF域中的相应卷积来强加各种重构约束。
如[4]中所示，可以通过将卷积核截断为较小数量的中心系数来减少应用频域运算符的计算负荷。这受到了以下观察的启发式激励：大多数显著的系数位于k＝0附近。试验已经表明：如果在频率方向上将α截断至k∈[-3：+3]，TF重构依然非常接近时域重构。此外，如果恰当选择窗口函数，则α是厄米特式(Hermitian)的。基于这些共轭复对称性，可以节省复乘法以及因此节省处理能力。此外，没必要考虑每个频率区间的相位更新。相反，可以选择区间中呈现出最高量值的部分，并仅对它们应用(9’)，因为它们将主宰重构。如将要示出的，针对相位信息的第一个合理猜测将帮助加速重构的收敛。
为了评估，针对
Figure GDA0001458941650000201
在两个不同的初始化策略的情况下，将传统LSEE-MSTFTM(称为GL)与所提出的方法(称为TF)进行比较。以下，描述所使用的数据集、测试项生成、和所使用的评估度量。
在所有试验中，使用公开可用的“IDMT-SMT-Drums”数据集。在“WaveDrum02”子集中，存在60个鼓循环，假定每个都是三种乐器(踢鼓、小鼓和踩镲)的完美隔离的单轨道录音(即，神谕分量信号)。全部3x60个录音具有44∶1kHz采样率、16比特、单声道的未压缩PCMWAV 格式。将全部三个单轨道混合在一起，获得60个混合信号。附加地，针对单个乐器，开始时间可用，且因此所有开始的近似n0可用。使用该信息，通过从混合中获取摘录来构造具有4421个鼓开始事件的测试集，每个鼓事件位于目标乐器的连续开始之间。在这样做时，对每个摘录之前的N个样本进行零填充。其理论基础是在局部瞬态位置的前方有意地前接一段静默。在该段内，可以排除在先音符开始的衰减影响，且可以测量潜在发生的预回声。进而，这导致了将局部瞬态位置虚拟移位到n0+N(为了标注方便其再次被标记为n0)。
图8示出了一段或一帧音频信号或测试项目的示意时域图。图8 示出了混合信号61a、目标踩镲信号61b、与瞬态恢复61d相比的使用 LSEE-MSTFTM的重构61c，它们都是在针对每个开始摘录60应用200 次迭代之后获得的，其是例如在虚线60’和60”之间的段。混合信号 61a清楚地呈现出踢鼓和小鼓对目标踩镲信号61b的影响。
图9a～c示出了示例鼓循环的不同踩镲分量信号的示意图。瞬态位置n062由实线来指示，其中，摘录边界60’和60”由虚线来指示。图9a示出了上面的混合信号对下面的神谕踩镲信号。图9b示出了根据具有神谕量值和零相位时段的初始化所获得的踩镲信号。在图9b 的上部示出了GL的L等于200次迭代之后的重构，图9b的下部示出了TR的L等于200次迭代之后的重构。图9c示出了根据在零相位基于NMFD的处理中具有基于NMFD的量值的初始化来获得踩镲信号，其将参考图12～14(的说明书)来描述。在图9c的上部呈现了GL的L 等于200次迭代之后的重构对图9c的下部示出了TR的L等于200次迭代之后的重构。由于分解非常适用于示例鼓循环，在图9b和图9c 中几乎没有值得注意的视觉差异。
图10示出了信号的示意说明图。图10a指示了作为c＝3个分量信号xc的混合信号x64a，每个分量信号xc包含合成鼓声音样本序列，例如来自Roland TR808鼓机。x164a”’指示了踢鼓，x264a”指示了小鼓，且x364a’指示了踩镲。图10b示出了混合的量值谱图V和c＝3 个分量亮度谱图Vc的时间-频率表示。为了更好的可见性，将频率轴重新采样为对数间隔，且对量值进行了对数压缩。此外，用附图标记 64b来指示信号64a的时间-频率表示。此外，在图9中，用虚线使经调整的摘录边界可视化，且用实线使虚拟移位n0可视化。由于鼓循环是真实节奏，因此摘录表现出与同时弹奏的其余鼓乐器的变化叠加程度。在图9a中，混合(上方)呈现出与经隔离踩镲信号(下方)相比对踢鼓的显著影响。为了比较，图10a中两个上方的图示出了所使用示例信号的混合x和踩镲分量x3的放大版本。在下方的图中，可以看到隔离中的踢鼓x1。其是根据例如Roland TR 808鼓计算机来采样的，且类似于衰减的正弦曲线。
在下文中，将示出针对不同测试场景的评估图，其中，使用用于初始化MSTFT的两个测试情况。情况1使用初始相位估计
Figure GDA0001458941650000211
和固定量值估计
Figure GDA0001458941650000212
根据瞬态标注，情况1使用初始相位估计
Figure GDA0001458941650000213
和固定量值估计
Figure GDA0001458941650000214
换言之，经分离信号或部分信号的相位信息取自混合音频信号的相位，而不是例如该经分离信号或部分信号的相位。此外，情况2使用初始相位估计
Figure GDA0001458941650000215
和固定量值估计
Figure GDA0001458941650000216
根据瞬态标注，情况2使用初始相位估计
Figure GDA0001458941650000217
和固定量值估计
Figure GDA0001458941650000218
本文中，即使可能获得图6b 中所示效果，也使用(任意)值0来初始化初始相位估计。此外，两个测试情况都使用音频信号的经分离或部分信号的幅度值。同样地，可以看到标注是相互适用的。
引入
Figure GDA0001458941650000219
以表示在
Figure GDA00014589416500002110
上对iSTFT和STFT (核心至LSEE-MSTFTM算法)的连续应用。遵循[10]，在每个迭代
Figure GDA00014589416500002111
将归一化一致性度量(NCM)计算为
Figure GDA0001458941650000221
对上述两个测试情况都这样。作为用于瞬态恢复的更专用的度量，将预回声能量计算为
Figure GDA0001458941650000222
针对两种测试情况，其来自中间时域分量信号重构
Figure GDA0001458941650000223
中在摘录开始和瞬态位置之间的段。
图11a示出了归一化一致性度量对迭代数目的演进。图11b示出了预回声能量对迭代数目的演进。曲线示出了平均整体测试摘录。此外，使用GL算法导出的结果由虚线来指示，其中，根据TR算法导出的结果通过使用实线来指示。此外，情况1的初始化用附图标记66a、 66a’来指示，其中使用情况2的初始化导出的曲线用附图标记66b、 66b’来指示。图11的曲线是通过经由(1)(其中，h＝1024且n＝4096) 计算每个混合摘录的STFT来导出的且将它们标记为
Figure GDA0001458941650000224
作为参考目标，这次从每个单独鼓乐器的单个轨道获取相同摘录，且应用相同的零填充，将作为结果的STFT标记为
Figure GDA0001458941650000225
相应分量信号是
Figure GDA0001458941650000226
使用LSEE-MSTFTM(GL)和所提出的方法或装置(TF)的L＝200次迭代。
在图11中示出了关于
Figure GDA0001458941650000229
的来自(11)和(12)的两个质量度量的演进。图(a)指示了：平均上，所提出的方法(TR)在不一致性减少方面与LSEE-MSTFTM(GL)执行的一样好。在两个测试情况下，可以观察到用于TR(实线)和GL(虚线)的度量的相同相对行为。如预期的，曲线66a、66a’(情况1)与曲线66b、66b’(情况2)相比以远低得多的初始不一致性开始，这明显是由于用混合相位
Figure GDA0001458941650000228
来初始化。图11b示出了用于预回声减少的TR的好处。在两个测试情况中，TR 度量66a 66b(实线)与GL度量(虚线)相比呈现出低了约20dB的预回声能量。同样地，与情况266b、66b’相比，情况166a、66a’的更一致的初始(χt)(0)在预回声减少方面可以呈现出先拔头筹。令人惊讶的是，针对L＞100，对情况2所应用的所提出的TR处理在预回声减少方面的性能稍微超过了对情况1应用的GL的性能。根据这些结果，可以推断出：在合理初始相位和量值估计可用的场景中，仅应用所提出的方法的几个迭代(例如，L＜20)是足够的。然而，在良好量值估计结合较弱相位估计的情况下，可以应用更多的迭代(例如， L＜200)，且反之亦然可用。在图8中，示出了来自测试情况2的一个测试项目的不同版本的段。与使用LSEE-MSTFTM 61c的重构相比， TR重构61d清楚地呈现出减少的预回声。针对上文示出了参考踩镲信号61b和混合信号61a。
然而，使用如下描述的不同跳跃大小和不同窗口长度来导出了以下数字。
对于每个混合摘录，经由(1)来计算STFT，其中H＝512且N＝ 2048，且将STFT标记为
Figure GDA0001458941650000231
由于所有测试项目具有44∶1kHz采样率，则频率分辨率是大约21，5Hz且时间分辨率是大约11，6ms。针对w使用大小为N的对称Hann窗口。作为参考目标，但是这次从每个单独鼓乐器的单个轨道获取相同摘录边界，且应用相同的零填充，将作为结果的STFT标记为
Figure GDA0001458941650000232
随后，如上面详细描述的那样定义用于
Figure GDA0001458941650000233
的初始化的两种不同情况。使用这些设置，与情况2相比，在情况1中预期作为结果
Figure GDA0001458941650000234
的不一致性较低。在了解到存在一致
Figure GDA0001458941650000235
的情况下，都经过了LSEE-MSTFTM(GL)和所提出的方法或装置(TR) 的L＝200次迭代。
图12a示出了归一化一致性度量对迭代数目的演进的示意图。图 12b示出了预回声能量对迭代数目的演进。曲线示出了所有测试摘录的平均。换言之，图12示出了关于
Figure GDA0001458941650000236
的来自(6)和(7)的两个质量度量的演进。图12a指示了：平均上，所提出的方法(TR)在不一致性减少方面与LSEE-MSTFTM(GL)执行的一样好。在这两个测试情况中，TR(实线)和GL(虚线)的曲线几乎是不可区分的，这表明新的方案(意味着方法或装置)表现出与原方法详细的收敛性质。如预期的，曲线66a、66a’(情况1)与曲线66b、66b’(情况2)相比以远低得多的初始不一致性开始，这明显是由于用混合相位
Figure GDA0001458941650000241
来初始化。图12b示出了用于预回声减少的TR的好处。在这两个测试情况下，与 GL(虚线)相比，TR(实线)的预回声能量低约15dB且在前几个迭代期间表现出更陡峭的降低。同样地，与情况2 66b、66b’相比，情况1 66a、66a’的更一致的初始
Figure GDA0001458941650000242
在预回声减少方面呈现出先拔头筹。根据这些结果，推断出：在合理初始相位和量值估计可用的场景中，仅应用所提出的方法的几个迭代(例如，L＜20)是足够的。然而，在良好量值估计结合较弱相位估计的情况下，应用更多的迭代(例如，L＜200)可以是有利的，且反之亦然。
以下将描述在得分通知音频分解场景中如何应用所提出的瞬态恢复方法或装置。目的是从多音色鼓录音中提取隔离的鼓声，且增强瞬态保存。相对于之前使用的理想化实验室条件，估计来自混合的分量信号的量值谱图。为此，可以采用NMFD(非负矩阵因子反卷积 (deconvolution))[3，4]作为分解技术。实施例描述了用于针对NMFD 强制执行得分通知约束的策略。最终，在这些更现实的条件下重复试验并讨论观察结果。
下文中，简要描述为了分解x的TF表示所采用的NMFD方法。如已经指示的，存在各种备选分离方案。之前的工作[3，4]成功地将NMFD (NMF的卷积性(convolutive)版本)应用于鼓声分离。从直觉上说，底层的卷积性或卷积模型假定可以通过担当针对某个与开始相关的激活(例如，打击特定鼓)的脉冲响应的原型事件来解释分量信号之一中的所有音频事件。在图10b中，可以在踩镲分量V3中看到该类型的行为。此处，8个开始事件的所有实例看起来或多或少像是彼此的副本，其可以通过在每个开始位置处插入原型来解释。
NMF可以用于计算因式分解V≈W·H，其中，
Figure GDA0001458941650000243
的列表示频谱基函数(也被称为模板)且
Figure GDA0001458941650000244
的行包含时间变化增益(也被称为激活)。NMFD通过使用二维模板将该模型扩展至卷积性情况，使得C个频谱基中的每一个可被解释为包含T＜＜M个频谱帧的量值谱图。为此，将卷积性谱图近似V≈Λ建模为：
Figure GDA0001458941650000251
其中
Figure GDA0001458941650000252
表示帧移位运算符。与之前一样，
Figure GDA0001458941650000253
中的每一列表示特定分量的频谱基，而这次Wτ的T个不同版本可用。通过将来自所有版本的Wτ的特定列串接，可以获得如图13所示的原型量值谱图。NMFD通常开始于对矩阵(Wτ)(0)和(H)(0)的合适初始化。随后，对这些矩阵迭代更新，以最小化卷积性近似Λ和V之间的合适距离度量。
图13示出了根据图10的示例鼓录音来计算的NMFD模板和激活。在右下图中示出了量值谱图V。在这些图中的左侧三幅图是经由NMFD 提取的Wτ中的频谱模板。其对应激活78和得分通知初始化70b(H)(0)在上面三幅图中示出。
对(Wτ)(0)和(H)(0)的正确初始化是约束NMFD迭代中的自由度且强制收敛到所需的在音乐方面有意义的解的有效手段。一种可能性是强加根据时间对准的符号转录所导出的分数通知约束。为此，如下初始化 (H)(0)的各行。用具有单位幅度的脉冲来初始化与相应鼓乐器的开始相对应的每一帧，所有剩余帧用小常数来初始化。之后，应用非线性指数运动平均滤波器，以对鼓事件的典型短衰减进行建模。该初始化的结果70被示出为图13的上面三幅图中的曲线70b。
最佳分离结果可以通过对模板和激活的分数通知初始化来获得。对于有音高(pitched)的乐器(例如钢琴)的分离，可以在(Wτ)(0)中构造原型泛音(overtone)系列。对于鼓，难以对原型频谱基进行建模。从而，已提出了用经隔离的鼓声的经平均或经因式分解的谱图来初始化基[21，22，4]。然而，使用简单的备选方案，其首先计算传统 NMF，其激活H和模板W是通过得分通知的(H)(0)并设置(W)(0)：＝1来初始化的。
在采用这些设置的情况下，作为结果的因式分解模板通常是对每个所涉及的鼓乐器的平均频谱的相当不错的近似。针对所有τ＝[0：T-1]简单地复制这些频谱被用作对模板谱图的良好初始化。在一些NMFD迭代之后，每个模板谱图通常对应于相应鼓乐器的原型谱图，且每个激活函数对应于在录音中该特定鼓乐器的所有出现的反卷积激活。在图13中示出了典型的分解结果，其中，可以看到所提取的模板 (最左侧的三幅图)确实类似于V中开始事件的原型版本(右下图)。此外，所提取的H 70a的脉冲的位置(最上面三幅图)非常接近得分通知的初始化的极大值。
在下文中，描述了如何进一步处理NMFD结果，以提取所需的分量。令
Figure GDA0001458941650000262
为通过NMFD了解到的激活矩阵。然后，对于每个c∈[1：C]，通过将除了包含之前经由NMFD找到的所需激活在内的第c行之外的所有元素设置为零来定义矩阵
Figure GDA0001458941650000263
第c个分量量值谱图是由
Figure GDA0001458941650000264
来近似的。由于NMFD模型仅得到了V的低秩近似，可能并未很好地捕捉到频谱细微差异。为了补救该问题，通常的做法是计算软掩码，其可以被解释为反映了Λc对混合V的贡献的加权矩阵。与所需分量相对应的该掩码可被计算为
Figure GDA0001458941650000265
其中，
Figure GDA0001458941650000266
表示逐元素除法且∈是用于避免被零除的小的正的常数。对分量量值谱图的基于掩码的估计是作为Vc：＝V⊙Mc来获得的，且⊙表示逐元素乘法。该过程也经常被称为Wiener滤波。
下文中，基本上重复图12a、b的之前试验。保持与较早示例中使用的相同的STFT参数和摘录边界。然而这次分量量值谱图不是根据神谕分量信号导出的，而是使用30个NMFD迭代从混合中提取的。因此，引入两个新的测试情况。测试情况3 66c、66c’使用初始相位估计
Figure GDA0001458941650000267
和固定量值估计
Figure GDA0001458941650000268
其中，测试情况4 66d使用初始相位估计
Figure GDA0001458941650000269
和固定量值估计
Figure GDA00014589416500002610
图14a示出了归一化一致性度量对迭代数目的演进。图14b示出了预回声能量对迭代数目的演进。曲线示出了平均整体测试摘录，轴线限制与图12一样。此外，在图14a中，使用TR重构66c、66d(实线)所获得的不一致性减少与GL方法66c’、66d’(虚线)不可区分。该改进相比于在使用神谕量值估计(比较图12a)时可以获得的数目来说较不明显。平均上，情况3 66c、66c’中的重构(以
Figure GDA0001458941650000271
来初始化) 看起来很快卡在了局部最优处。据推测，这是由于对与开始相关的谱图帧的不完美NMFD分解所造成的，其中，所有预期表现出或多或少的平坦量值分布且从而示出了增加的频谱间隙。
在图14b中，在采用基于NMFD的量值估计
Figure GDA0001458941650000272
和零相位(情况4，图66d、66d’)的情况下的预回声减少比在情况2(比较图12b) 稍微糟糕一些。这支持了早先的发现：弱的初始相位估计最受益于应用所提出的方法的很多次迭代。使用
Figure GDA0001458941650000273
的GL重构(情况3，图66c、 66c’)随着迭代稍微增加了预回声能量。相对地，应用TR重构得到了良好的改进。
在图9中，详细示出了对来自示例鼓循环的所选择踩镲开始的不同重构。不管使用的量值估计(图9b中的神谕或图9c中的基于NMFD) 如何，所提出的TR重构(下方)清楚地呈现出与传统GL重构(上方) 相比减少的预回声。通过非正式的听力测试(优选地使用头戴式耳机)，可以清楚地指出在开始清楚性方面的差异，这可以通过使用MSTFT初始化和重构方法的不同组合来实现。即使在不完美量值分解导致单个分量信号中不需要的串扰伪像的情况中，根据实施例的TR方法也比传统GL重构更好地保存了瞬态特性。此外，将混合相位用于MSTFT初始化看起来是良好的选择，因为经常可以注意到在鼓事件的衰减相位的重构中与参与信号相比的微妙差异。然而，由不完美量值分解所引起的音色差异要远远显著的多。
实施例示出了对Griffin和Lim的迭代LSEE-MSTFTM过程的高效扩展，用于改进音乐源分离中对瞬态信号分量的恢复。装置、编码器、解码器或方法使用了与瞬态的位置有关的附加边信息(side information)，该附加边信息可以在通知源分离场景中给出。
根据其他实施例，示出了对Griffin和Lim的迭代LSEE-MSTFTM 过程的高效扩展，用于改进音乐源分离中对瞬态信号分量的恢复。方法或装置使用了与瞬态的位置有关的附加边信息，该附加边信息假定在通知源分离场景中给出。针对公共可用的“IDMTSMT-Drums”数据集的两个试验表明：根据实施例的方法、编码器或解码器有益于减少在实验室条件下的预回声以及有益于减少针对使用现有技术的源分离技术而获得的分量信号的预回声。
根据实施例，改进了在音乐源分离的上下文中提取的瞬态信号分量的感知质量。很多现有技术基于对混合信号的量值短时傅立叶变换 (STFT)应用合适的分解。用于重构单独分量信号的相位信息通常取自混合，导致复值的经修改STFT(MSTFT)。存在用于重构时域信号的不同方法，该时域信号的STFT近似于目标MSTFT。由于相位不一致性，这些经重构的信号有可能包含诸如在瞬态分量之前的预回声之类的伪像。实施例示出了对Griffin和Lim的迭代信号重构过程的扩展，以补救该问题。使用公共可用测试集的仔细设计的试验表明该方法或装置相当程度地减弱了预回声，同时依然表现出与原始方案相似的收敛性质。
在另一试验中，示出了该方法或装置相当程度地减弱了预回声，同时依然表现出与Griffin和Lim的原始方案相似的收敛性质。涉及得分通知的音频分解的第三试验也表明了改进。
以下附图将涉及与装置2有关的其他实施例。
图15示出了用于对音频信号4进行编码的音频编码器100。音频编码器包括音频信号处理器和包络确定器。音频信号处理器102被配置用于对时域音频信号进行编码，使得经编码的音频信号108包括该时域音频信号的频域帧序列的表示和目标时域包络106的表示。包络确定器被配置用于根据该时域音频信号来确定包络，其中，包络确定器还被配置为比较该包络与预定包络集合，以基于该比较来确定目标时域包络的表示。包络可以是音频信号的一部分的时域包络，例如音频信号的帧或另一部分的包络。此外，可以向音频信号处理器提供包络，该音频信号处理器可以被配置为在经编码的音频信号中包括该包络。
换言之，可以通过确定包络，例如音频信号的一部分(例如，帧) 的时域包络，将(标准)音频编码器扩展为音频编码器100。可以将所导出的包络与码本或查找表中的一组或多个预定时域包络进行比较。可以使用例如一定数目的比特对最佳拟合预定包络的位置进行编码。因此，可以使用四个比特对例如16个不同预定时域包络进行寻址，可以使用五个比特对例如32个不同预定时域包络进行寻址，或取决于不同的预定时域包络的数目而使用任何其他数目的比特。
图16示出了包括装置2和输入接口112在内的音频解码器110。输入接口112可以接收经编码的音频信号。经编码的信号可以包括频域帧序列的表示和目标时域包络的表示。
换言之，解码器110可以从例如编码器100接收经编码的音频信号。输入接口112或装置2或另一手段可以提取目标时域包络14或其表示，例如指示查找表或码本中的目标时域包络的位置的比特序列。此外，装置2可以通过例如调整经编码的音频信号的受破坏相位且依然具有未被破坏的量值对经编码的音频信号108进行解码，或者该装置可以校正经解码音频信号的相位值，例如来自解码单元，其充分或甚至完美的对经编码的音频信号的频谱量值进行了解码，且该装置还调整经解码音频信号的相位(该相位可能被解码单元所破坏)。
图17示出了包括频域帧序列12的表示和目标时域包络14的表示在内的音频信号114。时域音频信号12的频域帧序列的表示可以是根据标准音频编码方案的经编码的音频信号。此外，目标时域包络14 的表示可以是目标时域包络的比特表示。该比特表示可以是例如使用对目标时域包络的采样和量化来导出的，或者是通过进一步数字化方法来导出的。此外，目标时域包络14的表示可以是例如由一定数量的比特来指示或编码的码本或查找表的索引。
图18示出了根据实施例的音频源分离处理器116的示意框图。音频源分离处理器116包括装置2和频谱遮蔽器118。频谱遮蔽器可以遮蔽原始音频信号4的频谱，以导出经修改的音频信号120。与原始音频信号4相比，经修改的音频信号120可以包括减少数目的频带或时间频率区间。此外，经修改的音频信号可以仅包括音频信号4的一个源或一个乐器或一个(人类)说话者，其中，隐藏或遮蔽掉其他源、说话者或乐器的频率贡献。然而，由于经修改的音频信号120的量值可以与(所需的)经处理的音频信号6的量值匹配，因此经修改的音频信号的相位值可能受到破坏。因此，装置2可以将经修改的音频信号的相位值相对于目标时域包络14来加以校正。
图19示出了根据实施例的带宽增强处理器122的示意框图。带宽增强处理器122被配置为用于处理经编码的音频信号124。此外，带宽增强处理器122包括增强处理器126和装置2。增强处理器126被配置为根据经编码的信号中包括的音频信号频带来生成增强信号127，以及其中，增强处理器126被配置为从经编码的信号122中包括的经编码的表示中提取目标时域包络14，或者从经编码的信号中包括的音频信号频带中提取目标时域包络。此外，装置2可以使用目标时域包络来处理增强信号126。
换言之，增强处理器126可以对音频信号频带进行核心编码，或者接收经编码的音频信号的经核心编码的音频信号。此外，增强处理器126可以使用例如经编码的音频信号和音频信号的经核心编码部分的示例参数来计算音频信号的其他频带。此外，目标时域包络14可以存在于经编码的音频信号124中，或者增强处理器可以被配置为根据音频信号的基带部分来计算目标时域包络。
图20示出了频谱的示意表示图。按比例因子频带SCB来细分频谱，其中在图20所示示例中存在七个比例因子频带SCB1至SCB7。比例因子频带可以是在AAC标准中定义的AAC比例因子频带，并且对于上部频率具有增加的带宽，如图20所示意性示出的。优选地，不是从频谱的一开始(即在低频率处)执行智能间隙填充，而是在309处所示的 IGF起始频率处开始IGF操作。因此，核心频带从最低频率延伸到IGF 起始频率。在IGF起始频率之上，应用频谱分析以从由具有第二频谱部分的第二集合所表示的低分辨率分量中分离出高分辨率频谱分量 304、305、306、307(具有第一频谱部分的第一集合)。图20示出了被示例性输入到增强处理器126中的频谱，即，核心编码器可以在全范围中操作，但是编码了大量的零频谱值，即这些零频谱值在量化之前或在量化之后被量化为零或被设置为零。无论如何，核心编码器在全范围中操作，即，就好像频谱将如图所示一样，即，核心解码器不必意识到对具有较低的频谱分辨率的第二频谱部分的第二集合的任何智能间隙填充或编码。
优选地，高分辨率由诸如MDCT线之类的谱线的逐线编码来定义，而第二分辨率或低分辨率通过例如仅计算每个比例因子频带的单个频谱值来定义，其中比例因子频带覆盖若干频率线。因此，就其频谱分辨率而言，第二低分辨率比由核心编码器(例如AAC或USAC核心编码器)通常应用的逐行编码所定义的第一或高分辨率低得多。
由于编码器是核心编码器的这一事实并且由于可以(但不一定必须)存在每个频带中的频谱部分的第一集合的分量的这一事实，核心编码器不仅在低于IGF起始频率309的核心范围内，而且还在高于IGF 起始频率一直到最大频率中计算针对每个频带的比例因子，该最大频率小于或等于采样频率的一半，即，fs/2。因此，图20的经编码音调部分302、304、305、306、307以及在该实施例中与比例因子SCB1 至SCB7一起对应于高分辨率频谱数据。低分辨率频谱数据从IGF起始频率开始计算并且对应于能量信息值E1、E2、E3、E4，它们与比例因子 SF4到SF7一起被发送。
特别地，当核心编码器处于低比特率条件下时，可以另外应用核心频带(即频率比TGF起始频率低，即，比例因子频带SCB1至SCB3) 中的附加的噪声填充操作。在噪声填充中，存在已被量化为零的若干相邻频谱线。在解码器侧，这些被量化为零频谱值的频谱值被重新合成，并且使用噪声填充能量在它们的量值方面调整经重新合成的频谱值。可以以绝对项或以具体地相对于在USAC中的比例因子的相对项给出的噪声填充能量对应于被量化为零的频谱值集合的能量。这些噪声填充频谱线还可以被认为是具有第三频谱部分的第三集合，其通过直接噪声填充合成来再生，而没有依赖于使用来自其它频率的频率拼块(frequency tile)的频率再生的任何IGF操作，该IGF操作用于使用来自源范围的频谱值和能量信息E1、E2、E3、E4来重构频谱拼块。
优选地，计算能量信息所针对的频带与比例因子频带一致。在其它实施例中，应用能量信息值分组，使得例如对于比例因子频带4和 5，仅发送单个能量信息值，但即使在该实施例中，经分组的重构频带的边界也与比例因子频带的边界一致。如果应用不同的频带间隔，则可以应用某些重新计算或同步计算，并且这取决于特定实现而可以是有意义的。
经编码的音频信号124的经核心编码部分或经核心编码频带可以包括音频信号的直到IGF起始频率309的截止频率为止的高分辨表示。在该IGF起始频率309之上，音频信号可以包括例如使用参数化编码以低分辨率来编码的比例因子频带。然而，使用经核心编码的基带部分和例如参数，可以对经编码的音频信号124进行解码。这可以被执行一次或多次。
这可以提供对甚至高于第一截止频率130的量值的良好重构。然而，至少在连续比例因子频带之间的截止频率周围，由于将经核心编码的基带部分填充到高于IGF起始频率309的更高频率，因此经核心编码的基带部分128的最上或最高频率可以与经核心编码的基带部分的最低频率相邻，相位值可能受到破坏。因此，可以向装置2中输入经基带重构的音频信号，以重建经带宽扩展的信号的相位。
此外，带宽增强是适用的，因为经核心编码的基带部分包括与原始音频信号有关的很多信息。这导致以下结论：即使原始音频信号的包络由于音频信号的其他高频分量(其在经核心编码的基带部分中不存在或没有)而更加减弱，经核心编码的基带部分的包络也至少类似于原始音频信号的包络。
图21在上方示出了在第一数目迭代步骤之后的(中间)时域重构的示意表示图，以及在图21的下方示出了在大于第一数目迭代步骤的第二数目迭代步骤之后的(中间)时域重构的示意表示图。相对较高的波纹132由于频域帧序列的相邻帧的不一致性而产生。通常，从时域信号开始，时域信号的STFT的逆STFT再次得到该时域信号。本文中，相邻频域帧在应用STFT之后是一致的，使得逆STFT运算的重叠和相加过程最终得到或揭示原始信号。然而，从具有受破坏相位值的频域开始，相邻频域帧并不一致(即，不一致)，其中，频域信号的 ISTFT的STFT不导致正确或一致的音频信号，如图21的上部所示。然而，在数学上证明了如果对原始量值迭代应用该算法，该算法在每个迭代步骤中减少了波纹132，得到(接近完美)重构的音频信号，如图21的下部所示。本文中，减少了波纹132。换言之，中间时域信号的量值转换为在每个迭代步骤之后频域帧序列的初始量值。必须注意到：在连续合成窗口136之间的跳跃大小0.5是为了方便而选择的，且可以被设置为任何恰当的值，例如0.75。
图22示出了用于处理音频信号以获得经处理的音频信号的方法 2200的示意框图。该方法2200包括以下步骤2205：计算表示音频信号的重叠帧的频域帧序列的频谱值的相位值，其中，基于和与经处理的音频信号有关的目标时域包络相关的信息来计算相位值，使得经处理的音频信号至少近似具有该目标时域包络和由频域帧序列所确定的频谱域包络。
图23示出了音频解码的方法2300的示意框图。方法2300在步骤 2305中包括方法2200，以及在步骤2310中包括：接收经编码的信号，该经编码的信号包括频域帧序列的表示和目标时域包络的表示。
图24示出音频源分离的方法2400的示意框图。方法2400包括用于执行方法2200的步骤2405，以及包括以下步骤2410：遮蔽原始音频信号的频谱，以获得向用于处理的装置中输入的经修改的音频信号，其中，经处理的音频信号是与目标时域包络有关的分离的源信号。
图25示出了对经编码的音频信号进行带宽增强的方法的示意框图。方法2500包括：步骤2505，根据经编码的信号中包括的音频信号频带来生成增强信号；步骤2510，执行方法2200；以及步骤2515，其中，一般操作包括：从经编码的信号中包括的经编码的表示中提取目标时域包络，或者从经编码的信号中包括的音频信号频带中提取目标时域包络。
图26示出了音频编码的方法2600的示意框图。方法2600包括：步骤2605，对时域音频信号进行编码，使得经编码的音频信号包括时域音频信号的频域帧序列的表示和目标时域包络的表示；以及步骤 2610，根据时域音频信号来确定包络，其中，包络确定器还被配置为比较该包络与预定包络集合，以基于该比较来确定目标时域包络的表示。
此外，本发明的实施例涉及以下示例。这可以是用于以下各项的方法、装置或计算机程序：
1)根据时间-频率域表示来迭代重构时域信号，
2)生成针对量值和相位信息的初始估计和时间-频率域表示，
3)在迭代期间对某些信号属性应用中间信号操作，
4)将时间-频率域表示变换回时域，
5)用任意幅度包络来调制中间时域信号，
6)将经调制的时域信号变换回时间-频率域，
7)使用作为结果的相位信息来更新时间-频率域表示，
8)按照时间-频率域过程对逆变换和前向变换的序列进行仿真，该时间-频率域过程向中心帧添加了来自相邻帧的特别卷积和移位的贡献，
9)通过使用截断卷积核并利用对称属性来近似上述过程，
10)通过将所需帧于目标包络的时间-频率表示进行卷积对时域调制进行仿真，
11)以依赖于时间-频率的方式来应用时间-频率域操作，例如仅对所选时间-频率区间应用该操作，或者
12)将上述过程用于感知音频编码、音频源分离、和/或带宽增强。
对根据实施例的装置或方法应用音频分解场景中的多类评估，其中，目的是从多音色鼓录音中提取隔离的鼓声。可以使用公共可用的测试集，其富有所有必要的边信息，例如真实“神谕”分量信号及其精确瞬态位置。在一个试验中，在实验室条件下，使用了所有边信息，以专注于评估所提出的方法或装置对于信号重构中的瞬态保存的好处。在这些理想化条件下，所提出的方法可以相当程度地减弱预回声，同时依然呈现出与原始方法或装置相似的收敛特性。在另一试验中，采用了具有得分通知约束的最新分解技术[3，4]，以根据混合来估计分量信号的STFTM。在这些(更现实)的条件下，所提出的方法依然得到了显著的改进。
应当理解：在本说明书中，线上的信号有时以线的附图标记来命名，或者有时用向这些线分配的他们自己的附图标记来指示。因此，标注使得具有特定信号的线正在指示该信号本身。线可以是硬连线实现中的物理线。然而在计算机化实现中，物理线可能不存在，但是由该线表示的信号是从一个计算模块向另一计算模块发送的。
尽管已在框图的背景(其中，所述块表示真实的或逻辑的硬件组件)下描述了本发明，但本发明也可以实现为计算机实施方法。在后者的情况下，块表示相应方法步骤，其中这些步骤代表由对应逻辑或实体硬件块执行的功能。
虽然已经在装置的上下文中描述了一些方面，但是将清楚的是，这些方面还表示对应方法的描述，其中，块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对相应块或项或者相应装置的特征的描述。可以由(或使用)硬件装置(诸如，微处理器、可编程计算机或电子电路)来执行一些或全部方法步骤。在一些实施例中，可以由这种装置来执行最重要方法步骤中的某一个或多个方法步骤。
本创造性的经发送或编码的信号可以存储在数字存储介质上或可以在诸如无线传输介质或有线传输介质(例如，互联网)的传输介质上传输。
取决于某些实现要求，可以在硬件中或在软件中实现本发明的实施例。可以通过使用其上存储有电子可读控制信号的数字存储介质(例如，软盘、DVD、Blu-Ray、CD、ROM、PROM和EPROM、EEPROM或闪存) 来执行该实现，控制信号与可编程计算机系统合作(或能够与之合作)，使得执行各个方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，该电子可读控制信号能够与可编程计算机系统协作从而执行本文所述的方法之一。
通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的计算机程序，该计算机程序用于执行本文所述的方法之一。
换言之，本创造性方法的实施例因此是具有程序代码的计算机程序，该程序代码用于在计算机程序在计算机上运行时执行本文所述的方法之一。
因此，本创造性方法的另一实施例是数据载体(或诸如数字存储介质或计算机可读介质的非暂时性存储介质)，包含记录于其上的用于执行本文所述方法之一的计算机程序。数据载体、数字存储介质或记录的介质通常是有形的和/或非暂时性的。
因此，本创造性方法的另一实施例是表示用于执行本文所述的方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如被配置为经由数据通信连接(例如，经由互联网)传送。
另一实施例包括处理装置，例如，配置为或适用于执行本文所述的方法之一的计算机或可编程逻辑器件。
另一实施例包括其上安装有计算机程序的计算机，该计算机程序用于执行本文所述的方法之一。
根据本发明的另一实施例包括被配置为向接收机(例如，以电子方式或以光学方式)传输计算机程序的装置或系统，该计算机程序用于执行本文所述的方法之一。接收机可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收机传送计算机程序的文件服务器。
在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列) 可以用于执行本文所述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常，方法优选地由任意硬件装置来执行。
上述实施例对于本发明的原理仅是说明性的。应当理解的是：本文所述的布置和细节的修改和变形对于本领域其他技术人员将是显而易见的。因此，旨在仅由所附专利权利要求的范围来限制而不是由借助对本文的实施例的描述和解释所给出的具体细节来限制。
参考文献
[1]Daniel W.Griffin and JaeS.Lim，“Signal estimation from modifiedshort-time Fourier transform”，IEEE Transactions on Acoustics，Speech andSignal Processing，vol.32，no.2，pp. 236-243，April 1984.
[2]Jonathan Le Roux，Nobutaka Ono，and Shigeki Sagayama，“Explicitconsistency constraints for STFT spectrograms and their application to phasereconstruction”in Proceedings of the ISCA Tutorial and Research Workshop onStatistical And Perceptual Audition，Brisbane，Australia，September 2008，pp. 23-28.
[3]Xinglei Zhu，Gerald T.Beauregard，and Lonce L.Wyse，“Real-time signalestimation from modified short-time Fourier transform magnitude spectra”，IEEETransactions on Audio， Speech，and Language Processing，vol.15，no.5，pp.1645-1653， July 2007.
[4]Jonathan Le Roux，Hirokazu Kameoka，Nobutaka Ono，and ShigekiSagayama，“Phase initialization schemes for faster spectrogram-consistency-based signal reconstruction”in Proceedings of the Acoustical Society of JapanAutumn Meeting， September 2010，number 3-10-3.
[5]Nicolas Sturmel and Laurent Daudet，“Signal reconstruction fromSTFT magnitude：a state of the art”in Proceedings of the InternationalConference on Digital Audio Effects(DAFx)，Paris，France，September 2011，pp.375-386.
[6]
Figure GDA0001458941650000371
Perraudin，Peter Balazs，and Peter L.
Figure GDA0001458941650000372
“Afast Griffin-Lim algorithm”in Proceedings IEEE Workshop on Applications ofSignal Processing to Audio and Acoustics(WASPAA)，New Paltz，NY，USA，October2013，pp.1- 4.
[7]Dennis L.Sun and Julius O.Smith III，“Estimating a signal from amagnitude spectrogram via convex optimization” in Proceedings of the AudioEngineering Society(AES)Convention， San Francisco，USA，October 2012，Preprint8785.
[8]Tomohiko Nakamura and Hiokazu Kameoka，“Fast signal reconstructionfrom magnitude spectrogram of continuous wavelet transform based onspectrogram consistency”in Proceedings of the International Conference onDigital Audio Effects(DAFx)， Erlangen，Germany，September 2014，pp.129-135.
[9]Volker Gnann and Martin Spiertz，“Inversion of shorttime fouriertransform magnitude spectrograms with adaptive window lengths”in Proceedingsof the IEEE International Conference on Acoustics，Speech，and SignalProcessing，(ICASSP)，Taipei，Taiwan，April 2009，pp.325-328.
[10]Jonathan Le Roux，Hirokazu Kameoka，Nobutaka Ono，and ShigekiSagayama，“Fast signal reconstruction from magnitude STFT spectrogram based onspectrogram consistency”in Proceedings International Conference on DigitalAudio Effects (DAFx)，Graz，Austria，September 2010，pp.397-403.

Claims (22)

1.一种用于处理音频信号(4)以获得经处理的音频信号(6)的装置(2)，包括：
相位计算器(8)，用于计算表示所述音频信号(4)的重叠帧的频域帧序列(12)的频谱值的相位值(10)，
其中，所述相位计算器(8)被配置为：基于和与经处理的音频信号(6)有关的目标时域包络(14)相关的信息来计算相位值(10)，使得经处理的音频信号(6)至少具有所述目标时域包络(14)的近似和由所述频域帧序列(12)所确定的频谱包络。
2.根据权利要求1所述的装置(2)，
其中，所述相位计算器(8)包括：
迭代处理器(16)，用于执行迭代算法，以使用要求重叠范围中的重叠块的一致性的优化目标，从初始相位值(18)开始计算所述频谱值的相位值，
其中，所述迭代处理器(16)被配置为：在另一迭代步骤中使用取决于所述目标时域包络(14)的经更新的相位估计(20)。
3.根据权利要求1所述的装置(2)，其中，所述相位计算器(8)被配置为基于所述目标时域包络(14)对音频信号(4)的中间时域重构(28)应用幅度调制。
4.根据权利要求1所述的装置(2)，其中，所述相位计算器(8)被配置为：应用至少一个目标时域包络(14)的频谱表示和至少一个中间频域重构(28')的卷积，或所述音频信号(4)的所述至少一个目标时域包络(14)或者至少一个中间频域重构的所选部分或频带或仅高通部分或仅若干带通部分的卷积。
5.根据权利要求3所述的装置(2)，其中，所述相位计算器(8)包括：
频率至时间转换器(22)，用于根据所述频域帧序列(12)和初始相位值估计(18)或在先迭代步骤的相位值估计(20)来计算所述音频信号(4)的中间时域重构(28)，
幅度调制器(24)，用于使用所述目标时域包络(14)来调制所述中间时域重构(28)，以获得经幅度调制的音频信号(30)，以及
时间至频率转换器(26)，用于将经幅度调制的音频信号(30)转换为具有相位值(10)的另一频域帧序列(32)，以及
其中，所述相位计算器(8)被配置为：针对下一迭代步骤，使用所述频域帧序列(12)的相位值和频谱值。
6.根据权利要求5所述的装置(2)，
其中，所述相位计算器(8)被配置为：当满足迭代确定条件时，输出所述中间时域重构(28)作为经处理的音频信号(6)。
7.根据权利要求4所述的装置(2)，
其中，所述相位计算器(8)包括：
卷积处理器(40)，用于应用卷积核和应用移位核，以及用于将中心帧的相邻帧的重叠部分与所述中心帧相加以获得所述音频信号(4)的中间频域重构(28')。
8.根据权利要求4所述的装置(2)，
其中，所述相位计算器(8)被配置为：使用通过所述卷积(34)获得的相位值(10)作为用于下一迭代步骤的经更新的相位值估计(20)。
9.根据权利要求4所述的装置(2)，
还包括：目标包络转换器(36)，用于将所述目标时域包络(14)转换到频域中。
10.根据权利要求4所述的装置(2)，还包括：
频率至时间转换器(38)，用于使用从最近迭代步骤中获得的相位值估计(10、20)以及所述频域帧序列(12)，根据所述中间频域重构(28'、28”')来计算时域重构(28”)。
11.根据权利要求4所述的装置(2)，
其中，所述相位计算器(8)包括卷积处理器(40)以处理所述频域帧序列(12)，其中，所述卷积处理器(40)被配置为：在频域中对所述频域帧序列(12)应用时域重叠和相加过程，以确定所述中间频域重构。
12.根据权利要求11所述的装置(2)，
其中，所述卷积处理器(40)被配置为：基于当前频域帧来确定在频域中执行了时域重叠和相加之后相邻频域帧中对所述当前频域帧做出贡献的部分，
其中，所述卷积处理器(40)还被配置为：确定所述相邻频域帧的所述部分在所述当前频域帧中的重叠位置，以及执行相邻频域帧的所述部分与所述当前频域帧在所述重叠位置的相加。
13.根据权利要求11所述的装置(2)，其中，所述卷积处理器(40)被配置为：对时域合成和时域分析窗口进行频率至时间变换，以确定在频域中执行了时域重叠和相加之后相邻频域帧中对当前频域帧做出贡献的部分，所述卷积处理器(40)还被配置为：将所述相邻频域帧的位置移至所述当前频域帧内的重叠位置，以及将所述相邻频域帧的所述部分在所述重叠位置处应用于所述当前频域帧。
14.根据权利要求1所述的装置(2)，
其中，所述相位计算器(8)被配置为：根据Griffin和Lim的迭代信号重构过程来执行迭代算法。
15.一种音频解码器(110)，包括：
根据权利要求1所述的装置(2)，以及
输入接口(112)，用于接收经编码的音频信号(108)，所述经编码的音频信号(108)包括频域帧序列(12)的表示和目标时域包络(18)的表示。
16.一种音频源分离处理器(116)，包括：
根据权利要求1所述的用于处理的装置(2)；以及频谱遮蔽器(118)，用于遮蔽原始音频信号的频谱，以获得向用于处理的装置中输入的经修改的音频信号(4)，
其中，经处理的音频信号(6)是与目标时域包络(14)有关的分离的源信号。
17.一种用于处理经编码的音频信号的带宽增强处理器(122)，包括：
增强处理器(126)，用于根据经编码的音频信号中包括的音频信号频带来生成增强信号(127)，以及
根据权利要求1所述的用于处理的装置(2)，
其中，所述增强处理器(126)被配置为从所述经编码的音频信号中包括的经编码的表示中提取目标时域包络(14)或从所述经编码的音频信号中包括的音频信号频带中提取所述目标时域包络(14)。
18.一种用于处理音频信号(4)以获得经处理的音频信号(6)的方法(2200)，包括：
计算表示所述音频信号(4)的重叠帧的频域帧序列(12)的频谱值的相位值，
其中，所述相位值是基于和与经处理的音频信号(6)有关的目标时域包络(14)相关的信息来计算的，使得经处理的音频信号(6)至少具有所述目标时域包络(14)的近似和由所述频域帧序列所确定的频谱包络。
19.一种音频解码的方法(2300)，包括：
根据权利要求18所述的方法；
接收经编码的音频信号(108)，所述经编码的音频信号(108)包括频域帧序列的表示和目标时域包络(14)的表示。
20.一种音频源分离的方法(2400)，包括：
根据权利要求18所述的方法，以及
遮蔽原始音频信号的频谱，以获得输入至根据权利要求19所述的方法中的经修改的音频信号(4)；
其中，经处理的音频信号(6)是与目标时域包络(14)有关的分离的源信号。
21.一种经编码的音频信号的带宽增强的方法(2500)，包括：
根据经编码的音频信号中包括的音频信号频带来生成增强信号；
根据权利要求18所述的方法；
其中，所述生成包括：从所述经编码的音频信号中包括的经编码的表示中提取目标时域包络(14)，或从所述经编码的信号中包括的音频信号频带中提取所述目标时域包络。
22.一种存储有计算机程序的存储介质，所述计算机程序用于在计算机或处理器上运行时执行根据权利要求18至21任一项所述的方法。
CN201680013372.5A 2015-02-26 2016-02-23 用于使用目标时域包络来处理音频信号以获得经处理的音频信号的装置和方法 Active CN107517593B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP15156704.7 2015-02-26
EP15156704 2015-02-26
EP15181118 2015-08-14
EP15181118.9 2015-08-14
PCT/EP2016/053752 WO2016135132A1 (en) 2015-02-26 2016-02-23 Apparatus and method for processing an audio signal to obtain a processed audio signal using a target time-domain envelope

Publications (2)

Publication Number Publication Date
CN107517593A CN107517593A (zh) 2017-12-26
CN107517593B true CN107517593B (zh) 2021-03-12

Family

ID=55409840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680013372.5A Active CN107517593B (zh) 2015-02-26 2016-02-23 用于使用目标时域包络来处理音频信号以获得经处理的音频信号的装置和方法

Country Status (11)

Country Link
US (1) US10373623B2 (zh)
EP (1) EP3262639B1 (zh)
JP (1) JP6668372B2 (zh)
KR (1) KR102125410B1 (zh)
CN (1) CN107517593B (zh)
BR (1) BR112017018145B1 (zh)
CA (1) CA2976864C (zh)
ES (1) ES2837107T3 (zh)
MX (1) MX2017010593A (zh)
RU (1) RU2679254C1 (zh)
WO (1) WO2016135132A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6445417B2 (ja) * 2015-10-30 2018-12-26 日本電信電話株式会社 信号波形推定装置、信号波形推定方法、プログラム
WO2017143095A1 (en) * 2016-02-16 2017-08-24 Red Pill VR, Inc. Real-time adaptive audio source separation
US10224042B2 (en) * 2016-10-31 2019-03-05 Qualcomm Incorporated Encoding of multiple audio signals
EP3382702A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining a predetermined characteristic related to an artificial bandwidth limitation processing of an audio signal
EP3382700A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for post-processing an audio signal using a transient location detection
EP3382701A1 (en) 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for post-processing an audio signal using prediction based shaping
EP3457401A1 (en) * 2017-09-18 2019-03-20 Thomson Licensing Method for modifying a style of an audio object, and corresponding electronic device, computer readable program products and computer readable storage medium
US11282535B2 (en) * 2017-10-25 2022-03-22 Samsung Electronics Co., Ltd. Electronic device and a controlling method thereof
EP3550561A1 (en) * 2018-04-06 2019-10-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downmixer, audio encoder, method and computer program applying a phase value to a magnitude value
US10529349B2 (en) * 2018-04-16 2020-01-07 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for end-to-end speech separation with unfolded iterative phase reconstruction
EP3576088A1 (en) * 2018-05-30 2019-12-04 Fraunhofer Gesellschaft zur Förderung der Angewand Audio similarity evaluator, audio encoder, methods and computer program
US20210315021A1 (en) * 2018-08-20 2021-10-07 Telefonaktiebolaget Lm Ericsson (Publ) Physical Random Access Channel Signal Generation Optimization for 5G New Radio
WO2020094263A1 (en) 2018-11-05 2020-05-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and audio signal processor, for providing a processed audio signal representation, audio decoder, audio encoder, methods and computer programs
US10659099B1 (en) * 2018-12-12 2020-05-19 Samsung Electronics Co., Ltd. Page scanning devices, computer-readable media, and methods for bluetooth page scanning using a wideband receiver
EP3671741A1 (en) * 2018-12-21 2020-06-24 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Audio processor and method for generating a frequency-enhanced audio signal using pulse processing
US11456007B2 (en) * 2019-01-11 2022-09-27 Samsung Electronics Co., Ltd End-to-end multi-task denoising for joint signal distortion ratio (SDR) and perceptual evaluation of speech quality (PESQ) optimization
CN109753943B (zh) * 2019-01-14 2023-09-19 沈阳化工大学 一种自适应分配变模态分解方法
CN110411439B (zh) * 2019-07-15 2021-07-09 北京控制工程研究所 一种根据星能量等级生成仿真星点的方法、装置及介质
KR102294639B1 (ko) * 2019-07-16 2021-08-27 한양대학교 산학협력단 다중 디코더를 이용한 심화 신경망 기반의 비-자동회귀 음성 합성 방법 및 시스템
CN110838299B (zh) * 2019-11-13 2022-03-25 腾讯音乐娱乐科技（深圳）有限公司 一种瞬态噪声的检测方法、装置及设备
CN111402858A (zh) * 2020-02-27 2020-07-10 平安科技（深圳）有限公司 一种歌声合成方法、装置、计算机设备及存储介质
CN112133319A (zh) * 2020-08-31 2020-12-25 腾讯音乐娱乐科技（深圳）有限公司 音频生成的方法、装置、设备及存储介质
WO2022076404A1 (en) * 2020-10-05 2022-04-14 The Trustees Of Columbia University In The City Of New York Systems and methods for brain-informed speech separation
CN112257577A (zh) * 2020-10-21 2021-01-22 华北电力大学 一种利用线性流形投影的微震信号重构方法和系统
CN113191317B (zh) * 2021-05-21 2022-09-27 江西理工大学 一种基于极点构造低通滤波器的信号包络提取方法和装置
US11682411B2 (en) 2021-08-31 2023-06-20 Spotify Ab Wind noise suppresor
CN113835065A (zh) * 2021-09-01 2021-12-24 深圳壹秘科技有限公司 基于深度学习的声源方向确定方法、装置、设备及介质
CN113903355B (zh) * 2021-12-09 2022-03-01 北京世纪好未来教育科技有限公司 语音获取方法、装置、电子设备及存储介质
CN115116460B (zh) * 2022-06-17 2024-03-12 腾讯科技（深圳）有限公司 音频信号增强方法、装置、设备、存储介质及程序产品
CN115691541B (zh) * 2022-12-27 2023-03-21 深圳元象信息科技有限公司 语音分离方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197577A (zh) * 2006-12-07 2008-06-11 展讯通信（上海）有限公司 一种用于音频处理框架中的编码和解码方法
CN101662288A (zh) * 2008-08-28 2010-03-03 华为技术有限公司 音频编码、解码方法及装置、系统
CN104103276A (zh) * 2013-04-12 2014-10-15 北京天籁传音数字技术有限公司 一种声音编解码装置及其方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997019444A1 (en) 1995-11-22 1997-05-29 Philips Electronics N.V. Method and device for resynthesizing a speech signal
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
KR101001170B1 (ko) * 2002-07-16 2010-12-15 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩
DE10313875B3 (de) * 2003-03-21 2004-10-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Analysieren eines Informationssignals
US7415392B2 (en) 2004-03-12 2008-08-19 Mitsubishi Electric Research Laboratories, Inc. System for separating multiple sound sources from monophonic input with non-negative matrix factor deconvolution
DE102004021403A1 (de) * 2004-04-30 2005-11-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Informationssignalverarbeitung durch Modifikation in der Spektral-/Modulationsspektralbereichsdarstellung
WO2006107833A1 (en) * 2005-04-01 2006-10-12 Qualcomm Incorporated Method and apparatus for vector quantizing of a spectral envelope representation
US9043214B2 (en) * 2005-04-22 2015-05-26 Qualcomm Incorporated Systems, methods, and apparatus for gain factor attenuation
CN101140759B (zh) * 2006-09-08 2010-05-12 华为技术有限公司 语音或音频信号的带宽扩展方法及系统
US7715342B2 (en) * 2007-06-22 2010-05-11 Research In Motion Limited Location of packet data convergence protocol in a long-term evolution multimedia broadcast multicast service
CN101521010B (zh) * 2008-02-29 2011-10-05 华为技术有限公司 一种音频信号的编解码方法和装置
WO2010028297A1 (en) * 2008-09-06 2010-03-11 GH Innovation, Inc. Selective bandwidth extension
CN101770776B (zh) * 2008-12-29 2011-06-08 华为技术有限公司 瞬态信号的编码方法和装置、解码方法和装置及处理系统
ATE526662T1 (de) * 2009-03-26 2011-10-15 Fraunhofer Ges Forschung Vorrichtung und verfahren zur änderung eines audiosignals
WO2011039668A1 (en) * 2009-09-29 2011-04-07 Koninklijke Philips Electronics N.V. Apparatus for mixing a digital audio
JP5651980B2 (ja) * 2010-03-31 2015-01-14 ソニー株式会社 復号装置、復号方法、およびプログラム
WO2013002696A1 (en) * 2011-06-30 2013-01-03 Telefonaktiebolaget Lm Ericsson (Publ) Transform audio codec and methods for encoding and decoding a time segment of an audio signal
CN103258539B (zh) * 2012-02-15 2015-09-23 展讯通信（上海）有限公司 一种语音信号特性的变换方法和装置
EP2631906A1 (en) * 2012-02-27 2013-08-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Phase coherence control for harmonic signals in perceptual audio codecs
CN104284725B (zh) * 2012-02-27 2017-04-26 洛桑联邦理工学院 具有可拆卸载玻片的样品处理装置
JP5997592B2 (ja) * 2012-04-27 2016-09-28 株式会社Ｎｔｔドコモ 音声復号装置
JP5958866B2 (ja) * 2012-08-01 2016-08-02 国立研究開発法人産業技術総合研究所 音声分析合成のためのスペクトル包絡及び群遅延の推定システム及び音声信号の合成システム
US9881624B2 (en) * 2013-05-15 2018-01-30 Samsung Electronics Co., Ltd. Method and device for encoding and decoding audio signal
US10393865B2 (en) * 2013-12-11 2019-08-27 Airbus Sas Phase retrieval algorithm for generation of constant time envelope with prescribed fourier transform magnitude signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197577A (zh) * 2006-12-07 2008-06-11 展讯通信（上海）有限公司 一种用于音频处理框架中的编码和解码方法
CN101662288A (zh) * 2008-08-28 2010-03-03 华为技术有限公司 音频编码、解码方法及装置、系统
CN104103276A (zh) * 2013-04-12 2014-10-15 北京天籁传音数字技术有限公司 一种声音编解码装置及其方法

Also Published As

Publication number Publication date
KR102125410B1 (ko) 2020-06-22
CN107517593A (zh) 2017-12-26
CA2976864A1 (en) 2016-09-01
BR112017018145A2 (pt) 2018-04-10
JP6668372B2 (ja) 2020-03-18
RU2679254C1 (ru) 2019-02-06
BR112017018145B1 (pt) 2023-11-28
KR20170125058A (ko) 2017-11-13
CA2976864C (en) 2020-07-14
EP3262639A1 (en) 2018-01-03
WO2016135132A1 (en) 2016-09-01
JP2018510374A (ja) 2018-04-12
US20170345433A1 (en) 2017-11-30
EP3262639B1 (en) 2020-10-07
US10373623B2 (en) 2019-08-06
MX2017010593A (es) 2018-05-07
ES2837107T3 (es) 2021-06-29

Similar Documents

Publication Publication Date Title
CN107517593B (zh) 用于使用目标时域包络来处理音频信号以获得经处理的音频信号的装置和方法
JP5467098B2 (ja) オーディオ信号をパラメータ化された表現に変換するための装置および方法、パラメータ化された表現を修正するための装置および方法、オーディオ信号のパラメータ化された表現を合成するための装置および方法
RU2638748C2 (ru) Гармоническое преобразование, усовершенствованное перекрестным произведением
JP5425952B2 (ja) 瞬間的事象を有する音声信号の操作装置および操作方法
RU2591733C2 (ru) Устройство и способ изменения звукового сигнала посредством формирования огибающей
JP4740260B2 (ja) 音声信号の帯域幅を疑似的に拡張するための方法および装置
CN102915739A (zh) 用于对高频信号进行编码和解码的方法和设备
Dittmar et al. Towards transient restoration in score-informed audio decomposition

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant