CN111970630A - 音频解码器和解码方法 - Google Patents

音频解码器和解码方法 Download PDF

Info

Publication number
CN111970630A
CN111970630A CN202010976981.9A CN202010976981A CN111970630A CN 111970630 A CN111970630 A CN 111970630A CN 202010976981 A CN202010976981 A CN 202010976981A CN 111970630 A CN111970630 A CN 111970630A
Authority
CN
China
Prior art keywords
matrix
signal
parameters
audio
base signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010976981.9A
Other languages
English (en)
Other versions
CN111970630B (zh
Inventor
D·J·布瑞巴特
D·M·库珀
L·J·萨米尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Dolby Laboratories Licensing Corp
Original Assignee
Dolby International AB
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB, Dolby Laboratories Licensing Corp filed Critical Dolby International AB
Publication of CN111970630A publication Critical patent/CN111970630A/zh
Application granted granted Critical
Publication of CN111970630B publication Critical patent/CN111970630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/03—Aspects of the reduction of energy consumption in hearing devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本公开涉及音频解码器和解码方法。一种用于将音频声道或对象的第二呈现表示为数据流的方法，该方法包括以下步骤：(a)提供基本信号的集合，基本信号表示音频声道或对象的第一呈现；(b)提供变换参数的集合，变换参数意图将第一呈现变换为第二呈现；变换参数进一步是针对至少两个频带指定的，并且包括用于频带中的至少一个的多抽头卷积矩阵参数的集合。

Description

音频解码器和解码方法
本申请是申请号为201680062186.0、申请日为2016年8月23日、发明名称为“音频解码器和解码方法”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求2015年8月25日提交的美国临时申请No.62/209,742和2015年10月8日提交的欧洲专利申请No.15189008.4的权益，每篇申请特此全文通过引用并入。
技术领域
本发明涉及信号处理领域，具体地，公开了一种用于高效地发送具有空间化分量的音频信号的系统。
背景技术
整个说明书中背景技术的任何讨论决不应被认为是承认这样的技术是众所周知的或者形成本领域中的公知常识的一部分。
音频的内容创建、编码、分发和再现传统上是以基于声道的格式执行的，也就是说，一个特定的目标回放系统是针对整个内容生态系统的内容预想的。这样的目标回放系统音频格式的示例是单声道、立体声、5.1、7.1等。
如果内容要在与预期的回放系统不同的回放系统上再现，则可以应用下混或上混处理。例如，5.1内容可以通过利用特定的下混方程来通过立体声回放系统再现。另一示例是立体声编码的内容通过7.1扬声器设置的回放，该回放可以包括所谓的上混处理，该上混处理可以由立体声信号中存在的信息指导或者可以不由立体声信号中存在的信息指导。能够上混的系统是杜比实验室公司的Dolby Pro Logic(Roger Dressler，“Dolby Pro Logic环绕解码器，操作原理(Dolby Pro Logic Surround Decoder,Principles ofOperation)”，www.Dolby.com)。
当立体声或多声道内容要通过耳机再现时，常常期望的是借助于头部相关脉冲响应(HRIR)或双耳房间脉冲响应(BRIR)来模拟多声道扬声器设置，HRIR或BRIR分别模拟消声的或拟声的(被模拟)环境中的从每个扩音器到耳鼓的声学路径。具体地说，音频信号可以被与HRIR或BRIR卷积以恢复耳间声强差(inter-aural level differences)(ILD)、耳间时间差(ITD)和频谱线索，ILD、ITD和频谱线索使得收听者可以确定每个单个的声道的位置。声学环境(混响)的模拟还帮助实现某个感知的距离。
声源局部化和虚拟扬声器模拟
当立体声、多声道或基于对象的内容要通过耳机再现时，常常期望的是借助于与头部相关脉冲响应(HRIR)或双耳房间脉冲响应(BRIR)的卷积来模拟多声道扬声器设置或离散的虚拟声学对象的集合，HRIR或BRIR分别模拟消声的或拟声的(被模拟)环境中的从每个扩音器到耳鼓的声学路径。
具体地说，音频信号被与HRIR或BRIR卷积以恢复耳间声强差(ILD)、耳间时间差(ITD)和频谱线索，ILD、ITD和频谱线索使得收听者可以确定每个单个的声道或对象的位置。声学环境(早期反射和后期混响)的模拟还帮助实现某个感知的距离。
翻到图1，示出了用于渲染两个对象或声道信号xi 13、11的处理流程的示意性概览10，这两个信号从内容储存器12被读出以用于用4个HRIR(例如14)处理。HRIR输出然后被针对每个声道信号求和15、16，以便产生用于经由耳机18向收听者回放的耳机扬声器输出。HRIR的基本原理例如在Wightman等人的文献(1989)中有说明。
HRIR/BRIR卷积方法伴随有几个缺点，这些缺点中的一个是耳机回放所需要的大量处理。需要对每一个输入对象或声道单独地应用HRIR或BRIR卷积，因此复杂度通常随着声道或对象的数量线性地增长。因为耳机通常是与电池供电的便携式设备结合使用的，所以高计算复杂度是不期望的，因为它将大幅缩短电池寿命。而且，随着基于对象的音频内容(其可以包括多于100个的同时作用的对象)的引入，HRIR卷积的复杂度可以远高于传统的基于声道的内容。
参数化编码技术
计算复杂度不是用于在涉及内容创作、分发和再现的生态系统内递送基于声道或对象的内容的唯一问题。在许多实际的情况下，尤其是对于移动应用，可用于内容递送的数据速率受到严重约束。消费者、广播组织和内容提供者已经使用无损感知音频编解码器来以48和192kbits/s之间的典型位速率递送立体声(两声道)音频内容。这些常规的基于声道的音频编解码器(比如MPEG-1层3(Brandenberg等人，1994年)、MPEG AAC(Bosi等人，1997年)和Dolby Digital(Andersen等人，2004年))具有随声道数量近似线性缩放的位速率。结果，数十个或者甚至数百个对象的递送导致对于消费者递送目的不切实际或者甚至不可用的位速率。
为了使得可以以与使用常规的感知音频编解码器的立体声内容递送所需的位速率可比的位速率递送复杂的基于对象的内容，所谓的参数化方法在过去十年已经受到研究和开发。这些参数化方法使得可以从相对少量的基本信号重构大量声道或对象。这些基本信号可以通过使用补充有使得可以重构原始对象或声道的附加(参数化)信息的常规音频编解码器从发送器传递到接收器。这样的技术的示例是参数化立体声(Schuijer等人，2004年)、MPEG环绕(Herre等人，2008年)和MPEG空间音频对象编码(Herre等人，2012年)。
比如参数化立体声和MPEG环绕的技术的重要的方面是，这些方法旨在单个预定呈现(例如，参数化立体声中的立体声扩音器和MPEG环绕中的5.1扩音器)的参数化重构。在MPEG环绕的情况下，耳机虚拟器可以集成在生成用于耳机的虚拟5.1扩音器设置的解码器中，在该设置中，虚拟5.1扬声器对应于用于扩音器回放的5.1扩音器设置。因此，这些呈现不是独立的，因为耳机呈现表示与扩音器呈现相同的(虚拟)扩音器布局。另一方面，MPEG空间音频对象编码旨在需要后续渲染的对象的重构。
现在翻到图2，将概括地描述支持声道和对象的参数化系统20。该系统被划分为编码器21和解码器22部分。编码器21接收声道和对象23作为输入，并且生成具有有限数量的基本信号的下混24。另外，计算一系列对象/声道重构参数25。信号编码器26对来自下混器24的基本信号进行编码，并且包括计算的参数25以及对象元数据27，对象元数据27指示对象在所得的位流中应该被如何渲染。
解码器22首先对基本信号进行解码29，接着在发送的重构参数31的帮助下进行声道和/或对象重构30。所得信号可以被直接再现(如果这些是声道)，或者可以被渲染32(如果这些是对象)。对于后者，每个重构的对象信号根据其相关联的对象元数据33被渲染。这样的元数据的一个示例是位置矢量(例如，对象在3维坐标系中的x、y和z坐标)。
解码器矩阵化
对象和/或声道重构30可以通过时间和频率变化的矩阵运算来实现。如果解码的基本信号35用zs[n]来表示，其中，s是基本信号索引，n是采样索引，则第一步通常包括借助于变换或滤波器组对基本信号进行变换。
可以使用多种多样的变换和滤波器组，比如离散傅立叶变换(DFT)、修正离散余弦变换(MDCT)或正交镜像滤波器(QMF)组。这样的变换或滤波器组的输出用Zs[k,b]来表示，其中，b是子带或频谱索引，k是帧、时隙或子带时间或采样索引。
在大多数情况下，子带或频谱索引被映射到参数带p的较小的集合，这些参数带p共享共用的对象/声道重构参数。这可以用b∈B(p)来表示。换句话说，B(p)表示属于参数带索引p的连续子带b的集合。相反，p(b)是指子带b被映射到的参数带索引p。然后通过用矩阵M[p(b)]将信号Zi矩阵化来获得子带或变换域重构的声道或对象
Figure BDA0002686077950000051
Figure BDA0002686077950000052
随后通过逆变换或合成滤波器组来获得时域重构的声道和/或对象信号yj[n]。
上面的处理通常被应用于某个有限范围的子带采样、时隙或帧k。换句话说，矩阵M[p(b)]通常随着时间的过去被更新/被修改。为简化记号，在这里不表示这些更新。然而，认为与矩阵M[p(b)]相关联的采样k的集合的处理可以是时变处理。
在重构的信号的数量J远大于基本信号的数量S的一些情况下，常常有帮助的是使用对可以被包括在重构的输出信号中的一个或多个基本信号进行操作的、可选的去相关器输出Dm[k,b]：
Figure BDA0002686077950000053
图3示意性地更详细地示出了图2的声道或对象重构单元30的一种形式。输入信号35首先被分析滤波器组41处理，接着进行可选的去相关(D1、D2)44和矩阵化42，并且被合成滤波器组43处理。矩阵M[p(b)]运算由重构参数31控制。
用于对象/声道重构的最小均方误差(MMSE)预测
尽管从基本信号Zs[k,b]的集合重构对象或声道的不同的策略和方法存在，但是一种特定方法常常被称为最小均方误差(MMSE)预测器，MMSE预测器使用相关性和协方差矩阵来导出最小化期望信号和重构的信号之间的L2范数的矩阵系数M。对于该方法，假定基本信号zs[n]在编码器的下混器24中是作为输入对象或声道信号xi[n]的线性组合生成的：
Figure BDA0002686077950000054
对于基于声道的输入内容，振幅平移增益gi,s通常是恒定的，而对于其中对象的预期位置由时变的对象元数据提供的基于对象的内容，增益gi,s因此可以是时变的。该方程也可以在变换或子带域中用公式表示，在这种情况下，增益gi,s[k]集合用于每一个频率区间/频带k，照此，可以使增益gi,s[k]是频变的：
Figure BDA0002686077950000061
解码器矩阵42目前忽略去相关器，产生：
Figure BDA0002686077950000062
或者在矩阵公式表示中，为清晰起见，省略子带索引b和参数带索引p：
Y＝ZM
Z＝XG
用于供编码器计算矩阵系数M的准则是最小化均方误差E，均方误差E表示解码器输出
Figure BDA0002686077950000063
和原始输入对象/声道Xj之间的平方误差：
Figure BDA0002686077950000064
然后通过以下方程来用矩阵记号给出最小化E的矩阵系数：
M＝(Z*Z+∈I)-1Z*X
其中，epsilon是正则化常数，(*)是复共轭转置算子。可以独立地对每个参数带p执行该运算，从而产生矩阵M[p(b)]。
用于表示变换的最小均方误差(MMSE)预测
除了对象和/或声道的重构之外，还可以使用参数化技术来将一个表示变换为另一表示。这样的表示变换的示例是将意图用于扩音器回放的立体声混音转换为用于耳机的双耳表示，反之亦然。
图4示出了用于一个这样的表示变换的方法50的控制流程。首先在编码器52中由混合正交镜像滤波器分析组54对对象或声道音频进行处理。使用振幅平移技术基于对象元数据来计算扩音器渲染矩阵G并将该矩阵G应用55于存储在存储介质51中的对象信号Xi，以得到立体声扩音器呈现Zs。该扩音器呈现可以用音频编码器57编码。
另外，使用HRTF数据库59来生成并应用58双耳渲染矩阵H。使用该矩阵H来计算双耳信号Yj，双耳信号Yj使得可以通过使用立体声扩音器混音作为输入来重构双耳混音。矩阵系数M由音频编码器57编码。
发送的信息从编码器52发送到解码器53，在解码器53中，它被拆包61以包括分量M和Zs。如果扩音器用作再现系统，则使用声道信息Zs来再现扩音器呈现，因此，矩阵系数M被丢弃。另一方面，对于耳机回放，首先在混合QMF合成和再现60之前通过应用时变和频变矩阵M来将扩音器呈现变换62为双耳表示。
如果如下用矩阵记号来写矩阵化元素62的期望双耳输出：
Y＝XH
则可以通过以下方程来在编码器52中获得矩阵系数M：
M＝(G*X*XG+∈I)-1G*X*XH
在本申请中，在58中应用的编码器矩阵H的系数通常是复值，例如，具有延迟或相位修改元素，以使得可以恢复对于耳机上的声源局部化在感知上非常相关的耳间时间差。换句话说，双耳渲染矩阵H是复值，因此变换矩阵M是复值。对于声源局部化线索的感知上透明的恢复，已经表明模拟人类听觉系统的频率分辨率的频率分辨率是期望的(Breebaart2010年)。
在上面的章节中，利用最小均方误差准则来确定矩阵系数M。不失一般性地，其他众所周知的计算矩阵系数的准则或方法可以类似地使用以取代或补充最小均方误差原理。例如，可以使用更高次误差项或者通过最小化L1范数(例如，至少绝对偏差准则)来计算矩阵系数M。此外，可以采用各种方法，包括非负因式分解或优化技术、非参数化估计量、最大似然估计量等。另外，可以使用迭代或梯度下降处理、插值法、启发法、动态编程、机器学习、模糊优化、模拟退火或闭合形式解来计算矩阵系数，并且可以使用综合分析(analysis-by-synthesis)技术。最后但同样重要的，可以以各种方式约束矩阵系数估计，例如，通过限制值范围、正则化项、能量守恒要求的叠加等。
变换和滤波器组要求
根据应用以及是对象还是声道要被重构，可以在变换或图3的滤波器组单元41的滤波器组频率分辨率上叠加某些要求。在大多数实际应用中，频率分辨率与人类听觉系统的假定分辨率匹配以针对给定的位速率(由参数的数量确定)和复杂度给予最好的感知的音频质量。已知人类听觉系统可以被认为是具有非线性频率分辨率的滤波器组。这些滤波器被称为临界带(Zwicker，1961年)，并且近似为自然对数。在低频处，临界带小于100Hz宽，而在高频处，临界带可以被发现宽于1kHz。
当涉及到滤波器组设计时，该非线性行为可以造成挑战。变换和滤波器组可以使用它们的处理结构中的对称性来非常高效地实现，前提条件是频率分辨率在频率上(across)是恒定的。
这暗示着，变换长度或子带的数量将由低频处的临界带宽确定，并且DFT区间到所谓的参数带的映射可以被采用以模拟非线性频率分辨率。这样的映射处理例如在Breebaart等人(2005年)和Breebaart等人(2010年)的文献中有说明。该方法的一个缺点是，需要非常长的变换来满足低频临界带宽约束，而变换在高频处相对长(或低效)。提高低频处的频率分辨率的替代解决方案是使用混合滤波器组结构。在这样的结构中，采用两个滤波器组的级联，在该级联中，第二滤波器组提高第一滤波器组的分辨率，但是仅提高在最低子带中的几个中的分辨率(Schuijer等人，2004年)。
图5示出了与Schuijer等人的文献中阐述的混合滤波器组结构类似的混合滤波器组结构41的一种形式。输入信号z[n]首先被复值正交镜像滤波器分析组(CQMF)71处理。随后，信号被以因子Q(例如，72)下采样，得到子带信号Z[k,b]，其中，k是子带采样索引，b是子带频率索引。此外，所得的子带信号中的至少一个被第二(奈奎斯特)滤波器组74处理，而其余的子带信号被延迟75以补偿由奈奎斯特滤波器组引入的延迟。在该特定示例中，滤波器组的级联得到8个子带(b＝1,…,8)，这些子带被映射到具有非线性频率分辨率的6个参数带p＝(1,…,6)上。带76被合并在一起以形成单个参数带(p＝6)。
该方法的益处是与使用具有较多的(较窄的)子带的单个滤波器组相比复杂度较低。然而，缺点是整个系统的延迟显著地增大，因此，存储器使用率也显著地较高，这引起功耗增大。
现有技术的限制
返回到图4，表明现有技术利用矩阵化62的构思(可能补充有去相关器的使用)来从基本信号的集合Zs重构声道、对象或呈现信号
Figure BDA0002686077950000092
这导致以通用的方式描述现有技术的以下矩阵公式表示：
Figure BDA0002686077950000091
矩阵系数M被直接从编码器发送到解码器或从声源局部化参数(例如，如Breebaart等人2005年的文献中关于参数化立体声编码描述的、或者Herre等人(2008年)的文献中关于多声道解码描述的声源局部化参数)导出。而且，该方法还可以用于通过使用复值矩阵系数来恢复声道间相位差(参见例如Breebaart等人2010年和Breebaart2005年的文献)。
如图6所示，在实践中，使用复值矩阵系数暗示着期望延迟80是用分段常数相位近似81表示的。假定期望相位响应是其中相位随着频率线性减小的纯延迟80(虚线)，现有技术的复值矩阵化运算得到分段常数近似81(实线)。可以通过提高矩阵M的分辨率来改进近似。然而，这具有两个重要的缺点。它需要提高滤波器组的分辨率，这使得存储器使用率较高、计算复杂度较高、延时较长，因此，功耗较高。它还需要发送较多参数，导致位速率较高。
所有这些缺点对于移动的和电池供电的设备尤其成问题。如果更优的解决方案可用，则将是有利的。
发明内容
本发明的一个目的以其优选形式来说是提供改进形式的音频信号编码和解码以用于在不同呈现中再现。
根据本发明的第一方面，提供了一种用于将音频声道或对象的第二呈现表示为数据流的方法，该方法包括以下步骤：(a)提供基本信号的集合，基本信号表示音频声道或对象的第一呈现；(b)提供变换参数的集合，变换参数意图将第一呈现变换为第二呈现；变换参数进一步是针对至少两个频带指定的，并且包括用于频带中的至少一个的多抽头卷积矩阵参数的集合。
滤波器系数的集合可以表示有限脉冲响应(FIR)滤波器。基本信号的集合优选地被划分为一系列时间段(temporal segment)，并且可以对每个时间段提供变换参数的集合。滤波器系数可以包括至少一个可以是复值的系数。第一或第二呈现可以意图用于耳机回放。
在一些实施例中，与高频相关联的变换参数不修改信号相位，而对于低频，变换参数修改信号相位。滤波器系数的集合可以优选地可操作为对多抽头卷积矩阵进行处理。滤波器系数的集合可以优选地用于对低频带进行处理。
基本信号的集合和变换参数的集合优选地组合以形成数据流。变换参数可以包括用于基本信号的集合的高频部分的矩阵运算的高频音频矩阵系数。在一些实施例中，对于基本信号的集合的高频部分的中间频率部分，矩阵运算优选地可以包括复值变换参数。
根据本发明的进一步的方面，提供了一种用于对编码的音频信号进行解码的解码器，编码的音频信号包括：第一呈现，包括意图以第一音频呈现格式再现音频的音频基本信号的集合；以及变换参数的集合，用于将第一呈现格式的音频基本信号变换为第二呈现格式，变换参数至少包括高频音频变换参数和低频音频变换参数，低频变换参数包括多抽头卷积矩阵参数，解码器包括：第一分离单元，用于分离音频基本信号的集合和变换参数的集合；矩阵乘法单元，用于将多抽头卷积矩阵参数应用于音频基本信号的低频分量，将卷积应用于低频分量，产生卷积的低频分量；以及标量乘法单元，用于将高频音频变换参数应用于音频基本信号的高频分量以产生标量高频分量；输出滤波器组，用于组合卷积的低频分量和标量高频分量以产生第二呈现格式的时域输出信号。
矩阵乘法单元可以修改音频基本信号的低频分量的相位。在一些实施例中，多抽头卷积矩阵变换参数优选地为复值。高频音频变换参数也优选地为复值。变换参数的集合进一步可以包括实值高频音频变换参数。在一些实施例中，解码器可以进一步包括滤波器，这些滤波器用于将音频基本信号分为低频分量和高频分量。
根据本发明的进一步的方面，提供了一种对编码的音频信号进行解码的方法，编码的音频信号包括：第一呈现，包括意图以第一音频呈现格式再现音频的音频基本信号的集合；以及变换参数的集合，用于将第一呈现格式的音频基本信号变换为第二呈现格式，变换参数至少包括高频音频变换参数和低频音频变换参数，低频变换参数包括多抽头卷积矩阵参数，该方法包括以下步骤：将音频基本信号的低频分量与低频变换参数卷积以产生卷积的低频分量；将音频基本信号的高频分量与高频变换参数相乘以产生相乘的高频分量；将卷积的低频分量和相乘的高频分量组合以产生用于通过第二呈现格式回放的输出音频信号频率分量。
在一些实施例中，编码的信号可以包括多个时间段，该方法更优选地可以包括以下步骤：对编码的信号的多个时间段的变换参数进行插值以产生插值的变换参数，插值的变换参数包括插值的低频音频变换参数；并且将音频基本信号的低频分量的多个时间段与插值的低频音频变换参数卷积以产生卷积的低频分量的多个时间段。
编码的音频信号的变换参数的集合可以优选地是时变的，并且该方法更优选地可以包括以下步骤：将低频分量与用于多个时间段的低频变换参数进行卷积以产生中间的卷积的低频分量的多个集合；对中间的卷积的低频分量的所述多个集合进行插值以产生卷积的低频分量。
插值可以利用中间的卷积的低频分量的所述多个集合的重叠和相加方法。
附图说明
现在将仅以举例的方式来参照附图描述本发明的实施例，其中：
图1示出用于两个源对象的HRIR卷积处理的示意性概览，其中，每个声道或对象被用一对HRIR/BRIR进行处理；
图2示意性地示出支持声道和对象的通用参数化编码系统；
图3示意性地更详细地示出图2的声道或对象重构单元30的一种形式；
图4示出将立体声扩音器呈现变换为双耳耳机呈现的方法的数据流程；
图5示意性地示出根据现有技术的混合分析滤波器组结构；
图6示出通过现有技术获得的期望(虚线)和实际(实线)相位响应的比较；
图7示意性地示出根据本发明的实施例的示例性编码器滤波器组和参数映射系统；
图8示意性地示出根据实施例的解码器滤波器组和参数映射；以及
图9示出用于立体声到双耳呈现的变换的编码器。
图10示意性地示出用于立体声到双耳呈现的变换的解码器。
参考文献
Wightman,F.L.,and Kistler,D.J.(1989).“Headphone simulation of free-field listening.I.Stimulus synthesis,”J.Acoust.Soc.Am.85,858–867.
Schuijers,Erik,et al.(2004).“Low complexity parametric stereocoding.”Audio Engineering Society Convention 116.Audio Engineering Society.
Herre,J.,
Figure BDA0002686077950000131
K.,Breebaart,J.,Faller,C.,Disch,S.,Purnhagen,H.,...&Chong,K.S.(2008).MPEG surround-the ISO/MPEG standard for efficient andcompatible multichannel audio coding.Journal of the Audio EngineeringSociety,56(11),932-955.
Herre,J.,Purnhagen,H.,Koppens,J.,Hellmuth,O.,
Figure BDA0002686077950000132
J.,Hilpert,J.,&Oh,H.O.(2012).MPEG Spatial Audio Object Coding—the ISO/MPEG standard forefficient coding of interactive audio scenes.Journal of the Audio EngineeringSociety,60(9),655-673.
Brandenburg,K.,&Stoll,G.(1994).ISO/MPEG-1 audio:A generic standardfor coding of high-quality digital audio.Journal of the Audio EngineeringSociety,42(10),780-792.
Bosi,M.,Brandenburg,K.,Quackenbush,S.,Fielder,L.,Akagiri,K.,Fuchs,H.,&Dietz,M.(1997).ISO/IEC MPEG-2 advanced audio coding.Journal of the Audioengineering society,45(10),789-814.
Andersen,R.L.,Crockett,B.G.,Davidson,G.A.,Davis,M.F.,Fielder,L.D.,Turner,S.C.,...&Williams,P.A.(2004,October).Introduction to Dolby digitalplus,an enhancement to the Dolby digital coding system.In Audio EngineeringSociety Convention 117.Audio Engineering Society.
Zwicker,E.(1961).Subdivision of the audible frequency range intocritical bands(Frequenzgruppen).The Journal of the Acoustical Society ofAmerica,(33(2)),248.
Breebaart,J.,van de Par,S.,Kohlrausch,A.,&Schuijers,E.(2005).Parametric coding of stereo audio.EURASIP Journal on Applied SignalProcessing,2005,1305-1322.
Breebaart,J.,Nater,F.,&Kohlrausch,A.(2010).Spectral and spatialparameter resolution requirements for parametric,filter-bank-based HRTFprocessing.Journal of the Audio Engineering Society,58(3),126-140.
Breebaart,J.,van de Par,S.,Kohlrausch,A.,&Schuijers,E.(2005).Parametric coding of stereo audio.EURASIP Journal on Applied SignalProcessing,2005,1305-1322.
具体实施方式
该优选实施例提供了从可以应用于具有低频分辨率的滤波器组中的基本信号的集合重构对象、声道或“呈现”的方法。一个示例是将立体声呈现变换为可以在没有奈奎斯特(混合)滤波器组的情况下应用的意图用于耳机回放的双耳呈现。降低的解码器频率分辨率被用多抽头卷积矩阵补偿。该卷积矩阵仅需要几个抽头(例如，两个)，并且在实际的情况下，该卷积矩阵只有在低频处才是需要的。该方法(1)降低了解码器的计算复杂度，(2)降低了解码器的存储器使用率，并且(3)降低了参数位速率。
在优选实施例中，提供了一种用于克服不期望的解码器端计算复杂度和存储器要求的系统和方法。这通过以下方式来实现：在编码器中提供高频分辨率，在解码器中利用受到约束的(较低)频率分辨率(例如，使用比对应的编码器中所使用的频率分辨率差得多的频率分辨率)，并且利用多抽头(卷积)矩阵来补偿降低的解码器频率分辨率。
通常，因为高频矩阵分辨率只有在低频处才是需要的，所以多抽头(卷积)矩阵可以被用在低频处，而常规的(无状态)矩阵可以被用于其余的(较高)频率。换句话说，在低频处，矩阵表示对输入和输出的每个组合操作的FIR滤波器的集合，而在高频处，使用无状态矩阵。
编码器滤波器组和参数映射
图7示出了根据实施例的示例性编码器滤波器组和参数映射系统90。在该示例实施例90中，8个子带(b＝1,…,8)(例如，91)一开始借助于混合(级联)滤波器组92和奈奎斯特滤波器组93生成。随后，头四个子带被映射94到同一个参数带(p＝1)上以计算卷积矩阵M[k,p＝1]，例如，矩阵现在具有附加索引k。其余的子带(b＝5,…,8)通过使用无状态矩阵M[p(b)]95、96被映射到参数带(p＝2,3)。
解码器滤波器组和参数映射
图8示出了对应的示例性解码器滤波器组和参数映射系统100。与编码器相反，不存在奈奎斯特滤波器组，也不存在补偿奈奎斯特滤波器组延迟的任何延迟。解码器分析滤波器组101仅生成5个子带(b＝1,…,5)，例如，102，这些子带被用因子Q下采样。第一子带被用卷积矩阵M[k,p＝1]103处理，而其余的带根据现有技术被用无状态矩阵104、105处理。
尽管上面的示例在编码器90中应用奈奎斯特滤波器组并且在解码器100中仅对第一CQMF子带应用对应的卷积矩阵，但是相同的处理可以被应用于众多个子带，不一定仅限于最低子带(一个或多个)。
编码器实施例
尤其有用的一个实施例在将扩音器呈现变换为双耳呈现中。图9示出了使用所提出的方法进行呈现变换的编码器110。输入声道或对象xi[n]的集合首先通过使用滤波器组111被变换。滤波器组111是混合复正交镜像滤波器(HCQMF)组，但是其他滤波器组结构可以同样地被使用。所得的子带表示Xi[k,b]被处理两次112、113。
首先113，生成意图用于编码器的输出的基本信号Zs[k,b]的集合113。该输出可以例如使用振幅平移技术来生成以使得所得的信号意图用于扩音器回放。
第二112，生成期望变换信号Yj[k,b]的集合112。该输出可以例如使用HRIR处理来生成以使得所得的信号意图用于耳机回放。这样的HRIR处理可以在滤波器组域中被采用，但是可以借助于HRIR卷积同样地在时域中来执行。HRIR是从数据库114获得的。
卷积矩阵M[k,p]随后通过经由抽头延迟线116馈送基本信号Zs[k,b]而获得。延迟线的每个抽头用作MMSE预测器级115的附加输入。该MMSE预测器级计算卷积矩阵M[k,p]，该矩阵最小化期望的变换的信号Yj[k,b]和应用卷积矩阵的图8的解码器100的输出之间的误差。于是由此得出结论，矩阵系数M[k,p]由以下方程给出：
M＝(Z*Z+∈I)-1Z*Y
在该公式表示中，矩阵Z包含抽头延迟线的所有输入。
最初考虑用于给定子带b的一个信号的重构
Figure BDA0002686077950000169
的情况，其中，存在来自抽头延迟线的A个输入，具有：
Figure BDA0002686077950000161
Figure BDA0002686077950000162
Figure BDA0002686077950000163
所得的卷积矩阵系数M[k,p]被量化、被编码并且被与基本信号zs[n]一起发送。解码器然后可以使用卷积处理来从输入信号Zs[k,b]重构
Figure BDA00026860779500001610
Figure BDA0002686077950000164
或者通过使用卷积表达来不同地撰写
Figure BDA0002686077950000165
Figure BDA0002686077950000166
卷积方法可以与线性(无状态)矩阵处理混合。
可以进一步区分复值无状态矩阵化和实值无状态矩阵化。在低频(通常低于1kHz)处，卷积处理(A>1)优选地使得可以按照感知频率尺度来准确地重构声道间性质。在中频(一直到大约2或3kHz)处，人类听觉系统对声道间相位差是敏感的，但是不需要非常高的频率分辨率来重构这样的相位。这暗示着单抽头(无状态)复值矩阵是足够的。对于较高频率，人类听觉系统对于波形精细结构相位几乎是不敏感的，并且实值无状态矩阵化是足够的。随着频率增大，映射到参数带上的滤波器组输出的数量通常增加以反映人类听觉系统的非线性频率分辨率。
在另一实施例中，编码器中的第一呈现和第二呈现是互换的，例如，第一呈现意图用于耳机回放，第二呈现意图用于扩音器回放。在该实施例中，扩音器呈现(第二呈现)是通过将至少两个频带中的时间相关的变换参数应用于第一呈现而生成的，其中，变换参数被进一步指定为包括用于频带中的至少一个的滤波器系数的集合。
在一些实施例中，第一呈现可以在时间上被划分为一系列段，对于每个段有变换参数的单独的集合。在进一步的改良中，在段变换参数不可用的情况下，可以根据先前的系数来对参数进行插值。
解码器实施例
图10示出解码器120的实施例。输入位流121被划分为基本信号位流131和变换参数数据124。随后，基本信号解码器123对基本信号z[n]进行解码，这些基本信号z[n]随后被分析滤波器组125处理。所得的具有子带b＝1,…,5的频域信号Z[k,b]被矩阵乘法单元126、129和130处理。具体地说，矩阵乘法单元126将复值卷积矩阵M[k,p＝1]应用于频域信号Z[k,b＝1]。此外，矩阵乘法单元129将复值、单抽头矩阵系数M[p＝2]应用于信号Z[k,b＝2]。最后，矩阵乘法单元130将实值矩阵系数M[p＝3]应用于频域信号Z[k,b＝3…5]。矩阵乘法单元输出信号借助于合成滤波器组127被转换为时域输出128。所称的z[n]、Z[k]等是指基本信号的集合，而不是指任何特定的基本信号。因此，z[n]、Z[k]等可以被解释为zs[n]、Zs[k]等，其中，0≤s＜N，N是基本信号的数量。
换句话说，矩阵乘法单元126从基本信号Z[k]的子带b＝1的当前采样和基本信号Z[k]的子带b＝1的先前采样的加权组合来确定输出信号
Figure BDA0002686077950000171
的子带b＝1的输出采样(例如，Z[k-a]，其中，0<a<A，并且A大于1)。用于确定输出信号
Figure BDA0002686077950000172
的子带b＝1的输出采样的权重对应于用于信号的复值卷积矩阵M[k,p＝1]。
此外，矩阵乘法单元129从基本信号Z[k]的子带b＝2的当前采样的加权组合确定输出信号
Figure BDA0002686077950000181
的子带b＝2的输出采样。用于确定输出信号
Figure BDA0002686077950000182
的子带b＝2的输出采样的权重对应于复值、单抽头矩阵系数M[p＝2]。
最后，矩阵乘法单元130从基本信号Z[k]的子带b＝3,…5的当前采样的加权组合确定输出信号
Figure BDA0002686077950000183
的子带b＝3,…5的输出采样。用于确定输出信号
Figure BDA0002686077950000184
的子带b＝3,…5的输出采样的权重对应于实值矩阵系数M[p＝3]。
在一些情况下，基本信号解码器123可以在与由分析滤波器组125提供的频率分辨率相同的频率分辨率处对信号进行处理。在这样的情况下，基本信号解码器125可以被配置为输出频域信号Z[k]，而不是时域信号z[n]，在这种情况下，分析滤波器组125可以被省略。此外，在一些情况下，可能优选的是将复值单抽头矩阵系数而不是实值矩阵系数应用于频域信号Z[k,b＝3….5]。
在实践中，矩阵系数M可以随着时间的过去被更新；例如，通过将基本信号的各个帧与矩阵系数M相关联。可替代地或另外地，给矩阵系数M补充时间戳，这些时间戳指示矩阵应该被应用于基本信号z[n]的哪个时间或间隔处。为了降低与矩阵更新相关联的发送位速率，更新的次数理想地是有限的，导致矩阵更新的分布是时间稀疏的。矩阵的这样的稀少更新需要专用处理来确保从矩阵的一个实例到下一个实例的平滑转变。矩阵M可以与基本信号Z的特定时间段(帧)和/或频率区域相关联地提供。解码器可以采用各种插值方法来确保随着时间的过去、从矩阵M的后面的实例的平滑转变。这样的插值方法的一个示例是计算信号Z的重叠的加窗帧并且使用与每个这样的帧相关联的矩阵系数M来计算该特定帧的输出信号Y的对应集合。然后可以通过使用重叠相加技术来聚合后面的帧，从而提供平滑的交叉渐变(cross-faded)转变。可替代地，解码器可以接收与矩阵M相关联的时间戳，这些时间戳描述时间上的特定实例处的期望矩阵系数。对于时间戳之间的音频采样，可以使用线性插值、三次插值、带受限的插值或其他的插值手段来对矩阵M的矩阵系数进行插值以确保平滑的转变。除了时间上的插值之外，可以使用类似的技术来在频率上对矩阵系数进行插值。
因此，本文档描述了用于将音频声道或对象Xi的第二呈现表示为要被发送或提供给对应的解码器100的数据流的方法(和对应的编码器90)。该方法包括提供基本信号Zs的步骤，所述基本信号表示音频声道或对象Xi的第一呈现。如上面所概述的，可以使用第一渲染参数G(即，尤其是使用第一增益矩阵，例如用于振幅平移)来从音频声道或对象Xi确定基本信号Zs。第一呈现可以意图用于扩音器回放或耳机回放。另一方面，第二呈现可以意图用于耳机回放或扩音器回放。因此，可以执行从扩音器回放到耳机回放(或者反过来)的变换。
该方法进一步包括提供变换参数M(尤其是一个或多个变换矩阵)，所述变换参数M意图将所述第一呈现的基本信号Zs变换为所述第二呈现的输出信号
Figure BDA0002686077950000194
可以如本文档中概述的那样确定变换参数。具体地说，可以使用第二渲染参数H(如本文档中概述的那样)来从音频声道或对象Xi确定第二呈现的期望输出信号Yj。可以通过最小化输出信号
Figure BDA0002686077950000192
与期望输出信号Yj的偏差来确定变换参数M(例如，通过使用最小均方误差准则)。
更具体地说，可以在子带域中(即，对于不同的频带)确定变换参数M。为了这个目的，可以使用编码器滤波器组92、93来对B个频带确定子带域基本信号Z[k,b]。频带的数量B大于1，例如，B等于或大于4、6、8、10。在本文档中描述的示例中，B＝8，或B＝5。如上面所概述的，编码器滤波器组92、93可以包括混合滤波器组，该混合滤波器组提供B个频带的、具有比这B个频带的高频带高的频率分辨率的低频带。此外，可以确定这B个频带的子带域期望输出信号Y[k,b]。可以通过最小化一个或多个频带内的期望输出信号Yj与输出信号
Figure BDA0002686077950000193
的偏差(例如，通过使用最小均方误差准则)来确定用于一个或多个频带的变换参数M。
变换参数M因此可以每个都是针对至少两个频带(尤其是针对B个频带)指定的。此外，变换参数可以包括用于频带中的至少一个的多抽头卷积矩阵参数的集合。
因此，描述了用于从音频声道/对象的第一呈现的基本信号确定音频声道/对象的第二呈现的输出信号的方法(和对应的解码器)。第一呈现可以用于扩音器回放，第二呈现可以用于耳机回放(或者反过来)。通过使用针对不同频带的变换参数来确定输出信号，其中，用于频带中的至少一个的变换参数包括多抽头卷积矩阵参数。作为对频带中的至少一个使用多抽头卷积矩阵参数的结果，可以降低解码器100的计算复杂度，尤其是通过降低解码器所用的滤波器组的频率分辨率来降低解码器100的计算复杂度。
例如，使用多抽头卷积矩阵参数来确定第一频带的输出信号可以包括将输出信号的第一频带的当前采样确定为基本信号的第一频带的当前采样以及一个或多个先前采样的加权组合，其中，用于确定加权组合的权重对应于用于第一频带的多抽头卷积矩阵参数。用于第一频带的多抽头卷积矩阵参数中的一个或多个通常是复值。
此外，确定第二频带的输出信号可以包括将输出信号的第二频带的当前采样确定为基本信号的第二频带的当前采样的加权组合(而不是基于基本信号的第二频带的先前采样)，其中，用于确定加权组合的权重对应于用于第二频带的变换参数。用于第二频带的变换参数可以是复值，或者可以可替代地是实值。
具体地说，可以对于B个频带中的至少两个相邻频带确定相同的多抽头卷积矩阵参数的集合。如图7所示，可以对由奈奎斯特滤波器组提供的频带(即，对具有相对高的频率分辨率的频带)确定单个多抽头卷积矩阵参数的集合。通过这样做，奈奎斯特滤波器组在解码器100内的使用可以被省略，从而降低解码器100的计算复杂度(同时保持第二呈现的输出信号的质量)。
此外，可以对至少两个相邻高频带确定相同的实值变换参数(如图7的上下文下所示的那样)。通过这样做，可以进一步降低解码器100的计算复杂度(同时保持第二呈现的输出信号的质量)。
解释
整个说明书中所称的“一个实施例”、“一些实施例”或“实施例”意味着与实施例结合描述的特定的特征、结构或特性被包括在本发明的至少一个实施例中。因此，短语“在一个实施例中”、“在一些实施例中”或“在实施例中”在整个说明书中各个地方的出现不一定全都指的是同一个实施例，但是可以指同一个实施例。此外，在一个或多个实施例中，特定的特征、结构或特性可以以本领域的普通技术人员从本公开将清楚的任何合适的方式组合。
如本文所使用的，除非另有指定，否则序数形容词“第一”、“第二”、“第三”等描述共同对象的使用仅指示相似对象的不同实例正被提到，而非意图暗示如此描述的对象必须按时间上、空间上、排名上的给定顺序或任何其他方式的给定顺序。
在所附权利要求书和本文的描述中，术语“包括”、“…包括”或“其包括”中的任何一个是意指至少包括后面的元件/特征但不排除其他元件/特征的开放性术语。因此，术语“包括”在被用于权利要求中时不应被解释为是限制其后列出的手段或元件或步骤。例如，表达“包括A和B的设备”的范围不应限于仅由元件A和B组成的设备。如本文所使用的术语“包含”或“它包含”或“其包含”中的任何一个也是也意指至少包括该术语后面的元件/特征但不排除其他元件/特征的开放性术语。因此，包括与包含是同义的，并且意指包含。
如本文所使用的，术语“示例性”是以提供示例的意义使用的，与指示质量相反。也就是说，“示例性实施例”是作为示例提供的实施例，与一定是示例性质量的实施例相反。
应意识到，在上面对本发明的示例性实施例的描述中，为了使本公开精简并且帮助理解各种发明方面中的一个或多个的目的，本发明的各种特征在单个实施例、附图或其描述中有时被分组在一起。然而，本公开的方法不应被解释为反映要求保护的发明需要比每个权利要求中明确记载的特征多的特征的意图。相反，如所附权利要求所反映的，发明方面在于比单个前述公开实施例的所有特征少的特征。因此，接着具体实施方式的权利要求特此被明确地并入到该具体实施方式中，每个权利要求独自作为本发明的单独的实施例。
此外，如本领域技术人员将理解的，虽然本文所描述的一些实施例包括在其他实施例中所包含的一些特征，而不包括在这些其他实施例中所包含的其他特征，但是不同实施例的特征的组合意在于本发明的范围内，并且形成不同实施例。例如，在所附权利要求中，要求保护的实施例中的任何一个可以被按任何组合使用。
此外，实施例中的一些在本文中被描述为可以由计算机系统的处理器或实现功能的其他手段实现的方法或方法的元素的组合。因此，具有用于实现这样的方法或方法的元素所需要的指令的处理器形成用于实现该方法或方法的元素的手段。此外，装置实施例的本文所描述的元素是用于实现由用于实现本发明的目的的元素执行的功能的手段的示例。
在本文提供的描述中，阐述了许多特定细节。然而，理解的是，可以在没有这些特定细节的情况下实施本发明的实施例。在其他情况下，为了不模糊该描述的理解，没有详细示出众所周知的方法、结构和技术。
类似地，要注意的是，术语“耦合的”在被用在权利要求中时不应被解释为仅限于直接连接。术语“耦合的”和“连接的”、连同它们的派生词可以被使用。应理解，这些术语并非意图是彼此的同义词。因此，表达“耦合到设备B的设备A”的范围不应限于其中设备A的输出直接连接到设备B的输入的设备或系统。它意味着，在A的输出和B的输入之间存在路径，该路径可以是包括其他设备或手段的路径。“耦合的”可以意味着两个或更多个元件直接的物理或电接触，或两个或更多个元件不彼此直接接触但是仍彼此合作或交互。
因此，虽然已经描述了据信是本发明的优选实施例的内容，但是本领域技术人员将认识到，在不脱离本发明的精神的情况下，可以对本发明做出其他的和进一步的修改，并且意图要求保护落在本发明的范围内的所有这样的改变和修改。例如，上面给出的任何公式仅表示可以使用的规程。可以添加功能性，或者从框图删除功能性，并且可以在功能块之间交换操作。对于在本发明的范围内描述的方法，可以添加或删除步骤。
本发明的各方面可以从以下枚举的示例实施例(EEES)领会：
EEE 1.一种用于将音频声道或对象的第二呈现表示为数据流的方法，该方法包括以下步骤：
(a)提供基本信号的集合，所述基本信号表示音频声道或对象的第一呈现；
(b)提供变换参数的集合，所述变换参数意图将所述第一呈现变换为所述第二呈现；所述变换参数进一步是针对至少两个频带指定的，并且包括用于频带中的至少一个的多抽头卷积矩阵参数的集合。
EEE 2.根据EEE 1所述的方法，其中，滤波器系数的所述集合表示有限脉冲响应(FIR)滤波器。
EEE 3.根据前面任何一个EEE所述的方法，其中，基本信号的所述集合被划分为一系列时间段，并且对每个时间段提供变换参数的集合。
EEE 4.根据前面任何一个EEE所述的方法，其中，所述滤波器系数包括至少一个是复值的系数。
EEE 5.根据前面任何一个EEE所述的方法，其中，所述第一或第二呈现意图用于耳机回放。
EEE 6.根据前面任何一个EEE所述的方法，其中，与高频相关联的变换参数不修改信号相位，而对于低频，变换参数修改信号相位。
EEE 7.根据前面任何一个EEE所述的方法，其中，滤波器系数的所述集合可操作为对多抽头卷积矩阵进行处理。
EEE 8.根据EEE 7所述的方法，其中，滤波器系数的所述集合用于对低频带进行处理。
EEE 9.根据前面任何一个EEE所述的方法，其中，基本信号的所述集合和变换参数的所述集合被组合以形成所述数据流。
EEE 10.根据前面任何一个EEE所述的方法，其中，所述变换参数包括用于基本信号的集合的高频部分的矩阵运算的高频音频矩阵系数。
EEE 11.根据EEE 10所述的方法，其中，对于基本信号的所述集合的高频部分的中间频率部分，矩阵运算包括复值变换参数。
EEE 12.一种用于对编码的音频信号进行解码的解码器，编码的音频信号包括：
第一呈现，所述第一呈现包括意图以第一音频呈现格式再现音频的音频基本信号的集合；以及
变换参数的集合，该变换参数的集合用于将所述第一呈现格式的所述音频基本信号变换为第二呈现格式，所述变换参数至少包括高频音频变换参数和低频音频变换参数，所述低频变换参数包括多抽头卷积矩阵参数，
该解码器包括：
第一分离单元，所述第一分离单元用于分离音频基本信号的集合和变换参数的集合；
矩阵乘法单元，所述矩阵乘法单元用于将所述多抽头卷积矩阵参数应用于音频基本信号的低频分量，将卷积应用于低频分量，产生卷积的低频分量；以及
标量乘法单元，所述标量乘法单元用于将高频音频变换参数应用于音频基本信号的高频分量以产生标量高频分量；
输出滤波器组，所述输出滤波器组用于组合所述卷积的低频分量和所述标量高频分量以产生所述第二呈现格式的时域输出信号。
EEE 13.根据EEE 12所述的解码器，其中，所述矩阵乘法单元修改音频基本信号的低频分量的相位。
EEE 14.根据EEE 12或13所述的解码器，其中，所述多抽头卷积矩阵变换参数是复值。
EEE 15.根据EEE 12至14中任何一个所述的解码器，其中，所述高频音频变换参数是复值。
EEE 16.根据EEE 15所述的解码器，其中，变换参数的所述集合进一步包括实值高频音频变换参数。
EEE 17.根据EEE 12至16中任何一个所述的解码器，进一步包括滤波器，所述滤波器用于将音频基本信号分为所述低频分量和所述高频分量。
EEE 18.一种用于对编码的音频信号进行解码的方法，编码的音频信号包括：
第一呈现，所述第一呈现包括意图以第一音频呈现格式再现音频的音频基本信号的集合；以及
变换参数的集合，变换参数的所述集合用于将所述第一呈现格式的音频基本信号变换为所述第二呈现格式，所述变换参数至少包括高频音频变换参数和低频音频变换参数，所述低频变换参数包括多抽头卷积矩阵参数，
所述方法包括以下步骤：
将所述音频基本信号的低频分量与低频变换参数卷积以产生卷积的低频分量；
将音频基本信号的高频分量与高频变换参数相乘以产生相乘的高频分量；
将所述卷积的低频分量和所述相乘的高频分量组合以产生用于通过第二呈现格式回放的输出音频信号频率分量。
EEE 19.根据EEE 18所述的方法，其中，所述编码的信号包括多个时间段，所述方法进一步包括以下步骤：
对所述编码的信号的多个时间段的变换参数进行插值以产生插值的变换参数，所述插值的变换参数包括插值的低频音频变换参数；并且
将所述音频基本信号的低频分量的多个时间段与插值的低频音频变换参数卷积以产生所述卷积的低频分量的多个时间段。
EEE 20.根据EEE 18所述的方法，其中，所述编码的音频信号的变换参数的集合是时变的，并且所述方法进一步包括以下步骤：
将用于多个时间段的低频变换参数与低频分量进行卷积以产生中间的卷积的低频分量的多个集合；
对中间的卷积的低频分量的所述多个集合进行插值以产生所述卷积的低频分量。
EEE 21.根据EEE 19或EEE 20所述的方法，其中，所述插值利用中间的卷积的低频分量的所述多个集合的重叠和相加方法。
EEE 22.根据EEE 18-21中任何一个所述的方法，进一步包括将音频基本信号滤波为所述低频分量和所述高频分量。
EEE 23.一种计算机可读非暂时性存储介质，所述计算机可读非暂时性存储介质包括用于使计算机根据EEE 1至11和18-22中任何一个所述的方法进行操作的程序指令。

Claims (15)

1.一种方法，所述方法包括：
获得基本信号，所述基本信号表示音频声道或音频对象的呈现；
确定变换参数，所述变换参数配置为将所述呈现的基本信号变换为输出信号；
其中所述变换参数包括针对高频带指定的高频变换参数或针对低频带指定的低频变换参数中的至少一个，
其中所述低频变换参数包括用于将基本信号的低频分量与低频变换参数卷积以产生卷积的低频分量的多抽头卷积矩阵参数，并且
其中所述高频变换参数包括用于将基本信号的高频分量与高频变换参数相乘以产生相乘的高频分量的无状态矩阵的参数；以及
组合所述基本信号和所述变换参数以形成数据流。
2.根据权利要求1所述的方法，其中，所述多抽头卷积矩阵参数指示有限脉冲响应(FIR)滤波器。
3.根据权利要求1所述的方法，其中，所述基本信号被划分为一系列时间段，并且对每个时间段提供所述变换参数的至少一部分。
4.根据权利要求1所述的方法，其中，所述多抽头卷积矩阵参数包括作为复值的至少一个系数。
5.根据权利要求1所述的方法，其中
获得基本信号包括使用第一渲染参数来从音频声道或对象确定基本信号。
6.根据权利要求5所述的方法，包括使用第二渲染参数来从音频声道或对象确定期望输出信号。
7.根据权利要求6所述的方法，其中确定所述变换参数包括通过最小化输出信号与所述期望输出信号的偏差来确定变换参数。
8.一种非暂时性计算机可读介质，存储有指令，所述指令在被设备执行时使得所述设备执行操作，所述操作包括：
接收输入流(121)；
将所述输入流(121)划分为基本信号流(131)和变换参数数据(124)；
通过基本信号解码器(123)对所述基本信号流(131)进行解码以生成基本信号；
通过分析滤波器组(125)处理所述基本信号以生成具有多个子带的频域信号；
通过第一矩阵乘法单元(126)将复值卷积矩阵应用于所述频域信号的第一子带；
通过第二矩阵乘法单元(129)将复值单抽头矩阵系数应用于所述频域信号的第二子带；
通过第三矩阵乘法单元(130)将实值矩阵系数应用于所述频域信号的一个或多个剩余子带；以及
通过合成滤波器组(127)将矩阵乘法单元的输出信号转换成时域输出(128)。
9.根据权利要求8所述的非暂时性计算机可读介质，其中所述基本信号解码器以与由分析滤波器组提供的频率分辨率相同的频率分辨率对信号进行操作。
10.根据权利要求8所述的非暂时性计算机可读介质，所述操作包括通过将基本信号的各个帧与矩阵系数进行相关联来随时间更新矩阵系数。
11.根据权利要求8所述的非暂时性计算机可读介质，所述操作包括给矩阵系数补充时间戳，所述时间戳指示矩阵应该被应用于基本信号的哪个时间或间隔处。
12.一种系统，包括：
处理器；以及
非暂时性计算机可读介质，存储有指令，所述指令在被所述处理器执行时使得所述处理器执行操作，所述操作包括：
接收输入流(121)；
将所述输入流(121)划分为基本信号流(131)和变换参数数据(124)；
通过基本信号解码器(123)对所述基本信号流(131)进行解码以生成基本信号；
通过分析滤波器组(125)处理所述基本信号以生成具有多个子带的频域信号；
通过第一矩阵乘法单元(126)将复值卷积矩阵应用于所述频域信号的第一子带；
通过第二矩阵乘法单元(129)将复值单抽头矩阵系数应用于所述频域信号的第二子带；
通过第三矩阵乘法单元(130)将实值矩阵系数应用于所述频域信号的一个或多个剩余子带；以及
通过合成滤波器组(127)将矩阵乘法单元的输出信号转换成时域输出(128)。
13.根据权利要求12所述的系统，其中所述基本信号解码器以与由分析滤波器组提供的频率分辨率相同的频率分辨率对信号进行操作。
14.根据权利要求12所述的系统，所述操作包括通过将基本信号的各个帧与矩阵系数进行相关联来随时间更新矩阵系数。
15.根据权利要求12所述的系统，所述操作包括给矩阵系数补充时间戳，所述时间戳指示矩阵应该被应用于基本信号的哪个时间或间隔处。
CN202010976981.9A 2015-08-25 2016-08-23 音频解码器和解码方法 Active CN111970630B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562209742P 2015-08-25 2015-08-25
US62/209,742 2015-08-25
EP15189008 2015-10-08
EP15189008.4 2015-10-08
CN201680062186.0A CN108353242B (zh) 2015-08-25 2016-08-23 音频解码器和解码方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680062186.0A Division CN108353242B (zh) 2015-08-25 2016-08-23 音频解码器和解码方法

Publications (2)

Publication Number Publication Date
CN111970630A true CN111970630A (zh) 2020-11-20
CN111970630B CN111970630B (zh) 2021-11-02

Family

ID=54288726

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202010976981.9A Active CN111970630B (zh) 2015-08-25 2016-08-23 音频解码器和解码方法
CN201680062186.0A Active CN108353242B (zh) 2015-08-25 2016-08-23 音频解码器和解码方法
CN202010976967.9A Active CN111970629B (zh) 2015-08-25 2016-08-23 音频解码器和解码方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201680062186.0A Active CN108353242B (zh) 2015-08-25 2016-08-23 音频解码器和解码方法
CN202010976967.9A Active CN111970629B (zh) 2015-08-25 2016-08-23 音频解码器和解码方法

Country Status (12)

Country Link
US (3) US10672408B2 (zh)
EP (3) EP3748994B1 (zh)
JP (2) JP6797187B2 (zh)
KR (2) KR20230048461A (zh)
CN (3) CN111970630B (zh)
AU (3) AU2016312404B2 (zh)
CA (1) CA2999271A1 (zh)
EA (2) EA034371B1 (zh)
ES (1) ES2956344T3 (zh)
HK (1) HK1257672A1 (zh)
PH (1) PH12018500649A1 (zh)
WO (1) WO2017035163A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EA034371B1 (ru) 2015-08-25 2020-01-31 Долби Лэборетериз Лайсенсинг Корпорейшн Аудиодекодер и способ декодирования
KR102640940B1 (ko) 2016-01-27 2024-02-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 음향 환경 시뮬레이션
JP7023848B2 (ja) 2016-01-29 2022-02-22 ドルビー ラボラトリーズ ライセンシング コーポレイション バイノーラル・ダイアログ向上
FR3048808A1 (fr) * 2016-03-10 2017-09-15 Orange Codage et decodage optimise d'informations de spatialisation pour le codage et le decodage parametrique d'un signal audio multicanal
US10764709B2 (en) 2017-01-13 2020-09-01 Dolby Laboratories Licensing Corporation Methods, apparatus and systems for dynamic equalization for cross-talk cancellation
WO2020039734A1 (ja) * 2018-08-21 2020-02-27 ソニー株式会社 オーディオ再生装置、オーディオ再生方法及びオーディオ再生プログラム
JP2021184509A (ja) * 2018-08-29 2021-12-02 ソニーグループ株式会社 信号処理装置、信号処理方法、及び、プログラム
US20220199101A1 (en) 2019-04-15 2022-06-23 Dolby International Ab Dialogue enhancement in audio codec
EP4035426A1 (en) * 2019-09-23 2022-08-03 Dolby Laboratories Licensing Corporation Audio encoding/decoding with transform parameters
CN112133319A (zh) * 2020-08-31 2020-12-25 腾讯音乐娱乐科技（深圳）有限公司 音频生成的方法、装置、设备及存储介质
CN112489668B (zh) * 2020-11-04 2024-02-02 北京百度网讯科技有限公司 去混响方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101379555A (zh) * 2006-02-07 2009-03-04 Lg电子株式会社 用于编码/解码信号的装置和方法
CN101540171A (zh) * 2003-10-30 2009-09-23 皇家飞利浦电子股份有限公司 音频信号编码或解码
CN102939628A (zh) * 2010-03-09 2013-02-20 弗兰霍菲尔运输应用研究公司 用以使用级联滤波器组处理输入音频信号的装置及方法
US20130343473A1 (en) * 2012-06-20 2013-12-26 MagnaCom Ltd. Highly-Spectrally-Efficient Transmission Using Orthogonal Frequency Division Multiplexing
CN103763037A (zh) * 2013-12-17 2014-04-30 记忆科技(深圳)有限公司 一种动态补偿接收器及动态补偿接收方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5757931A (en) * 1994-06-15 1998-05-26 Sony Corporation Signal processing apparatus and acoustic reproducing apparatus
US5956674A (en) 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6115689A (en) * 1998-05-27 2000-09-05 Microsoft Corporation Scalable audio coder and decoder
JP4300380B2 (ja) * 1999-12-02 2009-07-22 ソニー株式会社 オーディオ再生装置およびオーディオ再生方法
US20050004791A1 (en) * 2001-11-23 2005-01-06 Van De Kerkhof Leon Maria Perceptual noise substitution
ATE486348T1 (de) 2003-06-30 2010-11-15 Koninkl Philips Electronics Nv Verbesserung der qualität von dekodierten audio mittels hinzufügen von geräusch
JP4171675B2 (ja) 2003-07-15 2008-10-22 パイオニア株式会社 音場制御システム、および音場制御方法
US8363865B1 (en) 2004-05-24 2013-01-29 Heather Bottum Multiple channel sound system using multi-speaker arrays
US7720230B2 (en) 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
DE102005010057A1 (de) 2005-03-04 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Stereo-Signals eines Audiostücks oder Audiodatenstroms
MX2008002713A (es) * 2005-08-30 2008-03-18 Lg Electronics Inc Aparato y metodo para codificar y decodificar senales de audio.
KR101562379B1 (ko) 2005-09-13 2015-10-22 코닌클리케 필립스 엔.브이. 공간 디코더 유닛 및 한 쌍의 바이노럴 출력 채널들을 생성하기 위한 방법
US8255207B2 (en) * 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
WO2007080211A1 (en) * 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
KR100885700B1 (ko) 2006-01-19 2009-02-26 엘지전자 주식회사 신호 디코딩 방법 및 장치
TWI329465B (en) * 2006-02-07 2010-08-21 Lg Electronics Inc Apparatus and method for encoding / decoding signal
US8174415B2 (en) 2006-03-31 2012-05-08 Silicon Laboratories Inc. Broadcast AM receiver, FM receiver and/or FM transmitter with integrated stereo audio codec, headphone drivers and/or speaker drivers
CN101136202B (zh) * 2006-08-29 2011-05-11 华为技术有限公司 音频信号处理系统、方法以及音频信号收发装置
KR101100222B1 (ko) 2006-12-07 2011-12-28 엘지전자 주식회사 오디오 처리 방법 및 장치
CA2701360C (en) * 2007-10-09 2014-04-22 Dirk Jeroen Breebaart Method and apparatus for generating a binaural audio signal
RU2010125221A (ru) 2007-11-21 2011-12-27 ЭлДжи ЭЛЕКТРОНИКС ИНК. (KR) Способ и устройство для обработки сигнала
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
EP2224431A1 (en) * 2009-02-26 2010-09-01 Research In Motion Limited Methods and devices for performing a fast modified discrete cosine transform of an input sequence
TWI557723B (zh) * 2010-02-18 2016-11-11 杜比實驗室特許公司 解碼方法及系統
US9280980B2 (en) * 2011-02-09 2016-03-08 Telefonaktiebolaget L M Ericsson (Publ) Efficient encoding/decoding of audio signals
CN104145485A (zh) * 2011-06-13 2014-11-12 沙克埃尔·纳克什·班迪·P·皮亚雷然·赛义德 产生自然360度三维数字立体环绕音效（3d dssrn-360）的系统
US8653354B1 (en) 2011-08-02 2014-02-18 Sonivoz, L.P. Audio synthesizing systems and methods
TWI479905B (zh) 2012-01-12 2015-04-01 Univ Nat Central Multi-channel down mixing device
EP2658120B1 (en) 2012-04-25 2016-04-13 GN Resound A/S A hearing aid with improved compression
US9420393B2 (en) * 2013-05-29 2016-08-16 Qualcomm Incorporated Binaural rendering of spherical harmonic coefficients
US9384741B2 (en) * 2013-05-29 2016-07-05 Qualcomm Incorporated Binauralization of rotated higher order ambisonics
US9025711B2 (en) * 2013-08-13 2015-05-05 Applied Micro Circuits Corporation Fast filtering for a transceiver
CA3219512A1 (en) 2015-08-25 2017-03-02 Dolby International Ab Audio encoding and decoding using presentation transform parameters
EA034371B1 (ru) 2015-08-25 2020-01-31 Долби Лэборетериз Лайсенсинг Корпорейшн Аудиодекодер и способ декодирования

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540171A (zh) * 2003-10-30 2009-09-23 皇家飞利浦电子股份有限公司 音频信号编码或解码
CN101379555A (zh) * 2006-02-07 2009-03-04 Lg电子株式会社 用于编码/解码信号的装置和方法
CN102939628A (zh) * 2010-03-09 2013-02-20 弗兰霍菲尔运输应用研究公司 用以使用级联滤波器组处理输入音频信号的装置及方法
US20130343473A1 (en) * 2012-06-20 2013-12-26 MagnaCom Ltd. Highly-Spectrally-Efficient Transmission Using Orthogonal Frequency Division Multiplexing
CN103763037A (zh) * 2013-12-17 2014-04-30 记忆科技(深圳)有限公司 一种动态补偿接收器及动态补偿接收方法

Also Published As

Publication number Publication date
AU2016312404B2 (en) 2020-11-26
JP2023053304A (ja) 2023-04-12
CN111970629A (zh) 2020-11-20
AU2021201082A1 (en) 2021-03-11
CN111970629B (zh) 2022-05-17
CN108353242B (zh) 2020-10-02
AU2021201082B2 (en) 2023-01-19
PH12018500649A1 (en) 2018-10-01
US20230360659A1 (en) 2023-11-09
AU2016312404A1 (en) 2018-04-12
JP2018529121A (ja) 2018-10-04
AU2016312404A8 (en) 2018-04-19
EP4254406A2 (en) 2023-10-04
US20200357420A1 (en) 2020-11-12
KR20180042392A (ko) 2018-04-25
EP3748994A1 (en) 2020-12-09
US11705143B2 (en) 2023-07-18
EP3342188B1 (en) 2020-08-12
EA034371B1 (ru) 2020-01-31
US20220399027A1 (en) 2022-12-15
CA2999271A1 (en) 2017-03-02
KR102517867B1 (ko) 2023-04-05
EA201992556A1 (ru) 2021-03-31
ES2956344T3 (es) 2023-12-19
EA201890557A1 (ru) 2018-08-31
US10672408B2 (en) 2020-06-02
CN108353242A (zh) 2018-07-31
AU2023202400A1 (en) 2023-05-11
WO2017035163A1 (en) 2017-03-02
CN111970630B (zh) 2021-11-02
JP6797187B2 (ja) 2020-12-09
WO2017035163A9 (en) 2017-05-18
KR20230048461A (ko) 2023-04-11
US11423917B2 (en) 2022-08-23
EP3342188A1 (en) 2018-07-04
EP3748994B1 (en) 2023-08-16
US20180233156A1 (en) 2018-08-16
HK1257672A1 (zh) 2019-10-25
EP4254406A3 (en) 2023-11-22

Similar Documents

Publication Publication Date Title
US11705143B2 (en) Audio decoder and decoding method
CA2999328C (en) Audio encoding and decoding using presentation transform parameters
JP7229218B2 (ja) データ・ストリームを形成するための方法、媒体、システム
US12002480B2 (en) Audio decoder and decoding method
EA041656B1 (ru) Аудиодекодер и способ декодирования

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40035948

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant