CN105191354B - 音频处理装置及其方法 - Google Patents

音频处理装置及其方法 Download PDF

Info

Publication number
CN105191354B
CN105191354B CN201480028327.8A CN201480028327A CN105191354B CN 105191354 B CN105191354 B CN 105191354B CN 201480028327 A CN201480028327 A CN 201480028327A CN 105191354 B CN105191354 B CN 105191354B
Authority
CN
China
Prior art keywords
audio
rendering
frequency
frequency transducer
render
Prior art date
Application number
CN201480028327.8A
Other languages
English (en)
Other versions
CN105191354A (zh
Inventor
W.P.J.德布鲁伊恩
A.S.赫马
A.W.J.奧门
Original Assignee
皇家飞利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP13168064 priority Critical
Priority to EP13168064.7 priority
Application filed by 皇家飞利浦有限公司 filed Critical 皇家飞利浦有限公司
Priority to PCT/EP2014/060109 priority patent/WO2014184353A1/en
Publication of CN105191354A publication Critical patent/CN105191354A/zh
Application granted granted Critical
Publication of CN105191354B publication Critical patent/CN105191354B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/308Electronic adaptation dependent on speaker or headphone connection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024Positioning of loudspeaker enclosures for spatial sound reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/03Connection circuits to selectively connect loudspeakers or headphones to amplifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11Application of ambisonics in stereophonic audio systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13Application of wave-field synthesis in stereophonic audio systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40Visual indication of stereophonic sound image

Abstract

音频处理装置包括:接收包括音频成分的音频数据和包括一组音频换能器(703)的音频换能器位置数据的渲染配置数据的接收器(705)。渲染器(707)从音频数据产生这组音频换能器的音频换能器信号。渲染器(7010)能够根据多个渲染模式渲染音频成分。渲染控制器(709)基于音频换能器位置数据而从多个渲染模式选择用于渲染器(707)的渲染模式。渲染器(707)可针对这组音频换能器的不同子集采用不同的渲染模式,渲染控制器(709)可针对这组音频换能器(703)的每个不同子集独立地选择渲染模式。渲染控制器(709)可响应于这组音频换能器(703)的第一音频换能器相对于音频换能器的预定位置的位置而选择第一音频换能器的渲染模式。该方法可提供例如对下面的情形的提高的适应:大部分扬声器在期望位置处而子集从(多个)期望位置偏离。

Description

音频处理装置及其方法

技术领域

[0001] 本发明涉及音频处理装置及其方法,且更特别地但不排他地涉及包括不同类型的 音频成分的空间音频的渲染。

背景技术

[0002] 在最近几十年中,音频应用的多样性和灵活性随着例如显著变化的音频渲染应用 的多样性而极大地增加。除了那之外,音频值染设置用在种种声环境中且用于很多不同的 应用。

[0003] 在传统上,总是针对一个或多个规定的扬声器配置来开发空间声再现系统。作为 结果,空间体验取决于所使用的实际扬声器配置多么接近地匹配所定义的标称配置,并且 一般只针对实质上正确地,即根据规定的扬声器配置被建立的系统,来实现高质量空间体 验。

[0004] 然而使用具有一般相对高数量的扬声器的特定扬声器配置的要求是麻烦的和不 利的。实际上,由消费者在部署例如家庭影院环绕声系统时感觉到的明显的不方便是对将 要位于特定位置处的相对大数量的扬声器的需要。一般,实际环绕声扬声器设置将由于用 户发现将扬声器定位在最佳位置处是不实际的而从理想设置偏离。相应地,由这样的设置 提供的体验且特别是空间体验是次优的。

[0005] 在近年来,因此有朝着消费者要求对他们的扬声器的位置的较不严格的需要的强 烈趋势。甚至更加如此的是,他们的主要要求是扬声器设置适合他们的家庭环境,而同时他 们当然预期系统仍然提供高质量声体验。当扬声器的数量增加时,这些冲突要求变得更突 出。此外,由于朝着提供具有从多个方向到达收听者的声音的全三维声再现的当前趋势,问 题变得更相关。

[0006] 开发了音频编码格式以提供越来越有能力的、多变的和灵活的音频服务,且特别 是,开发了支持空间音频服务的音频编码格式。

[0007] 熟知的音频编码技术例如DTS和杜比数码产生将空间图像表示为围绕在固定位置 处的收听者放置的多个通道的编码多通道音频信号。对于与对应于多通道信号的设置不同 的扬声器设置,空间图像将是次优的。此外,基于通道的音频编码系统一般不能够对付不同 数量的扬声器。

[0008] (IS0/IEC) MPEG-2提供多通道音频编码工具,其中比特流格式包括音频信号的2 通道和5多通道混合。当使用(IS0/IEC) MPEG-1解码器对比特流解码时,2通道后向兼容的 混合被再现。当使用MPEG-2解码器对比特流解码时,三个辅助数据通道被解码,这三个辅助 数据通道在与立体声通道组合(解矩阵)时导致音频信号的5通道混合。

[0009] (IS0/IEC MPEG-D) MPEG环绕声提供允许现有的基于单声道或立体声的编码器扩 展到多通道音频应用的多通道音频编码工具。图1图示MPEG环绕声系统的元件的例子。使用 通过原始多通道输入的分析得到的空间参数,MPEG环绕声解码器可通过单声道或立体声信 号的受控上混而重新创建空间图像,以得到多通道输出信号。

[0010] 因为多通道输入信号的空间图像被参数化,MPEG环绕声允许通过不使用多通道扬 声器设置的渲染设备对同一多通道比特流的解码。例子是在头戴式耳机上虚拟环绕声再 现,这被称为MPEG环绕声双耳声解码过程。在这个模式中,当使用常规头戴式耳机时可提供 逼真环绕声体验。另一例子是更高阶多通道输出(例如7.1通道)到更低阶设置(例如5.1通 道)的削减。

[0011] 如所提到的,随着越来越多的再现格式变得对主流消费者可用,在用于渲染空间 声音的渲染配置中的变化和灵活性在近年来明显增大了。这要求音频的灵活表现。与引入 MPEG环绕声编码解码器一起采取重要的步骤。尽管如此,仍然对特定的扬声器设置例如ITU 5.1扬声器设置产生并传输音频。没有规定在不同设置上和在非标准(即灵活的或用户定义 的)扬声器设置上的再现。实际上,期望使音频编码和变现越来越地独立于特定的预定和标 称扬声器设置。越来越优选地,对各种各样不同的扬声器设置的灵活适应可在解码器/渲染 侧处被执行。

[0012]为了提供音频的更灵活的表现,MPEG标准化了称为“空间音频对象编码”(IS0/IEC MPEG-D SA0C)的格式。与多通道音频编码系统(例如DTS、杜比数码和MPEG环绕声)相反, SA0C提供对个体音频对象而不是音频通道的有效编码。虽然在MPEG环绕声中,每个扬声器 通道可被考虑为起源于声对象的不同混合,SA0C允许在如图2所示的多通道混合中的个体 声对象的位置的交互式操纵。

[0013] 类似于MPEG环绕声,SA0C也创建单声道或立体声下混。此外,对象参数被计算并包 括。在解码器侧,用户可操纵这些参数以控制个体对象的各种特征(例如位置、级别、均衡), 或甚至应用效果例如混响。图3图示使用户能够控制包含在SA0C比特流中的个体对象的交 互式接口。借助于渲染矩阵,个体的声对象被映射到扬声器通道。

[0014] SA0C允许更灵活的方法,且特别是通过除了仅仅再现通道之外传输音频对象而允 许更多基于渲染的可适应性。这允许解码器侧将音频对象放置在空间中的任意位置处,假 定空间被扬声器充分覆盖。这样,在所传输的音频和再现或渲染设置之间没有关系,因此可 使用任意扬声器设置。这对于例如在典型起居室中的家庭影院设置(其中扬声器几乎从不 在意图位置处)是有利的。在SA0C中,在解码器处决定对象被放置在声场景中的哪里(例如 借助于如图3所示的接口),这常常不是从艺术观点所期望的。SA0C标准提供了在比特流中 传输默认渲染矩阵的方式,消除了解码器责任。然而,所提供的方法依赖于固定再现设置或 未规定的语法。因此,SA0C不提供标准手段来独立于扬声器设置完全传输音频场景。而且, SA0C未很好地被配备到扩散信号成分的忠实渲染。虽然存在包括所谓的多通道背景对象 (MB0)以捕获扩散声音的可能性,这个目的被约束到一个特定的扬声器配置。

[0015] 3D音频的音频格式的另一规范由DTS有限公司(数字影院系统)开发。DTS有限公司 开发了多维音频(MDA™)--—种基于开放对象的音频创建和创作平台,以加速下一代内容 创建。MDA平台支持通道和音频对象两者,并适应于任何扬声器数量和配置。MDA格式允许遗 留多通道下混连同个体声对象一起的传输。此外,对象定位数据被包括。生成MDA音频流的 原理在图4中图示。

[0016]在MDA方法中,声对象单独地在扩展流中被接收到,且这些可从多通道下混被提 取。因而产生的多通道下混连同单独可得到的对象一起被渲染。

[0017]对象可由所谓的符尾组成。这些符尾基本上是被分组(下混的)的轨或对象。因此, 对象可由被封装进符尾内的多个子对象组成。在MDA中,多通道基准混合可与一系列音频对 象一起被传输。MDA传输每个对象的3D位置数据。可然后使用3D位置数据提取对象。替代地, 可传输描述在对象和基准混合之间的关系的逆混合矩阵。

[0018] 从MDA描述中,可能通过将角度和距离分配到每个对象来传输声场景信息,指示对 象应相对于例如默认的正向方向放置在哪里。因此,为每个对象传输位置信息。这对点源是 有用的,但不能描述宽源(像例如合唱队或喝彩)或扩散声场(例如背景)。当所有点源从基 准混合被提取时,背景多通道混合保留。类似于SAOC,在MDA中的残余物固定到特定的扬声 器设置。

[0019]因此,SAOC和MDA方法都合并可个体地在解码器侧被操纵的个体音频对象的传输。 在这两种方法之间的差异是,SAOC通过提供相对于下混表征对象的参数(g卩,使得在解码器 侧处从下混产生音频对象)来提供关于音频对象的信息,而MDA提供音频对象作为完全和单 独的音频对象(即可在解码器侧处与下混独立地产生)。对于这两种方法,可为音频对象传 递位置数据。

[0020]目前,在IS0/IEC MPEG内,准备标准MPEG 3D音频以便于3D音频的传输和渲染。 MPEG-3D音频旨在连同HEVC视频编码和MMT (MPEG媒体传输)系统层一起成为MPEG-H套件的 部分。图5图示意图的MPEG 3D音频系统的当前高级别方框图。

[0021]除了传统的基于通道的格式以外,该方法旨在也支持基于对象和基于场景的格 式。系统的重要方面是,它的质量应针对增加的比特率的透明度而按比例调整,即随着数据 速率增加,由编码和解码引起的降级应继续减小,直到它是微不足道的为止。然而,这样的 要求对在过去相当大量地使用的参数编码技术(即HE-AAC v2、MPEG环绕声、SA0C、USAC)往 往是成问题的。特别是,个体信号的信息损失的补偿往往不被参数数据安全补偿,甚至在非 常高的比特率下也是如此。实际上,质量将被参数模型的内在质量限制。

[0022] MPEG-3D音频此外试图提供因而产生的独立于再现设置的比特流。所设想的再现 可能性包括多达22.2个通道的灵活的扬声器设置以及在头戴式耳机和紧密地间隔开的扬 声器之上的虚拟环绕声。

[0023] US2013/101122 A1公开了基于对象的音频内容产生/播放装置,其使基于对象的 音频内容能够使用WFS方案和多通道环绕声方案中的至少一个来播放,而不考虑听众的再 现环境。

[0024] W02013/006338 A2公开了包括新的扬声器布局(通道配置)和相关空间描述格式 的系统。W02013/006338 A2目的在于提供支持多种渲染技术的自适应音频系统和格式。音 频流连同描述“混合器的意图”(包括(多个)音频对象的期望位置)的元数据一起被传输。 [0025] US2010/223552 A1公开了配置成捕获和/或产生由多个声源产生的声事件的系 统。特别是,该系统可配置成使得可在个体的基础上控制与声源的单独声源相关的声对象 的声产生的捕获、处理和/或输出。

[0026]总之,大部分现有的声再现系统在扬声器设置方面只允许适度量的灵活性。因为 几乎每个现有的系统都根据关于扬声器(例如或多或少等距地围绕收听者定位的扬声器, 或布置在收听者的前方的一条线上的扬声器,或头戴式耳机)的一般配置,或关于内容的性 质(例如由少量单独可定位源组成或由高度扩散声场景组成)的某个基本假设来开发,每个 系统只能够传送用针对可出现在渲染环境中(例如在用户的家里)的有限范围的扬声器配 置的最佳体验。允许灵活的扬声器设置的新的一类声音渲染系统因此是期望的。这个灵活 性可包括各种元素,其包括不仅扬声器的位置,而且扬声器的数量及它们的个体特性(例如 带宽、最大输出功率、方向性等)。

[0027]因此,改进的音频渲染方法将是有利的,且特别是允许增加的灵活性、方便的实施 方式和/或操作、允许扬声器的更灵活定位、对不同的扬声器配置的提高的适应和/或提高 的性能的方法将是有利的。

发明内容

[0028] 相应地,本发明试图优选地减轻、缓和或消除单独地或以任何组合的一个或多个 上面提到的缺点。

[0029]根据本发明的方面,提供了音频处理装置,其包括:用于接收音频数据和渲染配置 数据的接收器,音频数据包括多个音频成分的音频数据且渲染配置数据包括一组音频换能 器的音频换能器位置数据;用于从音频数据产生用于这组音频换能器的音频换能器信号的 渲染器,渲染器能够根据多个渲染模式渲染音频成分;布置成响应于音频换能器位置数据 而从多个渲染模式选择用于渲染器的渲染模式的渲染控制器;以及其中渲染器布置成针对 这组音频换能器的不同子集使用不同的渲染模式,并针对这组音频换能器的每个不同子集 独立地选择植染模式。

[0030] 本发明还在很多情形中提供改进的渲染。在很多实际应用中,可实现实质上提高 的用户体验。该方法允许在用于渲染音频的音频换能器(特别是扬声器)的定位中的增加的 灵活性和自由度。例如,该方法可允许未被最佳地定位(例如根据预定或默认的配置设置) 的音频换能器的提高的适应和优化,而同时允许被定位的音频换能器实质上最佳地被充分 利用。

[0031] 不同的音频成分可以特别地都是同一摄影棚或音频场景的部分。音频成分可以是 空间音频成分,例如通过具有例如由相关元数据提供的相关隐式位置信息或显式位置信 息。渲染模式可以是空间渲染模式。

[0032] 音频换能器信号可以是音频换能器的驱动信号。音频换能器信号可在被馈送到音 频换能器之前例如通过滤波或放大被进一步处理。等同地,音频换能器可以是包括用于放 大和/或滤波所提供的驱动信号的功能的有源换能器。可为多个音频换能器的每个音频换 能器产生音频换能器信号。

[0033] 渲染控制器可布置为就针对子集选择不同渲染模式的意义上针对不同子集独立 地选择渲染模式。一个子集的渲染模式的选择可考虑与属于另一子集的音频换能器相关的 特性。

[0034]音频换能器位置数据可提供用于这组音频换能器的每个音频换能器的位置指示 或可提供用于仅仅其子集的位置指示。

[0035]渲染器可布置成针对每个音频成分产生用于音频换能器的音频换能器信号成分, 并通过组合用于多个音频成分的音频换能器信号成分来产生用于每个音频换能器的音频 换能器信号。

[0036]根据本发明的可选特征,渲染器可操作来针对这组换能器的第一音频换能器的音 频对象使用不同的渲染模式,且渲染控制器布置成针对第一音频换能器的每个音频对象独 立地选择渲染模式。

[0037]这可在很多实施例中提供提高的性能和/或可允许提高的用户体验和/或增加的 自由度和灵活性。特别是,该方法可允许对特定的渲染情形的提高的适应,其中考虑对特定 渲染配置和被渲染的音频的优化。特别是,特定的渲染算法被使用于的音频换能器的子集 对于不同的音频成分可以是不同的,以反映音频成分的不同特性。

[0038]在一些实施例中,渲染控制器可布置成响应于渲染配置数据,针对第一音频成分 选择来自多个渲染模式的选定渲染模式;并响应于音频描述数据确定选定渲染模式的一组 渲染参数。

[0039]根据本发明的可选特征,多个音频成分中的至少两个是不同的音频类型。

[0040]这可在很多实施例中提供提高的性能和/或可允许提高的用户体验和/或增加的 自由度和灵活性。特别是,该方法可允许对特定的渲染情形的提高的适应,其中执行对特定 渲染配置和被渲染的音频的优化。

[0041]用于给定的音频换能器的渲染模式对于不同的音频成分可以是不同的。可根据音 频成分的音频类型来选择不同的渲染模式。音频描述数据可指示多个音频成分中的一个或 多个的音频类型。

[0042]根据本发明的可选特征,多个音频成分包括来自由下列项组成的组的不同音频类 型的至少两个音频成分:音频通道成分、音频对象成分和音频场景成分;并且渲染器布置成 针对该至少两个音频成分使用不同渲染模式。

[0043]这可提供特别有利的性能,且可特别是允许系统例如MPEG 3D Audio的提高的性 能。渲染控制器可根据音频成分是音频通道、音频对象还是音频场景对象来选择用于音频 换能器的给定子集和第一音频成分的渲染模式。

[0044] 根据MPEG标准IS0/IEC 23008-3 MPEG 3D Audio,音频成分可以特别地是音频通 道成分、音频对象成分和/或音频场景成分。

[0045]根据本发明的可选特征,接收器布置成接收指示至少第一音频成分的音频类型的 音频类型指示数据,且渲染控制器布置成响应于音频类型指示数据而选择用于第一音频成 分的渲染模式。

[0046]这可提供提高的性能,并可允许提高的用户体验、提高的适应和/或在音频换能器 定位中的提高的灵活性和自由度。

[0047]根据本发明的可选特征,渲染控制器布置成响应于第一音频换能器相对于音频换 能器的预定位置的位置来选择用于第一音频换能器的渲染模式。

[0048]这可提供提高的性能,并可允许提高的用户体验、提高的适应和/或在音频换能器 定位中的提高的灵活性和自由度。

[0049]第一音频换能器的位置和/或该预定位置可作为绝对位置或作为例如相对于收听 者位置的相对位置而被提供。

[0050]预定位置可以是在渲染配置中的音频换能器的标称或默认位置。渲染配置可以是 与标准设置例如标称5.1环绕声扬声器设置相关的渲染配置。渲染配置在一些情况下可对 应于与一个或多个音频成分相关的默认渲染配置,例如与音频通道相关的渲染配置。特别 地,预定位置可以是针对音频通道假设或定义的默认音频换能器位置。

[0051]根据本发明的可选特征,渲染控制器布置成选择用于第一音频换能器的默认渲染 模式,除非在第一音频换能器的位置与预定位置之间的差异超过阈值。

[0052] 这可便于操作并可在很多实施例和情形中允许提高的可靠性和/或鲁棒性。默认 渲染模式可例如与默认渲染配置(例如与标准环绕声音频换能器配置相关的环绕声渲染算 法)相关。默认渲染模式(例如环绕声渲染模式)可用于被定位为靠近标准环绕声音频换能 器配置的默认位置的音频换能器,而当音频换能器位置足够偏离默认位置时可选择替代的 渲染模式/算法。

[0053] 根据本发明的可选特征,渲染控制器布置成:将这组音频换能器分成音频换能器 的第一子集和音频换能器的第二子集,音频换能器的第一子集包括在音频换能器的位置和 预定位置之间的差异超过阈值的音频换能器,而音频换能器的第二子集包括在音频换能器 的位置和预定位置之间的差异不超过阈值的至少一个音频换能器;以及从第一渲染模式子 集选择用于第一子集的每个音频换能器的渲染模式并从第二渲染模式子集选择用于第二 子集的每个音频换能器的濱染模式。

[0054] 该方法可提供方便的操作和/或提高的性能和/或增加的灵活性。

[0055] 第一子集可包括被定位为远离给定标称渲染/音频换能器配置的默认位置的音频 换能器。第二子集可包括被定位为接近给定标称渲染/音频换能器配置的默认位置的一个 或多个音频换能器。第二子集的(多个)驱动信号可使用与给定标称渲染/音频换能器配置 相关的标称渲染模式,而第一子集的驱动信号可使用补偿不在默认位置处的音频换能器的 不同的渲染模式。第一子集可能包括在音频换能器的位置和预定位置之间的差异不超过阈 值的一个或多个音频换能器;例如,如果这样的(多个)音频换能器用于支持来自其中该差 异超过阈值的音频换H纟器的植染的话。

[0056]根据本发明的可选特征,多个渲染模式包括从由下列项组成的组选择的至少一个 渲染模式:立体声渲染;基于矢量的幅值平移渲染;波束成型渲染;串音消除渲染;高保真度 立体声响复制(ambisonics)渲染;波场合成渲染;以及最小二乘法优化渲染。

[0057]在这些渲染模式之间的音频换能器子集的单独选择提供特别有利的性能。实际 上,组的渲染模式具有特别适合于具有不同特性的不同渲染/音频换能器配置的特性。

[0058]根据本发明的可选特征,接收器还布置成接收音频成分的渲染位置数据,且渲染 控制器布置成响应于渲染位置数据而选择渲染模式。

[0059]这可提供提高的性能和适应,且将在很多实施例和情形中允许提高的用户体验。

[0060] 根据本发明的可选特征,渲染器布置成针对音频成分中的音频成分的不同频带使 用不同的渲染模式;且渲染控制器布置成针对音频成分的不同频带独立地选择渲染模式。

[0061] 这可提供提高的性能和适应,且将在很多实施例和情形中允许提高的用户体验。

[0062] 根据本发明的可选特征,渲染控制器布置成使用于至少一个音频成分的渲染的变 化与在该至少一个音频成分中的音频内容变化同步。

[0063]这可提供提高的性能和适应,且将在很多实施例和情形中允许提高的用户体验。 它可特别是减小渲染中的变化对用户来说的显著性。

[0064]根据本发明的可选特征,渲染控制器还布置成响应于来自由下列项组成的组的渲 染配置数据而选择渲染模式:不在这组音频换能器中的音频换能器的音频换能器位置数 据;收听位置数据;这组音频换能器的音频换能器的音频换能器音频渲染特性数据;以及用 户渲染偏好。

[0065] 这可提供提高的性能和适应,且将在很多实施例和情形中允许提高的用户体验。

[0066] 根据本发明的可选特征,渲染控制器布置成响应于由感知模型产生的质量度量而 选择漬染模式。

[0067] 这可提供特别有利的操作并可提供提高的性能和/或适应。特别是,在很多实施例 中,它可允许有效和优化的适应。

[0068]根据本发明的方面,提供了音频处理的方法,该方法包括:接收音频数据和渲染配 置数据,音频数据包括多个音频成分的音频数据并且渲染配置数据包括一组音频换能器的 音频换能器位置数据;从音频数据产生这组音频换能器的音频换能器信号,该产生包括根 据多个可能的渲染模式中的渲染模式来渲染音频成分;响应于音频换能器位置数据从多个 可能的渲染模式选择用于渲染器的渲染模式;并且其中音频换能器信号的产生包括针对这 组音频换能器的不同子集采用不同的渲染模式,以及针对这组音频换能器的不同子集中的 每个子集独立地选择渲染模式。

[0069] 本发明的这些和其它方面、特征和优点将根据在下文中描述的实施例中而变得清 楚并将参考在下文中描述的实施例被阐明。

附图说明

[0070] 仅通过例子参考附图来描述本发明的实施例,其中:

[0071] 图1图示根据现有技术的MPEG环绕声系统的原理的例子;

[0072] 图2图示根据现有技术的SA0C系统的元件的例子;

[0073] 图3图示使用户能够控制包含在SA0C比特流中的个体对象的交互式接口;

[0074]图4图示根据现有技术的DTS MDA™的音频编码的原理的例子;

[0075]图5图示根据现有技术的MPEG 3D音频系统的元件的例子;

[0076]图6图示根据本发明的一些实施例的渲染方法的原理的例子;

[0077] 图7图示根据本发明的一些实施例的音频处理装置的例子;以及

[0078] 图8图示图7的音频处理装置的渲染器的元件的例子。

具体实施方式

[0079]下面的描述聚焦于可应用于渲染系统的本发明的实施例,渲染系统布置成渲染不 同类型的多个渲染音频成分,且特别是mpeg音频流的音频通道、音频对象和音频场景对象 的渲染。然而将认识到,本发明不限于这个申请,但可应用于很多其它音频渲染系统以及其 它音频流。

[0080] 所述渲染系统是能够使它的操作适应于所使用的特定音频换能器渲染配置且特 别地适应于在渲染中使用的音频换能器的特定位置的自适应渲染系统。

[0081] 大部分现有声再现系统只允许在扬声器设置中的非常适度量的灵活性。由于通常 以关于扬声器的一般配置(例如扬声器或多或少等距地位于收听者周围或布置在收听者的 前方的线上的扬声器)或关于音频内容的性质(例如它由少量单独局部化源组成或它由高 度扩散声场景组成)的基本假设来开发常规系统,现有系统一般只能够针对有限范围的扬 声器配置来传送最佳体验。这导致在用户体验中且特别是在很多真实生活使用情况中的空 间体验中的明显降低和/或严重减小用户定位扬声器的自由度和灵活性。

[0082]在下文中所述的渲染系统提供能够传送在不同扬声器设置的大范围内的高质量 和一般优化的空间体验的自适应渲染系统。它因此提供在很多应用中例如对家庭渲染应用 寻求的自由度和灵活性。

[0083]渲染系统基于决策算法的使用,决策算法从一组不同的(空间)声音渲染方法模式 选择一个或多个(空间)渲染方法,使得(多个)用户的提高和常常最优的体验被实现。选择 决策基于用于渲染的实际扬声器配置。用于选择渲染模式的配置数据包括扬声器的至少 (可能三维)位置,并可在一些实施例中也考虑扬声器的其它特性(例如尺寸、频率特性和方 向性型式)。在很多实施例中,选择决策可进一步基于音频内容的特性,例如,如在伴随实际 音频数据的元数据中规定的。

[0084] 在一些实施例中,选择算法还可使用其它可得到的信息以调节或确定(多个)选定 渲染方法的设置。

[0085]图6图示根据本发明的一些实施例的渲染方法的原理的例子。在该例子中,当选择 音频输入流的音频成分的适当渲染模式时,考虑各种数据。

[0086]图7图示根据本发明的一些实施例的音频处理装置701的例子.音频处理装置701 特别地是产生用于一组音频换能器的信号的音频渲染器,这组音频换能器在特定的例子中 是扬声器703。因此,音频处理装置701产生音频换能器信号,其在特定的例子中是用于一组 扬声器703的驱动信号。图7特别地图示六个扬声器(例如对于5.1扬声器设置)的例子,但将 认识到,这仅仅图示特定的例子,以及可使用任何数量的扬声器。

[0087] 音频处理装置701包括接收包括从扬声器703将被渲染的多个音频成分的音频数 据的接收器705。音频成分一般被渲染以向用户提供空间体验,并可例如包括音频通道、音 频对象和/或音频场景对象。

[0088] 音频处理装置701还包括布置成从音频数据产生音频换能器信号(即扬声器703的 驱动信号)的渲染器707。特别地,渲染器可从每个音频成分产生扬声器703的驱动信号成 分,并接着将不同音频成分的驱动信号成分组合成单个音频换能器信号,即被馈送到扬声 器703的最终驱动信号。为了简洁和清楚,图7和下面的描述将不讨论可应用于驱动信号或 当产生驱动信号时的标准信号处理操作。然而将认识到,系统可包括例如滤波和放大功能。

[0089] 接收器705在一些实施例中可接收包括多个音频成分的编码音频数据的编码音频 数据,并可布置成将音频数据解码并向渲染器7〇7提供解码的音频流。特别地,可为每个音 频成分提供一个音频流。替代地,一个音频流可以是多个声对象(如例如针对SAOC比特流) 的下混。在一些实施例中,接收器705还可布置成向音频成分的渲染器707提供位置数据,且 渲染器707可相应地定位音频成分。在一些实施例中,可以替代地或此外假设或预定所有或 一些音频成分的位置,例如标称环绕声设置的音频通道的默认音频源位置。在一些实施例 中,位置数据可以替代地或此外从例如用户输入由单独的算法提供或由渲染器本身产生。

[0090] 与常规系统相反,图7的音频处理装置701不仅仅基于扬声器7〇3的预定或假设的 位置产生驱动信号。更确切地,系统使渲染适应于扬声器的特定配置。特别地,系统布置成 根据扬声器的位置在多个不同的算法之间选择并此外能够为不同的扬声器选择不同的渲 染算法。

[0091] 将认识到,不同的渲染算法包括可在很多音频设备中可得到的各种音频渲染增强 算法。这样的算法常常设计成为收听者提供例如更好的空间包围、提高的语音清晰性或更 宽的收听区域。这样的增强特征可被考虑为渲染算法和/或可被考虑为特定渲染算法的成 分。

[0092]特别是,渲染器707可操作来根据具有不同特性的多个渲染模式来渲染音频成分。 例如,一些渲染模式将采用提供给出非常特定和高度局部化音频感知的渲染的算法,而其 它渲染模式采用提供扩散和展开位置感知的渲染算法。因此,渲染和所感知的空间体验可 根据哪个渲染算法被使用而实质上非常不同。

[0093] 渲染器707由耦合到接收器705和渲染器707的渲染控制器709控制。接收器705接 收包括指示渲染设置和特别地指示音频换能器/扬声器设置/配置的数据的渲染配置数据。 渲染配置数据特别地包括指示至少一些扬声器703的位置的音频换能器位置数据。

[0094] 将认识到,音频换能器位置数据可以是提供一个或多个扬声器703的位置一一包 括绝对或相对位置(包括例如相对于扬声器703的其它位置、相对于扬声器703的标称(预 定)位置、相对于收听位置或单独局部化设备或环境中的其它设备的位置的位置)一一的指 示的任何数据。也将认识到,可以用任何适当的方式提供或产生音频换能器位置数据。例如 在一些实施例中,音频换能器位置数据可由用户手动输入,例如作为相对于参考位置(例如 收听位置)的实际位置或作为在扬声器之间的距离和角度。在其它例子中,音频处理装置 701可本身包括用于基于测量来估计扬声器703的位置的功能。例如,扬声器703可设置有麦 克风,且这可用于估计位置。例如每个扬声器703转而可渲染测试信号,且在麦克风信号中 的测试信号成分之间的时间差可被确定并用于估计到渲染测试信号的扬声器703的距离。 从多个(且一般所有)扬声器703的测试得到的距离的完整集合可接着用于估计扬声器703 的相对位置。

[0095]渲染控制器709布置成控制由渲染器707使用的渲染模式。因此,渲染控制器7〇9控 制哪些特定的渲染算法由渲染器707使用。渲染控制器709基于音频换能器位置数据来选择 渲染模式,且因此由音频处理装置701采用的渲染算法将取决于扬声器703的位置。

[0096]然而,不是只调节渲染特性或在用于作为整体的系统的渲染模式之间切换,图7的 音频处理装置701布置成根据个体扬声器703的位置选择用于个体扬声器子集的渲染模式 和算法。因此,一个渲染模式可用于一些扬声器703,而另一渲染模式可同时用于其它扬声 器703。由图7的系统渲染的音频因此是针对扬声器703的不同子集的不同空间渲染模式的 应用的组合,其中空间渲染模式是根据扬声器703的位置而选择的。

[0097] 渲染控制器709可特别地将扬声器703分成多个子集并根据在子集中的扬声器7〇3 的位置为这些子集中的每个独立地选择渲染模式。

[0098] 针对不同扬声器703的不同渲染算法的使用可在很多情形中提供提高的性能,并 可允许对特定渲染设置的提高的适应,同时在很多情形中提供提高的空间体验。

[0099] 特别地,发明人认识到,在很多情况下,消费者将试图尽可能最佳地放置扬声器, 但这一般仅对一些扬声器是可能的或方便的。因此,在很多实际情形中,针对扬声器的子集 妥协扬声器的定位。例如,当建立环绕声系统时,用户将常常试图将扬声器定位在主要收听 区域周围的适当(例如等距)位置处。然而,常常这可能对一些扬声器是可能的,但将不是对 所有扬声器都是可能的。例如对于很多家用家庭影院系统,前扬声器可被定位于在显示器 周围的高度适合的位置处,且一般紧密地对应于这些扬声器的标称位置。然而,在很多情况 中,将环绕或后扬声器适当地定位不是可能或方便的,且这些扬声器的位置可能被高度妥 协。例如,后扬声器可被非对称地定位,且例如左和右后扬声器都可被定位于收听位置的一 侧上。在大部分常规系统中,因而产生的降级的空间体验简单地被接受,且实际上对于后环 绕扬声器,由于后声源的减小的显著性,这可常常被考虑为可接受的。

[0100]然而,在图7的系统中,从最佳渲染配置的偏离可被检测到,且渲染控制器709可切 换用于后扬声器的渲染模式。特别地,来自前扬声器的音频的渲染可以不变并遵循标准环 绕声渲染算法。然而,当渲染控制器709检测到一个或多个后扬声器被定位于远离默认或最 佳位置处时,它可切换以使用具有不同特性的不同渲染算法。特别地,渲染控制器709可控 制渲染器707,使得它对于后扬声器从执行默认环绕声渲染切换到执行向用户提供更适当 的感知输入的不同渲染算法。

[0101]例如,渲染控制器709可切换渲染器707以应用引入扩散性并移除声源的空间明确 性的渲染。渲染算法可例如将解相关添加到后通道音频成分,使得局部化声源将不再是界 限分明的和高度局部化的,但更确切地表现为扩散或展开。因此,如果渲染控制器709检测 到所有扬声器703在适当的默认位置处,则它应用标准环绕声渲染算法来产生驱动信号。然 而,如果它检测到一个或多个后扬声器被定位于远离默认位置处,则它将用于产生这些扬 声器的驱动信号的渲染算法切换到引入扩散性的渲染算法。因此,不是在错误位置处感知 到界限分明和局部化的声源,收听者将相反将声源感知为不是局部化的,但例如从后面扩 散地到达。这在很多情况下将提供更优选的用户体验。此外,系统能够自动适合于提供这样 的提高的体验而不妥协下面的情形的性能:后扬声器实际上被定位于期望位置处。此外,因 为适应被限制到直接由次优位置影响的扬声器的子集,改进被实现而不妥协其它扬声器的 性能。特别是,前音频级实质上并不被影响,且特别是高度局部化的前音频源将高度局部化 的前音频源保持在相同的位置处。

[0102] 然而,作为体地啊的实施例,我们可考虑下面的情况:用户明确地偏爱可局部化的 声音而不是扩散渲染,即使位置不是确切地正确的。在这种情况下,可基于用户偏好来选择 具有较少扩散再现方法的渲染方法。

[0103] 作为另一例子,渲染器707可被控制来使用反映扬声器703的感知是多么可分离的 渲染模式。例如,如果检测到一些扬声器被如此接近地定位在一起使得它们本质上被感知 为单个声源(或至少为两个相关的声源),则渲染控制器709可为这些扬声器703选择与足够 远离以作为单独声源起作用的扬声器不同的渲染算法。例如,使用波束成型的元素的渲染 模式可用于足够接近的扬声器,而没有波束成型用于远离的扬声器。

[0104] 将认识到,在不同的实施例中可使用很多不同的渲染模式和算法。在下文中,将描 述可包括在可由渲染控制器709选择的这组渲染模式中的渲染算法的例子。然而将认识到, 这些仅仅是示例性的,以及概念不限于这些算法。

[0105] 标准化立体声渲染:

[0106]这指在标准化扬声器设置中的经典的基于幅值平移的渲染,其中每个音频通道被 假设直接对应于扬声器之一。它可以指二通道立体声(具有在相对于收听位置的对称方位 角处的两个扬声器)以及同一概念的多通道扩展,例如ITU 5.1-通道和7通道环绕声以及3D 扩展例如22.2。

[0107]这种方法在下面的情况下执行地很好:扬声器根据假设的标准化配置被定位,且 收听者位于中心(“甜点”)处。如果这些条件不被满足,则众所周知立体声渲染次优地执行。

[0108] 基于矢量的幅值平移渲染:

[0109] 这是如下的方法,该方法基本上是通过使在扬声器对之间的幅值平移定律适应于 放置在空间中的已知的两维或三维位置上的多于两个扬声器来支持非标准化扬声器配置 的立体声渲染方法的一般化。该方法的详细描述可在例如v. Pulkki的“Virtual Sound Source Positioning Using Vector Base Amplitude Panning?,(J.AudioEng.Soc., Vol.45,No_6,1997)中找到。

[0ii0]该方法在下面的使用情况中特别适合:扬声器或多或少随机地分布在收听者周 围,而在其间没有任何极大或极小的“间隙”。典型例子是下面的情况:环绕声系统的扬声器 “或多或少”根据规范来放置,但对个体的扬声器有一些偏差。

[0111] 该方法的限制是,局部化性能在下面的情况下降级:在扬声器对之间的大“间隙” 存在,特别是在侧面处,以及源不能位于由扬声器对“覆盖”的区域之外。

[0112] 波束成型渲染:

[0113] 波束成型是与扬声器阵列、即被紧密地放置在一起(例如在其间小于几分米)的多 个扬声器的群集相关的渲染方法。控制在个体扬声器之间的幅值和相位关系允许声音向规 定的位置“射出”和/或源被“聚焦”在扬声器阵列前方或后面的特定位置处。这个方法的详 细描述可在例如Van Veen、B.D的 “ Beamforming: a versatile approach to spatial filtering”(ASSPMagazine,IEEE(卷:5,期:2),公布日期:1988年4 月)中找到。

[0114]其中这种类型的渲染是有益的一般使用情况是当扬声器的小阵列位于收听者的 前方时,而没有扬声器存在于后方处或甚至在左和右前方处。在这样的情况下,可能通过将 一些音频通道或对象“射出”到收听室的侧壁来为用户创建完全环绕声体验。声音从壁的发 射从侧面和/或后面到达收听者,因而创建完全沉浸式“虚拟环绕声”体验。这是在 “soundbar”型的各种消费者产品中使用的渲染方法。

[0115] 波束成型渲染可被有利地采用的另一例子是当待渲染的声通道或对象包含语音 时。使用波束成型将这些语音音频成分渲染为以用户为目的的波束可导致用户的更好的语 音可理解性,因为更少的混响在房间中产生。

[0116] 波束成型一般不用于其中在扬声器之间的间隔超过几分米的扬声器配置(的子部 分)。

[0117]串音消除渲染:

[0118] 这是能够从两个扬声器创建完全沉浸式3D环绕声体验的渲染方法。它与使用头相 关传递函数(或HRTF)的在头戴式耳机上的双耳声渲染紧密相关。因为扬声器代替头戴式耳 机来使用,反馈回路必须用于消除从左扬声器到右耳的串音,反之亦然。这种方法的详细描 述可在例如Kirkeby, 01e;Rubak,Per;Nelson,Philip A.;Farina, Angelo的 “Design of Cross-Talk Cancellation Networks by Using Fast Deconvolution”(AES Convention:106 (1999年5月)页号:4916)中找到。

[0119] 这在有两个扬声器放置在相对于收听者的对称方位角的情况下是特别有用的。特 别是,这个渲染方法可用于从标准两扬声器立体声设置形成完全环绕声体验。

[0120]如果有多个收听者或收听位置,则这种方法较不适合,因为该方法对收听者位置 非常敏感。

[0121] 立体声偶极子渲染:

[0122] 这种渲染方法使用两个或多个紧密间隔的扬声器来通过处理空间音频信号使得 公共(和)信号被单声道地再现而差别信号以偶极子辐射型式被再现,从而为用户渲染宽声 音图像。这种方法的详细描述可在例如Kirkeby,01e;Nelson, Philip A.;Hamada, Hareo 的“The ’Stereo Dipole’: A Virtual Source Imaging System Using Two Closely Spaced Loudspeakers”(JAES 卷46 期5 页387-395; 1998年5 月)中找到。

[0123] 这在前扬声器设置由两个紧密间隔的扬声器组成的情况下例如当平板计算机用 于观看电影时是有用的。

[0124] 高保真度立体声响复制(ambisonics)渲染:

[0125] 高保真度立体声响复制渲染是基于分解(在记录侧处)和重建(在渲染侧处)在单 个位置上的空间声场的空间音频编码和渲染方法。在记录中,特殊麦克风配置常常用于捕 获声场的个体“球谐成分”。在再现中,通过从特殊扬声器设置渲染所记录的成分来重建原 始声场。这种方法的详细描述可在例如在2003年3月22-25的第114届会议提出的J6r6me Daniel、Rozenn Nicol和S6bastien Moreau的“Further Investigations of High Order Ambisonics and Wavefield Synthesis for Holophonic Sound Imaging”中找到。

[0126]这种渲染方法在下面的情况下特别有用:扬声器配置本质上等距地分布在收听者 周围。在这样的情况下,高保真度立体声响复制渲染可提供比上面所述的任何方法更沉浸 式的体验,且得到良好的体验的收听区域可以更大。

[0127]特别是,渲染扩散(环境)音频成分可能是有用的。该方法较不适合于无规律地放 置的扬声器配置。

[0128]波场合成渲染:

[0129]这是使用扬声器的阵列来精确地重新创建在大收听空间内的原始声场的渲染方 法。这种方法的详细描述可在例如Boone, Marinus M.;Verheijen, Edwin N. G•的“Sound Reproduction Applications with Wave-Field Synthesis" (AES Convention:104 (1998 年5月)页号:4689)中找到。

[0130]它特别适合于基于对象的声场景,但也与其它音频类型(例如基于通道或场景的) 兼容。限制是其只适合于具有间隔开不大于大约25 cm的大量扬声器的扬声器配置。在典型 情况下,这基于扬声器或设备的阵列,其中多个个体的驱动器被围在同一壳体中。

[0131]最小二乘法优化渲染:

[0132]这是试图通过数字优化过程来实现规定的目标声场的通用渲染方法,在该数字优 化过程中,扬声器位置被规定为参数且扬声器信号被优化例如以最小化在某个收听区域内 的目标声场和再现的声场之间的差异。这种方法的详细描述可在例如Shin,Mincheol; Fazi, Filippo M.;Seo, Jeongil;Nelson, Philip A•的“Efficient 3-D Sound Field Reproduction’’(AESConvention:l3〇 (2011 年5月)页号:84〇4)中找到。

[0133]在一些情况下,这些方法需要将麦克风放置到期望收听位置,以便捕获再现的声 场。

[0134]将认识到,在一些实施例中,可针对每个渲染模式实施完全分离的渲染引擎。在其 它实施例中,一些渲染算法/模式可共享至少一些功能。在很多实施例中,每个渲染模式可 被实施为渲染固件算法,而所有算法在同一信号处理平台上执行。例如,渲染控制器7〇9可 针对每个音频换能器信号和音频成分,控制哪些渲染子例程由渲染器7〇7调用。

[0135]在图8中图示可如何针对单个音频成分和单个音频换能器信号实施渲染器707的 例子。

[0136]在该例子中,音频成分被馈送到多个渲染引擎801 (在特定的例子中,示出四个渲 染引擎,但将认识到,在其它实施例中可使用更多或更少的渲染引擎)。每个渲染引擎801耦 合到由渲染控制器7〇9控制的开关。在该例子中,每个渲染引擎801可执行渲染算法以产生 扬声器703的对应驱动信号。因此,开关S〇3接收根据所有可能的渲染模式产生的驱动信号。 它然后选择对应于已由渲染控制器7〇9选择的渲染模式的驱动信号并输出此。开关803的输 出耦合到组合器8〇5,其在特定的例子中是求和单元。组合器805可接收为其它音频成分产 生的对应驱动信号成分,并可接着组合驱动信号成分以产生被馈送到扬声器703的驱动信 号。

[0137] 将认识到,在其它例子中,可在渲染之前执行切换,即开关可以在到渲染引擎801 的输入处。因此,只有对应于由渲染控制器7〇9选择的渲染模式的渲染引擎被激活以产生音 频成分的驱动信号,且这个渲染引擎的因而产生的输出耦合到组合器805。

[0138] 也将认识到,为了清楚和简洁,图S示出独立地对每个音频成分操作的渲染引擎 801。然而,在大部分典型应用中,渲染算法可以是更复杂的算法,其在产生音频信号时同时 考虑多于一个音频成分。

[0139]类似地,将认识到,很多渲染算法为多个扬声器703产生输出。例如,幅值平移可为 每个音频成分产生至少两个驱动信号成分。这些不同的驱动信号可例如被馈送到对应于不 同的音频换能器的不同输出开关或组合器。

[0140]在很多实施例中,不同的渲染模式和算法可被预先确定和实施为音频处理装置 701的部分。然而在一些实施例中,渲染算法可作为输入流的部分、即连同音频数据一起被 提供。

[0141]在很多实施例中,渲染算法可被实施为应用于音频数据的时间-频率瓦片的矩阵 操作,如本领域中的技术人员已知的那样。

[0142]在一些实施例中,可针对所有音频成分选择相同的渲染模式,即针对给定扬声器 7〇3,单个渲染模式可被选择并可应用于向从那个扬声器703渲染的声音提供贡献的所有音 频成分。然而在其它实施例中,给定扬声器703的渲染模式针对不同的音频成分可以是不同 的。

[0143]这可例如是在音频成分对应于环绕声系统的五个空间通道的情形中的情况。在可 能的情形中,音频换能器位置数据可指示例如右后扬声器被定位于比标称位置更向前得 多,且实际上被定位于收听者的前方和侧面处。同时,右前扬声器可被定位于比左前扬声器 更中央处。在这样的例子中,使用幅值平移算法在右前扬声器和右后扬声器之间渲染前右 通道可能是有利的。这可导致右前通道的所感知的位置进一步到前右扬声器的右边,并可 特别导致前右和前左通道的对称感知的位置。同时,右后通道可从右后通道被渲染,但使用 引入高扩散程度的渲染算法以便使右后扬声器位于过向前的事实模糊。因此,为右后扬声 器选择的渲染模式对于右前通道音频成分和右后通道音频成分将是不同的。

[0144]在一些实施例中,所有音频成分可以是相同的音频类型。然而,音频处理装置701 可在其中音频成分可具有不同类型的实施例中提供特别有利的性能。

[0145]特别地,音频数据可提供多个音频成分,多个音频成分可包括来自音频通道成分、 音频对象成分和音频场景成分的组的多个音频类型。

[0146] 在很多实施例中,音频数据可包括可被编码为个体的音频对象(例如特定的合成 地产生的音频对象或布置成捕获特定的音频源例如单个乐器的麦克风)的多个成分。

[0147] 每个音频对象一般对应于单个声源。因此,与音频通道和特别是常规空间多通道 信号的音频通道相反,音频对象一般不包括来自可具有实质上不同的位置的多个声源的成 分。类似地,每个音频对象一般提供声源的完全表示。每个音频对象因此一般与仅仅单个声 源的空间位置数据相关。特别地,每个音频对象可一般被考虑为声音的单个和完整表示,并 可与单个空间位置相关。

[0148] 音频对象不与任何特定的渲染配置相关,且特别地不与声换能器/扬声器的任何 特定空间配置相关。因此,和与渲染配置例如特定的空间扬声器设置(例如环绕声设置)相 关的音频通道相反,不关于任何特定的空间渲染配置来定义音频对象。

[0149] 音频对象因此一般是被处理为个体实例(例如歌手、乐器或合唱队)的单个或组合 声源。一般,音频对象具有定义音频对象的规定位置和特别地音频对象的点源位置的相关 空间位置信息。然而,这个位置独立于特定的渲染设置。对象(音频)信号是表示音频对象的 信号。对象信号可包含例如在时间上不并发的多个对象。

[0150]单个音频对象也可包含多个个体的音频信号,例如来自不同方向的同一乐器的同 时记录。

[0151]相反,音频通道与标称音频源位置相关。音频通道因此一般没有相关位置数据,但 与在标称相关扬声器配置中的扬声器的标称位置相关。因此,虽然音频通道一般与在相关 配置中的扬声器位置相关,音频对象不与任何扬声器配置相关。音频通道因此代表当使用 标称扬声器配置执行渲染时应从给定标称位置渲染的组合音频。音频通道因此代表要求声 成分从与通道相关的标称位置被渲染的音频场景的所有音频源,以便标称扬声器配置在空 间上渲染音频源。音频对象相反一般不与任何特定的渲染配置相关,且替代地提供应从一 个声源位置渲染的音频,以便相关声源成分被感知为起源于那个位置。

[0152] 音频场景成分通过一组正交空间成分之一来表征,其中原始音频声场可在数学上 被分解。

[0153] 特别地,它可以是原始声场的一组正交球谐成分之一,这些正交球谐成分一起充 分描述在原始声场内的规定位置处的原始声场。甚至更特别地,它可以是一组高阶高保真 度立体声响复制(H0A)成分的单个成分。

[0154]音频场景成分通过它不直接表示扬声器信号的事实而与音频成分通道区分开。更 确切地,每个个体的音频场景成分根据规定的平移矩阵贡献于每个扬声器信号。此外,音频 成分通过它不包含关于单个个体声源的信息但更确切地包含关于存在于原始声场中的所 有声源(“物理”源和“背景”源例如混响)的信息的事实而与音频对象区分开。

[0155] 在实际的例子中,一个音频场景成分可包含在记录位置处的全向麦克风的信号, 而三个其它音频场景成分包含正交地定位于与全向麦克风相同的位置处的三个速度(双 向)麦克风的信号。额外的音频场景成分可包含更高阶麦克风的信号(物理信号或从球面麦 克风阵列的信号的合成信号)。替代地,音频场景成分可合成地从声场的综合描述产生。 [0156] 在一些实施例中,音频数据可包括音频成分,其可以是根据MPEG标准IS0/IEC 23008-3 MPEG 3D Audio的音频通道、音频对象和音频场景。

[0157] 在一些实施例中,渲染棂式的逸择进一步取决于音频成分的音频类型。特别地,当 输入音频数据包括不同类型的音频成分时,渲染控制器709可考虑此,并可为给定扬声器 703的不同音频类型选择不同的渲染模式。

[0158] 作为简单的例子,渲染控制器7〇9可选择幅值平移渲染模式的使用以补偿被预期 对应于高度局部化的源的音频对象的扬声器位置误差,并可使用解相关的渲染模式用于不 被预期提供高度局部化的源的音频场景对象。

[0159] 在很多实施例中,音频类型将由与音频对象一起接收的元数据指示。在一些实施 例中,元数据可直接指示音频类型,而在其它实施例中,它可以是间接指示,例如通过包括 只适用于一种音频类型的位置数据。

[0160]接收器7〇5因此可接收这样的音频类型指示数据并将此馈送到当选择适当的渲染 模式时使用它的渲染控制器7〇9。相应地,渲染控制器709可针对具有不同类型的至少两个 音频成分针对一个扬声器703选择不同濱染模式。

[0161]在一些实施例中,渲染控制器7〇9可包括不同组渲染模式以从不同的音频类型选 择。例如,对于音频通道,第一组渲染模式可用于由渲染控制器709选择,对于音频对象,不 同组渲染模式可以是可用的,以及对于音频场景对象,又一组渲染模式可以是可用的。

[0162]作为另一例子,渲染控制器709可首先产生包括通常适合于实际扬声器设置的可 用渲染方法的子集。因此,渲染配置数据可用于确定可用渲染模式的子集。子集将因此取决 于扬声器的空间分布。作为例子,如果扬声器设置由或多或少等距地分布在收听者周围的 多个扬声器组成,则模块可推断出,基于矢量的幅值平移和高保真度立体声响复制渲染模 式是可能的适当方法,而波束成型不是。

[0163]作为下一步骤,其它可用的信息由系统使用来在所产生的子集的渲染模式之间决 定。特别地,可考虑音频对象的音频类型。例如,对于音频通道,可选择基于矢量的幅值平 移,胜过高保真度立体声响复制,而对于应被渲染为高度扩散的音频对象(例如,如由元数 据指不的),可选择尚保真度立体声响复制渲染。

[0164] 在下文中,给出一些可能的例子:

[0165] •如果扬声器配置本质上符合标准立体声(多通道)扬声器配置且音频类型是 “基于通道的”或“基于对象的”,则可选择标准立体声渲染。

[0166]籲当扬声器或多或少随机地分布在收听者周围,而没有在其间的任何极大或极 小的“间隙”,且音频类型是“基于通道的”或“基于对象的”时,可选择基于矢量的幅值平移。

[0167]鲁如果扬声器聚集成紧密间隔的紧密阵列(例如在其间小于几分米),则可选择 波束成型渲染。

[0168]鲁当有以相对于收听者的对称方位角放置的两个扬声器且只有单个用户时,可 选择串音消除渲染。

[0169] ♦在前扬声器设置由两个紧密间隔的扬声器组成时例如当平板计算机用于观看 电影时,可选择立体声偶极子渲染。

[01J0]鲁当扬声器配置本质上等距地分布在收听者周围且音频类型是“音频场景成分” 或“扩散”(背景)“音频对象”类型时,可选择高保真度立体声响复制渲染。

[0171]籲对于具有间隔开不大于大约25 cm的大量扬声器的扬声器配置,对于任何音频 类型且当大收听区域被期望时,可选择波场合成渲染。

[0172] •在其它可用的渲染方法不令人满意地执行的情况下对于任何音频类型,可选 择最小二乘法优化渲染。

[0173] 针对个体音频类型和个体扬声器子集根据这些扬声器的位置对适当渲染类型的 个体和独立的选择的组合提供特别有利的操作和高质量空间体验。

[0174] 然而将认识到,基于音频类型对渲染算法的选择实际上不限于下面的情形:针对 扬声器的不同子集选择不同的渲染算法。

[0175] 例如,音频处理装置可包括用于接收音频数据、音频描述数据和渲染配置数据的 接收器,音频数据包括不同音频类型的多个音频成分的音频数据,音频描述数据至少指示 至少一些音频成分的音频类型,以及渲染配置数据包括一组音频换能器的音频换能器位置 数据;用于产生用于这组音频换能器的音频换能器信号的渲染器,渲染器能够根据多个渲 染模式渲染音频成分;布置成响应于音频描述数据和渲染配置数据/音频换能器位置数据 而针对多个音频成分的每个音频成分从多个渲染模式选择用于渲染器的渲染模式的渲染 控制器。

[0176] 因此,在这样的系统中,可以不针对音频换能器的不同子集个体地选择植染模式, 但可针对所有音频换能器选择渲染模式。在这样的系统中,所述操作将遵循针对图7的音频 处理装置701描述的原理,但将简单地考虑作为整体的音频换能器组并可能为所有扬声器 703选择相同的渲染算法。因此,该描述加以必要的变更也可适用于这样的系统。

[0177] 然而在图7的系统中,针对扬声器703的不同子集独立地执行基于音频描述数据且 特别地基于音频类型数据对渲染模式的选择。使得不同子集的渲染模式可以是不同的。相 应地,实现对特定渲染配置和扬声器设置以及对渲染的音频的提高的适应。

[0178] 将认识到,可在不同的实施例中使用用于选择个体扬声器的渲染模式的不同算法 和选择标准。

[0179] 在很多实施例中,渲染控制器709布置成基于给定扬声器相对于预定位置的位置 来选择那个扬声器的渲染模式。特别地,在很多实施例可以根据实际位置实际上偏离标称 或默认位置多少来选择渲染模式。

[0180] 例如,为了大部分音频通道的渲染,假设默认扬声器设置。例如在很多系统中,假 设以相等的距离围绕收听位置的一组实质上等距扬声器。对于这样的音频对象,渲染控制 器709可布置成根据扬声器到默认位置多么接近来选择扬声器的渲染模式。

[0181] 在很多实施例中,可为每种音频类型指定默认渲染模式。默认渲染模式可针对下 面的情况向用户提供有利的空间体验:扬声器位于它们的正确默认位置处,或它们只从这 些偏离小的量。然而,如果一个或多个扬声器位于远离适当的位置处,则被渲染的声音可以 不提供期望的空间音频体验。例如,如果后右扬声器位于用户的左手侧上,则后声级将被扭 曲。这个特定的情形提供可能的渲染模式选择方法可如何提高所感知的体验的例子。例如, 如果后扬声器本质上在正确的角度处但左和右环绕声通道被交换,则选择将这两个通道简 单地交换回到它们的正确地方的渲染方法常常更好,而不是使用例如可此外导致在通道之 间的声音的泄漏的基于幅值平移的方法。

[0182] 因此,在一些实施例中,渲染控制器709可确定每个扬声器相对于默认位置的位 置。如果差异低于给定阈值(其可被预先确定或可被动态地调整),则选择默认渲染模式。例 如,对于音频通道成分,渲染模式可简单地是将音频通道馈送到位于默认假设的位置处的 适当扬声器的渲染模式。然而,如果扬声器位置偏离了多于阈值,则选择不同的渲染模式。 例如在这种情况下,基于扬声器和在默认位置的另一侧上的第二扬声器来选择幅值平移植 染模式。在这种情况下,幅值平移渲染可用于渲染对应于默认位置的声音,即使扬声器不位 于这个位置处。

[0183] 作为特定的例子,如果后右扬声器位于收听者的左边,可在后右扬声器和前右扬 声器之间使用幅值平移来渲染后右环绕声通道。因此,可针对不在正确位置上的扬声器(后 右扬声器)但还针对可在默认位置处的另一扬声器(右前扬声器)改变植染模式。然而,其它 扬声器的渲染模式仍然可使用默认渲染方法(中心、前左和后左扬声器)。此外,虽然在默认 位置处的扬声器的渲染模式可由于另一扬声器的位置远离它的默认位置而被改变,这个修 改的渲染只可适用于一些音频成分。例如,前音频对象的渲染可使用右前扬声器的默认渲 染。

[0184] 在一些实施例中,渲染控制器709可针对给定音频对象将扬声器703分成至少两个 子集。第一子集可包括在音频换能器的位置和预定位置之间的差异超过给定阈值的至少一 个扬声器703。第二子集可包括在音频换能器的位置和预定位置之间的差异不超过阈值的 至少一个扬声器703。可由渲染控制器709选择的渲染模式组在这个实施例中可以是不同 的。特别地,对于第二子集,可从一组默认渲染模式选择渲染模式。实际上,在一些情形中, 这组默认渲染模式可以只包括单个默认渲染模式。然而对于第一子集,可从特别地可以只 包括非默认渲染模式的不同组渲染模式选择渲染模式。将认识到,扬声器的第一子集可潜 在地也包括在默认位置处的一个或多个扬声器。例如对于位于用户左边的右后扬声器,第 一子集可包括不仅右后扬声器而且右前扬声器。

[0185] 作为另一例子,系统可由在收听者前面的少量紧密间隔开的扬声器和在“标准”左 和右环绕声位置处的两个后扬声器组成。在这种情况下,第二子集可由两个后扬声器和紧 密间隔开的前扬声器的中心扬声器组成,且基于通道的信号的左和右环绕声和中心通道可 直接发送到对应的扬声器。紧密间隔开的前扬声器一一包括第二子集的“中心”扬声器一一 在这种情况下形成第一子集,且波束成型渲染可应用于它们用于再现基于通道的信号的前 左和右通道。

[0186] 在一些实施例中,当选择适当的渲染模式时,渲染控制器709可考虑其它渲染配置 数据。

[0187] 例如,渲染控制器709可被提供关于收听位置的信息并可使用此来选择适当的算 法。例如,如果收听位置改变为相对于扬声器设置是不对称的,则渲染控制器709可将选择 偏向到基于矢量的幅值平移的使用,以便补偿这样的不对称性。

[0188] 作为另一例子,在收听位置是动态的且扬声器配置由围绕收听者的扬声器的阵列 组成的情况下,可使用波场合成渲染来提供在大收听区域内的所有位置处的最佳收听体 验。

[0189]作为又一例子,如果用户的位置可被跟踪且只有在收听者的前面的几个扬声器是 可用的,则串音消除渲染可被使用并可根据收听者位置数据被适应性地控制。

[0190] 将认识到,可在不同的实施例中使用用于选择并评估不同的值染模式或植染模式 的组合的不同方法。

[0191]例如,在很多实施例中,渲染控制器709可布置成响应于由感知模型产生的质量度 量而选择渲染模式。特别地,渲染控制器709可布置成基于从计算感知模型产生的质量度量 来选择渲染模式。例如,渲染控制器709可布置成使用用户的预期收听体验的计算模拟来评 估哪个渲染方法提供最接近音频数据的理想渲染的声音图像。该方法可例如基于例如在M. Park、P. A. Nelson和K. Kang的“A Model of Sound Localisation Applied to the Evaluation of Systems for Stereophony”(Acta Acustica united with Acustica, 94 ⑹,825-839,(2008))中描述的方法。

[0192]这样的感知模型可特别地能够基于到收听者的耳朵的输入来计算质量估量或度 量。因此,模型可针对收听者的每只耳朵针对给定输入,估计所感知的空间体验的质量。 [0193]作为例子,渲染控制器709可相应地估计渲染模式的不同组合,其中每个组合对应 于扬声器的不同子集的渲染模式的选择。对于这些组合中的每个,可计算在默认收听位置 处的收听者的耳朵处的因而产生的信号。这个计算考虑扬声器703的位置,可能包括房间特 性等。

[0194]例如,可首先计算从每个扬声器渲染的音频(假设组合的特定渲染模式被评估)。 可基于扬声器的特定位置从每个扬声器到收听者的每只耳朵来估计传递函数,且可相应地 通过组合来自每个扬声器的贡献并考虑所估计的传递函数来估计在用户的耳朵处的因而 产生的音频信号。因而产生的双耳声信号然后被输入到计算感知模型(例如在上面提到的 文章中提议的模型)且因而产生的质量度量被计算。针对在一组质量度量中的所有因而产 生的组合重复该方法。渲染控制器709可接着选择提供最佳质量度量的渲染模式的组合。 [0195]渲染模式的每个组合可对应于用于扬声器703的多个子集的渲染模式的可能选 择,其中用于每个子集的渲染模式可单独地被选择。此外,不同的组合可对应于到不同子集 的划分。例如,一个组合可考虑用于前扬声器的立体声渲染和用于后扬声器的最小二乘法 渲染;另一组合可考虑用于前扬声器的波束成型渲染和用于后扬声器的最小二乘法渲染, 另一组合可考虑用于左扬声器的幅值平移和用于后扬声器和中心扬声器的立体声渲染等。 [0196]实际上在原则上和实际上在一些实施例中,组合可包括到子集的所有可能的划分 和那些子集的所有可能的渲染模式选择。然而将认识到,在很多实施例中,这样的评估可能 太复杂且在计算上是密集的。在很多实施例中,组合的数量可例如通过将扬声器基于它们 的位置划分成子集(例如一个子集是接近它们的默认位置的所有扬声器,而另一子集是不 接近它们的默认位置的所有扬声器)而显著减少,且只有这些子集被考虑。替代地或此外, 其它要求或标准可用于减少针对每个子集考虑的渲染模式的数量。例如,可针对其中扬声 器位置不足够靠近在一起的所有子集来忽视波束成型。

[0197]在一些实施例中,渲染控制器709可相应地布置成针对扬声器的不同子集针对渲 染模式的多个组合产生双耳声信号估计;响应于双耳声信号估计而确定每个组合的质量度 量;以及将渲染模式选择为其质量度量指示最高质量的渲染模式的组合。

[0198]在很多实施例中,基于在子集中的扬声器的位置来选择给定扬声器子集的渲染模 式。然而,在一些实施例中,渲染控制器709可进一步考虑不是子集的部分的扬声器的位置。 例如在音频对象的渲染被期望在没有在附近的单个扬声器的位置处(例如在收听者后面的 源,而只有扬声器存在于收听者的前面)的情形中,可采用“虚拟渲染”算法例如串音消除或 波束成型渲染,在这些选项之间的最终选择取决于实际扬声器配置的特性(例如间隔)。 [0199]在一些实施例中,渲染控制器709可布置成在渲染模式的选择中进一步考虑扬声 $703的音频渲染特性数据。例如,如果3D扬声器设置的头顶扬声器是不能够再现低频的小 高频扬声器(貌似合理,因为将大的全范围扬声器安装在天花板上不是简单的),旨在用于 头顶扬声器的信号的低频部分可与在水平平面中围绕收听者的所有全范围扬声器等同地 分布。

[0200]在一些实施例中,渲染控制器709可布置成响应于用户渲染偏好而选择渲染模式。 用户偏好可例如被提供为手动用户输入。在一些实施例中,可响应于在操作期间提供的用 户输入来确定用户偏好。例如,音频处理装置701可渲染音频,同时在可能的渲染模式之间 切换。用户可指示他偏爱的渲染,且音频处理装置701可存储这个偏好并使用它来调整选择 算法。例如,在两个可能的渲染模式之间的选择的阈值可在用户的偏好的方向偏向。

[0201] 在一些实施例中,接收器7〇5可进一步接收一个或多个音频成分的渲染位置数据, 且用于一个或多个音频成分的渲染模式的选择可取决于位置。

[0202] 例如,局部化声源的音频对象可连同指示音频对象应被渲染于的位置的位置数据 一起被接收。渲染控制器709可接着评估位置是否对应于针对特定的当前扬声器设置可使 用基于矢量的幅值平移准确地在期望位置处渲染时的位置。如果是,则它继续选择基于矢 量的幅值平移渲染算法用于该音频对象。然而如果当前渲染配置不允许幅值平移提供适当 的声源定位(例如由于相关扬声器只布置在用户的另一侧上),则渲染控制器709可替代地 选择使在两个或多个扬声器之间的驱动信号解相关的渲染方法,以便产生声源位置的扩散 空间感知。

[0203]在一些实施例中,该方法可在单独频带中被应用。特别地,在一些实施方式中,音 频处理装置7〇1可布置成对音频成分的不同频带潜在地使用不同的渲染算法。在这样的实 施例中,渲染控制器709可布置成针对不同的频带执行渲染模式的独立选择。

[0204]例如,渲染器707可布置成将给定音频成分分成高频成分和低频成分(例如有大约 500Hz的交叉频率)。这些成分中的每个的渲染可单独地被执行,且因此不同的渲染算法可 以潜在地用于不同的频带。额外的自由度允许渲染控制器709将渲染模式的选择优化到在 不同频带中的音频成分的特定空间显著性。特别地,人类空间感知通常比在更低频率下更 取决于在更高频率下的空间线索。相应地,渲染控制器709可选择提供期望空间体验的用于 高频带的渲染模式,而对于低频带,可选择具有减小的资源要求的不同和更简单的渲染算 法。

[0205]作为另一例子,渲染控制器7〇9可检测到扬声器的子集可被考虑为被布置为具有 某个间隔的阵列,该间隔被定义为在子集的任两个相邻的扬声器之间的最大距离。在这样 的情况下,阵列的间隔确定上频率,对于该上频率,子集可有效地并有利地用作用于例如波 束成型或波场合成或最小二乘法的阵列。渲染控制器7〇9可接着分离音频成分以产生使用 任何阵列型渲染方法渲染的低频成分。

[0206]在很多实施例中,音频处理装置7〇1可布置成动态地改变渲染模式的选择。例如, 当音频成分的特性改变时,(例如从表示特定的声源到一般背景噪声,当例如扬声器停止讲 话时),渲染控制器709可改变所使用的渲染模式。

[0207] 在一些实施例中,渲染模式的改变可以是渐进的转变。例如不是如在图8的例子中 的在不同的渲染引擎的输出之间简单地切换,可执行一个信号的慢渐强和另一信号的渐 弱。

[0208] 在一些实施例中,渲染控制器709可布置成使音频成分的渲染模式的变化与音频 成分的音频内容中的变化同步。

[0209] 因此,在一^实施例中,渲染模式选择可以是动态的,并随着内容中的变化而改 变。选择的变化可与音频中的转变例如与场景变化同步。例如,音频处理装置701可布置成 检测在音频内容中的实质性和瞬时转变,例如在(低通滤波的)幅值水平中的变化或在(时 间平均的)频谱中的实质性变化。每当这样的变化被检测到时,渲染控制器709可执行重新 评估以确定从那时起的适当渲染模式。

[0210] 将认识到,为了清楚,上面的描述参考不同的功能电路、单元和处理器描述了本发 明的实施例。然而,将明显,可使用在不同的功能电路、单元或处理器之间的功能的任何适 当的分布而不减损本发明。例如,被示为由单独的处理器或控制器执行的功能可由相同的 处理器或控制器执行。因此,对特定的功能单元或电路的提及只被看作对用于提供所述功 能的适当装置的提及,而不是指示严格的逻辑或物理结构或组织。

[0211]可以在任何适当的形式一一包括硬件、软件、固件或这些的任何组合一一中实施 本发明。本发明可以可选地至少部分地被实施为在一个或多个数据处理器和/或数字信号 处理器上运行的计算机软件。可以用任何适当的方式物理地、功能地和逻辑地实施本发明 的实施例的元件和部件。实际上,可在单个单元中、在多个单元中或作为其它功能单元的部 分实施功能。因此,本发明可在单个单元中实施或可物理地和功能地分布在不同的单元、电 路和处理器之间。

[0212]虽然结合一些实施例描述了本发明,其非旨在被限制到本文阐述的特定形式。更 确切地,本发明的范围只由所附权利要求限制。此外,虽然特征可能看起来结合特定的实施 例被描述,本领域中的技术人员将认识到,可根据本发明来组合所述实施例的各种特征。在 权利要求中,术语“包括”并不排除其它元件或步骤的存在。

[0213]此外,虽然个体地被列出,多个装置、元件、电路或方法步骤可由例如单个电路、单 元或处理器实施。此外,虽然个体的特征可包括在不同的实施例中,这些也许可能被有利地 组合,且包括在不同的权利要求中并不暗示特征的组合不是可行的和/或有利的。此外,特 征包括在一个类别的权利要求中并不暗示对这个类别的限制,而更确切地指示特征同样可 视情况应用于其它权利要求类别。此外,在权利要求中的特征的顺序并不暗示特征必须工 作的任何特定顺序,且特别是在方法权利要求中的个体步骤的顺序并不暗示步骤必须以这 个顺序被执行。更确切地,步骤可以按任何适当的顺序被执行。此外,单数提及并不排除多 个。因此对“一”、“一个”、“第一”、“第二”等的提及并不排除多个。在权利要求中的参考符号 被提供仅仅作为澄清的例子,不应被解释为以任何方式限制权利要求的范围。

Claims (14)

1 - 一种音频处理装置,包括: 接收器(705),其用于接收音频数据和渲染配置数据,所述音频数据包括多个音频成分 的音频数据且所述渲染配置数据包括在渲染配置中的一组音频换能器(703)的音频换能器 位置数据; 渲染器(707),其用于从所述音频数据产生用于所述组音频换能器的音频换能器信号, 所述渲染器(707)能够根据多个渲染模式渲染音频成分; 渲染控制器(709),其布置成响应于所述音频换能器位置数据而从所述多个渲染模式 选择用于所述渲染器(707)的渲染模式;以及 其中所述渲染器(707)布置成针对所述组音频换能器的不同子集采用不同的渲染模 式,并针对所述组音频换能器(703)的每个所述不同子集独立地选择渲染模式,以及 其中所述清染控制器(709)布置成响应于所述组音频换能器(703)的第一音频换能器 相对于在所述渲染配置中所述第一音频换能器的预定位置的位置来选择所述第一音频换 能器的渲染模式。
2. 如权利要求1所述的音频处理装置,其中所述渲染器(7〇7)可操作来针对所述组音频 换能器(703)的第一音频换能器的音频对象采用不同的渲染模式,且所述渲染控制器(7〇9) 布置成针对所述第一音频换能器的每个所述音频对象独立地选择渲染模式。
3. 如权利要求1或2所述的音频处理装置,其中所述多个音频成分中的至少两个是不同 的音频类型。
4. 如权利要求3所述的音频处理装置,其中所述多个音频成分包括来自由下列项组成 的组的不同音频类型的至少两个音频成分: -音频通道成分, -音频对象成分,以及 -音频场景成分; 以及所述渲染器布置成针对所述至少两个音频成分使用不同渲染模式。
5. 如权利要求3所述的音频处理装置,其中所述接收器(7〇5)布置成接收指示至少第一 音频成分的音频类型的音频类型指示数据,且所述植染控制器(709)布置成响应于所述音 频类型指示数据而选择用于所述第一音频成分的所述清染模式。
6. 如权利要求1所述的音频处理装置,其中所述植染控制器(709)布置成选择用于所述 第一音频换能器的默认渲染模式,除非在所述第一音频换能器的位置与所述预定位置之间 的差异超过阈值。
7. 如权利要求1所述的音频处理装置,其中所述濱染控制器(7〇9)布置成:将所述组音 频换能器(703)分成音频换能器的第一子集和音频换能器的第二子集,音频换能器的所述 第一子集包括其中在所述音频换能器的位置和所述预定位置之间的差异超过阈值的音频 换能器,而音频换能器的所述第二子集包括其中在所述音频换能器的位置和所述预定位置 之间的差异不超过阈值的至少一个音频换能器;以及从第一渲染模式子集选择用于所述第 一子集的每个音频换能器的渲染模式并从第二渲染模式子集选择用于所述第二子集的每 个音频换能器的渲染模式。
8. 如权利要求1所述的音频处理装置,其中所述多个渲染模式包括从由下列项组成的 组选择的至少一个渲染模式: -立体声植染; -基于矢量的幅值平移渲染; -波束成型渲染; -串音消除渲染; -高保真度立体声响复制渲染; -波场合成渲染;以及 -最小二乘法优化渲染。
9. 如权利要求1所述的音频处理装置,其中所述接收器(705)还布置成接收所述音频成 分的渲染位置数据,且所述渲染控制器(7〇9)布置成响应于所述渲染位置数据而选择所述 渲染模式。
10. 如权利要求1所述的音频处理装置,其中所述渲染器(707)布置成针对所述音频成 分中的音频成分的不同频带采用不同的渲染模式•,且所述渲染控制器(709)布置成针对所 述音频成分的不同频带独立地选择渲染模式。
11. 如权利要求1所述的音频处理装置,其中所述渲染控制器(709)布置成使至少一个 音频成分的渲染的变化与在所述至少一个音频成分中的音频内容变化同步。
12. 如权利要求1所述的音频处理装置,其中所述渲染控制器(709)还布置成响应于来 自由下列项组成的组的渲染配置数据而选择所述渲染模式: -不在所述组音频换能器中的音频换能器的音频换能器位置数据; -收听位置数据; -所述组音频换能器的音频换能器的音频换能器音频渲染特性数据;以及 -用户渲染偏好。
13. 如权利要求1所述的音频处理装置,其中所述渲染控制器(709)布置成响应于由感 知模型产生的质量度量而选择所述渲染模式。
14. 一种音频处理的方法,所述方法包括: 接收音频数据和渲染配置数据,所述音频数据包括多个音频成分的音频数据并且所述 渲染配置数据包括在渲染配置中的一组音频换能器(703)的音频换能器位置数据; 从所述音频数据产生所述组音频换能器的音频换能器信号,所述产生包括根据多个可 能的渲染模式中的渲染模式来渲染音频成分; 响应于所述音频换能器位置数据从所述多个可能的渲染模式选择用于所述渲染器的 渲染模式;以及 其中所述音频换能器信号的产生包括针对所述组音频换能器的不同子集采用不同的 渲染模式,以及针对所述组音频换能器(7〇3)的每个不同子集独立地选择渲染模式,以及 其中选择用于所述渲染器的渲染模式包括响应于所述组音频换能器(703)的第一音频 换能器相对于在所述渲染配置中所述第一音频换能器的预定位置的位置而选择用于所述 第一音频换能器的渲染模式。
CN201480028327.8A 2013-05-16 2014-05-16 音频处理装置及其方法 CN105191354B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13168064 2013-05-16
EP13168064.7 2013-05-16
PCT/EP2014/060109 WO2014184353A1 (en) 2013-05-16 2014-05-16 An audio processing apparatus and method therefor

Publications (2)

Publication Number Publication Date
CN105191354A CN105191354A (zh) 2015-12-23
CN105191354B true CN105191354B (zh) 2018-07-24

Family

ID=48482916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480028327.8A CN105191354B (zh) 2013-05-16 2014-05-16 音频处理装置及其方法

Country Status (7)

Country Link
US (2) US10582330B2 (zh)
EP (1) EP2997742A1 (zh)
JP (1) JP6515087B2 (zh)
CN (1) CN105191354B (zh)
BR (1) BR112015028337A2 (zh)
RU (1) RU2667630C2 (zh)
WO (1) WO2014184353A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140358563A1 (en) 2013-05-29 2014-12-04 Qualcomm Incorporated Compression of decomposed representations of a sound field
CN107464553B (zh) * 2013-12-12 2020-10-09 株式会社索思未来 游戏装置
US9866986B2 (en) 2014-01-24 2018-01-09 Sony Corporation Audio speaker system with virtual music performance
US9922656B2 (en) * 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
US9578439B2 (en) 2015-01-02 2017-02-21 Qualcomm Incorporated Method, system and article of manufacture for processing spatial audio
EP3272134B1 (en) * 2015-04-17 2020-04-29 Huawei Technologies Co., Ltd. Apparatus and method for driving an array of loudspeakers with drive signals
US10257636B2 (en) 2015-04-21 2019-04-09 Dolby Laboratories Licensing Corporation Spatial audio signal manipulation
US20160337755A1 (en) * 2015-05-13 2016-11-17 Paradigm Electronics Inc. Surround speaker
CN106303897A (zh) * 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
WO2017022461A1 (ja) * 2015-07-31 2017-02-09 ソニー株式会社 受信装置、送信装置、及び、データ処理方法
EP3346728A4 (en) 2015-09-03 2019-04-24 Sony Corporation SOUND PROCESSING DEVICE, METHOD AND PROGRAM
US9961467B2 (en) * 2015-10-08 2018-05-01 Qualcomm Incorporated Conversion from channel-based audio to HOA
US10249312B2 (en) 2015-10-08 2019-04-02 Qualcomm Incorporated Quantization of spatial vectors
US9961475B2 (en) * 2015-10-08 2018-05-01 Qualcomm Incorporated Conversion from object-based audio to HOA
EP3389285A4 (en) * 2015-12-10 2019-01-02 Sony Corporation Speech processing device, method, and program
US10278000B2 (en) 2015-12-14 2019-04-30 Dolby Laboratories Licensing Corporation Audio object clustering with single channel quality preservation
US9924291B2 (en) * 2016-02-16 2018-03-20 Sony Corporation Distributed wireless speaker system
KR20170097484A (ko) 2016-02-18 2017-08-28 삼성전자주식회사 오디오 데이터를 처리하는 방법 및 이를 제공하는 전자 장치
WO2017153872A1 (en) * 2016-03-07 2017-09-14 Cirrus Logic International Semiconductor Limited Method and apparatus for acoustic crosstalk cancellation
US9826330B2 (en) 2016-03-14 2017-11-21 Sony Corporation Gimbal-mounted linear ultrasonic speaker assembly
CN105959905B (zh) * 2016-04-27 2017-10-24 北京时代拓灵科技有限公司 混合模式空间声生成系统与方法
JP6663490B2 (ja) * 2016-05-31 2020-03-11 シャープ株式会社 スピーカシステム、音声信号レンダリング装置およびプログラム
US9794724B1 (en) 2016-07-20 2017-10-17 Sony Corporation Ultrasonic speaker assembly using variable carrier frequency to establish third dimension sound locating
CN109716794A (zh) * 2016-09-20 2019-05-03 索尼公司 信息处理装置、信息处理方法及程序
WO2018072214A1 (zh) * 2016-10-21 2018-04-26 向裴 混合现实音频系统
GB2557218A (en) 2016-11-30 2018-06-20 Nokia Technologies Oy Distributed audio capture and mixing
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
EP3506661A1 (en) * 2017-12-29 2019-07-03 Nokia Technologies Oy An apparatus, method and computer program for providing notifications
KR20190083863A (ko) * 2018-01-05 2019-07-15 가우디오랩 주식회사 오디오 신호 처리 방법 및 장치
WO2020030769A1 (en) * 2018-08-09 2020-02-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An audio processor and a method considering acoustic obstacles and providing loudspeaker signals
WO2020030768A1 (en) * 2018-08-09 2020-02-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An audio processor and a method for providing loudspeaker signals
WO2020030304A1 (en) * 2018-08-09 2020-02-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An audio processor and a method considering acoustic obstacles and providing loudspeaker signals
WO2020227140A1 (en) * 2019-05-03 2020-11-12 Dolby Laboratories Licensing Corporation Rendering audio objects with multiple types of renderers
WO2020251569A1 (en) * 2019-06-12 2020-12-17 Google Llc Three-dimensional audio source spatialization

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102187691A (zh) * 2008-10-07 2011-09-14 弗朗霍夫应用科学研究促进协会 多声道音频信号的双耳演示

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000358294A (ja) * 1999-06-15 2000-12-26 Yamaha Corp オーディオ音響装置
US7257231B1 (en) * 2002-06-04 2007-08-14 Creative Technology Ltd. Stream segregation for stereo signals
KR100542129B1 (ko) * 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
US7706544B2 (en) * 2002-11-21 2010-04-27 Fraunhofer-Geselleschaft Zur Forderung Der Angewandten Forschung E.V. Audio reproduction system and method for reproducing an audio signal
RU2383941C2 (ru) * 2005-06-30 2010-03-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для кодирования и декодирования аудиосигналов
WO2007119500A1 (ja) * 2006-03-31 2007-10-25 Pioneer Corporation 音声信号処理装置
US9697844B2 (en) * 2006-05-17 2017-07-04 Creative Technology Ltd Distributed spatial audio decoder
JP2009540650A (ja) * 2006-06-09 2009-11-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 複数の音声再生ユニットへの送信のための音声データを生成する装置及び方法
US8639498B2 (en) * 2007-03-30 2014-01-28 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel
WO2009109217A1 (en) * 2008-03-03 2009-09-11 Nokia Corporation Apparatus for capturing and rendering a plurality of audio channels
EP2194527A3 (en) * 2008-12-02 2013-09-25 Electronics and Telecommunications Research Institute Apparatus for generating and playing object based audio contents
US20100223552A1 (en) 2009-03-02 2010-09-02 Metcalf Randall B Playback Device For Generating Sound Events
JP5597975B2 (ja) * 2009-12-01 2014-10-01 ソニー株式会社 映像音響装置
WO2012164444A1 (en) 2011-06-01 2012-12-06 Koninklijke Philips Electronics N.V. An audio system and method of operating therefor
BR112013033574A2 (pt) * 2011-07-01 2017-02-07 Dolby Laboratories Licensing Corp métodos e sistemas para sincronização e transição para um sistema de áudio adaptativo
KR101843834B1 (ko) * 2011-07-01 2018-03-30 돌비 레버러토리즈 라이쎈싱 코오포레이션 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
WO2013006325A1 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation Upmixing object based audio
WO2013006323A2 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation Equalization of speaker arrays
JP5926377B2 (ja) * 2011-07-01 2016-05-25 ドルビー ラボラトリーズ ライセンシング コーポレイション サンプルレートスケーラブル可逆オーディオコーディング
TWI603632B (zh) * 2011-07-01 2017-10-21 杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
US8811630B2 (en) * 2011-12-21 2014-08-19 Sonos, Inc. Systems, methods, and apparatus to filter audio
EP2637427A1 (en) * 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
EP2725818A1 (en) * 2012-10-23 2014-04-30 GN Store Nord A/S A hearing device with a distance measurement unit
US9277321B2 (en) * 2012-12-17 2016-03-01 Nokia Technologies Oy Device discovery and constellation selection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102187691A (zh) * 2008-10-07 2011-09-14 弗朗霍夫应用科学研究促进协会 多声道音频信号的双耳演示

Also Published As

Publication number Publication date
EP2997742A1 (en) 2016-03-23
JP6515087B2 (ja) 2019-05-15
RU2667630C2 (ru) 2018-09-21
US20200186956A1 (en) 2020-06-11
CN105191354A (zh) 2015-12-23
JP2016521532A (ja) 2016-07-21
RU2015153540A (ru) 2017-06-21
US20160080886A1 (en) 2016-03-17
BR112015028337A2 (pt) 2017-07-25
US10582330B2 (en) 2020-03-03
WO2014184353A1 (en) 2014-11-20

Similar Documents

Publication Publication Date Title
JP6821854B2 (ja) オーディオ信号処理システム及び方法
KR102127955B1 (ko) 고차 앰비소닉 오디오 신호의 재생 방법 및 장치
US10021507B2 (en) Arrangement and method for reproducing audio data of an acoustic scene
EP3092824B1 (en) Calibration of virtual height speakers using programmable portable devices
US10503461B2 (en) Binaural rendering for headphones using metadata processing
CN104604257B (zh) 用于在各种收听环境中渲染并且回放基于对象的音频的系统
EP3282716B1 (en) Rendering of audio objects with apparent size to arbitrary loudspeaker layouts
JP5719458B2 (ja) 仮想音源に関連するオーディオ信号に基づいて、スピーカ設備のスピーカの駆動係数を計算する装置および方法、並びにスピーカ設備のスピーカの駆動信号を供給する装置および方法
TWI635753B (zh) 使用向上發聲驅動器之用於反射聲音呈現的虛擬高度濾波器
CN103329576B (zh) 音频系统及其操作方法
CN104604256B (zh) 基于对象的音频的反射声渲染
CN104919820B (zh) 双耳音频处理
JP5323210B2 (ja) 音響再生装置および音響再生方法
US10506358B2 (en) Binaural audio processing
JP6804495B2 (ja) 空間的に拡散したまたは大きなオーディオ・オブジェクトの処理
US9154896B2 (en) Audio spatialization and environment simulation
Algazi et al. Headphone-based spatial sound
US8073125B2 (en) Spatial audio conferencing
KR101877604B1 (ko) 구면 고조파 계수들에 대한 렌더들 결정
JP5340296B2 (ja) 復号化装置、符号化復号化装置および復号化方法
KR101567461B1 (ko) 다채널 사운드 신호 생성 장치
Kyriakakis Fundamental and technological limitations of immersive audio systems
CN104604258B (zh) 用于呈现器与可独立寻址的驱动器的阵列之间的通信的双向互连
KR101858479B1 (ko) 제 1 및 제 2 입력 채널들을 적어도 하나의 출력 채널에 매핑하기 위한 장치 및 방법
Jianjun et al. Natural sound rendering for headphones: integration of signal processing techniques

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
GR01 Patent grant