CN115497485A - 三维音频信号编码方法、装置、编码器和系统 - Google Patents

三维音频信号编码方法、装置、编码器和系统 Download PDF

Info

Publication number
CN115497485A
CN115497485A CN202110680341.8A CN202110680341A CN115497485A CN 115497485 A CN115497485 A CN 115497485A CN 202110680341 A CN202110680341 A CN 202110680341A CN 115497485 A CN115497485 A CN 115497485A
Authority
CN
China
Prior art keywords
current frame
audio signal
dimensional audio
virtual
coding efficiency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110680341.8A
Other languages
English (en)
Other versions
CN115497485B (zh
Inventor
高原
刘帅
夏丙寅
王宾
王喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110680341.8A priority Critical patent/CN115497485B/zh
Priority to KR1020247001338A priority patent/KR20240021911A/ko
Priority to EP22824056.0A priority patent/EP4354431A4/en
Priority to PCT/CN2022/096476 priority patent/WO2022262576A1/zh
Priority to TW111121698A priority patent/TWI844036B/zh
Publication of CN115497485A publication Critical patent/CN115497485A/zh
Priority to US18/538,708 priority patent/US20240119950A1/en
Application granted granted Critical
Publication of CN115497485B publication Critical patent/CN115497485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请公开了一种三维音频信号编码方法、装置、编码器和系统，涉及多媒体领域。该方法包括：编码器获取到三维音频信号的当前帧后，获取当前帧的初始虚拟扬声器的编码效率，若当前帧的初始虚拟扬声器的编码效率满足预设条件，从候选虚拟扬声器集合中确定当前帧的更新虚拟扬声器，以及根据当前帧的更新虚拟扬声器对当前帧进行编码，得到第一码流，从而通过重选虚拟扬声器，降低三维音频信号的不同帧之间进行编码所使用的虚拟扬声器的波动性，提高解码端重建后三维音频信号的质量，以及解码端播放的声音的音质。若当前帧的初始虚拟扬声器的编码效率不满足预设条件，根据当前帧的初始虚拟扬声器对当前帧进行编码，得到第二码流。

Description

三维音频信号编码方法、装置、编码器和系统
技术领域
本申请涉及多媒体领域，尤其涉及一种三维音频信号编码方法、装置、编码器和系统。
背景技术
随着高性能计算机和信号处理技术的飞速发展，收听者对语音、音频体验提出了越来越高的要求，浸入式音频能够满足人们在这方面的需求。例如，三维音频技术在无线通信(例如4G/5G等等)语音、虚拟现实/增强现实和媒体音频等方面得到了广泛应用。三维音频技术是对真实世界中的声音和三维声场信息进行获取、处理、传输和渲染回放的音频技术，使声音具有强烈的空间感、包围感及沉浸感，给收听者以“身临其境”的非凡听觉体验。
通常，采集设备(如：麦克风)采集大量的数据记录三维声场信息，向回放设备(例如扬声器，耳机等)传输三维音频信号，以便于回放设备播放三维音频。由于三维声场信息的数据量较大，导致需要大量的存储空间存储数据，以及传输三维音频信号的带宽需求较高。为了解决上述问题，可以对三维音频信号进行压缩，存储或传输压缩数据。目前，编码器利用虚拟扬声器对三维音频信号进行压缩。但是，若编码器对三维音频信号的不同帧进行编码所使用的虚拟扬声器波动性较大，导致重建后三维音频信号的质量较低，音质较差。因此，如何提高重建后三维音频信号的质量是一个亟待解决的问题。
发明内容
本申请提供了三维音频信号编码方法、装置、编码器和系统，由此可以提高重建后三维音频信号的质量。
第一方面，本申请提供了一种三维音频信号编码方法，该方法由编码器执行，具体包括如下步骤：编码器获取到三维音频信号的当前帧后，根据三维音频信号的当前帧获取当前帧的初始虚拟扬声器的编码效率，编码效率表示当前帧的初始虚拟扬声器用于重建三维音频信号所属声场的能力。若当前帧的初始虚拟扬声器的编码效率满足预设条件，表示当前帧的初始虚拟扬声器不能充分表达三维音频信号的声场信息，当前帧的初始虚拟扬声器用于重建三维音频信号所属声场的能力较弱，则编码器从候选虚拟扬声器集合中确定当前帧的更新虚拟扬声器，以及根据当前帧的更新虚拟扬声器对当前帧进行编码，得到第一码流。若当前帧的初始虚拟扬声器的编码效率不满足预设条件，表示当前帧的初始虚拟扬声器充分表达了三维音频信号的声场信息，当前帧的初始虚拟扬声器用于重建三维音频信号所属声场的能力较强，则编码器根据当前帧的初始虚拟扬声器对当前帧进行编码，得到第二码流。其中，当前帧的初始虚拟扬声器和当前帧的更新虚拟扬声器均属于候选虚拟扬声器集合。
如此，编码器获取到当前帧的初始虚拟扬声器后，确定初始虚拟扬声器的编码效率，依据编码效率表示的初始虚拟扬声器用于重建三维音频信号所属声场的能力，确定是否重新选择当前帧的虚拟扬声器。在当前帧的初始虚拟扬声器的编码效率满足预设条件时，也即是当前帧的初始虚拟扬声器无法充分表示重建三维音频信号所属声场的场景下，重新选择当前帧的虚拟扬声器，将当前帧的更新虚拟扬声器作为对当前帧进行编码的虚拟扬声器。从而，通过重选虚拟扬声器，降低三维音频信号的不同帧之间进行编码所使用的虚拟扬声器的波动性，提高解码端重建后三维音频信号的质量，以及解码端播放的声音的音质。
具体地，编码器可以根据以下四种方式中任一种获取当前帧的初始虚拟扬声器的编码效率。
方式一，编码器根据三维音频信号的当前帧获取当前帧的初始虚拟扬声器的编码效率包括：编码器根据当前帧的初始虚拟扬声器获取重建后三维音频信号的重建当前帧后，根据重建当前帧的能量与当前帧的能量确定当前帧的初始虚拟扬声器的编码效率。由于重建后三维音频信号的重建当前帧是由表达三维音频信号的声场信息的当前帧的初始虚拟扬声器确定的，则编码器依据重建当前帧的能量占据当前帧的能量的比例关系能够直观准确地确定初始虚拟扬声器用于重建三维音频信号所属声场的能力，从而确保编码器确定当前帧的初始虚拟扬声器的编码效率的准确度。例如，若重建当前帧的能量小于当前帧的能量的一半，表示当前帧的初始虚拟扬声器不能充分表达三维音频信号的声场信息，当前帧的初始虚拟扬声器用于重建三维音频信号所属声场的能力较弱。
方式二，编码器根据三维音频信号的当前帧获取当前帧的初始虚拟扬声器的编码效率包括：编码器根据当前帧的初始虚拟扬声器确定重建后三维音频信号的重建当前帧，以及根据当前帧和重建当前帧获取当前帧的残差信号后，编码器根据当前帧的虚拟扬声器信号的能量与当前帧的虚拟扬声器信号的能量和残差信号的能量之和的比值确定当前帧的初始虚拟扬声器的编码效率。需要说明的是，当前帧的虚拟扬声器信号的能量和残差信号的能量之和可以是编码端待传输的信号。从而，编码器可以通过当前帧的虚拟扬声器信号的能量与待传输的信号的能量的比值关系间接地确定初始虚拟扬声器用于重建三维音频信号所属声场的能力，避免编码器确定重建当前帧，降低了编码器确定当前帧的初始虚拟扬声器的编码效率的复杂度。例如，若当前帧的虚拟扬声器信号的能量小于待传输的信号的能量的一半，表示当前帧的初始虚拟扬声器不能充分表达三维音频信号的声场信息，当前帧的初始虚拟扬声器用于重建三维音频信号所属声场的能力较弱。
其中，编码器根据当前帧的初始虚拟扬声器获取重建后三维音频信号的重建当前帧包括：根据当前帧的初始虚拟扬声器确定当前帧的虚拟扬声器信号；根据当前帧的虚拟扬声器信号确定重建当前帧。示例地，重建当前帧的能量是根据重建当前帧的系数确定的，当前帧的能量是根据当前帧的系数确定的。
方式三，编码器根据三维音频信号的当前帧获取当前帧的初始虚拟扬声器的编码效率包括：编码器根据三维音频信号的当前帧确定声源数量；根据当前帧的初始虚拟扬声器的数量与声源数量的比值确定当前帧的初始虚拟扬声器的编码效率。
方式四，编码器根据三维音频信号的当前帧获取当前帧的初始虚拟扬声器的编码效率包括：编码器根据三维音频信号的当前帧确定声源数量，根据当前帧的初始虚拟扬声器确定当前帧的虚拟扬声器信号，根据当前帧的虚拟扬声器信号的数量与声源数量的比值确定当前帧的初始虚拟扬声器的编码效率。
由于当前帧的初始虚拟扬声器用于重建三维音频信号所属声场，则当前帧的初始虚拟扬声器可以表示三维音频信号所属声场的信息，编码器利用当前帧的初始虚拟扬声器的数量与三维音频信号的声源数量的关系确定当前帧的初始虚拟扬声器的编码效率，或者编码器利用当前帧的虚拟扬声器信号的数量与三维音频信号的声源数量的关系确定当前帧的初始虚拟扬声器的编码效率，可以既确保编码器确定当前帧的初始虚拟扬声器的编码效率的准确度，又降低了编码器确定当前帧的初始虚拟扬声器的编码效率的复杂度。
在编码器根据上述方式一至方式四中任一方式确定当前帧的初始虚拟扬声器的编码效率小于第一阈值，即当前帧的初始虚拟扬声器的编码效率满足预设条件，编码器可以根据下述可能的实现方式确定当前帧的更新虚拟扬声器。可理解的，预设条件包括当前帧的初始虚拟扬声器的编码效率小于第一阈值。第一阈值的取值范围可以是0至1，或0.5至1。例如，第一阈值可以是0.35、0.65、0.75或0.85等等。
在一种可能的实现方式中，编码器从候选虚拟扬声器集合中确定当前帧的更新虚拟扬声器包括：若当前帧的初始虚拟扬声器的编码效率小于第二阈值，将候选虚拟扬声器集合中的预设虚拟扬声器作为当前帧的更新虚拟扬声器，第二阈值小于第一阈值。
如此，在当前帧的初始虚拟扬声器无法充分表示重建三维音频信号所属声场，导致解码端重建后三维音频信号的质量较差的场景下，编码器经过二次判断当前帧的初始虚拟扬声器的编码效率，进一步提高了编码器确定初始虚拟扬声器用于重建三维音频信号所属声场的能力的准确度。而且，编码器通过定向选取当前帧的更新虚拟扬声器，降低三维音频信号的不同帧之间进行编码所使用的虚拟扬声器的波动性，提高解码端重建后三维音频信号的质量，以及解码端播放的声音的音质。
在另一种可能的实现方式中，编码器从候选虚拟扬声器集合中确定当前帧的更新虚拟扬声器包括：若当前帧的初始虚拟扬声器的编码效率小于第一阈值，且大于第二阈值，将在先帧的虚拟扬声器作为当前帧的更新虚拟扬声器，在先帧的虚拟扬声器为对三维音频信号的在先帧进行编码所使用的虚拟扬声器。由于编码器将在先帧的虚拟扬声器作为对当前帧进行编码的虚拟扬声器，从而降低了三维音频信号的不同帧之间进行编码所使用的虚拟扬声器的波动性，提高解码端重建后三维音频信号的质量，以及解码端播放的声音的音质。
可选地，该方法还包括：编码器根据当前帧的初始虚拟扬声器的编码效率和在先帧的虚拟扬声器的编码效率确定当前帧的初始虚拟扬声器的调整后编码效率；若当前帧的初始虚拟扬声器的编码效率大于当前帧的初始虚拟扬声器的调整后编码效率，表明当前帧的初始虚拟扬声器具有表示重建三维音频信号所属声场的能力，将当前帧的初始虚拟扬声器作为当前帧的后续帧的虚拟扬声器。从而，降低了三维音频信号的不同帧之间进行编码所使用的虚拟扬声器的波动性，提高解码端重建后三维音频信号的质量，以及解码端播放的声音的音质。
另外，三维音频信号可以为高阶立体混响(higher order ambisonics，HOA)信号。
第二方面，本申请提供了一种三维音频信号编码装置，所述装置包括用于执行第一方面或第一方面任一种可能设计中的三维音频信号编码方法的各个模块。例如，三维音频信号编码装置包括通信模块、编码效率获取模块、虚拟扬声器重选模块和编码模块。所述通信模块，用于获取三维音频信号的当前帧。所述编码效率获取模块，用于根据三维音频信号的当前帧获取当前帧的初始虚拟扬声器的编码效率，当前帧的初始虚拟扬声器属于候选虚拟扬声器集合。所述虚拟扬声器重选模块，用于若当前帧的初始虚拟扬声器的编码效率满足预设条件，从候选虚拟扬声器集合中确定当前帧的更新虚拟扬声器。所述编码模块，用于根据当前帧的更新虚拟扬声器对当前帧进行编码，得到第一码流。所述编码模块，还用于若当前帧的初始虚拟扬声器的编码效率不满足预设条件，根据当前帧的初始虚拟扬声器对当前帧进行编码，得到第二码流。这些模块可以执行上述第一方面方法示例中的相应功能，具体参见方法示例中的详细描述，此处不做赘述。
第三方面，本申请提供一种编码器，该编码器包括至少一个处理器和存储器，其中，所述存储器用于存储一组计算机指令；当处理器执行所述一组计算机指令时，执行第一方面或第一方面任一种可能实现方式中的三维音频信号编码方法的操作步骤。
第四方面，本申请提供一种系统，系统包括如第三方面所述的编码器，以及解码器，所述编码器用于执行第一方面或第一方面任一种可能实现方式中的三维音频信号编码方法的操作步骤，所述解码器用于解码所述编码器生成的码流。
第五方面，本申请提供一种计算机可读存储介质，包括：计算机软件指令；当计算机软件指令在编码器中运行时，使得编码器执行如第一方面或第一方面任意一种可能的实现方式中所述方法的操作步骤。
第六方面，本申请提供一种计算机程序产品，当计算机程序产品在编码器上运行时，使得编码器执行如第一方面或第一方面任意一种可能的实现方式中所述方法的操作步骤。
第七方面，本申请提供一种计算机可读存储介质，包括如第一方面或第一方面任意一种可能的实现方式中所述方法所获得的码流。
本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。
附图说明
图1为本申请实施例提供的一种音频编解码系统的结构示意图；
图2为本申请实施例提供的一种音频编解码系统的场景示意图；
图3为本申请实施例提供的一种编码器的结构示意图；
图4为本申请实施例提供的一种三维音频信号编解码方法的流程示意图；
图5为本申请实施例提供的一种三维音频信号编码方法的流程示意图；
图6为本申请实施例提供的另一种编码器的结构示意图；
图7为本申请实施例提供的另一种编码器的结构示意图；
图8为本申请实施例提供的另一种编码器的结构示意图；
图9为本申请实施例提供的另一种编码器的结构示意图；
图10为本申请实施例提供的另一种三维音频信号编码方法的流程示意图；
图11为本申请实施例提供的一种选择虚拟扬声器方法的流程示意图；
图12为本申请提供的一种三维音频信号编码装置的结构示意图；
图13为本申请提供的一种编码器的结构示意图。
具体实施方式
为了下述各实施例的描述清楚简洁，首先给出相关技术的简要介绍。
声音(sound)是由物体振动产生的一种连续的波。产生振动而发出声波的物体称为声源。声波通过介质(如：空气、固体或液体)传播的过程中，人或动物的听觉器官能感知到声音。
声波的特征包括音调、音强和音色。音调表示声音的高低。音强表示声音的大小。音强也可以称为响度或音量。音强的单位是分贝(decibel，dB)。音色又称为音品。
声波的频率决定了音调的高低。频率越高音调越高。物体在一秒钟之内振动的次数称为频率，频率单位是赫兹(hertz，Hz)。人耳能识别的声音的频率在20Hz～20000Hz之间。
声波的幅度决定了音强的强弱。幅度越大音强越大。距离声源越近，音强越大。
声波的波形决定了音色。声波的波形包括方波、锯齿波、正弦波和脉冲波等。
根据声波的特征，声音可以分为规则声音和无规则声音。无规则声音是指声源无规则地振动发出的声音。无规则声音例如是影响人们工作、学习和休息等的噪声。规则声音是指声源规则地振动发出的声音。规则声音包括语音和乐音。声音用电表示时，规则声音是一种在时频域上连续变化的模拟信号。该模拟信号可以称为音频信号。音频信号是一种携带语音、音乐和音效的信息载体。
由于人的听觉具有辨别空间中声源的位置分布的能力，则听音者听到空间中的声音时，除了能感受到声音的音调、音强和音色外，还能感受到声音的方位。
随着人们对听觉系统体验的关注和品质要求与日俱增，为了增强声音的纵深感、临场感和空间感，则三维音频技术应运而生。从而听音者不仅感受到来自前、后、左和右的声源发出的声音，而且感受到自己所处空间被这些声源产生的空间声场(简称“声场”(sound field))所包围的感觉，以及声音向四周扩散的感觉，营造出一种使听音者置身于影院或音乐厅等场所的“身临其境”的音响效果。
三维音频技术是指将人耳以外的空间假设为一个系统，耳膜处接收到的信号为声源发出的声音经过耳朵以外系统滤波输出的三维音频信号。例如，人耳以外的系统可以定义为系统冲击响应h(n)，任意一个声源可以定义为x(n)，耳膜处接收到的信号为x(n)和h(n)的卷积结果。本申请实施例所述的三维音频信号可以是指高阶立体混响(higher orderambisonics，HOA)信号。三维音频也可以称为三维音效、空间音频、三维声场重建、虚拟3D音频或双耳音频等。
众所周知，声波在理想介质中传播，波数为k＝wc，角频率为w＝2πf，其中，f为声波频率，c为声速。声压p满足公式(1)，
Figure BDA0003122267290000051
为拉普拉斯算子。
Figure BDA0003122267290000052
假设人耳以外的空间系统是一个球形，听音者处于球的中心，从球外传来的声音在球面上有一个投影，过滤掉球面以外的声音，假设声源分布在这个球面上，用球面上的声源产生的声场来拟合原始声源产生的声场，即三维音频技术就是一个拟合声场的方法。具体地，在球坐标系下求解公式(1)等式方程，在无源球形区域内，该公式(1)方程解为如下公式(2)。
Figure BDA0003122267290000053
其中，r表示球半径，θ表示水平角，
Figure BDA0003122267290000054
表示俯仰角，k表示波数，s表示理想平面波的幅度，m表示三维音频信号的阶数序号(或称为HOA信号的阶数序号)。
Figure BDA0003122267290000055
表示球贝塞尔函数，球贝塞尔函数又称为径向基函数，其中，第一个j表示虚数单位，
Figure BDA0003122267290000056
不随角度变化。
Figure BDA0003122267290000057
表示θ,
Figure BDA0003122267290000058
方向的球谐函数，
Figure BDA0003122267290000059
表示声源方向的球谐函数。三维音频信号系数满足公式(3)。
Figure BDA00031222672900000510
将公式(3)代入公式(2)，公式(2)可以变形为公式(4)。
Figure BDA00031222672900000511
其中，
Figure BDA00031222672900000512
表示N阶的三维音频信号系数，用于近似描述声场。声场是指介质中有声波存在的区域。N为大于或等于1的整数。比如，N的取值范围为2至6的整数。本申请的实施例所述的三维音频信号的系数可以是指HOA系数或环境立体声(ambisonic)系数。
三维音频信号是一种携带声场中声源的空间位置信息的信息载体，描述了空间中听音者的声场。公式(4)表明声场可以在球面上按球谐函数展开，即声场可以分解为多个平面波的叠加。因此，可以将三维音频信号描述的声场使用多个平面波的叠加来表达，并通过三维音频信号系数重建声场。
相对5.1声道的音频信号或7.1声道的音频信号，由于N阶的HOA信号有(N+1)2个声道，则HOA信号包括用于描述声场的空间信息的数据量较多。若采集设备(比如：麦克风)将该三维音频信号传输到回放设备(比如：扬声器)，需要消耗较大的带宽。目前，编码器可以利用空间压缩环绕音频编码(spatial squeezed surround audio coding，S3AC)或定向音频编码(directional audio coding，DirAC)对三维音频信号进行压缩编码得到码流，向回放设备传输码流。回放设备对码流进行解码，并重建三维音频信号，播放重建后三维音频信号。从而降低向回放设备传输三维音频信号的数据量，以及带宽的占用。但是，编码器对三维音频信号进行压缩编码的计算复杂度较高，占用编码器过多的计算资源。因此，如何降低对三维音频信号进行压缩编码的计算复杂度是一个亟待解决的问题。
本申请实施例提供一种音频编解码技术，尤其是提供一种面向三维音频信号的三维音频编解码技术，具体提供一种采用较少的声道表示三维音频信号的编解码技术，以改进传统的音频编解码系统。音频编码(或通常称为编码)包括音频编码和音频解码两部分。音频编码在源侧执行，通常包括处理(例如，压缩)原始音频以减少表示该原始音频所需的数据量，从而更高效地存储和/或传输。音频解码在目的侧执行，通常包括相对于编码器作逆处理，以重建原始音频。编码部分和解码部分也合称为编解码。下面将结合附图对本申请实施例的实施方式进行详细描述。
图1为本申请实施例提供的一种音频编解码系统的结构示意图。音频编解码系统100包括源设备110和目的设备120。源设备110用于对三维音频信号进行压缩编码得到码流，向目的设备120传输码流。目的设备120对码流进行解码，并重建三维音频信号，播放重建后三维音频信号。
具体地，源设备110包括音频获取器111、预处理器112、编码器113和通信接口114。
音频获取器111用于获取原始音频。音频获取器111可以是任意类型的用于捕获现实世界声音的音频采集设备，和/或任意类型的音频生成设备。音频获取器111例如是用于生成计算机音频的计算机音频处理器。音频获取器111也可以为存储音频的任意类型的内存或存储器。音频包括现实世界声音、虚拟场景(如：虚拟现实(virtual reality，VR)或增强现实(augmented reality，AR))声音和/或其任意组合。
预处理器112用于接收音频获取器111采集的原始音频，并对原始音频进行预处理，得到三维音频信号。例如，预处理器112执行的预处理包括声道转换、音频格式转换或去噪声等。
编码器113用于接收预处理器112生成的三维音频信号，对三维音频信号进行压缩编码得到码流。示例地，编码器113可以包括空间编码器1131和核心编码器1132。空间编码器1131用于根据三维音频信号从候选虚拟扬声器集合选取(或称为搜索)虚拟扬声器，根据三维音频信号和虚拟扬声器生成虚拟扬声器信号。虚拟扬声器信号也可以称为回放信号。核心编码器1132用于对虚拟扬声器信号进行编码，得到码流。
通信接口114用于接收编码器113生成的码流，通过通信信道130向目的设备120发送码流，以便于目的设备120根据码流重建三维音频信号。
目的设备120包括播放器121、后处理器122、解码器123和通信接口124。
通信接口124用于接收通信接口114发送的码流，并将码流传输给解码器123。以便于解码器123根据码流重建三维音频信号。
通信接口114和通信接口124可用于通过源设备110与目的设备120之间的直连通信链路，例如直接有线或无线连接等，或者通过任意类型的网络，例如有线网络、无线网络或其任意组合、任意类型的私网和公网或其任意类型的组合，发送或接收原始音频的相关数据。
通信接口114和通信接口124均可配置为如图1中从源设备110指向目的设备120的对应通信信道130的箭头所指示的单向通信接口，或双向通信接口，并且可用于发送和接收消息等，以建立连接，确认并交换与通信链路和/或例如编码后的码流传输等数据传输相关的任何其它信息，等等。
解码器123用于对码流进行解码，并重建三维音频信号。示例地，解码器123包括核心解码器1231和空间解码器1232。核心解码器1231用于对码流进行解码，得到解码后虚拟扬声器信号。空间解码器1232用于根据候选虚拟扬声器集合和解码后虚拟扬声器信号重建三维音频信号，得到重建后三维音频信号。
后处理器122用于接收解码器123生成的重建后三维音频信号，对重建后三维音频信号进行后处理。例如，后处理器122执行的后处理包括音频渲染、响度归一化、用户交互、音频格式转换或去噪声等。
播放器121用于根据重建后三维音频信号播放重建的声音。
需要说明的是，音频获取器111和编码器113可以集成在一个物理设备上，也可以设置在不同的物理设备上，不予限定。示例地，如图1所示的源设备110包括音频获取器111和编码器113，表示音频获取器111和编码器113集成在一个物理设备上，则源设备110也可称为采集设备。源设备110例如是无线接入网的媒体网关、核心网的媒体网关、转码设备、媒体资源服务器、AR设备、VR设备、麦克风或者其他采集音频设备。若源设备110不包括音频获取器111，表示音频获取器111和编码器113是两个不同的物理设备，源设备110可以从其他设备(如：采集音频设备或存储音频设备)获取原始音频。
另外，播放器121和解码器123可以集成在一个物理设备上，也可以设置在不同的物理设备上，不予限定。示例地，如图1所示的目的设备120包括播放器121和解码器123，表示播放器121和解码器123集成在一个物理设备上，则目的设备120也可称为回放设备，目的设备120具有解码和播放重建音频的功能。目的设备120例如是扬声器、耳机或其他播放音频的设备。若目的设备120不包括播放器121，表示播放器121和解码器123是两个不同的物理设备，目的设备120对码流解码重建三维音频信号后，将重建后三维音频信号传输给其他播放设备(如：扬声器或耳机)，由其他播放设备回放重建后三维音频信号。
此外，图1示出了源设备110和目的设备120可以集成在一个物理设备上，也可以设置在不同的物理设备上，不予限定。
示例地，如图2中的(a)所示，源设备110可以是录音棚中的麦克风，目的设备120可以是扬声器。源设备110可以采集各种乐器的原始音频，将原始音频传输至编解码设备，编解码设备对原始音频进行编解码处理，得到重建后三维音频信号，由目的设备120回放重建后三维音频信号。又示例地，源设备110可以是终端设备中的麦克风，目的设备120可以是耳机。源设备110可以采集外界的声音或终端设备合成的音频。
又示例地，如图2中的(b)所示，源设备110和目的设备120集成在VR设备、AR设备、混合现实(Mixed Reality，MR)设备或扩展现实(Extended Reality，ER)设备中，则VR/AR/MR/ER设备具备采集原始音频、回放音频和编解码的功能。源设备110可以采集用户发出的声音和用户所处的虚拟环境中虚拟物体发出的声音。
在这些实施例中，源设备110或其对应功能和目的设备120或其对应功能可以使用相同硬件和/或软件或通过单独的硬件和/或软件或其任意组合来实现。根据描述，图1所示的源设备110和/或目的设备120中的不同单元或功能的存在和划分可能根据实际设备和应用而有所不同，这对技术人员来说是显而易见的。
上述音频编解码系统的结构只是示意性说明，在一些可能的实现方式中，音频编解码系统还可以包括其他设备，例如，音频编解码系统还可以包括端侧设备或云侧设备。源设备110采集到原始音频后，对原始音频进行预处理，得到三维音频信号；并将三维音频传输至端侧设备或云侧设备，由端侧设备或云侧设备实现对三维音频信号进行编解码的功能。
本申请实施例提供的音频信号编解码方法主要应用于编码端。结合图3对编码器(如编码器311)的结构进行详细说明。如图3所示，编码器300包括虚拟扬声器配置单元310、虚拟扬声器集合生成单元320、编码分析单元330、虚拟扬声器选择单元340、虚拟扬声器信号生成单元350和编码单元360。
虚拟扬声器配置单元310用于根据编码器配置信息生成虚拟扬声器配置参数，以便得到多个虚拟扬声器。编码器配置信息包括但不限于：三维音频信号的阶数(或通常称为HOA阶数)，编码比特率，用户自定义信息，等。虚拟扬声器配置参数包括但不限于：虚拟扬声器的数量，虚拟扬声器的阶数，虚拟扬声器的位置坐标，等。虚拟扬声器的数量例如是2048、1669、1343、1024、530、512、256、128或64等。虚拟扬声器的阶数可以是2阶至6阶中任一个。虚拟扬声器的位置坐标包括水平角和俯仰角。
虚拟扬声器配置单元310输出的虚拟扬声器配置参数作为虚拟扬声器集合生成单元320的输入。
虚拟扬声器集合生成单元320用于根据虚拟扬声器配置参数生成候选虚拟扬声器集合，候选虚拟扬声器集合包括多个虚拟扬声器。具体地，虚拟扬声器集合生成单元320根据虚拟扬声器的数量确定了候选虚拟扬声器集合包括的多个虚拟扬声器，以及根据虚拟扬声器的位置信息(如：坐标)和虚拟扬声器的阶数确定虚拟扬声器的系数。示例地，虚拟扬声器的坐标确定方法包括但不限于：按等距规则产生多个虚拟扬声器，或者根据听觉感知原理生成非均匀分布的多个虚拟扬声器；然后，根据虚拟扬声器的数量生成虚拟扬声器的坐标。
根据上述三维音频信号的生成原理也可以生成虚拟扬声器的系数。将公式(3)中的θs和
Figure BDA0003122267290000081
分别设置为虚拟扬声器的位置坐标，
Figure BDA0003122267290000082
表示N阶的虚拟扬声器的系数。虚拟扬声器的系数也可以称作ambisonics系数。
编码分析单元330用于对三维音频信号进行编码分析，例如分析三维音频信号的声场分布特征，即三维音频信号的声源数量、声源的方向性和声源的弥散度等特征。
虚拟扬声器集合生成单元320输出的候选虚拟扬声器集合包括的多个虚拟扬声器的系数作为虚拟扬声器选择单元340的输入。
编码分析单元330输出的三维音频信号的声场分布特征作为虚拟扬声器选择单元340的输入。
虚拟扬声器选择单元340用于根据待编码的三维音频信号、三维音频信号的声场分布特征和多个虚拟扬声器的系数确定与三维音频信号匹配的代表虚拟扬声器。
不限定的是，本申请实施例的编码器300还可以不包括编码分析单元330，即编码器300可以不对输入信号进行分析，虚拟扬声器选择单元340采用一种默认配置确定代表虚拟扬声器。例如，虚拟扬声器选择单元340仅根据三维音频信号和多个虚拟扬声器的系数确定与三维音频信号匹配的代表虚拟扬声器。
其中，编码器300可以将从采集设备获取的三维音频信号或采用人工音频对象合成的三维音频信号作为编码器300的输入。另外，编码器300输入的三维音频信号可以是时域三维音频信号也可以是频域三维音频信号，不予限定。
虚拟扬声器选择单元340输出的代表虚拟扬声器的位置信息和代表虚拟扬声器的系数作为虚拟扬声器信号生成单元350和编码单元360的输入。
虚拟扬声器信号生成单元350用于根据三维音频信号和代表虚拟扬声器的属性信息生成虚拟扬声器信号。代表虚拟扬声器的属性信息包括代表虚拟扬声器的位置信息、代表虚拟扬声器的系数和三维音频信号的系数中至少一个。若属性信息为代表虚拟扬声器的位置信息，根据代表虚拟扬声器的位置信息确定代表虚拟扬声器的系数；若属性信息包括三维音频信号的系数，根据三维音频信号的系数获取代表虚拟扬声器的系数。具体地，虚拟扬声器信号生成单元350根据三维音频信号的系数和代表虚拟扬声器的系数计算虚拟扬声器信号。
示例地，假设矩阵A表示虚拟扬声器的系数，矩阵X表示HOA信号的系数。矩阵X为矩阵A的逆矩阵。采用最小二乘方法求得理论的最优解w，w表示虚拟扬声器信号。虚拟扬声器信号满足公式(5)。
w＝A-1X 公式(5)
其中，A-1表示矩阵A的逆矩阵。矩阵A的大小为(M×C)，C表示代表虚拟扬声器的数量，M表示N阶HOA信号的声道的数量，a表示代表虚拟扬声器的系数，矩阵X的大小为(M×L)，L表示HOA信号的系数的数量，x表示HOA信号的系数。代表虚拟扬声器的系数可以是指代表虚拟扬声器的HOA系数或代表虚拟扬声器的ambisonics系数。例如，
Figure BDA0003122267290000091
虚拟扬声器信号生成单元350输出的虚拟扬声器信号作为编码单元360的输入。
可选地，为了提高解码端重建三维音频信号的质量，编码器300还可以预先估计重建后三维音频信号，利用预先估计的重建后三维音频信号生成残差信号，利用残差信号对虚拟扬声器信号进行补偿，从而，提高编码端的虚拟扬声器信号表示三维音频信号的声源的声场信息的准确性。示例地，编码器300还可以包括信号重建单元370和残差信号生成单元380。
信号重建单元370用于根据虚拟扬声器选择单元340输出的代表虚拟扬声器的位置信息和代表虚拟扬声器的系数，以及虚拟扬声器信号生成单元350输出的虚拟扬声器信号预先估计重建后三维音频信号，得到重建后三维音频信号。信号重建单元370输出的重建后三维音频信号作为残差信号生成单元380的输入。
残差信号生成单元380用于根据重建后三维音频信号和待编码的三维音频信号生成残差信号。残差信号可以表示由虚拟扬声器信号得到的重建后三维音频信号后与原始的三维音频信号相比的差值。残差信号生成单元380输出的残差信号作为残差信号选择单元390和信号补偿单元3100的输入。
编码单元360可以对虚拟扬声器信号和残差信号进行编码得到码流。为了提高编码器300的编码效率，可以从残差信号中选取部分残差信号供编码单元360进行编码。可选地，编码器300还可以包括残差信号选择单元390和信号补偿单元3100。
残差信号选择单元390用于根据虚拟扬声器信号和残差信号确定待编码的残差信号。示例地，残差信号包含(N+1)2个系数，残差信号选择单元390可以从(N+1)2个系数中选取小于(N+1)2个的系数作为待编码的残差信号。残差信号选择单元390输出的待编码的残差信号作为编码单元360和信号补偿单元3100的输入。
由于残差信号选择单元390选择小于N阶ambisonic系数的系数个数作为待传输的残差信号，与N阶ambisonic系数的残差信号相比会有信息丢失，因此信号补偿单元3100对不传输的残差信号进行信息补偿。信号补偿单元3100用于根据待编码的三维音频信号、残差信号和待编码的残差信号确定补偿信息，补偿信息用于指示待编码的残差信号和不传输的残差信号的相关信息，例如补偿信息用于指示待编码的残差信号和不传输的残差信号的差值，以便于解码端提供解码的准确率。
编码单元360用于对虚拟扬声器信号、待编码的残差信号和补偿信息进行核心编码处理，得到码流。核心编码处理包括但不限于：变换、量化、心理声学模型、噪声整形、带宽扩展、下混、算数编码和码流产生等。
值得注意的是，空间编码器1131可以包括虚拟扬声器配置单元310、虚拟扬声器集合生成单元320、编码分析单元330、虚拟扬声器选择单元340和虚拟扬声器信号生成单元350，即虚拟扬声器配置单元310、虚拟扬声器集合生成单元320、编码分析单元330、虚拟扬声器选择单元340、虚拟扬声器信号生成单元350、信号重建单元370、残差信号生成单元380、残差信号选择单元390和信号补偿单元3100实现了空间编码器1131的功能。核心编码器1132可以包括编码单元360，即编码单元360实现了核心编码器1132的功能。
图3所示的编码器可以生成一个虚拟扬声器信号，也可以生成多个虚拟扬声器信号。多个虚拟扬声器信号可以由图3所示的编码器多次执行得到，也可以由图3所示的编码器一次执行得到。
接下来，结合附图对三维音频信号的编解码过程进行说明。图4为本申请实施例提供的一种三维音频信号编解码方法的流程示意图。在这里由图1中源设备110和目的设备120执行三维音频信号编解码过程为例进行说明。如图4所示，该方法包括以下步骤。
S410、源设备110获取三维音频信号的当前帧。
如上述实施例所述，若源设备110携带音频获取器111，源设备110可以通过音频获取器111采集原始音频。可选地，源设备110也可以接收其他设备采集的原始音频；或者从源设备110中的存储器或其他存储器获取原始音频。原始音频可以包括实时采集的现实世界声音、设备存储的音频和由多个音频合成的音频中至少一种。本实施例对原始音频的获取方式以及原始音频的类型不予限定。
源设备110获取到原始音频后，根据三维音频技术和原始音频生成三维音频信号，以便于目的设备120回放重建后三维音频信号，也即是目的设备120回放由重建后三维音频信号生成的声音时，为听音者提供“身临其境”的音响效果。生成三维音频信号的具体方法可以参考上述实施例中预处理器112的阐述和现有技术的阐述。
另外，音频信号是一个连续的模拟信号。在音频信号处理过程中，可以先对音频信号进行采样，生成帧序列的数字信号。帧可以包括多个采样点。帧也可以指采样得到的采样点。帧也可以包括对帧划分得到的子帧。帧也可以指对帧划分得到的子帧。例如一帧长度为L个采样点，划分为N个子帧，那么每个子帧对应L/N个采样点。音频编解码通常是指处理包含多个采样点的音频帧序列。
音频帧可以包括当前帧或在先帧。本申请的各个实施例所述的当前帧或在先帧可以是指帧或是子帧。当前帧是指在当前时刻进行编解码处理的帧。在先帧是指在当前时刻之前时刻已进行编解码处理的帧。在先帧可以是当前时刻的前一时刻或者前多个时刻的帧。本申请的实施例中，三维音频信号的当前帧是指在当前时刻进行编解码处理的一帧三维音频信号。在先帧是指在当前时刻之前时刻已进行编解码处理的一帧三维音频信号。三维音频信号的当前帧可以是指三维音频信号的待编码当前帧。三维音频信号的当前帧可以简称为当前帧。三维音频信号的在先帧可以简称为在先帧。
S420、源设备110确定候选虚拟扬声器集合。
在一种情形下，源设备110的存储器中预先配置有候选虚拟扬声器集合。源设备110可以从存储器中读取候选虚拟扬声器集合。候选虚拟扬声器集合包括多个虚拟扬声器。虚拟扬声器表示空间声场中虚拟存在的扬声器。虚拟扬声器用于根据三维音频信号计算虚拟扬声器信号，以便于目的设备120回放重建后三维音频信号，也即是以便于目的设备120回放由重建后三维音频信号生成的声音。
在另一种情形下，源设备110的存储器中预先配置有虚拟扬声器配置参数。源设备110根据虚拟扬声器配置参数生成候选虚拟扬声器集合。可选地，源设备110根据自身的计算资源(如：处理器)能力和当前帧的特征(如：信道和数据量)实时生成候选虚拟扬声器集合。
生成候选虚拟扬声器集合的具体方法可以参考现有技术，以及上述实施例中虚拟扬声器配置单元310和虚拟扬声器集合生成单元320的阐述。
S430、源设备110根据三维音频信号的当前帧，从候选虚拟扬声器集合中选取当前帧的代表虚拟扬声器。
源设备110可以根据匹配投影法(match-projection，MP)从候选虚拟扬声器集合中选取当前帧的代表虚拟扬声器。
源设备110还可以根据当前帧的系数与虚拟扬声器的系数对虚拟扬声器进行投票，根据虚拟扬声器的投票值从候选虚拟扬声器集合中选择当前帧的代表虚拟扬声器。从候选虚拟扬声器集合中搜索有限数量的当前帧的代表虚拟扬声器，作为待编码的当前帧的最佳匹配虚拟扬声器，从而实现对待编码的三维音频信号进行数据压缩的目的。
需要说明的是，当前帧的代表虚拟扬声器属于候选虚拟扬声器集合。当前帧的代表虚拟扬声器的数量小于或等于候选虚拟扬声器集合包含的虚拟扬声器的数量。
S440、源设备110根据三维音频信号的当前帧和当前帧的代表虚拟扬声器生成虚拟扬声器信号。
源设备110根据当前帧的系数和当前帧的代表虚拟扬声器的系数生成虚拟扬声器信号。生成虚拟扬声器信号的具体方法可以参考现有技术，以及上述实施例中虚拟扬声器信号生成单元350的阐述。
S450、源设备110根据当前帧的代表虚拟扬声器和虚拟扬声器信号生成重建后三维音频信号。
源设备110根据当前帧的代表虚拟扬声器的系数和虚拟扬声器信号的系数生成重建后三维音频信号。生成重建后三维音频信号的具体方法可以参考现有技术，以及上述实施例中信号重建单元370的阐述。
S460、源设备110根据三维音频信号的当前帧和重建后三维音频信号生成残差信号。
S470、源设备110根据三维音频信号的当前帧和残差信号生成补偿信息。
生成残差信号和补偿信息的具体方法可以参考现有技术，以及上述实施例中残差信号生成单元380和信号补偿单元3100的阐述。
S480、源设备110对虚拟扬声器信号、残差信号和补偿信息进行编码得到码流。
源设备110可以对虚拟扬声器信号、残差信号和补偿信息进行变换或量化等编码操作，生成码流，从而实现对待编码的三维音频信号进行数据压缩的目的。生成码流的具体方法可以参考现有技术，以及上述实施例中编码单元360的阐述。
S490、源设备110向目的设备120发送码流。
源设备110可以对原始音频全部编码完成后，向目的设备120发送原始音频的码流。或者，源设备110也可以以帧为单位，实时对三维音频信号进行编码处理，对一帧编码完成后发送一帧的码流。发送码流的具体方法可以参考现有技术，以及上述实施例中通信接口114和通信接口124的阐述。
S4100、目的设备120对源设备110发送的码流进行解码，重建三维音频信号，得到重建后三维音频信号。
目的设备120接收到码流后，对码流进行解码得到虚拟扬声器信号，再根据候选虚拟扬声器集合和虚拟扬声器信号重建三维音频信号，得到重建后三维音频信号。目的设备120回放重建后三维音频信号，也即是目的设备120回放由重建后三维音频信号生成的声音。或者，目的设备120将重建后三维音频信号传输给其他播放设备，由其他播放设备播放重建后三维音频信号，也即是由其他播放设备播放由重建后三维音频信号生成的声音，使得听音者置身于影院、音乐厅或虚拟场景等场所的“身临其境”的音响效果更加逼真。
目前，在虚拟扬声器搜索过程中，编码器依据待编码的三维音频信号和虚拟扬声器之间的相关计算的结果作为虚拟扬声器的选择衡量指标。若编码器对每一个系数传输一个虚拟扬声器，则无法达到数据压缩的目的，且会对编码器造成沉重的计算负担。但是，若编码器对三维音频信号的不同帧进行编码所使用的虚拟扬声器波动性较大，导致重建后三维音频信号的质量较低，解码端播放的声音的音质较差。因此，本申请实施例提供一种选择虚拟扬声器的方法，编码器获取到当前帧的初始虚拟扬声器后，确定初始虚拟扬声器的编码效率，依据编码效率表示的初始虚拟扬声器用于重建三维音频信号所属声场的能力，确定是否重新选择当前帧的虚拟扬声器。在当前帧的初始虚拟扬声器的编码效率满足预设条件时，也即是当前帧的初始虚拟扬声器无法充分表示重建三维音频信号所属声场的场景下，重新选择当前帧的虚拟扬声器，将当前帧的更新虚拟扬声器作为对当前帧进行编码的虚拟扬声器。从而，通过重选虚拟扬声器，降低三维音频信号的不同帧之间进行编码所使用的虚拟扬声器的波动性，提高解码端重建后三维音频信号的质量，以及解码端播放的声音的音质。
在本申请实施例中，编码效率也可以称为重建声场效率、重建三维音频信号效率或虚拟扬声器选择效率。
接下来，结合附图对选择虚拟扬声器的过程进行详细说明。图5为本申请实施例提供的一种三维音频信号编码方法的流程示意图。在这里由图1中源设备110中编码器113执行选择虚拟扬声器过程为例进行说明。如图5所示，该方法包括以下步骤。
S510、编码器113获取三维音频信号的当前帧。
编码器113可以获取由音频获取器111采集的原始音频经过预处理112处理后的三维音频信号的当前帧。关于三维音频信号的当前帧相关解释可以参考上述S410的阐述。
S520、编码器113根据三维音频信号的当前帧获取当前帧的初始虚拟扬声器的编码效率。
编码器113根据三维音频信号的当前帧，从候选虚拟扬声器集合中选取当前帧的初始虚拟扬声器。当前帧的初始虚拟扬声器属于候选虚拟扬声器集合。当前帧的初始虚拟扬声器的数量小于或等于候选虚拟扬声器集合包含的虚拟扬声器的数量。关于获取初始虚拟扬声器的具体方法可以参考上述S420和S430，以及下述图11中获取代表虚拟扬声器的阐述。
当前帧的初始虚拟扬声器的编码效率表示当前帧的初始虚拟扬声器用于重建三维音频信号所属声场的能力。可理解的，若当前帧的初始虚拟扬声器充分表达了三维音频信号的声场信息，当前帧的初始虚拟扬声器用于重建三维音频信号所属声场的能力较强。若当前帧的初始虚拟扬声器不能充分表达三维音频信号的声场信息，当前帧的初始虚拟扬声器用于重建三维音频信号所属声场的能力较弱。
下面对编码器113获取当前帧的初始虚拟扬声器的编码效率的方法进行说明。
在第一种可能的实现方式中，编码器113根据重建当前帧的能量与当前帧的能量确定当前帧的初始虚拟扬声器的编码效率后，执行S530。其中，编码器113先根据三维音频信号的当前帧和当前帧的初始虚拟扬声器确定当前帧的虚拟扬声器信号，以及，根据当前帧的初始虚拟扬声器和虚拟扬声器信号确定重建后三维音频信号的重建当前帧。需要说明的是，这里的重建后三维音频信号的重建当前帧是编码端预先估计的重建后三维音频信号，并非解码端进行重建的重建后三维音频信号。具体地，关于生成当前帧的虚拟扬声器信号和重建后三维音频信号的重建当前帧的具体方法可以参考上述S440和S450中的阐述。当前帧的初始虚拟扬声器的编码效率可以满足如下公式(6)。
Figure BDA0003122267290000141
其中，R′表示当前帧的初始虚拟扬声器的编码效率。NRG1表示重建当前帧的能量。NRG2表示当前帧的能量。
在一些实施例中，重建当前帧的能量是根据重建当前帧的系数确定的。当前帧的能量是根据当前帧的系数确定的。例如，编码器113可以计算重建当前帧的每个通道的能量的表征值R1、R2至Rt，Rt＝norm(SRt)。norm()表示求取二范数运算，SRt表示重建当前帧的第t个通道包含的修正的离散余弦变换(Modified Discrete Cosine Transform，MDCT)系数。若三维音频信号为HOA信号，t的取值范围为1至(HOA信号的阶数+1)的平方。
编码器113可计算当前帧的能量的表征值N1、N2至Nt，Nt＝norm(SNt)。SNt表示当前帧的第t个通道包含的MDCT系数。
因此，当前帧的初始虚拟扬声器的编码效率R′＝sum(R)/sum(N)。其中，sum(R)表示R1至Rt之和，NRG1等于sum(R)。sum(N)表示N1至Nt之和。NRG2等于sum(N)。
在第二种可能的实现方式中，编码器113根据当前帧的虚拟扬声器信号的能量与当前帧的虚拟扬声器信号的能量和残差信号的能量之和的比值确定当前帧的初始虚拟扬声器的编码效率后，执行S530。其中，当前帧的虚拟扬声器信号的能量和残差信号的能量之和可以表示传输信号的能量。编码器113先根据三维音频信号的当前帧和当前帧的初始虚拟扬声器确定当前帧的虚拟扬声器信号，以及，根据当前帧的初始虚拟扬声器和虚拟扬声器信号确定重建后三维音频信号的重建当前帧，根据当前帧和重建当前帧获取当前帧的残差信号。具体地，关于生成残差信号的具体方法可以参考上述S460中的阐述。当前帧的初始虚拟扬声器的编码效率可以满足如下公式(7)。
Figure BDA0003122267290000142
其中，R′表示当前帧的初始虚拟扬声器的编码效率。NRG3表示当前帧的虚拟扬声器信号的能量。NRG4表示残差信号的能量。
在第三种可能的实现方式中，编码器113根据当前帧的初始虚拟扬声器的数量与声源数量的比值确定当前帧的初始虚拟扬声器的编码效率后，执行S530。其中，编码器113可以根据三维音频信号的当前帧确定声源数量。具体地，关于确定三维音频信号的声源数量的具体方法可以参考上述编码分析单元330中的阐述。当前帧的初始虚拟扬声器的编码效率可以满足如下公式(8)。
Figure BDA0003122267290000143
其中，R′表示当前帧的初始虚拟扬声器的编码效率。N1表示当前帧的初始虚拟扬声器的数量。N2表示三维音频信号的声源数量。声源数量例如可以是根据实际场景预先布置的。声源数量可以是大于等于1的整数。
在第四种可能的实现方式中，编码器113根据当前帧的虚拟扬声器信号的数量与三维音频信号的声源数量的比值确定当前帧的初始虚拟扬声器的编码效率后，执行S530。当前帧的初始虚拟扬声器的编码效率可以满足如下公式(9)。
Figure BDA0003122267290000151
其中，R′表示当前帧的初始虚拟扬声器的编码效率。N3表示当前帧的虚拟扬声器信号的数量。N2表示三维音频信号的声源数量。
S530、编码器113判断当前帧的初始虚拟扬声器的编码效率是否满足预设条件。
若当前帧的初始虚拟扬声器的编码效率满足预设条件，表示当前帧的初始虚拟扬声器不能充分表达三维音频信号的声场信息，当前帧的初始虚拟扬声器用于重建三维音频信号所属声场的能力较弱，编码器113执行S540和S550。
若当前帧的初始虚拟扬声器的编码效率不满足预设条件，表示当前帧的初始虚拟扬声器充分表达了三维音频信号的声场信息，当前帧的初始虚拟扬声器用于重建三维音频信号所属声场的能力较强，编码器113执行S560。
示例地，预设条件包括当前帧的初始虚拟扬声器的编码效率小于第一阈值。编码器113可以判断当前帧的初始虚拟扬声器的编码效率是否小于第一阈值。
需要说明的是，针对上述四种不同的可能的实现方式，第一阈值的取值范围可能不同。
例如，在第一种可能的实现方式中，第一阈值的取值范围可以为0.5至1。可理解的，若编码效率小于0.5，表示重建当前帧的能量小于当前帧的能量的一半，表示当前帧的初始虚拟扬声器不能充分表达三维音频信号的声场信息，当前帧的初始虚拟扬声器用于重建三维音频信号所属声场的能力较弱。
又如，在第二种可能的实现方式中，第一阈值的取值范围可以为0.5至1。可理解的，若编码效率小于0.5，表示当前帧的虚拟扬声器信号的能量小于传输信号的能量的一半，表示当前帧的初始虚拟扬声器不能充分表达三维音频信号的声场信息，当前帧的初始虚拟扬声器用于重建三维音频信号所属声场的能力较弱。
又如，在第三种可能的实现方式中，第一阈值的取值范围可以为0至1。可理解的，若编码效率小于1，表示当前帧的初始虚拟扬声器的数量小于三维音频信号的声源数量，表示当前帧的初始虚拟扬声器不能充分表达三维音频信号的声场信息，当前帧的初始虚拟扬声器用于重建三维音频信号所属声场的能力较弱。例如，当前帧的初始虚拟扬声器的数量可以是2，三维音频信号的声源数量可以是4。当前帧的初始虚拟扬声器的数量是声源数量的一半，表示当前帧的初始虚拟扬声器不能充分表达三维音频信号的声场信息，当前帧的初始虚拟扬声器用于重建三维音频信号所属声场的能力较弱。
又如，在第四种可能的实现方式中，第一阈值的取值范围可以为0至1。可理解的，若编码效率小于1，表示当前帧的虚拟扬声器信号的数量小于三维音频信号的声源数量，表示当前帧的初始虚拟扬声器不能充分表达三维音频信号的声场信息，当前帧的初始虚拟扬声器用于重建三维音频信号所属声场的能力较弱。例如，当前帧的虚拟扬声器信号的数量可以是2，三维音频信号的声源数量可以是4。当前帧的虚拟扬声器信号的数量是声源数量的一半，表示当前帧的初始虚拟扬声器不能充分表达三维音频信号的声场信息，当前帧的初始虚拟扬声器用于重建三维音频信号所属声场的能力较弱。
在一些实施例中，第一阈值也可以是一个具体的值。例如，第一阈值为0.65。
可理解的，第一阈值越大，预设条件越严格，则编码器113进行重新选择虚拟扬声器的几率越大且选择当前帧的虚拟扬声器的复杂度越高，三维音频信号的不同帧之间进行编码所使用的虚拟扬声器的波动性越小；反之，第一阈值越小，预设条件越宽松，则编码器113进行重新选择虚拟扬声器的几率越小且选择当前帧的虚拟扬声器的复杂度越低，三维音频信号的不同帧之间进行编码所使用的虚拟扬声器的波动性越大。第一阈值可以根据实际的应用场景进行设置，本实施例对第一阈值的具体取值不予限定。
S540、编码器113从候选虚拟扬声器集合中确定当前帧的更新虚拟扬声器。
在一种可能的示例中，如图6所示，图6与图3的区别在于，编码器300还包含后处理单元3200。后处理单元3200分别与虚拟扬声器信号生成单元350和信号重建单元370连接。后处理单元3200可以从信号重建单元370获取重建后三维音频信号的重建当前帧后，根据重建当前帧的能量与当前帧的能量确定当前帧的初始虚拟扬声器的编码效率。若后处理单元3200确定当前帧的初始虚拟扬声器的编码效率满足预设条件，从候选虚拟扬声器集合中确定当前帧的更新虚拟扬声器。进而，后处理单元3200将当前帧的更新虚拟扬声器反馈给信号重建单元370、虚拟扬声器信号生成单元350和编码单元360，虚拟扬声器信号生成单元350根据当前帧的更新虚拟扬声器和当前帧生成虚拟扬声器信号，信号重建单元370根据当前帧的更新虚拟扬声器和更新虚拟扬声器信号生成重建后三维音频信号。使得残差信号生成单元380、残差信号选择单元390、信号补偿单元3100和编码单元360中每个单元的输入和输出均是与当前帧的更新虚拟扬声器相关的信息(如：重建后三维音频信号和虚拟扬声器信号)，与依据当前帧的初始虚拟扬声器生成的信息不同。可理解地，在后处理单元3200获取到当前帧的更新虚拟扬声器后，编码器113根据更新虚拟扬声器执行S440至S480的步骤。
如图7所示，图7与图6的区别在于，编码器300还包含后处理单元3200。后处理单元3200分别与虚拟扬声器信号生成单元350和残差信号生成单元380连接。后处理单元3200可以从虚拟扬声器信号生成单元350获取当前帧的虚拟扬声器信号，以及从残差信号生成单元380获取残差信号后，根据当前帧的虚拟扬声器信号的能量与当前帧的虚拟扬声器信号的能量和残差信号的能量之和的比值确定当前帧的初始虚拟扬声器的编码效率。若后处理单元3200确定当前帧的初始虚拟扬声器的编码效率满足预设条件，从候选虚拟扬声器集合中确定当前帧的更新虚拟扬声器。
如图8所示，图8与图6的区别在于，编码器300还包含后处理单元3200。后处理单元3200分别与编码分析单元330和虚拟扬声器选择单元340连接。后处理单元3200可以从编码分析单元330获取三维音频信号的声源数量，以及从虚拟扬声器选择单元340获取当前帧的初始虚拟扬声器的数量后，根据当前帧的初始虚拟扬声器的数量与三维音频信号的声源数量的比值确定当前帧的初始虚拟扬声器的编码效率。若后处理单元3200确定当前帧的初始虚拟扬声器的编码效率满足预设条件，从候选虚拟扬声器集合中确定当前帧的更新虚拟扬声器。当前帧的初始虚拟扬声器的数量可以是预先设置或者是虚拟扬声器选择单元340分析得到的。
如图9所示，图9与图8的区别在于，编码器300还包含后处理单元3200。后处理单元3200分别与编码分析单元330和虚拟扬声器信号生成单元350连接。后处理单元3200可以从编码分析单元330获取三维音频信号的声源数量，以及从虚拟扬声器信号生成单元350获取当前帧的虚拟扬声器信号的数量后，根据当前帧的虚拟扬声器信号的数量与三维音频信号的声源数量的比值确定当前帧的初始虚拟扬声器的编码效率。若后处理单元3200确定当前帧的初始虚拟扬声器的编码效率满足预设条件，从候选虚拟扬声器集合中确定当前帧的更新虚拟扬声器。当前帧的虚拟扬声器信号的数量可以是预先设置或者是虚拟扬声器选择单元340分析得到的。
若当前帧的初始虚拟扬声器的编码效率满足预设条件，编码器113可以进一步根据小于第一阈值的第二阈值判断编码效率，以便于编码器113重选当前帧的虚拟扬声器的准确性。
示例地，如图10所示，图10所述的方法流程是对图5中S540所包括的具体操作过程的阐述。
S541、编码器113判断当前帧的初始虚拟扬声器的编码效率是否小于第二阈值。
若当前帧的初始虚拟扬声器的编码效率小于或等于第二阈值，执行S542；若当前帧的初始虚拟扬声器的编码效率大于第二阈值，且编码效率小于第一阈值，执行S543。
S542、编码器113将候选虚拟扬声器集合中的预设虚拟扬声器作为当前帧的更新虚拟扬声器。
预设虚拟扬声器可以是指定的虚拟扬声器。指定的虚拟扬声器可以是虚拟扬声器集合中任意一个虚拟扬声器。例如，指定的虚拟扬声器的水平角为100度，且俯仰角为50度。
预设虚拟扬声器可以是根据标准扬声器布局的虚拟扬声器或非标准扬声器布局的虚拟扬声器。标准扬声器可以是指依据22.2声道、7.1.4声道、5.1.4声道、7.1声道或5.1声道等设置的扬声器。非标准扬声器可以是指根据实际场景预先布置的扬声器。
预设虚拟扬声器还可以是根据声场中声源位置确定的虚拟扬声器。声源位置可以是从上述编码分析单元330获得，或者从待编码的三维音频信号中获得。
S543、编码器113将在先帧的虚拟扬声器作为当前帧的更新虚拟扬声器。
在先帧的虚拟扬声器为对三维音频信号的在先帧进行编码所使用的虚拟扬声器。
需要说明的是，编码器113将当前帧的更新虚拟扬声器作为当前帧的代表虚拟扬声器对当前帧进行编码。
可选地，若当前帧的初始虚拟扬声器的编码效率大于第二阈值，且编码效率小于第一阈值，编码器113还可以根据当前帧的初始虚拟扬声器的编码效率和在先帧的虚拟扬声器的编码效率确定当前帧的初始虚拟扬声器的调整后编码效率。示例地，编码器113可以根据当前帧的初始虚拟扬声器的编码效率和在先帧的虚拟扬声器的平均编码效率生成当前帧的初始虚拟扬声器的调整后编码效率。调整后编码效率满足公式(10)。
Figure BDA0003122267290000171
其中，R′表示当前帧的初始虚拟扬声器的编码效率。MR′表示调整后编码效率，MR表示在先帧的虚拟扬声器的平均编码效率。在先帧可以是指当前帧之前的一个或多个帧。
若当前帧的初始虚拟扬声器的编码效率大于当前帧的初始虚拟扬声器的调整后编码效率，表示当前帧的初始虚拟扬声器相比在先帧的虚拟扬声器可以充分地表达三维音频信号的声场信息。因此，编码器113将当前帧的初始虚拟扬声器作为当前帧的后续帧的虚拟扬声器。从而，进一步地降低三维音频信号的不同帧进行编码所使用的虚拟扬声器波动性，确保提高解码端重建后三维音频信号的质量，以及解码端播放的声音的音质。
若当前帧的初始虚拟扬声器的编码效率小于当前帧的初始虚拟扬声器的调整后编码效率，表示当前帧的初始虚拟扬声器相比在先帧的虚拟扬声器不能充分地表达三维音频信号的声场信息，可以将在先帧的虚拟扬声器作为当前帧的后续帧的虚拟扬声器。
需要说明的是，第二阈值可以是一个具体的值。第二阈值小于第一阈值。例如，第二阈值为0.55。第一阈值和第二阈值的具体取值本实施例不予限定。
可选地，在当前帧的初始虚拟扬声器的编码效率满足预设条件的场景下，编码器113可以根据预设粒度调整第一阈值。例如，预设粒度可以为0.1。示例地，第一阈值为0.65，第二阈值为0.55，第三阈值为0.45。若当前帧的初始虚拟扬声器的编码效率小于或等于第二阈值，编码器113可以判断当前帧的初始虚拟扬声器的编码效率是否小于第三阈值。
S550、编码器113根据当前帧的更新虚拟扬声器对当前帧进行编码，得到第一码流。
编码器113根据当前帧的更新虚拟扬声器和当前帧生成更新虚拟扬声器信号，根据当前帧的更新虚拟扬声器和更新虚拟扬声器信号生成更新重建后三维音频信号，根据更新重建当前帧和当前帧确定更新残差信号；根据当前帧和更新残差信号确定第一码流。编码器113可以根据上述S430至S480的阐述生成第一码流，即编码器113更新当前帧的初始虚拟扬声器，利用当前帧的更新虚拟扬声器、更新残差信号和更新补偿信息进行编码得到第一码流。
S560、编码器113根据当前帧的初始虚拟扬声器对当前帧进行编码，得到第二码流。
编码器113可以根据上述S430至S480的阐述生成第二码流，即编码器113无需更新当前帧的初始虚拟扬声器，利用当前帧的初始虚拟扬声器、残差信号和补偿信息进行编码得到第二码流。
如此，在当前帧的初始虚拟扬声器无法充分表示重建三维音频信号所属声场，导致解码端重建后三维音频信号的质量较差的场景下，编码器可以依据初始虚拟扬声器的编码效率指示的初始虚拟扬声器用于重建三维音频信号所属声场的能力，确定重新选择当前帧的虚拟扬声器，则编码器将当前帧的更新虚拟扬声器作为对当前帧进行编码的虚拟扬声器。从而，编码器通过重选虚拟扬声器，降低三维音频信号的不同帧之间进行编码所使用的虚拟扬声器的波动性，提高解码端重建后三维音频信号的质量，以及解码端播放的声音的音质。
在一些实施例中，源设备110根据当前帧的系数与虚拟扬声器的系数对虚拟扬声器进行投票，根据虚拟扬声器的投票值从候选虚拟扬声器集合中选择当前帧的代表虚拟扬声器，实现对待编码的三维音频信号进行数据压缩的目的。在本实施例中，当前帧的代表虚拟扬声器可以作为上述各实施例的初始虚拟扬声器。
图11为本申请实施例提供的一种选择虚拟扬声器方法的流程示意图。图11所述的方法流程是对图4中S430所包括的具体操作过程的阐述。在这里由图1所示的源设备110中编码器113执行选择虚拟扬声器过程为例进行说明。具体地实现虚拟扬声器选择单元340的功能。如图11所示，该方法包括以下步骤。
S1110、编码器113获取当前帧的代表系数。
代表系数可以是指频域代表系数或时域代表系数。频域代表系数也可以称为频域代表频点或频谱代表系数。时域代表系数也可以称为时域代表采样点。
示例地，编码器113获取到三维音频信号的当前帧的第四数量个系数，以及第四数量个系数的频域特征值后，根据第四数量个系数的频域特征值，从第四数量个系数中选取第三数量个代表系数，进而，根据第三数量个代表系数从候选虚拟扬声器集合中选取第二数量个当前帧的代表虚拟扬声器。其中，所述第四数量个系数包括第三数量个代表系数，第三数量小于第四数量，表示第三数量个代表系数是第四数量个系数中的部分系数。三维音频信号的当前帧为HOA信号；系数的频域特征值是依据HOA信号的系数确定的。
如此，由于编码器从当前帧的全部系数中选取部分系数作为代表系数，利用较少数量的代表系数代替当前帧的全部系数从候选虚拟扬声器集合中选取代表虚拟扬声器，因此有效地降低了编码器搜索虚拟扬声器的计算复杂度，从而降低了对三维音频信号进行压缩编码的计算复杂度以及减轻了编码器的计算负担。
S1120、编码器113根据当前帧的代表系数对候选虚拟扬声器集合中虚拟扬声器的投票值，从候选虚拟扬声器集合中选取当前帧的代表虚拟扬声器。
编码器113根据当前帧的代表系数与虚拟扬声器的系数对候选虚拟扬声器集合中的虚拟扬声器进行投票，根据虚拟扬声器的当前帧最终投票值从候选虚拟扬声器集合中选择(搜索)当前帧的代表虚拟扬声器。
示例地，编码器113根据当前帧的第三数量个代表系数、候选虚拟扬声器集合和投票轮数确定第一数量个虚拟扬声器和第一数量个投票值，根据第一数量个投票值，从第一数量个虚拟扬声器中选取第二数量个当前帧的代表虚拟扬声器，第二数量小于第一数量，表示第二数量个当前帧的代表虚拟扬声器是候选虚拟扬声器集合中的部分虚拟扬声器。可理解的，虚拟扬声器与投票值一一对应。例如，第一数量个虚拟扬声器包括第一虚拟扬声器，第一数量个投票值包括第一虚拟扬声器的投票值，第一虚拟扬声器与第一虚拟扬声器的投票值对应。第一虚拟扬声器的投票值用于表征对当前帧进行编码时使用第一虚拟扬声器的优先级。候选虚拟扬声器集合包括第五数量个虚拟扬声器，第五数量个虚拟扬声器包括第一数量个虚拟扬声器，第一数量小于或等于第五数量，投票轮数为大于或等于1的整数，且投票轮数小于或等于第五数量。
目前，在虚拟扬声器搜索过程中，编码器依据待编码的三维音频信号和虚拟扬声器之间的相关计算的结果作为虚拟扬声器的选择衡量指标。而且，若编码器对每一个系数传输一个虚拟扬声器，则无法达到高效数据压缩的目的，会对编码器造成沉重的计算负担。本申请实施例提供的选择虚拟扬声器的方法，编码器利用较少数量的代表系数代替当前帧的全部系数对候选虚拟扬声器集合中每个虚拟扬声器进行投票，依据投票值选取当前帧的代表虚拟扬声器。进而，编码器利用当前帧的代表虚拟扬声器对待编码的三维音频信号进行压缩编码，不仅有效地提升了对三维音频信号进行压缩编码的压缩率，而且降低了编码器搜索虚拟扬声器的计算复杂度，从而降低了对三维音频信号进行压缩编码的计算复杂度以及减轻了编码器的计算负担。
第二数量用于表征编码器选取的当前帧的代表虚拟扬声器的数量。第二数量越大表示当前帧的代表虚拟扬声器的数量越大，三维音频信号的声场信息越多；第二数量越小表示当前帧的代表虚拟扬声器的数量越小，三维音频信号的声场信息越少。因此，可通过设置第二数量控制编码器选取的当前帧的代表虚拟扬声器的数量。例如，第二数量可以是预设的，又如，第二数量可以是根据当前帧确定的。示例地，第二数量的取值可以是1、2、4或8。
需要说明的是，编码器先遍历候选虚拟扬声器集合包含的虚拟扬声器，利用从候选虚拟扬声器集合中选取的当前帧的代表虚拟扬声器对当前帧进行压缩。但是，若连续帧选取的虚拟扬声器的结果差异较大，会导致重建后三维音频信号的声像不稳定，降低重建后三维音频信号的音质。在本申请的实施例中，编码器113可以依据在先帧的代表虚拟扬声器的在先帧最终投票值对候选虚拟扬声器集合包含的虚拟扬声器的当前帧初始投票值进行更新处理，得到虚拟扬声器的当前帧最终投票值，则根据虚拟扬声器的当前帧最终投票值从候选虚拟扬声器集合中选取当前帧的代表虚拟扬声器。从而，通过参考在先帧的代表虚拟扬声器来选取当前帧的代表虚拟扬声器，使编码器对当前帧选择当前帧的代表虚拟扬声器时倾向于选择与在先帧的代表虚拟扬声器相同的虚拟扬声器，增加连续帧之间的方位的连续性，克服了连续帧选取的虚拟扬声器的结果差异较大的问题。因此，本申请的实施例还可以包括S1130。
S1130、编码器113根据在先帧的代表虚拟扬声器的在先帧最终投票值调整候选虚拟扬声器集合中虚拟扬声器的当前帧初始投票值，获得虚拟扬声器的当前帧最终投票值。
编码器113根据当前帧的代表系数与虚拟扬声器的系数对候选虚拟扬声器集合中的虚拟扬声器进行投票，得到虚拟扬声器的当前帧初始投票值后，根据在先帧的代表虚拟扬声器的在先帧最终投票值调整候选虚拟扬声器集合中虚拟扬声器的当前帧初始投票值，获得虚拟扬声器的当前帧最终投票值。在先帧的代表虚拟扬声器为编码器113对在先帧进行编码时使用的虚拟扬声器。
编码器113根据第一数量个投票值，以及第六数量个在先帧最终投票值，获取第七数量个虚拟扬声器与当前帧对应的第七数量个当前帧最终投票值，根据第七数量个当前帧最终投票值，从第七数量个虚拟扬声器中选取第二数量个当前帧的代表虚拟扬声器，第二数量小于第七数量，表示第二数量个当前帧的代表虚拟扬声器是第七数量个虚拟扬声器中的部分虚拟扬声器。其中，第七数量个虚拟扬声器包括第一数量个虚拟扬声器，且第七数量个虚拟扬声器包括第六数量个虚拟扬声器，第六数量个虚拟扬声器包含的虚拟扬声器为对三维音频信号的在先帧进行编码所使用的在先帧的代表虚拟扬声器。在先帧的代表虚拟扬声器集合包含的第六数量个虚拟扬声器与所述第六数量个在先帧最终投票值一一对应。
在虚拟扬声器搜索过程中，由于真实声源的位置与虚拟扬声器的位置不一定重合，会导致虚拟扬声器不一定能够与真实声源形成一一对应关系，且由于在实际的复杂场景下，可能出现有限数量的虚拟扬声器集合无法表征声场中所有声源的情况，此时，帧与帧之间搜索到的虚拟扬声器可能会发生频繁跳变，这种跳变会明显地影响听音者的听觉感受，导致解码重建后三维音频信号中出现明显的不连续和噪声现象。本申请的实施例提供的选择虚拟扬声器的方法通过继承在先帧的代表虚拟扬声器，即对于相同编号的虚拟扬声器，用在先帧最终投票值调整当前帧初始投票值，使得编码器更倾向于选择在先帧的代表虚拟扬声器，从而降低帧与帧之间的虚拟扬声器的频繁跳变，增强了帧之间的信号方位的连续性，提高了重建后三维音频信号的声像的稳定性，确保重建后三维音频信号的音质。
在一些实施例中，若当前帧是原始音频中第一帧，编码器113执行S1110至S1120。若当前帧是原始音频中第二帧以上的任意一帧，编码器113可以先判断是否复用在先帧的代表虚拟扬声器对当前帧进行编码或判断是否进行虚拟扬声器搜索，确保连续帧之间的方位的连续性，并降低编码复杂度。本申请的实施例还可以包括S1140。
S1140、编码器113根据在先帧的代表虚拟扬声器和当前帧判断是否进行虚拟扬声器搜索。
若编码器113确定进行虚拟扬声器搜索，执行S1110至S1130。可选地，编码器113可以先执行S1110，即编码器113获取当前帧的代表系数，编码器113根据当前帧的代表系数和在先帧的代表虚拟扬声器的系数判断是否进行虚拟扬声器搜索，若编码器113确定进行虚拟扬声器搜索，再执行S1120至S1130。
若编码器113确定不进行虚拟扬声器搜索，执行S1150。
S1150、编码器113确定复用在先帧的代表虚拟扬声器对当前帧进行编码。
编码器113复用在先帧的代表虚拟扬声器和当前帧生成虚拟扬声器信号，对虚拟扬声器信号进行编码得到码流，向目的设备120发送码流。
可选地，在本申请实施例提供的重新虚拟扬声器的过程中，若当前帧的初始虚拟扬声器是根据在先帧的代表虚拟扬声器的投票值确定的，而当前帧的初始虚拟扬声器的编码效率小于第一阈值，编码器113可以将在先帧的代表虚拟扬声器的投票值清零，从而，避免编码器113选择不能充分表达三维音频信号的声场信息在先帧的代表虚拟扬声器，导致重建后三维音频信号的质量较低，解码端播放的声音的音质较差。
可以理解的是，为了实现上述实施例中的功能，编码器包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本申请中所公开的实施例描述的各示例的单元及方法步骤，本申请能够以硬件或硬件和计算机软件相结合的形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用场景和设计约束条件。
上文中结合图1至图11，详细描述了根据本实施例所提供的三维音频信号编码方法，下面将结合图12和图13，描述根据本实施例所提供的三维音频信号编码装置和编码器。
图12为本实施例提供的可能的三维音频信号编码装置的结构示意图。这些三维音频信号编码装置可以用于实现上述方法实施例中编码三维音频信号的功能，因此也能实现上述方法实施例所具备的有益效果。在本实施例中，该三维音频信号编码装置可以是如图1所示的编码器113，或者如图3所示的编码器300，还可以是应用于终端设备或服务器的模块(如芯片)。
如图12所示，三维音频信号编码装置1200包括通信模块1210、编码效率获取模块1220、虚拟扬声器重选模块1230、编码模块1240和存储模块1250。三维音频信号编码装置1200用于实现上述图5和图10中所示的方法实施例中编码器113的功能。
通信模块1210用于获取三维音频信号的当前帧。可选地，通信模块1210也可以接收其他设备获取的三维音频信号的当前帧；或者从存储模块1250获取三维音频信号的当前帧。三维音频信号为HOA信号；系数的频域特征值是依据二维向量确定的，二维向量包括HOA信号的HOA系数。
编码效率获取模块1220，用于根据三维音频信号的当前帧获取当前帧的初始虚拟扬声器的编码效率，当前帧的初始虚拟扬声器属于候选虚拟扬声器集合。当三维音频信号编码装置1200用于实现图5和图10所示的方法实施例中编码器113的功能时，编码效率获取模块1220用于实现S520的相关功能。
虚拟扬声器重选模块1230，用于若当前帧的初始虚拟扬声器的编码效率满足预设条件，从候选虚拟扬声器集合中确定当前帧的更新虚拟扬声器。当三维音频信号编码装置1200用于实现图5所示的方法实施例中编码器113的功能时，虚拟扬声器重选模块1230用于实现S530和S540的相关功能。当三维音频信号编码装置1200用于实现图10所示的方法实施例中编码器113的功能时，虚拟扬声器重选模块1230用于实现S530、S541至S543的相关功能。
若所述当前帧的初始虚拟扬声器的编码效率满足预设条件，编码模块1240用于根据所述当前帧的更新虚拟扬声器对所述当前帧进行编码，得到第一码流。
若所述当前帧的初始虚拟扬声器的编码效率不满足所述预设条件，编码模块1240用于根据所述当前帧的初始虚拟扬声器对所述当前帧进行编码，得到第二码流。
当三维音频信号编码装置1200用于实现图5和图10所示的方法实施例中编码器113的功能时，编码模块1240用于实现S550和S560的相关功能。
存储模块1250用于存储与三维音频信号相关的系数，候选虚拟扬声器集合，在先帧的代表虚拟扬声器集合，码流，以及选取的系数和虚拟扬声器等，以便于编码模块1240对当前帧进行编码得到码流，并将码流传输至解码器。
应理解的是，本申请实施例的三维音频信号编码装置1200可以通过专用集成电路(application-specific integrated circuit，ASIC)实现，或可编程逻辑器件(programmable logic device，PLD)实现，上述PLD可以是复杂程序逻辑器件(complexprogrammable logical device，CPLD)，现场可编程门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。也可以通过软件实现图5和图10所示的三维音频信号编码方法时，三维音频信号编码装置1200及其各个模块也可以为软件模块。
有关上述通信模块1210、编码效率获取模块1220、虚拟扬声器重选模块1230、编码模块1240和存储模块1250更详细的描述可以参考图5和图10所示的方法实施例中相关描述直接得到，这里不加赘述。
图13为本实施例提供的一种编码器1300的结构示意图。如图所示，编码器1300包括处理器1310、总线1320、存储器1330和通信接口1340。
应理解，在本实施例中，处理器1310可以是中央处理器(central processingunit，CPU)，该处理器1310还可以是其他通用处理器、数字信号处理器(digital signalprocessing，DSP)、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。
处理器还可以是图形处理器(graphics processing unit，GPU)、神经网络处理器(neural network processing unit，NPU)、微处理器或一个或多个用于控制本申请方案程序执行的集成电路。
通信接口1340用于实现编码器1300与外部设备或器件的通信。在本实施例中，通信接口1340用于接收三维音频信号。
总线1320可以包括一通路，用于在上述组件(如处理器1310和存储器1330)之间传送信息。总线1320除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线1320。
作为一个示例，编码器1300可以包括多个处理器。处理器可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的计算单元。处理器1310可以调用存储器1330存储的与三维音频信号相关的系数，候选虚拟扬声器集合，在先帧的代表虚拟扬声器集合，以及选取的系数和虚拟扬声器等。
值得说明的是，图13中仅以编码器1300包括1个处理器1310和1个存储器1330为例，此处，处理器1310和存储器1330分别用于指示一类器件或设备，具体实施例中，可以根据业务需求确定每种类型的器件或设备的数量。
存储器1330可以对应上述方法实施例中用于存储与三维音频信号相关的系数，候选虚拟扬声器集合，在先帧的代表虚拟扬声器集合，以及选取的系数和虚拟扬声器等信息的存储介质，例如，磁盘，如机械硬盘或固态硬盘。
上述编码器1300可以是一个通用设备或者是一个专用设备。例如，编码器1300可以是基于X86、ARM的服务器，也可以为其他的专用服务器，如策略控制和计费(policycontrol and charging，PCC)服务器等。本申请实施例不限定编码器1300的类型。
应理解，根据本实施例的编码器1300可对应于本实施例中的三维音频信号编码装置1200，并可以对应于执行根据图5和图10中任一方法中的相应主体，并且三维音频信号编码装置1200中的各个模块的上述和其它操作和/或功能分别为了实现图5和图10中的各个方法的相应流程，为了简洁，在此不再赘述。
本申请实施例还提供一种系统，该系统包括解码器和如图13所示的编码器，编码器和解码器用于实现上述图5和图10所示的方法步骤，为了简洁，在此不再赘述。
本实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于网络设备或终端设备中。当然，处理器和存储介质也可以作为分立组件存在于网络设备或终端设备中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，DVD)；还可以是半导体介质，例如，固态硬盘(solid state drive，SSD)。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (27)

1.一种三维音频信号编码方法，其特征在于，包括：
获取三维音频信号的当前帧；
根据所述三维音频信号的当前帧获取所述当前帧的初始虚拟扬声器的编码效率，所述当前帧的初始虚拟扬声器属于候选虚拟扬声器集合；
若所述当前帧的初始虚拟扬声器的编码效率满足预设条件，从所述候选虚拟扬声器集合中确定所述当前帧的更新虚拟扬声器，以及根据所述当前帧的更新虚拟扬声器对所述当前帧进行编码，得到第一码流；
若所述当前帧的初始虚拟扬声器的编码效率不满足所述预设条件，根据所述当前帧的初始虚拟扬声器对所述当前帧进行编码，得到第二码流。
2.根据权利要求1所述的方法，其特征在于，所述根据所述三维音频信号的当前帧获取所述当前帧的初始虚拟扬声器的编码效率包括：
根据所述当前帧的初始虚拟扬声器获取重建后三维音频信号的重建当前帧；
根据所述重建当前帧的能量与所述当前帧的能量确定所述当前帧的初始虚拟扬声器的编码效率。
3.根据权利要求2所述的方法，其特征在于，所述重建当前帧的能量是根据所述重建当前帧的系数确定的，所述当前帧的能量是根据所述当前帧的系数确定的。
4.根据权利要求1所述的方法，其特征在于，所述根据所述三维音频信号的当前帧获取所述当前帧的初始虚拟扬声器的编码效率包括：
根据所述当前帧的初始虚拟扬声器获取重建后三维音频信号的重建当前帧；
根据所述三维音频信号的当前帧和所述重建后三维音频信号的重建当前帧获取所述当前帧的残差信号；
获取所述当前帧的虚拟扬声器信号和所述残差信号的能量和；
根据所述当前帧的虚拟扬声器信号的能量与所述能量和的比值确定所述当前帧的初始虚拟扬声器的编码效率。
5.根据权利要求2或4所述的方法，其特征在于，所述根据所述当前帧的初始虚拟扬声器获取重建后三维音频信号的重建当前帧包括：
根据所述当前帧的初始虚拟扬声器确定所述当前帧的虚拟扬声器信号；
根据所述当前帧的虚拟扬声器信号确定所述重建当前帧。
6.根据权利要求1所述的方法，其特征在于，所述根据所述三维音频信号的当前帧获取所述当前帧的初始虚拟扬声器的编码效率包括：
根据所述三维音频信号的当前帧确定声源数量；
根据所述当前帧的初始虚拟扬声器的数量与所述声源数量确定所述当前帧的初始虚拟扬声器的编码效率。
7.根据权利要求1所述的方法，其特征在于，所述根据所述三维音频信号的当前帧获取所述当前帧的初始虚拟扬声器的编码效率包括：
根据所述三维音频信号的当前帧确定声源数量；
根据所述当前帧的初始虚拟扬声器确定所述当前帧的虚拟扬声器信号；
根据所述当前帧的虚拟扬声器信号的数量与所述三维音频信号的声源数量确定所述当前帧的初始虚拟扬声器的编码效率。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述预设条件包括所述当前帧的初始虚拟扬声器的编码效率小于第一阈值。
9.根据权利要求8所述的方法，其特征在于，所述从所述候选虚拟扬声器集合中确定所述当前帧的更新虚拟扬声器包括：
若所述当前帧的初始虚拟扬声器的编码效率小于第二阈值，将所述候选虚拟扬声器集合中的预设虚拟扬声器作为所述当前帧的更新虚拟扬声器，所述第二阈值小于所述第一阈值；
或，若所述当前帧的初始虚拟扬声器的编码效率小于第一阈值，且大于第二阈值，将在先帧的虚拟扬声器作为所述当前帧的更新虚拟扬声器，所述在先帧的虚拟扬声器为对所述三维音频信号的在先帧进行编码所使用的虚拟扬声器。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
根据所述当前帧的初始虚拟扬声器的编码效率和所述在先帧的虚拟扬声器的编码效率确定所述当前帧的初始虚拟扬声器的调整后编码效率；
若所述当前帧的初始虚拟扬声器的编码效率大于所述当前帧的初始虚拟扬声器的调整后编码效率，将所述当前帧的初始虚拟扬声器作为所述当前帧的后续帧的虚拟扬声器。
11.根据权利要求1至10中任一项所述的方法，其特征在于，所述三维音频信号为高阶立体混响HOA信号。
12.一种三维音频信号编码装置，其特征在于，包括：
通信模块，用于获取三维音频信号的当前帧；
编码效率获取模块，用于根据所述三维音频信号的当前帧获取所述当前帧的初始虚拟扬声器的编码效率，所述当前帧的初始虚拟扬声器属于候选虚拟扬声器集合；
虚拟扬声器重选模块，用于若所述当前帧的初始虚拟扬声器的编码效率满足预设条件，从所述候选虚拟扬声器集合中确定所述当前帧的更新虚拟扬声器；
编码模块，用于根据所述当前帧的更新虚拟扬声器对所述当前帧进行编码，得到第一码流；
所述编码模块，还用于若所述当前帧的初始虚拟扬声器的编码效率不满足所述预设条件，根据所述当前帧的初始虚拟扬声器对所述当前帧进行编码，得到第二码流。
13.根据权利要求12所述的装置，其特征在于，所述编码效率获取模块根据所述三维音频信号的当前帧获取所述当前帧的初始虚拟扬声器的编码效率时，具体用于：
根据所述当前帧的初始虚拟扬声器获取重建后三维音频信号的重建当前帧；
根据所述重建当前帧的能量与所述当前帧的能量确定所述当前帧的初始虚拟扬声器的编码效率。
14.根据权利要求13所述的装置，其特征在于，所述重建当前帧的能量是根据所述重建当前帧的系数确定的，所述当前帧的能量是根据所述当前帧的系数确定的。
15.根据权利要求12所述的装置，其特征在于，所述编码效率获取模块根据所述三维音频信号的当前帧获取所述当前帧的初始虚拟扬声器的编码效率时，具体用于：
根据所述当前帧的初始虚拟扬声器获取重建后三维音频信号的重建当前帧；
根据所述三维音频信号的当前帧和所述重建后三维音频信号的重建当前帧获取所述当前帧的残差信号；
获取所述当前帧的虚拟扬声器信号和所述残差信号的能量和；
根据所述当前帧的虚拟扬声器信号的能量与所述能量和的比值确定所述当前帧的初始虚拟扬声器的编码效率。
16.根据权利要求13或15所述的装置，其特征在于，所述编码效率获取模块根据所述当前帧的初始虚拟扬声器获取重建后三维音频信号的重建当前帧时，具体用于：
根据所述当前帧的初始虚拟扬声器确定所述当前帧的虚拟扬声器信号；
根据所述当前帧的虚拟扬声器信号确定所述重建当前帧。
17.根据权利要求12所述的装置，其特征在于，所述编码效率获取模块根据所述三维音频信号的当前帧获取所述当前帧的初始虚拟扬声器的编码效率时，具体用于：
根据所述三维音频信号的当前帧确定声源数量；
根据所述当前帧的初始虚拟扬声器的数量与所述声源数量确定所述当前帧的初始虚拟扬声器的编码效率。
18.根据权利要求12所述的装置，其特征在于，所述编码效率获取模块根据所述三维音频信号的当前帧获取所述当前帧的初始虚拟扬声器的编码效率时，具体用于：
根据所述三维音频信号的当前帧确定声源数量；
根据所述当前帧的初始虚拟扬声器确定所述当前帧的虚拟扬声器信号；
根据所述当前帧的虚拟扬声器信号的数量与所述三维音频信号的声源数量确定所述当前帧的初始虚拟扬声器的编码效率。
19.根据权利要求12至18中任一项所述的装置，其特征在于，所述预设条件包括所述当前帧的初始虚拟扬声器的编码效率小于第一阈值。
20.根据权利要求19所述的装置，其特征在于，所述虚拟扬声器重选模块从所述候选虚拟扬声器集合中确定所述当前帧的更新虚拟扬声器时，具体用于：
若所述当前帧的初始虚拟扬声器的编码效率小于第二阈值，将所述候选虚拟扬声器集合中的预设虚拟扬声器作为所述当前帧的更新虚拟扬声器，所述第二阈值小于所述第一阈值；
或，若所述当前帧的初始虚拟扬声器的编码效率小于第一阈值，且大于第二阈值，将在先帧的虚拟扬声器作为所述当前帧的更新虚拟扬声器，所述在先帧的虚拟扬声器为对所述三维音频信号的在先帧进行编码所使用的虚拟扬声器。
21.根据权利要求20所述的装置，其特征在于，所述虚拟扬声器重选模块还用于：
根据所述当前帧的初始虚拟扬声器的编码效率和所述在先帧的虚拟扬声器的编码效率确定所述当前帧的初始虚拟扬声器的调整后编码效率；
若所述当前帧的初始虚拟扬声器的编码效率大于所述当前帧的初始虚拟扬声器的调整后编码效率，将所述当前帧的初始虚拟扬声器作为所述当前帧的后续帧的虚拟扬声器。
22.根据权利要求12至21中任一项所述的装置，其特征在于，所述三维音频信号为高阶立体混响HOA信号。
23.一种编码器，其特征在于，所述编码器包括至少一个处理器和存储器，其中，所述存储器用于存储计算机程序，使得所述计算机程序被所述至少一个处理器执行时实现如权利要求1至11中任一项所述的三维音频信号编码方法。
24.一种系统，其特征在于，所述系统包括如权利要求23所述的编码器，以及解码器，所述编码器用于执行上述权利要求1至11中任一项所述的方法的操作步骤，所述解码器用于解码所述编码器生成的码流。
25.一种计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至11中任一项所述的三维音频信号编码方法。
26.一种计算机可读存储介质，其特征在于，包括计算机软件指令；当计算机软件指令在编码器中运行时，使得所述编码器执行如权利要求1至11中任一项所述的三维音频信号编码方法。
27.一种计算机可读存储介质，其特征在于，包括如权利要求1至11中任一项所述的三维音频信号编码方法所获得的码流。
CN202110680341.8A 2021-06-18 2021-06-18 三维音频信号编码方法、装置、编码器和系统 Active CN115497485B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202110680341.8A CN115497485B (zh) 2021-06-18 2021-06-18 三维音频信号编码方法、装置、编码器和系统
KR1020247001338A KR20240021911A (ko) 2021-06-18 2022-05-31 3차원 오디오 신호를 인코딩하기 위한 방법 및 장치, 인코더 및 시스템
EP22824056.0A EP4354431A4 (en) 2021-06-18 2022-05-31 METHOD AND APPARATUS FOR ENCODING THREE-DIMENSIONAL AUDIO SIGNAL, ENCODER AND SYSTEM
PCT/CN2022/096476 WO2022262576A1 (zh) 2021-06-18 2022-05-31 三维音频信号编码方法、装置、编码器和系统
TW111121698A TWI844036B (zh) 2021-06-18 2022-06-10 三維音訊訊號編碼方法、裝置、編碼器、系統、電腦程式和電腦可讀儲存介質
US18/538,708 US20240119950A1 (en) 2021-06-18 2023-12-13 Method and apparatus for encoding three-dimensional audio signal, encoder, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110680341.8A CN115497485B (zh) 2021-06-18 2021-06-18 三维音频信号编码方法、装置、编码器和系统

Publications (2)

Publication Number Publication Date
CN115497485A true CN115497485A (zh) 2022-12-20
CN115497485B CN115497485B (zh) 2024-10-18

Family

ID=84464718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110680341.8A Active CN115497485B (zh) 2021-06-18 2021-06-18 三维音频信号编码方法、装置、编码器和系统

Country Status (6)

Country Link
US (1) US20240119950A1 (zh)
EP (1) EP4354431A4 (zh)
KR (1) KR20240021911A (zh)
CN (1) CN115497485B (zh)
TW (1) TWI844036B (zh)
WO (1) WO2022262576A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253472B (zh) * 2023-11-16 2024-01-26 上海交通大学宁波人工智能研究院 一种基于生成式深度神经网络的多区域声场重建控制方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1753577A (zh) * 2004-09-21 2006-03-29 三星电子株式会社 再现双声道虚拟声音的方法、设备和计算机可读介质
US20140219455A1 (en) * 2013-02-07 2014-08-07 Qualcomm Incorporated Mapping virtual speakers to physical speakers
US20140350944A1 (en) * 2011-03-16 2014-11-27 Dts, Inc. Encoding and reproduction of three dimensional audio soundtracks
CN104871566A (zh) * 2012-11-28 2015-08-26 高通股份有限公司 协作式声音系统
CN107770713A (zh) * 2016-08-16 2018-03-06 福特全球技术公司 用于多通道车载音频校正的单通道采样
CN109300480A (zh) * 2017-07-25 2019-02-01 华为技术有限公司 立体声信号的编解码方法和编解码装置
CN109427338A (zh) * 2017-08-23 2019-03-05 华为技术有限公司 立体声信号的编码方法和编码装置
CN109427337A (zh) * 2017-08-23 2019-03-05 华为技术有限公司 立体声信号编码时重建信号的方法和装置
CN109804645A (zh) * 2016-10-31 2019-05-24 谷歌有限责任公司 基于投影的音频代码化
US20200168235A1 (en) * 2016-09-30 2020-05-28 Coronal Encoding S.A.S. Method for conversion, stereophonic encoding, decoding and transcoding of a three-dimensional audio signal
CN112233682A (zh) * 2019-06-29 2021-01-15 华为技术有限公司 一种立体声编码方法、立体声解码方法和装置
CN112470220A (zh) * 2018-05-30 2021-03-09 弗劳恩霍夫应用研究促进协会 音频相似性评估器、音频编码器、方法和计算机程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140355769A1 (en) * 2013-05-29 2014-12-04 Qualcomm Incorporated Energy preservation for decomposed representations of a sound field
US9922656B2 (en) * 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
CN106471822B (zh) * 2014-06-27 2019-10-25 杜比国际公司 针对hoa数据帧表示的压缩确定表示非差分增益值所需的最小整数比特数的设备
KR102606212B1 (ko) * 2014-06-27 2023-11-29 돌비 인터네셔널 에이비 Hoa 데이터 프레임 표현의 데이터 프레임들 중 특정 데이터 프레임들의 채널 신호들과 연관된 비차분 이득 값들을 포함하는 코딩된 hoa 데이터 프레임 표현
US11395083B2 (en) * 2018-02-01 2022-07-19 Qualcomm Incorporated Scalable unified audio renderer
US10672405B2 (en) * 2018-05-07 2020-06-02 Google Llc Objective quality metrics for ambisonic spatial audio
JP7468359B2 (ja) * 2018-11-20 2024-04-16 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
CN109448741B (zh) * 2018-11-22 2021-05-11 广州广晟数码技术有限公司 一种3d音频编码、解码方法及装置
EP3706119A1 (fr) * 2019-03-05 2020-09-09 Orange Codage audio spatialisé avec interpolation et quantification de rotations
CN112468931B (zh) * 2020-11-02 2022-06-14 武汉大学 一种基于球谐选择的声场重建优化方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1753577A (zh) * 2004-09-21 2006-03-29 三星电子株式会社 再现双声道虚拟声音的方法、设备和计算机可读介质
US20140350944A1 (en) * 2011-03-16 2014-11-27 Dts, Inc. Encoding and reproduction of three dimensional audio soundtracks
CN104871566A (zh) * 2012-11-28 2015-08-26 高通股份有限公司 协作式声音系统
US20140219455A1 (en) * 2013-02-07 2014-08-07 Qualcomm Incorporated Mapping virtual speakers to physical speakers
CN107770713A (zh) * 2016-08-16 2018-03-06 福特全球技术公司 用于多通道车载音频校正的单通道采样
US20200168235A1 (en) * 2016-09-30 2020-05-28 Coronal Encoding S.A.S. Method for conversion, stereophonic encoding, decoding and transcoding of a three-dimensional audio signal
CN109804645A (zh) * 2016-10-31 2019-05-24 谷歌有限责任公司 基于投影的音频代码化
CN109300480A (zh) * 2017-07-25 2019-02-01 华为技术有限公司 立体声信号的编解码方法和编解码装置
CN109427338A (zh) * 2017-08-23 2019-03-05 华为技术有限公司 立体声信号的编码方法和编码装置
CN109427337A (zh) * 2017-08-23 2019-03-05 华为技术有限公司 立体声信号编码时重建信号的方法和装置
CN112470220A (zh) * 2018-05-30 2021-03-09 弗劳恩霍夫应用研究促进协会 音频相似性评估器、音频编码器、方法和计算机程序
CN112233682A (zh) * 2019-06-29 2021-01-15 华为技术有限公司 一种立体声编码方法、立体声解码方法和装置

Also Published As

Publication number Publication date
WO2022262576A1 (zh) 2022-12-22
EP4354431A4 (en) 2024-10-16
CN115497485B (zh) 2024-10-18
TW202305785A (zh) 2023-02-01
KR20240021911A (ko) 2024-02-19
EP4354431A1 (en) 2024-04-17
TWI844036B (zh) 2024-06-01
US20240119950A1 (en) 2024-04-11

Similar Documents

Publication Publication Date Title
CN104364842A (zh) 立体声音频信号编码器
US20230298600A1 (en) Audio encoding and decoding method and apparatus
US20240119950A1 (en) Method and apparatus for encoding three-dimensional audio signal, encoder, and system
US20240087580A1 (en) Three-dimensional audio signal coding method and apparatus, and encoder
US20230298601A1 (en) Audio encoding and decoding method and apparatus
CN115376529B (zh) 三维音频信号编码方法、装置和编码器
CN115346537A (zh) 一种音频编码、解码方法及装置
US20240079017A1 (en) Three-dimensional audio signal coding method and apparatus, and encoder
US20240087578A1 (en) Three-dimensional audio signal coding method and apparatus, and encoder
WO2022253187A1 (zh) 一种三维音频信号的处理方法和装置
WO2022257824A1 (zh) 一种三维音频信号的处理方法和装置
WO2024146408A1 (zh) 场景音频解码方法及电子设备
WO2024212895A1 (zh) 场景音频信号的解码方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant