CN113963703A - 一种音频编码的方法和编解码设备 - Google Patents

一种音频编码的方法和编解码设备 Download PDF

Info

Publication number
CN113963703A
CN113963703A CN202010632030.XA CN202010632030A CN113963703A CN 113963703 A CN113963703 A CN 113963703A CN 202010632030 A CN202010632030 A CN 202010632030A CN 113963703 A CN113963703 A CN 113963703A
Authority
CN
China
Prior art keywords
frequency
band signal
frequency band
current
frequency region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010632030.XA
Other languages
English (en)
Inventor
夏丙寅
李佳蔚
王喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010632030.XA priority Critical patent/CN113963703A/zh
Priority to EP21833418.3A priority patent/EP4170651A4/en
Priority to KR1020237002982A priority patent/KR20230027295A/ko
Priority to PCT/CN2021/104087 priority patent/WO2022002216A1/zh
Priority to BR112023000054A priority patent/BR112023000054A2/pt
Publication of CN113963703A publication Critical patent/CN113963703A/zh
Priority to US18/146,616 priority patent/US20230138871A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

本申请提供了一种音频编码方法和编码设备，可以降低编码冗余，提高编码效率。该方法包括：获取音频信号的当前帧，该音频信号的当前帧包括高频带信号和低频带信号；根据该高频带信号和该低频带信号进行第一编码，获得该当前帧的第一编码参数；根据该高频带信号进行第二编码，获得该当前帧的第二编码参数，该第二编码参数用于表示该高频带信号的音调成分的信息；根据该高频带信号的音调成分的信息对频带扩展后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱；根据该调整后的高频带信号的频谱进行第三编码，获得第三编码参数；对该第一编码参数、该第二编码参数和该第三编码参数进行码流复用，获得该当前帧的编码码流。

Description

一种音频编码的方法和编解码设备
技术领域
本申请涉及媒体领域，并且更具体的，涉及一种音频编码的方法和编解码设备。
背景技术
为了降低编码比特率，音频编解码器往往进一步利用不同频带信号间的相关性进行编码，其基本原理是利用低频带信号，通过频谱复制或者频带扩展等方法，对高频带信号进行编码，以便用较少的比特数对高频带信号进行编码，从而降低编码器的编码比特率。但真实的音频信号中，高频带的频谱中往往存在一些与低频带的频谱不相似的音调成分。由于编码比特数的限制，在对高频带信号中的音调成分信息进行编码时，如何确定需要进行编码的音调成分，高效地利用有限的编码比特数获得更好的编码效果成为影响编码质量的关键技术之一。
发明内容
本申请提供一种音频编码的方法和编解码设备，所述音频编码的方法在高频带信号编码包含频带扩展编码和音调成分编码的时候，可以利用有限的编码比特数，获得更优的编码效果。
第一方面，提供了一种音频编码的方法，包括：获取音频信号的当前帧，所述音频信号的当前帧包括高频带信号和低频带信号；根据所述高频带信号和所述低频带信号进行第一编码，以获得所述音频信号的当前帧的第一编码参数，所述第一编码包括频带扩展编码；根据所述高频带信号进行第二编码，以获得所述当前帧的第二编码参数，所述第二编码参数用于表示所述高频带信号的音调成分的信息；根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，所述频带扩展处理后的高频带信号频谱在所述频带扩展编码过程中获得；根据所述调整后的高频带信号的频谱进行第三编码，以获得第三编码参数；对所述第一编码参数、所述第二编码参数和所述第三编码参数进行码流复用，以获得所述音频信号的当前帧的编码码流。
因此，本申请实施例的音频编码方法，根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，获得所述当前频率区域的调整后的高频带信号的频谱，再对调整后的高频带信号的频谱进行第三编码，避免直接对频带扩展处理后的高频带信号频谱进行第三编码而造成的高频带信号的音调成分的编码冗余。
结合第一方面，在第一方面的某些实现方式中，所述音调成分的信息包括以下参数中的一个或多个：音调成分的标志信息、音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息。
结合第一方面，在第一方面的某些实现方式中，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：根据所述当前频率区域的音调成分的数量信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
因此，本申请实施例的音频编码方法，根据所述高频带信号的音调成分的数量信息对频带扩展处理后的高频带信号频谱进行调整，获得所述当前频率区域的调整后的高频带信号的频谱，再对调整后的高频带信号的频谱进行第三编码，避免直接对频带扩展处理后的高频带信号频谱进行第三编码而造成的高频带信号的音调成分的编码冗余。
结合第一方面，在第一方面的某些实现方式中，所述根据所述当前频率区域的音调成分的数量信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，包括：若所述当前频率区域的音调成分的数量信息满足第一预设条件，则对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
结合第一方面，在第一方面的某些实现方式中，所述第一预设条件为所述当前频率区域的音调成分的数量大于或等于第一阈值。
结合第一方面，在第一方面的某些实现方式中，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：根据所述当前频率区域的音调成分标志信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，所述音调成分标志信息用于标志所述当前频率区域是否存在音调成分。
因此，本申请实施例的音频编码方法，根据所述高频带信号的音调成分的标志信息对频带扩展处理后的高频带信号频谱进行调整，获得所述当前频率区域的调整后的高频带信号的频谱，再对调整后的高频带信号的频谱进行第三编码，避免直接对频带扩展处理后的高频带信号频谱进行第三编码而造成的高频带信号的音调成分的编码冗余。
结合第一方面，在第一方面的某些实现方式中，所述根据所述当前频率区域的音调成分标志信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，包括：若所述当前频率区域的音调成分标志信息的值为第一预设值，则对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，其中，所述当前频率区域的音调成分标志信息的值为第一预设值表示所述当前频率区域存在音调成分。
结合第一方面，在第一方面的某些实现方式中，所述对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，包括：将所述当前频率区域的频带扩展处理后的高频带信号频谱值设置为第二预设值，以获得所述当前频率区域的调整后的高频带信号的频谱；或者，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行加权处理，以获得所述当前频率区域的调整后的高频带信号的频谱。
结合第一方面，在第一方面的某些实现方式中，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：根据所述当前频率区域的音调成分的位置信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
因此，本申请实施例的音频编码方法，根据所述高频带信号的音调成分的位置信息对频带扩展处理后的高频带信号频谱进行调整，获得所述当前频率区域的调整后的高频带信号的频谱，再对调整后的高频带信号的频谱进行第三编码，避免直接对频带扩展处理后的高频带信号频谱进行第三编码而造成的高频带信号的音调成分的编码冗余。
结合第一方面，在第一方面的某些实现方式中，所述当前频率区域包括至少一个子带，所述至少一个子带包括当前子带，所述根据所述当前频率区域的音调成分的位置信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，包括：若所述当前频率区域的音调成分的位置信息满足第二预设条件，则对所述当前子带的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前子带的调整后的高频带信号的频谱。
此时，根据所述高频带信号的音调成分的位置信息对频带扩展处理后的高频带信号频谱进行调整，可以实现只在音调成分对应的当前子带进行调整，避免对高频带其他子带进行调整，减少对高频带其他子带的影响，可以实现精细化调整，节省了编解码设备的计算资源。
结合第一方面，在第一方面的某些实现方式中，所述当前频率区域的音调成分的位置信息包括当前频率区域中包括音调成分的子带的序号，所述第二预设条件为所述包括音调成分的子带的序号包括所述当前子带的序号。
结合第一方面，在第一方面的某些实现方式中，所述对所述当前子带的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前子带的调整后的高频带信号的频谱，包括：
将所述当前子带的频带扩展处理后的高频带信号频谱值设置为第二预设值，以获得所述当前子带的调整后的高频带信号的频谱；或者，对所述当前子带的频带扩展处理后的高频带信号频谱进行加权处理，以获得所述当前子带的调整后的高频带信号的频谱。
结合第一方面，在第一方面的某些实现方式中，在所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱之前，所述方法还包括：根据所述当前帧的编码速率，确定起始频率区域，所述起始频率区域为需要判断是否对所述频带扩展处理后的高频带信号频谱进行调整的频率范围内序号最小的频率区域；所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：从所述起始频率区域开始，根据所述高频带信号的音调成分的信息，对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱。
结合第一方面，在第一方面的某些实现方式中，所述根据所述当前帧的编码速率，确定起始频率区域，包括：若所述当前帧的编码速率满足第三预设条件，则所述起始频率区域为第一起始频率区域；或，若所述当前帧的编码速率不满足第三预设条件，则所述起始频率区域为第二起始频率区域，所述第一起始频率区域与所述第二起始频率区域对应的频率范围不相同。
结合第一方面，在第一方面的某些实现方式中，在所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱之前，所述方法还包括：根据所述当前帧的编码速率，确定第一频率区域范围，所述第一频率区域范围为需要判断是否对所述频带扩展处理后的高频带信号频谱进行调整的频率区域的范围；所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：在所述第一频率区域范围内，根据所述高频带信号的音调成分的信息，对所述频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱。
结合第一方面，在第一方面的某些实现方式中，所述根据所述当前帧的编码速率，确定第一频率区域范围，包括：若所述当前帧的编码速率满足第三预设条件，则所述第一频率区域范围为第一范围；或，若所述当前帧的编码速率不满足第三预设条件，则所述第一频率区域范围为第二范围，所述第一范围与所述第二范围对应的频率范围不完全相同。
结合第一方面，在第一方面的某些实现方式中，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱之前，所述方法还包括：根据当前频率区域的频带扩展处理后的高频带信号频谱，确定当前频率区域是否属于第一频率区域范围，所述第一频率区域范围为需要判断是否对所述频带扩展处理后的高频带信号频谱进行调整的频率区域的范围；若当前频率区域属于所述第一频率区域范围，所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：根据所述高频带信号的音调成分的信息，对所述当前频率区域的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
结合第一方面，在第一方面的某些实现方式中，若当前频率区域的频带扩展处理后的高频带信号频谱中，频谱值的绝对值大于第二阈值的频点数量小于第三阈值，则当前频率区域属于第一频率区域范围。
因此，在对频带扩展处理后的高频带信号频谱进行调整之前，根据所述当前帧的编码速率或所述当前帧的频带扩展处理后的频谱，确定所述当前帧需要判断是否进行频谱调整的频率区域的范围，具有更高的编码效率。
第二方面，提供了一种编解码设备，包括：获取单元，用于获取音频信号的当前帧，所述音频信号的当前帧包括高频带信号和低频带信号；处理单元，用于根据所述高频带信号和所述低频带信号进行第一编码，以获得所述音频信号的当前帧的第一编码参数，所述第一编码包括频带扩展编码；所述处理单元还用于根据所述高频带信号进行第二编码，以获得所述当前帧的第二编码参数，所述第二编码参数用于表示所述高频带信号的音调成分的信息；所述处理单元还用于根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，所述频带扩展处理后的高频带信号频谱在所述频带扩展编码过程中获得；所述处理单元还用于根据所述调整后的高频带信号的频谱进行第三编码，以获得第三编码参数；所述处理单元还用于对所述第一编码参数、所述第二编码参数和所述第三编码参数进行码流复用，以获得所述音频信号的当前帧的编码码流。
结合第二方面，在第二方面的某些实现方式中，所述音调成分的信息包括以下参数中的一个或多个：音调成分的标志信息、音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息。
结合第二方面，在第二方面的某些实现方式中，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；所述处理单元具体用于：根据所述当前频率区域的音调成分的数量信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
结合第二方面，在第二方面的某些实现方式中，所述处理单元具体用于：若所述当前频率区域的音调成分的数量信息满足第一预设条件，则对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
结合第二方面，在第二方面的某些实现方式中，所述第一预设条件为所述当前频率区域的音调成分的数量大于或等于第一阈值。
结合第二方面，在第二方面的某些实现方式中，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；所述处理单元具体用于：根据所述当前频率区域的音调成分标志信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，所述音调成分标志信息用于标志所述当前频率区域是否存在音调成分。
结合第二方面，在第二方面的某些实现方式中，所述处理单元具体用于：若所述当前频率区域的音调成分标志信息的值为第一预设值，则对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，其中，所述当前频率区域的音调成分标志信息的值为第一预设值表示所述当前频率区域存在音调成分。
结合第二方面，在第二方面的某些实现方式中，所述处理单元具体用于：将所述当前频率区域的频带扩展处理后的高频带信号频谱值设置为第二预设值，以获得所述当前频率区域的调整后的高频带信号的频谱；或者，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行加权处理，以获得所述当前频率区域的调整后的高频带信号的频谱。
结合第二方面，在第二方面的某些实现方式中，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；所述处理单元具体用于：
根据所述当前频率区域的音调成分的位置信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
结合第二方面，在第二方面的某些实现方式中，所述当前频率区域包括至少一个子带，所述至少一个子带包括当前子带，所述处理单元具体用于：若所述当前频率区域的音调成分的位置信息满足第二预设条件，则对所述当前子带的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前子带的调整后的高频带信号的频谱。
结合第二方面，在第二方面的某些实现方式中，所述当前频率区域的音调成分的位置信息包括当前频率区域中包括的音调成分的子带的序号，所述第二预设条件为所述包括音调成分的子带的序号包括所述当前子带的序号。
结合第二方面，在第二方面的某些实现方式中，所述处理单元具体用于：将所述当前子带的频带扩展处理后的高频带信号频谱值设置为第二预设值，以获得所述当前子带的调整后的高频带信号的频谱；或者，对所述当前子带的频带扩展处理后的高频带信号频谱进行加权处理，以获得所述当前子带的调整后的高频带信号的频谱。
结合第二方面，在第二方面的某些实现方式中，所述处理单元还用于：在所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱之前，根据所述当前帧的编码速率，确定起始频率区域，所述起始频率区域为需要判断是否对所述频带扩展处理后的高频带信号频谱进行调整的频率范围内序号最小的频率区域；所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：从所述起始频率区域开始，根据所述高频带信号的音调成分的信息，对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱。
结合第二方面，在第二方面的某些实现方式中，所述处理单元具体用于：若所述当前帧的编码速率满足第三预设条件，则所述起始频率区域为第一起始频率区域；或，若所述当前帧的编码速率不满足第三预设条件，则所述起始频率区域为第二起始频率区域，所述第一起始频率区域与所述第二起始频率区域对应的频率范围不相同。
结合第二方面，在第二方面的某些实现方式中，所述处理单元还用于：在所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱之前，根据所述当前帧的编码速率，确定第一频率区域范围，所述第一频率区域范围为需要判断是否对所述频带扩展处理后的高频带信号频谱进行调整的频率区域的范围；所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：在所述第一频率区域范围内，根据所述高频带信号的音调成分的信息，对所述频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱。
结合第二方面，在第二方面的某些实现方式中，所述处理单元具体用于：若所述当前帧的编码速率满足第三预设条件，则所述第一频率区域范围为第一范围；或，若所述当前帧的编码速率不满足第三预设条件，则所述第一频率区域范围为第二范围，所述第一范围与所述第二范围对应的频率范围不完全相同。
结合第二方面，在第二方面的某些实现方式中，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；所述处理单元还用于：
在所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱之前，根据当前频率区域的频带扩展处理后的高频带信号频谱，确定当前频率区域是否属于第一频率区域范围，所述第一频率区域范围为需要判断是否对所述频带扩展处理后的高频带信号频谱进行调整的频率区域的范围；若当前频率区域属于所述第一频率区域范围，所述处理单元还用于：根据所述高频带信号的音调成分的信息，对所述当前频率区域的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
结合第二方面，在第二方面的某些实现方式中，所述处理单元具体用于：若当前频率区域的频带扩展处理后的高频带信号频谱中，频谱值的绝对值大于第二阈值的频点数量小于第三阈值，则当前频率区域属于第一频率区域范围。
第三方面，提供了一种通信装置，包括处理器，所述处理器与存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述装置执行上述第一方面或第一方面的任意可能的实现方式中的方法。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被运行时，实现上述第一方面或第一方面的任意可能的实现方式中的方法，。
第五方面，提供了一种芯片，其特征在于，包括处理器和接口；所述处理器用于读取指令以执行上述第一方面或第一方面的任意可能的实现方式中的方法。
可选地，所述芯片还可以包括存储器，所述存储器中存储有指令，处理器用于执行存储器中存储的指令或源于其他的指令。
第六方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有根据如上述第一方面或第一方面的任意可能的实现方式中的方法获得的编码码流。
附图说明
图1是本申请实施例的一种应用场景的示意图；
图2是本申请实施例的一种应用场景的示意图；
图3是本申请实施例的一种应用场景的示意图；
图4是本申请实施例的一种应用场景的示意图；
图5是本申请实施例的一种应用场景的示意图；
图6是本申请实施例的一种应用场景的示意图；
图7是本申请实施例的一种应用场景的示意图；
图8是本申请实施例的一种音频处理的方法的示意性流程图；
图9是本申请实施例的一种获取当前频率区域的第二编码参数的方法的示意性流程图；
图10是本申请实施例的一种音频处理的方法的示意性流程图；
图11示出了本申请实施例的编解码装置的示意性框图；
图12为本申请提供的一种终端设备的结构示意图；
图13为本申请实施例提供的一种接入网设备的结构示意图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
本申请实施例可以应用于终端设备、无线接入网设备、核心网设备的通信模块中的立体声编解码器中。
下面对本申请实施例的一种应用场景进行介绍，图1示出了本申请实施例的一种应用场景100的示意图。图1所示的是本申请实施例在终端设备侧应用的系统架构示意图。如图1所示，图1中包括第一终端设备110、第二终端设备120、无线或者有线网络通信设备130和无线或者有线网络通信设备140。其中，所述第一终端设备110和所述第二终端设备120可以为发送端设备，也可以为接收端设备。先以所述第一终端设备110为发送端设备，所述第二终端设备120为接收端设备为例进行说明，在音频通信中第一终端设备110中的音频采集模块用于采集音频，立体声编码器将采集到的立体声信号进行立体声编码，信道编码模块进行信道编码，获得码流，然后通过发送端侧的所述无线或者有线网络通信设备130进行在数字信道中传输信号。接收端侧的所述无线或者有线网络通信设备140通过数字信道获取所述第一终端设备110发送的信号，并将所述信号传送给所述第二终端设备120，所述第二终端设备120根据接收到的信号，在信道解码模块进行信道解码，再经过立体声解码器解码出立体声信号，然后根据该解码出的立体声信号在音频回放模块进音频回放。应理解，当所述第二终端设备120为发送端设备，所述第一终端设备110为接收端设备时可以相应参考所述第一终端设备110为发送端设备，所述第二终端设备120为接收端设备进行理解，此处不再赘述。
应理解，所述无线或者有线网络通信设备130和所述无线或者有线网络通信设备140也可以是核心网设备。
图2示出了本申请实施例的另一种应用场景200的示意图。图2所示的是本申请实施例在无线接入网设备或者核心网设备转码应用的系统架构示意图。如图2所示，图2中的无线接入网设备或者核心网设备包括信道解码模块、其他音频解码器、立体声编码器和信道编码模块。其中，转码时需要进行相应的立体声编解码处理。无线接入网设备或者核心网设备在信道解码模块对接收到的信号进行信道解码，然后通过其他音频解码器对音频码流解码，得到音频码流，立体声编码器对音频码流重新编码，然后再进行信道编码进而传输音频信号。
图3示出了本申请实施例的另一种应用场景300的示意图。图3所示的是本申请实施例在无线接入网设备或者核心网设备转码应用的系统架构示意图。如图3所示，图3中的无线接入网设备或者核心网设备包括信道解码模块、立体声解码器、其他音频编码器和信道编码模块。其中，转码时需要进行相应的立体声编解码处理。无线接入网设备或者核心网设备在信道解码模块对接收到的信号进行信道解码，然后通过立体声解码器对音频码流解码，得到音频码流，其他音频编码器对音频码流重新编码，然后再进行信道编码进而传输音频信号。
立体声编解码处理可以是多声道编解码器中的一部分。例如，对采集到的多声道信号进行多声道编码可以是将采集到的多声道信号经过下混处理后得到立体声信号，对得到的立体声信号进行编码；解码端根据立体声信号解码码流，得到立体声信号，对立体声信号经过上混处理后恢复出多声道信号。因此，本申请实施例也可应用于终端设备、无线接入网设备、核心网设备的通信模块中的多声道编解码器。
图4示出了本申请实施例的一种应用场景400的示意图。图4所示的是本申请实施例在终端设备侧应用的系统架构示意图。如图4所示，图4中包括第一终端设备410、第二终端设备420、无线或者有线网络通信设备430和无线或者有线网络通信设备440。其中，所述第一终端设备410和所述第二终端设备420可以为发送端设备，也可以为接收端设备。先以所述第一终端设备410为发送端设备，所述第二终端设备420为接收端设备为例进行说明，在音频通信中第一终端设备410中的音频采集模块用于采集音频，多声道编码器将采集到的多声道信号进行多声道编码，信道编码模块进行信道编码，获得码流，然后通过发送端侧的所述无线或者有线网络通信设备430进行在数字信道中传输信号。接收端侧的所述无线或者有线网络通信设备440通过数字信道获取所述第一终端设备410发送的信号，并将所述信号传送给所述第二终端设备420，所述第二终端设备420根据接收到的信号，在信道解码模块进行信道解码，再经过多声道解码器解码出多声道信号，然后根据该解码出的多声道信号在音频回放模块进音频回放。应理解，当所述第二终端设备420为发送端设备，所述第一终端设备410为接收端设备时可以相应参考所述第一终端设备410为发送端设备，所述第二终端设备420为接收端设备进行理解，此处不再赘述。
应理解，所述无线或者有线网络通信设备430和所述无线或者有线网络通信设备440也可以是核心网设备。
图5示出了本申请实施例的另一种应用场景500的示意图。图5所示的是本申请实施例在无线接入网设备或者核心网设备转码应用的系统架构示意图。如图5所示，图5中的无线接入网设备或者核心网设备包括信道解码模块、其他音频解码器、多声道编码器和信道编码模块。其中，转码时需要进行相应的多声道编解码处理。无线接入网设备或者核心网设备在信道解码模块对接收到的信号进行信道解码，然后通过其他音频解码器对音频码流解码，得到音频码流，多声道编码器对音频码流重新编码，然后再进行信道编码进而传输音频信号。
图6示出了本申请实施例的另一种应用场景600的示意图。图6所示的是本申请实施例在无线接入网设备或者核心网设备转码应用的系统架构示意图。如图6所示，图6中的无线接入网设备或者核心网设备包括信道解码模块、多声道解码器、其他音频编码器和信道编码模块。其中，转码时需要进行相应的多声道编解码处理。无线接入网设备或者核心网设备在信道解码模块对接收到的信号进行信道解码，然后通过多声道解码器对音频码流解码，得到音频码流，其他音频编码器对音频码流重新编码，然后再进行信道编码进而传输音频信号。
本申请实施例还可以适用于虚拟现实(Virtual Reality，VR)串流streaming服务中的音频编码模块(Audio Encoding)和音频解码模块(Audio Decoding)。如下图7所示中虚框部分所示，图7示出了本申请实施例的另一种应用场景700的示意图。端到端对音频信号的处理流程为：发送端对音频信号和视频信号经过采集模块(Acquisition)处理后，分成音频信号和视频信号，音频信号进行预处理操作(Audio Preprocessing)，预处理操作包括滤除掉音频信号中的低频部分，通常是以20Hz或者50Hz为分界点，提取信号中的方位信息，之后进行音频编码处理(Audio encoding)；视频信号经过视觉缝合以及投影和映射，之后进行视频编码和图像编码，将音频码流、视频码流和图像码流打包(文件File/段Segment封装encapsulation)之后发送(Delivery)到解码端，解码端首先进行解包(File/Segment解封装decapsulation)，之后分别进行音频解码(Audio decoding)、视频解码和图像解码，对解码后的音频信号进行音频双耳渲染(Audio rendering)处理，渲染处理后的信号映射到收听者耳机(headphones)上，可以为独立的耳机也可以是HTC VIVE等眼镜设备上的耳机，对解码后的视频信号和图像信号进行视频双耳渲染(video rendering)处理，渲染处理后的信号映射到显示器(display)上。
本申请实施例中的终端设备也可以称为：用户设备(user equipment，UE)、移动台(mobile station，MS)、移动终端(mobile terminal，MT)、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置等。
终端设备可以是无线终端也可以是有线终端，无线终端可以是指向用户提供语音和/或其他业务数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。无线终端可以经无线接入网(Radio Access Network，RAN)与一个或多个核心网进行通信，无线终端可以是移动终端，如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据。例如，个人通信业务(Personal CommunicationService，PCS)电话、无绳电话、会话发起协议(Session Initiation Protocol，SIP)话机、无线本地环路(Wireless Local Loop，WLL)站、个人数字助理(Personal DigitalAssistant，PDA)等设备。无线终端也可以称为系统、订户单元(Subscriber Unit)、订户站(Subscriber Station)，移动站(Mobile Station)、移动台(Mobile)、远程站(RemoteStation)、远程终端(Remote Terminal)、接入终端(Access Terminal)、用户终端(UserTerminal)、用户代理(User Agent)、用户设备(User Device or User Equipment)，移动互联网设备(mobile internet device，MID)、可穿戴设备，虚拟现实(virtual reality，VR)设备、增强现实(augmented reality，AR)设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、车载设备、可穿戴设备，5G网络中的终端设备或者未来演进的公用陆地移动通信网络(publicland mobile network，PLMN)中的终端设备等，本申请实施例对此并不限定。
作为示例而非限定，在本申请实施例中，可穿戴设备也可以称为穿戴式智能设备，是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，例如：智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。
此外，在本申请实施例中，终端设备还可以是物联网(internet of things，IoT)系统中的终端设备，IoT是未来信息技术发展的重要组成部分，其主要技术特点是将物品通过通信技术与网络连接，从而实现人机互连，物物互连的智能化网络。
而如上介绍的各种终端设备，如果位于车辆上(例如放置在车辆内或安装在车辆内)，都可以认为是车载终端设备，车载终端设备例如也称为车载单元(on-board unit，OBU)。
本申请实施例中，终端设备还可以包括中继(relay)。或者理解为，能够与基站进行数据通信的都可以看作终端设备。
本申请实施例中的接入网设备可以是用于与终端设备通信的设备，可以是基站，或者接入点，或者网络设备，或者可以是指接入网中在空中接口上通过一个或多个扇区与无线终端通信的设备。网络设备可用于将收到的空中帧与IP分组进行相互转换，作为无线终端与接入网的其余部分之间的路由器，其中接入网的其余部分可包括网际协议(IP)网络。网络设备还可协调对空中接口的属性管理。例如，接入网设备可以是全球移动通讯(Global System of Mobile communication，GSM)或码分多址(Code Division MultipleAccess，CDMA)中的基站(Base Transceiver Station，BTS)，也可以是宽带码分多址(Wideband Code Division Multiple Access，WCDMA)中的基站(NodeB，NB)，也可以是LTE系统中的演进型基站(evolved NodeB，eNB或eNodeB)，还可以是云无线接入网络(cloudradio access network，CRAN)场景下的无线控制器，或者该接入设备可以为中继站、接入点、车载设备、可穿戴设备以及5G网络中的接入设备或者未来演进的PLMN网络中的网络设备等，可以是WLAN中的接入点(access point，AP),可以是新型无线系统(new radio，NR)系统中的gNB本申请实施例并不限定。需要说明的是，对于5G系统，在一个基站下，可能存在一个或多个发送接收点(Transmission Reception Point，TRP)，所有的TRP属于同一个小区，其中，每个TRP和终端都可以使用本申请实施例所述的测量上报方法。在另一种场景下，网络设备还可以分为控制单元(Control Unit，CU)和数据单元(Data Unit，DU)，在一个CU下，可以存在多个DU，其中，每个DU和终端都可以使用本申请实施例所述的测量上报方法。CU-DU分离场景和多TRP场景的区别在于，TRP只是一个射频单元或一个天线设备，而DU中可以实现协议栈功能，例如DU中可以实现物理层功能。
另外，在本申请实施例中，接入网设备是接入网(radio access network，RAN)中的设备，或者说，是将终端设备接入到无线网络的RAN节点。例如，作为示例而非限定，作为接入网设备，可以列举：gNB、传输接收点(transmission reception point，TRP)、演进型节点B(evolved Node B，eNB)、无线网络控制器(radio network controller，RNC)、节点B(Node B，NB)、基站控制器(base station controller，BSC)、基站收发台(basetransceiver station，BTS)、家庭基站(例如，home evolved NodeB，或home Node B，HNB)、基带单元(base band unit，BBU)，或无线保真(wireless fidelity，Wifi)接入点(accesspoint，AP)等。
接入网设备为小区提供服务，终端设备通过该小区使用的传输资源(例如，频域资源，或者说，频谱资源)与接入网设备进行通信，该小区可以是接入网设备(例如基站)对应的小区，小区可以属于宏基站，也可以属于小小区(small cell)对应的基站，这里的小小区可以包括：城市小区(metro cell)、微小区(micro cell)、微微小区(pico cell)、毫微微小区(femto cell)等，这些小小区具有覆盖范围小、发射功率低的特点，适用于提供高速率的数据传输服务。
核心网设备可以是核心网网元，例如接入与移动性管理功能(Access andMobility Management Function，AMF)实体、会话管理功能(Session ManagementFunction，SMF)实体、用户面功能(User Plane Function，UPF)实体、策略控制功能(PolicyControl function，PCF)实体等。AMF实体提供核心网中的移动性管理功能，主要负责接入和移动性控制，包括注册管理(registration management，RM)和连接管理(connectionmanagement，CM)、接入鉴权和接入授权、可达性管理和移动性管理等。SMF实体是核心网中的会话管理功能，AMF实体在对终端设备进行移动性管理之外，还负责将从会话管理相关消息在终端设备和SMF实体之间的转发。PCF实体是核心网中的策略管理功能，负责制定对终端设备的移动性管理、会话管理、计费等相关的策略。UPF实体是核心网中的用户面功能，通过接口与外部数据网络进行数据传输，通过接口与接入网设备进行数据传输，主要提供用户面支持，包括PDU会话和数据网络的连接点、数据包路由和转发、数据包检测和用户面策略执行、为用户面处理QoS、下行数据包缓存和下行数据通知的触发等。
应理解，上述核心网的功能单元可以独立工作，也可以组合在一起实现某些控制功能，如：AMF、SMF和PCF可以组合在一起作为管理设备，用于完成终端设备的接入鉴权、安全加密、位置注册等接入控制和移动性管理功能，以及用户面传输路径的记录、释放和更改等会话管理功能，以及分析一些切片(slice)相关的数据(如拥塞)、终端设备相关的数据的功能，UPF作为网关设备主要完成用户面数据的路由转发等功能，如：负责对终端设备的数据报文过滤、数据传输/转发、速率控制、生成计费信息等。
本申请实施例的技术方案可以应用于各种通信系统，例如：全球移动通信(globalsystem for mobile communications，GSM)系统、码分多址(code division multipleaccess，CDMA)系统、宽带码分多址(wideband code division multiple access，WCDMA)系统、通用分组无线业务(general packet radio service，GPRS)、长期演进(long termevolution，LTE)系统、LTE频分双工(frequency division duplex，FDD)系统、LTE时分双工(time division duplex，TDD)、通用移动通信系统(universal mobiletelecommunication system，UMTS)、全球互联微波接入(worldwide interoperabilityfor microwave access，WiMAX)通信系统、第五代(5th generation，5G)系统或新无线(newradio，NR)，此外，还可以适用于使用后续的演进系统，如第六代6G通信系统、甚至更高级的第七代7G通信系统等。
随着社会的进步和技术的不断发展，用户对音频服务的需求越来越高。三维音频由于能够带给用户更好的浸入式体验，成为音频服务发展的新趋势。实现三维音频服务，需要进行压缩编码的原始音频信号格式可分为：基于声道的音频信号格式，基于对象的音频信号格式，基于场景的音频信号格式，以及任意三种音频信号格式的混合信号格式。无论是哪种格式，三维音频编解码器需要进行压缩编码的音频信号包含多路信号。通常情况下，三维音频编解码器利用通道间的相关性将多路信号下混，得到下混信号和多通道编码参数。一般而言，下混信号的通道数远小于输入信号的通道数，例如多通道信号下混为立体声信号，然后，利用核心编码器对下混信号进行编码。还可以选择将立体声信号进一步下混为单声道信号和立体声编码参数。编码下混信号和多通道编码参数所用的比特数远小于独立编码多通道输入信号。此外，核心编码器中，为了降低编码比特率，往往进一步利用不同频带信号间的相关性进行编码。
利用不同频带信号间的相关性进行编码，其基本原理是利用低频带信号，通过频谱复制或者频带扩展等方法，产生高频带信号。无论是3GPP最新的增强语音服务(EnhancedVoice Services，EVS)音频编解码器，还是动态图像专家组高效高级音频编码(MovingPicture Experts Group High-Efficiency Advanced Audio Coding，MPEG HE-AAC)、统一语音和音频编码(Unified Speech and Audio Coding，USAC)音频编解码器，都利用了不同频带信号间的相关性，采用频带扩展技术或者频谱复制技术，对高频带信号进行编码，以便用较少的比特数对高频带信号进行编码，从而降低编码器的编码比特率。但真实的音频信号中，高频带的频谱中往往存在一些与低频带的频谱不相似的音调成分。
由于编码比特数的限制，在对高频带信号中的音调成分信息进行编码的时候，如何确定需要进行编码的音调成分，高效地利用有限的编码比特数获得更好的编码效果成为影响编码质量的关键技术之一。
目前，现有技术中，普遍的做法是根据高频带信号功率谱进行峰值搜索，获得峰值数量信息、峰值位置信息以及峰值能量或幅度信息；对搜索得到的峰值按照峰值的能量或幅度大小进行排序，依次选择能量大的若干个峰值作为需要进行编码的音调成分。
当音频编码器中，已经对音频信号的高频带进行了包括频带扩展编码在内的第一编码，则在对高频带信号进行第二编码时，现有技术这种检测音调成分并进行编码的方法，没有考虑到第一编码方法中已经能够保留一部分音调成分并在第三编码中对其进行编码，在第二编码方法中可能会对这部分音调成分重复编码，造成编码比特数的浪费。类似的，在第三编码中，没有考虑到第二编码方法中已经能够编码的音调成分，在第三编码对频带扩展处理后的高频带信号频谱进行编码的过程中，可能会对第二编码中已经编码的音调成分重复编码，造成编码比特数的浪费。
因此，本申请提出了一种音频编码的方法，根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，再对调整后的高频带信号的频谱进行第三编码，避免直接对频带扩展处理后的频谱进行第三编码造成的高频带信号的音调成分的编码冗余。
下面结合图8详细说明本申请提供的一种音频处理的方法，图8是本申请实施例的一种音频处理的方法800的示意性流程图，该方法800可以应用在图1至图7所示的场景中，当然也可以应用在其他通信场景中，本申请实施例在此不作限制。
还应理解，在本申请实施例中，执行该方法的执行主体可以是终端设备、接入网设备和核心网设备。作为示例而非限定，执行该方法的执行主体也可以是应用于终端设备、接入网设备和核心网设备的芯片、芯片系统、或处理器等。其中，终端设备、接入网设备和核心网设备具备编解码功能，也可以称为编解码设备。
如图8所示，图8中示出的方法800可以包括S810至S860。下面结合图8详细说明方法800中的各个步骤。
S810，获取音频信号的当前帧，所述音频信号的当前帧包括高频带信号和低频带信号。
应理解，所述音频信号的当前帧可以是音频信号中的任意一个帧，在所述音频信号的当前帧中可以包括高频带信号和低频带信号，其中，高频带信号和低频带信号的划分可以通过频带阈值来确定，大于或等于该频带阈值的信号为高频带信号，小于该频带阈值的信号为低频带信号。频带阈值可以是经验值，也可以根据传输带宽、编码组件和解码组件的数据处理能力来确定，此处不做限定。
高频带信号和低频带信号是相对的，例如低于某个频带阈值的信号为低频带信号，但是高于该频带阈值的信号为高频带信号(该频率对应的信号既可以划到低频带信号，也可以划到高频带信号)。该频带阈值根据当前帧的带宽不同会有不同。例如，在当前帧为0-8kHz的宽带信号时，该频带阈值可以为4kHz；在当前帧为0-16kHz的超宽带信号时，该频带阈值可以为8kHz。
S820，根据所述高频带信号和所述低频带信号进行第一编码，以获得所述音频信号的当前帧的第一编码参数，所述第一编码包括频带扩展编码。
在第一编码过程中，需要对所述音频信号的当前帧的高频带信号和低频带信号进行处理，提取多种参数，对提取出来的参数进行编码。同时，在第一编码过程中，需要进行频带扩展编码，确定所述高频带信号中的哪些信号可以通过采用频带扩展技术或者频谱复制技术，根据所述低频带信号对高频带信号进行编码。在频带扩展编码的过程中，可以同时获得频带扩展处理前的信号频谱、频带扩展处理后的信号频谱，以及所述频带扩展处理的频率范围。频带扩展处理后的信号频谱包括频带扩展处理前的信号频谱中无法利用频带扩展处理进行重建的频谱成分，或者包括频带扩展处理前的信号频谱中幅度较大的频谱成分。例如，所述音频信号的当前帧的频率范围为0-8kHz，其中，0-4kHz为低频带信号，4kHz-8kHz为高频带信号，根据信号间的相关性，4kHz-8kHz进行频带扩展编码，但是5kHz-6kHz信号频谱中幅度较大，无法利用频带扩展处理进行重建，不能进行频带扩展编码，需要在后续第三编码过程中进行编码，其余4kHz-5kHz和6kHz-8kHz可以进行频带扩展编码。
频带扩展处理的频率范围，可以是频带扩展处理的频点范围，例如智能间隙填充(Intelligent Gap Filling，IGF)处理的起始频点和截止频点。也可以用其他形式表征频带扩展处理的频率范围，例如起始频率值和截止频率值。
在编码的过程中，可以将高频带划分成K个频率区域(例如tile)，每一个频率区域内又划分为M个带(例如尺度因子带(Scale Factor Band，SFB))。频带扩展信息的确定，可以以频率区域为单位进行，也可以按照带进行。
第一编码参数可以包括频带扩展信息。例如，频带扩展编码可以包括IGF处理，频带扩展信息包括频带包络信息、频谱白化信息等。
第一编码参数具体还可以包括：时域噪声整形参数、频域噪声整形参数等。
S830，根据所述高频带信号进行第二编码，以获得所述当前帧的第二编码参数，所述第二编码参数用于表示所述高频带信号的音调成分的信息。
在第二编码过程中，可以对所述高频带信号的音调成分信息参数进行提取，然后对所述音调成分信息参数进行编码，获得所述当前帧的第二编码参数。
可选的，所述音调成分的信息包括以下参数中的至少一个或多个：音调成分的标志信息、音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息。第二编码可以包括音调成分编码。当前帧的第二编码参数可以包括音调成分的位置数量参数、以及所述音调成分的幅度参数或能量参数。
当前帧的高频带参数也可以包括音调成分的位置参数、数量参数、以及所述音调成分的幅度参数或能量参数。当前帧的高频带参数可以理解为当前帧的第二编码参数。
通常情况下，根据高频带信号获取当前帧的第二编码参数的过程，会按照高频带的频率区域划分和/或子带划分来进行。例如，高频带信号对应的高频带包括至少一个频率区域，一个所述频率区域包括至少一个子带。
需要获取高频带参数的频率区域数量可以是预先设定的，如高频带信号对应的高频带包括5个频率区域，预先设定需要在3个频率区域中获取高频带参数，该需要获取高频带参数的3个频率区域可以是5个频率区域中指定的3个频率区域，也可以是5个频率区域中任意3个频率区域；需要获取高频带参数的频率区域数量也可以是根据具体算法计算得到的，本申请实施例不做限定。下面以在一个频率区域中确定音调成分的位置数量参数以及所述音调成分的幅度参数为例进行进一步描述，如高频带信号对应的高频带包括5个频率区域，下面通过描述在频率区域1中确定音调成分的位置数量参数以及所述音调成分的幅度参数。
图9示出了一种获取当前频率区域的第二编码参数的方法900的示意性流程图，该方法900可以应用在图1至图7所示的场景中，当然也可以应用在其他通信场景中，本申请实施例在此不作限制。
还应理解，在本申请实施例中，执行该方法的执行主体可以是终端设备、接入网设备和核心网设备。作为示例而非限定，执行该方法的执行主体也可以是应用于终端设备、接入网设备和核心网设备的芯片、芯片系统、或处理器等。其中，终端设备、接入网设备和核心网设备具备编解码功能，也可以称为编解码设备。
如图9所示，图9中示出的方法900可以包括S910至S940。下面结合图9详细说明方法900中的各个步骤。
S910，根据所述当前频率区域的高频带信号进行峰值搜索，以获得所述当前频率区域的峰值信息，所述当前频率区域的峰值信息包括：所述当前频率区域的峰值数量信息、所述当前频率区域的峰值位置信息、所述当前频率区域的峰值能量信息或所述当前频率区域的峰值幅度信息。
具体地，可以根据当前频率区域的高频带信号，获取当前频率区域的高频带信号功率谱；根据当前频率区域的高频带信号功率谱，搜索功率谱的峰值，将功率谱中峰值的数量作为当前区域的峰值数量信息，将功率谱中峰值对应的频点序号作为当前区域的峰值位置信息，将功率谱中峰值的幅度或能量作为当前区域的峰值幅度信息或能量信息。
也可以根据当前频率区域的高频带信号，获取当前频率区域的当前频点的功率谱比值，当前频点的功率谱比值为当前频点的功率谱的值与当前频率区域的功率谱的平均值的比值；根据当前频点的功率谱比值在当前频率区域进行峰值搜索，以获取当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息。其中，峰值的幅度信息或峰值的能量信息包括：峰值的功率谱比值，峰值的功率谱比值为峰值对应频点的功率谱的值与当前频率区域的功率谱的平均值的比值。当然，也可以采用其他技术进行峰值搜索，获得所述当前区域的峰值数量信息、峰值位置信息以及峰值幅度信息或能量信息，本申请实施例对此不做限定。
在本申请的一个实施例中，可以将当前频率区域的峰值位置信息和峰值能量信息分别存储在peak_idx和peak_val数组中，将当前频率区域的峰值数量信息记作peak_cnt。
S920，对所述当前频率区域的峰值信息进行峰值筛选，以获得所述当前频率区域的候选音调成分的信息。
在获取到当前频率区域的峰值信息之后，针对当前频率区域的峰值信息进行峰值筛选，可以得到当前频率区域的候选音调成分的信息。
峰值筛选的具体方式可以是根据当前频率区域的频带扩展的频谱保留标志信息和当前频率区域的峰值数量信息、峰值位置信息以及峰值幅度信息或峰值能量信息，获得当前频率区域筛选后的峰值数量信息、峰值位置信息以及峰值幅度信息或峰值能量信息。
当前频率区域筛选后的峰值数量信息、峰值位置信息以及峰值幅度信息或峰值能量信息作为当前频率区域的候选音调成分的信息。其中，峰值幅度信息或峰值能量信息可以包括峰值的能量比，或者峰值的功率谱比值。候选音调成分的数量信息可以是峰值筛选后的峰值数量信息，候选音调成分的位置信息可以是峰值筛选后的峰值位置信息，候选音调成分的幅度信息可以是峰值筛选后的峰值幅度信息，候选音调成分的能量信息可以是峰值筛选后的峰值能量信息。
S930，对所述当前频率区域的候选音调成分的信息进行音调成分筛选，以获得所述当前频率区域的目标音调成分的信息。
例如，可以是对所述当前频率区域中子带序号相同的候选音调成分进行合并处理，以获得所述当前频率区域的合并处理后的候选音调成分的信息；根据所述当前频率区域的合并处理后的候选音调成分的信息获得所述当前频率区域的目标音调成分的信息。
又例如，根据所述当前频率区域的候选音调成分的信息和所述当前频率区域中可以编码的最大音调成分数量信息，获得所述当前频率区域的目标音调成分的信息。
再例如，根据所述当前帧的当前频率区域中的候选音调成分的位置信息获得所述当前帧的当前频率区域中的候选音调成分对应的子带序号；获取所述当前帧的前一帧的当前频率区域中的候选音调成分对应的子带序号；若所述当前帧的当前频率区域的第n个候选音调成分的位置信息和所述前一帧的当前频率区域的第n个候选音调成分的位置信息满足预设条件，且所述当前帧的当前频率区域的第n个候选音调成分对应的子带序号和所述前一帧的当前频率区域的第n个候选音调成分对应的子带序号不同，则对所述当前帧的当前频率区域的第n个候选音调成分的位置信息进行修正，以获得所述当前频率区域的目标音调成分的信息，所述第n个候选音调成分为所述当前频率区域中的任意一个候选音调成分。
也可以是上述多种例举方法的任意组合，本申请实施例对此不做限定。
S940，根据所述当前频率区域的目标音调成分的信息获得所述当前频率区域的第二编码参数。
上述内容具体描述一种获取当前频率区域的第二编码参数的方法，上述获取当前频率区域的第二编码参数的方法仅用于示例，本申请实施例对此不作限定。
S840，根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，所述频带扩展处理后的高频带信号频谱在所述频带扩展编码过程中获得。
所述根据所述高频带信号的音调成分的信息对所述频带扩展处理后的高频带信号频谱进行调整，可以是根据音调成分的标志信息、位置信息、数量信息、幅度信息或能量信息中的一种或多种对所述频带扩展处理后的高频带信号频谱进行调整，以获得调整后的频谱。
通常情况下，对所述频带扩展处理后的高频带信号频谱进行调整过程，会按照频率区域和/或子带划分来进行。例如，高频带信号对应的高频带包括至少一个频率区域，一个所述频率区域包括至少一个子带。
可选的，可以根据高频带信号的音调成分的数量信息对所述频带扩展处理后的高频带信号频谱进行调整。高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域。所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：根据所述当前频率区域的音调成分的数量信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
因此，本申请实施例的音频编码方法，根据所述高频带信号的音调成分的数量信息对频带扩展处理后的高频带信号频谱进行调整，获得所述当前频率区域的调整后的高频带信号的频谱，再对调整后的高频带信号的频谱进行第三编码，避免直接对频带扩展处理后的高频带信号频谱进行第三编码而造成的高频带信号的音调成分的编码冗余。
可选的，所述根据所述当前频率区域的音调成分的数量信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，包括：若所述当前频率区域的音调成分的数量信息满足第一预设条件，则对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
可选的，所述第一预设条件为所述当前频率区域的音调成分的数量大于或等于第一阈值，如第一阈值为5，即所述当前频率区域的音调成分的数量大于或等于5时，则对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整。可以理解的是，第一阈值的取值还可以是其他值，例如4或6等等，具体的取值可以根据经验或需要进行设置。
可选的，所述第一预设条件为所述当前频率区域的音调成分的数量处于第一区间，所述第一区间可以是一个数量范围，如第一区间为[3，5]，即所述当前频率区域的音调成分的数量大于或等于3且小于或等于5时，则对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整。
可选的，所述对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，包括：将当前频率区域的调整后的频谱值设置为第二预设值。例如，当第p个频率区域(tile)的音调成分的数量大于零的时候，将第p个频率区域的调整后的频谱值设置为零。将第p个频率区域的调整后的频谱值设置为零，从而将IGF保留的频谱成分去除(即频谱值设置为0)，以便在后续第三编码的过程中不再进行编码，避免直接对频带扩展处理后的频谱进行第三编码造成的高频带信号的音调成分的编码冗余。
具体而言，如所述音频信号的当前帧的频率范围为0-8kHz，其中，0-4kHz为低频带信号，4kHz-8kHz为高频带信号。在第一编码过程中，根据信号间的相关性，对高频带信号4kHz-8kHz进行频带扩展编码，但是5kHz-6kHz信号频谱中幅度较大，无法利用频带扩展处理进行重建，不能进行频带扩展编码，需要在后续第三编码过程中进行编码，其余4kHz-5kHz和6kHz-8kHz可以进行频带扩展编码。在第二编码过程中，检测到5kHz-6kHz中的音调成分信息，其中5kHz-6kHz的音调成分的数量大于零，可以将5kHz-6kHz的的调整后的频谱值设置为零，以便在后续第三编码的过程中不再进行编码，避免第二编码和第三编码对5kHz-6kHz的频谱重复编码，造成编码冗余。
将所述第p个频率区域的调整后的频谱值设置为零的伪代码实现如下：
Figure BDA0002569348140000171
其中，tone_cnt[p]为第p个tile的音调成分的数量信息，tile[p]为第p个tile的起始频点，tile[p+1]为第p+1个tile的起始频点，tile[p+1]-1为第p个tile的截止频点，sb为频点序号，mdctSpectrumAfterIGF为频带扩展处理后的频谱，也就是IGF处理后的频谱。
可选的，所述对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，包括：对所述当前频率区域的频带扩展处理后的高频带信号频谱进行加权处理，以获得所述当前频率区域的调整后的高频带信号的频谱。
加权处理可以是以预设的加权系数对当前频率区域内所有频点的频谱值进行加权，也可以是使用计算得到的加权系数对当前频率区域内所有频点的频谱之进行加权。计算加权系数的方式可以是线性的，也可以是非线性的。不同频点对应的加权系数可以相同，也可以不同。本申请实施例对具体的加权系数获取方法不做限定。
可选的，高频带信号的音调成分的信息还包括频率区域的音调成分标志信息，则可以根据频率区域的音调成分标志信息频带扩展处理后的高频带信号频谱进行调整。
可选的，高频带信号对应的高频带包括至少一个频率区域，至少一个频率区域包括当前频率区域。所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：根据所述当前频率区域的音调成分标志信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，所述音调成分标志信息用于标志所述当前频率区域是否存在音调成分。
可选的，所述音调成分标志信息是对所述当前频率区域的音调成分进行检测得到的。
可选的，若所述当前频率区域的音调成分标志信息的值为第一预设值，则对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，其中，所述当前频率区域的音调成分标志信息的值为第一预设值表示所述当前频率区域存在音调成分。例如，音调成分标志信息的取值可以为0或1，其中，第一预设值的取值也可以为0或1，即在一种实施方式中，当前频率区域的音调成分标志信息的取值为1时表示当前频率区域存在音调成分；或者，在另一种实施方式中，当前频率区域的音调成分标志信息的取值为0时表示当前频率区域存在音调成分。
可选的，所述对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，包括：将当前频率区域的调整后的频谱值设置为第二预设值，以获得所述当前频率区域的调整后的高频带信号的频谱；或者，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行加权处理，以获得所述当前频率区域的调整后的高频带信号的频谱。
例如，当前频率区域的音调成分标志信息的值为第二预设值1，则对当前频率区域的频带扩展处理后的高频带信号频谱进行加权处理。加权处理的方式可以为将当前频率区域的每个频点对应的频带扩展处理后的频谱值乘以预设的加权系数0.5，作为当前频率区域的调整后的频谱值。可以理解的是，第二预设值也可以设为其他的值。
可选的，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：根据所述当前频率区域的音调成分的位置信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
因此，本申请实施例的音频编码方法，根据所述高频带信号的音调成分的位置信息对频带扩展处理后的高频带信号频谱进行调整，获得所述当前频率区域的调整后的高频带信号的频谱，再对调整后的高频带信号的频谱进行第三编码，避免直接对频带扩展处理后的高频带信号频谱进行第三编码而造成的高频带信号的音调成分的编码冗余。
可选的，所述当前频率区域包括至少一个子带，所述至少一个子带包括当前子带，所述根据所述当前频率区域的音调成分的位置信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，包括：若所述当前频率区域的音调成分的位置信息满足第二预设条件，则对所述当前子带的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前子带的调整后的高频带信号的频谱。
此时，根据所述高频带信号的音调成分的位置信息对频带扩展处理后的高频带信号频谱进行调整，可以实现只在音调成分对应的当前子带进行调整，避免对高频带其他子带进行调整，减少对高频带其他子带的影响，可以实现精细化调整，节省了编解码设备的计算资源。
可选的，所述当前频率区域的音调成分的位置信息包括当前频率区域中包括音调成分的子带的序号，所述第二预设条件为所述包括音调成分的子带的子带序号包括所述当前子带的序号。
可选的，对当前子带的频带扩展处理后的高频带信号频谱进行调整，以获得当前子带的调整后的高频带信号频谱，包括：将当前子带的调整后的频谱值设置为第二预设值，以获得当前子带的调整后的高频带信号的频谱；或者，对当前子带的频带扩展处理后的高频带信号频谱进行加权处理，以获得当前子带的调整后的高频带信号的频谱。
具体而言，当前频率区域的音调成分的位置信息为当前频率区域的音调成分对应的频点序号。首先根据当前频率区域的音调成分对应的频点序号和当前频率区域的子带划分方式，确定当前频率区域的音调成分的子带序号。若音调成分的子带序号包括当前子带的序号，则将当前子带的调整后的频谱值设置为零。也就是，将当前频率区域的音调成分对应的子带的频带扩展处理后的频谱值调整为零。例如，在第二编码过程中，5000Hz-6000Hz的频率区域均分了5个子带，其中，5000Hz-5200Hz为子带1，5200Hz-5400Hz为子带2，5400Hz-5600Hz为子带3，5600Hz-5800Hz为子带4，5800Hz-6000Hz为子带5，检测到5kHz-6kHz频率区域中的5500Hz的音调成分信息，5500Hz属于子带3，可以将子带3的频谱值设置为零。
S850，根据所述调整后的高频带信号的频谱进行第三编码，以获得第三编码参数。
可选的，第三编码包括对调整后的频谱进行频谱系数量化和编码，例如对调整后的频谱的频谱系数进行标量量化/矢量量化以及算数编码或区间编码。
可选的，如果低频带频谱没有在第一编码时进行编码，在第三编码中还需要进行低频带频谱的编码。
S860，对所述第一编码参数、所述第二编码参数和所述第三编码参数进行码流复用，以获得所述音频信号的当前帧的编码码流。
因此，本申请实施例的音频编码方法，根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，获得所述当前频率区域的调整后的高频带信号的频谱，再对调整后的高频带信号的频谱进行第三编码，避免直接对频带扩展处理后的高频带信号频谱进行第三编码而造成的高频带信号的音调成分的编码冗余。
上述实施例具体描述了在编码时编解码设备根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，获得所述当前频率区域的调整后的高频带信号的频谱，再对调整后的高频带信号的频谱进行第三编码的过程。下面具体描述在解码时，编解码设备的处理流程。
图10示出了一种音频解码的方法1000的示意性流程图，该方法1000可以应用在图1至图7所示的场景中，当然也可以应用在其他通信场景中，本申请实施例在此不作限制。
还应理解，在本申请实施例中，执行该方法的执行主体可以是终端设备、接入网设备和核心网设备。作为示例而非限定，执行该方法的执行主体也可以是应用于终端设备、接入网设备和核心网设备的芯片、芯片系统、或处理器等。其中，终端设备、接入网设备和核心网设备具备编解码功能，也可以称为编解码设备。
如图10所示，图10中示出的方法1000可以包括S1010至S1040。下面结合图10详细说明方法1000中的各个步骤。
S1010，获取编码码流。
S1020，对所述编码码流进行码流解复用，以得到音频信号的当前帧的第一编码参数、所述音频信号的当前帧的第二编码参数和所述音频信号的当前帧的第三编码参数。
所述第一编码参数、所述第二编码参数和所述第三编码参数可以参考编码方法800，此处不再赘述。
S1030，根据所述第一编码参数和所述第三编码参数得到所述当前帧的第一高频带信号和所述当前帧的第一低频带信号。
其中，所述第一高频带信号可以包括：根据所述第一编码参数和第三编码参数直接解码得到的解码高频带信号，以及根据所述第一低频带信号进行频带扩展得到的扩展高频带信号中的至少一种。
S1040，根据所述第二编码参数得到所述当前帧的第二高频带信号，所述第二高频带信号包括重建音调信号。
第二编码参数包括高频带信号的音调成分信息。例如，当前帧的高频带参数包括音调成分的位置数量参数、以及所述音调成分的幅度参数或能量参数。又例如，当前帧的高频带参数包括音调成分的位置参数、数量参数、以及所述音调成分的幅度参数或能量参数。当前帧的高频带参数可以参考编码方法800，此处不再赘述。
与编码端处理流程方法类似，解码端处理流程中根据高频带参数获得当前帧的重建高频带信号的过程，也会按照高频带的频率区域划分和/或子带划分来进行。高频带信号对应的高频带包括至少一个频率区域，一个所述频率区域包括至少一个子带。需要确定的高频带参数的频率区域数量可以是预先给定的，也可以是从码流中获取的。
此处以在一个频率区域中根据音调成分的位置数量参数以及所述音调成分的幅度参数获得当前帧的重建高频带信号为例进行进一步描述。
具体而言，根据当前频率区域的音调成分的位置数量参数确定所述当前频率区域中音调成分的位置；根据所述当前频率区域的音调成分的幅度参数或能量参数确定所述音调成分的位置对应的幅度或能量；根据所述当前频率区域中音调成分的位置和所述音调成分的位置对应的幅度或能量获得所述重建高频带信号。
S1050，根据所述当前帧的第一低频带信号、第一高频带信号、第二高频带信号，得到所述当前帧的解码信号。
在本申请实施例中，在上述方法800中的步骤S840，根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱之前，还可以包括：根据当前帧的编码速率，确定所述当前帧需要判断是否对频带扩展处理后的高频带信号频谱进行调整的频率区域的范围。
应理解，在确定了所述当前帧需要判断是否进行频谱调整的频率区域的范围之后，还需要进行步骤S840，即在当前帧需要判断是否进行频谱调整的频率区域的范围内，根据所述高频带信号的音调成分的信息判断是否对对所述频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱。
具体而言，需要判断是否对频带扩展处理后的高频带信号频谱进行调整的频率区域还可以称作预选区域，在确定了预选区域后，根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱。在当前帧的预选区域中，需要根据所述预选区域的音调成分信息和上述所述预设值、预设条件等进一步判断，如果所述当前帧的预选区域中的音调成分信息满足所述预设值、预设条件，则对所述当前帧的预选区域进行频谱调整；如果所述当前帧的预选区域的音调成分信息不满足所述预设值、预设条件，则不对所述当前帧的预选区域进行频谱调整。
应理解，该步骤可以在方法800中的步骤S840之前的任何位置进行。
在一种实现方式中，所述根据当前帧的编码速率，确定所述当前帧的预选区域的范围包括：根据当前帧的编码速率，确定第一频率区域范围。第一频率区域范围为所述预选区域的范围。所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：在所述第一频率区域范围内，根据所述高频带信号的音调成分的信息，对所述频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱。
应理解，在编码时，不同帧的编码速率可能不一样，因此需要根据不同的编码速率确定各个编码速率对应的需要判断是否对频带扩展处理后的高频带信号频谱进行调整的频率区域的范围。
还应理解，所述当前帧的编码速率可以是当前帧的每个通道的平均编码速率。根据当前帧的总编码速率和通道数量，可以确定当前帧的每个通道的平均编码速率。
可选的，所述根据所述当前帧的编码速率，确定第一频率区域范围，包括：若所述当前帧的编码速率满足第三预设条件，则所述第一频率区域范围为第一范围，所述第一范围包括第一范围的起始频率区域和第一范围的截止频率区域；或，若所述当前帧的编码速率不满足第三预设条件，则所述第一频率区域范围为第二范围，所述第二范围包括第二范围的起始频率区域和第二范围的截止频率区域，所述第一范围与所述第二范围对应的频率范围不完全相同。其中，所述第一范围与所述第二范围对应的频率范围不完全相同表示所述第一范围与所述第二范围对应的频率范围可以有部分重叠，但不完全相同。
例如，假设当前帧的编码器总编码速率为bitrate_tot，通道数量为n_channels，则每个通道的平均编码速率为bitrate_ch＝bitrate_tot/n_channels。若平均编码速率大于24kb/s，第一频率区域范围为空，也就是所有频率区域都不需要对频带扩展处理后的高频带信号频谱进行调整。若平均编码速率小于或等于24kb/s，第一频率区域范围为第二个频率区域到第四个频率区域。
又例如，每个通道的平均编码速率为bitrate_ch。若平均编码速率大于24kb/s，第一频率区域范围为第四个频率区域，即所述第一范围为第四个频率区域。若平均编码速率小于或等于24kb/s，第一频率区域范围为从第二个频率区域到第四个频率区域，即所述第二范围为从第二个频率区域到第四个频率区域。
当然根据不同的编码速率确定各个速率对应的需要判断是否对频带扩展处理后的高频带信号频谱进行调整的频率区域的范围，还可以根据更多的预设条件，控制不同的编码速率下使用不同的频率区域范围。
例如，若当前帧的编码速率大于48kb/s，第一频率区域范围为空。也就是所有频率区域都不需要对频带扩展处理后的高频带信号频谱进行调整。当前帧的编码速率小于或等于48kb/s且大于24kb/s，第一频率区域范围为第四个频率区域，即所述第一范围为第四个频率区域，也就是只在第四个频率区域中根据高频带信号的音调成分信息，对频带扩展处理后的高频带信号频谱进行调整。当前帧的编码速率小于或等于24kb/s时，第一频率区域范围为第二个频率区域到第四个频率区域，即所述第二范围为从第二个频率区域到第四个频率区域。
在一种实现方式中，所述根据当前帧的编码速率，确定所述当前帧预选区域的范围包括：根据所述当前帧的编码速率，确定起始频率区域，所述起始频率区域为所述预选区域范围内序号最小的频率区域；所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：从所述起始频率区域开始，根据所述高频带信号的音调成分的信息，对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱。
可选的，所述根据所述当前帧的编码速率，确定起始频率区域，包括：若所述当前帧的编码速率满足第三预设条件，则所述起始频率区域为第一起始频率区域；或，若所述当前帧的编码速率不满足第三预设条件，则所述起始频率区域为第二起始频率区域，所述第一起始频率区域与所述第二起始频率区域对应的频率范围不相同。所述第一起始频率区域与所述第二起始频率区域对应的频率范围不相同表示所述所述第一起始频率区域对应的频率范围与所述第二起始频率区域对应的频率范围完全不相同。
例如，设编码器总速率为bitrate_tot，通道数量为n_channels，则每个通道的平均编码速率为bitrate_ch＝bitrate_tot/n_channels。若每个通道的平均编码速率大于24kb/s，则起始频率区域为num_tiles，即从第num_tiles个频率区域开始至所述当前帧频率范围更高的频率区域内可以进一步根据高频带信号的音调成分的信息，对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱；若每个通道的平均编码速率小于或等于24kb/s，则起始频率区域为1，频率区域序号为1的频率区域及频率范围更高的频率区域内可以进一步根据高频带信号的音调成分的信息，对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱。
如果起始频率区域的值大于所述当前帧频率范围最高的频率区域的序号，则表示没有频率区域需要根据高频带信号的音调成分的信息，对频带扩展处理后的频谱进行调整，获得调整后的频谱。
又例如，所述当前帧包括4个频率区域，分别为频率区域0、频率区域1、频率区域2和频率区域3，若每个通道的平均编码速率大于24kb/s，则起始频率区域为2，即在频率区域2和频率区域3中可以进一步根据高频带信号的音调成分的信息，对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱。若每个通道的平均编码速率小于或等于24kb/s，则起始频率区域为1，即在频率区域1、频率区域2、频率区域3中可以进一步根据高频带信号的音调成分的信息，对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱。若每个通道的平均编码速率大于48kb/s，则起始频率区域为4，则表示没有频率区域需要根据高频带信号的音调成分的信息，对频带扩展处理后的频谱进行调整，获得调整后的频谱。
在本申请实施例中，在上述方法800中的步骤S840，根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱之前，还可以包括：根据当前频率区域的频带扩展处理后的高频带信号频谱，确定当前频率区域是否属于第一频率区域范围，所述第一频率区域范围为需要对所述频带扩展处理后的高频带信号频谱进行调整的频率区域的范围，其中，高频带信号对应的高频带包括至少一个频率区域，至少一个频率区域包括当前频率区域。
若当前频率区域属于所述第一频率区域范围，所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：根据所述高频带信号的音调成分的信息，对所述当前频率区域的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
可选的，若当前频率区域的频带扩展处理后的高频带信号频谱中，频谱值的绝对值大于第二阈值的频点数量小于第三阈值，则当前频率区域属于第一频率区域范围。即，如果当前频率区域的频带扩展处理后的频谱中，存在数量较少的被保留的频谱成分，则可以进行是否做频谱调整的判断过程。
例如，第二阈值为T，第三阈值为10，当前频率区域为5100Hz-5500Hz，当前频率区域的频带扩展处理后的高频带信号频谱的绝对值大于T的频点的数量小于10，当前频率区域为5100Hz-5500Hz属于第一频率区域范围。可以理解的是，第三阈值的取值还可以是其他值，例如9或11等等，具体的取值可以根据经验或需要进行设置。其中，在一种实施方式中，T的取值可以设置为当前频率区域的频带扩展处理后的高频带信号频谱绝对值的平均值的3倍(需要说明的是，3倍仅仅是一个举例，在实际应用中可以用其他方式)，例如T的取值可以是5.4，6.6，或9.0等等正实数。
应理解，该步骤需要在方法800中步骤S820之后步骤S840之前进行。
因此，在对频带扩展处理后的高频带信号频谱进行调整之前，根据所述当前帧的编码速率或所述当前帧的频带扩展处理后的频谱，确定所述当前帧需要判断是否进行频谱调整的频率区域的范围，具有更高的编码效率。
在本申请实施例中，在对所述音频信号的当前帧进行编码时，还可以根据当前帧的编码速率来确定频谱保留优先的频率区域数量或者确定音调重建优先的频率区域数量。所述频谱保留优先是指，对频谱保留优先的频率区域中被IGF保留的频谱进行第三编码。所述音调重建优先是指，可以根据在第二编码过程中获得的所述高频带信号的音调成分的信息，对频带扩展处理后的高频带信号频谱进行调整，将IGF保留的频谱成分去除。
下面通过两个具体的实施例进一步说明根据当前帧的编码速率来确定频谱保留优先的频率区域数量或者确定音调重建优先的频率区域数量。
在一个具体的实施例中，根据当前帧的编码速率来确定频谱保留优先的频率区域数量。
设编码器总速率为bitrate_tot，通道数量为n_channels，则每个通道的平均编码速率为bitrate_ch＝bitrate_tot/n_channels。若每个通道的平均编码速率小于或等于预设阈值则只在频率较低的频率区域中采用频谱保留优先的策略，在频率较高的频率区域中采用音调重建优先的策略。若每个通道的平均编码速率大于预设阈值，则在整个高频带的所有频率区域中采用频谱保留优先的策略。
具体实现的伪代码如下：
Figure BDA0002569348140000231
其中，num_tiles_encFirst为采用频谱保留优先策略的频域区域数量，num_tiles为高频带的频率区域总数量。num_tiles_encFirst等于需要判断是否对频带扩展处理后的频谱进行调整的频率区域的最小序号(序号从0开始)。
频带扩展处理后的频谱的调整方式：在采用音调重建优先策略的频率区域中，将IGF保留的频谱成分去除(即频谱值设置为0)，从而达到在解码得到的高频带信号的频谱中以重建音调成分为主的目的。
具体实现的伪代码实现如下：
Figure BDA0002569348140000232
Figure BDA0002569348140000241
其中，num_tiles_encFirst为采用频谱保留优先策略的频域区域数量，num_tiles为高频带的频率区域总数量。num_tiles_encFirst等于需要判断是否对频带扩展处理后的频谱进行调整的频率区域的最小序号(序号从0开始)。tone_cnt[p]为第p个tile的音调成分的数量信息，tile[p]为第p个tile的起始频点，tile[p+1]为第p+1个tile的起始频点，tile[p+1]-1为第p个tile的截止频点，sb为频点序号，mdctSpectrumAfterIGF为频带扩展处理后的频谱，也就是IGF处理后的频谱。
在另一个具体的实施例，根据当前帧的编码速率来确定音调重建优先的频率区域数量。
设编码器总速率为bitrate_tot，通道数量为n_channels，则每个通道的平均编码速率为bitrate_ch＝bitrate_tot/n_channels。若每个通道的平均编码速率小于或等于预设阈值则只在频率较低的频率区域中采用频谱保留优先的策略，在频率较高的频率区域中采用音调重建优先的策略。若每个通道的平均编码速率大于预设阈值，则在整个高频带的所有频率区域中采用频谱保留优先的策略。
具体实现的伪代码如下：
Figure BDA0002569348140000242
其中，num_tiles_reconFirst为采用音调重建优先策略的频率区域数量。
频带扩展处理后的频谱的调整方式：在采用音调重建优先策略的频率区域中，将IGF保留的频谱成分去除(即频谱值设置为0)，从而达到在解码得到的高频带信号的频谱中以重建音调成分为主的目的。
具体实现的伪代码实现如下：
Figure BDA0002569348140000243
其中，num_tiles_reconFirst为采用音调重建优先策略的频率区域数量，num_tiles为高频带的频率区域总数量。tone_cnt[p]为第p个tile的音调成分的数量信息，tile[p]为第p个tile的起始频点，tile[p+1]为第p+1个tile的起始频点，tile[p+1]-1为第p个tile的截止频点，sb为频点序号，mdctSpectrumAfterIGF为频带扩展处理后的频谱，也就是IGF处理后的频谱。
以上结合图1至图10对本申请实施例的一种音频处理方法做了详细说明。以下，结合图11至图13对本申请实施例装置进行详细说明。
图11示出了本申请实施例的编解码装置1100的示意性框图。
一些实施例中，该装置1100可以为终端设备，也可以为芯片或电路，比如可设置于终端设备的芯片或电路。
一些实施例中，该装置1100可以为接入网设备，也可以为芯片或电路，比如可设置于接入网设备的芯片或电路。
一些实施例中，该装置1100可以为核心网设备，也可以为芯片或电路，比如可设置于核心网设备的芯片或电路。
一种可能的方式中，该装置1100可以包括处理单元1110(即，处理器的一例)和收发单元1130。一些可能的实现方式中，处理单元1110还可以称为确定单元。一些可能的实现方式中，收发单元1130可以包括接收单元和发送单元。
在一种实现方式中，收发单元1130可以通过收发器或者收发器相关电路或者接口电路实现。
在一种实现方式中，该装置还可以包括存储单元1120。一种可能的方式中，该存储单元1120用于存储指令。在一种实现方式中，该存储单元也可以用于存储数据或者信息。存储单元1120可以通过存储器实现。
一些可能的设计中，该处理单元1110用于执行该存储单元1120存储的指令，以使装置1100实现如上述方法中终端设备执行的步骤。或者，该处理单元1110可以用于调用存储单元1120的数据，以使装置1100实现如上述方法中终端设备执行的步骤。
一些可能的设计中，该处理单元1110用于执行该存储单元1120存储的指令，以使装置1100实现如上述方法中接入网设备执行的步骤。或者，该处理单元1110可以用于调用存储单元1120的数据，以使装置1100实现如上述方法中接入网设备执行的步骤。
例如，该处理单元1110、存储单元1120、收发单元1130可以通过内部连接通路互相通信，传递控制和/或数据信号。例如，该存储单元1120用于存储计算机程序，该处理单元1110可以用于从该存储单元1120中调用并运行该计算计程序，以控制收发单元1130接收信号和/或发送信号，完成上述方法中终端设备或接入网设备的步骤。该存储单元1120可以集成在处理单元1110中，也可以与处理单元1110分开设置。
可选地，若该装置1100为通信设备(例如，终端设备，或接入网设备)，该收发单元1130包括接收器和发送器。其中，接收器和发送器可以为相同或者不同的物理实体。为相同的物理实体时，可以统称为收发器。
当该装置1100为终端设备或者该装置为接入网设备或核心网设备时，收发单元1130在发送信息时可以为发送单元或发射器，收发单元1130在接收信息时可以为接收单元或接收器，收发单元可以为收发器，此收发器、发射器或接收器可以为射频电路，当该装置包含存储单元时，该存储单元用于存储计算机指令，该处理器与存储器通信连接，处理器执行存储器存储的计算机指令，使该装置可以执行方法200、方法500或者方法600。其中，处理器可以是一个通用中央处理器(CPU)，微处理器，特定应用集成电路(ApplicationSpecific Intergrated Circuit，ASIC)。
可选地，若该装置1100为芯片或电路，该收发单元1130包括输入接口和输出接口。
当该装置1100为芯片时，收发单元1130可以是输入和/或输出接口、管脚或电路等。该处理单元1110可执行存储单元存储的计算机执行指令，以使该装置可以执行方法200、方法500或者方法600。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述终端内的位于所述芯片外部的存储单元，如只读存储器(Read Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(Random Access Memory，RAM)等。
作为一种实现方式，收发单元1130的功能可以考虑通过收发电路或者收发的专用芯片实现。处理单元1110可以考虑通过专用处理芯片、处理电路、处理单元或者通用芯片实现。
作为另一种实现方式，可以考虑使用通用计算机的方式来实现本申请实施例提供的编解码设备(例如终端设备，或接入网设备)。即将实现处理单元1110、收发单元1130功能的程序代码存储在存储单元1120中，通用处理单元通过执行存储单元1120中的代码来实现处理单元1110、收发单元1130的功能。
一些实施例中，装置1100可以为编解码设备。当装置1100为编解码设备，或设置于编解码设备的芯片或电路时，获取单元1140，用于获取音频信号的当前帧，所述音频信号的当前帧包括高频带信号和低频带信号；处理单元1110，用于根据所述高频带信号和所述低频带信号进行第一编码，以获得所述音频信号的当前帧的第一编码参数，所述第一编码包括频带扩展编码；所述处理单元1110还用于根据所述高频带信号进行第二编码，以获得所述当前帧的第二编码参数，所述第二编码参数用于表示所述高频带信号的音调成分的信息；所述处理单元1110还用于根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，所述频带扩展处理后的高频带信号频谱在所述频带扩展编码过程中获得；所述处理单元1110还用于根据所述调整后的高频带信号的频谱进行第三编码，以获得第三编码参数；所述处理单元1110还用于对所述第一编码参数、所述第二编码参数和所述第三编码参数进行码流复用，以获得所述音频信号的当前帧的编码码流。
可选的，所述音调成分的信息包括以下参数中的一个或多个：音调成分的标志信息、音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息、音调成分的标志信息或音调成分的能量信息。
可选的，所述高频带信号的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；所述处理单元1110具体用于：根据所述当前频率区域的音调成分的数量信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
可选的，所述处理单元1110具体用于：若所述当前频率区域的音调成分的数量信息满足第一预设条件，则对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
可选的，所述第一预设条件为所述当前频率区域的音调成分的数量大于或等于第一阈值。
可选的，所述高频带信号的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；所述处理单元1110具体用于：根据所述当前频率区域的音调成分标志信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，所述音调成分标志信息用于标志所述当前频率区域是否存在音调成分。
可选的，所述处理单元1110具体用于：若所述当前频率区域的音调成分标志信息的值为第一预设值，则对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，其中，所述当前频率区域的音调成分标志信息的值为第一预设值表示所述当前频率区域存在音调成分。
可选的，所述处理单元1110具体用于：将所述当前频率区域的频带扩展处理后的高频带信号频谱值设置为第二预设值；或者，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行加权处理，以获得所述当前频率区域的调整后的高频带信号的频谱。
可选的，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；所述处理单元1110具体用于：根据所述当前频率区域的音调成分的位置信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
可选的，所述当前频率区域包括至少一个子带，所述至少一个子带包括当前子带，所述处理单元1110具体用于：若所述当前频率区域的音调成分的位置信息满足第二预设条件，则对所述当前子带的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前子带的调整后的高频带信号的频谱。
可选的，所述当前频率区域的音调成分的位置信息包括当前频率区域中包括的音调成分的子带的序号，所述第二预设条件为所述包括音调成分的子带的序号包括所述当前子带的序号。
可选的，所述处理单元1110具体用于：将所述当前子带的频带扩展处理后的高频带信号频谱值设置为第二预设值，以获得所述当前子带的调整后的高频带信号的频谱；或者，对所述当前子带的频带扩展处理后的高频带信号频谱进行加权处理，以获得所述当前子带的调整后的高频带信号的频谱。
可选的，所述处理单元1110还用于：在所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱之前，根据所述当前帧的编码速率，确定起始频率区域，所述起始频率区域为需要判断是否对所述频带扩展处理后的高频带信号频谱进行调整的频率范围内序号最小的频率区域；所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：从所述起始频率区域开始，根据所述高频带信号的音调成分的信息，对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱。
可选的，所述处理单元1110具体用于：若所述当前帧的编码速率满足第三预设条件，则所述起始频率区域为第一起始频率区域；或，若所述当前帧的编码速率不满足第三预设条件，则所述起始频率区域为第二起始频率区域，所述第一起始频率区域与所述第二起始频率区域对应的频率范围不相同。
可选的，所述处理单元1110还用于：在所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱之前，根据所述当前帧的编码速率，确定第一频率区域范围，所述第一频率区域范围为需要判断是否对所述频带扩展处理后的高频带信号频谱进行调整的频率区域的范围；所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：在所述第一频率区域范围内，根据所述高频带信号的音调成分的信息，对所述频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱。
可选的，所述处理单元1110具体用于：若所述当前帧的编码速率满足第三预设条件，则所述第一频率区域范围为第一范围；或，若所述当前帧的编码速率不满足第三预设条件，则所述第一频率区域范围为第二范围，所述第一范围与所述第二范围对应的频率范围不完全相同。
可选的，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；所述处理单元1110还用于：在所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱之前，根据当前频率区域的频带扩展处理后的高频带信号频谱，确定当前频率区域是否属于第一频率区域范围，所述第一频率区域范围为需要判断是否对所述频带扩展处理后的高频带信号频谱进行调整的频率区域的范围；若当前频率区域属于所述第一频率区域范围，所述处理单元还用于：根据所述高频带信号的音调成分的信息，对所述当前频率区域的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
可选的，所述处理单元1110具体用于：若当前频率区域的频带扩展处理后的高频带信号频谱中，频谱值的绝对值大于第二阈值的频点数量小于第三阈值，则当前频率区域属于第一频率区域范围。
可选的，所述获取单元1140还用于：获取编码码流；所述处理单元1110还用于对所述编码码流进行码流解复用，以得到音频信号的当前帧的所述第一编码参数、所述第二编码参数和所述第三编码参数；所述处理单元1110还用于根据所述第一编码参数和所述第三编码参数得到所述当前帧的第一高频带信号和所述当前帧的第一低频带信号，其中，所述第一高频带信号包括：根据所述第一编码参数和第三编码参数直接解码得到的解码高频带信号，以及根据所述第一低频带信号进行频带扩展得到的扩展高频带信号中的至少一种；所述处理单元1110还用于根据所述第二编码参数得到所述当前帧的第二高频带信号，所述第二高频带信号包括重建音调信号；所述处理单元1110还用于根据所述当前帧的第一低频带信号、第一高频带信号、第二高频带信号，得到所述当前帧的解码信号。
当该装置1100配置在或本身即为编解码设备时，装置1100中各模块或单元可以用于执行上述方法中编解码设备所执行的各动作或处理过程，这里，为了避免赘述，省略其详细说明。
图12为本申请提供的一种终端设备1200的结构示意图。该终端设备1200可以执行上述方法实施例中终端设备执行的动作。
为了便于说明，图12仅示出了终端设备的主要部件。如图12所示，终端设备1200包括处理器、存储器、控制电路、天线以及输入输出装置。
处理器主要用于对通信协议以及通信数据进行处理，以及对整个终端设备进行控制，执行软件程序，处理软件程序的数据，例如用于支持终端设备执行上述传输预编码矩阵的指示方法实施例中所描述的动作。存储器主要用于存储软件程序和数据，例如存储上述实施例中所描述的码本。控制电路主要用于基带信号与射频信号的转换以及对射频信号的处理。控制电路和天线一起也可以叫做收发器，主要用于收发电磁波形式的射频信号。输入输出装置，例如触摸屏、显示屏，键盘等主要用于接收用户输入的数据以及对用户输出数据。
当终端设备开机后，处理器可以读取存储单元中的软件程序，解释并执行软件程序的指令，处理软件程序的数据。当需要通过无线发送数据时，处理器对待发送的数据进行基带处理后，输出基带信号至射频电路，射频电路将基带信号进行射频处理后将射频信号通过天线以电磁波的形式向外发送。当有数据发送到终端设备时，射频电路通过天线接收到射频信号，将射频信号转换为基带信号，并将基带信号输出至处理器，处理器将基带信号转换为数据并对该数据进行处理。
本领域技术人员可以理解，为了便于说明，图12仅示出了一个存储器和处理器。在实际的终端设备中，可以存在多个处理器和存储器。存储器也可以称为存储介质或者存储设备等，本申请实施例对此不做限制。
例如，处理器可以包括基带处理器和中央处理器，基带处理器主要用于对通信协议以及通信数据进行处理，中央处理器主要用于对整个终端设备进行控制，执行软件程序，处理软件程序的数据。图12中的处理器集成了基带处理器和中央处理器的功能，本领域技术人员可以理解，基带处理器和中央处理器也可以是各自独立的处理器，通过总线等技术互联。本领域技术人员可以理解，终端设备可以包括多个基带处理器以适应不同的网络制式，终端设备可以包括多个中央处理器以增强其处理能力，终端设备的各个部件可以通过各种总线连接。所述基带处理器也可以表述为基带处理电路或者基带处理芯片。所述中央处理器也可以表述为中央处理电路或者中央处理芯片。对通信协议以及通信数据进行处理的功能可以内置在处理器中，也可以以软件程序的形式存储在存储单元中，由处理器执行软件程序以实现基带处理功能。
示例性的，在本申请实施例中，可以将具有收发功能的天线和控制电路视为终端设备1200的收发单元1210，将具有处理功能的处理器视为终端设备1200的处理单元1220，处理单元1220也可以实现获取单元的功能。如图12所示，终端设备1200包括收发单元1210和处理单元1220。收发单元也可以称为收发器、收发机、收发装置等。可选的，可以将收发单元1210中用于实现接收功能的器件视为接收单元，将收发单元1210中用于实现发送功能的器件视为发送单元，即收发单元包括接收单元和发送单元。示例性的，接收单元也可以称为接收机、接收器、接收电路等，发送单元可以称为发射机、发射器或者发射电路等。
图13为本申请实施例提供的一种接入网设备1300的结构示意图，可以用于实现上述方法中的接入设备的功能。接入网设备1300包括一个或多个射频单元，如远端射频单元(remote radio unit,RRU)1313和一个或多个基带单元(baseband unit，BBU)(也可称为数字单元，digital unit，DU)1320。所述RRU1313可以称为收发单元、收发机、收发电路、或者收发器等等，其可以包括至少一个天线1311和射频单元1312。所述RRU1313部分主要用于射频信号的收发以及射频信号与基带信号的转换，例如用于向终端设备发送上述实施例中所述的信令消息。所述BBU1320部分主要用于进行基带处理，对基站进行控制等。所述RRU1313与BBU1320可以是物理上设置在一起，也可以物理上分离设置的，即分布式基站。
所述BBU1320为基站的控制中心，也可以称为处理单元，主要用于完成基带处理功能，如信道编码，复用，调制，扩频等等。例如该BBU(处理单元)1320可以用于控制接入网设备执行上述方法实施例中关于接入网设备的操作流程。
在一个示例中，所述BBU1320可以由一个或多个单板构成，多个单板可以共同支持单一接入制式的无线接入网(如LTE系统，或5G系统，或未来的无线接入网系统等等)，也可以分别支持不同接入制式的无线接入网。所述BBU1320还包括存储器1321和处理器1322。所述存储器1321用以存储必要的指令和数据。例如存储器1321存储上述实施例中的码本等。所述处理器1322用于控制基站进行必要的动作，例如用于控制基站执行上述方法实施例中关于网络设备的操作流程。所述存储器1321和处理器1322可以服务于一个或多个单板。也就是说，可以每个单板上单独设置存储器和处理器。也可以是多个单板共用相同的存储器和处理器。此外每个单板上还可以设置有必要的电路。
在一种可能的实施方式中，随着片上系统(system-on-chip，SoC)技术的发展，可以将1320部分和1313部分的全部或者部分功能由SoC技术实现，例如由一颗基站功能芯片实现，该基站功能芯片集成了处理器、存储器、天线接口等器件，基站相关功能的程序存储在存储器中，由处理器执行程序以实现基站的相关功能。可选的，该基站功能芯片也能够读取该芯片外部的存储器以实现基站的相关功能。
应理解，图13示例的接入网设备的结构仅为一种可能的形态，而不应对本申请实施例构成任何限定。本申请并不排除未来可能出现的其他形态的基站结构的可能。
应理解，本申请实施例中，该处理器可以为中央处理单元(central processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random accessmemory，RAM)可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。
本申请实施例还提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被计算机执行时实现上述任一实施例中的编解码设备执行的步骤。
本申请实施例还提供了一种计算机程序产品，该计算机程序产品被计算机执行时实现上述任一实施例中的编解码设备执行的步骤。
本申请实施例还提供了一种系统芯片，该系统芯片包括：通信单元和处理单元。该处理单元，例如可以是处理器。该通信单元例如可以是通信接口、输入/输出接口、管脚或电路等。该处理单元可执行计算机指令，以使该通信装置内的芯片执行上述本申请实施例提供的编解码设备执行的步骤。
可选地，该计算机指令被存储在存储单元中。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有根据如上述任一实施例中的编解码设备执行的方法获得的编码码流。
本申请中的各个实施例可以独立的使用，也可以进行联合的使用，这里不做限定。
另外，本申请的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本申请中使用的术语“制品”涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如，计算机可读介质可以包括，但不限于:磁存储器件(例如，硬盘、软盘或磁带等)，光盘(例如，压缩盘(compact disc，CD)、数字通用盘(digital versatile disc，DVD)等)，智能卡和闪存器件(例如，可擦写可编程只读存储器(erasable programmableread-only memory，EPROM)、卡、棒或钥匙驱动器等)。另外，本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可包括但不限于，无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
应理解，“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“至少一个”是指一个或一个以上；“A和B中的至少一个”，类似于“A和/或B”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和B中的至少一个，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (40)

1.一种音频编码的方法，其特征在于，包括：
获取音频信号的当前帧，所述音频信号的当前帧包括高频带信号和低频带信号；
根据所述高频带信号和所述低频带信号进行第一编码，以获得所述音频信号的当前帧的第一编码参数，所述第一编码包括频带扩展编码；
根据所述高频带信号进行第二编码，以获得所述当前帧的第二编码参数，所述第二编码参数用于表示所述高频带信号的音调成分的信息；
根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，所述频带扩展处理后的高频带信号频谱在所述频带扩展编码过程中获得；
根据所述调整后的高频带信号的频谱进行第三编码，以获得第三编码参数；
对所述第一编码参数、所述第二编码参数和所述第三编码参数进行码流复用，以获得所述音频信号的当前帧的编码码流。
2.根据权利要求1所述的方法，其特征在于，所述音调成分的信息包括以下参数中的一个或多个：
音调成分的标志信息、音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息。
3.根据权利要求2所述的方法，其特征在于，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；
所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：
根据所述当前频率区域的音调成分的数量信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
4.根据权利要求3所述的方法，其特征在于，所述根据所述当前频率区域的音调成分的数量信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，包括：
若所述当前频率区域的音调成分的数量信息满足第一预设条件，则对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
5.根据权利要求4所述的方法，其特征在于，所述第一预设条件为所述当前频率区域的音调成分的数量大于或等于第一阈值。
6.根据权利要求2所述的方法，其特征在于，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；
所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：
根据所述当前频率区域的音调成分标志信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，所述音调成分标志信息用于标志所述当前频率区域是否存在音调成分。
7.根据权利要求6所述的方法，其特征在于，所述根据所述当前频率区域的音调成分标志信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，包括：
若所述当前频率区域的音调成分标志信息的值为第一预设值，则对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，
其中，所述当前频率区域的音调成分标志信息的值为第一预设值表示所述当前频率区域存在音调成分。
8.根据权利要求3至7所述的方法，其特征在于，所述对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，包括：
将所述当前频率区域的频带扩展处理后的高频带信号频谱值设置为第二预设值，以获得所述当前频率区域的调整后的高频带信号的频谱；
或者，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行加权处理，以获得所述当前频率区域的调整后的高频带信号的频谱。
9.根据权利要求2所述的方法，其特征在于，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；
所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：
根据所述当前频率区域的音调成分的位置信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
10.根据权利要求9所述的方法，其特征在于，所述当前频率区域包括至少一个子带，所述至少一个子带包括当前子带，
所述根据所述当前频率区域的音调成分的位置信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，包括：
若所述当前频率区域的音调成分的位置信息满足第二预设条件，则对所述当前子带的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前子带的调整后的高频带信号的频谱。
11.根据权利要求10所述的方法，其特征在于，所述当前频率区域的音调成分的位置信息包括当前频率区域中包括音调成分的子带的子带序号，所述第二预设条件为所述包括音调成分的子带的子带序号包括所述当前子带的序号。
12.根据权利要求10或11所述的方法，其特征在于，所述对所述当前子带的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前子带的调整后的高频带信号的频谱，包括：
将所述当前子带的频带扩展处理后的高频带信号频谱值设置为第二预设值，以获得所述当前频率区域的调整后的高频带信号的频谱；
或者，对所述当前子带的频带扩展处理后的高频带信号频谱进行加权处理，以获得所述当前子带的调整后的高频带信号的频谱。
13.根据权利要求1至12中任一项所述的方法，其特征在于，在所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱之前，所述方法还包括：
根据所述当前帧的编码速率，确定起始频率区域，所述起始频率区域为需要判断是否对所述频带扩展处理后的高频带信号频谱进行调整的频率范围内序号最小的频率区域；
所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：
从所述起始频率区域开始，根据所述高频带信号的音调成分的信息，对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱。
14.根据权利要求13所述的方法，其特征在于，所述根据所述当前帧的编码速率，确定起始频率区域，包括：
若所述当前帧的编码速率满足第三预设条件，则所述起始频率区域为第一起始频率区域；或，
若所述当前帧的编码速率不满足第三预设条件，则所述起始频率区域为第二起始频率区域，所述第一起始频率区域与所述第二起始频率区域对应的频率范围不相同。
15.根据权利要求1至12中任一项所述的方法，其特征在于，在所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱之前，所述方法还包括：
根据所述当前帧的编码速率，确定第一频率区域范围，所述第一频率区域范围为需要判断是否对所述频带扩展处理后的高频带信号频谱进行调整的频率区域的范围；
所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：
在所述第一频率区域范围内，根据所述高频带信号的音调成分的信息，对所述频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱。
16.根据权利要求15所述的方法，其特征在于，所述根据所述当前帧的编码速率，确定第一频率区域范围，包括：
若所述当前帧的编码速率满足第三预设条件，则所述第一频率区域范围为第一范围；或，
若所述当前帧的编码速率不满足第三预设条件，则所述第一频率区域范围为第二范围，所述第一范围与所述第二范围对应的频率范围不完全相同。
17.根据权利要求1至12中任一项所述的方法，其特征在于，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；
所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱之前，所述方法还包括：
根据当前频率区域的频带扩展处理后的高频带信号频谱，确定当前频率区域是否属于第一频率区域范围，所述第一频率区域范围为需要判断是否对所述频带扩展处理后的高频带信号频谱进行调整的频率区域的范围；
若当前频率区域属于所述第一频率区域范围，所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：
根据所述高频带信号的音调成分的信息，对所述当前频率区域的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
18.根据权利要求17所述的方法，其特征在于，若当前频率区域的频带扩展处理后的高频带信号频谱中，频谱值的绝对值大于第二阈值的频点数量小于第三阈值，则当前频率区域属于第一频率区域范围。
19.一种编解码设备，其特征在于，包括：
获取单元，用于获取音频信号的当前帧，所述音频信号的当前帧包括高频带信号和低频带信号；
处理单元，用于根据所述高频带信号和所述低频带信号进行第一编码，以获得所述音频信号的当前帧的第一编码参数，所述第一编码包括频带扩展编码；
所述处理单元还用于根据所述高频带信号进行第二编码，以获得所述当前帧的第二编码参数，所述第二编码参数用于表示所述高频带信号的音调成分的信息；
所述处理单元还用于根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，所述频带扩展处理后的高频带信号频谱在所述频带扩展编码过程中获得；
所述处理单元还用于根据所述调整后的高频带信号的频谱进行第三编码，以获得第三编码参数；
所述处理单元还用于对所述第一编码参数、所述第二编码参数和所述第三编码参数进行码流复用，以获得所述音频信号的当前帧的编码码流。
20.根据权利要求19所述的编解码设备，其特征在于，所述音调成分的信息包括以下参数中的一个或多个：
音调成分的标志信息、音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息。
21.根据权利要求20所述的编解码设备，其特征在于，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；
所述处理单元具体用于：
根据所述当前频率区域的音调成分的数量信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
22.根据权利要求21所述的编解码设备，其特征在于，所述处理单元具体用于：
若所述当前频率区域的音调成分的数量信息满足第一预设条件，则对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
23.根据权利要求24所述的编解码设备，其特征在于，所述第一预设条件为所述当前频率区域的音调成分的数量大于或等于第一阈值。
24.根据权利要求23所述的编解码设备，其特征在于，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；
所述处理单元具体用于：
根据所述当前频率区域的音调成分标志信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，所述音调成分标志信息用于标志所述当前频率区域是否存在音调成分。
25.根据权利要求24所述的编解码设备，其特征在于，所述处理单元具体用于：
若所述当前频率区域的音调成分标志信息的值为第一预设值，则对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱，
其中，所述当前频率区域的音调成分标志信息的值为第一预设值表示所述当前频率区域存在音调成分。
26.根据权利要求21至25所述的编解码设备，其特征在于，所述处理单元具体用于：
将所述当前频率区域的频带扩展处理后的高频带信号频谱值设置为第二预设值，以获得所述当前频率区域的调整后的高频带信号的频谱；
或者，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行加权处理，以获得所述当前频率区域的调整后的高频带信号的频谱。
27.根据权利要求20所述的编解码设备，其特征在于，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；
所述处理单元具体用于：
根据所述当前频率区域的音调成分的位置信息，对所述当前频率区域的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
28.根据权利要求27所述的编解码设备，其特征在于，所述当前频率区域包括至少一个子带，所述至少一个子带包括当前子带，
所述处理单元具体用于：
若所述当前频率区域的音调成分的位置信息满足第二预设条件，则对所述当前子带的频带扩展处理后的高频带信号频谱进行调整，以获得所述当前子带的调整后的高频带信号的频谱。
29.根据权利要求28所述的编解码设备，其特征在于，所述当前频率区域的音调成分的位置信息包括当前频率区域中包括音调成分的子带的序号，所述第二预设条件为所述包括音调成分的子带的序号包括所述当前子带的序号。
30.根据权利要求28或29所述的编解码设备，其特征在于，所述处理单元具体用于：
将所述当前子带的频带扩展处理后的高频带信号频谱值设置为第二预设值，以获得所述当前子带的调整后的高频带信号的频谱；
或者，对所述当前子带的频带扩展处理后的高频带信号频谱进行加权处理，以获得所述当前子带的调整后的高频带信号的频谱。
31.根据权利要求19至30中任一项所述的编解码设备，其特征在于，所述处理单元还用于：
在所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱之前，根据所述当前帧的编码速率，确定起始频率区域，所述起始频率区域为需要判断是否对所述频带扩展处理后的高频带信号频谱进行调整的频率范围内序号最小的频率区域；
所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：
从所述起始频率区域开始，根据所述高频带信号的音调成分的信息，对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱。
32.根据权利要求31所述的编解码设备，其特征在于，所述处理单元具体用于：
若所述当前帧的编码速率满足第三预设条件，则所述起始频率区域为第一起始频率区域；或，
若所述当前帧的编码速率不满足第三预设条件，则所述起始频率区域为第二起始频率区域，所述第一起始频率区域与所述第二起始频率区域对应的频率范围不相同。
33.根据权利要求19至30中任一项所述的编解码设备，其特征在于，所述处理单元还用于：
在所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱之前，根据所述当前帧的编码速率，确定第一频率区域范围，所述第一频率区域范围为需要判断是否对所述频带扩展处理后的高频带信号频谱进行调整的频率区域的范围；
所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱，包括：
在所述第一频率区域范围内，根据所述高频带信号的音调成分的信息，对所述频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱。
34.根据权利要求33所述的编解码设备，其特征在于，所述处理单元具体用于：
若所述当前帧的编码速率满足第三预设条件，则所述第一频率区域范围为第一范围；或，
若所述当前帧的编码速率不满足第三预设条件，则所述第一频率区域范围为第二范围，所述第一范围与所述第二范围对应的频率范围不完全相同。
35.根据权利要求19至30中任一项所述的编解码设备，其特征在于，所述高频带信号对应的高频带包括至少一个频率区域，所述至少一个频率区域包括当前频率区域；
所述处理单元还用于：
在所述根据所述高频带信号的音调成分的信息对频带扩展处理后的高频带信号频谱进行调整，以获得调整后的高频带信号的频谱之前，根据当前频率区域的频带扩展处理后的高频带信号频谱，确定当前频率区域是否属于第一频率区域范围，所述第一频率区域范围为需要判断是否对所述频带扩展处理后的高频带信号频谱进行调整的频率区域的范围；
所述处理单元还用于：
若当前频率区域属于所述第一频率区域范围，对所述当前频率区域的高频带信号频谱进行调整，以获得所述当前频率区域的调整后的高频带信号的频谱。
36.根据权利要求35所述的编解码设备，其特征在于，所述处理单元具体用于：
若当前频率区域的频带扩展处理后的高频带信号频谱中，频谱值的绝对值大于第二阈值的频点数量小于第三阈值，则当前频率区域属于第一频率区域范围。
37.一种通信装置，包括处理器，所述处理器与存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述装置执行如权利要求1至18中任一项所述的方法。
38.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被运行时，实现如权利要求1至18中任一项所述的方法。
39.一种芯片，其特征在于，包括处理器和接口；
所述处理器用于读取指令以执行权利要求1至18中任一项所述的数据传输的方法。
40.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有根据如权利要求1至18中任一项所述的方法获得的编码码流。
CN202010632030.XA 2020-07-03 2020-07-03 一种音频编码的方法和编解码设备 Pending CN113963703A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010632030.XA CN113963703A (zh) 2020-07-03 2020-07-03 一种音频编码的方法和编解码设备
EP21833418.3A EP4170651A4 (en) 2020-07-03 2021-07-01 AUDIO CODING METHOD AND CODING/DECODING DEVICE
KR1020237002982A KR20230027295A (ko) 2020-07-03 2021-07-01 오디오 인코딩 방법 및 코딩 디바이스
PCT/CN2021/104087 WO2022002216A1 (zh) 2020-07-03 2021-07-01 一种音频编码的方法和编解码设备
BR112023000054A BR112023000054A2 (pt) 2020-07-03 2021-07-01 Método de codificação de áudio e dispositivo de codificação
US18/146,616 US20230138871A1 (en) 2020-07-03 2022-12-27 Audio encoding method and coding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010632030.XA CN113963703A (zh) 2020-07-03 2020-07-03 一种音频编码的方法和编解码设备

Publications (1)

Publication Number Publication Date
CN113963703A true CN113963703A (zh) 2022-01-21

Family

ID=79315117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010632030.XA Pending CN113963703A (zh) 2020-07-03 2020-07-03 一种音频编码的方法和编解码设备

Country Status (6)

Country Link
US (1) US20230138871A1 (zh)
EP (1) EP4170651A4 (zh)
KR (1) KR20230027295A (zh)
CN (1) CN113963703A (zh)
BR (1) BR112023000054A2 (zh)
WO (1) WO2022002216A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550732A (zh) * 2022-04-15 2022-05-27 腾讯科技（深圳）有限公司 一种高频音频信号的编解码方法和相关装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113539281B (zh) * 2020-04-21 2024-09-06 华为技术有限公司 音频信号编码方法和装置
CN113808597A (zh) * 2020-05-30 2021-12-17 华为技术有限公司 一种音频编码方法和音频编码装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620854A (zh) * 2008-06-30 2010-01-06 华为技术有限公司 频带扩展的方法、系统和设备
CN104584124A (zh) * 2013-01-22 2015-04-29 松下电器产业株式会社 带宽扩展参数生成装置、编码装置、解码装置、带宽扩展参数生成方法、编码方法、以及解码方法
US20160111103A1 (en) * 2013-06-11 2016-04-21 Panasonic Intellectual Property Corporation Of America Device and method for bandwidth extension for audio signals
CN107077858A (zh) * 2014-07-28 2017-08-18 弗劳恩霍夫应用研究促进协会 使用具有全带隙填充的频域处理器以及时域处理器的音频编码器和解码器
US20190156843A1 (en) * 2016-04-12 2019-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder for encoding an audio signal, method for encoding an audio signal and computer program under consideration of a detected peak spectral region in an upper frequency band

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662288B (zh) * 2008-08-28 2012-07-04 华为技术有限公司 音频编码、解码方法及装置、系统
EP2830062B1 (en) * 2012-03-21 2019-11-20 Samsung Electronics Co., Ltd. Method and apparatus for high-frequency encoding/decoding for bandwidth extension
CN103971694B (zh) * 2013-01-29 2016-12-28 华为技术有限公司 带宽扩展频带信号的预测方法、解码设备
CN104103276B (zh) * 2013-04-12 2017-04-12 北京天籁传音数字技术有限公司 一种声音编解码装置及其方法
US9564141B2 (en) * 2014-02-13 2017-02-07 Qualcomm Incorporated Harmonic bandwidth extension of audio signals

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620854A (zh) * 2008-06-30 2010-01-06 华为技术有限公司 频带扩展的方法、系统和设备
CN104584124A (zh) * 2013-01-22 2015-04-29 松下电器产业株式会社 带宽扩展参数生成装置、编码装置、解码装置、带宽扩展参数生成方法、编码方法、以及解码方法
US20160111103A1 (en) * 2013-06-11 2016-04-21 Panasonic Intellectual Property Corporation Of America Device and method for bandwidth extension for audio signals
CN107077858A (zh) * 2014-07-28 2017-08-18 弗劳恩霍夫应用研究促进协会 使用具有全带隙填充的频域处理器以及时域处理器的音频编码器和解码器
US20190156843A1 (en) * 2016-04-12 2019-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder for encoding an audio signal, method for encoding an audio signal and computer program under consideration of a detected peak spectral region in an upper frequency band

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550732A (zh) * 2022-04-15 2022-05-27 腾讯科技（深圳）有限公司 一种高频音频信号的编解码方法和相关装置
CN114550732B (zh) * 2022-04-15 2022-07-08 腾讯科技（深圳）有限公司 一种高频音频信号的编解码方法和相关装置

Also Published As

Publication number Publication date
EP4170651A1 (en) 2023-04-26
EP4170651A4 (en) 2023-11-29
WO2022002216A1 (zh) 2022-01-06
KR20230027295A (ko) 2023-02-27
BR112023000054A2 (pt) 2023-01-31
US20230138871A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
WO2022002216A1 (zh) 一种音频编码的方法和编解码设备
KR101580770B1 (ko) 무선 통신 시스템에서 데이터 전송의 릴레이 노드 집계
CN109644444B (zh) 无线通信的方法、装置、设备和计算机可读存储介质
WO2019010033A1 (en) MULTI-FLOW AUDIO CODING
US12062379B2 (en) Audio coding of tonal components with a spectrum reservation flag
EP4131261A1 (en) Audio signal encoding method, decoding method, encoding device, and decoding device
US11568882B2 (en) Inter-channel phase difference parameter encoding method and apparatus
US20190214028A1 (en) Stereo parameters for stereo decoding
KR20180096625A (ko) 프레임간 시간 시프트 변동들에 대한 채널 조정
US12100408B2 (en) Audio coding with tonal component screening in bandwidth extension
EP4082009A1 (en) The merging of spatial audio parameters
JP2022506581A (ja) 空間メタデータを符号化するための装置、方法およびコンピュータプログラム
EP4131263A1 (en) Audio signal encoding method and apparatus
KR20020035109A (ko) 협대역으로 인코딩된 신호를 송신하는 송신기, 수신단에서 이 인코딩된 신호의 대역을 확장하는 수신기, 해당송신 방법과 수신 방법 및 시스템
CN118435625A (zh) 一种音频信号处理方法、装置及存储介质
KR20240152893A (ko) 파라메트릭 공간 오디오 렌더링
CN114079968A (zh) 传输数据的方法和装置
CN118523815A (zh) 用于基于人工智能的csi反馈压缩的量化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination