CN113539281A - 音频信号编码方法和装置 - Google Patents
音频信号编码方法和装置 Download PDFInfo
- Publication number
- CN113539281A CN113539281A CN202010318590.8A CN202010318590A CN113539281A CN 113539281 A CN113539281 A CN 113539281A CN 202010318590 A CN202010318590 A CN 202010318590A CN 113539281 A CN113539281 A CN 113539281A
- Authority
- CN
- China
- Prior art keywords
- frequency point
- power spectrum
- current frequency
- current
- spectrum ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000001228 spectrum Methods 0.000 claims abstract description 398
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 description 32
- 238000013461 design Methods 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011022 operating instruction Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
Abstract
本申请提供一种音频信号编码方法和装置。本申请实施例可以通过音频信号的功率谱比值,获取该音频信号的音调成分信息,基于该音调成分信息获取编码码流,由于该功率谱比值是功率谱与平均功率谱的比值,其可以更好的反映信号特性,从而可以准确获取音调成分信息,以便解码端根据该音调成分信息可以更准确的重建该高频带信号,进而准确获取该音频信号,提升编码质量。
Description
技术领域
本申请涉及音频编解码技术,尤其涉及一种音频信号编码方法和装置。
背景技术
随着多媒体技术的不断发展,音频在多媒体通信、消费电子、虚拟现实、人机交互等领域得到了广泛应用。用户对音频质量的需求越来越高。三维音频(3D audio)具有接近真实的空间感,能够给用户提供较好的浸入式体验,成为多媒体技术的新趋势。
三维音频编解码器需要进行压缩编码的音频信号包含多路信号。通常情况下,三维音频编解码器利用通道间的相关性将多路信号下混,得到下混信号和多通道编码参数。通常情况下,下混信号的通道数远小于输入的音频信号的通道数。然后,对下混信号和多通道编码参数进行编码。编码下混信号和多通道编码参数所用的比特数远小于独立编码多路号所用的比特数。在对下混信号和多通道编码参数进行编码的过程中,为了降低编码比特率,可以进一步利用不同频带信号之间的相关性进行编码。
利用不同频带信号间的相关性进行编码,其基本原理是利用低频带信号以及不同频带信号间的相关性,采用频带扩展技术或者频谱复制技术,对高频带信号进行编码,以便用较少的比特数对高频带信号进行编码,从而降低整个多维编码器的编码比特率。但真实的音频信号中,高频带的频谱中往往存在一些与低频带的频谱不相似的音调成分。为了对高频带信号中的音调成分信息进行编码,可以使用音调检测算法确定需要编码的音调成分信息,再对该音调成分信息进行编码,以便解码端可以准确解码得到该高频信号。
其中,如何准确确定高频信号的音调成分信息,以提升编码音频信号的质量,成为一个亟需解决的技术问题。
发明内容
本申请提供一种音频信号编码方法和装置,有益于提升编码音频信号的质量。
第一方面,本申请提供一种音频信号编码方法,该方法可以包括:获取音频信号的当前帧。根据该当前帧的至少部分信号的当前频率区域的当前频点的功率谱比值获取编码参数,该编码参数用于表示该至少部分信号的音调成分信息,该音调成分信息包括音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息中至少一项,该当前频点的功率谱比值为该当前频点的功率谱的值与该当前频率区域的功率谱的平均值的比值。对该编码参数进行码流复用,获取编码码流。
本实现方式,通过音频信号的当前帧的至少部分信号的当前频点的功率谱比值获取该至少部分信号的音调成分信息,基于该音调成分信息获取编码码流,由于该功率谱比值是功率谱与功率谱的平均值的比值,其可以更好的反映信号特性,从而可以准确获取音调成分信息,以便解码端根据该音调成分信息可以更准确的重建该音频信号,提升编码质量。
在一种可能的设计中,根据该至少部分信号的当前频率区域的当前频点的功率谱比值获取编码参数,可以包括:根据该当前频点的功率谱比值在该当前频率区域进行峰值搜索,以获取该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,该峰值为功率谱峰值或功率谱比值峰值。根据该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,获取该编码参数。
本实现方式,通过当前频点的功率谱比值在当前频率区域进行峰值搜索,获取当前频率区域的峰值的相关信息(例如,数量信息、位置信息、幅度信息或能量信息等中至少一项),根据当前频率区域的峰值的相关信息,获取上述编码参数,以便解码端根据该编码参数可以更准确的重建该音频信号,提升编码质量。由于在峰值搜索过程中采用功率谱比值,可以提升搜索得到的峰值的准确性,进而有益于提升音调成分信息的准确性。
并且,由于功率谱的动态范围较大,因此使用功率谱比值能够提高峰值搜索效率。
在一种可能的设计中,根据该当前频点的功率谱比值在该当前频率区域进行峰值搜索,可以包括:根据该当前频点的功率谱比值,该当前频点的左邻频点的功率谱比值、该当前频点的右邻频点的功率谱比值、该当前频率区域的功率谱比值的平均值、该当前频点的左邻区域的功率谱比值的平均值和该当前频点的右邻区域的功率谱比值的平均值,在该当前频率区域内进行峰值搜索。
其中,该当前频点的左邻区域包括频点序号小于该当前频点的频点序号的N_neighbor_l个频点,N_neighbor_l为任意自然数,该当前频点的右邻区域包括频点序号大于该当前频点的频点序号的N_neighbor_r个频点,N_neighbor_r为任意自然数。
该当前频点的左邻频点是频点序号比该当前频点小1的频点,该当前频点的右邻频点是频点序号比该当前频点大1的频点。
本实现方式,根据该当前频点的功率谱比值,以及当前频率区域的功率谱比值的平均值、该当前频点的左邻频点的功率谱比值、该当前频点的右邻频点的功率谱比值、当前频点的左邻区域的功率谱比值的平均值和当前频点的右邻区域的功率谱比值的平均值,在当前频率区域内进行峰值搜索,可以提升搜索得到的峰值的准确性。
在一种可能的设计中,根据该当前频点的功率谱比值,该当前频点的左邻频点的功率谱比值、该当前频点的右邻频点的功率谱比值、该当前频率区域的功率谱比值的平均值、该当前频点的左邻区域的功率谱比值的平均值和该当前频点的右邻区域的功率谱比值的平均值,在该当前频率区域内进行峰值搜索,可以包括:判断当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于当前频点的左邻频点的功率谱比值;大于当前频点的右邻频点的功率谱比值;当前频点的功率谱比值与当前频点的左邻区域的功率谱比值的平均值的差大于第二预设阈值;当前频点的功率谱比值与当前频点的右邻区域的功率谱比值的平均值的差大于第三预设阈值;当前频点的功率谱比值与当前频率区域的功率谱比值的平均值的差大于第四预设阈值。当该当前频点的功率谱比值满足该条件时,确定该当前频点为峰值对应的频点。
在一种可能的设计中,根据该当前频点的功率谱比值在该当前频率区域进行峰值搜索,可以包括:判断该当前频点的功率谱比值是否满足以下条件中至少一项:大于或等于第一预设阈值;或者,大于该当前频点的左邻频点的功率谱比值;或者,大于该当前频点的右邻频点的功率谱比值;或者,大于该当前频点的左邻区域的功率谱比值的平均值;或者,大于该当前频点的右邻区域的功率谱比值的平均值;或者,大于该当前频率区域的功率谱比值的平均值。当满足该条件中至少一项时,确定该当前频点为峰值对应的频点。
在一种可能的设计中,根据该当前频点的功率谱比值在该当前频率区域进行峰值搜索,可以包括:判断该当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于该当前频点的左邻频点的功率谱比值;大于该当前频点的右邻频点的功率谱比值。当满足该条件时,确定该当前频点为峰值对应的频点。
在一种可能的设计中,根据该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,获取该编码参数,可以包括:根据该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,确定音调成分的数量信息、音调成分的位置信息、音调成分的幅度信息或音调成分的能量信息中至少一项。根据该音调成分的数量信息、该音调成分的位置信息、该音调成分的幅度信息或该音调成分的能量信息中至少一项,获取该编码参数。
在一种可能的设计中,该至少部分信号包括该当前帧的高频带信号。
本实现方式,通过功率谱比值,可以准确获取当前帧的高频带信号中的音调成分信息,从而可以提升编码质量。
第二方面,本申请实施例提供一种音频信号编码装置,该音频信号编码装置可以为编码器或者核心编码器,还可以为编码器或核心编码器中用于实现上述第一方面或上述第一方面的任一可能的设计的方法的功能模块。该音频信号编码装置可以实现上述第一方面或上述第一方面的各可能的设计中所执行的功能,功能可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个上述功能相应的模块。举例来说,一种可能的实施方式中,该音频信号编码装置可以包括:获取模块、编码参数确定模块和码流复用模块。
该获取模块,用于获取音频信号的当前帧。该编码参数确定模块,用于根据该当前帧的至少部分信号的当前频率区域的当前频点的功率谱比值,获取编码参数,该编码参数用于表示该至少部分信号的音调成分信息,该音调成分信息包括音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息中至少一项,该当前频点的功率谱比值为该当前频点的功率谱的值与该当前频率区域的功率谱的平均值的比值。该码流复用模块,用于对该编码参数进行码流复用,获取编码码流。
在一种可能的设计中,该编码参数确定模块用于:根据该当前频点的功率谱比值在该当前频率区域进行峰值搜索,以获取该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项。根据该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,获取该编码参数。
在一种可能的设计中,该编码参数确定模块用于:根据该当前频点的功率谱比值,该当前频点的左邻频点的功率谱比值、该当前频点的右邻频点的功率谱比值、该当前频率区域的功率谱比值的平均值、该当前频点的左邻区域的功率谱比值的平均值和该当前频点的右邻区域的功率谱比值的平均值,在该当前频率区域内进行峰值搜索。
其中,该当前频点的左邻区域包括频点序号小于该当前频点的频点序号的N_neighbor_l个频点,N_neighbor_l为任意自然数,该当前频点的右邻区域包括频点序号大于该当前频点的频点序号的N_neighbor_r个频点,N_neighbor_r为任意自然数。
该当前频点的左邻频点是频点序号比该当前频点小1的频点,该当前频点的右邻频点是频点序号比该当前频点大1的频点。
在一种可能的设计中,该编码参数确定模块用于:判断当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于当前频点的左邻频点的功率谱比值;大于当前频点的右邻频点的功率谱比值;当前频点的功率谱比值与当前频点的左邻区域的功率谱比值的平均值的差大于第二预设阈值;当前频点的功率谱比值与当前频点的右邻区域的功率谱比值的平均值的差大于第三预设阈值;当前频点的功率谱比值与当前频率区域的功率谱比值的平均值的差大于第四预设阈值。当该当前频点的功率谱比值满足该条件时,确定该当前频点为峰值对应的频点。
在一种可能的设计中,该编码参数确定模块用于:判断该当前频点的功率谱比值是否满足以下条件中至少一项:大于或等于第一预设阈值;或者,大于该当前频点的左邻频点的功率谱比值;或者,大于该当前频点的右邻频点的功率谱比值;或者,大于该当前频点的左邻区域的功率谱比值的平均值;或者,大于该当前频点的右邻区域的功率谱比值的平均值;或者,大于该当前频率区域的功率谱比值的平均值。当满足该条件中至少一项时,确定该当前频点为峰值对应的频点。
在一种可能的设计中,该编码参数确定模块用于:判断该当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于该当前频点的左邻频点的功率谱比值;大于该当前频点的右邻频点的功率谱比值。当满足该条件时,确定该当前频点为峰值对应的频点。
在一种可能的设计中,该编码参数确定模块用于:根据该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,确定音调成分的数量信息、音调成分的位置信息、音调成分的幅度信息或音调成分的能量信息中至少一项。根据该音调成分的数量信息、该音调成分的位置信息、该音调成分的幅度信息或该音调成分的能量信息中至少一项,获取该编码参数。
在一种可能的设计中,该至少部分信号包括该当前帧的高频带信号。
第三方面,本申请实施例提供一种音频信号编码装置,包括:相互耦合的非易失性存储器和处理器,所述处理器调用存储在所述存储器中的程序代码以如上述第一方面中任一项所述的方法。
第四方面,本申请实施例提供一种音频信号编解码设备,包括:编码器,所述编码器用于执行如如上述第一方面中任一项所述的方法。
第五方面,本申请实施例提供一种计算机可读存储介质,包括计算机程序,所述计算机程序在计算机上被执行时,使得所述计算机执行上述第一方面中任一项所述的方法。
第六方面,本申请实施例提供一种计算机可读存储介质,包括根据上述第一方面中任一项所述的方法获得的编码码流。
第七方面,本申请提供一种计算机程序产品,该计算机程序产品包括计算机程序,当所述计算机程序被计算机执行时,用于执行上述第一方面中任一项所述的方法。
第八方面,本申请提供一种芯片,包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行如上述第一方面中任一项所述的方法。
本申请实施例的音频信号编码方法和装置,通过音频信号的功率谱比值,获取该音频信号的音调成分信息,基于该音调成分信息获取编码码流,由于该功率谱比值是功率谱与平均功率谱的比值,其可以更好的反映信号特性,从而可以准确获取音调成分信息,以便解码端根据该音调成分信息可以更准确的获取该音频信号,提升编码质量。
附图说明
图1为本申请实施例中的音频编码及解码系统实例的示意图;
图2为本申请实施例中的音频编码应用的示意图;
图3为本申请实施例中的音频编码应用的示意图;
图4为本申请实施例的一种音频信号编码方法的流程图;
图5为本申请实施例的另一种音频信号编码方法的流程图;
图6为本申请实施例的另一种音频信号编码方法的流程图;
图7为本申请实施例的另一种音频信号编码方法的流程图;
图8为本申请实施例的一种音频信号编码装置的示意图;
图9为本申请实施例的一种音频信号编码设备的示意图。
具体实施方式
本申请实施例涉及的术语“第一”、“第二”等仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c分别可以是单个,也可以分别是多个,也可以是部分是单个,部分是多个。
下面描述本申请实施例所应用的系统架构。参见图1,图1示例性地给出了本申请实施例所应用的音频编码及解码系统10的示意性框图。如图1所示,音频编码及解码系统10可包括源设备12和目的地设备14,源设备12产生经编码的音频数据,因此,源设备12可被称为音频编码装置。目的地设备14可对由源设备12所产生的经编码的音频数据进行解码,因此,目的地设备14可被称为音频解码装置。源设备12、目的地设备14或两个的各种实施方案可包含一或多个处理器以及耦合到所述一或多个处理器的存储器。所述存储器可包含但不限于RAM、ROM、EEPROM、快闪存储器或可用于以可由计算机存取的指令或数据结构的形式存储所要的程序代码的任何其它媒体,如本文所描述。源设备12和目的地设备14可以包括各种装置,包含桌上型计算机、移动计算装置、笔记型(例如,膝上型)计算机、平板计算机、机顶盒、所谓的“智能”电话等电话手持机、电视机、音箱、数字媒体播放器、视频游戏控制台、车载计算机、无线通信设备或其类似者。
虽然图1将源设备12和目的地设备14绘示为单独的设备,但设备实施例也可以同时包括源设备12和目的地设备14或同时包括两者的功能性,即源设备12或对应的功能性以及目的地设备14或对应的功能性。在此类实施例中,可以使用相同硬件和/或软件,或使用单独的硬件和/或软件,或其任何组合来实施源设备12或对应的功能性以及目的地设备14或对应的功能性。
源设备12和目的地设备14之间可通过链路13进行通信连接,目的地设备14可经由链路13从源设备12接收经编码的音频数据。链路13可包括能够将经编码的音频数据从源设备12移动到目的地设备14的一或多个媒体或装置。在一个实例中,链路13可包括使得源设备12能够实时将经编码的音频数据直接发射到目的地设备14的一或多个通信媒体。在此实例中,源设备12可根据通信标准(例如无线通信协议)来调制经编码的音频数据,且可将经调制的音频数据发射到目的地设备14。所述一或多个通信媒体可包含无线和/或有线通信媒体,例如射频(RF)频谱或一或多个物理传输线。所述一或多个通信媒体可形成基于分组的网络的一部分,基于分组的网络例如为局域网、广域网或全球网络(例如,因特网)。所述一或多个通信媒体可包含路由器、交换器、基站或促进从源设备12到目的地设备14的通信的其它设备。
源设备12包括编码器20,另外可选地,源设备12还可以包括音频源16、预处理器18、以及通信接口22。具体实现形态中,所述编码器20、音频源16、预处理器18、以及通信接口22可能是源设备12中的硬件部件,也可能是源设备12中的软件程序。分别描述如下:
音频源16,可以包括或可以为任何类别的声音捕获设备,用于例如捕获现实世界的声音,和/或任何类别的音频生成设备。音频源16可以为用于捕获声音的麦克风或者用于存储音频数据的存储器,音频源16还可以包括存储先前捕获或产生的音频数据和/或获取或接收音频数据的任何类别的(内部或外部)接口。当音频源16为麦克风时,音频源16可例如为本地的或集成在源设备中的集成麦克风;当音频源16为存储器时,音频源16可为本地的或例如集成在源设备中的集成存储器。当所述音频源16包括接口时,接口可例如为从外部音频源接收音频数据的外部接口,外部音频源例如为外部声音捕获设备,比如麦克风、外部存储器或外部音频生成设备。接口可以为根据任何专有或标准化接口协议的任何类别的接口,例如有线或无线接口、光接口。
本申请实施例中,由音频源16传输至预处理器18的音频数据也可称为原始音频数据17。
预处理器18,用于接收原始音频数据17并对原始音频数据17执行预处理,以获取经预处理的音频19或经预处理的音频数据19。例如,预处理器18执行的预处理可以包括滤波、或去噪等。
编码器20(或称音频编码器20),用于接收经预处理的音频数据19,并用于执行后文所描述的各个实施例,以实现本申请所描述的音频信号编码方法在编码侧的应用。
通信接口22,可用于接收经编码的音频数据21,并可通过链路13将经编码的音频数据21传输至目的地设备14或任何其它设备(如存储器),以用于存储或直接重构,所述其它设备可为任何用于解码或存储的设备。通信接口22可例如用于将经编码的音频数据21封装成合适的格式,例如数据包,以在链路13上传输。
目的地设备14包括解码器30,另外可选地,目的地设备14还可以包括通信接口28、音频后处理器32和扬声设备34。分别描述如下:
通信接口28,可用于从源设备12或任何其它源接收经编码的音频数据21,所述任何其它源例如为存储设备,存储设备例如为经编码的音频数据存储设备。通信接口28可以用于藉由源设备12和目的地设备14之间的链路13或藉由任何类别的网络传输或接收经编码音频数据21,链路13例如为直接有线或无线连接,任何类别的网络例如为有线或无线网络或其任何组合,或任何类别的私网和公网,或其任何组合。通信接口28可以例如用于解封装通信接口22所传输的数据包以获取经编码的音频数据21。
通信接口28和通信接口22都可以配置为单向通信接口或者双向通信接口,以及可以用于例如发送和接收消息来建立连接、确认和交换任何其它与通信链路和/或例如经编码的音频数据传输的数据传输有关的信息。
解码器30(或称为解码器30),用于接收经编码的音频数据21并提供经解码的音频数据31或经解码的音频31。在一些实施例中,解码器30可以用于执行后文所描述的各个实施例,以实现本申请所描述的音频信号编码方法在解码侧的应用。
音频后处理器32,用于对经解码的音频数据31(也称为经重构的音频数据)执行后处理,以获得经后处理的音频数据33。音频后处理器32执行的后处理可以包括:例如渲染,或任何其它处理,还可用于将将经后处理的音频数据33传输至扬声设备34。
扬声设备34,用于接收经后处理的音频数据33以向例如用户或观看者播放音频。扬声设备34可以为或可以包括任何类别的用于呈现经重构的声音的扬声器。
虽然,图1将源设备12和目的地设备14绘示为单独的设备,但设备实施例也可以同时包括源设备12和目的地设备14或同时包括两者的功能性,即源设备12或对应的功能性以及目的地设备14或对应的功能性。在此类实施例中,可以使用相同硬件和/或软件,或使用单独的硬件和/或软件,或其任何组合来实施源设备12或对应的功能性以及目的地设备14或对应的功能性。
本领域技术人员基于描述明显可知,不同单元的功能性或图1所示的源设备12和/或目的地设备14的功能性的存在和(准确)划分可能根据实际设备和应用有所不同。源设备12和目的地设备14可以包括各种设备中的任一个,包含任何类别的手持或静止设备,例如,笔记本或膝上型计算机、移动电话、智能手机、平板或平板计算机、摄像机、台式计算机、机顶盒、电视机、相机、车载设备、音响、数字媒体播放器、音频游戏控制台、音频流式传输设备(例如内容服务服务器或内容分发服务器)、广播接收器设备、广播发射器设备、智能眼镜、智能手表等,并可以不使用或使用任何类别的操作系统。
编码器20和解码器30都可以实施为各种合适电路中的任一个,例如,一个或多个微处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application-specific integrated circuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)、离散逻辑、硬件或其任何组合。如果部分地以软件实施所述技术,则设备可将软件的指令存储于合适的非暂时性计算机可读存储介质中,且可使用一或多个处理器以硬件执行指令从而执行本公开的技术。前述内容(包含硬件、软件、硬件与软件的组合等)中的任一者可视为一或多个处理器。
在一些情况下,图1中所示音频编码及解码系统10仅为示例,本申请的技术可以适用于不必包含编码和解码设备之间的任何数据通信的音频编码设置(例如,音频编码或音频解码)。在其它实例中,数据可从本地存储器检索、在网络上流式传输等。音频编码设备可以对数据进行编码并且将数据存储到存储器,和/或音频解码设备可以从存储器检索数据并且对数据进行解码。在一些实例中,由并不彼此通信而是仅编码数据到存储器和/或从存储器检索数据且解码数据的设备执行编码和解码。
上述编码器可以是多声道编码器,例如,立体声编码器,5.1声道编码器,或7.1声道编码器等。当然可以理解的,上述编码器也可以是单声道编码器。
上述音频数据也可以称为音频信号,本申请实施例中的音频信号是指音频编码设备中的输入信号,该音频信号中可以包括多个帧,例如当前帧可以特指音频信号中的某一个帧,本申请实施例中以当前帧音频信号的编解码进行示例说明,音频信号中当前帧的前一帧或者后一帧都可以根据该当前帧音频信号的编解码方式进行相应的编解码,对于音频信号中当前帧的前一帧或者后一帧的编解码过程不再逐一说明。另外,本申请实施例中的音频信号可以是单声道音频信号,或者,也可以为多声道信号,例如,立体声信号。其中,立体声信号可以是原始的立体声信号,也可以是多声道信号中包括的两路信号(左声道信号和右声道信号)组成的立体声信号,还可以是由多声道信号中包含的至少三路信号产生的两路信号组成的立体声信号,本申请实施例中对此并不限定。
示例性的,如图2所示,本实施例以编码器20设置于移动终端230中、解码器30设置于移动终端240中,移动终端230与移动终端240是相互独立的具有音频信号处理能力的电子设备,例如可以是手机,可穿戴设备,虚拟现实(virtual reality,VR)设备,或增强现实(augmented reality,AR)设备等等,且移动终端230与移动终端240之间通过无线或有线网络连接为例进行说明。
可选地,移动终端230可以包音频源16、预处理器18、编码器20和信道编码器232,其中,音频源16、预处理器18、编码器20和信道编码器232连接。
可选地,移动终端240可以包括信道解码器242、解码器30、音频后处理器32和扬声设备34,其中,信道解码器242、解码器30、音频后处理器32和扬声设备34连接。
移动终端230通过音频源16获取到音频信号后,通过预处理器18对该音频进行预处理,之后通过编码器20对该音频信号进行编码,得到编码码流;然后,通过信道编码器232对编码码流进行编码,得到传输信号。
移动终端230通过无线或有线网络将该传输信号发送至移动终端240。
移动终端240接收到该传输信号后,通过信道解码器242对传输信号进行解码得到编码码流;通过解码器30对编码码流进行解码得到音频信号;通过音频后处理器32对该音频信号进行处理,之后通过扬声设备34播放该音频信号。可以理解的是,移动终端230也可以包括移动终端240所包括的各个功能模块,移动终端240也可以包括移动终端230所包括的功能模块。
示例性地,如图3所示,以编码器20和解码器30设置于同一核心网或无线网中具有音频信号处理能力的网元350中为例进行说明。该网元350可以实现转码,例如,将其他音频编码器(非多声道编码器)的编码码流转换为多声道编码器的编码码流。该网元350可以是无线接入网或核心网的媒体网关、转码设备、或媒体资源服务器等。
可选地,网元350包括信道解码器351、其他音频解码器352、编码器20和信道编码器353。其中,道解码器351、其他音频解码器352、编码器20和信道编码器353连接。
信道解码器351接收到其它设备发送的传输信号后,对该传输信号进行解码得到第一编码码流;通过其他音频解码器352对第一编码码流进行解码得到音频信号;通过编码器20对该音频信号进行编码,得到第二编码码流;通过信道编码器353对该第二编码码流进行编码得到传输信号。即实现将第一编码码流转码为第二编码码流。
其中,其它设备可以是具有音频信号处理能力的移动终端;或者,也可以是具有音频信号处理能力的其它网元,本实施例对此不作限定。
可选地,本申请实施例中可以将安装有编码器20的设备称为音频编码设备,在实际实现时,该音频编码设备也可以具有音频解码功能,本申请实施对此不作限定。
可选地,本申请实施例中可以将安装有解码器30的设备称为音频解码设备,在实际实现时,该音频解码设备也可以具有音频编码功能,本申请实施对此不作限定。
上述编码器可以执行本申请实施例的音频信号编码方法,以根据音频信号的功率谱比值,确定音频信号的音调成分信息,基于该音调成分信息获取编码码流,由于该功率谱比值是功率谱与平均功率谱的比值,其可以更好的反映信号特性,从而可以准确获取音调成分信息,以便解码端根据该音调成分信息可以更准确的重建该音频信号,提升编码质量。
例如,上述编码器或编码器内部的核心编码器获取音频信号的当前帧,根据该当前帧的至少部分信号的至少一个频率区域的至少一个频点的功率谱比值,获取编码参数,该编码参数用于表示该至少部分信号的音调成分信息,该音调成分信息包括音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息中至少一项。对编码参数进行码流复用,获取编码码流。其具体实施方式可以参见下述图4所示实施例的具体解释说明。
图4为本申请实施例的一种音频信号编码方法的流程图,本申请实施例的执行主体可以是上述编码器或编码器内部的核心编码器,如图4所示,本实施例的方法可以包括:
步骤101、获取音频信号的当前帧。
其中,当前帧可以是音频信号中的任意一个帧。换言之,可以对音频信号中的任意一个帧或每一个帧进行如本申请实施例的步骤101至步骤103的处理。
步骤102、根据当前帧的至少部分信号的当前频率区域的当前频点的功率谱比值获取编码参数。
该编码参数用于表示该至少部分信号的音调成分信息,该音调成分信息可以包括音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息中至少一项,该当前频点的功率谱比值为该当前频点的功率谱的值与该当前频率区域的功率谱的平均值的比值。该功率谱的平均值也可以称为平均功率谱。
对当前帧的至少部分信号进行解释说明。当前帧的至少部分信号,可以是该当前帧的高频带信号、或该当前帧的低频带信号、或该当前帧的全频带信号、或该当前帧的一个或多个频率区域的信号,还可以是高频带信号中的部分信号,例如,高频带信号中的一个或多个频率区域的信号,还可以是低频带信号中的部分信号,例如,低频带信号中的一个或多个频率区域的信号。该高频信号和低频带信号的具体解释说明可以参见下述图5所示实施例的步骤201的解释说明。
该至少部分信号的当前频率区域可以是该至少部分信号中的任意一个频率区域。该当前频点可以是该当前频率区域中的任意一个频点。
一种可实现方式,可以根据当前频点的功率谱比值在当前频率区域进行峰值搜索,以获取当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项。根据当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,获取编码参数。该峰值可以是功率谱比值峰值或功率谱峰值。功率谱比值峰值与功率谱峰值对应同一频点,功率谱比值峰值能够指示功率谱峰值。
在一些实施例中,本申请实施例涉及的峰值还可以是能量谱峰值或能量谱比值峰值。该能量谱比值峰值与能量谱峰值对应同一频点,因此能量谱比值峰值能够指示能量谱峰值。
由于能量谱/功率谱的动态范围较大,因此使用功率谱比值/能量谱比值能够提高搜索效率。
换言之,本申请实施例中的功率谱比值可以替换为能量谱比值,能量谱比值是当前频率区域内频点的能量与该当前频率区域的平均能量的比值。例如,据该当前帧的至少部分信号的至少一个频率区域的至少一个频点的能量谱比值,获取编码参数。
步骤103、对该编码参数进行码流复用,获取编码码流。
该编码码流可以是载荷码流。载荷码流中可以携带音频信号的各个帧的具体信息,例如,可以携带上述各个帧的音调成分信息。
在一些实施例中,该编码码流还可以包括配置码流,该配置码流中可以携带音频信号中各个帧共用的配置信息。载荷码流和配置码流可以是相互独立的码流,也可以包括于同一码流中,即载荷码流和配置码流可以是同一码流中的不同部分。
编码器将编码码流发送至解码器,解码器对该编码码流进行码流解复用,从而获取该编码参数,进而准确获取该音频信号的当前帧。
本实施例,通过音频信号的当前帧的至少部分信号的功率谱比值,获取该至少部分信号的音调成分信息,基于该音调成分信息获取编码码流,由于该功率谱比值是功率谱的值与功率谱的平均值的比值,其可以更好的反映信号特性,从而可以准确获取音调成分信息,以便解码端根据该音调成分信息可以更准确的重建该当前帧的至少部分信号,进而准确获取该音频信号的当前帧,提升编码质量。
下面采用高频带信号的功率谱比值,获取音调成分信息的实施例对本申请实施例的音频信号编码方法进行举例解释说明。
图5为本申请实施例的一种音频信号编码方法的流程图,本申请实施例的执行主体可以是上述编码器或编码器内部的核心编码器,如图5所示,本实施例的方法可以包括:
步骤201、获取音频信号的当前帧,该当前帧包括第一部分信号和第二部分信号,该第一部分信号的频率高于该第二部分信号的频率。
其中,当前帧可以是音频信号中的任意一个帧,该第一部分信号也可以称为高频带信号,该第二部分信号也可以称为低频带信号。其中,当前帧中高频带信号和低频带信号的划分可以通过频带阈值确定。该当前帧中高于该频带阈值的部分为高频带信号,低于该频带阈值的部分为低频带信号。对于频带阈值的确定可以根据传输带宽、编码器和解码器的数据处理能力来确定,此处不做具体限定。
例如,在当前帧为0-8khz的宽带信号时,该频带阈值可以为4khz。在当前帧为0-16khz的超宽带信号时,该频带阈值可以为8khz。
步骤202、根据该第一部分信号和该第二部分信号获取第一编码参数。
该第一编码参数用于解码端重建音频信号的当前帧。示例性的,该第一编码参数可以包括:时域噪声整形参数、频域噪声整形参数、频谱量化参数、或频带扩展信息等中任意一项或其组合。
以频带扩展信息为例,该频带扩展信息的确定,可以是以频率区域(tile)为单位进行,也可以是以频带(SFB)为单位进行。换言之,第一编码参数中包含的频带扩展信息,可以是一个或多个频率区域(tile)对应的频带扩展信息,或者,一个或多个频带(SFB)对应一个频带扩展信息,还可以既包括频率区域(tile)对应的频带扩展信息也包括频带(SFB)对应一个频带扩展信息。
频带扩展信息对应的频带扩展上限可以是在获取频带扩展信息的过程中确定下来,或者也可以是通过预先设定或者查表的方式得到的。
同样,频带扩展信息对应的频带扩展的频率区域数量也可以是在获取频带扩展信息的过程中确定下来,或者通过预先设定、查表的方式得到的。
频带扩展信息对应的频带扩展上限可以是频带扩展的最高频率、最高频点序号、最高频带序号、或最高频率区域序号中的一个或多个。
例如,在编码的过程中,可以将高频带划分成K个频率区域(tile),每一个频率区域内划分为N个频带(SFB),以频率区域(tile)或频带(SFB)为粒度获取频带扩展信息。或者,将高频带划分成K个频率区域(tile),每一个频率区域内划分为一个或多个频带(SFB),再将每个带又划分为一个或多个子带,以频率区域(tile)或频带(SFB)或子带为粒度获取参数,例如,频谱量化参数。
步骤203、根据第一部分信号的功率谱比值,获取第二编码参数,该第二编码参数用于表示该第一部分信号的音调成分信息,该音调成分信息包括音调成分的位置信息、数量、幅度或能量中至少一项。
该第二编码参数用于解码端重建该第一部分信号,即重建该当前帧的高频带信号。该第二编码参数可以包括当前帧的高频带参数,该高频带参数可以包括该高频带信号的音调成分信息。高频带信号对应的高频带包括至少一个频率区域,一个频率区域包括至少一个子带。该当前帧的高频带参数可以包括一个或多个频域区域的高频带参数,即一个或多个频率区域的音调成分信息。需要获取高频带参数的频率区域的数量可以是预先给定的,也可以是根据具体算法计算得到的,还可以从码流中获取,本申请实施例不做限定。
根据高频带信号获取当前帧的第二编码参数的过程,可以按照高频带信号对应的高频带的频率区域划分和/或子带划分来进行。
本申请实施例可以根据该第一部分信号(高频带信号)的功率谱比值,确定出该高频带信号的峰值,基于该峰值确定音调成分,根据该音调成分的位置信息、数量信息、幅度信息或能量信息中至少一项,获取该第二编码参数。
该高频带信号的功率谱比值为高频带信号的功率谱与高频带信号所在频率区域的功率谱的平均值的比值。例如,该高频带信号的功率谱比值包括该高频带信号的至少一个频率区域的功率谱与平均功率谱的比值,该平均功率谱为该高频带信号的至少一个频率区域的平均功率谱。
步骤204、对第一编码参数和第二编码参数进行码流复用,获取编码码流。
编码器将编码码流发送至解码器,解码器对该编码码流进行码流解复用,从而获取该第一编码参数和第二编码参数,从而准确获取该音频信号的当前帧。该编码码流的具体解释说明可以参见上述步骤103的编码码流的解释说明,此处不再赘述。
本实施例,通过音频信号的高频带信号的功率谱比值,获取高频带信号的音调成分信息,基于该音调成分信息获取编码码流,由于该功率谱比值是功率谱与平均功率谱的比值,其可以更好的反映信号特性,从而可以准确获取音调成分信息,以便解码端根据该音调成分信息可以更准确的重建该高频带信号,进而准确获取该音频信号,提升编码质量。
图6为本申请实施例的另一种音频信号编码方法的流程图,本申请实施例的执行主体可以是上述编码器或编码器内部的核心编码器,本实施例为上述图5所示实施例的一种具体实现方式,如图6所示,本实施例的方法可以包括:
步骤301、获取音频信号的当前帧,该当前帧包括高频带信号和低频带信号。
步骤302、根据该高频带信号和该低频带信号获取第一编码参数。
该高频带信号包括至少一个频率区域的高频带信号。其中,步骤301和步骤302的具体解释说明可以参见图5所示实施例的步骤201和步骤202,此处不再赘述。
步骤303、根据至少一个频率区域的高频带信号,获取该频率区域的高频带信号的功率谱比值。
示例性的,以一个频率区域(例如,当前频率区域,该当前频率区域可以是该高频带信号中的任意一个频率区域)为例进行解释说明,对每个频域区域可以执行相同操作。根据该频率区域的高频带信号,获取该频率区域的高频带信号的功率谱。该高频带信号的功率谱可以包括该频率区域的各个频点的功率谱。根据该频率区域的高频带信号的功率谱,确定频率区域的平均功率谱。根据该频率区域的高频带信号的功率谱和该频率区域的平均功率谱,确定该频率区域的高频信号的功率谱比值。该功率谱比值为该频率区域的高频带信号的功率谱除以该频率区域的平均功率谱。
例如,可以通过下述公式(1)计算一个频率区域(tile)的平均功率谱。
其中powerSpectrum为该频率区域的功率谱,tile_width为频率区域(tile)的宽度(频点数),mean_powerspec为平均功率谱,也称为功率谱平均值。
可以通过下述公式(2)计算一个频率区域(tile)内每个频点功率谱与平均功率谱的比值。功率谱比值可以用以10为底的对数表示:
其中:tile[p]为第p个tile的起始频点,sb为频点序号,peak_ratio表示功率谱比值,powerSpectrum[sb]为频点sb的功率谱,mean_powerspec为频点sb所在频率区域的平均功率谱。A为保证对数运算有效的极小值,例如A=1.0e-18。
对于频点序号,本申请实施例以频域区域内的频点的频点序号从低频(左)到高频(右)递增为例进行举例说明。
步骤304、根据该频率区域的高频带信号的功率谱比值,在该频率区域内进行峰值搜索,获取该频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项。
本申请实施例根据功率谱比值进行峰值搜索,由于功率谱比值可以更好的反映信号特性,所以使得搜索得到的峰值更加准确,进而基于该峰值确定音调成分,可以使得音调成分更为准确,从而准确获取音调成分信息,以便解码端根据该音调成分信息可以更准确的重建该高频带信号。
进行峰值搜索的范围可以是该频率区域中除两端频点的范围,也可以是该频率区域内的部分区域,还可以是该频率区域的全部频点,其可以根据需求进行灵活设置。对于进行峰值搜索的范围是该频率区域的全部频点,在一些实施例中,涉及需要比较频点与左邻频点的功率谱比值时,可以忽略该频率区域的最左频点,即不对该最左频点进行峰值搜索。在一些实施例中,涉及需要比较频点与右邻频点的功率谱比值时,可以忽略该频率区域的最右频点,即不对该最右频点进行峰值搜索。
示例性的,该峰值满足以下条件中至少一项,该条件用于搜索该高频带信号中的峰值。
该条件包括可以包括以下(1)至(6)项。
(1)、峰值所在频点的功率谱比值大于或等于第一预设阈值。
换言之,高频带信号的峰值所在频点的功率谱比值大于或等于第一预设阈值,该第一预设阈值可以根据需求进行灵活设置。以一个频率区域为例,在该频率区域的各个频点中搜索功率谱比值大于或等于第一预设阈值的频点,该频点即为该频率区域的峰值所在频点。
(2)、峰值所在频点的功率谱比值大于该峰值所在频点的左邻频点的功率谱比值。
换言之,高频带信号的峰值所在频点的功率谱比值大于峰值所在频点的左邻频点的功率谱比值。该左邻频点为与该峰值所在频点相邻,且频点序号小于该峰值所在频点。以峰值所在频点的频点序号为sb为例,该峰值所在频点的左邻频点的频点序号为sb-1。当然可以理解的,该峰值所在频点的左邻频点的频点序号也可以为sb-2、或sb-3等,其可以根据需求进行合理设置。该峰值所在频点的左邻频点也可以是多个频点,例如,该峰值所在频点的左邻频点的频点序号包括sb-1、sb-2以及sb-3。
(3)、峰值所在频点的功率谱比值大于该峰值所在频点的右邻频点的功率谱比值。
换言之,高频带信号的峰值所在频点的功率谱比值大于峰值所在频点的右邻频点的功率谱比值。该右邻频点为与该峰值所在频点相邻,且频点序号大于该峰值所在频点。以峰值所在频点的频点序号为sb为例,该峰值所在频点的右邻频点的频点序号为sb+1。当然可以理解的,该峰值所在频点的右邻频点的频点序号也可以为sb+2、或sb+3等,其可以根据需求进行合理设置。该峰值所在频点的右邻频点也可以是多个频点,例如,该峰值所在频点的右邻频点的频点序号包括sb+1、sb+2以及sb+3。
(4)、峰值所在频点的功率谱比值大于该峰值所在频点的左邻区域的功率谱比值的平均值,该左邻区域包括频点序号小于该峰值所在频点的频点序号的N_neighbor_l个频点,N_neighbor_l为任意自然数。
换言之,高频带信号的峰值所在频点的功率谱比值大于峰值所在频点的左邻区域的功率谱比值的平均值。或者高频带信号的峰值所在频点的功率谱比值与该峰值所在频点的左邻区域的功率谱比值的平均值的差大于第二预设阈值,第二预设阈值可以根据需求进行灵活设置。该左邻区域包括频点序号小于该峰值所在频点的频点序号的N_neighbor_l个频点。以峰值所在频点的频点序号为sb为例,该峰值所在频点的左邻区域所包括的频点序号为sb-N_neighbor_l至sb-1。
(5)、峰值所在频点的功率谱比值大于该峰值所在频点的右邻区域的功率谱比值的平均值,该右邻区域包括频点序号大于该峰值所在频点的频点序号的N_neighbor_r个频点,N_neighbor_r为任意自然数。
换言之,高频带信号的峰值所在频点的功率谱比值大于峰值所在频点的右邻区域的功率谱比值的平均值。或者高频带信号的峰值所在频点的功率谱比值与该峰值所在频点的右邻区域的功率谱比值的平均值的差大于第三预设阈值,第三预设阈值可以根据需求进行灵活设置。该右邻区域包括频点序号大于该峰值所在频点的频点序号的N_neighbor_r个频点。以峰值所在频点的频点序号为sb为例,该峰值所在频点的右邻区域所包括的频点序号为sb+1至sb+N_neighbor_r。
(6)、峰值所在频点的功率谱比值大于该峰值所在频率区域的功率谱比值的平均值。
换言之,高频带信号的峰值所在频点的功率谱比值大于该峰值所在频率区域的功率谱比值的平均值。即该峰值所在频点为功率谱比值高于其所在频率区域的功率谱比值的平均值的频点。或者高频带信号的峰值所在频点的功率谱比值与该峰值所在频率区域的功率谱比值的平均值的差大于第四预设阈值,第四预设阈值可以根据需求进行灵活设置。
当然可以理解,的上述条件还可以包括其他项,本申请实施例以上述(1)至(6)项进行举例说明,本申请实施例不以此作为限定。
一种可实现方式,可以根据该频率区域的高频带信号的功率谱比值,确定该频率区域的高频带信号的功率谱比值的平均值、该频率区域的高频带信号的各个频点的左邻区域的功率谱比值的平均值或该频率区域的高频带信号的各个频点的右邻区域的功率谱比值的平均值中至少一项。根据该频率区域的高频带信号的各个频点的功率谱比值、各个频点的左邻频点的功率谱比值、各个频点的右邻频点的功率谱比值、该频率区域的高频带信号的功率谱比值的平均值、该频率区域的高频带信号的各个频点的左邻区域的功率谱比值的平均值或该频率区域的高频带信号的各个频点的右邻区域的功率谱比值的平均值中至少一项,在该频率区域内进行峰值搜索,获取该频率区域的峰值的数量、峰值的位置信息、峰值的幅度或峰值的能量中至少一项。
例如,判断该频率区域的高频带信号的各个频点的功率谱比值是否满足以下至少一项:大于或等于第一预设阈值;或者,大于该频点的左邻频点的功率谱比值;或者,大于该频点的右邻频点的功率谱比值;或者,大于该频点的左邻区域的功率谱比值的平均值,该左邻区域包括频点序号小于该频点的频点序号的N_neighbor_l个频点,N_neighbor_l为任意自然数;或者,大于该频点的右邻区域的功率谱比值的平均值,该右邻区域包括频点序号大于该频点的频点序号的N_neighbor_r个频点,N_neighbor_r为任意自然数;或者,大于该频率区域的功率谱比值的平均值;或者,该频点的功率谱比值与该频点的左邻区域的功率谱比值的平均值的差大于第二预设阈值;或者,该频点的功率谱比值与该频点的右邻区域的功率谱比值的平均值的差大于第三预设阈值;或者,该频点的功率谱比值与该频点所在频率区域的功率谱比值的平均值的差大于第四预设阈值。当满足时,确定该频点为峰值对应的频点,获取该频率区域的峰值的数量、峰值的位置信息、峰值的幅度或峰值的能量中至少一项。
再例如,判断该频率区域的高频带信号的各个频点的功率谱比值是否满足以下所有项:大于或等于第一预设阈值;大于该频点的左邻频点的功率谱比值;大于该频点的右邻频点的功率谱比值;该频点的功率谱比值与该频点的左邻区域的功率谱比值的平均值的差大于第二预设阈值,该左邻区域包括频点序号小于该频点的频点序号的N_neighbor_l个频点,N_neighbor_l为任意自然数;该频点的功率谱比值与该频点的右邻区域的功率谱比值的平均值的差大于第三预设阈值,该右邻区域包括频点序号大于该频点的频点序号的N_neighbor_r个频点,N_neighbor_r为任意自然数;该频点的功率谱比值与该频点所在频率区域的功率谱比值的平均值的差大于第四预设阈值。当满足时,确定该频点为峰值对应的频点,获取该频率区域的峰值的数量、峰值的位置信息、峰值的幅度或峰值的能量中至少一项。
以峰值搜索对[1,tile_width-2]范围内的频点进行,第一预设阈值为2.0f,第二预设阈值为12,第三预设阈值为12,第四预设阈值为15为例,tile_width为频率区域的宽度。判断包含以下条件:
条件1(Cond1):peak_ratio[sb]≥2.0f;
条件2(Cond2):peak_ratio[sb]>peak_ratio[sb-1]且peak_ratio[sb]>peak_ratio[sb+1];
条件3(Cond3):peak_ratio[sb]>neighbor_l+12;
条件4(Cond4):peak_ratio[sb]>neighbor_r+12;
条件5(Cond5):peak_ratio[sb]>mean_ratio+25;
满足上述所有条件的频点为峰值对应的频点。其中,mean_ratio,neighbor_l,neighbor_r的具体解释说明,参见下述公式(3)至(5)。
又例如,判断该频率区域的高频带信号的各个频点的功率谱比值是否满足以下所有项:大于或等于第一预设阈值;大于该频点的左邻频点的功率谱比值;大于该频点的右邻频点的功率谱比值。当满足时,确定该频点为峰值对应的频点,获取该频率区域的峰值的数量、峰值的位置信息、峰值的幅度或峰值的能量中至少一项。
峰值搜索的判断条件还可以是其他条件,或上述各项条件的组合,本申请实施例以上述几种判断方式为例进行举例说明,并不以此作为限制。
峰值搜索可以是对整个频率区域内的各个频点进行,也可以是只在频率区域内不包含起始频点和截止频点的范围内进行,还可以是在频率区域内预定义的峰值搜索范围内进行。不同的频率区域进行峰值搜索的范围可以相同也可以不同。
峰值的幅度信息或峰值的能量信息可以包括峰值的功率谱比值,峰值的功率谱,峰值的能量,峰值的能量比值。能量比值为频率区域内信号频谱的能量与平均能量的比值。平均能量为频率区域内信号频谱能量的平均值。
步骤305、根据该频率区域的峰值的数量、峰值的位置信息、峰值的幅度或峰值的能量中至少一项,获取该第二编码参数。
可选的,在一些实施例中,还可以在满足上述条件的频点中选取部分频点作为筛选后的峰值所在频点,基于筛选后的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,确定音调成分的数量信息、位置信息、幅度信息或能量信息中至少一项,根据音调成分的数量信息、位置信息、幅度信息或能量信息中至少一项,获取第二编码参数。
例如,一种筛选峰值的方式,该高频带信号的峰值包括N个峰值,本申请实施例还可以基于该N个峰值的功率谱比值或能量或幅度,选取其中的M个峰值,作为筛选后的峰值。N和M为任意正整数,且N≥M。举例而言,可以基于该N个峰值的能量或幅度,选取该N个峰值的能量或幅度较大的M个峰值,也即该M个峰值的能量或幅度大于N个峰值中除该M个峰值之外的峰值的能量或幅度。
音调成分的幅度信息或音调成分的能量信息可以包括音调成分的功率谱比值,音调成分的功率谱,音调成分的能量,音调成分的能量比值。能量比值为频率区域内信号频谱的能量与平均能量的比值。平均能量为频率区域内信号频谱能量的平均值。
步骤306、对第一编码参数和第二编码参数进行码流复用,获取编码码流。
编码器将编码码流发送至解码器,解码器对该编码码流进行码流解复用,从而获取该第一编码参数和第二编码参数,从而准确获取该音频信号的当前帧。
本实施例,通过音频信号的高频带信号的功率谱比值,进行峰值搜索,由于功率谱比值可以更好的反映信号特性,所以使得搜索得到的峰值更加准确,进而基于该峰值确定音调成分,可以使得音调成分更为准确,从而准确获取音调成分信息,以便解码端根据该音调成分信息可以更准确的重建该高频带信号,进而准确获取该音频信号,提升编码质量。
图7为本申请实施例的另一种音频信号编码方法的流程图,本申请实施例的执行主体可以是上述编码器或编码器内部的核心编码器,本实施例对上述图6所示实施例的步骤304进行具体解释说明,本实施例以一个频率区域做举例说明,如图7所示,本实施例的方法可以包括:
步骤401、根据频率区域的高频带信号的功率谱比值,获取功率谱比值的平均值参数。
其中,功率谱比值的平均值参数包括功率谱比值的第一平均值参数、功率谱比值的第二平均值参数、或功率谱比值的第三平均值参数中的至少一种。
该第一平均值参数为频率区域中的所有频点的功率谱比值的平均值。换言之,该第一平均值参数与频率区域对应,例如,对应一个频率区域。
以上述公式(1)和公式(2)为例,对本实施例的第一平均值参数进行解释说明,可以通过下述公式(3)计算第一平均值参数mean_ratio。
其中,tile_width为tile宽度,tile[p]为第p个tile的起始频点,sb属于[tile[p],tile[p]+tile_width-1]。
该第二平均值参数为频点的左邻区域内的功率谱比值的平均值。其中,左邻区域是指频点序号小于该频点的频点序号的N_neighbor_l个频点。换言之,该第二平均值参数与频率区域中的各个频点对应,例如,一个第二平均值参数对应一个频点。
以上述公式(1)和公式(2)为例,对本实施例的第二平均值参数进行解释说明,可以通过下述公式(4)计算第二平均值参数neighbor_l。
其中,N_neighbor_l是左邻区域的点数,例如取3。sb为频点序号,sb的左邻区域包括[sb-N_neighbor_l,sb-1]内的频点。
该第三平均值参数为频点的右邻区域内的功率谱比值的平均值。其中,右邻区域是指频点序号大于该频点的频点序号的N_neighbor_r个频点。换言之,该第三平均值参数与频率区域中的各个频点对应,例如,一个第三平均值参数对应一个频点。
以上述公式(1)和公式(2)为例,对本实施例的第三平均值参数进行解释说明,可以通过下述公式(5)计算第三平均值参数neighbor_r。
其中,N_neighbor_r是右邻区域的点数,例如取3。sb为频点序号,sb的右邻区域包括[sb+1,sb+N_neighbor_r]内的频点。
步骤402、根据功率谱比值和功率谱比值的平均值参数,获取第一判断标志、第二判断标志、第三判断标志、第四判断标志或第五判断标志中至少一项。
对在频率区域内的每一个频点,获取第一判断标志、第二判断标志、第三判断标志、第四判断标志、或第五判断标志中至少一项。
以一个频点进行示例说明,可以根据该频点的功率谱比值和第一预设阈值,确定第一判断标志。若该频点的功率谱比值大于该第一预设阈值,则第一判断标志为1,否则第一判断标志为0。第一预设阈值可以是大于零的实数,其可以根据需求进行灵活设置。例如,该第一预设阈值为2.0,即判断该频点的功率谱比值是否满足条件1(Cond1)。Cond1:peak_ratio[sb]≥2.0f。当满足条件1(Cond1)时,第一判断标志为1,否则,第一判断标志为0。
根据该频点的功率谱比值,以及该频点相邻的左、右频点的功率谱比值,确定第二判断标志。若该频点的功率谱比值均大于该频点相邻的左、右频点的功率谱比值,则第二判断标志为1,否则第二判断标志为0。例如,判断该频点的功率谱比值是否满足条件2(Cond2)。Cond2:peak_ratio[sb]>peak_ratio[sb-1]且peak_ratio[sb]>peak_ratio[sb+1]。当满足条件2(Cond2)时,第二判断标志为1,否则,第二判断标志为0。
根据该频点的功率谱比值以及该第二平均值参数,确定第三判断标志。若该频点的功率谱比值大于该第二平均值参数,或者该频点的功率谱比值与该第二平均值参数的差大于第二预设阈值,则第三判断标志为1,否则第三判断标志为0。例如,该第二预设阈值为12,判断该频点的功率谱比值是否满足条件3(Cond3)。Cond3:peak_ratio[sb]>neighbor_l+12,当满足条件3(Cond3)时,第三判断标志为1,否则,第三判断标志为0。
根据该频点的功率谱比值以及该第三平均值参数,确定第四判断标志。若该频点的功率谱比值大于该第三平均值参数,或者该频点的功率谱比值与该第三平均值参数的差大于第三预设阈值,则第四判断标志为1,否则第四判断标志为0。例如,该第三预设阈值为12,判断该频点的功率谱比值是否满足条件4(Cond4)。Cond4:peak_ratio[sb]>neighbor_r+12,当满足条件4(Cond4)时,第四判断标志为1,否则,第四判断标志为0。
根据该频点的功率谱比值以及该第一平均值参数,确定第五判断标志。该频点的功率谱比值大于该第一平均值参数,或者该频点的功率谱比值与该第一平均值参数的差大于第四预设阈值,则第五判断标志为1,否则第五判断标志为0。例如,该第三预设阈值为25,判断该频点的功率谱比值是否满足条件5(Cond5)。Cond5:peak_ratio[sb]>mean_ratio+25,当满足条件4(Cond4)时,第五判断标志为1,否则,第五判断标志为0。
步骤403、根据第一判断标志、第二判断标志、第三判断标志、第四判断标志、第五判断标志中至少一项,进行峰值搜索,获得该频率区域的峰值的数量、峰值的位置信息、峰值的幅度或峰值的能量中至少一项。
例如,对频率区域内的每一个频点进行峰值搜索,若该频点对应的第一判断标志、第二判断标志、第三判断标志、第四判断标志或第五判断标志中至少一项为1,则该频点为峰值对应的频点,该频点的频点序号为峰值的位置信息,该频点的功率谱比值为峰值的幅度或能量信息,频率区域内所有满足条件的频点的数量为该频率区域的峰值的数量。
再例如,对频率区域内的每一个频点进行峰值搜索,若该频点对应的第一判断标志、第二判断标志、第三判断标志、第四判断标志和第五判断标志中均为1,则该频点为峰值对应的频点,该频点的频点序号为峰值的位置信息,该频点的功率谱比值为峰值的幅度或能量信息,频率区域内所有满足条件的频点的数量为该频率区域的峰值的数量。即峰值所在频点的能量大于第一预设阈值,大于左邻频点的能量,大于右邻频点的能量,大于左邻区域的能量,大于右邻区域的能量,且大于平均能量。
又例如,对频率区域内的每一个频点进行峰值搜索,若该频点对应的第一判断标志和第二判断标志均为1,则该频点为峰值对应的频点,该频点的频点序号为峰值的位置信息,该频点的功率谱比值为峰值的幅度或能量信息,频率区域内所有满足条件的频点的数量为该频率区域的峰值的数量。
满足如上条件的峰值作为音调成分的候选,其峰值位置和峰值功率谱比值分别存储在峰值标识(peak_idx)和峰值数值(peak_val)数组中,峰值数量为peak_cnt。
本实施例,根据频率区域的高频带信号的功率谱比值,获取功率谱比值的平均值参数,通过功率谱比值的平均值参数,可以对频率区域的每一个频点进行峰值搜索,以确定频率区域内的峰值,进而基于峰值确定音调成分信息。由于该功率谱比值是功率谱与平均功率谱的比值,其可以更好的反映信号特性,从而可以准确获取音调成分信息,以便解码端根据该音调成分信息可以更准确的重建该高频带信号,进而准确获取该音频信号,提升编码质量。
基于与上述方法相同的发明构思,本申请实施例还提供了一种音频信号编码装置,该音频信号编码装置可以应用于音频编码器。
图8为本申请实施例的一种音频信号编码装置的结构示意图,如图8所示,该音频信号编码装置800包括:获取单元801、编码参数确定模块802、以及码流复用模块803。
该获取模块801,用于获取音频信号的当前帧。
该编码参数确定模块802,用于根据该当前帧的至少部分信号的当前频率区域的当前频点的功率谱比值,获取编码参数,该编码参数用于表示该至少部分信号的音调成分信息,该音调成分信息包括音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息中至少一项,该当前频点的功率谱比值为该当前频点的功率谱的值与该当前频率区域的功率谱的平均值的比值。
该码流复用模块803,用于对编码参数进行码流复用,获取编码码流。
在一些实施例中,该编码参数确定模块802用于:根据该当前频点的功率谱比值在该当前频率区域进行峰值搜索,以获取该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,该峰值为功率谱峰值或功率谱比值峰值。根据该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,获取该编码参数。
在一些实施例中,该编码参数确定模块802用于:根据该当前频点的功率谱比值、该当前频点的左邻频点的功率谱比值、该当前频点的右邻频点的功率谱比值、该当前频率区域的功率谱比值的平均值、该当前频点的左邻区域的功率谱比值的平均值和该当前频点的右邻区域的功率谱比值的平均值,在该当前频率区域内进行峰值搜索。
其中,该当前频点的左邻区域包括频点序号小于当前频点的频点序号的N_neighbor_l个频点,N_neighbor_l为任意自然数,该当前频点的右邻区域包括频点序号大于当前频点的频点序号的N_neighbor_r个频点,N_neighbor_r为任意自然数。该当前频点的左邻频点是频点序号比当前频点小1的频点,该当前频点的右邻频点是频点序号比当前频点大1的频点。
在一些实施例中,该编码参数确定模块802用于:判断当前频点的功率谱比值是否满足以下条件:大于或等于该第一预设阈值;大于该当前频点的左邻频点的功率谱比值;大于该当前频点的右邻频点的功率谱比值;当前频点的功率谱比值与该当前频点的左邻区域的功率谱比值的平均值的差大于第二预设阈值;当前频点的功率谱比值与该当前频点的右邻区域的功率谱比值的平均值的差大于第三预设阈值;当前频点的功率谱比值与该当前频率区域的功率谱比值的平均值的差大于第四预设阈值。当该当前频点的功率谱比值满足所述条件时,确定该当前频点为峰值对应的频点。
在一些实施例中,该编码参数确定模块802用于:判断当前频点的功率谱比值是否满足以下条件中至少一项:大于或等于第一预设阈值;或者,大于该当前频点的左邻频点的功率谱比值;或者,大于该当前频点的右邻频点的功率谱比值;或者,大于当前频点的左邻区域的功率谱比值的平均值;或者,大于当前频点的右邻区域的功率谱比值的平均值;或者,大于当前频率区域的功率谱比值的平均值。当满足该条件中至少一项时,确定该当前频点为峰值对应的频点。
在一些实施例中,该编码参数确定模块802用于:判断该当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于该当前频点的左邻频点的功率谱比值;大于该当前频点的右邻频点的功率谱比值。当满足该条件时,确定该当前频点为峰值对应的频点。
在一些实施例中,该编码参数确定模块802用于:根据该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,确定音调成分的数量信息、音调成分的位置信息、音调成分的幅度信息或音调成分的能量信息中至少一项。根据该音调成分的数量信息、该音调成分的位置信息、该音调成分的幅度信息或该音调成分的能量信息中至少一项,获取该编码参数。
在一些实施例中,该至少部分信号包括该当前帧的高频带信号。
需要说明的是,上述获取模块801、编码参数确定模块802、以及码流复用模块803可应用于编码端的音频信号编码过程。
还需要说明的是,获取模块801、编码参数确定模块802、以及码流复用模块803的具体实现过程可参考上述方法实施例的详细描述,为了说明书的简洁,这里不再赘述。
基于与上述方法相同的发明构思,本申请实施例提供一种音频信号编码器,音频信号编码器用于编码音频信号,包括:如执行如上述一个或者多个实施例中所述的编码器,其中,音频信号编码装置用于编码生成对应的码流。
基于与上述方法相同的发明构思,本申请实施例提供一种用于编码音频信号的设备,例如,音频信号编码设备,请参阅图9所示,音频信号编码设备900包括:
处理器901、存储器902以及通信接口903(其中音频信号编码设备900中的处理器901的数量可以一个或多个,图9中以一个处理器为例)。在本申请的一些实施例中,处理器901、存储器902以及通信接口903可通过总线或其它方式连接,其中,图9中以通过总线连接为例。
存储器902可以包括只读存储器和随机存取存储器,并向处理器901提供指令和数据。存储器902的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory,NVRAM)。存储器902存储有操作系统和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。操作系统可包括各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。
处理器901控制音频编码设备的操作,处理器901还可以称为中央处理单元(central processing unit,CPU)。具体的应用中,音频编码设备的各个组件通过总线系统耦合在一起,其中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器901中,或者由处理器901实现。处理器901可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器901中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器901可以是通用处理器、数字信号处理器(digital signal processing,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器902,处理器901读取存储器902中的信息,结合其硬件完成上述方法的步骤。
通信接口903可用于接收或发送数字或字符信息,例如可以是输入/输出接口、管脚或电路等。举例而言,通过通信接口903发送上述编码码流。
基于与上述方法相同的发明构思,本申请实施例提供一种音频编码设备,包括:相互耦合的非易失性存储器和处理器,所述处理器调用存储在所述存储器中的程序代码以执行如上述一个或者多个实施例中所述的音频信号编码方法的部分或全部步骤。
基于与上述方法相同的发明构思,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储了程序代码,其中,所述程序代码包括用于执行如上述一个或者多个实施例中所述的音频信号编码方法的部分或全部步骤的指令。
基于与上述方法相同的发明构思,本申请实施例提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如上述一个或者多个实施例中所述的音频信号编码方法的部分或全部步骤。
以上各实施例中提及的处理器可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。处理器可以是通用处理器、数字信号处理器(digital signalprocessor,DSP)、特定应用集成电路(application-specific integrated circuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。本申请实施例公开的方法的步骤可以直接体现为硬件编码处理器执行完成,或者用编码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
上述各实施例中提及的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-onlymemory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(directrambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (20)
1.一种音频信号编码方法,其特征在于,包括:
获取音频信号的当前帧;
根据所述当前帧的至少部分信号的当前频率区域的当前频点的功率谱比值获取编码参数,所述编码参数用于表示所述至少部分信号的音调成分信息,所述音调成分信息包括音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息中至少一项,所述当前频点的功率谱比值为所述当前频点的功率谱的值与所述当前频率区域的功率谱的平均值的比值;
对所述编码参数进行码流复用,获取编码码流。
2.根据权利要求1所述的方法,其特征在于,所述根据所述至少部分信号的当前频率区域的当前频点的功率谱比值获取编码参数,包括:
根据所述当前频点的功率谱比值在所述当前频率区域进行峰值搜索,以获取所述当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项;所述峰值为功率谱峰值或功率谱比值峰值;
根据所述当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,获取所述编码参数。
3.根据权利要求2所述的方法,其特征在于,所述根据所述当前频点的功率谱比值在所述当前频率区域进行峰值搜索,包括:
根据所述当前频点的功率谱比值、所述当前频点的左邻频点的功率谱比值、所述当前频点的右邻频点的功率谱比值、所述当前频率区域的功率谱比值的平均值、所述当前频点的左邻区域的功率谱比值的平均值和所述当前频点的右邻区域的功率谱比值的平均值,在所述当前频率区域内进行峰值搜索;
其中,所述当前频点的左邻区域包括频点序号小于所述当前频点的频点序号的N_neighbor_l个频点,N_neighbor_l为自然数,所述当前频点的右邻区域包括频点序号大于所述当前频点的频点序号的N_neighbor_r个频点,N_neighbor_r为自然数;
所述当前频点的左邻频点是频点序号比所述当前频点小1的频点,所述当前频点的右邻频点是频点序号比所述当前频点大1的频点。
4.根据权利要求3所述的方法,其特征在于,所述根据所述当前频点的功率谱比值、所述当前频点的左邻频点的功率谱比值、所述当前频点的右邻频点的功率谱比值、所述当前频率区域的功率谱比值的平均值、所述当前频点的左邻区域的功率谱比值的平均值和所述当前频点的右邻区域的功率谱比值的平均值,在所述当前频率区域内进行峰值搜索,包括:
判断所述当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于所述当前频点的左邻频点的功率谱比值;大于所述当前频点的右邻频点的功率谱比值;所述当前频点的功率谱比值与所述当前频点的左邻区域的功率谱比值的平均值的差大于第二预设阈值;所述当前频点的功率谱比值与所述当前频点的右邻区域的功率谱比值的平均值的差大于第三预设阈值;所述当前频点的功率谱比值与所述当前频率区域的功率谱比值的平均值的差大于第四预设阈值;
当满足所述条件时,确定所述当前频点为所述当前频率区域的峰值对应的频点。
5.根据权利要求2所述的方法,其特征在于,所述根据所述当前频点的功率谱比值在所述当前频率区域进行峰值搜索,包括:
判断所述当前频点的功率谱比值是否满足以下条件中至少一项:大于或等于第一预设阈值;或者,大于所述当前频点的左邻频点的功率谱比值;或者,大于所述当前频点的右邻频点的功率谱比值;或者,大于所述当前频点的左邻区域的功率谱比值的平均值;或者,大于所述当前频点的右邻区域的功率谱比值的平均值;或者,大于所述当前频率区域的功率谱比值的平均值;
当所述当前频点的功率谱比值满足所述条件中至少一项时,确定所述当前频点为所述当前频率区域的峰值对应的频点;
其中,所述当前频点的左邻区域包括频点序号小于所述当前频点的频点序号的N_neighbor_l个频点,N_neighbor_l为自然数,所述当前频点的右邻区域包括频点序号大于所述当前频点的频点序号的N_neighbor_r个频点,N_neighbor_r为自然数;
所述当前频点的左邻频点是频点序号比所述当前频点小1的频点,所述当前频点的右邻频点是频点序号比所述当前频点大1的频点。
6.根据权利要求2所述的方法,其特征在于,所述根据所述当前频点的功率谱比值在所述当前频率区域进行峰值搜索,包括:
判断所述当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于所述当前频点的左邻频点的功率谱比值;大于所述当前频点的右邻频点的功率谱比值;
当满足所述条件时,确定所述当前频点为所述当前频率区域的峰值对应的频点;
所述当前频点的左邻频点是频点序号比所述当前频点小1的频点,所述当前频点的右邻频点是频点序号比所述当前频点大1的频点。
7.根据权利要求2至6任一项所述的方法,其特征在于,所述根据所述当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,获取所述编码参数,包括:
根据所述当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,确定音调成分的数量信息、音调成分的位置信息、音调成分的幅度信息或音调成分的能量信息中至少一项;
根据所述音调成分的数量信息、所述音调成分的位置信息、所述音调成分的幅度信息或所述音调成分的能量信息中至少一项,获取所述编码参数。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述至少部分信号包括所述当前帧的高频带信号。
9.一种音频信号编码装置,其特征在于,包括:
获取模块,用于获取音频信号的当前帧;
编码参数确定模块,用于根据所述当前帧的至少部分信号的当前频率区域的当前频点的功率谱比值,获取编码参数,所述编码参数用于表示所述至少部分信号的音调成分信息,所述音调成分信息包括音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息中至少一项,所述当前频点的功率谱比值为所述当前频点的功率谱的值与所述当前频率区域的功率谱的平均值的比值;
码流复用模块,用于对所述编码参数进行码流复用,获取编码码流。
10.根据权利要求9所述的装置,其特征在于,所述编码参数确定模块用于:
根据所述当前频点的功率谱比值在所述当前频率区域进行峰值搜索,以获取所述当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项;所述峰值为功率谱峰值或功率谱比值峰值;
根据所述当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,获取所述编码参数。
11.根据权利要求10所述的装置,其特征在于,所述编码参数确定模块用于:
根据所述当前频点的功率谱比值、所述当前频点的左邻频点的功率谱比值、所述当前频点的右邻频点的功率谱比值、所述当前频率区域的功率谱比值的平均值、所述当前频点的左邻区域的功率谱比值的平均值和所述当前频点的右邻区域的功率谱比值的平均值,在所述当前频率区域内进行峰值搜索;
其中,所述当前频点的左邻区域包括频点序号小于所述当前频点的频点序号的N_neighbor_l个频点,N_neighbor_l为任意自然数,所述当前频点的右邻区域包括频点序号大于所述当前频点的频点序号的N_neighbor_r个频点,N_neighbor_r为任意自然数;
所述当前频点的左邻频点是频点序号比所述当前频点小1的频点,所述当前频点的右邻频点是频点序号比所述当前频点大1的频点。
12.根据权利要求11所述的装置,其特征在于,所述编码参数确定模块用于:
判断所述当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于所述当前频点的左邻频点的功率谱比值;大于所述当前频点的右邻频点的功率谱比值;所述当前频点的功率谱比值与所述当前频点的左邻区域的功率谱比值的平均值的差大于第二预设阈值;所述当前频点的功率谱比值与所述当前频点的右邻区域的功率谱比值的平均值的差大于第三预设阈值;所述当前频点的功率谱比值与所述当前频率区域的功率谱比值的平均值的差大于第四预设阈值;
当满足所述条件时,确定所述当前频点为所述当前频率区域的峰值对应的频点。
13.根据权利要求10所述的装置,其特征在于,所述编码参数确定模块用于:
判断所述当前频点的功率谱比值是否满足以下条件中至少一项:大于或等于第一预设阈值;或者,大于所述当前频点的左邻频点的功率谱比值;或者,大于所述当前频点的右邻频点的功率谱比值;或者,大于所述当前频点的左邻区域的功率谱比值的平均值;或者,大于所述当前频点的右邻区域的功率谱比值的平均值;或者,大于所述当前频率区域的功率谱比值的平均值;
当所述当前频点的功率谱比值满足所述条件中至少一项时,确定所述当前频点为所述当前频率区域的峰值对应的频点;
其中,所述当前频点的左邻区域包括频点序号小于所述当前频点的频点序号的N_neighbor_l个频点,N_neighbor_l为自然数,所述当前频点的右邻区域包括频点序号大于所述当前频点的频点序号的N_neighbor_r个频点,N_neighbor_r为自然数;
所述当前频点的左邻频点是频点序号比所述当前频点小1的频点,所述当前频点的右邻频点是频点序号比所述当前频点大1的频点。
14.根据权利要求11所述的装置,其特征在于,所述编码参数确定模块用于:
判断所述当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于所述当前频点的左邻频点的功率谱比值;大于所述当前频点的右邻频点的功率谱比值;
当满足所述条件时,确定所述当前频点为所述频率区域的峰值对应的频点;
所述当前频点的左邻频点是频点序号比所述当前频点小1的频点,所述当前频点的右邻频点是频点序号比所述当前频点大1的频点。
15.根据权利要求10至14任一项所述的装置,其特征在于,所述编码参数确定模块用于:
根据所述当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,确定音调成分的数量信息、音调成分的位置信息、音调成分的幅度信息或音调成分的能量信息中至少一项;
根据所述音调成分的数量信息、所述音调成分的位置信息、所述音调成分的幅度信息或所述音调成分的能量信息中至少一项,获取所述编码参数。
16.根据权利要求15所述的装置,其特征在于,所述至少部分信号包括所述当前帧的高频带信号。
17.一种音频信号编码装置,其特征在于,包括:相互耦合的非易失性存储器和处理器,所述处理器调用存储在所述存储器中的程序代码以执行如权利要求1至8任一项所述的方法。
18.一种音频信号编解码设备,其特征在于,包括:编码器,所述编码器用于执行如权利要求1至8任一项所述的方法。
19.一种计算机可读存储介质,其特征在于,包括计算机程序,所述计算机程序在计算机上被执行时,使得所述计算机执行权利要求1至8任一项所述的方法。
20.一种计算机可读存储介质,其特征在于,包括根据如权利要求1至8任一项所述的方法获得的编码码流。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010318590.8A CN113539281A (zh) | 2020-04-21 | 2020-04-21 | 音频信号编码方法和装置 |
EP21793658.2A EP4131263A4 (en) | 2020-04-21 | 2021-03-25 | METHOD AND DEVICE FOR AUDIO SIGNAL ENCODING |
KR1020227040562A KR20230002899A (ko) | 2020-04-21 | 2021-03-25 | 오디오 신호 코딩 방법 및 장치 |
BR112022021356A BR112022021356A2 (pt) | 2020-04-21 | 2021-03-25 | Método e aparelho de codificação de sinal de áudio |
PCT/CN2021/083029 WO2021213128A1 (zh) | 2020-04-21 | 2021-03-25 | 音频信号编码方法和装置 |
MX2022013267A MX2022013267A (es) | 2020-04-21 | 2021-03-25 | Método y aparato de codificación de señal de audio. |
US17/969,454 US20230040515A1 (en) | 2020-04-21 | 2022-10-19 | Audio signal coding method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010318590.8A CN113539281A (zh) | 2020-04-21 | 2020-04-21 | 音频信号编码方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113539281A true CN113539281A (zh) | 2021-10-22 |
Family
ID=78093961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010318590.8A Pending CN113539281A (zh) | 2020-04-21 | 2020-04-21 | 音频信号编码方法和装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230040515A1 (zh) |
EP (1) | EP4131263A4 (zh) |
KR (1) | KR20230002899A (zh) |
CN (1) | CN113539281A (zh) |
BR (1) | BR112022021356A2 (zh) |
MX (1) | MX2022013267A (zh) |
WO (1) | WO2021213128A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113808596A (zh) * | 2020-05-30 | 2021-12-17 | 华为技术有限公司 | 一种音频编码方法和音频编码装置 |
CN113808597A (zh) * | 2020-05-30 | 2021-12-17 | 华为技术有限公司 | 一种音频编码方法和音频编码装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101521010A (zh) * | 2008-02-29 | 2009-09-02 | 华为技术有限公司 | 一种音频信号的编解码方法和装置 |
CN101620854A (zh) * | 2008-06-30 | 2010-01-06 | 华为技术有限公司 | 频带扩展的方法、系统和设备 |
CN102194457A (zh) * | 2010-03-02 | 2011-09-21 | 中兴通讯股份有限公司 | 音频编解码方法、系统及噪声水平估计方法 |
US20130006645A1 (en) * | 2011-06-30 | 2013-01-03 | Zte Corporation | Method and system for audio encoding and decoding and method for estimating noise level |
US20130290003A1 (en) * | 2012-03-21 | 2013-10-31 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding high frequency for bandwidth extension |
CN109313908A (zh) * | 2016-04-12 | 2019-02-05 | 弗劳恩霍夫应用研究促进协会 | 用于对音频信号进行编码的音频编码器、用于对音频信号进行编码的方法以及考虑上频带中的检测到的尖峰频谱区域的计算机程序 |
CN110619884A (zh) * | 2014-03-14 | 2019-12-27 | 瑞典爱立信有限公司 | 音频编码方法和装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100241423A1 (en) * | 2009-03-18 | 2010-09-23 | Stanley Wayne Jackson | System and method for frequency to phase balancing for timbre-accurate low bit rate audio encoding |
CN102800317B (zh) * | 2011-05-25 | 2014-09-17 | 华为技术有限公司 | 信号分类方法及设备、编解码方法及设备 |
CN103854653B (zh) * | 2012-12-06 | 2016-12-28 | 华为技术有限公司 | 信号解码的方法和设备 |
JP6262668B2 (ja) * | 2013-01-22 | 2018-01-17 | パナソニック株式会社 | 帯域幅拡張パラメータ生成装置、符号化装置、復号装置、帯域幅拡張パラメータ生成方法、符号化方法、および、復号方法 |
PL2939235T3 (pl) * | 2013-01-29 | 2017-04-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Adaptacyjna względem tonalności kwantyzacja o niskiej złożoności sygnału audio |
JP6769299B2 (ja) * | 2016-12-27 | 2020-10-14 | 富士通株式会社 | オーディオ符号化装置およびオーディオ符号化方法 |
CN113808596A (zh) * | 2020-05-30 | 2021-12-17 | 华为技术有限公司 | 一种音频编码方法和音频编码装置 |
-
2020
- 2020-04-21 CN CN202010318590.8A patent/CN113539281A/zh active Pending
-
2021
- 2021-03-25 KR KR1020227040562A patent/KR20230002899A/ko unknown
- 2021-03-25 EP EP21793658.2A patent/EP4131263A4/en active Pending
- 2021-03-25 WO PCT/CN2021/083029 patent/WO2021213128A1/zh unknown
- 2021-03-25 MX MX2022013267A patent/MX2022013267A/es unknown
- 2021-03-25 BR BR112022021356A patent/BR112022021356A2/pt unknown
-
2022
- 2022-10-19 US US17/969,454 patent/US20230040515A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101521010A (zh) * | 2008-02-29 | 2009-09-02 | 华为技术有限公司 | 一种音频信号的编解码方法和装置 |
CN101620854A (zh) * | 2008-06-30 | 2010-01-06 | 华为技术有限公司 | 频带扩展的方法、系统和设备 |
CN102194457A (zh) * | 2010-03-02 | 2011-09-21 | 中兴通讯股份有限公司 | 音频编解码方法、系统及噪声水平估计方法 |
US20130006645A1 (en) * | 2011-06-30 | 2013-01-03 | Zte Corporation | Method and system for audio encoding and decoding and method for estimating noise level |
US20130290003A1 (en) * | 2012-03-21 | 2013-10-31 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding high frequency for bandwidth extension |
CN110619884A (zh) * | 2014-03-14 | 2019-12-27 | 瑞典爱立信有限公司 | 音频编码方法和装置 |
CN109313908A (zh) * | 2016-04-12 | 2019-02-05 | 弗劳恩霍夫应用研究促进协会 | 用于对音频信号进行编码的音频编码器、用于对音频信号进行编码的方法以及考虑上频带中的检测到的尖峰频谱区域的计算机程序 |
Also Published As
Publication number | Publication date |
---|---|
BR112022021356A2 (pt) | 2023-02-28 |
KR20230002899A (ko) | 2023-01-05 |
US20230040515A1 (en) | 2023-02-09 |
WO2021213128A1 (zh) | 2021-10-28 |
MX2022013267A (es) | 2023-01-16 |
EP4131263A1 (en) | 2023-02-08 |
EP4131263A4 (en) | 2023-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102238609B1 (ko) | 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치 | |
KR102201726B1 (ko) | 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치 | |
US20230040515A1 (en) | Audio signal coding method and apparatus | |
KR102201961B1 (ko) | 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치 | |
US20230137053A1 (en) | Audio Coding Method and Apparatus | |
CN113593586A (zh) | 音频信号编码方法、解码方法、编码设备以及解码设备 | |
US20230105508A1 (en) | Audio Coding Method and Apparatus | |
US20230145725A1 (en) | Multi-channel audio signal encoding and decoding method and apparatus | |
US20220115024A1 (en) | Apparatus, Methods, and Computer Programs for Encoding Spatial Metadata | |
WO2022258036A1 (zh) | 编解码方法、装置、设备、存储介质及计算机程序 | |
US20230154472A1 (en) | Multi-channel audio signal encoding method and apparatus | |
WO2023051368A1 (zh) | 编解码方法、装置、设备、存储介质及计算机程序产品 | |
WO2022267754A1 (zh) | 语音编码、语音解码方法、装置、计算机设备和存储介质 | |
CN115881139A (zh) | 编解码方法、装置、设备、存储介质及计算机程序 | |
WO2021250311A1 (en) | Spatial audio parameter encoding and associated decoding | |
CN115460182A (zh) | 编解码方法、装置、设备、存储介质及计算机程序 | |
CN115881138A (zh) | 解码方法、装置、设备、存储介质及计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |