CN110495105B - 多声道信号的编解码方法和编解码器 - Google Patents
多声道信号的编解码方法和编解码器 Download PDFInfo
- Publication number
- CN110495105B CN110495105B CN201880024082.XA CN201880024082A CN110495105B CN 110495105 B CN110495105 B CN 110495105B CN 201880024082 A CN201880024082 A CN 201880024082A CN 110495105 B CN110495105 B CN 110495105B
- Authority
- CN
- China
- Prior art keywords
- channel signal
- energy
- bands
- reverberation gain
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 134
- 238000010586 diagram Methods 0.000 description 16
- 230000005236 sound signal Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000011664 signaling Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000013707 sensory perception of sound Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 208000029523 Interstitial Lung disease Diseases 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/08—Arrangements for producing a reverberation or echo sound
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6047—Power optimization with respect to the encoder, decoder, storage or transmission
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种多声道信号的编解码方法和编解码器,编码方法包括:确定多声道信号中的第一声道信号和第二声道信号的下混信号以及第一声道信号和第二声道信号的不同子带对应的混响增益参数(310);确定第一声道信号和第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数(320);生成参数指示信息,参数指示信息用于指示目标混响增益参数对应的子带(330);对目标混响增益参数、参数指示信息以及下混信号进行编码,生成码流(340)。能够提高编码效率。
Description
本申请要求于2017年04月12日提交中国专利局、申请号为201710236773.3、申请名称为“多声道信号的编解码方法和编解码器”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及音频编码领域,并且更具体地,涉及一种多声道信号的编解码方法和编解码器。
背景技术
随着生活质量的提高,人们对高质量音频的需求不断增加。相对于单声道音频,立体声音频具有各声源的方位感和分布感,能够提高声音的清晰度、可懂度及临场感,因而备受人们青睐。
立体声处理技术主要有和差(Mid/Sid,MS)编码、强度立体声(Intensity Stereo,IS)编码以及参数立体声(Parametric Stereo,PS)编码。
现有技术在采用PS编码对多声道信号进行编码时,编码端需要计算声道信号的每个子带对应混响增益参数,并对声道信号的每个子带对应的混响增益参数进行编码,以便解码端在解码时能够根据声道信号的每个子带对应的混响增益参数对声道信号的每个子带进行混响处理。但是,对声道信号的每个子带对应的混响增益参数都进行编码需要占用较多的比特位,并且在某些情况下对声道信号的每个子带都进行混响处理反而会导致更差的听觉效果。
发明内容
本申请提供一种多声道信号的编解码方法和编解码器,以提高编码效率。
第一方面,提供了一种多声道信号的编码方法,该方法包括:确定所述多声道信号中的第一声道信号和第二声道信号的下混信号,以及所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数;确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数;生成参数指示信息,所述参数指示信息用于指示所述目标混响增益参数对应的子带;对所述目标混响增益参数、所述参数指示信息以及所述下混信号进行编码,生成码流。
本申请中,在对第一声道信号和第二声道信号进行编码时,可以只对第一声道信号和第二声道信号的部分子带对应的混响增益参数进行编码,与现有技术中需要编码第一声道信号和第二声道信号的全部子带对应的混响增益参数的方式相比,能够节省一定的比特开销,提高了编码效率。具体地,通过编码部分子带对应的混响增益参数,可以将节省的比特数用来编码其它参数或者为下混信号分配更多的比特数,从而提升总体编码性能。
结合第一方面,在第一方面的某些实现方式中,所述确定所述第一声道信号和所述第二声道信号的不同子带对应混响增益参数中需要编码的目标混响增益参数,包括:根据所述第一声道信号和所述第二声道信号的能量、所述第一声道信号和所述第二声道信号的声道间相关性IC、所述下混信号的能量以及所述第一声道信号和所述第二声道信号的声道间电平差ILD中的至少一种,确定所述目标混响增益参数。
根据声道信号或者下混信号的能量、IC、以及ILD等能够确定第一声道信号和第二声道信号之间的相关性,并根据第一声道信号和第二声道信号之间的相关性来合理确定第一声道信号和第二声道信号的全部子带对应的混响增益参数中哪些是需要编码的目标混响增益参数,能够在考虑到声道信号质量的情况下,节省一定的比特,提高编码效率。具体地,当第一声道信号和第二声道信号之间的相关性较低时可以只编码第一声道信号和第二声道信号的低频部分子带对应的混响增益参数,而当第一声道信号和第二声道信号之间的相关性较高时除了编码第一声道信号和第二声道信号的低频部分子带对应的混响增益参数之外,还可以编码第一声道信号和第二声道信号的高频部分子带对应的混响增益参数。
结合第一方面,在第一方面的某些实现方式中,所述确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,包括:根据所述第一声道信号的能量与所述下混信号的能量的相关性,以及所述第二声道信号的能量与所述下混信号的能量的相关性中的至少一个,确定所述目标混响增益参数。
上述第一声道信号的能量、第二声道信号的能量以及下混信号的能量的数值可以是经过归一化处理后的数值。
通过声道信号的能量能够较为方便地衡量第一声道信号和第二声道信号与下混信号的相关性,也就是说通过比较声道信号的能量与下混信号的能量的差异,能够方便地确定需要编码的目标混响增益参数。具体地,当一个声道信号的能量与下混信号的能量相差较大时可以认为该个声道信号与下混信号的相关性较低,这时可以只编码该声道信号的低频部分子带对应的混响增益参数。
结合第一方面,在第一方面的某些实现方式中,所述第一声道信号和所述第二声道信号均包含多个频点,所述根据所述第一声道信号的能量与所述下混信号的能量的相关性,以及所述第二声道信号的能量与所述下混信号的能量的相关性中的至少一个,确定所述目标混响增益参数,包括:确定所述第一声道信号的能量与所述下混信号的能量的第一差异值,所述第一差异值用于指示所述第一声道信号与所述下混信号分别在所述多个频点的能量的差值的绝对值的和;在所述第一差异值大于第一阈值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
结合第一方面,在第一方面的某些实现方式中,所述第一声道信号和所述第二声道信号均包含多个频点,所述根据所述第一声道信号的能量与所述下混信号的能量的相关性,以及所述第二声道信号的能量与所述下混信号的能量的相关性中的至少一个,确定所述目标混响增益参数,包括:确定所述第二声道信号的能量与所述下混信号的能量的第二差异值,所述第二差异值用于指示所述第二声道信号与所述下混信号分别在所述多个频点的能量的差值的绝对值的和;在所述第二差异值大于第二阈值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
结合第一方面,在第一方面的某些实现方式中,所述第一声道信号和所述第二声道信号均包含多个频点,所述根据所述第一声道信号的能量与所述下混信号的能量的相关性,以及所述第二声道信号的能量与所述下混信号的能量的相关性中的至少一个,确定所述目标混响增益参数,包括:确定所述第一声道信号的能量与所述下混信号的能量的第一差异值,所述第一差异值用于指示所述第一声道信号与所述下混信号分别在所述多个频点的能量的差值的绝对值的和;确定所述第二声道信号的能量与所述下混信号的能量的第二差异值,所述第二差异值用于指示所述第二声道信号与所述下混信号分别在所述多个频点的能量的差值的绝对值的和;在所述第一差异值大于所述第一阈值且所述第二差异值大于第二阈值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
上述第一声道信号与下混信号在多个频点的能量的差异值以及第二声道信号与下混信号在多个频点的能量的差异值可以是归一化处理之后的数值。
应理解,当上述第一声道信号或者第二声道信号与下混信号的相关性较高时,可以认为第一声道信号和第二声道信号是两个比较接近的声道信号(当两个声道信号比较相近时,将这个声道信号混合后得到的混合信号会与混合前的两个声道信号比较接近),当第一声道信号或者第二声道信号与下混信号的相关性较低时,可以认为第一声道信号和第二声道信号是两个相差较大的声道信号。
以第一声道信号与下混信号的相关性为例,第一声道信号与下混信号的相关性可以用第一声道信号的能量与下混信号的能量的第一差异值来衡量,当第一差异值较大时可以认为第一声道信号与下混信号的相关性较低,当第一差异值较小时可以认为第一声道信号与下混信号的相关性较高。
通过比较第一声道信号和第二声道信号与下混信号在多个频点的能量的差值,能够较为方便地确定第一声道信号和第二声道信号的能量与下混信号的能量的差异,进而确定目标,而不必比较第一声道信号和第二声道信号在全部频带上的能量。
当第一声道信号和/或第二声道信号的能量与下混信号的能量相差较大时,通过编码第一声道信号和第二声道信号的部分频段的子带对应的混响增益参数不仅能够节省一定的比特,而且还能提升编码性能,而现有技术中却是对第一声道信号和第二声道信号的全部频段的子带对应的混响增益参数进行编码,这时由于第一声道信号和第二声道信号相差较大,如果仍对全部频段子带对应的混响增益参数进行编码,并且根据全部频段的混响增益参数进行混响处理的话反而会导致最终恢复出来的第一声道信号和第二声道信号相对于原始信号有较大的失真。
结合第一方面,在第一方面的某些实现方式中,所述第一频段的频率小于所述第一声道信号和所述第二声道信号中除所述第一频段之外的其它频段的频率。
应理解,上述第一频段可以属于低频段。
当第一声道信号和第二声道信号相差较大时,一般是这两个声道信号在高频部分相差的较大,而在低频部分相差较小,而低频部分的声道信号对人的听觉体验的影响更大,因此,当第一声道信号和第二声道信号相差较大时,可以只对低频部分子带对应的混响增益参数进行编码,这样不仅能够节省编码的比特位,而且还能够保证听觉体验。
结合第一方面,在第一方面的某些实现方式中,所述方法还包括:
在所述第一差异值小于等于第一阈值且所述第二差异值小于等于第二阈值的情况下,将所述第一声道信号和所述第二声道信号的全部子带对应的混响增益参数确定为所述目标混响增益参数。
结合第一方面,在第一方面的某些实现方式中,在所述第一差异值小于等于第一阈值或者所述第二差异值小于等于第二阈值的情况下,将所述第一声道信号和所述第二声道信号的全部子带对应的混响增益参数确定为所述目标混响增益参数。
当第一声道信号、第二声道信号的能量与下混信号的能量相差较大时,可以只编码部分子带对应的混响增益参数,以节省编码时的比特开销,并且尽量避免混响处理时造成的信号失真。
而在第一声道信号、第二声道信号的能量与下混信号的能量相差较小时,对声道信号进行混响处理造成的信号失真很小,为了取得更好的听觉效果,可以对全部子带对应的混响增益参数进行编码。
结合第一方面,在第一方面的某些实现方式中,所述多个频点在所述第一声道信号和所述第二声道信号的第二频段,其中,所述第二频段的频率大于所述第一声道信号和所述第二声道信号中除所述第二频段之外的其它频段的频率。
通过比较第一声道信号和所述第二声道信号分别与下混信号在高频部分的多个频点的能量的差值,能够较为方便地确定第一声道信号和所述第二声道信号的能量与下混信号的能量的差异。
结合第一方面,在第一方面的某些实现方式中,所述确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,包括:确定所述下混信号的N个子带的能量;从所述N个子带中确定M个子带,所述M个子带中任意一个子带的能量大于所述N个子带中除所述M个子带外的N-M个子带中任意一个子带的能量,其中,M和N均为大于0的整数,并且M小于N;根据所述M个子带的能量与所述N-M个子带的能量的大小关系,确定所述目标混响增益参数。
应理解,下混信号是宽带信号时上述N个子带可以是下混信号的全部子带,而当下混信号是超宽带信号时该N个子带可以是下混信号在宽带部分的子带。
根据下混信号的不同子带的能量能够确定第一声道信号和所述第二声道信号之间的相关性,进而根据第一声道信号和所述第二声道信号之间的相关性确定需要编码的目标混响增益参数。
上述下混信号既可以是宽带信号也可以是超宽带信号。当下混信号是宽带信号时上述N个子带可以是下混信号的全部子带,而当下混信号是超宽带信号时该N个子带可以是下混信号在宽带部分的子带。
另外,在确定M个子带时还可以根据下混信号的各个子带的幅度,也就是说下混信号的M个子带中的任意一个子带的幅度大于下混信号的N-M个子带中的任意一个子带的幅度。上述M的数值可以是预先设定的。
结合第一方面,在第一方面的某些实现方式中,所述根据所述下混信号的所述M个子带的能量与所述下混信号的N-M个子带的能量的大小关系,确定所述目标混响增益参数,包括:在所述M个子带的能量的均值大于所述N-M个子带的能量的均值的K倍的情况下,确定所述第一声道信号和所述第二声道信号的第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,K为大于0的实数。
结合第一方面,在第一方面的某些实现方式中,所述根据所述下混信号的所述M个子带的能量与所述下混信号的N-M个子带的能量的大小关系,确定所述目标混响增益参数,包括:在所述M个子带的能量的总和大于所述N-M个子带的能量的总和的L倍的情况下,确定所述第一声道信号和所述第二声道信号的第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,L为大于0的实数。
应理解,上述K和L可以取不同的数值。
在比较下混信号的N个子带与下混信号的N-M个子带的能量的大小关系时,可以通过比较M个子带的能量平均值与N-M个子带的能量的平均值来实现,为了进一步降低计算的复杂度,还可以直接比较M个子带的能量的总和与N-M个子带的能量的总和的大小关系,这样简化了一定的计算过程,提高了效率。
当M个能量较大的子带与其它能量较小的子带的能量的差别较大时可以认为第一声道信号和所述第二声道信号之间的差别较大,这时可以将第一声道信号和所述第二声道信号中的一部分频段的子带对应的混响增益参数确定为需要编码的目标混响增益参数。具体地,上述第一频段可以是位于第一声道信号和所述第二声道信号的低频部分的频段。
结合第一方面,在第一方面的某些实现方式中,确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,包括:确定所述下混信号的N个子带的能量;从所述N个子带中确定M个子带,所述M个子带中任意一个子带的能量大于所述N个子带中除所述M个子带外的N-M个子带中的任意一个子带的能量;在所述M个子带中的第一子带的索引值小于预设索引值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一子带中的任意一个频点的频率大于所述M个子带中除所述第一子带之外的其它子带的任一频点的频率,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
当M个能量较大的子带中的最大频率的子带的索引值小于预设索引值的话,那么可以认为下混信号的M个子带上的能量分布不均匀,也就是说第一声道信号和第二声道信号的相关性较小,这时只需要编码部分频段的子带对应的混响增益参数。
结合第一方面,在第一方面的某些实现方式中,确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,包括:确定所述下混信号的N个子带的能量;根据所述N个子带的能量,从所述N个子带中确定J个目标子带,所述J个目标子带中的任意一个子带的能量大于所述J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;将所述J个目标子带对应的混响增益参数确定为所述目标混响增益参数。
根据下混信号的各个子带的能量直接从全部子带中选择预定数目的子带,将该预定数目的子带对应的混响增益参数确定为目标混响增益参数,能够更灵活地选择需要编码的混响增益参数。
结合第一方面,在第一方面的某些实现方式中,所述下混信号的能量是根据所述第一声道信号和所述第二声道信号的能量确定的。
根据第一声道信号和第二声道信号的能量来估计或者推导下混信号的能量,能够节省一定的计算量。
第二方面,提供了一种多声道信号的解码方法,该方法包括:接收码流;根据所述码流获取多声道信号中的第一声道信号和第二声道信号的下混信号,以及参数指示信息,所述参数指示信息用于指示所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数;根据所述参数指示信息从所述码流中获取所述目标混响增益参数;根据所述下混信号和所述目标混响增益参数,确定所述第一声道信号和所述第二声道信号。
本申请中,通过参数指示信息能够确定经过编码端编码的目标混响增益参数,进而根据该目标混响增益参数对第一声道信号和第二声道信号的相应子带进行混响处理。
第三方面,提供了一种多声道信号的编码方法,该方法包括:确定多声道信号中的第一声道信号和第二声道信号的下混信号以及所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数;根据所述下混信号的N个子带的能量,确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,其中,N为大于0的整数;对所述下混信号以及所述目标混响增益参数进行编码。
本申请中,根据下混信号的各个子带的能量直接从全部子带中选择一定数目的子带,能够更灵活地选择需要编码的混响增益参数。并且与确定固定频段的子带对应的混响增益参数为目标混响增益参数的方式相比,能够直接选定某些在频域上可能不相邻的子带对应的混响增益参数确定为目标混响增益参数。
结合第三方面,在第三方面的某些实现方式中,所述根据所述下混信号的N个子带的能量,确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,包括:根据所述N个子带的能量,从所述N个子带中确定J个目标子带,所述J个目标子带中的任意一个子带的能量大于所述J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;将所述J个目标子带对应的混响增益参数确定为所述目标混响增益参数。
本申请中,根据下混信号的各个子带的能量直接从全部子带中选择预定数目的子带,将该预定数目的子带对应的混响增益参数确定为目标混响增益参数,能够更灵活地选择需要编码的混响增益参数。
第四方面,提供了一种多声道信号的解码方法,该方法包括:接收码流;根据所述码流确定多声道信号中的第一声道信号和第二声道信号的下混信号;根据所述下混信号的N个子带的能量,确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数,其中,N为大于0的整数;根据所述码流确定所述目标混响增益参数;根据所述下混信号和所述目标混响增益参数,确定所述第一声道信号和所述第二声道信号。
本申请中,解码端能直接根据下混信号的多个子带的能量,确定第一声道信号和第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数,减少了通过解码端传输指示信息来指示经过编码的目标混响增益参数占用的比特位,能够节省一定的信令开销。
结合第四方面,在第四方面的某些实现方式中,所述根据所述下混信号的N个子带的能量,确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数,包括:根据所述N个子带的能量,从所述N个子带中确定J个目标子带,所述J个目标子带中的任意一个子带的能量大于所述J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;将所述J个目标子带对应的混响增益参数确定为所述目标混响增益参数。
第五方面,提供了一种编码器,所述编码器包括用于执行所述第一方面或其各种实现方式中的方法的模块或者单元。
第六方面,提供了一种解码器,所述编码器包括用于执行所述第二方面或其各种实现方式中的方法的模块或者单元。
第七方面,提供了一种编码器,所述编码器包括用于执行所述第三方面或其各种实现方式中的方法的模块或者单元。
第八方面,提供了一种解码器,所述编码器包括用于执行所述第四方面或其各种实现方式中的方法的模块或者单元。
第九方面,提供了一种编码器,包括存储器和处理器,所述存储器用于存储程序,所述处理器用于执行程序,当所述程序被执行时,所述处理器执行第一方面或其各种实现方式中的方法。
第十方面,提供了一种解码器,包括存储器和处理器,所述存储器用于存储程序,所述处理器用于执行程序,当所述程序被执行时,所述处理器执行第二方面或其各种实现方式中的方法。
第十一方面,提供了一种编码器,包括存储器和处理器,所述存储器用于存储程序,所述处理器用于执行程序,当所述程序被执行时,所述处理器执行第三方面或其各种实现方式中的方法。
第十二方面,提供了一种解码器,包括存储器和处理器,所述存储器用于存储程序,所述处理器用于执行程序,当所述程序被执行时,所述处理器执行第四方面或其各种实现方式中的方法。
第十三方面,提供一种计算机可读介质,所述计算机可读介质存储用于设备执行的程序代码,所述程序代码包括用于执行第一方面或其各种实现方式中的方法的指令。
第十四方面,提供一种计算机可读介质,所述计算机可读介质存储用于设备执行的程序代码,所述程序代码包括用于执行第二方面或其各种实现方式中的方法的指令。
第十五方面,提供一种计算机可读介质,所述计算机可读介质存储用于设备执行的程序代码,所述程序代码包括用于执行第三方面或其各种实现方式中的方法的指令。
第十六方面,提供一种计算机可读介质,所述计算机可读介质存储用于设备执行的程序代码,所述程序代码包括用于执行第四方面或其各种实现方式中的方法的指令。
附图说明
图1是现有技术对左右声道信号进行编码的示意性流程图。
图2是现有技术对左右声道信号进行解码的示意性流程图。
图3是本申请实施例的多声道信号的编码方法的示意性流程图。
图4是本申请实施例的多声道信号的解码方法的示意性流程图。
图5是本申请实施例的多声道信号的编码方法的示意性流程图。
图6是本申请实施例的多声道信号的解码方法的示意性流程图。
图7是本申请实施例的多声道信号的编码方法的示意性流程图。
图8是本申请实施例的多声道信号的解码方法的示意性流程图。
图9是本申请实施例的多声道信号的编码方法的示意性流程图。
图10是本申请实施例的多声道信号的解码方法的示意性流程图。
图11是本申请实施例的编码器的示意性框图。
图12是本申请实施例的解码器的示意性框图。
图13是本申请实施例的编码器的示意性框图。
图14是本申请实施例的解码器的示意性框图。
图15是本申请实施例的编码器的示意性框图。
图16是本申请实施例的解码器的示意性框图。
图17是本申请实施例的编码器的示意性框图。
图18是本申请实施例的解码器的示意性框图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。为了更好地理解本申请实施例的多声道信号的编解码方法,下面先结合图1和图2对现有技术中对多声道信号进行编码和解码的方法进行简单的介绍。
图1示出了现有技术中对左右声道信号进行编码的过程。图1所示的编码过程具体包括:
110、对左声道信号(图中用L表示)和右声道信号(图中用R表示)进行空间参数分析以及下混处理。
具体而言,步骤110具体包括:对左声道信号和右声道信号进行空间参数分析,获得左声道信号和右声道信号的空间参数;对左声道信号和右声道信号进行下混处理,得到下混信号(经过下混处理后得到的下混信号为单声道音频信号,通过下混处理将原来的两路声道音频信号合成了一路声道音频信号)。
空间参数(也可以称为空间感知参数)包含声道间相关性(Inter-channelCoherent,IC)、声道间电平差(Inter-channel Level Difference,ILD)、声道间时间差(Inter-channel Time Difference,ITD)以及声道间相位差(Inter-channel PhaseDifference,IPD)等。
其中,IC描述了声道间的互相关或相干性,该参数决定了声场范围的感知,可以提高音频信号空间感和声响稳定性。ILD用于分辨立体声源的水平方向角度,描述了声道间的强度差别,该参数将影响整个频谱的频率成分。ITD和IPD为表示声源水平方位的空间参数,描述了声道间的时间和相位差别,该参数主要影响2kHz以下的频率成分。对于两路声道信号而言,ITD可以表示立体声的左右声道信号之间的时间延时,IPD可以表示立体声的左右声道信号在时间对齐后的波形相似性。ILD、ITD和IPD能够决定人耳对声源位置的感知,可以有效确定声源位置,对立体声信号的恢复具有重要作用。
120、对下混信号进行编码,得到比特流。
130、对空间参数进行编码,得到比特流。
140、将对下混信号及空间参数编码得到的比特流进行复用得到码流。
编码得到的码流可以存储或者传输给解码端设备。
图2示出了现有技术中对左右声道信号进行解码的过程。图2所示的解码过程具体包括:
210、对比特流解复用,分别得到下混信号编码得到的码流以及空间参数编码得到的码流。
根据解复用的码流,解码得到下混信号及空间参数。
在步骤210中,解码端可以是分别对下混信号和空间参数分别进行解码。
上述空间参数包括用于表示左声道信号和右声道信号的IC。
220、得到去相关信号。
进一步地,根据解码的当前帧的下混信号和去相关信号,得到左右声道信号;
230、根据空间参数及左右声道信号,得到最终输出的左右声道信号(图2中分别用L’和R’表示)。
应理解,步骤230中的左声道信号和右声道信号(在图2中分别用L’和R’表示)是解码得到的,与编码端编码的左右声道信号相比可能会有一定的失真。
具体地,可以通过对下混信号进行滤波处理,然后利用声道间相关性参数对滤波后得到的下混信号进行修正得到去相关信号。
生成去相关信号的目的是为了在解码端增加最终生成的立体声信号的混响感,增加立体声信号的声场宽度,使得输出的音频信号的听觉更加圆润饱满。所谓混响感,实质上是原始音频信号通过不同的反射折射等延时后和原始音频信号叠加在一起进入人耳的一种效果。
现有技术中对多声道信号进行编码时,一般是将多声道信号划分成多个子带,并确定每个子带对应的IC,接下来再编码每个子带对应的IC。而对每一个子带对应的IC都进行编码势必会增加编码时占用的比特数,而在某些情况下,例如,当多声道信号之间的相关性较低时,该多声道信号中的高频部分会有较大的差异,这时如果仍然对多声道信号的高频部分对应的IC进行编码,并且在解码端根据多声道信号的高频部分对应的IC对多声道信号的高频部分进行混响处理的话,恢复出来的多声道信号会有较大程度的失真。
因此,本申请实施例提出了一种多声道信号的编码方法,能够自适应的选择多声道信号中的部分子带的混响增益参数进行编码,以有效利用比特位。下面结合附图对本申请实施例的多声道信号的编码方法进行详细的描述。
图3是本申请实施例的多声道信号的编码方法的示意性流程图。图3的方法可以由编码端设备或者编码器来执行,图3的方法包括:
310、确定多声道信号中的第一声道信号和第二声道信号的下混信号以及第一声道信号和第二声道信号的不同子带对应的混响增益参数。
上述多声道信号可以是多个声道信号,另外,在步骤310之前可以包括获取多声道信号中的第一声道信号和第二声道信号。
本申请实施例对确定下混信号的过程与确定第一声道信号和第二声道信号的不同子带对应的混响增益参数的先后顺序不做限定,既可以是同时进行,也可以是先后进行。
具体地,可以通过对上述第一声道信号和第二声道信号进行下混处理得到下混信号;通过对上述第一声道信号和第二声道信号进行空间参数分析来获取该第一声道信号和第二声道信号的空间参数,该空间参数中包含第一声道信号和第二声道信号的不同子带对应的混响增益参数以及其它空间参数如IC、ILD、ITD以及IPD等等。
应理解,上述第一声道信号和第二声道信号对应相同的空间参数,具体地,第一声道信号和第二声道信号也对应相同的初始混响增益参数。也就是说,第一声道信号的空间参数与第二声道信号的空间参数相同,第一声道信号的初始混响增益参数与第二声道信号的初始混响增益参数相同。
进一步地,假设第一声道信号和第二声道信号均包含10个子带,每个子带分别对应1个混响增益参数,那么,第一声道信号和第二声道信号的索引值相同的子带对应的混响增益参数是相同的。
另外,上述第一声道信号、第二声道信号以及下混信号可以是经过归一化处理之后得到的声道信号。
320、确定第一声道信号和第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数。
330、生成参数指示信息,该参数指示信息用于指示目标混响增益参数对应的子带。
上述参数指示信息可以通过标志位来指示目标混响增益参数对应的子带。例如,上述第一声道信号和第二声道信号包括10个子带(子带的索引号为0-9),参数指示信息包含10个标志位,该10个标志位依次对应第一声道信号和第二声道信号的10个子带,当某个子带对应的标志位为1时,该子带对应的混响增益参数为需要编码的目标混响增益参数;而如果某个子带对应的标志位为0,那么该子带对应的混响增益参数不是目标混响增益参数,这样编码端在进行编码时,只会对标志位为1的子带对应的混响增益参数进行编码。
或者,上述参数指示信息要仅包含一个标志位,该标志位为1或者为0,当该标志位为1时,则表示编码选定的目标子带的混响增益参数;当该标志位为0时,则表示编码所有子带的混响增益参数。
具体地,第一声道信号和第二声道信号的全部子带的索引号为0-9,其中,索引号为0-5的子带为目标子带,那么,当上述参数指示信息的标志位为1时,编码索引号为0-5的子带的混响增益参数;当上述参数指示信息的标志位为0时,编码索引号为0-9的子带的混响增益参数。
340、对目标混响增益参数、参数指示信息以及下混信号进行编码,生成码流。
本申请中,在对第一声道信号和第二声道信号进行编码时,可以只对第一声道信号和第二声道信号的部分子带对应的混响增益参数进行编码,与现有技术中需要编码第一声道信号和第二声道信号的全部子带对应的混响增益参数的方式相比,能够节省一定的比特开销,提高了编码效率。
具体而言,通过编码部分子带对应的混响增益参数,可以将节省的比特数用来编码其它参数或者为下混信号分配更多的比特数,从而提升总体编码性能。
例如,可以选择第一声道信号和第二声道信号的低频部分子带对应的混响增益参数为需要编码的目标混响增益参数,而对于第一声道信号和第二声道信号的高频部分子带对应的混响增益参数则不进行编码。
可选地,在生成第一声道信号和第二声道信号的不同子带对应的混响增益参数时可以生成第一声道信号和第二声道信号的全部子带对应的混响增益参数,也就是生成第一声道信号和第二声道信号的全部混响增益参数,然后在编码时只编码全部混响增益参数中的目标混响增益参数。
或者,为了进一步提高编码效率,在对第一声道信号和第二声道信号进行空间参数分析时可以只生成目标混响增益参数,而不生成其余的不进行编码的混响增益参数。具体地,如果目标混响增益参数对应第一声道信号和第二声道信号的目标子带,那么,在对上述第一声道信号和第二声道信号进行空间参数分析时,可以只确定第一声道信号和第二声道信号的目标子带对应的混响增益参数,而不用再确定第一声道信号和第二声道信号的其它子带对应的混响增益参数,这样能够进一步提高编码的效率。
可选地,作为一个实施例,确定第一声道信号和第二声道信号的不同子带对应混响增益参数中需要编码的目标混响增益参数,包括:根据第一声道信号和第二声道信号的能量、第一声道信号和第二声道信号的IC、下混信号的不同子带的能量的大小以及第一声道信号和第二声道信号的ILD中的至少一种,确定目标混响增益参数。
具体而言,根据第一声道信号和第二声道信号或者下混信号的能量、第一声道信号和第二声道信号的声道间相关性、第一声道信号和第二声道信号的声道间电平差能够确定第一声道信号和第二声道信号之间的相关性,并根据第一声道信号和第二声道信号之间的相关性来合理确定第一声道信号和第二声道信号的全部子带对应的混响增益参数中哪些是需要编码的目标混响增益参数,能够在编码时节省一定的比特,提高编码效率。
例如,当第一声道信号和第二声道信号之间的相关性较低时可以只编码第一声道信号和第二声道信号的低频部分子带对应的混响增益参数,而当第一声道信号和第二声道信号之间的相关性较高时除了编码第一声道信号和第二声道信号的低频部分子带对应的混响增益参数之外,还可以编码第一声道信号和第二声道信号的高频部分子带对应的混响增益参数,也就是说,当第一声道信号和第二声道信号之间的相关性较高时可以编码第一声道信号和第二声道信号的全部子带对应的混响增益参数。
在根据第一声道信号和第二声道信号的IC确定目标混响增益参数时,可以确定第一声道信号和第二声道信号的IC值的大小,根据IC值的大小来确定第一声道信号和第二声道信号之间的相关性。例如,当第一声道信号和第二声道信号的IC值较小时(此时可以认为第一声道信号和第二声道信号的相关性较低),可以将第一声道信号和第二声道信号的低频部分的子带对应的混响增益参数确定为目标混响增益参数;而当第一声道信号和第二声道信号的IC值较大时(此时可以认为第一声道信号和第二声道信号的相关性较高),可以将第一声道信号和第二声道信号的低频部分和高频部分的子带(或者是第一声道信号和第二声道信号的全部频段的子带)对应的混响增益参数确定为目标混响增益参数。
可选地,作为一个实施例,确定第一声道信号和第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,包括:根据第一声道信号的能量与下混信号的能量的相关性,以及第二声道信号的能量与下混信号的能量的相关性中的至少一个,确定目标混响增益参数。
也就是说,在确定目标混响增益参数时既可以根据第一声道信号的能量与下混信号的能量的相关性或者第二声道信号的能量与下混信号的能量的相关性来单独确定目标混响增益参数,也可以根据第一声道信号的能量与下混信号的能量的相关性以及第二声道信号的能量与下混信号的能量的相关性来共同确定目标混响增益参数。
具体地,在一些实施例中,上述第一声道信号和第二声道信号均包含多个频点,上述根据第一声道信号的能量与下混信号的能量的相关性,以及第二声道信号的能量与下混信号的能量的相关性中的至少一个,确定目标混响增益参数,包括:确定第一声道信号的能量与下混信号的能量的第一差异值,该第一差异值用于指示第一声道信号与下混信号分别在多个频点的能量的差值的绝对值的和;在第一差异值大于第一阈值的情况下,确定第一频段的子带对应的混响增益参数为目标混响增益参数,其中,第一频段为第一声道信号和第二声道信号的全部频段中的部分频段。
在另一些实施例中,上述第一声道信号和第二声道信号均包含多个频点,上述根据第一声道信号的能量与下混信号的能量的相关性,以及第二声道信号的能量与下混信号的能量的相关性中的至少一个,确定目标混响增益参数,包括:确定第二声道信号的能量与下混信号的能量的第二差异值,第二差异值用于指示第二声道信号与下混信号分别在多个频点的能量的差值的绝对值的和;在第二差异值大于第二阈值的情况下,确定第一频段的子带对应的混响增益参数为目标混响增益参数,其中,第一频段为第一声道信号和第二声道信号的全部频段中的部分频段。
在另一些实施例中,上述第一声道信号和第二声道信号均包含多个频点,上述根据第一声道信号的能量与下混信号的能量的相关性,以及第二声道信号的能量与下混信号的能量的相关性中的至少一个,确定目标混响增益参数,包括:确定第一声道信号的能量与下混信号的能量的第一差异值,第一差异值用于指示第一声道信号与下混信号分别在多个频点的能量的差值的绝对值的和;确定第二声道信号的能量与下混信号的能量的第二差异值,第二差异值用于指示第二声道信号与下混信号分别在多个频点的能量的差值的绝对值的和;在第一差异值大于第一阈值且第二差异值大于第二阈值的情况下,确定第一频段的子带对应的混响增益参数为目标混响增益参数,其中,第一频段为第一声道信号和第二声道信号的全部频段中的部分频段。
上述第一声道信号与下混信号在多个频点的能量的差异值以及第二声道信号与下混信号在多个频点的能量的差异值可以是归一化处理之后的数值。
上述第一阈值和第二阈值可以是预先设置的,另外,第一阈值和第二阈值可以相同也可以不同。
根据声道信号的能量能够较为方便地衡量第一声道信号和第二声道信号的与下混信号的相关性,也就是说通过比较声道信号与下混信号的能量的差异,能够方便地确定需要编码的目标混响增益参数。
例如,当第一声道信号的能量与下混信号的能量相差较大时可以认为第一声道信号与下混信号的相关性较低,这时可以只编码第一声道信号的低频部分子带对应的混响增益参数。
应理解,当上述第一声道信号或者第二声道信号与下混信号的相关性较高时,可以认为第一声道信号和第二声道信号是两个比较接近的声道信号(当两个声道信号比较相近时,将这个声道信号混合后得到的混合信号会与混合前的两个声道信号比较接近),当第一声道信号或者第二声道信号与下混信号的相关性较低时,可以认为第一声道信号和第二声道信号是两个相差较大的声道信号。
以第一声道信号与下混信号的相关性为例,第一声道信号与下混信号的相关性可以用第一声道信号的能量与下混信号的能量的第一差异值来衡量,当第一差异值较大时可以认为第一声道信号与下混信号的相关性较低,当第一差异值较小时可以认为第一声道信号与下混信号的相关性较高。
当第一差异值和第二差异值中至少有一个超过相应的阈值时,就可以认为第一声道信号与第二声道信号之间的相关性较低,这时通过编码第一声道信号和第二声道信号的部分频段的子带对应的混响增益参数不仅能够节省一定的比特,而且还能提升编码性能,而现有技术中在这种情况下仍对第一声道信号和第二声道信号的全部频段的子带对应的混响增益参数进行编码,这时由于第一声道信号和第二声道信号相差较大,如果仍对全部频段子带对应的混响增益参数进行编码,并且根据全部频段的混响增益参数进行混响处理的话反而会导致最终恢复出来的第一声道信号和第二声道信号相对于原始信号有较大的失真。
当然,也可以在第一差异值和第二差异值均大于相应的阈值的情况下,才将第一声道信号和第二声道信号的第一频段的子带对应的混响增益参数确定为目标混响增益参数。
上述第一频段的频率可以小于第一声道信号和第二声道信号中除第一频段之外的其它频段的频率,具体地,上述第一频段可以是第一声道信号和第二声道信号中频率最低的频段,也就是说,可以将第一声道信号和第二声道信号中的最低的频段的子带对应的混响增益参数确定为目标混响增益参数。
或者,上述第一频段也可以是位于上述第一频段可以是第一声道信号和第二声道信号中频率值处于中间的频段(第一声道信号和第二声道信号的全部频段中有一部分频段的频率大于第一频段的频率,另一部分频段的频率小于第一频段的频率),也就是说,可以将第一声道信号和第二声道信号中的处于中间的频段的子带对应的混响增益参数确定为目标混响增益参数。
可选地,上述多个频点在第一声道信号和第二声道信号的第二频段,其中,第二频段的频率大于第一声道信号和第二声道信号中除所述第二频段之外的其它频段的频率。
也就是说上述多个频点位于频率相对较高的第二频段,因此通过比较第一声道信号和第二声道信号与下混信号分别在高频部分的多个频点的能量的差异,能够较为方便地确定第一声道信号和第二声道信号的能量分别与下混信号的能量的差异值。而不必在整个频带上比较第一声道信号和第二声道信号分别与下混信号的能量的差异,简化了计算过程。
通过比较第一声道信号和第二声道信号与下混信号在多个频点的能量的差异,能够较为方便地确定第一声道信号和第二声道信号的能量分别与下混信号的能量的差异值,进而根据第一声道信号和第二声道信号的能量分别与下混信号的能量的差异值来确定目标混响增益参数,而不必比较第一声道信号和第二声道信号与下混信号的能量在全部频带上的差异。
可选地,作为一个实施例,图3的方法还包括:在第一差异值小于等于第一阈值且第二差异值小于等于第二阈值的情况下,将第一声道信号和第二声道信号的全部子带对应的混响增益参数确定为所述目标混响增益参数。
当第一差异值小于等于第一阈值,并且第二差异值小于等于第二阈值时,第一声道信号、第二声道信号与下混信号的能量的差别均比较小,这时可以认为第一声道信号和第二声道信号的相关性较大,为了提高输出声道信号的混响感,可以全部子带对应的混响增益参数进行编码。
当第一声道信号、第二声道信号的能量与下混信号的能量相差较大时,可以只编码部分子带对应的混响增益参数,以节省编码时的比特开销,并且尽量避免混响处理时造成的信号失真。而在第一声道信号、第二声道信号的能量与下混信号的能量相差较小时,对声道信号进行混响处理造成的信号失真很小,为了取得更好的听觉效果,可以对全部子带对应的混响增益参数进行编码。
具体地,当上述第一声道信号为左声道信号,第二声道信号为右声道信号时,可以根据下列公式计算第一差异值和第二差异值。
其中,diff_l_h为第一差异值,diff_r_h为第二差异值,左声道信号和右声道信号的频段包括高频部分和低频部分,M1为高频部分的起始频点,M2为高频部分的结束频点,mag_l[k]为左声道信号在M1和M2之间索引为k的频点的能量或者幅度值,mag_r[k]为右声道信号在M1和M2之间的索引为k的频点的能量或者幅度值,mag_dmx[k]为下混信号在M1和M2之间的索引为k的频点的能量或幅度值,其中,mag_dmx[k]可以通过下混信号本身计算得到,也可以根据左右声道信号的能量或者幅度值计算得到的。
在根据上述公式(1)和(2)计算出第一差异值和第二差异值后还可以再对第一差异值和第二差异值进行帧间平滑处理(可以与之前帧计算得到的差异值进行平滑处理),然后再利用平滑处理后的第一差异值和第二差异值与预设阈值的关系,确定目标混响增益参数。
可选地,作为一个实施例,确定第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,包括:确定下混信号的N个子带的能量;从N个子带中确定M个子带,其中,M个子带中任意一个子带的能量大于N个子带中除M个子带外的N-M个子带中任意一个子带的能量,其中,M和N均为大于0的整数,并且M小于N;根据M个子带的能量与N-M个子带的能量的大小关系,确定目标混响增益参数。
根据下混信号的不同子带的能量能够确定第一声道信号和第二声道信号之间的相关性,进而根据第一声道信号和第二声道信号之间的相关性确定需要编码的目标混响增益参数。
具体地,根据下混信号的M个子带的能量与下混信号的N-M个子带的能量的大小关系,确定目标混响增益参数,包括:在M个子带的能量的总和大于N-M个子带的能量的总和的K倍的情况下,确定第一声道信号和第二声道信号的第一频段的子带对应的混响增益参数为目标混响增益参数,其中,K为大于0的实数。
根据下混信号的M个子带的能量与下混信号的N-M个子带的能量的大小关系,确定目标混响增益参数,包括:在M个子带的能量的均值大于N-M个子带的能量的均值的L倍的情况下,确定第一声道信号和第二声道信号的第一频段的子带对应的混响增益参数为目标混响增益参数,其中,L为大于0的实数。
应理解,上述K和L可以取不同的数值,更具体地,当M大于N-M时,K可以小于L,而当M小于N-M时,K可以大于L。
在比较下混信号的N个子带与下混信号的N-M个子带的能量的大小关系时,可以比较下混信号的M个子带的能量平均值与下混信号的N-M个子带的能量的平均值,为了进一步降低计算的复杂度,还可以直接比较下混信号的M个子带的能量的总和与下混信号的N-M个子带的能量的总和的大小关系,这样简化了一定的计算过程,提高了效率。
当下混信号的M个能量较大的子带与其它能量较小的子带的能量的差别较大时可以认为第一声道信号和第二声道信号之间的差别较大,这时可以将第一声道信号和第二声道信号中的一部分频段的子带对应的混响增益参数确定为需要编码的目标混响增益参数。具体地,上述第一频段可以是位于第一声道信号和第二声道信号的低频部分的频段,也可以是位于第一声道信号和第二声道信号的中频部分的频段。
可选地,作为一个实施例,确定第一声道信号和第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,包括:确定下混信号的N个子带的能量;从N个子带中确定M个子带,其中,M个子带中任意一个子带的能量大于N个子带中除M个子带外的N-M个子带中的任意一个子带的能量;在M个子带中的第一子带的索引值小于预设索引值的情况下,确定第一声道信号和第二声道信号的第一频段的子带对应的混响增益参数为目标混响增益参数,其中,第一子带中的任意一个频点的频率大于M个子带中除第一子带之外的其它子带的任意一个频点的频率,第一频段为第一声道信号和第二声道信号的全部频段中的部分频段。
当M个能量较大的子带中的最大频率的子带的索引值小于预设索引值的话,那么可以认为下混信号的M个子带上的能量分布不均匀,也就是说第一声道信号和第二声道信号的相关性较小,这时只需要编码部分频段的子带对应的混响增益参数。
上述下混信号既可以是宽带信号也可以是超宽带信号。当下混信号是宽带信号时上述N个子带可以是下混信号的全部子带,而当下混信号是超宽带信号时该N个子带可以是下混信号在宽带部分的子带。
从N个子带中确定M个子带时,除了根据下混信号的各个子带的能量大小来确定外,还可以根据下混信号的各个子带的幅度来确定。具体地,在确定M个子带时可以根据下混信号的各个子带的幅度来确定,使得M个子带中的任意一个子带的幅度大于N-M个子带中的任意一个子带的幅度。
上述M的数值可以是编码前预先设置的数值。例如,下混信号一共包含10个子带,那么可以从中选择4个能量或者幅度最大的子带,当下混信号的该4个子带的能量或者幅度值(可以是能量或者幅度值的总和,也可以是能量或者幅度值的均值)大于下混信号的剩余6个子带的能量或者幅度值的预定倍数时就确定第一声道信号和第二声道信号的第一频段对应的混响增益参数为目标混响增益参数。
应理解,在本申请实施例中,在确定目标混响增益参数时可以根据下列条件中的至少一种去确定,当下列条件中有至少一个成立时就可以将部分混响增益参数确定为目标混响增益参数。
条件1:第一声道信号和/或第二声道信号的能量与下混信号的能量差异值大于预设阈值;
条件2:下混信号的M个子带的能量大于下混信号的N-M个子带的能量的预定倍数;
条件3:上述M个子带中的第一子带的索引值大于预设索引值。
其中,第一子带中的任意一个频谱系数的频率大于M个子带中除第一子带之外的其它子带的任意一个频谱系数的频率。
可选地,作为一个实施例,确定第一声道信号和第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,包括:确定下混信号的N个子带的能量;根据N个子带的能量,从N个子带中确定J个目标子带,其中,该J个目标子带中的任意一个子带的能量大于J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;将J个目标子带对应的混响增益参数确定为目标混响增益参数。其中,J可以为预先设置的预定数目。
根据下混信号的各个子带的能量直接从全部子带中选择预定数目的子带,将该预定数目的子带对应的混响增益参数确定为目标混响增益参数,能够更灵活地选择需要编码的混响增益参数。
与确定固定频段的子带对应的混响增益参数为目标混响增益参数的方式相比,能够直接灵活地选定某些在频域上可能不相邻的子带对应的混响增益参数确定为目标混响增益参数。
可选地,作为一个实施例,下混信号的能量是根据第一声道信号和第二声道信号的能量确定的。上述下混信号的能量既可以根据下混信号本身来计算,也可以通过第一声道信号和第二声道信号的能量来估计或者推导得到,当通过第一声道信号和第二声道信号的能量来确定下混信号的能量时,能够简化一定的计算过程。
图4是本申请实施例的多声道信号的解码方法的示意性流程图。图4的方法可以由解码端设备或者解码器来执行,图4的解码方法与图3的编码方法相对应的,图4的解码方法可以解码图3中的编码方法对第一声道信号和第二声道信号进行编码后得到的码流,图4的方法包括:
410、接收码流。
420、根据码流获取多声道信号中的第一声道信号和第二声道信号的下混信号以及参数指示信息,该参数指示信息用于指示第一声道信号和第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数。
上述参数指示信息可以通过标志位来指示目标混响增益参数对应的子带。例如,上述第一声道信号和第二声道信号包括10个子带(索引号为0-9的子带),参数指示信息包含10个标志位,该10个标志位依次对应多声道信号的10个子带,当某个子对应的标志位为1时,该子带对应的混响增益参数为需要编码的目标混响增益参数;而如果某个子带对应的标志位为0,那么该子带对应的混响增益参数就不是目标混响增益参数。具体地,索引号为0-5的子带对应的标志位为1,索引号为6-9对应的标志位为0,那么解码端在解码时只解码编码索引号为1-5的子带对应的混响增益参数。
430、根据参数指示信息从码流中获取目标混响增益参数;
440、根据下混信号和目标混响增益参数,确定第一声道信号和第二声道信号。
本申请中,通过参数指示信息能够确定经过编码端编码的目标混响增益参数,进而根据该目标混响增益参数对第一声道信号和第二声道信号的相应子带进行混响处理。
应理解,在根据目标混响增益参数对第一声道信号和第二声道信号进行混响处理之前,解码端还会获取去相关信号,并利用目标混响增益参数对去相关信号进行修正。接下来可以再利用修正后的去相关信号对第一声道信号和第二声道信号进行混响处理。如果第一声道信号和第二声道信号包含10个子带(索引号为0-9的子带),并且索引号为0-5的子带对应的混响增益参数为目标混响增益参数,那么,解码端只获取了索引号为0-5的子带对应的混响增益参数而不去获取索引号为6-10的子带对应的混响增益参数,因此,解码端只对第一声道信号和第二声道信号的索引号为0-5的子带进行混响处理,而对第一声道信号和第二声道信号的索引号为6-10的子带不做混响处理。
当上述第一声道信号和第二声道信号包括左声道信号和右声道信号时,根据下混信号和目标混响增益参数,确定第一声道信号和第二声道信号包括:根据当前帧的之前帧的下混信号和目标混响增益参数确定去相关信号;根据去相关信号和当前帧的下混信号确定左声道信号和右声道信号。
例如,上述第一声道信号和第二声道信号包括左声道信号和右声道信号,当前帧的下混信号为dmx,当前帧之前帧的下混信号为dmx_pred,目标下混增益参数为gain,那么首先根据dmx_pred和gain得到去相关信号tmp,接下来,再根据当前帧的下混信号以及去相关信号得到左声道信号L=dmx+tmp,右声道信号R=dmx-tmp。
下面结合图5和图6以左声道信号和右声道信号为例,对本申请实施例的多声道信号的编码方法和解码方法的整个过程进行详细的介绍。
图5示出了本申请实施例的多声道信号的编码方法的示意性流程图。在图5中,多声道信号包括左声道信号和右声道信号,对左声道信号和右声道信号进行编码的过程具体包括:
510、计算左声道信号和右声道信号的空间参数。
上述空间参数包含了左声道信号和右声道信号的各个子带对应的混响增益参数以及其它空间参数(如IC、ILD、ITD以及IPD)。
520、对左声道信号(图中用L表示)和右声道信号(图中用R表示)进行下混处理,得到下混信号;
530、自适应选定左声道信号和右声道信号的各个子带对应的混响增益参数中需要编码的目标混响增益参数;
540、分别对目标混响增益参数和下混信号进行量化,得到码流。
图6示出了本申请实施例的多声道信号的解码方法的示意性流程图。在图6中,多声道信号包括左声道信号和右声道信号,图6可以对图5中编码生成的码流进行解码,图6的解码过程具体包括:
610、获取左声道信号和右声道信号的码流;
620、解码码流获取下混信号;
630、获取码流中的标志信息,根据标志信息的标志位确定需要解码的目标混响增益参数;
640、对左声道信号和右声道信号中进行混响处理的子带对应的混响增益参数以及其它空间参数(如IC、ILD、ITD以及IPD)进行解码;
640、对解码得到的空间参数进行后续处理(例如,平滑滤波);
650、根据解码得到的下混信号和混响增益参数进行上混处理,得到左声道信号和右声道信号。
在经过上混处理得到左声道信号和右声道信号之后还可以根据相关信号分别对左声道信号和右声道信号进行混响处理。
在图6所示的方法中,对左声道信号和右声道信号进行混响处理时依据是的解码得到的目标混响增益参数,根据该目标混响增益参数可以对左右声道信号的部分子带进行混响处理,保证了混响处理后得到的声道信号的质量。
图7是本申请实施例的多声道信号的编码方法的示意性流程图。图7的方法可以由编码端设备或者编码器来执行,图7的方法包括:
710、确定多声道信号中的第一声道信号和第二声道信号的下混信号,以及第一声道信号和第二声道信号的不同子带对应的混响增益参数。
本申请对生成下混信号的过程与生成第一声道信号和第二声道信号的不同子带对应的混响增益参数的先后顺序不做限定,既可以是同时进行,也可以是先后进行。
具体而言,可以通过对上述第一声道信号和第二声道信号进行下混处理来得到下混信号。通过对上述第一声道信号和第二声道信号进行空间参数分析来获取该第一声道信号和第二声道信号的空间参数,该空间参数包括第一声道信号和第二声道信号的各个子带对应的混响增益参数以及第一声道信号和第二声道信号的IC、ILD、ITD以及IPD等等。
720、根据下混信号的N个子带的能量,确定第一声道信号和第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,其中,N为大于0的整数。
上述下混信号的多个子带的能量可既可以根据下混信号本身来计算,也可以通过第一声道信号和第二声道信号的能量来估计或者推导下混信号的能量,当通过第一声道信号和第二声道信号的能量来确定下混信号的能量时,能够简化一定的计算过程。
具体地,可以根据下混信号的N个子带的能量,从N个子带中确定J个目标子带,其中,该J个目标子带中的任意一个子带的能量大于J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;将J个目标子带对应的混响增益参数确定为目标混响增益参数。
根据下混信号的各个子带的能量直接从全部子带中选择预定数目的子带,将该预定数目的子带对应的混响增益参数确定为目标混响增益参数,能够更灵活地选择需要编码的混响增益参数。
730、对下混信号以及目标混响增益参数进行编码。
另外,上述下混信号既可以是宽带信号也可以是超宽带信号。当下混信号是宽带信号时上述多个子带可以是下混信号的全部子带,而当下混信号是超宽带信号时上述多个子带可以是下混信号的宽带部分的子带。
本申请中,根据下混信号的各个子带的能量直接从全部子带中选择一定数目的子带,能够更灵活地选择需要编码的混响增益参数。并且与确定固定频段的子带对应的混响增益参数为目标混响增益参数的方式相比,能够直接选定某些在频域上可能不相邻的子带对应的混响增益参数确定为目标混响增益参数。
图8是本申请实施例的多声道信号的解码方法的示意性流程图。图8的方法可以由解码端设备或者解码器来执行,图8的解码方法与图7的编码方法相对应的,图8的解码方法可以解码图7中的编码方法对第一声道信号和第二声道信号进行编码后得到的码流,图8的方法包括:
810、接收码流。
820、根据码流获取多声道信号中的第一声道信号和第二声道信号的下混信号。
具体地,可以先对第一声道信号和第二声道信号的码流进行解复用,然后对下混信号对应的码流进行解码,以得到下混信号。
830、根据下混信号的N个子带的能量,确定第一声道信号和第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数,其中,N为大于0的整数。
具体地,可以根据N个子带的能量,从N个子带中确定J个目标子带,J个目标子带中的任意一个子带的能量大于J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;将J个目标子带对应的混响增益参数确定为目标混响增益参数。
应理解,编码端和解码端都可以依据同样的规则来根据下混信号的多个子带的能量,确定第一声道信号和第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数。这样就使得编码端在码流中可以不指出经过编码的混响增益参数,解码端通过采用同样的规则进行判断也可以确定经过编码的混响增益参数。
例如,编码端根据下混信号的多个子带的能量确定索引号为0-5的子带对应的混响增益参数为目标混响增益参数,那么编码端就对索引号为0-5的子带对应的混响增益参数进行量化,写入码流传输给解码端,解码端在接收码流后也根据下混信号的多个子带的能量确定索引号为0-5的子带对应的混响增益参数为目标混响增益参数,接下来解码端再解码索引号为0-5的子带对应的混响增益参数即可。
840、根据码流确定目标混响增益参数。
除了从码流中获取目标混响增益参数外,还可以从码流中获取编码端编码的其它空间参数,如IC、ILD、ITD以及IPD等。
850、根据下混信号和目标混响增益参数,确定第一声道信号和第二声道信号。
本申请中,解码端能直接根据下混信号的多个子带的能量,确定第一声道信号和第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数,减少了通过解码端传输指示信息来指示经过编码的目标混响增益参数占用的比特位,能够节省一定的信令开销。
具体地,在根据目标混响增益参数对第一声道信号和第二声道信号进行混响处理之前,解码端还会获取去相关信号,并利用目标混响增益参数对去相关信号(该去相关信号可以通过延时下混信号得到)进行修正。接下来可以再利用修正后的去相关信号对第一声道信号和第二声道信号进行混响处理。如果第一声道信号和第二声道信号包含10个子带,并且索引号为1、3、5、7的子带对应的混响增益参数为目标混响增益参数,那么,解码端只获取了索引号为1、3、5、7的子带对应的混响增益参数而没有获取索引号为2、4、6、8、9、10的子带对应的混响增益参数,因此,解码端只对第一声道信号和第二声道信号的索引号为1、3、5、7的子带进行混响处理,而对第一声道信号和第二声道信号的索引号为2、4、6、8、9、10的子带不做混响处理。
当上述第一声道信号和第二声道信号包括左声道信号和右声道信号时,根据下混信号和目标混响增益参数,确定第一声道信号和第二声道信号包括:根据当前帧的之前帧的下混信号和目标混响增益参数确定去相关信号;根据去相关信号和当前帧的下混信号确定左声道信号和右声道信号。
下面结合图9和图10以左声道信号和右声道信号为例,对本申请实施例的多声道信号的编码方法和解码方法的整个过程进行详细的介绍。
图9示出了本申请实施例的多声道信号的编码方法的示意性流程图。在图9中,多声道信号包括左声道信号和右声道信号,对左声道信号和右声道信号进行编码的过程具体包括:
910、计算左声道信号和右声道信号的空间参数。
上述空间参数包含了左声道信号和右声道信号的各个子带对应的混响增益参数以及其它空间参数(如IC、ILD、ITD以及IPD)。
920、对左声道信号(图中用L表示)和右声道信号(图中用R表示)进行下混处理,得到下混信号;
930、确定下混信号的不同子带的能量。
该下混信号的能量既可以根据下混信号本身来计算,也可以通过第一声道信号和第二声道信号的能量来估计或者推导得到。
940、根据下混信号的不同子带的能量自适应选定左声道信号和右声道信号的各个子带对应的混响增益参数中需要编码的目标混响增益参数;
950、对目标混响增益参数和下混信号进行量化,得到码流。
图10示出了本申请实施例的多声道信号的解码方法的示意性流程图。在图10中,多声道信号包括左声道信号和右声道信号,图10可以对图9中编码生成的码流进行解码,图10的解码过程具体包括:
1010、获取左声道信号和右声道信号的码流。
1020、解码码流获取下混信号。
1030、确定下混信号的不同子带的能量。
确定下混信号的能量既可以根据下混信号本身来计算,也可以通过第一声道信号和第二声道信号的能量来估计或者推导得到。
1040、根据下混信号的不同子带的能量自适应选定左声道信号和右声道信号进行混响处理的子带;
1050、对定左声道信号和右声道信号进行混响处理的子带对应的混响增益参数以及其它空间参数(如IC、ILD、ITD以及IPD)进行解码;
1060、根据解码得到的下混信号和混响增益参数(该混响增益参数是经过编码端调整后的混响增益参数),进行上混处理,得到左声道信号和右声道信号。
在经过上混处理得到左声道信号和右声道信号之后还可以根据相关信号分别对左声道信号和右声道信号进行混响处理。
在图10所示的方法中,对左声道信号和右声道信号进行混响处理时依据的是解码得到的目标混响增益参数,根据该目标混响增益参数可以对左右声道信号的部分子带进行混响处理,保证了混响处理后得到的声道信号的质量。
上文结合图3至图10对本申请实施例的多声道信号的编解码方法进行了详细的描述,下面结合图11至图18对本申请实施例的编码器和解码进行描述,应理解,图11至图18中的编码器和解码器能够实现本申请实施例的编解码方法中由编码器和解码器执行的步骤。为了简洁,下面适当省略重复的描述。
图11是本申请实施例的编码器的示意性框图。图11的编码器1100包括:
处理单元1110,用于确定所述多声道信号中的第一声道信号和第二声道信号的下混信号,以及所述第一声道信号和第二声道信号的不同子带对应的混响增益参数;
所述处理单元1110还用于确定所述第一声道信号和第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数;
所述处理单元1110还用于生成参数指示信息,所述参数指示信息用于指示所述目标混响增益参数对应的子带;
编码单元1120,用于对所述目标混响增益参数、所述参数指示信息以及所述下混信号进行编码,生成码流。
本申请中,在对第一声道信号和第二声道信号进行编码时,可以只对第一声道信号和第二声道信号的部分子带对应的混响增益参数进行编码,与现有技术中需要编码第一声道信号和第二声道信号的全部子带对应的混响增益参数的方式相比,能够节省一定的比特开销,提高了编码效率。具体地,通过编码部分子带对应的混响增益参数,可以将节省的比特数用来编码其它参数或者为下混信号分配更多的比特数,从而提升总体编码性能。
上述编码器1100可以对应于图3的多声道信号的编码方法,编码器1100可以执行图3中的多声道信号的编码方法。
可选地,作为一个实施例,所述处理单元1110具体用于:根据所述第一声道信号的能量与所述下混信号的能量的相关性,以及所述第二声道信号的能量与所述下混信号的能量的相关性中的至少一个,确定所述目标混响增益参数。
可选地,作为一个实施例,所述第一声道信号和所述第二声道信号均包含多个频点,所述处理单元1110具体用于:确定所述第一声道信号的能量与所述下混信号的能量的第一差异值,所述第一差异值用于指示所述第一声道信号与所述下混信号分别在多个频点的能量的差值的绝对值的和;在所述第一差异值大于第一阈值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
可选地,作为一个实施例,所述第一声道信号和所述第二声道信号均包含多个频点,所述处理单元1110具体用于:确定所述第二声道信号的能量与所述下混信号的能量的第二差异值,所述第二差异值用于指示所述第二声道信号与所述下混信号分别在所述多个频点的能量的差值的绝对值的和;在所述第二差异值大于第二阈值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
可选地,作为一个实施例,所述第一声道信号和所述第二声道信号均包含多个频点,所述处理单元1110具体用于:确定所述第一声道信号的能量与所述下混信号的能量的第一差异值,所述第一差异值用于指示所述第一声道信号与所述下混信号分别在所述多个频点的能量的差值的绝对值的和;确定所述第二声道信号的能量与所述下混信号的能量的第二差异值,所述第二差异值用于指示所述第二声道信号与所述下混信号分别在多个频点的能量的差值的绝对值的和;在所述第一差异值大于第一阈值且所述第二差异值大于第二阈值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
可选地,作为一个实施例,所述第一频段的频率小于所述第一声道信号和第二声道信号中除所述第一频段之外的其它频段的频率。
可选地,作为一个实施例,所述多个频点在所述第一声道信号和第二声道信号的第二频段,其中,所述第二频段的频率大于所述第一声道信号和第二声道信号中除所述第二频段之外的其它频段的频率。
可选地,作为一个实施例,所述处理单元1110具体用于:确定所述下混信号的N个子带的能量;从所述N个子带中确定M个子带,所述M个子带中任意一个子带的能量大于所述N个子带中除所述M个子带外的N-M个子带中任意一个子带的能量,其中,M和N均为大于0的整数,并且M小于N;根据所述下混信号的所述M个子带的能量与所述下混信号的N-M个子带的能量的大小关系,确定所述目标混响增益参数。
可选地,作为一个实施例,所述处理单元1110具体用于:在所述M个子带的能量的总和大于所述N-M个子带的能量的总和的L倍的情况下,确定所述第一声道信号和所述第二声道信号的第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段,L为大于0的实数。
可选地,作为一个实施例,所述处理单元1110具体用于:确定所述下混信号的N个子带的能量;从所述N个子带中确定M个子带,所述M个子带中任意一个子带的能量大于所述N个子带中除所述M个子带外的N-M个子带中的任意一个子带的能量;在所述M个子带中的第一子带的索引值小于预设索引值的情况下,确定所述第一声道信号和所述第二声道信号的第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一子带中的任意一个频点的频率大于所述M个子带中除所述第一子带之外的其它子带的任一频点的频率,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
可选地,作为一个实施例,所述处理单元1110具体用于:从所述N个子带中确定J个目标子带,所述J个目标子带中的任意一个子带的能量大于所述J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;将所述J个目标子带对应的混响增益参数确定为所述目标混响增益参数。
可选地,作为一个实施例,所述下混信号的能量是根据所述第一声道信号和第二声道信号的能量确定的。
图12是本申请实施例的解码器的示意性框图。图12的解码器1200包括:
获取单元1210,用于接收码流;
所述获取单元1210还用于根据所述码流获取多声道信号中的第一声道信号和第二声道信号的下混信号,以及参数指示信息,所述参数指示信息用于指示所述第一声道信号和第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数;
所述获取单元1210还用于根据所述参数指示信息从所述码流中获取所述目标混响增益参数;
处理单元1220,用于根据所述下混信号和所述目标混响增益参数,确定所述第一声道信号和第二声道信号。
本申请中,通过参数指示信息能够确定经过编码端编码的目标混响增益参数,进而根据该目标混响增益参数对第一声道信号和第二声道信号的相应子带进行混响处理。
上述编码器1200可以对应于图4的多声道信号的解码方法,解码器1200可以执行图4中的多声道信号的解码方法。
图13是本申请实施例的编码器的示意性框图。图13的编码器1300包括:
处理单元1310,用于确定多声道信号中的第一声道信号和第二声道信号的下混信号,以及所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数;
所述处理单元1310还用于根据所述下混信号的N个子带的能量,确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,其中,N为大于0的整数;
编码单元1320,用于对所述下混信号以及所述目标混响增益参数进行编码。
本申请中,根据下混信号的各个子带的能量直接从全部子带中选择一定数目的子带,能够更灵活地选择需要编码的混响增益参数。
上述编码器1300可以对应于图7的声道信号的编码方法,编码器1300可以执行图7中的声道信号的编码方法。
可选地,作为一个实施例,所述处理单元1310具体用于:从所述N个子带中确定J个目标子带,所述J个目标子带中的任意一个子带的能量大于所述J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;将所述J个目标子带对应的混响增益参数确定为所述目标混响增益参数。
图14是本申请实施例的解码器的示意性框图。图14的解码器1400包括:
第一获取单元1410,用于接收码流;
第一处理单元1420,用于根据所述码流确定多声道信号中的所述第一声道信号和第二声道信号的下混信号;
第二处理单元1430,根据所述下混信号的N个子带的能量,确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数,其中,N为大于0的整数;
第三处理单元1440,用于根据所述码流确定所述目标混响增益参数;
第四处理单元1450,用于根据所述下混信号和所述目标混响增益参数,确定所述第一声道信号和第二声道信号。
本申请中,解码端能直接根据下混信号的多个子带的能量,确定第一声道信号和第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数,减少了通过解码端传输指示信息来指示经过编码的目标混响增益参数占用的比特位,能够节省一定的信令开销。
上述解码器1400可以对应于图8的多声道信号的解码方法,解码器1400可以执行图7中的多声道信号的解码方法。
可选地,作为一个实施例,所述第一处理单元1430具体用于:根据所述N个子带的能量,从所述N个子带中确定J个目标子带,所述J个目标子带中的任意一个子带的能量大于所述J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;将所述J个目标子带对应的混响增益参数确定为所述目标混响增益参数。
图15是本申请实施例的编码器的示意性框图。图15的编码器1500包括:
存储器1510,用于存储程序;
处理器1520,用于执行程序,当所述程序被执行时,所述处理器1520用于确定多声道信号中的第一声道信号和第二声道信号的下混信号,以及所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数;确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数;生成参数指示信息,所述参数指示信息用于指示所述目标混响增益参数对应的子带;对所述目标混响增益参数、所述参数指示信息以及所述下混信号进行编码,生成码流。
本申请中,在对第一声道信号和第二声道信号进行编码时,可以只对第一声道信号和第二声道信号的部分子带对应的混响增益参数进行编码,与现有技术中需要编码第一声道信号和第二声道信号的全部子带对应的混响增益参数的方式相比,能够节省一定的比特开销,提高了编码效率。具体地,通过编码部分子带对应的混响增益参数,可以将节省的比特数用来编码其它参数或者为下混信号分配更多的比特数,从而提升总体编码性能。
上述编码器1500可以对应于图3的声道信号的编码方法,编码器1500可以执行图3中的声道信号的编码方法。
可选地,作为一个实施例,所述处理器1520具体用于:根据所述第一声道信号的能量与所述下混信号的能量的相关性,以及所述第二声道信号的能量与所述下混信号的能量的相关性中的至少一个,确定所述目标混响增益参数。
可选地,作为一个实施例,所述第一声道信号和所述第二声道信号均包含多个频点,所述处理器1520具体用于:确定所述第一声道信号的能量与所述下混信号的能量的第一差异值,所述第一差异值用于指示所述第一声道信号与所述下混信号分别在多个频点的能量的差值的绝对值的和;在所述第一差异值大于第一阈值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
可选地,作为一个实施例,所述第一声道信号和所述第二声道信号均包含多个频点,所述处理器1520具体用于:确定所述第二声道信号的能量与所述下混信号的能量的第二差异值,所述第二差异值用于指示所述第二声道信号与所述下混信号分别在所述多个频点的能量的差值的绝对值的和;在所述第二差异值大于第二阈值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
可选地,作为一个实施例,所述第一声道信号和所述第二声道信号均包含多个频点,所述处理器1520具体用于:确定所述第一声道信号的能量与所述下混信号的能量的第一差异值,所述第一差异值用于指示所述第一声道信号与所述下混信号分别在所述多个频点的能量的差值的绝对值的和;确定所述第二声道信号的能量与所述下混信号的能量的第二差异值,所述第二差异值用于指示所述第二声道信号与所述下混信号分别在多个频点的能量的差值的绝对值的和;在所述第一差异值大于第一阈值且所述第二差异值大于第二阈值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
可选地,作为一个实施例,所述第一频段的频率小于所述第一声道信号和第二声道信号中除所述第一频段之外的其它频段的频率。
可选地,作为一个实施例,所述多个频点在所述第一声道信号和第二声道信号的第二频段,其中,所述第二频段的频率大于所述第一声道信号和第二声道信号中除所述第二频段之外的其它频段的频率。
可选地,作为一个实施例,所述处理器1520具体用于:确定所述下混信号的N个子带的能量;从所述N个子带中确定M个子带,所述M个子带中任意一个子带的能量大于所述N个子带中除所述M个子带外的N-M个子带中任意一个子带的能量,其中,M和N均为大于0的整数,并且M小于N;根据所述M个子带的能量与所述N-M个子带的能量的大小关系,确定所述目标混响增益参数。
可选地,作为一个实施例,所述处理器1520具体用于:在所述M个子带的能量的总和大于所述N-M个子带的能量的总和的L倍的情况下,确定所述第一声道信号和所述第二声道信号的第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段,L为大于0的实数。
可选地,作为一个实施例,所述处理器1520具体用于:确定所述下混信号的N个子带的能量;从所述N个子带中确定M个子带,所述M个子带中任意一个子带的能量大于所述N个子带中除所述M个子带外的N-M个子带中的任意一个子带的能量;在所述M个子带中的第一子带的索引值小于预设索引值的情况下,确定所述第一声道信号和所述第二声道信号的第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一子带中的任意一个频点的频率大于所述M个子带中除所述第一子带之外的其它子带的任一频点的频率,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
可选地,作为一个实施例,所述处理器1520具体用于:确定所述下混信号的N个子带的能量;根据所述N个子带的能量,从所述N个子带中确定J个目标子带,所述J个目标子带中的任意一个子带的能量大于所述J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;将所述J个目标子带对应的混响增益参数确定为所述目标混响增益参数。
可选地,作为一个实施例,所述下混信号的能量是根据所述第一声道信号和第二声道信号的能量确定的。
图16是本申请实施例的解码器的示意性框图。图16的解码器1600包括:
存储器1610,用于存储程序;
处理器1620,用于执行程序,当所述程序被执行时,所述处理器1620用于接收码流;根据所述码流获取多声道信号中的第一声道信号和第二声道信号的下混信号,以及参数指示信息,所述参数指示信息用于指示所述第一声道信号和第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数;根据所述参数指示信息从所述码流中获取所述目标混响增益参数;根据所述参数指示信息从所述码流中获取所述目标混响增益参数;根据所述下混信号和所述目标混响增益参数,确定所述第一声道信号和第二声道信号。
本申请中,通过参数指示信息能够确定经过编码端编码的目标混响增益参数,进而根据该目标混响增益参数对第一声道信号和第二声道信号的相应子带进行混响处理。
上述解码器1600可以对应于图4的多声道信号的解码方法,解码器1600可以执行图4中的多声道信号的解码方法。
图17是本申请实施例的编码器的示意性框图。图17的编码器1700包括:
存储器1710,用于存储程序;
处理器1720,用于执行程序,当所述程序被执行时,所述处理器1720用于确定多声道信号中的第一声道信号和第二声道信号的下混信号以及所述第一声道信号和第二声道信号的不同子带对应的混响增益参数;根据所述下混信号的N个子带的能量,确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,其中,N为大于0的整数;对所述下混信号以及所述目标混响增益参数进行编码。
本申请中,根据下混信号的各个子带的能量直接从全部子带中选择一定数目的子带,能够更灵活地选择需要编码的混响增益参数。
上述编码器1700可以对应于图7的声道信号的编码方法,编码器1700可以执行图7中的声道信号的编码方法。
可选地,作为一个实施例,所述处理器1720具体用于:根据所述N个子带的能量,从所述N个子带中确定J个目标子带,所述J个目标子带中的任意一个子带的能量大于所述J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;将所述J个目标子带对应的混响增益参数确定为所述目标混响增益参数。
图18是本申请实施例的解码器的示意性框图。图18的解码器1800包括:
存储器1810,用于存储程序;
处理器1820,用于执行程序,当所述程序被执行时,所述处理器1820用于接收码流;根据所述码流确定多声道信号中的第一声道信号和第二声道信号的下混信号;根据所述下混信号的N个子带的能量,确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数,其中,N为大于0的整数;根据所述码流确定所述目标混响增益参数;根据所述下混信号和所述目标混响增益参数,确定所述第一声道信号和第二声道信号。
本申请中,解码端能直接根据下混信号的多个子带的能量,确定第一声道信号和第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数,减少了通过解码端传输指示信息来指示经过编码的目标混响增益参数占用的比特位,能够节省一定的信令开销。
上述解码器1800可以对应于图8的多声道信号的解码方法,解码器1800可以执行图7中的多声道信号的解码方法。
可选地,作为一个实施例,所述处理器1820具体用于:根据所述N个子带的能量,从所述N个子带中确定J个目标子带,所述J个目标子带中的任意一个子带的能量大于所述J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;将所述J个目标子带对应的混响增益参数确定为所述目标混响增益参数。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (34)
1.一种多声道信号的编码方法,其特征在于,包括:
确定多声道信号中的第一声道信号和第二声道信号的下混信号,以及所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数;
确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数;
生成参数指示信息,所述参数指示信息用于指示所述目标混响增益参数对应的子带;
对所述目标混响增益参数、所述参数指示信息以及所述下混信号进行编码,生成码流。
2.如权利要求1所述的方法,其特征在于,所述确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,包括:
根据所述第一声道信号的能量与所述下混信号的能量的相关性,以及所述第二声道信号的能量与所述下混信号的能量的相关性中的至少一个,确定所述目标混响增益参数。
3.如权利要求2所述的方法,其特征在于,所述第一声道信号和所述第二声道信号均包含多个频点;
所述根据所述第一声道信号的能量与所述下混信号的能量的相关性,以及所述第二声道信号的能量与所述下混信号的能量的相关性中的至少一个,确定所述目标混响增益参数,包括:
确定所述第一声道信号的能量与所述下混信号的能量的第一差异值,所述第一差异值用于指示所述第一声道信号与所述下混信号分别在所述多个频点的能量的差值的绝对值的和;
在所述第一差异值大于第一阈值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
4.如权利要求2所述的方法,其特征在于,所述第一声道信号和所述第二声道信号均包含多个频点;
所述根据所述第一声道信号的能量与所述下混信号的能量的相关性,以及所述第二声道信号的能量与所述下混信号的能量的相关性中的至少一个,确定所述目标混响增益参数,包括:
确定所述第二声道信号的能量与所述下混信号的能量的第二差异值,所述第二差异值用于指示所述第二声道信号与所述下混信号分别在所述多个频点的能量的差值的绝对值的和;
在所述第二差异值大于第二阈值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
5.如权利要求2所述的方法,其特征在于,所述第一声道信号和所述第二声道信号均包含多个频点;
所述根据所述第一声道信号的能量与所述下混信号的能量的相关性,以及所述第二声道信号的能量与所述下混信号的能量的相关性中的至少一个,确定所述目标混响增益参数,包括:
确定所述第一声道信号的能量与所述下混信号的能量的第一差异值,所述第一差异值用于指示所述第一声道信号与所述下混信号分别在所述多个频点的能量的差值的绝对值的和;
确定所述第二声道信号的能量与所述下混信号的能量的第二差异值,所述第二差异值用于指示所述第二声道信号与所述下混信号分别在所述多个频点的能量的差值的绝对值的和;
在所述第一差异值大于第一阈值且所述第二差异值大于第二阈值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
6.如权利要求3-5中任一项所述的方法,其特征在于,所述第一频段的频率小于所述第一声道信号和所述第二声道信号中除所述第一频段之外的其它频段的频率。
7.如权利要求3-5中任一项所述的方法,其特征在于,所述多个频点在所述第一声道信号和所述第二声道信号的第二频段,其中,所述第二频段的频率大于所述第一声道信号和所述第二声道信号中除所述第二频段之外的其它频段的频率。
8.如权利要求1所述的方法,其特征在于,所述确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,包括:
确定所述下混信号的N个子带的能量;
从所述N个子带中确定M个子带,所述M个子带中任意一个子带的能量大于所述N个子带中除所述M个子带外的N-M个子带中任意一个子带的能量,其中,M和N均为大于0的整数,并且M小于N;
根据所述M个子带的能量与所述N-M个子带的能量的大小关系,确定所述目标混响增益参数。
9.如权利要求8所述的方法,其特征在于,所述根据所述M个子带的能量与所述N-M个子带的能量的大小关系,确定所述目标混响增益参数,包括:
在所述M个子带的能量的总和大于所述N-M个子带的能量的总和的L倍的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段,L为大于0的实数。
10.如权利要求1所述的方法,其特征在于,所述确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,包括:
确定所述下混信号的N个子带的能量;
从所述N个子带中确定M个子带,所述M个子带中任意一个子带的能量大于所述N个子带中除所述M个子带外的N-M个子带中的任意一个子带的能量;
在所述M个子带中的第一子带的索引值小于预设索引值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一子带中的任意一个频点的频率大于所述M个子带中除所述第一子带之外的其它子带的任一频点的频率,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
11.如权利要求1所述的方法,其特征在于,所述确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,包括:
确定所述下混信号的N个子带的能量;
根据所述N个子带的能量,从所述N个子带中确定J个目标子带,所述J个目标子带中的任意一个子带的能量大于所述J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;
将所述J个目标子带对应的混响增益参数确定为所述目标混响增益参数。
12.如权利要求2-5中任一项所述的方法,其特征在于,所述下混信号的能量是根据所述第一声道信号和所述第二声道信号的能量确定的。
13.一种多声道信号的解码方法,其特征在于,包括:
接收码流;
根据所述码流获取多声道信号中的第一声道信号和第二声道信号的下混信号,以及参数指示信息,所述参数指示信息用于指示所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数;
根据所述参数指示信息从所述码流中获取所述目标混响增益参数;
根据所述下混信号和所述目标混响增益参数,确定所述第一声道信号和所述第二声道信号。
14.一种多声道信号的编码方法,其特征在于,包括:
确定多声道信号中的第一声道信号和第二声道信号的下混信号,以及所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数;
根据所述下混信号的N个子带的能量,确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,其中,N为大于0的整数;
对所述下混信号以及所述目标混响增益参数进行编码。
15.如权利要求14所述的方法,其特征在于,所述根据所述下混信号的N个子带的能量,确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,包括:
根据所述N个子带的能量,从所述N个子带中确定J个目标子带,所述J个目标子带中的任意一个子带的能量大于所述J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;
将所述J个目标子带对应的混响增益参数确定为所述目标混响增益参数。
16.一种多声道信号的解码方法,其特征在于,包括:
接收码流;
根据所述码流确定多声道信号中的第一声道信号和第二声道信号的下混信号;
根据所述下混信号的N个子带的能量,确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数,其中,N为大于0的整数;
根据所述码流确定所述目标混响增益参数;
根据所述下混信号和所述目标混响增益参数,确定所述第一声道信号和所述第二声道信号。
17.如权利要求16所述的方法,其特征在于,所述根据所述下混信号的N个子带的能量,确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数,包括:
根据所述N个子带的能量,从所述N个子带中确定J个目标子带,所述J个目标子带中的任意一个子带的能量大于所述J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;
将所述J个目标子带对应的混响增益参数确定为所述目标混响增益参数。
18.一种编码器,其特征在于,包括:
处理单元,用于确定多声道信号中的第一声道信号和第二声道信号的下混信号,以及所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数;
所述处理单元还用于确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数;
所述处理单元还用于生成参数指示信息,所述参数指示信息用于指示所述目标混响增益参数对应的子带;
编码单元,用于对所述目标混响增益参数、所述参数指示信息以及所述下混信号进行编码,生成码流。
19.如权利要求18所述的编码器,其特征在于,所述处理单元具体用于:
根据所述第一声道信号的能量与所述下混信号的能量的相关性,以及所述第二声道信号的能量与所述下混信号的能量的相关性中的至少一个,确定所述目标混响增益参数。
20.如权利要求19所述的编码器,其特征在于,所述第一声道信号和所述第二声道信号均包含多个频点,所述处理单元具体用于:
确定所述第一声道信号的能量与所述下混信号的能量的第一差异值,所述第一差异值用于指示所述第一声道信号与所述下混信号分别在多个频点的能量的差值的绝对值的和;
在所述第一差异值大于第一阈值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
21.如权利要求19所述的编码器,其特征在于,所述第一声道信号和所述第二声道信号均包含多个频点,所述处理单元具体用于:
确定所述第二声道信号的能量与所述下混信号的能量的第二差异值,所述第二差异值用于指示所述第二声道信号与所述下混信号分别在所述多个频点的能量的差值的绝对值的和;
在所述第二差异值大于第二阈值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
22.如权利要求19所述的编码器,其特征在于,所述第一声道信号和所述第二声道信号均包含多个频点,所述处理单元具体用于:
确定所述第一声道信号的能量与所述下混信号的能量的第一差异值,所述第一差异值用于指示所述第一声道信号与所述下混信号分别在所述多个频点的能量的差值的绝对值的和;
确定所述第二声道信号的能量与所述下混信号的能量的第二差异值,所述第二差异值用于指示所述第二声道信号与所述下混信号分别在多个频点的能量的差值的绝对值的和;
在所述第一差异值大于第一阈值且所述第二差异值大于第二阈值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
23.如权利要求20-22中任一项所述的编码器,其特征在于,所述第一频段的频率小于所述第一声道信号和所述第二声道信号中除所述第一频段之外的其它频段的频率。
24.如权利要求20-22中任一项所述的编码器,其特征在于,所述多个频点在所述第一声道信号和所述第二声道信号的第二频段,其中,所述第二频段的频率大于所述第一声道信号和所述第二声道信号中除所述第二频段之外的其它频段的频率。
25.如权利要求18所述的编码器,其特征在于,所述处理单元具体用于:
确定所述下混信号的N个子带的能量;
从所述N个子带中确定M个子带,所述M个子带中任意一个子带的能量大于所述N个子带中除所述M个子带外的N-M个子带中任意一个子带的能量,其中,M和N均为大于0的整数,并且M小于N;
根据所述M个子带的能量与所述N-M个子带的能量的大小关系,确定所述目标混响增益参数。
26.如权利要求25所述的编码器,其特征在于,所述处理单元具体用于:
在所述M个子带的能量的总和大于所述N-M个子带的能量的总和的L倍的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段,L为大于0的实数。
27.如权利要求18所述的编码器,其特征在于,所述处理单元具体用于:
确定所述下混信号的N个子带的能量;
从所述N个子带中确定M个子带,所述M个子带中任意一个子带的能量大于所述N个子带中除所述M个子带外的N-M个子带中的任意一个子带的能量;
在所述M个子带中的第一子带的索引值小于预设索引值的情况下,确定第一频段的子带对应的混响增益参数为所述目标混响增益参数,其中,所述第一子带中的任意一个频点的频率大于所述M个子带中除所述第一子带之外的其它子带的任一频点的频率,所述第一频段为所述第一声道信号和所述第二声道信号的全部频段中的部分频段。
28.如权利要求18所述的编码器,其特征在于,所述处理单元具体用于:
确定所述下混信号的N个子带的能量;
根据所述N个子带的能量,从所述N个子带中确定J个目标子带,所述J个目标子带中的任意一个子带的能量大于所述J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;
将所述J个目标子带对应的混响增益参数确定为所述目标混响增益参数。
29.如权利要求19-22中任一项所述的编码器,其特征在于,所述下混信号的能量是根据所述第一声道信号和所述第二声道信号的能量确定的。
30.一种解码器,其特征在于,包括:
获取单元,用于接收码流;
所述获取单元还用于根据所述码流获取多声道信号中的第一声道信号和第二声道信号的下混信号,以及参数指示信息,所述参数指示信息用于指示所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数;
所述获取单元还用于根据所述参数指示信息从所述码流中获取所述目标混响增益参数;
处理单元,用于根据所述下混信号和所述目标混响增益参数,确定所述第一声道信号和所述第二声道信号。
31.一种编码器,其特征在于,包括:
处理单元,用于确定多声道信号中的第一声道信号和第二声道信号的下混信号,以及所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数;
所述处理单元还用于根据所述下混信号的N个子带的能量,确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中需要编码的目标混响增益参数,其中,N为大于0的整数;
编码单元,用于对所述下混信号以及所述目标混响增益参数进行编码。
32.如权利要求31所述的编码器,其特征在于,所述处理单元具体用于:
根据所述N个子带的能量,从所述N个子带中确定J个目标子带,所述J个目标子带中的任意一个子带的能量大于所述J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;
将所述J个目标子带对应的混响增益参数确定为所述目标混响增益参数。
33.一种解码器,其特征在于,包括:
第一获取单元,用于接收码流;
第一处理单元,用于根据所述码流确定多声道信号中的第一声道信号和第二声道信号的下混信号;
第二处理单元,根据所述下混信号的N个子带的能量,确定所述第一声道信号和所述第二声道信号的不同子带对应的混响增益参数中经过编码的目标混响增益参数,其中,N为大于0的整数;
第三处理单元,用于根据所述码流确定所述目标混响增益参数;
第四处理单元,用于根据所述下混信号和所述目标混响增益参数,确定所述第一声道信号和所述第二声道信号。
34.如权利要求33所述的解码器,其特征在于,所述第一处理单元具体用于:
根据所述下混信号的N个子带的能量,从所述N个子带中确定J个目标子带,所述J个目标子带中的任意一个子带的能量大于所述J个目标子带之外的其它子带的能量,其中,N和J均为大于0的整数,并且J小于N;
将所述J个目标子带对应的混响增益参数确定为所述目标混响增益参数。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710236773.3A CN108694955B (zh) | 2017-04-12 | 2017-04-12 | 多声道信号的编解码方法和编解码器 |
CN2017102367733 | 2017-04-12 | ||
PCT/CN2018/077790 WO2018188424A1 (zh) | 2017-04-12 | 2018-03-01 | 多声道信号的编解码方法和编解码器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110495105A CN110495105A (zh) | 2019-11-22 |
CN110495105B true CN110495105B (zh) | 2021-03-30 |
Family
ID=63792975
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710236773.3A Active CN108694955B (zh) | 2017-04-12 | 2017-04-12 | 多声道信号的编解码方法和编解码器 |
CN201880024082.XA Active CN110495105B (zh) | 2017-04-12 | 2018-03-01 | 多声道信号的编解码方法和编解码器 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710236773.3A Active CN108694955B (zh) | 2017-04-12 | 2017-04-12 | 多声道信号的编解码方法和编解码器 |
Country Status (7)
Country | Link |
---|---|
US (4) | US10827297B2 (zh) |
EP (2) | EP3605847B1 (zh) |
JP (4) | JP6874151B2 (zh) |
KR (4) | KR20240042158A (zh) |
CN (2) | CN108694955B (zh) |
BR (1) | BR112019021361A2 (zh) |
WO (1) | WO2018188424A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108694955B (zh) * | 2017-04-12 | 2020-11-17 | 华为技术有限公司 | 多声道信号的编解码方法和编解码器 |
GB201718341D0 (en) | 2017-11-06 | 2017-12-20 | Nokia Technologies Oy | Determination of targeted spatial audio parameters and associated spatial audio playback |
GB2572650A (en) | 2018-04-06 | 2019-10-09 | Nokia Technologies Oy | Spatial audio parameters and associated spatial audio playback |
GB2574239A (en) | 2018-05-31 | 2019-12-04 | Nokia Technologies Oy | Signalling of spatial audio parameters |
CN111988726A (zh) * | 2019-05-06 | 2020-11-24 | 深圳市三诺数字科技有限公司 | 一种立体声合成单声道的方法和系统 |
CN111654745B (zh) * | 2020-06-08 | 2022-10-14 | 海信视像科技股份有限公司 | 多声道的信号处理方法及显示设备 |
EP4243015A4 (en) | 2021-01-27 | 2024-04-17 | Samsung Electronics Co., Ltd. | AUDIO PROCESSING APPARATUS AND METHOD |
CN113132881B (zh) * | 2021-04-16 | 2022-07-19 | 深圳木芯科技有限公司 | 基于多麦克风自适应控制佩戴者声音放大程度的方法 |
JPWO2023008276A1 (zh) | 2021-07-26 | 2023-02-02 | ||
CN114258568A (zh) * | 2021-11-26 | 2022-03-29 | 北京小米移动软件有限公司 | 一种立体声音频信号处理方法、装置、编码设备、解码设备及存储介质 |
GB2616280A (en) * | 2022-03-02 | 2023-09-06 | Nokia Technologies Oy | Spatial rendering of reverberation |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101036183A (zh) * | 2004-11-02 | 2007-09-12 | 编码技术股份公司 | 立体声兼容的多声道音频编码 |
CN101689368A (zh) * | 2007-03-30 | 2010-03-31 | 韩国电子通信研究院 | 对具有多声道的多对象音频信号进行编码和解码的设备和方法 |
CN102714036A (zh) * | 2009-12-28 | 2012-10-03 | 松下电器产业株式会社 | 语音编码装置和语音编码方法 |
CN104798131A (zh) * | 2012-10-05 | 2015-07-22 | 弗朗霍夫应用科学研究促进协会 | 用于空间音频对象编码中信号相依缩放变换的编码器、解码器及方法 |
CN105009207A (zh) * | 2013-01-15 | 2015-10-28 | 韩国电子通信研究院 | 处理信道信号的编码/解码装置及方法 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5731767A (en) * | 1994-02-04 | 1998-03-24 | Sony Corporation | Information encoding method and apparatus, information decoding method and apparatus, information recording medium, and information transmission method |
US5960390A (en) | 1995-10-05 | 1999-09-28 | Sony Corporation | Coding method for using multi channel audio signals |
US7292901B2 (en) | 2002-06-24 | 2007-11-06 | Agere Systems Inc. | Hybrid multi-channel/cue coding/decoding of audio signals |
KR101049751B1 (ko) | 2003-02-11 | 2011-07-19 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 오디오 코딩 |
EP1768107B1 (en) * | 2004-07-02 | 2016-03-09 | Panasonic Intellectual Property Corporation of America | Audio signal decoding device |
CN101010724B (zh) * | 2004-08-27 | 2011-05-25 | 松下电器产业株式会社 | 音频编码器 |
KR20060109297A (ko) * | 2005-04-14 | 2006-10-19 | 엘지전자 주식회사 | 오디오 신호의 인코딩/디코딩 방법 및 장치 |
JP5053849B2 (ja) * | 2005-09-01 | 2012-10-24 | パナソニック株式会社 | マルチチャンネル音響信号処理装置およびマルチチャンネル音響信号処理方法 |
US8019614B2 (en) | 2005-09-02 | 2011-09-13 | Panasonic Corporation | Energy shaping apparatus and energy shaping method |
FR2897212A1 (fr) * | 2006-02-09 | 2007-08-10 | France Telecom | Procede de codage d'un signal audio source, dispositif de codage, procede de decodage, signal, support de donnees, produits programme d'ordinateur correspondants |
KR20070088958A (ko) * | 2006-02-27 | 2007-08-30 | 한국전자통신연구원 | 다채널 오디오 신호 시각화 방법과 공간큐를 이용한음상정보 변환 방법 및 그 장치 |
CN101350197B (zh) * | 2007-07-16 | 2011-05-11 | 华为技术有限公司 | 立体声音频编/解码方法及编/解码器 |
CN100571043C (zh) * | 2007-11-06 | 2009-12-16 | 武汉大学 | 一种空间参数立体声编解码方法及其装置 |
KR101444102B1 (ko) * | 2008-02-20 | 2014-09-26 | 삼성전자주식회사 | 스테레오 오디오의 부호화, 복호화 방법 및 장치 |
KR101108060B1 (ko) | 2008-09-25 | 2012-01-25 | 엘지전자 주식회사 | 신호 처리 방법 및 이의 장치 |
WO2010036059A2 (en) * | 2008-09-25 | 2010-04-01 | Lg Electronics Inc. | A method and an apparatus for processing a signal |
JP5524237B2 (ja) * | 2008-12-19 | 2014-06-18 | ドルビー インターナショナル アーベー | 空間キューパラメータを用いてマルチチャンネルオーディオ信号に反響を適用する方法と装置 |
JP5299327B2 (ja) | 2010-03-17 | 2013-09-25 | ソニー株式会社 | 音声処理装置、音声処理方法、およびプログラム |
PL2671222T3 (pl) * | 2011-02-02 | 2016-08-31 | Ericsson Telefon Ab L M | Określanie międzykanałowej różnicy czasu wielokanałowego sygnału audio |
JP5737077B2 (ja) * | 2011-08-30 | 2015-06-17 | 富士通株式会社 | オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム |
KR101842258B1 (ko) | 2011-09-14 | 2018-03-27 | 삼성전자주식회사 | 신호 처리 방법, 그에 따른 엔코딩 장치, 및 그에 따른 디코딩 장치 |
US8804971B1 (en) * | 2013-04-30 | 2014-08-12 | Dolby International Ab | Hybrid encoding of higher frequency and downmixed low frequency content of multichannel audio |
EP2973551B1 (en) | 2013-05-24 | 2017-05-03 | Dolby International AB | Reconstruction of audio scenes from a downmix |
EP2840811A1 (en) * | 2013-07-22 | 2015-02-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for processing an audio signal; signal processing unit, binaural renderer, audio encoder and audio decoder |
US10049683B2 (en) | 2013-10-21 | 2018-08-14 | Dolby International Ab | Audio encoder and decoder |
WO2015099429A1 (ko) * | 2013-12-23 | 2015-07-02 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법, 이를 위한 파라메터화 장치 및 오디오 신호 처리 장치 |
JP2017058696A (ja) * | 2016-12-09 | 2017-03-23 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | インターチャネル差分推定方法及び空間オーディオ符号化装置 |
CN108665902B (zh) * | 2017-03-31 | 2020-12-01 | 华为技术有限公司 | 多声道信号的编解码方法和编解码器 |
CN108694955B (zh) | 2017-04-12 | 2020-11-17 | 华为技术有限公司 | 多声道信号的编解码方法和编解码器 |
-
2017
- 2017-04-12 CN CN201710236773.3A patent/CN108694955B/zh active Active
-
2018
- 2018-03-01 WO PCT/CN2018/077790 patent/WO2018188424A1/zh unknown
- 2018-03-01 BR BR112019021361A patent/BR112019021361A2/pt unknown
- 2018-03-01 JP JP2019555975A patent/JP6874151B2/ja active Active
- 2018-03-01 KR KR1020247009036A patent/KR20240042158A/ko unknown
- 2018-03-01 KR KR1020217022990A patent/KR102424184B1/ko active IP Right Grant
- 2018-03-01 KR KR1020227025038A patent/KR20220106858A/ko active Application Filing
- 2018-03-01 EP EP18784927.8A patent/EP3605847B1/en active Active
- 2018-03-01 KR KR1020197032917A patent/KR102281822B1/ko active IP Right Grant
- 2018-03-01 CN CN201880024082.XA patent/CN110495105B/zh active Active
- 2018-03-01 EP EP23218410.1A patent/EP4365894A3/en active Pending
-
2019
- 2019-10-14 US US16/601,104 patent/US10827297B2/en active Active
-
2020
- 2020-09-25 US US17/033,026 patent/US11178505B2/en active Active
-
2021
- 2021-04-21 JP JP2021072013A patent/JP7106711B2/ja active Active
- 2021-10-18 US US17/504,080 patent/US11832087B2/en active Active
-
2022
- 2022-07-12 JP JP2022111786A patent/JP7379602B2/ja active Active
-
2023
- 2023-10-24 US US18/493,319 patent/US20240056764A1/en active Pending
- 2023-10-31 JP JP2023186595A patent/JP2024012444A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101036183A (zh) * | 2004-11-02 | 2007-09-12 | 编码技术股份公司 | 立体声兼容的多声道音频编码 |
CN101689368A (zh) * | 2007-03-30 | 2010-03-31 | 韩国电子通信研究院 | 对具有多声道的多对象音频信号进行编码和解码的设备和方法 |
CN102714036A (zh) * | 2009-12-28 | 2012-10-03 | 松下电器产业株式会社 | 语音编码装置和语音编码方法 |
CN104798131A (zh) * | 2012-10-05 | 2015-07-22 | 弗朗霍夫应用科学研究促进协会 | 用于空间音频对象编码中信号相依缩放变换的编码器、解码器及方法 |
CN105009207A (zh) * | 2013-01-15 | 2015-10-28 | 韩国电子通信研究院 | 处理信道信号的编码/解码装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3605847B1 (en) | 2024-06-19 |
US20220046376A1 (en) | 2022-02-10 |
US10827297B2 (en) | 2020-11-03 |
JP2021121853A (ja) | 2021-08-26 |
US20200045494A1 (en) | 2020-02-06 |
KR20210094143A (ko) | 2021-07-28 |
EP3605847A1 (en) | 2020-02-05 |
JP2024012444A (ja) | 2024-01-30 |
US20210014632A1 (en) | 2021-01-14 |
JP2020516955A (ja) | 2020-06-11 |
US20240056764A1 (en) | 2024-02-15 |
EP4365894A3 (en) | 2024-07-17 |
JP7379602B2 (ja) | 2023-11-14 |
KR20220106858A (ko) | 2022-07-29 |
EP4365894A2 (en) | 2024-05-08 |
US11178505B2 (en) | 2021-11-16 |
KR20190134752A (ko) | 2019-12-04 |
BR112019021361A2 (pt) | 2020-05-05 |
KR102281822B1 (ko) | 2021-07-26 |
CN108694955A (zh) | 2018-10-23 |
EP3605847A4 (en) | 2020-03-25 |
CN108694955B (zh) | 2020-11-17 |
KR20240042158A (ko) | 2024-04-01 |
JP7106711B2 (ja) | 2022-07-26 |
JP2022160440A (ja) | 2022-10-19 |
WO2018188424A1 (zh) | 2018-10-18 |
KR102424184B1 (ko) | 2022-07-25 |
CN110495105A (zh) | 2019-11-22 |
US11832087B2 (en) | 2023-11-28 |
JP6874151B2 (ja) | 2021-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110495105B (zh) | 多声道信号的编解码方法和编解码器 | |
CN110462733B (zh) | 多声道信号的编解码方法和编解码器 | |
CN108475509B (zh) | 一种声道间相位差参数的提取方法及装置 | |
CN109427338B (zh) | 立体声信号的编码方法和编码装置 | |
EP2690622B1 (en) | Audio decoding device and audio decoding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |