CN107248411A - 丢帧补偿处理方法和装置 - Google Patents
丢帧补偿处理方法和装置 Download PDFInfo
- Publication number
- CN107248411A CN107248411A CN201610188140.5A CN201610188140A CN107248411A CN 107248411 A CN107248411 A CN 107248411A CN 201610188140 A CN201610188140 A CN 201610188140A CN 107248411 A CN107248411 A CN 107248411A
- Authority
- CN
- China
- Prior art keywords
- frame
- signal
- spectral frequency
- frequency parameter
- modified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000003595 spectral effect Effects 0.000 claims abstract description 542
- 239000003550 marker Substances 0.000 claims abstract description 9
- 238000005086 pumping Methods 0.000 claims description 489
- 238000003786 synthesis reaction Methods 0.000 claims description 73
- 230000015572 biosynthetic process Effects 0.000 claims description 72
- 239000002131 composite material Substances 0.000 claims description 59
- 238000001228 spectrum Methods 0.000 claims description 50
- 230000005284 excitation Effects 0.000 claims description 29
- 241000208340 Araliaceae Species 0.000 claims description 12
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 12
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 12
- 235000008434 ginseng Nutrition 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 230000008901 benefit Effects 0.000 claims description 4
- 230000005012 migration Effects 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 238000001574 biopsy Methods 0.000 claims 2
- 238000012545 processing Methods 0.000 description 14
- 230000000630 rising effect Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
- G10L19/0208—Subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/083—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/087—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/10—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
- G10L19/107—Sparse pulse excitation, e.g. by using algebraic codebook
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0002—Codebook adaptations
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0007—Codebook element generation
- G10L2019/0008—Algebraic codebooks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0016—Codebook for LPC parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L2025/783—Detection of presence or absence of voice signals based on threshold decision
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Analysis (AREA)
- Algebra (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Mobile Radio Communication Systems (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
本发明实施例提供一种丢帧补偿处理方法和装置,所述方法包括:通过丢失帧标记位确定第i帧是否为丢失帧,当第i帧为丢失帧时,根据第i帧的前N帧的帧间关系和前N帧的帧内关系中的至少一个,估计第i帧的谱频率参数、基音周期和增益,前N帧的帧间关系包括前N帧的相关性和能量稳定性中的至少一个,前N帧的帧内关系包括前N帧中子帧间的相关性和能量稳定性中的至少一个。通过前N帧的信号相关性和能量稳定性,以及每帧帧内信号的相关性和能量稳定性确定第i帧的参数,考虑到了信号之间的关系,使得估计得到的第i帧的参数更加准确,从而提升了解码语音信号的质量。
Description
技术领域
本发明实施例涉及通信技术,尤其涉及一种丢帧补偿处理方法和装置。
背景技术
在语音业务中,对于弱覆盖场景、干扰场景以及高速移动场景等情况,时常出现语音丢包、错包等问题,不可避免地造成用户有断续或者杂音等不良体验。
现有的一种进行丢帧补偿的方法如下:在解码端进行码流分析,判断当前帧是否为丢帧,如果当前帧为丢帧,则估计当前丢帧的参数,根据当前丢帧的参数和历史帧的参数恢复丢帧信号的谱频率参数及激励信号,进而根据谱频率参数及激励信号得到丢帧信号。如果当前帧为正常帧,则解码获得当前帧的参数,如果当前帧为正常帧且前一帧为丢帧,则根据前一帧的参数对当前帧的参数进行修正,根据修正后的参数得到当前帧的谱频率参数和激励信号,进而根据谱频率参数和激励信号合成当前帧信号。其中,前述帧参数包括信号类型、信号能量和相位等等参数中的至少一个。
由于上述方法对于丢失帧的参数估计不准确,因此无法保证解码音频质量。
发明内容
本发明实施例提供一种丢帧补偿处理方法和装置,能够提高丢失帧的参数估计的准确度,从而提升解码信号的质量。
本发明第一方面提供一种丢帧补偿处理方法,先通过丢失帧标记位确定第i帧是否为丢失帧,当第i帧为丢失帧时,根据第i帧的前N帧的帧间关系和前N帧的帧内关系中的至少一个,估计第i帧的谱频率参数、基音周期和增益,并获取第i帧的代数码书,根据估计得到的第i帧的基音周期、增益以及获取的第i帧的代数码书生成第i帧的激励信号,进一步根据估计得到的第i帧的谱频率参数和生成的第i帧的激励信号合成第i帧信号。其中,前N帧的帧间关系包括前N帧的相关性和能量稳定性中的至少一个,前N帧的帧内关系包括前N帧中的子帧间的相关性和能量稳定性中的至少一个,通过考虑信号之间的相关性和能量稳定性,使得估计得到的第i帧的参数更加准确,从而提升了解码语音信号的质量。
在第一方面的一种可能的实现方式中,第i帧的谱频率参数是根据第i帧的前N帧的帧间关系估计得到的,具体可以采用如下方式估计得到:首先根据第i帧的前N帧的相关性确定第i-1帧的谱频率参数的权重和第i帧的预置谱频率参数的权重,然后根据第i-1帧的谱频率参数的权重和第i帧的预置谱频率参数的权重,对第i-1帧的谱频率参数和第i帧的预置谱频率参数进行加权运算得到第i帧的谱频率参数。
当第i帧的前N帧的相关性包括:第i-1帧信号的谱倾斜参数与第二阈值的大小关系、第i-1帧信号的归一化自相关值与第一阈值的大小关系和第i-1帧信号的基因周期的偏差与第三阈值的大小关系时,根据第i帧的前N帧间的相关性确定第i-1帧的谱频率参数的权重和第i帧的预置谱频率参数的权重,具体为:
如果第i-1帧信号满足条件一、条件二和条件三中的至少一个,则确定第i-1帧的谱频率参数的权重为第一权重,第i帧的预置谱频率参数的权重为第二权重,第一权重大于第二权重,条件一为:第i-1帧信号的归一化自相关值大于第一阈值,条件二为:第i-1帧信号的谱倾斜参数大于第二阈值,条件三为:第i-1帧信号的基音周期的偏差小于第三阈值。如果第i-1帧信号同时不满足条件一、条件二和条件三,则确定第i-1帧的谱频率参数的权重为第二权重,第i帧的预置谱频率参数的权重为第一权重。
在第一方面的一种可能的实现方式中,第i帧的基因周期是根据第i帧的前N帧的相关性和第i帧的前N帧的子帧间的相关性估计得到的。其中,该相关性包括:第i-2帧信号的归一化自相关值与第五阈值的大小关系、第i-2帧信号的基因周期的偏差与第四阈值的大小关系和第i-1帧信号的基因周期的偏差与第四阈值的大小关系。相应的,第i帧的基因周期采用如下方式估计得到:
如果第i-1帧信号的基音周期的偏差小于第四阈值,则根据第i-1帧信号的基音周期确定第i-1帧信号的基音周期偏移值;根据第i-1帧信号的基音周期偏移值和第i-1帧信号的基音周期确定第i帧信号的基音周期;第i帧信号的基音周期包括第i帧的每个子帧的基音周期,第i-1帧信号的基音周期偏移值为第i-1帧的所有相邻子帧的基音周期的差值的均值。
如果第i-1帧信号的基音周期的偏差大于或等于第四阈值,第i-2帧信号的归一化自相关值大于第五阈值,且第i-2帧信号的基音周期的偏差小于第四阈值,则根据第i-2帧信号和第i-1帧信号的基音周期确定第i-2帧信号和第i-1帧信号的基音周期偏移值;根据第i-1帧信号的基音周期以及第i-2帧信号和第i-1帧信号的基音周期偏移值确定第i帧信号的基音周期。
一种实现方式中,可以根据如下公式确定第i-1帧信号的基音周期偏移值pv:
pv=(p(-1)(3)-p(-1)(2))+(p(-1)(2)-p(-1)(1))+(p(-1)(1)-p(-1)(0))/3,其中,p(-1)(j)是第i-1帧的第j个子帧的基音周期,j=0,1,2,3。相应的,根据如下公式确定第i帧信号的基音周期:
pcur(j)=p(-1)(3)+(j+1)*pv,j=0,1,2,3,其中,p(-1)(3)是第i-1帧的第3个子帧的基音周期,pv是第i-1帧信号的基音周期偏移值,pcur(j)是第i帧的第j个子帧的基音周期。
另一种实现方式中,可以根据如下公式确定第i-2帧信号和第i-1帧信号的基音周期偏移值pv:
pv=(p(-2)(3)-p(-2)(2))+(p(-1)(0)-p(-2)(3))+(p(-1)(1)-p(-1)(0))/3;
其中,p(-2)(m)是第i-2帧的第m个子帧的基音周期,p(-1)(n)是第i-1帧的第n个子帧的基音周期,m=2,3,n=0,1。
相应的,根据如下公式确定第i帧信号的基音周期:
pcur(x)=p(-1)(3)+(x+1)*pv,x=0,1,2,3;
其中,p(-1)(3)是第i-1帧的第3个子帧的基音周期,pv是第i-2帧信号和第i-1帧信号的基音周期偏移值,pcur(x)是第i帧的第x个子帧的基音周期。
在第一方面的一种可能的实现方式中,第i帧的增益是根据第i帧的前N帧的相关性和能量稳定性估计得到的,其中第i帧的增益包括:自适应码书增益和代数码书增益。具体采用如下方式估计得到:先根据第i-1帧的自适应码书增益或预先设定的固定值、第i-1帧的相关性以及第i帧在连续的多个丢失帧中的序号,确定第i帧的自适应码书增益,然后根据第i-1帧的能量稳定性确定第i-1帧的代数码书增益的权重以及话音激活检测VAD帧的增益的权重,最后根据第i-1帧的代数码书增益的权重和VAD帧的增益的权重,对第i-1帧的代数码书增益和VAD帧的增益进行加权运算得到第i帧的代数码书增益。可选的,第i-1帧的能量越稳定,第i-1帧的代数码书增益的权重越大。或者,随着连续丢失帧个数的增加,VAD帧的增益的权重也相应增加。
可选的,在根据第i-1帧的代数码书增益的权重和VAD帧的增益的权重,对第i-1帧的代数码书增益和VAD帧的增益进行加权运算得到第i帧的代数码书增益之前,还可以根据编解码速率确定第一修正因子,使用第一修正因子对第i-1帧的代数码书增益进行修正。
在第一方面的一种可能的实现方式中,可通过如下方式获取第i帧的代数码书:根据随机噪声估计得到第i帧的代数码书,或者,根据第i帧的前N帧的代数码书确定第i帧的代数码书。
在第一方面的一种可能的实现方式中,根据估计得到的第i帧的基音周期、增益以及获取的第i帧的代数码书生成第i帧的激励信号之前,还需要根据第i-1帧的基音周期的偏差、信号的相关性、谱斜率大小和过零率中的任意一个确定第i帧的代数码书贡献的权重,或者,对第i-1帧的基音周期的偏差、信号的相关性、谱斜率大小和过零率中的任意组合进行加权运算确定第i帧的代数码书贡献的权重。在生成第i帧的激励信号时,先根据第i帧的代数码书和第i帧的代数码书增益的乘积,确定第i帧的代数码书贡献,以及根据第i帧的自适应码书和第i帧的自适应码书增益的乘积,确定第i帧的自适应码书贡献,然后根据第i帧的代数码书贡献的权重和自适应码书贡献的权重,对第i帧的代数码书贡献和自适应码书贡献进行加权运算,确定第i帧的激励信号,自适应码书的权重为1。
在第一方面的一种可能的实现方式中,当第i帧为正常帧时,则根据接收到的码流解码获得第i帧的谱频率参数、基音周期、增益以及代数码书,然后根据解码得到的第i帧的基音周期、增益以及代数码书生成第i帧的激励信号和第i帧的状态更新的激励信号。如果第i-1帧或第i-2帧为丢失帧,还需要进一步根据第i帧与第i帧的前N帧的帧间关系和帧内关系中的至少一个,确定是否对第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正,其中,帧间关系包括第i帧与第i帧的前N帧的相关性和能量稳定性中的至少一个,帧内关系包括:第i帧与第i帧的前N帧的子帧间相关性和能量稳定性中的至少一个。
当确定对第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正时,根据第i帧与第i帧的前N帧的帧间关系和帧内关系中的至少一个,对第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正;根据对第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个的修正结果合成第i帧信号。当确定不对第i帧的谱频率参数、激励信号和状态更新的激励信号进行修正时,根据第i帧的谱频率参数、激励信号和状态更新的激励信号合成第i帧信号。通过对第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正,使得使得前后帧之间的整体能量及相同频段的能量都能平滑过渡。
在第一方面的一种可能的实现方式中,可以根据第i帧的相关性,确定是否对第i帧的谱频率参数进行修正,当确定对第i帧的谱频率参数进行修正时,根据第i帧与第i-1帧的谱频率参数对第i帧的谱频率参数进行修正,或者,根据第i帧的谱频率参数和预置谱频率参数对第i帧的谱频率参数进行修正。其中,第i帧的相关性包括:第i帧的相邻谱频率参数的差值的最小值的索引对应的两个谱频率参数中的其中一个谱频率参数与第六阈值的大小关系、第i帧的相邻谱频率参数的差值的最小值与第七阈值的大小关系以及第i帧的相邻谱频率参数的差值的最小值的索引与第八阈值的大小关系。
在确定是否对第i帧的谱频率参数进行修正时,先确定第i帧的相邻谱频率参数的差值,每个差值对应一个索引,谱频率参数包括导抗谱频率ISF或线谱频率LSF,然后判断第i帧的相邻谱频率参数的差值是否满足条件四和条件五中的至少一个,条件四包括:第i帧的相邻谱频率参数的差值的最小值的索引对应的两个谱频率参数中的其中一个谱频率参数小于第六阈值,条件五包括:第i帧的相邻谱频率参数的差值的最小值的索引值小于第八阈值,且最小差值小于第七阈值。如果第i帧的相邻谱频率参数的差值满足条件四和条件五中的至少一个,则确定对第i帧谱频率参数进行修正,如果第i帧的相邻谱频率参数的差值同时不满足条件四和条件五,则确定不对第i帧谱频率参数进行修正。
在进行修正时,根据第i-1帧的谱频率参数和第i帧的谱频率参数的加权运算,确定第i帧修正后的谱频率参数,或者,根据第i帧的谱频率参数和预先的谱频率参数的加权运算,确定第i帧修正后的谱频率参数。
在第一方面的一种可能的实现方式中,可以根据第i帧与第i-1帧的相关性,确定是否对第i帧的谱频率参数进行修正,当确定对第i帧的谱频率参数进行修正时,根据第i帧与第i-1帧的谱频率参数对第i帧的谱频率参数进行修正,或者,根据第i帧的谱频率参数和预置谱频率参数对第i帧的谱频率参数进行修正。其中,第i帧与第i-1帧的相关性包括:第i-1帧和第i帧的部分或全部相同索引对应的谱频率参数差值的和与第九阈值的大小关系。
在确定是否对第i帧的谱频率参数进行修正时,先确定第i帧的相邻谱频率参数的差值,每个差值对应一个索引,谱频率参数包括导抗谱频率ISF或线谱频率LSF,然后判断第i帧的谱频率参数和第i-1帧的谱频率参数是否满足条件六,条件六包括:第i-1帧和第i帧的部分或全部相同索引对应的谱频率参数差值的和大于第九阈值。如果第i帧的谱频率参数和第i-1帧的谱频率参数满足条件六,则确定对第i帧谱频率参数进行修正,如果第i帧的谱频率参数和第i-1帧的谱频率参数不满足条件六,则确定不对第i帧谱频率参数进行修正。
在进行修正时,根据第i-1帧的谱频率参数和第i帧的谱频率参数的加权运算,确定第i帧修正后的谱频率参数,或者,根据第i帧的谱频率参数和预置谱频率参数的加权运算,确定第i帧修正后的谱频率参数。
在第一方面的一种可能的实现方式中,可以根据第i帧与第i-1帧的相关性和能量稳定性,确定是否对第i帧的激励信号进行修正,当确定对第i帧的信号激励信号进行修正时,根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正。具体的,首先根据第i帧的激励信号和第i帧的谱频率参数,确定第i帧的预合成信号。
然后判断第i帧的预合成信号的能量和第i-1帧的合成信号的能量的差值的绝对值是否大于第十阈值,如果第i帧的预合成信号的能量和第i-1帧的合成信号的能量的差值的绝对值大于第十阈值,则确定对第i帧的激励信号进行修正,如果第i帧的预合成信号的能量和第i-1帧的合成信号的能量的差值的绝对值小于或等于第十阈值,则确定不对i帧的激励信号进行修正。
或者,判断第i帧的预合成信号的能量和第i-1帧的合成信号的能量的比值是否大于第十一阈值,第十一阈值大于1,如果第i帧的预合成信号的能量和第i-1帧的合成信号的能量的比值大于第十一阈值,则确定对第i帧的激励信号进行修正,如果第i帧的预合成信号的能量和第i-1帧的合成信号的能量的比值小于或等于第十一阈值,则确定不对i帧的激励信号进行修正。
或者,判断第i-1帧的预合成信号的能量和第i帧的合成信号的能量的比值是否小于第十二阈值,第十二阈值小于1,如果第i-1帧的预合成信号的能量和第i帧的合成信号的能量的比值小于第十二阈值,则确定对第i帧的激励信号进行修正,如果第i-1帧的预合成信号的能量和第i帧的合成信号的能量的比值大于或等于第十二阈值,则确定不对第i帧的激励信号进行修正。
在进行修正时,根据第i帧与第i-1的能量稳定性确定第二修正因子,第二修正因子小于,然后将第i帧的激励信号乘以第二修正因子得到第i帧修正后的激励信号1。可选的,第二修正因子为第i-1帧的能量和第i帧的能量的比值,或者,第二修正因子为第i-1帧和第i帧相同个数子帧的能量的比值。
在第一方面的一种可能的实现方式中,可以根据第i-1帧信号的相关性,确定是否对第i帧的激励信号进行修正,当确定对第i帧的信号激励信号进行修正时,根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正。其中,第i-1帧信号的相关性包括:第i-1帧信号的相关值与十三阈值的大小关系以及第i-1帧信号的基因周期的偏差与第十四阈值的大小关系。
在确定是否对第i帧的激励信号进行修正时,通过判断第i-1帧信号是否满足条件七,如果第i-1帧信号满足条件七,则确定对第i帧的激励信号进行修正,如果第i-1帧信号不满足条件七,则确定不对第i帧的激励信号进行修正。条件七为:第i-1帧为丢失帧,第i-1信号的相关值大于第十三阈值,并且第i-1帧信号的基音周期的偏差小于第十四阈值。
在进行修正时,先根据第i帧与第i-1的能量稳定性,确定第三修正因子,第三修正因子小于1,然后将第i帧的激励信号乘以第三修正因子得到第i帧修正后的激励信号。
在第一方面的一种可能的实现方式中,可以根据第i帧与第i-1帧信号的相关性,确定是否对第i帧的激励信号进行修正,当确定对第i帧的信号激励信号进行修正时,根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正。其中,第i帧与第i-1帧信号的相关性包括:第i-1帧信号的相关值与十三阈值的大小关系以及第i帧信号的基因周期的偏差与第十四阈值的大小关系。
在确定是否对第i帧的激励信号进行修正时,通过判断第i-1帧信号和第i帧信号是否满足条件八,如果第i-1帧信号和第i帧信号满足条件八,则确定对第i帧的激励信号进行修正,如果第i-1帧信号和第i帧信号不满足条件八,则确定不对第i帧的激励信号进行修正。条件八包括:第i-1帧为丢失帧,第i-1帧信号的相关值大于预设的第十三阈值,并且第i帧信号的基音周期的偏差小于预设的第十四阈值。
在进行修正时,先根据第i帧与第i-1的能量稳定性,确定第三修正因子,第三修正因子小于1,然后将第i帧的激励信号乘以第三修正因子得到第i帧修正后的激励信号。可选的,第三修正因子为第i-1帧的能量和第i帧的能量的比值,或者,第三修正因子为第i-1帧和第i帧相同个数子帧的能量的比值。
在第一方面的一种可能的实现方式中,可以根据第i-1帧与第i-2帧信号的相关性,确定是否对第i帧的激励信号进行修正,当确定对第i帧的信号激励信号进行修正时,根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正。其中,第i-1帧与第i-2帧信号的相关性,包括:第i-2帧信号的相关值与十三阈值的大小关系,第i-1帧的激励信号是否被修正过。
在确定是否对第i帧的激励信号进行修正时,通过判断第i-2帧信号和第i-1帧信号是否满足条件九,如果第i-2帧信号和第i-1帧信号满足条件九,则确定对第i帧的激励信号进行修正,如果第i-2帧信号和第i-1帧信号不满足条件九,则确定不对第i帧的激励信号进行修正。条件九包括:第i-2帧为丢失帧,第i-2帧信号的相关值大于第十三阈值,且第i-1帧信号的激励信号进行了修正。
在进行修正时,根据第i帧与第i-1的能量稳定性,确定第四修正因子,第四修正因子小于1,将第i帧的激励信号乘以第四修正因子得到i帧修正后的激励信号。
在第一方面的一种可能的实现方式中,可以根据第i-1帧与第i-2帧信号的相关性,确定是否对第i帧的激励信号进行修正,当确定对第i帧的信号激励信号进行修正时,根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正。其中,第i-1帧与第i-2帧信号的相关性,包括:第i-2帧信号的相关值与十三阈值的大小关系,第i-1帧的激励信号中的代数码书贡献与第十五阈值的大小关系。
在确定是否对第i帧的激励信号进行修正时,通过判断第i-2帧信号和第i-1帧信号是否满足条件十,如果第i-2帧信号和第i-1帧信号满足条件十,则确定对第i帧的激励信号进行修正,如果第i-2帧信号和第i-1帧信号不满足条件十,则确定不对第i帧的激励信号进行修正。条件十包括:第i-2帧为丢失帧,第i-2帧信号的相关值大于第十三阈值,且第i-1帧信号的激励信号中的代数码书贡献小于第十五阈值。
在进行修正时,根据第i帧与第i-1的能量稳定性,确定第四修正因子,第四修正因子小于1,将第i帧的激励信号乘以第四修正因子得到i帧修正后的激励信号。
在第一方面的一种可能的实现方式中,可以根据第i-1帧与第i帧信号的相关性,确定是否对第i帧的状态更新的激励信号进行修正,当确定对第i帧的状态更新的激励信号进行修正时,根据第i帧与第i-1的能量稳定性对第i帧的状态更新的激励信号进行修正。其中,第i-1帧与第i帧信号的相关性,包括:第i-1帧与第i帧的相关性大小,以及第i-1帧信号的激励信号是否被修正过。
在确定是否对第i帧的状态更新的激励信号进行修正时,通过判断第i帧信号和第i-1帧信号是否满足条件十一,如果第i帧信号和第i-1帧信号满足条件十一,则确定对第i帧的状态更新的激励信号进行修正,如果第i帧信号和第i-1帧信号不满足条件十一,则确定不对第i帧的状态更新的激励信号进行修正。条件十一包括:第i帧或第i-1帧是强相关帧,且第i-1帧信号的激励信号做了修正。
在进行修正时,根据第i帧与第i-1的能量稳定性,确定第五修正因子,第五修正因子小于1,将第i帧的状态更新的激励信号乘以第五修正因子得到第i帧修正后的状态更新的激励信号。
在第一方面的一种可能的实现方式中,当第i帧为正常帧时,该方法还包括:对第i帧的解码信号进行处理,得到第i帧的解码信号的相关值,根据第i帧的解码信号的相关值、第i帧各子帧的基音周期间的大小关系、第i帧的谱倾斜值、第i帧的过零率中的任何一个或任意几个的组合,确定第i帧信号的相关性,根据第i帧的解码信号确定第i帧的能量,根据第i帧的能量和第i-1帧的能量确定第i帧的能量和第i-1帧之间的能量稳定性,以及根据第i帧的解码信号确定第i帧的各子帧的能量,根据第i帧的各子帧的能量确定第i帧的各子帧之间的能量稳定性。确定第i帧信号的相关性、第i帧的各子帧之间的能量稳定性、第i帧的能量和第i-1帧之间的能量稳定性,目的是为了在对第i+1帧的参数进行估计或者修正时使用。
本发明第二方面提供一种丢帧补偿处理装置,该装置包括丢失帧确定模块、估计模块、获取模块、生成模块和信号合成模块。其中,丢失帧确定模块用于通过丢失帧标记位确定第i帧是否为丢失帧,估计模块用于当第i帧为丢失帧时,根据第i帧的前N帧的帧间关系和前N帧的帧内关系中的至少一个,估计第i帧的谱频率参数、基音周期和增益,获取模块用于获取第i帧的代数码书,生成模块用于根据估计模块估计得到的第i帧的基音周期、增益以及获取模块获取的第i帧的代数码书生成第i帧的激励信号,信号合成模块用于根据估计模块估计得到的第i帧的谱频率参数和生成模块生成的第i帧的激励信号合成第i帧信号。其中,前N帧的帧间关系包括前N帧的相关性和能量稳定性中的至少一个,前N帧的帧内关系包括前N帧中的子帧间的相关性和能量稳定性中的至少一个,使得估计得到的第i帧的参数更加准确,从而提升了解码语音信号的质量。
在第二方面的一种可能的实现方式中,第i帧的谱频率参数是估计模块根据第i帧的前N帧的帧间关系估计得到的,估计模块具体用于:根据第i帧的前N帧的相关性确定第i-1帧的谱频率参数的权重和第i帧的预置谱频率参数的权重,根据第i-1帧的谱频率参数的权重和第i帧的预置谱频率参数的权重,对第i-1帧的谱频率参数和第i帧的预置谱频率参数进行加权运算得到第i帧的谱频率参数。
在第二方面的一种可能的实现方式中,第i帧的前N帧的相关性包括:第i-1帧信号的谱倾斜参数与第二阈值的大小关系、第i-1帧信号的归一化自相关值与第一阈值的大小关系和第i-1帧信号的基因周期的偏差与第三阈值的大小关系。相应的,估计模块具体用于:如果第i-1帧信号满足条件一、条件二和条件三中的至少一个,则确定第i-1帧的谱频率参数的权重为第一权重,第i帧的预置谱频率参数的权重为第二权重,如果第i-1帧信号同时不满足条件一、条件二和条件三,则确定第i-1帧的谱频率参数的权重为第二权重,第i帧的预置谱频率参数的权重为第一权重。其中,第一权重大于第二权重,条件一为:第i-1帧信号的归一化自相关值大于第一阈值,条件二为:第i-1帧信号的谱倾斜参数大于第二阈值,条件三为:第i-1帧信号的基音周期的偏差小于第三阈值。
在第二方面的一种可能的实现方式中,第i帧的基因周期是估计模块根据第i帧的前N帧的相关性和第i帧的前N帧的子帧间的相关性估计得到的,该相关性包括:第i-2帧信号的归一化自相关值与第五阈值的大小关系、第i-2帧信号的基因周期的偏差与第四阈值的大小关系和第i-1帧信号的基因周期的偏差与第四阈值的大小关系。
相应的,估计模块具体用于:如果第i-1帧信号的基音周期的偏差小于第四阈值,则根据第i-1帧信号的基音周期确定第i-1帧信号的基音周期偏移值;根据第i-1帧信号的基音周期偏移值和第i-1帧信号的基音周期确定第i帧信号的基音周期;第i帧信号的基音周期包括第i帧的每个子帧的基音周期,第i-1帧信号的基音周期偏移值为第i-1帧的所有相邻子帧的基音周期的差值的均值。如果第i-1帧信号的基音周期的偏差大于或等于第四阈值,第i-2帧信号的归一化自相关值大于第五阈值,且第i-2帧信号的基音周期的偏差小于第四阈值,则根据第i-2帧信号和第i-1帧信号的基音周期确定第i-2帧信号和第i-1帧信号的基音周期偏移值;根据第i-1帧信号的基音周期以及第i-2帧信号和第i-1帧信号的基音周期偏移值确定第i帧信号的基音周期。
一种实现方式中,估计模块根据如下公式确定第i-1帧信号的基音周期偏移值pv:
pv=(p(-1)(3)-p(-1)(2))+(p(-1)(2)-p(-1)(1))+(p(-1)(1)-p(-1)(0))/3,其中,p(-1)(j)是第i-1帧的第j个子帧的基音周期,j=0,1,2,3。
估计模块根据如下公式确定第i帧信号的基音周期:
pcur(j)=p(-1)(3)+(j+1)*pv,j=0,1,2,3,其中,p(-1)(3)是第i-1帧的第3个子帧的基音周期,pv是第i-1帧信号的基音周期偏移值,pcur(j)是第i帧的第j个子帧的基音周期。
另一种实现方式中,估计模块根据如下公式确定第i-2帧信号和第i-1帧信号的基音周期偏移值pv:
pv=(p(-2)(3)-p(-2)(2))+(p(-1)(0)-p(-2)(3))+(p(-1)(1)-p(-1)(0))/3,其中,p(-2)(m)是第i-2帧的第m个子帧的基音周期,p(-1)(n)是第i-1帧的第n个子帧的基音周期,m=2,3,n=0,1。
估计模块根据如下公式确定第i帧信号的基音周期:
pcur(x)=p(-1)(3)+(x+1)*pv,x=0,1,2,3;
其中,p(-1)(3)是第i-1帧的第3个子帧的基音周期,pv是第i-2帧信号和第i-1帧信号的基音周期偏移值,pcur(x)是第i帧的第x个子帧的基音周期。
在第二方面的一种可能的实现方式中,第i帧的增益是估计模块根据第i帧的前N帧的相关性和能量稳定性估计得到的,其中第i帧的增益包括:自适应码书增益和代数码书增益。估计模块具体用于:先根据第i-1帧的自适应码书增益或预先设定的固定值、第i-1帧的相关性以及第i帧在连续的多个丢失帧中的序号,确定第i帧的自适应码书增益,然后根据第i-1帧的能量稳定性确定第i-1帧的代数码书增益的权重以及VAD帧的增益的权重,最后根据第i-1帧的代数码书增益的权重和VAD帧的增益的权重,对第i-1帧的代数码书增益和VAD帧的增益进行加权运算得到第i帧的代数码书增益。可选的,第i-1帧的能量越稳定,第i-1帧的代数码书增益的权重越大。或者,随着连续丢失帧个数的增加,VAD帧的增益的权重也相应增加。
可选的,根据第i-1帧的代数码书增益的权重和VAD帧的增益的权重,对第i-1帧的代数码书增益和VAD帧的增益进行加权运算得到第i帧的代数码书增益之前,估计模块还用于:根据编解码速率确定第一修正因子,使用第一修正因子对第i-1帧的代数码书增益进行修正。
在第二方面的一种可能的实现方式中,获取模块可以通过如下方式获取代数码书:根据随机噪声估计得到第i帧的代数码书,或者,根据第i帧的前N帧的代数码书确定第i帧的代数码书。
在第二方面的一种可能的实现方式中,获取模块还用于:根据第i-1帧的基音周期的偏差、信号的相关性、谱斜率大小和过零率中的任意一个确定第i帧的代数码书贡献的权重,或者,对第i-1帧的基音周期的偏差、信号的相关性、谱斜率大小和过零率中的任意组合进行加权运算确定第i帧的代数码书贡献的权重,以及对第i-1帧的状态更新的激励信号进行内插运算确定第i帧的自适应码书。生成模块具体用于:根据第i帧的代数码书和第i帧的代数码书增益的乘积,确定第i帧的代数码书贡献,根据第i帧的自适应码书和第i帧的自适应码书增益的乘积,确定第i帧的自适应码书贡献,根据第i帧的代数码书贡献的权重和自适应码书贡献的权重,对第i帧的代数码书贡献和自适应码书贡献进行加权运算,确定第i帧的激励信号,自适应码书的权重为1。
在第二方面的一种可能的实现方式中,如果第i帧为正常帧,装置还包括:解码模块、判断模块和修正模块。解码模块用于根据接收到的码流解码获得第i帧的谱频率参数、基音周期、增益以及代数码书,生成模块还用于根据解码模块解码得到的第i帧的基音周期、增益以及代数码书生成第i帧的激励信号和第i帧的状态更新的激励信号,判断模块用于当第i-1帧或第i-2帧为丢失帧时,根据第i帧与第i帧的前N帧的帧间关系和帧内关系中的至少一个,确定是否对第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正,修正模块用于当判断模块确定对第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正时,根据第i帧与第i帧的前N帧的帧间关系和帧内关系中的至少一个,对第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正。
信号合成模块还用于根据修正模块对第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个的修正结果合成第i帧信号,或者,当判断模块确定不对第i帧的谱频率参数、激励信号和状态更新的激励信号进行修正时,根据第i帧的谱频率参数、激励信号和状态更新的激励信号合成第i帧信号。其中,帧间关系包括第i帧与第i帧的前N帧的相关性和能量稳定性中的至少一个,帧内关系包括:第i帧与第i帧的前N帧的子帧间相关性和能量稳定性中的至少一个。通过对第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正,使得使得前后帧之间的整体能量及相同频段的能量都能平滑过渡。
在第二方面的一种可能的实现方式中,判断模块用于根据第i帧的相关性,确定是否对第i帧的谱频率参数进行修正,当判断模块确定对第i帧的谱频率参数进行修正时,修正模块用于:根据第i帧与第i-1帧的谱频率参数对第i帧的谱频率参数进行修正,或者,根据第i帧的谱频率参数和预置谱频率参数对第i帧的谱频率参数进行修正。其中,第i帧的相关性包括:第i帧的相邻谱频率参数的差值的最小值的索引对应的两个谱频率参数中的其中一个谱频率参数与第六阈值的大小关系、第i帧的相邻谱频率参数的差值的最小值与第七阈值的大小关系以及第i帧的相邻谱频率参数的差值的最小值的索引与第八阈值的大小关系。
相应的,判断模块具体用于:先确定第i帧的相邻谱频率参数的差值,每个差值对应一个索引,谱频率参数包括导抗谱频率ISF或线谱频率LSF,然后判断第i帧的相邻谱频率参数的差值是否满足条件四和条件五中的至少一个,如果第i帧的相邻谱频率参数的差值满足条件四和条件五中的至少一个,则确定对第i帧谱频率参数进行修正,如果第i帧的相邻谱频率参数的差值同时不满足条件四和条件五,则确定不对第i帧谱频率参数进行修正。其中,条件四包括:第i帧的相邻谱频率参数的差值的最小值的索引对应的两个谱频率参数中的其中一个谱频率参数小于第六阈值,条件五包括:第i帧的相邻谱频率参数的差值的最小值的索引值小于第八阈值,且最小差值小于第七阈值。
修正模块具体用于:根据第i-1帧的谱频率参数和第i帧的谱频率参数的加权运算,确定第i帧修正后的谱频率参数,或者,根据第i帧的谱频率参数和预先的谱频率参数的加权运算,确定第i帧修正后的谱频率参数。
在第二方面的一种可能的实现方式中,判断模块用于根据第i帧与第i-1帧的相关性,确定是否对第i帧的谱频率参数进行修正,当判断模块确定对第i帧的谱频率参数进行修正时,修正模块用于:根据第i帧与第i-1帧的谱频率参数对第i帧的谱频率参数进行修正,或者,根据第i帧的谱频率参数和预置谱频率参数对第i帧的谱频率参数进行修正。其中,第i帧与第i-1帧的相关性包括:第i-1帧和第i帧的部分或全部相同索引对应的谱频率参数差值的和与第九阈值的大小关系。
相应的,判断模块具体用于:先确定第i帧的相邻谱频率参数的差值,每个差值对应一个索引,谱频率参数包括导抗谱频率ISF或线谱频率LSF,然后判断第i帧的谱频率参数和第i-1帧的谱频率参数是否满足条件六,如果第i帧的谱频率参数和第i-1帧的谱频率参数满足条件六,则确定对第i帧谱频率参数进行修正,如果第i帧的谱频率参数和第i-1帧的谱频率参数不满足条件六,则确定不对第i帧谱频率参数进行修正,其中条件六包括:第i-1帧和第i帧的部分或全部相同索引对应的谱频率参数差值的和大于第九阈值。
修正模块具体用于:根据第i-1帧的谱频率参数和第i帧的谱频率参数的加权运算,确定第i帧修正后的谱频率参数,或者,根据第i帧的谱频率参数和预置谱频率参数的加权运算,确定第i帧修正后的谱频率参数。
在第二方面的一种可能的实现方式中,判断模块用于根据第i帧与第i-1帧的相关性和能量稳定性,确定是否对第i帧的激励信号进行修正,当判断模块确定对第i帧的信号激励信号进行修正时,修正模块用于根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正。
判断模块具体用于:首先根据第i帧的激励信号和第i帧的谱频率参数,确定第i帧的预合成信号。
然后,判断第i帧的预合成信号的能量和第i-1帧的合成信号的能量的差值的绝对值是否大于第十阈值,如果第i帧的预合成信号的能量和第i-1帧的合成信号的能量的差值的绝对值大于第十阈值,则确定对第i帧的激励信号进行修正,如果第i帧的预合成信号的能量和第i-1帧的合成信号的能量的差值的绝对值小于或等于第十阈值,则确定不对i帧的激励信号进行修正。
或者,判断第i帧的预合成信号的能量和第i-1帧的合成信号的能量的比值是否大于第十一阈值,第十一阈值大于1,如果第i帧的预合成信号的能量和第i-1帧的合成信号的能量的比值大于第十一阈值,则确定对第i帧的激励信号进行修正,如果第i帧的预合成信号的能量和第i-1帧的合成信号的能量的比值小于或等于第十一阈值,则确定不对i帧的激励信号进行修正。
或者,判断第i-1帧的预合成信号的能量和第i帧的合成信号的能量的比值是否小于第十二阈值,第十二阈值小于1,如果第i-1帧的预合成信号的能量和第i帧的合成信号的能量的比值小于第十二阈值,则确定对第i帧的激励信号进行修正,如果第i-1帧的预合成信号的能量和第i帧的合成信号的能量的比值大于或等于第十二阈值,则确定不对第i帧的激励信号进行修正。
修正模块具体用于:根据第i帧与第i-1的能量稳定性确定第二修正因子,第二修正因子小于,将第i帧的激励信号乘以第二修正因子得到第i帧修正后的激励信号1。可选的,第二修正因子为第i-1帧的能量和第i帧的能量的比值,或者,第二修正因子为第i-1帧和第i帧相同个数子帧的能量的比值。
在第二方面的一种可能的实现方式中,判断模块用于根据第i-1帧信号的相关性,确定是否对第i帧的激励信号进行修正,当判断模块确定对第i帧的信号激励信号进行修正时,修正模块用于根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正。其中,第i-1帧信号的相关性包括:第i-1帧信号的相关值与十三阈值的大小关系以及第i-1帧信号的基因周期的偏差与第十四阈值的大小关系。
相应的,判断模块具体用于:判断第i-1帧信号是否满足条件七,如果第i-1帧信号满足条件七,则确定对第i帧的激励信号进行修正,如果第i-1帧信号不满足条件七,则确定不对第i帧的激励信号进行修正。其中,条件七为:第i-1帧为丢失帧,第i-1信号的相关值大于第十三阈值,并且第i-1帧信号的基音周期的偏差小于第十四阈值。
修正模块具体用于:根据第i帧与第i-1的能量稳定性,确定第三修正因子,第三修正因子小于1,将第i帧的激励信号乘以第三修正因子得到第i帧修正后的激励信号。
在第二方面的一种可能的实现方式中,判断模块用于根据第i帧与第i-1帧信号的相关性,确定是否对第i帧的激励信号进行修正,当判断模块确定对第i帧的信号激励信号进行修正时,修正模块用于根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正。其中,第i帧与第i-1帧信号的相关性包括:第i-1帧信号的相关值与十三阈值的大小关系以及第i帧信号的基因周期的偏差与第十四阈值的大小关系。
相应的,判断模块具体用于:判断第i-1帧信号和第i帧信号是否满足条件八,如果第i-1帧信号和第i帧信号满足条件八,则确定对第i帧的激励信号进行修正,如果第i-1帧信号和第i帧信号不满足条件八,则确定不对第i帧的激励信号进行修正。其中,条件八包括:第i-1帧为丢失帧,第i-1帧信号的相关值大于预设的第十三阈值,并且第i帧信号的基音周期的偏差小于预设的第十四阈值。
修正模块具体用于:根据第i帧与第i-1的能量稳定性,确定第三修正因子,第三修正因子小于1,将第i帧的激励信号乘以第三修正因子得到第i帧修正后的激励信号。
在第二方面的一种可能的实现方式中,判断模块用于根据第i-1帧与第i-2帧信号的相关性,确定是否对第i帧的激励信号进行修正,当判断模块确定对第i帧的信号激励信号进行修正时,修正模块用于根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正。其中,第i-1帧与第i-2帧信号的相关性,包括:第i-2帧信号的相关值与十三阈值的大小关系,第i-1帧的激励信号是否被修正过。
相应的,判断模块具体用于:判断第i-2帧信号和第i-1帧信号是否满足条件九,如果第i-2帧信号和第i-1帧信号满足条件九,则确定对第i帧的激励信号进行修正,如果第i-2帧信号和第i-1帧信号不满足条件九,则确定不对第i帧的激励信号进行修正。其中,条件九包括:第i-2帧为丢失帧,第i-2帧信号的相关值大于第十三阈值,且第i-1帧信号的激励信号进行了修正。
修正模块具体用于:根据第i帧与第i-1的能量稳定性,确定第四修正因子,第四修正因子小于1,将第i帧的激励信号乘以第四修正因子得到i帧修正后的激励信号。
在第二方面的一种可能的实现方式中,判断模块用于根据第i-1帧与第i-2帧信号的相关性,确定是否对第i帧的激励信号进行修正,当判断模块确定对第i帧的信号激励信号进行修正时,修正模块用于根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正。其中,第i-1帧与第i-2帧信号的相关性,包括:第i-2帧信号的相关值与十三阈值的大小关系,第i-1帧的激励信号中的代数码书贡献与第十五阈值的大小关系。
相应的,判断模块具体用于:判断第i-2帧信号和第i-1帧信号是否满足条件十,如果第i-2帧信号和第i-1帧信号满足条件十,则确定对第i帧的激励信号进行修正,如果第i-2帧信号和第i-1帧信号不满足条件十,则确定不对第i帧的激励信号进行修正。其中,条件十包括:第i-2帧为丢失帧,第i-2帧信号的相关值大于第十三阈值,且第i-1帧信号的激励信号中的代数码书贡献小于第十五阈值。
修正模块具体用于:根据第i帧与第i-1的能量稳定性,确定第四修正因子,第四修正因子小于1,将第i帧的激励信号乘以第四修正因子得到i帧修正后的激励信号。
在第二方面的一种可能的实现方式中,判断模块用于根据第i-1帧与第i帧信号的相关性,确定是否对第i帧的状态更新的激励信号进行修正,当判断模块确定对第i帧的状态更新的激励信号进行修正时,修正模块用于根据第i帧与第i-1的能量稳定性对第i帧的状态更新的激励信号进行修正。其中,第i-1帧与第i帧信号的相关性,包括:第i-1帧与第i帧的相关性大小,以及第i-1帧信号的激励信号是否被修正过。
相应的,判断模块具体用于:判断第i帧信号和第i-1帧信号是否满足条件十一,如果第i帧信号和第i-1帧信号满足条件十一,则确定对第i帧的状态更新的激励信号进行修正,如果第i帧信号和第i-1帧信号不满足条件十一,则确定不对第i帧的状态更新的激励信号进行修正,条件十一包括:第i帧或第i-1帧是强相关帧,且第i-1帧信号的激励信号做了修正。
修正模块具体用于:根据第i帧与第i-1的能量稳定性,确定第五修正因子,第五修正因子小于1,将第i帧的状态更新的激励信号乘以第五修正因子得到第i帧修正后的状态更新的激励信号。
本发明实施例提供的丢帧补偿处理方法和装置,通过丢失帧标记位确定第i帧是否为丢失帧,当第i帧为丢失帧时,根据第i帧的前N帧的帧间关系和前N帧的帧内关系中的至少一个,估计第i帧的谱频率参数、基音周期和增益,前N帧的帧间关系包括前N帧的相关性和能量稳定性中的至少一个,前N帧的帧内关系包括前N帧中子帧间的相关性和能量稳定性中的至少一个。通过前N帧的信号相关性和能量稳定性,以及每帧帧内信号的相关性和能量稳定性确定第i帧的参数,考虑到了信号之间的关系,使得估计得到的第i帧的参数更加准确,从而提升了解码语音信号的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的丢帧补偿处理方法的流程图;
图2为本发明实施例二提供的谱频谱参数估计方法的流程图;
图3为本发明实施例三提供的基因周期估计方法的流程图;
图4为本发明实施例四提供的增益估计方法的流程图;
图5为本发明实施例五提供的丢帧补偿处理方法的流程图;
图6为第i帧的语谱图在修正前后的对比图;
图7为第i帧的时域信号在修正前后的对比图;
图8为本发明实施例六提供的丢帧补偿处理方法的流程图;
图9为本发明实施例七提供的丢帧补偿处理装置的结构示意图;
图10为本发明实施例八提供的丢帧补偿处理装置的结构示意图;
图11为本发明实施例九提供的丢帧补偿处理装置的实体结构的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例一提供的丢帧补偿处理方法的流程图,如图1所示,本实施例的方法可以包括以下步骤:
步骤101、通过丢失帧标记位确定第i帧是否为丢失帧。
编码端发送的帧在传输过程中可能会丢失,网络侧会相应的记录当前帧是否为丢失帧,解码端根据接收到的数据包中的丢失帧标记位确定第i帧是否为丢失帧。这里第i帧即正在处理的当前帧,依次类推,第i-1帧为当前帧的前一帧,第i+1帧为为当前帧的后一帧,其中,当前帧的前一帧是指与当前帧相邻并且在时域上超前当前帧的帧,当前帧的后一帧是指与当前帧相邻并且在时域上落后当前帧的帧。
步骤102、如果第i帧为丢失帧,则根据第i帧的前N帧的帧间关系和前N帧的帧内关系中的至少一个,估计第i帧的参数。
其中,前N帧的帧间关系包括前N帧的相关性和能量稳定性中的至少一个,前N帧的帧内关系包括前N帧中的子帧间的相关性和能量稳定性中的至少一个,相关性包括信号的谱频率参数的大小关系、相关值的大小关系、谱倾斜参数的大小关系、基因周期的大小关系、激励信号之间的关系等。第i帧的参数包括:谱频率参数、基音周期、增益和代数码书,N为大于或等于1的正整数,其中,谱频率参数、基音周期、增益可以通过第i帧的前N帧的帧间关系和前N帧的帧内关系中的至少一个估计得到。
信号的相关性可以用信号的归一化自相关值表示,信号的归一化自相关值通过对信号进行归一化自相关处理得到,信号的相关性也可以用自相关值表示,自相关值可以通过自相关处理得到,在确定时不需要进行归一化处理,归一化自相关值和自相关值可以互相转换,最终得到的信号的相关性是相同的。信号的相关性具体可以对每帧的解码信号的相关值、基音周期间的大小关系、每帧的谱倾斜值或过零率中的任何一个或任意几个的组合,进行自相关处理或者归一化自相关处理得到。
信号的相关性可以分为以下几种情况:低相关性,低相关上升沿,低相关下降沿,中相关,高相关,高相关上升沿,高相关下降沿。在确定信号的相关性时,可以将信号的相关值与相关性阈值进行比较,相关性阈值也可以从上述情况中选一些临界值,如相关性阈值取低相关下降沿,那么信号的相关值大于低相关下降沿,也就是相关性取中相关,高相关,高相关上升沿,高相关下降沿中的某一个值。
本实施例中,前N帧的帧间的能量稳定性是指前N帧的相邻帧之间能量的关系,相邻帧是指传输时在时域上相连的两个帧,能量稳定性可以通过帧与帧之间的能量的比值表示,每一帧的能量可以通过确定信号的平均能量的均方根得到,也可以通过确定信号的平均幅度得到。具体可以通过如下两个公式确定每一帧的平均能量E和平均幅度M:
其中,N为帧长或子帧长,s[j]表示第j帧的幅度,j的取值为1,2……,N。
谱频谱参数包括导抗谱频率(Immittance Spectral Frequencies,简称ISF)和线谱频率(Line Spectral Frequencies,简称LSF)等。增益包括自适应码书增益和代数码书增益。基音周期是人发出浊音时由于声带振动所造成的周期性特征,即人发出声音时其声带振动周期,与声带振动频率成倒数关系。
本实施例在估计第i帧的参数时,根据历史帧(即前N帧)的相关性和能量稳定性,以及每帧的相关性和能量稳定性确定第i帧的参数,考虑到了信号之间的关系,使得估计得到的第i帧的参数更加准确。
步骤103、获取第i帧的代数码书。
可选的,可以根据随机噪声估计得到第i帧的代数码书,或者,根据第i帧的前N帧的代数码书加权得到第i帧的代数码书。或者,也可以采用已有的方法估计第i帧的代数码书。
步骤104、根据估计得到的第i帧的基音周期、增益以及获取的第i帧的代数码书生成第i帧的激励信号。
在执行本步骤之前,还需要估计第i帧的代数码书贡献的权重和自适应码数,其中,自适应码书可以根据第i-1帧的状态更新的激励信号内插得到。代数码书贡献的权重可以根据第i-1帧的基音周期的偏差、信号的相关性、谱斜率大小和过零率中的任意一个或者任意组合进行加权运算得到。
本实施例中,第i帧的增益包括自适应码书增益和代数码书增益,在合成第i帧的激励信号时,先根据第i帧的代数码书和第i帧的代数码书增益的乘积,得到第i帧的代数码书贡献,以及根据第i帧的自适应码书和第i帧的自适应码书增益的乘积,得到第i帧的自适应码书贡献。然后根据第i帧的代数码书贡献的权重和自适应码书贡献的权重,对第i帧的代数码书贡献和自适应码书贡献进行加权运算,得到第i帧的激励信号,其中自适应码书的权重固定为1。
步骤105、根据估计得到的第i帧的谱频率参数和生成的第i帧的激励信号合成第i帧信号。
步骤105的具体实现方式可采用已有方法或已有方法的简单变形,这里不再赘述。
本实施例中,在第i帧为丢失帧时,则根据第i帧的前N帧的帧间关系和前N帧的帧内关系中的至少一个,估计第i帧的参数,前N帧的帧间关系包括前N帧的相关性和能量稳定性中的至少一个,前N帧的帧内关系包括前N帧中子帧间的相关性和能量稳定性中的至少一个。通过前N帧的信号相关性和能量稳定性,以及每帧帧内信号的相关性和能量稳定性确定第i帧的参数,考虑到了信号之间的关系,使得估计得到的第i帧的参数更加准确,从而提升了解码语音信号的质量。
在实施例一的基础上,本发明实施例二中提供一种谱频率参数的估计方法,本实施例中,第i帧的谱频率参数是根据第i帧的前N帧的帧间关系估计得到的,图2为本发明实施例二提供的谱频谱参数估计方法的流程图,如图2所示,本实施例提供的方法可以包括以下步骤:
步骤201、根据第i帧的前N帧的相关性确定第i-1帧的谱频率参数的权重和第i帧的预置谱频率参数的权重。
本实施例中,第i帧的前N帧的相关性包括:第i-1帧信号的谱倾斜参数与第二阈值的大小关系、第i-1帧信号的归一化自相关值与第一阈值的大小关系和第i-1帧信号的基因周期的偏差与第三阈值的大小关系。第一阈值、第二阈值和第三阈值都是预先设定的。其中,在本发明的一个实现方式中,第一阈值可以从[0.3,0.8]这个数值区间内取值,具体地,可以是0.3,0.5,0.6或0.8等。在本发明的一个实现方式中,第二阈值可以从[-0.5,0.5]这个数值区间内取值,具体地,可以是-0.5,-0.1,0,0.1或0.5等。在本发明的一个实现方式中,第三阈值可以从[0.5,5]这个数值区间内取值,具体地,可以是0.5,1或5等。对于每帧信号,都会确定并保存信号的谱倾斜参数、归一化自相关值和基因周期,以便于解码端根据第i帧的前N帧的相关性解码当前帧的信号。例如,可以根据第i帧的前一帧(即第i-1帧)的信号的相关性和谱频率参数确定第i帧谱频率参数,通常情况下,第i-1帧的信号的相关性和谱频率参数的相关性大时,在确定第i帧的谱频率参数时,第i-1帧的谱频率参数的权重大,第i帧的预置谱频率参数的权重小,第i-1帧的信号的相关性和谱频率参数的相关性小时,第i-1帧的谱频率参数的权重小,第i帧的预置谱频率参数的权重大。
一种实现方式中,如果第i-1帧信号满足条件一、条件二和条件三中的至少一个,则确定第i-1帧的谱频率参数的权重为第一权重,第i帧的预置谱频率参数的权重为第二权重。其中,第一权重大于第二权重,条件一为:第i-1帧信号的归一化自相关值大于第一阈值,条件二为:第i-1帧信号的谱倾斜参数大于第二阈值,条件三为:第i-1帧信号的基音周期的偏差小于第三阈值。
或者,如果第i-1帧信号同时不满足条件一、条件二和条件三,则确定第i-1帧的谱频率参数的权重为第二权重,第i帧的预置谱频率参数的权重为第一权重。本实施例中,第一权重和第二权重可以是预先设置的,也可以是根据第i帧的前N帧帧间的谱频率参数的相关性大小确定的,相应的,在步骤201之前还需要根据第i帧的前N帧帧间的谱频率参数的相关性大小确定第一权重和第二权重。
其中,第i-1帧信号的归一化自相关值可以通过对第i-1帧的解码信号的进行归一化自相关处理得到。第i-1帧信号的基音周期的偏差为第i-1帧的各子帧的基音周期相对于各子帧的基音周期的均值的偏差之和,在确定第i-1帧信号的基音周期的偏差时,先将第i-1帧的各子帧的基音周期相加进行平均得到各子帧的基音周期的均值,然后,分别确定每个子帧相对于基音周期的均值的偏差,最后,将各子帧的基音周期的偏差的绝对值相加得到第i-1帧信号的基音周期的偏差。或通过确定相邻子帧间基音周期的差值的绝对值的和得到第i-1帧信号的基音周期的偏差。
例如,第一权重为0.8,第二权重为0.2,第一阈值为0.8,第二阈值为0.6,第三阈值为0.2,那么当第i-1帧信号的归一化自相关值大于0.8,第i-1帧信号的谱斜率参数大于0.6,第i-1帧信号的基音周期的偏差小于0.2时,第i-1帧的谱频率参数的权重为0.8,第i帧的预置谱频率参数的权重为0.2,否则,第i-1帧的谱频率参数的权重为0.2,第i帧的预置谱频率参数的权重为0.8。
步骤202、根据第i-1帧的谱频率参数的权重和第i帧的预置谱频率参数的权重,对第i-1帧的谱频率参数和第i帧的预置谱频率参数进行加权运算得到第i帧的谱频率参数。
本实施例中,解码端会为丢失帧预先设置一个谱频率参数,称为预置谱频谱参数,在第i帧为丢失帧时,根据第i-1帧的频谱率参数和第i帧的预置谱频率参数进行加权运算得到第i帧的谱频率参数,在第i-1帧的相关性大时,有很大的可能前后帧之间的相关性也很大,因此,第i-1帧的频谱率参数的权重大,相应的第i帧的预置的谱频率参数的权重小,这样确定得到的第i帧的谱频率参数主要依赖于第i帧的谱频率参数,更加准确。
在实施例一的基础上,本发明实施例三提供一种基音周期的估计方法,本实施例中,第i帧的基因周期是根据第i帧的前N帧的相关性和第i帧的前N帧的子帧间的相关性估计得到的;其中相关性包括:第i-2帧信号的归一化自相关值与第五阈值的大小关系、第i-2帧信号的基因周期的偏差与第四阈值的大小关系和第i-1帧信号的基因周期的偏差与第四阈值的大小关系。在本发明的一个实现方式中,第四阈值可以从[2,50]这个数值区间内取值,具体地,可以是2,5,10或50等。在本发明的一个实现方式中,第五阈值可以从低相关性上升沿~高相关性上升沿这个区间内选取,具体地,可以选取低相关性上升沿,低相关性下降沿或高相关性上升沿等。其中,低相关性上升沿和高相关性上升沿是与先设置的相关性值的划分,例如,可以根据相关性值的大小将相关性值按顺序划分成低相关性,低相关性上升沿,低相关性下降沿,高相关性上升沿,高相关性,中相关性,高相关性下降沿等。
图3为本发明实施例三提供的基因周期估计方法的流程图,如图3所示,本实施例提供的方法可以包括以下步骤:
步骤301、判断第i-1帧信号的基音周期的偏差是否小于第四阈值。
如果第i-1帧信号的基音周期的偏差小于第四阈值,则执行步骤302,如果第i-1帧信号的基音周期的偏差大于或等于第四阈值,则执行步骤303。
其中,每个帧包括多个子帧,第i-1帧信号的基音周期的偏差为第i-1帧的各子帧的基音周期相对于各子帧的基音周期的均值的偏差之和,第i-1帧信号的基音周期的偏差可参照实施例二中的确定方法。
步骤302、根据第i-1帧信号的基音周期确定第i-1帧信号的基音周期偏移值,根据第i-1帧信号的基音周期偏移值和第i-1帧信号的基音周期确定第i帧信号的基音周期。
本实施例中,第i-1帧信号的基音周期偏移值为第i帧的所有相邻子帧的基音周期的差值的均值,假设每个帧包括4个子帧,则可以根据如下公式确定第i-1帧信号的基音周期偏移值pv:
pv=(p(-1)(3)-p(-1)(2))+(p(-1)(2)-p(-1)(1))+(p(-1)(1)-p(-1)(0))/3,
其中,p(-1)(j)是第i-1帧的第j个子帧的基音周期,j=0,1,2,3。
可以根据如下公式确定第i帧信号的基音周期:
pcur(j)=p(-1)(3)+(j+1)*pv,j=0,1,2,3,其中,p(-1)(3)是第i-1帧的第3个子帧(第i-1帧的最后一个子帧)的基音周期,pv是第i-1帧信号的基音周期偏移值,pcur(j)是第i帧的第j个子帧的基音周期。
步骤303、如果第i-2帧信号的归一化自相关值大于第五阈值,且第i-2帧信号的基音周期的偏差小于第四阈值,则根据第i-2帧信号和第i-1帧信号的基音周期确定第i-2帧信号和第i-1帧信号的基音周期偏移值,根据第i-1帧信号的基音周期以及第i-2帧信号和第i-1帧信号的基音周期偏移值确定第i帧信号的基音周期。
第i-2帧为第i-1帧的前一帧,可以根据如下公式确定第i-2帧信号和第i-1帧信号的基音周期偏移值pv:
pv=(p(-2)(3)-p(-2)(2))+(p(-1)(0)-p(-2)(3))+(p(-1)(1)-p(-1)(0))/3,
其中,p(-2)(m)是第i-2帧的第m个子帧的基音周期,p(-1)(n)是第i-1帧的第n个子帧的基音周期,m=2,3,n=0,1。
然后,根据第i-2帧信号和第i-1帧信号的基音周期偏移值pv,使用如下公式确定第i帧信号的基音周期:
pcur(x)=p(-1)(3)+(x+1)*pv,x=0,1,2,3,p(-1)(3)是第i-1帧的第3个子帧的基音周期,pv是第i-2帧信号和第i-1帧信号的基音周期偏移值,pcur(x)是第i帧的第x个子帧的基音周期。
上述公式中,p(-2)(3)和p(-2)(2)为第i-2的最后两个子帧,p(-1)(1)和p(-1)(0)表示第i-1帧的最前两个子帧,可知上述公式中选择了第i-2的最后两个子帧以及第i-1帧的最前两个子帧共四个连续的子帧确定第i-2帧信号和第i-1帧信号的基音周期偏移值。可以理解的是,也可以选择第i-2的最后三个子帧以及第i-1帧的最前三个子帧共六个连续的子帧确定第i-2帧信号和第i-1帧信号的基音周期偏移值,或者,选择第i-2帧和第i-1帧的所有子帧确定第i-2帧信号和第i-1帧信号的基音周期偏移值,或者,选择第i-2的最后一个子帧以及第i-1帧的最前一个子帧共两个连续的子帧确定第i-2帧信号和第i-1帧信号的基音周期偏移值。
在实施例一的基础上,本发明实施例四提供一种增益的估计方法,图4为本发明实施例四提供的增益估计方法的流程图,其中,第i帧的增益包括:自适应码书增益和代数码书增益,本实施例中第i帧的增益是根据第i帧的前N帧的相关性和能量稳定性估计得到的,如图4所示,本实施例提供的方法可以包括以下步骤:
步骤401、根据第i-1帧的自适应码书增益或预先设定的固定值、第i-1帧的相关性及第i帧在连续的多个丢失帧中的序号,确定第i帧的自适应码书增益。
首先,确定第i帧是否为连续的多个丢失帧中的第一个丢失帧,如果第i帧前m帧都为丢失帧,则第i帧为连续的多个丢失帧中的非第一个丢失帧,m为大于或等于1的正整数。如果第i帧为连续的多个丢失帧中非第一个丢失帧,则根据连续的多个丢失帧中的第一个丢失帧对应的自适应码书增益、衰减因子和第i帧在连续的多个丢失帧中的序号,确定第i帧的自适应码书增益。
如果第i帧的前m帧都为丢失帧,那么加上第i帧共有m+1个丢失帧,当这m+1个丢失帧中的第一丢失帧丢失后,解码端会为该第一个丢失帧设置一个自适应码书增益,根据连续丢帧帧数的增加,自适应码书增益逐渐衰减。一种实现方式中,在发生连续丢失帧时,每次都在会前一帧的自适应码书增益的基础上乘以一个衰减因子,假设第一个丢失帧对应的自适应码书增益为1,衰减因子为0.8,那么第二个连续丢失帧的自适应码书增益为1*0.8,第三个连续丢失帧的自适应码书增益为1*(0.8)2,那么第m+1个连续丢失帧的自适应码书增益为1*(0.8)m。当然,也可以用自适应码书增益减去衰减因子当前丢失帧的自适应码书增益,例如,第一个丢失帧对应的自适应码书增益为1,衰减因子为0.1,那么第二个连续丢失帧的自适应码书增益为1-0.1,第三个连续丢失帧的自适应码书增益为1-2*0.1,那么第m+1个连续丢失帧的自适应码书增益为1-m*0.1。本实施例中,衰减因子可以为一个固定值,也可以随帧之间的能量稳定性变化,例如,在能量下降延时,衰减因子更小。
如果第i帧为正常帧后的第一个丢失帧,即第i-1帧为正常帧,第i帧为丢失帧,则确定第i帧的自适应码书增益为一个固定值。也就是说,在某个正常帧之后出现第一个丢失帧时,为该第一个丢失帧设置一个自适应码书增益,后续如果没有连续的丢失帧,那么这些非连续的丢失帧的自适应码书增益都与该第一个丢失帧的自适应码书增益相同。
步骤402、根据第i-1帧的能量稳定性确定第i-1帧的代数码书增益的权重以及语音激活检测(Voice Activity Detection,简称VAD)帧的增益的权重。
需要说明的是步骤402也可以在步骤401之前执行,即代数码书增益和自适应码书的确定顺序并没有先后。其中,话音激活检测VAD帧的增益,可以通过能量的均方根,幅度的均值等确定得到。
其中,第i-1帧的代数码书增益的权重和VAD帧的增益的权重之和为一个定值,第i-1帧的能量越稳定,第i-1帧的代数码书增益的权重越大,相应的VAD帧的增益的权重越小。或者,随着连续丢失帧个数的增加,VAD帧的增益的权重也相应增加,相应的,代数码书增益的权重会减小。如果第i-1帧的能量越稳定,且连续丢失帧个数的增加,那么可以综合考虑能量稳定性和连续丢帧个数,第i-1帧的代数码书增益的权重不增加,或者增加幅度减小。在语音帧中,解码端会周期性进行VAD检测,得到VAD帧的能量。
步骤403、根据第i-1帧的代数码书增益、VAD帧的增益、第i-1帧的代数码书增益的权重和VAD帧的增益的权重,进行加权运算得到第i帧的代数码书增益。
假设第i-1帧的代数码书增益的权重为α,VAD帧的增益的权重为β,那么第i帧的代数码书增益 表示第i-1帧的代数码书增益,gcg为VAD帧的增益。当代数码书增益小于VAD帧的增益时,随着帧数的增加代数码书增益权重在前一帧基础上保持不变或者逐渐增大。
可选的,在执行步骤403之前,方法还包括:根据编解码速率确定第一修正因子,使用第一修正因子对第i-1帧的代数码书增益进行修正,例如,对第i-1帧的代数码书增益乘以第一修正因子对第i-1帧的代数码书增益进行修正。
在实施例一至实施例四中,具体描述了在第i帧为丢失帧的情况下,如何根据第i帧的前N帧的帧间关系和前N帧的帧内关系中的至少一个确定第i帧的参数,本发明实施例五中针对第i帧为正常帧的情况下,如何对第i帧的参数进行修正,图5为本发明实施例五提供的丢帧补偿处理方法的流程图,如图5所示,本实施例提供的方法可以包括以下步骤:
步骤501、根据接收到的码流解码获得第i帧的参数,第i帧的参数包括:谱频率参数、基音周期、增益以及代数码书。
步骤502、根据解码得到的第i帧的基音周期、增益以及代数码书生成第i帧的激励信号和第i帧的状态更新的激励信号。
激励信号包括自适应码书贡献和代书码书贡献两部分组成,其中,自适应码书贡献由自适应码书乘以自适应码书增益得到,代数码书贡献由代数码书乘以代数码书增益得到,自适应码书是根据当前帧的基因周期以及状态更新的激励信号内插得到,代数码书可以通过已有的方法进行估计得到,激励信号用于进行第i帧信号的合成,状态更新的激励信号用于生成下一帧自适应码书。
步骤503、如果第i-1帧或第i-2帧为丢失帧,根据第i帧与第i帧的前N帧的帧间关系和帧内关系中的至少一个,确定是否对第i帧谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正。
帧间关系包括第i帧与第i帧的前N帧的相关性和能量稳定性中的至少一个,帧内关系包括:第i帧与第i帧的前N帧的子帧间相关性和能量稳定性中的至少一个。当确定对第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个参数进行修正时,执行步骤504,当确定不对第i帧谱频率参数、激励信号和状态更新的激励信号进行修正时,则执行步骤505。
步骤504、根据第i帧与第i帧的前N帧的帧件关系和帧内关系中的至少一个,对第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正。
步骤505、根据第i帧谱频率参数、激励信号和状态更新的激励信号合成第i帧的信号。
步骤506、根据对第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个的修正结果合成第i帧信号。
步骤504之后,执行步骤506。如果只对第i帧的谱频率参数进行了修正,那么根据修正后的第i帧的谱频率参数、解码得到的第i帧的激励信号和解码得到的第i帧的状态更新的激励信号合成第i帧信号。如果只对第i帧的激励信号进行了修正,那么根据修正后的第i帧的激励信号、解码得到的第i帧的谱频率参数和解码得到的第i帧的状态更新的激励信号合成第i帧信号。如果只对第i帧的状态更新的激励信号激励信号进行了修正,那么根据修正后的第i帧的状态更新的激励信号、解码得到的第i帧的谱频率参数和解码得到的第i帧的激励信号合成第i帧信号。如果对第i帧的谱频率参数和激励信号进行了修正,那么根据修正后的第i帧的谱频率参数、修正后的第i帧的激励信号和解码得到的第i帧的状态更新的激励信号合成第i帧信号。如果对第i帧的谱频率参数和状态更新的激励信号进行了修改,那么根据修正后的第i帧的谱频率参数、修正后的第i帧的状态更新的激励信号和解码得到的第i帧的激励信号合成第i帧信号。如果对第i帧的激励信号和状态更新的激励信号进行了修改,那么根据修正后的第i帧的激励信号、修正后的第i帧的状态更新的激励信号和解码得到的第i帧的谱频率参数合成第i帧信号。如果对第i帧的谱频率参数、激励信号和状态更新的激励信号进行了修正,那么根据修正后的第i帧的谱频率参数、修正后的第i帧的激励信号和修正后的第i帧的状态更新的激励信号合成第i帧信号。
需要说明的是,如果第i-1帧和第i-2帧均为正常帧,那么可以直接根据解码得到的第i帧的参数合成第i帧信号,不需要对i帧的参数进行修正。如果第i-1帧或第i-2帧为丢失帧,那么估计得到的第i-1帧或第i-2帧的参数可能会存在一定误差,后续会导致帧间的能量的变化较大,从整体上看解码的语音信号不平稳,因此,本实施例中,解码端根据第i帧与第i帧的前N帧的相关性和能量稳定性,对第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正,使得前后帧之间的整体能量及相同频段的能量都能平滑过渡。
(1)对谱频率参数的修正
谱频率参数包括ISF或LSF,以ISF参数为例,由于ISF参数由第i帧的ISP参数和第i-1帧的ISP参数加权并转换得到,在第i-1帧或第i-2帧是丢失帧时,第i帧的确定得到的ISF参数和正常ISF参数(没有丢帧时的ISF参数)可能会存在一定的偏差,从而导致确定得到的低频的共振峰处的能量比真正的能量大很多。
一种实现方式中,可以根据第i帧的相关性,确定是否对第i帧的谱频率参数进行修正。当确定对第i帧的谱频率参数进行修正时,根据第i帧与第i-1帧的谱频率参数对第i帧的谱频率参数进行修正,或者,根据第i帧的谱频率参数和预置谱频率参数对第i帧的谱频率参数进行修正。其中,第i帧的相关性包括:第i帧的相邻谱频率参数的差值的最小值的索引对应的两个谱频率参数中的其中一个谱频率参数与第六阈值的大小关系、第i帧的相邻谱频率参数的差值的最小值与第七阈值的大小关系以及第i帧的相邻谱频率参数的差值的最小值的索引与第八阈值的大小关系。在本发明的一个实现方式中,第六阈值可以从[500,2000]这个数值区间内取值,具体地,可以是500,1000或2000等。在本发明的一个实现方式中,第七阈值可以从[100,1000]这个数值区间内取值,具体地,可以是100,200,300或1000等。在本发明的一个实现方式中,第八阈值可以从[1,5]这个数值区间内取值,具体地,可以是1,2或5等。
相应的,根据第i帧与第i-1帧的相关性,确定是否对第i帧的谱频率参数进行修正,具体为:首先确定第i帧的相邻谱频率参数的差值,每个差值对应一个索引,其中,谱频率参数是按照从小到大的顺序排列的,索引值也是按照由小到大的顺序。然后判断第i帧的相邻谱频率参数的差值是否满足条件四和条件五中的至少一个,条件四包括:第i帧的相邻谱频率参数的差值的最小值的索引对应的两个谱频率参数中的其中一个谱频率参数小于第六阈值。条件五包括:第i帧的相邻谱频率参数的差值的最小值的索引值小于预设的第八阈值,且最小差值小于预设的第七阈值。如果第i帧的相邻谱频率参数的差值满足条件四和条件五中的至少一个,则确定对第i帧谱频率参数进行修正,如果第i帧的相邻谱频率参数的差值同时不满足条件四和条件五,则确定不对第i帧谱频率参数进行修正。
另一种实现方式中,根据第i帧与第i-1帧的相关性,确定是否对第i帧的谱频率参数进行修正,当确定对第i帧的谱频率参数进行修正时,根据第i帧与第i-1帧的谱频率参数对第i帧的谱频率参数进行修正,或者,根据第i帧的谱频率参数和预置谱频率参数对第i帧的谱频率参数进行修正。其中,第i帧与第i-1帧的相关性包括:第i-1帧和第i帧的部分或全部相同索引对应的谱频率参数差值的和与第九阈值的大小关系。在本发明的一个实现方式中,第九阈值可以从[100,2000]这个数值区间内取值,具体地,可以是100,200,300或2000等。
相应的,根据第i帧与第i-1帧的相关性,确定是否对第i帧的谱频率参数进行修正,具体为:首先确定第i帧的相邻谱频率参数的差值,每个差值对应一个索引,然后判断第i帧的谱频率参数和第i-1帧的谱频率参数是否满足条件六,条件六包括:第i-1帧和第i帧的部分或全部相同索引对应的谱频率参数差值的和大于第九阈值,如果第i帧的谱频率参数和第i-1帧的谱频率参数满足条件六,则确定对第i帧谱频率参数进行修正,如果第i帧的谱频率参数和第i-1帧的谱频率参数不满足条件六,则确定不对第i帧谱频率参数进行修正。
上述两种实现方式中,根据第i帧与第i-1帧的谱频率参数对第i帧的谱频率参数进行修正,具体为:根据第i-1帧的谱频率参数和第i帧的谱频率参数的加权运算,确定第i帧修正后的谱频率参数。根据第i帧的谱频率参数和预置谱频率参数对第i帧的谱频率参数进行修正,具体为:根据第i帧的谱频率参数和预置谱频率参数的加权运算,确定第i帧修正后的谱频率参数。
以ISF参数为例,第i帧帧内相邻ISF参数间的差值可以表示为ISF_DIFF(i),ISF_DIFF(i)=ISF(i+1)-ISF(i),i=0,1,...,N-2,其中,N为ISF参数的阶数,如果第i帧的ISF_DIFF(i)的最小值的索引对应的ISF参数小于第六阈值(例如为800),且ISF_DIFF(i)的最小值小于第七阈值(例如为200),或者,第i-1帧和第i帧的部分或全部相同索引对应的谱频率参数差值的和大于第九阈值,则将第i帧的ISF参数和第i-1帧的ISF参数进行加权确定得到第i帧修正后的ISF参数,或将第i帧的ISF参数和预先设置的ISF参数的进行加权运算得到第i帧修正后的ISF参数。第i-1帧和第i帧的部分或全部相同索引对应的谱频率参数差值的和大于第九阈值说明前后帧间ISF参数相关性低。
图6为第i帧的语谱图在修正前后的对比图,如图6所示,图6(a)为原始信号的语谱图,原始信号即编码端发送的信号,图6(b)为现有技术合成后的信号的语谱图,图6(c)本发明合成后的信号的语谱图。通过图6(a)和图6(b)对比可知,图6(b)椭圆框里的部分比图6(a)原始信号椭圆框的部分亮了很多,也就是说第i帧恢复的低频的共振峰能量比正确恢复时的能量大很多。显然,需要对第i帧的ISF参数做相应的修正,使得第i帧共振峰位置的能量和真正的能量更接近,达到如图6(c)所示的效果。
(2)对激励信号的修正
由于丢失帧估计的基音周期和真实的基音周期间存在一定误差,第i帧在利用第i-1帧的激励信号内插出第i帧的自适应码书时,导致第i帧的自适应码书有过强的周期性,在第i帧的激励信号通过线性预测编码(Linear Predictive Coding,简称LPC)合成滤波器及第i帧的合成信号进行去加重处理时,往往会导致得到的能量比真实合成信号的能量大很多,显然会影响丢失帧后的正常帧(有时影响丢失帧后的一两帧,有时如果激励信号周期性太强,可能会影响更多帧),这时就要对激励信号和/或状态更新的激励信号做一定的修正,使得合成信号的能量和真实能量相当。
第一种方式中,根据第i帧与第i-1帧的相关性和能量稳定性,确定是否对第i帧的激励信号进行修正,当确定对第i帧的信号激励信号进行修正时,根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正。
具体的,首先根据第i帧的激励信号和第i帧的谱频率参数,确定第i帧的预合成信号,然后判断第i帧的预合成信号的能量和第i-1帧的合成信号的能量的差值的绝对值是否大于第十阈值,如果第i帧的预合成信号的能量和第i-1帧的合成信号的能量的差值的绝对值大于第十阈值,则确定对第i帧的激励信号进行修正,如果第i帧的预合成信号的能量和第i-1帧的合成信号的能量的差值的绝对值小于或等于第十阈值,则确定不对第i帧的激励信号进行修正。具体地,在本发明的一种实现方式中,第十阈值可以为第i帧的预合成信号的能量和第i-1帧的合成信号的能量中较小值的0.2~1倍,例如,可以为0.2倍,0.5倍或1倍等。
或者,判断第i帧的预合成信号的能量和第i-1帧的合成信号的能量的比值是否大于第十一阈值,第十一阈值大于1。如果第i帧的预合成信号的能量和第i-1帧的合成信号的能量的比值大于第十一阈值,则确定对第i帧的激励信号进行修正。如果第i帧的预合成信号的能量和第i-1帧的合成信号的能量的比值小于或等于第十一阈值,则确定不对i帧的激励信号进行修正。在本发明的一个实现方式中,第十一阈值可以从[1.1,5]这个数值区间内取值,具体地,可以是1.1,1.25,2,2.5或5等。
或者,判断第i-1帧的预合成信号的能量和第i帧的合成信号的能量的比值是否小于第十二阈值,第十二阈值小于1。如果第i-1帧的预合成信号的能量和第i帧的合成信号的能量的比值小于第十二阈值,则确定对第i帧的激励信号进行修正,如果第i-1帧的预合成信号的能量和第i帧的合成信号的能量的比值大于或等于第十二阈值,则确定不对第i帧的激励信号进行修正。在本发明的一个实现方式中,第四阈值可以从[0.1,0.8]这个数值区间内取值,具体地,可以是0.1,0.3,0.4或0.8等。
相应的,根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正,具体为:先根据第i帧与第i-1的能量稳定性确定第二修正因子,第二修正因子小于,然后将第i帧的激励信号乘以第二修正因子得到第i帧修正后的激励信号1。
其中,根据第i帧与第i-1的能量稳定性确定第二修正因子,具体为:确定第i-1帧的能量和第i帧的能量的比值为第二修正因子,或者,确定第i-1帧和第i帧相同个数子帧的能量的比值为第二修正因子。优选的,第i-1帧和第i帧相同个数子帧是连续的,例如,分别取第i-1帧的后两个子帧和第i帧的前两个子帧确定能量的比值,当然,选取的子帧也可以是不连续的。
第二种方式中,根据第i-1帧信号的相关性,确定是否对第i帧的激励信号进行修正,当确定对第i帧的信号激励信号进行修正时,根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正。其中,第i-1帧信号的相关性包括:第i-1帧信号的相关值与十三阈值的大小关系以及第i-1帧信号的基因周期的偏差与第十四阈值的大小关系。
相应的,根据第i-1帧信号的相关性,确定是否对第i帧的激励信号进行修正,具体为:判断第i-1帧信号是否满足条件七,条件七为:第i-1帧为丢失帧,第i-1帧信号的相关值大于第十三阈值,并且第i-1帧信号的基音周期的偏差小于第十四阈值。如果第i-1帧信号满足条件七,则确定对第i帧的激励信号进行修正,如果第i-1帧信号不满足条件七,则确定不对第i帧的激励信号进行修正。根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正,具体为:根据第i帧与第i-1的能量稳定性,确定第三修正因子,第三修正因子小于1,将第i帧的激励信号乘以第三修正因子得到第i帧修正后的激励信号。在本发明的一个实现方式中,第十三阈值可以从低相关上升沿~高相关上升沿中选取,具体地,可以选取为低相关上升沿或高相关上升沿等。在本发明的一个实现方式中,第十四阈值可以从[0.5,20]这个数值区间内取值,具体地,可以是0.5,2,5,10或20等。
第三种方式中,根据第i帧与第i-1帧信号的相关性,确定是否对第i帧的激励信号进行修正,当确定对第i帧的信号激励信号进行修正时,根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正。其中,第i帧与第i-1帧信号的相关性包括:第i-1帧信号的相关值与十三阈值的大小关系以及第i帧信号的基因周期的偏差与第十四阈值的大小关系。
相应的,根据第i帧与第i-1帧信号的相关性,确定是否对第i帧的激励信号进行修正,具体为:判断第i-1帧信号和第i帧信号是否满足条件八,条件八包括:第i-1帧为丢失帧,第i-1帧信号的相关值大于第十三阈值,并且第i帧的基音周期的偏差小于第十四阈值。如果第i-1帧信号和第i帧信号满足条件八,则确定对第i帧的激励信号进行修正。如果第i-1帧信号和第i-1帧信号不满足条件八,则确定不对第i帧的激励信号进行修正。根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正,具体为:根据第i帧与第i-1的能量稳定性,确定第三修正因子,第三修正因子小于1,然后将第i帧的激励信号乘以第三修正因子得到第i帧修正后的激励信号。
其中,根据第i帧与第i-1的能量稳定性确定第三修正因子具体可以为:确定第i-1帧的能量和第i帧的能量的比值为第二修正因子,或者,确定第i-1帧和第i帧相同个数子帧的能量的比值为第三修正因子。
第四种方式中,根据第i-1帧与第i-2帧信号的相关性,确定是否对第i帧的激励信号进行修正,当确定对第i帧的信号激励信号进行修正时,根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正。其中,第i-1帧与第i-2帧信号的相关性,包括:第i-2帧信号的相关值与十三阈值的大小关系,第i-1帧的激励信号是否被修正过。
相应的,根据第i-1帧与第i-2帧信号的相关性,确定是否对第i帧的激励信号进行修正,具体为:首先判断第i-2帧信号和第i-1帧信号是否满足条件九,条件九包括:第i-2帧为丢失帧,第i-2帧信号的相关值大于预设的第十三阈值,且第i-1帧的激励信号进行了修正。如果第i-2帧信号和第i-1帧信号满足条件九,则确定对第i帧的激励信号进行修正,如果第i-2帧信号和第i-1帧信号不满足条件九,则确定不对第i帧的激励信号进行修正。根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正,具体为:根据第i帧与第i-1的能量稳定性,确定第四修正因子,第四修正因子小于1,然后将第i帧的激励信号乘以第四修正因子得到i帧修正后的激励信号。
第五种方式中,根据第i-1帧与第i-2帧信号的相关性,确定是否对第i帧的激励信号进行修正,当确定对第i帧的信号激励信号进行修正时,根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正。其中,第i-1帧与第i-2帧信号的相关性,包括:第i-2帧信号的相关值与十三阈值的大小关系,第i-1帧的激励信号中的代数码书贡献与第十五阈值的大小关系。在本发明的一个实现方式中,第十五阈值可以从第i-1帧的激励信号的0.1~0.5倍中选取,具体地,可以选取为第i-1帧的激励信号的0.1倍,0.2倍或0.5倍等。
相应的,根据第i-1帧与第i-2帧信号的相关性,确定是否对第i帧的激励信号进行修正,具体为:判断第i-2帧信号和第i-1帧信号是否满足条件十,条件十包括:第i-2帧为丢失帧,第i-2帧信号的相关值大于第十三阈值,且第i-1帧信号的激励信号中的代数码书贡献小于第十五阈值。如果第i-2帧信号和第i-1帧信号满足条件十,则确定对第i帧的激励信号进行修正。如果第i-2帧信号和第i-1帧信号不满足条件十,则确定不对第i帧的激励信号进行修正。根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正,具体为:根据第i帧与第i-1的能量稳定性,确定第四修正因子,第四修正因子小于1,然后将第i帧的激励信号乘以第四修正因子得到i帧修正后的激励信号。
图7为第i帧的时域信号在修正前后的对比图,如图7所示,图7(a)为原始的时域信号,原始的时域信号即编码端发送的时域信号,图7(b)为现有技术合成后的恢复信号的时域信号,图7(c)本发明合成后的恢复信号的时域喜好。通过7(a)和图7(b)对比可知,图7(b)椭圆框里的部分比图7(a)原始信号椭圆框的部分能量大很多,显然,需要对第i帧的激励信号或状态更新的激励信号做修正,使得第i帧恢复信号的能量和原始信号的能量更接近,达到如图7(c)所示的效果。
(3)对状态更新的激励信号进行修改
本实施例中,可以根据第i-1帧与第i帧信号的相关性,确定是否对第i帧的状态更新的激励信号进行修正,当确定对第i帧的状态更新的激励信号进行修正时,根据第i帧与第i-1的能量稳定性对第i帧的状态更新的激励信号进行修正。其中,第i-1帧与第i帧信号的相关性,包括:第i-1帧与第i帧的相关性大小,以及第i-1帧信号的激励信号是否被修正过。
相应的,根据第i-1帧与第i帧信号的相关性,确定是否对第i帧的状态更新的激励信号进行修正,具体为:判断第i帧信号和第i-1帧信号是否满足条件十一,条件十一包括:第i帧或第i-1帧是强相关帧,且第i-1帧信号的激励信号做了修正。如果第i帧信号和第i-1帧信号满足条件十一,则确定对第i帧的状态更新的激励信号进行修正,如果第i帧信号和第i-1帧信号不满足条件十一,则确定不对第i帧的状态更新的激励信号进行修正。根据第i帧与第i-1的能量稳定性对第i帧的激励信号进行修正,具体为:根据第i帧与第i-1的能量稳定性,确定第五修正因子,第五修正因子小于1,将第i帧的状态更新的激励信号乘以第五修正因子得到第i帧修正后的状态更新的激励信号。
本实施例中,如果第i帧为正常帧,则根据接收到的码流解码获得第i帧的参数,根据解码得到的第i帧的基音周期、增益以及代数码书生成第i帧的激励信号和状态更新的激励信号,如果第i-1帧或第i-2帧为丢失帧,则进一步根据第i帧与第i帧的前N帧的帧间关系和帧内关系,对第i帧的谱频率参数、激励信号和状态更新的激励信号至少一个进行修正,根据修正后的参数合成第i帧的信号。本实施例的方法通过对第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正,使得前后帧之间的整体能量能够平滑过渡,从而提升了解码语音信号的质量。
图8为本发明实施例六提供的丢帧补偿处理方法的流程图,如图8所示,本实施例的方法在实施例五的基础上,还可以包括以下步骤:
步骤601、对第i帧的解码信号进行处理,得到第i帧的解码信号的相关值。
一种实现方式中,可以对第i帧的解码信号进行归一化自相关处理,通过归一化自相关处理将第i帧的解码信号归一化到一定范围内,可以利用已有的归一化自相关函数进行处理。另一种实现方式中,不对第i帧的解码信号进行归一化处理,直接进行自相关处理。例如,从第i帧的解码信号中采样了100个点,然后,选取编号为0-98和1-99的点进行自相关处理得到第i帧的解码信号的相关值。当然,也可以从第i-1帧和第i帧信号中各选取50个点,工作100个点,然后按照上述方式进行自相关处理得到第i帧信号的相关值。
步骤602、根据第i帧的解码信号的相关值、第i帧的各子帧的基音周期间的大小关系、第i帧的谱倾斜值、第i帧的过零率中的任何一个或任意几个的组合,确定第i帧信号的相关性。
例如,在根据第i帧的解码信号的相关值确定第i帧信号的相关性时,通常会设置一个阈值,如果第i帧信号的相关值大于该阈值,则确定第i帧信号的相关性高,如果第i帧信号的相关值小于该阈值,则确定第i帧信号的相关性低。
步骤603、根据第i帧的解码信号确定第i帧的能量,根据第i帧的能量和第i-1帧的能量确定第i帧的能量和第i-1帧之间的能量稳定性,和/或,根据第i帧的解码信号确定第i帧的各子帧的能量,根据第i帧的各子帧的能量确定第i帧的各子帧之间的能量稳定性。
本实施例中,确定信号的相关性、第i帧和第i-1帧之间的能量稳定性和/或第i帧帧内的能量稳定性是为了估计第i+1帧信号时使用,本实施例中,在估计每个帧的参数时,都会用到之前帧的相关性和能量稳定性。
图9为本发明实施例七提供的丢帧补偿处理装置的结构示意图,如图9所示,本实施例提供的丢帧补偿处理装置包括:丢失帧确定模块11、估计模块12、获取模块13、生成模块14和信号合成模块15。
丢失帧确定模块11用于通过丢失帧标记位确定第i帧是否为丢失帧。
估计模块12用于当所述第i帧为丢失帧时,根据所述第i帧的前N帧的帧间关系和所述前N帧的帧内关系中的至少一个,估计所述第i帧的参数;所述前N帧的帧间关系包括所述前N帧的相关性和能量稳定性中的至少一个,所述前N帧的帧内关系包括所述前N帧中的子帧间的相关性和能量稳定性中的至少一个,所述第i帧的参数包括:谱频率参数、基音周期和增益,N为大于或等于1的整数。
获取模块13用于获取所述第i帧的代数码书。
生成模块14用于根据所述估计模块估计得到的所述第i帧的基音周期、增益以及所述获取模块获取的所述第i帧的代数码书生成所述第i帧的激励信号。
信号合成模块15用于根据所述估计模块估计得到的所述第i帧的谱频率参数和所述生成模块生成的所述第i帧的激励信号合成第i帧信号。
(1)第i帧的谱频率参数的估计
所述第i帧的谱频率参数是所述估计模块12根据所述第i帧的前N帧的帧间关系估计得到的,所述估计模块具体用于:根据所述第i帧的前N帧的相关性确定第i-1帧的谱频率参数的权重和所述第i帧的预置谱频率参数的权重,根据所述第i-1帧的谱频率参数的权重和所述第i帧的预置谱频率参数的权重,对所述第i-1帧的谱频率参数和所述第i帧的预置谱频率参数进行加权运算得到所述第i帧的谱频率参数。
可选的,所述相关性包括:所述第i-1帧信号的谱倾斜参数与第二阈值的大小关系、所述第i-1帧信号的归一化自相关值与第一阈值的大小关系和所述第i-1帧信号的基因周期的偏差与第三阈值的大小关系。
相应的,所述估计模块12具体用于:
如果第i-1帧信号满足条件一、条件二和条件三中的至少一个,则确定所述第i-1帧的谱频率参数的权重为第一权重,所述第i帧的预置谱频率参数的权重为第二权重,所述第一权重大于所述第二权重,所述条件一为:所述第i-1帧信号的归一化自相关值大于所述第一阈值,所述条件二为:所述第i-1帧信号的谱倾斜参数大于所述第二阈值,所述条件三为:所述第i-1帧信号的基音周期的偏差小于所述第三阈值;
或者,如果所述第i-1帧信号同时不满足所述条件一、所述条件二和所述条件三,则确定所述第i-1帧的谱频率参数的权重为所述第二权重,所述第i帧的预置谱频率参数的权重为所述第一权重。
(2)第i帧的基因周期的估计
所述第i帧的基因周期是所述估计模块12根据所述第i帧的前N帧的相关性和所述第i帧的前N帧的子帧间的相关性估计得到的,其中,所述相关性包括:第i-2帧信号的归一化自相关值与第五阈值的大小关系、所述第i-2帧信号的基因周期的偏差与第四阈值的大小关系和第i-1帧信号的基因周期的偏差与所述第四阈值的大小关系。
相应的,所述估计模块12具体用于:
如果所述第i-1帧信号的基音周期的偏差小于所述第四阈值,则根据所述第i-1帧信号的基音周期确定所述第i-1帧信号的基音周期偏移值;根据所述第i-1帧信号的基音周期偏移值和所述第i-1帧信号的基音周期确定所述第i帧信号的基音周期;所述第i帧信号的基音周期包括所述第i帧的每个子帧的基音周期,所述第i-1帧信号的基音周期偏移值为所述第i-1帧的所有相邻子帧的基音周期的差值的均值;
或者,如果所述第i-1帧信号的基音周期的偏差大于或等于所述第四阈值,所述第i-2帧信号的归一化自相关值大于所述第五阈值,且所述第i-2帧信号的基音周期的偏差小于所述第四阈值,则根据所述第i-2帧信号和所述第i-1帧信号的基音周期确定所述第i-2帧信号和所述第i-1帧信号的基音周期偏移值;根据所述第i-1帧信号的基音周期以及所述第i-2帧信号和所述第i-1帧信号的基音周期偏移值确定所述第i帧信号的基音周期。
可选的,所述估计模块12根据如下公式确定所述第i-1帧信号的基音周期偏移值pv:
pv=(p(-1)(3)-p(-1)(2))+(p(-1)(2)-p(-1)(1))+(p(-1)(1)-p(-1)(0))/3,
其中,p(-1)(j)是所述第i-1帧的第j个子帧的基音周期,j=0,1,2,3。
相应的,所述估计模块12根据如下公式确定所述第i帧信号的基音周期:
pcur(j)=p(-1)(3)+(j+1)*pv,j=0,1,2,3,其中,p(-1)(3)是所述第i-1帧的第3个子帧的基音周期,pv是所述第i-1帧信号的基音周期偏移值,pcur(j)是所述第i帧的第j个子帧的基音周期。
可选的,所述估计模块12根据如下公式确定所述第i-2帧信号和所述第i-1帧信号的基音周期偏移值pv:
pv=(p(-2)(3)-p(-2)(2))+(p(-1)(0)-p(-2)(3))+(p(-1)(1)-p(-1)(0))/3;
其中,p(-2)(m)是所述第i-2帧的第m个子帧的基音周期,p(-1)(n)是所述第i-1帧的第n个子帧的基音周期,m=2,3,n=0,1。
相应的,所述估计模块12根据如下公式确定所述第i帧信号的基音周期:
pcur(x)=p(-1)(3)+(x+1)*pv,x=0,1,2,3;
其中,p(-1)(3)是所述第i-1帧的第3个子帧的基音周期,pv是所述第i-2帧信号和所述第i-1帧信号的基音周期偏移值,pcur(x)是所述第i帧的第x个子帧的基音周期。
(3)第i帧的增益估计
所述第i帧的增益包括:自适应码书增益和代数码书增益,所述第i帧的增益是所述估计模块12根据所述第i帧的前N帧的相关性和能量稳定性估计得到的。
所述估计模块12具体用于:
根据第i-1帧的自适应码书增益或预先设定的固定值、所述第i-1帧的相关性以及所述第i帧在连续的多个丢失帧中的序号,确定所述第i帧的自适应码书增益;
根据所述第i-1帧的能量稳定性确定所述第i-1帧的代数码书增益的权重以及话音激活检测VAD帧的增益的权重;
根据所述第i-1帧的代数码书增益的权重和所述VAD帧的增益的权重,对所述第i-1帧的代数码书增益和所述VAD帧的增益进行加权运算得到所述第i帧的代数码书增益。
其中,所述第i-1帧的能量越稳定,所述第i-1帧的代数码书增益的权重越大。或者,随着连续丢失帧个数的增加,VAD帧的增益的权重也相应增加。
可选的,在根据所述第i-1帧的代数码书增益的权重和所述VAD帧的增益的权重,对所述第i-1帧的代数码书增益和所述VAD帧的增益进行加权运算得到所述第i帧的代数码书增益之前,所述估计模块12还用于:根据编解码速率确定第一修正因子,使用所述第一修正因子对所述第i-1帧的代数码书增益进行修正。
(4)第i帧的代数码书的获取
所述获取模块12具体用于:根据随机噪声估计得到所述第i帧的代数码书,或者,根据所述第i帧的前N帧的代数码书确定所述第i帧的代数码书。
所述获取模块12还用于:根据所述第i-1帧的基音周期的偏差、信号的相关性、谱斜率大小和过零率中的任意一个确定所述第i帧的代数码书贡献的权重,或者,对所述第i-1帧的基音周期的偏差、信号的相关性、谱斜率大小和过零率中的任意组合进行加权运算确定所述第i帧的代数码书贡献的权重,以及对所述第i-1帧的状态更新的激励信号进行内插运算确定所述第i帧的自适应码书。
所述生成模块14具体用于:根据所述第i帧的代数码书和所述第i帧的代数码书增益的乘积,确定所述第i帧的代数码书贡献;根据所述第i帧的自适应码书和所述第i帧的自适应码书增益的乘积,确定所述第i帧的自适应码书贡献;根据所述第i帧的代数码书贡献的权重和自适应码书贡献的权重,对所述第i帧的代数码书贡献和自适应码书贡献进行加权运算,确定所述第i帧的激励信号,所述自适应码书的权重为1。
本实施例的装置可用于执行实施例一至实施例四的方法,具体实现方式和技术效果类似,这里不再赘述。
图10为本发明实施例八提供的丢帧补偿处理装置的结构示意图,如图10所示,本实施例的装置在图9所示装置的基础上还包括:解码模块16、判断模块17和修正模块18。
本实施例中所述第i帧为正常帧,解码模块16用于根据接收到的码流解码获得所述第i帧的参数,所述第i帧的参数包括:谱频率参数、基音周期、增益以及代数码书。
所述生成模块14还用于根据解码模块16解码得到的所述第i帧的基音周期、增益以及代数码书生成所述第i帧的激励信号和所述第i帧的状态更新的激励信号。
判断模块17用于当第i-1帧或第i-2帧为丢失帧时,根据所述第i帧与所述第i帧的前N帧的帧间关系和帧内关系中的至少一个,确定是否对所述第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正,所述帧间关系包括所述第i帧与所述第i帧的前N帧的相关性和能量稳定性中的至少一个,所述帧内关系包括:所述第i帧与所述第i帧的前N帧的子帧间相关性和能量稳定性中的至少一个。
修正模块18用于当所述判断模块17确定对所述第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正时,根据所述第i帧与所述第i帧的前N帧的帧间关系和帧内关系中的至少一个,对所述第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正。
所述信号合成模块15还用于:根据所述修正模块对所述第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个的修正结果合成第i帧信号。或者,当所述判断模块17确定不对所述第i帧的谱频率参数、激励信号和状态更新的激励信号进行修正时,根据所述第i帧的谱频率参数、激励信号和状态更新的激励信号合成第i帧信号。
(1)对第i帧的谱频率参数进行修正
可选的,所述判断模块17用于根据所述第i帧的相关性,确定是否对所述第i帧的谱频率参数进行修正,当所述判断模块17确定对所述第i帧的谱频率参数进行修正时,所述修正模块18用于:根据所述第i帧与第i-1帧的谱频率参数对所述第i帧的谱频率参数进行修正,或者,根据所述第i帧的谱频率参数和预置谱频率参数对所述第i帧的谱频率参数进行修正。
其中,所述第i帧的相关性包括:所述第i帧的相邻谱频率参数的差值的最小值的索引对应的两个谱频率参数中的其中一个谱频率参数与第六阈值的大小关系、所述第i帧的相邻谱频率参数的差值的最小值与第七阈值的大小关系以及所述第i帧的相邻谱频率参数的差值的最小值的索引与第八阈值的大小关系。
所述判断模块17具体用于:
确定所述第i帧的相邻谱频率参数的差值,每个差值对应一个索引,所述谱频率参数包括导抗谱频率ISF或线谱频率LSF;
判断所述第i帧的相邻谱频率参数的差值是否满足条件四和条件五中的至少一个,所述条件四包括:所述第i帧的相邻谱频率参数的差值的最小值的索引对应的两个谱频率参数中的其中一个谱频率参数小于所述第六阈值,所述条件五包括:所述第i帧的相邻谱频率参数的差值的最小值的索引值小于所述第八阈值,且所述最小差值小于所述第七阈值;
如果所述第i帧的相邻谱频率参数的差值满足所述条件四和所述条件五中的至少一个,则确定对所述第i帧谱频率参数进行修正,如果所述第i帧的相邻谱频率参数的差值同时不满足所述条件四和条件五,则确定不对所述第i帧谱频率参数进行修正;
所述修正模块18具体用于:根据所述第i-1帧的谱频率参数和所述第i帧的谱频率参数的加权运算,确定所述第i帧修正后的谱频率参数。或者,根据所述第i帧的谱频率参数和预先的谱频率参数的加权运算,确定所述第i帧修正后的谱频率参数。
可选的,所述判断模块17用于根据所述第i帧与第i-1帧的相关性,确定是否对所述第i帧的谱频率参数进行修正,当所述判断模块17确定对所述第i帧的谱频率参数进行修正时,所述修正模块18用于:根据所述第i帧与第i-1帧的谱频率参数对所述第i帧的谱频率参数进行修正,或者,根据所述第i帧的谱频率参数和预置谱频率参数对所述第i帧的谱频率参数进行修正。其中,所述第i帧与第i-1帧的相关性包括:所述第i-1帧和所述第i帧的部分或全部相同索引对应的谱频率参数差值的和与第九阈值的大小关系。
所述判断模块17具体用于:
确定所述第i帧的相邻谱频率参数的差值,每个差值对应一个索引,所述谱频率参数包括导抗谱频率ISF或线谱频率LSF;
判断所述第i帧的谱频率参数和所述第i-1帧的谱频率参数是否满足条件六,所述条件六包括:所述第i-1帧和所述第i帧的部分或全部相同索引对应的谱频率参数差值的和大于所述第九阈值;
如果所述第i帧的谱频率参数和所述第i-1帧的谱频率参数满足所述条件六,则确定对所述第i帧谱频率参数进行修正,如果所述第i帧的谱频率参数和所述第i-1帧的谱频率参数不满足所述条件六,则确定不对所述第i帧谱频率参数进行修正。
所述修正模块18具体用于:根据所述第i-1帧的谱频率参数和所述第i帧的谱频率参数的加权运算,确定所述第i帧修正后的谱频率参数。或者,根据所述第i帧的谱频率参数和预置谱频率参数的加权运算,确定所述第i帧修正后的谱频率参数。
(2)对第i帧的激励信号进行修正
可选的,所述判断模块17用于根据所述第i帧与第i-1帧的相关性和能量稳定性,确定是否对所述第i帧的激励信号进行修正,当所述判断模块17确定对所述第i帧的信号激励信号进行修正时,所述修正模块18用于根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正。
所述判断模块17具体用于:
根据所述第i帧的激励信号和所述第i帧的谱频率参数,确定所述第i帧的预合成信号。
判断所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量的差值的绝对值是否大于第十阈值。如果所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量的差值的绝对值大于所述第十阈值,则确定对所述第i帧的激励信号进行修正,如果所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量的差值的绝对值小于或等于所述第十阈值,则确定不对所述i帧的激励信号进行修正。
或者,判断所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量的比值是否大于第十一阈值,所述第十一阈值大于1。如果所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量的比值大于所述第十一阈值,则确定对所述第i帧的激励信号进行修正,如果所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量的比值小于或等于所述第十一阈值,则确定不对所述i帧的激励信号进行修正。
或者,判断所述第i-1帧的预合成信号的能量和所述第i帧的合成信号的能量的比值是否小于第十二阈值,所述第十二阈值小于1。如果所述第i-1帧的预合成信号的能量和所述第i帧的合成信号的能量的比值小于所述第十二阈值,则确定对所述第i帧的激励信号进行修正,如果所述第i-1帧的预合成信号的能量和所述第i帧的合成信号的能量的比值大于或等于所述第十二阈值,则确定不对所述第i帧的激励信号进行修正。
所述修正模块18具体用于:根据所述第i帧与所述第i-1的能量稳定性确定第二修正因子,所述第二修正因子小于1,将所述第i帧的激励信号乘以所述第二修正因子得到所述第i帧修正后的激励信号。其中,所述第二修正因子可以为所述第i-1帧的能量和所述第i帧的能量的比值,或者,所述第二修正因子为所述第i-1帧和所述第i帧相同个数子帧的能量的比值。
可选的,所述判断模块17用于根据第i-1帧信号的相关性,确定是否对所述第i帧的激励信号进行修正,当所述判断模块17确定对所述第i帧的信号激励信号进行修正时,所述修正模块18用于根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正。其中,所述第i-1帧信号的相关性包括:所述第i-1帧信号的相关值与十三阈值的大小关系以及所述第i-1帧信号的基因周期的偏差与第十四阈值的大小关系。
所述判断模块17具体用于:判断所述第i-1帧信号是否满足条件七,所述条件七为:所述第i-1帧为丢失帧,所述第i-1信号的相关值大于所述第十三阈值,并且所述第i-1帧信号的基音周期的偏差小于所述第十四阈值。如果所述第i-1帧信号满足所述条件七,则确定对所述第i帧的激励信号进行修正,如果所述第i-1帧信号不满足所述条件七,则确定不对所述第i帧的激励信号进行修正。
所述修正模块18具体用于:根据所述第i帧与所述第i-1的能量稳定性,确定第三修正因子,所述第三修正因子小于1,将所述第i帧的激励信号乘以所述第三修正因子得到所述第i帧修正后的激励信号。
可选的,所述判断模块17用于根据所述第i帧与第i-1帧信号的相关性,确定是否对所述第i帧的激励信号进行修正,当所述判断模块17确定对所述第i帧的信号激励信号进行修正时,所述修正模块18用于根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正。其中,所述第i帧与第i-1帧信号的相关性包括:所述第i-1帧信号的相关值与十三阈值的大小关系以及所述第i帧信号的基因周期的偏差与第十四阈值的大小关系。
所述判断模块17具体用于:判断所述第i-1帧信号和所述第i帧信号是否满足条件八,所述条件八包括:所述第i-1帧为丢失帧,所述第i-1帧信号的相关值大于预设的第十三阈值,并且所述第i帧信号的基音周期的偏差小于预设的第十四阈值。如果所述第i-1帧信号和所述第i帧信号满足所述条件八,则确定对所述第i帧的激励信号进行修正,如果所述第i-1帧信号和所述第i帧信号不满足所述条件八,则确定不对所述第i帧的激励信号进行修正。
所述修正模块18具体用于:根据所述第i帧与所述第i-1的能量稳定性,确定第三修正因子,所述第三修正因子小于1,将所述第i帧的激励信号乘以所述第三修正因子得到所述第i帧修正后的激励信号。
可选的,所述判断模块17用于根据第i-1帧与第i-2帧信号的相关性,确定是否对所述第i帧的激励信号进行修正,当所述判断模块17确定对所述第i帧的信号激励信号进行修正时,所述修正模块18用于根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正。其中,第i-1帧与第i-2帧信号的相关性,包括:所述第i-2帧信号的相关值与十三阈值的大小关系,所述第i-1帧的激励信号是否被修正过。
所述判断模块17具体用于:判断所述第i-2帧信号和所述第i-1帧信号是否满足条件九,所述条件九包括:所述第i-2帧为丢失帧,所述第i-2帧信号的相关值大于所述第十三阈值,且所述第i-1帧信号的激励信号进行了修正。如果所述第i-2帧信号和所述第i-1帧信号满足所述条件九,则确定对所述第i帧的激励信号进行修正,如果所述第i-2帧信号和所述第i-1帧信号不满足所述条件九,则确定不对所述第i帧的激励信号进行修正。
所述修正模块18具体用于:根据所述第i帧与所述第i-1的能量稳定性,确定第四修正因子,所述第四修正因子小于1,将所述第i帧的激励信号乘以所述第四修正因子得到所述i帧修正后的激励信号。
可选的,所述判断模块17用于根据第i-1帧与第i-2帧信号的相关性,确定是否对所述第i帧的激励信号进行修正,当所述判断模块17确定对所述第i帧的信号激励信号进行修正时,所述修正模块18用于根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正。其中,第i-1帧与第i-2帧信号的相关性,包括:所述第i-2帧信号的相关值与十三阈值的大小关系,所述第i-1帧的激励信号中的代数码书贡献与第十五阈值的大小关系。
所述判断模块17具体用于:判断所述第i-2帧信号和所述第i-1帧信号是否满足条件十,所述条件十包括:所述第i-2帧为丢失帧,所述第i-2帧信号的相关值大于所述第十三阈值,且所述第i-1帧信号的激励信号中的代数码书贡献小于所述第十五阈值。如果所述第i-2帧信号和所述第i-1帧信号满足所述条件十,则确定对所述第i帧的激励信号进行修正,如果所述第i-2帧信号和所述第i-1帧信号不满足所述条件十,则确定不对所述第i帧的激励信号进行修正。
所述修正模块18具体用于:根据所述第i帧与所述第i-1的能量稳定性,确定第四修正因子,所述第四修正因子小于1,将所述第i帧的激励信号乘以所述第四修正因子得到所述i帧修正后的激励信号。
(3)对第i帧的状态更新的激励信号进行修正
所述判断模块17用于根据第i-1帧与所述第i帧信号的相关性,确定是否对所述第i帧的状态更新的激励信号进行修正,当所述判断模块17确定对所述第i帧的状态更新的激励信号进行修正时,所述修正模块18用于根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的状态更新的激励信号进行修正。其中,所述第i-1帧与所述第i帧信号的相关性,包括:所述第i-1帧与所述第i帧的相关性大小,以及所述第i-1帧信号的激励信号是否被修正过。
所述判断模块17具体用于:判断所述第i帧信号和所述第i-1帧信号是否满足条件十一,所述条件十一包括:所述第i帧或所述第i-1帧是强相关帧,且所述第i-1帧信号的激励信号做了修正。如果所述第i帧信号和所述第i-1帧信号满足所述条件十一,则确定对所述第i帧的状态更新的激励信号进行修正,如果所述第i帧信号和所述第i-1帧信号不满足所述条件十一,则确定不对所述第i帧的状态更新的激励信号进行修正。
所述修正模块18具体用于:根据所述第i帧与所述第i-1的能量稳定性,确定第五修正因子,所述第五修正因子小于1,将所述第i帧的状态更新的激励信号乘以所述第五修正因子得到所述第i帧修正后的状态更新的激励信号。
实施例七和至实施例八提供的丢帧补偿处理装置的各功能模块的具体实现方式,请参照实施例一至实施例六所示的方法的相关描述,这里不再赘述。
图11为本发明实施例九提供的丢帧补偿处理装置的实体结构的示意图,如图11所示,丢帧补偿处理装置200包括通信接口21、处理器22、存储器23和总线24,其中,通信接口21、处理器22、存储器23通过总线24相互连接。总线24可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extendedindustry standard architecture,简称EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图11中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口21用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器23可能包含随机存取存储器(random access memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
处理器22执行存储器23所存放的程序代码,实现实施例一至实施例六的方法。
上述的处理器22可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (48)
1.一种丢帧补偿处理方法,其特征在于,包括:
通过丢失帧标记位确定第i帧是否为丢失帧;
如果所述第i帧为丢失帧,则根据所述第i帧的前N帧的帧间关系和所述前N帧的帧内关系中的至少一个,估计所述第i帧的参数;所述前N帧的帧间关系包括所述前N帧的相关性和能量稳定性中的至少一个,所述前N帧的帧内关系包括所述前N帧中的子帧间的相关性和能量稳定性中的至少一个,所述第i帧的参数包括:谱频率参数、基音周期和增益,N为大于或等于1的整数;
获取所述第i帧的代数码书;
根据估计得到的所述第i帧的基音周期、增益以及获取的所述第i帧的代数码书生成所述第i帧的激励信号;
根据估计得到的所述第i帧的谱频率参数和生成的所述第i帧的激励信号合成第i帧信号。
2.根据权利要求1所述的方法,其特征在于,如果所述第i帧为正常帧,所述方法进一步包括:
根据接收到的码流解码获得所述第i帧的参数,所述第i帧的参数包括:谱频率参数、基音周期、增益以及代数码书;
根据解码得到的所述第i帧的基音周期、增益以及代数码书生成所述第i帧的激励信号和所述第i帧的状态更新的激励信号;
如果第i-1帧或第i-2帧为丢失帧,根据所述第i帧与所述第i帧的前N帧的帧间关系和帧内关系中的至少一个,确定是否对所述第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正,所述帧间关系包括所述第i帧与所述第i帧的前N帧的相关性和能量稳定性中的至少一个,所述帧内关系包括:所述第i帧与所述第i帧的前N帧的子帧间相关性和能量稳定性中的至少一个;
当确定对所述第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正时,根据所述第i帧与所述第i帧的前N帧的帧间关系和帧内关系中的至少一个,对所述第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正;根据对所述第i帧的谱频率参数、激 励信号和状态更新的激励信号中的至少一个的修正结果合成第i帧信号;
当确定不对所述第i帧的谱频率参数、激励信号和状态更新的激励信号进行修正时,根据所述第i帧的谱频率参数、激励信号和状态更新的激励信号合成第i帧信号。
3.根据权利要求1所述的方法,其特征在于,所述第i帧的谱频率参数是根据所述第i帧的前N帧的帧间关系估计得到的;
所述第i帧的谱频率参数采用如下方式估计得到:
根据所述第i帧的前N帧的相关性确定第i-1帧的谱频率参数的权重和所述第i帧的预置谱频率参数的权重;
根据所述第i-1帧的谱频率参数的权重和所述第i帧的预置谱频率参数的权重,对所述第i-1帧的谱频率参数和所述第i帧的预置谱频率参数进行加权运算得到所述第i帧的谱频率参数。阈值。
4.根据权利要求3所述的方法,其特征在于,所述相关性包括:所述第i-1帧信号的谱倾斜参数与第二阈值的大小关系、所述第i-1帧信号的归一化自相关值与第一阈值的大小关系和所述第i-1帧信号的基因周期的偏差与第三阈值的大小关系;
所述根据所述第i帧的前N帧间的相关性确定所述第i-1帧的谱频率参数的权重和所述第i帧的预置谱频率参数的权重,包括:
如果第i-1帧信号满足条件一、条件二和条件三中的至少一个,则确定所述第i-1帧的谱频率参数的权重为第一权重,所述第i帧的预置谱频率参数的权重为第二权重,所述第一权重大于所述第二权重,所述条件一为:所述第i-1帧信号的归一化自相关值大于所述第一阈值,所述条件二为:所述第i-1帧信号的谱倾斜参数大于所述第二阈值,所述条件三为:所述第i-1帧信号的基音周期的偏差小于所述第三阈值;
或者,如果所述第i-1帧信号同时不满足所述条件一、所述条件二和所述条件三,则确定所述第i-1帧的谱频率参数的权重为所述第二权重,所述第i帧的预置谱频率参数的权重为所述第一权重。
5.根据权利要求1所述的方法,其特征在于,所述第i帧的基因周期是根据所述第i帧的前N帧的相关性和所述第i帧的前N帧的子帧间的相关性估计得到的;所述相关性包括:第i-2帧信号的相关性值与第五阈值的大小 关系、所述第i-2帧信号的基因周期的偏差与第四阈值的大小关系和第i-1帧信号的基因周期的偏差与所述第四阈值的大小关系;
所述第i帧的基因周期采用如下方式估计得到:
如果所述第i-1帧信号的基音周期的偏差小于所述第四阈值,则根据所述第i-1帧信号的基音周期确定所述第i-1帧信号的基音周期偏移值;根据所述第i-1帧信号的基音周期偏移值和所述第i-1帧信号的基音周期确定所述第i帧信号的基音周期;所述第i帧信号的基音周期包括所述第i帧的每个子帧的基音周期,所述第i-1帧信号的基音周期偏移值为所述第i-1帧的所有相邻子帧的基音周期的差值的均值;
或者,如果所述第i-1帧信号的基音周期的偏差大于或等于所述第四阈值,所述第i-2帧信号的相关性值大于所述第五阈值,且所述第i-2帧信号的基音周期的偏差小于所述第四阈值,则根据所述第i-2帧信号和所述第i-1帧信号的基音周期确定所述第i-2帧信号和所述第i-1帧信号的基音周期偏移值;根据所述第i-1帧信号的基音周期以及所述第i-2帧信号和所述第i-1帧信号的基音周期偏移值确定所述第i帧信号的基音周期。
6.根据权利要求5所述的方法,其特征在于,根据如下公式确定所述第i-1帧信号的基音周期偏移值pv:
pv=(p(-1)(3)-p(-1)(2))+(p(-1)(2)-p(-1)(1))+(p(-1)(1)-p(-1)(0))/3,
其中,p(-1)(j)是所述第i-1帧的第j个子帧的基音周期,j=0,1,2,3;
根据如下公式确定所述第i帧信号的基音周期:
pcur(j)=p(-1)(3)+(j+1)*pv,j=0,1,2,3,其中,p(-1)(3)是所述第i-1帧的第3个子帧的基音周期,pv是所述第i-1帧信号的基音周期偏移值,pcur(j)是所述第i帧的第j个子帧的基音周期。
7.根据权利要求5所述的方法,其特征在于,根据如下公式确定所述第i-2帧信号和所述第i-1帧信号的基音周期偏移值pv:
pv=(p(-2)(3)-p(-2)(2))+(p(-1)(0)-p(-2)(3))+(p(-1)(1)-p(-1)(0))/3;
其中,p(-2)(m)是所述第i-2帧的第m个子帧的基音周期,p(-1)(n)是所述第i-1帧的第n个子帧的基音周期,m=2,3,n=0,1;
根据如下公式确定所述第i帧信号的基音周期:
pcur(x)=p(-1)(3)+(x+1)*pv,x=0,1,2,3;
其中,p(-1)(3)是所述第i-1帧的第3个子帧的基音周期,pv是所述第i-2帧信号和所述第i-1帧信号的基音周期偏移值,pcur(x)是所述第i帧的第x个子帧的基音周期。
8.根据权利要求1所述的方法,其特征在于,所述第i帧的增益包括:自适应码书增益和代数码书增益,所述第i帧的增益是根据所述第i帧的前N帧的相关性和能量稳定性估计得到的;
所述第i帧的增益采用如下方式估计得到:
根据第i-1帧的自适应码书增益或预先设定的固定值、所述第i-1帧的相关性以及所述第i帧在连续的多个丢失帧中的序号,确定所述第i帧的自适应码书增益;
根据所述第i-1帧的能量稳定性确定所述第i-1帧的代数码书增益的权重以及话音激活检测VAD帧的增益的权重;
根据所述第i-1帧的代数码书增益的权重和所述VAD帧的增益的权重,对所述第i-1帧的代数码书增益和所述VAD帧的增益进行加权运算得到所述第i帧的代数码书增益。
9.根据权利要求8所述的方法,其特征在于,所述第i-1帧的能量越稳定,所述第i-1帧的代数码书增益的权重越大。
10.根据权利要求8所述的方法,其特征在于,随着连续丢失帧个数的增加,VAD帧的增益的权重也相应增加。
11.根据权利要求8所述的方法,其特征在于,所述根据所述第i-1帧的代数码书增益的权重和所述VAD帧的增益的权重,对所述第i-1帧的代数码书增益和所述VAD帧的增益进行加权运算得到所述第i帧的代数码书增益之前,所述方法还包括:
根据编解码速率确定第一修正因子;
使用所述第一修正因子对所述第i-1帧的代数码书增益进行修正。
12.根据权利要求1所述的方法,其特征在于,所述获取所述第i帧的代数码书,包括:
根据随机噪声估计得到所述第i帧的代数码书;
或者,根据所述第i帧的前N帧的代数码书确定所述第i帧的代数码书。
13.根据权利要求1所述的方法,其特征在于,所述第i帧的增益包括:自适应码书增益和代数码书增益;
所述根据估计得到的所述第i帧的基音周期、增益以及获取的所述第i帧的代数码书生成所述第i帧的激励信号之前,所述方法还包括:
根据所述第i-1帧的基音周期的偏差、信号的相关性、谱斜率大小和过零率中的任意一个确定所述第i帧的代数码书贡献的权重,或者,对所述第i-1帧的基音周期的偏差、信号的相关性、谱斜率大小和过零率中的任意组合进行加权运算确定所述第i帧的代数码书贡献的权重;
对所述第i-1帧的状态更新的激励信号进行内插运算确定所述第i帧的自适应码书;
所述根据估计得到的所述第i帧的基音周期、增益以及获取的所述第i帧的代数码书生成所述第i帧的激励信号,包括:
根据所述第i帧的代数码书和所述第i帧的代数码书增益的乘积,确定所述第i帧的代数码书贡献;
根据所述第i帧的自适应码书和所述第i帧的自适应码书增益的乘积,确定所述第i帧的自适应码书贡献;
根据所述第i帧的代数码书贡献的权重和自适应码书贡献的权重,对所述第i帧的代数码书贡献和自适应码书贡献进行加权运算,确定所述第i帧的激励信号,所述自适应码书的权重为1。
14.根据权利要求2所述的方法,其特征在于,根据所述第i帧的相关性,确定是否对所述第i帧的谱频率参数进行修正,当确定对所述第i帧的谱频率参数进行修正时,根据所述第i帧与第i-1帧的谱频率参数对所述第i帧的谱频率参数进行修正,或者,根据所述第i帧的谱频率参数和预置谱频率参数对所述第i帧的谱频率参数进行修正;
其中,所述第i帧的相关性包括:所述第i帧的相邻谱频率参数的差值的最小值的索引对应的两个谱频率参数中的其中一个谱频率参数与第六阈值的大小关系、所述第i帧的相邻谱频率参数的差值的最小值与第七阈值的大小关系以及所述第i帧的相邻谱频率参数的差值的最小值的索引与第八阈值的大小关系;
所述根据所述第i帧的相关性,确定是否对所述第i帧的谱频率参数进 行修正,包括:
确定所述第i帧的相邻谱频率参数的差值,每个差值对应一个索引,所述谱频率参数包括导抗谱频率ISF或线谱频率LSF;
判断所述第i帧的相邻谱频率参数的差值是否满足条件四和条件五中的至少一个,所述条件四包括:所述第i帧的相邻谱频率参数的差值的最小值的索引对应的两个谱频率参数中的其中一个谱频率参数小于所述第六阈值,所述条件五包括:所述第i帧的相邻谱频率参数的差值的最小值的索引值小于所述第八阈值,且所述最小差值小于所述第七阈值;
如果所述第i帧的相邻谱频率参数的差值满足所述条件四和所述条件五中的至少一个,则确定对所述第i帧谱频率参数进行修正,如果所述第i帧的相邻谱频率参数的差值同时不满足所述条件四和条件五,则确定不对所述第i帧谱频率参数进行修正;
所述根据所述第i帧与第i-1帧的谱频率参数对所述第i帧的谱频率参数进行修正,包括:
根据所述第i-1帧的谱频率参数和所述第i帧的谱频率参数的加权运算,确定所述第i帧修正后的谱频率参数;
或者,所述根据所述第i帧的谱频率参数和预置谱频率参数对所述第i帧的谱频率参数进行修正,包括:
根据所述第i帧的谱频率参数和预先的谱频率参数的加权运算,确定所述第i帧修正后的谱频率参数。
15.根据权利要求2所述的方法,其特征在于,根据所述第i帧与第i-1帧的相关性,确定是否对所述第i帧的谱频率参数进行修正,当确定对所述第i帧的谱频率参数进行修正时,根据所述第i帧与第i-1帧的谱频率参数对所述第i帧的谱频率参数进行修正,或者,根据所述第i帧的谱频率参数和预置谱频率参数对所述第i帧的谱频率参数进行修正;
其中,所述第i帧与第i-1帧的相关性包括:所述第i-1帧和所述第i帧的部分或全部相同索引对应的谱频率参数差值的和与第九阈值的大小关系;
所述根据所述第i帧与第i-1帧的相关性,确定是否对所述第i帧的谱频率参数进行修正,包括:
确定所述第i帧的相邻谱频率参数的差值,每个差值对应一个索引,所述谱频率参数包括导抗谱频率ISF或线谱频率LSF;
判断所述第i帧的谱频率参数和所述第i-1帧的谱频率参数是否满足条件六,所述条件六包括:所述第i-1帧和所述第i帧的部分或全部相同索引对应的谱频率参数差值的和大于所述第九阈值;
如果所述第i帧的谱频率参数和所述第i-1帧的谱频率参数满足所述条件六,则确定对所述第i帧谱频率参数进行修正,如果所述第i帧的谱频率参数和所述第i-1帧的谱频率参数不满足所述条件六,则确定不对所述第i帧谱频率参数进行修正;
所述根据所述第i帧与第i-1帧的谱频率参数对所述第i帧的谱频率参数进行修正,包括:
根据所述第i-1帧的谱频率参数和所述第i帧的谱频率参数的加权运算,确定所述第i帧修正后的谱频率参数;
所述根据所述第i帧的谱频率参数和预置谱频率参数对所述第i帧的谱频率参数进行修正,包括:
根据所述第i帧的谱频率参数和预置谱频率参数的加权运算,确定所述第i帧修正后的谱频率参数。
16.根据权利要求2所述的方法,其特征在于,根据所述第i帧与第i-1帧的相关性和能量稳定性,确定是否对所述第i帧的激励信号进行修正,当确定对所述第i帧的信号激励信号进行修正时,根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正;
所述根据所述第i帧与第i-1帧的相关性和能量稳定性,确定是否对所述第i帧的激励信号进行修正,包括:
根据所述第i帧的激励信号和所述第i帧的谱频率参数,确定所述第i帧的预合成信号;
判断所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量的差值的绝对值是否大于第十阈值;
如果所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量的差值的绝对值大于所述第十阈值,则确定对所述第i帧的激励信号进行修正,如果所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量 的差值的绝对值小于或等于所述第十阈值,则确定不对所述i帧的激励信号进行修正;
所述根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正,包括:
根据所述第i帧与所述第i-1的能量稳定性确定第二修正因子,所述第二修正因子小于1;
将所述第i帧的激励信号乘以所述第二修正因子得到所述第i帧修正后的激励信号。
17.根据权利要求2所述的方法,其特征在于,根据所述第i帧与第i-1帧的相关性和能量稳定性,确定是否对所述第i帧的激励信号进行修正,当确定对所述第i帧的信号激励信号进行修正时,根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正;
所述根据所述第i帧与第i-1帧的相关性和能量稳定性,确定是否对所述第i帧的激励信号进行修正,包括:
根据所述第i帧的激励信号和所述第i帧的谱频率参数,确定所述第i帧的预合成信号;
判断所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量的比值是否大于第十一阈值,所述第十一阈值大于1;
如果所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量的比值大于所述第十一阈值,则确定对所述第i帧的激励信号进行修正,如果所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量的比值小于或等于所述第十一阈值,则确定不对所述i帧的激励信号进行修正;
所述根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正,包括:
根据所述第i帧与所述第i-1的能量稳定性确定第二修正因子,所述第二修正因子小于1;
将所述第i帧的激励信号乘以所述第二修正因子得到所述第i帧修正后的激励信号。
18.根据权利要求2所述的方法,其特征在于,根据所述第i帧与第i-1帧的相关性和能量稳定性,确定是否对所述第i帧的激励信号进行修正,当 确定对所述第i帧的信号激励信号进行修正时,根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正;
所述根据所述第i帧与第i-1帧的相关性和能量稳定性,确定是否对所述第i帧的激励信号进行修正,包括:
根据所述第i帧的激励信号和所述第i帧的谱频率参数,确定所述第i帧的预合成信号;
判断所述第i-1帧的预合成信号的能量和所述第i帧的合成信号的能量的比值是否小于第十二阈值,所述第十二阈值小于1;
如果所述第i-1帧的预合成信号的能量和所述第i帧的合成信号的能量的比值小于所述第十二阈值,则确定对所述第i帧的激励信号进行修正,如果所述第i-1帧的预合成信号的能量和所述第i帧的合成信号的能量的比值大于或等于所述第十二阈值,则确定不对所述第i帧的激励信号进行修正;
所述根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正,包括:
根据所述第i帧与所述第i-1的能量稳定性确定第二修正因子,所述第二修正因子小于;
将所述第i帧的激励信号乘以所述第二修正因子得到所述第i帧修正后的激励信号1。
19.根据权利要求16-18任一项所述的方法,其特征在于,所述根据所述第i帧与所述第i-1的能量稳定性确定第二修正因子,包括:
确定所述第i-1帧的能量和所述第i帧的能量的比值为所述第二修正因子;
或者,确定所述第i-1帧和所述第i帧相同个数子帧的能量的比值为所述第二修正因子。
20.根据权利要求2所述的方法,其特征在于,根据第i-1帧信号的相关性,确定是否对所述第i帧的激励信号进行修正,当确定对所述第i帧的信号激励信号进行修正时,根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正;
其中,所述第i-1帧信号的相关性包括:所述第i-1帧信号的相关性与十三阈值的大小关系以及所述第i-1帧信号的基因周期的偏差与第十四阈值 的大小关系;
所述根据第i-1帧信号的相关性,确定是否对所述第i帧的激励信号进行修正,包括:
判断所述第i-1帧信号是否满足条件七,所述条件七为:所述第i-1帧为丢失帧,所述第i-1信号的相关值大于所述第十三阈值,并且所述第i-1帧信号的基音周期的偏差小于所述第十四阈值;
如果所述第i-1帧信号满足所述条件七,则确定对所述第i帧的激励信号进行修正,如果所述第i-1帧信号不满足所述条件七,则确定不对所述第i帧的激励信号进行修正;
所述根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正,包括:
根据所述第i帧与所述第i-1的能量稳定性,确定第三修正因子,所述第三修正因子小于1;
将所述第i帧的激励信号乘以所述第三修正因子得到所述第i帧修正后的激励信号。
21.根据权利要求2所述的方法,其特征在于,根据所述第i帧与第i-1帧信号的相关性,确定是否对所述第i帧的激励信号进行修正,当确定对所述第i帧的信号激励信号进行修正时,根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正;
其中,所述第i帧与第i-1帧信号的相关性包括:所述第i-1帧信号的相关值与十三阈值的大小关系以及所述第i帧信号的基因周期的偏差与第十四阈值的大小关系;
所述根据所述第i帧与第i-1帧信号的相关性,确定是否对所述第i帧的激励信号进行修正,包括:
判断所述第i-1帧信号和所述第i帧信号是否满足条件八,所述条件八包括:所述第i-1帧为丢失帧,所述第i-1帧信号的相关值大于预设的第十三阈值,并且所述第i帧信号的基音周期的偏差小于预设的第十四阈值;
如果所述第i-1帧信号和所述第i帧信号满足所述条件八,则确定对所述第i帧的激励信号进行修正,如果所述第i-1帧信号和所述第i帧信号不满足所述条件八,则确定不对所述第i帧的激励信号进行修正;
所述根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正,包括:
根据所述第i帧与所述第i-1的能量稳定性,确定第三修正因子,所述第三修正因子小于1;
将所述第i帧的激励信号乘以所述第三修正因子得到所述第i帧修正后的激励信号。
22.根据权利要求2所述的方法,其特征在于,根据第i-1帧与第i-2帧信号的相关性,确定是否对所述第i帧的激励信号进行修正,当确定对所述第i帧的信号激励信号进行修正时,根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正;
其中,第i-1帧与第i-2帧信号的相关性,包括:所述第i-2帧信号的相关值与十三阈值的大小关系,所述第i-1帧的激励信号是否被修正过;
所述根据第i-1帧与第i-2帧信号的相关性,确定是否对所述第i帧的激励信号进行修正,包括:
判断所述第i-2帧信号和所述第i-1帧信号是否满足条件九,所述条件九包括:所述第i-2帧为丢失帧,所述第i-2帧信号的相关值大于所述第十三阈值,且所述第i-1帧信号的激励信号进行了修正;
如果所述第i-2帧信号和所述第i-1帧信号满足所述条件九,则确定对所述第i帧的激励信号进行修正,如果所述第i-2帧信号和所述第i-1帧信号不满足所述条件九,则确定不对所述第i帧的激励信号进行修正;
所述根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正,包括:
根据所述第i帧与所述第i-1的能量稳定性,确定第四修正因子,所述第四修正因子小于1;
将所述第i帧的激励信号乘以所述第四修正因子得到所述i帧修正后的激励信号。
23.根据权利要求2所述的方法,其特征在于,根据第i-1帧与第i-2帧信号的相关性,确定是否对所述第i帧的激励信号进行修正,当确定对所述第i帧的信号激励信号进行修正时,根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正;
其中,第i-1帧与第i-2帧信号的相关性,包括:所述第i-2帧信号的相关值与十三阈值的大小关系,所述第i-1帧的激励信号中的代数码书贡献与第十五阈值的大小关系;
所述根据第i-1帧与第i-2帧信号的相关性,确定是否对所述第i帧的激励信号进行修正,包括:
判断所述第i-2帧信号和所述第i-1帧信号是否满足条件十,所述条件十包括:所述第i-2帧为丢失帧,所述第i-2帧信号的相关值大于所述第十三阈值,且所述第i-1帧信号的激励信号中的代数码书贡献小于所述第十五阈值;
如果所述第i-2帧信号和所述第i-1帧信号满足所述条件十,则确定对所述第i帧的激励信号进行修正,如果所述第i-2帧信号和所述第i-1帧信号不满足所述条件十,则确定不对所述第i帧的激励信号进行修正;
所述根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正,包括:
根据所述第i帧与所述第i-1的能量稳定性,确定第四修正因子,所述第四修正因子小于1;
将所述第i帧的激励信号乘以所述第四修正因子得到所述i帧修正后的激励信号。
24.根据权利要求2所述的方法,其特征在于,根据第i-1帧与所述第i帧信号的相关性,确定是否对所述第i帧的状态更新的激励信号进行修正,当确定对所述第i帧的状态更新的激励信号进行修正时,根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的状态更新的激励信号进行修正;
其中,所述第i-1帧与所述第i帧信号的相关性,包括:所述第i-1帧与所述第i帧的相关性大小,以及所述第i-1帧信号的激励信号是否被修正过;
所述根据第i-1帧与所述第i帧信号的相关性,确定是否对所述第i帧的状态更新的激励信号进行修正,包括:
判断所述第i帧信号和所述第i-1帧信号是否满足条件十一,所述条件十一包括:所述第i帧或所述第i-1帧是强相关帧,且所述第i-1帧信号的激励信号做了修正;
如果所述第i帧信号和所述第i-1帧信号满足所述条件十一,则确定对所述第i帧的状态更新的激励信号进行修正,如果所述第i帧信号和所述第i-1帧信号不满足所述条件十一,则确定不对所述第i帧的状态更新的激励信号进行修正;
所述根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正,包括:
根据所述第i帧与所述第i-1的能量稳定性,确定第五修正因子,所述第五修正因子小于1;
将所述第i帧的状态更新的激励信号乘以所述第五修正因子得到所述第i帧修正后的状态更新的激励信号。
25.一种丢帧补偿处理装置,其特征在于,包括:
丢失帧确定模块,用于通过丢失帧标记位确定第i帧是否为丢失帧;
估计模块,用于当所述第i帧为丢失帧时,根据所述第i帧的前N帧的帧间关系和所述前N帧的帧内关系中的至少一个,估计所述第i帧的参数;所述前N帧的帧间关系包括所述前N帧的相关性和能量稳定性中的至少一个,所述前N帧的帧内关系包括所述前N帧中的子帧间的相关性和能量稳定性中的至少一个,所述第i帧的参数包括:谱频率参数、基音周期和增益,N为大于或等于1的整数;
获取模块,用于获取所述第i帧的代数码书;
生成模块,用于根据所述估计模块估计得到的所述第i帧的基音周期、增益以及所述获取模块获取的所述第i帧的代数码书生成所述第i帧的激励信号;
信号合成模块,用于根据所述估计模块估计得到的所述第i帧的谱频率参数和所述生成模块生成的所述第i帧的激励信号合成第i帧信号。
26.根据权利要求25所述的装置,其特征在于,如果所述第i帧为正常帧,所述装置还包括:
解码模块,用于根据接收到的码流解码获得所述第i帧的参数,所述第i帧的参数包括:谱频率参数、基音周期、增益以及代数码书;
所述生成模块还用于:根据所述解码模块解码得到的所述第i帧的基音周期、增益以及代数码书生成所述第i帧的激励信号和所述第i帧的状态更 新的激励信号;
判断模块,用于当第i-1帧或第i-2帧为丢失帧时,根据所述第i帧与所述第i帧的前N帧的帧间关系和帧内关系中的至少一个,确定是否对所述第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正,所述帧间关系包括所述第i帧与所述第i帧的前N帧的相关性和能量稳定性中的至少一个,所述帧内关系包括:所述第i帧与所述第i帧的前N帧的子帧间相关性和能量稳定性中的至少一个;
修正模块,用于当所述判断模块确定对所述第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正时,根据所述第i帧与所述第i帧的前N帧的帧间关系和帧内关系中的至少一个,对所述第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个进行修正;
所述信号合成模块还用于:根据所述修正模块对所述第i帧的谱频率参数、激励信号和状态更新的激励信号中的至少一个的修正结果合成第i帧信号,或者,当所述判断模块确定不对所述第i帧的谱频率参数、激励信号和状态更新的激励信号进行修正时,根据所述第i帧的谱频率参数、激励信号和状态更新的激励信号合成第i帧信号。
27.根据权利要求25所述的装置,其特征在于,所述第i帧的谱频率参数是所述估计模块根据所述第i帧的前N帧的帧间关系估计得到的;
所述估计模块具体用于:
根据所述第i帧的前N帧的相关性确定第i-1帧的谱频率参数的权重和所述第i帧的预置谱频率参数的权重;
根据所述第i-1帧的谱频率参数的权重和所述第i帧的预置谱频率参数的权重,对所述第i-1帧的谱频率参数和所述第i帧的预置谱频率参数进行加权运算得到所述第i帧的谱频率参数。
28.根据权利要求27所述的装置,其特征在于,所述相关性包括:所述第i-1帧信号的谱倾斜参数与第二阈值的大小关系、所述第i-1帧信号的归一化自相关值与第一阈值的大小关系和所述第i-1帧信号的基因周期的偏差与第三阈值的大小关系;
所述估计模块具体用于:
如果第i-1帧信号满足条件一、条件二和条件三中的至少一个,则确定 所述第i-1帧的谱频率参数的权重为第一权重,所述第i帧的预置谱频率参数的权重为第二权重,所述第一权重大于所述第二权重,所述条件一为:所述第i-1帧信号的归一化自相关值大于所述第一阈值,所述条件二为:所述第i-1帧信号的谱倾斜参数大于所述第二阈值,所述条件三为:所述第i-1帧信号的基音周期的偏差小于所述第三阈值;
或者,如果所述第i-1帧信号同时不满足所述条件一、所述条件二和所述条件三,则确定所述第i-1帧的谱频率参数的权重为所述第二权重,所述第i帧的预置谱频率参数的权重为所述第一权重。
29.根据权利要求25所述的装置,其特征在于,所述第i帧的基因周期是所述估计模块根据所述第i帧的前N帧的相关性和所述第i帧的前N帧的子帧间的相关性估计得到的;
所述相关性包括:第i-2帧信号的归一化自相关值与第五阈值的大小关系、所述第i-2帧信号的基因周期的偏差与第四阈值的大小关系和第i-1帧信号的基因周期的偏差与所述第四阈值的大小关系;
所述估计模块具体用于:
如果所述第i-1帧信号的基音周期的偏差小于所述第四阈值,则根据所述第i-1帧信号的基音周期确定所述第i-1帧信号的基音周期偏移值;根据所述第i-1帧信号的基音周期偏移值和所述第i-1帧信号的基音周期确定所述第i帧信号的基音周期;所述第i帧信号的基音周期包括所述第i帧的每个子帧的基音周期,所述第i-1帧信号的基音周期偏移值为所述第i-1帧的所有相邻子帧的基音周期的差值的均值;
或者,如果所述第i-1帧信号的基音周期的偏差大于或等于所述第四阈值,所述第i-2帧信号的归一化自相关值大于所述第五阈值,且所述第i-2帧信号的基音周期的偏差小于所述第四阈值,则根据所述第i-2帧信号和所述第i-1帧信号的基音周期确定所述第i-2帧信号和所述第i-1帧信号的基音周期偏移值;根据所述第i-1帧信号的基音周期以及所述第i-2帧信号和所述第i-1帧信号的基音周期偏移值确定所述第i帧信号的基音周期。
30.根据权利要求29所述的装置,其特征在于,所述估计模块根据如下公式确定所述第i-1帧信号的基音周期偏移值pv:
pv=(p(-1)(3)-p(-1)(2))+(p(-1)(2)-p(-1)(1))+(p(-1)(1)-p(-1)(0))/3,
其中,p(-1)(j)是所述第i-1帧的第j个子帧的基音周期,j=0,1,2,3;
所述估计模块根据如下公式确定所述第i帧信号的基音周期:
pcur(j)=p(-1)(3)+(j+1)*pv,j=0,1,2,3,其中,p(-1)(3)是所述第i-1帧的第3个子帧的基音周期,pv是所述第i-1帧信号的基音周期偏移值,pcur(j)是所述第i帧的第j个子帧的基音周期。
31.根据权利要求29所述的装置,其特征在于,所述估计模块根据如下公式确定所述第i-2帧信号和所述第i-1帧信号的基音周期偏移值pv:
pv=(p(-2)(3)-p(-2)(2))+(p(-1)(0)-p(-2)(3))+(p(-1)(1)-p(-1)(0))/3;
其中,p(-2)(m)是所述第i-2帧的第m个子帧的基音周期,p(-1)(n)是所述第i-1帧的第n个子帧的基音周期,m=2,3,n=0,1;
所述估计模块根据如下公式确定所述第i帧信号的基音周期:
pcur(x)=p(-1)(3)+(x+1)*pv,x=0,1,2,3;
其中,p(-1)(3)是所述第i-1帧的第3个子帧的基音周期,pv是所述第i-2帧信号和所述第i-1帧信号的基音周期偏移值,pcur(x)是所述第i帧的第x个子帧的基音周期。
32.根据权利要求25所述的装置,其特征在于,所述第i帧的增益包括:自适应码书增益和代数码书增益,所述第i帧的增益是所述估计模块根据所述第i帧的前N帧的相关性和能量稳定性估计得到的;
所述估计模块具体用于:
根据第i-1帧的自适应码书增益或预先设定的固定值、所述第i-1帧的相关性以及所述第i帧在连续的多个丢失帧中的序号,确定所述第i帧的自适应码书增益;
根据所述第i-1帧的能量稳定性确定所述第i-1帧的代数码书增益的权重以及话音激活检测VAD帧的增益的权重;
根据所述第i-1帧的代数码书增益的权重和所述VAD帧的增益的权重,对所述第i-1帧的代数码书增益和所述VAD帧的增益进行加权运算得到所述第i帧的代数码书增益。
33.根据权利要求32所述的装置,其特征在于,所述第i-1帧的能量越稳定,所述第i-1帧的代数码书增益的权重越大。
34.根据权利要求32所述的装置,其特征在于,随着连续丢失帧个数的 增加,VAD帧的增益的权重也相应增加。
35.根据权利要求32所述的装置,其特征在于,所述根据所述第i-1帧的代数码书增益的权重和所述VAD帧的增益的权重,对所述第i-1帧的代数码书增益和所述VAD帧的增益进行加权运算得到所述第i帧的代数码书增益之前,所述估计模块还用于:
根据编解码速率确定第一修正因子;
使用所述第一修正因子对所述第i-1帧的代数码书增益进行修正。
36.根据权利要求25所述的装置,其特征在于,所述获取模块具体用于:
根据随机噪声估计得到所述第i帧的代数码书;
或者,根据所述第i帧的前N帧的代数码书确定所述第i帧的代数码书。
37.根据权利要求25所述的装置,其特征在于,所述第i帧的增益包括:自适应码书增益和代数码书增益;
所述获取模块还用于:
根据所述第i-1帧的基音周期的偏差、信号的相关性、谱斜率大小和过零率中的任意一个确定所述第i帧的代数码书贡献的权重,或者,对所述第i-1帧的基音周期的偏差、信号的相关性、谱斜率大小和过零率中的任意组合进行加权运算确定所述第i帧的代数码书贡献的权重;
对所述第i-1帧的状态更新的激励信号进行内插运算确定所述第i帧的自适应码书;
所述生成模块具体用于:
根据所述第i帧的代数码书和所述第i帧的代数码书增益的乘积,确定所述第i帧的代数码书贡献;
根据所述第i帧的自适应码书和所述第i帧的自适应码书增益的乘积,确定所述第i帧的自适应码书贡献;
根据所述第i帧的代数码书贡献的权重和自适应码书贡献的权重,对所述第i帧的代数码书贡献和自适应码书贡献进行加权运算,确定所述第i帧的激励信号,所述自适应码书的权重为1。
38.根据权利要求26所述的装置,其特征在于,所述判断模块用于根 据所述第i帧的相关性,确定是否对所述第i帧的谱频率参数进行修正,当所述判断模块确定对所述第i帧的谱频率参数进行修正时,所述修正模块用于:根据所述第i帧与第i-1帧的谱频率参数对所述第i帧的谱频率参数进行修正,或者,根据所述第i帧的谱频率参数和预置谱频率参数对所述第i帧的谱频率参数进行修正;
其中,所述第i帧的相关性包括:所述第i帧的相邻谱频率参数的差值的最小值的索引对应的两个谱频率参数中的其中一个谱频率参数与第六阈值的大小关系、所述第i帧的相邻谱频率参数的差值的最小值与第七阈值的大小关系以及所述第i帧的相邻谱频率参数的差值的最小值的索引与第八阈值的大小关系;
所述判断模块具体用于:
确定所述第i帧的相邻谱频率参数的差值,每个差值对应一个索引,所述谱频率参数包括导抗谱频率ISF或线谱频率LSF;
判断所述第i帧的相邻谱频率参数的差值是否满足条件四和条件五中的至少一个,所述条件四包括:所述第i帧的相邻谱频率参数的差值的最小值的索引对应的两个谱频率参数中的其中一个谱频率参数小于所述第六阈值,所述条件五包括:所述第i帧的相邻谱频率参数的差值的最小值的索引值小于所述第八阈值,且所述最小差值小于所述第七阈值;
如果所述第i帧的相邻谱频率参数的差值满足所述条件四和所述条件五中的至少一个,则确定对所述第i帧谱频率参数进行修正,如果所述第i帧的相邻谱频率参数的差值同时不满足所述条件四和条件五,则确定不对所述第i帧谱频率参数进行修正;
所述修正模块具体用于:
根据所述第i-1帧的谱频率参数和所述第i帧的谱频率参数的加权运算,确定所述第i帧修正后的谱频率参数;
或者,根据所述第i帧的谱频率参数和预先的谱频率参数的加权运算,确定所述第i帧修正后的谱频率参数。
39.根据权利要求26所述的装置,其特征在于,所述判断模块用于根据所述第i帧与第i-1帧的相关性,确定是否对所述第i帧的谱频率参数进行修正,当所述判断模块确定对所述第i帧的谱频率参数进行修正时,所述 修正模块用于:根据所述第i帧与第i-1帧的谱频率参数对所述第i帧的谱频率参数进行修正,或者,根据所述第i帧的谱频率参数和预置谱频率参数对所述第i帧的谱频率参数进行修正;
其中,所述第i帧与第i-1帧的相关性包括:所述第i-1帧和所述第i帧的部分或全部相同索引对应的谱频率参数差值的和与第九阈值的大小关系;
所述判断模块具体用于:
确定所述第i帧的相邻谱频率参数的差值,每个差值对应一个索引,所述谱频率参数包括导抗谱频率ISF或线谱频率LSF;
判断所述第i帧的谱频率参数和所述第i-1帧的谱频率参数是否满足条件六,所述条件六包括:所述第i-1帧和所述第i帧的部分或全部相同索引对应的谱频率参数差值的和大于所述第九阈值;
如果所述第i帧的谱频率参数和所述第i-1帧的谱频率参数满足所述条件六,则确定对所述第i帧谱频率参数进行修正,如果所述第i帧的谱频率参数和所述第i-1帧的谱频率参数不满足所述条件六,则确定不对所述第i帧谱频率参数进行修正;
所述修正模块具体用于:
根据所述第i-1帧的谱频率参数和所述第i帧的谱频率参数的加权运算,确定所述第i帧修正后的谱频率参数;
或者,根据所述第i帧的谱频率参数和预置谱频率参数的加权运算,确定所述第i帧修正后的谱频率参数。
40.根据权利要求26所述的装置,其特征在于,所述判断模块用于根据所述第i帧与第i-1帧的相关性和能量稳定性,确定是否对所述第i帧的激励信号进行修正,当所述判断模块确定对所述第i帧的信号激励信号进行修正时,所述修正模块用于根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正;
所述判断模块具体用于:
根据所述第i帧的激励信号和所述第i帧的谱频率参数,确定所述第i帧的预合成信号;
判断所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量 的差值的绝对值是否大于第十阈值;
如果所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量的差值的绝对值大于所述第十阈值,则确定对所述第i帧的激励信号进行修正,如果所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量的差值的绝对值小于或等于所述第十阈值,则确定不对所述i帧的激励信号进行修正;
所述修正模块具体用于:
根据所述第i帧与所述第i-1的能量稳定性确定第二修正因子,所述第二修正因子小于1;
将所述第i帧的激励信号乘以所述第二修正因子得到所述第i帧修正后的激励信号。
41.根据权利要求26所述的装置,其特征在于,所述判断模块用于根据所述第i帧与第i-1帧的相关性和能量稳定性,确定是否对所述第i帧的激励信号进行修正,当所述判断模块确定对所述第i帧的信号激励信号进行修正时,所述修正模块用于根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正;
所述判断模块具体用于:
根据所述第i帧的激励信号和所述第i帧的谱频率参数,确定所述第i帧的预合成信号;
判断所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量的比值是否大于第十一阈值,所述第十一阈值大于1;
如果所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量的比值大于所述第十一阈值,则确定对所述第i帧的激励信号进行修正,如果所述第i帧的预合成信号的能量和所述第i-1帧的合成信号的能量的比值小于或等于所述第十一阈值,则确定不对所述i帧的激励信号进行修正;
所述修正模块具体用于:
根据所述第i帧与所述第i-1的能量稳定性确定第二修正因子,所述第二修正因子小于1;
将所述第i帧的激励信号乘以所述第二修正因子得到所述第i帧修正后的激励信号。
42.根据权利要求26所述的装置,其特征在于,所述判断模块用于根据所述第i帧与第i-1帧的相关性和能量稳定性,确定是否对所述第i帧的激励信号进行修正,当所述判断模块确定对所述第i帧的信号激励信号进行修正时,所述修正模块用于根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正;
所述判断模块具体用于:
根据所述第i帧的激励信号和所述第i帧的谱频率参数,确定所述第i帧的预合成信号;
判断所述第i-1帧的预合成信号的能量和所述第i帧的合成信号的能量的比值是否小于第十二阈值,所述第十二阈值小于1;
如果所述第i-1帧的预合成信号的能量和所述第i帧的合成信号的能量的比值小于所述第十二阈值,则确定对所述第i帧的激励信号进行修正,如果所述第i-1帧的预合成信号的能量和所述第i帧的合成信号的能量的比值大于或等于所述第十二阈值,则确定不对所述第i帧的激励信号进行修正;
所述修正模块具体用于:
根据所述第i帧与所述第i-1的能量稳定性确定第二修正因子,所述第二修正因子小于;
将所述第i帧的激励信号乘以所述第二修正因子得到所述第i帧修正后的激励信号1。
43.根据权利要求40-42任一项所述的装置,其特征在于,所述修正模块具体用于:
确定所述第i-1帧的能量和所述第i帧的能量的比值为所述第二修正因子;
或者,确定所述第i-1帧和所述第i帧相同个数子帧的能量的比值为所述第二修正因子。
44.根据权利要求26所述的装置,其特征在于,所述判断模块用于根据第i-1帧信号的相关性,确定是否对所述第i帧的激励信号进行修正,当所述判断模块确定对所述第i帧的信号激励信号进行修正时,所述修正模块用于根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正;
其中,所述第i-1帧信号的相关性包括:所述第i-1帧信号的相关值与十三阈值的大小关系以及所述第i-1帧信号的基因周期的偏差与第十四阈值的大小关系;
所述判断模块具体用于:
判断所述第i-1帧信号是否满足条件七,所述条件七为:所述第i-1帧为丢失帧,所述第i-1信号的相关值大于所述第十三阈值,并且所述第i-1帧信号的基音周期的偏差小于所述第十四阈值;
如果所述第i-1帧信号满足所述条件七,则确定对所述第i帧的激励信号进行修正,如果所述第i-1帧信号不满足所述条件七,则确定不对所述第i帧的激励信号进行修正;
所述修正模块具体用于:
根据所述第i帧与所述第i-1的能量稳定性,确定第三修正因子,所述第三修正因子小于1;
将所述第i帧的激励信号乘以所述第三修正因子得到所述第i帧修正后的激励信号。
45.根据权利要求26所述的装置,其特征在于,所述判断模块用于根据所述第i帧与第i-1帧信号的相关性,确定是否对所述第i帧的激励信号进行修正,当所述判断模块确定对所述第i帧的信号激励信号进行修正时,所述修正模块用于根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正;
其中,所述第i帧与第i-1帧信号的相关性包括:所述第i-1帧信号的相关值与十三阈值的大小关系以及所述第i帧信号的基因周期的偏差与第十四阈值的大小关系;
所述判断模块具体用于:
判断所述第i-1帧信号和所述第i帧信号是否满足条件八,所述条件八包括:所述第i-1帧为丢失帧,所述第i-1帧信号的相关值大于预设的第十三阈值,并且所述第i帧信号的基音周期的偏差小于预设的第十四阈值;
如果所述第i-1帧信号和所述第i帧信号满足所述条件八,则确定对所述第i帧的激励信号进行修正,如果所述第i-1帧信号和所述第i帧信号不满足所述条件八,则确定不对所述第i帧的激励信号进行修正;
所述修正模块具体用于:
根据所述第i帧与所述第i-1的能量稳定性,确定第三修正因子,所述第三修正因子小于1;
将所述第i帧的激励信号乘以所述第三修正因子得到所述第i帧修正后的激励信号。
46.根据权利要求26所述的装置,其特征在于,所述判断模块用于根据第i-1帧与第i-2帧信号的相关性,确定是否对所述第i帧的激励信号进行修正,当所述判断模块确定对所述第i帧的信号激励信号进行修正时,所述修正模块用于根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正;
其中,第i-1帧与第i-2帧信号的相关性,包括:所述第i-2帧信号的相关值与十三阈值的大小关系,所述第i-1帧的激励信号是否被修正过;
所述判断模块具体用于:
判断所述第i-2帧信号和所述第i-1帧信号是否满足条件九,所述条件九包括:所述第i-2帧为丢失帧,所述第i-2帧信号的相关值大于所述第十三阈值,且所述第i-1帧信号的激励信号进行了修正;
如果所述第i-2帧信号和所述第i-1帧信号满足所述条件九,则确定对所述第i帧的激励信号进行修正,如果所述第i-2帧信号和所述第i-1帧信号不满足所述条件九,则确定不对所述第i帧的激励信号进行修正;
所述修正模块具体用于:
根据所述第i帧与所述第i-1的能量稳定性,确定第四修正因子,所述第四修正因子小于1;
将所述第i帧的激励信号乘以所述第四修正因子得到所述i帧修正后的激励信号。
47.根据权利要求26所述的装置,其特征在于,所述判断模块用于根据第i-1帧与第i-2帧信号的相关性,确定是否对所述第i帧的激励信号进行修正,当所述判断模块确定对所述第i帧的信号激励信号进行修正时,所述修正模块用于根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的激励信号进行修正;
其中,第i-1帧与第i-2帧信号的相关性,包括:所述第i-2帧信号的 相关值与十三阈值的大小关系,所述第i-1帧的激励信号中的代数码书贡献与第十五阈值的大小关系;
所述判断模块具体用于:
判断所述第i-2帧信号和所述第i-1帧信号是否满足条件十,所述条件十包括:所述第i-2帧为丢失帧,所述第i-2帧信号的相关值大于所述第十三阈值,且所述第i-1帧信号的激励信号中的代数码书贡献小于所述第十五阈值;
如果所述第i-2帧信号和所述第i-1帧信号满足所述条件十,则确定对所述第i帧的激励信号进行修正,如果所述第i-2帧信号和所述第i-1帧信号不满足所述条件十,则确定不对所述第i帧的激励信号进行修正;
所述修正模块具体用于:
根据所述第i帧与所述第i-1的能量稳定性,确定第四修正因子,所述第四修正因子小于1;
将所述第i帧的激励信号乘以所述第四修正因子得到所述i帧修正后的激励信号。
48.根据权利要求26所述的装置,其特征在于,所述判断模块用于根据第i-1帧与所述第i帧信号的相关性,确定是否对所述第i帧的状态更新的激励信号进行修正,当所述判断模块确定对所述第i帧的状态更新的激励信号进行修正时,所述修正模块用于根据所述第i帧与所述第i-1的能量稳定性对所述第i帧的状态更新的激励信号进行修正;
其中,所述第i-1帧与所述第i帧信号的相关性,包括:所述第i-1帧与所述第i帧的相关性大小,以及所述第i-1帧信号的激励信号是否被修正过;
所述判断模块具体用于:
判断所述第i帧信号和所述第i-1帧信号是否满足条件十一,所述条件十一包括:所述第i帧或所述第i-1帧是强相关帧,且所述第i-1帧信号的激励信号做了修正;
如果所述第i帧信号和所述第i-1帧信号满足所述条件十一,则确定对所述第i帧的状态更新的激励信号进行修正,如果所述第i帧信号和所述第i-1帧信号不满足所述条件十一,则确定不对所述第i帧的状态更新的激励 信号进行修正;
所述修正模块具体用于:
根据所述第i帧与所述第i-1的能量稳定性,确定第五修正因子,所述第五修正因子小于1;
将所述第i帧的状态更新的激励信号乘以所述第五修正因子得到所述第i帧修正后的状态更新的激励信号。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610188140.5A CN107248411B (zh) | 2016-03-29 | 2016-03-29 | 丢帧补偿处理方法和装置 |
PCT/CN2016/103481 WO2017166800A1 (zh) | 2016-03-29 | 2016-10-27 | 丢帧补偿处理方法和装置 |
EP17163596.4A EP3242442A3 (en) | 2016-03-29 | 2017-03-29 | Frame loss compensation processing method and apparatus |
US15/472,730 US10354659B2 (en) | 2016-03-29 | 2017-03-29 | Frame loss compensation processing method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610188140.5A CN107248411B (zh) | 2016-03-29 | 2016-03-29 | 丢帧补偿处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107248411A true CN107248411A (zh) | 2017-10-13 |
CN107248411B CN107248411B (zh) | 2020-08-07 |
Family
ID=58672282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610188140.5A Active CN107248411B (zh) | 2016-03-29 | 2016-03-29 | 丢帧补偿处理方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10354659B2 (zh) |
EP (1) | EP3242442A3 (zh) |
CN (1) | CN107248411B (zh) |
WO (1) | WO2017166800A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112489665A (zh) * | 2020-11-11 | 2021-03-12 | 北京融讯科创技术有限公司 | 语音处理方法、装置以及电子设备 |
CN112802485A (zh) * | 2021-04-12 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 语音数据处理方法、装置、计算机设备及存储介质 |
CN113539278A (zh) * | 2020-04-09 | 2021-10-22 | 同响科技股份有限公司 | 音频数据重建方法及系统 |
WO2021227783A1 (zh) * | 2020-05-15 | 2021-11-18 | 腾讯科技(深圳)有限公司 | 一种语音处理方法、装置、设备及存储介质 |
WO2022166738A1 (zh) * | 2021-02-08 | 2022-08-11 | 腾讯科技(深圳)有限公司 | 语音增强方法、装置、设备及存储介质 |
WO2022228144A1 (zh) * | 2021-04-30 | 2022-11-03 | 腾讯科技(深圳)有限公司 | 音频信号增强方法、装置、计算机设备、存储介质和计算机程序产品 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114079535B (zh) * | 2020-08-20 | 2023-02-17 | 腾讯科技(深圳)有限公司 | 转码方法、装置、介质和电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1441950A (zh) * | 2000-07-14 | 2003-09-10 | 康奈克森特系统公司 | 处理丢失帧的语音通信系统及方法 |
CN104299614A (zh) * | 2013-07-16 | 2015-01-21 | 华为技术有限公司 | 解码方法和解码装置 |
WO2015063044A1 (en) * | 2013-10-31 | 2015-05-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder and method for providing a decoded audio information using an error concealment based on a time domain excitation signal |
CN104718570A (zh) * | 2012-09-13 | 2015-06-17 | Lg电子株式会社 | 帧丢失恢复方法,和音频解码方法以及使用其的设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6959274B1 (en) | 1999-09-22 | 2005-10-25 | Mindspeed Technologies, Inc. | Fixed rate speech compression system and method |
US8428959B2 (en) * | 2010-01-29 | 2013-04-23 | Polycom, Inc. | Audio packet loss concealment by transform interpolation |
-
2016
- 2016-03-29 CN CN201610188140.5A patent/CN107248411B/zh active Active
- 2016-10-27 WO PCT/CN2016/103481 patent/WO2017166800A1/zh active Application Filing
-
2017
- 2017-03-29 US US15/472,730 patent/US10354659B2/en active Active
- 2017-03-29 EP EP17163596.4A patent/EP3242442A3/en not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1441950A (zh) * | 2000-07-14 | 2003-09-10 | 康奈克森特系统公司 | 处理丢失帧的语音通信系统及方法 |
CN104718570A (zh) * | 2012-09-13 | 2015-06-17 | Lg电子株式会社 | 帧丢失恢复方法,和音频解码方法以及使用其的设备 |
CN104299614A (zh) * | 2013-07-16 | 2015-01-21 | 华为技术有限公司 | 解码方法和解码装置 |
WO2015063044A1 (en) * | 2013-10-31 | 2015-05-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder and method for providing a decoded audio information using an error concealment based on a time domain excitation signal |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113539278A (zh) * | 2020-04-09 | 2021-10-22 | 同响科技股份有限公司 | 音频数据重建方法及系统 |
CN113539278B (zh) * | 2020-04-09 | 2024-01-19 | 同响科技股份有限公司 | 音频数据重建方法及系统 |
WO2021227783A1 (zh) * | 2020-05-15 | 2021-11-18 | 腾讯科技(深圳)有限公司 | 一种语音处理方法、装置、设备及存储介质 |
US11900954B2 (en) | 2020-05-15 | 2024-02-13 | Tencent Technology (Shenzhen) Company Limited | Voice processing method, apparatus, and device and storage medium |
CN112489665A (zh) * | 2020-11-11 | 2021-03-12 | 北京融讯科创技术有限公司 | 语音处理方法、装置以及电子设备 |
CN112489665B (zh) * | 2020-11-11 | 2024-02-23 | 北京融讯科创技术有限公司 | 语音处理方法、装置以及电子设备 |
WO2022166738A1 (zh) * | 2021-02-08 | 2022-08-11 | 腾讯科技(深圳)有限公司 | 语音增强方法、装置、设备及存储介质 |
CN112802485A (zh) * | 2021-04-12 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 语音数据处理方法、装置、计算机设备及存储介质 |
WO2022228144A1 (zh) * | 2021-04-30 | 2022-11-03 | 腾讯科技(深圳)有限公司 | 音频信号增强方法、装置、计算机设备、存储介质和计算机程序产品 |
Also Published As
Publication number | Publication date |
---|---|
WO2017166800A1 (zh) | 2017-10-05 |
CN107248411B (zh) | 2020-08-07 |
EP3242442A2 (en) | 2017-11-08 |
US10354659B2 (en) | 2019-07-16 |
EP3242442A3 (en) | 2017-12-13 |
US20170287493A1 (en) | 2017-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107248411A (zh) | 丢帧补偿处理方法和装置 | |
US10186272B2 (en) | Bandwidth extension with line spectral frequency parameters | |
EP1105871B1 (en) | Speech encoder and method for a speech encoder | |
US8635063B2 (en) | Codebook sharing for LSF quantization | |
US6330533B2 (en) | Speech encoder adaptively applying pitch preprocessing with warping of target signal | |
DE69934320T2 (de) | Sprachkodierer und verfahren zur codebuch-suche | |
US6449590B1 (en) | Speech encoder using warping in long term preprocessing | |
CN100369112C (zh) | 可变速率语音编码 | |
CN103392203B (zh) | 用于在码激励线性预测编解码器中量化激励的自适应和固定贡献的增益的设备和方法 | |
US20070043560A1 (en) | Excitation codebook search method in a speech coding system | |
US9972325B2 (en) | System and method for mixed codebook excitation for speech coding | |
CN104021796A (zh) | 语音增强处理方法和装置 | |
CN101548319A (zh) | 后置滤波器以及滤波方法 | |
AU704229B2 (en) | Analysis-by-synthesis speech coding method | |
CA2209623A1 (en) | Speech coding method using synthesis analysis | |
WO1996035208A1 (en) | A gain quantization method in analysis-by-synthesis linear predictive speech coding | |
EP3447766B1 (en) | Encoding method, encoding apparatus, corresponding program and recording medium | |
CN104637486B (zh) | 一种数据帧的内插方法及装置 | |
HEIKKINEN et al. | On Improving the Performance of an ACELP Speech Coder | |
Choi et al. | Fast harmonic estimation using a low resolution pitch for low bit rate harmonic coding. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |