CN101325631A - 一种实现丢包隐藏的方法和装置 - Google Patents

一种实现丢包隐藏的方法和装置 Download PDF

Info

Publication number
CN101325631A
CN101325631A CNA2007101261653A CN200710126165A CN101325631A CN 101325631 A CN101325631 A CN 101325631A CN A2007101261653 A CNA2007101261653 A CN A2007101261653A CN 200710126165 A CN200710126165 A CN 200710126165A CN 101325631 A CN101325631 A CN 101325631A
Authority
CN
China
Prior art keywords
data
pitch period
obliterated
length
lost frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101261653A
Other languages
English (en)
Other versions
CN101325631B (zh
Inventor
詹五洲
王东琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN2007101261653A priority Critical patent/CN101325631B/zh
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to EP08757724A priority patent/EP2133867A4/en
Priority to EP10002537A priority patent/EP2200019A3/en
Priority to EP10002536A priority patent/EP2200018B1/en
Priority to PCT/CN2008/071313 priority patent/WO2008151579A1/zh
Publication of CN101325631A publication Critical patent/CN101325631A/zh
Priority to US12/610,489 priority patent/US20100049510A1/en
Priority to US12/610,442 priority patent/US20100049505A1/en
Priority to US12/610,466 priority patent/US8600738B2/en
Application granted granted Critical
Publication of CN101325631B publication Critical patent/CN101325631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明实施例公开了实现丢包隐藏的方法和装置，通过结合丢失帧之前的数据和丢失帧之后的数据恢复丢失帧的技术方案增强了恢复的丢失帧数据与丢失帧之后的数据之间的相关性，进而改善了恢复的丢失帧数据与丢失帧之后的数据之间相位的连续性，提高了语音数据的质量。本发明实施例还公开了估计基音周期的方法和装置，通过从初始基音周期以及初始基音周期对应频率的一个以上的整数倍频率所分别对应的基音周期中选择一个基音周期作为最终估计的基音周期的技术方案，消除了估计基音周期时存在的倍频问题；另外，还通过波形匹配对初始基音周期进行微调的技术方案，减小了估计基音周期的误差，提高了语音数据的质量。

Description

一种实现丢包隐藏的方法和装置
技术领域
本发明涉及网络通信技术领域，尤指一种估计基音周期的方法和装置、一种对基因周期进行微调的方法和装置以及实现丢包隐藏的方法和装置。
背景技术
最初，IP网络是为传输包含较大的包且不需要实时可靠传送的数据流而设计的。而现在IP网络中也传输语音数据。语音的传输需要实时可靠地传送较小的语音包，当一个语音包在传输过程中被丢弃时，通常没有时间重新传送该被丢弃的包。另外，当一个语音包经过了一段较长的路由而在需要播放时不能及时到达时，这个包已经失去了存在的意义。因此在基于IP网络协议的语音(VoIP，Voice over Internet Protocol)系统中，语音包不能及时到达或不能到达时，都被认为该语音包丢失了。
网络传输过程中的丢包是在网络传输语音数据时服务质量下降的主要原因。而丢包隐藏技术是指通过合成的数据包补偿丢失的包，来减小传输过程中的丢包对语音质量的影响。如果没有有效的语音丢包隐藏技术，即使是设计和管理得最好的IP网络也不能提供长话级品质的通信。而设计良好的解决丢包问题的技术，能很大程度上提高语音传输的质量。因此在现有技术中，不同的机制被用来隐藏由于丢包引起的影响。例如G.711协议的附录1中记录了以基音波形替代为基础的丢包隐藏方法。
基音波形替代是一种基于收端的处理技术，它根据语音的特点对丢失的数据帧进行补偿。下面介绍基音波形替代技术的原理、实现过程以及存在的缺点。
在语音信号中，一般清音从波形上看是杂乱无章的，而浊音在波形上则表现出周期性。基音波形替代的主要原理是：首先，利用丢失帧前一帧的信息，即波形缺口位置的前一帧的信息来估计出基音周期P，然后，用缺口位置之前的，长度为P的一段波形来补偿波形的缺口。图1是现有技术中利用基音波形补偿丢失帧的示意图。如图1所示，帧2为丢失的音频帧，帧长为L，帧1是帧2之前的音频帧，帧3是帧2之后的音频帧，且帧1和帧2都是完好的数据帧。假定已经检测出丢失帧前一帧，即帧2对应的基音周期为P，在图1中用区间1表示，那么根据浊音的周期性特点，就可以把丢失帧的前一帧的最后一个基音周期的数据，也就是区间1对应的数据复制到丢失帧，以重建丢失帧2的信号。如果一个基音周期的数据不足以把丢失帧的空缺填满，即基音周期P＜丢失帧的帧长L，则重复复制区间1的数据到丢失帧的空缺进行填充。例如在图1中，L＝2P，因此在复制区间1中的数据到区间2之后，还要再次复制区间1中的数据到区间3，即需要两个基音周期才能填满丢失帧。
在现有技术中一般使用自相关分析的方法来获得基音波形替代方法中所使用的基音周期P。自相关分析是一种常用的语音时域波形分析方法，由相关函数来定义。相关函数可用来测定信号间的时域相似性，当进行相关的两个信号完全不同时，相关函数的值接近于零；当进行相关的两个信号的波形相同时，则会在超前或滞后处出现峰值。因此，自相关函数可用于研究信号本身，如波形的同步性、周期性等等。
图2是现有技术中利用自相关分析来计算基音周期的方法的示意图。在图2中，长度为35ms的语音数据是历史缓冲区(HB)中的一段数据，即丢失帧之前的一段数据。TW是模版窗，该窗的尾部与HB中数据的尾部对齐，R对应TW在HB中的起始位置。由于最大可能基音周期为15ms，因此通常取TW的长度W为20ms。SW是滑动窗，其窗长与模版窗TW的长度相同，也为20ms，TW的位置保持不变，而SW的起始位置L从HB的起始位置1点开始滑动到Q点，从HB的1点到Q点的长度等于最大可能基音周期减去最小可能基音周期。在SW的滑动过程中计算SW中的采样点和TW中的采样点的自相关值，以搜索最佳匹配点，在最佳匹配点处SW中的采样点信号与TW中的采样点信号的自相关值最大。则最佳匹配点和TW的起始位置R之间的距离P即为所估计的基音周期。
在上述过程中，用x(i)表示HB中的第i个采样点，且HB中采样点个数，即35ms数据中的采样点个数为LEN，SW和TW中采样点个数，即20ms数据中的采样点个数为W，则SW中的采样点信号与TW中的采样点信号的相关函数CR如公式(1)所示：
CR ( k ) = Σ m = 1 W [ SW ( m , k ) * TW ( m ) ]
= Σ m = 1 W [ x ( m + k - 1 ) * x ( LEN - W + m ) ] - - - ( 1 )
其中，SW和TW分别表示滑动窗和模板窗中的采样点序列，k为与滑动窗SW的起始位置L对应的HB中的采样点的序号，也就是SW向右滑动的距离。在现有技术标准中用k点对应的SW与TW的自相关值与滑动窗SW的能量比值作为匹配值corr(k)，如公式(2)所示：
corr ( k ) = CR ( k ) Σ m = 1 W ( x ( m + k - 1 ) ) 2 - - - ( 2 )
最佳匹配点BK是在搜索过程中于匹配值的最大值BC(Best Corr)对应的k点的位置，BC如公式(3)所示：
BC＝max{corr(k)|1≤k≤MaxPitch-MinPitch}    (3)
其中，MaxPitch是最大可能基音周期长度数据中的采样点个数，MinPitch是最小可能基音周期长度数据中的采样点个数。
计算出最佳匹配点BK后，即可估计出基音周期P，如公式(4)所示：
P＝MaxPitch-BK+1    (4)
为了减少计算量，在现有技术中给出了先隔点抽样计算匹配值，找出一个粗糙的匹配点，然后在匹配点附近逐点计算匹配值，以进一步精确最佳匹配点的位置的方法。
得到HB中数据的基音周期P后，如果直接用HB中最后基音周期长度的数据对丢失帧缺口进行重复填充，则会在两个基音周期数据的拼接处产生波形的突变。为了保证拼接处的平滑，在用HB中的最后一个基音周期的数据对丢失帧进行填充之前，要对HB中最后1/4基音周期的数据进行平滑处理。图3是现有技术中对历史缓冲区中最后1/4基音周期的数据进行平滑处理的示意图。如图3所示，将HB中最后一个基音周期之前的四分之一基音周期数据乘以上升窗，将HB最后四分之一基音周期数据乘以下降窗，并将上述两个1/4基音周期的数据做叠加，然后用叠加得到的1/4基音周期数据替换掉HB中最后1/4基音周期中的内容，以保证HB中的前帧原始信号和填充的丢失帧信号之间的平滑过渡。
对HB中的最后一个基音周期的数据进行图3所示的平滑处理后，对丢失帧进行补偿。图4是现有技术中用平滑后的基音周期数据补偿丢失帧的示意图。如图4所示，信号“Input”是丢失了两个帧的音频信号，且丢失帧之前的1/4基音周期数据，即历史缓冲区HB中的最后1/4基音周期数据已经用图3所示的方法进行了平滑。用HB中最后一个基音周期的数据填满第一个丢失帧后，需要在第一个丢失帧的尾部延伸1/4基音周期的长度的数据，如信号“After10ms”所示。
在用HB中的最后一个基音周期数据填充第一个丢失帧时还需要保存一个和基音周期相关的数据的偏移量OFFSET，它将用在有连续丢包的情况下。假定基音周期的长度为P，完整一帧对应的长度为L，则填满一帧后，OFFSET的值为：OFFSET＝L％P。
在图4中，将第一个丢失帧填满后，将历史缓冲区HB尾部的两个基音周期的数据放入到一个缓冲区PB中，然后在HB尾部向后二又四分之一基音周期处开始取四分之一基音周期的数据和缓冲区PB最后四分之一基音周期的数据做叠加，然后用这两个基音周期长度的数据更新缓冲区PB中的数据。然后再在缓冲区PB的OFFSET处开始，取四分之一基音周期长度的数据并乘上一个上升窗，将填充第一个数据包时延伸的四分之一基音周期的数据乘上一个下降窗，两者做叠加处理，并将叠加处理后的数据填充到第二帧开始的四分之一基音周期。最后，从缓冲区PB的OFFSET+四分之一基音周期处继续取数据填充丢失的第二帧剩余的空间，并更新OFFSET的值：
OFFSET＝(OFFSET+L)％P
最后，还需要保证第2个丢失帧和其下一帧的波形的平滑过渡，从缓冲区PB的OFFSET处开始取四分之一基音周期加上其随后的4ms数据并乘上一个下降窗，和下一帧开始的四分之一基音周期加上4ms的数据乘上一个上升窗进行叠加，并替换下一帧开始的四分之一基音周期加上4ms的数据，就得到了经过补偿后的音频信号，如图4中的信号“Concealed”所示，信号“Original”是原始信号。
图4给出了现有技术中填充两个丢失帧的过程，如果连续丢失了3个数据帧，仍然按照填充第二个丢失帧的方法填充第三个丢失帧。并且在现有技术中，在连续丢帧的情况下，需要从第二个丢失帧开始进行线性的能量衰减，其中每10ms衰减20％。当丢失帧的数据达到60ms后，就将丢失帧的数据全部置为0。
但是在上述利用基音波形补偿丢失帧的方法中存在如下的缺点：
1)采用自相关分析的方法估计出的浊音基音周期P不够准确。利用图2所示的方法查找最佳匹配点时，只查找一个最佳的匹配点，没有考虑到倍频的问题，因此可能会估计出一个错误的基音周期，则用错误的基音周期数据对丢失帧的数据进行补偿时，会影响到丢失帧合成的质量。另外，估计基音周期的初衷本是要获得最接近丢失帧处的数据的基音周期，但在使用图2所示的自相关方法计算基音周期的时，却需要使用丢失帧之前至少22.5ms的采样数据，因此，在计算距离丢失帧起始处最近一段数据的基音周期时，会产生一定的误差，使用有误差的基音数据填充丢失帧的数据时，就使得拼接处的相位发生突变。
2)在现有技术中只使用丢失帧之前的数据，即历史数据进行填充。由于音频信号中的基音周期也是逐渐变化的，因此距离丢失帧越远的数据与丢失帧的相关性越弱，只用丢失帧之前的数据对丢失帧进行补偿，有可能在丢失帧和其之后的帧相连的地方发生相位不连续的现象。
3)当丢失帧发生在有语音渐变的地方时，只用丢失帧的前一基音周期数据对丢失帧数据进行恢复，则会发生幅度不连续的现象。
发明内容
有鉴于此，本发明实施例提供了一种估计基音周期的方法，该方法能够消除估计基音周期时存在的倍频问题。
本发明实施例提供了一种估计基音周期的装置，该装置能够消除估计基音周期时存在的倍频问题。
本发明实施例还提供了一种对基音周期进行微调的方法，该方法能够减小估计基音周期的误差。
本发明实施例还提供了一种对基音周期进行微调的装置，该装置能够减小估计基音周期的误差。
本发明实施例提供了一种实现丢包隐藏的方法，该方法增强了恢复的丢失帧数据与丢失帧之后的数据之间的相关性。
本发明实施例提供了一种实现丢包隐藏的装置，该装置增强了恢复的丢失帧数据与丢失帧之后的数据之间的相关性。
为达到上述目的，本发明的技术方案具体是这样实现的：
本发明实施例公开了一种估计基音周期的方法，该方法包括以下步骤：
获取已知语音数据的初始基音周期；
从初始基音周期所对应频率的一个以上的大于1的整数倍频率所分别对应的基音周期中，选择所对应频率小于或等于最小可能基音周期所对应频率的基音周期作为候选基因周期，并从初始基因周期和候选基音周期中选择一个基因周期作为所述已知语音数据的最终估计基音周期。
本发明实施例公开了一种估计基音周期的装置，该装置包括：初始基音周期获取模块和选择模块，其中，
初始基音周期获取模块，用于获取已知语音数据的初始基音周期，并发送给选择模块；
选择模块，从初始基音周期所对应频率的一个以上的大于1的整数倍频率所分别对应的基音周期中，选择所对应频率小于或等于最小可能基音周期所对应频率的基音周期作为候选基因周期，并从初始基因周期和候选基音周期中选择一个基因周期作为所述已知语音数据的最终估计基音周期。
本发明实施例公开了一种对基音周期进行微调的方法，该方法还包括：
获取丢失数据之前或丢失数据之后的已知数据的初始基音周期；
在所述已知数据靠近丢失数据的一端，设置长度为预设值的模板窗；
设置长度与模板窗长度相同的滑动窗，并使滑动窗靠近丢失数据的端点在预设点周围的预设范围内滑动，所述预设点是已知数据中与模板窗靠近丢失数据的端点距离初始基音周期长度的点；
在所述滑动窗所能滑动的预设点周围的预设范围内，计算模板窗中的数据与滑动窗中数据的匹配值，并从中查找出最佳的匹配值，并将具有最佳匹配值时的模板窗与滑动窗的对应端点之间的距离作为微调后的基音周期。
本发明实施例公开了一种对基音周期进行微调的装置，该装置包括：初始基音周期获取模块，设置模块和计算模块，其中，
初始基音周期获取模块，用于获取丢失数据之前或丢失数据之后的已知数据获取初始基音周期，并发送给设置模块；
设置模块，用于接收初始基音周期获取模块发送的初始基音周期，并在所述已知数据靠近丢失数据的一端，设置长度为预设值的模板窗，设置长度与模板窗长度相同的滑动窗，并使滑动窗靠近丢失数据的端点在预设点周围的预设范围内滑动；所述预设点是已知数据中与模板窗靠近丢失数据的端点距离初始基音周期长度的点；
计算模块，用于在所述滑动窗所能滑动的预设点周围的预设范围内，计算模板窗中的数据与滑动窗中数据的匹配值，并从中查找出最佳匹配值，并将具有最佳匹配值时的模板窗与滑动窗的对应端点之间的距离作为微调后的基音周期。
本发明实施例公开了一种实现丢包隐藏的方法，该方法包括：
设置长度与丢失数据长度相等的丢失帧主缓冲区和丢失帧临时缓冲区；
利用丢失数据之前的已知数据中的一个基音周期数据，填充丢失帧主缓冲区；
利用丢失数据之后的已知数据中的一个基音周期数据，或利用丢失数据之前的已知数据中的一个基音周期数据，填充丢失帧临时缓冲区；
对丢失帧主缓冲区和丢失帧临时缓冲区中的数据进行叠加处理，并用所述叠加处理后的数据补偿丢失帧。
本发明实施例公开了一种实现丢包隐藏的装置，该装置包括：主处理模块、丢失帧主缓冲区和丢失帧临时缓冲区，其中，
主处理模块，用于利用丢失数据之前的已知数据中的一个基音周期数据，填充丢失帧主缓冲区，并利用丢失数据之后的已知数据中的一个基音周期数据，或利用丢失数据之前的已知数据中的一个基音周期数据，填充丢失帧临时缓冲区；并将丢失帧主缓冲区和丢失帧临时缓冲区中的数据进行叠加处理后，用所述叠加处理后的数据补偿丢失帧；
丢失帧主缓冲区，用于存储主处理模块所填充的数据，其长度与丢失数据长度相等；
丢失帧临时缓冲区，用于存储主处理模块所填充的数据，其长度与丢失数据长度相等。
由上述技术方案可见，本发明实施例中，通过从初始基音周期所对应频率的一个以上的大于1的整数倍频率所分别对应的基音周期中，选择所对应频率小于或等于最小可能基音周期所对应频率的基音周期作为候选基因周期，并从初始基因周期和候选基音周期中选择一个基因周期作为所述已知语音数据的最终估计基音周期的技术方案，能够消除估计基音周期时存在的倍频问题。本发明实施例中，通过在与初始基音周期对应的匹配点附近查找最佳匹配点，并根据最佳匹配点的位置对估计的初始基音周期进行微调的技术方案，减小了估计基音周期的误差。本发明实施例中，利用历史数据中的一个基音周期数据，填充丢失帧主缓冲区，利用当前数据中的一个基音周期数据，或利用历史数据中的一个基音周期数据，填充丢失帧临时缓冲区，对丢失帧主缓冲区和丢失帧临时缓冲区中的数据进行叠加处理，并用所述叠加处理后的数据补偿丢失帧的技术方案增强了恢复的丢失帧数据与丢失帧之后的数据之间的相关性，进而改善了恢复的丢失帧数据与丢失帧之后的数据之间相位的连续性。
附图说明
图1是现有技术中利用基音波形补偿丢失帧的示意图；
图2是现有技术中利用自相关分析来计算基音周期的方法的示意图；
图3是现有技术中对历史缓冲区中最后1/4基音周期的数据进行平滑处理的示意图；
图4是现有技术中用平滑后的基音周期数据补偿丢失帧的示意图；
图5是本发明实施例中倍频点的示意图；
图6是本发明实施例一种估计基音周期的方法的流程图；
图7是本发明实现图6所示方法的一个具体实施例的流程图；
图8是本发明实施例一种估计基音周期的装置的结构框图；
图9是本发明实施例对丢失帧之前的数据的基音周期进行微调的示意图；
图10是本发明实施例一种对基音周期进行微调的方法的流程图；
图11是本发明实施例对丢失帧之后的数据的基音周期进行微调的示意图；
图12是本发明实施例对基音周期进行微调的装置的结构框图；
图13是本发明实施例一种结合历史数据和当前数据实现丢包隐藏的方法的流程图；
图14是本发明实施例对当前帧进行平滑处理的示意图；
图15是本发明实施例用当前数据反向填充丢失数据的示意图；
图16是本发明实施例在基音缓冲区中查找与给定波形最匹配的波形的示意图
图17是本发明实施例对恢复的丢失帧数据进行幅度平滑处理后的示意图；
图18是本发明实施例一种实现丢包隐藏的装置的结构框图；
图19是本发明实施例实现丢包隐藏的装置在接收端系统中的外部连接示意图；
图20是本发明实施例在实际系统中应用实现丢包隐藏的方法的流程图。
具体实施方式
本发明实施例主要通过对现有的丢包隐藏技术进行改进，以减小现有技术对丢失帧进行补偿时存在的基音周期估计误差，相位不连续，幅度不连续等问题。
首先描述本发明对现有的基音周期估计方法进行改进的实施例。
前面提到过浊音是具有周期性的，且周期为P，即基音周期为P，因此在图2中，HB中的采样点数据x的周期性可用公式(5)表示：
x(m)≈x(m+P)    (5)
并且由于周期函数的自相关函数与该周期函数具有相同的周期特性，因此公式(1)所示的相关函数的周期性可用公式(6)表示：
CR(k)＝CR(k+P)    (6)
因此，通过图2所示的方法查找到最佳匹配点有可能是干扰倍频点。图5是本发明实施例中倍频点的示意图。如图5所示，通过图2所示的自相关分析方法得到最佳匹配点为k3，但图5中的这段波形的真实基音周期的最佳匹配点为k1，即所查找到的最佳匹配点k3对应的频率有是k1处所对应频率的1/N，其中N是大于1的整数。因此，此时所估计的k3处所对应的基音周期为k1处所对应的基音周期的N倍，即为真实基音周期的整数倍。针对该问题本发明实施例给出了如下的解决方案。
图6是本发明实施例一种估计基音周期的方法的流程图。如图6所示，包括以下步骤：
步骤601，获取已知语音数据的初始基音周期。
在本步骤中，可以利用图2所示的自相关分析方法估计出一个基音周期值，并将该基音周期值设置为初始基音周期。
步骤602，从初始基音周期所对应频率的一个以上的大于1的整数倍频率所分别对应的基音周期中，选择所对应频率小于或等于最小可能基音周期所对应频率的基音周期作为候选基因周期，并从初始基因周期和候选基音周期中选择一个基因周期作为所述已知语音数据的最终估计基音周期。
在本步骤中，将初始基音周期对应频率的一个以上的整数倍频率所分别对应的基音周期作为候选基因周期的实现过程可以是：查找出所有大于最小可能基音周期的初始基音周期的因数，作为候选基音周期。
例如，当初始基音周期为12ms，而最小可能基音周期为2.5ms时，所有大于2.5ms的12ms的因数为6ms、4ms和3ms。
本步骤中，可以根据与初始基音周期以及各个候选基音周期对应的匹配值来进行选择。
通过图6所示的方案可以消除现有技术估计基音周期时存在的倍频问题。
图7是本发明实现图6所示方法的一个具体实施例的流程图。如图7所示，包括以下步骤：
步骤701，利用图2所示的自相关分析方法，查找出最佳匹配点，获得与最佳匹配点对应的基音周期P0，初始化最佳基音周期BP，令BP＝P0，并记录相应的匹配值BC。
本步骤中，匹配值BC如公式(3)所示。
步骤702，初始化N，令N＝1。
本步骤中，N表示最佳基音周期发生在P0点对应频率的N倍处，当N＝1，则表示最佳基音周期BP＝P0。
步骤703，令N＝N+1，P＝P0/N，即设真实的基音周期P对应的频率为P0对应的频率的N倍。
步骤704，判断步骤703中所得到的P是否大于或等于最小可能基音周期，是则执行步骤705，否则结束本流程。
本步骤中，检测P是否大于等于最小可能基音周期。通常最小可能基音周期取2.5ms，在8kHz的采样速率下，对应20个采样点。如果P小于最小可能基音周期，则当前的BP值即为所要估计的最佳基音周期，结束本流程。
步骤705，获取与P对应的匹配值BC’。
步骤706，判断BC’是否满足预设的条件，是则执行步骤707，否则回到步骤703。
在本步骤中，预设条件可以为BC’≥a×BC，其中a是一个常数，其经验值可取0.85。
步骤707，更新最佳基音周期BP，令BP＝P，并执行步骤703。
通过上述流程，就可以查找出所有大于最小可能基音周期的初始基音周期的因数，并逐个进行比较选择出一个最佳的基音周期BP。但在上述过程中，可能有两个以上的因数的匹配值都满足大于或等于0.85BC的条件，在图7所示的流程中最终选择出来的是倍频最大的因数，即值最小的因数。当然也可以将图7所示的流程设置为：当有一个因数的匹配值满足条件时，便认为该因数是最佳基音周期，结束流程。
在步骤707中，较佳地，也可以用当前的BC’更新BC，即令BC＝BC’，这样每次进行比较的时候，不是一直与初始基音周期P0相比较，而是与上一次的比较过程中选择出来的较佳值进行比较。
更进一步的，考虑到自相关方法本身存在的误差，在步骤703或步骤705中，可以先在P值附近的一定范围内选择一个匹配值最大的点P’，用P’代替P，对P进行修正，以减少误差带来的影响。其具体过程可以是：参照图2，在与P对应的k点的附近进行搜索，找出匹配值BC最大的点k’，与k’对应的基音周期即为P’，8KHZ采样速率下，对k点附近的3个点进行搜索可以获得较好的效果。
图8是本发明实施例一种估计基音周期的装置的结构框图。如图8所示，该装置包括：初始基音周期获取模块801和选择模块802。
初始基音周期获取模块801，用于获取已知语音数据的初始基音周期，并发送给选择模块802。
选择模块802，从初始基音周期所对应频率的一个以上的大于1的整数倍频率所分别对应的基音周期中，选择所对应频率小于或等于最小可能基音周期所对应频率的基音周期作为候选基因周期，并从初始基因周期和候选基音周期中选择一个基因周期作为所述已知语音数据的最终估计基音周期。
在图8中选择模块802包括：计算模块803和比较804，其中，
计算模块803，用于分别计算出与初始基音周期和各个候选基音周期对应的匹配值，并发送给比较模块804；
比较模块804，用于对所接收到的与初始基音周期和各个候选基音周期对应的匹配值进行比较，从中选择出一个最佳匹配值，并将该最佳匹配值所对应的基音周期作为所述已知语音数据的最终估计基音周期。
图8中的选择模块802还可以进一步用于，对于每一个候选基音周期，在该候选基音周期所对应的匹配点周围的预设范围内进行搜索，查找出一个匹配值为最佳匹配值的匹配点，并用该匹配点对应的基音周期替换该候选基音周期；并从初始基音周期以及所述替换后的候选基音周期中选择一个基音周期作为所述已知语音数据的最终估计基音周期。
前面提到过估计基音周期的初衷本是要获得最接近丢失帧处的数据的基音周期，但在使用图2所示的自相关方法计算基音周期的时，却需要使用丢失帧之前至少22.5ms的采样数据，因此，在计算距离丢失帧起始处最近一段数据的基音周期时，会产生一定的误差。因此，接下结合图9和图10来描述本发明通过对已获得的基音周期进行微调来减小估计误差的技术方案。
图9是本发明实施例对丢失帧之前的数据的基音周期进行微调的示意图。在图9中，所示信号是历史缓冲区HB中音频信号。图10是本发明实施例一种对基音周期进行微调的方法的流程图。如图10所示，包括以下步骤：
步骤1001，获取丢失数据之前或丢失数据之后的已知数据的初始基音周期。
在本步骤中，获取HB中数据的初始基音周期P0。P0可以利用图2所示的自相关分析方法获取的基音周期，也可以是经过图6所示的方法进行消除倍频处理的基音周期，还可以是用其他方法获得的基音周期。
步骤1002，在所述已知数据靠近丢失数据的一端，设置长度为预设值的模板窗。
与本步骤对应，在图9中，从历史缓冲区HB的最后一个采样点开始向前取L个采样点数的一段数据作为模版窗TW。HB的长度为LEN，TW的起始点为ST，末尾点为ET，则有：ST＝LEN-L+1
ET＝LEN
在本步骤中，L的长度较佳地，取0.55×P0左右的值，但不少于0.25×P0。
步骤1003，设置长度与模板窗长度相同的滑动窗，并使滑动窗靠近丢失数据的端点在预设点周围的预设范围内滑动，所述预设点是已知数据中与模板窗靠近丢失数据的端点距离初始基音周期长度的点。
与本步骤对应，在图9中：在历史缓冲区HB中设置一个长度也为L的滑动窗SW，并使SW的末尾点在Z点附近的预设范围内滑动，Z点是距离TW的ET端点一个初始基音周期P0长度的点。SW的起始点为SS，末尾点为ES，Z点与HB的末尾点，也就是与TW的末尾点ET之间的距离为P0，即SS＝ST-P0，ES在[Z-R，Z+R]的范围内滑动。
步骤1004，在滑动窗的滑动过程中，计算模板窗中的数据与滑动窗中数据的匹配值，并从中查找出最佳的匹配值，并将具有最佳匹配值时的模板窗与滑动窗的对应端点之间的距离作为微调后的基音周期。。
在本步骤中，在SW的滑动过程中，计算SW与TW的匹配值，查找出其中的最佳匹配值，即查找出一个与TW最为相似的SW的位置，并将此时的TW与SW的对应端点之间的距离P1作为最终估计的基音周期。
计算TW与SW的匹配值时，可以采用自相关分析的方法，如采用公式(2)计算SW与TW的匹配值。为了减小计算的复杂度，也可以计算SW中采样点与TW中对应的采样点的幅度差值的绝对值的总和BMV，如公式(7)所示：
BMV ( i ) = Σ k = 1 L | x ( Z - L + i + k ) - x ( S T + k - 1 ) | , - R ≤ i ≤ R - - - ( 7 )
其中x(i)表示HB中的第i个数据。
用公式(7)进行计算时，匹配值与BMV成反比，因此查找最小的BMV，即BestBMV＝min(BMV(i))，-R≤i≤R。
另外，在步骤1104中，作为一种优选的方案，建议先从中间位置i＝0处开始，然后再向两侧进行搜索来查找最佳的匹配值。即首先计算i＝0处BMV的值，并作为最初的BestBMV，然后再计算i＝±1，i＝±2，...，i＝±R处对应的BMV值，并与BestBMV依次进行比较，如果小于BestBMV，则将BestBMV值更新为BMV值。
通过上述步骤可以估计出一个较为接近真实值的基音周期P1。
在估计丢失帧之后的数据的基音周期时，可以用上述方法对初始的有误差的基音周期进行微调，以达到减小误差的目的。
图11是本发明实施例对丢失帧之后的数据的基音周期进行微调的示意图。在图11中，首先利用丢失数据之后的一段已知数据获取初始基音周期P0。P0可以利用图2所示的自相关分析方法获取的基音周期，也可以是经过图6所示的方法进行消除倍频处理的基音周期，还可以是用其他方法获得的基音周期。在丢失数据之后的一段已知数据的长度不足以利用自相关分析等方法计算出其基音周期时，可用丢失数据之前的已知数据的基音周期代替P0。然后在所述丢失数据之后的数据的起始位置开始向后取L个采样点数的一段数据作为模版窗TW。L的长度较佳地，取0.55×P0左右的值，但在所述丢失数据之后的已知数据的长度不够0.55×P0时，可以适当的减小L的长度，但较佳地，L不少于0.25×P0。设置长度与模板窗相同的滑动窗SW，并使滑动窗SW的起始端点在在Z点的预设范围[Z-R，Z+R]内滑动，Z点是距离TW的ST端点一个初始基音周期P0长度的点，SW的起始点为SS，末尾点为ES。在滑动窗SW的滑动过程中，计算模板窗TW中的数据与滑动窗SW中数据的匹配值，查找出其中的最佳匹配值，即查找出一个与TW最为相似的SW的位置，并将此时的TW与SW的对应端点之间的距离P1作为最终估计的基音周期。计算TW与SW的匹配值时，可以采用自相关分析的方法，如采用公式(2)计算SW与TW的匹配值。为了减小计算的复杂度，也可以计算SW中采样点与TW中对应的采样点的幅度差值的绝对值的总和BMV，如公式(7)所示，此时的最佳匹配值对应BMV的最小值。
在图11所示的实施例中，对丢失帧之后的数据的基音周期进行微调时，较佳地，窗的长度L取大于0.25×P0，因此从图11可以看出，较佳地，在所获得的丢失帧之后的数据的长度大于或等于1.25×P0时才进行基音周期的微调。
图12是本发明实施例对基音周期进行微调的装置的结构框图。如图12所示，该装置包括：初始基音周期获取模块1201，设置模块1202和计算模块1203，其中，
初始基音周期获取模块1201，用于获取丢失数据之前或丢失数据之后的已知数据获取初始基音周期，并发送给设置模块1202；
设置模块1202，用于接收初始基音周期获取模块1201发送的初始基音周期，并在所述已知数据靠近丢失数据的一端，设置长度为预设值的模板窗，设置长度与模板窗长度相同的滑动窗，并使滑动窗靠近丢失数据的端点在预设点周围的预设范围内滑动；所述预设点是已知数据中与模板窗靠近丢失数据的端点距离初始基音周期长度的点；
计算模块1203，用于用于在所述滑动窗所能滑动的预设点周围的预设范围内，计算模板窗中的数据与滑动窗中数据的匹配值，并从中查找出最佳匹配值，并将具有最佳匹配值时的模板窗与滑动窗的对应端点之间的距离作为微调后的基音周期。
在本步骤中，计算模板窗中的数据与滑动窗中数据的匹配值可以是：计算模板窗中的数据与滑动窗中数据的相关值，并取匹配值为与相关值成正比的数值；或计算模板窗中的数据与滑动窗中对应数据的幅度差值的绝对值的总和，并取匹配值为与所述幅度差值的绝对值的总和成反比的数值。
到此为止给出了本发明估计基音周期的具体实施例，接下来描述本发明如何补偿丢失帧，即如何进行丢包隐藏处理的过程。
在现有技术中只使用丢失帧之前的数据，即历史数据进行填充。由于音频信号中的基音周期也是逐渐变化的，因此距离丢失帧越远的数据与丢失帧的相关性越弱，现有技术中只用丢失帧之前的数据对丢失帧进行补偿，有可能在丢失帧和其之后的帧相连的地方发生相位不连续的现象。
但是具体的情况是：当有数据帧丢失时，在系统延时允许的情况下可以等到接收到下一个完好的数据帧时，结合历史数据和在丢失帧后所接收到的当前数据进行丢包隐藏处理。因此在本发明实施例中给出一种结合历史数据和当前数据进行丢包隐藏处理的方案，其中历史数据指丢失帧之前的数据，当前数据指丢失帧之后的数据。
图13是本发明实施例一种结合历史数据和当前数据实现丢包隐藏的方法的流程图。如图13所示，包括以下步骤：
步骤1301，估计历史数据的基音周期PP。
在本步骤中，可以直接用图2所示的方法估计出PP，也可以先用图2所示的方法估计出一个初始基音周期，然后用图6和图10所示的本发明实施例的方法对初始基音周期进行倍频消除和微调修正后再作为本实施例中的PP。
步骤1302，对历史数据进行平滑处理。
在本步骤中，可以用图3所示的方法对历史数据的最后PP/4数据进行平滑处理。
步骤1303，将平滑后的历史数据中的最后一个PP长度的数据放到一个专用的基音缓冲区PB中。
基音缓冲区PB的长度与基音周期PP相等。
步骤1304，用基音缓冲区PB中的数据填充与丢失帧长度相等的丢失帧主缓冲区LMB。
在本步骤中，用PB中的数据填充LMB时，需要一个偏移指针P_OFFSET协助。P_OFFSET，用于指示下一次从基音缓冲区PB中取数据时，应该从什么位置开始取数据，以保证和已填充数据拼接处的平滑。在使用PB中的数据来恢复丢失的数据帧时，每取出一段数据，就需要将指针P_OFFSET向右移动相应的长度，如果发现从偏移指针P_OFFSET到基音缓冲区结尾的数据不够所需要的数据时，则P_OFFSET重新置0，并从PB的开始位置接着取数据；如果仍然不够所需的数据，则重复这个步骤，直至取到所需的所有数据。
步骤1305，当前数据是否满足预设的条件，是则执行步骤1305；否则执行步骤1310。
在本步骤中，所指的预设条件是：当前数据的长度，即丢失帧之后的第一个完好帧的起始位置起到当前收到的数据长度，是否满足对当前帧进行平滑处理的要求。图14是本发明实施例对当前帧进行平滑处理的示意图。参照图14，对当前数据进行平滑处理的过程是：将当前数据第一个基音周期P之后的1/4基音周期数据乘以下降窗，将当前数据开始的第一个1/4基音周期数据乘以上升窗，然后将上述两个P/4长度的数据进行叠加，并用叠加后的P/4长度数据替换当前数据开始的第一个1/4基音周期的数据。这样处理的目的与步骤1302中对历史数据进行平滑处理的目的相同，是为了在使用当前数据反向填充丢失帧时，保证当前数据的原始信号和丢失帧信号之间的平滑过渡。
在本步骤中由于还不知道当前数据的基音周期，因此可以使用历史数据的基音周期PP来进行判断，比如将判断条件设置为当前数据的长度Date-SZ满足：
Date-SZ≥PP+PP/4
步骤1306，估计当前数据的基音周期NP；
在本步骤中，可以直接用图2所示的方法估计出NP，也可以先用图2所示的方法估计出一个初始基音周期，然后用图6和图10所示的本发明实施例的方法对初始基音周期进行倍频消除或微调修正后再作为本实施例中的NP。
步骤1307，对当前数据进行平滑处理。
在本步骤中，用图14所示的方法对当前数据进行平滑处理。
步骤1308，将平滑后的当前数据中的开始的一个NP长度的数据放到一个专用的基音缓冲区PB1中。
步骤1309，用基音缓冲区PB1中的数据反向填充与丢失帧长度相等的丢失帧临时缓冲区LTB。执行步骤1313。
在本步骤中，用PB1中的数据反向填充LTB的过程与步骤1304中用PB中的数据填充LMB的过程类似，只是填充的方向相反，因此称为“反向填充”。图15是本发明实施例用当前数据反向填充丢失数据的示意图。在图15中，比较了用历史数据最后的PP长度的数据填充丢失数据段和用当前数据开始的NP长度数据填充丢失数据段的过程，可以看出用历史数据填充的方向是从左到右，而用当前数据填充的方向是从右到左。
步骤1310，从当前数据的起始位置开始取长度为L的一段数据DateA，并在基音缓冲区PB中查找与DateA最匹配的一段L长度的数据DateB，将DateB的起始点记为St。
图16是本发明实施例在基音缓冲区中查找与给定波形最匹配的波形的示意图。如图16所示，在基音缓冲区PB中设置一个长度为L的滑动窗SW，SW的起始端点SS从PB的起始端点开始逐渐向右滑动一直到PB的末尾端点，并SW的滑动过程中计算SW中的数据和给定数据DateA的匹配值。当SW的起始端SS点向右滑动一定距离后，其末尾端点ES会超出PB的区域范围，即SW起始端点到PB末尾端点的长度M小于L，此时，复制基音缓冲区PB起始位置起的L-M长度的数据拼接到基音缓冲区PB的末尾，以满足匹配的要求。然后用SW中拼接起来的L长度的数据与给定数据DateA进行匹配计算。
在本步骤中，其中，L可以取0.55×PP的值。
步骤1311，将基音缓冲区PB中St点之后的PP/4长度数据DateB乘上一个下降窗，将当前数据起始位置开始的PP/4长度数据DateA乘上一个上升窗之后，将上述两个乘窗之后的PP/4长度数据进行叠加，并用叠加后的数据替换当前数据起始位置的PP/4长度数据。
本步骤中的操作可以保证当前数据和丢失数据之间的平滑连接。
步骤1312，从基音缓冲区PB的St点之前，取长度与丢失数据长度相同的数据，放入丢失帧临时缓冲区LTB中。
在本步骤中，当PB中St点到PB的起始端点的长度小于所需数据的长度，即小于丢失数据长度时，从PB的末尾点开始继续向左取数据，直至能够取到所需长度的数据。
步骤1313，将丢失帧主缓冲区LMB中的数据乘上一个下降窗，同时将丢失帧临时缓冲区LTB中数据乘上一个上升窗，并将上述两个乘窗的数据进行叠加，将叠加后的数据作为恢复的丢失帧填充到丢失帧处。
到此为止，便完成了结合历史数据和当前数据进行丢包隐藏处理的过程。
当然，在图13所示的流程中，可以不需要步骤1305的判断步骤，在步骤1304之后直接执行步骤1306、1307、1308、1309和1313，或在步骤1304之后直接执行步骤1310、1311、1312和1313。
在上述流程的步骤1310中，在PB中查找与DateA最匹配的DateB时，可以利用在步骤1304中得到的基音缓冲区PB的偏移指针P_OFFSET的位置，即将初始的匹配点设置为P_OFFSET，然后在P_OFFSET的位置附近查找最佳匹配的点St，这样可以减少匹配的次数，从而减少计算量。
如果丢失帧正好位于浊音和清音的过渡段时，用图13所示的方法恢复丢失帧，可能还会出现能量异常变化的情况，因此在本发明实施例中进一步需要根据丢失帧的前后帧能量的变化来对丢失帧的幅度进行平滑处理，以实现波形的渐变。
首先取当前数据开始处的L个样点，并计算这L个样点的能量值EN。然后在基音缓冲区PB中查找和这L个样点最匹配的L个样点，并计算基音缓冲区中的这L个样点的能量EP。最后，根据丢失帧的前后帧能量的变化情况，对图13所示的方法最终恢复的丢失帧数据幅度进行平滑，以达到能量平稳过渡的目的。
计算L个样点的能量时，可以取L个样点的幅度的平方求和的方法。
设丢失帧的前后帧能量的比值为ER(Energy Ratio)，则ER＝EN/EP，用x表示所恢复丢失帧数据的序列，x(i)表示序列x中的第i个数据，帧长为FRAME_SZ，则可以公式(8)对所恢复的丢失帧数据逐点进行能量修正：
x ( i ) = x ( i ) × ( i × sqrt ( ER ) - 1 FRAME _ SZ + 1 + 1 ) , 1 ≤ i ≤ FRAME _ SZ - - - ( 8 )
其中，函数sqrt表示求平方根。
图17是本发明实施例对恢复的丢失帧数据进行幅度平滑处理后的示意图。从图17可以看出，在进行幅度平滑处理之前，所恢复的丢失帧与当前帧的连接处能量变化较大，但在进行幅度平滑处理之后，恢复的丢失帧与当前帧的连接处能量变化变得比较平稳。
除了上述根据丢失帧的前帧和后帧的能量比值来对丢失帧的幅度进行平滑处理之外，还可以根据丢失帧的前帧和后帧中匹配波形的最大幅度差的比值来进行幅度的平滑处理，比如也可以利用公式(8)对恢复丢失帧的幅度进行平滑处理，只是，此时ER的位置处应该是丢失帧的前帧和后帧中匹配波形的最大幅度差的比值。
在上述对幅度进行平滑处理的过程中，较佳地，在EP＞EN时，才进行幅度的平滑处理。
图18是本发明实施例一种实现丢包隐藏的装置的结构框图。如图18所示，该装置主要包括：处理模块1801、丢失帧主缓冲区1802、丢失帧临时缓冲区1803和。
主处理模块1801，用于利用历史数据中的最后一个基音周期数据，填充丢失帧主缓冲区1802，并利用当前数据中的第一个基音周期数据，或利用历史数据中的最后一个基音周期数据，填充丢失帧临时缓冲区1803；并将丢失帧主缓冲区1802和丢失帧临时缓冲区1803中的数据进行叠加处理后，用所述叠加处理后的数据补偿丢失帧。
丢失帧主缓冲区1802，用于存储主处理模块1801所填充的数据。
丢失帧临时缓冲区1803，用于存储主处理模块1801所填充的数据。
丢失帧主缓冲区1802和丢失帧临时缓冲区1803的长度等于丢失帧的长度。
此外，图18所示的装置还包括：历史数据处理模块1805当前数据处理模块1806，所述主处理模块包括：基音缓冲区1807、平滑处理模块1808和幅度平滑模块1804。
历史数据处理模块1805，用于获取历史数据的基音周期，并将历史数据中的最后一个基音周期数据进行平滑处理后，发送给主处理模块1801。
当前数据处理模块1806，用于获取当前数据的基音周期，并将当前数据中的第一个基音周期数据进行平滑处理后，发送给主处理模块1801。
主处理模块1801利用历史数据中的最后一个基音周期数据，填充丢失帧临时缓冲区1803的实现过程可以是：主处理模块1801将历史数据中的最后一个基音周期数据存入基音缓冲区1807，并从当前数据中的第一个基音周期数据的起始位置开始取长度为预设值的第一数据；在基音缓冲区1807中查找与第一数据最为匹配的第二数据；获取基音缓冲区1807中的第二数据的起始点之前的长度与丢失帧临时缓冲区长度相等的第三数据；用所述第三数据填充丢失帧临时缓冲区1803。
平滑处理模块1808，用于将基音缓冲区1807中的第二数据的起始点之后的长度为预设值的数据乘上一个下降窗，将所述当前数据起始位置开始的长度为预设值的数据乘上一个上升窗，然后将上述两个乘窗之后的数据进行叠加处理，并用叠加后的数据替换当前数据起始位置开始的长度为预设值的数据。
幅度平滑模块1804，用于获取丢失数据之前的已知数据和丢失数据之后的已知数据中相互匹配的两组数据之间的比例系数，并根据所述比例系数对所述叠加处理后的数据的幅度进行平滑处理；主处理模块1801利用所述经过幅度平滑处理后数据补偿丢失帧。
在图18所示的实施例中，主处理模块1801还可以进一步用于判断当前数据的长度是否大于或等于预设值，是则，所述主处理模块1801利用丢失数据之后的已知数据中的第一个基音周期数据，填充丢失帧临时缓冲区；否则，所述主处理模块1801利用丢失数据之前的已知数据中的最后一个基音周期数据，填充丢失帧临时缓冲区。
图13和图18所示的实施例中，通过结合当前数据和历史数据恢复丢失帧数据，进而完成丢包隐藏处理。由于在丢包隐藏处理过程中利用丢失帧之后的数据帧，即当前数据对丢失帧进行恢复，因此增强了所恢复的丢失帧数据与丢失帧之后的数据之间的相关性，进而提高了所恢复的语音数据的质量。另外，对恢复的丢失帧数据进一步进行幅度平滑处理的过程也更进一步的提高了所恢复的语音数据的质量。
接下来进一步说明图13所示的丢包隐藏方法和图18所示的实现丢包隐藏的装置在具体系统中是如何应用和工作的。
图19是本发明实施例实现丢包隐藏的装置在接收端系统中的外部连接示意图。如图19所示，该接收端系统中包括：丢失帧检测器1901、解码器1902、历史缓冲区1903、延迟模块1904和实现丢包隐藏的装置1905。
在图19中，丢失帧检测器1901接收到从网络上传输过来的比特流后，判断是否有数据帧丢失，如果没有数据帧丢失，则丢失帧检测器201将完好的语音帧传送给解码器1902进行解码，然后解码器1902将解码后的数据送入到历史缓冲区1903，延迟模块1904对历史缓冲区1903中的数据延迟一定时间后输出。如果丢失帧检测器1901检测到有数据帧丢失，就发送“丢失语音帧”的信号给实现丢包隐藏的装置1905，然后实现丢包隐藏的装置1905使用本发明实施例所述的丢包隐藏方法，获取恢复的丢失帧数据，并将恢复的丢失帧数据放置在历史缓冲区1903中与丢失帧相对应的位置上。在图19所示的系统中，在满足延迟要求的条件下，实现丢包隐藏的装置1901需要根据丢失帧之前的历史数据和丢失帧之后的一帧或者多帧数据进行丢包隐藏处理，但在复杂的网络条件下，丢失帧之前的帧和丢失帧之后的数据帧是否丢失并不是已知或固定的，因此实现丢包隐藏的装置1905可通过丢失帧检测器1901获得在进行丢包隐藏处理时所需的帧的状态信息。然后实现丢包隐藏的装置1905利用历史缓冲区1903中的数据，并结合与丢失帧相关的前后帧的状态，合成丢失的音频帧。
图20是本发明实施例在实际系统中应用实现丢包隐藏的方法的流程图。如图20所示，包括以下步骤；
步骤2001，接收端系统收到新的语音数据帧。
步骤2002，接收端系统判断当前接收到的新的语音数据帧是否为坏帧，是则执行步骤2006，否则执行步骤2003。
步骤2003，接收端系统对接收到当前帧进行解码处理。
步骤2004，接收端系统判断当前帧的前一帧是否丢失，是则执行步骤2006，否则执行步骤2005。
步骤2005，用当前帧更新历史缓冲区，执行步骤2008。
步骤2006，用丢包隐藏处理方法恢复丢失帧。
步骤2007，用恢复的丢失帧和/或当前帧更新历史缓冲区。
步骤2008，将历史缓冲区中数据延迟一段之间。
在本步骤中，延迟的时间可以根据应用场景进行设定。例如，系统要求的延迟时间为1帧或更多帧对应的时间时，考虑到进行前帧平滑时最大的可能叠加长度为最大可能基音周期(最大可能基音周期一般为15ms)的0.25倍，即3.75ms，因此可以在满足系统延迟要求的情况下，适当增加延迟时间。比如当1ms数据对应的采样点的个数为SP时，则可以使用的延迟时间为一帧对应的时间和CEIL(3.75×SP/FRAME_SZ)×FRAME_SZ个采样点对应的时间中的大者，其中CEIL的意义为取大于给定浮点数的最小整数，FRAME_SZ为一帧数据中的采样点个数。
例如，当系统的帧长为5ms时，可以设定延迟时间为5ms，即对应一帧的延迟时间；如果当前系统的帧长为2ms，则可以设定延迟时间为MAX(2，CEIL(3.75/2)×2)＝4ms，即对应两帧的延迟时间。
步骤2009，输出历史缓冲区中的数据。
步骤2010，判断是否还有其它的数据帧需要接收，是则转到步骤2001继续执行，否则结束本流程。
在实际应用当中，需要根据系统的延时允许时间来决定是否应用本发明实施例中给出的结合历史数据和当前数据恢复丢失帧的方法来进行丢包隐藏处理。例如当有一个数据帧丢失时，如果系统的延时时间允许，则等待下一帧，如果下一帧是完好的帧，则可以利用本发明实施例给出的结合历史数据和当前数据恢复丢失帧的方法对丢失帧进行隐藏处理，如果下一帧数据仍然丢失了，则在系统的延时时间允许的情况下，继续等待下一帧的数据。在连续丢帧的情况下，且系统时延条件不允许继续等待时，利用历史数据进行丢包隐藏处理。
综上所述，本发明实施例中，通过从初始基音周与所有大于最小可能基音周期的初始基音周期的因数中选择一个数值作为估计的最佳基音周期的技术方案，能够消除估计基音周期时存在的倍频问题。本发明实施例中，通过在初始基音周期的附近查找最佳匹配点，并根据最佳匹配点的位置对估计的初始基音周期进行微调的技术方案，减小了估计基音周期的误差。本发明实施例中，利用历史数据中的最后一个基音周期数据，填充丢失帧主缓冲区，利用当前数据中的第一个基音周期数据，或利用历史数据中的最后一个基音周期数据，填充丢失帧临时缓冲区，对丢失帧主缓冲区和丢失帧临时缓冲区中的数据进行叠加处理，并用所述叠加处理后的数据补偿丢失帧的技术方案增强了恢复的丢失帧数据与丢失帧之后的数据之间的相关性，进而改善了恢复的丢失帧数据与丢失帧之后的数据之间相位的连续性。并且，在本发明实施例中还通过对所恢复的丢失帧的幅度进行平滑处理的技术方案，使得所恢复的丢失帧与当前帧的连接处的能量变化变得平稳。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (39)

1、一种估计基音周期的方法，其特征在于，该方法包括以下步骤：
获取已知语音数据的初始基音周期；
从初始基音周期所对应频率的一个以上的大于1的整数倍频率所分别对应的基音周期中，选择所对应频率小于或等于最小可能基音周期所对应频率的基音周期作为候选基因周期，并从初始基因周期和候选基音周期中选择一个基因周期作为所述已知语音数据的最终估计基音周期。
2、如权利要求1所述的方法，其特征在于，所述从初始基音周期以及候选基音周期中选择一个基音周期作为所述已知语音数据的最终估计基音周期的步骤包括：
在所述已知语音数据的一端，设置长度为预设值的模板窗；设置长度与模板窗长度相同的滑动窗，并令滑动窗在所述已知语音数据的长度范围内滑动；
当滑动窗与模板窗的对应端点之间的距离与初始基音周期的长度相等时，取滑动窗中数据与模板窗中数据的匹配值为与初始基音周期对应的匹配值；当滑动窗与模板窗的对应端点之间的距离与一个候选基音周期的长度相等时，取滑动窗中数据与模板窗中数据的匹配值为与该候选基音周期对应的匹配值；
从初始基音周期所对应的匹配值以及各候选基音周期所对应的匹配值中选择出一个最佳匹配值，并将该最佳匹配值所对应的基音周期作为所述已知语音数据的最终估计基音周期。
3、如权利要求2所述的方法，其特征在于，所述从初始基音周期所对应的匹配值以及各候选基音周期所对应的匹配值中选择出一个最佳匹配值的步骤包括：
将初始基音周期所对应的匹配值设置为最佳匹配值的初始值，然后按照预定顺序判断每一个候选基音周期所对应的匹配值是否优于初始基音周期所对应的匹配值，是则用该候选基音周期所对应的匹配值更新最佳匹配值，最终得到一个最佳匹配值；或
将初始基音周期所对应的匹配值设置为最佳匹配值的初始值，然后按照预定顺序判断每一个候选基音周期所对应的匹配值是否优于当前的最佳匹配值，是则用该候选基音周期所对应的匹配值更新最佳匹配值，最终得到一个最佳匹配值。
4、如权利要求3所述的方法，其特征在于，
所述候选基音周期所对应的匹配值优于初始基音周期所对应的匹配值是，所述候选基音周期所对应的匹配值与初始基音周期所对应的匹配值的比值在预定范围内；
所述候选基音周期所对应的匹配值优于当前的最佳匹配值是，所述候选基音周期所对应的匹配值与当前的最佳匹配值的比值在预定范围内。
5、如权利要求1所述的方法，其特征在于，该方法在所述从初始基因周期和候选基音周期中选择一个基因周期作为所述已知语音数据的最终估计基音周期之前进一步包括：
在所述已知语音数据的一端，设置长度为预设值的模板窗；设置长度与模板窗长度相同的滑动窗，并令滑动窗在所述已知语音数据的长度范围内滑动；
当滑动窗与模板窗的对应端点之间的距离与一个候选基音周期的长度相等时，取滑动窗中数据与模板窗中数据的匹配值为与该候选基音周期对应的匹配值，并取滑动窗的起始端点或末尾端点的当前位置为与该候选基因周期对应的匹配点；
对于每一个候选基音周期，使滑动窗的起始端点或末尾端点在该候选基音周期所对应的匹配点周围的预设范围内滑动，并在该候选基音周期所对应的匹配点周围的预设范围内，查找出滑动窗中数据与模板窗中数据的匹配值为最佳匹配值时的滑动窗的位置，并用此时的滑动窗与模板窗对应端点之间的语音数据长度替换该候选基音周期；
所述选择一个基音周期作为最终估计的基音周期是，从初始基音周期以及所述替换后的候选基音周期中选择一个基音周期作为最终估计的基音周期。
6、如权利要求5所述的方法，其特征在于，所述在候选基音周期所对应的匹配点周围的预设范围内，查找出滑动窗中数据与模板窗中数据的匹配值为最佳匹配值时的滑动窗的位置是，从所述候选基音周期对应的匹配点开始向该匹配点两侧的预设范围进行查找。
7、如权利要求2至6中任一项所述的方法，其特征在于，所述滑动窗中数据与模板窗中数据的匹配值是滑动窗中数据与模板窗中数据的相关值。
8、一种估计基音周期的装置，其特征在于，该装置包括：初始基音周期获取模块和选择模块，其中，
初始基音周期获取模块，用于获取已知语音数据的初始基音周期，并发送给选择模块；
选择模块，从初始基音周期所对应频率的一个以上的大于1的整数倍频率所分别对应的基音周期中，选择所对应频率小于或等于最小可能基音周期所对应频率的基音周期作为候选基因周期，并从初始基因周期和候选基音周期中选择一个基因周期作为所述已知语音数据的最终估计基音周期。
9、如权利要求8所述的装置，其特征在于，所述选择模块包括：计算模块和比较模块，其中，
计算模块，用于分别计算出与初始基音周期和各个候选基音周期对应的匹配值，并发送给比较模块；
比较模块，用于对所接收到的与初始基音周期和各个候选基音周期对应的匹配值进行比较，从中选择出一个最佳匹配值，并将该最佳匹配值所对应的基音周期作为所述已知语音数据的最终估计基音周期。
10、如权利要求8所述的装置，其特征在于，所述选择模块进一步用于，对于每一个候选基音周期，在该候选基音周期所对应的匹配点周围的预设范围内进行搜索，查找出一个匹配值为最佳匹配值的匹配点，并用该匹配点对应的基音周期替换该候选基音周期；
并从初始基音周期以及所述替换后的候选基音周期中选择一个基音周期作为所述已知语音数据的最终估计的基音周期。
11、一种对基音周期进行微调的方法，其特征在于，该方法包括：
获取丢失数据之前或丢失数据之后的已知数据的初始基音周期；
在所述已知数据靠近丢失数据的一端，设置长度为预设值的模板窗；
设置长度与模板窗长度相同的滑动窗，并使滑动窗靠近丢失数据的端点在预设点周围的预设范围内滑动，所述预设点是已知数据中与模板窗靠近丢失数据的端点距离初始基音周期长度的点；
在所述滑动窗所能滑动的预设点周围的预设范围内，计算模板窗中的数据与滑动窗中数据的匹配值，并从中查找出最佳的匹配值，并将具有最佳匹配值时的模板窗与滑动窗的对应端点之间的距离作为微调后的基音周期。
12、如权利要求11所述的方法，其特征在于，所述在滑动窗所能滑动的预设点周围的预设范围内，计算模板窗中的数据与滑动窗中数据的匹配值，并查找出最佳匹配值是，从所述预设点开始向该预设点两侧的预设范围进行查找。
13、如权利要求11所述的方法，其特征在于，所述计算模板窗中的数据与滑动窗中数据的匹配值，并从中查找出最佳的匹配值的步骤包括：
计算模板窗中的数据与滑动窗中数据的相关值，并取匹配值为相关值，取匹配值中最大的值作为最佳匹配值；或
计算模板窗中的数据与滑动窗中对应数据的幅度差值的绝对值的总和，并取匹配值为所述幅度差值的绝对值的总和，取匹配值中最小的值作为最佳匹配值。
14、如权利要求11所述的方法，其特征在于，获取丢失数据之后的已知数据的初始基音周期包括：获取丢失数据之前的已知数据的初始基音周期，并将所获取的丢失数据之前的已知数据的初始基音周期作为丢失数据之后的已知数据的初始基音周期。
15、一种对基音周期进行微调的装置，其特征在于，该装置包括：初始基音周期获取模块，设置模块和计算模块，其中，
初始基音周期获取模块，用于获取丢失数据之前或丢失数据之后的已知数据获取初始基音周期，并发送给设置模块；
设置模块，用于接收初始基音周期获取模块发送的初始基音周期，并在所述已知数据靠近丢失数据的一端，设置长度为预设值的模板窗，设置长度与模板窗长度相同的滑动窗，并使滑动窗靠近丢失数据的端点在预设点周围的预设范围内滑动；所述预设点是已知数据中与模板窗靠近丢失数据的端点距离初始基音周期长度的点；
计算模块，用于在所述滑动窗所能滑动的预设点周围的预设范围内，计算模板窗中的数据与滑动窗中数据的匹配值，并从中查找出最佳匹配值，并将具有最佳匹配值时的模板窗与滑动窗的对应端点之间的距离作为微调后的基音周期。
16、如权利要求15所述的装置，其特征在于，所述初始基音周期获取模块，用于获取丢失数据之前的已知数据的初始基音周期，将所获取的丢失数据之前的已知数据的初始基音周期作为丢失数据之后的已知数据的初始基音周期，并发送给所述设置模块。
17、一种实现丢包隐藏的方法，其特征在于，该方法包括：
设置长度与丢失数据长度相等的丢失帧主缓冲区和丢失帧临时缓冲区；
利用丢失数据之前的已知数据中的一个基音周期数据，填充丢失帧主缓冲区；
利用丢失数据之后的已知数据中的一个基音周期数据，或利用丢失数据之前的已知数据中的一个基音周期数据，填充丢失帧临时缓冲区；
对丢失帧主缓冲区和丢失帧临时缓冲区中的数据进行叠加处理，并用所述叠加处理后的数据补偿丢失帧。
18、如权利要求17所述的方法，其特征在于，
所述丢失数据之前的已知数据中的一个基音周期数据是，丢失数据之前的已知数据中的最后一个基音周期数据；
所述丢失数据之后的已知数据中的一个基音周期数据是，丢失数据之后的已知数据中的第一个基音周期数据。
19、如权利要求18所述的方法，其特征在于，在所述利用丢失数据之前的已知数据中的最后一个基音周期数据，填充丢失帧主缓冲区之前进一步包括：
对丢失数据之前的已知数据中的最后一个基音周期数据进行平滑处理。
20、如权利要求18所述的方法，其特征在于，在所述利用丢失数据之后的已知数据中的第一个基音周期数据，填充丢失帧临时缓冲区之前进一步包括：
对丢失数据之后的已知数据中的第一个基音周期数据进行平滑处理。
21、如权利要求20所述的方法，其特征在于，所述对丢失数据之后的已知数据中的第一个基音周期数据进行平滑处理的步骤包括：将丢失数据之后的已知数据第一个基音周期之后的预设长度数据乘以下降窗，将丢失数据之后的已知数据起始的第一个预设长度数据乘以上升窗后，将所述两个乘窗后的预设长度的数据进行叠加，并用叠加后的数据替换丢失数据之后的已知数据中起始的第一个预设长度数据。
22、如权利要求18所述的方法，其特征在于，利用丢失数据之后的已知数据中的第一个基音周期数据，对丢失帧临时缓冲区进行填充是进行反向填充。
23、如权利要求18所述的方法，其特征在于，所述利用丢失数据之前的已知数据中的最后一个基音周期数据，填充丢失帧临时缓冲区包括：
将在丢失数据之前的已知数据中的最后一个基音周期数据存入基音缓冲区，并从丢失数据之后的已知数据的起始位置开始取长度为预设值的第一数据；
在基音缓冲区中查找与第一数据最为匹配的第二数据；
获取基音缓冲区中的第二数据的起始点之前的长度与丢失帧临时缓冲区长度相等的第三数据；
将所述第三数据存入丢失帧临时缓冲区。
24、如权利要求23所述的方法，其特征在于，该方法进一步包括：对丢失数据之后的已知数据起始位置开始的长度为预设值的数据进行平滑处理。
25、如权利要求24所述的方法，其特征在于，所述对丢失数据之后的已知数据起始位置开始的长度为预设值的数据进行平滑处理的步骤包括：将所述基音缓冲区中的从第二数据的起始点开始的长度为预设值的数据乘上一个下降窗，将丢失数据之后的已知数据起始位置开始的长度为预设值的数据乘上一个上升窗，然后将上述两个乘窗之后的数据进行叠加，并用叠加后的数据替换丢失数据之后的已知数据起始位置开始的长度为预设值的数据。
26、如权利要求23所述的方法，其特征在于，在所述利用丢失数据之前的已知数据中的最后一个基音周期数据，填充丢失帧主缓冲区的步骤进一步包括：利用偏移指针指示所述最后一个基音周期数据的当前位置，每次从偏移指针指示的当前位置取数据填充丢失帧主缓冲区，并实时更新偏移指针的位置；
所述在基音缓冲区中查找与第一数据最为匹配的第二数据的步骤包括：从基音缓冲区中的所述偏移指针指示的相应位置周围的预设范围内查找与第一数据最为匹配的第二数据。
27、如权利要求18所述的方法，其特征在于，所述对丢失帧主缓冲区和丢失帧临时缓冲区中的数据进行叠加处理的步骤包括：将丢失帧主缓冲区的数据乘上一个下降窗，将丢失帧临时缓冲区中的数据乘上一个上升窗，并将丢失帧主缓冲区和丢失帧临时缓冲区中的乘窗后的数据进行叠加。
28、如权利要求18所述的方法，其特征在于，该方法在对丢失帧主缓冲区和丢失帧临时缓冲区中的数据进行叠加处理之后，并在用所述叠加处理后的数据补偿丢失帧之前进一步包括：
将在丢失数据之前的已知数据中的最后一个基音周期数据存入基音缓冲区，并从丢失数据之后的已知数据的起始位置开始取长度为预设值的数据；
在基音缓冲区中查找与所述长度为预设值的数据最为匹配的数据；
获取所述长度为预设值的数据和所述查找的匹配数据之间的比例系数；
根据所述比例系数对所述进行叠加处理后的数据的幅度进行平滑处理；
用所述经过幅度平滑处理的数据补偿丢失帧。
29、如权利要求28所述的方法，其特征在于，所述比例系数为所述长度为预设值的数据的能量和所述查找的匹配数据的能量的比值，或所述长度为预设值的数据中的最大幅度差和所述查找的匹配数据中的最大幅度差的比值。
30、如权利要求18所述的方法，其特征在于，该方法在所述丢失数据之后的已知数据的长度大于或等于预设值时，利用丢失数据之后的已知数据中的第一个基音周期数据，填充丢失帧临时缓冲区；否则，利用丢失数据之前的已知数据中的最后一个基音周期数据，填充丢失帧临时缓冲区。
31、如权利要求30所述的方法，其特征在于，所述预设值是丢失数据之前的已知数据的基音周期的5/4倍。
32、一种实现丢包隐藏的装置，其特征在于，该装置包括：主处理模块、丢失帧主缓冲区和丢失帧临时缓冲区，其中，
主处理模块，用于利用丢失数据之前的已知数据中的一个基音周期数据，填充丢失帧主缓冲区，并利用丢失数据之后的已知数据中的一个基音周期数据，或利用丢失数据之前的已知数据中的一个基音周期数据，填充丢失帧临时缓冲区；并将丢失帧主缓冲区和丢失帧临时缓冲区中的数据进行叠加处理后，用所述叠加处理后的数据补偿丢失帧；
丢失帧主缓冲区，用于存储主处理模块所填充的数据，其长度与丢失数据长度相等；
丢失帧临时缓冲区，用于存储主处理模块所填充的数据，其长度与丢失数据长度相等。
33、如权利要求32所述的装置，其特征在于，所述主处理模块是利用丢失数据之前的已知数据中的最后一个基音周期数据，填充丢失帧主缓冲区，并利用丢失数据之后的已知数据中的第一个基音周期数据，或利用丢失数据之前的已知数据中的最后一个基音周期数据，填充丢失帧临时缓冲区。
34、如权利要求32所述的装置，其特征在于，该装置进一步包括：历史数据处理模块和当前数据处理模块，其中
历史数据处理模块，用于获取丢失数据之前的已知数据的基音周期，并将丢失数据之前的已知数据中的最后一个基音周期数据发送给主处理模块；
当前数据处理模块，用于获取丢失数据之后的已知数据的基音周期，并将丢失数据之后的已知数据中的第一个基音周期数据发送给主处理模块。
35、如权利要求34所述的装置，其特征在于，
所述历史数据处理模块，进一步用于将丢失数据之前的已知数据中的最后一个基音周期数据进行平滑处理后，再发送给主处理模块；和/或
所述当前数据处理模块，进一步用于将丢失数据之前的已知数据中的第一个基音周期数据进行平滑处理后，再发送给主处理模块。
36、如权利要求32所述的装置，其特征在于，所述主处理模块包括：基音缓冲区，用于存储所述丢失数据之前的已知数据中的最后一个基音周期数据；
所述主处理模块，用于将丢失数据之前的已知数据中的最后一个基音周期数据存入基音缓冲区，并从丢失数据之后的已知数据中的第一个基音周期数据的起始位置开始取长度为预设值的第一数据；在基音缓冲区中查找与第一数据最为匹配的第二数据；获取基音缓冲区中的第二数据的起始点之前的长度与丢失帧临时缓冲区长度相等的第三数据；用所述第三数据填充丢失帧临时缓冲区。
37、如权利要求36所述的装置，其特征在于，所述主处理模块进一步包括：平滑处理模块，用于将所述基音缓冲区中的第二数据的起始点开始的长度为预设值的数据乘上一个下降窗，将丢失数据之后的已知数据起始位置开始的长度为预设值的数据乘上一个上升窗，然后将上述两个乘窗之后的数据进行叠加处理，并用叠加后的数据替换丢失数据之后的已知数据起始位置开始的长度为预设值的数据。
38、如权利要求32所述的装置，其特征在于，所述主处理模块进一步包括：幅度平滑模块，用于获取丢失数据之前的已知数据和丢失数据之后的已知数据中相互匹配的两组数据之间的比例系数，并根据所述比例系数对所述叠加处理后的数据的幅度进行平滑处理；
所述主处理模块利用所述经过幅度平滑处理后数据补偿丢失帧。
39、如权利要求32所述的装置，其特征在于，所述主处理模块进一步用于判断所述丢失数据之后的已知数据的长度是否大于或等于预设值，是则，所述主处理模块用于利用丢失数据之后的已知数据中的第一个基音周期数据，填充丢失帧临时缓冲区；否则，所述主处理模块用于利用丢失数据之前的已知数据中的最后一个基音周期数据，填充丢失帧临时缓冲区。
CN2007101261653A 2007-06-14 2007-06-14 一种估计基音周期的方法和装置 Active CN101325631B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN2007101261653A CN101325631B (zh) 2007-06-14 2007-06-14 一种估计基音周期的方法和装置
EP10002537A EP2200019A3 (en) 2007-06-14 2008-06-13 A method and device for performing packet loss concealment
EP10002536A EP2200018B1 (en) 2007-06-14 2008-06-13 A method and device for performing packet loss concealment
PCT/CN2008/071313 WO2008151579A1 (fr) 2007-06-14 2008-06-13 Procédé, dispositif et système permettant d'obtenir le masquage du paquet de perte
EP08757724A EP2133867A4 (en) 2007-06-14 2008-06-13 METHOD, DEVICE AND SYSTEM FOR HIDING LOSS PACKAGES
US12/610,489 US20100049510A1 (en) 2007-06-14 2009-11-02 Method and device for performing packet loss concealment
US12/610,442 US20100049505A1 (en) 2007-06-14 2009-11-02 Method and device for performing packet loss concealment
US12/610,466 US8600738B2 (en) 2007-06-14 2009-11-02 Method, system, and device for performing packet loss concealment by superposing data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2007101261653A CN101325631B (zh) 2007-06-14 2007-06-14 一种估计基音周期的方法和装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN2010101586553A Division CN101887723B (zh) 2007-06-14 2007-06-14 一种对基音周期进行微调的方法和装置
CN2010101586661A Division CN101833954B (zh) 2007-06-14 2007-06-14 一种实现丢包隐藏的方法和装置

Publications (2)

Publication Number Publication Date
CN101325631A true CN101325631A (zh) 2008-12-17
CN101325631B CN101325631B (zh) 2010-10-20

Family

ID=40129266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101261653A Active CN101325631B (zh) 2007-06-14 2007-06-14 一种估计基音周期的方法和装置

Country Status (4)

Country Link
US (3) US8600738B2 (zh)
EP (3) EP2200018B1 (zh)
CN (1) CN101325631B (zh)
WO (1) WO2008151579A1 (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101937679A (zh) * 2010-07-05 2011-01-05 展讯通信（上海）有限公司 音频数据帧的错误掩盖方法及音频解码端
CN102403008A (zh) * 2010-09-17 2012-04-04 北京中星微电子有限公司 音频播放中数据流断点续接的方法和系统、fifo控制器
CN102598119A (zh) * 2009-04-21 2012-07-18 剑桥硅无线电有限公司 基音估计
CN102016530B (zh) * 2009-02-13 2012-11-14 华为技术有限公司 一种基音周期检测方法和装置
CN102842305A (zh) * 2011-06-22 2012-12-26 华为技术有限公司 一种基音检测的方法和装置
CN103714820A (zh) * 2013-12-27 2014-04-09 广州华多网络科技有限公司 参数域的丢包隐藏方法及装置
CN103915099A (zh) * 2012-12-29 2014-07-09 北京百度网讯科技有限公司 语音基音周期检测方法和装置
CN104021792A (zh) * 2014-06-10 2014-09-03 中国电子科技集团公司第三十研究所 一种语音丢包隐藏方法及其系统
CN104135340A (zh) * 2014-07-29 2014-11-05 中国电子科技集团公司第二十研究所 在数据链信道中语音数据传输的处理方法
CN104240715A (zh) * 2013-06-21 2014-12-24 华为技术有限公司 用于恢复丢失数据的方法和设备
CN104347076A (zh) * 2013-08-09 2015-02-11 中国电信股份有限公司 网络音频丢包掩蔽方法和装置
CN104751851A (zh) * 2013-12-30 2015-07-01 联芯科技有限公司 一种基于前后向联合估计的丢帧差错隐藏方法及系统
CN104768025A (zh) * 2015-04-02 2015-07-08 无锡天脉聚源传媒科技有限公司 一种视频坏帧修复方法及装置
CN105453172A (zh) * 2013-04-18 2016-03-30 奥兰吉公司 应用加权噪音的帧丢失的校正
CN105895107A (zh) * 2010-01-29 2016-08-24 宝利通公司 通过变换插值进行音频分组丢失隐藏
CN106898356A (zh) * 2017-03-14 2017-06-27 建荣半导体（深圳）有限公司 一种适用于蓝牙语音通话的丢包隐藏方法、装置及蓝牙语音处理芯片
CN106960673A (zh) * 2017-02-08 2017-07-18 中国人民解放军信息工程大学 一种语音掩蔽方法和设备
CN107797761A (zh) * 2016-09-07 2018-03-13 爱思开海力士有限公司 存储装置和具有该存储装置的存储系统
CN108806703A (zh) * 2012-06-08 2018-11-13 三星电子株式会社 用于隐藏帧错误的方法和设备
CN109525373A (zh) * 2018-12-25 2019-03-26 歌尔科技有限公司 数据处理方法、数据处理装置和播放设备
CN110636543A (zh) * 2018-06-22 2019-12-31 大唐移动通信设备有限公司 一种语音数据处理方法及装置
CN111383643A (zh) * 2018-12-28 2020-07-07 南京中感微电子有限公司 一种音频丢包隐藏方法、装置及蓝牙接收机
CN112634912A (zh) * 2020-12-18 2021-04-09 北京猿力未来科技有限公司 丢包补偿方法及装置

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325631B (zh) 2007-06-14 2010-10-20 华为技术有限公司 一种估计基音周期的方法和装置
KR20130085859A (ko) 2012-01-20 2013-07-30 삼성디스플레이 주식회사 액정 표시 장치 및 그 제조 방법
CN102833037B (zh) * 2012-07-18 2015-04-29 华为技术有限公司 一种语音数据丢包的补偿方法及装置
US9805721B1 (en) * 2012-09-21 2017-10-31 Amazon Technologies, Inc. Signaling voice-controlled devices
US9129600B2 (en) * 2012-09-26 2015-09-08 Google Technology Holdings LLC Method and apparatus for encoding an audio signal
US9325544B2 (en) 2012-10-31 2016-04-26 Csr Technology Inc. Packet-loss concealment for a degraded frame using replacement data from a non-degraded frame
HUE030163T2 (en) 2013-02-13 2017-04-28 ERICSSON TELEFON AB L M (publ) Hide frame failure
US9706317B2 (en) 2014-10-24 2017-07-11 Starkey Laboratories, Inc. Packet loss concealment techniques for phone-to-hearing-aid streaming
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
CN108011686B (zh) * 2016-10-31 2020-07-14 腾讯科技（深圳）有限公司 信息编码帧丢失恢复方法和装置
WO2019232235A1 (en) 2018-05-31 2019-12-05 Shure Acquisition Holdings, Inc. Systems and methods for intelligent voice activation for auto-mixing
CN112335261B (zh) 2018-06-01 2023-07-18 舒尔获得控股公司 图案形成麦克风阵列
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
US20200020342A1 (en) * 2018-07-12 2020-01-16 Qualcomm Incorporated Error concealment for audio data using reference pools
WO2020061353A1 (en) 2018-09-20 2020-03-26 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
WO2020191380A1 (en) 2019-03-21 2020-09-24 Shure Acquisition Holdings,Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
CN114051738B (zh) 2019-05-23 2024-10-01 舒尔获得控股公司 可操纵扬声器阵列、系统及其方法
US11302347B2 (en) 2019-05-31 2022-04-12 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
WO2021041275A1 (en) 2019-08-23 2021-03-04 Shore Acquisition Holdings, Inc. Two-dimensional microphone array with improved directivity
US11646042B2 (en) * 2019-10-29 2023-05-09 Agora Lab, Inc. Digital voice packet loss concealment using deep learning
US12028678B2 (en) 2019-11-01 2024-07-02 Shure Acquisition Holdings, Inc. Proximity microphone
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
EP4285605A1 (en) 2021-01-28 2023-12-06 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5717818A (en) * 1992-08-18 1998-02-10 Hitachi, Ltd. Audio signal storing apparatus having a function for converting speech speed
US5574825A (en) * 1994-03-14 1996-11-12 Lucent Technologies Inc. Linear prediction coefficient generation during frame erasure or packet loss
US5619004A (en) * 1995-06-07 1997-04-08 Virtual Dsp Corporation Method and device for determining the primary pitch of a music signal
US6167375A (en) * 1997-03-17 2000-12-26 Kabushiki Kaisha Toshiba Method for encoding and decoding a speech signal including background noise
WO2000060575A1 (en) * 1999-04-05 2000-10-12 Hughes Electronics Corporation A voicing measure as an estimate of signal periodicity for a frequency domain interpolative speech codec system
US7423983B1 (en) * 1999-09-20 2008-09-09 Broadcom Corporation Voice and data exchange over a packet based network
US6952668B1 (en) * 1999-04-19 2005-10-04 At&T Corp. Method and apparatus for performing packet loss or frame erasure concealment
US7047190B1 (en) * 1999-04-19 2006-05-16 At&Tcorp. Method and apparatus for performing packet loss or frame erasure concealment
WO2000063885A1 (en) * 1999-04-19 2000-10-26 At & T Corp. Method and apparatus for performing packet loss or frame erasure concealment
US7117156B1 (en) 1999-04-19 2006-10-03 At&T Corp. Method and apparatus for performing packet loss or frame erasure concealment
US6636829B1 (en) 1999-09-22 2003-10-21 Mindspeed Technologies, Inc. Speech communication system and method for handling lost frames
US6510407B1 (en) * 1999-10-19 2003-01-21 Atmel Corporation Method and apparatus for variable rate coding of speech
CN1160699C (zh) * 1999-11-11 2004-08-04 皇家菲利浦电子有限公司 语音识别系统
AU2001242520A1 (en) * 2000-04-06 2001-10-23 Telefonaktiebolaget Lm Ericsson (Publ) Speech rate conversion
US6584438B1 (en) * 2000-04-24 2003-06-24 Qualcomm Incorporated Frame erasure compensation method in a variable rate speech coder
US6757654B1 (en) * 2000-05-11 2004-06-29 Telefonaktiebolaget Lm Ericsson Forward error correction in speech coding
WO2002017301A1 (en) 2000-08-22 2002-02-28 Koninklijke Philips Electronics N.V. Audio transmission system having a pitch period estimator for bad frame handling
US7171355B1 (en) * 2000-10-25 2007-01-30 Broadcom Corporation Method and apparatus for one-stage and two-stage noise feedback coding of speech and audio signals
US6917912B2 (en) * 2001-04-24 2005-07-12 Microsoft Corporation Method and apparatus for tracking pitch in audio analysis
ATE422744T1 (de) * 2001-04-24 2009-02-15 Nokia Corp Verfahren zum ändern der grösse eines zitterpuffers und zur zeitausrichtung, kommunikationssystem, empfängerseite und transcoder
US7529661B2 (en) * 2002-02-06 2009-05-05 Broadcom Corporation Pitch extraction methods and systems for speech coding using quadratically-interpolated and filtered peaks for multiple time lag extraction
US7324444B1 (en) * 2002-03-05 2008-01-29 The Board Of Trustees Of The Leland Stanford Junior University Adaptive playout scheduling for multimedia communication
US20030220787A1 (en) * 2002-04-19 2003-11-27 Henrik Svensson Method of and apparatus for pitch period estimation
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
CN1412742A (zh) 2002-12-19 2003-04-23 北京工业大学 基于波形相关法的语音信号基音周期检测方法
US7337108B2 (en) * 2003-09-10 2008-02-26 Microsoft Corporation System and method for providing high-quality stretching and compression of a digital audio signal
JP2006220806A (ja) * 2005-02-09 2006-08-24 Kobe Steel Ltd 音声信号処理装置，音声信号処理プログラム，音声信号処理方法
US7930176B2 (en) * 2005-05-20 2011-04-19 Broadcom Corporation Packet loss concealment for block-independent speech codecs
JP2007114417A (ja) 2005-10-19 2007-05-10 Fujitsu Ltd 音声データ処理方法及び装置
KR100792209B1 (ko) * 2005-12-07 2008-01-08 한국전자통신연구원 디지털 오디오 패킷 손실을 복구하기 위한 방법 및 장치
US7457746B2 (en) * 2006-03-20 2008-11-25 Mindspeed Technologies, Inc. Pitch prediction for packet loss concealment
CN100426715C (zh) 2006-07-04 2008-10-15 华为技术有限公司 一种丢帧隐藏方法和装置
EP2054876B1 (en) * 2006-08-15 2011-10-26 Broadcom Corporation Packet loss concealment for sub-band predictive coding based on extrapolation of full-band audio waveform
CN1971707B (zh) * 2006-12-13 2010-09-29 北京中星微电子有限公司 一种进行基音周期估计和清浊判决的方法及装置
EP2153436B1 (en) * 2007-05-14 2014-07-09 Freescale Semiconductor, Inc. Generating a frame of audio data
CN101833954B (zh) 2007-06-14 2012-07-11 华为终端有限公司 一种实现丢包隐藏的方法和装置
CN101325631B (zh) * 2007-06-14 2010-10-20 华为技术有限公司 一种估计基音周期的方法和装置
CN101887723B (zh) 2007-06-14 2012-04-25 华为终端有限公司 一种对基音周期进行微调的方法和装置
US8185388B2 (en) * 2007-07-30 2012-05-22 Huawei Technologies Co., Ltd. Apparatus for improving packet loss, frame erasure, or jitter concealment
CN100524462C (zh) * 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
CN101207665B (zh) * 2007-11-05 2010-12-08 华为技术有限公司 一种衰减因子的获取方法
CN100550712C (zh) * 2007-11-05 2009-10-14 华为技术有限公司 一种信号处理方法和处理装置
CN101437009B (zh) * 2007-11-15 2011-02-02 华为技术有限公司 丢包隐藏的方法及其系统
US9263049B2 (en) * 2010-10-25 2016-02-16 Polycom, Inc. Artifact reduction in packet loss concealment

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102016530B (zh) * 2009-02-13 2012-11-14 华为技术有限公司 一种基音周期检测方法和装置
US9153245B2 (en) 2009-02-13 2015-10-06 Huawei Technologies Co., Ltd. Pitch detection method and apparatus
CN102598119B (zh) * 2009-04-21 2014-12-03 剑桥硅无线电有限公司 基音估计
CN102598119A (zh) * 2009-04-21 2012-07-18 剑桥硅无线电有限公司 基音估计
CN105895107A (zh) * 2010-01-29 2016-08-24 宝利通公司 通过变换插值进行音频分组丢失隐藏
CN101937679B (zh) * 2010-07-05 2012-01-11 展讯通信（上海）有限公司 音频数据帧的错误掩盖方法及音频解码装置
CN101937679A (zh) * 2010-07-05 2011-01-05 展讯通信（上海）有限公司 音频数据帧的错误掩盖方法及音频解码端
CN102403008A (zh) * 2010-09-17 2012-04-04 北京中星微电子有限公司 音频播放中数据流断点续接的方法和系统、fifo控制器
CN102403008B (zh) * 2010-09-17 2015-11-25 北京中星微电子有限公司 音频播放中数据流断点续接的方法和系统、fifo控制器
CN102842305A (zh) * 2011-06-22 2012-12-26 华为技术有限公司 一种基音检测的方法和装置
WO2012175054A1 (zh) * 2011-06-22 2012-12-27 华为技术有限公司 一种基音检测的方法和装置
CN102842305B (zh) * 2011-06-22 2014-06-25 华为技术有限公司 一种基音检测的方法和装置
CN108806703A (zh) * 2012-06-08 2018-11-13 三星电子株式会社 用于隐藏帧错误的方法和设备
CN103915099A (zh) * 2012-12-29 2014-07-09 北京百度网讯科技有限公司 语音基音周期检测方法和装置
CN103915099B (zh) * 2012-12-29 2016-12-28 北京百度网讯科技有限公司 语音基音周期检测方法和装置
CN105453172A (zh) * 2013-04-18 2016-03-30 奥兰吉公司 应用加权噪音的帧丢失的校正
CN105453172B (zh) * 2013-04-18 2020-03-10 奥兰吉公司 应用加权噪音的帧丢失的校正
CN104240715B (zh) * 2013-06-21 2017-08-25 华为技术有限公司 用于恢复丢失数据的方法和设备
CN104240715A (zh) * 2013-06-21 2014-12-24 华为技术有限公司 用于恢复丢失数据的方法和设备
CN104347076B (zh) * 2013-08-09 2017-07-14 中国电信股份有限公司 网络音频丢包掩蔽方法和装置
CN104347076A (zh) * 2013-08-09 2015-02-11 中国电信股份有限公司 网络音频丢包掩蔽方法和装置
CN103714820A (zh) * 2013-12-27 2014-04-09 广州华多网络科技有限公司 参数域的丢包隐藏方法及装置
CN104751851A (zh) * 2013-12-30 2015-07-01 联芯科技有限公司 一种基于前后向联合估计的丢帧差错隐藏方法及系统
CN104751851B (zh) * 2013-12-30 2018-04-27 联芯科技有限公司 一种基于前后向联合估计的丢帧差错隐藏方法及系统
CN104021792B (zh) * 2014-06-10 2016-10-26 中国电子科技集团公司第三十研究所 一种语音丢包隐藏方法及其系统
CN104021792A (zh) * 2014-06-10 2014-09-03 中国电子科技集团公司第三十研究所 一种语音丢包隐藏方法及其系统
CN104135340A (zh) * 2014-07-29 2014-11-05 中国电子科技集团公司第二十研究所 在数据链信道中语音数据传输的处理方法
CN104768025B (zh) * 2015-04-02 2018-05-08 无锡天脉聚源传媒科技有限公司 一种视频坏帧修复方法及装置
CN104768025A (zh) * 2015-04-02 2015-07-08 无锡天脉聚源传媒科技有限公司 一种视频坏帧修复方法及装置
CN107797761B (zh) * 2016-09-07 2021-01-12 爱思开海力士有限公司 存储装置和具有该存储装置的存储系统
CN107797761A (zh) * 2016-09-07 2018-03-13 爱思开海力士有限公司 存储装置和具有该存储装置的存储系统
CN106960673A (zh) * 2017-02-08 2017-07-18 中国人民解放军信息工程大学 一种语音掩蔽方法和设备
CN106898356B (zh) * 2017-03-14 2020-04-14 建荣半导体（深圳）有限公司 一种适用于蓝牙语音通话的丢包隐藏方法、装置及蓝牙语音处理芯片
CN106898356A (zh) * 2017-03-14 2017-06-27 建荣半导体（深圳）有限公司 一种适用于蓝牙语音通话的丢包隐藏方法、装置及蓝牙语音处理芯片
CN110636543A (zh) * 2018-06-22 2019-12-31 大唐移动通信设备有限公司 一种语音数据处理方法及装置
CN109525373A (zh) * 2018-12-25 2019-03-26 歌尔科技有限公司 数据处理方法、数据处理装置和播放设备
CN109525373B (zh) * 2018-12-25 2021-08-24 荣成歌尔科技有限公司 数据处理方法、数据处理装置和播放设备
CN111383643A (zh) * 2018-12-28 2020-07-07 南京中感微电子有限公司 一种音频丢包隐藏方法、装置及蓝牙接收机
CN112634912A (zh) * 2020-12-18 2021-04-09 北京猿力未来科技有限公司 丢包补偿方法及装置
CN112634912B (zh) * 2020-12-18 2024-04-09 北京猿力未来科技有限公司 丢包补偿方法及装置

Also Published As

Publication number Publication date
EP2200019A2 (en) 2010-06-23
US20100049505A1 (en) 2010-02-25
EP2200019A3 (en) 2010-12-01
EP2200018A3 (en) 2010-12-01
EP2200018B1 (en) 2012-08-22
US8600738B2 (en) 2013-12-03
US20100049510A1 (en) 2010-02-25
WO2008151579A1 (fr) 2008-12-18
CN101325631B (zh) 2010-10-20
EP2133867A1 (en) 2009-12-16
EP2200018A2 (en) 2010-06-23
US20100049506A1 (en) 2010-02-25
EP2133867A4 (en) 2010-06-16

Similar Documents

Publication Publication Date Title
CN101325631B (zh) 一种估计基音周期的方法和装置
CN101833954B (zh) 一种实现丢包隐藏的方法和装置
CN101887723B (zh) 一种对基音周期进行微调的方法和装置
CA2021602C (en) Method for improving speech quality in code excited linear predictive speech coding
US6775649B1 (en) Concealment of frame erasures for speech transmission and storage system and method
US10643624B2 (en) Apparatus and method for improved concealment of the adaptive codebook in ACELP-like concealment employing improved pulse resynchronization
EP2209271B1 (en) Packet loss concealment method and system thereof
CN102171753B (zh) 用于在语音数据的错误传输时进行错误隐藏的方法
EP2711925B1 (en) Forward error correction in speech coding
CN101120400B (zh) 在通信系统中生成隐藏帧的方法
US8185388B2 (en) Apparatus for improving packet loss, frame erasure, or jitter concealment
CN106788876B (zh) 一种语音丢包补偿的方法及系统
US11410663B2 (en) Apparatus and method for improved concealment of the adaptive codebook in ACELP-like concealment employing improved pitch lag estimation
WO2005109402A1 (ja) 音声パケット送信方法、音声パケット送信装置、および音声パケット送信プログラムとそれを記録した記録媒体
CN100587809C (zh) 语音频带扩展装置
KR20020084199A (ko) 파라메트릭 엔코딩에서 신호 성분들의 링킹
KR960011132B1 (ko) 씨이엘피(celp) 보코더에서의 피치검색방법
Xie et al. A new packet loss concealment algorithm in VoIP

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant